Cualquier uso del software en el campo de batalla sería un cambio dramático para OpenAI, que describe su misión como desarrollar una IA que pueda beneficiar a toda la humanidad.
El año pasado, microsoft propuso utilizar la popular herramienta de generación de imágenes de OpenAI, DALL-E, para ayudar al Departamento de Defensa a crear software para ejecutar operaciones militares, según los materiales de presentación internos revisados por The Intercept. La revelación se produce pocos meses después de que OpenAI pusiera fin silenciosamente a su prohibición del trabajo militar.
La presentación de Microsoft, titulada IA generativa con datos del Departamento de Defensa, proporciona un desglose general de cómo el Pentágono puede hacer uso de las herramientas de aprendizaje automático de OpenAI, incluido el inmensamente popular generador de texto ChatGPT y el creador de imágenes DALL-E, para tareas que van desde documentos análisis hasta el mantenimiento de máquinas.
El documento de Microsoft se extrae de una gran cantidad de materiales presentados en un seminario de capacitación sobre “alfabetización en IA” del Departamento de Defensa en octubre de 2023, organizado por la Fuerza Espacial de EE. UU. en Los Ángeles. El evento incluyó una variedad de presentaciones de empresas de aprendizaje automático, incluidas Microsoft y OpenAI, sobre lo que tienen para ofrecer al Pentágono.
Los archivos de acceso público se encontraron en el sitio web de Alethia Labs, una consultoría sin fines de lucro que ayuda al gobierno federal con la adquisición de tecnología, y fueron descubiertos por el periodista Jack Poulson . El miércoles, Poulson publicó una investigación más amplia sobre los materiales de la presentación. Alethia Labs ha trabajado estrechamente con el Pentágono para ayudarlo a integrar rápidamente herramientas de inteligencia artificial en su arsenal, y desde el año pasado tiene un contrato con la oficina principal de inteligencia artificial del Pentágono.
Una página de la presentación de Microsoft destaca una variedad de usos federales “comunes” de OpenAI, incluido el de defensa. Un punto bajo «Entrenamiento avanzado en visión por computadora» dice: «Sistemas de gestión de batalla: uso de los modelos DALL-E para crear imágenes para entrenar sistemas de gestión de batalla». Tal como suena, un sistema de gestión de batalla es un paquete de software de comando y control que proporciona a los líderes militares una descripción general de la situación de un escenario de combate, permitiéndoles coordinar cosas como el fuego de artillería, la identificación de objetivos de ataques aéreos y los movimientos de tropas. La referencia al entrenamiento de visión por computadora sugiere que las imágenes artificiales conjuradas por DALL-E podrían ayudar a las computadoras del Pentágono a «ver» mejor las condiciones en el campo de batalla, una ayuda particular para encontrar (y aniquilar) objetivos.
Microsoft dijo a The Intercept que, si bien había propuesto al Pentágono utilizar DALL-E para entrenar su software de campo de batalla, no había comenzado a hacerlo. «Este es un ejemplo de posibles casos de uso que se basaron en conversaciones con clientes sobre el arte de lo posible con la IA generativa». Microsoft, que se negó a atribuir el comentario a nadie de la empresa, no explicó por qué un caso de uso «potencial» fue etiquetado como un uso «común» en su presentación.
La portavoz de OpenAI, Liz Bourgeous, dijo que OpenAI no participó en el lanzamiento de Microsoft y que no había vendido ninguna herramienta al Departamento de Defensa. «Las políticas de OpenAI prohíben el uso de nuestras herramientas para desarrollar o utilizar armas, herir a otros o destruir propiedad», escribió. «No participamos en esta presentación y no hemos tenido conversaciones con las agencias de defensa estadounidenses sobre los casos de uso hipotéticos que describe».
Bourgeous agregó: «No tenemos evidencia de que los modelos OpenAI se hayan utilizado en esta capacidad. OpenAI no tiene asociaciones con agencias de defensa para utilizar nuestra API o ChatGPT para tales fines».
En el momento de la presentación, las políticas de OpenAI aparentemente habrían prohibido el uso militar de DALL-E. Microsoft dijo a The Intercept que si el Pentágono utilizara DALL-E o cualquier otra herramienta OpenAI a través de un contrato con Microsoft, estaría sujeto a las políticas de uso de esta última empresa. Aún así, cualquier uso de la tecnología OpenAI para ayudar al Pentágono a matar y destruir de manera más efectiva sería un cambio dramático para la compañía, que describe su misión como desarrollar inteligencia artificial centrada en la seguridad que pueda beneficiar a toda la humanidad.
Sabemos que las tecnologías de OpenAI podrían usarse con la misma facilidad para ayudar a las personas que para dañarlas, y su uso para esto último por parte de cualquier gobierno es una elección política.
«No es posible construir un sistema de gestión de batalla de una manera que no contribuya, al menos indirectamente, al daño civil. A menos que empresas como OpenAI tengan garantías por escrito de los gobiernos de que no utilizarán la tecnología para dañar a los civiles (lo que probablemente aún no sería legalmente vinculante), no veo ninguna manera en la que las empresas puedan afirmar con confianza que la tecnología no será usada (o mal usado) de manera que tenga efectos cinéticos».
Brianna Rosen, profesora visitante de la Escuela de Gobierno Blavatnik de la Universidad de Oxford que se centra en la ética de la tecnología.
Incluso dejando de lado las objeciones éticas, la eficacia de tal enfoque es discutible.
«Se sabe que la precisión y la capacidad de un modelo para procesar datos con precisión se deterioran cada vez que se entrena más con contenido generado por IA», dijo . Las imágenes de Dall-E están lejos de ser precisas y no generan imágenes que reflejen ni siquiera una imagen cercana a nuestra realidad física, incluso si se ajustaran con las entradas del sistema de gestión de Battlefield. Estos modelos de imágenes generativas ni siquiera pueden generar con precisión un número correcto de extremidades o dedos, ¿cómo podemos confiar en que sean precisos con respecto a una presencia de campo realista?»
Heidy Khlaaf, ingeniera de seguridad de aprendizaje automático que anteriormente tuvo un contrato con OpenAI
Si el uso del software OpenAI por parte del Pentágono implicaría daño o no podría depender de una visión literal de cómo funcionan estas tecnologías, similar a los argumentos de que la empresa que ayuda a construir el arma o entrena al tirador no es responsable de hacia dónde apunta o de apretar el gatillo.
Lucy Suchman, profesora emérita de antropología de la ciencia y la tecnología en la Universidad de Lancaster:
«Pueden estar enhebrando una aguja entre el uso de [IA generativa] para crear datos de entrenamiento sintéticos y su uso en combates reales», pero, en mi opinión, esa sería una distinción espuria, porque el punto es que estás contribuyendo a la preparación para la guerra».
A diferencia de OpenAI, Microsoft tiene pocas pretensiones de renunciar al daño en su documento sobre “IA responsable” y promueve abiertamente el uso militar de sus herramientas de aprendizaje automático.
