Mientras el Departamento de Defensa acelera el desarrollo de herramientas y sistemas habilitados mediante IA, surgen preguntas interesantes sobre adónde van sus inversiones y qué beneficios y riesgos pueden resultar. Una pregunta clave cuya contestación se desconoce: ¿confiarán los comandantes y las tropas en sus nuevas herramientas, lo suficiente como para que valga la pena el esfuerzo?
Basándose en datos presupuestarios disponibles públicamente sobre el DOD science and technology program, el Center for Security and Emerging Technology (CSET), examinó el alcance de la autonomía y los esfuerzos de investigación y desarrollo relacionados con la IA avanzados por el Ejército, la Marina, los Marines, la Fuerza Aérea y el DARPA. Entre las principales líneas de investigación se encuentran los programas dedicados a aumentar la automatización, la autonomía y las capacidades de la IA en los vehículos y sistemas no tripulados aéreos, terrestres, de superficie y submarinos; a aumentar la velocidad y la precisión del procesamiento de la información y la toma de decisiones; y a aumentar la precisión y la letalidad en los procesos de selección de objetivos. Recientemente publicamos un análisis en dos partes sobre el alcance y las implicaciones de estos esfuerzos. Uno de los temas más consistentes es el énfasis en la colaboración y el trabajo en equipo entre el hombre y la máquina.
De hecho, mientras que en la imaginación pública la integración de la IA en los sistemas militares predice un futuro en el que las máquinas sustituirán a los humanos en el campo de batalla, y las decisiones en tiempo de guerra se tomarán sin el aporte o el control humano, en nuestra evaluación de la investigación militar estadounidense sobre las tecnologías emergentes, los humanos siguen estando muy presentes.
El programa insignia del Ejército Next Generation Combat Vehicle (NGCV) es un buen ejemplo de la colaboración entre el hombre y la máquina, que abarca diferentes casos de uso y aplicaciones de la autonomía e IA. Una de sus actividades de investigación desarrolla software y algoritmos de IA y ML (Machine Learning) para «formar equipo con soldados en apoyo de la maniobra totalmente autónoma del NGCV y otros sistemas autónomos, tanto físicos como no incorporados». Este esfuerzo tiene por objeto desarrollar capacidades para el NGCV que «aumenten la autonomía, liberando al operador, con un alto grado de supervivencia y letalidad en un entorno muy disputado». Otra iniciativa de investigación aplicada al NGCV busca nuevos «métodos de aprendizaje de ML y de refuerzo» para permitir «la toma de decisiones conjunta entre humanos y agentes inteligentes, optimizando las fortalezas de cada uno en el proceso de decisión y creando un equipo adaptable y ágil». En otras palabras, esta investigación prevé tecnologías inteligentes que interactúen, colaboren y se integren con los soldados, optimizando el rendimiento tanto para los humanos como para los equipos hombre-máquina en diferentes entornos y misiones.
Sin embargo, la investigación aplicada de DARPA sobre «Inteligencia Artificial y Simbiosis Hombre-Máquina», lleva el concepto de equipo hombre-máquina un paso más allá, con el objetivo de desarrollar tecnologías que «permitan a las máquinas funcionar no sólo como herramientas que faciliten la acción humana, sino como socios de confianza de los operadores humanos».
La confianza es fundamental para la colaboración hombre-máquina porque afecta a la predisposición de los humanos a emplear sistemas autónomos y habilitados mediante IA y a aceptar sus recomendaciones. La investigación del CSET, sin embargo, identifica importantes lagunas en la investigación militar de EE.UU. sobre el papel de la confianza en los equipos humano-máquina y en la inversión hacia la construcción de sistemas de IA fiables. De hecho, el informe de «Evaluación Presupuestaria» que analiza los programas militares de ciencia y tecnología para 2020, encuentra que sólo 18 de los 789 componentes de investigación relacionados con la autonomía y 11 de los 287 componentes de investigación relacionados con la IA mencionan la palabra «confianza».
Como dictan los principios éticos de la IA del Departamento de Defensa, los humanos son los responsables últimos del desarrollo, uso y resultados de los sistemas de IA tanto en situaciones de combate como de no combate. Si no se abordan, las lagunas en la investigación sobre el papel de la confianza en los equipos humanos-máquina podrían obstaculizar el desarrollo y la aplicación de los sistemas de inteligencia artificial en los entornos operativos.
Por ejemplo, las tecnologías de apoyo a la toma de decisiones posibilitadas por la inteligencia artificial tienen por objeto ayudar a los comandantes a procesar y evaluar más opciones de acción y a tomar decisiones mejores y más rápidas en situaciones complejas y urgentes. Los avances en el análisis en tiempo real y las tecnologías de sistemas recomendados podrían ayudar a los combatientes a adaptarse y tomar la iniciativa en entornos operacionales dinámicos. Pero si los operadores humanos no confían en el sistema, serían reacios a seguir sus recomendaciones. Así, sin la confianza en los equipos hombre-máquina, el Ejército de EE.UU. puede no ser capaz de capitalizar las ventajas de velocidad y precisión que la IA promete ofrecer.
Comprender el papel de la confianza en los equipos hombre-máquina también es importante para una colaboración efectiva con los aliados. Algunas investigaciones sugieren que la confianza en la IA varía según el país de origen. Si los comandantes de algunos países aliados están menos dispuestos a confiar y emplear los sistemas basados en la inteligencia artificial durante las operaciones multinacionales, esa divergencia podría socavar la coordinación, la interoperabilidad y la eficacia general.
Por último, además de la investigación de las actitudes humanas hacia la tecnología, el progreso hacia una colaboración avanzada entre el hombre y la máquina también dependerá de que los propios sistemas de IA sean dignos de confianza, en parte al hacerlos más transparentes, explicables, auditables, fiables y resistentes.
El Ejército tiene varios programas de ciencia y tecnología centrados explícitamente en el aumento de la solidez y resistencia del sistema de IA, el fortalecimiento de la seguridad contra ataques engañosos y adversarios, y el desarrollo de sistemas que se comporten de manera fiable en entornos operativos. La » AI Next Campaign» de DARPA es un esfuerzo prominente. Sin embargo, como se ha señalado anteriormente, en nuestra evaluación, la mayoría de los programas de investigación relacionados con la autonomía y la IA no mencionan esos atributos de seguridad y protección que son tan pertinentes para la fiabilidad. Ahora bien, además de obstaculizar el progreso hacia una colaboración avanzada entre humanos y máquinas, nuestro informe de «Evaluación estratégica» también concluye que, si no se invierte sistemáticamente en sistemas de IA fiables, dignos de confianza y resistentes, podría aumentar el riesgo de errores de cálculo, uso indebido y escalada no intencionada, especialmente en entornos controvertidos como el Mar del Sur de China.
Las inversiones actuales en investigación y desarrollo marcarán el rumbo del futuro de la IA en la seguridad nacional. Al prestar más atención a la comprensión del papel de la confianza en los equipos hombre-máquina, el Ejército podría acelerar el desarrollo y el envío de agentes y sistemas inteligentes como socios de confianza de los operadores humanos en diferentes misiones y entornos. Además, al dar prioridad a los sistemas de inteligencia artificial fiables y seguros, EE.UU. podrá garantizar ventajas militares, tecnológicas y estratégicas a largo plazo.
Fte. Defense One
Sé el primero en comentar