En la búsqueda de tecnologías confiables, gobernables y trazables, el Departamento de Defensa podría colaborar en el establecimiento de estándares globales para el uso de la inteligencia artificial.
El Pentágono ha adelantado a Silicon Valley, al menos en términos de pautas éticas para el desarrollo y uso de la inteligencia artificial por parte de organizaciones destacadas.
El tan esperado borrador del documento, publicado por un grupo asesor del Pentágono, va más allá de las listas similares de principios promulgadas por las grandes empresas de tecnología. Si las Fuerzas Armadas se las arreglan para adoptar, implementar y seguir las directrices, se colocarían en una posición cada vez más rara como líderes en el establecimiento de estándares para el mundo de la tecnología en general.
Después de que los dirigentes del Pentágono pidieran a la Defense Innovation Board, que redactara una lista de principios a finales del año pasado, la Junta reclutó a «expertos en derechos humanos, informáticos, tecnólogos, investigadores, líderes de la sociedad civil, filósofos, capitalistas de riesgo, líderes empresariales y funcionarios del Departamento de Defensa», entre ellos, representantes de Facebook, Microsoft, Google y otras organizaciones similares. La Junta votó a favor de la adopción del proyecto el 31 de octubre.
«Se espera que AI afecte a todos los sectores del Departamento y transforme el carácter de la guerra», dice el borrador del documento. «Mantener una ventaja competitiva en Inteligencia Artificial es esencial para nuestra seguridad nacional.» Por lo tanto, la Junta «recomienda cinco principios éticos de IA para su adopción por el Departamento de Defensa, que en pocas palabras son: responsable, equitativo, trazable, fiable y gobernable».
Responsable: «Los seres humanos deben ejercer los niveles apropiados de juicio y ser responsables del desarrollo, despliegue, uso y resultados de los sistemas de IA.» Eso está en consonancia con la doctrina establecida por el Departamento de Defensa que se remonta a 2012.
Equitativo: Evitar el «sesgo involuntario» en los algoritmos que podrían emplearse en combate o en otros ámbitos. Esta prescribe el cuidado en la construcción de conjuntos de datos utilizados en el aprendizaje automático, para evitar, como sucede con frecuencia, que los conjuntos de datos sesgados produzcan algoritmos sesgados que sean, por ejemplo, racistas o contribuyan al sesgo racial.
Trazable: los técnicos del Departamento de Defensa deben ser capaces de retroceder a través de cualquier resultado o proceso de IA y ser capaces de ver cómo el software llegó a su conclusión. El Departamento describe la necesidad aquí como «metodologías auditables, fuentes de datos y procedimientos de diseño y documentación».
Fiable: Definir un «dominio de uso explícito y bien definido», y muchas pruebas rigurosas contra ese uso.
Gobernable: construido con la «capacidad de detectar y evitar daños o interrupciones involuntarias». El software tiene que ser capaz de detenerse si ve que puede estar causando problemas.
Estas pautas en sí mismas no son demasiado sorprendentes. Sin embargo, el borrador del Libro Blanco que lo acompaña profundiza en todas las diferentes consideraciones y guías para cada punto.
Los redactores del documento, y las diferentes partes que contribuyeron a la elaboración del mismo, se esforzaron con cada punto para llegar a un lenguaje específico, según Heather Roff, una investigadora involucrada en la creación del borrador que habló con Defense One.
La guía de trazabilidad, por ejemplo, sugiere que el Departamento de Defensa debe ser capaz de auditar el software de IA que produce y emplea. Y «no sólo se auditarán los datos, sino quién tiene acceso a ellos, ¿se utilizarán los modelos para otra cosa? Si es así, entonces ¿cuál es la reutilización?
Esto es clave porque, dado que los diferentes departamentos, mandos combatientes e incluso unidades y operadores individuales desarrollarán software de IA para proyectos específicos, que puede ser útil para otras misiones o actividades. La directriz sugiere que debe haber no sólo un proceso para compartir, sino también inspeccionar y examinar antes compartir, para determinar si el intercambio es realmente apropiado y considerar las consecuencias no deseadas.
La pauta de gobernabilidad, en palabras de Roff, es un «mecanismo de seguridad». Con ello se pretende garantizar, no sólo que los seres humanos puedan mantener el control de los procesos en los que hay software de inteligencia artificial, sino también protegerse contra las consecuencias no deseadas de la caída de los programas de inteligencia artificial, así como tratar de prever los efectos de programas específicos en todo el Departamento, aunque sólo una pequeña parte de las Fuerzas Armadas esté empleando el sistema. Se trata del «aspecto estratificado de estos sistemas», dijo el investigador. «Si una de las capas falla, se tratará de que la degradación sea limitada, y diseñar para eso.»
La guía de fiabilidad va a presentar el mayor desafío para el Departamento de Defensa, ya que sugiere un régimen completamente nuevo para probar el nuevo software de seguridad. Eso es algo que requerirá tiempo e inversión. «No hay manera de probar y evaluar estas herramientas de IA como lo hemos hecho en el pasado. La idea de acelerar el proceso para que los sistemas se desplieguen rápidamente, estos van a ser obstáculos realmente importantes», dijo Roff.
Al redactar estas directrices, el Departamento de Defensa sigue los pasos de compañías tecnológicas como Google, Microsoft y Facebook, todas las cuales han publicado sus propios principios éticos para la IA. Algunos de los puntos, como la fiabilidad, son incluso similares.
Estos proyectos corporativos han tenido un éxito mixto. Google, por ejemplo, después de publicar sus directrices y convocar a un comité de ética de la IA en abril para determinar cómo se estaban siguiendo las directrices, lo disolvió en una semana.
El gran problema de las listas de ética corporativa, según Ben Wagner, fundador y director del Centro de Internet y Derechos Humanos de la Universidad Europea de Viadrina, es que son voluntarias. «Esto hace que sea muy fácil para las empresas evadirlas. «Eso es importante», pero sigan con lo que estaban haciendo antes», dijo Wager a The Verge en abril. «La mayoría de los principios éticos desarrollados ahora carecen de un marco institucional».
A diferencia del nuevo borrador de la lista del DoD, por ejemplo, la mayoría de las directrices corporativas no tienen restricciones para compartir herramientas en toda la institución, ni insisten en la trazabilidad de los resultados, ni en la buena gobernabilidad. Se parecen más a las declaraciones de marketing, a los intentos de demostrar que la empresa tiene una buena cultura moral y, por lo tanto, están haciendo un uso de la IA de forma responsable. No son realmente mapas de lo que hay que hacer y lo que no hay que hacer, sino un argumento que permite a la empresa seguir empleando la IA de la forma en que ya lo habían decidido. En el caso de Google, las directrices son sólo 882 palabras, más cortas que este artículo. Sin embargo, los ingenieros de Google protestaron fuertemente cuando se enteraron de que la compañía estaba involucrada con el Departamento de Defensa en un esfuerzo de búsqueda de inteligencia para el Proyecto Maven. En teoría, la lista de ética del Departamento de Defensa debería aliviar algunas preocupaciones de la comunidad de programación sobre el trabajo con el Departamento.
El Departamento de Defensa está en una mejor posición para implementar sus directrices, incorporándolas al ciclo de decisión real para la construcción y compra de IA, precisamente porque el Departamento se encuentra en las etapas iniciales de la adopción de la nueva tecnología, por lo que no tiene que diseñar directrices para crear vacíos legales para las prácticas ya existentes. El nuevo Artificial Intelligence Center se creó para incorporar directrices, normas y, por lo tanto, principios en el desarrollo de la IA en todo el Departamento de Defensa. Por lo tanto, el marco institucional ya estará presente cuando las herramientas se pongan en línea. Con suerte, eso asegurará que las pautas sean realmente parte del proceso de uso de la IA para la defensa, y no una idea de última hora.
Por supuesto, puede llegar el momento en que el gobierno del Departamento de Defensa se sienta limitado por todas estas sugerencias. Después de todo, eso es lo que es una pauta. Serían aplicadas internamente, por el Departamento de Defensa en el Departamento de Defensa. El Departamento de Defensa no se dedica a perder guerras y ni China ni Rusia tienen nada parecido.
Pero lo que el documento de principios muestra es que, si el Pentágono termina usando la IA de manera peligrosa, no será porque el Departamento de Defensa no tuviera buenas directrices, sino porque el Departamento no las siguió.
Fte. Defense One
