A fondo: ¿Podrían iniciar una guerra las armas letales autónomas?

Hace apenas unos días, Laura Nolan, una exingeniera de Google, daba la voz de alarma acerca de los riesgos que comporta el desarrollo de armas letales autónomas. En sus declaraciones, recogidas por el diario The Guardian, Llegaba a afirmar que podrían desencadenar accidentalmente una guerra.

Antes de nada, debemos explicar a qué nos referimos. “Los sistemas de armamento letal autónomo son aquellos que, mediante un uso extensivo de tecnologías avanzadas, fundamentalmente inteligencia artificial, tienen la capacidad de llevar a cabo fases críticas de la vida del arma sin control humano significativo. Es decir, son sistemas de armamento que tienen la capacidad de identificar, seleccionar y/o eliminar objetivos sin supervisión humana”, detalla Joaquín Rodríguez Álvarez, profesor de la Universidad Autónoma de Barcelona (UAB), coordinador de la campaña ‘Stop Killer Robots’ en España y miembro del International Committe for Robot Arms Control (ICRAC).

Asimismo, Maite López Sánchez, profesora de Inteligencia Artificial de la Universidad de Barcelona (UB), especifica que “son capaces de tomar decisiones y realizar acciones, tales como la identificación de objetivos o la navegación hasta éstos, sin que una persona tenga que dirigirlas o darles instrucciones detalladas”.

Cuando hablamos de estas armas letales autónomas o ‘killer robots’ no debemos pensar en androides asesinos como el de la película Terminator o como alguno de los robots de Boston Dynamics. “Hace ya mucho tiempo que se desarrollan armas con cierto grado de autonomía. Típicamente, se desarrollaban para tareas defensivas. Por ejemplo, los sistemas antimisiles son capaces de detectar, perseguir y hacer explotar los misiles antes de que lleguen a su objetivo. Pero la tecnología necesaria en acciones defensivas u ofensivas es muy parecida”, explica la profesora de la UAB.

Los drones militares también podrían llegar a ser considerados armas letales autónomas. No obstante, hay que hacer algunas precisiones. “Existe una confusión común en denominar a los drones, militares o comerciales, como aeronaves autónomas. Esto es un error, puesto que estos aparatos funcionan sin piloto a bordo, pero en la mayoría de los casos necesitan del control constante de un ser humano para su funcionamiento”, explica José Manuel García Rodríguez, guardia civil en situación administrativa de servicios especiales, analista de seguridad en la misión de la Unión Europea en Kosovo (EULEX Kosovo) y director del curso sobre uso ilegal de drones comerciales realizado por CISDE.

Aunque hay algunos casos en los que estas aeronaves funcionan de manera semiautónoma. “Cuando pierden la comunicación con la estación de tierra -y, por tanto, con el piloto-, pasan a depender de algoritmos internos, sensores de proximidad y receptores de radio y GPS para encontrar su camino a casa. Este modo es una autonomía incompleta porque el aparato no toma decisiones propias. Sólo sigue las instrucciones de lo que tiene programado. Otro modos semiautónomos son los llamados ‘modos inteligentes’, como ‘fly-by-wire’ -itinerario preprogramado por el operador-, modo ‘sígueme’ o ‘follow-me’,  etc. No lo llamaría total autonomía porque necesitan de una programación previa”, comenta García Rodríguez.

Un riesgo real

Respecto al riesgo de que las armas letales autónomas pudieran dar comienzo a una guerra de manera accidental, López Sánchez cree que actualmente no existe dicho peligro. Sin embargo, afirma que “no se puede descartar en un plazo de tiempo relativamente corto”. Por ejemplo, señala que ya hay sistemas policiales en algunas ciudades que evalúan el riesgo de conflictos en determinadas zonas y en momentos puntuales, “de forma que la policía puede desplazarse hasta ellas para evitarlos antes de que ocurran”. Además, recuerda que “ya han ocurrido algunos accidentes de ataques a aviones civiles, donde un sistema automático los había detectado erróneamente como una amenaza”.

En este sentido, el problema viene cuando las armas letales autónomas interactúan con otros sistemas. “Si un país desarrolla un sistema de evaluación del riesgo de ser atacado y lo conecta con un sistema de contraataque, el conflicto estaría servido en cuanto se produjera el primer error de evaluación de riesgo”. Es lo que se denomina un ‘falso positivo’. “En la actualidad, este tipo de decisiones aún están supervisadas por humanos”, especifica.

Rodríguez Álvarez también hace hincapié en las dudas acerca de cómo podrían interactuar con otros sistemas de armamento autónomo. “Si un sistema emprende una acción, puede que ésta comporte una respuesta por el sistema enemigo que, de forma extremadamente rápida, lleve a una escalada del conflicto, sin que se haya producido ningún tipo de decisión humana al respecto. Esta aceleración y escalabilidad del conflicto, puede conllevar resultados catastróficos, ya que, una vez iniciados los sistemas, no resultaría fácil poner fin de forma inmediata a las hostilidades”.

Además, reseña que debemos tener en cuenta “que estos sistemas pueden vincularse a mecanismos de respuesta nuclear u otras combinaciones de armamentos de destrucción masiva, lo que nos lleva a un escenario completamente catastrófico”. De este modo, concluye que este tipo de armas sí que podrían iniciar un conflicto de escala global.

En el caso de los actuales vehículos aéreos no tripulados (UAV, en sus siglas en inglés) que funcionan en modos semiautónomos, García Rodríguez indica que “el mayor desafío -en términos de seguridad y de letalidad- viene de la mano del modo ‘fly-by-wire’, cuando el dron sigue una ruta predefinida”.

Explica que “este modo permitiría a un usuario malintencionado programar una ruta, así como el movimiento de cámara y la activación de otros accesorios, lanzando el UAV en un vuelo automático y no necesariamente de retorno o ‘deploy & forget’”. Gracias a ello, el hacker conseguiría tres propósitos: alcanzar su objetivo de manera anónima, evitar ser localizado y burlar las tecnologías antidrones, que generalmente funcionan mediante inhibidores de frecuencia, puesto que al enviar el aparato de manera autónoma se evita el uso de radiofrecuencias o red WiFi, ya que la aeronave funciona únicamente siguiendo waypoints almacenados, utilizando sólo el receptor GPS, sin realizar emisiones.

Múltiples aristas

Además del riesgo de iniciar una guerra accidentalmente, el profesor de la UAB considera que el uso de armas letales autónomas puede ser discutible por varios motivos. “Esta tipología de armamento representa una afrenta no sólo para la ética, al delegar capacidades letales sobre entes no humanos -simulaciones de inteligencia-, sino que, además, erosionan el derecho internacional, debido a problemas relativos a la responsabilidad de la acción armada”. En este sentido, afirma que “en conflictos, en caso de bajas de no combatientes, alguien debe ser susceptible de asumir dicha responsabilidad, cosa que este tipo de armamento no permite hacer de una forma clara y sencilla”.

Por otro lado, opina que dicho armamento “puede alterar profundamente la asimetría de los conflictos y propiciar a una carrera de armamento con consecuencias nefastas para la especie”. Asimismo, advierte que “puede conllevar sesgos en los procesos de identificación, además de problemas como el denominado ‘autonomation bias’, desarrollado por Noel Sharkey, un proceso que hace que los humanos tengan una alta susceptibilidad a dar por válidos los procesos llevados a cabo por inteligencia artificial”.

En una línea similar, la profesora de la UB piensa que uno de los principales riesgos de las armas letales autónomas es “la ausencia de supervisión humana, lo que hace menos clara la responsabilidad de la acción”. Igualmente, señala que “existe un gran consenso en el hecho de que no es ético que la decisión de matar sea tomada por una máquina”. Además, remarca que “ahora mismo tampoco se puede garantizar que el ataque se haga de forma ‘legal’, siguiendo las leyes que rigen los conflictos armados internacionales”.

Por otro lado, incide en la “bajada del umbral de intervención”. “El hecho de participar en un conflicto armado sin poner en peligro la vida de soldados propios hace mucho más fácil la decisión de entrar en él”, declara. Así, corremos el peligro de que se incremente el número de conflictos armados.

También reseña que “los escenarios donde múltiples armas autónomas entran en conflicto son mucho más complejos e inestables”. “En el ámbito científico, en el área de investigación de inteligencia artificial de sistemas multiagente estudiamos estos sistemas dinámicos con simulaciones. Y sabemos que se pueden ir fácilmente de las manos”, aclara.

Por último, pone el acento en la facilidad de adquisición de estos sistemas. “Es tecnología fácilmente replicable y cualquier tipo de organización o individuo puede hacer uso de ellas. El riesgo de escalada de violencia a niveles locales es muy grande”, asegura.

El experto de la Guardia Civil hace especial hincapié en este aspecto. “Existen casos de drones ‘suicidas’ cargados con explosivos. Es decir, con rutas preprogramadas que detonan por impacto al alcanzar su objetivo sin intervención del piloto tras ser lanzados al aire. Los principales escenarios donde podemos encontrar esta técnica han sido Siria e Irak, por parte de Daesh y opositores al régimen de Bashar al-Assad, y organizaciones terroristas patrocinadas por Irán, como Hezbollah en Líbano, Hamas en Palestina/Israel y el movimiento Houthi (hutíes) en Yemen”, detalla.

Además, señala la preocupación por la “gran actividad proselitista” de Daesh. “El uso de drones por parte de Daesh fue intenso, acompañado de muchas operaciones de éxito. Se teme que un actor individual inspirado por Daesh, un ‘lobo solitario’, utilice tecnología UAS (unmanned aerial system) para cometer ataques en países occidentales, cuyos objetivos más probables serían aglomeraciones de personas -eventos deportivos, conciertos, etc.- o infraestructuras críticas, como centrales nucleares”, comenta.

Legislación y concienciación

Ante todos estos riesgos, el experto de la UAB defiende la imprescindible intervención humana y el desarrollo legislativo. “Es necesario garantizar control humano significativo en todas las fases del ciclo de vida del sistema de armamento. Para ello, es necesario avanzar en la configuración de un marco legal vinculante que prohíba los sistemas completamente autónomos y garantice el control humano sobre todas las fases del conflicto”, expone. Además, afirma que “resulta crucial comenzar a elaborar un tratado internacional de prohibición, a fin de evitar escenarios como el tratado de no proliferación nuclear, que permite a una serie de países conservar esta tipología de armamento en sus arsenales”.

La campaña ‘Stop killer robots’ sigue esta misma línea y propugna la prohibición del desarrollo de armas totalmente autónomas, por lo que defiende que se mantenga un control humano significativo sobre las decisiones de ataque. Además, demanda que se abra el debate internacional y que todos los países firmen tratados que exijan el principio del control humano, entre otras medidas.

López Sánchez señala que se están haciendo esfuerzos para establecer códigos éticos internacionales que guíen el desarrollo de los sistemas inteligentes, además de algunas propuestas en el marco de Naciones Unidas para regular el uso de este tipo de armas e incluso su prohibición. Aunque considera que la concienciación es la mejor herramienta. “La presión social de la opinión pública puede ser una de las pocas cosas que ‘incentiven’ a los estados a regular este tipo de armas. Ejemplos de cómo se han gestionado temas como las minas antipersona o las armas biológicas nos dan esperanza de que es posible incidir en un tema que, a pesar de que mucha gente pueda vivir como muy lejano, es de vital importancia”, comenta.

García Rodríguez también apuesta por la concienciación. Cita como ejemplo el corto ‘Slaughterbots’, desarrollado por la organización Future of Life Institute “para concienciar al público acerca de los peligros que supondría el desarrollo de enjambres armados con inteligencia artificial y funcionalidades como el reconocimiento facial y acceso a redes sociales, además de advertir sobre las consecuencias en caso de que dicha tecnología cayera en las manos equivocadas”.