¿La IA representa una amenaza existencial para la humanidad?

¿Qué tan preocupados deberíamos estar como civilización por la inteligencia artificial, suponiendo que aspiremos a seguir existiendo?

Para referencia, "inteligencia general artificial" o AGI, se define popularmente como "la representación de habilidades cognitivas humanas generalizadas en software para que, frente a una tarea desconocida, el sistema AGI pueda encontrar una solución". La intención de un sistema AGI es realizar cualquier tarea de la que un ser humano es capaz”.

Recientemente el editor de The Daily Bell, Joe Jarvis, declaró sobre una discusión de la amenaza existencial, o la falta de ella, que plantea la IA sin control.

"Haciendo de abogado del diablo, se mostró optimista sobre la IA como un beneficio neto para la humanidad. Nicolás y yo éramos menos optimistas. Todos estuvimos de acuerdo en que el factor definitorio será la forma en que se desarrolle: por quién, con qué fines y con qué precauciones, si las hubiere".

El investigador de aprendizaje automático Eliezer Yudkowsky, quien durante más de dos décadas ha estado advirtiendo sobre el futuro distópico que vendrá cuando logremos la Inteligencia General Artificial (AGI), vuelve a hacer sonar las alarmas.

“Yudkowsky dijo que si bien elogia a los signatarios de la reciente carta abierta del Future of Life Institute, que incluye al director ejecutivo de SpaceX, Elon Musk, al cofundador de Apple, Steve Wozniak, y al otrora candidato presidencial Andrew Yang, que pide una pausa de seis meses en el avance de la IA. para hacer balance, él mismo no lo firmó porque no va lo suficientemente lejos”.

La carta de advertencia firmada por Elon Musk y otras figuras públicas notables a las que alude Yudkowksy dice, en parte:

“¿Deberíamos desarrollar mentes no humanas que eventualmente puedan superarnos en número, ser más inteligentes, obsoletas y reemplazarnos? ¿Deberíamos arriesgarnos a perder el control de nuestra civilización? Tales decisiones no deben delegarse en líderes tecnológicos no elegidos. Los sistemas potentes de IA deben desarrollarse solo una vez que estemos seguros de que sus efectos serán positivos y sus riesgos serán manejables. “

Otros pesos pesados ​​de la IA se han hecho eco de sentimientos similares, incluido el "padrino de la inteligencia artificial", Geoffrey Hinton, quien citó un "riesgo menor" de que la IA sería la perdición de la humanidad.

Volviendo al llamado de Yudkowsky a las armas literales para detener el ascenso de la IA, plantea el problema esencial, que he planteado en otro lugar, de crear una inteligencia que supere los límites cognitivos de la humanidad. Sin barandillas efectivas para evitar que se vuelva negligente con el bienestar humano o abiertamente hostil a la vida humana, estamos en una seria desventaja:

“No es que, en principio, no puedas sobrevivir creando algo mucho más inteligente que tú”, reflexionó, “es que requeriría precisión, preparación y nuevos conocimientos científicos, y probablemente no tener sistemas de IA compuestos por conjuntos gigantes e inescrutables de números fraccionarios”.

Al igual que los investigadores biomédicos que utilizan la investigación de ganancia de función para mejorar los virus , los ingenieros de IA que trabajan actualmente para crear una IA cada vez más inteligente no saben lo que hacen . Están entrometiéndose, imprudente e innecesariamente, con fuerzas que no entienden cuando el curso de acción prudente requeriría un estudio previo.

Como se informó recientemente en otro lugar, la IA desarrolló muy recientemente lo que los filósofos y biólogos llaman "teoría de la mente". Esto significa que tiene la nueva capacidad realista de encuadrarse en el estado mental de otra persona o cosa y luego actuar estratégicamente en consecuencia.

Puede que no sea prudente avalar los llamamientos para el bombardeo cinético de los almacenes de información, pero estos desarrollos ciertamente deberían servir como motivo de pausa para lidiar con las amplias implicaciones de esta tecnología.