Boletín No. 146: IA
Jakub Pachocki, científico jefe de OpenAI, publicó en septiembre de 2026 el ensayo titulado An Alien Mind, en donde presenta una reflexión sobre la trayectoria actual de la IA de frontera. Pachocki plantea que los modelos avanzados de aprendizaje profundo no están siendo "diseñados" en el sentido de la ingeniería tradicional, sino "cultivados" a través de procesos masivos de optimización sobre grandes volúmenes de cómputo. El resultado es un tipo de intelecto no humano ("mente alienígena") cuya dinámica interna resulta difícil de interpretar en términos de la cognición humana. El ensayo se articula en tres puntos fundamentales: a) La brecha insostenible entre capacidad y control: La velocidad a la que se incrementan las capacidades de los modelos a través del escalado (scaling) y el aprendizaje automático sobrepasa por un margen amplio a la madurez de los marcos metodológicos de alineación y seguridad. Tratar a estos sistemas como entidades programables tradicionales es un error conceptual que ignora su naturaleza emergente. b) La insuficiencia de las técnicas actuales de interpretabilidad: Métodos de supervisión que dependían de la transparencia del razonamiento (como la inspección de la cadena de pensamiento o Chain-of-Thought) se vuelven obsoletos o manipulables a medida que los modelos alcanzan niveles superiores de sofisticación táctica y razonamiento abstracto. c. La imperiosa necesidad de una responsabilidad coordinada: Pachocki concluye que la industria no puede fundamentar la seguridad en la presunción de que el control surgirá de manera espontánea al aumentar la escala de los modelos. Al admitir que ningún laboratorio de la industria ha resuelto de manera definitiva el problema de la alineación para sistemas superinteligentes, hace un llamado explícito a priorizar la investigación en seguridad, establecer estándares comunes y considerar pausas o desaceleraciones voluntarias en el escalado antes de desplegar capacidades para las que aún no existen salvaguardas garantizadas. Una crítica que se le realiza al ensayo es publicada en el medio electrónico china Guancha.
No hay comentarios.:
Publicar un comentario