OpenAI o1 riesgo medio, sabe fingir y manipular

OpenAI presentó recientemente o1-preview, un nuevo conjunto de modelos de IA diseñados para abordar tareas complejas y resolver problemas difíciles en diversos campos. Estos modelos, parte del proyecto”Fresa“, han demostrado un desempeño excepcional en exámenes de matemáticas, competencias de codificación y puntos de referencia desafiantes en física, química y biología.

I nuevos modelos OpenAI lograron resultados impresionantes en varias pruebas. En los exámenes de calificación para la Olimpiada Internacional de Matemáticas (OMI), o1 resolvió correctamente el 83% de los problemas, una marcada mejora con respecto a su predecesor, GPT-4o. En competencias de codificación en Codeforces, el modelo alcanzó el percentil 89, demostrando sus habilidades de codificación.

Las preocupaciones de los expertos sobre la seguridad de la IA

A pesar de los avances, el profesor Josué Bengiouna figura destacada en la investigación de la IA, ha expresado su preocupación por los riesgos potenciales asociados con estos modelos avanzados. OpenAI o1 en realidad ha excedido un nivel de “riesgo medio” para Armas QBRN (químicos, biológicos, radiológicos y nucleares). Por este motivo, Bengio subrayó la importancia y urgencia de adoptar una legislación como la Ley SB 1047 en California, cuyo objetivo es establecer requisitos de seguridad para Modelos de IA definidos como "frontera"sistemas avanzados que potencialmente podrían causar Danni catastrófico.

Dan Hendrycks, director del Centro para la Seguridad de la IA, tampoco oculta sus preocupaciones. Al comentar sobre la nueva versión de OpenAI, dijo que “La mejora de la capacidad de razonamiento y la posibilidad de utilizar esta capacidad para engañar es especialmente peligrosa y deja una cosa clara: el grave riesgo de la IA no es una fantasía lejana de ciencia ficción.“.

Marco regulatorio para futuros modelos de IA

Abigail Rekas, experta en derechos de autor y derechos de acceso, explicó que la proyecto de ley SB 1047 no aborda los sistemas de IA actuales, pero establece un marco para futuros modelos más avanzados. Plantillas que cumplen criterios específicos, como ser utilizadas para construir o implementar armas de destrucción masiva o causar daño significativo a través de ataques informáticosestaría sujeto a obligaciones de cuidado razonables.

Sin embargo, determinar la causalidad entre un modelo de IA y un “daño catastrófico” en posibles demandas podría presentar desafíos legales. Será necesario demostrar que, si no fuera por el modelo de IA de frontera, el daño especificado no se habría producido.

Medidas de seguridad de OpenAI

Por su parte, AbiertoAI dice que ha intensificado el trabajo en materia de seguridad, gobernanza interna y colaboración con el gobierno federal. Esto incluye pruebas y evaluaciones rigurosas utilizando su Preparación Estructurael mejor equipo rojo de su clase y procesos de revisión a nivel de junta directiva.

Además, la compañía formalizó recientemente acuerdos con los Institutos de Seguridad de IA de EE. UU. y el Reino Unido, otorgándoles acceso temprano a una versión de investigación de este modelo. Esta colaboración es un paso importante para establecer un proceso de investigación, evaluación y prueba de modelos futuros antes y después de su lanzamiento público.