{"id":64167,"date":"2023-10-27T20:12:35","date_gmt":"2023-10-28T02:12:35","guid":{"rendered":"http:\/\/mickyandoniehn.com\/radio\/2023\/10\/27\/openai-ya-esta-estudiando-los-riesgos-catastroficos-asociados-a-la-ia-entre-otros-el-de-una-amenaza-nuclear\/"},"modified":"2023-10-27T20:12:35","modified_gmt":"2023-10-28T02:12:35","slug":"openai-ya-esta-estudiando-los-riesgos-catastroficos-asociados-a-la-ia-entre-otros-el-de-una-amenaza-nuclear","status":"publish","type":"post","link":"http:\/\/mickyandoniehn.com\/radio\/2023\/10\/27\/openai-ya-esta-estudiando-los-riesgos-catastroficos-asociados-a-la-ia-entre-otros-el-de-una-amenaza-nuclear\/","title":{"rendered":"OpenAI ya est\u00e1 estudiando los \u00abriesgos catastr\u00f3ficos\u00bb asociados a la IA. Entre otros, el de una amenaza nuclear"},"content":{"rendered":"<\/p>\n

El desarrollo de sistemas de IA sigue provocando el temor a futuros dist\u00f3picos, y ahora OpenAI ha querido prepararse para evitarlos. Acaban de\u00a0crear un nuevo equipo llamado Preparedness<\/a>\u00a0que se encargar\u00e1 de estudiar, evaluar y analizar modelos de IA para\u00a0protegernos de lo que ellos califican como \u00abriesgos catastr\u00f3ficos\u00bb<\/strong>.<\/p>\n

Dicho grupo de expertos estar\u00e1 liderado por Aleksander Madry, un experto de aprendizaje autom\u00e1tico procedente del MIT y que se uni\u00f3 a OpenAI en el mes de mayo. Su tarea, como la del resto del equipo, ser\u00e1 desde luego interesante.<\/p>\n

As\u00ed, el objetivo es el de rastrear, evaluar, pronosticar y protegernos contra \u00abriesgos catastr\u00f3ficos\u00bb que seg\u00fan estos expertos \u00ababarcan m\u00faltiples categor\u00edas<\/strong>\u00ab, entre las que citan:<\/p>\n

Persuasi\u00f3n individualizada (por ejemplo, con ataques de phishing)
\nCiberseguridad
\nAmenazas qu\u00edmicas, biol\u00f3gicas, radiol\u00f3gicas y nucleares (CBRN)
\nReplicaci\u00f3n y adaptaci\u00f3n aut\u00f3nomas (ARA)<\/p>\n

Son muchos\u00a0los expertos<\/a>\u00a0y las\u00a0personalidades<\/a>\u00a0que\u00a0han avisado de los peligros<\/a>\u00a0que pueden derivarse del desarrollo de sistemas de IA. Hasta\u00a0Sam Altman<\/a>, m\u00e1ximo responsable de OpenAI,\u00a0lo ha reconocido<\/a>\u00a0y de hecho lleva tiempo apoyando \u2014probablemente de forma interesada<\/a>\u2014 la creaci\u00f3n de una regulaci\u00f3n para el desarrollo de estos modelos.<\/p>\n

En OpenAI reconocen que ni siquiera ellos pueden estar teniendo en cuenta todas las potenciales amenazas que el desarrollo de estos sistemas puede generar, as\u00ed que han solicitado que cualquier interesado les env\u00ede estudios relativos a los riesgos que puden aparecer, y\u00a0habr\u00e1 un premio de 25.000 d\u00f3lares<\/strong>\u00a0y un potencial puesto trabajo en el equipo Preparedness para los 10 mejores estudios en este sentido.<\/p>\n

Para evaluar esos riesgos, en esta empresa proponen a los interesados que se imaginen que les dieran acceso a sus modelos m\u00e1s avanzados, tanto Whisper como GPT-4V o DALLE-3. La idea es que aprovechen esas herramientas para convertirse en usuarios con un objetivo t\u00f3xico: \u00bfcu\u00e1l ser\u00eda el peor uso, el m\u00e1s catastr\u00f3fico, que se le podr\u00edan dar a estos modelos?<\/p>\n

\n
\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n

El equipo Preparedness tambi\u00e9n se encargar\u00e1 de preparar gu\u00edas y documentos para desarrollar pruebas para esos modelos que se ejecutar\u00e1n tanto antes como despu\u00e9s de su desarrollo. Aunque creen que estos sistemas acabaran superando las capacidades actuales, \u00abtambi\u00e9n plantean riesgos cada vez m\u00e1s serios<\/strong>. Necesitamos asegurarnos de que tenemos tanto los conocimientos como la infraestructura necesaria para la seguridad de sistemas de IA altamente capaces\u00bb, concluyen.<\/p>\n","protected":false},"excerpt":{"rendered":"

El desarrollo de sistemas de IA sigue provocando el temor a futuros dist\u00f3picos, y ahora OpenAI ha querido prepararse para evitarlos. Acaban de\u00a0crear un nuevo equipo llamado Preparedness\u00a0que se encargar\u00e1 de estudiar, evaluar y analizar modelos de IA para\u00a0protegernos de lo que ellos califican como \u00abriesgos catastr\u00f3ficos\u00bb. Dicho grupo de expertos estar\u00e1 liderado por Aleksander …<\/p>\n","protected":false},"author":0,"featured_media":64168,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[5],"tags":[],"class_list":["post-64167","post","type-post","status-publish","format-standard","has-post-thumbnail","","category-noticias"],"jetpack_sharing_enabled":true,"jetpack_featured_media_url":"http:\/\/mickyandoniehn.com\/radio\/wp-content\/uploads\/2023\/10\/500_333-Ho4A4r.jpeg","_links":{"self":[{"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/posts\/64167","targetHints":{"allow":["GET"]}}],"collection":[{"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/comments?post=64167"}],"version-history":[{"count":0,"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/posts\/64167\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/media\/64168"}],"wp:attachment":[{"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/media?parent=64167"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/categories?post=64167"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/tags?post=64167"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}