{"id":54095,"date":"2023-04-03T14:12:42","date_gmt":"2023-04-03T20:12:42","guid":{"rendered":"http:\/\/mickyandoniehn.com\/radio\/2023\/04\/03\/uno-de-los-mayores-expertos-en-ia-tiene-claro-que-pasara-si-creamos-una-ia-superinteligente-nos-matara-a-todos\/"},"modified":"2023-04-03T14:12:42","modified_gmt":"2023-04-03T20:12:42","slug":"uno-de-los-mayores-expertos-en-ia-tiene-claro-que-pasara-si-creamos-una-ia-superinteligente-nos-matara-a-todos","status":"publish","type":"post","link":"https:\/\/mickyandoniehn.com\/radio\/2023\/04\/03\/uno-de-los-mayores-expertos-en-ia-tiene-claro-que-pasara-si-creamos-una-ia-superinteligente-nos-matara-a-todos\/","title":{"rendered":"Uno de los mayores expertos en IA tiene claro qu\u00e9 pasar\u00e1 si creamos una IA superinteligente: \u00abNos matar\u00e1 a todos\u00bb"},"content":{"rendered":"<\/p>\n<p>La semana pasada el Future of Life Institute (FLI)\u00a0<a href=\"https:\/\/www.xataka.com\/aplicaciones\/pausen-inmediatamente-entrenamiento-musk-personalidades-preocupados-gpt-4\">public\u00f3 una carta abierta<\/a>\u00a0con una petici\u00f3n contundente: pausar el desarrollo y entrenamiento de nuevas inteligencias artificiales durante seis meses. La carta estaba firmada por\u00a0<a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/elon-musk-cree-que-estamos-yendo-demasiado-rapido-ia-debate-polariza-a-expertos-todo-mundo\">personalidades como Elon Musk<\/a>, y en ella se mostraba una gran preocupaci\u00f3n por este fren\u00e9tico desarrollo sin pensar en las consecuencias. Ahora un experto en este \u00e1mbito va m\u00e1s all\u00e1 y afirma que pausar ese desarrollo no es suficiente.<\/p>\n<p><strong>Debemos detener del todo el desarrollo de la IA<\/strong>. Es lo que opina Eliezer Yudkowsky, responsable del Machine Intelligence Research Institute. Este experto lleva investigando sobre el desarrollo de una Inteligencia Artificial General \u2014y sus peligros\u2014 desde 2001 y es considerado como uno de los fundadores de este campo de investigaci\u00f3n. Acaba de publicar\u00a0<a href=\"https:\/\/time.com\/6266923\/ai-eliezer-yudkowsky-open-letter-not-enough\/\">una editorial en Time<\/a>\u00a0en la que plantea c\u00f3mo la moratoria de seis meses es mejor que nada, pero que la carta de la FLI \u00abpide demasiado poco\u00bb para solventar la amenaza que se nos plantea.<\/p>\n<p>Yudkowsky explica c\u00f3mo estamos en un campo inexplorado del que no se conocen los l\u00edmites:<\/p>\n<p>No podemos calcular por adelantado qu\u00e9 ocurrir\u00e1 y cu\u00e1ndo, y actualmente parece posible imaginar que un laboratorio de investigaci\u00f3n pueda cruzar l\u00edneas cr\u00edticas sin enterarse.<\/p>\n<p><strong>Una IA superinteligente nos matar\u00e1 a todos.\u00a0<\/strong>Aunque ha habido an\u00e1lisis \u2014como\u00a0<a href=\"https:\/\/www.lesswrong.com\/posts\/uMQ3cqWDPHhjtiesc\/agi-ruin-a-list-of-lethalities\">el suyo propio<\/a>\u2014 sobre los riesgos, para este experto la conclusi\u00f3n de sus reflexiones sobre el desarrollo de la IA es clara y contundente:<\/p>\n<p>El resultado m\u00e1s probable de construir una IA sobrehumanamente inteligente, bajo cualquier cosa remotamente parecida a las circunstancias actuales, es que literalmente todo el mundo en la Tierra morir\u00e1. No como en \u00abtal vez haya alguna remota posibilidad\u00bb, sino como en \u00abes obviamente lo que pasar\u00e1\u00bb.<\/p>\n<p><strong>No estamos preparados para sobrevivir a una s\u00faper IA<\/strong>. Yudkowsky cree que no podamos sobrevivir a algo as\u00ed sin precisi\u00f3n y preparaci\u00f3n. Sin ellas, explica, aparecer\u00e1 una IA que \u00abno haga lo que queramos y no le importemos ni nosotros ni por los seres vivos que sienten en general\u00bb. Ser\u00eda necesario imbuir ese sentimiento y preocupaci\u00f3n por esas vidas en la IA, pero actualmente \u00abno sabemos c\u00f3mo hacerlo\u00bb. Ante una IA de ese tipo y en la situaci\u00f3n actual, la lucha ser\u00eda f\u00fatil. Ser\u00eda \u00abcomo si el siglo XI intentara luchar contra el siglo XXI\u00bb.<\/p>\n<p><strong>GPT-5, AGI y autoconsciencia<\/strong>. Yudkowsky habla adem\u00e1s de c\u00f3mo \u00abno tenemos ni idea de c\u00f3mo determinar si los sistemas de IA son conscientes de s\u00ed mismos\u00bb porque\u00a0<a href=\"https:\/\/twitter.com\/EntangleIT\/status\/1639058096185294848\">no sabemos c\u00f3mo piensan<\/a>\u00a0y desarrollan sus respuestas. De hecho, plantea que si el salto entre\u00a0<a href=\"https:\/\/www.xataka.com\/basics\/gpt-4-que-como-funciona-como-usarlo-que-puedes-hacer-este-modelo-lenguaje-inteligencia-artificial\">GPT-4<\/a>\u00a0y un hipot\u00e9tico GPT-5 es de la misma magnitud que el de GPT-3 a GPT-4, \u00abya no podremos decir de forma justificable que esta IA probablemente no sea autoconsciente\u00bb. Ya se habla de GPT-5 como una inteligencia artificial general\u00a0<a href=\"https:\/\/interestingengineering.com\/innovation\/gpt-5-chatgpt-indistinguishable-human\">indistinguible de la inteligencia humana<\/a>.<\/p>\n<p><strong>Hay que parar totalmente el desarrollo de la IA<\/strong>. Para este experto la \u00fanica soluci\u00f3n es la de detener de forma total ese entrenamiento de futuras IAs. \u00abDebe ser indefinida y a nivel mundial. No puede haber excepciones, incluidos gobiernos y ej\u00e9rcitos\u00bb. \u00c9l apagar\u00eda todos los grandes\u00a0<em>clusters\u00a0<\/em>de GPUs en los que se realiza el entrenamiento de las IAs, pondr\u00eda un l\u00edmite al consumo energ\u00e9tico que se pudiera utilizar para sistemas de IA, e incluso monitorizar\u00eda las ventas de tarjetas gr\u00e1ficas. Habl\u00f3 incluso de \u00abestar dispuesto a correr el riesgo de que haya un intercambio nuclear\u00bb, algo que provoc\u00f3\u00a0<a href=\"https:\/\/www.vice.com\/en\/article\/ak3dkj\/ai-theorist-says-nuclear-war-preferable-to-developing-advanced-ai\">una gran pol\u00e9mica<\/a>\u00a0y que luego aclar\u00f3\u00a0<a href=\"https:\/\/twitter.com\/ESYudkowsky\/status\/1641953192761266177\">en un largo mensaje en Twitter<\/a>.<\/p>\n<p><strong>Tardaremos d\u00e9cadas en estar preparados<\/strong>. Yudkowsky recuerda que tardamos m\u00e1s de 60 a\u00f1os desde los inicios de esta disciplina en llegar aqu\u00ed, y podr\u00edamos tardar al menos 30 a\u00f1os en lograr estar preparados para un desarrollo seguro de la IA. Su conclusi\u00f3n es igual de determinante<\/p>\n<p>No estamos preparados. No estamos en el camino de estar significativamente m\u00e1s preparados a corto plazo. Si seguimos as\u00ed todos moriremos, incluyendo a ni\u00f1os que no eligieron esto y que no hicieron nada malo. Mat\u00e9moslo [el desarrollo de IAs].<\/p>\n<\/p>\n<p>it is possible at some point he will deserve the nobel peace prize for this\u2013I continue to think short timelines and slow takeoff is likely the safest quadrant of the short\/long timelines and slow\/fast takeoff matrix.<\/p>\n<p>\u2014 Sam Altman (@sama)\u00a0<a href=\"https:\/\/twitter.com\/sama\/status\/1621621725791404032?ref_src=twsrc%5Etfw\">February 3, 2023<\/a><\/p>\n<p><strong>El CEO de OpenAI discrepa<\/strong>. El discurso de Yudkowsky no es nuevo: lleva advirtiendo del peligro de desarrollar este tipo de IAs desde principios de los 2000. Sam Altman, CEO de OpenAI \u2014empresa responsable del desarrollo de\u00a0<a href=\"https:\/\/www.xataka.com\/basics\/chatgpt-que-como-usarlo-que-puedes-hacer-este-chat-inteligencia-artificial\">ChatGPT<\/a>\u00a0o GPT-4\u2014 no est\u00e1 de acuerdo con esas afirmaciones y conoce muy bien a Yudkowski. En\u00a0<a href=\"https:\/\/twitter.com\/sama\/status\/1628974165335379973\">este selfie<\/a>\u00a0reciente, por ejemplo, posaba con \u00e9l y con la pareja de Musk, la cantante Grimes.<\/p>\n<p><strong>\u00bfPaso a paso?<\/strong>\u00a0Como indicaban\u00a0<a href=\"https:\/\/www.bloomberg.com\/news\/newsletters\/2023-03-08\/openai-ceo-sam-altman-s-twitter-feud-with-ai-doomer-eliezer-yudkowsky-explained\">en Bloomberg<\/a>\u00a0antes incluso de que se publicara la editorial de Time, Altman hablaba en Twitter de ese futuro desarrollo de una inteligencia artificial general:<\/p>\n<p>Habr\u00e1 momentos aterradores a medida que avancemos hacia sistemas de nivel AGI y perturbaciones significativas, pero las ventajas pueden ser tan asombrosas que bien merece la pena superar los grandes retos para llegar hasta all\u00ed.<\/p>\n<p>El propio Altman reconoc\u00eda en una\u00a0<a href=\"https:\/\/abcnews.go.com\/Technology\/openai-ceo-sam-altman-ai-reshape-society-acknowledges\/story?id=97897122\">entrevista con ABCNews<\/a>\u00a0esa preocupaci\u00f3n por el desarrollo de estas inteligencias artificiales. \u00abTenemos que tener cuidado. Creo que la gente deber\u00eda estar feliz con el hecho de que estemos un poco aterrorizados con esto\u00bb. A\u00fan as\u00ed, aclaraba, sus desarrollos \u00abesperan que alguien les d\u00e9 una entrada. Es una herramienta que est\u00e1 muy controlada por el ser humano\u00bb.<\/p>\n<p><strong>Recordando a Oppenheimer<\/strong>. En una\u00a0<a href=\"https:\/\/www.nytimes.com\/2023\/03\/31\/technology\/sam-altman-open-ai-chatgpt.html\">entrevista en The New York Times<\/a>\u00a0el editor recordaba c\u00f3mo en un encuentro previo en 2019 Altman cit\u00f3 a Robert Oppenheimer, uno de los m\u00e1ximos responsables de la creaci\u00f3n de la bomba at\u00f3mica. Entonces dijo que \u00abla tecnolog\u00eda ocurre porque es posible\u00bb. Para \u00e9l, explicaba, la inteligencia artificial era tan inevitable ahora como lo fue el Proyecto Manhattan entonces.<\/p>\n<div class=\"article-asset-video article-asset-normal\">\n<div class=\"asset-content\">\n<div class=\"\">\n<div class=\"js-dailymotion\">\n<div class=\"dailymotion-player-root dailymotion-player-xbl2m\">\n<div class=\"dailymotion-player-wrapper\"><\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<p><strong>Y en OpenAI prometen un desarrollo seguro y responsable<\/strong>. Ese es el mensaje de\u00a0<a href=\"https:\/\/openai.com\/safety\">uno de los apartados de su sitio web<\/a>. En \u00e9l se explica c\u00f3mo \u00ablos sistemas de IA se est\u00e1n convirtiendo en parte de la vida cotidiana. La clave est\u00e1 en garantizar que estas m\u00e1quinas est\u00e9n alineadas con las intenciones y los valores humanos\u00bb. El mensaje es ese, pero lo cierto es que aunque originalmente compart\u00edan abiertamente la informaci\u00f3n sobre sus avances, la empresa\u00a0<a href=\"https:\/\/www.xataka.com\/robotica-e-ia\/nos-equivocamos-ia-openai-era-demasiado-abierta-asi-que-gpt-4-impera-secretismo-absoluto\">se ha vuelto mucho m\u00e1s cauta<\/a>\u00a0en lo que revela de sus proyectos.<\/p>\n<p><strong>Pero no tienen claro c\u00f3mo hacerlo (y tienen secretos)<\/strong>. Los propios responsables de OpenAI\u00a0<a href=\"https:\/\/openai.com\/blog\/our-approach-to-alignment-research\">explican en su blog<\/a>\u00a0c\u00f3mo plantean un desarrollo \u00abiterativo y emp\u00edrico\u00bb para ir paso a paso, pero reconocen que ese \u00abalineamiento\u00bb de la inteligencia artificial general es complejo de lograr, algo que el propio Yudkowsky\u00a0<a href=\"https:\/\/twitter.com\/ESYudkowsky\/status\/1070095112791715846\">se\u00f1alaba en 2018<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>La semana pasada el Future of Life Institute (FLI)\u00a0public\u00f3 una carta abierta\u00a0con una petici\u00f3n contundente: pausar el desarrollo y entrenamiento de nuevas inteligencias artificiales durante seis meses. La carta estaba firmada por\u00a0personalidades como Elon Musk, y en ella se mostraba una gran preocupaci\u00f3n por este fren\u00e9tico desarrollo sin pensar en las consecuencias. Ahora un experto &hellip;<\/p>\n","protected":false},"author":0,"featured_media":54096,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[5],"tags":[],"class_list":["post-54095","post","type-post","status-publish","format-standard","has-post-thumbnail","","category-noticias"],"jetpack_sharing_enabled":true,"jetpack_featured_media_url":"https:\/\/mickyandoniehn.com\/radio\/wp-content\/uploads\/2023\/04\/450_1000-DfXTVg.jpeg","_links":{"self":[{"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/posts\/54095","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/comments?post=54095"}],"version-history":[{"count":0,"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/posts\/54095\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/media\/54096"}],"wp:attachment":[{"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/media?parent=54095"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/categories?post=54095"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/mickyandoniehn.com\/radio\/wp-json\/wp\/v2\/tags?post=54095"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}