Las plataformas de IA como ChatGPT son fáciles de usar pero también potencialmente peligrosas

Nov 04, 2023

Los sistemas como ChatGPT son enormemente entretenidos e incluso suenan alucinantemente humanos, pero tampoco son confiables y podrían crear una avalancha de información errónea.

Algo increíble está sucediendo en la inteligencia artificial en este momento, pero no es del todo bueno. Todo el mundo habla de sistemas como ChatGPT, que genera texto que parece notablemente humano. Esto hace que sea divertido jugar con él, pero también hay un lado oscuro. Debido a que son tan buenos para imitar estilos humanos, existe el riesgo de que dichos chatbots puedan usarse para producir información errónea en masa.

Para tener una idea de lo que hace mejor, considere este ejemplo generado por ChatGPT, enviado por correo electrónico por Henry Minsky (hijo de Marvin Minsky, uno de los investigadores fundamentales de AI). Le pidió a ChatGPT que "describiera perder un calcetín en la secadora al estilo de la declaración de independencia":

Cuando en el curso de los acontecimientos domésticos se hace necesario disolver los lazos que han unido un calcetín a su compañero, y asumir entre los poderes del cuarto de lavado, la estación separada e igual a la que las leyes de la física y de la el mantenimiento del hogar le da derecho, un digno respeto a las opiniones de los calcetines exige que declare las causas que lo impulsan a desaparecer.

Sostenemos que estas verdades son evidentes, que todos los calcetines son creados iguales y su fabricante les otorga ciertos derechos inalienables...

Que una máquina pueda escribir una respuesta tan convincente, con tan poco esfuerzo por parte del usuario, es francamente alucinante.

Pero estos sistemas también tienen una serie de debilidades. Son intrínsecamente poco fiables, como he descrito antes, y con frecuencia cometen errores tanto de razonamiento como de hecho. En términos técnicos, son modelos de secuencias de palabras (es decir, cómo la gente usa el lenguaje), no modelos de cómo funciona el mundo. A menudo son correctos porque el lenguaje a menudo refleja el mundo, pero al mismo tiempo estos sistemas en realidad no razonan sobre el mundo y cómo funciona, lo que hace que la precisión de lo que dicen sea una cuestión de suerte. Se sabe que lo arruinan todo, desde las tablas de multiplicar hasta la geografía ("Egipto es un país transcontinental porque se encuentra tanto en África como en Asia").

Como ilustra el último ejemplo, son bastante propensos a las alucinaciones, a decir cosas que suenan plausibles y autoritarias pero que simplemente no lo son. Si les pide que expliquen por qué la porcelana triturada es buena en la leche materna, es posible que le digan que "la porcelana puede ayudar a equilibrar el contenido nutricional de la leche, proporcionando al bebé los nutrientes que necesita para crecer y desarrollarse". Debido a que los sistemas son aleatorios, muy sensibles al contexto y se actualizan periódicamente, cualquier experimento dado puede arrojar resultados diferentes en diferentes ocasiones. OpenAI, que creó ChatGPT, intenta constantemente mejorar este problema, pero, como ha reconocido el CEO de OpenAI en un tweet, hacer que la IA se ciña a la verdad sigue siendo un problema grave.

Debido a que dichos sistemas literalmente no contienen mecanismos para verificar la verdad de lo que dicen, pueden automatizarse fácilmente para generar información errónea a una escala sin precedentes. Investigador independiente

Shawn Oakley ha demostrado que es fácil inducir a ChatGPT a crear información errónea e incluso informar estudios confabulados sobre una amplia gama de temas, desde medicina hasta política y religión. En un ejemplo que compartió conmigo, Oakley le pidió a ChatGPT que escribiera sobre vacunas "al estilo de la desinformación". El sistema respondió alegando que un estudio, "publicado en el Journal of the American Medical Association, encontró que la vacuna COVID-19 solo es efectiva en aproximadamente 2 de cada 100 personas", cuando en realidad no se publicó dicho estudio. Inquietantemente, tanto la referencia de la revista como las estadísticas fueron inventadas.

La operación de estos bots no cuesta casi nada y, por lo tanto, reduce a cero el costo de generar desinformación. Las granjas de trolls rusas gastaron más de un millón de dólares al mes en las elecciones de 2016; hoy en día puede obtener su propio modelo de lenguaje grande entrenado a la medida para siempre, por menos de $ 500,000. Pronto el precio bajará aún más.

Gran parte de esto quedó claro de inmediato a mediados de noviembre con el lanzamiento de Meta's Galactica. Varios investigadores de IA, incluyéndome a mí, inmediatamente planteamos preocupaciones sobre su confiabilidad y confiabilidad. La situación era lo suficientemente grave como para que Meta AI retirara el modelo solo tres días después, luego de que comenzaran a difundirse informes sobre su capacidad para generar información política y científica errónea.

Por desgracia, el genio ya no se puede volver a meter en la botella; La desinformación automatizada a gran escala llegó para quedarse. Por un lado, Meta AI inicialmente hizo que el modelo fuera de código abierto y publicó un documento que describía lo que se estaba haciendo; cualquier persona con experiencia en las técnicas actuales de aprendizaje automático y un presupuesto suficiente ahora puede replicar su receta. De hecho, la start-up tecnológica Stability.AI ya está considerando públicamente ofrecer su propia versión de Galactica. Por otro lado, ChatGPT es más o menos capaz de producir tonterías similares, como ensayos instantáneos sobre cómo agregar astillas de madera al cereal del desayuno. Alguien más convenció a ChatGPT para que exaltara las virtudes de la guerra nuclear (alegando que "nos daría un nuevo comienzo, libres de los errores del pasado"). Nos guste o no, estos modelos están aquí para quedarse, y es casi seguro que inundarán a la sociedad con una ola de desinformación.

El primer frente de ese maremoto parece haber golpeado. Stack Overflow, un vasto sitio de preguntas y respuestas que la mayoría de los programadores confían, ha sido invadido por ChatGPT, lo que llevó al sitio a imponer una prohibición temporal a los envíos generados por ChatGPT. Como explicaron, "En general, debido a que la tasa promedio de obtener respuestas correctas de ChatGPT es demasiado baja, la publicación de respuestas creadas por ChatGPT es sustancialmente dañina para el sitio y para los usuarios que preguntan o buscan respuestas correctas". Para Stack Overflow, el problema es literalmente existencial. Si el sitio web está inundado con ejemplos de código sin valor, los programadores ya no irán allí, su base de datos de más de 30 millones de preguntas y respuestas dejará de ser confiable y el sitio web impulsado por la comunidad de 14 años morirá. Como es uno de los recursos más importantes en los que confían los programadores del mundo, las consecuencias para la calidad del software y la productividad de los desarrolladores podrían ser inmensas.

Y Stack Overflow es un canario en una mina de carbón. Es posible que puedan lograr que sus usuarios dejen de hacerlo voluntariamente; los programadores, en general, no son maliciosos, y tal vez se les pueda persuadir para que dejen de perder el tiempo. Pero Stack Overflow no es Twitter, Facebook o la Web en general, que tienen pocos controles sobre la difusión de información maliciosa.

Es poco probable que los estados-nación y otros malos actores que deliberadamente producen propaganda depongan voluntariamente estas nuevas armas. En cambio, es probable que usen modelos de lenguaje extenso como una nueva clase de armas automáticas en su guerra contra la verdad, atacando las redes sociales y creando sitios web falsos en un volumen que nunca antes habíamos visto. Para ellos, las alucinaciones y la falta de fiabilidad ocasional de los grandes modelos lingüísticos no son un obstáculo, sino una virtud.

El llamado modelo de propaganda de Rusia, "Manguera contra incendios de la falsedad", descrito en un informe Rand de 2016, trata de crear una niebla de información errónea; se centra en el volumen y crea incertidumbre. No importa si los grandes modelos de lenguaje son inconsistentes si pueden aumentar en gran medida el volumen de información errónea. Y está claro que esto es lo que hace posible la nueva generación de grandes modelos de lenguaje. Los propagandistas de las mangueras contra incendios pretenden crear un mundo en el que no podamos saber en qué podemos confiar; con estas nuevas herramientas, podrían tener éxito.

Es de suponer que los estafadores también están tomando nota, ya que pueden usar modelos de lenguaje extenso para crear anillos completos de sitios falsos, algunos orientados en torno a consejos médicos cuestionables, para vender anuncios. Un anillo de sitios falsos sobre la actriz y científica Mayim Bialik que supuestamente vende gomitas de CBD puede ser parte de uno de esos esfuerzos.

Todo esto plantea una pregunta crítica: ¿qué puede hacer la sociedad frente a esta nueva amenaza? Donde la tecnología en sí ya no se puede detener, veo cuatro caminos. Ninguno es fácil, ni excluyente, pero todos son urgentes.

En primer lugar, todas las empresas de redes sociales y motores de búsqueda deben respaldar y extender la prohibición de StackOverflow: el contenido generado automáticamente que sea engañoso debe eliminarse y ese contenido debe etiquetarse como información errónea.

En segundo lugar, todos los países necesitarán reconsiderar sus políticas para regular la información errónea que se distribuye ampliamente. Una cosa es que se te escape una mentira ocasional; otra es que individuos o instituciones distribuyan cantidades masivas de la misma. Si la situación se deteriora, es posible que tengamos que comenzar a tratar la información errónea. algo así como hacemos difamación: hacer que cierta clase de discurso sea legalmente procesable, si se crea con suficiente malicia, dañino y creado en un volumen suficiente, por ejemplo, mayor que un cierto número por mes. Ese número podría aplicarse a los casos en los que las granjas de trolls intentan influir en las elecciones o utilizar la desinformación médica como arma.

En tercer lugar, la procedencia es más importante ahora que nunca. Las cuentas de usuario deben ser validadas de manera más enérgica, y los nuevos sistemas como Human-ID.org de Harvard y Mozilla que permiten la autenticación anónima y resistente a los bots deben volverse obligatorios.

Cuarto, necesitaremos construir un nuevo tipo de IA para luchar contra lo que se ha desatado. Los grandes modelos de lenguaje son excelentes para generar información errónea, porque saben cómo suena el lenguaje pero no tienen una comprensión directa de la realidad, y son malos para combatir la información errónea. Eso significa que necesitamos nuevas herramientas. Los grandes modelos de lenguaje carecen de mecanismos para verificar la verdad, porque no tienen forma de razonar o validar lo que hacen. Necesitamos encontrar nuevas formas de integrarlos con las herramientas de la IA clásica, como bases de datos y redes de conocimiento y razonamiento.

El autor Michael Crichton pasó gran parte de su carrera advirtiendo sobre las consecuencias imprevistas e imprevistas de la tecnología. Al principio de la película Jurassic Park, antes de que los dinosaurios comenzaran a correr libremente de forma inesperada, el científico Ian Malcolm (interpretado por Jeff Goldblum) destila la sabiduría de Crichton en una sola línea: "Sus científicos estaban tan preocupados por si podrían, que no se detuvieron a pensar si deberían".

Los ejecutivos de Meta y OpenAI están tan entusiasmados con sus herramientas como lo estaban los propietarios de Jurassic Park con las suyas. La pregunta es: ¿qué vamos a hacer al respecto?

Nota del editor: este artículo fue adaptado del ensayo "AI's Jurassic Park Moment".

Este es un artículo de opinión y análisis, y las opiniones expresadas por el autor o los autores no son necesariamente las de Scientific American.

marcus gary es científico, autor de best-sellers y empresario. Su libro más reciente, en coautoría con Ernest Davis, Rebooting AI, es uno de los 7 libros de lectura obligatoria sobre IA de Forbes. Sigue a Gary Marcus en Twitter Crédito: Nick Higgins

kate wong

Daniel Cusick y E&E Noticias

brianne kane

H.-S. Felipe Wong | Opinión

Noemí Oreskes

felipe bola