Think. Make. Change | Shifta by Elisava |||
Aug 9, 2020 inteligencia artificial, GTP3, creatividad Escrito por: Karma Peiró, Ricardo Baeza-Yates

GPT-3: ¿La esperada creatividad literaria de la inteligencia artificial?

Todo lo que tengo que hacer es escribir un mensaje y la máquina agrega texto de manera plausible y coherente. Así he conseguido componer canciones, relatos, poemas, notas de prensa, partituras de guitarra, memes, imágenes, emails , código de programación, entrevistas a supuestos personajes políticos y hasta manuales técnicos con instrucciones a seguir para poner en funcionamiento un aparato ficticio. El GPT-3 es inquietantemente bueno escribiendo cualquier cosa”, explica Arram Sabeti, un científico que ha tenido la oportunidad de probar este modelo avanzado de generación de texto que está causando furor entre expertos de la IA y el aprendizaje profundo (deep learning). Y añade: Es divertido y aterrador a la vez. Siento que he visto el futuro.

Al modelo GPT-3 se le han concedido muchas medallas en unos meses, quizás porque todavía pocos han tenido la oportunidad de probarlo y compararlo con las capacidades creativas humanas. ¿De qué estamos hablando? ¿De otra súper máquina? ¿De un nuevo paso de la inteligencia artificial que hará imposible distinguir si el creador fue un ordenador o una persona?

Todas las obras de la literatura mundial del pasado serán relacionadas con sus autores, pero en el futuro… ¿el arte se atribuirá al anonimato de las máquinas?”

Los autores de este artículo ya explicamos el año pasado que una novela escrita por una máquina había ganado un premio literario japonés, siendo el jurado incapaz de detectarlo. ¡Eso fue en el 2016! ¿Dónde está la novedad ahora? ¿Quizás en que el GPT-3 abre la puerta a obviar la autoría de las creaciones artísticas y dar importancia a las emociones o el conocimiento que transmite el contenido creado? Todas las obras de la literatura mundial del pasado serán relacionadas con sus autores, pero en el futuro… ¿el arte se atribuirá al anonimato de las máquinas? ¿Diremos que la autoría es de un modelo inteligente capaz de crear una obra maestra o del texto inicial que sirvió para generarla?

¿Cómo funciona la generación inteligente de texto?

El Generative Pre-Trained Transformer (GPT-3) es una red neuronal profunda generadora de texto creada por OpenAI, una empresa de investigación de San Francisco. El GPT-3 es –hasta la fecha– el mayor modelo de lenguaje creado. En noviembre del año pasado, OpenAI lanzó el modelo anterior –el GPT-2– como la gran revolución porque contenía entrenamiento previo sobre 1,5 mil millones de parámetros que definen las capas y las conexiones de la red neuronal. El GPT-3 posee 175 mil millones de parámetros y ha sido entrenado con cerca de un billón de palabras recopiladas de la Web y libros digitalizados, lo que hace que su predecesor GPT-2, anunciado en febrero de 2019, que usa 1,5 mil millones de parámetros parezca ridículo comparativamente. Los anteriores modelos más grandes eran Turing NLG de Microsoft de febrero de 2020 con 17 mil millones de parámetros y T5 de Google de noviembre de 2019, que tiene sólo 11 mil millones de parámetros.

¿Pero cómo funciona este modelo y qué hace exactamente? No es fácil explicarlo en términos sencillos. Imaginen una máquina que lee una frase y aprende cuál es la frase que viene a continuación. Y así sucesivamente. El problema de este esquema es que necesitamos leer el texto secuencialmente y si es muy largo se debe invertir mucho tiempo. Para solucionar ese problema, en 2017 se inventó una arquitectura de red neuronal, es decir una forma de interconectar la red, llamada Transformer, que permite procesar las frases en paralelo. Lo que implica poder usar más datos y disminuir el tiempo de entrenamiento. Esta tecnología ha sido usada hasta ahora para la traducción de textos, generación de resúmenes y de documentos en general, reconocimiento de voz y análisis de secuencias biológicas.

Image for postImage for post

Detrás de cada NO: no lo que no se ve

El GPT-3 memorizó las formas de innumerables géneros y estilos narrativos, además de situaciones diversas, desde tutoriales de programación de ordenadores hasta escritura deportiva. Los resultados pueden ser técnicamente impresionantes y también divertidos o estimulantes, como se ha podido comprobar ya con poemas, entrevistas o canciones. Pero también ha recibido sus críticas. Uno de los motivos es que a menudo, devuelve contradicciones o tonterías porque, en realidad, su generación de palabras no se guía por ninguna comprensión coherente del contexto.

Los destacados investigadores Gary Marcus y Ernest Davis mencionan la falta de precisión del GPT-3, además de acusar a OpenAI de violar la ética científica por no permitir acceder al código para investigar, a pesar que está ligada a una organización sin ánimo de lucro.

Estos modelos generarán como mucho obras que emularán otras grandes obras, pero nunca serán originales, pues la originalidad es justo lo que no está en los datos”.

Otro de los fallos detectados en esta versión beta del GPT-3 son los sesgos. Lo cual tiene lógica si los algoritmos aprendieron de billones de palabras extraídas de la Web. El director de inteligencia artificial de Facebook, Jerome Pesenti, acusó a OpenAI de haber lanzado un modelo poco fiable y tuiteó capturas de pantalla de tweets creados con GPT-3que asocia a los judíos con el amor por el dinero y a las mujeres con un mal sentido de la orientación. Esto no es sorprendente, pues GPT-3 aprende de los sesgos humanos y no ha sido entrenado para evitar textos ofensivos.

Expertos también critican que GPT-3 es sólo una versión más grande de GPT-2 pero que no le agrega en realidad inteligencia, sino más parámetros y más datos. En otras palabras, es como tener un ordenador con más memoria.

Simplemente ejecuta…

Pero no perdamos el foco de lo importante. Este tipo de inteligencia artificial no piensa como los humanos, simplemente ejecuta. Lo cual quiere decir que procesa la entrada textual en función de los datos con que ha sido previamente entrenado.

Image for postImage for post

La inteligencia artificial no piensa como los humanos, simplemente ejecuta (Imagen: Pixabay)

Los mismos creadores del GPT-3 reconocenque aunque la calidad es alta en general, las muestras se repiten semánticamente, pierden coherencia en pasajes largos como podría ser un libro de centenares de páginas, se contradicen y contienen oraciones o párrafos sin sentido”. Si comparamos la creatividad del GPT-3 con la de los humanos, nosotros todavía somos capaces de mantener un argumento de manera persistente, mientras que el modelo inteligente pierde el enfoque y olvida en pasajes más largos.

Por lo tanto, la respuesta a la mayoría de las preguntas que planteábamos al inicio de este artículo es que Cervantes o Shakespeare pueden estar tranquilos. Estos modelos generarán como mucho obras que emularán otras grandes obras, pero nunca serán originales, pues la originalidad es justo lo que no está en los datos. Así como hay peritos que permiten distinguir buenas imitaciones de una pintura maestra, habrán peritos que podrán distinguir imitaciones literarias. Y lo más probable es que los mejores peritos, también usen inteligencia artificial. Paradójico, ¿no?

NOTA: El mismo día que se publicó este artículo, The Guardian publicaba otroexagerando las capacidades del GPT-3, que rápidamente fue criticado por la comunidad experta.


Karma Peiró es periodista especializada en Tecnologías de la Información y la Comunicación desde 1995. Sus intereses actuales son explorar las aplicaciones de la ética en la inteligencia artificial y promover la transparencia algorítmica.

Ricardo Baeza-Yates es Ph.D. en Ciencia de la Computación y Director de Ciencia de Datos de Northeastern University (campus Silicon Valley, EE.UU), además de investigador a tiempo parcial en universidades de Catalunya y Chile. Es miembro del Consejo de IA de España y Fellow de ACM e IEEE.

Karma y Ricardo son colabores asiduos de We Are Shifta.

Up next Los sistemas de distribución online y cómo aprovechar el algoritmo a tu favor Seis proyectos fotográficos para mirar sin ser visto
Latest posts Ilustrar en 3D Entrevista a Paadin, Data and Design La ‘black box’ de las ideas El poder de las narrativas 5 recomendaciones de libros sobre diseño y creatividad Sobre restauración pre y post covid 8 piezas que elevan cualquier proyecto de interiores Sin emoción no hay diseño Entrevista a Wenceslao Sanz, Head of Design & New Formats Storytelling y posverdad Wayfinding, cuando no todos los caminos conducen a Roma Realidad Aumentada y marcas 6 tendencias en contenido para este 2021 Dirección de Arte en Instagram Entrevista a Xesco Serrano, Director Creativo Casas de quita y pon. Nuevos paradigmas de la vivienda post-COVID Cómo consume contenido la generación centennial 4 trabajos de Diseño Editorial que te van a gustar Twitter, la nueva meca para los fotógrafos Cómo consume contenido la generación centennial Cómo sería tu Influencer Marketing si supieses el ROI Provoke, cuando la fotografía se independizó de la palabra Entrevista a Pedro Arilla, editor de Don Serifa La tipografía de nuestro tiempo: caótica y ecléctica 8 artistas a seguir en Instagram Entrevista a Máximo Gavete Head of Design en Devengo Contar historias con Motion Graphics La importancia de decir bien las cosas: Propósito para el nuevo año 2021: Tendencias entretenimiento digital Color: cómo influye en el diseño, tendencias y recursos Nuestro 2020 en seis titulares