Dos preguntas complementarias demuestran una carencia esencial de ChatGPT:
- ¿Puede el primo de mi primo ser mi hijo?
- ¿Puede mi hijo ser primo de mi primo?
Curiosamente en inglés responde de la misma manera contradictoria.
¿Por qué responde una cosa y la contraria?
Estos modelos de lenguaje tan de moda sencillamente no tratan de entender la pregunta, ni mucho menos la respuesta.
Se trata de algoritmos de predicción, aplican la misma idea que los autocompletadores de texto de los móviles solo que a una escala colosal.
¿Cómo funciona?
Su objetivo es producir un texto que sea una buena continuación, que encaje bien, con el "prompt" que se introduce. Lo hacen un poco a fuerza bruta, evaluando millones, quizás trillones, de combinaciones de "tokens". Las aleatoriedad de las parrafadas generadas se puede tunear en base a un parámetro llamado "temperatura", que en la versión web está alta. Luego se contrastan con una versión "aprendida" de una inmensa base de datos de textos humanos. Se elige la parrafada con mayor "probabilidad" de colar por buena. Si esa probabilidad es demasiado baja (parámetro ajustable), puede intentarlo de nuevo, hacer un sofrito (otra pasada) de las opciones menos malas, o simplemente soltar un "Lo siento no tengo ni papa" (todavía no tiene mucho arte pero al tiempo).
El "Understanding"
Este algoritmo no tiene conocimiento, literalmente. No es parte de su diseño, como sí lo es de otros que de momento no lo han petado tanto. No trata de extraer conceptos. Por como responde a las preguntas aquí presentadas se diría que ni siquiera analiza las frases.
Se podría concluir de manera simplista que lo que triunfa en Internet son los textos abundantes y poco reflexivos y era cuestión de tiempo que alguien lo automatizara. Como es lo que abunda, es lo que aprenden las AIs. De momento.
Referencias
- On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜
- https://ai.plainenglish.io/mastering-the-gpt-3-temperature-parameter-with-ruby-af727cba3b5c
- ChatGPT’s Electricity Consumption
- https://www.reddit.com/r/ChatGPT/comments/11fq4o9/temperature_parameter_in_chatgpt_api/
