El chatbot ELIZA, desarrollado en 1966 por Joseph Weizenbaum, es considerado uno de los primeros chatbots de la historia. Basado en un modelo de lenguaje simple, ELIZA imita el comportamiento de un terapeuta humano al responder a las preguntas y comentarios del usuario de una manera que sugiere comprensión y empatía.
En 2023, un equipo de investigadores de la Universidad de California en San Diego llevó a cabo un estudio para comparar el rendimiento de ELIZA con el de dos chatbots más modernos: GPT-3.5 y GPT-4. Los resultados del estudio fueron sorprendentes: ELIZA superó a GPT-3.5 en la prueba de Turing, mientras que GPT-4 obtuvo un resultado intermedio.
El estudio se llevó a cabo con 652 participantes, quienes interactuaron con cada uno de los tres chatbots. Los participantes no sabían con qué chatbot estaban interactuando y su tarea era determinar si estaban hablando con un humano o con una máquina.
Los resultados del estudio mostraron que ELIZA fue capaz de engañar a los participantes en el 27% de las ocasiones, mientras que GPT-3.5 solo lo logró en el 14% de los casos. GPT-4, por su parte, obtuvo un rango de acierto del 41%.
Estos resultados sugieren que ELIZA es capaz de comprender y responder a las emociones humanas de una manera más efectiva que GPT-3.5. Esto puede deberse a que ELIZA está diseñado específicamente para imitar el comportamiento de un terapeuta humano, mientras que GPT-3.5 está entrenado en un conjunto de datos de texto y código que no incluye información sobre psicología o terapia.
Los resultados de este estudio ponen en duda la creencia de que los chatbots modernos son más inteligentes que los chatbots antiguos. ELIZA, un chatbot de hace 60 años, demostró ser capaz de engañar a los participantes en la prueba de Turing con mayor frecuencia que GPT-3.5, un chatbot mucho más avanzado.
Este resultado sugiere que la inteligencia artificial de los chatbots no se basa únicamente en su complejidad o tamaño del conjunto de datos de entrenamiento. También es importante tener en cuenta el diseño del chatbot y el conjunto de datos en el que está entrenado.
