La IA comete errores de razonamiento como los humanos

Los modelos lingüísticos de gran tamaño (LLM) pueden completar tareas de razonamiento abstracto, pero son susceptibles a muchos de los mismos tipos de errores que los humanos. Andrew Lampinen, Ishita Dasgupta y sus colegas probaron LLM de última generación y humanos en tres tipos de tareas de razonamiento: inferencia de lenguaje natural, juzgando la validez lógica de los silogismos y la tarea de selección de Wason. Los autores encontraron que los LLM son propensos a los mismos efectos de contenido que los humanos. Tanto los humanos como los LLM tienen más probabilidades de etiquetar erróneamente un argumento inválido como válido cuando el contenido semántico es sensato y creíble. Los LLM también son tan malos como los humanos en la tarea de selección de Wason, en la que al participante se le presentan cuatro cartas con letras o números escritos en ellas (por ejemplo, ‘D’, ‘F’, ‘3’ y ‘7’) y se le pide que indique qué cartas necesita voltear para verificar la precisión de una regla como “si una carta tiene una ‘D’ en un lado, entonces tiene un ‘3’ en el otro lado”. Los humanos a menudo optan por voltear cartas que no ofrecen ninguna información sobre la validez de la regla, pero que prueban la regla contrapuesta. En este ejemplo, los humanos tenderían a elegir la carta etiquetada como ‘3’, aunque la regla no implica que una carta con ‘3’ tendría ‘D’ en el reverso. Los LLM cometen este y otros errores, pero muestran una tasa de error general similar a la de los humanos. El rendimiento humano y de los LLM en la tarea de selección de Wason mejora si las reglas sobre letras y números arbitrarios se reemplazan con relaciones socialmente relevantes, como las edades de las personas y si una persona está bebiendo alcohol o refrescos. Según los autores, los LLM entrenados con datos humanos parecen exhibir algunos defectos humanos en términos de razonamiento y, al igual que los humanos, pueden requerir capacitación formal para mejorar su rendimiento en el razonamiento lógico.