Los científicos se topan con muchos obstáculos al intentar construir y escalar sistemas parecidos al cerebro que puedan realizar aprendizaje automático. Por ejemplo, las redes neuronales artificiales son capaces de aprender tareas complejas de lenguaje y visión, pero el proceso de entrenar a las computadoras para que realicen estas tareas es lento y requiere mucha energía.
Entrenar máquinas para que aprendan digitalmente pero realicen tareas de forma analógica, lo que significa que la entrada varía con una cantidad física, como el voltaje, puede reducir el tiempo y la energía, pero los pequeños errores pueden acumularse rápidamente. Una red eléctrica que los investigadores de física e ingeniería de la Universidad de Pensilvania diseñaron previamente es más escalable porque los errores no se acumulan de la misma manera que el tamaño del sistema crece, pero está severamente limitada ya que solo puede aprender tareas lineales, aquellas con una relación simple entre la entrada y la salida.
Ahora, los investigadores han creado un sistema analógico que es rápido, de bajo consumo, escalable y capaz de aprender tareas más complejas, incluidas las relaciones “exclusivas o” (XOR) y la regresión no lineal. Esto se llama red de aprendizaje local contrastivo; los componentes evolucionan por sí mismos basados en reglas locales sin conocimiento de la estructura más grande. El profesor de física Douglas J. Durian lo compara con cómo las neuronas en el cerebro humano no saben lo que están haciendo otras neuronas y, sin embargo, surge el aprendizaje.
“Puede aprender, en el sentido del aprendizaje automático, a realizar tareas útiles, similar a una red neuronal computacional, pero es un objeto físico”, dice el físico Sam Dillavou, un posdoctorado en el Grupo de Investigación Durian y primer autor de un artículo sobre el sistema publicado en Proceedings of the National Academy of Sciences.
“Una de las cosas que realmente nos entusiasma es que, debido a que no tiene conocimiento de la estructura de la red, es muy tolerante a los errores, es muy robusto a ser hecho de diferentes maneras, y creemos que eso abre muchas oportunidades para escalar estas cosas”. arriba”, dice el profesor de ingeniería Marc Z. Miskin.
“Creo que es un sistema modelo ideal que podemos estudiar para obtener información sobre todo tipo de problemas, incluidos los problemas biológicos”, dice la profesora de física Andrea J. Liu. También dice que podría ser útil para interactuar con dispositivos que recopilan datos que requieren procesamiento, como cámaras y micrófonos.
En el artículo, los autores dicen que su sistema de autoaprendizaje “brinda una oportunidad única para estudiar el aprendizaje emergente. En comparación con los sistemas biológicos, incluido el cerebro, nuestro sistema se basa en dinámicas más simples y bien entendidas, es precisamente entrenable y utiliza componentes modulares simples”.
Esta investigación se basa en el marco de Aprendizaje Acoplado que Liu y el posdoctorado Menachem (Nachi) Stern idearon, publicando sus hallazgos en 2021. En este paradigma, un sistema físico que no está diseñado para realizar una determinada tarea se adapta a las entradas aplicadas para aprender la tarea, mientras utiliza reglas de aprendizaje locales y ningún procesador centralizado.
Dillavou dice que vino a Penn específicamente para este proyecto, y trabajó en traducir el marco de funcionar en la simulación a funcionar en su diseño físico actual, que se puede hacer usando componentes de circuitos estándar. “Una de las partes más locas de esto es que realmente está aprendiendo por sí solo; solo lo estamos configurando para que funcione”, dice Dillavou. Los investigadores solo introducen voltajes como entrada, y luego los transistores que conectan los nodos actualizan sus propiedades según la regla de Aprendizaje Acoplado.
“Debido a que la forma en que calcula y aprende se basa en la física, es mucho más interpretable”, dice Miskin. “En realidad puedes averiguar qué está tratando de hacer porque tienes un buen control del mecanismo subyacente. Eso es algo único porque muchos otros sistemas de aprendizaje son cajas negras donde es mucho más difícil saber por qué la red hizo lo que hizo”.
Durian dice que espera que esto “sea el comienzo de un campo enorme”, y señala que otro posdoctorado en su laboratorio, Lauren Altman, está construyendo versiones mecánicas de redes de aprendizaje local contrastivas.
Los investigadores actualmente están trabajando para escalar el diseño, y Liu dice que hay muchas preguntas sobre la duración del almacenamiento de memoria, los efectos del ruido, la mejor arquitectura para la red y si existen mejores formas de no linealidad.
“Realmente no está claro qué cambia a medida que ampliamos un sistema de aprendizaje”, dice Miskin. “Si piensas en un cerebro, hay una gran brecha entre un gusano con 300 neuronas y un ser humano, y no es obvio dónde emergen esas capacidades, cómo las cosas cambian a medida que escalas. Tener un sistema físico que puedes hacer más grande y más grande y más grande y más grande es una oportunidad para estudiar eso en realidad”.
Sam Dillavou es un posdoctorado en el Grupo de Investigación Durian.
Douglas J. Durian es el Profesor Mary Amanda Wood de Física y Astronomía en la Escuela de Artes y Ciencias.
Marc Z. Miskin es profesor asistente de ingeniería eléctrica y de sistemas en la Escuela de Ingeniería y Ciencias Aplicadas.
Andrea J. Liu es la Profesora Hepburn de Física en la Escuela de Artes y Ciencias.
Otros autores son Benjamin D. Beyer y Menachem Stern del Departamento de Física y Astronomía en la Escuela de Artes y Ciencias.
Esta investigación fue apoyada por la National Science Foundation (MRSEC/DMR1720530, MRSEC/DMR-DMR-2309043 y DMR-2005749, Simons Foundation (327939, y el Departamento de Energía de los Estados Unidos (DE-SC0020963).
Journal
Actas de la Academia Nacional de Ciencias
Método de Investigación
Estudio experimental
Asunto de Investigación
No aplica
Título del Artículo
Aprendizaje automático sin procesador: aprendizaje emergente en una red analógica no lineal
Fecha de Publicación del Articulo
2-Jul-2024
Declaración COI
Los autores declaran no tener ningún interés en conflicto.