Matemáticos de RUDN University descubrieron cómo reducir una red neuronal 6 veces sin sobreajuste

Matemáticos de RUDN University descubrieron cómo reducir una red neuronal 6 veces sin sobreajuste

Unos matemáticos de RUDN University han creado un método para reducir seis veces el tamaño de una red neuronal entrenada sin gastar recursos en su sobreajuste. El método se basa en establecer la relación entre los «pesos» de las conexiones neuronales en el sistema inicial y en su versión simplificada.

El principio de los dispositivos de redes neuronales artificiales repite la organización de las neuronas en un organismo vivo: los nodos están conectados con «vecinos», algunos de ellos transmiten una señal, activando o inhibiendo el siguiente elemento de la cadena, y algunos la reciben. El procesamiento de cualquier señal, ya sea imagen o sonido, requiere una gran cantidad de elementos de red y conexiones que parten de ella. Además, en los ordenadores existe una limitación en relación con la potencia, así como con la cantidad de memoria del dispositivo. Cuando se trabaja con grandes cantidades de datos, los expertos recurren a trucos para reducir la capacidad requerida. Uno de ellos es la denominada cuantificación, la cual permite reducir los recursos consumidos, pero al mismo tiempo requiere un sobreajuste del sistema. Sin embargo, unos matemáticos de RUDN University descubrieron que el sobreajuste se puede evitar.

«Hace algunos años, estudiamos de qué manera cuantificar los pesos de manera eficiente y rentable en una red de Hopfield. Esta es una red de memoria asociativa, cuyas conexiones son simétricas y se forman según la regla de Hebb. La actividad de la red durante el proceso de trabajo concurre a un determinado estado de equilibrio, que al ser alcanzado, se considera que se ha encontrado la solución al problema. Nosotros hemos aplicado estos estudios en redes neuronales de distribución directa que son las más populares actualmente para el reconocimiento de imágenes. Por lo general, después de cuantificar tales redes es necesario un sobreajuste, pero descubrimos cómo evitarlo» dijo Iakov Karandashev, Doctor en Ciencias Físico-Matemáticas, profesor del Instituto Matemático S. M. Nikolskiy, RUDN University.

La idea principal detrás de la simplificación de las redes neuronales artificiales es reducir la cantidad de bits por peso, es decir, la cuantificación de pesos. La cuantificación implica promediar una señal, por ejemplo, en el caso de las imágenes, los píxeles de los tonos de un mismo color se volverían iguales. Matemáticamente, esto significa que las conexiones neuronales que son similares en algunos parámetros tendrán el mismo peso o importancia (expresada por un número).

Los matemáticos de RUDN University realizaron cálculos y establecieron fórmulas que de mejor manera relacionan los valores de los pesos de las conexiones en una red antes y después de la cuantificación. Basándose en esto, construyeron algoritmos mediante los cuales, la red neuronal entrenada pudo clasificar las imágenes. En el experimento, los matemáticos usaron 50000 fotografías correspondientes a 1000 grupos. Después del entrenamiento, la red neuronal fue cuantificada utilizando el nuevo método, es decir, no se realizó el sobreajuste. Los resultados fueron comparados con los algoritmos de cuantificación existentes.

«Después de cuantificar, la precisión de la clasificación disminuyó, pero solo 1%. Al mismo tiempo, la cantidad de memoria necesaria se redujo seis veces. Los experimentos también demostraron que nuestra red neuronal no necesita entrenamiento posterior, esto se logró gracias a la fuerte correlación entre los pesos originales y los cuantificados. Este método permitirá ahorrar recursos al resolver ejercicios que requieran una ejecución rápida o al ponerlos en marcha en dispositivos móviles», explicó Iakov Karandashev, Doctor en Ciencias Físico-Matemáticas, profesor del Instituto Matemático S. M. Nikolskiy, RUDN University.

Los resultados fueron publicados en Optical Memory and Neural Networks.

Ciencia
23 Jun
Un científico revela que la columna de agua de los lagos de Yamal puede servir como «filtro microbiano»

Científicos del Instituto de microbiología de la Academia rusa de Ciencias, RUDN, Spbgu y el centro de Ciencias de Tyumen de la Academia RUSA de Ciencias investigaron comunidades bacterianas de varios lagos de la península de Yamal. Resultó que en los lagos profundos" maduros " de la península, los metanótrofos (bacterias que usan metano como fuente de vida) son más activos en el consumo de metano que en los lagos pequeños de termokarst. En este sentido, la emisión de metano a la atmósfera desde la superficie de los lagos profundos es baja, y solo los lagos pequeños (lagos termokarst relativamente más jóvenes en el hielo subterráneo formador de texturas) pueden contribuir significativamente a la emisión de metano en el Norte de Siberia occidental. Así que las bacterias realizan una función importante para el equilibrio climático: reducen la emisión de metano a la atmósfera.

Ciencia
20 Jun
Los físicos de RUDN han determinado las condiciones óptimas de retención de coágulos de plasma de alta energía en una trampa magnética de tipo corcho

Los físicos de RUDN describieron las condiciones para el funcionamiento más eficiente de una trampa magnética tipo probkotron en el modo de resonancia automática. Estos datos ayudarán a comprender mejor los procesos de plasma en las trampas magnéticas.

Ciencia
17 Jun
Nuevo protocolo permitirá obtener compuestos bioactivos sin pasar por subproductos

Los químicos de Rusia y los Estados Unidos han perfeccionado la forma de crear compuestos bioactivos de indol-acetonitrilo. Anteriormente, durante su síntesis, se obtuvieron subproductos, una nueva forma de evitarlos. Esto aumenta el rendimiento del producto final al 81%.