CONEXIONES ENTRE NEURONA

La conectividad entre los nodos de una red neuronal está relacionada con la forma en que las salidas de las neuronas están canalizadas para convertirse en entradas de otras neuronas. La señal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser una entrada de sí mismo (conexión autorrecurrente). Cuando ninguna salida de las neuronas es entrada de neuronas del mismo nivel o de niveles precedentes, la red se describe como de conexión hacia delante 

Cuando las salidas pueden ser conectadas como entradas de neuronas de niveles previos o del mismo nivel, incluyéndose ellas mismas, la red es de conexión hacia atrás. Las redes de propagación hacia atrás que tienen lazos cerrados son llamadas: sistemas recurrentes

REDES DE PROPAGACION HACIA ATRAS

Consiste en un aprendizaje de un conjunto predefinido de pares de entradas-salidas dados como ejemplo, empleando un ciclo propagación-adaptación de dos fases.

• La red Back-Propagation está basada en la generalización de la regla delta.
• Al igual que el Perceptron, ADALINE y MADALINE, la red Back-Propagation se caracteriza por tener una arquitectura en niveles y conexiones estrictamente hacia adelante entre las neuronas.
• Utilizan aprendizaje supervisado.

FASES

1. se aplica un patrón de entrada como estímulo para la primera capa de las neuronas de la red, se va propagando a través de todas las capas superiores hasta generar una salida.
   Después  se compara el resultado obtenido en las neuronas de salida con la salida que se desea
   obtener y se calcula un valor del error para cada neurona de salida.
   
2. Estos errores se transmiten hacia atrás, partiendo de la capa de salida, hacia todas las neuronas de la capa intermedia que contribuyan directamente a la salida, recibiendo el porcentaje de error aproximado a la participación de la neurona intermedia en la salida original.

Ya entrenada la red se podrá aplicar esa misma relación (terminado el entrenamiento), a nuevos vectores de entrada con ruido o incompletos, dando una salida activa si la nueva entrada es parecida a las presentadas durante el aprendizaje.

Estructura de Aprendizaje

• Capa de entrada con n neuronas.
• Capa de salida con m neuronas.
• Al menos una capa oculta de neuronas.
• Cada neurona de una capa recibe entradas de todas las neuronas de la capa anterior y envía su salida a todas las neuronas de la capa posterior. No hay conexiones hacia atrás  ni laterales entre neuronas de la misma capa.

Control de Convergencia

La velocidad de aprendizaje se controla mediante . Normalmente, debe ser un número entre 0.05 y 0.25.

Velocidad de convergencia

• El valor se aumenta a medida que disminuye el error.
• Añadir un momento (sumar una fracción del ajuste de peso anterior al ajuste actual).

Si una red deja de aprender :

• Realizar un cambio en el numero de neuronas ocultas.
• Volver a empezar con un conjunto distinto de pesos.

Algoritmo de Retro-propragacion

REDES MULTICAPA

Para hablar de redes multicapa en primer lugar debemos hablar del perceptron

El perceptrón

Fue el primer modelo de red neuronal artificial desarrollado en 1958 por Rosenblatt. Despertó un enorme interés en los años 60 debido a su capacidad para aprender a reconocer patrones sencillos.

Está formado por varias neuronas para recibir las entradas a la red y una neurona de salida que es capaz de decidir cuándo una entrada a la red pertenece a una de las dos clases que es capaz de reconocer.

Redes Neuronales Multicapa

Estas están formadas por varias capas de neuronas, las cuales se pueden conectar entre ellas. Estas se ordenan de acuerdo como reciben la señal desde la entrada hasta la salida y se denominan conexiones feedforward “quiere decir hacia delante”.

También existen otras redes las cuales se unen al contrario desde la salida a la entrada, de la forma contraria a como llega las señales y se les llama feedback “hacia atrás” o “retroalimentadas”.

Ver Video :

Redes con Conexiones Hacia Adelante 

Este tipo de redes solo se pueden conectar hacia delante.

Ejemplos de estas redes son Perceptron, Adaline, Madaline.

Ejemplos:

Perceptrón

Es una red neuronal artificial (RNA) formada por múltiples capas, de entrada, intermedias y de salida, esto le permite resolver problemas que no son linealmente separables, lo cual es la principal limitación. Su alimentación es hacia adelante y la unidad de salida se conecta con la última capa oculta. 

Topología de un perceptrón multicapa

Adaline

Es un tipo de red neuronal artificial, esta posee la ventaja de que su gráfica de error es un hiperparaboloide que posee un mínimo global, o bien una recta de infinitos mínimos, esto evita la gran cantidad de problemas que da el perceptrón a la hora del entrenamiento debido a que su función de error posee numerosos mínimos locales.

Es menos sensible al ruido y tiene usos prácticos en el procesamiento de señales digitales.

El aprendizaje OFF-LINE con supervisión LMS “o regla del mínimo error cuadrático medio, (widrow) o regla delta”. El cual trata de minimizar una diferencia entre el valor obtenido y el deseado; como en el perceptrón, solo que ahora la salida considerada es la salida obtenida al aplicar una función de activación lineal. 

La red ADALINE es muy similar al PERCEPTRON, excepto que su función de transferencia es lineal, en vez de escalón.

Tanto el ADALINE como el PERCEPTRON sufren de la misma limitación los cuales solo pueden resolver problemas linealmente separables. 

ESTRUCTURA DE LA RED DE HOPFIELD

La red de Hopfield es una de las redes unicapas más importantes y ha influido en el desarrollo de multitud de redes posteriores.

Es una red autoasociativa no lineal que fue desarrollada por Hopfield en 1982.

La red de Hopfield es una red monocapa, esto es, de una sola capa. Aunque también se puede mostrar como una red bicapa de dos capas, la primera capa sería una capa de sensores y la segunda capa será la capa donde se realiza el procesamiento.

En la versión bicapa la manera de interconexionar ambas capas es unir la primera capa a la segunda linealmente, esto es cada neurona con su respectiva, y después unir todas las neuronas con todas en la misma capa.

La red de Hopfield toma valores bipolares esto es, {-1,1}, sin embargo se pueden usar también valores binarios {0,1}.

Ejecutar un patrón en la red de Hopfield consiste en enviar un patrón en la red y actualizar las neuronas repetidamente hasta que se estabilicen los estados de las neuronas a un patrón memorizado.

Con pasos sería así.

1. Se establece el patrón de entrada en la capa de entrada.
2. Se actualizan las neuronas de la capa de procesamiento.
3. Si han cambiado el estado de la red o hemos realizada ya el número máximo de iteraciones paramos.
4. Si no volvemos al pasos 2. 

TOPOLOGIA REDES NEURONALES

La topología, es el número de elementos de procesado que forman la red y las interconexiones existentes entre ellos.

Los elementos de procesado de una red neuronal se distribuyen por capas

• CAPA DE ENTRADA = es que recibe información del exterior.
• CAPAS OCULTAS= encargadas de realizar el trabajo de la red.
• CAPA DE SALIDA= es la que proporciona el resultado del trabajo de la red al exterior.

Red neuronal: los círculos representan neuronas, mientras las flechas representan conexiones entre las neuronas.

Redes Monocapa

se utilizan típicamente en en tareas relacionadas en lo que se conoce como autoasociación,  las neuronas crean conexiones laterales para conectar con otras neuronas de su capa. Las redes más representativas son la red de Hopfield, la red BRAIN-STATE-IN-A-BOX o memoria asociativa y las maquinas estocásticas de Botzmann y Cauchy.

Entre las redes neuronales monocapa, existen algunas que permiten que las neuronas tengan conexiones a si mismas y se denominan autorecurrentes.

Las redes monocapa han sido ampliamente utilizada en circuitos eléctricos ya que debido a su topología, son adecuadas para ser implementadas mediante hardware, usando matrices de diodos que representan las conexiones de las neuronas

Red de Hopfield

Bibliografia

Bibligrafia

• https://es.slideshare.net/mentelibre/diseo-de-redes-neuronales-multicapa-y-entrenamiento
• https://es.slideshare.net/levygt/redes-neuronales-multicapa-y-monocapa
• http://www.redes-neuronales.com.es/tutorial-redes-neuronales/Las-redes-neuronales-monoCapa.htm
• http://fluidos.eia.edu.co/hidraulica/articuloses/flujoentuberias/neuronal/neuronal_archivos/page0002.htm
• https://www.google.com.co/search?q=ESTRUCTURA+DE+LA+RED+DE+HOPFIELD&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjl8en_qOnTAhVD8CYKHQQZAgkQ_AUIBigB&biw=1240&bih=572#imgrc=xS2hdX7RXadGLM:
• http://www.redes-neuronales.com.es/tutorial-redes-neuronales/Las-redes-neuronales-multicapa.htm
•