El transfer learning se muestra como una de las técnicas más importantes del Deep Learning para el aprendizaje automático en inteligencia artificial. Consiste, en esencia, en aprovechar una gran cantidad de información relacionada con la resolución de un problema y utilizarla sobre otro distinto, pero que comparta ciertas características con este. En otros términos, modificar patrones ya entrenados (o redes neuronales) para reconocer ciertas características, para poder reconocer otras similares. La visión artificial y el procesamiento de lenguaje natural son las misiones para las que reservan los mejores resultados.
Bases del transfer learning
El origen histórico de las ideas contenidas en el transfer learning tiene que ver con algunos algoritmos empleados en el aprendizaje automático. Así, se fueron asentando varios conceptos para el aprendizaje de tareas múltiples. El paso siguiente fue formalizar estos hallazgos para ampliar, lo máximo posible, el número de problemas abordables.
A día de hoy, puedes aplicar una formulación estadística muy rigurosa. Son términos esenciales en esta área del conocimiento: un campo o dominio de características, una tarea definida numéricamente y una función de probabilidad. Con la abstracción matemática multiplicas la potencia de la teoría para su aplicación a una colección enorme de cometidos. Gracias a la clasificación automática de imágenes, obtienes un ejemplo bastante claro de la forma de trabajar en transfer learning. La forma general de abordar este trabajo, por el deep learning, sería descubrir una arquitectura de red neuronal que acelere el aprendizaje. A continuación, quedaría otorgar valores de inicio a los parámetros que sirvan como variables de entrada para las distintas capas de la red.
Ilustración sobre las diferencias entre un entrenamiento desde cero y otro con transfer learning. Fuente
En este punto es donde aparece la transferencia de aprendizaje como un recurso economizador de tiempo y de gigantescas magnitudes de cálculo. Con los datos obtenidos de una tarea similar, pero más genérica, evitas unas costosas aproximaciones a un punto de partida óptimo. El avance posterior consiste en añadir capas hasta conseguir que los valores resultantes coincidan, en un porcentaje aceptable, con los suministrados por una inteligencia humana.
Redes neuronales convolucionales
Las redes convolucionales no son más que un tipo de redes neuronales especializadas en apreciar propiedades visuales de los objetos. Estas características llevan de forma inmediata a una identificación artificial que simula la visión humana. Con la discriminación entre particularidades significativas de otras que no lo son, la red neuronal logra generar este efecto.
Ejemplo de funcionamiento de una red convolucional en el reconocimiento de una cara. Fuente
El término «convolución» viene de las matemáticas, y describe una función aplicada a otra. Se trata de una operación básica en el procedimiento de obtener información por parte de este tipo de redes neuronales, una modelización de la forma de trabajar del córtex cerebral encargado de dotar de visión al ser humano. Así, el proceso artificial que imita la visión descarta las diferencias internas entre una misma categoría de objetos. Y esta discriminación sobre las peculiaridades accidentales resulta clave, asegurando una asignación de etiquetas que tenga altas probabilidades de ser la acertada.
Eso sí, la cantidad de imágenes suministradas para el entrenamiento tendrá que ser elevada, ya que estos elementos gráficos se analizan diferenciando cada una de sus partes en base al color. La división la realiza la máquina, al separar el espacio superficial en retículas pixeladas que proporcionarán una información numérica.
Este es el momento en el que entran en juego las convoluciones. Estas consisten en introducir un grupo de píxeles cercanos de tamaño inferior a la imagen. Allí buscarán patrones por comparación con la imagen objeto de clasificación automática. Las superposiciones sobre la imagen producen, a su vez, una nueva matriz de datos. Estos grupos de píxeles cercanos reciben la denominación de «kernel», y la agrupación del kernels lleva el nombre de «filtro».
Sobre las convoluciones producidas se añade una función de activación y se obtiene un mapeado de dimensiones idénticas a la imagen original. Por último, se aplica un max-pooling que vuelve a generar nuevos outputs o salidas. Cuanto más complejas sean las formas, mayor deberá ser el número de convoluciones.
Transfer learning y procesamiento de lenguaje natural
El procesamiento del lenguaje natural (PLN) supone uno de los mayores retos para el área de conocimiento de la inteligencia artificial. Pero la transferencia de aprendizaje contribuye de forma decisiva a obtener resultados prometedores. Aquí, la atribución de etiquetas que identifiquen un fragmento del lenguaje mejora con la reducción del contenido a una temática específica.
Puedes sintetizar la estrategia a seguir en las siguientes fases.
1. Seleccionar un modelo que sirva de punto de partida. Los datos que se van aplicar no se limitan a considerar las palabras aisladas. También intervienen las relaciones de proximidad en el habla que hay entre ellas. Esto obliga a una formalización muy intensa de un idioma.
2. Aplicar la transferencia de aprendizaje sobre el modelo anterior. La base de datos sobre la que operas tendrá que provenir de un dominio específico. Y gracias a un corpus lingüístico harás distintas operaciones que te permitirán identificar el mayor número de características significantes.
3. Crear categorías para clasificar en grupos etiquetados por un sentido contenido en los textos.
Como conclusión, debes comprender que el transfer learning es una pieza básica del aprendizaje automático. Sabemos que las técnicas que aplican esta transferencia todavía están comenzando con lo que parece una prometedora evolución. Pero la abundancia de modelos preentrenados ya da el juego suficiente para avances tecnológicos impensables hace pocos años.
