Navegar por los elementos (1 total)
- Resumen es exacto "La inteligencia artificial avanza a pasos agigantados. Sin embargo esta tendencia podría llegar a estancarse si no se logra un avance significativo en algunas cuestiones, dos de las cuales serán estudiadas en esta tesis. Por un lado, el aprendizaje estadístico busca desarrollar algoritmos que no solo clasifiquen correctamente un conjunto de datos conocidos, sino que también este comportamiento se generalice a nuevas muestras. La capacidad de generalización de los algoritmos muchas veces es abordada con meras perturbaciones en la etapa de aprendizaje. Un inteligente uso de dichos métodos de perturbación podría traducirse en una mejora considerable de los algoritmos. Por otro lado, la teoría de información busca crear representaciones lo mas comprimidas posible, sin que esto afecte su posterior utilización. La cantidad de datos a almacenar crece exponencialmente día a día y métodos eficientes de compresión de la información se vuelven esenciales en el avance de estos tipos de tecnologías. En esta tesis se aborda el problema del cuello de botella de la información (information bottleneck) poniendo el foco sobre los nexos entre aprendizaje estadístico y teoría de información. La búsqueda de representaciones precisas y generalizables del aprendizaje estadístico, como la extracción de información concentrada en pocos datos de la teoría de información parecen ser dos caras de la misma moneda: el cuello de botella entre generar representaciones relevantes con bajo nivel de complejidad.
Las principales contribuciones de esta tesis pueden separarse en cuatro temáticas, las cuales serán abordadas en los capítulos 5, 6, 7 y 8. La primera se basa en el desarrollo de un algoritmo capaz de aplicarse tanto al problema de aprendizaje multitarea como al de extracción de información con información lateral de teoría de información. Diferentes análisis teóricos y prácticos sobre el mismo se desarrollan en profundidad. La segunda está basada en un vínculo teórico que relaciona el efecto bottleneck con el problema de generalización del aprendizaje estadístico por medio de una cota de confianza sobre la desviación del riesgo empírico. Este resultado es complementado con un estudio experimental, mostrando que el mismo puede ser de suma relevancia cuando la distribución de los datos de entrenamiento y testeo es sutilmente diferente. La tercera se basa en el estudio del desacople existente al entrenar con la entropía cruzada como función costo para minimizar la probabilidad de error. Este desacople también parece estar vinculado con métricas de teoría de información. Por último la cuarta es el estudio del problema del information bottleneck en esquemas distribuidos relevantes en la práctica, pero desde una perspectiva teórica. Un análisis profundo demuestra como la cooperación entre los diferentes nodos donde se almacena la información puede ser ventajosa.
"
Ordenar por: