Objetivo
Los modelos de lenguaje de gran tamaño (LLMs) han mostrado una gran eficacia en una amplia gama de tareas, incluyendo la clasificación de textos a partir de instrucciones en lenguaje natural. Sin embargo, la calidad de estas instrucciones —conocidas como prompts— influye directamente en el rendimiento del sistema. Diseñar instrucciones efectivas de forma manual implica un alto coste en tiempo y requiere experiencia, lo que dificulta su escalabilidad a múltiples tareas o dominios.
Este proyecto presenta un enfoque completamente automatizado para mejorar instrucciones en tareas de clasificación mediante un proceso iterativo. A diferencia de otras soluciones que dependen de grandes modelos y una infraestructura compleja, el sistema desarrollado utiliza exclusivamente modelos de lenguaje de tamaño reducido, demostrando que es posible alcanzar mejoras significativas sin recurrir a arquitecturas de gran escala.
La arquitectura propuesta se estructura en tres módulos funcionales: generación, evaluación y selección. A través de un proceso iterativo, un primer modelo actúa como generador de nuevas instrucciones a partir de plantillas y ejemplos. Estas instrucciones son evaluadas por un segundo modelo que simula su ejecución y compara los resultados con etiquetas reales. Finalmente, un componente selector inteligente, basado en estrategias de exploración-explotación e inferencia bayesiana, escoge las instrucciones más prometedoras y guía la siguiente iteración.
Este enfoque busca maximizar el rendimiento del sistema con mínima intervención humana, adaptándose dinámicamente a cada conjunto de datos. Los resultados preliminares muestran mejoras consistentes frente a prompts manuales, destacando la viabilidad de métodos automáticos incluso en entornos con recursos computacionales limitados. Además, el sistema se presenta como una base adaptable para futuras aplicaciones en otras tareas del procesamiento del lenguaje natural, como generación o pregunta-respuesta.
TRABAJO FIN DE GRADO DE:
ÓSCAR HONTORIA HERRADOR
Experiencia Académica
- Grado en Ingeniería Informática, Universidad Carlos III de Madrid (septiembre 2021 – septiembre 2025)
Experiencia Laboral
- Machine Learning Researcher – Universidad Carlos III de Madrid en colaboración con Grupo MasOrange (septiembre 2024 — junio 2025)
Habilidades técnicas
- Lenguajes de programación: Python, C/C++, Go, C#, SQL, HTML/CSS, JavaScript.
- Librerías de desarrollo: Pandas, Numpy, PyTorch, Keras, Sci-kit Learn.
- Plataformas Cloud: Google Cloud.
- Frameworks: GitHub, GitLab.