Entendiendo el Transformer: El Mecanismo de Atención

Pedro Almagro Blanco

Datos de la ponencia
Viernes, 30 de mayo de 2025
12:00
Sala Multiusos ETSII
Resumen de la ponencia

La ponencia "Entendiendo el Transformer: El Mecanismo de Atención", organizada de manera conjunta por el Seminario de Inteligencia Artificial de la US y el ciclo de seminarios “La informática en la encrucijada” del Programa de Doctorado de Ingeniería Informática de la ETSII, aborda los principios del modelo Transformer, responsable en gran medida del nuevo auge de la IA. Esta ponencia se centrará en el mecanismo de atención, que permite al modelo identificar y ponderar información relevante sin seguir un orden secuencial estricto. La presentación comparará este enfoque con modelos tradicionales como las redes recurrentes y mostrará de manera sencilla cómo el mecanismo de atención permite enriquecer la representación de los diferentes tokens en una frase en función de su contexto y cómo este proceso puede definirse a nivel matricial y aprovechar así el paralelismo ofrecido por GPUs y TPUs.