Understanding and Applying LLMs: from Figurative Language to Industrial Application

Understanding what knowledge Transformer-based Large Language Models (LLMs) ac- quire during pretraining, and how such models can be reliably integrated into production systems are both central challenges for Natural Language Processing. This thesis develops along these complementary research directions: the first studies how semantic abilities emerge during pretraining, with a focus on figurative language; the second investigates the integration of Transformer-based language models into real-world workflows within the learning management system developed by Mega Italia Media S.p.A, which co-funded my PhD scholarship. For the first direction, we study the acquisition of figurative language knowledge through the Minimum Description Length (MDL) probing framework, evaluating multiple checkpoints saved throughout training, and extending the analysis with a layer-wise study and controlled experiments about the impact of training data. Experimental results indicate that figurative language is not learned as a single uniform capability: different figures of speech exhibit different acquisition dynamics. Moreover, most of the relevant knowledge is acquired early during pretraining and then stabilizes, producing a plateau where additional training yields limited improvements. Layer-wise analyses further suggest that the representations which retain more of figurative knowledge are typically found in the central part or in the second half of GPT. Finally, controlled comparisons suggest that larger and more diverse corpora are beneficial, while a literary-focused corpus does not provide measurable improvements over a general-purpose corpus for figurative language recognition. For the applied direction, this thesis investigates two industrial use cases developed within the Mega Italia Media. The first addresses the automatic assessment of open- ended learner responses, motivated by the need to reduce the manual grading effort while preserving human evaluation in compliance-oriented health and safety training courses. The second focuses on automatic ticket assignment, motivated by the need to optimize the initial handling of support requests by reducing the workload of support coordinators and improving the consistency of routing decisions, with the goal of shortening response times and increasing the overall efficiency of the support workflow. Together, the two systems are part of a coordinated effort to improve the learning experience of learners using the Mega Italia Media platform, while simultaneously optimizing internal processes and operational costs for company staff.

Comprendere quali conoscenze i Large Language Models (LLM) basati su architetture Transformer acquisiscano durante la fase di addestramento, e come tali modelli possano essere integrati in modo affidabile in sistemi di produzione, rappresenta una duplice sfida centrale per il Natural Language Processing (NLP). La presente tesi si sviluppa lungo queste direttrici di ricerca complementari: la prima analizza le modalità con cui emergono le competenze semantiche nel corso dell’addestramento, con particolare attenzione al linguaggio figurato; la seconda indaga l’integrazione di modelli linguistici basati su Transformer in flussi di lavoro reali, all’interno del Learning Management System (LMS) sviluppato da Mega Italia Media S.p.A., società che ha cofinanziato la mia borsa di dottorato. Per quanto riguarda la prima direttrice, viene studiata l’acquisizione della conoscenza del linguaggio figurato attraverso il framework di probing basato sul Minimum Descrip- tion Length (MDL), valutando diversi checkpoint salvati nel corso dell’addestramento ed estendendo l’analisi mediante uno studio per livelli e tramite esperimenti controllati sull’impatto dei dati di training. I risultati sperimentali indicano che il linguaggio figu- rato non viene appreso come una capacità unica e omogenea: differenti figure retoriche mostrano dinamiche di acquisizione eterogenee. Inoltre, la maggior parte delle conoscenze rilevanti viene acquisita nelle fasi iniziali dell’addestramento e successivamente tende a stabilizzarsi, dando luogo a un plateau oltre il quale un ulteriore addestramento produce benefici marginali. L’analisi per livelli suggerisce inoltre che le rappresentazioni che preservano una maggiore quantità di informazione relativa al linguaggio figurato si collocano tipicamente nella parte centrale o nella seconda metà del modello GPT. Infine, confronti controllati indicano che corpora di dimensioni maggiori e caratterizzati da una maggiore eterogeneità risultano vantaggiosi, mentre un corpus a prevalente contenuto letterario non produce miglioramenti misurabili rispetto a un corpus generalista per il riconoscimento del linguaggio figurato. Per quanto concerne la direttrice applicativa, la tesi analizza due casi d’uso industriali sviluppati all’interno di Mega Italia Media. Il primo riguarda la valutazione automatica di risposte aperte fornite dagli utenti in contesti formativi, ed è motivato dall’esigenza di ridurre il carico di correzione manuale mantenendo al contempo un presidio umano, in conformità con i requisiti normativi dei corsi di formazione in materia di salute e sicurezza sul lavoro. Il secondo caso d’uso è incentrato sull’assegnazione automatica dei ticket di assistenza, con l’obiettivo di ottimizzare la gestione iniziale delle richieste di supporto, riducendo il carico operativo dei coordinatori e migliorando la coerenza delle decisioni di instradamento, al fine di abbreviare i tempi di risposta e incrementare l’efficienza complessiva del flusso di supporto. Nel loro insieme, i due sistemi si inseriscono in un’iniziativa coordinata volta a migliorare l’esperienza formativa degli utenti della piattaforma Mega Italia Media, ottimizzando al contempo i processi interni e i costi operativi per il personale aziendale.