CasaNotizieApprendimento auto-supervisionato con contesto

Apprendimento auto-supervisionato con contesto

Sfruttando i modelli e i trasformatori mondiali, colma il divario tra adattabilità simile all'uomo e intelligenza artificiale, aprendo la strada a algoritmi più eque ed efficienti.

L'apprendimento auto-supervisionato (SSL), un paradigma in aumento nell'apprendimento automatico, sta rimodellando il modo in cui i modelli apprendono senza dati etichettati.I metodi SSL si basano tradizionalmente su aumenti di dati predefiniti, applicando l'invarianza o l'equivarianza a trasformazioni specifiche.Tuttavia, questi priori induttivi spesso limitano la flessibilità su diversi compiti.

Un approccio chiamato apprendimento contestuale auto-supervisionato (contestSSL), sviluppato dai ricercatori del CSAIL del MIT e dell'Università tecnica di Monaco, affronta questi limiti.ContextSSL introduce un meccanismo in cui le rappresentazioni si adattano dinamicamente in base a contesti specifici dell'attività, rimuovendo la necessità di una riqualificazione ripetitiva.Nel suo centro, ContextSSL incorpora i modelli mondiali-rappresentazioni di abstract dell'ambiente di un agente-e utilizza un modulo di trasformatore per codificarle come sequenze di terzine dello stato-azione-action-next.Associando il contesto, il modello determina quando far rispettare l'invarianza o l'equivarianza, a seconda dei requisiti dell'attività.

Attraverso estesi test su parametri di riferimento come 3DieBench e CIFAR-10, il contesto ha dimostrato una notevole versatilità.Ad esempio, nel settore medico, utilizzando il set di dati MIMIC-III, contestSSL ha adattato la sua rappresentazione a compiti di diagnosi medica specifici di genere, in cui l'equivarianza era fondamentale.Allo stesso tempo, ha assicurato l'equità nel prevedere risultati come la durata dell'ospedale, sottolineando l'invarianza.

Questa adattabilità garantisce prestazioni migliori tra metriche come le probabilità equalizzate (EO) e l'uguaglianza di opportunità (EOPP), migliorando al contempo l'accuratezza della previsione per attributi sensibili come il genere.Sfruttando i modelli di trasformatore per l'apprendimento in contesto, il contesto bilancia effettivamente l'invarianza e l'equivarianza in modo specifico per l'attività.Questo è un passo significativo verso la creazione di framework SSL più flessibili e generici.Con il contesto, il futuro dell'apprendimento automatico promette algoritmi più efficienti e adattivi, colmando lacune tra ragionamento umano e intelligenza artificiale.

"Piuttosto che modelli di messa a punto per ogni attività, miriamo a creare un sistema per scopi generici in grado di adattarsi a vari ambienti, simile all'apprendimento umano", afferma Sharut Gupta, Csail Ph.D.studente e autore principale dello studio.