Perusall: un’analisi della validità dei processi valutativi basati sul Machine Learning

Il presente contributo documenta uno studio condotto sull’ambiente di social annotation Perusall. Questo ambiente è finalizzato a promuovere lo studio di materiali testuali attraverso la condivisione delle annotazioni degli studenti sui testi stessi. In particolare sono state prese in esame le funzionalità di Perusall che consentono di valutare la partecipazione degli studenti. Queste si basano su un insieme di indicatori che vengono settati dal docente e su un algoritmo di Machine Learning in grado di valutare la qualità delle annotazioni. È stata indagata la validità di questo processo, nell’ambito di un insegnamento universitario, analizzando la relazione tra i punteggi prodotti dall’algoritmo e quelli formulati dal docente sulle annotazioni degli studenti. Infine sono state indagate le considerazioni espresse dagli studenti in merito all’utilizzo di processi automatici di valutazione. I risultati sono moderatamente positivi e incoraggianti.