Road to Critical Thinkingautomatic assessment: a pilot study

The growing attention on Critical Thinkingas an essential driver for progress and knowledge growth has brought to the development of different kinds of assessment tools. Essays and open-ended questions are recognized to be pivotal in critical thinkingassessment. However, they present problems related to inter-rater reliability and high-cost of scoring. Automated scoring could be a viable solution to theaboveconcerns. In this paper, we introducea prototype for critical thinkingautomatic assessment based on Natural Language Process techniques and preliminary accuracyevidence regarding its use. Data were collected from 48university teachers after two workshops carried out both in the United States and in Italy aimed at developing critical thinkingSkills in participants.

La crescente attenzione nei confronti del Pensiero Critico come competenza cruciale per l’innovazione e lo sviluppo di conoscenze hannoportato allo sviluppo di un notevole numero di strumenti di valutazione. Sebbene gli strumenti a stimolo aperto, come il saggio breve e le domande aperte, siano ritenuti essenziali per la valutazione del pensiero critico, essi presentano problemi relativi all’attendibilità inter-giudice e all’alto costo di valutazione. L’assegnazione automatica di punteggi potrebbe rappresentare una possibile soluzione a tali problemi. Un prototipo per la valutazione automatica del pensiero critico, basato su tecniche di elaborazione del linguaggio naturale ed evidenze preliminari sull’accuratezza dello strumento verranno presentati all’interno del presente articolo. In seguito a due workshop condotti rispettivamente negli Stati Uniti e in Italia, che miravano alla promozione del pensiero critico, i dati sono stati raccolti all’interno di un gruppo composto da 48professori universitari.