RoBERTa je različica modela BERT, ki je bila optimizirana z večjim naborom podatkov, daljšim časom usposabljanja in spremembami v postopku usposabljanja. RoBERTa je bil zasnovan za izboljšanje zmogljivosti BERT-a na širokem spektru nalog NLP, kot so razumevanje branja, generiranje besedil in analiza čustev.