BERT je model globokega učenja, zasnovan za obdelavo naravnega jezika, ki temelji na arhitekturi Transformer. BERT je bil predhodno treniran na velikem naboru besedil in se uporablja za različne naloge NLP, kot so razvrščanje besedil, vprašanje in odgovor ter razumevanje pomena besed v kontekstu.