Об этом сообщает VentureBeat.
Новый инструмент под названием Equilid, по данным разработчиков, является более точным, чем имеющиеся в использовании средства идентификации langid.py и CLD2 от Google.
Equilid учили на Википедии, Urban Dictionary, Twitter и новостных сайтах. Он может распознавать почти 98 млн твитов от 1,5 млн пользователей 53 языках.
По мнению разработчиков, более эффективная идентификация языка может помочь выявлять опасные тенденции в развитии инфекционных заболеваний.
Кроме того, алгоритм повышает точность распознавания речи и может находить закономерности - например, идентифицировать предубеждение против расы или пола.