Об этом сообщает МИТ Тechnology Review.
Сначала ученые хотели разработать систему, способную распознавать расистские посты в Twitter. Однако вскоре они обнаружили, что значения некоторых сообщений нельзя понять, не распознавая сарказма.
Алгоритм использует технологию глубокого обучения - нейросеть учат распознавать крошечные паттерны с помощью большого количества метаданных. Много твитов содержат нечто похожее на смайлы-эмодзи. Когда ученые воспользовались этим для обучения системы, она сразу стала лучше понимать сарказм. Нейросеть нашла связь между языковым стилем и смайлами.
Чтобы натренировать алгоритм, названный DeepMoji, исследователи собрали 55 млрд твитов и отобрали 1,2 млрд - в них содержались некоторые комбинации с 64 популярных эмодзи.
Для начала они научили систему предвидеть, какой из смайлов будет использоваться при определенном сообщении, в зависимости от того, какое оно - грустное, радостное, веселое и т. д. После этого систему обучали идентифицировать сарказм с помощью существующего набора данных.
Испытания DeepMoji прошли успешно. Ученые обнаружили, что алгоритм функционирует лучше, чем те, что существовали до него.