Развитие технологий тормозят программисты, скрывающие свой код, - исследование

Об этом пишет журнал Science.

Такая "скрытность" приводит к тому, что воспроизвести результаты работы почти невозможно, а следовательно, нельзя устроить полноценное сравнение или организовать работу по улучшению результатов.

Издание ссылается на исследования профессора Норвежского университета естественных и технических наук Одда Эрика Гюндерсена. Тот изучил 400 работ в области искусственного интеллекта, представленных на конференциях в течение нескольких последних лет.

Оказалось, что только в 6% из них представлен исходный код. Половина работ идет с ограниченным описанием алгоритма, представленном в формате псевдокода. И только треть ученых поделилась данными, на которых проводились исследования.

Гюндерсен считает это большой проблемой, близкой к кризису. Невозможность воспроизвести эксперименты с ИИ других ученых ставит их результаты под сомнение.

Кроме кризиса доверия, такая практика и в целом тормозит всю область машинного обучения. К слову, ранее с кризисом воспроизводимости столкнулись психология, медицина и некоторые другие отрасли науки.

Но считалось, что область, связанная с ИИ, защищена от этого, ведь всегда есть исходный код, данные - все это позволяет воспроизводить эксперименты до мельчайших подробностей. Но на практике все иначе.

Исследователи находят тысячи причин, чтобы не публиковать тренировочную выборку и исходный код, пишет издание. Они начинаются с объективных - соглашение о неразглашении или желание обогнать конкурентов - и заканчиваются "детскими" отговорками, вроде, "у нас полетел жесткий диск с данными".

И Гюндерсен, и Science понимают причины, препятствующие публикации выходных данных, но протестуют против того, чтобы это тормозило развитие технологий.

Другие ученые, например, Питер Хендерсон из Университета МакГилл в Монреале, отмечают, что именно в области машинного обучения и искусственного интеллекта особенно важны точные исходные данные.

Говоря "точные, он подразумевает совпадение до последнего знака в коде. Он также подразумевает, что данные для тренировки алгоритма должны быть представлены. Свое мнение он подтверждает на примерах, запуская один и тот же алгоритм с наименьшими изменениями в тренировочной выборке или в коде.

По описанию, это по-прежнему одна и та же программа, но результаты совершенно противоположные. Поэтому Science, Гюндерсен и его коллеги пришли к выводу, что без исходного кода полноценное сравнение и реакция на работы в сфере ИИ других ученых невозможны.

Читайте также: Все говорят об искусственном интеллекте. Простыми словами объясним, что это

Специалистами из японских университетов Тохоку и Хокайдо был разработан робот, который может адаптироваться к физическим увечьям и показывать эмоции боли.
Искусственный интеллект создал собственную религию: физик Джанель Шейн с помощью нейросети решила проверить, что будет, если совместить несколько человеческих верований и свести их в единую систему
Ученые скачали "мозг" червя в робота, и тот самостоятельно взял его под контроль: они создали биологически достоверную модель нейронной сети круглого червя и погрузили в простого робота из Lego.
Лаборатория реактивного движения NASA в Калифорнии провела эксперимент, чтобы выяснить, кто быстрее и лучше руководит беспилотным летательным аппаратом - искусственный интеллект или профессиональный пилот.
Ученые Калифорнийского университета научили искусственный интеллект определять, как будут развиваться отношения пары, основываясь на записи их голосов.