«Яндекс» предложил создать национальный датасет для проверки ИИ-моделей

Компания «Яндекс» выступила с идеей формирования национального датасета для оценки систем искусственного интеллекта. Концепцию представили 13 августа на заседании рабочей группы, которая занимается вопросами регулирования и снятия административных барьеров в сфере ИИ. О содержании выступления рассказал источник, близкий к Минцифры; факт презентации подтвердил один из участников встречи.

Речь идёт о наборе тестовых заданий и эталонных данных, по которым можно проводить бенчмарк-тестирование моделей. Такой формат предполагает, что разные ИИ-системы получают одинаковые задачи, а их ответы сравниваются с заранее подготовленными эталонными вариантами — это даёт возможность сопоставлять решения разных разработчиков по единой методике.

Как пояснил источник, национальный датасет должен помочь определить, насколько ИИ-системы отвечают «духу времени и ценностям страны», а также оценить их пригодность для использования в российских условиях. Таким образом, проверка касается не только технических характеристик моделей, но и содержательной стороны их ответов.

Рабочая группа по регулированию и административным барьерам в области искусственного интеллекта служит площадкой, на которой обсуждаются подходы к нормативному оформлению отрасли и предложения участников рынка. Представленная «Яндексом» концепция пока обозначена именно как концепция — данных о сроках её возможной реализации и о параметрах будущего набора данных не приводится.