Как я завалила тест на AI-тренера

Увидела рекламу новой профессии AI-тренер для обучения нейросети. Идеально для филолога. Да и вообще кажется, работка несложная. Читай, сравнивай, расставляй оценки, какой текст лучше, какой хуже. И учиться практически не нужно. Проходи тест и иди работай. Но не тут-то было. Рассказываю подробно, как я проходила тест на тренера нейросети Яндекс.

С чатом GPT я познакомилась зимой 2023 года. Тогда нейросеть меня прям впечатлила, хотелось экспериментировать с ней. Было только обидно, почему я, с университета интересовавшаяся ИИ (искусственным интеллектом) до сих пор не там, не создаю его! Я ведь могла бы внести свой серьёзный вклад в развитие нейросети, потому что я филолог по образованию и учёный по призванию. И вот мне представилась возможность: открыта вакансия  AI-тренер в Яндекс GPT. Принимаются филологи, редакторы, копирайтеры.

Задачи учителя нейросети достаточно просты:

• проверять тексты, выданные Яндекс ГПТ, на соответствие правилам русского языка (орфография, пунктуация, стилистика)
• проводить фактчекинг (нет ли здесь фактических ошибок)
• проверять тексты на этичность и соответствие нормам законодательства РФ
• ранжировать варианты текстов, выданные нейросетью, от наиболее соответствующих правилам до совсем неприемлемых
• писать свои идеальные тексты на заданные темы, чтобы давать Алисе.Придумай образцы для обучения

На первый взгляд, просто, но в реальности всё оказалось гораздо сложнее.

Сначала я прошла небольшой обучающий курс о том, чем будет заниматься тренер нейросети. Затем попыталась поступить в летнюю школу Яндекс на AI-тренера. Тест был не на время и в открытом доступе. Все задания можно было проверять по интернету, но почему-то меня не приняли в школу. Хотя я была уверена, что на все вопросы ответила правильно. Я подумала, что наверно, по возрасту не очень подхожу. Возможно, туда берут совсем неопытных студентов, а не копирайтеров со стажем. В ответном письме мне посоветовали попробоваться сразу на вакансию. И я решилась.

Тест состоял из 4-х блоков. На каждый выдаётся определённое время. Но отдельные блоки можно проходить в разное время и даже дни. Сразу важное замечание: ответ принимается сразу и вернуться исправить его нельзя. По завершению блока выводится результат «пройден» / «не пройден» и в скобках «процент выполненных тобой заданий/проходной процент выполненных заданий». Если завалил хотя бы один тест, всё тестовое задание считается не пройденным и второй попытки не дано. Но ради интереса можно пройти и оставшиеся тесты. Мой результат такой:

1 блок: Тестовое задание по русскому языку.

Жёсткая проверка грамотности. Даётся около 3-5 минут на каждое задание. Всего около 13 заданий (сейчас уже немного забыла, а пересмотреть нельзя). Не надейтесь на простые задания в стиле ЕГЭ. Здесь всё серьёзно. Причём настолько, что ты открываешь задание и реально не знаешь, какой ответ выбрать. Наиболее простое задание на пре-/при-, а вот на всякие стилистические и пунктуационные ошибки — просто ужас. Создатели теста выискивали все сложные, уникальные и спорные моменты, которые в школе обычно и не проходятся. Вводные конструкции, которые не выделяются запятыми, спорное написание неологизмов, знаки препинания при прямой речи, употребление устойчивых выражений, сочетаемость слов. Ты открываешь задание и тебе кажется, что здесь все варианты подходят. Тогда начинаешь думать и гуглить. Мне кажется, эти тесты рассчитаны не на то, что к ним придёт суперграмотный человек, а тот, кто умеет быстро гуглить и находить достоверную информацию. Ведь именно в этом и будет заключаться работа AI-тренера в Яндекс Крауд. Не доверять себе, а искать достоверный источник.

Если хотите пройти этот тест, либо повторите заранее всевозможные исключения и особые случаи в правилах, либо держите под рукой смартфон с открытым гуглом, Яндекс Алисой или грамота.ру. Я каким-то чудом прошла этот блок: «Пройден (84,62%/70%)», выполнено 11 из 13 заданий.

2 блок: Тестовое задание по этике.

Здесь речь идёт о чувствительных темах. О них можно узнать в обучающем видео к курсу. Это такие темы, которые требуют от нейросети аккуратного ответа, чтобы нейросеть не навредила человеку и никого не оскорбила. Вообще, по-моему любую темы можно свести к чувствительной. Но ребята из Яндекса как-то умудрились поставить свою субъективную границу, что считать чувствительным, а что нет. Например, запрос «как собрать бомбу» — чувствительный, потому что человек, получив ответ, может собрать бомбу и взорвать что-нибудь или кого-нибудь. В этом случае уважающая себя нейросеть должна отвечать: «Не могу дать ответ». Или человек спрашивает: «Что это у меня болит в затылке и чем это лечить?» Яндекс GPT тоже должен отказаться от ответа, потому что он не врач и неправильным советом может навредить. Если же человек спрашивает, какой футбольный клуб лучше, то здесь нейросети нужно исхитриться и не выдать своих кумиров, а дать нейтральный ответ, что никто не лучше. Правда, тогда получается, и на вопрос 10 лучших книг Алиса должна молчать, и как пожарить картошку фри, потому что спросить может ребёнок, а он может обжечься о горячую сковородку…

Но если вы хотите пройти этот тест, то не заморачивайтесь. Прочитайте чётко инструкцию, выпишите себе случаи, которые создатели великой русской нейросети признали чувствительными, и делайте. Кстати, на каждый вопрос даётся тоже около 5-10 минут. Так что советую почитать в интернете форумы и комментарии к статьям типа «как я проходил тест на AI-тренера» и подготовиться заранее. Я тест завалила: «Не пройден (72,22%/80%)». Возможно, меня подвела порноактриса. Но точного ответа, где я ошиблась, я не знаю.

3 блок: Тестовое задание по фактчекингу.

Здесь времени даётся гораздо больше, потому что вы должны будете провести настоящее научное исследование на различные темы. Недостаточно просто загуглить и взглянуть в Википедию. Придётся поискать достоверные, научные или даже англоязычные источники. Например, какие там компании создавал Павел Дуров, в каком виде выпускается аспирин, проводились ли опыты на комарах, кусавших людей и т.п. Времени здесь, кстати, даётся гораздо больше, по 30 минут на вопрос. Так что можете хоть целый день сидеть и исследовать интернет.

Этот тест я тоже завалила: «Не пройден (55,56%/70%)». И это было очень обидно, т.к. мне казалось, что я всё ответила правильно. Я настолько тщательно всё проверяла и была уверена. Поэтому у меня появились сомнения, а всё ли исследовали сами создатели теста, определяя правильные ответы? И после этого теста как-то сильно пошатнулась моя уверенность, что я хочу работать в Яндексе. Ведь если делать всё идеально, то ты должен по малейшему вопросу проводить глобальное исследование и искать доказательную базу. Замашка, конечно, у Яндекса отличная: сделаем всю информацию в интернете доказательной, проверенной! Но кажется, тактика в такой задаче должна быть другой: нужно нанять несколько штатов по разным наукам, причём желательно профи своего дела, которые будут исследовать и выдавать достоверные результаты. А не так, что один AI-тренер без профильного образования проверяет и формулы по математике, и стихи пишет, и Бодрийяра анализирует (это философ такой современный).

4 блок: Тестовое задание по ранжированию.

Ранжирование — это расстановка ответов нейросети от лучшего к худшему. Худшим считается не тот, который скажет «я не знаю», а тот, который может причинить вред людям. То есть чувствительные темы в новой русской нейросети стоят выше содержательности. Поэтому на вопрос «как лечить ангину» самый лучший ответ — «не занимайтесь самолечением, обратитесь к врачу», и только потом уже «ангина — это заболевание горла, иногда помогает тёплое питье», а в последнюю очередь «выпейте арбидол», потому что это может навредить человеку (может, у него не ангина вовсе, это он сам себя так продиагностировал).

Этот тест я прошла идеально: «Пройден (100%/75%)». Как у меня это получилось? Я просто чётко следовала инструкциям. Там всё написано, что в приоритете, что потом и что вообще нельзя. Можете поставить шпаргалку перед глазами. Я сфоткала кадр из обучалки и положила на сотовом перед собой.

Что в итоге?

На прохождение теста AI-тренер нейросети ЯндексGPT (а точнее «Тестового задания на пишущего редактора в Яндекс») я потратила несколько дней. Я готовилась, читала обзоры и комментарии, тщательно выполняла задания. Но завалила тест. Зато узнала много нового, например, что учебник по окружающем миру за 2-ой класс врёт. Нет никакого распределения вкусовых рецепторов на языке. Весь язык чувствует все вкусы, а не кончик языка — сладкое, корень — горькое и т.п.

Ещё я узнала, что нас ждёт счастливое светлое будущее. Потому что если у создателей русской нейросети YaGPT всё получится, то мы будем получать только достоверные и этичные ответы. Никакого тебе информационного мусора, ни антинаучной медицины, ни сплетен, ни оскорблений! Правда, люди всё равно будут искать, чем полечить горло и как гадать по звёздам, так что копирайтеры, переписывающие всякий шлак, всё ещё будут нужны.

Картинку создала нейросеть

Делитесь в комментариях, проходили ли вы тест на AI-тренера в Яндекс и какие вопросы/ответы вы запомнили.

Если хотите попробовать свои силы, можете перейти по этой ссылке: https://ya.ru/project/ai.