Играем по алгоритму: тренируем машины или…?

Опубликовано: 11/01/2021 Время на прочтение: 3 минут

Это, безусловно, верно для тех, кто занимается бизнесом, как обнаружили авторы рабочего документа «как говорить, когда машина слушает: корпоративное раскрытие информации в эпоху ИИ». В статье, опубликованной Национальным бюро экономических исследований, описываются результаты исследования:

Компании выходят за рамки машинной читабельности и управляют настроением и тоном своих раскрытий, чтобы побудить алгоритмических читателей сделать благоприятные выводы о содержании. Например, компании избегают слов, которые перечислены как отрицательные в указаниях, данных алгоритмам.

Исследователи показывают это, сравнивая встречаемость положительных и отрицательных слов из Гарвардского психосоциального словаря, который уже давно используется читателями-людьми, с теми из альтернативного, специфичного для финансов словаря, который был опубликован в 2011 году и в настоящее время широко используется для обучения машинных читателей. После 2011 года компании, рассчитывающие на высокую читательскую аудиторию машин, значительно сократили использование слов, помеченных как негативные в словаре по финансам, по сравнению со словами, которые могли бы быть близкими синонимами в Гарвардском словаре, но не были включены в финансовую публикацию.

И компании не просто подправляют письменные публичные документы. Далее в статье говорится, что:

Менеджеры, которые знают, что их документы о раскрытии информации анализируются машинами, могут также признать, что голосовые анализаторы могут использоваться для идентификации вокальных паттернов и эмоций в их комментариях. Используя программное обеспечение машинного обучения, обученное на выборке аудио конференц-звонков с 2010 по 2016 год, исследователи показывают, что голосовые тона менеджеров в компаниях с более высокой ожидаемой машинной аудиторией значительно более позитивны и возбуждены.

— Вот именно. Возможно, вы этого не осознали, но сейчас происходит очень много игр, когда мы пытаемся переписать и перезаказать, чтобы угодить нашим машинам и-в конечном счете-дать себе преимущество выглядеть немного лучше, чем, возможно, мы есть на самом деле. В данном случае это что-то вроде “ботокс для бизнеса.”

Однако эта практика никоим образом не ограничивается тем, что фирмы-павлины могут делать перед инвесторами. На самом деле все чаще кажется, что ни один домен не является безопасным. Возьмите эту статью о том, как семиклассник и его мать научились обманывать алгоритмическую онлайн-образовательную платформу Edgenuity и отправлять оценки 12-летнего ребенка взлетать от Fs до A+s без того, чтобы он на самом деле “учился чему-то».”

Пишущая для The Verge Моника чин описывает, как эти двое замышляли обмануть систему после того, как ребенок получил плохую оценку в течение секунды после подачи ответов на тест по истории:

Симмонс наблюдал, как Лазарь выполняет новые задания. Она посмотрела на правильные ответы, которые Эдженити обнаружила в конце. Она предположила, что ИИ Edgenuity сканировал определенные ключевые слова, которые он ожидал увидеть в ответах студентов. И она решила поиграть.

Теперь на каждый короткий вопрос Лазар пишет два длинных предложения, за которыми следует разрозненный список ключевых слов — все, что кажется относящимся к вопросу. «Вопросы — это такие вещи, как… ” В чем было преимущество расположения Константинополя для могущества Византийской империи», — говорит Симмонс. “Итак, вы проходите, хорошо, каковы возможные ключевые слова, которые связаны с этим? Богатство, караван, корабль, Индия, Китай, Ближний Восток-он просто бросил все эти слова.”

По-видимому, этого «словесного салата» достаточно, чтобы получить идеальную оценку на любой вопрос с коротким ответом в тесте на остроту.



прокрутка вверх