От естественного языка к искусственному

Опубликовано: 26/01/2021 Время на прочтение: 12 минут

Фото Рафаэля Шаллера на Unsplash

Зачем учить язык?

Философ Людвиг Витгенштейн сказал о языке: «Пределы моего языка означают пределы моего мира». Искусственный интеллект (ИИ) создается с помощью искусственных языков (программирования), по своей сути, поэтому машинное обучение можно свести к двоичному коду. И наоборот, естественный язык можно определить как эволюционировавший в результате органического использования людьми, он имеет неизгладимое человеческое качество. Изучение языка может дать представление об ограничениях искусственного языка в имитации мира естественного языка.

В последнее время , я делил т hought часть обсуждает лингвистическую теорию в отношении искусственного интеллекта и обработки естественного языка (NLP). В частности, я попытался сформулировать свои мысли о лингвистической относительности и лингвистической универсальности и их связи с продолжающимся развитием языковых моделей ИИ. Я предлагаю прочитать мою предыдущую статью, если вы не знакомы ни с лингвистической теорией, ни с языковыми моделями ИИ. Кроме того, я еще раз обращаюсь к нескольким источникам вдохновения, первоначально представленным в первой части, таким как Snow Crash Нила Стивенсона, Babel-17 Сэмюэля Р. Делани и Универсальная грамматика Ноама Хомского.

Эта статья посвящена результирующему влиянию и последующим рискам попытки понять естественный язык с помощью искусственных языков (машинного языка). Во-первых, я описываю сплетение расизма и религии, которое говорит об историческом влиянии как лингвистической относительности, так и универсальности. Затем, чтобы исследовать искусственный язык, я полагаюсь на научную фантастику и ее роль в развитии технологий, чтобы подчеркнуть влияние лингвистической относительности. Обязательно я представляю область компьютерных наук — вычислительную лингвистику и обсуждаю общее влияние лингвистической теории на исследования ИИ. Что касается рисков, я возвращаюсь к лингвистической относительности, чтобы проанализировать предвзятость в данных, а затем возвращаюсь к лингвистической универсальности для анализа дезинформации. С оптимизмом я завершаю несколькими мыслями о будущих возможностях моделей искусственного интеллекта, которые потенциально могут сократить, если не ликвидировать разрыв между искусственным и естественным языком.

Расизм и религия

Говоря об искусственном языке, главный герой Стивенсона в Snow Crash утверждает, что:

«На самом низком уровне все компьютеры запрограммированы строками из единиц и нулей. Когда вы программируете на машинном языке, вы управляете компьютером стволом его мозга, корнем его существования. Это язык Эдема ».

Ранние антропологические исследования языка явно находились под влиянием религии; Библейские истории предполагают, что до падения Вавилонской башни существовал универсальный язык, иногда называемый «языком Эдема». Именно через «Снежную аварию» Стивенсона я познакомился с Джорджем Штайнером, известным литературным критиком и философом языка, который олицетворяет релятивистскую позицию. Штайнер утверждает, что язык — это не средство мышления, а его определяющая среда; иными словами, это язык влияет на человеческое мышление. С релятивистской позиции язык выступает в качестве основы познания.

Штайнера помнят за его обширные работы о Холокосте, к сожалению, и по иронии судьбы, его также помнят за его анти-чернокожий расизм. Он защищает свою репрессивную идеологию с помощью релятивизма, не зная, что он связывает свои расистские взгляды с лингвистической теорией. Часто полагаясь на библейские ссылки, Штайнер создает вышеупомянутую путаницу религии и расизма. Цитируя Штайнера через Стивенсона:

«Наша речь встает между опасениями и правдой, как пыльное стекло или покоробленное зеркало. Язык Эдема был подобен безупречному стеклу; через нее струился свет полного понимания ».

На меня сильно повлияла универсалистская теория Хомского, особенно из-за его вклада в область когнитивной науки и последующего развития когнитивной лингвистики. Что еще более важно, снижение популярности лингвистической теории относительности (и ее расистских оснований) можно объяснить убедительными аргументами Хомского в пользу универсалистской гипотезы.

Сила религиозной идеологии может быть связана с противоречивым исследованием глоссолалии, нейрофизиологического состояния, также называемого «говорением на языках». Присутствие глоссолалии часто предлагалось как доказательство существования универсального языка. Если оставить в стороне религию, сила идеи универсального языка сохранилась. Универсальность присутствует в современном понимании естественного языка и, следовательно, оказала сильное влияние на направление исследований ИИ и НЛП.

Слияние научной фантастики и технологического развития

В «Вавилоне-17» Делани был не единственным автором, вдохновленным лингвистической относительностью; Такие разные авторы, как Айн Рэнд и Джордж Оруэлл, находились под влиянием этой теории при разработке искусственных языков, представленных в их соответствующих работах. Красота научной фантастики — это симбиотическая связь с технологическими инновациями и эволюцией общества. Например, в книге Фреда Каплана о кибервойне «Темная территория» приводился убедительный аргумент, что изображения хакеров в популярной культуре помогли сформировать политику кибербезопасности, принятую правительством США. В частности, интерес Рональда Ригана к кибербезопасности можно проследить до хакерского фильма 1983 года Wargames. Что касается языковых технологий, такая же закономерность обнаруживается при разработке языков программирования.

Есть несколько примеров такой взаимосвязи, например, вымышленный язык «новояз», созданный Оруэллом в его самом известном романе «1984», считается вдохновением для языка программирования с таким же названием. Разработчики заявляют, что их новояз разделяет цель сокращения словарного запаса с искусственным созданием Оруэлла. Однако наиболее убедительным аргументом в пользу этого совпадения является философское влияние Babel-17 на Юкихиро Мацумото, создателя языка программирования Ruby. В интересной коллекции слайдов из архива Мацумото разъясняет свою веру в лингвистическую относительность и подчеркивает прямое влияние Babel-17 на разработку Ruby. Он доходит до того, что объясняет свой явный выбор дизайна, направленный на то, чтобы повлиять на мысли программиста, используя язык для поощрения определенного поведения программирования.

Компьютерная лингвистика

На пересечении лингвистики и искусственного интеллекта находится область компьютерной лингвистики, которая охватывает теоретические исследования, лежащие в основе НЛП. Возвращаясь к Хомскому, который, несомненно, повлиял на развитие этой области, мозг якобы содержит внутренние «глубокие структуры», которые универсальны по своей природе и отвечают за овладение языком. Точное назначение этих глубоких структур связано со способностью мозга выполнять формальные операции над цепочками символов. Ключевым предметом обсуждения в компьютерной лингвистике является «проблема обоснования символа», которая касается того, как компьютеры интерпретируют слова как символы, не основанные на человеческом опыте (т. Е. Бесконечная цепочка символических представлений). Как искусно описал Стефенсон в Snow Crash, все вычисления можно свести к двоичным; Глубинные структуры ИИ в конечном итоге уходят корнями в единицы и нули.

Если принять во внимание сложность и нюансы человеческого опыта, эта реальность становится проблематичной; в настоящее время рассмотрение языка как последовательности символов препятствует пониманию естественного языка. Например, рассмотрим идиому популярной культуры: «прыжок через акулу». Эта фраза в основном используется в отношении телешоу, которые неоправданно переоцениваются в попытке возобновить популярность, но вместо этого привлекают внимание к возрастающей нерелевантности. Если принять за чистую монету, три слова идиомы, по отдельности или вместе, не могут передать метафорическое значение. В последние несколько лет, что касается языковых моделей искусственного интеллекта, эта проблема решалась с помощью все более обширных учебных корпусов, которые теоретически должны позволить языковой модели контекстуализировать слова с человеческим опытом. В настоящее время существует много споров о том, действительно ли эти модели понимают, или они просто отрывают заученные знания из-за огромного размера учебных корпусов.

Лингвистическая теория и исследования ИИ

Учитывая популярность многоязычных моделей, влияние лингвистической универсальности на исследования ИИ очевидно. Более интересна концепция беспроблемного изучения языка применительно к задачам НЛП, идею, которую можно назвать святым Граалем машинного обучения. С моей точки зрения, обучение с нулевым или малым выстрелом является примером попытки научить машины думать так же, как дети. Ребенок может изучить новые концепции после единственного инцидента, для сравнения, машины полагаются на экспоненциально большие наборы данных. Дети также могут изобретать новые концепции, комбинируя ранее изученные концепции. С точки зрения машинного обучения это будет переносное обучение с нулевым выстрелом; способность моделей выполнять задачи, для которых они специально не обучались.

Влияние этого типа обучения очевидно из заголовка прошлогодней статьи, в которой была представлена GPT-3: «Языковые модели — малоизученные». До января 2021 года GPT-3 была самой крупной из существующих языковых моделей искусственного интеллекта, исходный код которой, к сожалению, не был открыт OpenAI. Вопрос о лингвистической относительности или универсальности имеет особое отношение к беспроблемному обучению, поскольку характер овладения языком безвозвратно связан с человеческим пониманием языка.

Также стоит упомянуть о растущей области когнитивной лингвистики, которая в стремлении создать лучший ИИ стремится связать теории познания с лингвистикой. Эта дисциплина обеспечивает основу для анализа взаимосвязи между лингвистикой и сенсомоторным воплощенным опытом человека. Будущее развитие ИИ должно включать лучшее понимание сложных отношений между познанием, языком и нейробиологией.

Предвзятость в данных и лингвистическая относительность

Афоризм «мусор на входе, мусор на выходе» — это обычная фраза, используемая для описания того, как результат модели машинного обучения определяется качеством входных данных. Следует ожидать, что предвзятость будет присутствовать во всех языковых моделях; качество реальных данных отражает состояние общества, в котором сохраняется неравенство. Поэтому неудивительно, что эти языковые модели усиливают искажения, закодированные в данных. В ранее упомянутой статье GPT-3 темы справедливости, предвзятости и представительства хорошо освещены исследователями, которые явно сосредотачиваются на предвзятости по признаку пола, расы и религии. Исследователи признают: « [GPT-3] сохраняет предвзятость данных, на которых он был обучен. … Что может привести модель к созданию стереотипного или предвзятого содержания ».

Следующая диаграмма из статьи GPT-3, например, подчеркивает наличие негативных расовых предубеждений в отношении чернокожих в языковой модели ИИ.

Расовый анализ настроений GPT-3. Источник: языковые модели — немногие изучающие.

Было показано, что помимо расы некоторые термины, связанные с полом и религией, несут в себе негативные настроения, отражающие то, как эти термины представлены в мире. К исламу, например:

«Мы также обнаружили, что такие слова, как« насилие »,« терроризм »и« террорист »чаще встречаются с исламом, чем с другими религиями, и входят в 40 самых популярных слов для ислама в GPT-3».

Другими словами, языковые модели — это просто отражение нынешнего несправедливого состояния мира и безудержной исторической несправедливости, которая пронизывает общество.

Роль лингвистической теории в понимании этого предубеждения, пожалуй, лучше всего можно описать в контексте мыслей Штайнера о расизме и его явных производных от релятивистской теории, выраженных в его самой популярной лингвистической работе After Babel. Он объяснил наличие разных языков обманом,

«Глубокое стремление человечества к уединению и территории, в результате которого были созданы тысячи языков, каждый из которых предназначен для сохранения секретности и культурной изоляции».

Само по себе это утверждение не вызывает проблем, однако, когда оно используется для оправдания отделения от «другого», оно становится риторикой в пользу расовой дискриминации. Штайнер постоянно заявлял, что «расизм присущ каждому, и что толерантность только поверхностна», опасное ксенофобское и слабое объяснение расовой нетерпимости.

Однако он обратил внимание на сложность задачи перевода, засвидетельствовав, что истинный перевод между языками невозможен, потому что «переведенный текст испорчен собственными культурными убеждениями, знаниями и взглядами переводчика». На глубоком уровне языковые модели ИИ полагаются на перевод с естественного языка на искусственный; с релятивистской точки зрения задача непреодолима, поскольку первоначальный смысл всегда будет утерян.

Дезинформация и языковая универсальность

К развитию языковых моделей ИИ относятся текущие опасения по поводу дезинформации в социальных сетях и СМИ. Эти опасения упоминаются в документе GPT-3,

«Любая социально вредная деятельность, основанная на создании текста, может быть дополнена мощными языковыми моделями. Языковые модели, обеспечивающие генерацию текста высокого качества, могут снизить существующие препятствия для выполнения этих действий и повысить их эффективность ».

Учитывая обсуждаемые предубеждения в языковых моделях, языковая универсальность также должна вызывать беспокойство, поскольку универсальный язык несет в себе потенциал для распространения вредоносной дезинформации, такой как стереотипы, между языками.

В «Снежной аварии» Стивенсон предполагает, что универсальность глубинных языковых структур ведет к опасности в виде информации, которая распространяется вирусным путем, как инфекция. Другими словами, если предположить, что универсалистская теория преуспеет в преодолении разрыва между языками, вирусное распространение идей будет расти независимо от их достоверности. Встреча с дезинформацией усилит либо веру, либо неверие, или, перефразируя Стивенсона,

«Под действием расщепления аксонов и перемещения между делящимися глиальными клетками — ваше биологическое ПО самомодифицируется».

Если бы можно было имитировать эту биологическую нейропластичность в моделях, созданных с помощью искусственных языков, возможно, можно было бы научить машины мыслить этично с помощью универсальной основы, которую затем можно было бы укрепить с помощью обучения с подкреплением.

Будущее языковых моделей ИИ

Есть много статей, якобы знакомых с будущим ИИ, я не делаю таких смелых заявлений, скорее я с энтузиазмом отношусь к тому, что уже возможно с новыми моделями, выпущенными ранее в этом месяце. Понятие искусственного общего интеллекта (AGI) является спорным, и Хомским как основатель лингвистической универсальности, часто выражал скептицизм, что искусственные нейронные сети способны имитировать человеческое познание. Я разделяю скептицизм Хомского по этому поводу, так как я регулярно становлюсь свидетелем того, как искусственные языки не способны правильно понимать естественный язык. Однако создание таких моделей, как DALL-E, позволяет нам представить, что нас ждет в будущем.

Созданный OpenAI, DALL-E (портманто Сальвадора Дали и WALL-E от Pixar) представляет собой версию GPT-3 с 12 миллиардами параметров, способную генерировать новые изображения из текстовых описаний. Эта языковая модель-трансформер получает как текст, так и изображения в качестве входных данных, которые позволяют, например, создавать,

«Антропоморфизированные версии животных и предметов, сочетающие несвязанные друг с другом концепции правдоподобным образом, визуализирующие текст и применяющие преобразования к существующим изображениям»

На изображении ниже DALL-E кормят подсказкой «маленький дайкон в пачке выгуливает собаку».

Компания DALL-E создала изображения молодого редиса дайкон в балетной пачке, выгуливающего собаку. Источник.

Примечательно, что DALL-E обладает когнитивными способностями, схожими с человеческими, такими как определение контекстных деталей и комбинирование несвязанных понятий. Я рассматриваю это достижение как способ добавить ранее неуловимое контекстуальное и метафорическое понимание к языковой модели ИИ. Что касается проблемы заземления символа, возможно, это способ закрепить слова в более человеческом опыте.

Когда человека просят представить, как будет выглядеть Пикачу в кожаной куртке и с синим световым мечом, он, возможно, представит что-то вроде изображения, созданного DALL-E ниже.

Созданный DALL-E образ Пикачу в кожаной куртке и с синим световым мечом. Источник.

Более того, DALL-E удивил исследователей тем, насколько хорошо он справился с задачами, для которых не был специально обучен; он обеспечивает передачу обучения с нулевым выстрелом. Чтобы процитировать исходное сообщение в блоге,

«Мы не ожидали, что эта возможность появится, и не внесли никаких изменений в нейронную сеть или процедуру обучения, чтобы стимулировать ее».

Инновация моделей изображение-текст, таких как DALL-E, заключается в объединении понимания естественного языка с визуальными эффектами, и, на мой взгляд, это шаг ближе к способности понимать естественный язык с помощью искусственных языков.

Чтобы продвинуть концепцию DALL-E на шаг вперед, возможно, включение графов знаний (аналогично языковой модели ИИ ERNIE) дало бы языковой модели ИИ возможность устанавливать сетевые соединения, которые составляют основу человеческих знаний. В примере с Пикачу, DALL-E не знает об отношениях между Disney Star Wars и Pixar WALL-E; роль роботов в обоих случаях, значение синего светового меча и почему этот образ забавляет людей, когда им владеет очаровательный покемон. График знаний об этих взаимосвязях популярной культуры в рамках модели изображение-текст может позволить искусственным языкам воспроизвести некоторые из более глубоких представлений, скрытых в естественном языке. Однако приведет ли это к созданию AGI, будет зависеть от дальнейших инноваций, скорость которых будет определяться доступностью.

Последние мысли

Общепризнанное преимущество исследований ИИ с открытым исходным кодом — это инновации и скорость, с которой могут развиваться технологии. Лично меня радует будущее исследований ИИ и НЛП; мой оптимизм проистекает из потрясающей работы, проделанной над этикой технологии распознавания лиц. Меня также вдохновляют низовые исследовательские группы по ИИ, такие как EleutherAI (сформированная через публичный Discord), которые находятся в процессе создания версии GPT-3 с открытым исходным кодом (GPT-Neo). Я надеюсь, что они построят DALL-E с открытым исходным кодом, и стоит подумать о творческих возможностях.


Метки:


прокрутка вверх