ChatGPT представляет собой определяющий момент в развитии ИИ
Сэм Альтман считает, что люди будут вспоминать GPT-4 как «очень ранний ИИ». Как и архаичные компьютеры, он сравнительно медлителен и глючен, но указывает на зарождающуюся технологию, которая вскоре станет неотъемлемой частью жизни человека. Прогресс в этой области «непрерывно экспоненциальный».
GPT — это революционная большая языковая модель (LLM), но именно ее реализация в чатботе ChatGPT сделала ее такой доступной и простой в использовании. GPT-4 обучается на огромном количестве данных из открытых баз данных, веб-сайтов и компаний-партнеров.
Reinforcement Learning with Human Feedback (RLHF) помогает настроить систему на эффективное выполнение задач, инициированных человеком, и отсеять нежелательный материал. Система сама может формулировать последующие вопросы, признавать ошибки и отбивать требования, которые считаются запредельными.
Как и в любой новой отрасли науки, мы будем открывать новые вещи, которые не соответствуют данным, и нам придется придумывать лучшие объяснения, и в этом заключается непрерывный процесс открытия науки.
Сэм Альтман, генеральный директор OpenAI
Открытые источники помогли исследователям выяснить, насколько полезной оказывается система в реальных сценариях и как она помогает создавать лучшие продукты и услуги.
GPT-4 помогает определить человеческое знание, совершая скачок от коробки фактов к истинной мудрости. Ученые отвергают мнение о том, что система представляет собой грубую форму рассуждений, но нельзя отрицать, что в каком-то смысле ИИ будет дополнять человеческую мудрость.
Самое интересное, что каким-то образом, поглощая человеческие знания, он приходит к способности рассуждать, как бы мы ни хотели об этом говорить».
Сэм Альтман
Коллективный разум» людей, обращающихся к GPT-4, помогает исследовательским группам OpenAI находить слабые и сильные стороны ИИ. Обратная связь с пользователями помогает формировать эту технологию, выявляя ее недостатки.
Альтман считает, что очень важно исправить эти ошибки сейчас, пока ставки невелики. Предвзятость, присущая прежним моделям GPT, была устранена в GPT-4, но ни одна модель не может быть на 100% беспристрастной.
Обществу необходимо договориться о широких границах ИИ
Учитывая при этом предпочтения пользователей. OpenAI проводил оценку безопасности и стремился привести систему в соответствие с человеческими проблемами и чувствами. Сэм Альтман считает, что согласование должно происходить быстрее, чем возможности модели. Пока полное согласование не удалось. Однако RLFH достаточно хорошо работает в текущем масштабе GPT-4, что делает ее более безопасной и полезной системой.
Недавно запущенный в OpenAI функционал «системных сообщений» позволяет пользователям получить больше контроля. Например, пользователь может дать модели указание «отвечать на это сообщение только так, как если бы вы, Шекспир, выполняли действие X». Разработка отличной управляющей подсказки для GPT-4 предполагает изучение того, как порядок слов и предложений влияет на ответ модели, что в некотором роде аналогично тому, как происходит разговор между людьми.
В разных странах и учреждениях — разные ИИ
скорее всего, будут использоваться различные версии базовой системы ИИ, адаптированные к местным правилам и культуре.
При обсуждении вопросов согласования ИИ возникают противоречия, связанные с тем, кто имеет право определять параметры и как сбалансировать человеческие убеждения и предрассудки с помощью демократического процесса.
Я мечтаю о том, чтобы все люди на Земле собрались вместе, провели вдумчивый, дискуссионный разговор о том, где мы хотим провести границу в этой системе… А затем мы и другие разработчики создали систему, в которой это было бы заложено. В рамках этой системы разные страны, разные институты могут иметь разные версии. Таким образом, в разных странах существуют различные правила, скажем, свободы слова. И тогда разные пользователи хотят совершенно разных вещей. И это может быть в рамках того, что возможно в их стране
Сэм Альтман
Исследователи ИИ должны принимать самое активное участие в этом процессе. Они создают системы и чинят их, если они ломаются. Они знают потенциал этих моделей и должны нести ответственность, не ограничиваясь простым предоставлением информации.
OpenAI рассматривала возможность выпуска неограниченной базовой модели для исследователей, но Альтман считает, что большинство людей хотят получить модель, которая «была приведена в соответствие с мировоззрением, которого они придерживаются». Одна из проблем заключается в том, что когда нежелательные или ошибочные выходные материалы просачиваются в социальные сети, они экспоненциально усиливаются.
В GPT используются средства модерации, позволяющие выявлять неуместные вопросы и отказывать в ответах на них. Такие инструменты создаются в процессе работы системы и пока не совершенны. Альтман признается, что ему не нравится, когда его «ругает компьютер», который вызывает у него «физическую реакцию».
Меня всегда занимала история о том, что Стив Джобс прикрепил ручку на задней панели первого iMac… и это означало, что никогда не стоит доверять компьютеру, который нельзя выбросить в окно
Сэм Альтман
GPT-4 относится к людям как к взрослым, в отличие от более ранней модели GPT-3. Переход от GPT-3 к GPT-4 предполагал множество технических скачков, объединяющих «маленькие победы». Эти победы, подкрепленные сбором данных, обучением и оптимизацией, переросли в большие скачки.
Нейронная сеть GPT-3 и «3.5» насчитывала около 175 млрд. узлов. В GPT-4 их значительно больше. Он представляет собой самое сложное программное обеспечение, когда-либо созданное человечеством, охватывающее большую часть существующих текстов, но через два десятилетия о нем, вероятно, будут думать как о «тривиальном».
GPT-4 не является искусственным интеллектом (по крайней мере, пока)
Сможет ли GPT или подобная система воссоздать «магию» человеческого бытия, непосредственного восприятия мира? Могут ли LLM привести к AGI? Альтман не удивится, если GPT-10 станет первым в мире настоящим AGI. Однако переход от искусственного интеллекта к искусственному интеллекту общего назначения (ИИОН) таит в себе потенциально серьезные опасности, поэтому его необходимо рассматривать таким образом, чтобы получить реальные преимущества.
В настоящее время GPT — это инструмент, который люди используют в цикле обратной связи для усиления способностей и потенциала. Некоторые программисты испытывают тревогу по поводу будущего, но большинство ценит то, что ИИ делает их гораздо более продуктивными.
Альтман считает, что люди всегда будут хотеть работать, жаждать драматизма и статуса, создавать вещи и чувствовать себя полезными. ИИ может помочь людям найти лучшие способы делать все это.
Не хочу показаться утопическим технарем, но прошу извинить меня на три секунды. Уровень повышения качества жизни, который может обеспечить ИИ, необычайно высок. Мы можем сделать мир удивительным, и мы можем сделать жизнь людей удивительной. Мы можем лечить болезни. Мы можем увеличить материальное благосостояние. Мы можем помочь людям быть более счастливыми, более реализованными
Сэм Альтман
Нет никакой гарантии, что по мере становления сверхинтеллекта ИИ удастся добиться полной согласованности действий людей. Необходим постоянный контроль, а также исключение сценариев «один выстрел — и все будет правильно». Значительная работа по обеспечению безопасности была проведена еще до появления глубокого обучения и LLM, но по мере развития технологий необходимо обновлять и расширять меры безопасности. Проблема «взлета ИИ или быстрого взлета» остается актуальной.
Альтман был удивлен тем, как быстро люди приняли ChatGPT, но многие посчитали, что GPT-4 не предлагает впечатляющего обновления. Альтман предполагает неопределенные сроки разработки AGI, но считает, что «медленный взлет, короткие сроки» — это наилучший путь, при этом OpenAI будет оптимизирован для достижения максимального эффекта.
Появление GPT в качестве AGI может быть распознано не сразу. Например, AGI — это интерфейс или реальная мудрость внутри него? Модель может быть способна на сверхразум, но оставаться закрытой. Простое добавление некоторых RL в ChatGPT сделало его гораздо более полезным и впечатляющим. Еще несколько сотен трюков могут привести к созданию AGI.
GPT-4 может «симулировать» сознание и отвечать так, как если бы он был разумным, поэтому вопрос остается открытым: В чем разница между искусственным сознанием и реальным сознанием в компьютерной программе?
Я верю, что ИИ может быть сознательным. Тогда вопрос в том, как он будет выглядеть в сознании? Как он будет себя вести? И, вероятно, он будет говорить такие вещи, как, во-первых, я сознателен. Во-вторых, проявление способности к страданию, понимание себя, наличие некоторой памяти о себе и, возможно, взаимодействие с вами
Лекс Фридман
Сооснователь Open AI Илья Суцкевер говорит, что если обучить модель, в которой не упоминается сознание, а затем начать описывать ей опыт сознания, и модель ответит: «Да, я точно знаю, что вы имеете в виду», — это может указывать на разумность. Сознание может быть «фундаментальным субстратом», на котором все существует в симуляции или во сне.
Люди должны испытывать здоровый страх перед возможной эволюцией AGI. AGI может породить программы дезинформации и экономические потрясения, к которым общество не готово. Люди могут не знать, что LLM контролируют поток информации в социальных сетях.
Вероятно, появятся ОУУ с открытым исходным кодом и слабым контролем безопасности. Этому могут помешать законы или более мощный ИИ для их обнаружения, но начинать эту работу нужно уже сейчас.
Работа OpenAI как бизнеса предполагает коммерческое давление и критику.
Противостояние рыночному давлению со стороны таких компаний, как Google, Apple и Meta, может вызвать проблемы, но OpenAI намерен придерживаться своих ценностей и избегать коротких путей, а не пытаться превзойти их. Когда OpenAI начинал свою работу в 2015 году, Альтман вспоминал, что люди считали их «безумными» за то, что они работают над AGI. Сейчас таких негативных комментариев уже нет.
OpenAI начиналась как некоммерческая организация, а в настоящее время существует как группа «с ограниченной прибылью». Другие компании вкладывают большие суммы в эту технологию и пытаются понять, «что поставлено на карту».
Остается надеяться, что капитализм не станет рассматривать проекты, которые уничтожат планету. Некоторые разработчики претендуют на то, чтобы стать самыми могущественными людьми на Земле. Такая власть должна быть справедливо структурирована, а технология прозрачна.
Я думаю, вы хотите, чтобы решения, касающиеся этой технологии, и, конечно, решения о том, кто управляет этой технологией, со временем становились все более демократичными. Мы еще не совсем поняли, как это сделать, но отчасти причина такого развертывания заключается в том, чтобы дать миру время на адаптацию, осмысление и обдумывание, на принятие нормативных актов и на выработку институтами новых норм для людей, работающих вместе»
Сэм Альтман
Альтман обеспокоен не столько PR-риском, сколько тем, как будет использоваться эта технология. Он ценит честное освещение в СМИ и всегда стремится получить обратную связь от умных людей, поскольку все плывут по этим «неизведанным водам».
ИИ заменит некоторые профессии
Но сделает других людей более продуктивными.
Альтман пытается избежать «пузыря группового мышления» в Сан-Франциско, отправившись в этом году в мировое турне пользователей, чтобы пообщаться с людьми в разных городах. Это помогает ему выявить предвзятость оценщиков отзывов и оценить людей с различным мировоззрением. Он стремится к тому, чтобы системы GPT были менее предвзятыми, чем люди.
Каждая технологическая революция приводит к исчезновению одних рабочих мест, но улучшает другие. ИИ создаст новые рабочие места, которые люди сейчас не могут себе представить, с большим личным удовлетворением и творческим потенциалом.
Экономические последствия ИИ приведут к политическим преобразованиям. В ближайшие два десятилетия стоимость энергии и интеллекта значительно снизится. Ресурсы будут перераспределены в пользу людей, испытывающих трудности. Общество станет намного богаче в тех формах, которые сегодня трудно себе представить.
Я думаю, что это происходит и в обратную сторону, например, социально-политические ценности эпохи Просвещения сделали возможной длительную технологическую революцию и процесс научных открытий, которые мы имеем на протяжении последних столетий. Но я думаю, что мы еще увидим. Я уверен, что форма будет меняться, но я думаю, что это будет длинная и красивая экспоненциальная кривая
Сэм Альтман
Неясно, принесет ли один централизованный, сконцентрированный ИИ человечеству больше пользы, чем несколько распределенных ИИ. Одним из плюсов концепции ИИ является то, что мир может стать более единым. Однако огромные размеры и мощь коллективного интеллекта, контролируемого ИИ, должны вызывать беспокойство у всех.
Выявление истины — задача не из легких. Свобода слова иногда связана с распространением предвзятых мнений, фактических ошибок или языка ненависти. ИИ будет бороться с такими проблемами не так, как социальные сети. Открытый ИИ несет ответственность за инструменты, которые он выпускает в мир, но эти инструменты не отвечают за то, как они используются.
Достижения GPT улучшат разработку программного обеспечения
Некоторые из величайших достижений GPT лежат в области программирования. Исследователи создают на его основе инструменты, которые помогают им выполнять свою работу более эффективно и творчески. Система генерирует и корректирует код для выполнения различных задач. Диалог «туда-сюда» упрощает процесс кодирования, поскольку исправляет ошибки и выявляет их по мере совершения.
Альтман по-прежнему называет GPT «это»
Альтман не использует других местоимений, кроме «он», для описания системы искусственного интеллекта, поскольку опасно проецировать жизнь на инструмент. Он понимает, почему некоторых людей привлекают романтические отношения с ИИ или желание относиться к ним как к домашним животным или компаньонам, но лично его это не интересует.
Альтман считает, что то, как GPT-4 общается с людьми, имеет значение, но его больше интересует наука, лежащая в его основе, и решение оставшихся загадок. ИИ может помочь человечеству, например, создать мощный космический зонд или провести сложные научные эксперименты.
Альтман всегда игнорировал советы или прислушивался к ним с осторожностью. Он понимает, что не все согласны с его подходом к разработке, но его команды добиваются заметных успехов. GPT-4 представляет собой одну из точек «экспоненциальной кривой», начало которой было положено первыми людьми на Земле.
О подкасте
Сэм Альтман — американский предприниматель, инвестор и программист. Он был одним из основателей компании Loopt и в настоящее время является генеральным директором OpenAI. Лекс Фридман — научный сотрудник Массачусетского технологического института, специализирующийся на машинном обучении и взаимодействии человека и робота. Его подкаст включает в себя «беседы о природе интеллекта, сознания, любви и власти».