ИИ на самом деле становится все хуже.
Искусственный интеллект (ИИ) основан исключительно на вере в то, что он со временем существенно улучшится. Именно поэтому такие инвесторы, как Microsoft и JP Morgan, вкладывают десятки миллиардов долларов в компании, занимающиеся ИИ. Они не делают этого потому, что текущие ИИ действительно хороши, а потому, что будущие модели должны быть настолько способными, что смогут заменить огромные слои работников и принести огромные прибыли, и они хотят получить свою долю этой будущей прибыли и контроля над рынком. Однако эта потенциально разоряющая экономику ставка построена на нестабильном основании. Дело в том, что вовсе не обязательно, что эти ИИ станут лучше. Более того, есть доказательства того, что они не могут стать гораздо лучше, чем уже есть, и новое исследование показывает, что ИИ на самом деле становится хуже!
Чтобы понять это исследование, нам нужно разобраться в двух способах улучшения ИИ: масштабировании и оптимизации.
В последние годы масштабирование стало наиболее обсуждаемым методом и тем, который использовался наиболее активно. Это включает в себя сбор большего объема обучающих данных и использование большего вычислительного ресурса для «обучения» ИИ (другими словами, предоставление ИИ возможности обрабатывать данные и учиться на их закономерностях). Другой метод — оптимизация. Это включает в себя тонкую настройку ИИ на основе имеющихся данных с учетом человеческой обратной связи о его работе, что делает его более эффективным с учетом уже имеющихся данных.
Как я уже упоминал ранее, индустрия ИИ в настоящее время сталкивается с ограничениями метода масштабирования. Проще говоря, чтобы ИИ продолжал улучшаться с прежними темпами, объем данных, инфраструктура и использование энергии должны увеличиваться экспоненциально. Поскольку компании, занимающиеся ИИ, уже далеки от того, чтобы стать прибыльными, это просто не является жизнеспособным вариантом в будущем.
В связи с этим многие обращаются к методу оптимизации. Это наилучшим образом иллюстрируется моделью OpenAI o1, или «Клубника», которая не использует больше обучающих данных, чем ее предшественник (ChatGPT-4o), но вместо этого имеет оптимизированный интерфейс, который автоматизирует успешную технику подсказок, называемую цепочкой мысли. Это позволяет им производить «лучшие» ИИ, не тратя колоссальную сумму денег.
Но похоже, что оба метода достигают своих пределов и не способны производить ИИ, которые были бы функционально лучшими.
К такому выводу пришел Хосе Эрнандес-Морильо из Политехнического университета Валенсии, Испания. Он и его коллеги проанализировали эффективность этих LLM (Large Language Model) По мере того, как они улучшались за счет масштабирования и доработки. Они сделали это, сравнив последние модели от OpenAI, Meta и BLOOM с их предшественниками, дав им задания, начиная от арифметических задач, решения анаграмм, географических вопросов, научных задач и заканчивая извлечением информации из неорганизованных списков. Результаты впечатляют.
Они обнаружили, что масштабирование и оптимизация могут улучшить эти ИИ в ответах на сложные вопросы, такие как перестановка анаграмм. Но эти ИИ, на самом деле, стали хуже справляться с базовыми задачами. Например, они не смогли ответить на простые арифметические задачи, такие как сложение.
И не только Эрнандес-Оральо заметил это. Исследование из Университета Калифорнии в Беркли обнаружило нечто подобное с GPT-4 и его предшественником GPT-3.5. Более того, если ввести в Google «ИИ стал хуже», вы найдете сотни, возможно, даже тысячи статей и постов, осуждающих то, как новые модели значительно уступают предыдущему поколению даже в простых задачах.
Так что же происходит? Оба метода, масштабирование и оптимизация, не дарят этим ИИ волшебной возможности решать более сложные задачи. Другими словами, они не приобретают новые способности. Вместо этого они заменяют старые способности новыми, теряя, например, возможность отвечать на базовые вопросы.
Как и в случае со всеми ИИ, у нас на самом деле не так много жизнеспособных вариантов, чтобы сделать эти чат-боты более универсальными; вместо этого, сколько бы мы ни старались, мы можем лишь сделать их лучше в выполнении специфических задач.
Многие думали, что метод оптимизации мог бы решить эту проблему и эффективно позволить ИИ работать в разных «передачах», помогая ему быть хорошим в решении как сложных, так и простых задач (или сохранять другие возможности, которые он утратит, становясь лучше в некоторых областях). Однако, поскольку метод оптимизации широко использовался между поколениями в исследовании Эрнандеса-Оральо, в основном потому, что они не могут позволить себе разрабатывать ИИ только через масштабирование, это показывает, что это просто не так.
К сожалению, есть доказательства того, что это неспособность расширить свои горизонты не ограничивается только чат-ботами. Например, по мере того как система полного самоуправления Tesla (FSD) становится более способной, пользователи сообщают, что она становится хуже в выполнении базовых задач, таких как объезд бордюров.
Тем не менее, есть несколько возможных решений, таких как запуск нескольких ИИ параллельно, причем некоторые лучше справляются с одними задачами, а другие — с другими. Таким образом, модель может казаться очень универсальной, так как используется тот ИИ, который лучше всего подходит для вашей задачи. Однако компании, занимающиеся ИИ, уже испытывают трудности с финансированием разработки своих текущих систем, поэтому я сомневаюсь, что это жизнеспособный подход.
Что это значит для ИИ? Что ж, Эрнандес-Оралло подытожил это словами: “Мы полагаемся на них и доверяем им больше, чем следовало бы”. Я полностью согласен; в конце концов, иногда труднее всего обнаружить простые ошибки, и поэтому его исследование выявляет огромный недостаток в том, как мы в настоящее время используем LLM ИИ. И не только это, но и многое другое наводит на мысль о том, что пути, по которым собирались пойти эти ИИ-компании, чтобы воплотить в жизнь эти революционные для отрасли передовые модели ИИ, нежизнеспособны. Они не только ухудшат работу ИИ во многих задачах, с которыми они должны хорошо справляться, но и не сделают разработку ИИ проще или дешевле, а это означает, что у них по-прежнему нет пути к прибыльности или возможности создания продвинутого ИИ следующего поколения. Таким образом, Эрнандес-Морильо также помог выявить то безумие, которым на самом деле является пузырь искусственного интеллекта.
Ваш комментарий будет первым