Тренировка воображения на “кошечках”, книгах
What we've learned from LLM is that when your sample is monstrously large, induction can fool you as it becomes nearly indistinguishable from deduction.
То, чему нас научили большие языковые модели, — это то, что когда выборка становится чудовищно огромной, граница между индукцией и дедукцией размывается — индукция начинает выглядеть как дедукция и может ввести в заблуждение.
– Нассим Талеб, опубликовано в запрещённой в РФ сети “X”
Макс прислал мне это в начале марта, но тогда я не особо задумался над идеей Талеба. Через некоторое время мы вернулись к обсуждению дедукции через индукцию в контексте нашего курса логики и пришли вот к такому умозаключению:
Нужна огромная насмотренность, чтобы симулировать дедукцию индукцией...
И вот тут меня прорвало. Я начал строить всякие мыслительные эксперименты — как будто мне не хватало маленькой детальки, а именно слова насмотренность. Я начал всячески экспериментировать с этой идеей применительно к тому, как провожу уроки, проектирую курсы, читаю книги — и додумался до двух небольших экспериментов.
Возьмём простую комбинацию чисел: 2-4-6-8-… Легко догадаться, что следующая цифра — 10, верно? А если мы знаем бесконечно большое количество таких комбинаций, иными словами, у нас есть насмотренность, то мы практически моментально сможем определить следующую цифру в любой схожей последовательности. То есть мы буквально индуктивно-интуитивно примем решение — и, скорее всего, не сможем объяснить, почему приняли именно это решение и не сможем научить другого тому же, кроме как отправить его “насматриваться”.
В различного рода литературе описывается масса подобных случаев. Например, мне часто встречалась история бригады пожарных, которые вошли на этаж для тушения огня, и руководитель группы что-то “увидел”, “почувствовал” и скомандовал отступление — а сразу после этого этаж обвалился. В литературе этот феномен называется экспертной интуицией1.
Последовательность цифр — это относительно простой мысленный эксперимент. Попробуем придумать сложнее.
Библиотекарь в бесконечной библиотеке
Представим, что мы оказались в “бесконечной библиотеке” — месте, в котором собрано всё знание мира: все книги, написанные или даже не написанные, подкасты, ролики на YouTube, стенограммы всех лекций, прочитанных человечеством. Эта библиотека содержит всё знание, когда-либо производимое человеком. В этом месте собрано бесконечное множество комбинаций слов на всех языках мира. А мы — посетители этой библиотеки, пришедшие с одной лишь целью: спросить о природе возникновения солнечного затмения.
С этим вопросом мы подходим к библиотекарю, который прочитал все книги в бесконечной библиотеке. На наш вопрос: “Почему происходят затмения?” библиотекарь мгновенно отвечает: “Затмение происходит, когда одно небесное тело попадает в тень другого. Например, солнечное затмение происходит, когда Луна проходит между Землёй и Солнцем.”
Ответ точный, включает пример. Воодушевившись, мы задаём следующий вопрос, и следующий, и следующий — а библиотекарь отвечает, отвечает и отвечает. Точно, безупречно и понятно. Но что происходит на самом деле?
Может создаться впечатление, что библиотекарь делает вывод из имеющихся знаний — в конце концов, он прочёл всё, что есть в бесконечной библиотеке. Однако на самом деле это не так. Он восстанавливает и синтезирует шаблоны из бесконечного множества примеров, миллионов объяснений явления “затмение”, хранящихся в его библиотеке и которые он прочёл. Он не понимает, что такое “затмение”, а его ответ — не более чем индуктивное обобщение на бесконечной выборке.
Для получившего ответ это будет казаться логичным и вполне закономерным. Однако он основывается не на “первых” принципах (аксиомах или законах), а получен благодаря чудовищному размеру данных.
А теперь представим, что библиотекарь отвечает на совершенно новый вопрос (из области философии, математики, физики или химии), который раньше никто не задавал — и снова даёт убедительный и логичный ответ. Этот ответ получен дедуктивно или всё ещё индуктивно? В случае с бесконечной библиотекой вместо индукции я использую термин гипериндукция — состояние, когда размер данных позволяет делать выводы и обобщения в ранее неизведанных областях и в отношении несуществующих ранее вопросов.
Мы не сможем определить, использует ли библиотекарь индукцию или дедукцию: на бесконечном объёме данных эти процессы “схлопываются”. При достаточном объёме (размер “достаточности” уникален для каждого случая) понимание шаблонов становится настолько точным, что создаётся впечатление логичности суждений — хотя на самом деле это всё ещё вероятностная индукция.
А теперь сделаем необходимую подмену: ==бесконечная библиотека = интернет, библиотекарь = нейросетевая модель==.
BIO
theBrain mapping
ID: 202503301143 Source:: Friend:: Child:: Next::
Keywords:
Reference:
Footnotes
-
Klein G. A. Sources of Power: How People Make Decisions / G. A. Klein, Reprint edition-е изд., Cambridge, Mass.: Mit Pr, 1999. 338 c. ↩