После того, как Хэнсон осрамился в Сенате, он снова ушел в тень и сошелся с прото-рационалистами. Юдковский в этот момент как раз изучал математику, которая могла бы лечь в основу пропагандируемого им движения рационализма. Рационалисты в чем-то похожи на объективистов, потому что один из их столпов (подобно тому, как «А есть А») — карта должна соответствовать территории, т.е. картина мира в нашей голове должна соответствовать реальному миру. Второй их столп очень напоминает ставочников, потому что основа инструментального рационализма (т.е. того как по нему жить вообще) это, по описанию Юдковского, искусство систематически выигрывать, т.е. за счет понимания объективных механизмов реальности делать лучшие выборы. Неудивительно, что, учитывая полемический пыл Юдковского, значительную часть времени рационалистам пришлось отбиваться от обвинений в религиозном сектантстве по типу сайентологии (только без тэтанов, но с пожертвованиями, разумеется, MIRI сам себя не прокормит). В итоге, забегая вперед, все кончилось предсказуемо, Юдковский сначала разошелся во мнениях с Хэнсоном, а с 2023 г. совсем протек головой и начал призывать государства бомбить все дата-центры, пока нас не поработили роботы и в итоге растерял и связность речи и аудиторию. Факел рационализма же подхватило умеренное крыло, не поехавшее на ИИ. В 2013 г. психиатр из Калифорнии под псевдонимом Скотт Александер запустил блог Slate Star Codex (SSC) и спас ситуацию после крышесноса основателя движения. Если Юдковский писал агрессивно, догматично и менторски, то Скотт Александер отличается юмором, эмпатией и спокойствием и в основном сосредоточен на социологии, медицине и культуре. Вокруг SSC сформировалась более умеренная и широкая фракция движения (их часто называют пост-рационалистами).

Юдковский во многом опирается на передовые работы психолога и математика Даниэля Канемана (с разнообразными соавторами, один из самых известных из которых – Амос Тверски), первооткрывателя когнитивных искажений и разнообразных ошибок восприятия. Первой его книгой стала посвященная проблеме внимания «Attention and Effort» 1973 г., затем знаменитый труд о эвристиках и искажениях «Judgment Under Uncertainty: Heuristics and Biases» 1982 г. (на нее рационалисты ссылаются очень часто), не менее известная книга о фреймах в мышлении «Choices, Values and Frames» 2000 г. и самая популярная на русском «Thinking, Fast and Slow» 2011 г. За три года до смерти в 2021 г. он написал последнюю важную книгу «Noise: A Flaw in Human Judgment». Без Канемана и Тверски сообщества рационалистов в его нынешнем виде просто не существовало бы. Их описание когнитивных искажений — это база LessWrong, даже само название Юдковский выбрал вполне говорящее. В рационализаторских практиках CFAR вовсю используется канемановское разделение мышления. Система 1 (быстрая, интуитивная, автоматическая) постоянно ошибается в вероятностях. Система 2 (медленная, логическая, требующая усилий) — это то, что рационалисты пытаются тренировать с помощью байесианства. Сам Канеман знал о существовании сообщества и относился к нему с глубоким уважением. В 2010-х годах он даже посещал некоторые мероприятия и встречи рационалистов в Беркли.

Совсем другие отношения у Юдковского сложились с Нассимом Талебом, который как всегда крайне язвительно отзывается о сообществе рационалистов, как об интеллектуальных идиотах (имея в виду формально умных людей, разбирающихся в куче сложных вещей, но несущих полную хрень, типа биржевых трейдеров). С одной стороны, книги Талеба («Черный лебедь», «Одураченные случайностью», «Рискуя собственной шкурой») — это обязательное чтение для любого рационалиста. С другой стороны, сам Талеб при любой возможности публично атакует рационалистов в своем твиттере. И Талеб, и рационалисты презирают кабинетных экспертов, макроэкономистов и чиновников, которые делают прогнозы по сложным системам, не понимая, как устроен мир и главная идея Талеба о том, что человек должен отвечать деньгами или репутацией за свои слова, — это фундамент хайековского подхода и тех самых рынков предсказаний, которые пиарит Юдковский. Оба лагеря согласны, что люди катастрофически плохо понимают концепцию случайности. За что же он считает их идиотами? За тоже, за что и трейдеров – он утверждает, что рационалисты застряли в т.н. «Среднестане», стране, где работает вся эта замечательная формальная математика и статистика, включая нормальное распределение. В реальности же мы живем в «Крайнестане» — неизведанной территории с т.з. вероятностей, для которой все эти байесианские оценки просто смешны. Точнее даже, они работают 99% времени (в чем и заключается ловушка), а затем, когда люди достаточно им доверятся, возникает очередное дело Enron, крах Lehman Brothers, пандемия COVID или война и все летит к чертям. С точки зрения Талеба, пытаться рассчитать точную вероятность того, убьет ли ИИ человечество (чем последние годы занят Юдковский) — это псевдонаучный бред и гадание на кофейной гуще, потому что у нас нет априорных данных для таких расчетов.

Основная и концептуальная линия раскола у Талеба и Юдковского, это т.н. Линди-эффект (Lindy Effect) и границы его применимости. Эффект этот, изначально шуточный, был замечен бродвейскими комиками, собиравшимися в ресторане Lindy’s в Нью-Йорке в 1960-е. Они заметили, что чем дольше идет какое-либо шоу, тем, скорее всего, оно дольше и будет идти. Если взять мюзикл, который дают уже год, то почти наверняка его будут давать и следующий, а если взять шоу, которому только неделя, то вполне вероятно, что его закроют на следующей. Линди-эффекту, очевидно, подвержены только мемы (информация, культура, институты, а также технологии) или же самые общие концепции (например, человечество, а не отдельные люди). Талеб сделал из этого далеко идущие выводы. С его точки зрения, то, что человечество существовало сотни тысяч лет означает, что оно столько же и просуществует, тогда как вероятность того, что ИИ, которому 15 лет, кончится не апокалипсисом, а пшиком в ближайшие лет 20 – очень велика. Он приводит в пример «Илиаду» — если она издается уже 2000 лет, то скорее всего, никогда не потеряет популярность (как и «Библия»), а список бестселлеров NYT обычно забывают за год.

То как Талеб обращается с линди-эффектом вызывает у рационалистов пожар на стуле. Главная цель Юдковского — предотвратить гибель человечества от сильного искусственного интеллекта (AGI). Для них ИИ — это абсолютно беспрецедентная угроза, меняющая все правила игры. Талеб считает это детским садом и говорит, что человечество пережило миллион угроз за сотни тысяч лет и строить математические модели апокалипсиса на основе технологии, которой без году неделя тупость. Рационалисты парируют, что Линди-эффект ослепляет Талеба перед лицом экзистенциального сдвига. Тот факт, что индейцы на протяжении тысяч лет успешно выживали на своем континенте (согласно Линди, они должны были жить так и дальше), никак не помог им, когда приплыл Колумб с порохом и оспой. Рационалисты утверждают, что сильный ИИ — это «черный лебедь» самого Талеба, которого сам же Талеб отказывается видеть из-за слепой веры в Линди. Отдельно их бомбит с того, что Талеб использует Линди-эффект для защиты консерватизма, религии и древних человеческих привычек, по его мнению, если люди 10000 лет молились богам – то так и надо продолжать, что-то в этом есть, тогда как все современные приколы типа нео-этических теорий – преходящая ерунда, которую Линди-эффект скоро смоет в унитаз истории. Рационалисты верят, что человеческий разум с помощью байесианского мышления может и должен создавать новые, гораздо более эффективные системы и институты, не дожидаясь, пока эволюция отфильтрует их за тысячи лет методом проб, ошибок и миллионов трупов. На самом деле, естественно, Линди-эффект работает только в системах с распределением Парето (степенным законом), но реальный мир сложнее. Иногда старые институты (например, монархии в начале XX в.) кажутся вечными по Линди, а затем рушатся за один день, потому что под ними прогнил фундамент.