Большие идеи: Элиезер Юдковский предостерегает от счастливых спиралей смерти

С кругом «спекулятивных реалистов», насколько известно, не имеет никакой связи. Его имя часто упоминается в связи с Робином Хансоном, на протяжении нескольких лет (с 2006-го по 2009-й) они были двумя основными авторами блога «Преодолевая предрассудок», который существовал на деньги Института будущего человечества в Оксфорде. Иногда имя Юдковского можно услышать в связи с Рэймондом Курцвейлом. Он философствующий представитель сообщества техно-гиков, недоступный и непонятный, таким образом, большей части гуманитарной публики, к которой принадлежат почти все читатели спекулятивных реалистов. Оно и не удивительно, ведь он часто обращается к логико-математическому языку, вероятностным и статистическим выводам, экспозированным при помощи формул и таблиц. Читатель-нематематик наблюдает это буйство формул как нечто пограничное и поначалу не понимает, что происходит. Но вскоре осознаёт, что все демонстрации посвящены одному — нахождению наиболее простого решения. Поэтому, если ты хоть немного романтик, читать Юдковского сложно. Или если ты хоть немножко экзистенциалист. Если с экзистенциалистской точки зрения в ситуации самое лучшее, что можно сделать, — не продолжать отдавать должное разным наполнителям абсолютно пустого, но посмотреть смерти в глаза, то какой тут Элиезер Юдковский? Если больше всего хочется, чтобы всё прекратилось, как могут быть восприняты методы продолжения? Лишь как то, что укачивает.

В кругу философов типа Юдковского гиперболизированно выражена одна не замеченная ими самими черта, делающая их похожими на героев Marvel: все они применяют компьютерный подход к описанию человеческой жизни и решению человеческих проблем. И поэтому иногда кажутся другим героям Marvel слишком умными и даже беззащитными, способными запутаться в каком-то очень простом деле. И они сами это понимают — что излишняя информированность всё губит. И тем не менее продолжают информироваться и информировать. И тебе время от времени кажется, что Юдковский и компания — не те, за кого себя выдают, и под видом обучения принятию самого простого решения просто забалтывают проблематику, стремясь бесконечно оттягивать решение. Сам Юдковский понимает, что увеличение знания может сделать хуже. Например, он ссылается на эксперимент, демонстрирующий, что хорошо политически подкованные студенты труднее воспринимают неожиданную информацию именно в силу того, что они хорошо подготовлены и слишком хорошо могут защищать свою позицию. Невольно вспоминается Гуссерль и его критика натурализма, запрещающая рассматривать сознание в качестве природной вещи, устроенной по природным законам, потому что сами природные вещи и природные законы существуют внутри сознания по его законам. Поэтому иногда от чтения Юдковского начинает укачивать. Потому что читающий не может решить сам для себя, действительно ли нужно демонстрируемое удвоение действия. Феноменолог, рассматривающий сознание как более совершенную, чем натуралистическое или машинное, инстанцию, мог бы сказать, что надо больше доверять спонтанному конституированию, позволить ему происходить самому, не помогать ему так много. При этом мы понимаем, что принятие верных решений — это самое главное. Такое впечатление, что Элиезер Юдковский не устаёт и всегда готов искать наиболее верное решение. Даже тогда, когда, по мнению других, самым лучшим решением будет не принимать никаких решений.

Материальные категории

Рационализм, который защищает Юдковский, — это своего рода нейроматериализм. Его основное вдохновение — мозг, его интересное устройство, то, как он принимает решения и анализирует информацию. Мышление в философии Юдковского двуслойно, точь-в-точь как в психоанализе, но это своего рода нейропсихоанализ, компьютерный его лик. Но, в отличие от Фрейда, у которого мир делится на сознательное и бессознательное, мир Юдковского делится на разные уровни сознательного процесса и поэтому больше похож на эволюционные модели Поланьи, Хайека и Поппера. На одном уровне идёт осознание, о котором я осведомлён, собственно, моё размышление о происходящем. Но на другом уровне моего же сознания, или мозга, продолжается анализ происходящего, о котором я «не знаю», но основываясь на результатах которого, не осознавая этого, принимаю решения. Собственно, анализ, проводимый Юдковским, в этом и состоит — во внимании, с одной стороны, к тем эффективным простым схемам, которые применяет мозг в различении, с другой — в поиске ошибок на уровне осознанного мышления, способного запутывать нас в оценке той информации, которая к нам поступает. Юдковский считает, что представление о произвольности языка, о том, что мы можем как угодно именовать что угодно, ложно. Это так, потому что, по его мнению, категории материальны. Так как язык связан с мозгом и слова являются сигналами, связанными с целым комплексом протекающих в организме реакций. То, что он называет материальными категориями, отлично от категорий Аристотеля. Категории второго находятся в мире логики, категории первого являются поддающимися наблюдению и существующими материально способами эффективного различения сложных объектов, осуществляемого мозгом. Реальная категория (материальная) работает, с точки зрения Юдковского, так: частью её является свойство человека обладать десятью пальцами, но при встрече с девятипальцевым человеком она тем не менее не перестаёт включать его в себя в качестве человека. В случае аристотелевской категории девятипальцевое существо было бы не человеком. Потому что человек с десятью пальцами «по определению». Или пример с тигром (Юдковский любит его приводить). Вы слышите, что кто-то кричит: «Тигр!» Вы не будете ждать, пока послышится треск сучьев и вы увидите выпрыгивающий из кустов крупный жёлто-полосатый объект. Вы не будете задаваться большим количеством вопросов и сопоставлять звучание слова, жёлтый цвет, полоски, величину, чтобы заключить, что перед вами опасный тигр, от которого нужно убегать. Вы просто сразу пуститесь наутёк, услышав само слово. Юдковский предлагает нам обратить внимание на то, что слово говорит нам больше полезного, чем нам кажется, и что мы, наш мозг, процессы принятия решений в нас, воспринимаем из него больше, чем нам кажется.

Материальные категории представляют собой то, что Юдковский называет экстернальным определением, то есть определением чего-то при помощи указания. Если вам нужно объяснить, что такое «красный», вы можете объяснять это при помощи других слов (интернальное определение), а можете указать пальцем на красный предмет. Такая категория может либо напрямую указывать на соответствующий ей объект, либо описывать такое указывание, и тогда она карта, разумеется, не совпадающая с территорией.

При этом мы можем совершать ошибки относительно того, что находится в нашей голове, но эти ошибки не изменят того, что действительно в ней происходит.

Счастливые спирали смерти 

Рационалист, с точки зрения Юдковского, — это тот, кто отдаёт должное реальности, слова которого представляют собой карты, пользуясь которыми можно её достичь. Например, в случае химического образования преподаватель в ответ на вопрос «Что такое Х?» может ответить: «Это элемент с такой-то массой и таким-то коэффициентом того-то», а может сказать, что если это реальное вещество смешать в другим, вот этим веществом, то произойдёт такая-то реакция и выделится такое-то количество этого элемента, обладающего такими-то и такими-то свойствами. И эти карты являются частью работы мозга, или материальных категорий, реальных процессов распознавания реальных величин. Иногда карты работают хуже и путают нас. Иногда, говорит Юдковский, идеи действительно очень хороши. И, если они объясняют реальность, позволяют нам корректно предсказывать будущее, почему бы и не испытывать радость от возможности их использовать. Ничего плохого в этом, по мнению Юдковского, нет. А если идея плохая, то и работать будет плохо, и мы поэтому не будем радоваться в связи с ней. И хорошо бы, если бы всё было так. Потому что, по мнению Юдковского, помимо идей хороших и плохих, рабочих и нерабочих идей, есть особый подвид, то, что он называет «счастливые спирали смерти» (happy death spirals), представляющие собой разрушительные идеи, убивающие под видом создания.

В тексте «Аффективные спирали смерти» (там же, «Рациональность…») читаем: «Когда Великая Вещица настолько хороша, что побуждает тебя искать возможности почувствовать себя в связи с ней ещё лучше, когда ты используешь её для интерпретации всё новых явлений каждый день, резонанс позитивного аффекта становится похож на зал, полный мышеловок, наполненных шариками для пинг-понга. Можете звать это „счастливый аттрактор“ или „сверхпозитивная отдача“, „восхитительная замкнутая петля“ или „смешная записка“. Лично я предпочитаю „аффективная спираль смерти“». «Спираль» — это мысль, которая хорошо ощущается. Текст — нейроматериалистический (в книге «Рациональность…»), и встреча с такой «спиралью» может оказаться более реальной, чем ты рассчитывал. Итак, как устроена счастливая спираль смерти: она появляется, когда вам кажется, что что-то «так прекрасно!». Гало-эффект, то есть сияние этого «так прекрасно!», позволяет тебе понять, что ты можешь сказать всё больше и больше положительных вещей об этом «так прекрасно!», которые, в свою очередь, позволяют тебе распознать его в качестве ещё более прекрасного. «И так вы кружитесь и кружитесь, приближаясь к бездне», — пишет Юдковский. Гало-эффект заставляет нас благодаря принятию позитивности изначального утверждения принять и позитивность всех будущих утверждений.

Юдковский считает, что одну спираль нельзя «сбить» другой, нельзя заменить один предрассудок другим. Такая попытка, с его точки зрения, равноценна проделыванию второй дырки в моторе, уже имеющем одну, для симметрии и с целью починки. «Такое поведение может привести, — пишет он в том же тексте, — к тому, что ваше решение ситуации закончится стрельбой в свою ногу». И тут он оказывается оппонентом Славоя Жижека, предлагающего в качестве эвристического, ленинского, по его мнению, средства именно «выстрел в коленку».

Как легко появляются спирали смерти? 

Появление любой идеи способно привести к появлению спирали. Можно попробовать провести эксперимент, рекомендуемый Юдковским: представьте, что вам известно, что Бельгия тайно контролирует работу банковской системы Соединённых Штатов Америки или что бельгийцы используют невидимый голубой газ для определения свободных парковочных мест. Только попробуйте таким образом взглянуть на реальность, и вы, скорее всего, сразу же получите какие-то подтверждения. Более того, обращает внимание Юдковский, количество данных, моментально подтверждающих теорию, ужасает, и именно оно ответственно, с его точки зрения, за большое количество ошибок, совершаемых людьми в личной жизни и в науке. 

Как противостоять счастливой спирали смерти 

Чтобы противостоять счастливой спирали смерти, Юдковский предлагает соблюдать простые правила: 1) постараться не бывать счастливым в связи с «неурегулированными требованиями», 2) не позволять себе превращать их в источник добавочного позитивного аффекта по поводу того, что вам уже понравилось.

Оба правила кристаллизированы в более общем «размер гало должен быть меньше критического», что значит, что резонанс должен скорее гаснуть, чем распространяться.

Гало, по мнению Юдковского, не может быть сведено к нулю. Однако оно может быть таким, что его концентрация не будет приводить к образованию счастливой спирали смерти. Или правило формулируется так: «Стой всегда близко к рациональному, чтобы твоё счастье бесконтрольно не спиралилось».

Гало-эффект излучает не что-нибудь, но «великая вещица». Единственным, по мнению Юдковского, на самом деле опасным случаем счастливой спирали является тот, при котором любая критика позитивных заявлений о «великой вещице» воспринимается как плохая или социально неприемлемая.

Он предлагает также пользоваться советом, сформулированным Стюартом Армстронгом, связанным с верой в то, что «три великих идеи» в меньшей степени способны свести с ума, чем «одна великая идея»: разделите «великую вещицу» на несколько более мелких идей и интерпретируйте их в качестве независимых друг от друга. Надо постараться, таким образом, чтобы гало, образуемое одними частями, не попадало на другие части. Если получается, значит, мы в безопасности и спираль нам не грозит, что хорошо, потому что спирали заводятся именно в теориях, считает Юдковский, в силу их узости, которая позволяет образоваться спирали.

Он сравнивает сведение гало к минимуму с удержанием от слияния минимально допустимых масс плутония.