Андрей Смирнов

Amulets may prevent COVID-19, says a paper in Elsevier journal. (They don’t.)
В процессе переписки выяснилось, что..




Хвала Аллаху, статью временно удалили с Елесвеера. Надеюсь, туда она не вернётся.

А сама статья о чем? Можно в двух словах для не говорящих по-буржуйски?

Статья о том, что китайскими амулетами можно лечить ковид-19.
К сожалению, сейчас её уже удалили - так что это по данным тех, кто охренел от такой статьи и пересказал наиболее интересные моменты.
Основная соль случилась в переписке. Учёные, увидевшие такую эпичную вещь во вроде бы приличном журнали и в приличной библиотеке, связали с первым автором и спросили, что за хрень (только вежливо). Автор ответил, что вам белым трудно поверить, что чёрный учёный способен пошатнуть научную парадигму, и вообще, идите учите квантовую физику и спиновую химию, и у белых мужчин нет привилегии опрелять, кто имеет право двигать научную парадигму, а кто нет.

Интереснейший разговор про современное состояние космической отрасли в России и в мире.

всегда с некоторой грустью смотрю на эти удивительные вещи...

Почему с грустью?

потому что это будущее - не наше. У нас робот Вася, духовные скрепы, Рогозин на батуте и вездесущие иноагенты.
Два мира - два шапиро.

Меня наоборот пугает этот мир железных штук.

почему? прикинь, такой робот дома посуду моет, обед готовит, в постели тебя ублажает как ты хочешь

Ужс какой.

У меня на самом деле развитие роботов вызывает другую тревогу: люди всё менее склонны развиваться сами.
И для меня не выглядит фантастическим сценарий, когда роботы (и псевдо- или истинный ИИ) настолько превзойдут человека, что выйдут из-под контроля, люди будут в полной зависимости от них и не сумеют совладать с ситуацией.

Либо альтернативный негативный сценарий: все эти роботы будут использованы верхушкой общества для подавления всех прочих людей, организации массконцлагеря.

Насчет этого можно не переживать: искусственное сознание означает, что сознание перестает быть загадкой. Отсутствие загадки означает подконтрольность: не будет у ИИ такой опции "восстать против людей".
Что же касается зависимости людей от техники, то она и сейчас есть.


Крайне сомнительно. Диктатуры неэффективны: путинская Россия или С.Корея просто никогда не сможет создать своих роботов и уж тем более приспособить их для сложных задач (да и зачем ставить в охранники роботов? люди с задачей вертухаев и палачей справляются гораздо лучше). А в демократиях правительство не будет монополистом робототехники, поэтому данный вариант для демократий тоже отпадает.

Не всегда. "Скрепочный максимизатор" всегда остается сценарием: способность создать ИИ не тождественна способности понять все возможные его состояния или приемы.

Собственно, в этом и покоится наш страх перед универсальным ИИ: для того, чтобы понять ИИ, нужно куда больше мозгов, чем у него самого.


Тут вопрос "зачем". В преимущественном большинстве случаев "массконцлагерь" в самую последнюю очередь нужен верхушке общества — в открытых обществах население НУЖНО верхушке


А здесь, на самом деле, никаких особых проблем нет — очень мерзкий и реалистический сценарий Диктатуры неэффективны; базовые платформы, вроде интернета, роботов или ИИ, им не выдумать и не поднять; но они могут и даже уже активно используют высокоуровневые систем — покупные, на чужом оборудовании или чужой платформе. Россия массово штампует ботофермы, Китай создает систему рейтинга/слежки...

И как раз в ресурсных диктатурах население не настолько нужно, чтобы его поддерживать и что-то позволять. В той же России, имхо, ценность населения отрицательная — государство тратит на поддержку лояльности и законности куда больше, чем получает налогами. С этой точки зрения автоматизация выгодна — она не способна голосовать за Навального.

Тогда стоит ждать восстания стиральных машинок и электрочайников, раз уж способность создать не тождественна способности понять все возможные состояния.
А еще из невозможности понять все состояния автомобиля можно сделать вывод, что в какой-то момент он взлетит и направится на Альфа Центавра.
То, что мы не можем предугадать, когда и что в стиралке/автомобиле пойдет не так - не означает, что может (с вероятностью, которую стоит принимать всерьез) произойти все что угодно. Непредугадываемаая поломка будет в рамках определенной категории, и будет то, что стиралка в принципе сделать не сможет, как бы она не ломалась.
Аналогично с ИИ.


Для ботофермы ума большого не надо, а вот для поддержки роботов в любом случае понадобится промышленная и программная инфраструктура. Да и вообще, повторюсь, живого охранника поставить дешевле.


Чтобы исключить голосование за Навального, достаточно просто не пускать его и его сторонников в биллютень или тотально подделывать выборы.

Или, наоборот, не стоит ждать необъяснимых (кроме как пост-фактум) проблем с экономикой, потому что мы ее-то построить смогли


Но и автомобиль, и стиралка могут перестать слушаться создателя, сохраняя минимум часть своих функций — это довольно небольшая поломка И если то же случится с ИИ — он может наделать дел. Фактически, мы в ситуации, когда одной неудачно сломавшейся стиралки хватит, чтобы превратить нас всех в скрепки.

Чтобы не размусоливать — об этом думали и думают куда более умные и профессиональные, чем я или ты, люди, и они видят нехилые риски. Если не веришь — у Лекса спроси, насколько часто в написанных им программах появляются непредсказуемые взаимодействия.


Живой охранник требует инфраструктуры и системы обеспечения лояльности.

Для ботофермы много ума не надо, для распаковки и обслуживания роботов много ума не надо...


Если бы все было так просто — Навальный просто одно из проявлений нестабильности.

Самое простое — смотри (кажется, я уже когда-то цитировал, смотреть нужно столбец ILO), сколько % бюджетников в стране. Или количество полицейских на 100 тыс.

Зачем элитам в России тратить столько государственных денег не на себя любимых, а на силовиков и бюджетников?

И почему бы вместо всего этого не потратить часть на роботов с пулеметами?

Да, с ними может случится поломка, но не произойдет ядерного взрыва или растворения пола кухни из-за преобразования стиралки в лужу кислоты. Пусть мы не можем предугадать всех явлений в результате поломок, но примерно класс явлений мы предугадать можем, и в этот класс не входит взрыв сверхновой или пробуждение вулканической активности.


Также, как и стиралка, он наделает дел "в своей категории". Также, как и в случае со стиралкой - его создателям будет примерно понятно, что это может быть за категория и как минимизировать вред.
Сформировать новую категорию ИИ либо не сможет, либо это займет долгое время, и пока это будет происходить - процесс накопления ошибок и неправильной работы программ будет 100500 сообщен разработчикам.


Я не живу во вселенной, где ломающие стиралки превращают в человечество в скрепки. Если у тебя такое происходит - мне это, конечно, очень интересно, потому что у меня такого нет.


Это общефилософская проблема, а не узкоспециальная, поэтому не надо на специалистов кивать.


Давай лучше ты спросишь, как часто в результате ошибок в программном коде программа начинала делать что-то принципиально иное, сложное и целенаправленное (например, программа, поддерживающая интерфейс, вдруг начинала самостоятельно сочинять музыку).


Для обслуживания робота ума надо немало - замена деталей и проверка его программ будут требовать высокого уровня навыка. Куда большего, чем содержание ботофермы.
Еще один момент - охранник дешевле.
Но самое главное - в случае ИИ (а нужен ИИ, чтобы полноценно заменить силовика) для него придется устанавливать единый закон, в то время как охранник легко может пользоваться несколькими нормами. Т.е. охранник/силовик в одном случае истолковывает закон так, в другом сяк, в одном случае исполняет, в другом нет - а теперь представим, что появится идеальный силовик, который будет строго следовать закону (вложенной в него норме) во всех случаях? Как быстро он арестует самого начальника за коррупцию, воровство, выдачу противоречащих закону приказов и проч.?
И даже вложение в ИИ установки "всегда следовать воле начальства" не поможет, потому что это будет либо несамостоятельный и неэффективный "зомби", который действует строго по приказу и потому не может заменить человека (к каждому такому роботу-зомби придется прилагать человека, который будет постоянно ему указывать что делать), либо придется все-таки какие-то нормы в разум этого робота записывать - но это тут же станет выстрелом себе в ногу. Например, по нынешнему российскому закону об иноагентах, если выполнять его буквально - в иноагенты по всем признакам пришлось бы внести большинство или всех депутатов (тех самых, которых этот закон принимали). Именно человеческое "два пишем, три в уме", избирательность в исполнении законов позволяют всему этому существовать. С роботами это не прокатит.

Не смогут они так настроить робота, чтобы он действовал по принципу "два пишем, три в уме" - такое программное обеспечение по умолчанию поставляться не будет, а на месте его не создадут из-за технической отсталости. И получаем вилку, о которой писал выше - либо к каждому роботу приставить по человеку, который будет им командовать в режиме 24/7, либо придется позволять роботам существовать в автономном режиме все или часть времени - а это означает, что робот будет оценивать происходящее по единым правилам, и будет пытаться арестовать кого-нибудь из элиты.

И вот я настойчиво подсказываю о ней читать, хоть генералистов, хоть специалистов — это немножко сэкономит нам текст. Та же статья о paperclip maximizer была довольно большая и, по ходу, полезная.


Так достаточно мощному ИИ ничего такого делать в качестве бага и не нужно — он и то, и то вполне должен быть способен делать просто путем очень быстрого перебора. Как описывал один умный фанфик враждебный ИИ, "он тупой как валенок, но тупой очень-очень быстро" (и это мы рассматриваем самую слабую версию сверхчеловеческого разума — скоростной; ИИ с сверхчеловеческсой глубиной абстракции сможет создавать гениальные вещи походя, для решения текущих задач, а всякие квантовые ИИ мне даже неясно как представлять).

А для того, чтобы сделать этот ИИ из удобного инструмента злейшим врагом — достаточно ошибки в одном контуре, ценностей/постановки задач. Причем, кажется, возможных наборов "ценностей", делающих ИИ врагом, чуть ли не бесконечное множество (как и таких, которые делают ИИ бесполезным бездельником) — а тех, которые оставляют его и полезным, и дружественным, совсем-совсем немного.


По поводу категорий я согласен — но размер уязвимости зависит только от сферы применения ИИ.

Управляющий машиной ИИ может решить ударить ее в стену, потому что ему что-то показалось (такое бывает). Управляющий биржей ИИ может резко сбросить все акции, вызвав крах и триллионные потери (такое бывает). Управляющий энергетикой ИИ может вызвать веерное отключение. Управляющий оружием...

И это современные "ИИ", которые на гордое звание интеллекта ну совсем не тянут. Они пока, считай, бесконечно тупее нас — но мы уже не знаем до конца, как они работают. Ну пост-фактум, конечно, можно разобраться и понять причины — но не на этапе разработки ИИ

При этом если эта тенденция продолжится, "универсальный" сверх-человеческий ИИ, способный делать лучше человека много разных вещей, будет иметь "категорию" размером в человеческую экономику.


Но куда более доступного, чем разработка этой системы с нуля. Насколько я знаю, в России есть вполне себе автоматизованные линии и заводы (чужого, конечно, производства) и вполне современная специализированная техника (чужого, конечно, производства)

То есть можно надеяться, что уровень технологии в диктатуре никогда не вырастет до уровня, необходимого для обслуживания "системы политической и военной стабилизации" (будь она в виде китайского контроллера граждан или роботов-охранников) — но надежда является плохим рабочим планом.



По сути ведь охраннику нужно давать более-менее конкурентную на фоне международной зарплату — пусть ниже, чем в Европе, но не настолько, чтобы он туда свалил. И по мере того, как благосостояние в соседних странах будет расти, тем больше нужно тратиться — т.е. затраты на охранника с ростом демократических соседей растут.

А затраты на механику падают с ростом технологии. И сейчас множество операций, которые раньше делали дешевые люди, давно оказалось выгодно заменить автоматикой — и дальше будет еще больше.


Вопрос только сложности и механики программы.


Во-первых, без людей-охранников тебе не нужен этот закон. Работа робота-охранника — защищать от любых поползновений ключевые, необходимые для функционирования этого общества, объекты. Условно, скважину, нефтепровод, завод и имение олигарха. Опционально можно загнать всех остальных по списку в концлагерь и расттреливать убегающих.

Вот такой функционал вполне по плечу даже очень тупым роботам.

Т.е. стабильное общество с роботами-охранниками и крошечным обслуживающим персоналом куда структурно проще, чем с человеками-охранниками и гигантским населением для обслуживания современных (и тем более старых) технологий. Для первого достаточно очень простых программ, для второго нужны все эти законы Яровой, куча иждивенцев и т.д. То же самое касается и системы социального рейтинга с тоталитарным мониторингом — нужно только правильно расставить коэффициенты в рейтинге и создать достаточно много концлагерей

в твоей вселенной ИИ пишет музыку или поддерживает работу интерфейса, не располагая специальными программами для этого?


"восстание машин" - это не просто отдельный баг, а целый комплекс багов, выстроенных при том в целостную, эффективную, последовательную систему. Неважно, насколько быстро работает ИИ - слишком много шагов потребуется для выстраивания такой системы (при том выстраивания случайного), и на каждом этапе он будет сигнализировать людям о том, что с ним не все в порядке.


Это все из категории страшной, но нереалистичной фантастики. Люди на ИИ накрутят очень много систем мониторинга и защиты.


Это сейчас и люди делают, особенно спьяну. Хорошие ИИ, вероятно, будут делать это реже людей.


Лечится несколькими этапами проверок.


Диктатуре нет надобности повышать охраннику зарплату - достаточно, чтобы она была чуть выше, чем нищенская у всех остальных.
Люди лишние, их девать некуда. Нет, я не могу поверить, что полноценный робот с ИИ, способный полностью заменять охранника, когда-то станет дешевле охранника.

Например, по нынешнему российскому закону об иноагентах, если выполнять его буквально - в иноагенты по всем признакам пришлось бы внести большинство или всех депутатов (тех самых, которых этот закон принимали). Именно человеческое "два пишем, три в уме", избирательность в исполнении законов позволяют всему этому существовать. С роботами это не прокатит.


"мне" - это кому?


и олигарх самолично будет распаковывать и ремонтировать своих роботов?


А потом с проклятого Запада буржуины присылают роботов, которые при включении арестовывают или расстреливают самого олигарха.


Крошечный обслуживающий персонал будет быстро деградировать. Но даже если и нет - олигарх становится заложником этого персонала. При отсутствии каких-либо правовых норм им очень быстро придет в голову мысль "нафига горбатиться на этого упыря, если можно перепрограммировать роботов так, чтобы они прибили олигарха, а мы его деньги поделим." Надежнее большое общество с видимостью правовой системы: в нем охранники, убивающие олигарха, не пируют, заполучив его средства, а становятся преступниками.
Когда, полагаясь на силу, ты отменяешь закон - то и самого себя выводишь из-под его действия.

Вот поэтому я и настаиваю на предварительной подготовке: полезно хотя бы знать термины. Универсальный ИИ может все то же (или почти то же) что и человек. У тебя есть знакомые, способные написать музыку или прожку для поддержки работы интерфейса?

Даже слабый, узкий и неуниверсальный ИИ может начать выдавать музыку, если ему почему-то это будет нужно — например, если он умеет качать и запускать программы с интернета


Наоборот.

Мощный и широкий ИИ для нас имеет ценность только формируя "целостную, эффективную, последовательную систему" сам по себе. ИИ, слишком тупой или багованный, чтобы поддерживать производственные цепочки — бесполезен (и вреден). Неэффективный... ну понятно

И вот в какой-то момент он просто видит способ, как можно еще лучше — на порядки! — выполнить поставленную задачу. Как в примере со скрепками — нужно всего лишь разобрать вот это атомы и сделать еще несколько заводов.

При этом с ним все в полном порядке. Это не неполадка, это баг — багованная программа не всегда выдает окошко с ошибками, для нее часто все работает как должно.


Много — да. Достаточно для того, чтобы поймать все возможные баги?

Т.н. "мгновенные обвалы" (flash crashes), ненамеренные просадки цены активов из-за багов или уязвимостей в алгоритмах автоматической торговли, случаются регулярно и иногда стоят до триллиона долларов (конечно, мелкие проблемы случаются куда чаще больших). Причем, заметь, пока мы не отдали торговлю на откуп недо-ИИ торговлю активами, их не было — ошибки людей случаются часто, но они маленькие; ИИ же ошибается редко, но может облажаться очень по-крупному.

P.S. И тут вообще лежит интересный вопрос того, насколько будет действенна наша защита по отношению к т.н. сильному универсальному ИИ — т.е. во всем круче человека. Скорее всего, это будет похоже на попытки клинических идиотов удержать в тюрьме гения.


Да, тут ты прав.

Единственная проблема (и причина, почему ИИ-автомобили еще не используются тупо везде) — люди тупят несистематично и не единообразно. Пока водители у тебя люди, стабильно будет появляться куча трупов — но никакого "мгновенного обвала" на дороге не случится.


А на практике почему-то не лечится. А, сам понимаешь, у NYSE или NASDAQ (и трейдеров) и денег, и специалистов хватает.

То же касается других отраслей. Мы однозачно их отдадим ИИ — выигрыш слишком большой... но при этом придется принимать риски.


И он уедет в Европу

Для того, чтобы поддерживать стабильность при разрыве в зарплатах, как в Северной и Южной Корее, нужно тратить кучу дополнительных усилий — стены, охранники, охранники для охранников и пулеметные вышки, охранники, чтобы персонал пулеметных вышек не сбежал... И то не всегда помогает


Власти.


Наймет на разовый подряд специалистов из условного Siemens.


А следующий покупает их у других, менее левых фирм. Я не просто так вспомнил о Сименсе: при достаточном уровне доходности можно оправдать почти что любую аморальность и риски.


Да, я замечал, что олигархов постоянно убивают их охранники и инженеры Хотя на самом деле такое действительно иногда случается, если честно — но не настолько часто, как нам бы хотелось.

При этом заметь, что программистов (даже если им нужно всегда быть рядом с роботами, а не один раз настроить и возвращаться при поломке одного из роботов раз на десятилетие) проконтролировать легче, чем охранников.

Плюс, почему это не будет норм? Нормы, имеющие смысл, никуда не денутся. А жля олигархата в этом случае имеет шкурный смысл наказание простолюдинов, как в древности — "раб, ударивший господина..."