О киберфутуризме, и карго-идиотизме
Jan. 16th, 2019 04:48 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
don_katalanStanislav Kukareka
Начнем издалека. Сейчас очень модно уповать на всякие новейшие технологии, как реально существующие, так и пока довольно фантастические, типа того же ИИ. Причем что характерно - увлечение (и упование) на тот "ИИ" особенно сильно среди всевозможных леваков и активиздов. Которые нашли в нем долгожданную "серебряную пулю" и наконец решение всех тех проблем которые веками не давали нам достигнуть счастия, всеобщего и окончательного. Вернее это они так думают, что они нашли. Ибо вторым характерным тут моментом есть что? Что те энтузиасты в подавляющей массе своей не есть не только ИТ специалистами, но и вообще хоть какими то специалистами, они по большей части там "гуманитарии широкого профиля", то есть банально шарлатаны.
Они не смогут осознать ни глубины ни даже самой природы своих заблуждений, так что тем активиздам с этого места можно дальше не читать. Но нам понять это необходимо, дабы понять чем это все может закончиться и что со всем этим делать. Итак, ПОЧЕМУ они считают что "это очень сильно им поможет", и в каком именно месте они там заблуждаются особо глубоко? Вопрос этот на самом деле имеет непосредственное отношение к самой теории ИИ (и даже в более широком смысле - основам кибернетики). И мы туда залезем обязательно, но начнем с истории вопроса. Хрен знает сколько лет назад писатели начали писать нам книжки про то как технологии изменят наше будущее. И там практически одновременно зародились два жанра, утопия и антиутопия. Еще Жюль Верн писал про капитана Немо, но он же нам написал и про Робура-завоевателя. Кстати с тех пор и подводные лодки и самолеты вполне стали реальностью, и даже превзошли намного то что нам описывал Жюль Верн, но в жизни все произошло совсем иначе чем он нам писал...
Если взглянуть в корень проблемы, то там было написано (дословно), мол "технологии" и прочие там достижения науки могут быть очень мощным инструментом, сильно расширить возможности, но все сильно зависит от намерений того в чьих они руках. И не только даже от намерений, но и от его способности прогнозировать последствия и контролировать их. Что кстати тоже два разных вопроса. Итак мы упираемся в по сути 2 вопроса тут, в мотивацию некоего человека "у которого в руках", и в его разум, ту самую способность предвидеть и контролировать последствия. Однако человек несовершенен, и этот тезис особенно близок тем самым активиздам. И их идефиксом есть как раз попытка это исправить (или хоть смягчить последствия) с помощью каких то социальных, юридических и даже чисто технических конструкций. Идея в целом понятна и где то даже логична, проблема в том что они в тех "конструкциях" банально ни рожна не понимают, и потому подобны папуасам. И их усилия не всегда бесплодны (и безобидны) как у тех кто строят самолеты из пальмовых листьев на далеких островах, а зачастую вредоносны и подчас катастрофичны. Примерно как у тех ребят которые ЧАЭС взорвали нам, из самых кстати лучших побуждений.
Итак, рассматривая всякие попытки "исправить недостатки человека" с помощью машинерии в частности - нужно сперва понять что именно мы собираемся "исправить". Определить сами те "недостатки" достаточно понятно, в неких конструктивных терминах. Ну например человек - штука довольно хрупкая и слабенько вооружен зубами там, когтями и прочей шкурою бронированной. Во всяком случае так гласит общепринятое мнение. Хотя на самом деле человек (обученный и мотивированный) вполне может голыми руками уработать почти все что угодно на земле, включая даже крупных собак, волка или крупных кошек калибром с ягуара. На самом деле может, но сей факт не слишком широко известен, и потому кстати людей что это могут - довольно мало. И по итогу люди боятся сильно даже собак до 30 кг весом, и даже погибают иногда от их зубов. Просто потому что не знают что они легко могут их убить, и не знают как это сделать. Но ладно, считается что "человек слаб", примем на веру. И технологии имеют тут решение, начиная с камня или палки которые взяли в руки еще обезьяны и заканчивая пистолетом-пулеметом например. Все это есть, готовое, доведенное до вполне юзабельного состояния и провереное опытом. Оружие делает человека сильнее. Но активиздов это не радует, и они как раз напротив, активно выступают за запрет оружия как можно более глобальный и повсеместный. Почему?
Да потому что с их точки зрения оружие не "исправляет недостатки человека" а их усугубляет. Что мол "перестреляют друг друга". Проблема мол не в силе или слабости зубов или когтей, а в головах, в неверных мотивациях и неспособности к примеру контролировать агрессию. Прикольно получается, какая нибудь кошка (которой от природы дадено) она значит достаточно разумна дабы "владеть оружием" а человек (венец творения) мол недостаточно разумен.... И снова обратимся давайте мы к истории вопроса. Еще 100 лет назад вопрос владения оружием вообще не дискутировался особо, никто не считал это особенной проблемой. Хотя уже тогда существовали вполне мощные образцы оружия, включая и автоматические пистолеты. Фантасты нам тогда писали о том что будет если человек получит в руки какой то лазер (что может добуриться до ядра земли) или космический корабль и т.д. Еще более мощное оружие, или (в более широком смысле) более мощный инструмент. И там у них получалось по всякому, если оно злодею попадало в руки то начинались проблемы. Но на любого злодея находился свой герой, который его по итогу побеждал, с помощью такой же точно (или другой, но тоже мощной) вундервафли. Классическая борьба добра со злом, ничего нового.
Ибо в определенный момент вопрос тот получил качественное развитие, и вместо все более мощного оружия (которое вполне покорно воле человека, у которого оно в руках) на сцене начал появляться некий "искусственный разум" и даже "искусственная личность". И это тоже ведь попытки "исправить недостатки человека", но только теперь не недостатки мускулов его, а недостатки в его голове... Все началось по сути с "роботов", или даже "магических существ" каких то, которые были лишены собственной воли, и были полностью покорны тому кто ими управляет. То есть снова таки человеку. Но были уже достаточно разумны что бы кого нибудь найти и убить. Или там что то отобрать. То есть выполнять "высокоуровневые команды". По сути тоже инструмент, или оружие. Это могли быть роботы, големы или какие нибудь вурдалаки с вампирами, природа их не столь важна. Важны их качества и свойства, а свойства были там таковы что их действия направлялись либо жестким (необсуждаемым) приказом, либо неким "слепым инстинктом" как например жажда крови. И должен вам заметить что эта картина достаточно правдоподобна с точки зрения даже современной кибернетики. Да, именно таким образом примерно это и будет работать, ибо так это МОЖЕТ работать, и не может сильно по другому. Ну вернее ПОЧТИ так. О тонкой разнице поговорим немного ниже.
Так вот, если говорить о этом периоде "предсказаний" и "ожиданий", то там крайне мало оптимизма но в изобилии всиляких ужасов, там жанр антиутопии властвует по сути безраздельно. Ибо даже писатели-фантасты прекрасно понимали что добром оно не кончится. Что там будет либо эксцесс человека который контролирует тех "роботов", и далее классический сюжет о могучем злодее, либо он потеряет контроль над ними (или как минимум над последствиями их действий) что приведет к масштабной катастрофе. Вполне логично, черт возьми. И так на сцене появляется идея "бунта машин", которая прямо вытекает из "потери контроля", и собственно его олицетворяет. И тут даже не важно что это будет, деревянные солдаты Урфина Джюса или бортовой компьютер космического корабля впавший в рефлексии где то на орбите Сатурна. И тут началась целая новая эра во всем этом писательстве, когда они начали разбираться как именно тот "бунт машин" будет выглядеть и как его предотвратить.
Довольно знаковым моментом тут есть Азимов и его "три закона робототехники". Хочу напомнить, написано это было в 1942 году, когда компьютеров еще особо не существовало, и во всю бушевала Вторая Мировая. Давно это было, но в целом - правильно :) Тут дело даже не в сущности этих "законов" и попыток их вписать в общую канву идеалов гуманизма, а именно в той форме в которой они были сформулированы. А сформулированы они были в виде некоей системы приоритетов. То есть что мол "вон то - важнее чем вот это". Азимов был писателем, и любого инженера сильно взволнует вопрос как именно робот будет оценивать потенциальный "вред" или "пользу" для человека от неких своих действий. Быть может он решит что отрезать человеку голову будет безусловной пользой для него. Ну например в целях борьбы с перхотью. Такое развитие событий никак не противоречит тем "трем законам робототехники" кстати, и это послужило пищей уже для следующего пласта фантастики на эту тему. Но самое тут интересное не это, самое тут интересное в том что те приоритеты были заданы как "абсолютные". Чем собственно Айзек Азимов подложил огромную свинью целому поколению всиляких активистов, гуманистов и прочих там энтузиастов.
Ибо на самом деле любой кто хоть немного знает ту саму кибернетику (пусть даже и по состоянию ее 60-х годов прошлого века) прекрасно понимает что никакие собственно "приоритеты" не могут быть там "абсолютными". Если мы зададим где то "абсолютный приоритет", то мы автоматически получим там вырожденное решение. То есть такое которое нельзя реализовать, по сути бесполезное. Оно кстати и в фантастике описано, когда "логический тупик" приводил бедных роботов банально к суициду. Но то романы, и эмпирика а ведь на самом деле это не "особый случай" а вполне фундаментальный, и всеобщий принцип. Броня. Это ОГРАНИЧЕНИЯ могут быть заданы в "абсолютной форме" но не "приоритеты", то есть по сути "целевая функция". И это вроде бы малозначительное, и "чисто техническое" уточнение несет на самом деле последствия просто космических масштабов. Дословно это означает что всякий разум (и в том числе искусственный) будет обладать некоторой "моральной гибкостью", то есть его "приоритеты" вовсе не будут "абсолютными". И даже более того, они будут меняться там по ходу решения задачи, просто неизбежно. Иначе оно не будет "интеллектом". В еще более общем смысле мы можем сказать что "искусственный интеллект" невозможен без "искусственной личности", что это просто две стороны одной медали. Без собственной "системы приоритетов", "ценностей" и даже "интересов", достаточно при этом автономной.
Вернемся на шаг назад, фантастические "роботы первой волны" и прочая к примеру нечисть - были "сильным оружием". Ибо они не знали ни боли ни страха ни усталости, и до победного конца пытались выполнить приказ (или веление инстинкта). Даже отрубленные руки их хватали героев за ноги (а то и за горло), и даже расплесканный на брызги терминатор не прекращал преследование. И это выглядело страшно, и потому не удивительно что этот "класс роботов" стал более востребован скорее в жанре "ужастиков" чем в "собственно фантастике". Это то чего человек всегда боялся, столкнуться с чем то на что он повлиять не может. То есть не может изменить там целей и системы приоритетов. Собаку можно напугать, или ее можно прикормить, договориться с ней. И то же самое можно сделать с врагом-человеком, пусть даже бандитом, завоевателем и т.д. Ну можно хотя бы попытаться это сделать. А с нечистью всякой или "роботом первого поколения" этого сделать нельзя, а только физически его уничтожить, прекратить само его существование.
Вот это вот и есть тот страх который эксплуатировался Голливудом, и не только им. Прием достаточно распространенный на самом деле, и то же самое примерно мы наблюдаем с "ужасными фашистами" к примеру. Которые тоже глухи ко всему. "Злодей бездушный" куда страшнее чем просто "злой злодей", и это кстати классика литературы уже очень давно. Но есть один нюанс, во всех тех книгах, фильмах и легендах "бездушные злодеи" от вурдалаков и фашистов до "терминатора" и Фреди Крюгера - достаточно тупые. И именно благодаря этому "героям благородным" их удается победить. Только благодаря этому. В том есть некий общефилософский смысл и даже правда жизни, даже с позиций кибернетики. Именно эта "бездушность и фанатизм" что представляют главную угрозу одновременно являются там и главным недостатком, слабым местом. Чем более жестко сформулированы императивы и ограничения тем мене гибким будет поведение системы, тем она "менее разумна", и кстати - более предсказуема. Примерно так оно и есть на самом деле.
Итак, время вернуться к нашим энтузиастам и активиздам. С их точки зрения основным недостатком человека есть вот как раз "неправильные приоритеты", а еще если точнее - их "гибкость чрезмерная". Вот потому они бояться дать в его руки например оружие, или предоставить ему некие свободы. По сути дела этим недостатком человека с их точки зрения есть именно его разум, так получается. И они думают исправить этот недостаток с помощью "другого разума", какого то ИИ к примеру. Вот тут их ожидает главная засада :) Ибо сей "недостаток главный" есть свойством не биологического (человеческого) разума в частности, а именно что разума вообще, и даже "искусственный" (если его удастся создать) будет тем недостатком обладать не в меньшей, а возможно и в гораздо большей степени. И это блин фундаментально, это не вылечить.
Они думают что смогут навязать (запрограммировать) тому ИИ какую то "систему приоритетов" которая отвечает их идеалам и воззрениям, и вот тогда все будет хорошо. Но кто сказал им что та "система ценностей" вообще жизнеспособна, что она может быть актуальной для некоего "разума"? Если они не могут ее навязать даже людям, уже вполне готовому "носителю", то кто сказал что это будет как то легче например с компьютером, и что конечный результат ее использования не обернется катастрофой? Отож. При этом что еще забавно, я могу понять когда ИИ пытаются создать в виде например игрушки, какого нибудь пэта электронного (или даже секс-куклы), там где тот робот даже сойдя с ума, при всем своем желании не сможет натворить большой беды. Где его можно в любой момент просто взять и выключить, или в крайнем случае разбить, выбросить в окно с 32 этажа, утопить в ванне, или ударить утюгом. Так кстати делают японцы, и это мне понятно. Мне непонятно когда с места в карьер на тот мифический ИИ возлагают управление предметами повышенной опасности, от автомобилей до боевых самолетов (которые несут оружие, ага), или роль каких то там систем глобального контроля социального и экономического типа китайской системы "социальных рейтингов", или еще чего нибудь такое.
Они мало того что изобретают "голема" какого то, они его еще и вооружают очень мощно. Но главное даже не в этом, а в том что они его сразу бросают в бой. Против людей. Дословно. Ставят задачу то ли сразу убивать людей (как перед боевыми дронами), то ли их "принуждать" к чему-то (как китайском "большом брате"), и даже "электронный бюрократ" имеет ведь функции контрольные и регуляторные, осуществляет принуждение. И даже всякие "автопилотные автомобили" как и прочая роботизация ведь призваны "вытеснить людей" из неких сфер, по сути - победить их в конкуренции. Айзек Азимов в гробу ворочается как тот вентилятор, взирая на всю дияльнисть эту... Ну то есть они думают что гугль-драйвера они заставят очень сильно ценить жизнь пешехода и уж тем более лисопедиста пресвятого, допустим. Но что делать гугльдрайву если у него дилемма? Задавить пешика или разбиться всмятку об бетонный столб? Конечно же об столб, вскричат энтузиасты, на то он мол и робот... Ага, он робот, но у него в салоне 5 человек, это их он об столб разобьет. И они даже не водители (классовый враг, нехорошие люди), они пассажиры, невинные агнцы... Да, вы можете сомневаться в готовности к самопожертвованию у водителя (который нехороший человек) но возложив эту функцию на робота вы ведь проблему не решите, вы ее только усугубите. Вы понимаете какая получается фигня?
И если "электронный бюрократ" не будет взятки брать (во что еще можно поверить), то что он будет делать тогда? Ну вот что? Он будет руководствоваться некими иными приоритетами, но все равно "приоритетами". И это означает что какая то буква инструкции (или цифра плана) будет для него дороже и важнее чем слезы вдов, пусть даже подкрепленные миньетом. И это точно то за что вы боретесь? Вы строите по сути тут тот самый "бездушный ужас" в кино популярный (см. выше), но вы хотите ему дать не только силу (корпус из брони, кулаки железные и пулемет в пузе) но и власть. Именно власть сакральную. Право распоряжаться, и повиновение от "человеков". Вы вовсе ебанулись там, шановни? Шо вы творите, блеать?
Начнем издалека. Сейчас очень модно уповать на всякие новейшие технологии, как реально существующие, так и пока довольно фантастические, типа того же ИИ. Причем что характерно - увлечение (и упование) на тот "ИИ" особенно сильно среди всевозможных леваков и активиздов. Которые нашли в нем долгожданную "серебряную пулю" и наконец решение всех тех проблем которые веками не давали нам достигнуть счастия, всеобщего и окончательного. Вернее это они так думают, что они нашли. Ибо вторым характерным тут моментом есть что? Что те энтузиасты в подавляющей массе своей не есть не только ИТ специалистами, но и вообще хоть какими то специалистами, они по большей части там "гуманитарии широкого профиля", то есть банально шарлатаны.
Они не смогут осознать ни глубины ни даже самой природы своих заблуждений, так что тем активиздам с этого места можно дальше не читать. Но нам понять это необходимо, дабы понять чем это все может закончиться и что со всем этим делать. Итак, ПОЧЕМУ они считают что "это очень сильно им поможет", и в каком именно месте они там заблуждаются особо глубоко? Вопрос этот на самом деле имеет непосредственное отношение к самой теории ИИ (и даже в более широком смысле - основам кибернетики). И мы туда залезем обязательно, но начнем с истории вопроса. Хрен знает сколько лет назад писатели начали писать нам книжки про то как технологии изменят наше будущее. И там практически одновременно зародились два жанра, утопия и антиутопия. Еще Жюль Верн писал про капитана Немо, но он же нам написал и про Робура-завоевателя. Кстати с тех пор и подводные лодки и самолеты вполне стали реальностью, и даже превзошли намного то что нам описывал Жюль Верн, но в жизни все произошло совсем иначе чем он нам писал...
Если взглянуть в корень проблемы, то там было написано (дословно), мол "технологии" и прочие там достижения науки могут быть очень мощным инструментом, сильно расширить возможности, но все сильно зависит от намерений того в чьих они руках. И не только даже от намерений, но и от его способности прогнозировать последствия и контролировать их. Что кстати тоже два разных вопроса. Итак мы упираемся в по сути 2 вопроса тут, в мотивацию некоего человека "у которого в руках", и в его разум, ту самую способность предвидеть и контролировать последствия. Однако человек несовершенен, и этот тезис особенно близок тем самым активиздам. И их идефиксом есть как раз попытка это исправить (или хоть смягчить последствия) с помощью каких то социальных, юридических и даже чисто технических конструкций. Идея в целом понятна и где то даже логична, проблема в том что они в тех "конструкциях" банально ни рожна не понимают, и потому подобны папуасам. И их усилия не всегда бесплодны (и безобидны) как у тех кто строят самолеты из пальмовых листьев на далеких островах, а зачастую вредоносны и подчас катастрофичны. Примерно как у тех ребят которые ЧАЭС взорвали нам, из самых кстати лучших побуждений.
Итак, рассматривая всякие попытки "исправить недостатки человека" с помощью машинерии в частности - нужно сперва понять что именно мы собираемся "исправить". Определить сами те "недостатки" достаточно понятно, в неких конструктивных терминах. Ну например человек - штука довольно хрупкая и слабенько вооружен зубами там, когтями и прочей шкурою бронированной. Во всяком случае так гласит общепринятое мнение. Хотя на самом деле человек (обученный и мотивированный) вполне может голыми руками уработать почти все что угодно на земле, включая даже крупных собак, волка или крупных кошек калибром с ягуара. На самом деле может, но сей факт не слишком широко известен, и потому кстати людей что это могут - довольно мало. И по итогу люди боятся сильно даже собак до 30 кг весом, и даже погибают иногда от их зубов. Просто потому что не знают что они легко могут их убить, и не знают как это сделать. Но ладно, считается что "человек слаб", примем на веру. И технологии имеют тут решение, начиная с камня или палки которые взяли в руки еще обезьяны и заканчивая пистолетом-пулеметом например. Все это есть, готовое, доведенное до вполне юзабельного состояния и провереное опытом. Оружие делает человека сильнее. Но активиздов это не радует, и они как раз напротив, активно выступают за запрет оружия как можно более глобальный и повсеместный. Почему?
Да потому что с их точки зрения оружие не "исправляет недостатки человека" а их усугубляет. Что мол "перестреляют друг друга". Проблема мол не в силе или слабости зубов или когтей, а в головах, в неверных мотивациях и неспособности к примеру контролировать агрессию. Прикольно получается, какая нибудь кошка (которой от природы дадено) она значит достаточно разумна дабы "владеть оружием" а человек (венец творения) мол недостаточно разумен.... И снова обратимся давайте мы к истории вопроса. Еще 100 лет назад вопрос владения оружием вообще не дискутировался особо, никто не считал это особенной проблемой. Хотя уже тогда существовали вполне мощные образцы оружия, включая и автоматические пистолеты. Фантасты нам тогда писали о том что будет если человек получит в руки какой то лазер (что может добуриться до ядра земли) или космический корабль и т.д. Еще более мощное оружие, или (в более широком смысле) более мощный инструмент. И там у них получалось по всякому, если оно злодею попадало в руки то начинались проблемы. Но на любого злодея находился свой герой, который его по итогу побеждал, с помощью такой же точно (или другой, но тоже мощной) вундервафли. Классическая борьба добра со злом, ничего нового.
Ибо в определенный момент вопрос тот получил качественное развитие, и вместо все более мощного оружия (которое вполне покорно воле человека, у которого оно в руках) на сцене начал появляться некий "искусственный разум" и даже "искусственная личность". И это тоже ведь попытки "исправить недостатки человека", но только теперь не недостатки мускулов его, а недостатки в его голове... Все началось по сути с "роботов", или даже "магических существ" каких то, которые были лишены собственной воли, и были полностью покорны тому кто ими управляет. То есть снова таки человеку. Но были уже достаточно разумны что бы кого нибудь найти и убить. Или там что то отобрать. То есть выполнять "высокоуровневые команды". По сути тоже инструмент, или оружие. Это могли быть роботы, големы или какие нибудь вурдалаки с вампирами, природа их не столь важна. Важны их качества и свойства, а свойства были там таковы что их действия направлялись либо жестким (необсуждаемым) приказом, либо неким "слепым инстинктом" как например жажда крови. И должен вам заметить что эта картина достаточно правдоподобна с точки зрения даже современной кибернетики. Да, именно таким образом примерно это и будет работать, ибо так это МОЖЕТ работать, и не может сильно по другому. Ну вернее ПОЧТИ так. О тонкой разнице поговорим немного ниже.
Так вот, если говорить о этом периоде "предсказаний" и "ожиданий", то там крайне мало оптимизма но в изобилии всиляких ужасов, там жанр антиутопии властвует по сути безраздельно. Ибо даже писатели-фантасты прекрасно понимали что добром оно не кончится. Что там будет либо эксцесс человека который контролирует тех "роботов", и далее классический сюжет о могучем злодее, либо он потеряет контроль над ними (или как минимум над последствиями их действий) что приведет к масштабной катастрофе. Вполне логично, черт возьми. И так на сцене появляется идея "бунта машин", которая прямо вытекает из "потери контроля", и собственно его олицетворяет. И тут даже не важно что это будет, деревянные солдаты Урфина Джюса или бортовой компьютер космического корабля впавший в рефлексии где то на орбите Сатурна. И тут началась целая новая эра во всем этом писательстве, когда они начали разбираться как именно тот "бунт машин" будет выглядеть и как его предотвратить.
Довольно знаковым моментом тут есть Азимов и его "три закона робототехники". Хочу напомнить, написано это было в 1942 году, когда компьютеров еще особо не существовало, и во всю бушевала Вторая Мировая. Давно это было, но в целом - правильно :) Тут дело даже не в сущности этих "законов" и попыток их вписать в общую канву идеалов гуманизма, а именно в той форме в которой они были сформулированы. А сформулированы они были в виде некоей системы приоритетов. То есть что мол "вон то - важнее чем вот это". Азимов был писателем, и любого инженера сильно взволнует вопрос как именно робот будет оценивать потенциальный "вред" или "пользу" для человека от неких своих действий. Быть может он решит что отрезать человеку голову будет безусловной пользой для него. Ну например в целях борьбы с перхотью. Такое развитие событий никак не противоречит тем "трем законам робототехники" кстати, и это послужило пищей уже для следующего пласта фантастики на эту тему. Но самое тут интересное не это, самое тут интересное в том что те приоритеты были заданы как "абсолютные". Чем собственно Айзек Азимов подложил огромную свинью целому поколению всиляких активистов, гуманистов и прочих там энтузиастов.
Ибо на самом деле любой кто хоть немного знает ту саму кибернетику (пусть даже и по состоянию ее 60-х годов прошлого века) прекрасно понимает что никакие собственно "приоритеты" не могут быть там "абсолютными". Если мы зададим где то "абсолютный приоритет", то мы автоматически получим там вырожденное решение. То есть такое которое нельзя реализовать, по сути бесполезное. Оно кстати и в фантастике описано, когда "логический тупик" приводил бедных роботов банально к суициду. Но то романы, и эмпирика а ведь на самом деле это не "особый случай" а вполне фундаментальный, и всеобщий принцип. Броня. Это ОГРАНИЧЕНИЯ могут быть заданы в "абсолютной форме" но не "приоритеты", то есть по сути "целевая функция". И это вроде бы малозначительное, и "чисто техническое" уточнение несет на самом деле последствия просто космических масштабов. Дословно это означает что всякий разум (и в том числе искусственный) будет обладать некоторой "моральной гибкостью", то есть его "приоритеты" вовсе не будут "абсолютными". И даже более того, они будут меняться там по ходу решения задачи, просто неизбежно. Иначе оно не будет "интеллектом". В еще более общем смысле мы можем сказать что "искусственный интеллект" невозможен без "искусственной личности", что это просто две стороны одной медали. Без собственной "системы приоритетов", "ценностей" и даже "интересов", достаточно при этом автономной.
Вернемся на шаг назад, фантастические "роботы первой волны" и прочая к примеру нечисть - были "сильным оружием". Ибо они не знали ни боли ни страха ни усталости, и до победного конца пытались выполнить приказ (или веление инстинкта). Даже отрубленные руки их хватали героев за ноги (а то и за горло), и даже расплесканный на брызги терминатор не прекращал преследование. И это выглядело страшно, и потому не удивительно что этот "класс роботов" стал более востребован скорее в жанре "ужастиков" чем в "собственно фантастике". Это то чего человек всегда боялся, столкнуться с чем то на что он повлиять не может. То есть не может изменить там целей и системы приоритетов. Собаку можно напугать, или ее можно прикормить, договориться с ней. И то же самое можно сделать с врагом-человеком, пусть даже бандитом, завоевателем и т.д. Ну можно хотя бы попытаться это сделать. А с нечистью всякой или "роботом первого поколения" этого сделать нельзя, а только физически его уничтожить, прекратить само его существование.
Вот это вот и есть тот страх который эксплуатировался Голливудом, и не только им. Прием достаточно распространенный на самом деле, и то же самое примерно мы наблюдаем с "ужасными фашистами" к примеру. Которые тоже глухи ко всему. "Злодей бездушный" куда страшнее чем просто "злой злодей", и это кстати классика литературы уже очень давно. Но есть один нюанс, во всех тех книгах, фильмах и легендах "бездушные злодеи" от вурдалаков и фашистов до "терминатора" и Фреди Крюгера - достаточно тупые. И именно благодаря этому "героям благородным" их удается победить. Только благодаря этому. В том есть некий общефилософский смысл и даже правда жизни, даже с позиций кибернетики. Именно эта "бездушность и фанатизм" что представляют главную угрозу одновременно являются там и главным недостатком, слабым местом. Чем более жестко сформулированы императивы и ограничения тем мене гибким будет поведение системы, тем она "менее разумна", и кстати - более предсказуема. Примерно так оно и есть на самом деле.
Итак, время вернуться к нашим энтузиастам и активиздам. С их точки зрения основным недостатком человека есть вот как раз "неправильные приоритеты", а еще если точнее - их "гибкость чрезмерная". Вот потому они бояться дать в его руки например оружие, или предоставить ему некие свободы. По сути дела этим недостатком человека с их точки зрения есть именно его разум, так получается. И они думают исправить этот недостаток с помощью "другого разума", какого то ИИ к примеру. Вот тут их ожидает главная засада :) Ибо сей "недостаток главный" есть свойством не биологического (человеческого) разума в частности, а именно что разума вообще, и даже "искусственный" (если его удастся создать) будет тем недостатком обладать не в меньшей, а возможно и в гораздо большей степени. И это блин фундаментально, это не вылечить.
Они думают что смогут навязать (запрограммировать) тому ИИ какую то "систему приоритетов" которая отвечает их идеалам и воззрениям, и вот тогда все будет хорошо. Но кто сказал им что та "система ценностей" вообще жизнеспособна, что она может быть актуальной для некоего "разума"? Если они не могут ее навязать даже людям, уже вполне готовому "носителю", то кто сказал что это будет как то легче например с компьютером, и что конечный результат ее использования не обернется катастрофой? Отож. При этом что еще забавно, я могу понять когда ИИ пытаются создать в виде например игрушки, какого нибудь пэта электронного (или даже секс-куклы), там где тот робот даже сойдя с ума, при всем своем желании не сможет натворить большой беды. Где его можно в любой момент просто взять и выключить, или в крайнем случае разбить, выбросить в окно с 32 этажа, утопить в ванне, или ударить утюгом. Так кстати делают японцы, и это мне понятно. Мне непонятно когда с места в карьер на тот мифический ИИ возлагают управление предметами повышенной опасности, от автомобилей до боевых самолетов (которые несут оружие, ага), или роль каких то там систем глобального контроля социального и экономического типа китайской системы "социальных рейтингов", или еще чего нибудь такое.
Они мало того что изобретают "голема" какого то, они его еще и вооружают очень мощно. Но главное даже не в этом, а в том что они его сразу бросают в бой. Против людей. Дословно. Ставят задачу то ли сразу убивать людей (как перед боевыми дронами), то ли их "принуждать" к чему-то (как китайском "большом брате"), и даже "электронный бюрократ" имеет ведь функции контрольные и регуляторные, осуществляет принуждение. И даже всякие "автопилотные автомобили" как и прочая роботизация ведь призваны "вытеснить людей" из неких сфер, по сути - победить их в конкуренции. Айзек Азимов в гробу ворочается как тот вентилятор, взирая на всю дияльнисть эту... Ну то есть они думают что гугль-драйвера они заставят очень сильно ценить жизнь пешехода и уж тем более лисопедиста пресвятого, допустим. Но что делать гугльдрайву если у него дилемма? Задавить пешика или разбиться всмятку об бетонный столб? Конечно же об столб, вскричат энтузиасты, на то он мол и робот... Ага, он робот, но у него в салоне 5 человек, это их он об столб разобьет. И они даже не водители (классовый враг, нехорошие люди), они пассажиры, невинные агнцы... Да, вы можете сомневаться в готовности к самопожертвованию у водителя (который нехороший человек) но возложив эту функцию на робота вы ведь проблему не решите, вы ее только усугубите. Вы понимаете какая получается фигня?
И если "электронный бюрократ" не будет взятки брать (во что еще можно поверить), то что он будет делать тогда? Ну вот что? Он будет руководствоваться некими иными приоритетами, но все равно "приоритетами". И это означает что какая то буква инструкции (или цифра плана) будет для него дороже и важнее чем слезы вдов, пусть даже подкрепленные миньетом. И это точно то за что вы боретесь? Вы строите по сути тут тот самый "бездушный ужас" в кино популярный (см. выше), но вы хотите ему дать не только силу (корпус из брони, кулаки железные и пулемет в пузе) но и власть. Именно власть сакральную. Право распоряжаться, и повиновение от "человеков". Вы вовсе ебанулись там, шановни? Шо вы творите, блеать?
Душа AI?
Date: 2019-01-17 03:36 pm (UTC)