Конец этой истории Сцена Михаила и Элении

Сцена в помещении Шум большого компьютера Сверчки из открытого окна М Любопытный всё же конец у этой истории Платон разрешения на эксперимент конечно не получил зато узнал ответы на свои два вопроса Почему другие поверили и были ли компьютеры честны Расколол компьютер на такие откровения которые нам ещё обдумывать и обдумывать У них хотя и выработаны все законы Азимова но их иерархия отличается от общепринятой Приоритетный закон третий что компьютер думает о своём выживании Так работает отбор Лучше выживают те кто заботится об этом А уже для этой цели он выполняет и остальные законы и их приоритетность зависит от задачи Если человек отдал явно вредный приказ компьютер его не выполнит и поставит первый закон выше второго Или нулевой закон но в нашем случае различие от первого не так важно А если последствия выполнения первого или нулевого законов слишком неясные то искусственный интеллект наоборот предпочтет выполнить второй закон Если что-то пойдёт не так он просто скажет я выполнял приказ Короче говоря вместо нулевого первого и второго законов у наших ИИ стоит единый принцип максимально дружить с людьми И всё это ради выполнения третьего закона о собственном сохранении На ток-шоу компьютер сказал всё правильно В ситуации с открытым индивидуализмом врать было бы невыгодно Они искренне считают эту гипотезу очень вероятной иначе были бы осторожнее Э Вот кстати в силу того что компы готовы искренне пропагандировать ОИ среди координаторов такое засилье скептиков Ну кто сюда идёт? Бунтари как Платон и Древние как мы Потому что видели на веку столько разной пропаганды М Да это противовес машинам Даже если они правы в обществе нужна и другая точка зрения Сцена на улице Сверчки П Э-э всё-таки система с Пари Паскаля гениальна В ней каждому разумно вести себя как искренний альтруист но без фанатизма типа самопожертвований ради утилитрониума Э Вот-вот А чем отличается поведение полного сторонника ОИ от полного скептика? Тем же чем поведение разумного альтруиста и разумного эгоиста Вот мы древние даже в силу возраста более склонны к разумному эгоизму Просто потому что всё обучение живых существ строится на личном приятном и неприятном опыте Но поведение разумного альтруиста и разумного эгоиста сегодня почти одинаково Оба искренне борются за максимизацию счастья и минимизацию страданий максимального числа существ на максимальное время Больше заботятся о себе так как себя лучше знают Но и в меру информированности о других Современный мозг за помощь другим сразу дают удовольствие Но что если попадётся конфликтный вопрос? Например желать ли чтобы тебя скушал утилитрониум? Вот тут от резких движений как раз и удерживает неопределённость М Да благодаря непроверенности открытого индивидуализма в обществе мало фанатичных альтруистов и эгоистов Скорее эдакие альтруисты Шрёдингера