the Dimкa (thedimka) wrote,
the Dimкa
thedimka

Category:

опасные джины

у меня давно уже навязчивая мысль, что многие персонажи сказок это артифакты прошлых крутых цивилизаций или пришельцев. ну тема старая. вот сегодня я думал про джинов и прочих услужливых волшебников да золотых рыбок.
это ж не что иное как искусственный ителлект, или там сверхразум в упаковке, с конечной задачей до какого-то уровня угодить командующему.

в этом смысле давайте сделаем простое предположение — вам попался такой джин и говорит что выполнит любое желание, но только одно. и вы так хитро загадываете чтобы вам выдали джина который сможет выполнять сколько угодно желаний. прям любых и сколько угодно? ну да любых и сколько угодно.
но это ж атас как опасно. прям реально на уровне конца цивилизации. даже одно простое неосторожное желание может быстро обернуться концом света.
ну и собственно большая часть волнений и исследований про безопасный искусственный интеллект этим и занято.
примеров опасности очень много, но самый классический про скрепки.
что в некотором смысле недалеко от проблемы короля мидоса, который пожелал чтобы всё к чему он прикаснётся превращалось в золото. тут быстро становится ясно, что он умрёт от голода и жажды, да ещё погубив кучу своих близких.
а ии озабоченный максимизированием скрепок устроит апокалипс превращая всё во вселенной в скрепки или фабрики по их производству и остановить себя не даст, покуда это остановит максимизирование скрепок.

и вам может показаться, ну а что тут сложного, дам я джину задание делать что-то и если он выйдет за рамки разумного я скажу ему чтоб остановился. это наивно. всемогущий джин подумает заранее об этом и просто сделает что-то, что не даст вам его остановить. или рот вам заклеит, или просто убьёт или обманет, отвлечёт, напоит или поссорит, ублажит чем-то другим итд. вы по сравнению с таким всемогущим, и соответсвенно безмерно более умным по сравнению с вами джином беспомощны и тупы. и любое из ваших пожеланий можно бесконечным числом способов интерпретировать опасно. даже "чтобы вам было хорошо" - это очень философски. мы ж с детства боимся всяких доброжелателей которые нам хотят хорошего. и вообще всё что в кайф либо опасно, незаконно, вредно или аморольно, ну или всё это сразу. в этом плане "чтобы нам было хорошо" полностью этому противоречит.
хорошо чем измерять? может в искусственной коме вы проживёте дольше всего, а с активной прямой стимуляцией центров счастья в мозге ещё и очень "счастливо".

то есть получается этот джин должен быть создан кем-то, гораздо более умным уже чем мы, вложившим в алгоритмы, или назовём это мировозрением этого "джина" глубокое понимание что же действительно хорошо, а что нет. как можно и нужно интерпретировать наши желания, не навлекая неожиданный конец света, комы или другой кошмарной дури о которой мы нашими убогими мозгишками даже подумать ещё не могли.

а пока это всё метафорически выглядит примерно так.
мы уже забрались в магическую комнату с разными волшебными артефактами.
многие из них пока простые и узкоцелевые.
но мы неистово роемся там чтобы найти джина, который там точно есть.
и пока мы его ищем надо как-то придумать что ему загадывать, чтобы быстро не пожалеть об этом.
с условием что не искать мы уже не можем. отмена поиска скорее всего означает какую-то катастрофу.
Tags: о вечном
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments