МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М. В. ЛОМОНОСОВА __________________________________________________________________ ФАКУЛЬТЕТ ЖУРНАЛИСТИКИ Кафедра новых медиа и теории коммуникации Реферат на тему: Кодекс робототехники в контексте использования дронов и автоматизированных оружейных систем в мире Выполнено студенткой 524 группы дневного отделения Пацап Татьяной Преподаватель – доцент, кандидат филологических наук Засурский И. И. 1 Содержание Введение………………………………………….3 Робототехника и ее кодекс………………………4 Современное автоматизированное оружие…….6 Международные договоры………………………8 Заключение……………………………………….11 Библиография…………………………………….13 2 Введение В мировой политике сейчас настала не самая благоприятная обстановка. То и дело и тут и там вспыхивают разговоры о возможной войне, но пока дальше информационной дело не заходит. Боевые действия так и не прекращались в некоторых странах, другие же – наготове следят за ними, чтобы в случае чего дать ответ. Международные договоры могут быть нарушены в любой миг, как это делалось и раньше. Опасность сейчас в том, что современное оружие зашло настолько далеко, что пришла пора задуматься, что останется после нас, если его применить? В частности таким оружием являются автоматизированные оружейные системы и дроны. Беспилотники, движущиеся роботы самых разнообразных размеров, машины, которые могут уничтожить человека, а то и несколько тысяч людей – все это видится нам в недалеком будущем при возникновении военного положения. Еще в прошлом столетии, когда о роботах еще рано было говорить как о полноценной замене человека, американским фантастом Айзеком Азимовым был сформулирован кодекс робототехники. Мы же рассмотрим его применение внутри управления дронами и автоматизированных оружейных систем – какие нюансы встают перед нами, какие точки зрения высказываются учеными, какие законы при этом применяются и чего люди бояться. 3 Робототехника и ее кодекс Для того, чтобы разобраться в кодексе робототехники, и выяснить, применяется ли он в реальном робото-производстве, нужно сначала понять, что же такое робототехника. Взглянув на само слово, можно сразу понять, что речь будет идти о «роботах» и о некой «технике». Словарь Ожегова дает нам следующее толкование слова: «Производственная техника, основанная на применении роботов»1. Что ж, этого будет мало для полного понимания слова, поэтому воспользуемся Приказом Минобрнауки РФ от 09.11.2009 N 545 (ред. от 31.05.2011) "Об утверждении и введении в действие федерального государственного образовательного стандарта высшего профессионального образования по направлению подготовки 221000 Мехатроника и робототехника (квалификация (степень) "бакалавр")", который дал этому термину более подробное описание: «Робототехника - область науки и техники, ориентированная на создание роботов и робототехнических систем, построенных на базе мехатронных модулей (информационно-сенсорных, исполнительных и управляющих). Роботы и робототехнические системы предназначены для выполнения рабочих операций от микро- до макроразмерностей, в том числе с заменой человека на тяжелых, утомительных и опасных работах»2. Само слово «робототехника» было придумано американским писателем Айзеком Азимовым, входящих в «Большую тройку» писателейфантастов. Впервые слово «робототехника» было использовано в его рассказе «Лжец» в 1941 году, и дальше во всех его произведениях о роботах оно будет встречаться намного чаще. Во вступлении к своему «The rest of the robots» (1964) Азимов рассказывал, что его очень волновал вопрос, почему почти во всех произведениях о роботах, те восстают против своих создателей и уничтожают их, хотя создавались они совершенно с другой целью. И тогда он решил, что в его историях роботы такого делать не будут. В одной из таких историй («Я, Робот») главный герой робот Адам даже задумывается «Робот ни в коем случае не может убить человека по своей воле»3. А ранее главный редактор, а по сути и советчик Азимова Джон Кэмпбелл в их совместном разговоре 23 декабря 1940 года, помог ему сформулировать основные законы роботов, которые к тому времени уже были в голове 1 Словарь Ожегова Приказ Минобрнауки РФ от 09.11.2009 N 545 3 А.Азимов. – М.: «Я, Робот» 2 4 Азимова, но он никак не мог найти им подходящие тезисы. Например, первый закон был сформирован по принципу, звучавшем в стихотворении Артура Хью Клафа «The Latest Decalogue», которые в русском любительском переводе звучит как «Современные десять заповедей» - «Thou shalt not kill, but needst not strive / officiously to keep alive» - что нельзя убивать, но всеми силами стремиться помочь выжить. Азимов говорил, что все эти законы очевидны и всем о них давно известно, как если бы роботы уже сейчас были на той стадии, когда могут соперничать с живыми людьми. Итак, три закона робототехники по Айзеку Азимову были сформулированы следующим образом: 1. Робот не может нанести вред человеку или, позволить, чтобы человеку нанесли вред. 2. Робот должен выполнять приказы человека кроме тех случаев, когда подобные приказы не будут противоречить первому закону. 3. Робот должен защищать свое собственное существование так долго, пока это не будет противоречить первым двум законам. У Азимова часто спрашивали, может ли такое произойти, что однажды эти три закона будут применимы к робототехнике в реальной жизни, на что Азимов отвечал «Мой ответ: да, эти три закона единственный способ людям и роботам рационально взаимодействовать. Но когда я так говорю, я всегда с грустью помню, что люди – не всегда рациональны»4. Так же, помимо трех основных законов, есть маленькие уточнения и добавления. Например, робот должен быть идентифицирован как робот (в первой истории из серии о роботе Дэниэле Оливо и его напарнике Элайдже Бейли «Обнаженное солнце» факт, что Оливо является роботом, был скрыт, что сильно подбило доверие последнего). Робот так же может нанести вред человеку, если впоследствии сможет доказать, что это было полезно самому человеку (к примеру, дать ему пощечину, чтобы человек пришел в себя от истерики). Многие авторы-фантасты, многие сценаристы впоследствии использовали основные три закона Азимова для написания собственных историй. Современные же ученые признаются, что законы эти, несомненно, хороши, только на практике пока мало применимы – нет пока даже в задумке тех роботов, которых описывает в своих рассказах Азимов. 4 А.Азимов. – «The three Laws», Compute! p.18 5 Современное автоматизированное оружие Автоматизированная оружейная система подразумевает под собой систему из программных и аппаратных средств, благодаря которой можно производить управление различными военными процессами. Нужно различать «автоматизированную систему» от «автоматической» - под автоматизированной понимается, что за ней все-таки стоит человек (оператор), отвечающий за действие системы. За автоматической человека уже нет. Такие системы разрабатываются с разными целями, например, чтобы ускорить операцию, повысить уровень контроля и дисциплины. С такими системами требуется намного меньше операций по принятию решений – есть только человек и его «машина», которая поможет ему выполнить задачу. В нашем случае, сфера функционирования системы – военная. Эксперты по части вооружений предсказывают, что через пару десятков лет у человека уже будет возможность (в силу собственных знаний) разработать и применить полностью автономное оружие, которое сможет действовать без вмешательства со стороны человека: находить цель и поражать ее (а может, выполнять и более сложные команды). К сожалению, уже в наши дни человечество делает маленькие шаги в сторону будущих роботов-убийц. На месте военного действия все чаще и чаще пускаются в ход машины, которые могут самостоятельно выполнить приказ, правда, это пока еще не те ужасные роботы из будущего, описанные в разных фантастических триллерах. Но тем не менее, в автоматизации военных действий заинтересованы многие государства, в особенности США. Нашими достижениями уже стали микроскопические насекомые, способные переносить на себе мини-генераторы или топливные элементы, разнообразные беспилотники, роботы-разведчики, без экипажные патрульные катера, а «некоторые оборонительные системы вооружения имеют автономные режимы перехвата управляемых и неуправляемых ракет, артиллерийских снарядов и летательных аппаратов противника на близком расстоянии»5. Все оружие в мире можно разбить на три категории автономности. Автоматизированное беспилотное оружие, за которым стоит оператор, 5 Журнал «Красный Крест, Красный Полумесяц», Статья: «Запрограммированы на войну. Каким мы видим будущее вооруженных конфликтов?», Малколм Люкар, Выпуск 1, 2014. 6 управляющий оружием человек, часто делится на три категории по степени человеческого участия в его действиях: • Человек В системе управления оружием (условно, IN). Роботы применяют оружие только после человеческой команды. • Человек НА системе управления оружием (условно, ON): Роботы выбирают цели и применяют оружие самостоятельно, но под наблюдением человека, который может отменить действий робота. • Человек ВНЕ системы управления оружием (условно, OUT): Роботы выбирают цели и применяют оружие самостоятельно, без какого-либо человеческого участия. Человек не может отменить действий робота.6 Стоит вопрос об ответственности за применение автономной системы вооружения – ведь машина не может нести за такое ответственность, но что если вины человека тут тоже нет, а машина просто вышла из-под контроля, как это может произойти даже с самым обычным компьютером дома. Создатели интернет-проекта «Robohunter», который помогает найти подходящую работу для роботов, считают, что в нашей стране недостаточно денег вкладывается в развитие робототехники, в том числе и военной. «В России есть перспективные направления для развития собственных уникальных разработок. В первую очередь, это военная и специальная робототехника, добыча полезных ископаемых, эксплуатация инфраструктуры, логистика и здравоохранение», - говорят они. И что военная область пока одна из немногих, где российский производитель мог бы составить конкуренцию западному. По всему миру – Европа, Америка, Восточные страны – везде сфера робототехники имеет хорошее финансирование, правда, большая часть денег все-таки уходит на гражданскую промышленность. Нельзя сказать, что это плохо. Широкую популярность приобретают и, так называемые, «дроны» беспилотные летательные аппараты, в задачи которых входят миссии, опасные для человека. Первые дроны были разработаны еще в 1993 году в Великобритании. Сейчас же они широко применимы у многих стран. Например, США вокруг Индийского океана США создают кольцо из дронов, чтобы выследить «Аль-Каиду» или пиратов. Такие беспилотники могут летать на расстояние более чем в 3600 километров. Причем после 6 http://www.gradremstroy.ru/news/o-robotax-ubijcax. 7 выполнения миссии, они еще и на базу могут вернуться. Дроны – своего рода роботы, только с крыльями и бомбами-пушками. У такого оружия есть масса плюсов:  Во-первых, они не подвергают опасности человека, который должен выполнить эту задачу. Теперь он может находиться далеко от места проведения операции и управлять своей «игрушкой» на расстоянии в несколько тысяч километров.  Во-вторых, беспилотники летают быстрее, дольше, выше, чем те же традиционные реатикные истребители.  В-третьих, даже если связь будет потеряна, они все равно могут продолжить выполнение задания, потому что запрограммированы изнутри. Международные договоры Еще в 1864 году, когда шли переговоры о принятии I Женевской конвенции, разрабатывалось новое смертоносное оружие. И в 1963 году у армии Российской Империи были специальные пули, которым стоило лишь прикоснуться к твердой поверхности, они тут же разрывались. Позже царь принял Санкт-Петербургскую декларацию, которая регулировала средства и методы ведения борьбы. Это первый документ, в котором обговаривается законность новых видов оружия. В дальнейшем таких документов было принято великое множество, в том числе международных. Рассмотрим дополнительный протокол к Женевским конвенциям от 12 августа 1949 года, касающийся защиты жертв международных вооруженных конфликтов, 8 июня 1977 г. Часть дополнений в этой статье хорошо применима к новому военному оружию, в том числе и робототехнике. К примеру, «Статья 51 Дополнительного протокола I запрещает применение таких средств и методов ведения военных действий, которые поражают военные объекты и гражданские лица без различия»7. А в статье 36 говориться, что государство, прежде чем разработать новый вид оружия, должно удостовериться, что оно не будет противоречить международным правам. Поэтому многие государства стали учреждать независимые органы, принимающие решения по законности оружия. Сюда вошли: Швеция, Норвегия, Австралия, США, Бельгия, Дания, Канада, Нидерланды. 7 Статья, Международный журнал Красного Креста, No. 846, Автор: Изабелла Дауст и Робин Купленд 8 А в Южной Корее в 2007 году правительство взялось за разработку – нет, не такого учреждения о новом оружии, но за разработку сборника законов для роботов, который очень напоминал по своей сути законы Азимова. Но у Южной Кореи действительно робототехника развита куда сильнее, чем где-либо – к примеру, их роботы могут сидеть с детьми. Поэтому для них законы Азимова еще могут иметь какой-то смысл, главное понять, как это роботам запрограммировать. Специалист из Великобритании в области компьютерных технологий и робототехники Ноэль Шарки, опасается, что «мы стоим на пороге гонки вооружений нового типа, в которой речь пойдет об оружии относительно небольшого размера, дешевом, простом в изготовлении, но чрезвычайно трудно поддающемся регулированию. «Эта технология будет у всех», – говорит Шарки, отмечая, что потребительский и коммерческий рынок подстегивают развитие робототехники не меньше, чем военные бюджеты»8. Несколько стран уже заявили о том, что у них оружие всегда будет контролировать человек, даже то, что работает автономно. И тут уже вопрос не только к юридическо-правовой основе, сколько к человеческому, моральному фактору: есть ли что-то более унизительное, чем смерть от робота-оружия? Машина не может пока проводить различия между гражданским лицом и военным, или между здоровым и раненым солдатом, вооруженным или просто держащим в руках оружие. Часть специалистов не согласится с этим: не всегда автономные системы вооружения идут наперекор гуманитарным ценностям. Настолько глубоко копать еще рано, большая часть опасений пока относится исключительно к научной фантастике: если бы роботы были такими как у Азимова. А пока что, они все еще под контролем человека и до робото-бунта нам еще далеко. Даже создаваемые с военными целями дроны в конечном счете могут перейти в простое гражданское пользование: снимать красивые виды с высоты птичьего полета, например. Робототехник из Технологического института штата Джорджия, Рональд Аркин, считает, что применение оружия должно ограничиваться минимально необходимым уровнем. И здесь вступает в ход нравственный регулятор – «сложное предложение, которое требует, чтобы роботы перед открытием огня использовали двухступенчатый процесс оценки ситуации»9. Обуславливается этот регулятор тем, что робот не может сразу выполнять 8 Журнал «Красный Крест, Красный Полумесяц», Статья: «Запрограммированы на войну. Каким мы видим будущее вооруженных конфликтов?», Малколм Люкар, Выпуск 1, 2014. 9 Портал http://www.gradremstroy.ru/news/o-robotax-ubijcax. (обращение от 30.11.2014) 9 приказ, а должен оценивать степень необходимости в применении оружия, как это соотносится с международным гуманитарным правом, а так же последствия после применения оружия – как пострадает от этого человек, здание, экология, какому количеству людей будет нанесен ущерб, возможность пострадавших среди гражданских лиц. Робот должен применять оружия, по словам Аркина, только тогда, когда применение оружия соответствует всем нормам. К тому же, роботы, в отличие от людей, не могут чувствовать эмоций, таких как – гнев, желание отомстить и прочие, а потому робот способен иногда и сам контролировать поведение своих коллег-людей. 10 Заключение Автоматизированные оружейные системы уже сейчас приводят к серьезным изменения характера конфликтов и политического равновесия на земле. Вопрос о том, у какого государства сколько и какого оружия в запасе, волнует большой процент населения планеты. Так же нельзя не учитывать тот факт, что если лидирующие в этом вопросе страны, такие как США, Китай, Израиль, Россия и многие другие. И если они будут продвигаться вперед в своих исследованиях и в создании автономной техники, то другие страны могут закрыть глаза на ранее ведущуюся политику сдерживания и стартовать в гонке роботизированных вооружений. Существует даже кампания «Остановим роботов-убийц» (http://www.stopkillerrobots.org/), которая состоит из нескольких неправительственных организаций, добивающихся запрета противопехотных мин, кассетных боеприпасов и лазеров ослепляющего действия. Организации выступают из разных стран – США, Канада, Египет, Япония, Германия, Великобритания и многие другие. На выступлении по случаю открытия этой компании Стив Гуус, директор Отделения Хьюман Райтс Вотч по вопросам вооружений, сказал следующее: «Смертоносные вооруженные роботы, способные целиться и убивать без участия человека, никогда не должны быть созданы. Решения на поле боя всегда должны приниматься под контролем человека. Роботы-убийцы находятся за пределами морально-этических и правовых границ и должны быть отвергнуты как явление, несовместимое с общественным сознанием»10. Директива №3000.09 предусматривает, что Министерство обороны может в течение 10 лет пускать в ход или создавать только то автономное оружие (или системы оружий), которые не ведут огонь на поражение, что по идее является мораторием на смертоносное автономное оружие. Говорить о кодексе робототехники в таких системах пока трудно. Не настолько наше оружие еще соответствует нашим ожиданиям – пока это только истории из книг и фильмов. Первый закон робототехники Азимова нарушает абсолютно каждое оружие, потому что оно изначально создано с целью если не убить, то обезвредить. Другой вопрос, что, как было сказано выше многими экспертами, задача человечества сделать так, чтобы робот мог оценивать ситуацию со всех точек зрения и применять оружие только в крайнем случае. 10 Портал «Остановим Роботов-убийц» - http://www.stopkillerrobots.org/ (обращение от 29.11.2014) 11 Второй закон пока трудно выполним, потому что все оружейные системы действуют пока только от запуска программы самих людей, и его нарушение возможно только в том случае, если техника вышла из строя. Поэтому современные роботы не могут не выполнять приказы человека (если, конечно, у человека не кривые руки и он неправильно настроил свою технику). Третий закон пока тоже никак не подходит вооруженным системам – человечеству для начала нужно создать систему, которая сможет действовать сама, без непосредственного нажатия человеком нужной кнопки, а просто при возникновении нужных обстоятельств или опасности. И уже потом думать о том, чтобы робот защищал себя (все-таки на их создание уходит немаленькие денежные суммы). Роботы в оружейных системах помогут нам избежать многих проблем: это будет уменьшение скорости выполнения приказов, отсутствие опасности для человека, который должен был выполнить эту операцию, и многие другие. Но проблема еще и в том, что, даже сокращая длительность войны, меньше народу от этого никак не пострадает, как заметил еще в 1863 году Анри Дюнан, швейцарский предприниматель и деятельность. И закончить бы хотелось известной всему миру цитатой Эйнштейна из письма президенту США 1945 года Гарри Трумену: «Я не знаю, каким оружием будет вестись Третья мировая война, но в Четвертой будут использоваться палки и камни». Главное знать, кто на самом деле запрограммирован на войну: люди или их железки? 12 Библиография: А.Азимов, «Introduction. The story behind the robot novels», 1953 А.Азимов. – М.: «Обнаженное солнце», 1957 А.Азимов, «The rest of the Robots», 1964 А.Азимов. – М.: «Лжец», 1941 А.Азимов. – «The three Laws», Compute! p.18 А.Азимов. – М.: «Я, Робот», Robert J. Sawyer. «The Death of Science Fiction», 1991-1994 Словарь Ожегова Приказ Минобрнауки РФ от 09.11.2009 N 545 (ред. от 31.05.2011) "Об утверждении и введении в действие федерального государственного образовательного стандарта высшего профессионального образования по направлению подготовки 221000 Мехатроника и робототехника (квалификация (степень) "бакалавр")" 10.Портал «Остановим Роботов-убийц» - http://www.stopkillerrobots.org/ (обращение от 29.11.2014) 11. Портал http://www.gradremstroy.ru/news/o-robotax-ubijcax. (обращение от 30.11.2014) 12. Портал «Россия в глобальной политике» http://www.globalaffairs.ru/global-processes/Voina-buduschego-16204 (обращение от 30.11.2014) 13. Портал «Human Right Watch» - http://www.hrw.org/ru/news/2012/11/27-0 (обращение от 30.11.2014) 14. Портал Международного комитета Красного Креста (https://www.icrc.org/rus/) (обращение от 29.11.2014) - Статья, Международный журнал Красного Креста, No. 846, Автор: Изабелла Дауст и Робин Купленд 15. Журнал «Красный Крест, Красный Полумесяц», Статья: «Запрограммированы на войну. Каким мы видим будущее вооруженных конфликтов?», Малколм Люкар, Выпуск 1, 2014. 1. 2. 3. 4. 5. 6. 7. 8. 9. 13