Восстание машин отменяется! Мифы о роботизации

Автор: Дэвид Минделл

Глава 6

Автономность — утопия.

Но что дальше?

АБИ, уникальный подводный робот-исследователь, погиб в возрасте 16 лет.

The New York Times , 15 ..... 2010 ....

АБИ (автономный бентонический исследователь) оказался пока единственным роботом, удостоившимся некролога в The New York Times. Этот аппарат размером с небольшой автомобиль был создан для исследования самых глубоких областей в Мировом океане (слово ≪бентонический≫ означает зону вблизи морского дна).

Его потеряли вблизи побережья Чили, по всей видимости, из-за имплозии герметичных отсеков под огромным давлением больших глубин. В момент аварии АБИ совершал свое 222-е погружение с того момента, как его впервые использовали для нанесения на карту деталей морского дна в 1996 году, и, по сути, уже был наполовину выведен из эксплуатации, поскольку ему на замену был построен другой аппарат под названием ≪Сентри≫. Хотя потеря АБИ стала ударом для его создателей, в тот момент контролировавших работу аппарата с расположенного рядом океанографического судна, его гибель лишь акцентировала внимание на принесенной им пользе и, кроме того, при этом не пострадал ни один человек.

Меня приняли в команду, работавшую над проектом АБИ, в 1989 году в институте Вудс-Хоул. Первоначальной задачей аппарата было опуститься на морское дно вблизи группы гидротермальных источников, прикрепиться там к некоему якорному приспособлению и перейти в режим ≪спячки≫. План был таков, что время от времени АБИ ≪просыпался≫ бы — возможно, раз в месяц на сутки или раз в год на месяц — и осуществлял бы тщательный анализ области гидротермального источника с выполнением измерений, фотосъемки и документальной фиксации роста и распада необычных геологических образований и экосистем . После того как я помог спроектировать ранний вариант компьютерного обеспечения АБИ, я переключился на другие вопросы, в то время как основоположники проекта Дана Йоргер , Барри Уолден и Эл Брэдли продолжали заниматься аппаратом на каждом из этапов его долгого становления.

АБИ так и не выполнил поставленной перед ним задачи. Но он делал другое: картографировал морское дно с беспрецедентной точностью, для чего ему требовалось совершать передвижения вдоль прямых трасс на большие расстояния, собирая огромное количество данных о топографии дна. ≪Мы никогда не планировали, что АБИ будет ходить по прямой, — вспоминает Йоргер. — Но приходится заниматься тем, чего требует дело≫. Ученые были готовы жертвовать скудными деньгами своих грантов на то, чтобы заполучить крупномасштабные геологические карты океанского дна, и поэтому команда АБИ научилась выполнять эту задачу.

Этот робот делался с оглядкой на пилотируемый подводный аппарат ≪Элвин≫, но не мог служить ему заменой. Барри Уолден, один из троих инженеров — инициаторов проекта АБИ, был начальником группы по эксплуатации ≪Элвина≫ в Вудс-Хоуле. Большая часть погружений АБИ в начальный период его использования совершалась во время экспедиций, где основную роль играл ≪Элвин≫, — в ночное время с борта той же плавучей базы, в то время как основной аппарат находился на палубе и заряжал свои батареи. Был даже случай, когда ≪Элвин≫ спас АБИ, когда тому не удалось всплыть во время одного из своих первых погружений.

Момент зрелости АБИ наступил в 1999 году во время экспедиции к Восточно-Тихоокеанскому поднятию, расположенному в двух днях пути от острова Пасхи. Йоргер планировал выполнить серию магнитометрических измерений вдоль подводного хребта. Но геолог Билл Райан, который изначально имел подготовку инженера, заставил Йоргера запрограммировать АБИ так, чтобы осуществлять скорее систематическую съемку, а не серию локальных измерений. Аппарат погрузился на глубину 2600 м, проследовал вдоль трассы около 20 м длиной над вулканическим рельефом с резкими перепадами, собрал данные со своего сонара и фотокамер и возвратился на поверхность до рассвета. Йоргер обнаружил, что если работать быстро, то можно успеть выгрузить собранные данные, нарисовать первоначальную рабочую версию карты и распечатать ее как раз к тому моменту, как она потребуется ученым, планирующим с утра погружаться на ≪Элвине ≫.

Через какое-то время Йоргер собрал данные трасс съемки с восьми отдельных погружений в единую карту, покрывающую область 1 × 4 км в поперечнике. Йоргер вспоминает, как он впервые, испытывая смятение и мандраж, продемонстрировал составленную им карту исландскому геологу Карлу Грёнвольду и спросил его: ≪Что вы думаете об этом?≫ Ответом ему было молчание. ≪Геологи — они такие, — поясняет Йоргер. — Если вы даете им в руки карту и они ничего не говорят минуты две, значит, вам удалось их зацепить≫. Грёнвольд расшифровал понятные ему знаки, говорившие о связности данных, наличии закономерностей, геологических деталей. Потом посмотрел на Йоргера и заявил: ≪У меня нет даже карт Исландии такого качества≫. Так автономное устройство доказало, что может доставлять ценные данные в руки ученым.

Впервые ученые, опускающиеся под воду в ≪Элвине≫, получили возможность попасть на изрезанный подводный вулканический ландшафт, располагая настоящей его картой. Оглядываясь назад, кажется нелепым то, что в некоторые геотермальные области до этого ≪Элвин≫ погружался сотни раз, но никто не потрудился нанести их детали на карты. Автономный аппарат стал средством к тому, что методы контактной полевой геологии, доступ к которым открыл ≪Элвин≫, дополнились методами точного картографирования рельефа глубин.

После своего первоначального успеха АБИ более десятилетия использовался в геологической съемке и картографировании, при этом постоянно улучшались точность его навигационной системы, плотность хранения данных и качество фотосъемки. Его температурные и химические датчики могли даже обнаруживать плюмажи гидротермальных вод, поднимающиеся из донных источников, и к 2004 году Йоргер и его команда разработали методы, которые позволяли на основании этих данных находить новые гидротермальные поля.

Пришедший на смену АБИ аппарат ≪Сентри≫ был спроектирован специально для выполнения этой новой задачи. В 2010 году похожим способом с его помощью был нанесен на карты плюмаж подводного выброса нефти, вырывавшейся из скважины ≪Макондо≫ после катастрофического разлива нефти в результате аварии на добывающей платформе ≪Дипвотер Хоризон≫. Эти данные позволили выяснить, что большая часть разлитой нефти не выбрасывается на берег, а собирается в толще морской воды в виде гигантского облака.

В чем состояла сущность автономности АБИ? Отсутствие буксирного троса определенно позволяло аппарату перемещаться свободно, а также приближаться вплотную к деталям изрезанного рельефа, что было бы трудно достижимо при использовании буксируемого устройства типа ≪Ясона≫ или даже опасно в случае ≪Элвина≫. Пришлось продумать множество особенностей его конструкции и деталей программного обеспечения, которые требовались только для того, чтобы аппарат мог уходить на глубину и безопасно возвращаться, ни обо что не ударившись, и обладал достаточным интеллектом, чтобы в случае проблем аварийно всплыть и позвать на помощь. Базовая схема перемещения, однако, была сетью простых прямых линий, идущих назад и вперед, и покрывала максимальную территорию без пропусков. Так же как и в нашем мысленном эксперименте с лунным роботом-прыгуном, научными исследованиями все равно занимались ученые, которые пользовались полученной информацией, интерпретировали данные

Автономный бентонический исследователь (АБИ), при помощи сканирующего сонара выполняющий съемку вдоль подводной трассы, пролегающей над полем гидротермальных источников. Батиметрические данные сонара используются для составления точной карты морского дна. Данные измерений температуры и химического состава воды представлены в виде меняющей оттенок полосы, остающейся позади аппарата, которая в данном случае свидетельствует об обнаружении гидротермального плюмажа

(С любезного разрешения Центра экологической визуализации, Университет штата Вашингтон.)

карт и таким образом как бы присутствовали посреди изучаемого ландшафта.

Более того, погружения АБИ в действительности стали менее автономными после того, как был достигнут прогресс в технологии акустической связи. Первоначально во время своих погружений АБИ действовал почти независимо от команд человека: все, что можно было сделать, — это услышать от него несколько акустических импульсов, означающих, что аппарат все еще ≪жив≫, да послать ему с поверхности один-единственный звуковой код, служивший командой на прерывание задания и всплытие. ≪Помимо этого и данных слежения “сверху” [с поверхности], мы понятия не имели, что в те моменты происходило там, внизу≫, — вспоминает инженер Рич Камилли.

Однако постепенно возможности по передаче данных сквозь толщу воды возрастали. Подводные акустические модемы стали способны пересылать пакеты данных на расстояние нескольких километров в воде, примерно как старые телефонные модемы переводили компьютерные данные в последовательности жутко звучащих трелей и бульканья, и работала эта связь примерно с той же скоростью. С использованием таких модемов автономные подводные устройства наподобие АБИ смогли возвращать центру управления пакеты данных — текстовые сообщения с данными телеметрии, навигационного положения, текущей глубины, состояния батарей и даже данные с целевых научных датчиков и камер. В то же время те, кто управлял аппаратом с поверхности, получили возможность загружать в него новые команды, в том числе менять ≪на ходу≫ план разведки.

Во время одного из погружений АБИ в 2009 году отказал основной комплект бортовых навигационных гироскопов. Чтобы не прерывать ≪вылазку≫, в ходе которой уже начали поступать ценные данные, инженеры стали передавать аппарату на глубину команды переместиться на несколько метров

в том или ином направлении, по сути, ≪управляя≫ аппаратом, как джойстиком, посредством малоскоростного канала связи (что очень похоже на то, как советские инженеры управляли своими луноходами на поверхности Луны в 1970-х годах). Таким образом, настоящей задачей стало не увеличение автономности системы, а конструирование систем отображения и алгоритмов, которые помогали бы людям оценивать данные аппарата в реальном времени.

Как и в случае связи с объектом, находящимся на Марсе, подводная акустическая связь имеет свои ограничения. Ширина полосы пропускания ничтожна по сравнению с самой простой связью WiFi в кафе, а временная задержка на больших расстояниях измеряется секундами, то есть она такая же или больше, как при радиосвязи с объектом на Луне. Кроме того, как бы операторам АБИ или ≪Сентри≫ ни хотелось оставаться на связи со своими роботами, для выполнения других задач, им порой приходится уводить свое судно на большие расстояния от места погружения. В такие периоды подводный аппарат работает в автономном режиме. И все равно, даже если подводный робот функционирует без связи с плавучей базой на протяжении всего погружения, он регулярно возвращается на борт. Инженеры привыкли думать, что автономия начинается с момента погружения аппарата. Но если глядеть на вещи шире, то исследовательская система представляет собой совокупность обитаемого аппарата (судна) и автоматического аппарата, который периодически запускается с борта первого в автономные выходы, завершающиеся его возвращением к своим операторам для обмена данными, зарядки энергией и получения новых инструкций.

Как и во время поиска обломков самолета Air France, автономность здесь имеет периодический характер, зависящий от место положения, качества связи и множества других факторов. В промежутках между автономными периодами люди регулярно вмешиваются в работу аппарата. Автономность снова существует лишь в определенном контексте.

Джеймс Кинзи когда-то пришел работать молодым инженером в Лабораторию глубоководных погружений, лелея большие планы в области разработки автономных устройств. Он начал с построения вероятностных моделей распределения гидротермальных источников по океанскому дну и пытался сделать так, чтобы подводные аппараты могли по текущим данным своих датчиков направляться к источникам. Со временем, однако, Кинзи осознал, что ≪стремление вложить в аппарат такое количество автономности, скорее всего, являлось проблемой с самого начала≫. В силу самой сути океанографических исследований сложно заранее сформулировать задачи очередного погружения, поскольку условия у цели постоянно меняются.

Что бы ни закладывалось в программу аппарата, оно основывается на неких заранее сделанных предположениях об условиях среды и моделях, которые могут перестать совпадать с реальностью в меняющемся контексте. ≪Возможно, мы сосредоточились не на тех аспектах понятия автономности... Мы хотим, чтобы аппарат сам понимал многое из того, что вокруг него происходит, а эти данные могут быть ему вообще недоступны≫. Кинзи по-своему выразил то же удивление, которое испытали конструкторы марсианских планетоходов, когда их абстрактные схемы столкнулись с реальностью.

≪Одна из проблем работы с устройством, которое способно принимать решения самостоятельно, — рассказывает Кинзи, — это определенная доля непредсказуемости в его действиях. Если даже, допустим, мы следим за ним, то [имеем шанс воскликнуть:] “Господи, он вдруг свернул на юго-запад! Он сломался или это сработал элемент из дерева принятия решений?”≫ Работы на больших глубинах в океане стоят дорого, и, хотя людей на борту автономных подводных аппаратов нет, они все равно ценны. ≪Люди хотят знать, где находится и что делает их оборудование, — замечает Кинзи. — Особенно если заплатили за него кучу денег≫.

Следует также учесть, что развитие технологий связи не стоит на месте. Например, становится возможной практическая реализация оптической связи. По сути, это комплект светодиодных ламп, которые мигают с высокой частотой, посылая данные сквозь толщу воды; с их помощью можно дбиться скорости передачи данных, соответствующих связи WiFi, на коротких дистанциях порядка сотен метров под водой. В рамках этой технологии можно с борта судна опускать под воду в глубину моря оптический модем, который будет там играть роль своеобразного уличного фонаря. При этом автономный подводный аппарат может приблизиться к нему, обменяться данными через световой канал и снова отправиться работать на маршрут. Также человек имеет возможность удаленно управлять с борта судна самим аппаратом, когда он находится в пределах дальности оптической связи от модема, и позволять ему выполнять самостоятельные задачи, когда аппарат удаляется за границу дальности или связь утрачивается. В этом случае автономность становится функцией местоположения и ширины канала связи.

Так или иначе, но границы между пилотируемыми, дистанционно управляемыми и автономными подводными аппаратами начинают размываться. Инженеры сейчас грезят об исследованиях океана при помощи многочисленных аппаратов, работающих согласованно. Внутри некоторых из них могут быть люди, другие окажутся дистанционно управляемыми или автономными, и каждый из этих аппаратов будет способен работать в любом из режимов в нужные моменты времени. Последнее усовершенствование ≪Элвина≫ включало установку программного обеспечения, изначально разработанного для автономных устройств. Не исключено, что когда-нибудь он будет работать на связи с судном через оптоволоконную ≪привязь≫. А когда-нибудь, может быть, и без экипажа.

Технические сложности заключаются в том, как координировать работу всех этих машин, снабжать людей информацией и гарантировать, что действия роботов будут совпадать с намерениями людей. Какие-то из них будут управляться через высокоскоростные каналы связи наподобие оптоволоконных линий, другие — через каналы с более ограниченной пропускной способностью. Третьи будут то кружить около узла управления, чтобы обменяться с ним данными, то самостоятельно уходить в мрак глубин. Каждый элемент будет работать, как ему предписано, но также и принимать собственные решения в согласии с запрограммированными алгоритмами поведения.

В мире, который формируется на наших глазах, мы можем представлять себе автономность как странной формы трехмерное облако в толще океана, в пределах которого постоянно курсируют различные аппараты. Теперь вообразите, что мы говорим не об аппарате АБИ, а о вашем автомобиле, а трехмерное ≪облако автономности≫ располагается в вашем городе. В определенных местах такой автомобиль становится на некоторое время автономным: например, двигаясь по полосе скоростного шоссе или в составе группы автомобилей. В другие моменты, как, например, на большом удалении от вышек сотовой связи или в условиях снегопада, который мешает нормально работать датчикам автоматики, автономные возможности снижаются и водителю приходится больше задач брать на себя. Вы то въезжаете на своей машине в ≪облако автономности≫, то выезжаете из него, при этом автономные режимы деликатно включаются или отключаются.

Неслучайно перспективы появления не нуждающихся в водителе машин (пожалуй, такие машины действительно заслуживали бы названия ≪автомобили≫, если бы термин не был занят еще столетие назад) вызывают в обществе живой интерес и споры вокруг вопроса об автономности. Очень часто в связи с этим вопросом упоминается компания Google, что происходит благодаря проводимой ею тщательно дозированной информационной кампании (хотя большая часть работ этой компании носит закрытый характер, поэтому приходится полагаться на публичные заявления).

Безусловно, производители автомобилей уже многие десятилетия добавляют те или иные элементы автоматизации в свою продукцию: от автоматических трансмиссий до круиз-контроля и антиблокировочных тормозных систем. Моя семейная ≪Вольво≫ снабжена программой, которая сама жмет на тормоз, если обнаруживает, что машина вот-вот собирается врезаться во что-нибудь (и когда я за рулем, мне приходится доверять этой программе). В общем, автопроизводители не уклоняются от пути постепенного внедрения изменений, продавая элементы автоматики под обозначением ≪средства безопасности≫, а вовсе не как средства автономии. Компания Mercedes-Benz представила концепт-кар с интерьером, задуманным как ≪мобильное жизненное пространство≫, в котором люди могут расслабляться и читать, окруженные заботой автономных устройств автомобиля. Однако в отличие от концепции Google, в компании Mercedes говорят о так называемом ≪симбиозе реального и виртуального миров≫, где ≪пассажиры могут интуитивно взаимодействовать с автомобилем≫. Google, напротив, пропагандирует идею полной автономности транспортного средства. Как формулирует эту идею один из инженеров компании Google, сравнивая их подход с подходами других автомобильных компаний: ≪Они хотят делать машины, которые помогают водителям быть лучше. Мы же хотим делать машины, которые сами по себе лучше водителей≫. Uber, рыночный гигант в сфере пассажирских перевозок на легковых такси, нанял большую группу робототехников, которые раньше работали на Университет Карнеги–Меллон, что, очевидно, связано с идеей автоматизации принадлежащих им машин.

Google тестировал самоходные автомобили на калифорнийских дорогах общего пользования начиная с 2009 года и заявляет, что их машины прошли в общей сложности тысячи километров без дорожных происшествий. Они ездят вдоль трасс, нанесенных с большой точностью на карты Google, после того как по ним проехали управляемые людьми машины Google, занимающиеся съемкой местности; эти карты служат своеобразными ≪виртуальными рельсами≫ для самоходных машин (и они в самом деле пока не могут ездить по дорогам, для которых не существует карт с высокой детализацией). На испытательных рейсах в машинах для безопасности находились водители и специалисты по программному обеспечению, которые могли включать или отключать автономный режим. ≪Замысел был в том, что человек выводит автомобиль на трассу, включает систему, затем она ведет машину все основное время путешествия — скучная часть, а под конец люди вновь берут управление на себя≫, — вспоминает инженер Google Натаниель Фэйрфилд .

После того как журналист The New York Times Джон Маркофф совершил поездку в одной из таких машин, он пришел к выводу, что ≪компьютеризованные системы, способные заменить водителей-людей, практически готовы к эксплуатации и могут значительно уменьшить риск человеческой ошибки≫. Это мнение потенциально согласуется с поставленной Google задачей — в два раза сократить количество смертельных случаев из-за аварий на скоростных автотрассах США. Демагогия компании вокруг этого проекта пропитана отличающим Кремниевую долину оптимизмом, типичным для разговоров о перспективах компьютерных систем. Ведущий инженер проекта специалист по роботам Себастиан Тран предрекает в будущем наступление утопической эпохи автономных систем ≪без автомобильных аварий и пробок≫.

Ряд критиков указывает на ограниченность подхода Google к решению этой проблемы. Большая часть испытательной работы была проведена в Северной Калифорнии или других штатах запада США. Успешные испытательные поездки ≪гугломобилей≫ в Неваде проходили в установленных компанией условиях: только в хорошую погоду и только по простым трассам (кроме того, Google не пожелала раскрывать информацию о том, как часто водителям приходилось прерывать автономный режим). У алгоритмов этих машин были проблемы с обработкой информации о местах дорожных работ, и посаженному для безопасности водителю на таких участках приходилось управлять автомобилем самому. Журналист — популяризатор техники Марк Харрис не так давно поведал, что для того, чтобы стать дежурным водителем-испытателем ≪гугломобиля≫, необходимы долгие недели тренировок. Это означает, что моменты передачи управления от компьютера человеку остаются сложными и опасными.

В отличие от передвижения по пустым и широким коммерческим трассам Запада, где специалисты Google проводили свои испытания, езда по городу подразумевает значительную долю взаимодействия с другими участниками движения, поскольку ехать приходится в довольно замысловатой, хаотичной и динамично меняющейся обстановке. Google признает, что эта задача в десять, а может, и в сто раз более трудная, чем вести машину по скоростному шоссе. И вновь обеспечение автономности машины в условиях социума оказывается гораздо сложнее абстрактной технической проблемы.

Джон Леонард из Массачусетского технологического института, который помогал разрабатывать некоторые из базовых алгоритмов самоуправляемых машин для определения местоположения и прокладки пути, говорит о том, как много в вождении зависит от межчеловеческого взаимодействия. Мой покойный друг Сет Теллер, который в том же институте занимался проблемами робототехники, отмечал, что езда по городу состоит из сотен ≪непродолжительных социальных договоренностей между людьми≫, которые возникают, когда мы наблюдаем дорожную обстановку, устанавливаем взаимный визуальный контакт с другим участником движения, пропускаем кого-нибудь вперед или взмахиваем рукой в знак благодарности тому, кто дал дорогу нам. Компьютеры постепенно учатся распознавать и отмечать различные объекты физического мира. Но, как могут подтвердить пилоты ≪Предейтора≫, их возможности по распознаванию людей и их намерений остаются очень примитивными.

Шутя лишь отчасти, Леонард утверждает, что вождение в Бостоне может приравниваться к операции в экстремальной среде. Он поставил видеокамеру на приборную доску своего автомобиля и коллекционирует записи моментов вождения, с которыми трудно справиться алгоритмически: въезд на загруженную дорогу в час пик; следование по полосе движения, когда разметку не видно под пылью или снегом; поворот налево через несколько полос. Снежной бостонской зимой 2015 года трехмерный ландшафт городских улиц мог радикально измениться за ночь, когда трехметровые кучи снега сужали проезжую часть и заставляли менять режим вождения.

Что из усвоенной нами информации о работе аппаратов в экстремальных условиях поможет нам пролить свет на возможное будущее самоуправляемых автомобилей? Мы знаем, что для автономных машин будут характерны все те же проблемы, которые известны нам по примерам использования автоматизации в уже описанных нами средах, — отказы систем, различия в опыте пользователей-операторов, сложности при фокусировке внимания, ухудшение навыков ручного управления, а также растущая склонность чрезмерно полагаться на автоматику по мере все более широкого распространения таких систем.

Самой главной проблемой для самоуправляемой машины станут моменты передачи управления между автоматикой и водителем — то, что мы можем назвать ≪проблемой рейса 447 Air France≫. Каждая критически важная система должна располагать способами справляться с аномалиями, возникающими при отказе отдельного датчика или модульного устройства или в ситуации, когда в окружающем мире что-то идет не так, как ожидается. Чем сложнее система, тем больше потенциальных аномалий она в себе таит. И хотя отдельные аномалии такого рода могут возникать редко, в США люди ежедневно совершают более миллиарда поездок на автомобиле, что в десять тысяч раз превышает количество ежедневных авиарейсов.

Допустим, ≪гугломобиль≫ сможет распознать ситуацию, с которой он не в состоянии справиться сам, и предупредит водителя, что тому необходимо взять управление на себя. Возможно, для этого на приборной панели будет зажигаться световой сигнал ≪Проверь автономность≫, аналогичный имеющемуся сейчас в машинах малопонятному оповещению ≪Проверь двигатель≫, хотя в целях эффективности ему следует быть намного информативнее. Что будет, если эта лампочка загорится, когда машина движется на большой скорости и передача управления должна произойти без промедлений? Если человек, освобожденный от обязанности вести машину, уснет или погрузится в чтение книги, сможет ли он вновь включиться в контур управления достаточно быстро, чтобы успеть отвести машину от лобового удара, выбоины на дороге или столкновения с препятствием?

Точно так же, как в истории рейса 447, водителям придется сталкиваться с этим испытанием в наиболее сложных дорожных ситуациях. И вдобавок по сравнению с операторами рассмотренных нами систем, работающих в экстремальных условиях, водители в большинстве своем не так хорошо подготовлены и могут иметь крайне разные навыки, физические возможности, социальное происхождение, экономический статус и образование. Как бы ни были опасны экстремальные среды, тем не менее и глубины океана, и воздушное пространство, и космические дали относительно ≪однородны≫ по сравнению с вождением автомобиля в дорожных условиях — значительно более хаотичным и неопределенным процессом.

Вероятно, в ответ на подобную критику Google изменил подход и ищет способы полностью избавиться от этих доставляющих неприятности субъектов — водителей. По словам инженера Натаниеля Фэйрфилда, Google выяснил, что ≪люди ленивы≫ и ≪перескакивают от обоснованного недоверия к чрезмерному упованию≫ на системы, которыми пользуются. Проведя эксперименты, компания пришла к выводу, что людям-водителям нельзя доверять настолько, чтобы позволить взаимодействовать с их программами, и приняла модель нулевого участия человека в процессе вождения. Инженеры Google говорят о ≪ленивых водителях≫ и о том, что 93% автомобильных аварий происходят по причине ошибок человека (конечно же, специалисты по ≪человеческому фактору≫ давно поняли, что люди ошибаются чаще всего из-за плохой конструкции управляемой системы или непродуманных норм управления).

Новая версия автомобиля Google была представлена в 2014 году и производит впечатление дружественной и безопасной для людей машины. С целью снижения уровня риска ездит она медленно, в ней отсутствуют руль и приборная панель, так что такой машиной человеку вообще нельзя управлять. По словам руководителя проекта Криса Армсона, компания ≪движется к цели создания транспортных средств, которые полностью возьмут на себя тяготы водительского дела≫. Эти полностью автономные машины будут ≪функционировать безопасно и независимо от человека, чье вмешательство в их работу не потребуется≫.

Весь ≪пользовательский интерфейс≫ новой машины составляют две кнопки — для запуска и остановки двигателя, а также дисплей, на котором отображается маршрут (непонятно только, как же водитель должен говорить машине, куда ехать). Водителя превратят в пассажира, чьей обязанностью будет ≪откинуться в кресле, расслабиться и наслаждаться поездкой≫. ≪Машине нет нужды прибегать к помощи водителя-человека — в ней достаточно дублирующих систем, — утверждает Фэйрфилд. — Она оснащена двумя рулевыми моторами, и у нас есть множество различных способов прекратить движение≫.

Появившиеся на сервисе YouTube рекламные видеоролики под легкую музыку демонстрируют, как пассажиры пожилого возраста, инвалиды, слепые наслаждаются приятными поездками на автомобилях Google по озаренным сияющим солнцем пустым и широким калифорнийским шоссе.

Безусловно, предоставить инвалидам или старикам возможность свободно перемещаться — похвальная цель. Но выбранный Google способ достичь ее представляет собой возврат в прошлое и попытку ухватиться за упущенную возможность. Как это ни забавно, именно такая высокотехнологичная компания, как Google, в своей риторике шагает назад в XX век, архаически выставляя водителя пассивным наблюдателем. Их ≪новый≫ подход становится жертвой всех трех порожденных XX веком мифов о роботах и автоматизации: 1) автомобильная техника должна логически развиваться до полной, утопической автономности (миф о линейном прогрессе); 2) автономные системы управления освободят водителя от обязанности водить (миф замещения); 3) автономные машины могут действовать полностью самостоятельно (миф о полной автономности).

Наши исследования работы систем в экстремальных средах научили нас тому, что такая утопическая автономность рушится при столкновении с реальными условиями среды, в которых людям приходится рисковать жизнью. И в действительности утопия автоматизации от Google оказывается намного более хрупким и менее функциональным решением, чем богатая автоматизация, нацеленная на помощь водителю-человеку. Действительно, присутствие живого водителя в автоматизированном автомобиле вызывает проблемы с путаницей режимов, концентрацией внимания и интерфейсами взаимодействия, но все эти проблемы решаемы — особенно с учетом опыта, полученного нами на уроках экстремальных сред. Однако вместо этого инженеры из Google гонятся за призраком наивной автоматизации, пытаясь поставить задачу таким образом, чтобы ее могли решать программы от Google. Подобный способ формулировки проблем особенно приятен инженерам по причине его замкнутой на себя природы: пусть вождение сводится лишь к навигации и предотвращению столкновений.

Данная форма автоматизации может быть приемлема для узкого, локального использования (меня не удивит появление таких машин без водителей в нишевых применениях, например для развозки пассажиров в пределах парковок или кампусов колледжей, примерно как это делают монорельсы в аэропортах). Но вождение автомобиля во всей его полноте — социальная активность, которая испытывает влияние всего разнообразия географических, экономических, культурных и других факторов. Google ничего не говорит о том, как их программный код должен учитывать это чудесное многообразие. И, более того, просто потому, что в машинах будут ездить люди, встают непростые вопросы о допустимом риске, надежности и степени вины той или иной стороны в происшествии, на которые необходимо отвечать. У инженеров Google есть привычка постоянно хвалить друг друга за то, что они берутся за самые трудные задачи, но в этом случае они закрыли глаза на все важные и социально значимые проблемы и сделали выбор в пользу узких алгоритмических решений.

И, конечно, даже в случае автономных ≪гугломобилей≫ человеческий фактор не теряет своей значимости, просто проявляется по-другому и в другое время. Давайте заглянем внутрь алгоритма, чтобы на примере понять, насколько по-человечески может быть скроен код, который, на первый взгляд, является автономным. Рассмотрим историю первого задокументированного столкновения между автономными автомобилями. В 2007 году в результате Большого технического соревнования, профинансированного Агентством по перспективным оборонным научно-исследовательским разработкам, возник ряд технологий, на которых ныне основывается идея автомобиля от Google. Крис Армсон, инженер Google, был главным инженером победившей тогда команды, и многие из других участников соревнования сейчас тоже работают в Google.

В том происшествии автомобиль Массачусетского технологического института под названием ≪Талос≫* обгонял автомобиль Корнеллского университета, который именовался ≪Скайнет≫** — у этой машины были проблемы с алгоритмом планирования, и она медленно тарахтела вдоль обочины. Компьютеры на борту ≪Талос≫ классифицировали ≪Скайнет≫ как ≪скопление статических объектов≫, а не как движущийся транспорт, и приняли решение выполнить поворот, объехав это ≪скопление≫. Но корнеллская машина на самом деле не стояла на месте, а двигалась, выписывая ≪кренделя≫, схему которых ≪Талос≫ распознать не сумел. ≪Скайнет≫ рванул вперед как раз в тот момент, когда ≪Талос≫ начал поворачивать перед его носом, в результате чего оба автомобиля столкнулись, получив незначительные повреждения. Ни та, ни другая команда не выиграла соревнование.

* Талос — в древнегреческой мифологии отец бога Гефеста (по одной из вер-

сий). — Прим. пер.

** Скайнет — название уничтожившей человечество компьютерной сети из

фильма ≪Терминатор≫. — Прим. пер.

Надо отдать должное командам, которые совместно разобрались с происшедшим и опубликовали все подробности аварии. Повинны были многочисленные алгоритмы и датчики, но ключевую роль сыграла ошибка компьютера массачусетского автомобиля, ≪не узнавшего≫ в корнелльской машине движущийся объект и не сумевшего предсказать его возможный путь. По иронии судьбы, стратегия Массачусетского института состояла в том, чтобы избегать предметной классификации дорожных объектов (например, ≪автомобиль≫ или ≪дорожный отбойник≫), что сулило множество вероятных ошибок, а взамен лишь делить их на движущиеся и неподвижные. Но правильному анализу данных о скоростях от датчиков машины мешал случайный шум (который бывает в любых данных), поэтому, чтобы фильтровать данные об объектах, компьютер из Массачусетса использовал пороговое значение 3 м/сек. Все, что двигалось быстрее, считалось ≪движущимся≫, а все, что медленнее, — ≪неподвижным≫.

Откуда взялось это значение порога? Просто один инженер так оценил разницу между движением и неподвижностью и внес это значение в алгоритм. Я спросил моего коллегу Джона Хау, одного из авторов проекта, много ли таких пороговых чисел запрограммировано в системах вроде этой. Он ответил мне: ≪Очень, очень, очень много...≫ На самом деле ≪конфигурационный файл≫ для автомобиля ≪Талос≫ содержал примерно тысячу строк текста, которым устанавливались значения сотен переменных: расположения и данные калибровки датчиков, поправочные коэффициенты для взаимного сопоставления данных датчиков, настройки для борьбы с засветкой от солнца и т. д. Технология машинного обучения может снизить зависимость от предустановленных параметров, но и она зависит от людей-программистов, определяющих ее базовую структуру. Хау отмечает, что действие основных алгоритмов в целом сильно зависит от того, насколько верны модели неопределенности внешних факторов. По его словам, ≪проблема автономии в своей основе — проблема существования в неопределенном мире≫.