Прошлым летом команда МФТИ (московского физико-технического института) «Старкит» выиграла RoboCup Humanoid League – чемпионат мира по футболу среди роботов. В турнире сражались 14 команд, в полуфинале наши студенты разгромили университет Гамбурга 7:2, а в финале обыграли крупнейший частный университет Ирана 2:1.
Вас наверняка удивили два момента:
1. Что роботы вообще играют в футбол и для них устраивают чемпионат мира.
2. Что роботы из России (есть нюанс) сильнее всех.
Мы испытали примерно те же чувства, поэтому поговорили с инженером-программистом и капитаном команды Владимиром Литвиненко. Он объяснил, как создаются и сколько стоят роботы-футболисты, почему «Старкит» сильнее других, а еще ответил на волнующий вопрос: когда роботы начнут управлять людьми? Спойлер: управляют уже сейчас.
– Я сейчас в аспирантуре, тема моего исследования – как раз наши роботы. Мы преподаем робототехнику на физтехе, курс называется «Компьютерное зрение в робототехнике». Делаем большое количество курсов для школьников и студентов, недавно делали курс повышения квалификации по робототехнике для преподавателей. Все вокруг роботов.
– Это очень обширная сфера: мы моделируем и разрабатываем роботов, делаем программное обеспечение. Здорово понимать, что можно взять часть робота и улучшить. Иногда, когда робот начинает делать что-то новое после моей работы, появляется ощущение, что я занимаюсь с ребенком. Приятно сразу видеть результат.
– Да, есть какой-то романтический подтекст.
– В 2018-м этот проект пришел в МФТИ вместе с выпускником и инвестором Азером Бабаевым, который сказал, что хочет заниматься робофутболом. Он спонсор и идейный вдохновитель.
Я попал в команду случайно. В бакалавриате занимался (и сейчас продолжаю) нейронными сетями, искусственным интеллектом. Устроился в лабораторию на стажировку, чтобы просто получить опыт, а эта лаборатория уже в каком-то виде работала с роботами. Я делал часть компьютерного зрения для руки-манипулятора, чтобы она понимала, какие предметы находятся на столе и как их нужно взять. А потом появился проект с робофутболом, и мы им очень увлеклись.
– У нас сейчас две основные команды. Наша занимается самодельными роботами, в ней порядка 10 человек. Еще есть команда в Standart Platform League, где играют на серийных роботах Nao. В ней еще человек 6-7, они независимы от нас. Там командам не нужно заниматься разработкой роботов, упор на программное обеспечение.
– Можно идти по-разному. Многие команды и университеты сначала делают железку по своим критериям, а потом пытаются ей управлять. Это пример того же робота Федора. Его сначала сделали и только потом решили, что его надо куда-то приложить.
Можно идти от обратного. Построить такого же робота в симуляции, там его проверифицировать, подобрать алгоритм управления. И уже потом строить железку по этим наработкам.
Мы придерживаемся второго варианта.
– Главное отличие гуманоидного робота от всех остальных – ноги. Это самая сложная часть, потому что ей сложнее всего управлять. Некоторые команды делают сначала просто ноги с тазом, учатся управлять этой штучкой, а потом уже добавляют туловище, руки и голову – это чуть менее сложно.
– Если есть готовое железо и нужно только дописать софт – это одно время. Если нужно купить компоненты, те же двигатели, сервоприводы (электродвигатели с блоком управления – Sports.ru) – другое. Если их тоже нужно изготовить с нуля – третье.
Маленьких роботов нам купил спонсор у французской команды в 2018-м, они тогда были чемпионами мира. Французы разрабатывали робота лет десять. Мы за три года модернизировали систему и тоже стали чемпионами.
– Да, от первоначальных мало чего осталось. Если мы вообще не полностью их поменяли.
Когда мы играли на французских роботах, нашли несколько недостатков как минимум в конструкции. Она была хрупкая. Мы ее усилили, сделали жестче, добавили подшипники в каждое сочленение. До этого у нас была ситуация, когда во время игры робот упал вперед, у него отлетала голова и болталась на проводах. После усиления роботы потяжелели, и мы облегчали отдельные части карбоном (углепластик – легкий, но очень прочный материал, применяется в том числе в аэрокосмической отрасли – Sports.ru).
Поменяли плату питания, она стала более интеллектуальной. У нас есть система быстрой смены батарей, защита от перетока, от недостаточного тока. Добавили стереокамеру. Появилось много печатных деталей. Раньше пластиковая защита ненадежно натягивалась на робота, было крайне неудобно. Сейчас она надежно крепится.
Дальше планируем использовать более серьезные алгоритмы управления. Наверное, это максимум, что мы можем выжать из этой конструкции. Затем нужно будет переходить на новую.
– Роботы обязаны быть автономными. Этого требует федерация: они нацелены на то, чтобы к 2050 году сделать команду роботов, которая победит чемпионов мира среди людей. Естественно, роботы должны это делать самостоятельно. Основной упор не только на конструктивные особенности, но и на искусственный интеллект.
Нам можно вмешиваться только в трех ситуациях. Первая – робот сломался и надо забрать его с поля. Вторая – когда робот сигнализирует о разрядке батареи. Третья – когда у робота что-то случилось в коде, и он долго бездействует.
Возврат робота на поле сопровождается временным штрафом – нужно подождать минуту. Это довольно критично – тайм длится 10 минут. Поэтому мы беспокоимся о том, чтобы как можно реже забирать роботов с поля.
– В нашем роботе есть нейронная сеть, которая может по картинке определить, где на ней находится какой-то объект. Она распознает несколько основных: мяч, стойку ворот, другого робота, линии разметки поля. Когда мы смогли определить на картинке, где находится мяч, нужно перенести это в пространство. Это делается с помощью специальной модели камеры. Когда мы получаем координаты мяча в пространстве, то можем строить траекторию, чтобы к нему подойти. Робот строит маршрут, идет по нему, и, когда мяч оказывается в определенной зоне, робот понимает, что по нему можно бить. Эти зоны специально выделены на картинке. Если мяч оказывается в зоне рядом с ногой, робот останавливается и бьет.
– Какие-то части похожи. Робот-пылесос обычно занимается задачей навигации по незнакомой ему территории, сам строит карту и потом по ней движется. В случае с нашим роботом карта всегда известна.
Движение гуманоидного робота гораздо тяжелее организовать. Например, он может не туда ставить ноги, падать. С колесами все-таки проще.
– Могут в разные стороны. В этом им помогает распознавание препятствий. Если наши роботы видят препятствие в виде своего или чужого игрока, они не идут прямо на него, а обходят. И могут ударить в сторону от чужого вратаря.
– Мы одна из немногих команд, кто поставил на роботов две камеры, а не одну. Зная высоту подвеса камеры и угол ее наклона, можно геометрически, через подобие треугольников, определить расстояние до объектов. И это работает только для тех объектов, размер которых робот знает. Например, мяча. Если мы хотим распознавать, насколько далеко находится другой робот, то можем это сделать, только если знаем его конкретный размер. А так как размеры роботов в нашей лиге могут варьироваться от полуметра до метра, то мы можем ошибаться.
Если же мы используем стереозрение, то можем понять, как объект на одном кадре отличается от другого. Если разница довольно большая, значит объект близко. Если не такая большая – далеко. И по этим изменениям можем довольно точно понять расстояние. Это позволяет не врезаться в противника, не пинать в него мяч. Сильное преимущество для тех, кто использует командную стратегию, старается играть в пас.
Так мы, например, обыграли Иран. Их роботы быстрее перемещаются, но у них нет распознавания препятствий, могут врезаться в своих.
– Роботы умеют ходить, вставать, если упали. Умеют бить, выкидывать из-за головы мяч, если он укатился в аут. Не умеют навешивать – у них недостаточно мощные сервоприводы, чтобы так высоко закидывать мячи. Но текущая динамика игры говорит, что этого и не требуется.
– Сейчас это уже не столь актуально, потому что у нас в команде есть кандидат технических наук, да и вообще побольше людей с таким образованием. Но в основном студенты. Если посмотреть на другие мировые команды, у них довольно много профессоров, кандидатов наук. В этом плане мы и правда выделяемся.
– Скорее, так сложилось. Просто раньше это был некоммерческий студенческий проект, который перерос в нечто большее. На его базе мы делаем большого робота, к которому привлекаются квалифицированные кадры, включая профессуру. На это выделили грант. А робофутбол остался в рамках инициативы студентов.
– Роботы, которые у нас сейчас играют, ростом где-то 75 сантиметров. А есть идея сделать большого робота, примерно такого, как мы видим в видосиках в интернете. Мы не хотим делать робота Atlas (самый ловкий из роботов-гуманоидов, их делает американская робототехническая компания Boston Dynamics – Sports.ru), который прыгает сальто, хотим что-то более прикладное.
У него будет несколько глобальных задач, которые я пока не могу озвучить. Но в футбол он тоже будет играть.
– Себестоимость нашего робота – порядка 30 тысяч евро. Плюс разработка – это зарплаты программистов и инженеров. Естественно, получается гораздо дороже. Программист, например, зарабатывает 100-150 тысяч, нужна команда из 10-20 человек. И ей надо оплатить несколько лет работы.
– Все, что касается команды, – это практически полностью его личная инициатива и поддержка.
– Это его идея. Вкладывать деньги в то, что он может сам потрогать.
– Пожалуй, да.
– Как-то раз я был на шоу Малахова…
– И меня спросили: «Вы любите футбол?» А я ответил: «Да вообще-то нет». И они такие: «Ууууу». Прямо в прямом эфире. Нет, я, конечно, понимаю, что происходит на поле, но желания постоянно смотреть матчи у меня нет.
Мы скорее научные исследователи, нежели любители футбола.
– Вообще в России есть турниры по всяким роботехническим видам спорта. Они довольно популярны, но именно в студенческой среде их не очень много. В основном там либо школьники, либо ребята с робокружков. Поэтому мы сейчас прилагаем максимум усилий, чтобы это появилось и в других ВУЗах. Есть команда в Томске, но она послабее. Вроде как МГУ планирует создать команду.
Хочется, чтобы появились хорошие конкуренты, чтобы проверять, что мы тут такого наделали.
– Думаю, да. Достижимо, учитывая, как быстро развиваются технологии.
– Думаю, это случится уже к 2040-му.
– По правилам федерации мы обязаны делать гуманоидных роботов, они должны быть похожими на людей. И это ограничено многими правилами: как минимум размерами самих роботов, массой, размером рук, головы, стоп. Коленки должны смотреть вперед, как у человека. Камера – только на голове. Грубо говоря, мы можем использовать только те датчики, которые есть у человека.
Они точно будут человекоподобны, но вряд ли с какой-то натянутой кожей. Хотя это тоже возможно.
– Да, я тоже смотрел это исследование. Видимо, это правда. При этом мы еще далеки от того, чтобы делались ограничения по схожести.
– Да даже если взять наш первый и последний турнир – это уже довольно серьезные изменения. В 2019-м ввели ауты, угловые, штрафные – до этого их не было. В 2021-м добавили штрафы за то, что роботы касаются противников, начали давать карточки. Правда, они немного упрощенные: две синие карточки дают одну желтую, две желтые – красную.
В 2022-м роботы стали независимы от цвета мяча. Раньше играли мячом чемпионата мира-2018, только меньшего размера. Сейчас добавили мячи последующих годов, мячи постарее. И все они разной расцветки. Теперь роботы могут играть мячами любых цветов, научились их распознавать.
Сейчас роботы играют при искусственном равномерном освещении: нужно много ламп, яркий хороший свет, который не меняется. Но уже обсуждают, что можно поиграть и на солнышке. А солнышко в один момент есть, а через несколько минут уже тучки. Утром, днем и вечером разное освещение – это сильно отражается на том, как видит камера, к этому нужно подстраиваться.
Каждый год мы приближаемся к правилам ФИФА и тому, как играют люди.
– В основном чемпионате 14-20 команд из 10-12 стран. Самые сильные – Франция, Китай, Япония. Хорошие команды в Иране и Индонезии. В этом году чемпионами стали японцы.
– Да, каждый год разные. В 2019-м мы летали в Австралию, в 2020-м была пауза из-за ковида, в 2021-м тоже был ковид, но организаторы сделали виртуальный турнир. В 2022-м играли в Бангкоке, в 2023-м ЧМ пройдет в Бордо.
– Да.
– Можем. К сожалению, мы на это не влияем. Будем работать в той обстановке, которую нам предложат.
– Конкретно эти – да. У нас стоят корейские сервоприводы, но мы сейчас ведем разработку своих. Пока продвигается успешно, посмотрим, что будет на практике.
Сейчас порой действительно есть сложности, чтобы что-то найти. Но какие-то аналоги находятся.
– Да, у нас большие чемоданы, похожие на те, в которых музыканты возят оборудование. Такие большие черные кейсы. Роботов красиво упаковываем в поролончик, еще никогда ничего не повреждалось.
– В нашей лиге – Kid Size (роботы ростом до метра) – поле 9 на 6 метров. Есть еще лига Adult Size, там роботы размером со взрослого, от метра. И поле больше.
В нашей лиге играют 4 на 4. Но команда может выставить и одного робота, это не запрещено. Главное – не больше четырех.
– У нас было несколько разных схем, потому что мы стараемся подстраиваться под соперника. В 2021-м мы всегда играли с двумя нападающими и одним защитником, а в финале решили выйти с одним защитником и двумя нападающими. В итоге выиграли.
– Запрещены активные датчики. Мы не можем использовать магнитометры, потому что у человека нет компаса. Лазерные дальномеры, локаторы – все, чего нет у человека. Запрещено вмешиваться в работу вражеских роботов – хачить их, например. Защит от этого никто не делает, все-таки у нас научное сообщество, а не коммерсы, никто не стремится взломать соперника и обязательно выиграть. Принцип скорее такой: может, мы и проиграли, зато исследовали что-то новое.
– Некоторые команды применяют удар с ходу. Наши роботы останавливаются перед ударом, часто это оказывается довольно медленно. Но во взрослой лиге есть роботы, которые бьют сразу, прямо как люди. Мы сейчас тоже хотим это применить. Возможно, уже осенью сделаем.
– Да, мало кто использует командную игру. Но это связано скорее не с тем, что это так сложно, а с тем, что есть еще куча других проблем, которые возникают до командной стратегии. Часто бывает, что на поле не оказывается ни одного робота. О какой команде идет речь, если у тебя даже роботы не ходят? Это довольно распространенная проблема: робот не пошел, не может найти мяч.
Командная стратегия проявляется только там, где все эти проблемы уже решены. Нам удалось сделать так, чтобы роботы могли 20 минут играть автономно. В том числе благодаря этому мы победили в 2021 году.
– Да, это был один из наших экспериментов. Но, как показала практика, он был недоработанным. Мы сломали много сервоприводов. Да, выигрывали во времени подъема, но это мешает надежности системы.
А вообще это наша идея, которую некоторые команды подхватили, только не знаю, как у них с надежностью. У нас это работало в большинстве случаев, но, когда не срабатывало, очень пагубно влияло на роботов.
– Матчи приходили в симуляторе. За сутки мы должны были отправить свой код на сервер, который во время соревнований снимали в Amazon. Симуляция просчитывалась по 5-7 часов, хотя матч длится 20 минут. Это очень серьезно, мы старались не просто какую-то игрушку сделать, а физическую симуляцию того, что происходит в реальности. Все, что работает в симуляторе, переносится в реальный мир примерно так же.
– Организаторы требовали упрощать модели роботов, чтобы время просчета симуляции не было запредельно большим. Код считывается мгновенно, запускается, а потом физический движок с маленьким шагом по времени просчитывает, куда должны двигаться объекты, какие из них сталкиваются, как на них воздействуют различные силы.
Но наши упрощения минимально затронули главные вещи. Мы в основном убирали всякие дырочки, болтики, которые сложно обрабатывать симулятору. У многих же модели роботов выглядели кучей кубиков друг на друге. Они физически соответствовали тому, что нужно, но визуально нет. У нас же робот выглядел довольно реалистично.
– Это правда. Мы надеемся, что наше новое исследование позволит сделать роботов более динамичными. Хотим, чтобы они были похожи на Boston Dynamics, они как раз глубоко занимаются именно динамикой роботов. Поэтому их роботы, например, прыгают сальто и танцуют.
Мы сейчас делаем разработки на схожих принципах – надеемся, через 2-3 года увидим результат.
– …Признание. Наверное, все. Более того, по правилам федерации чемпионы должны делиться наработками с другими командами, чтобы поддерживать конкурентную среду.
А признание – интерес СМИ, в том числе иностранных. И не без этого внимания мы получили грант на большого робота.
– Мы тестируем наработки. Можно это делать двумя способами. Первый и самый предпочтительный – проверять все сырые вещи в симуляторе. У нас есть специальная среда, где мы можем организовывать виртуальные турниры с разными командами. Загоняем туда новенький код, и он проигрывается. Симуляция считается несколько часов, зато мы получаем что-то довольно близкое к реальности и можем оценить, как легла та или иная фича.
Если надо проверить железку, проводим игры прямо в лаборатории. Там есть поле такого же размера, как и соревновательное. У нас сейчас шесть роботов, можем играть три на три.
– В принципе, все то, что мы разрабатываем, применяется в других сферах. Просто футбол – это такая красивая обертка для науки. Футбол – сложная игра, которая включает в себя много аспектов, поэтому на его движке удобно тестировать. Например, локализацию на известной местности. Если мы в робот-пылесос закинем карту, это будет выглядеть один в один как у нас. И даже система компьютерного зрения по распознаванию объектов применяется где угодно, даже в смартфонах.
– У нас есть исследование компьютерного зрения. Какая стояла задача. Роботы получают картинку с камеры, но мы также можем примерно понимать расстояние до объектов – например, до мячей. И мы попробовали узнать, что будет, если в нейронную сеть, которая распознает объекты, добавить дополнительную информацию в виде расстояния до объекта. Наша практика показала, что это достаточно хорошо работает, повышает точность обнаружения. И у нас было около 10 цитирований – после турниров мы пишем научные статьи. Это пригодилось ребятам, которые работают с коптерами. Был китайский стартап, связанный с бананами. То есть это применяли по всему миру.
– Мне кажется, не очень. У нас довольно умные кадры, но, как показывает практика, в России легче нанять человека, чем вкладываться в разработку роботов. Могу привести такой пример. Я подрабатывал на американский стартап, они делали умный трактор, который собирал виноградники в Кремниевой долине. Это было выгодно, потому что там трактористам платят столько же, сколько программистам. А у нас тракторист за 10 тысяч будет работать. Поэтому нет смысла вкладываться в разработку умных решений, если человек все равно стоит дешевле. Это с точки зрения бизнеса невыгодно.
Поэтому у нас индустрия развивается за счет конкретных людей, которые в этом заинтересованы. Нет запроса.
– Это не совсем правда. Я довольно часто сталкиваюсь с крупными компаниями, концернами, которые [выступают] за исследования в этих областях. Может, это не совсем про робототехнику, но точно про искусственный интеллект. Есть Группа НЛМК – липецкий металлургический комбинат. Они проводят много исследований по тому, как можно улучшить их производство добавлением алгоритмов, нейронных сетей и всего того, что кажется довольно страшным. Многие компании понимают, что сейчас это маст-хэв.
С роботами в том числе так, но, может, в чуть меньшей степени. Потому что роботы – это еще железка, которую надо разработать, эксплуатировать, следить. Но потихонечку и это развивается.
– Не думаю, что заменят, но дополнят. Самое основное, что очень сильно продвигается, и мы уже это видим в индустрии – беспилотные автомобили, роботы-доставщики, автономные склады с роботами.
– Сложно сейчас судить, куда это выльется в итоге. Никто же не думал, что у каждого в кармане будет компьютер, когда они были размером с комнату. А сейчас так и есть.
– Мне нравится, как это описано в книжке «Все хреново» Марка Мэнсона. Он там в конце очень четко объясняет, что искусственный интеллект уже управляет нами. Самый банальный пример – навигация. Когда мы вбиваем в телефоне, куда нужно ехать, то даже не задумываемся, правильно ли он построил маршрут. Просто берем и едем. А ведь какой-то внешний искусственный интеллект может подсказать ехать по одной дороге, чтобы разгрузить другую. Но человек этого никогда не заметит и будет чувствовать себя вполне комфортно.
А в каком-то будущем появится искусственный интеллект посильнее, который будет говорить, что сегодня надо встать на полчаса попозже. И ты будешь думать: наверное, действительно надо. Ну а дальше он будет тебе говорить идти на работу и поработать на час подольше. И так до бесконечности. Просто это будет настолько незаметно для человека, что мы не будем этого сильно ощущать.
– В основном – да. Есть пример, связанный с гуманоидными роботами. Когда произошел пожар на Фукусиме, американское агентство DARPA, занимающееся инвестициями в перспективные разработки (по большей части в военной сфере), проводило Robotics Challenge – соревнование, где роботов подвергали испытаниям, которые могли бы быть с ними на Фукусиме. Много разных ситуаций: по лестнице подняться, вентили крутить, через обломки пройти. Все то, что люди делали, подвергая жизнь опасности, предлагалось передвинуть на роботов.
Когда возникает что-то плохое, люди думают, как это можно предотвратить. Правда, обычно думают уже после.
– Это халатность организаторов. Промышленные роботы вообще не рассчитаны на взаимодействие с людьми. Эти роботы работают на автомобильном заводе, например. Им нужно крутить один болтик, все очень четко: они знают, где этот болтик лежит, куда его надо вкрутить. Если что-то пошло не так, стопается вся линия, чтобы никто ничего не сломал. Эти роботы находятся в специальных ящиках, куда даже палец нельзя просунуть, чтобы робот не остановился.
Это явно был робот не для взаимодействия с людьми.
– Обычно я не очень долгосрочно мыслю. В ближайшие три года хочу закончить аспирантуру. Быть причастным к проекту большого робота и сделать что-то достойное. После этого буду думать, что делать дальше.
– Мне всегда кажется, что моя мечта реализуется прямо сейчас. Поэтому в принципе меня все устраивает, я очень рад, что нахожусь в этой точке.
– Сложно судить. В ближайшее время точно буду в России. Будут хорошие условия здесь – останусь. Будут хорошие истории за границей – возможно, уеду.
– Из моих знакомых, одногруппников довольно многие уехали. У них были хорошие офферы в разные IT-компании.
– Да. Поэтому много хороших предложений, и ребята уезжают. Если есть возможность поработать в интересной компании с хорошими условиями – почему бы и нет?
