Речь идет о том, чтобы транслировать пожелания человека, высказанные на обычном человеческом языке в программный код, понятный машинам. В целом все эти задачи по частям уже и раньше решались. Нейросети от OpenAI вполне успешно пишут программный код и это даже работает в качестве коммерчески доступного инструмента. Называется он Copilot и встроен в GitHub, крупнейшую глобальную платформу для совместной работы с исходным кодом программ.
В случае с роботами (любыми, в том числе и летающими беспилотниками) тут добавляется еще одно измерение – возможность немедленно этот только что созданный нейросетью код применить в физическом мире. И, главное, сразу скорректировать полученный результат, опять же человеческой речью.
Диапазон решаемых задач огромен, это могут быть и относительно абстрактные задания. В примерах к опубликованной работе исследователей Microsoft были, в частности, требования к коптеру найти что-то сахаро-содержащее с красной этикеткой или что-то, что позволит разогреть обед.
Такая краткая формулировка – это все действия человека. Дальше уже нейросеть строит маршрут квадрокоптера, распознает образы в видеопотоке с его камеры, определяет, что из попавшего в кадр могло бы подойти под поставленную задачу.
Более конкретизированные задачи могут решаться вообще в режиме диалога. Из тех же примеров дословно: "Я хочу осмотреть свою орхидею, но там может помешать спинка стула. Сделай облет цветка по полукругу от -60 до -120 градусов на расстоянии метра от цели. Проверь, чтобы камера всё время была направлена на цветок".
После первого пролета человек просто сообщает нейросети, что у нее дрон дергается влево, а это лишнее. В ответ – скорректированный программный код. Ровно так же можно, по крайней мере в теории, управлять любым механизмом любой сложности с любым набором датчиков и степеней свободы.
Конечная цель исследования, как заявлено – это в первую очередь работа с промышленными роботами, которая станет доступна менее квалифицированному персоналу. То есть избавит человека от необходимости хоть что-то смыслить в программировании – достаточно научиться правильно формулировать задачи.
Ну и очевидно, что это заявка на создание домашних робо-ассистентов в таком виде, в каком они представлены в фантастических книгах. Благо, механическая часть таких устройств уже вполне существует.
Ну и еще один любопытный момент – то в каком темпе Microsoft стремится оправдать свои колоссальные инвестиции в разработчика ChatGPT компанию OpenAI. Ее технологии уже встроили в поисковик Bing (очередь из желающих присоединиться к открытому тестированию диалогового поиска стоит до сих пор). Потом чат-бот из Bing добавили в Skype (где он будет участвовать в общих обсуждениях, помогать искать информацию и отвечать на вопросы).
Кстати, этот отошедший на второй план сервис видео-конференц-связи когда-то использовался Microsoft как раз для тестирования передовых на тот момент технологий вроде расшифровки речи в текст и автоматического перевода в реальном времени.
ChatGPT-подобную нейросеть, как сообщается, научили по текстовому описанию конструировать объекты в принадлежащей Microsoft видеоигре Minecraft. Тот самый GitHub, куда еще полтора года назад встроили нейро-программиста CoPilot, тоже принадлежит Microsoft. Теперь вот – робототехника для чайников. И пусть прямо сейчас вернуть более 10 млрд долларов, которые Редмонд уже потратил на поддержку OpenAI, это вряд ли позволит, но как минимум небывалый и преимущественно положительный информационный шум вокруг компании это уже обеспечило.
