Особое подразделение Google под названием DeepMind разработало языковую модель SayTap, которая помогает четвероногим роботам лучше обучаться и реагировать на человеческие команды. Система распознаёт речь, а затем преобразует их в последовательность движений, позволяя робопсу прыгать, бегать или пятиться.

Во время обучения генератор случайных чисел выбирает желаемую схему контакта ног, а затем оптимизирует движения робота в ответ на команду пользователя. Даже, если команды расплывчаты или неоднозначны, робопёс способен действовать, исходя из различных подсказок, включая положение тела хозяина в пространстве.

В демонстрационном видеоролике хорошо видно, как робот реагирует на приказ отстать от белки. В правом нижнем углу показано, как система распознаёт команду и преобразует её в понятную форму, а затем машина начинает пятиться. Кроме того, робот хорошо распознаёт команды «сидеть», «бежать», «идти рядом» и даже умеет реагировать на более сложные фразы.

Так, когда робопёс слышит, что хозяин собирается на пикник, он начинает радостно прыгать, как это делает настоящая собака, когда слышит любимые слова — «парк» или «улица». А когда пользователь сообщает, что земля очень горячая, машина начинает осторожно переставлять ноги, словно из опасения обжечься.

Однако на этом разработчики останавливаться не намерены: сейчас они стремятся к тому, чтобы робот научился реагировать не только на слова, но и на входящие мультимодальные видеоданные. Финальной целью является создание умного помощника, который улучшит жизнь человека и даже сможет помогать хозяину в быту.