Ассистент будущего от Google, который понимает и видит все вокруг ( 1 фото + 1 видео )

Глава ИИ-подразделения Google DeepMind Демис Хассабис в рамках ежегодной конференции для разработчиков Google I/O рассказал о ранней версии того, что в компании называют универсальным ИИ-помощником. Речь идёт о системе под кодовым названием Project Astra, которая представляет собой мультимодальный ИИ-помощник, работающий в режиме онлайн. Он может «видеть» окружающее пространство, распознавать объекты и помогать в выполнении различных задач.

«Я уже давно вынашивал эту идею. У нас будет этот универсальный помощник. Он мультимодальный, он всегда с вами<…> Этот помощник просто полезен. Вы привыкните к тому, что он всегда рядом, когда это нужно», — рассказал Хассабис во время презентации.

Вместе с этим Google опубликовала небольшое видео, в котором демонстрируются некоторые возможности ранней версии Project Astra. Одна из сотрудниц лондонского офиса Google активирует ИИ-помощника и просит его сообщить, когда он «увидит» что-либо, способное издавать звуки. После этого она начинает поворачивать смартфон и когда в объектив камеры попадает стоящая на столе колонка, алгоритм сообщает об этом. Далее она просит описать стоящие на столе в стакане цветные мелки, на что алгоритм отвечает, что с их помощью можно создавать «красочные творения». Далее камера телефона направляется на часть монитора, на котором в это время выведен программный код. Девушка спрашивает ИИ-алгоритм, за что именно отвечает эта часть кода и Project Astra практически моментально даёт верный ответ. Далее ИИ-помощник определил местонахождение офиса Google по «увиденному» из окна пейзажу и выполнил ряд других задач. Всё это происходило практически в режиме онлайн и выглядело очень впечатляюще.

?si=B-gIR8Sqd6M8TRwu

По словам Хассабиса, Project Astra намного ближе предыдущих аналогичных продуктов к тому, как должен работать настоящий ИИ-помощник в режиме реального времени. Алгоритм построен на базе большой языковой модели Gemini 1.5 Pro, наиболее мощной нейросети Google на данный момент. Однако для повышения качества работы ИИ-помощника Google пришлось провести оптимизацию, чтобы повысить скорость обработки запросов и снизить время задержки при формировании ответов. По словам Хассабиса, последние шесть месяцев разработчики трудились именно над тем, чтобы ускорить работу алгоритма, в том числе за счёт оптимизации всей связанной с ним инфраструктуры.

Ожидается, что в будущем Project Astra появится не только в смартфонах, но и в смарт-очках, оснащённых камерой. Поскольку на данном этапе речь идёт о ранней версии ИИ-помощника, точные сроки его запуска в массы озвучены не были.