Arduino выпустила App Lab 0.11

Arduino выпустила App Lab 0.11 – обновление среды разработки, объединяющей классические программы для микроконтроллеров, Python, готовые функциональные блоки и инструменты искусственного интеллекта.

Новая версия делает акцент не только на создании проекта, но и на его дальнейшем распространении. Разработчик теперь может собрать готовое приложение и установить его на другое совместимое устройство без повторной ручной подготовки проекта.

Также Arduino расширила возможности ИИ-агента, добавила новые блоки компьютерного зрения и улучшила подключение внешних датчиков.

Готовое приложение вместо исходного проекта

Главное нововведение App Lab 0.11 – функция App Releases.

Раньше разработчик мог экспортировать проект со всеми файлами и настройками. Для передачи другому пользователю такого способа достаточно, но на целевом устройстве всё равно могли потребоваться дополнительные действия.

Теперь App Lab позволяет сформировать готовый пакет приложения.

При создании релиза зависимости фиксируются, а скетчи предварительно компилируются. Это помогает обеспечить одинаковое поведение программы на совместимых устройствах.

Если приложению нужны дополнительные ресурсы, например файлы нейросетевой модели, они загружаются во время установки.

Релиз можно использовать на другой совместимой плате Arduino или на оборудовании стороннего производителя, включённом в программу Works with Arduino.

Таким образом, один подготовленный проект проще перенести с прототипа на несколько устройств.

ИИ-помощник теперь работает рядом с кодом

В предыдущей версии Arduino App Lab 0.10 появился Agent Mode – отдельный режим работы, в котором ИИ-агент помогает создавать приложения по текстовому описанию.

В App Lab 0.11 добавлена панель Agent Panel непосредственно внутри редактора.

Теперь разработчик может одновременно видеть исходный код, структуру проекта и переписку с ИИ.

Помощник использует открытые файлы и состояние рабочей области как контекст. Поэтому не требуется каждый раз вручную копировать код и объяснять расположение файлов.

Агент может предлагать изменения, исправлять ошибки и редактировать файлы проекта в ходе диалога.

При этом пользователь продолжает работать в обычном редакторе, запускать программу и проверять её поведение.

Распознавание 17 точек тела на VENTUNO Q

Для Arduino VENTUNO Q появилась новая функциональная заготовка Pose Estimation Brick.

Она предназначена для компьютерного зрения и позволяет распознавать положение тела человека по видеопотоку.

Алгоритм отслеживает 17 ключевых точек скелета с частотой до 10 кадров в секунду.

На основе этих данных система может определять стандартные положения: человек стоит, сидит или поднимает руки.

Также предусмотрено распознавание пользовательских поз.

Для этого разработчик подготавливает две группы фотографий: изображения с нужной позой и примеры, где она отсутствует.

App Lab использует эти данные для настройки распознавания, без необходимости самостоятельно создавать отдельный обучающий проект.

В официальной демонстрации Arduino использует такой подход для распознавания движений теннисиста.

Главная особенность заключается в том, что обработка выполняется локально на VENTUNO Q, а не требует обязательной отправки каждого кадра в облако.

Собственные языковые модели из Hugging Face

Обновление также расширяет возможности LLM Brick – блока для работы с языковыми моделями.

Теперь пользователь может указать идентификатор модели или ссылку на неё в Hugging Face.

App Lab проверяет совместимость модели с вычислительной платформой и подбирает поддерживаемую конфигурацию квантования.

Это позволяет не ограничиваться только заранее подготовленным набором моделей Arduino.

Однако доступность конкретной нейросети по-прежнему зависит от объёма памяти, аппаратной архитектуры и поддерживаемых операций.

Смартфон как внешний набор датчиков

Приложение Mobile Companion App теперь передаёт не только видеопоток камеры, но и данные микрофона и инерциальных датчиков IMU.

Обмен выполняется через WebSocket, а данные могут передаваться в формате JSON с пользовательскими полями.

Для соединения предусмотрены дополнительные настройки защиты паролем и шифрования.

Например, смартфон можно использовать как беспроводной датчик движения или источник аудиосигнала для экспериментального проекта.

Совместимые сторонние устройства также смогут передавать данные через поддерживаемый WebSocket-интерфейс.

Другие изменения App Lab 0.11

Arduino добавила ещё несколько улучшений для разработки и обслуживания проектов:

• Прошивка VENTUNO Q через встроенный инструмент в разделе настроек.
• Настройка плат расширения, carrier-плат и совместимых модулей JHAT.
• Публикация черновика проекта непосредственно в Arduino Project Hub.
• Поиск всех ссылок на элементы кода в Python и C++.
• Проверка синтаксиса YAML и отдельные вкладки консоли для контейнеров Brick.

Также появился пример использования Qualcomm Terrestrial Positioning Service для определения местоположения с помощью доступных беспроводных сигналов. Arduino ранее демонстрировала эту технологию на UNO Q, а в обновлении добавила соответствующий блок TPS.

Arduino App Lab 0.11 уже выпущена. Основной результат обновления – переход от экспериментов с отдельными функциональными блоками к более законченному процессу разработки, распространения и установки приложений.