Компактная Edge AI-платформа Nuvoton распознаёт жесты без облака

Компания Nuvoton Technology Corporation представила компактную Edge AI-платформу, предназначенную для жестового управления и визуального сенсинга. Модуль ориентирован на разработчиков, которым необходимо быстро внедрить бесконтактные интерфейсы в устройства для умного дома, промышленности, медицины и систем безопасности.

Решение объединяет микроконтроллер, нейропроцессор для ускорения ИИ-вычислений, встроенную память и готовое программное обеспечение. Благодаря этому разработчики могут быстрее перейти от демонстрационного прототипа к серийному изделию, не создавая базовую систему распознавания с нуля.

Вычислительная платформа для локального ИИ

Аппаратной основой модуля служит процессор Arm Cortex-M55, работающий совместно с нейропроцессором Arm Ethos-U55 NPU. Такая конфигурация предназначена для выполнения нейросетевых моделей непосредственно на устройстве. Максимальная тактовая частота достигает 220 МГц.

Обработка жестов непосредственно на устройстве помогает уменьшить задержки, снизить зависимость от облачных сервисов и сохранить конфиденциальность пользовательских данных.

Локальная обработка данных особенно важна для приложений компьютерного зрения. Видеопоток не обязательно передавать на удалённый сервер, поэтому сокращается задержка между жестом пользователя и реакцией оборудования. Одновременно повышается уровень конфиденциальности, поскольку изображения могут обрабатываться внутри конечного устройства.

В состав вычислительной части входят:

• Cortex-M55 — производительный Arm-процессор с поддержкой DSP-инструкций и векторных расширений;
• Ethos-U55 NPU — специализированный блок для ускоренного выполнения операций, используемых в нейросетевых моделях;
• связка CPU и NPU — распределение вычислительной нагрузки между универсальным процессором и аппаратным ускорителем.

Память и работа с пользовательскими моделями

Для хранения программного обеспечения и выполнения алгоритмов модуль оснащён 2 МБ флеш-памяти и 1,5 МБ SRAM. Такой объём позволяет размещать достаточно ресурсоёмкие модели, применяемые для определения поз, распознавания жестов и отслеживания положения человека.

Платформа поддерживает TensorFlow Lite Micro. Это даёт возможность переносить на устройство собственные модели машинного обучения, адаптируя их к ограниченным вычислительным ресурсам. Разработчик может использовать привычный инструментарий, заменить стандартный алгоритм или настроить его под конкретные условия эксплуатации.

Предустановленные функции распознавания

Одним из преимуществ платформы является готовое программное обеспечение. После подключения модуль способен распознавать более десяти жестов, включая команды Call, Like, OK и Stop. Набор функций позволяет использовать решение для быстрого тестирования пользовательских сценариев и создания демонстрационных образцов.

Готовые модели жестов и обнаружения человека позволяют сосредоточиться на логике продукта, интерфейсе и конструкции устройства, а не на создании базового алгоритма с нуля.

Кроме распознавания жестов, реализованы обнаружение присутствия человека и отслеживание его положения. Результаты работы передаются через интерфейс UART, что упрощает подключение модуля к главному микроконтроллеру или другой встраиваемой системе.

Предварительно подготовленные модели избавляют команду разработки от необходимости сразу разбираться во всех тонкостях построения и оптимизации нейросетей. Благодаря этому базовый прототип можно подготовить в короткие сроки — практически сразу после настройки аппаратной части.

Что получает разработчик

К основным преимуществам Edge AI-модуля относятся:

• ускоренная разработка — готовое ПО и стандартные интерфейсы сокращают время создания прототипа;
• конфиденциальность — локальная обработка уменьшает необходимость передавать видеоданные в облако;
• энергоэффективность — Cortex-M55 и Ethos-U55 рассчитаны на выполнение ИИ-задач при ограниченном энергопотреблении;
• масштабируемость — TensorFlow Lite Micro позволяет адаптировать готовые алгоритмы или использовать собственные модели;
• простая интеграция — передача результатов через UART облегчает обмен данными с управляющей электроникой.

Области применения платформы

В потребительской электронике модуль можно использовать для бесконтактного управления телевизорами, освещением, климатической техникой и мультимедийными системами. Пользовательские команды распознаются без нажатия кнопок, что особенно удобно в бытовых и общественных устройствах.

Для промышленности технология актуальна в зонах, где нежелательно прикасаться к органам управления. Жестами можно выбирать рабочие режимы, управлять станками или подавать сигнал вызова, не снимая защитные перчатки и не покидая рабочее место.

В медицинском оборудовании бесконтактное управление помогает снизить количество физических контактов с поверхностями приборов. В системах безопасности локальное распознавание присутствия и положения человека может использоваться для запуска оповещения или других запрограммированных действий.

Потенциальные сценарии использования включают:

• умный дом — управление освещением, климатом, бытовой техникой и мультимедиа;
• промышленное оборудование — бесконтактная подача команд и переключение режимов;
• медицинские приборы — управление диагностическими и вспомогательными системами;
• системы безопасности — обнаружение людей, отслеживание положения и формирование оповещений.

Особенности интеграции

Точность распознавания зависит не только от вычислительной платформы, но и от внешних условий. При проектировании необходимо учитывать характеристики камеры или другого сенсора, освещённость рабочей зоны, расстояние до пользователя и угол обзора. Неподходящий датчик может ограничить эффективность даже хорошо оптимизированной модели.

Размер нейросети следует соотносить с доступными объёмами флеш-памяти и SRAM. Для сокращения потребления ресурсов применяются квантование, уменьшение числа параметров и оптимизация архитектуры. В ряде задач целесообразно использовать квантование INT8, позволяющее эффективнее задействовать возможности NPU.

Качество сенсора, освещение и условия эксплуатации необходимо проверять вместе с программной моделью: именно их совокупность определяет стабильность распознавания.

UART подходит для передачи результатов распознавания в простых системах. Если устройство должно одновременно обрабатывать несколько потоков данных, взаимодействовать с периферией и реагировать на сложные события, может понадобиться дополнительная шина связи или отдельный программный обработчик на главном MCU.

Рекомендации перед запуском

При настройке системы стоит обратить внимание на следующие параметры:

• поддерживайте равномерное освещение в области распознавания;
• выбирайте камеру с разрешением и частотой кадров, соответствующими сценарию;
• при переносе собственной модели проверяйте эффект квантования INT8 на точность;
• настраивайте пороги срабатывания после тестирования в реальных условиях;
• проверяйте работу алгоритма при разных расстояниях, углах поворота и положениях пользователя.

Компактный Edge AI-модуль Nuvoton на базе Cortex-M55 и Ethos-U55 представляет собой готовую основу для устройств с визуальным анализом и жестовым управлением. Предустановленное программное обеспечение ускоряет создание прототипов, а поддержка TensorFlow Lite Micro оставляет разработчикам возможность адаптировать систему под собственные задачи. Локальное выполнение ИИ-алгоритмов помогает сохранить приватность, уменьшить задержки и создать более отзывчивые устройства для дома, производства, медицины и систем безопасности.