Тепловизионное изображение с помощью граничных вычислительных SOM

Встраиваемые платы и модули стали неотъемлемой частью пограничных вычислений для поддержки обработки данных в реальном времени, принятия решений и создания сетей во многих различных приложениях. На недавнем Tech Forum 2025 по проектированию встраиваемых систем (esd), который проводил Маурицио Ди Паоло Эмилио, главный редактор Power Electronics News и embedded.com, основное внимание уделялось системам-на-модулях (SOM), одноплатным компьютерам (SBC) и другим вариантам встраиваемых вычислений. Здесь мы приводим краткое изложение презентации Эрика Джонсона, директора по вычислительным экосистемам компании Lantronix, посвященной их решениям SOM для краевых приложений теплового/видимого изображения.

SOM обеспечивает объединение основных компонентов, необходимых для встраиваемых вычислений, на одной готовой к производству печатной плате. Сюда входят процессорные ядра (CPU, GPU, MPU и т. д.), блоки памяти и коммуникационные интерфейсы. Эволюция SOM началась с блейд-серверов, где упор на низкое энергопотребление и форм-факторы привел к созданию компактных, экономичных конструкций, включающих основные компоненты, необходимые для целевого применения, в как можно более компактном корпусе. Некоторые ключевые характеристики и преимущества SOM включают:

• Гибкость: В отличие от систем-на-чипе (SoC), где процессорные ядра и память интегрированы на одном кристалле, интеграция SOM осуществляется на уровне платы. Хотя SOC могут предложить лучшие показатели энергопотребления/размера/производительности в приложениях с ограниченным пространством, таких как сотовые телефоны, SOM обеспечивают большую гибкость и свободу проектирования. Базовую плату можно настроить под конкретное приложение, например, добавить определенные датчики, а модули обработки оставить прежними.
• Время выхода на рынок: Изменения в SoC могут потребовать полного цикла перепроектирования кремния/обработки фабрики/квалификации и валидации, что может быть дорогостоящим как с точки зрения стоимости разработки, так и с точки зрения времени выхода на рынок. Риски разработки снижаются при использовании SOM. SOM обеспечивают тот же уровень гибкости, что и полевые программируемые вентильные матрицы (FPGA), с дополнительными преимуществами валидированной печатной платы, интегрированного дизайна и встроенного программного обеспечения. SOM позволяют командам разработчиков сосредоточиться на уникальном, специфическом для конкретного приложения программном обеспечении и датчиках. Сложная компоновка платы, управление питанием и тепловым режимом, радиочастотные и коммуникационные интерфейсы, распределение памяти и задачи по разработке встроенного ПО встроены в SOM.
• Масштабируемость: Одна и та же плата-носитель, как правило, может поддерживаться различными SOM. Семейства продуктов с общей конструктивной основой, но разными требованиями к вычислениям или количеству каналов чувств могут быть легко проверены и квалифицированы с помощью общих нитей платы, инструментария и т. д.
• Крайние вычисления: SOM со встроенными драйверами, коммуникационными интерфейсами и легко настраиваемыми датчиками позволяют выполнять пограничные вычисления с низкой задержкой. Часто в них встроена поддержка искусственного интеллекта, который может быть настроен на пользовательские модели для принятия надежных решений в реальном времени.

SOM используются во многих приложениях, таких как камеры безопасности со встроенной аналитикой на основе машинного обучения; инспекции и обнаружение дефектов в промышленном производстве; робототехника в автоматизации производства; краевое зондирование и обработка изображений на дронах и гимбальном управлении для сельского хозяйства и инспекции дикой природы, наблюдения в горячих точках, обороны, а также в медицинских целях, например, для помощи людям с потерей зрения.

Lantronix, основанная в 1989 году как компания по производству сетевых решений, является мировым лидером в области пограничных решений для ИИ и IoT. Их ПЗУ и наборы для разработки под торговой маркой Open-Q подходят для высокопроизводительных и недорогих встраиваемых приложений, особенно тех, где требуется захват, обработка визуальных изображений и возможности искусственного интеллекта.

ПЗУ Lantronix основаны на решении Qualcomm IoT/embedded. Некоторые преимущества использования решений Qualcomm в своих SOM включают:

• Lantronix Open-Q основан на проверенных решениях Qualcomm для IoT, таких как Dragonwing. Благодаря опыту Qualcomm в области мобильных технологий достигаются лучшие в отрасли показатели низкого энергопотребления/ватт.
• Сотовая/ WiFi-связь обеспечивается одним и тем же поставщиком, что делает разработку и интеграцию SOM более эффективной. Связь может осуществляться по 5G, WiFi 6/7, Gigabit Ethernet и т. д.
• Включен зрелый многокамерный ISP, поддерживающий несколько потоков MIPI CSI для передачи изображений и видеоданных с низкой задержкой, что позволяет проводить анализ в реальном времени.
• Конструкции с малыми габаритами, весом и мощностью (SWaP) и низким тепловым потоком, которые обеспечивают возможность безвентиляторного проектирования.
• Безопасность и программное обеспечение: Безопасная загрузка, аппаратная защита данных и подписанные обновления по воздуху (OTA) делают систему безопасной. Платформа GStreamer, концентратор искусственного интеллекта Qualcomm и среда выполнения SMPE облегчают рабочий процесс и разработку программного обеспечения. Такие инструменты, как Edge Impulse, позволяют интегрировать модели ИИ и выполнять итеративные обновления.
• Программа долговечности Qualcomm снижает риски в цепочке поставок, что означает, что детали будут доступны более 10 лет.

Lantronix предлагает широкий ассортимент SOM. Серия 2200 начального уровня имеет вычислительную производительность в диапазоне ГФлопс, возможность ввода видео 1080P и связь по WiFi 5 и BLE 5.0. SOM премиум-класса 9075IQ имеет вычислительную производительность до 100 Тфлопс, видео 4k120/8K60, поддержку 16 одновременных камер видеопотока и возможность работы по WiFi 6. Все их SOM основаны на большинстве линеек вычислительных компонентов Qualcomm и имеют различные форм-факторы и уровни производительности.

Джонсон объяснил, что выбор правильного SOM для конкретного приложения зависит от нескольких факторов. Некоторые из них, применительно к приложению для получения изображений, следующие:

• Питание: если приложение работает от солнечных батарей или аккумуляторов, производительность/ватт является, пожалуй, наиболее важным показателем.
• ЗУ низкого уровня обычно работают без вентиляторов, а ЗУ более высокого уровня, как правило, нуждаются во внешнем охлаждении. Используемое охлаждение определяет производительность и тепловой запас в конкретном приложении.
• Вычислительные возможности будут зависеть от количества используемых моделей. Обработка видео и тип обнаружения, слежения и т. д. определяют необходимые вычислительные ресурсы.
• Количество камер и их разрешение, необходимость настройки провайдера и т. д.
• ОС может быть Linux, например, для робототехники, или Android, если требуется больше пользовательских интерфейсов, приложений и периферийных устройств.
• Вопросы форм-фактора, например, требуется ли подключение платы к плате для будущей модернизации, являются важным фактором. SOM в корпусе LGA можно подвергать пайке, они занимают мало места, легко интегрируются с теплоотводом и обладают определенной виброустойчивостью. Таким образом, они могут быть хорошим выбором для многих приложений.
• Диапазон температур: большинство ПЗУ Lantronix поддерживают температуры от -25 C до +85 C.
• Цепочка поставок в течение всего жизненного цикла и требования к соответствию могут быть факторами, особенно в критически важных приложениях, таких как медицина и оборона. Требования к стране происхождения, например, указанные в Законе о полномочиях в области национальной обороны США (NDAA).

Начать лучше всего с приложения, т. е. с того, что именно бнаруживается: люди, аномалии, количество? Требуемая частота кадров, расстояние и задержка? Нужна ли тепловизионная съемка LWIR? Выходная связь может быть WiFi, LTE 5G, Ethernet и т. д. Питание может быть батарейным, солнечным или от сети переменного тока. Уже одно это может сузить круг выбора. На рисунке 1 показана типичная блок-схема интеллектуальной камеры, созданная в процессе понимания требований и выбора подходящей SOM, которая соответствует этим требованиям.

Демонстрация в реальном времени была проведена компанией Johnson с помощью установки на территории компании в Ирвине, Калифорния, США. В ней использовался модуль камеры Teledyne FLIR Hadron, выполняющий съемку видимого RGB и теплового изображения (LWIR). Использовалась плата-носитель 5165RB на базе SOM. Компактная ПЗУ 5165RB размером 50 мм x 29 мм использует SoC Qualcomm Dragonwing QRB5165 с передовыми процессорами, такими как AI Engine 5-го поколения, аппаратная и видеоаналитика, а также Qualcomm Spectra ISP. Этот SOM поддерживает 15 TOPS, новейшую беспроводную связь WiFi 6 + Bluetooth 5.1. Она оснащена 8 ГБ оперативной памяти LPDDR5, а также 128 ГБ UFS Flash. Для радиометрических настроек в демонстрации используется линия I2C. Питание модуля камеры осуществляется от несущей платы. На SOM используется ОС Yocto Linux с конвейером GStreamer. На рисунке 2 показан пример возможностей тепловидения и базовая схема.

В демонстрационном ролике были показаны видеозаписи видимого и теплового изображения высокого разрешения с низкой задержкой в нескольких предварительно настроенных режимах. Примерами использования таких изображений являются беспилотные авиационные системы (UAS), роботизированные платформы и LIDAR. Масштабируемость одной и той же платформы может быть использована в будущих приложениях, таких как мультиспектральные камеры для мониторинга сельского хозяйства, оптическая газовая визуализация (OGI) для обнаружения метана и т. д.

.