Мощные прикладные процессоры i.MX 8M Plus для периферийных систем машинного обучения и машинного зрения

Говоря о прогрессе в области интеллектуальных периферийных вычислений (edge intelligence), можно провести параллели с процессом развития человеческого мозга. К настоящему времени периферийные устройства начинают «понимать», что их окружает, одновременно работают с несколькими концепциями (входными данными) и в то же время представляют, к каким последствиям в будущем приведут их действия. Звучит так, будто мы описываем человека в подростковом возрасте. Просто дух захватывает, когда представляешь себе будущие возможности периферийных вычислительных систем, а ведь они только-только начали входить в нашу жизнь. Используя достижения в области машинного обучения (Machine Learning — ML) и нейронных сетей, разработчики создают промышленные системы машинного зрения, классификации образов, обнаружения объектов, распознавания голоса, обработки естественного языка, распознавания жестов и эмоций, которые меняют наш образ жизни, то, как мы работаем и учимся. Эти и многие другие инновации в сфере машинного обучения, реализуемые периферийными вычислительными устройствами, переводят на новый уровень безопасность, интеллектуальность и удобство наших домов, офисов, фабрик и городов.

Подумайте о машинном обучении как о способе научить вычислительные машины решать сложные человеческие задачи, но гораздо быстрее и даже автономно, т.е. без нашего непосредственного вмешательства. ML-системы выполняют множество непрерывно следующих друг за другом математических операций с суммарной скоростью, достигающей триллионы операций в секунду. Раньше в системах машинного обучения подразумевалось использование дорогостоящих, сложных облачных вычислений или «облачного искусственного интеллекта» (cloud-based AI). Но ныне большая часть этой работы может и должна выполняться на периферии, где умные, соединённые друг с другом устройства позволяют обеспечить более быструю реакцию, меньшую задержку (поскольку данные не нужно передавать в/из облака), а также более высокую надёжность, большую приватность и безопасность.

На сегодняшний день периферийные системы машинного обучения строятся на основе мощных многоядерных процессоров, оснащённых развитой периферией и способных работать с нейронными сетями, визуальной и голосовой информацией и мультимедиа. Все эти возможности реализуются одним устройством — системой на кристалле (System-on-Chip — SoC). Ознакомьтесь с семейством прикладных процессоров i.MX 8M Plus, поставляемых сейчас в промышленных объёмах клиентам по всему миру. Семейство i.MX 8M Plus — ключевой элемент линейки EdgeVerse™ компании NXP и популярной серии i.MX 8.

Мы оснастили процессор i.MX 8M гетерогенными ядрами, подсистемами и интерфейсами, словом, всем, что требуется разработчику, и в правильных пропорциях. Процессор i.MX 8M Plus — первый процессор i.MX, в который интегрирован специализированный модуль работы с нейронными сетями (Neural Processing Unit — NPU), ускоряющий выдачу результатов ML-обработки данных в периферийных промышленных и IoT-устройствах. Кроме того, в i.MX 8M Plus входят два процессора обработки изображений (Image SignalProcessor — ISP), четыре или два ядра ARM® Cortex-A53 с тактовыми частотами до 1.8 ГГц, независимая подсистема реального времени с 800-МГц ядром Cortex-M7, 800-МГц цифровой сигнальный процессор HiFi 4 DSP audio для ускорения работы с речью и голосом, а также графический процессор (Graphic Processing Unit — GPU). Разработчики могут реализовать ML-функции в NPU, направив при этом объединённую мощь ядер Cortex-A и Cortex-M, DSP и GPU на выполнение других прикладных задач и задач системного уровня.

Структурная схема прикладного процессора i.MX 8M Plus

Завершая разговор о возможностях в области машинного обучения и обработки мультимедийной информации процессора i.MX 8M Plus, следует отметить, что он обладает острым «зрением» и «слухом» благодаря наличию восьми микрофонных входов и двух входов для подключения камер в каждом из модулей ISP. Надёжное управление сетями, поддерживаемое двумя интерфейсами CAN-FD и двумя интерфейсами Gigabit Ethernet с детерминированной передачей данных в реальном времени (Time-Sensitive Networking — TSN), позволяет создавать разнообразные проекты, связанные с промышленной автоматизацией. Технология коррекции ошибок (Error Correction Code — ECC) защищает внутреннюю память и обеспечивает высокую надёжность ответственных промышленных приложений.

Производительность периферийных ML-приложений

Процессор i.MX 8M Plus позволяет разработчикам перенести реализацию алгоритмов машинного обучения непосредственно в периферийные устройства, расположенные вблизи от получаемых данных, будь то голос, зрительный образ или обнаруживаемая аномалия. У разработчиков есть доступ к интегрированному NPU-модулю с производительностью 2.3 триллиона операций в секунду, который может выполнять ML-задачи приблизительно в 30 раз быстрее, чем ядро ARM. Методы оптимизации, такие как сжатие данных и учёт их разреженности (т.е., исключение ненужных вычислений типа «умножение на ноль»), способствуют ещё более быстрому выполнению ML-алгоритмов. Сжатие данных также выгодно, поскольку позволяет обойти узкие места, связанные с передачей данных в системную память, хотя скорость обмена с памятью с помощью DRAM-контроллера может достигать 4 гигатранзакций в секунду (ГТ/с).

Машинное зрение

В периферийные ML-приложения часто входят элементы машинного зрения, данные для которых поступают с камер. А что если камеры высокого разрешения расположены далеко от периферийного устройства? Никаких проблем, если это устройство построено на базе i.MX 8M Plus. Чтобы минимизировать задержки и деградацию изображения, специализированные ISP-модули ускоряют обработку изображений, при этом наличие двух входов позволяет получать стереоизображение, имитируя совместную работу левого и правого глаза зрительной системы человека.

Интегрированные ISP-модули имеют достаточную мощность для выполнения сложных задач по обработке изображений, таких как быстрая многократная экспозиция для обеспечения расширенного динамического диапазона (High Dynamic Rage — HDR) или одновременная обработка широкоугольного и длиннофокусного изображений, поступающих с двух разных камер. Ещё одна важная задача, выполняемая ISP-модулями, — устранение искажений. Недорогая камера с объективом типа «рыбий глаз» зачастую так искажает изображение, что человек не может ничего на нём разобрать. Специальный движок процессора устраняет искажения изображений для повышения точности работы ML-алгоритмов. Кроме того, модули ISP позволяют улучшить качество изображения, например убрать шумы, что критично при слабом освещении, поскольку картинка в таких случаях получается нечёткой. Используя ML-алгоритмы, модули ISM определяют границы, резкость которых необходимо увеличить, оставляя при этом другие фрагменты изображения неизменными. Для работы с современными мультимедийными устройствами и дисплеями в процессор i.MX 8M Plus также включён видеокодер/декодер, поддерживающий алгоритм сжатия H.265, что позволяет сохранять изображения на внешних запоминающих устройствах для последующей обработки.

ML-решения промышленного класса

Процессор i.MX 8M Plus обладает функциональными возможностями, которые особенно важны в промышленном оборудовании. Сюда в обязательном порядке входит поддержка технологии коррекции ошибок (ECC), позволяющей обнаруживать и исправлять ошибки в системной памяти на уровне отдельных битов. К примеру, альфа частицы — тип радиационного излучения, встречающийся в некотором технологическом оборудовании — могут вызывать единичные ошибки в SRAM, что приводит к проблемам с памятью и сбоям в программном обеспечении. Алгоритмы ECC обнаруживают и исправляют эти ошибки, благодаря чему частота появления «программных» ошибок (Soft Error Rate — SER) существенно снижается.

Процессорi.MX8M Plus поддерживает технологию TSN Ethernet для систем промышленной автоматизации

Многим сложным технологическим процессам необходим детерминированный обмен данными по сети Ethernet в точно определённых временных рамках. По этой причине в i.MX 8M включена поддержка технологии TSNEthernet, что помогает гарантировать на уровне предприятия передачу критичных данных точно в заданное время. Дополнительно два модуля CAN-FD поддерживают сетевые функции и обмен данными с малыми задержками. Совместно со всеми другими встроенными ядрами, периферийными устройствами и интерфейсами процессор i.MX 8M Plus позволяет создавать универсальные промышленные системы и выполнять ряд ML-задач на периферии в соответствии с концепцией Industry 4.0.

Долгосрочные перспективы процессоров i.MX 8M Plus

Хотя электронная промышленность постоянно эволюционирует, непреходящими остаются требования к надёжности, способности бесперебойно работать в жёстких условиях эксплуатации при длительном сроке службы. Процессор i.MX 8M Plus — участник программы обеспечения долгосрочных поставок (LongevityProgram) продукции компании NXP, а это значит, что процессоры будут поставляться клиентам в течение, по крайней мере, пятнадцати лет с момента начала их производства. Вы можете рассчитывать на то, что процессоры i.MX 8M Plus ещё много-много лет продолжат оставаться сердцем ваших ML-систем.

Компания NXP поддерживает системы машинного обучения и машинного зрения, мультимедиа- и IoT-устройства на базе i.MX 8M Plus, предлагая широкий спектр аудиоплат, модулей видеокамер и оценочных комплектов. Также имеется богатый выбор инструментов и готовых решений от наших партнёров. Чтобы начать, просто закажите сегодня оценочный комплект i.MX 8M Plus!

Подробную техническую информацию можно найти, пройдя по ссылке: i.MX 8M Plus.

Отладочную плату для данного процессора i.MX 8M Plus от NXP и официальных партнеров можно заказать через наш сайт

Техподдержка: NXP@symmetron.ru