Регистрация
Комплексные поставки электронных компонентов

Мощные прикладные процессоры i.MX 8M Plus для периферийных систем машинного обучения и машинного зрения


Говоря о прогрессе в области интеллектуальных периферийных вычислений (edge intelligence), можно провести параллели с процессом развития человеческого мозга. К настоящему времени периферийные устройства начинают «понимать», что их окружает, одновременно работают с несколькими концепциями (входными данными) и в то же время представляют, к каким последствиям в будущем приведут их действия. Звучит так, будто мы описываем человека в подростковом возрасте. Просто дух захватывает, когда представляешь себе будущие возможности периферийных вычислительных систем, а ведь они только-только начали входить в нашу жизнь. Используя достижения в области машинного обучения (Machine Learning — ML) и нейронных сетей, разработчики создают промышленные системы машинного зрения, классификации образов, обнаружения объектов, распознавания голоса, обработки естественного языка, распознавания жестов и эмоций, которые меняют наш образ жизни, то, как мы работаем и учимся. Эти и многие другие инновации в сфере машинного обучения, реализуемые периферийными вычислительными устройствами, переводят на новый уровень безопасность, интеллектуальность и удобство наших домов, офисов, фабрик и городов.

Подумайте о машинном обучении как о способе научить вычислительные машины решать сложные человеческие задачи, но гораздо быстрее и даже автономно, т.е. без нашего непосредственного вмешательства. ML-системы выполняют множество непрерывно следующих друг за другом математических операций с суммарной скоростью, достигающей триллионы операций в секунду. Раньше в системах машинного обучения подразумевалось использование дорогостоящих, сложных облачных вычислений или «облачного искусственного интеллекта» (cloud-based AI). Но ныне большая часть этой работы может и должна выполняться на периферии, где умные, соединённые друг с другом устройства позволяют обеспечить более быструю реакцию, меньшую задержку (поскольку данные не нужно передавать в/из облака), а также более высокую надёжность, большую приватность и безопасность.

На сегодняшний день периферийные системы машинного обучения строятся на основе мощных многоядерных процессоров, оснащённых развитой периферией и способных работать с нейронными сетями, визуальной и голосовой информацией и мультимедиа. Все эти возможности реализуются одним устройством — системой на кристалле (System-on-Chip — SoC). Ознакомьтесь с семейством прикладных процессоров i.MX 8M Plus, поставляемых сейчас в промышленных объёмах клиентам по всему миру. Семейство i.MX 8M Plus — ключевой элемент линейки EdgeVerse™ компании NXP и популярной серии i.MX 8.

Мы оснастили процессор i.MX 8M гетерогенными ядрами, подсистемами и интерфейсами, словом, всем, что требуется разработчику, и в правильных пропорциях. Процессор i.MX 8M Plus — первый процессор i.MX, в который интегрирован специализированный модуль работы с нейронными сетями (Neural Processing Unit — NPU), ускоряющий выдачу результатов ML-обработки данных в периферийных промышленных и IoT-устройствах. Кроме того, в i.MX 8M Plus входят два процессора обработки изображений (Image SignalProcessor — ISP), четыре или два ядра ARM® Cortex-A53 с тактовыми частотами до 1.8 ГГц, независимая подсистема реального времени с 800-МГц ядром Cortex-M7, 800-МГц цифровой сигнальный процессор HiFi 4 DSP audio для ускорения работы с речью и голосом, а также графический процессор (Graphic Processing Unit — GPU). Разработчики могут реализовать ML-функции в NPU, направив при этом объединённую мощь ядер Cortex-A и Cortex-M, DSP и GPU на выполнение других прикладных задач и задач системного уровня.

IMX8MPLUS-BD2.jpg

Структурная схема прикладного процессора i.MX 8M Plus

Завершая разговор о возможностях в области машинного обучения и обработки мультимедийной информации процессора i.MX 8M Plus, следует отметить, что он обладает острым «зрением» и «слухом» благодаря наличию восьми микрофонных входов и двух входов для подключения камер в каждом из модулей ISP. Надёжное управление сетями, поддерживаемое двумя интерфейсами CAN-FD и двумя интерфейсами Gigabit Ethernet с детерминированной передачей данных в реальном времени (Time-Sensitive Networking — TSN), позволяет создавать разнообразные проекты, связанные с промышленной автоматизацией. Технология коррекции ошибок (Error Correction Code — ECC) защищает внутреннюю память и обеспечивает высокую надёжность ответственных промышленных приложений.

Производительность периферийных ML-приложений

Процессор i.MX 8M Plus позволяет разработчикам перенести реализацию алгоритмов машинного обучения непосредственно в периферийные устройства, расположенные вблизи от получаемых данных, будь то голос, зрительный образ или обнаруживаемая аномалия. У разработчиков есть доступ к интегрированному NPU-модулю с производительностью 2.3 триллиона операций в секунду, который может выполнять ML-задачи приблизительно в 30 раз быстрее, чем ядро ARM. Методы оптимизации, такие как сжатие данных и учёт их разреженности (т.е., исключение ненужных вычислений типа «умножение на ноль»), способствуют ещё более быстрому выполнению ML-алгоритмов. Сжатие данных также выгодно, поскольку позволяет обойти узкие места, связанные с передачей данных в системную память, хотя скорость обмена с памятью с помощью DRAM-контроллера может достигать 4 гигатранзакций в секунду (ГТ/с).

Машинное зрение

В периферийные ML-приложения часто входят элементы машинного зрения, данные для которых поступают с камер. А что если камеры высокого разрешения расположены далеко от периферийного устройства? Никаких проблем, если это устройство построено на базе i.MX 8M Plus. Чтобы минимизировать задержки и деградацию изображения, специализированные ISP-модули ускоряют обработку изображений, при этом наличие двух входов позволяет получать стереоизображение, имитируя совместную работу левого и правого глаза зрительной системы человека.

Интегрированные ISP-модули имеют достаточную мощность для выполнения сложных задач по обработке изображений, таких как быстрая многократная экспозиция для обеспечения расширенного динамического диапазона (High Dynamic Rage — HDR) или одновременная обработка широкоугольного и длиннофокусного изображений, поступающих с двух разных камер. Ещё одна важная задача, выполняемая ISP-модулями, — устранение искажений. Недорогая камера с объективом типа «рыбий глаз» зачастую так искажает изображение, что человек не может ничего на нём разобрать. Специальный движок процессора устраняет искажения изображений для повышения точности работы ML-алгоритмов. Кроме того, модули ISP позволяют улучшить качество изображения, например убрать шумы, что критично при слабом освещении, поскольку картинка в таких случаях получается нечёткой. Используя ML-алгоритмы, модули ISM определяют границы, резкость которых необходимо увеличить, оставляя при этом другие фрагменты изображения неизменными. Для работы с современными мультимедийными устройствами и дисплеями в процессор i.MX 8M Plus также включён видеокодер/декодер, поддерживающий алгоритм сжатия H.265, что позволяет сохранять изображения на внешних запоминающих устройствах для последующей обработки.

ML-решения промышленного класса

Процессор i.MX 8M Plus обладает функциональными возможностями, которые особенно важны в промышленном оборудовании. Сюда в обязательном порядке входит поддержка технологии коррекции ошибок (ECC), позволяющей обнаруживать и исправлять ошибки в системной памяти на уровне отдельных битов. К примеру, альфа частицы — тип радиационного излучения, встречающийся в некотором технологическом оборудовании — могут вызывать единичные ошибки в SRAM, что приводит к проблемам с памятью и сбоям в программном обеспечении. Алгоритмы ECC обнаруживают и исправляют эти ошибки, благодаря чему частота появления «программных» ошибок (Soft Error Rate — SER) существенно снижается.

Процессор i.MX 8M Plus поддерживает технологию TSN Ethernet для систем промышленной автоматизации

Процессорi.MX8M Plus поддерживает технологию TSN Ethernet для систем промышленной автоматизации

Многим сложным технологическим процессам необходим детерминированный обмен данными по сети Ethernet в точно определённых временных рамках. По этой причине в i.MX 8M включена поддержка технологии TSNEthernet, что помогает гарантировать на уровне предприятия передачу критичных данных точно в заданное время. Дополнительно два модуля CAN-FD поддерживают сетевые функции и обмен данными с малыми задержками. Совместно со всеми другими встроенными ядрами, периферийными устройствами и интерфейсами процессор i.MX 8M Plus позволяет создавать универсальные промышленные системы и выполнять ряд ML-задач на периферии в соответствии с концепцией Industry 4.0.

Долгосрочные перспективы процессоров i.MX 8M Plus

Хотя электронная промышленность постоянно эволюционирует, непреходящими остаются требования к надёжности, способности бесперебойно работать в жёстких условиях эксплуатации при длительном сроке службы. Процессор i.MX 8M Plus — участник программы обеспечения долгосрочных поставок (LongevityProgram) продукции компании NXP, а это значит, что процессоры будут поставляться клиентам в течение, по крайней мере, пятнадцати лет с момента начала их производства. Вы можете рассчитывать на то, что процессоры i.MX 8M Plus ещё много-много лет продолжат оставаться сердцем ваших ML-систем.

Компания NXP поддерживает системы машинного обучения и машинного зрения, мультимедиа- и IoT-устройства на базе i.MX 8M Plus, предлагая широкий спектр аудиоплат, модулей видеокамер и оценочных комплектов. Также имеется богатый выбор инструментов и готовых решений от наших партнёров. Чтобы начать, просто закажите сегодня оценочный комплект i.MX 8M Plus!

Подробную техническую информацию можно найти, пройдя по ссылке: i.MX 8M Plus.

Отладочную плату для данного процессора i.MX 8M Plus можно приобрести по ссылке

Отладочная плата NXP

Отладочные платы и модули на основе процессора i.MX 8M Plus от официальных партнеров NXP

Отладочная плата Phytec

Отладочная плата SolidRun

Техподдержка: NXP@symmetron.ru

Производители

Вернуться в раздел