Распознавание дорожных знаков на мобильных устройствах

Компанией ПАВЛИН Технологии была разработана система детекции и распознавания дорожных знаков. Система проектировалась с учетом последующего функционирования на мобильных устройствах, приняв во внимание их аппаратные ограничения. На данный момент она успешно внедрена в носимое устройство, позволяющее слепым и слабовидящим людям ориентироваться в городе.

Система состоит из двух компонент: блока поиска областей интереса и глубокого сверточного нейросетевого детектора. Задача блока поиска областей интереса — отбросить большую часть площади изображения оставив только области, потенциально содержащие искомые объекты. Задача решается посредством сегментации изображения сцены с последующим поиском группы характерных фрагментов эталона. Данный блок может отбросить вплоть до 75% площади изображения. Нейросетевой детектор представляет собой глубокую сверточную нейронную сеть современной архитектуры, адаптированной к аппаратным ресурсам целевой платформы. Таких детекторов в системе несколько; каждый из них функционирует на изображениях одного из типовых размеров.

Алгоритм работы системы

В блок поиска областей интереса подается текущий кадр. Выходом блока является набор областей, потенциально содержащих искомые объекты, в виде непересекающихся прямоугольников. Найденные области масштабируются к наиболее близким типовым размерам и подаются на соответствующие нейросетевые детекторы. Итоговые срабатывания от всех детекторов переносятся в систему координат исходного кадра.

При разработке системы использовалась обучающая выборка из 300 видеозаписей, сделанных в разных условиях: солнечная погода (засветка, блики); пасмурная погода и записи, сделанные на закате (недостаточное освещение, тени); записи при большом скоплении людей (заслонения) и т.д.

Список распознаваемых знаков и их наименований при работе системы представлен ниже.


Помимо работы на мобильный устройствах, данную систему можно использовать и на ПК под управлением операционными системами Windowsи Linux, как оснащенными GPU, так и без него.

Ниже представлены технические характеристики разработанной системы и результаты тестов на различных платформах.

Тестирование проводилось на ПК и ODROID-U3

Характеристики ПК:

CPU: Intel core i7-7700 3.6 ГГцGPU: GeForce GTX 1080RAM: 32GbHDD: Toshiba HDwe140

Характеристики ODROID-U3:

CPU: Exynos4412 Prime, ARM Cortex-A9, 1.7 ГГцRAM: 2 ГБ LPDDR2

Производительность разработанной системына ПК:

CPU: 40-50fpsGPU: 80-100fps

Производительность разработанной системына мобильном устройстве (ODROID-U3):

CPU: 7-20 fps

Показатели качества разработанной системысистемы:

Recall: 0.97Precision: 0.94F1 measure: 0.96

Преимуществами разработанной системы являются:

Работа в сложных условиях освещения; при частичном заслонении распознаваемых объектов; при больших углах сьемки (при сложных ракурсах).Высокая скорость работы на мобильных устройствахВозможность использования как при наличии GPU на платформе, так и без него.

В качестве демонстрации результатов работы системы было создано демонстрационное видео.



Звоните нам

Tел.: +7 (495) 790 81 17  

 Продажи

sales@pawlin.ru

info@pawlin.ru

Адрес

Москва

Дмитровское шоссе 

д. 100 стр.2

(С)2020 ООО "Павлин Технологии"

Verification: a9a5598a4a003ec5