В дійсно автоматизованих транспортних засобах всі рішення будуть прийматися транспортним засобом, але перш, ніж ми перейдемо до цього рівня, в напівавтоматичних рішеннях транспортний засіб повинен бути інтелектуальним на декількох рівнях — для інтерпретації трафіку, щоб відстежувати, що відбувається всередині транспортного засобу, а також для взаємодії з водієм в разі, якщо йому буде потрібно взяти на себе управління. Хоча системи моніторингу водія вже існують, до цієї пори вони майже не використовують дані зображення з відеокамер та в основному обмежуються виявленням втоми.

Нова система, розроблена Фраунгоферським інститутом оптронікі, системних технологій та використання зображень IOSB — вважається першою в світі, що може використовувати дані зображення з камер відеоспостереження в автомобілі, щоб робити висновки про дії водія та аналізувати, наскільки швидко вони зможуть взяти під контроль автомобіль.

Дослідники з Fraunhofer IOSB зосереджуються на взаємодії між водієм та транспортним засобом і працюють над усуненням прогалин. «Наша технологія дозволяє нам не тільки визначати риси обличчя, але й поточні пози водія та пасажирів», — розповів Міхаель Войт, менеджер групи Fraunhofer IOSB. «Потім з цих поз ми можемо визначити, що в конкретний час роблять водій та пасажири».

ШІ інтерпретує дії водія

В основі розробки лежать алгоритми і процеси машинного навчання, такі як штучний інтелект (ШІ). Алгоритми аналізують дані відеокамери в режимі поточного часу, щоб дізнатися, чи розмовляє водій по телефону, грає з дітьми або дивиться в мобільний телефон. Таким чином, технологія IOSB виходить за рамки розпізнавання зображень і інтерпретує дії в контексті. Дослідники спочатку навчили систему, вручну аннотуючи численні знімки з камери відеоспостереження. Потім вони оцінили алгоритми з використанням нових зображень і виправили або підтвердили свої результати.

Підтримуються інфрачервоні та 3D камери

Технологія абстрагує зображення водія або пасажирів, щоб сформувати цифровий скелет — тип фігурки, що копіює пози людини. Отже, технологія виводить активність, використовуючи рух скелета і додаткове розпізнавання об'єктів. «Таким чином, алгоритми можуть визначити, чи спить хтось або дивиться на дорогу, наскільки людина відвернена та скільки часу буде потрібно, щоб знову зосередитися на дорозі», — пояснив Міхаель Войт. Система підтримує як традиційні мобільні реєстратори, так і ІЧ-відеокамери, які бачать в темноті, а також 3D-камери, що вимірюють відстань між об'єктами та пристроєм.

Інженери займалися проблемами, пов'язаними з виявленням активності в салоні автомобілів, в рамках численних дослідницьких проектів, співпрацюючи з відомими виробниками автомобілів, такими як Audi та Volkswagen, а також з такими постачальниками систем безпеки, як Bosch. Ці проекти були підтримані Федеральним міністерством освіти і досліджень Німеччини (BMBF), Федеральним міністерством економіки і енергетики Німеччини (BMWi) та Федеральним міністерством транспорту і цифрової інфраструктури (BMVI). «Ми можемо виявити дії не тільки водія, але й всіх пасажирів — як в передній, так і в задній частині автомобіля», — підкреслив Войт. «Технологія готова до виробництва. Ми вже контактуємо з компаніями, які хочуть використовувати нашу інновацію». Ці розробки об'єднує власний симулятор водіння інституту, який також може бути корисний в рамках індивідуальних проектів НДДКР. Моделюючи дорожні ситуації, технологія формує основу для збору відповідних даних про водіння та поведінку. Крім того, велика сенсорна технологія означає, що можна вивчити поведінку всіх пасажирів.

Захист даних — пріоритет

Що стосується аспектів захисту даних і безпеки, дослідники з самого початку зробили це пріоритетом. «Дані камери відеоспостереження аналізуються в поточному часі, не зберігаються і не залишають автомобіль в будь-який момент. Для цього також не потрібні персоналізовані моделі, тому ніякі особисті дані не збираються», — зазначив Паскаль Бірнстіл, старший науковий співробітник Fraunhofer IOSB, що спеціалізується на безпеці даних, захисті даних та прозорості. Технологія з самого початку дотримується конфіденційності і, таким чином, відповідає суворим нормам та високому рівню поінформованості про захист даних в ЄС.

Численні застосування

Нова постанова ЄС підкреслює важливість виявлення активності; моніторинг водіїв повинен стати обов'язковим в автоматизованих автомобілях, незалежно від рівня їх автоматизації. Використовуючи технологію Fraunhofer IOSB, виробники автомобілів можуть не тільки задовольнити цю вимогу, але і втілити в реальність численні ідеї з точки зору автономного водіння. Наприклад, розпізнавання голосу для спілкування між людьми й автомобілями швидко наближається до своїх можливостей. Команда «Припаркуйся» сама по собі не має сенсу — проте при використанні в поєднанні з ідентифікацією пози тіла та виявленням активності система може визначити, на яке місце для паркування вказує користувач в даний момент. Система також може допомогти з аспектами безпеки безпілотних транспортних засобів. Хоча сьогодні відповідальність за те, щоб всі пасажири дотримувалися правил безпеки і пристібали ремені безпеки, як і раніше лежить на водієві, незабаром це буде роботою безпілотного транспортного засобу — для цього також важливий надійний моніторинг салону автомобіля.

Читайте інші цікаві новини про системи безпеки:

Hikvision візьме участь у виставці Paris Retail Week

Панорамні камери Hikvision PanoVu підвищують ситуаційну обізнаність при винятковій економічності