Яндекс signal q2 что это такое
«Яндекс» показал Путину устройство для анализа степени усталости водителей
Управляющий директор «Яндекса» Тигран Худавердян на совещании по развитию технологий в области искусственного интеллекта показал президенту Владимиру Путину новую разработку компании – устройство, способное определять уровень усталости водителей. Об этом сообщила «Ведомостям» пресс-служба компании.
Устройство называется Yandex Signal Q1. Оно представляет собой камеру, которая анализирует уровень внимания водителя на дороге с помощью технологий компьютерного зрения. Размеры Yandex Signal Q1 не превышают габаритов смартфона или видеорегистратора, устройство может быть установлено в салоне любого автомобиля, а также автобуса, поезда метро или грузовика.
Камера в режиме реального времени отслеживает 68 точек на лице водителя и таким образом мониторит направление его взгляда, поворот головы и частоту моргания. Когда алгоритм обнаруживает признаки усталости или сонливости, устройство подает специальный сигнал.
До конца года планируется установить такие камеры в 5000 машин, отмечается в сообщении «Яндекса».
В ноябре 2018 г. Аналитический центр при правительстве опубликовал исследование, согласно которому аварийность с участием легковых такси выросла на 35% с 2015 г. При этом половина всех аварий произошла в Центральном федеральном округе. Эксперты, опрошенные «Коммерсантом», связывали сложившуюся ситуацию с низкими тарифами, которые диктуют агрегаторы, а не сами перевозчики. Из-за этого таксисты работают по 12 часов, чтобы отбить затраты на автомобиль, говорили они.
Например, в июне прошлого года, во время проведения чемпионата мира по футболу, т акси компании CheckPoint въехало в группу болельщиков в центре Москвы. В результате пострадали семь человек, в том числе граждане Мексики и Украины. На допросе в иновник ДТП объяснил, что на секунду уснул за рулем, перепутал газ с тормозом и выехал на тротуар. Мужчина рассказал, что перед тем как произошла авария, он работал около 20 часов подряд, перед этим поспав не более 2–3 часов.
Рассылки «Ведомостей» — получайте главные деловые новости на почту
Отвлекает реклама? С подпиской вы не увидите её на сайте
Наши проекты
Контакты
Рассылки «Ведомостей» — получайте главные деловые новости на почту
Ведомости в Facebook
Ведомости в Twitter
Ведомости в Telegram
Ведомости в Instagram
Ведомости в Flipboard
Решение Федеральной службы по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) от 27 ноября 2020 г. ЭЛ № ФС 77-79546
Учредитель: АО «Бизнес Ньюс Медиа»
И.о. главного редактора: Казьмина Ирина Сергеевна
Рекламно-информационное приложение к газете «Ведомости». Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) за номером ПИ № ФС 77 – 77720 от 17 января 2020 г.
Любое использование материалов допускается только при соблюдении правил перепечатки и при наличии гиперссылки на vedomosti.ru
Новости, аналитика, прогнозы и другие материалы, представленные на данном сайте, не являются офертой или рекомендацией к покупке или продаже каких-либо активов.
Сайт использует IP адреса, cookie и данные геолокации Пользователей сайта, условия использования содержатся в Политике по защите персональных данных
Все права защищены © АО Бизнес Ньюс Медиа, 1999—2021
Любое использование материалов допускается только при соблюдении правил перепечатки и при наличии гиперссылки на vedomosti.ru
Новости, аналитика, прогнозы и другие материалы, представленные на данном сайте, не являются офертой или рекомендацией к покупке или продаже каких-либо активов.
Все права защищены © АО Бизнес Ньюс Медиа, 1999—2021
Решение Федеральной службы по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) от 27 ноября 2020 г. ЭЛ № ФС 77-79546
Учредитель: АО «Бизнес Ньюс Медиа»
И.о. главного редактора: Казьмина Ирина Сергеевна
Рекламно-информационное приложение к газете «Ведомости». Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) за номером ПИ № ФС 77 – 77720 от 17 января 2020 г.
Сайт использует IP адреса, cookie и данные геолокации Пользователей сайта, условия использования содержатся в Политике по защите персональных данных
Новая камера не даст водителям заснуть. Число критичных нарушений у тех, кто с ней ездил, снизилось на 26%
Сервис такси стал первым видом пассажирских перевозок, где внедрили разработку «Яндекса» SignalQ2 — камеру безопасности, которая следит за поведением водителя и распознает критические ситуации. Если водитель отвлекся, вот-вот заснет или забыл пристегнуться, система привлечет его внимание и разбудит, а также отправит сигнал диспетчеру и позволит заглянуть в салон. А в случае ДТП камера работает как видеорегистратор. Поставщик песка и щебня Greenline два месяца тестировал SignalQ2 на большегрузах и приобрел камеры безопасности для своего автопарка. Мы отправились на базу компании в Рузский городской округ и рассказываем о результатах.
Уважение к водителям
Геннадий Волчек считает себя предельно ответственным водителем, у него 22 года стажа и все категории.
«Я что днем, что ночью за рулем не сплю. И не засыпаю даже. Что она (камера — прим. ред.) есть, что ее нет — мне все равно», — заявил Волчек.
Но как только он переводит глаза на навигатор и перестает следить за дорогой, голосовой помощник Алиса издает сигнал: «Пристегните ремень! Не отвлекайтесь!».
Greenline — компания по оптовой поставке нерудных материалов — щебня, гравия, песка. Большегрузы перевозят их с карьеров на московские бетонные заводы. Вес полной машины — около 20 тонн. Дорога требует предельной концентрации.
«Камера эта — хорошая вещь. Потому что, я считаю, машина у нас тяжелая, большая. В такси людей везут, например, но на этой машине можно в этих людей въехать. То есть риск есть», — добавил Геннадий Волчек.
Видео с нарушением моментально появляется на экране в диспетчерской, и ответственный сотрудник должен принять решение — узнать у водителя о его состоянии или сразу отправить на отдых.
«Прежде, без камеры, невозможно было контролировать, что происходит, стоит водителю покинуть территорию парка. Разве что соблюдение режима труда и отдыха: если, допустим, водитель простоял в пробке, на карьере, мы его выдергиваем — он дальше не работать едет, а отдыхать. Контроль был всегда. Но сейчас для этого контроля открывается больше возможностей», — рассказала старший диспетчер Ольга Смирнова.
По словам диспетчера, главная польза от камер — это безопасность. Программа позволяет выставлять фильтр, например, «Сонливость» или «Закрытые глаза».
Видит, что-то непонятное происходит, может остановить водителя, сказать ему: «Ты засыпаешь, остановись, отдохни». Потому что мы работаем на тяжелой технике, и если водитель где-нибудь уснет на дороге, то это будут страшные последствия — для других людей и, соответственно, для нашей компании
У диспетчеров есть возможность наблюдать за водителем постоянно, но они стараются попусту коллег не тревожить.
«Первое время, когда установили камеры, водители были не очень-то довольны. Они воспринимали эту систему так, что теперь я могу в любой момент посмотреть, чем занят водитель. Но, как правило, мы (компания — прим. ред.) этим не пользуемся. Да, мы можем заглянуть в кабину и посмотреть, что происходит в данный момент, но только если возникнет какой-то вопрос», — отметил инженер по эксплуатации автомобильного транспорта Дмитрий Караваев.
Он пояснил, что диспетчеры на следят за водителями круглосуточно. Они подключаются, только если камера зафиксировала нарушение, например, сонливость и отсутствие внимания у водителя, превышение скорости, непристегнутый ремень, внезапную остановку. В таком случае диспетчеры, как только получают сигнал об опасной ситуации, начинают разбираться, что происходит в кабине.
Принцип работы
Камера безопасности устанавливается на лобовое стекло и реагирует на поведение водителя. Она отслеживает положение лица: куда направлен взгляд и повернута голова, как часто и как долго человек моргает. Определив, что водителю хочется спать, SignalQ2 включает запись и в течение 10-15 секунд фиксирует это состояние. Видео отправляется в облачный сервис SignalQ. Потом этот фрагмент можно будет использовать, чтобы установить причину, если произошло ДТП, или как аргумент в спорах: было нарушение или водитель отвернулся, чтобы сдать назад. Каждый может скачать собственные записи.
Система умеет анализировать частоту нарушений и отправлять отчеты о состоянии водителей. В парке видят, кто однократно отвлекся или потер глаза, а кто действительно хочет спать и нуждается в отдыхе.
«Я знаю весь наш парк, диспетчеры, соответственно, тоже весь штат водительский знают. Но мы не можем быть уверены наверняка, как они переносят ночные вахты. Теперь мы можем увидеть, кто как себя чувствует. Планируем адаптировать рабочий график под каждого водителя», — объяснил Дмитрий Караваев.
Кроме того, программа сопоставляет данные из разных машин, анализирует качество вождения, сохраняет данные с GPS. Она знает, какая у водителей манера вождения, как часто они превышают скорость.
Зачем устанавливать
Оборудование подходит для любого общественного, грузового и специального транспорта. Компания Greenline первой использовала SignalQ2 на большегрузах. Камеры установлены во всем парке грузовиков — 24 машины. В итоге за два месяца число критичных нарушений снизилось на 26%. Еще на 8,6% — число некритичных.
Устройства могут фиксировать ДТП: дополнительные камеры на них работают как видеорегистраторы.
Камеры SignalQ2 уже установлены в таксопарках «Яндекс.Такси» и автобусных парках в Москве, Санкт-Петербурге, Омске, Екатеринбурге, Сочи и Самаре.
Мониторинг скорости и умная камера: технологии для безопасности транспорта
Чтобы люди чувствовали себя защищёнными в дороге
Безопасность поездок всегда была и остаётся главным приоритетом Яндекс.Такси. За последние два года мы инвестировали больше 1,2 миллиардов рублей в технологии, которые делают поездки ещё безопаснее и комфортнее как для водителей такси, так и для их пассажиров.
Таких технологий и инициатив накопилось немало. Некоторые из них уже помогли серьёзно снизить риски на дорогах. Рассказываем обо всех решениях, которые мы внедрили в сервисе за последнее время.
Возможность отправить маршрут близким
Если вы хотите держать близких и друзей в курсе своей поездки, у нас есть такая возможность: выберите кнопку «поделиться маршрутом». Приложение пришлёт вашим близким ссылку на карту с маршрутом. Она подскажет, где вы находитесь прямо сейчас и сколько осталось ехать до места назначения.
Отправить маршрут близким
Шифрование номера телефона
Мы заботимся о конфиденциальности данных, поэтому скрываем от водителя телефонный номер пассажира, а от пассажира — номер водителя. Эта технология уже работает в нескольких российских регионах.
Если же вам нужно связаться с водителем, чтобы попросить привезти, например, забытую в салоне вещь, зайдите в «Историю поездок». Кнопка «Связаться с водителем» доступна в течение суток после последней поездки.
Доверенные контакты
В приложении можно отметить до пяти доверенных контактов из своей адресной книги. Если в поездке случится что-то неожиданное, они будут под рукой. Вы сможете нажать на кнопку «Попросить связаться со мной», и ваши близкие автоматически получат смс-сообщение с информацией о вашем местонахождении и деталями поездки.
Кнопка 112
В приложении есть кнопка вызова экстренной службы 112. Если решите позвонить по этому номеру, мы с вашего разрешения отправим доверенным контактам сообщение с просьбой связаться с вами.
Мониторинг скорости
Наша система анализирует карту города с данными об ограничениях скорости на его дорогах, а также маршрут поездки и скорость машины на каждом участке этого маршрута. Благодаря сочетанию этих данных она моментально понимает, когда водитель превышает скорость. В таком случае мы отправляем ему предупреждение в Таксометре — водительском приложении для управления заказами. Если водитель неоднократно проигнорировал предупреждения, и нарушения не прекратились, алгоритм ограничит ему доступ к заказам.
Эта технология всерьёз повлияла на манеру вождения некоторых таксистов: 92% водителей, получивших предупреждение хотя бы один раз, перестали превышать скорость.
Детское такси: безопасные кресла и подготовленные водители
В каждой машине тарифа «Детский» есть кресло и бустер для детей от 9 месяцев до 12 лет. Это по-настоящему надёжные кресла: все они успешно прошли тестирование крупнейшей европейской организации автомобилистов ADAC и имеют международный сертификат безопасности ECE R44.
Если вы заказали услугу детского такси, к вам приедет один из наших лучших водителей-партнёров: со стажем вождения больше трёх лет, высокими оценками и хорошими отзывами в приложении. Для работы в «Детском» тарифе водители проходят дополнительный тренинг, на котором учатся фиксировать кресло, общаться с детьми и родителями и спокойно реагировать на беспокойных малышей. Мы не останавливаемся и постоянно совершенствуем услугу детского такси, чтобы она стала ещё качественнее и безопаснее.
Детское такси: безопасные кресла и подготовленные водители
Узнать, как работают все эти функции и технологии, можно и в самом приложении. Мы собрали их под новой кнопкой «Безопасность». Найти её легко — нажмите на пристёгнутого человечка на экране поездки.
Новая кнопка «Безопасность» в приложении Яндекс.Такси
Новая кнопка появляется у пользователей постепенно — если пока у вас её нет, значит, она станет доступна в ближайшие дни.
И ещё: специальная камера для мониторинга усталости водителя
Всё, о чём мы рассказали выше, — лишь часть решений Яндекс.Такси. Есть и другие: их нельзя оценить напрямую в пользовательском приложении, но они комплексно способствуют безопасности на дорогах.
Для безопасной и плавной поездки важно, чтобы водитель выходил на линию выспавшимся и отдохнувшим. Для мониторинга усталости водителя мы создали специальное устройство — камеру Yandex Signal Q1. Её можно установить в любую машину.
Камера Yandex Signal Q1 для мониторинга усталости водителя
Это камера, анализирующая 68 точек на лице человека с помощью технологий компьютерного зрения и нейросети. Она фиксирует все параметры, которые способны рассказать об усталости — например, частоту и длительность моргания. Если система видит, что водитель невнимателен и теряет концентрацию на дороге, она временно ограничивает ему доступ к заказам сервиса до тех пор, пока он не отдохнет.
Все эти технологии и решения мы применяем и тестируем в Яндекс.Такси — надеемся, что в будущем сможем предложить их и в других сферах транспорта. До конца 2019 года мы планируем инвестировать в безопасность более двух миллиардов рублей.
«Яндекс» показал Путину автомобильную камеру, не дающую водителю уснуть
Управляющий директор «Яндекса» Тигран Худавердян продемонстрировал президенту России Владимиру Путину и руководителю Сбербанка Герману Грефу разработанное компанией устройство Yandex Signal Q1. Это камера, которая устанавливается в автомобиле напротив водителя и анализирует уровень его внимательности на дороге с помощью технологий компьютерного зрения.
«Камера работает в реальном времени и отслеживает 68 точек на лице водителя, чтобы мониторить направление его взгляда, поворот головы и частоту моргания»,— уточнили в «Яндексе» газете «Коммерсантъ». Если алгоритм замечает признаки усталости, то подает специальный сигнал.
Компания протестировала Yandex Signal Q1 в автомобилях партнеров сервиса «Яндекс.Такси». Позднее она планирует связать устройство с приложением «Таксометр» и ограничивать доступ к заказам тем водителям сервиса, которые невнимательны или потеряли концентрацию. До конца года компания также намерена установить эти устройства в 5000 автомобилей и ведет «переговоры с регионами о закупках», рассказали в «Яндексе».
Стать «властелином мира»
Если в России появится федеральный проект по искусственному интеллекту, его финансирование на шесть лет может составить около 90 млрд рублей, заявил вице-премьер Максим Акимов, курирующий технологическое развитие. Сам проект будет разработан не позднее октября 2019 года. Акимов уточнил, что этот федеральный проект будет исполняться в рамках национального проекта «Цифровая экономика» и его бюджета.
Как мы разработали устройство для контроля внимания водителей. Опыт Яндекс.Такси
Такси должно быть комфортным и безопасным. А это зависит не только от качества автомобиля и сервиса, но и от концентрации внимания водителя, которая падает при переутомлении. Поэтому на уровне сервиса мы ограничиваем время, которое водитель проводит за рулём.
Но иногда водители выходят на линию уже уставшими — например, весь день человек был занят на другой работе, а вечером решил “подрулить”. Что с этим делать? Как понять, что водитель заступает на смену не выспавшись? Можно, например, попробовать оценить, насколько внимательно он следит за дорогой, и определить признаки усталости, например по характеру морганий. Звучит просто? Всё сложнее, чем кажется.
Сегодня мы впервые расскажем читателям Хабра о том, как мы придумывали и разрабатывали камеру, которая умеет это делать.
Итак, дано: частота и длительность морганий зависят от степени усталости. Когда мы утомлены, голова менее подвижна, направление взгляда меняется реже, мы моргаем чаще и оставляем глаза закрытыми на большие промежутки времени — разница может измеряться долями секунд или несколькими градусами поворота, но она есть. Нашей задачей было сконструировать устройство, которое позволяет анализировать моргания, а также направление взгляда, зевки и движения головы, чтобы оценивать уровень внимания и усталости водителя.
Сначала мы решили: а давайте сделаем приложение для ноутбука, поставим его добровольцам из числа сотрудников, а оно будет при помощи встроенной камеры отслеживать нужные нам признаки? Так мы сразу соберём большой массив информации для анализа и быстро проверим свои гипотезы.
Спойлер: ничего не вышло! Довольно быстро стало понятно, что большинство людей при работе за компьютером постоянно смотрят на клавиатуру и наклоняют голову. То есть глаз не видно, и даже непонятно, закрыты они или открыты, моргает человек или просто переводит взгляд с экрана на клавиатуру и обратно.
Тогда мы поняли, что даже для того, чтобы сделать прототип, нам нужно какое-то устройство. Мы купили первую попавшуюся модель IP-камеры, которая работает в ИК-диапазоне.
Зачем нам ИК-диапазон? Освещение бывает разным, иногда пользователь в тени, иногда свет сзади, сверху или его вообще нет. Если мы делаем измерительный прибор, то он должен работать в любых условиях одинаково.
Для эксперимента подошла довольно популярная камера от Xiaomi — CHUANGMI.
Оказалось, что она снимает с частотой 15 кадров в секунду, а нам надо в два раза больше: моргание длится от 30 до 150 мс, при 15 кадрах в секунду мы рисковали «не увидеть» моргания короче 60–70 мс. Поэтому нам пришлось модифицировать её прошивку, чтобы принудительно включить ИК-подсветку, получить прямой доступ к видеопотоку и забирать нужные нам 30 кадров в секунду. Подключив камеру к ноутбуку и настроив получение видеопотока через RTSP-протокол, мы начали записывать первые видеоролики. Камеру расположили на 15 см ниже камеры ноутбука, и это позволяло лучше «видеть» глаза пользователя.
Успех? И снова нет. После сбора нескольких сотен видеозаписей мы поняли, что и так ничего не получается. Поведение пользователя ноутбука в течение дня отличается от поведения водителя: человек может в любой момент встать, отойти перекусить, просто пройтись и сделать разминку, в то время, как водитель гораздо больше времени проводит в сидячем положении. Поэтому такие данные нам не подходят.
Стало понятно, что единственный путь — сделать или купить подходящую камеру и установить её в машину.
Казалось бы, всё элементарно: покупаем видеорегистратор, поворачиваем в сторону водителя, крепим в машине и раз в неделю забираем SD-карты с видеозаписями. Но и тут на деле всё оказалось не так просто.
Во-первых, крайне сложно найти видеорегистратор с ИК-подсветкой, а нам надо хорошо видеть лицо, особенно ночью.
Во-вторых, у всех видеорегистраторов широкоугольная линза, так что область с лицом водителя получается довольно небольшая и на записи ничего не разобрать. Да и искажения от линзы довольно сильно портят анализ положения головы и направления взгляда.
В-третьих, эта затея плохо масштабируется на десять, сто и более машин. Нам ведь нужно собрать много данных от разных водителей, чтобы проанализировать их и сделать выводы. Каждую неделю или каждый день менять карты памяти на сотне машин вручную — огромная трата времени. Мы даже пробовали найти камеру, которая бы загружала видеозаписи в облако, но ничего похожего на рынке не было.
Возникла даже идея сделать «свой видеорегистратор» из Raspberry Pi, камеры с ИК-подсветкой и крепления.
Получилось не совсем то, чего мы ожидали: громоздко, невозможно установить камеру отдельно от компьютера. Дело в том, что при длине кабеля больше 50 см начинались проблемы с сигналом, да и сам по себе CSI-шлейф довольно хрупкий, слишком широкий и поэтому не очень пригоден для монтажа в машину.
Надо ехать в Гонконг, решили мы. Цель поездки была довольно абстрактная: посмотреть, что делают разные производители в области анализа поведения водителя, купить образцы изделий, если найдём, и поискать подходящие технические решения/компоненты, которые мы могли бы установить в машины.
Мы поехали сразу на две популярные выставки электроники и компонентов. В павильоне автомобильной электроники мы увидели невиданное засилье видеорегистраторов, камер заднего вида и систем ADAS, но анализом поведения водителя практически никто не занимался. Прототипы нескольких производителей определяли засыпание, отвлечение внимания, курение и разговор по телефону, но про усталость никто даже не думал.
В итоге мы купили несколько образцов камер и одноплатных компьютеров. Стало понятно, что 1) подходящих нам готовых изделий нет; 2) надо разделять компьютер и камеру, чтобы не заслонять обзор водителю. Поэтому мы взяли плату камеры с интерфейсом USB и в качестве вычислительного блока к ней одноплатный компьютер Banana Pi, а заодно и несколько Android-плееров на процессорах Amlogic.
«Почему плееры?» — спросите вы. На самом деле S912 и даже S905 — довольно мощные с точки зрения производительности и вполне себе потянут запись видео для наших целей даже с анализом изображения прямо на месте. Анализ изображения на месте нужен был для того, чтобы не слать весь видеопоток на сервер.
Давайте посчитаем: минута хорошо сжатого в H.264 видео в разрешении 640 × 480 (30 FPS) занимает не меньше 5 мегабайт. Значит, за час будет 300 мегабайт, а за стандартную 8-часовую смену — примерно 2-3 гигабайта.
Заливать каждый день при помощи LTE-модема 3 гигабайта видео — ну очень “дорого”. Поэтому мы решили периодически записывать 5-минутные ролики, а всё, что происходит в машине, анализировать прямо там и загружать на наши сервера уже в виде разобранного потока событий: набор точек лица, направление взгляда, поворот головы и т. п.
Мы вернулись с выставок в хорошем настроении, привезли кучу нужного (и ненужного) барахла и поняли, как мы будем дальше делать прототип.
USB-камера, которую мы нашли в Гонконге, нам почти идеально подходила: размер 38 × 38 мм, стандартные линзы (12 мм), возможность припаять прямо на плату ИК-диоды подсветки.
Поэтому мы сразу попросили производителя сделать нам прототип с необходимыми компонентами. Теперь мы понимали: нам нужна USB-камера с подсветкой и одноплатный ПК для обработки видео. Мы решили попробовать всё, что было представлено на рынке, и устроили сеанс шопинга на AliExpress. Мы накупили четыре десятка разных камер, десяток одноплатных ПК, Android-плееров, коллекцию 12мм линз и много других странных устройств.
Вопрос с “железом” решился. А как быть с софтом?
Довольно быстро нам удалось на основе OpenCV получить простой прототип, который пишет видео, находит лицо водителя, анализирует его, размечает на лице 68 ключевых точек, распознаёт моргания, зевки, поворот головы и т. п.
Следующей задачей было заставить наш прототип работать на одноплатном ПК. Raspberry PI отвалился сразу: мало ядер, слабый процессор, больше семи кадров в секунду из него не вытащить. А о том, чтобы одновременно писать видео, распознавать лицо и анализировать его, и речи не было. По этим же причинам нам не подошли ТВ-приставки и одноплатные компьютеры на Allwinner (H2, H3, H5), Amlogic S905 и Rockchip RK3328, хотя последний был очень близок к желаемым показателям. В итоге у нас осталось две потенциальных SoC: Amlogic S912 и Rockchip RK3399.
На Amlogic выбор устройств был небольшой: ТВ-бокс или Khadas VIM2. На ТВ-боксе и Khadas всё работало примерно одинаково, но охлаждение ТВ-приставок оставляло желать лучшего, да и настройка Linux на них — зачастую занятие не для слабонервных: заставить работать Wi-Fi, BT, сделать так, чтобы ОС видела всю память, — это долго, сложно и непредсказуемо. В итоге мы выбрали Khadas VIM2: к нему есть штатный радиатор охлаждения, и плата достаточно компактная, чтобы спрятать её за приборной панелью машины.
К этому моменту производитель платы камеры уже прислал нам пробную партию из ста штук, и мы рвались в бой: делать прототип, ставить в машину и собирать данные.
У нас была камера, был софт, был одноплатный ПК, но не было ни малейшего представления, как всё это разместить в машине и подключить к бортовому питанию.
Очевидно, что для камеры нужен был корпус и крепление. Мы купили сразу два 3D-принтера, чтобы печатать детали, а первую примитивную модель корпуса нам сделал подрядчик.
Теперь возникла непростая задача выбора: куда крепить камеру в машине, чтобы получить хорошую картинку, но не загораживать обзор водителю. Вариантов было ровно три:
В тот момент нам показалось, что лучше всего прикрепить камеру прямо к зеркалу заднего вида: оно всегда направлено в лицо водителю, поэтому камера будет снимать именно то, что нам надо. К сожалению, производители зеркал заднего вида не позаботились о том, чтобы к ним можно было что-то удобно и надёжно прикрепить. Камеры плохо держались, падали и закрывали обзор.
Тем не менее мы оборудовали несколько машин и начали собирать с них данные. Стало понятно, что конструкция неидеальная, и полезли проблемы, связанные с производительностью и нагревом при одновременной видеозаписи и анализе лица.
Тогда мы решили крепить камеру на уровне глаз у левой стойки: меньше закрываем обзор и хороший угол для камеры, чтобы было видно водителя. Корпус пришлось переделать, поскольку крепления с шарнирами показали себя крайне ненадёжно: они разбалтываются при тряске, ломаются, а присоски отклеиваются от стекла.
Мы решили, что для прототипа и сбора данных лучше намертво приклеить камеры к стеклу, чтобы никакая тряска и внешнее воздействие не могли поменять их положение. Мы слегка доработали корпус и заодно провели нагрузочное тестирование монтажа при помощи специального двухстороннего скотча. Для тестирования использовали сложное и высокоточное оборудование.
Из-за проблем с производительностью мы решили поменять SoC на более мощную, поэтому выбрали одноплатный ПК NanoPI M4 на процессоре Rockchip RK3399.
По сравнению с Khadas VIM2 он примерно на треть производительнее, у него есть аппаратное сжатие и декодирование видео, и он намного стабильнее ведёт себя в сложных температурных условиях. Да, мы пробовали запускать камеры и платы в морозильнике, грели их в духовке и проводили множество других нечеловеческих испытаний.
Поскольку мы записываем видео не просто так, а в динамике в течение дня, было важно, чтобы системное время на устройстве было точным. К сожалению, большинство одноплатных компьютеров не оборудованы часами с автономным питанием. Нам повезло, что на нашем NanoPI был разъём для подключения батарейки.
Пришлось спроектировать корпус для компьютера, который защищал бы его физически и выступал в качестве держателя для антенн WiFi и BT. Там же мы предусмотрели место для монтажа батарейки часов с держателем.
Далее мы планировали оборудовать прототипами сто машин, которые будут записывать видео и в режиме онлайн передавать нам в облако всю телеметрию: есть ли водитель, как часто и долго он моргает, зевает, отвлекается от дороги, поворачивает голову и т. п. Все эти (и не только) параметры позволяют нам обучать модель, которая оценивает, насколько сконцентрирован на дороге водитель, не отвлекается ли он и не устал ли. Чтобы всё это делать прямо на устройстве в машине, нам пришлось полностью переписать код, сделать аппаратное сжатие видео, ротацию логов и видеозаписей, регулярную отправку на сервер, удалённое обновление ПО и многое другое.
В это же время нам стало понятно, что наши расчёты и алгоритмы будут работать намного лучше при более точном базовом анализе лица. В первых прототипах мы использовали встроенный в OpenCV детектор лиц на основе haar-каскадной модели и модель для разметки 68 точек лица на основе библиотеки dlib. Положение головы мы вычисляли сами путём расчёта проекции точек лица на фокальную плоскость. Open-source решения по распознаванию и разметке лиц хорошо работают на кадрах, где лицо снято в анфас или профиль, но на промежуточных состояниях часто ошибаются.
Поэтому мы решили лицензировать хорошее стороннее решение по распознаванию и разметке лица — SDK от компании VisionLabs. По сравнению с предыдущими алгоритмами оно более ресурсоёмкое, но даёт заметный прирост качества распознавания и разметки лица, что приводит к более точному извлечению факторов для машинного обучения. С помощью коллег из VisionLabs нам удалось быстро перейти на их SDK и получить нужную нам производительность: 30 кадров/сек. при разрешении 640х480.
SDK VisionLabs использует нейронные сети для распознавания лиц. Технология обрабатывает каждый кадр, находит на нем лицо водителя и выдает координаты расположения глаз, носа, рта и других ключевых точек. Полученные данные используются для создания нормализованного кадра размером 250х250, где лицо находится строго по центру. Этот кадр уже можно использовать для вычисления положения головы в градусах по трём осям: yaw, pitch и roll. Чтобы отследить статус глаз водителя, система анализирует изображение глаз и для каждого глаза принимает решение: закрыт он или открыт. Система умеет при помощи технологии IR Liveness определять, живой человек перед камерой, или водитель прикрепил фотографию. Для анализа используется нормализованный кадр, а на выходе мы получаем результат alive или notalive.
Заключение
Пока мы переписывали и отлаживали ПО, наши 3D-принтеры днями и ночами печатали корпусы для камер и одноплатных ПК. На печать комплекта (корпус камеры + корпус ПК) уходило примерно 3–4 часа работы принтера, поэтому нам пришлось расширить производственные мощности: задействовали четыре принтера. Но мы всё успели сделать в запланированные сроки.
За две недели мы полностью оборудовали первую сотню машин в нескольких таксопарках — партнёрах Яндекс.Такси. Сейчас с их помощью мы собираем видеозаписи, анализируем поведение водителя, признаки усталости, улучшаем алгоритмы и обучаем модели, оценивающие уровень внимания и усталости. И только после этого (с учётом всех данных, отзывов водителей и пассажиров) мы будем готовы перейти к следующему этапу – массовому производству и внедрению.
К сожалению, для масштабирования на несколько тысяч или десятков тысяч установок текущее техническое решение не очень подходит по ряду причин. Всё, о чём мы рассказали в этой статье – это быстрый эксперимент, целью которого было в сжатые сроки научиться непосредственно в машинах собирать данные для обучения моделей. Следующий большой этап для нас – разработать и начать производить устройство тех же габаритов, но состоящее из одного блока: и камера, и датчики, и модем будут расположены в одном компактном корпусе, который мы и будем массово устанавливать в машинах.