Как работает распознавание лицевых образов в мобильных устройствах

Зачем мы останавливаемся на разблокирование по фейсу

В последние времена идентификация лиц является одной из наиболее востребованных возможностей для разблокировки умных телефонов. Всего пару годов тому назад большинство использующих обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь делает эту функцию очень нужной? Прежде всего, это комфортно: не нужно помнить сложные пароли или отыскивать нужный палец в тьме. Во-вторых, это быстро: современные системы распознают лицо буквально за мгновения ока. В-третьем пункте, это ощущение футуристичности — как будто в кинолентах про вулкан автомат шпионов.

Впрочем за такой кажущейся несложностью скрывается полный универсум комплексных технологий и инженерных разработок. Позвольте нам понять, как именно работает распознавание лиц в актуальных гаджетах, какие бывают технологии, насколько они защищены и что нас ожидает в будущем.

Краткая история эволюции инноваций

Идентификация лиц как техника имеется уже более пятидесяти лет. Изначальные пробы автоматизированного изучения лица были осуществлены еще в 1960-х годах в лабораториях США. Тогда вычислительные машины способны были лишь обозначать контуры головы и определять расстояния между очами и ртом на ахроматических изображениях.

Начальные бизнес системы появились в 1990-х годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с развитием искусственных сетей и таких площадок, как вулкан россии, мощных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять свои решения.

Ключевые этапы действия системы идентификации

Процесс распознавания лица можно условно сегментировать на несколько важных этапов:

Идентификация лица — устройство выявляет наличие человеческого образа в снимке.
Извлечение признаков — алгоритм изучает особенности лица: конфигурацию зрительных органов, обонятельного органа, уст, позицию бровей.
Построение структуры — создаётся уникальный виртуальный отпечаток (faceprint) на основе определённых признаков.
Сравнение со стандартом — полученный образец сверяется со сохранённой при учёте биометрической данными владельца.
Принятие решения — если соответствие достаточно существенное, смартфон открывается.

Всякий из этих стадий требует специальных методов и улучшений для быстрой работы прямо на устройстве.

Железные компоненты: что скрыто внутри

Обычная фронтальная камера.

Наиболее простой способ распознавания облика использует только переднюю камеру смартфона смартфона. Подобный метод реализован во многочисленных доступных вариантах Android-устройств.

Положительные стороны:

Не требует дополнительных датчиков.
Оперативно функционирует при качественном свете.

Минусы:

Легко ввести в заблуждение изображением или видеозаписью.
Неправильно работает при плохом освещении или необычных ракурсах.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика составляет базу Face ID от Apple.

Каким способом это функционирует:

Точечный проектор показывает на лицо пользователя невидимую решетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 меток).
Инфракрасная камера регистрирует изменение формы данной решетки по поверхности физиономии.
Создаётся трёхмерная карта глубины, что почти неосуществима для фальсификации стандартной снимком или маской.

Преимущества

Надёжная деятельность даже в полной темноте.
Сильная защита к имитациям.
Точность идентификации свыше 99%.

Добавочные сенсорные устройства

В некоторых девайсах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые измеряют период прохождения луча до предмета и обратно; Цветные-датчики дальности; специальные лазерные лидары для создания более детализированной 3D-модели физиономии.

Эти технологии применяются наиболее часто во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искуственный интеллект в действии

Текущие устройства опознания физиономий немыслимы в отсутствие эксплуатации искусственного интеллекта и machine learning. Именно благодаря таким разработкам, как вулкан россии, устройство способно распознавать пользователя даже при изменениях внешнего вида: новая стрижка, борода, очки или макияж не становятся барьером для открытия.

Детектирование физиономии

В первом шаге алгоритм должна быстро найти лицо внутри целого снимка с камеры. Для этой задачи применяются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы распознавать человеческие лица среди множества других объектов.

Пример: процесс MTCNN может обнаруживать облик даже с частичном перекрытии (например, платком или ладонью).

Идентификация важных аспектов

После обнаружения лица устройство, такая как вулкан россии, устанавливает положение основных точек: края глаз, конец носа, края губ и так далее. Как правило используется от 68 до 128 главных маркеров на лицевой области.

Это действие нужно для нормализации картинки: если юзер держит смартфон под наклоненным, или склонил голову, программа корректирует изображение до нормального состояния для последующего изучения.

Построение биометрического шаблона

Далее искусственная сеть строит компактное цифровое представление («эмбеддинг») лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный формат очень трудно сфальсифицировать: он не удерживает непосредственно изображение пользователя, а лишь уникальные особенности его облика, что делает его оптимальным для таких систем, как vulkan russia.

Сравнительный анализ и осуществление выбора

Если человек намеревается разлочить мобильник взглядом, программа воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Приспособление к метаморфозам внешнего вида

Занимательная характеристика нынешних системы — возможность самообучения. Если вы часто разблокируете телефон с новой прической или оптикой, программа постепенно обновляет базовый образец вашего облика для повышения точности работы без ухудшения безопасности.

Охрана биометрии информации.

Большинство пользователи беспокоятся хранить свои биометрические идентификационные данные на мобильном устройстве из-за вероятности потери данных или хакерской атаки. Иные компании, например vulkan russia, предлагают варианты для увеличения безопасности данных клиентов.

Локальное хранение: Основная часть девайсов сохраняет био-идентификационные модели лишь в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают аппарат и закрыты в том числе производителю.
Шифрование: Все информация сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения внешних девелоперов не имеют прямого доступа к биометрическим; они могут лишь требовать факт подтверждения личности через системный API.

Следует подчеркнуть существенную деталь: в случае, если кто-либо получит доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество производители осуществляют систему защиты от «слепого» разблокирования — например, заставляют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают типы идентификации лиц?

В настоящее время можно различить три главных подхода к осуществлению этой задачи:

Программируемое двухмерное распознавание

Эксплуатируется только передняя видеокамера без дополнительных сенсоров дистанции. Такой метод используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность воплощения; умеренная затраты; быстрая работа при качественном свете.
Минусы: легко одурачить снимком; нестабильная функционирование ночью; низкая охрана.

Оборудование для 3D сканирование

Применяет ИК камеру + проектор пикселей + датчики дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: большая надёжность; нельзя исказить изображение/видеозапись; устойчивая работа при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана («чёлка»)

Гибридные способы с интеграцией ИИ

Используют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам («anti-spoofing»). Например, подобные продукты, например вулкан россии и Google Pixel Face Unlock новейших поколений, сочетают фронталку c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Образцы использования различных методов

iPhone модели X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение 2D определение по снимку фронтальной камерой, так и датчик радужки глаза.
Huawei Mate20 Pro использует набор из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы охраны и ошибочные сигналы

Несмотря на замечательный развитие техники за последние лет, идеальных системы пока не существует:

Возможность обмана: Бюджетные мобильники без труда доступны высококачественной изображением владельца или видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые идеальные механизмы могут перепутать между монозиготными близнецами либо семьями с очень схожей внешностью.
Изменения внешнего вида: Резкое снижение веса/увеличение массы тела, хирургические вмешательства или травмы порой требуют обновления данных биометрии.
Условия съёмки: Интенсивная засветка солнечным светом либо плотная тень могут уменьшить аккуратность идентификации признаков.

Здесь некоторые рекомендаций по защищённому использованию:

Для значимых операций всегда внедряйте двухфакторную аутентификацию;
Не запускайте возможность «Разблокировка по лицу» на недорогих устройствах без ИК-сенсоров;
Регулярно обновляйте ПО телефона для обеспечения безопасности от современных угроз;
Включайте настройку «Требовать распахнутых глаз» везде, где она есть.

В каких областях ещё находится применение технология помимо мобильных телефонов?

Хотя основная мысль нашей работы касается в частности портативным гаджетам, следует отметить альтернативных областях использования технологии:

Контроль доступа в рабочих помещениях и многоквартирных зданиях;
Платёжные аппараты банков («Face Pay»);
Цифровые удостоверения личности последнего типа;
Установки видеоконтроля городских сервисов;
Автоматизирование отслеживания явки учебных заведений/университетов;
Авторизация юзеров ПК/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу («Face Pay») — нужно лишь пройти через барьер без карты или мобильника! Похожие программы реализуются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как меняется технический процесс в наше время?

Всякий годочек появляются новые мысли для улучшения качества деятельности систем идентификации лиц:

Увеличивается разрешение сенсоров — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
Развиваются нейросети — новейшие архитектуры модели MobileNetV3 дают возможность быстро обучаться дополнительным чертам внешности обладателя непосредственно на девайсе без отправки данных в облако.
Развиваются способы антиспуфинга — теперь мобильные устройства умеют распознавать подлинные живые облики от статичных снимков/масок по незаметным микродвижениям.
Синхронизация со смарт-гаджетами — смарт-часы могут автоматически закрыть доступ к смартфон, если пользователь удалился на значительное расстояние.
Проявляются смешанные системы — например объединяющие аудио аутентификацию + физиономию + дактилоскопический след.

Здесь, те направления очень востребованы сейчас:

1) Миниатюризация элементов

Производители стараются сократить габариты выреза («чёлки») под датчики на дисплее за счёт интеграции маленьких ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения личной безопасности всё более вычислений происходит внутри устройства без отправки информации во внешний облачный сервис.

3) Стандартизация регламентов

Гугл активно продвигает норму BiometricPrompt API, чтобы такие площадки, как вулкан россия, и все Android-приложения были совместимы с всеми формами биометрии стандартизированно.

Какое решить сегодня?

Если вам нужна предельная сохранность информации, остановите выбор на передовые устройства с вмонтированным ИК-излучателем или ToF-датчиком глубины.

iPhone каждого новейших версий
Huawei Companion/P линейки
Xiaomi Pro
Vivo X серии
Оппо Find Икс линейки.

Если средства скромен – лучше отдавать предпочтение традиционным средствам защиты (PIN-код/сканер пальца), а возможность «разблокировка по лицу», такую как в вулкан россия, применять только как опциональную возможность комфорта.

Каким образом улучшить практичность функционирования возможности?

Есть несколько советов для тех, кто уже применяет разблокировку по лицу:

Часто обновляйте свою фотографию-шаблон, если сильно меняется облик.
Не забывайте очищать линзу передней камеры – пятна могут понизить точность!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует фотоаппарат если вы берёте его в руки.
При записи постарайтесь держать голову неподвижно напротив объектива исключая резкого наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвернулись от дисплея.

Возможности эволюции техники

В предстоящие годы можно предвкушать возникновения полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + манера ходьбы + жесты рук!

Также предполагается появление свежих способов охраны приватности – скажем, переменное изменение цифрового шаблона после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых интересных инноваций нашего времени! Она делает общение со смартфоном проще чем до этого, и такие приложения, как vulkan russia, могут значительно улучшить ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как устроена эта система внутри, – будете в состоянии вдумчиво определять свой очередной устройство!