Каким образом работает идентификация лиц в телефонах

Зачем мы останавливаемся на разблокирование по лицу

В недавние годы распознавание физиономий превратилось в одной из самых популярных функций для разблокировки мобильных телефонов. Еще некоторые годов ранее большинство пользователей обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, например вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает данную функцию такой востребованной? Прежде всего, это удобно: не нужно удерживать в памяти замысловатые пароли или находить правильный палец в мраке. Кроме того, это мгновенно: современные алгоритмы идентифицируют лицо практически за доли секунды. В-третью очередь, это впечатление футуристичности — словно в кинофильмах про вулкан автомат шпионов.

Однако за такой кажущейся несложностью таится целый вселенная комплексных техник и инженерных разработок. Попробуем исследовать, как именно работает идентификация по лицу в новейших мобильных телефонах, какие применяются технологии, насколько они надёжны и что нас предстоит.

Короткая хроника прогресса технологии

Распознавание лиц как методика имеется уже более пятидесяти лет. Изначальные эксперименты автоматического анализа облика были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ могли лишь выделять очертания черепа и вычислять расстояния между глазами и губами на ахроматических фотографиях.

Изначальные коммерческие платформы появились в девяностых годах, но они были далеки от совершенства: действовали неспешно и часто ошибались. Только с прогрессом нейронных сетей и таких платформ, как вулкан россии, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять личные разработки.

Ключевые стадии действия механизма распознавания

Процесс определения лица можно примерно разделить на несколько ключевых этапов:

Распознавание лиц — устройство выявляет существование людского лица в изображении.
Определение признаков — система анализирует особенности облика: форму глаз, носа, губ, расположение надбровных дуг.
Построение модели — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение с стандартом — созданный шаблон сверяется с зафиксированной при регистрации биометрической информацией владельца.
Принятие решения — если совпадение достаточно существенное, смартфон разблокируется.

Любой из данных стадий нуждается в индивидуальных процедур и усовершенствований для быстрой работы непосредственно на девайсе.

Технические элементы: что скрыто внутри них

Типичная фронтальная камера.

Наиболее простой вариант идентификации облика использует лишь фронтальную камеру смартфона мобильного устройства. Такой способ реализован во различных бюджетных моделях Android-устройств.

Плюсы:

Не нуждается в требует внешних сенсоров.
Быстро функционирует при достаточном освещённости.

Минусы:

Легко одурачить изображением или видеозаписью.
Плохо функционирует при слабом освещении или непривычных точках зрения.

ИК камера и точечный проектор

Более продвинутые системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс составляет базу Face ID от Apple.

Каким образом это действует:

Точечный устройство проекции проецирует на облик использующего невидимую сетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 меток).
ИК устройство записывает искривление данной решетки по поверхности физиономии.
Формируется трехмерная карта глубинности, что практически неподвластна для имитации обычной фотографией или маскировкой.

Преимущества

Надёжная функционирование даже в полной тьме.
Сильная устойчивость к подделкам.
Точность распознавания свыше 99%.

Добавочные датчики

В определённых устройствах применяются также экстра сенсорные устройства: ToF (Time-of-Flight), которые определяют время движения луча до цели и обратно; RGB-датчики дальности; специальные лазерные дальномеры для создания более детализированной 3D-модели лица.

Эти разработки применяются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический разум на исполнении

Нынешние механизмы идентификации физиономий невозможны в отсутствие применения artificial intelligence и machine learning. Именно из-за таким инновациям, как вулкан россии, аппарат способно идентифицировать владельца даже при метаморфозах внешности: новая стрижка, борода, оптика или косметика не становятся препятствием для разблокировки.

Детектирование лиц

В начальном этапе система необходимо мгновенно обнаружить образ лица внутри всего кадра камеры. Для этой задачи задействуются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может распознавать облик даже с неполном перекрытии (например, платком или ладонью).

Выделение основных точек

После распознавания лица устройство, такая как вулкан россии, вычисляет положение ключевых точек: уголки глаз, верхушка носа, контуры губ и так далее. Как правило задействуется от 68 до 128 главных маркеров на лицевой поверхности.

Это необходимо для нормализации изображения: если человек удерживает телефон под наклоненным, или склонил голову, программа “выпрямляет” картинку до нормального состояния для дальнейшего анализа.

Создание биометрии образца

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот формат весьма сложно имитировать: он не сохраняет само изображение пользователя, а лишь исключительные характеристики его вида, что делает его идеальным для таких систем, как vulkan russia.

Сопоставление и принятие выбора

В случае, когда человек намеревается разлочить мобильник взглядом, механизм осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный границу (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Привыкание к изменениям внешнего вида

Занимательная характеристика актуальных системы — возможность самостоятельного обучения. Если вы часто разблокируете мобильное устройство с обновленной прической или очками, алгоритм постепенно обновляет базовый модель вашего облика для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрии данных.

Большинство клиенты беспокоятся держать свои биометрические идентификационные данные на телефоне из-за угрозы потери данных или взлома гаджета. Некоторые компании, например vulkan russia, предлагают методы для улучшения безопасности сведений клиентов.

Локальное хранение: Большинство устройств хранит биометричные модели исключительно внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из устройство и недоступны в том числе изготовителю.
Шифрование: Все информация сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Программы внешних девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь требовать факт верификации идентичности через системный API.

Необходимо отметить существенную особенность: если кто-либо достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители внедряют систему защиты от автоматического разблокирования — например, просят раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются типы определения лиц на изображениях?

Сегодня можно выделить три основных способа к выполнению этой функции:

Программируемое двухмерное распознавание

Эксплуатируется только лицевая камера без дополнительных датчиков дистанции. Подобный метод наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; минимальная затраты; быстрая функционирование при хорошем освещении.
Минусы: несложно обмануть снимком; ненадежная функционирование ночью; низкая безопасность.

Техническое объёмное сканирование

Использует инфракрасную видеокамеру + проектор пикселей + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: значительная надежность; нельзя обмануть фото/видео; стабильная работа при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с дополнением ИИ

Задействуют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock новейших версий, объединяют фронтальную камеру c ИК сенсором движения Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации использования разных методов

iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID среди Android.
Samsung Galaxy S10 версия/S20 имеют как софтверное плоское распознавание по снимку фронтальной камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro задействует систему из ИК-освещения + Dot Projector + ToF-датчик

Трудности защиты и ложные срабатывания

Несмотря на поразительный прогресс инноваций за последние лет, совершенных систем пока не наблюдается:

Вероятность обмана: Бюджетные смартфоны легко доступны четкой снимком пользователя или же роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые идеальные устройства могут спутать между однояйцевыми близнецами либо родственниками с очень аналогичной внешностью.
Метаморфозы внешнего вида: Внезапное снижение веса/увеличение массы тела, пластические операции либо повреждения в некоторых случаях требуют повторной регистрации биометрии.
Условия фотографирования: Сильная освещённость солнцем или интенсивная затенение могут снизить точность определения признаков.

Ниже несколько рекомендаций для надёжному применению:

Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
Не включайте функцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку прошивку телефона для обеспечения безопасности от актуальных атак;
Включайте опцию “Требовать раскрытых глаз” в тех местах, где она есть.

Где дополнительно используется технология помимо мобильных телефонов?

Хотя основная мысль данной работы посвящена именно смартфонам и планшетам, необходимо сказать о прочих направлениях внедрения технологии:

Управление доступа в деловых центрах и резиденциях;
Платёжные терминалы финансовых учреждений (“Face Pay”);
Электронные удостоверения личности последнего типа;
Комплексы видеомониторинга городских сервисов;
Механизация отслеживания посещаемости учебных заведений/институтов;
Аутентификация участников компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Похожие проекты осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как трансформируется технический процесс в нынешнее время?

Каждый годочек появляются свежие идеи для улучшения качества деятельности систем идентификации лиц:

Увеличивается детализация сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность погрешности;
Улучшаются нейронные сети — современные конструкции модели MobileNetV3 позволяют оперативно адаптироваться к новым особенностям вида владельца напрямую на гаджете без пересылки информации в облачное хранилище.
Улучшаются способы антиспуфинга — теперь телефоны могут различать настоящие живые лица от неподвижных снимков/маскировок по незаметным микродвижениям.
Взаимодействие со умными устройствами — смарт-часы могут самостоятельно заблокировать смартфон, если владелец отошёл далеко.
Проявляются смешанные устройства — к примеру комбинирующие аудио аутентификацию + лицо + дактилоскопический след.

Вот, которые тренды в особенности востребованы в данный момент:

1) Сокращение деталей

Производители пытаются сократить габариты выреза (“чёлки”) для датчики на дисплее за счёт интеграции маленьких ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на аппарате

Для повышения приватности всё более вычислений выполняется на месте без пересылки данных во дополнительный облачный услугу.

3) Стандартизация регламентов

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, с целью чтобы аналогичные платформы, как вулкан россия, и все Android-аппы могли взаимодействовать с любыми видами биометрии единообразно.

Что решить сегодня?

Если тебе важна наивысшая защита информации, остановите выбор на топовые аппараты с интегрированным ИК-излучателем либо ToF-сенсором глубины.

iPhone всех существующих новейших версий
Huawei Mate/P серии
Xiaomi Professional
Vivo X модели
Oppo Обнаружить Х линейки.

Если бюджет скромен – лучше отдавать предпочтение классическим способам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как опциональную возможность комфорта.

Каким образом увеличить удобство работы опции?

Есть пара хитростей для людей, кто уже использует разблокировку по лицу:

Часто обновляйте свою фотографию-шаблон, если сильно изменяется облик.
Не упускайте из виду протирать объектив передней камеры – разводы могут уменьшить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает фотоаппарат как только вы поднимаете его.
Во время записи старайтесь держать лицевую часть неподвижно напротив камеры без резкого наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отворачиваетесь от экрана.

Будущее развития технологии

В скоро наступающие времена можно предвкушать развития полностью безконтактных способов опознания персоны сразу по нескольким биометрическим параметрам одновременно: облик + голос + шаги + манипуляции руками!

Также предполагается развитие современных подходов обеспечения приватности – к примеру, изменяющееся модификация цифрового шаблона после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее захватывающих технологий нашего времени! Она делает интеракцию со телефоном комфортнее чем до этого, и такие программы, как vulkan russia, могут значительно улучшить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как работает эта технология внутри, – будете в состоянии более осмысленно выбирать свой очередной гаджет!