RU2431190C2

RU2431190C2 - Способ и устройство распознавания рельефности лица

Info

Publication number: RU2431190C2
Application number: RU2009123429/28A
Authority: RU
Inventors: Анвар Адхамович Ирматов (RU); Анвар Адхамович Ирматов; Дмитрий Юрьевич БУРЯК (RU); Дмитрий Юрьевич БУРЯК; Дмитрий Владимирович ЧЕРДАКОВ (RU); Дмитрий Владимирович ЧЕРДАКОВ; Виктор Дмитриевич Кузнецов (RU); Виктор Дмитриевич Кузнецов; Хае Кванг ЯНГ (KR); Хае Кванг ЯНГ; Донгсунг ЛИ (KR); Донгсунг ЛИ
Original assignee: Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."; Корпорация С1
Priority date: 2009-06-22
Filing date: 2009-06-22
Publication date: 2011-10-10
Also published as: WO2010151029A2; WO2010151029A3; US20120140091A1; CN102483851B; CN102483851A; RU2009123429A; US8698914B2

Abstract

Изобретение относится к области распознавания образов, а именно к способам и устройствам распознавания рельефности лица, и может быть использовано в биометрических системах идентификации личности в качестве дополнительного средства выявления попыток обмана системы посредством предоставления ей фотографии человека, зарегистрированного в системе.

Задачей заявленного изобретения является создание способа и устройства распознавания рельефности лица с уменьшенной стоимостью и увеличенным быстродействием за счет выявления случаев предъявления фотографий лиц, т.е. двумерных изображений, без использования дорогостоящих стерео- и 3D-камер, а также без применения алгоритмов стереореконструкции, которые в большинстве своем являются вычислительно затратными.

Поставленная задача решена путем создания устройства и способа распознавания рельефности лица, при этом способ предусматривает выполнение следующих операций: формируют два изображения объекта, при этом одно из изображений формируют при включенной подсветке, а второе - при выключенной подсветке: определяют на каждом из двух изображений объекта области, содержащие лица; сопоставляют обнаруженные области; проводят анализ изменения интенсивностей сопоставляемых областей; формируют решение о рельефности представленного на изображениях лица. 2 н. и 7 з.п ф-лы,3 ил.

Description

Биометрические системы распознавания основаны на анализе биометрических характеристик человека. Они широко применяются в системах контроля доступа и системах видеонаблюдения. В качестве биометрических характеристик могут быть использованы черты лица, отпечатки пальцев, радужка глаза, голос, жесты. Системы распознавания по лицу человека считаются одним из приоритетных направлений развития этой области. Они обладают рядом существенных преимуществ: не требуется специальное дорогостоящее оборудование, не нужен физический контакт человека с устройствами, идентификацию можно проводить скрытно. Вместе с тем для систем распознавания лиц характерны недостатки, одним из которых является их относительная уязвимость перед подменой злоумышленниками лица человека фотографиями, муляжами и т.п.

Предлагаемое изобретение позволяет выявлять случаи предоставления для распознавания фотографии лица человека вместо трехмерного лица.

Для защиты систем видеонаблюдения и контроля доступа от атак, связанных с подменой лица, разработано большое количество подходов.

В патентах (RU No. 95115528 [1], US No. 6,567,775 [2]; US No. 6,219,640 [3]; US No. 6,498,970 [4]) одновременно применяются разнотипные биометрические характеристики, такие как рост, отпечатки пальцев, голос, черты лица. Если человек не проходит идентификацию хотя бы по одному признаку, то система отказывает ему в доступе.

В патенте US No. 6,002,782 [5] и заявке RU No. 2001122361 [6] выполняется восстановление 3D-модели лица, по которой производится распознавание. Помимо повышения точности распознавания это позволяет защитить систему от предоставления для идентификации фотографии лица.

В патентах US No. 5,517,021 [7] и RU №2249514 [8] измеряются динамические характеристики человеческого лица, такие как частота морганий, траектории движения зрачков. Использование подобных признаков позволяет предотвратить попытки проникновения с использованием фотографий лица, трехмерных муляжей, масок и т.п.

Патент [4] описывает систему, предлагающую пользователю интерактивно реагировать на запросы. Ответные действия человека анализируются, вычисляются характеристики движения глаз, головы, голосовые параметры. На основе сравнения вычисленных признаков с соответствующими значениями, хранящимися в базе данных знаний системы, принимается решение о пропуске человека или отказе ему в допуске.

Наиболее близкими к заявленному изобретению являются способ и устройство проверки живости лица, предоставляемого системе на основе анализа его изображений, полученных при его освещении в различных спектрах (см. патент US No. 7,539,330) [9]. При этом вычисляют некоторые характеристики материала, из которого состоит снимаемый объект. На основе полученных значений принимают решение, является материал объекта кожей или нет. Данные способ и устройство выбраны в качестве прототипа заявленного изобретения.

Одной из существенных проблем большинства систем распознавания лиц, в том числе аналогов и прототипа заявленного изобретения, является их уязвимость перед использованием злоумышленниками фотографий лиц зарегистрированных людей. Это обусловлено тем, что наибольшее распространение на данный момент получили системы, обрабатывающие 2D-изображения, по которым затруднительно определить, что представлено на захваченном изображении: фотография или лицо настоящего человека.

Задачей заявленного изобретения является создание способа и устройства распознавания рельефности лица с уменьшенной стоимостью и увеличенным быстродействием за счет выявления случаев предъявления фотографий лиц по двухмерным изображениям без использования дорогостоящих стерео- и 3D-камер, а также без применения алгоритмов стереореконструкции, которые в большинстве своем являются вычислительно затратными. В заявленном изобретении рельефность определяют путем сравнения двух изображений одного объекта, захваченных с коротким интервалом времени в различных, заранее определенных, условиях освещения.

Поставленная задача решена путем создания способа распознавания рельефности лица, в котором:

- формируют два изображения объекта, при этом одно из изображений формируют при включенной подсветке, а второе - при выключенной;

- обнаруживают на каждом из двух изображений объекта области, содержащие лица, при этом определяют координаты областей, содержащих лица;

- сопоставляют обнаруженные области, при этом вырезают области исходных изображений в соответствии с координатами областей, содержащих лица, нормализуют, определяют координаты характерных точек лица, выравнивают вырезанные области относительно друг друга так, чтобы координаты соответствующих характерных точек совпали;

- проводят анализ изменения интенсивностей пикселов сопоставленных областей, при этом строят карты распределения интенсивностей;

- формируют решение о рельефности представленного на изображениях лица.

Для функционирования способа важно, чтобы находили, по меньшей мере, одну пару характерных точек, выбранную из набора характерных точек, содержащего центры и уголки глаз, крылья носа, уголки рта.

Для функционирования способа важно, чтобы проводили анализ изменения интенсивности пикселов сопоставленных областей, при этом сравнивали интенсивности пикселов на выровненных вырезанных областях и вычисляли вектор статистических оценок изменения интенсивностей соответствующих участков данных областей.

Для функционирования способа важно, чтобы формировали решение о рельефности лица на изображении, при этом применяли бинарную решающую функцию к вектору статистических оценок.

Поставленная задача решена также путем создания устройства распознавания рельефности лица, содержащего:

- лампу подсветки;

- средство формирования изображений объекта;

- средство обнаружения областей, содержащих лица, выполненное с возможностью определения координат областей, содержащих лицо;

- средство сопоставления обнаруженных областей, выполненное с возможностью формирования сопоставленных обнаруженных областей посредством вырезания найденных областей из исходных изображений, нормализации, определения характерных точек лица и выравнивания областей относительно друг друга по координатам соответствующих характерных точек;

- средство проведения анализа изменения интенсивности пикселов сопоставленных областей сформированных изображений, выполненное с возможностью построения карт распределения интенсивностей;

- средство формирования решения о рельефности представленного на изображениях лица.

Для функционирования устройства важно, чтобы средство формирования изображений объекта содержало 2D-камеру и блок захвата изображений и было выполнено с возможностью регистрации одного из изображений с включенной лампой подсветки, а второго - с выключенной.

Для функционирования устройства важно, чтобы характерные точки были выбраны из набора характерных точек, содержащего центры и уголки глаз, крылья носа, уголки рта.

Для функционирования устройства важно, чтобы средство проведения анализа изменения интенсивностей пикселов сопоставленных областей было выполнено с возможностью сравнения интенсивности пикселов на выровненных вырезанных областях и вычисления вектора статистических оценок изменения интенсивностей соответствующих участков данных областей.

Для функционирования устройства важно, чтобы средство формирования решения было выполнено с возможностью вычисления значения бинарной решающей функции на векторе статистических оценок.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими чертежами.

Фиг.1. Схема работы способа и устройства распознавания рельефности лица согласно изобретению.

Фиг.2. Пример сформированных изображений объекта и промежуточных результатов работы устройства и способа для фотографии человека согласно изобретению.

Фиг.3. Пример сформированных изображений объекта и промежуточных результатов работы устройства и способа для объемного лица человека согласно изобретению.

Схема функционирования варианта выполнения устройства, реализующего заявленное изобретение, представлена на Фиг.1. Основным результатом работы устройства является признак, принимающий два значения, которые соответствуют решениям, что лицо на входном изображении является рельефным или нет.

Устройство состоит из 2D-камеры, регистрирующей входные изображения, и лампы подсветки, в качестве которой может быть использована, например, лампа накаливания или инфракрасный осветитель.

Блок захвата изображения управляет формированием изображений с 2D-камеры и включением лампы подсветки. Блок посредством 2D-камеры в течение короткого интервала времени регистрирует два изображения человека, взаимодействующего с системой. Одно из этих изображений получено с выключенной лампой подсветки, а другое - с включенной. Факт взаимодействия может быть установлен, например, с использованием реализованного в рамках данного блока детектора объектов, приближающихся к устройству, или, установив требование физического контакта человека посредством набора ПИН-кода, если данное устройство входит в состав системы контроля доступа.

Полученные два изображения с подсветкой и без нее передаются на блок поиска областей, содержащих лица. Основным результатом работы блока являются координаты областей, содержащих лица, вычисленные на каждом из двух изображений отдельно. Реализация данного блока возможна, например, с использованием метода, предложенного в заявке RU No. 2008145913 [10].

Исходные изображения вместе с соответствующими координатами областей, содержащих лица, поступают на вход блока выделения и сопоставления областей. Результатом работы блока являются фрагменты - по одному из каждого изображения - содержащие лицо, нормализованные и выровненные по координатам соответствующих характерных точек. В рамках функционирования данного блока выполняют вырезание из исходных изображений областей, содержащих лицо, в соответствие с координатами, поступающими в качестве входных данных. Внутри каждой области производят поиск характерных точек, например, таких как центры и уголки глаз, крылья носа, уголки рта. Данная функциональность может быть реализована, например, через методы анализа цветовых компонент изображения или алгоритмы обработки градиентной информации, которая обладает характерными признаками для данных областей. После нахождения характерных точек определяют их соответствие на каждом изображении. Далее вырезанные фрагменты подвергают аффинному преобразованию, так чтобы совпали координаты соответствующих найденных характерных точек.

Полученные выровненные фрагменты, содержащие лицо человека, поступают на вход блока анализа изменений областей. Результатом работы блока является вектор числовых значений, характеризующий рельефность представленного лица. В рамках данного блока выполняют сравнение интенсивностей пикселов на входных фрагментах. На рисунках 2 и 3 представлены наборы изображений, полученных при регистрации камерой фотографии человека (Фиг.2), и объемного лица человека (Фиг.3). Первые изображения в каждом наборе есть результат регистрации с выключенной подсветкой, вторые изображения получены после включения подсветки (в данном случае был использован инфракрасный осветитель). Сравнивая попарно изображения с подсветкой и без нее, можно заключить, что законы изменения интенсивностей пикселов при включении подсветки для двух представленных случаев существенно отличаются. Это продемонстрировано на третьих изображениях из каждого набора, где представлены разности первых двух изображений. Последние изображения набора показывают карты распределения соответствующих интенсивностей для изображений с включенной и выключенной подсветкой. На них по оси ординат отложены градации интенсивности изображения, зарегистрированного без подсветки, а по оси абсцисс аналогичные интенсивности для изображения с подсветкой. Процесс построения данных карт выполняют по следующей схеме.

- На изображении без подсветки выделяют группы пикселов, имеющих одинаковую интенсивность.

- Для каждой из выделенных групп проводят поиск соответствующих пикселов на изображении с подсветкой.

- Результирующую карту строят по найденным парам соответствующих пикселов, при этом абсцисса точки на карте определяется интенсивностью пиксела на подсвеченном изображении, а ордината - интенсивностью соответствующего пиксела на изображении без подсветки. Интенсивность точек на карте пропорциональна числу пар пикселов, по которым вычислены координаты этих точек.

Представленные карты также демонстрируют существенные отличия для двух рассмотренных случаев.

Показанные разностные изображения, а также карты распределения интенсивностей могут быть использованы для вычисления оценки рельефности лица, представленного на входных изображениях.

Так, в первом случае подобная оценка может быть вычислена на основе статистических характеристик значений интенсивностей разностного изображения. Наложим на разностное изображение прямоугольную сетку, размер ячейки которой определяется размером детектированного лица. В качестве оценки рельефности вычислим среднее значение дисперсий, посчитанных для областей внутри каждой ячейки сетки.

Оценка показателя рельефности по картам распределения интенсивностей может быть проведена через вычисление следующего показателя:

,

Здесь: N - количество групп пикселов, выделенных на изображении без подсветки, Q_i - множество интенсивностей пикселов на изображении с подсветкой, соответствующих i-ой группе, std(X) - функция вычисления дисперсии для значений из множества X.

Вычисленный вектор числовых значений поступает на блок формирования решения. Результатом работы блока является признак, принимающий два значения, которые соответствуют решениям, что представленное лицо человека является рельефным или нет. Результат работы блока может быть сформирован путем сравнения вычисленной оценки рельефности с пороговым значением.

Заявленное устройство может быть реализовано в виде платы устройств, в состав которой входят видеокамера, устройство подсветки и, по меньшей мере, один сигнальный процессор.

Хотя указанный выше вариант выполнения изобретения был изложен с целью иллюстрации настоящего изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.

Claims

1. Способ распознавания рельефности лица, в котором:
- формируют два изображения объекта, при этом одно из изображений формируют при включенной подсветке, а второе - при выключенной;
- обнаруживают на каждом из двух изображений объекта области, содержащие лица, при этом определяют координаты областей, содержащих лица;
- сопоставляют обнаруженные области, при этом вырезают области исходных изображений в соответствии с координатами областей, содержащих лица, нормализуют, определяют координаты характерных точек лица, выравнивают вырезанные области относительно друг друга так, чтобы координаты соответствующих характерных точек совпали;
- проводят анализ изменения интенсивностей пикселов сопоставляемых областей, при этом строят карты распределения интенсивностей;
- формируют решение о рельефности представленного на изображениях лица.

2. Способ по п.1, отличающийся тем, что находят, по меньшей мере, одну пару характерных точек, выбранную из набора характерных точек, содержащего центры и уголки глаз, крылья носа, уголки рта.

3. Способ по п.1, отличающийся тем, что проводят анализ изменения интенсивностей пикселов сопоставляемых областей, при этом сравнивают интенсивности пикселов на выровненных вырезанных областях и вычисляют вектор статистических оценок изменения интенсивностей соответствующих участков данных областей.

4. Способ по п.1, отличающийся тем, что формируют решение о рельефности лица на изображении, при этом применяют бинарную решающую функцию к вектору статистических оценок.

5. Устройство распознавания рельефности лица, содержащее:
- лампу подсветки;
- средство формирования изображений объекта;
- средство обнаружения областей, содержащих лица, выполненное с возможностью определения координат областей, содержащих лица;
- средство сопоставления обнаруженных областей, выполненное с возможностью формирования сопоставляемых обнаруженных областей посредством вырезания найденных областей из исходных изображений, нормализации, определения характерных точек лица и выравнивания областей относительно друг друга по координатам соответствующих характерных точек;
- средство проведения анализа изменения интенсивности пикселов сопоставляемых областей сформированных изображений, выполненное с возможностью построения карт распределения интенсивностей;
- средство формирования решения о рельефности представленного на изображениях лица.

6. Устройство по п.5, отличающееся тем, что средство формирования изображений объекта содержит 2D камеру и блок захвата изображений и выполнено с возможностью регистрации одного из изображений с включенной лампой подсветки, а второго - с выключенной.

7. Устройство по п.5, отличающееся тем, что характерные точки выбраны из набора характерных точек, содержащего центры и уголки глаз, крылья носа, уголки рта.

8. Устройство по п.5, отличающееся тем, что средство проведения анализа изменения интенсивности пикселов сопоставляемых областей выполнено с возможностью сравнения интенсивности пикселов на выровненных вырезанных областях и вычисления вектора статистических оценок изменения интенсивностей соответствующих участков сопоставляемых областей.

9. Устройство по п.5, отличающееся тем, что средство формирования решения выполнено с возможностью вычисления значения бинарной решающей функции на векторе статистических оценок.