RU2455686C2

RU2455686C2 - Устройство и способ для идентификации лицевых областей

Info

Publication number: RU2455686C2
Application number: RU2009116641/08A
Authority: RU
Inventors: Грегори ПЭЙОНК (US); Грегори ПЭЙОНК; Дик ДЖЕКСОН (CA); Дик ДЖЕКСОН
Original assignee: Джонсон Энд Джонсон Конзьюмер Компаниз, Инк.
Priority date: 2006-10-02
Filing date: 2007-10-01
Publication date: 2012-07-10
Also published as: WO2008042830A3; US20080080746A1; EP2082355A2; CN101573714A; RU2009116641A; EP2082355B1; US8103061B2; WO2008042830A2; EP2082355A4; BRPI0719838B1; BRPI0719838A2; BRPI0719838B8; CN101573714B

Abstract

Изобретение относится к способам для анализа кожи и, в частности, для цифрового формирования изображений и идентификации и анализа конкретных, представляющих интерес лицевых областей. Техническим результатом является обеспечение автоматического идентифицирования лицевых областей на изображениях для повышения скорости и стабильности идентификации лицевых областей для снижения степени зависимости от ввода специалистом. Способ для идентификации лицевых областей на изображении содержит этапы, на которых проверяют значения пикселей изображения, чтобы идентифицировать объекты в изображении, содержащие характерные признаки зрачков, например форму, размер, положение и отражательную способность. Для сокращения времени идентификации зрачков изображение для проверки сводят к входящему прямоугольнику и подвыборке из него и проверяют только цветовой/яркостный канал одного цвета. 2 н. и 14 з.п. ф-лы, 8 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройствам и способам для анализа кожи и, в частности, для цифрового формирования изображений и идентификации и анализа конкретных, представляющих интерес лицевых областей.

Уровень техники изобретения

Ранее предложены различные системы формирования изображений, которые фотографически захватывают изображения лица объекта для анализа состояния здоровья и эстетического внешнего вида кожи. Различные изображения, например захваченные в разные моменты времени или в разных условиях освещения, можно сравнивать между собой для получения правильного представления о состоянии кожи, например в разные моменты времени, например до и после лечения, чтобы определять тенденции изменения состояния кожи. Упомянутые действия обычно выполняются специалистами, изучающими фотографии для определения изменений между ними по цвету, текстуре и т.п. При анализе кожи лица субъекта полезно исследовать конкретные области лица по специальным соответствующим характерным признакам, так как разные области лица имеют индивидуальные форму и функциональное назначение и по-разному взаимодействуют с окружающей средой. Например, кожа, покрывающая нос, подставлена наиболее направленным и интенсивным солнечным лучам, т.е. лучам, испускаемым с позднего утра до раннего времени после полудня, и поэтому содержит большее количество сальных желез и пор для выделения кожных жиров для защиты кожи носа от ожогов и высыхания. Напротив, кожа век прикрыта от солнца благодаря сборкам век и их отведению в глазницы, когда глаза открываются. В отличие от областей кожи носа или щек веки должны быть тонкими и гибкими, с многочисленными складками для облегчения быстрого открывания и закрывания глаза.

Поскольку в настоящее время формирование изображений обычно выполняют цифровой камерой, то получаемые изображения пригодны для количественного анализа. Количественный анализ изображения более информативен, если его выполнять с учетом специализации кожного покрова в разных лицевых областях. Некоторые системы формирования изображений кожи используют обученных специалистов для идентификации лицевых участков ручным прикосновением (на сенсорном экране ввода/вывода) или указанием (курсором и щелчком или обозначением) координатных точек на отображенном изображении лица. В альтернативном варианте на изображении возможно начертание многоугольников (курсором/мышью или стилусом) для идентификации представляющих интерес лицевых областей. Например, участок щеки можно обозначить с использованием линий, соединяющих лицевые координатные опорные точки, например уголок носа, уголок губы, ухо, боковая кромка глаза и обратно к уголку носа. Описанные ручные операции эффективны, но трудоемки и нуждаются в обученных исполнителях. Поэтому целесообразно автоматически идентифицировать лицевые области на изображениях для повышения скорости и стабильности идентификации лицевых областей для снижения степени зависимости от ввода специалистом.

Сущность изобретения

Недостатки и ограничения известных устройств и способов идентификации лицевых областей на изображениях лица субъекта преодолеваются в настоящем изобретении, которое содержит представление, что зрачки/роговицы глаза субъекта можно использовать в качестве опорных точек для идентификации лицевых областей. Предлагаются устройства и способы для автоматической идентификации зрачки/роговицы глаза на изображении субъекта посредством проверки значений пикселей для идентификации объектов на изображении, обладающих характеристиками зрачков или подобных зрачкам исходных опорных точек, например отблесков ламп-вспышек и т.п. Идентификация упомянутых опорных точек допускает идентификацию местоположения лицевых областей.

Краткое описание чертежей

Фиг. 1 - схематичное представление устройства захвата изображения и полученного изображения, захваченного данным устройством.

Фиг. 2a и 2b - участки блок-схемы последовательности операций способа в соответствии с вариантом осуществления настоящего изобретения для автоматической идентификации лицевых участков.

Фиг. 3 - схематичное представление процесса «выбора входящего прямоугольника» изображения.

Фиг. 4 - схематичное представление матрицы CCD (прибора с зарядовой связью)/фильтра и сформированных ими данных изображения.

Фиг. 5a-5c - схематичное представление процесса «пороговой обработки».

Подробное описание изобретения

На фиг. 1 показан субъект S, изображение которого записывается системой 10 формирования изображений в соответствии с настоящим изобретением. Система 10 формирования изображений содержит цифровую камеру 12, которая захватывает изображение в цифровой форме и передает данные цифрового изображения в компьютер 14, например персональный компьютер. После этого компьютер 14 отображает изображение I на дисплее 16. Системы формирования изображений данного типа описаны в нижеследующих заявках на патенты США: заявка на патент США № 10/008753, «Method of Taking Images of the Skin Using Blue Light and the Use Thereof», которая опубликована как публикация патентной заявки США № US 2004/0146290 A1, заявка на патент США № 10/978284, «Apparatus for and Method of Taking and Viewing Images of the Skin», которая опубликована как публикация патентной заявки США № US 2005/0195316 A1, заявка на патент США № 11/169813, «Skin Imaging System with Probe», которая опубликована как публикация патентной заявки США № US 2006/0092315 A1, которые все вместе, целиком включены в настоящую заявку путем отсылки.

Данные I_D изображения, описывающие изображение I, имеют вид данных интенсивности пикселей для каждого пикселя из массива отображаемых пикселей P_X, которые можно идентифицировать по их координатам на координатной сетке X-Y 18. Данные I_D изображения информируют компьютер, например 14, о пикселях, которые следует подсветить на дисплее 16, и об интенсивности подсветки (по серой шкале) каждого пикселя с координатами (X_i, Y_i,), чтобы воспроизвести изображение I. Как отмечено выше, желательно наличие возможности идентифицировать лицевые области, например показанные пунктирными многоугольниками R₁, R₂, R₃. В настоящем изобретении предполагается, что лицевые области, например R₁, R₂, R₃, можно идентифицировать вычислением их координат и формы, если известны координаты обоих зрачков P₁, P₂ субъекта. В частности, если принять, что центр зрачка P₁ имеет координаты X₁, Y₁ и что центр зрачка P₂ имеет координаты X₂, Y₂, межзрачковое расстояние равно IP_D, то можно вычислить центр лица F_C (среднюю точку линии, соединяющей зрачки P₁, P₂, угол A_T наклона лица. Полурасстояние S_D задается как ½ межзрачкового расстояния IP_D. Если известны эмпирические данные представляющей интерес группы субъектов, например всех людей, женщин в возрасте 13-75 лет или японок в возрасте 16-65 лет, то стандартную форму и стандартные координаты соответствующих лицевых областей, например R₁, R₂, R₃ можно задать относительно центра лица F_C/зрачков P₁, P₂, например, расстояниями вершин, например V₁, V₂… и т.п., задающих многоугольники, представляющие лицевые области R₁, R₂, R₃, от центра лица F_C и/или зрачков P₁, P₂, при условии, что известен угол A_T наклона. Смещение вершин V₁, V₂… можно выражать относительными значениями, например в виде дробных или кратных значений от полурасстояния S_D. Таким образом, изображение не обязательно привязывать к стандартным метрическим единицам. В альтернативном варианте, поскольку изображения обычно снимают с задаваемого расстояния, координаты X, Y зрачков несложно преобразовать в стандартные единицы измерения, например дюймы или сантиметры, путем сравнения со сфотографированной масштабной линейкой.

Настоящее изобретение позволяет определять координаты зрачков P₁, P₂ субъекта S в изображении I. На фиг. 2a и 2b представлены участки блок-схемы последовательности операций процесса, реализующего способ выполнения упомянутого определения. После начала 50 процесса, на этапе 52, субъекта S размещают в заданное положение и снимают цифровую фотографию 52 (см. фиг. 1, где субъект S размещен перед цифровой камерой 12). После того как фотография снята, данные цифровой фотографии загружаются на этапе 54 в компьютер 14. Из данных I_D фотографического изображения (см. фиг. 3), на этапе 56 выбирается подмножество участка изображения или выборочная область S_R. Выборочная область S_R является зоной данных I_D изображения, в которой имеет место высокая вероятность того, что в ней будут находиться зрачки. На фиг. 3 показано, что правильно размещенный субъект S будет, по существу, заполнять поле обзора камеры 12, соответствующие данные I_D изображения, пиксели которых выстаиваются на координатной сетке X-Y 18. Выборочную область S_R можно определить как область с высокой вероятностью содержания изображения зрачков P₁, P₂. Основанием этому является физиология человека, а именно: зрачки P₁, P₂ будут находиться в верхней половине изображения, т.е. выше линии Y_B и ниже линии Y_T1. При правильном расположении субъекта зрачки P₁, P₂ будут находиться между левой и правой граничными линиями X_L, X_R. В случае, если зрачки не находятся внутри предварительно заданной выборочной области S_R, границы выборочной области S_R можно перемещать для обследования дополнительных зон данных I_D изображения. Например, верхнюю границу выборочной области S_R можно переместить к линии Y_T2. Целью выбора меньшего подмножества участка изображения для поиска зрачков P₁, P₂ является сокращение времени, необходимого для нахождения зрачков путем уменьшения числа пикселей, которые необходимо просмотреть и проанализировать, как описано ниже. Упомянутый процесс выбора подмножества прямоугольной выборочной области S_R иногда называют «выбором входящего прямоугольника» или «кадрированием». Аналогичное соображение обуславливает выбор, на этапе 57, подвыборки пикселей внутри выборочной области S_R для проверки. Процесс выбора подвыборки является простым пропуском каждых N пикселей в горизонтальном и/или вертикальном направлении. Например, если проверяется/анализируется только один из каждых пяти пикселей в выборочной области S_R, то время анализа сокращается до одной двадцать пятой от времени проверки всех пикселей. Настоящее изобретение можно использовать при поиске, на этапе 58, черных зрачков, которые отличаются отсутствием отражения света, или при поиске, на этапе 64, отблесков лампы-вспышки (отражений от роговиц, которые очень тесно связаны со зрачками и отражают свет, освещающий лицо.) Подходящий способ будет зависеть от ориентации субъекта S относительно камеры 12, т.е. расположения под углом, под которым отражение либо происходит, либо нет. В настоящем изобретении можно использовать любой из способов или оба способа, например последовательно, в случае, если первый способ не обеспечивает определения зрачков. В альтернативном варианте субъект можно располагать под углом относительно ламп-вспышек, что будет обеспечивать высокую вероятность либо темных зрачков (отсутствие отражений), либо отблесков лампы-вспышки (наличие отражений). В случае черных зрачков (отсутствие отражений) порогу пригодности пикселя назначается, на этапе 60, начальное минимальное значение, т.е. соответствующее черному цвету. (Каждый пиксель данных I_D изображения имеет соответствующую интенсивность, первоначально отражаемую напряжением, которое создается на твердотельной емкости, соответствующей пикселю, светом, падающим на данную емкость. Упомянутое напряжение оцифровывается в численное значение.)

На фиг. 4 схематично показана матрица светочувствительных элементов, например CCD-матрица 200 с множеством чувствительных элементов 202, соответствующих пикселям. CCD-матрица 200 содержит фильтр 203 Байера с множеством фильтрующих элементов 204 в чередующихся цветах: красном, зеленом и синем (R, G, B). Выходные сигналы множества светочувствительных элементов 202 можно разложить по трем дискретным цветовым координатным сеткам/каналам: данных 206 зеленого изображения, данных 208 красного изображения и данных 210 синего изображения. Как показано на фиг. 2a, процесс выбора, на этапе 62, изображения 208 красного канала (из подмножества входящего прямоугольника и подвыборки изображения) для анализа имеет такой же результат, как «выбор входящего прямоугольника» на этапе 56 и «взятие подвыборки» на этапе 57, а именно: упомянутый процесс сокращает число подлежащих анализу пикселей и время анализа (на две трети) и именуется «взятием подплоскости». Изображение 208 красного канала характеризуется также более высоким разрешением зрачков, чем синий или зеленый каналы.

В случае, если для распознавания зрачков используют отблески лампы-вспышки или ее отражения 64 от зрачков, то RGB-изображение преобразуется, на этапе 66, в цветовое пространство L*a*b*. Данную операцию можно выполнить с использованием известных алгоритмов. Преобразование на этапе 66 выполняется потому, что отраженные отблески лампы-вспышки удобнее различать по данным изображения, которые являются координатами по оси L* и характеризуют яркость/темноту, чем в любом из цветовых каналов изображения, представленного в формате RGB. После преобразования 66 порогу пригодности пикселя назначается, на этапе 68, начальное максимальное значение, т.е. значение, соответствующее белому свету с максимальной интенсивностью, зарегистрированной пикселями 202 CCD-матрицы 200. Аналогично тому, как при разбиении данных RGB-изображения на красный, зеленый и синий каналы, после преобразования 66 RGB-изображения в пространство цветов L*a*b*, можно выбрать канал или «подплоскость» L* на этапе 70, чтобы проверять пиксели в данном подмножестве данных изображения после обработки сверточным фильтром с прямоугольным окном. Сверточный фильтр с прямоугольным окном применяют потому, что отблеск лампы-вспышки имеет прямоугольную форму. После того как установлен конкретный порог для пикселей либо черных зрачков, либо отблесков ламп-вспышек, каждый пиксель в пределах проверяемого выборочного подмножества пикселей сравнивается, на этапе 72, с пороговым значением для идентификации «подходящих» пикселей, т.е. таких пикселей, которые равны порогу или ниже порога, в случае черных зрачков, или равны порогу или выше порога, в случае отблесков лампы-вспышки.

На фиг. 5a-5c представлен процесс, появляющийся на блок-схеме, показанной на фиг. 2a и 2b. Как показано на фиг. 5a, результат сравнения, на этапе 72, каждого пикселя в выборочном множестве с порогом приводит к идентификации «подходящих» пикселей. На увеличенном фрагменте F₁ изображения IS₁ показаны подходящие пиксели около одного из глаз объекта. Все пиксели 300, 302, 304, 306, 308 и 310 проходят проверку порогом, например в случае черных зрачков, причем каждый из данных пикселей имеет уровень установленного текущего порога или ниже него. Подмножество изображения IS₁ на фиг. 5a недостаточно для иллюстрации изображения, которое будет получено в результате отображения только подходящих пикселей при самом низком пороге в случае черных зрачков или при самом высоком пороге, применяемом при проверке на отблески ламп-вспышек на этапе 64. Процесс проверки на наличие подходящих пикселей не требует отображения получаемых подходящих пикселей, так как их можно идентифицировать на основе значения их интенсивности, но фиг. 5a-5c полезны в ходе визуализации упомянутого процесса. Подходящие пиксели, показанные на фиг. 5a, пространственно взаимосвязаны тем, что они разделены конкретным расстоянием по направлениям X и Y, например пиксели 308 и 310 разделены расстоянием D₁, равным трем пикселям, в направлении X. Что касается пикселей 304 и 310, то расстояние D₂ равно четырем в направлении X и 1 пикселю в направлении Y, при суммарном расстоянии 5 пикселей. Выше показано одно правило измерений. В альтернативном варианте описанное измерение можно легко преобразовать в измерение прямолинейной диагонали посредством вычисления длины гипотенузы для расстояний X и Y между соответствующими пикселями. Пиксели 302 и 304 являются смежными или «сцепленными» пикселями, имеющими общую вершину между собой. «Сцепленные» пиксели можно определить как пиксели, которые имеют общую сторону или вершину, например пиксели 302 и 304. После применения данного определения можно идентифицировать и «вставить», на этапе 74, (фиг. 2b) «сцепленные» пиксели, которые, в противном случае, оказались бы не подходящими по значению интенсивности света, как показано на фиг. 5b, т.е. их можно характеризовать как подходящие пиксели. Например, что касается пикселей 302 и 304, которые определены как «сцепленные», пиксель 326 представляет собой сцепленный пиксель, который «вставлен» и поэтому имеет «подходящий» статус. На основании установленного критерия для «подходящих» пикселей, т.е. на основании интенсивности и сцепленности, подходящие пиксели можно проверять на «связность». Например, пиксель можно определить как «связанный» с другим пикселем, если он находится в пределах заданного расстояния Dx от другого пикселя. В таком случае понятие «связности» можно использовать для задания «объектов» (целей или «блобов» - больших двоичных объектов), а именно: «объекты» можно задать как содержащие минимальное число связанных подходящих пикселей. Затем число подходящих пикселей в каждом объекте можно подсчитать на этапе 76, чтобы определить размер каждого «объекта». Например, можно воспользоваться критерием связности, согласно которому пиксели, разделенные расстоянием не более 5 пикселей в сумме по направлениям X и Y, задают «объект» (цель) как содержащий, по меньшей мере, 2 «связанных» пикселя, и границу каждого из объектов можно задать в виде границы, которая охватывает все связанные пиксели. На фиг. 5a показан первый объект O₁ (пунктирный прямоугольник), содержащий пиксели 302, 304, 308 и 310, каждый из которых отстоит не более чем на 5 пикселей в направлениях X и/или Y от, по меньшей мере, одного другого пикселя в объекте O₁. Пиксели 300 и 306 определяются подходящими относительно порога, но находятся не достаточно близко к другим пикселям, чтобы быть связанными с ними для составления «объекта». Если имеется «объект», состоящий из «связанных» «подходящих» пикселей, то число пикселей можно подсчитать на этапе 76 и затем полученное сосчитанное число можно сравнить с заданным размерным критерием, чтобы определить на этапе 78, содержат ли какие-либо объекты достаточное число пикселей, чтобы их можно было считать означающими зрачки. Например, можно эмпирически определить, что в пределах объекта, по меньшей мере, 50 пикселей должно быть определено подходящими, чтобы служить надежным идентифицирующим признаком зрачка. Если на этапе 78 определяется, что объект не содержит достаточное число пикселей, то дискретно изменяют порог для оценки пригодности на этапе 80 (порог для черных зрачков повышается, и порог для отблесков ламп-вспышек снижается). Дискретное изменение 80 порога оценки пригодности дает возможность найти пригодными дополнительные пиксели в ходе следующей последовательности проверки. Упомянутый процесс постепенного дискретного наращивания/уменьшения порогового критерия называется «пороговой обработкой». При любом данном пороговом значении, если пиксель проходит проверку, то данному пикселю присваивается значение «1», если не проходит, его значение равно «0».

На этапе 82 выполняется проверка, не превышен ли максимальный или минимальный проверочный порог без идентификации зрачков. Например, при проверке на присутствие черных зрачков, если порог увеличен до уровня, с выходом за который нельзя надежно идентифицировать зрачки, например до значения интенсивности, соответствующего светло-серому или белому, то произошел выход за пределы диапазона надежной проверки без идентификации зрачков. Если превышение максимального или минимального проверочного порога произошло, то считается, что автоматическая идентификация зрачков не выполнена и выполняется запасная процедура. А именно, на этапе 84 оператору представляется сообщение, предлагающее вручную отметить на изображении местоположение зрачков. В таком случае оператор может найти местоположение зрачков и указать их местоположение, например, установкой стрелки курсора и двойным щелчком или касанием стилусом дисплея с сенсорным экраном в месте, где заметны зрачки. Соответственно, на этапе 86, оператор отмечает местоположение зрачков, например стилусом. Если идентификация положения зрачков выполнена, то на этапе 88 можно вычислить местоположение различных представляющих интерес лицевых областей относительно зрачков. Затем процесс заканчивается на этапе 110.

Если на этапе 82 не происходит превышения проверочного порога, то сравнение 72 продолжается для идентификации дополнительных подходящих пикселей. После дополнительной проверки на этапе 72 и дискретного изменения порога на этапе 80, все больше пикселей из подмножества IS₂ изображения должно быть определено в качестве подходящих. Как показано на фиг. 5b, фрагмент F₂ подмножества IS₂ данных изображения содержит больше подходящих пикселей, чем идентифицировано на фиг. 5a. Как показано на фиг. 5b, введение дополнительных подходящих пикселей, например, 314 и 318, привело к появлению дополнительных объектов, а именно O₂ и O_3. Кроме того, первоначальный объект O₁ изменился по форме и размеру. Поскольку настоящее изобретение полагается на идентификацию двух зрачков, обеспечивающих достаточную информацию для вычисления координат представляющих интерес лицевых областей, то на этапе 90 (фиг. 2b) делается запрос, распознано ли более одного подходящего объекта (т.е. подходящих по размеру). Если нет, то порог дискретно изменяется на этапе 80, проверяется на переход максимального или минимального порога на этапе 82, и затем выполняется дополнительное сравнение 72. В случае, если существует, более одного подходящего (по размеру) объекта, то каждый из объектов проверяется, чтобы идентифицировать на этапе 92 объекты с подходящими симметрией и формой. Поскольку зрачки являются круглыми, то проверенные объекты должны иметь приблизительно круглую форму, чтобы указывать на зрачки. Проблема идентификации форм в изображениях встречалась в прошлом, и решения найдены и широко известны. Например, языки программирования IDL компании ITT Visual Systems или Image Pro компании Media Cybernetics содержат модули для определения симметрии объекта или «блоба», т.е. для идентификации круглого объекта с использованием морфометрии. С целью демонстрации простой проверки формы на фиг. 5a-5c показан центр C₁ расположения объекта O₁, который можно определить взятием средних значений координат X и Y каждого из связанных пикселей объекта. По мере того как объект O₁ увеличивается (на фиг. 5b и 5c), центр C₁, C₂, C₃ перемещается так, что еще точнее аппроксимирует центр зрачка P. Средний радиус R₁, R₂, R₃, соответствующий каждому центру C₁, C₂, C₃, можно вычислить усреднением расстояний от центра, например C₁, до граничной линии объекта O₁ по направлениям X и Y. Затем можно проверить «округлость» посредством определения процентного содержания пикселей внутри круга, образованного вращением радиуса, например R₁, вокруг центра C₁ (как показано дугами A₁, A₂, A₃). Процентный критерий, т.е. процентное содержание, которое прогнозирует округлость, можно определить эмпирически. Очевидно, что 100% составят критерий прогнозирования, но меньший процент, например 80%, также может точно прогнозировать округлость. В альтернативном варианте форму объекта, например объекта O₁, показанного на фиг. 5c, можно проверять для определения, аппроксимирует ли данная форма квадрат (в заданных пределах допуска). Наличие квадратного объекта, например O₁, прогнозирует округлость.

На этапе 94 выполняется проверка, существует ли более одного объекта, подходящего по форме. Если нет, то порог дискретно изменяется на этапе 80 и проверка 72 возобновляется, так как требуется идентифицировать два зрачка. Если более одного подходящего объекта (по форме) существует, то тогда, на этапе 96, вычисляются расстояния между всеми возможными парами объектов. Упомянутые пары объектов с расстояниями в диапазоне разделения зрачков идентифицируются на этапе 98 и проверяются на этапе 100 для идентификации подходящих пар объектов, которые имеют горизонтальную ориентацию в пределах диапазона разрешенного допуска наклона (чтобы допускать наклон головы). Если на этапе 102 еще не найдено ни одной подходящей пары объектов, то процесс дискретного изменения 80 порога и проверка 72 повторяются. Если на этапе 104 определяются подходящими более одной пары объектов, то считается, что автоматическая идентификация зрачков потерпела неудачу из-за того, что проверка не может отличить зрачки от другой пары объектов, которые не являются зрачками. В случае, если подходящей признается только одна пара объектов, то подходящая пара объектов проверяется на этапе 106, чтобы определить, что их координаты X и Y являются допустимыми, т.е. что зрачки находятся не слишком далеко слева или справа или не слишком далеко наверху или внизу изображения. Другими словами, потребуется тестировщик, чтобы либо маркировать зрачки вручную на этапе 84, либо снова снять изображение из-за неправильного расположения объекта. В случае, если пары объектов занимают допустимое положение по X, Y, то пару объектов можно идентифицировать как зрачки, и их координаты X,Y можно использовать для вычисления, на этапе 108, координаты представляющей интерес лицевой области R₁, R₂…, после чего процесс заканчивается 110. Как отмечено выше, лицевые области можно задавать в виде многоугольников, для которых положение каждой вершины выражается относительно центра лица расстоянием, составляющим некоторое дробное или кратное значение от полурасстояния. Таким образом, лицевые области, которые вычисляются, будут различаться для субъектов с разными размерами головы, в предположении, что упомянутые различия приводят к различию координат зрачков/отблесков (и, соответственно, различию полурасстояний). Так как координаты каждого зрачка/отблеска вычисляются независимо и выражаются относительно центра лица, то наклон и поворот головы будут отражаться при вычислении координат представляющей интерес области, которые аналогичным образом наклоняются/поворачиваются. В результате, настоящее изобретение обеспечивает автоматическую компенсацию наклона головы. В соответствии с настоящим изобретением лицевые области можно определять автоматически по цифровым изображениям без вмешательства или поддержки человека или опоры на надежные реперы. Процесс выполняется быстро, например в течение приблизительно 0,2 секунд, и является воспроизводимым, при этом каждая область вычисляется независимо, так что вычисленные лицевые области автоматически корректируются с учетом разных размеров, местоположений, наклона и поворота головы. Затем можно анализировать элементы, содержащиеся внутри идентифицированных лицевых областей, например с применением нескольких типов подсветки изображения, как описано в заявке на патент США № 10/978284, «Apparatus for and Method of Taking and Viewing Images of the Skin», которая совместно подана авторами настоящей заявки и опубликована как публикация патентной заявки США № US 2005/0195316 A1 («Публикация США № 2005/0195316»), и целиком включена в настоящую заявку путем отсылки.

Выше описаны примерное устройство и способ для идентификации зрачков и лицевых областей в изображении. Различные модификации описанного изобретения можно создавать без выхода за пределы объема настоящего изобретения. Например, определение «связанных» пикселей может содержать пиксели на большем или меньшем расстоянии, и/или может быть изменен порядок условий проверки. Например, наклон пары объектов может проверяться до расстояния, разделяющего пару объектов. Формула изобретения, представленная в настоящей заявке, предполагает охват всех упомянутых изменений и модификаций.

Claims

1. Способ идентификации лицевых областей субъекта на цифровом изображении, содержащем множество пикселей, при этом способ содержит этапы, на которых:
(А) проверяют множество пикселей изображения, чтобы идентифицировать пиксели, связанные с формированием изображений зрачков субъекта, посредством количественного сравнения значения, соответствующего проверяемым пикселям, которое характеризует интенсивность, с критериальным значением интенсивности, характерным для формирования изображения зрачков, чтобы идентифицировать подходящие пиксели, которые потенциально прогнозируют пиксели формирования изображения зрачков, критериальное значение интенсивности определяют посредством выбора первого критериального значения интенсивности, наиболее точно прогнозирующего формирование изображений зрачков, с последующей проверкой по первому критериальному значению интенсивности для определения, идентифицированы ли зрачки на цифровом изображении, и, если нет, то выполняют пороговую обработку итерационной пошаговой коррекцией первого критериального значения интенсивности таким образом, что оно прогрессирующе меньше характеризует формирование изображения зрачков, проверяют пиксели, и повторяют до тех пор, пока не идентифицируются подходящие пиксели, или пока не достигается предельное критериальное значение интенсивности;
B) группируют подходящие пиксели в объекты на основе пространственной взаимосвязи между подходящими пикселями и подсчитывают число объектов для определения, идентифицировано ли, по меньшей мере, два объекта, и, если нет, то продолжают проверять пиксели для идентификации дополнительных подходящих пикселей корректируют критериальное значение интенсивности и проверяют пиксели для идентификации дополнительных подходящих пикселей;
C) проверяют объекты для определения, имеют ли объекты размер, прогнозирующий формирование изображения зрачков, и, если нет, то корректируют критериальное значение интенсивности и проверяют пиксели для идентификации дополнительных подходящих пикселей;
D) вычисляют координаты лицевой области на изображении на основе координат зрачков, идентифицированных на этапе (А).

2. Способ по п.1, дополнительно содержащий этап, на котором проверяют объекты для определения, имеют ли объекты форму, прогнозирующую формирование изображения зрачков, и, если нет, то продолжают проверять пиксели для идентификации дополнительных подходящих пикселей.

3. Способ по п.2, дополнительно содержащий этап, на котором проверяют объекты для определения, разделены ли объекты интервалом, прогнозирующим формирование изображения зрачков, и, если нет, то продолжают проверять пиксели для идентификации дополнительных подходящих пикселей.

4. Способ по п.3, дополнительно содержащий этап, на котором проверяют объекты для определения, имеют ли объекты ориентацию внутри цифрового изображения, прогнозирующую формирование изображения зрачков, и, если нет, то продолжают проверять пиксели для идентификации дополнительных подходящих пикселей.

5. Способ по п.2, в котором упомянутый этап проверки формы объектов выполняется методами морфометрии.

6. Способ по п.1, дополнительно содержащий этап, на котором идентифицируют неподходящие пиксели, которые пространственно связаны с подходящими пикселями, таким образом, что учет данных неподходящих связанных пикселей в качестве подходящих, в общем, повысит вероятность того, что объект, содержащий неподходящие в других отношениях, связанные пиксели, будет прогнозировать формирование изображения зрачков.

7. Способ по п.1, дополнительно содержащий этап, на котором выбирают входящий прямоугольник посредством ограничения проверки подмножеством пикселей, на основе эмпирически установленной повышенной вероятности расположения зрачков на конкретном подучастке в цифровом изображении.

8. Способ по п.1, дополнительно содержащий этап, на котором берут подвыборку посредством ограничения проверки каждым N-м пикселем для сокращения числа проверяемых пикселей.

9. Способ по п.1, дополнительно содержащий этап, на котором выбирают подплоскость посредством ограничения проверки каналом одного цвета.

10. Способ по п.9, в котором цветовой канал является красным.

11. Способ по п.1 или 2, в котором критериальное значение интенсивности соответствует отсутствию цвета/темноте.

12. Способ по п.1, в котором критериальное значение интенсивности характеризует яркость.

13. Способ по п.1, в котором как значение, соответствующее проверяемым пикселям, которое характеризует интенсивность, так и критериальное значение интенсивности выражают величиной L* в цветовом пространстве L*a*b* перед сравнением.

14. Способ по п.1, в котором вычисление координат лицевой области основано на межзрачковом расстоянии и эмпирических данных для популяции, соответствующей субъекту.

15. Способ по п.1, дополнительно содержащий этап, на котором анализируют изображение лицевой области для определения состояния кожи субъекта.

16. Способ идентификации лицевой области субъекта на цифровом изображении, содержащем множество пикселей, при этом, способ содержит этапы, на которых:
(A) выбирают входящий прямоугольник посредством выбора подмножества из множества пикселей на основе эмпирически установленной повышенной вероятности расположения зрачков на конкретном подучастке в цифровом изображении;
(B) берут подвыборку посредством выбора каждого N-го пикселя из подмножества входящего прямоугольника;
(C) выбирают подплоскость посредством выбора пикселей в канале одного цвета подмножества взятой подвыборки входящего прямоугольника для образования подмножества St подлежащих проверке пикселей;
(D) выбирают начальное критериальное значение интенсивности пикселя, прогнозирующее формирование изображения зрачков;
(Е) количественно сравнивают значение интенсивности пикселя, соответствующее каждому из пикселей в подмножестве St с критериальным значением интенсивности пикселя, чтобы идентифицировать подходящие пиксели, которые потенциально прогнозируют формирование изображения зрачков;
(F) группируют подходящие пиксели в объекты на основе пространственной взаимосвязи между подходящими пикселями и подсчитывают число объектов для определения, идентифицировано ли, по меньшей мере, два объекта, и, если нет, то переходят к этапу (K), в противном случае, переходят к этапу (G);
(G) проверяют объекты для определения, имеют ли объекты размер, прогнозирующий формирование изображения зрачков, и, если нет, то переходят к этапу (K), в противном случае, переходят к этапу (Н);
(Н) проверяют объекты для определения, имеют ли объекты форму, прогнозирующую формирование изображения зрачков, и, если нет, то переходят к этапу (K), в противном случае, переходят к этапу (I);
(I) проверяют объекты для определения, разделены ли объекты интервалом, прогнозирующим формирование изображения зрачков, и, если нет, то переходят к этапу (K), в противном случае, переходят к этапу (J);
(J) проверяют объекты для определения, имеют ли объекты ориентацию внутри цифрового изображения, прогнозирующую формирование изображения зрачков, и, если да, то переходят к этапу (N), в противном случае, переходят к этапу (K);
(K) идентифицируют неподходящие пиксели, которые пространственно связаны с подходящими пикселями, таким образом, что учет данных неподходящих связанных пикселей в качестве подходящих, в общем, повысит вероятность того, что объект, содержащий неподходящие в других отношениях, связанные пиксели, будет прогнозировать формирование изображения зрачков;
(L) корректируют критериальное значение интенсивности таким образом, что оно меньше характеризует формирование изображения зрачков, но не выходит из предварительно заданного предельного диапазона значений;
(М) повторяют этапы (E)-(L), пока проверки, описанные на этапах (G)-(J), не удовлетворят условиям, и, если удовлетворят, то переходят на этап (N), или, при превышении предварительно заданного предельного значения, выдается сообщение и прекращается выполнение способа;
(N) вычисляют координаты лицевой области на изображении на основе координат идентифицированных зрачков.