KR20200034018A - 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 - Google Patents
적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 Download PDFInfo
- Publication number
- KR20200034018A KR20200034018A KR1020180108763A KR20180108763A KR20200034018A KR 20200034018 A KR20200034018 A KR 20200034018A KR 1020180108763 A KR1020180108763 A KR 1020180108763A KR 20180108763 A KR20180108763 A KR 20180108763A KR 20200034018 A KR20200034018 A KR 20200034018A
- Authority
- KR
- South Korea
- Prior art keywords
- infrared
- image
- face recognition
- learning
- pixel value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011521 glass Substances 0.000 claims description 36
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06K9/00221—
-
- G06K9/4661—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
안경 착용자에 대한 얼굴 인식률을 높일 수 있는 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법이 개시된다. 개시된 적외선 영상 기반 얼굴 인식을 위한 학습 방법은 적외선 광원을 통해 획득한 제1적외선 얼굴 영상에서 눈을 검출하는 단계; 상기 제1적외선 얼굴 영상의 상기 눈 또는 상기 눈의 주변에, 상기 적외선 광원에 대한 반사광 성분을 추가하여, 제2적외선 얼굴 영상을 생성하는 단계; 및 상기 제2적외선 얼굴 영상을 이용하여, 얼굴 인식을 위한 학습을 수행하는 단계를 포함한다.
Description
본 발명은 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법에 관한 것으로서, 더욱 상세하게는 안경 착용자에 대한 얼굴 인식률을 높일 수 있는 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법에 관한 것이다.
최근 모바일 단말, 보안 시스템 등 다양한 분야에 사용자를 인증하기 위해 얼굴 인식 기술이 사용되고 있다. 그리고 이러한 얼굴 인식 기술의 인식률은, 기계 학습 기술의 발전으로 매우 높아지고 있다.
기계 학습 기반의 얼굴 인식 기술은, 다양한 얼굴 영상을 통해 만들어진 학습 데이터를 이용한다. 일예로서 인증 대상인 사용자의 얼굴 영상을 정답으로 이용하고, 그외 다른 사람들의 얼굴 영상을 오답으로 이용하여, 인공 신경망을 학습시킬 수 있으며, 이와 같이 학습된 인공 신경망에 의해, 입력된 얼굴 영상이 사용자에 대한 얼굴 영상인지 여부가 식별될 수 있다.
학습에 이용되는 얼굴 영상으로, RGB 영상 또는 근적외선 광원이 조사되는 환경에서 촬영된 적외선 영상이 이용된다. RGB 영상의 경우 외부 조명에 따라서, 예컨대 실외에서 촬영된 영상과 실내에서 촬영된 영상 사이의 차이가 많이 나는 반면, 적외선 영상의 경우 외부 조명에 강인한 특성을 나타내기 때문에 높은 보안성이 요구되는 환경에서는 적외선 영상을 이용하는 얼굴 인식 시스템이 선호되고 있다. 또한 RGB 영상을 이용하는 얼굴 인식 시스템의 경우, 실제 얼굴이 아닌 사진에 대한 영상도 인식이 되는 문제가 있기 때문에, 높은 보안성이 요구되는 환경에서는 적외선 영상을 이용하는 얼굴 인식 시스템이 더욱 선호되고 있다.
기계 학습을 이용하는 얼굴 인식 방법의 경우, 학습에 이용되는 레퍼런스 데이터의 양이 많을수록 얼굴 인식의 정확도가 높아질 수 있다. 안경을 쓰지 않은 다양한 사람의 적외선 얼굴 영상은 학습용으로 많이 공개가 되었지만, 안경 착용자에 대한 학습용 적외선 얼굴 영상은 상대적으로 공개된 양이 적은 편이다. 직접 안경 착용자에 대한 적외선 얼굴 영상을 촬영하여 학습에 이용할 수도 있지만, 상당한 시간과 비용이 필요하다.
관련된 선행문헌으로, 대한민국 공개특허 제2008-0065532호, 제2018-0092453호, 대한민국 등록특허 제10-1611816호가 있다.
본 발명은 안경 착용자에 대한 얼굴 인식률을 높일 수 있는 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 적외선 광원을 통해 획득한 제1적외선 얼굴 영상에서 눈을 검출하는 단계; 상기 제1적외선 얼굴 영상의 상기 눈 또는 상기 눈의 주변에, 상기 적외선 광원에 대한 반사광 성분을 추가하여, 제2적외선 얼굴 영상을 생성하는 단계; 및 상기 제2적외선 얼굴 영상을 이용하여, 얼굴 인식을 위한 학습을 수행하는 단계를 포함하는 적외선 영상 기반 얼굴 인식을 위한 학습 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 적외선 광원을 통해 획득한 타겟 적외선 얼굴 영상을 입력받는 단계; 및 얼굴 인식 학습 데이터에 기반하여, 상기 타겟 적외선 얼굴 영상에 대한 얼굴 인식 결과를 출력하는 단계를 포함하며, 상기 얼굴 인식 학습 데이터는 상기 적외선 광원을 통해 획득한 레퍼런스 적외선 얼굴 영상의 눈 또는 상기 눈의 주변에, 상기 적외선 광원에 대한 반사광 성분을 추가하여 얼굴 인식 학습을 수행한 데이터인 적외선 영상 기반 얼굴 인식 방법이 제공된다.
본 발명에 따르면, 안경을 착용한 상태의 적외선 얼굴 영상의 특징을 이용하여, 안경을 착용한 상태의 적외선 얼굴 영상을 직접 촬영하여 학습한 것과 동일한 학습 효과를 제공할 수 있다.
또한 본 발명에 따르면, 직접 안경을 착용한 상태의 다양한 적외선 얼굴 영상을 적외선 카메라를 이용해 촬영할 필요가 없으므로, 안경을 착용한 상태의 학습용 적외선 얼굴 영상을 획득하는데 소요되는 시간과 비용을 줄일 수 있다.
도 1은 본 발명에 따른 적외선 영상 기반 얼굴 인식 방법을 위한 학습 방법의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식을 위한 학습 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식을 위한 학습 방법을 설명하기 위한 도면이다.
도 4는 안경을 미착용한 상태에서의 적외선 얼굴 영상과 반사광 성분이 추가된 적외선 얼굴 영상을 도시하는 도면이다.
도 5는 반사광 성분의 화소값을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식을 위한 학습 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식을 위한 학습 방법을 설명하기 위한 도면이다.
도 4는 안경을 미착용한 상태에서의 적외선 얼굴 영상과 반사광 성분이 추가된 적외선 얼굴 영상을 도시하는 도면이다.
도 5는 반사광 성분의 화소값을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식 장치를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명에 따른 적외선 영상 기반 얼굴 인식 방법을 위한 학습 방법의 개념을 설명하기 위한 도면으로서, 동일한 사람에 대한 안경을 미착용한 상태에서의 적외선 얼굴 영상(110)과 안경을 착용한 상태에서의 적외선 얼굴 영상(120)을 나타낸다.
도 1에 도시된 바와 같이, 안경을 미착용한 상태에서는 얼굴의 눈 주위에 반사광 성분이 없는 적외선 얼굴 영상(110)이 획득될 수 있지만, 안경을 착용한 상태에서는 적외선 빛이 안경 렌즈에 의해 반사되기 때문에, 얼굴의 눈 주위에 적어도 하나의 반사광 성분(121)이 존재하는 적외선 얼굴 영상(120)이 획득된다.
이러한 반사광 성분에 의해 적외선 얼굴 영상에서, 눈이 가려지는 현상이 발생하기 때문에, 안경을 착용하지 않은 상태에서의 적외선 얼굴 영상만을 이용하여 학습을 수행하면, 안경을 착용한 상태의 적외선 얼굴 영상에 대한 얼굴 인식 성능이 떨어질 수 있다. 다시 말해, 동일한 사용자가 안경을 착용하지 않은 상태로 얼굴 인식을 수행할 경우에는 인식이 되지만, 안경을 착용한 상태로 얼굴 인식을 수행할 경우에는 인식이 안될 수 있는 것이다.
따라서, 적외선 얼굴 영상을 이용하는 얼굴 인식 시스템에서 얼굴 인식 성능을 높이기 위해서는, 안경을 착용한 상태의 다양한 적외선 얼굴 영상을 학습에 이용할 필요가 있지만, 학습을 위해 공개된, 안경을 착용한 상태의 적외선 얼굴 영상은 부족한 실정이다. 직접 안경을 착용한 상태의 다양한 적외선 얼굴 영상을 적외선 카메라를 이용해 촬영할 수도 있지만, 수많은 사람을 섭외하는 것부터 시작해 일일이 카메라로 촬영하는 것까지 물리적으로 많은 시간과 비용이 소모된다.
이에 본 발명은, 직접 안경을 착용한 상태의 다양한 적외선 얼굴 영상을 적외선 카메라를 이용해 촬영할 필요없이, 안경을 착용한 상태의 적외선 얼굴 영상의 특징을 이용하여, 학습에 필요한 적외선 얼굴 영상을 생성한 후, 학습을 수행하는 방법을 제안한다.
안경을 착용한 상태의 적외선 얼굴 영상(120)에는, 도 1에 도시된 바와 같이, 눈 주변에 반사광 성분(121)이 포함된다는 점에 착안하여, 본 발명은 안경을 미착용한 상태에서의 적외선 얼굴 영상의 눈 주변에 랜덤하게 반사광 성분을 포함시키고, 이와 같이 반사광 성분이 포함된 적외선 얼굴 영상을 이용하여 학습을 수행한다.
따라서 본 발명에 따르면, 안경을 착용한 상태의 적외선 얼굴 영상을 직접 촬영하여 학습한 것과 동일한 학습 효과를 제공할 수 있다.
또한 본 발명에 따르면, 직접 안경을 착용한 상태의 다양한 적외선 얼굴 영상을 적외선 카메라를 이용해 촬영할 필요없이 영상 처리를 통해 반사광 성분만을 적외선 얼굴 영상에 추가하면 되므로, 안경을 착용한 상태의 학습용 적외선 얼굴 영상을 획득하는데 소요되는 시간과 비용을 줄일 수 있다.
도 2는 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식을 위한 학습 장치를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명에 따른 학습 장치는 눈 검출부(210), 영상 처리부(220) 및 학습부(230)를 포함한다.
눈 검출부(210)는 적외선 광원이 조사되는 환경에서 촬영된 제1 적외선 얼굴 영상을 입력받아, 제1적외선 얼굴 영상에서 눈을 검출한다. 눈 검출부(210)는 AdaBoost 알고리즘 등 다양한 방식의 눈 검출 알고리즘을 이용하여 눈을 검출할 수 있다.
영상 처리부(220)는 제1적외선 얼굴 영상의 눈 또는 눈의 주변에, 적외선 광원에 대한 반사광 성분을 추가하여, 제2적외선 얼굴 영상을 생성한다. 즉, 제2적외선 얼굴 영상은 제1적외선 얼굴 영상에 반사광 성분이 증강(augmentation)된 영상이다. 피사체가 적외선 빛을 반사시키는 물체, 예컨대 안경, 안경형 디바이스 또는 선글라스 등을 착용하였을 때, 도 1에 도시된 바와 같이, 피사체의 눈 주변에 반사광 성분이 생성되기 때문에, 영상 처리부(220)는 제1적외선 얼굴 영상의 눈 또는 눈의 주변에 반사광 성분을 추가한다.
반사광 성분이 추가되는 영역은 눈을 포함하여 눈으로부터 미리 설정된 거리 내의 영역일 수 있으며, 반사광 성분의 형상, 개수 등은, 안경을 착용한 상태의 다양한 적외선 얼굴 영상을 통계적으로 분석하여 결정될 수 있다.
학습부(230)는 제2적외선 얼굴 영상을 이용하여, 얼굴 인식을 위한 학습을 수행하여, 학습 데이터를 생성한다. 학습부(230)는, 학습에 이용되는 레퍼런스 데이터인 제2적외선 얼굴 영상을 다양한 학습 알고리즘에 적용하여 학습을 수행할 수 있으며, 일예로서, FaceNet, NIRFaceNet 등과 같은 얼굴 인식 학습 알고리즘을 이용하여 학습 데이터를 생성할 수 있다.
본 발명의 다른 실시예에 따른 학습 장치는 적외선 광원 및 적외선 카메라를 더 포함할 수 있다. 적외선 카메라는 적외선 광원의 빛이 조사되는 피사체에 대한 얼굴 영상을 획득하여 눈 검출부(210)로 제공할 수 있다.
또한 본 발명의 또 다른 실시예에 따른 학습 장치는 눈 검출부와 영상 처리부를 포함하지 않으며, 외부 장치에서 생성된 제2적외선 얼굴 영상을 입력받아 학습을 수행할 수도 있다.
도 3은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식을 위한 학습 방법을 설명하기 위한 도면이며, 도 4는 안경을 미착용한 상태에서의 적외선 얼굴 영상과 반사광 성분이 추가된 적외선 얼굴 영상을 도시하는 도면이다. 그리고 도 5는 반사광 성분의 화소값을 설명하기 위한 도면이다.
본 발명에 따른 학습 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이하에서는 도 2의 학습 장치에서 수행되는 학습 방법이 일실시예로서 설명된다.
본 발명에 따른 학습 장치는 적외선 광원을 통해 획득한 제1적외선 얼굴 영상에서 눈을 검출(S310)한다. 일실시예로서, 도 4(a) 및 도 4(b)의 좌측 영상과 같은 제1적외선 얼굴 영상(410, 430)을 제공받아 눈을 검출할 수 있다.
본 발명에 따른 학습 장치는 제1적외선 얼굴 영상의 눈 또는 눈의 주변에, 적외선 광원에 대한 반사광 성분을 추가하여, 제2적외선 얼굴 영상을 생성(S320)한다. 일실시예로서, 도 4(a) 및 도 4(b)의 우측 영상은, 제1적외선 얼굴 영상(410, 430) 각각으로부터 생성된 제2적외선 얼굴 영상(420, 440)의 일예를 나타낸다. 도 4에서, 눈 및 눈 주위에 하얗게 표시된 영역이 반사광 성분에 대응되는 영역을 나타낸다.
도 1에 도시된 바와 같이, 반사광 성분이 위치하는 영역은 주변 영역보다 밝기 때문에, 학습 장치는 최대값의 화소값을 갖는 반사광 성분을 제1적외선 얼굴 영상에 추가하여, 제2적외선 얼굴 영상을 생성할 수 있다. 최대값의 화소값은 적외선 얼굴 영상에서 가장 밝은 화소값에 대응된다.
또한 반사광 성분은 대체적으로 타원 형상을 나타내기 때문에, 학습 장치는 랜덤한 타원 형상의 반사광 성분을 제1적외선 얼굴 영상에 추가할 수 있다.
이 때, 제1적외선 얼굴 영상에 추가되는 반사광 성분의 위치, 개수 및 형상은 랜덤하게 결정될 수 있다.
본 발명에 따른 학습 장치는 단계 S320에서, 최대값인 제1화소값 및 최대값보다 작은 제2화소값을 포함하는 반사광 성분을 제1적외선 얼굴 영상에 추가할 수 있다. 반사광 성분은 중심부가 가장 밝고 중심부에서 멀어질수록 어두워지는 패턴을 나타내기 때문에, 학습 장치는 도 5에 도시된 바와 같이, 제2화소값을 포함하는 제2영역(520)이 제1화소값을 포함하는 제1영역(510)의 주변에 위치하여 제1영역(510)을 둘러싸도록 반사광 성분(500)을 생성할 수 있다. 이 때, 제2영역(520)의 화소값은 제1영역(510)에서 멀리 떨어질수록 작아질 수 있으며, 반사광 성분(500) 주변의 화소값에 따라 결정될 수 있다. 예컨대, 제2화소값은 제1영역(510)의 화소값과 반사광 성분(500) 주변의 화소값을 보간하여 결정될 수 있다.
본 발명에 따른 학습 장치는 제2적외선 얼굴 영상을 이용하여, 얼굴 인식을 위한 학습을 수행하여, 학습 데이터를 생성한다. 이러한 학습 데이터는 후술되는 얼굴 인식에 이용될 수 있다.
한편, 본 발명에 다른 실시예에 따른 학습 방법은 안경, 안경형 디바이스 또는 선글라스가 착용된 상태에서, 적외선 광원을 통해 획득한 복수의 적외선 얼굴 영상을 이용하여, 반사광 성분의 위치, 형상 및 개수 중 적어도 하나를 분석하는 단계를 더 포함할 수 있다. 본 발명에 따른 학습 장치는 반사광 성분의 위치, 형상 및 개수를 통계적으로 분석할 수 있으며, 단계 S320에서 학습 장치는 전술된 분석 결과를 이용하여 통계적으로 가장 많이 도출된 반사광 성분의 위치, 형상 및 개수에 따라서 반사광 성분을 제1적외선 얼굴 영상에 추가할 수 있다.
예컨대, 안경을 착용한 상태로 적외선 광원을 통해 획득한 적외선 얼굴 영상에서, 반사광 성분이 눈의 위쪽보다 아랫쪽에 많이 발생한다면, 학습 장치는 눈의 아랫쪽에 보다 많은 반사광 성분을 추가하여 제2적외선 얼굴 영상을 생성할 수 있다.
도 6은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식 장치를 설명하기 위한 도면이다.
도 6을 참조하면, 본 발명에 따른 적외선 영상 기반 얼굴 인식 장치는 적외선 광원(610), 적외선 카메라(620), 인식부(630) 및 학습 데이터 저장부(640)를 포함한다.
적외선 광원(610)은 얼굴 인식 대상인 타겟 피사체로 적외선 빛을 조사하며, 적외선 카메라(620)는 타겟 피사체에 대한 타겟 적외선 얼굴 영상을 획득한다.
인식부(630)는 타겟 적외선 얼굴 영상 및 학습 데이터 저장부(640)에 저장된 얼굴 인식 학습 데이터를 이용하여, 타겟 적외선 얼굴 영상을 인식한다. 예컨대, 인식부(630)는 타겟 적외선 얼굴 영상이 미리 등록된 피사체에 대한 적외선 얼굴 영상인지 여부를 식별할 수 있다.
학습 데이터 저장부(640)에 저장된 얼굴 인식 학습 데이터는 도 3 내지 도 5에서 설명된 학습 방법에 의해 생성된 학습 데이터로서, 적외선 광원을 통해 획득한 학습용 레퍼런스 적외선 얼굴 영상의 눈 또는 눈의 주변에, 적외선 광원에 대한 반사광 성분을 추가하여 얼굴 인식 학습을 수행한 데이터이다. 이러한 얼굴 인식 학습 데이터는 일실시예로서 학습이 수행된 인공 신경망 형태의 데이터일 수 있다.
도 7은 본 발명의 일실시예에 따른 적외선 영상 기반 얼굴 인식 방법을 설명하기 위한 도면이다.
본 발명에 따른 학습 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이하에서는 도 6의 얼굴 인식 장치에서 수행되는 얼굴 인식 방법이 일실시예로서 설명된다.
본 발명에 따른 얼굴 인식 장치는 적외선 광원을 통해 획득한 타겟 적외선 얼굴 영상을 입력(S710)받고, 얼굴 인식 학습 데이터에 기반하여, 타겟 적외선 얼굴 영상에 대한 얼굴 인식 결과를 출력(S720)한다. 여기서, 얼굴 인식 학습 데이터는 적외선 광원을 통해 획득한 레퍼런스 적외선 얼굴 영상의 눈 또는 눈의 주변에, 적외선 광원에 대한 반사광 성분을 추가하여 얼굴 인식 학습을 수행한 데이터이다.
반사광 성분의 화소값은 최대값인 제1화소값 및 최대값보다 작은 제2화소값을 포함하며, 제2화소값을 포함하는 영역은 제1화소값을 포함하는 영역의 주변에 위치하는 영역일 수 있다. 레퍼런스 적외선 얼굴 영상에 추가된 반사광 성분의 형상은 타원 형상일 수 있으며,제2화소값은 반사광 성분 주변의 화소값에 따라 결정될 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Claims (11)
- 적외선 광원을 통해 획득한 제1적외선 얼굴 영상에서 눈을 검출하는 단계;
상기 제1적외선 얼굴 영상의 상기 눈 또는 상기 눈의 주변에, 상기 적외선 광원에 대한 반사광 성분을 추가하여, 제2적외선 얼굴 영상을 생성하는 단계; 및
상기 제2적외선 얼굴 영상을 이용하여, 얼굴 인식을 위한 학습을 수행하는 단계
를 포함하는 적외선 영상 기반 얼굴 인식을 위한 학습 방법.
- 제 1항에 있어서,
상기 반사광 성분의 화소값은
최대값을 포함하는
적외선 영상 기반 얼굴 인식을 위한 학습 방법.
- 제 2항에 있어서,
상기 반사광 성분의 화소값은
상기 최대값인 제1화소값 및 상기 최대값보다 작은 제2화소값을 포함하며,
상기 제2화소값을 포함하는 영역은
상기 제1화소값을 포함하는 영역의 주변에 위치하는 영역인
적외선 영상 기반 얼굴 인식을 위한 학습 방법.
- 제 3항에 있어서,
상기 제2화소값은
상기 반사광 성분 주변의 화소값에 따라 결정되는
적외선 영상 기반 얼굴 인식을 위한 학습 방법.
- 제 1항에 있어서,
상기 반사광 성분은
타원 형상인
적외선 영상 기반 얼굴 인식을 위한 학습 방법.
- 제 1항에 있어서,
안경, 안경형 디바이스 또는 선글라스가 착용된 상태에서, 상기 적외선 광원을 통해 획득한 복수의 제3적외선 얼굴 영상을 이용하여, 상기 반사광 성분의 위치, 형상 및 개수 중 적어도 하나를 분석하는 단계
를 더 포함하는 적외선 영상 기반 얼굴 인식을 위한 학습 방법.
- 제 1항에 있어서,
상기 제1적외선 얼굴 영상은
안경이 미착용된 상태에서의 적외선 얼굴 영상인
적외선 영상 기반 얼굴 인식을 위한 학습 방법.
- 적외선 광원을 통해 획득한 타겟 적외선 얼굴 영상을 입력받는 단계; 및
얼굴 인식 학습 데이터에 기반하여, 상기 타겟 적외선 얼굴 영상에 대한 얼굴 인식 결과를 출력하는 단계를 포함하며,
상기 얼굴 인식 학습 데이터는
상기 적외선 광원을 통해 획득한 레퍼런스 적외선 얼굴 영상의 눈 또는 상기 눈의 주변에, 상기 적외선 광원에 대한 반사광 성분을 추가하여 얼굴 인식 학습을 수행한 데이터인
적외선 영상 기반 얼굴 인식 방법.
- 제 8항에 있어서,
상기 반사광 성분의 화소값은
최대값을 포함하는
적외선 영상 기반 얼굴 인식 방법.
- 제 9항에 있어서,
상기 반사광 성분의 화소값은
상기 최대값인 제1화소값 및 상기 최대값보다 작은 제2화소값을 포함하며,
상기 제2화소값을 포함하는 영역은
상기 제1화소값을 포함하는 영역의 주변에 위치하는 영역인
적외선 영상 기반 얼굴 인식 방법.
- 제 10항에 있어서,
상기 제2화소값은
상기 반사광 성분 주변의 화소값에 따라 결정되는
적외선 영상 기반 얼굴 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180108763A KR102151851B1 (ko) | 2018-09-12 | 2018-09-12 | 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180108763A KR102151851B1 (ko) | 2018-09-12 | 2018-09-12 | 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200034018A true KR20200034018A (ko) | 2020-03-31 |
| KR102151851B1 KR102151851B1 (ko) | 2020-09-03 |
Family
ID=70001961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180108763A KR102151851B1 (ko) | 2018-09-12 | 2018-09-12 | 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102151851B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024025179A1 (ko) * | 2022-07-26 | 2024-02-01 | 삼성전자 주식회사 | 생체 정보에 기반한 외부 표시 장치와의 연결 방법 및 전자 장치 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070081773A (ko) * | 2006-02-13 | 2007-08-17 | 스마트 와이어레스 가부시키가이샤 | 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치 |
| KR20090093223A (ko) * | 2008-02-29 | 2009-09-02 | 홍익대학교 산학협력단 | 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거 |
| KR101014325B1 (ko) * | 2008-02-11 | 2011-02-14 | 김동의 | 적외선을 이용한 얼굴인식 시스템 및 방법 |
| WO2012147027A1 (en) * | 2011-04-28 | 2012-11-01 | Koninklijke Philips Electronics N.V. | Face location detection |
| KR101373274B1 (ko) * | 2012-11-08 | 2014-03-11 | 주식회사 크라스아이디 | 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치 |
| KR101393717B1 (ko) * | 2012-06-26 | 2014-05-13 | 구글 인코포레이티드 | 얼굴 인식 기술 |
| KR20170018666A (ko) * | 2015-08-10 | 2017-02-20 | 삼성전자주식회사 | 얼굴 인식 방법 및 장치 |
-
2018
- 2018-09-12 KR KR1020180108763A patent/KR102151851B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070081773A (ko) * | 2006-02-13 | 2007-08-17 | 스마트 와이어레스 가부시키가이샤 | 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치 |
| KR101014325B1 (ko) * | 2008-02-11 | 2011-02-14 | 김동의 | 적외선을 이용한 얼굴인식 시스템 및 방법 |
| KR20090093223A (ko) * | 2008-02-29 | 2009-09-02 | 홍익대학교 산학협력단 | 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거 |
| WO2012147027A1 (en) * | 2011-04-28 | 2012-11-01 | Koninklijke Philips Electronics N.V. | Face location detection |
| KR101393717B1 (ko) * | 2012-06-26 | 2014-05-13 | 구글 인코포레이티드 | 얼굴 인식 기술 |
| KR101373274B1 (ko) * | 2012-11-08 | 2014-03-11 | 주식회사 크라스아이디 | 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치 |
| KR20170018666A (ko) * | 2015-08-10 | 2017-02-20 | 삼성전자주식회사 | 얼굴 인식 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102151851B1 (ko) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11288504B2 (en) | Iris liveness detection for mobile devices | |
| US10824849B2 (en) | Method, apparatus, and system for resource transfer | |
| CN108197586B (zh) | 脸部识别方法和装置 | |
| De Marsico et al. | Firme: Face and iris recognition for mobile engagement | |
| US10380421B2 (en) | Iris recognition via plenoptic imaging | |
| US11989975B2 (en) | Iris authentication device, iris authentication method, and recording medium | |
| KR20180134280A (ko) | 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법 | |
| KR102329128B1 (ko) | 홍채 이미지 부호화를 위한 적응적 양자화 방법 | |
| WO2024169261A1 (zh) | 图像处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品 | |
| KR102151851B1 (ko) | 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 | |
| CN114387674A (zh) | 活体检测方法、系统、设备、存储介质及程序产品 | |
| CN111699678B (zh) | 使用面部id感测的安全检查系统和安全检查方法 | |
| Dixit et al. | SIFRS: Spoof Invariant Facial Recognition System (A Helping Hand for Visual Impaired People) | |
| Santos-Villalobos et al. | Iris recognition via plenoptic imaging | |
| Zhao et al. | Robust eye detection for cockpit access control using an appearance model and radial symmetry transform under active near infrared illumination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |