KR102326185B1 - 딥러닝을 이용한 얼굴 매칭 방법 및 장치 - Google Patents
딥러닝을 이용한 얼굴 매칭 방법 및 장치 Download PDFInfo
- Publication number
- KR102326185B1 KR102326185B1 KR1020180122477A KR20180122477A KR102326185B1 KR 102326185 B1 KR102326185 B1 KR 102326185B1 KR 1020180122477 A KR1020180122477 A KR 1020180122477A KR 20180122477 A KR20180122477 A KR 20180122477A KR 102326185 B1 KR102326185 B1 KR 102326185B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- face image
- feature value
- feature
- specific person
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 얼굴 매칭 방법에 관한 것으로서, 얼굴에 설정된 특징 포인트를 수신된 얼굴 이미지에 매핑하는 단계, 상기 특징 포인트의 위치에 따라 얼굴의 포즈를 확인하는 단계, 상기 얼굴의 포즈에 기초하여 상기 매핑된 얼굴 이미지가 정면을 향하도록 회전 또는 크기 조절을 하는 단계, 및 이미 저장된 얼굴 이미지들과 상기 회전 또는 크기 조절된 얼굴 이미지를 매칭하는 단계를 포함하는 것을 특징으로 하며, 데이터베이스에 저장된 수많은 얼굴 이미지들 중에서 찾고자 하는 얼굴 이미지를 딥러닝 학습을 통해 빠르고 효과적으로 찾을 수 있다.
Description
본 발명은 얼굴 매칭 방법에 관한 것으로서, 더욱 상세하게는 데이터베이스에 저장된 수많은 얼굴 이미지들 중에서 찾고자 하는 얼굴 이미지를 딥러닝 학습을 통해 빠르고 효과적으로 찾을 수 있는 얼굴 매칭 방법 및 장치에 관한 것이다.
얼굴 매칭은 오늘날 다양한 분야에서 요구되는 기술이다. 주민 등록증 진위확인 시스템에서는 얼굴 사진만 본인의 것으로 바꾸어 만든 위조주민증을 스캔하여 서버에 저장된 원본과 확인하는 것으로 활용될 수 있다.
또한, 공항출입통제 시스템에서는 개인의 여권과 연동하여 얼굴을 등록한 승객 또는 승무원에 한해 본인 얼굴 인증을 하여 자동으로 출입을 통제할 수도 있다. 차량출입통제 시스템에서는 운전자가 지정된 차량의 번호와 운전자 얼굴을 함께 등록한 후 출입하는 차량의 번호와 얼굴을 인식하여 출입을 통제하는 것도 가능하다.
선행기술 1(KR 10-2016-0106957)은 입력된 얼굴 영역의 특징점과 데이터베이스의 얼굴영상들의 특징점을 비교하여 유사영역을 추출하고, 추출된 유사영역의 특징벡터의 유사도에 따라 얼굴영상을 검색하는 기술이다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 데이터베이스에 저장된 수많은 얼굴 이미지들 중에서 찾고자 하는 얼굴 이미지를 딥러닝 학습을 통해 빠르고 효과적으로 찾을 수 있는 얼굴 매칭 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 데이터베이스에 저장된 수많은 얼굴 이미지들 중에서 찾고자 하는 얼굴 이미지를 딥러닝 학습을 통해 빠르고 효과적으로 찾을 수 있는 얼굴 매칭 장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 얼굴에 설정된 특징 포인트를 수신된 얼굴 이미지에 매핑하는 단계; 상기 특징 포인트의 위치에 따라 얼굴의 포즈를 확인하는 단계; 상기 얼굴의 포즈에 기초하여 상기 매핑된 얼굴 이미지가 정면을 향하도록 회전 또는 크기 조절을 하는 단계; 및 이미 저장된 얼굴 이미지들과 상기 회전 또는 크기 조절된 얼굴 이미지를 매칭하는 단계를 포함하는 얼굴 인식 방법을 제공한다.
본 발명의 일 실시 예에 의하면, 상기 매칭하는 단계는, 특정인의 얼굴 이미지, 상기 특정인의 또 다른 얼굴 이미지, 상기 특정인과 다른 사람의 얼굴 이미지에 대하여 복수의 특징값을 측정하는 단계; 상기 특정인의 얼굴 이미지의 특징값과, 상기 특정인의 또 다른 얼굴 이미지의 특징값을 더 가깝도록 조정하고, 상기 특정인의 또 다른 얼굴 이미지의 특징값과 상기 특정인과 다른 사람의 얼굴 이미지의 특징값은 멀어지도록 딥러닝을 수행하는 단계; 상기 딥러닝을 복수의 얼굴 이미지에 대하여 반복하는 단계; 상기 반복된 딥러닝을 통해 동일 인물의 다른 얼굴 이미지들의 특징값들이 유사하게 나오도록 상기 특징값 산출 방식을 변경하는 단계; 상기 변경된 특징값 산출방식을 이용하여 상기 회전 또는 크기 조절된 얼굴 이미지의 특징값을 재측정하는 단계; 및 상기 회전 또는 크기 조절된 얼굴 이미지의 재측정된 특징값과 상기 변경된 특징값 산출 방식으로 산출된 상기 이미 저장된 얼굴 이미지들의 특징값을 매칭하는 단계를 포함할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 얼굴에 설정된 특징 포인트를 수신된 얼굴 이미지에 매핑하는 특징 포인트 매핑부; 상기 특징 포인트의 위치에 따라 얼굴의 포즈를 확인하고, 상기 얼굴의 포즈에 기초하여 상기 매핑된 얼굴 이미지가 정면을 향하도록 회전 또는 크기 조절을 하는 얼굴 포즈 조정부; 특정인의 얼굴 이미지, 상기 특정인의 또 다른 얼굴 이미지, 상기 특정인과 다른 사람의 얼굴 이미지에 대하여 복수의 특징값을 측정하는 특징값 측정부; 상기 특정인의 얼굴 이미지의 특징값과, 상기 특정인의 또 다른 얼굴 이미지의 특징값을 더 가깝도록 조정하고, 상기 특정인의 또 다른 얼굴 이미지의 특징값과 상기 특정인과 다른 사람의 얼굴 이미지의 특징값은 멀어지도록 딥러닝을 수행하는 딥러닝 수행부; 및 상기 딥러닝 수행부는 상기 딥러닝을 복수의 얼굴 이미지에 대하여 반복하고, 상기 반복된 딥러닝을 통해 동일 인물의 다른 얼굴 이미지들의 특징값들이 유사하게 나오도록 상기 특징값 산출 방식을 변경하는 것을 특징으로 하고, 상기 특징값 측정부는 상기 변경된 특징값 산출방식을 이용하여 상기 회전 또는 크기 조절된 얼굴 이미지의 특징값을 재측정하는 것을 특징으로 하고, 상기 회전 또는 크기 조절된 얼굴 이미지의 재측정된 특징값과 상기 변경된 특징값 산출 방식으로 산출된 상기 이미 저장된 얼굴 이미지들의 특징값을 매칭하는 매칭부를 포함하는 얼굴 매칭 장치를 제공한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 얼굴 매칭 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 데이터베이스에 저장된 수많은 얼굴 이미지들 중에서 찾고자 하는 얼굴 이미지를 딥러닝 학습을 통해 빠르고 효과적으로 찾을 수 있다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 얼굴 매칭 장치의 구성도이다.
도 2는 얼굴에 설정된 특징 포인트들의 예시를 나타낸 것이다.
도 3은 도 1의 매칭부(123)에서 매칭되는 얼굴 이미지를 검색하는데 사용되는 분류기의 일 례를 도시한 것이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 얼굴 매칭 방법의 흐름도이다.
도 5는 도 4의 440 단계에서의 얼굴 이미지를 매칭하는 하는 단계를 보다 상세하게 살펴본 흐름도이다.
도 2는 얼굴에 설정된 특징 포인트들의 예시를 나타낸 것이다.
도 3은 도 1의 매칭부(123)에서 매칭되는 얼굴 이미지를 검색하는데 사용되는 분류기의 일 례를 도시한 것이다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 얼굴 매칭 방법의 흐름도이다.
도 5는 도 4의 440 단계에서의 얼굴 이미지를 매칭하는 하는 단계를 보다 상세하게 살펴본 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 얼굴 매칭 장치의 구성도이다.
도 1을 참조하면, 본 실시 예에 따른 얼굴 매칭 장치는 특징 포인트 매핑부(100), 얼굴 포즈 조정부(110), 얼굴 이미지 매칭부(120), 및 데이터베이스부(130)로 구성된다. 얼굴 이미지 매칭부(120)는 특징값 측정부(121), 딥러닝 수행부(122), 및 매칭부(123)로 구성된다.
특징 포인트 매핑부(100)는 얼굴에 설정된 특징 포인트를 수신된 얼굴 이미지에 매핑한다.
도 2는 얼굴에 설정된 특징 포인트들의 예시를 나타낸 것이다.
모든 얼굴에 존재하는 특징 포인트를 사전에 설정하여 얼굴 이미지를 구별하는데 사용할 수 있다. 특징 포인트란, 눈, 코, 입, 눈썹, 턱 등 얼굴에 존재하는 포인트들을 의미한다. 도 2에서는 68개의 특징 포인트를 예시로 나타내고 있다.
얼굴 포즈 조정부(110)는 특징 포인트의 위치에 따라 얼굴 이미지의 포즈를 확인하고, 상기 얼굴의 포즈에 기초하여 상기 매핑된 얼굴 이미지가 정면을 향하도록 회전 또는 크기 조절한다.
수신된 이미지에 특징 포인트가 매핑되면, 눈과 입이 어디에 있는지 알게 되므로, 얼굴 이미지의 포즈를 확인할 수 있다.
얼굴 이미지의 포즈를 확인하게 되면, 이미지를 회전하고 크기를 조절함으로써, 얼굴 이미지가 정면을 향하도록 이미지를 변환할 수 있다.
이러한 이미지 변환은 얼굴 이미지 매칭부(120)에서 2개의 이미지를 비교할 때, 정면을 향하는 이미지를 기준으로 비교하도록 하기 위해서이다.
얼굴 포즈 조정부(110)에 의해 얼굴 이미지가 옆으로 돌아가 있어도 정면을 향하도록 조정이 가능하다.
얼굴 이미지 매칭부(120)는 데이터베이스부(130)에 이미 저장된 얼굴 이미지들과 상기 회전 또는 크기 조절된 얼굴 이미지를 매칭한다.
수신된 얼굴 이미지와 데이터베이스부(130)에 저장된 이미지들을 비교하는 방법은 다양하게 개발될 수 있을 것이다.
본 발명의 실시 예에서는 얼굴 이미지의 특징값을 측정하고, 딥러닝을 통해 특징값 산출 방식을 변경한 후, 상기 수신된 얼굴 이미지에 대해 변경된 특징값을 사용하여 데이터베이스부(130)에 저장된 이미지들과 매칭할 수 있다. 데이터베이스부(130)는 다양한 얼굴 이미지들을 저장하는 저장부이다.
이하에서 보다 상세히 살펴보기로 한다.
특징값 측정부(121)는 특정인의 얼굴 이미지, 상기 특정인의 또 다른 얼굴 이미지, 상기 특정인과 다른 사람의 얼굴 이미지에 대하여 복수의 특징값을 측정한다.
얼굴의 특징값은 귀의 크기, 코의 길이, 양쪽 눈 사이의 거리 등 얼굴을 특징지을 수 있는 측정값을 의미한다.
특징값 측정부(121)는 얼굴 특징값의 초기값이 주어지고, 이후 딥러닝 수행부(122)에서 학습한 결과에 따라 최종 특징값을 측정하게 된다.
딥러닝 수행부(122)는 상기 특정인의 얼굴 이미지의 특징값과, 상기 특정인의 또 다른 얼굴 이미지의 특징값을 더 가깝도록 조정하고, 상기 특정인의 또 다른 얼굴 이미지의 특징값과 상기 특정인과 다른 사람의 얼굴 이미지의 특징값은 멀어지도록 딥러닝을 수행한다.
상기 딥러닝을 복수의 얼굴 이미지에 대하여 반복하는 것이 바람직하다.
또한, 상기 반복된 딥러닝을 통해 동일 인물의 다른 얼굴 이미지들의 특징값들이 유사하게 나오도록 특징값 측정부(121)의 특징값 산출 방식을 변경할 수 있다. 이 경우 특징값 측정부(121)는 변경된 특징값 산출방식을 이용하여 상기 회전 또는 크기 조절된 얼굴 이미지의 특징값을 재측정하는 것이 바람직하다.
복수의 이미지들에 대한 학습을 통해 얼굴 이미지를 구별하는데 최적의 특징값을 도출하는 것이 가능할 것이다.
딥러닝 알고리즘의 예로서 AlexNet 기반 CNN(Convolution Neutral Network)이 될 수 있다. 본 발명의 실시 예에서는 활성화 함수로 ReLU(rectified linear unit)를 사용하여 학습속도를 개선할 수 있다.
또한, LRN(Local Response Normalization)은 같은 위치의 픽셀에 대하여 복수의 특성맵(feature map) 간에 정규화를 하는 방법인데, 본 발명에서는 얼굴 이미지에 대해서 국소적인 정규화를 실시하는 것이 바람직하다.
매칭부(123)는 상기 회전 또는 크기 조절된 얼굴 이미지의 재측정된 특징값과 상기 변경된 특징값 산출 방식으로 산출된 상기 이미 저장된 얼굴 이미지들의 특징값을 매칭하여 수신된 얼굴 이미지의 매칭 이미지를 찾는다.
도 3은 도 1의 매칭부(123)에서 매칭되는 얼굴 이미지를 검색하는데 사용되는 분류기의 일 례를 도시한 것이다.
도 3에 도시된 분류기는 Real-AdaBoost 방법으로 구성된 강분류기들을 Cascade 방식으로 결합하여 매 단계분류기들에서 얼굴 이미지가 아닌 것을 제거하도록 할 수 있다. 분류기를 Cascade 방식으로 구성함으로써, 보다 빠르게 비얼굴 이미지를 제거할 수 있으며, 분류의 실시간성을 보장할 수 있다.
도 3의 분류기는 네스팅(Nesting) 구조화된 캐스케이드(Cascade) 방식으로서, 앞 단계의 단계분류기를 다음 단계 단계 분류기의 첫 약분류기로 하는 분류기이다. 이때, 첫 단계의 약분류기는 부분창문을 통해 이미지를 수신하는 것이 바람직하다.
이러한 네스팅 분류기를 이용함으로써, 훨씬 적은 약분류기를 이용하여 설정한 검출률과 오검출률을 보장할 수 있으며, 검출기의 실시간성을 보장할 수 있는 장점이 있다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 얼굴 매칭 방법의 흐름도이다.
도 4를 참조하면, 본 실시 예에 따른 얼굴 매칭 방법은 도 1에 도시된 얼굴 매칭 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 얼굴 매칭 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 얼굴 매칭 방법에도 적용된다.
410 단계에서 얼굴 매칭 장치는 얼굴에 설정된 특징 포인트를 얼굴 매칭 장치로 수신된 얼굴 이미지에 매핑한다. 모든 얼굴에 존재하는 특징 포인트를 사전에 설정하여 얼굴 이미지를 구별하는데 사용할 수 있다. 특징 포인트란, 눈, 코, 입, 눈썹, 턱 등 얼굴에 존재하는 포인트들을 의미한다.
420 단계에서 얼굴 매칭 장치는 특징 포인트의 위치에 따라 얼굴의 포즈를 확인한다. 수신된 이미지에 특징 포인트가 매핑되면, 눈과 입이 어디에 있는지 알게 되므로, 얼굴 이미지의 포즈를 확인할 수 있다.
430 단계에서 얼굴 매칭 장치는 상기 얼굴의 포즈에 기초하여 상기 매핑된 얼굴 이미지가 정면을 향하도록 회전 또는 크기 조절한다. 얼굴 이미지의 포즈를 확인하게 되면, 이미지를 회전하고 크기를 조절함으로써, 얼굴 이미지가 정면을 향하도록 이미지를 변환할 수 있다. 이러한 이미지 변환은 2개의 이미지를 비교할 때, 정면을 향하는 이미지를 기준으로 비교하도록 하기 위해서이다.
440 단계에서 얼굴 매칭 장치는 이미 저장된 얼굴 이미지들과 상기 회전 또는 크기 조절된 얼굴 이미지를 매칭한다.
한편, 410 단계에서 얼굴 매칭 장치로 수신되는 얼굴 이미지는 다음의 과정을 통해 전체 이미지에서 얼굴 이미지를 추출할 수 있다.
먼저, 수신되는 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출한다. 새로운 객체는 움직이는 물체인 사람, 자동차, 동물 등이 될 수 있다. 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 각 이미지 프레임 간에 대응하는 픽셀의 차이값이 0보다 큰 경우 또는 0보다 일정값 이상인 경우 객체가 존재하는 영역의 픽셀로 판단할 수 있다.
다음으로, 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환한다. 상기 새로운 객체의 이미지 영역이 컬러 이미지인 경우 컬러 이미지는 RGB(Red, Green, Blue) 또는 HSL(Hue, Saturation, Luminance) 포맷일 수 있다.
이 경우, HSL 포맷의 Luminance 정보는 흑백 이미지 정보와 대응한다. 따라서, 컬러 이미지가 RGB 포맷인 경우도 HSL 포맷으로 변환하여 흑백 이미지로 변환하는 것이 바람직하다. 변환된 흑백 이미지를 히스토그램 균등화하는 것이 바람직하다.
다음으로, 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출한다. 이미지를 작은 블록으로 분해하여 각 블록별 그래디언트가 어느 방향(상향, 우상향, 좌상향, 하향, 우하향, 우좌향 등)을 향하고 있는지 산출할 수 있다. 그래디언트(Gradient)는 하나의 픽셀을 상기 하나의 픽셀을 둘러싸고 있는 주변 픽셀들과 비교해서 이미지가 어두워지는 방향 또는 밝아지는 방향을 나타내는 것으로 정의한다. 이미지의 모든 픽셀에 대해서 그래디언트를 산출하고, 상기 분해한 블록 내에 있는 픽셀들의 그래디언트를 합하여 블록별 그래디언트를 산출할 수 있다. 이미지의 픽셀을 그대로 사용하는 경우 동일한 사람의 어두운 이미지와 밝은 이미지는 전혀 다른 픽셀값을 갖게 되므로 정확한 비교가 힘들다. 그러나 밝기가 변하는 방향을 고려하여 비교하게 되면, 밝은 이미지와 어두운 이미지를 비교할 때라도 밝기의 변화방향이 동일하면 동일한 이미지라고 판단할 수 있다.
마지막으로, 사전에 저장된 일반적인 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하여 추출할 수 있다.
도 5는 도 4의 440 단계에서의 얼굴 이미지를 매칭하는 하는 단계를 보다 상세하게 살펴본 흐름도이다.
441 단계에서 얼굴 매칭 장치는 특정인의 얼굴 이미지, 상기 특정인의 또 다른 얼굴 이미지, 상기 특정인과 다른 사람의 얼굴 이미지에 대하여 복수의 특징값을 측정한다. 얼굴의 특징값은 귀의 크기, 코의 길이, 양쪽 눈 사이의 거리 등 얼굴을 특징지을 수 있는 측정값을 의미한다.
442 단계에서 얼굴 매칭 장치는 상기 특정인의 얼굴 이미지의 특징값과, 상기 특정인의 또 다른 얼굴 이미지의 특징값을 더 가깝도록 조정하고, 상기 특정인의 또 다른 얼굴 이미지의 특징값과 상기 특정인과 다른 사람의 얼굴 이미지의 특징값은 멀어지도록 딥러닝을 수행한다.
443 단계에서 얼굴 매칭 장치는 상기 딥러닝을 복수의 얼굴 이미지에 대하여 반복한다.
444 단계에서 얼굴 매칭 장치는 상기 반복된 딥러닝을 통해 동일 인물의 다른 얼굴 이미지들의 특징값들이 유사하게 나오도록 상기 특징값 산출 방식을 변경한다.
445 단계에서 얼굴 매칭 장치는 상기 변경된 특징값 산출방식을 이용하여 상기 회전 또는 크기 조절된 얼굴 이미지의 특징값을 재측정한다.
446 단계에서 얼굴 매칭 장치는 상기 회전 또는 크기 조절된 얼굴 이미지의 재측정된 특징값과 상기 변경된 특징값 산출 방식으로 산출된 상기 이미 저장된 얼굴 이미지들의 특징값을 매칭한다.
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Claims (4)
- 얼굴에 설정된 특징 포인트를 수신된 얼굴 이미지에 매핑하는 단계;
상기 특징 포인트의 위치에 따라 얼굴의 포즈를 확인하는 단계;
상기 얼굴의 포즈에 기초하여 상기 매핑된 얼굴 이미지가 정면을 향하도록 회전 또는 크기 조절을 하는 단계; 및
이미 저장된 얼굴 이미지들과 상기 회전 또는 크기 조절된 얼굴 이미지를 매칭하는 단계를 포함하고,
상기 매칭하는 단계는,
특정인의 얼굴 이미지, 상기 특정인의 또 다른 얼굴 이미지, 상기 특정인과 다른 사람의 얼굴 이미지에 대하여 복수의 특징값을 측정하는 단계;
상기 특정인의 얼굴 이미지의 특징값과, 상기 특정인의 또 다른 얼굴 이미지의 특징값을 더 가깝도록 조정하고, 상기 특정인의 또 다른 얼굴 이미지의 특징값과 상기 특정인과 다른 사람의 얼굴 이미지의 특징값은 멀어지도록 딥러닝을 수행하는 단계;
상기 딥러닝을 복수의 얼굴 이미지에 대하여 반복하는 단계;
상기 반복된 딥러닝을 통해 동일 인물의 다른 얼굴 이미지들의 특징값들이 유사하게 나오도록 특징값 산출 방식을 변경하는 단계;
상기 변경된 특징값 산출방식을 이용하여 상기 회전 또는 크기 조절된 얼굴 이미지의 특징값을 재측정하는 단계; 및
상기 회전 또는 크기 조절된 얼굴 이미지의 재측정된 특징값과 상기 변경된 특징값 산출 방식으로 산출된 상기 이미 저장된 얼굴 이미지들의 특징값을 매칭하는 단계를 포함하는 얼굴 매칭 방법.
- 삭제
- 얼굴에 설정된 특징 포인트를 수신된 얼굴 이미지에 매핑하는 특징 포인트 매핑부;
상기 특징 포인트의 위치에 따라 얼굴의 포즈를 확인하고, 상기 얼굴의 포즈에 기초하여 상기 매핑된 얼굴 이미지가 정면을 향하도록 회전 또는 크기 조절을 하는 얼굴 포즈 조정부;
특정인의 얼굴 이미지, 상기 특정인의 또 다른 얼굴 이미지, 상기 특정인과 다른 사람의 얼굴 이미지에 대하여 복수의 특징값을 측정하는 특징값 측정부;
상기 특정인의 얼굴 이미지의 특징값과, 상기 특정인의 또 다른 얼굴 이미지의 특징값을 더 가깝도록 조정하고, 상기 특정인의 또 다른 얼굴 이미지의 특징값과 상기 특정인과 다른 사람의 얼굴 이미지의 특징값은 멀어지도록 딥러닝을 수행하는 딥러닝 수행부; 및
상기 딥러닝 수행부는 상기 딥러닝을 복수의 얼굴 이미지에 대하여 반복하고, 상기 반복된 딥러닝을 통해 동일 인물의 다른 얼굴 이미지들의 특징값들이 유사하게 나오도록 특징값 산출 방식을 변경하는 것을 특징으로 하고,
상기 특징값 측정부는 상기 변경된 특징값 산출방식을 이용하여 상기 회전 또는 크기 조절된 얼굴 이미지의 특징값을 재측정하는 것을 특징으로 하고,
상기 회전 또는 크기 조절된 얼굴 이미지의 재측정된 특징값과 상기 변경된 특징값 산출 방식으로 산출된 이미 저장된 얼굴 이미지들의 특징값을 매칭하는 매칭부를 포함하는 얼굴 매칭 장치.
- 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122477A KR102326185B1 (ko) | 2018-10-15 | 2018-10-15 | 딥러닝을 이용한 얼굴 매칭 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122477A KR102326185B1 (ko) | 2018-10-15 | 2018-10-15 | 딥러닝을 이용한 얼굴 매칭 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200042197A KR20200042197A (ko) | 2020-04-23 |
| KR102326185B1 true KR102326185B1 (ko) | 2021-11-12 |
Family
ID=70472564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180122477A KR102326185B1 (ko) | 2018-10-15 | 2018-10-15 | 딥러닝을 이용한 얼굴 매칭 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102326185B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023234757A1 (ko) * | 2022-06-03 | 2023-12-07 | 주식회사 링커버스 | 손톱 분석을 위해 이미지를 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100467152B1 (ko) | 2003-11-25 | 2005-01-24 | (주)버뮤다정보기술 | 얼굴인식시스템에서 개인 인증 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170050465A (ko) * | 2015-10-30 | 2017-05-11 | 에스케이텔레콤 주식회사 | 얼굴 인식 장치 및 방법 |
| KR20180109217A (ko) * | 2017-03-27 | 2018-10-08 | 삼성전자주식회사 | 얼굴 영상 보정 방법 및 이를 구현한 전자 장치 |
-
2018
- 2018-10-15 KR KR1020180122477A patent/KR102326185B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100467152B1 (ko) | 2003-11-25 | 2005-01-24 | (주)버뮤다정보기술 | 얼굴인식시스템에서 개인 인증 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200042197A (ko) | 2020-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101179497B1 (ko) | 얼굴 검출 방법 및 장치 | |
| US7873189B2 (en) | Face recognition by dividing an image and evaluating a similarity vector with a support vector machine | |
| US8509478B2 (en) | Detection of objects in digital images | |
| US9563821B2 (en) | Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm | |
| KR100809431B1 (ko) | 가림 현상에 강인한 눈 검출 방법 및 장치 | |
| CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
| US9245198B2 (en) | Object recognition by comparison of patterns against map of image | |
| JP7197485B2 (ja) | 検出システム、検出装置およびその方法 | |
| Sharma et al. | A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network | |
| KR102286571B1 (ko) | 영상에서 다수의 객체를 인식하는 방법 | |
| Lee et al. | License plate detection using local structure patterns | |
| KR102137060B1 (ko) | 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법 | |
| KR101491832B1 (ko) | 영상 선택 장치 및 방법 | |
| Escalera et al. | Fast greyscale road sign model matching and recognition | |
| KR102326185B1 (ko) | 딥러닝을 이용한 얼굴 매칭 방법 및 장치 | |
| Singh et al. | Template matching for detection & recognition of frontal view of human face through Matlab | |
| Moseva et al. | Development of a System for Fixing Road Markings in Real Time | |
| US20150023558A1 (en) | System and method for face detection and recognition using locally evaluated zernike and similar moments | |
| KR102139932B1 (ko) | 에이다부스트 학습을 이용한 문자 데이터 검출 방법 | |
| Priya et al. | Face detection using CbCr color model in video | |
| Vivekanandam et al. | Face recognition from video frames using hidden markov model classification model based on modified random feature extraction | |
| Bu et al. | A new method for license plate characters recognition based on sliding window search | |
| JP2009015515A (ja) | ナンバープレート抽出システム、ナンバープレート抽出装置、ナンバープレート抽出方法及びプログラム | |
| Harsha et al. | Vehicle Detection and Lane Keep Assist System for Self-driving Cars | |
| KR20200042192A (ko) | 얼굴 인식 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |