KR100880256B1 - 실물 인식을 이용한 얼굴 인식 시스템 및 방법 - Google Patents
실물 인식을 이용한 얼굴 인식 시스템 및 방법 Download PDFInfo
- Publication number
- KR100880256B1 KR100880256B1 KR1020080067706A KR20080067706A KR100880256B1 KR 100880256 B1 KR100880256 B1 KR 100880256B1 KR 1020080067706 A KR1020080067706 A KR 1020080067706A KR 20080067706 A KR20080067706 A KR 20080067706A KR 100880256 B1 KR100880256 B1 KR 100880256B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- image
- eye
- real
- mouth
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008859 change Effects 0.000 claims abstract description 40
- 230000000193 eyeblink Effects 0.000 claims abstract description 33
- 239000000284 extract Substances 0.000 claims description 21
- 210000001747 pupil Anatomy 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 13
- 230000004397 blinking Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 description 34
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 235000002911 Salvia sclarea Nutrition 0.000 description 1
- 244000182022 Salvia sclarea Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
실물 인식을 이용한 얼굴 인식 시스템 및 방법에 관한 것으로, 본 발명의 얼굴 인식 시스템의 일 양태(Aspect)는 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부, 상기 각 얼굴영상의 눈동자 크기 변화 또는 아이-라인(eye-line)의 변화를 이용하여 눈 깜박임을 검출하여 실물인지 여부를 판단하는 실물 인식부, 상기 각 얼굴영상 중 소정의 얼굴영상에 대한 특징정보를 추출하는 특징정보 추출부, 및 상기 추출된 특징정보 및 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함한다.
실물 인식, 얼굴 인식, 인물 인식, LBP, 2D-PCA
Description
본 발명은 실물 인식을 이용한 얼굴 인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 복수의 입력영상을 이용하여 실물 여부를 판단하여 얼굴 인식을 수행하는 얼굴 인식 시스템 및 방법에 관한 것이다.
정보화 사회가 발달함에 따라 사람을 식별하기 위한 신분 확인 기술이 중요해지고 있으며, 컴퓨터를 이용한 개인의 정보 보호 및 신분 확인을 위해 인체 특징을 이용하는 생체 인식 기술이 연구되고 있다. 생체 인식 기술 중에서도 얼굴 인식 기술은 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리 비접촉식으로 사용자의 신분을 확인할 수 있기에 편리할 수 있다.
얼굴 인식 기술은 멀티미디어 데이터베이스 검색 핵심 기술 중의 하나로 얼굴 정보를 이용한 동영상의 요약, 이미지 검색, 보안, 감시 시스템 등에 이용될 수 있다.
하지만, 일반적인 얼굴 인식 기법에 의하여는 실제의 얼굴과 사진 또는 인쇄물에 인쇄된 얼굴을 식별하기가 용이하지 않다. 따라서, 타인이 등록된 얼굴 영상 이 포함된 사진 또는 인쇄물 등을 이용하여 보안 또는 감시 시스템을 통과하려는 시도에 대하여 적절하게 대응하지 못할 수 있다.
본 발명이 해결하고자 하는 일 과제는 입력영상에 포함된 얼굴이 실물인지를 판단할 수 있는 얼굴 인식 시스템 및 방법을 제공하는 것이다.
이와 함께, 본 발명이 해결하고자 하는 다른 과제는 얼굴 인식에 소요되는 연산량 및 소요 시간을 줄일 수 있는 얼굴 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여 본 발명의 얼굴 인식 시스템의 일 양태(Aspect)는 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부; 상기 각 얼굴영상의 눈동자 크기 변화 또는 아이-라인(eye-line)의 변화를 이용하여 눈 깜박임을 검출하여 실물인지 여부를 판단하는 실물 인식부; 상기 각 얼굴영상 중 소정의 얼굴영상에 대한 특징정보를 추출하는 특징정보 추출부; 및 상기 추출된 특징정보 및 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함한다.
상기 과제를 달성하기 위하여 본 발명의 얼굴 인식 시스템의 다른 양태(Aspect)는 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴 영상을 추출하는 얼굴 추출부; 상기 각 얼굴영상의 감은 눈 및 뜬 눈을 검출하여 실물인지 여부를 판단하는 실물 인식부; 및 상기 얼굴영상이 실물로 판단되는 경우, 상기 각 얼굴영상 중 소정의 얼굴영상에 대하여 얼굴 인식을 수행하는 얼굴 인식부를 포함한다.
상기 과제를 달성하기 위하여 본 발명의 얼굴 인식 시스템의 또다른 양태(Aspect)는 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부; 상기 각 얼굴영상의 마우스-라인(mouth-line)의 변화를 이용하여 입 여닫음을 검출하여 실물인지 여부를 판단하는 실물 인식부; 상기 각 얼굴영상 중 소정의 얼굴영상에 대한 특징정보를 추출하는 특징정보 추출부; 및 상기 추출된 특징정보 및 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함한다.
상기 과제를 달성하기 위하여 본 발명의 얼굴 인식 시스템의 또다른 양태(Aspect)는 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부; 상기 각 얼굴영상의 눈 깜박임 및 입 여닫음을 검출하여 실물인지 여부를 판단하는 실물 인식부; 상기 각 얼굴영상 중 소정의 얼굴영상에 대한 특징정보를 추출하여, 추출된 특징정보를 이용하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함한다.
상기 과제를 달성하기 위하여 본 발명의 얼굴 인식 방법의 일 양태는 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 단계; 상기 각 얼굴영상의 눈 깜박임 또는 입 여닫음의 빈도수를 검출하여 실물인지 여부를 판단하는 단계; 및 상기 얼굴영상이 실물로 판단되는 경우, 상기 각 얼굴영상 중 소정의 얼굴영상에 대하여 얼굴 인식을 수행하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 본 발명의 실시예들에 의하여 얼굴 인식 시스템 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 실물 인식을 이용한 얼굴 인식 시스템의 블록도를 보여준다.
본 발명의 일 실시예에 따른 얼굴 인식 시스템(100)은 영상 획득부(120), 얼굴 추출부(130), 변환영상 산출부(140), 실물 인식부(200), 특징정보 추출부(150), 얼굴 인식부(170) 및 데이터베이스(300)를 포함할 수 있다.
영상 획득부(120)는 외부로부터 복수의 입력영상을 획득한다. 영상 획득부(120)는 영상 입력 센서에 의하여 복수의 입력영상을 획득하거나 또는 외부로부터 유선 또는 무선 연결에 의하여 전송되는 복수의 입력영상을 획득할 수 있다.
영상 획득부(120)는 소정의 시간 간격 동안 복수의 입력영상을 획득할 수 있다. 실제 인물에 해당되는 경우에는 소정의 얼굴 영역에서의 움직임이 감지될 수 있다. 예를 들어, 눈은 깜박거리거나 입을 여닫는 경우에는 얼굴 영역에서의 상대적으로 큰 움직임이 감지될 수 있다.
따라서, 영상 획득부(120)는 소정의 시간 간격 동안 복수의 입력영상을 획득한다. 예를 들어, 10초당 적어도 한 번 이상 눈 깜박임이 이루어지는 것으로 예상되는 경우에는 영상 획득부(120)는 적어도 10초 동안 연속된 복수의 입력영상을 획득할 수 있다. 이와 함께, 본 발명의 얼굴 인식 시스템(100)에서는 사용자로 하여금 의도적인 눈 깜박임 또는 입 여닫음을 지시하는 효과음 또는 명령음을 생성하여 사용자에게 제공할 수 있다. 사용자가 의도적으로 눈을 깜박이거나 입을 여닫는 경우에, 영상 획득부(120)는 복수의 입력영상을 획득할 수 있다.
한편, 영상 획득부(120)는 획득된 복수의 입력영상을 각각 단일 채널의 영상으로 변환할 수 있다. 예를 들어, 입력영상을 그레이(Gray) 스케일로 변경할 수 있다. 또는 입력영상이 'RGB' 채널의 다채널 영상인 경우에 이를 하나의 채널 값으로 변경할 수도 있다. 따라서, 입력영상에 대하여 하나의 채널에서의 인텐서티(Intensity) 값으로 변환함으로써, 입력영상에 대한 밝기 분포를 용이하게 나타낼 수 있다.
얼굴 추출부(130)는 복수의 입력영상으로부터 각 얼굴영상으로 추출하는 역할을 한다. 얼굴 추출부(130)는 각각의 입력영상으로부터 대략적인 얼굴을 검출 후에 얼굴 내의 특정 구성요소인 눈, 코, 입 등을 추출하고, 이를 바탕으로 소정의 얼굴 영역을 추출할 수 있다. 예를 들어, 두 눈의 위치가 검출되었다면, 두 눈의 거리를 구할 수 있다. 얼굴 추출부(130)는 두 눈 사이의 거리에 기초하여 입력영상 에서 얼굴 영역을 얼굴영상으로 추출할 수도 있으며, 이로써 입력영상의 배경 혹은 사람의 머리 스타일의 변화 등에 대한 영향을 줄일 수 있다. 이와 함께, 얼굴 추출부(130)는 추출된 얼굴 영역 정보를 이용하여 얼굴 영역의 크기를 정규화 시킬 수 있다. 얼굴 영역의 크기를 정규화시킴으로써 얼굴 영역에서의 두 눈과의 거리, 눈과 코 사이의 거리 등의 고유한 특징을 동일한 스케일 레벨로 산출할 수 있다.
변환영상 산출부(140)는 얼굴영상의 각 픽셀에 대하여 주변 픽셀들과의 밝기를 고려하여 변환영상을 산출한다. 변환영상 산출부(140)는 얼굴영상을 LBP(Local Binary Pattern) 기법에 의하여 변환영상을 산출할 수 있다. 변환영상 산출부(140)는 얼굴영상의 각 픽셀마다 주변 픽셀들의 픽셀값을 비교하여 LBP를 생성하고, 생성된 LBP를 이용하여 변환영상을 생성할 수 있다. 이와 같이, LBP 기법을 적용함으로써, 얼굴 인식에 있어 조명 등에 의한 외부 간섭에 강인(robust)하게 대처할 수 있다. LBP 기법에 대하여는 후술하기로 한다. 다만, 변환영상 산출부(140)는 조명 등의 외부 간섭이 미미한 경우에는 생략될 수도 있다. 또한, 변환영상 산출부(1400는 각 얼굴영상에 대하여 변환영상을 산출할 수도 있고, 소정의 얼굴영상에 대하여만 변환영상을 산출할 수도 있다.
실물 인식부(200)는 각 입력영상의 얼굴영상으로부터 눈 깜박임 또는 입 여닫음을 감지하여 실제 인물인지를 판단한다. 실물 인식부(200)는 복수의 얼굴영상 또는 변환영상에 대하여 각각 눈 영역을 추출하여, 눈 영역에서의 눈 깜박임을 검출함으로써 입력영상 내의 인물이 실제 인물인지를 판단할 수 있다. 또는 실물 인식부(200)는 복수의 얼굴영상 또는 변환영상에 대하여 각각 입 영역을 추출하여, 입 영역에서의 입의 여닫음을 검출함으로써 입력영상 내의 인물이 실제 인물인지를 판단할 수 있다.
특징정보 추출부(150)는 얼굴영상으로부터 얼굴영상에 대한 특징정보를 추출할 수 있다. 여기서, 특징정보는 얼굴영상에 포함된 소정 얼굴에 대한 고유한 특성을 나타내는 정보를 말한다. 예를 들어, 특징정보 추출에는 PCA(Principal Component Analysis), LDA(Linear Discriminate Analysis) 등이 선택되어 사용될 수 있다.
다른 예로서, 2차원의 영상 행렬을 기반으로 얼굴영상의 특징정보를 추출할 수 있는 2D-PCA(2-Dimensional Principal Component Analysis) 기법을 이용할 수 있다. 2D-PCA 기법은 일반적인 PCA 기법에 비하여 프로젝션 행렬의 크기가 작아지므로, 이로 인하여 연산량 및 필요 메모리를 상대적으로 낮출 수 있기에 휴대용 장치, 저사양의 임베디드 시스템 등에 용이하게 적용될 수 있다. 따라서, 짧은 시간 내에 얼굴 인식이 가능하여 실시간으로 얼굴 인식이 이루어질 수 있다. 2D-PCA 기법에 대하여는 후술하기로 한다.
얼굴 인식부(170)는 추출된 특징정보와 인물영상 등록부(300)에 등록된 인물정보를 비교하여 입력영상에 포함된 얼굴을 인식하는 역할을 한다. 얼굴 인식부(170)는 추출된 특징정보와 인물영상 등록부(300)에 등록된 인물영상의 인물정보 사이에서의 거리차가 임계치 내인 경우에 상기 인물영상의 얼굴과 상기 입력영상내의 얼굴을 동일인의 얼굴로 인식할 수 있다.
데이터베이스(300)는 복수의 인물영상 및/또는 인물영상의 특징정보를 저장 한다. 여기서, 인물영상은 소정의 인물에 매칭되는 얼굴영상을 말한다. 또는 데이터베이스는 복수의 인물영상을 외부로부터 입력 받고, 이로부터 각 인물영상에 대한 특징정보를 추출하여 특징정보를 저장할 수 있다. 상기 각 인물영상의 특징정보는 미리 계산된 상태이거나 또는 본 발명의 일 실시예에 의하여 입력 시에 계산되어 데이터베이스에 저장될 수 있다.
데이터베이스(300)는 복수의 인물영상 및/또는 복수의 인물영상의 특징정보를 얼굴 인식부에 제공할 수 있다. 한편, 데이터베이스(300)에는 개개인의 등록인물에 대한 이름, 나이, 주소 등과 같은 신상정보, 보안등급 등을 더 포함하여 저장할 수도 있다.
상기와 같이, 본 발명의 일 실시예에 따르면 실제 인물을 인식하여 얼굴 인식을 함으로써 얼굴 인증 시스템에서의 보안을 강화할 수 있다. 이와 함께, LBP를 도입하여 조명 등의 외부의 간섭에 강인하면서, 연산량 및 메모리를 줄임으로써 저사양 시스템에서도 용이하게 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 실물 인식을 이용한 얼굴 인식 시스템에서 실물 인식부의 블록도를 보여준다.
도 2를 참조하면, 실물 인식부(200)는 얼굴영상 또는 변환영상으로부터 눈 영역을 추출하는 눈 영역 추출부(210) 및 추출된 눈 영역에서 눈동자의 크기 변화 또는 아이-라인(eye-line)의 변화를 이용하여 눈 깜박임을 검출하는 깜박임 검출부(220)를 포함할 수 있다.
눈 영역 추출부(210)는 얼굴영상 또는 변환영상으로부터 눈 영역을 추출한 다. 여기서, 눈 영역은 아이-라인을 포함하며, 아이-라인에 의해 형성되는 눈 윤곽선을 포함할 수 있다.
눈 영역을 추출하는 방법의 일 예로는, 눈 고유의 윤곽 또는 눈 고유의 명도를 이용하여 추출할 수 있다. 예를 들어, 눈 고유의 윤곽은 일반적인 아이-라인(eye-line)의 패턴을 이용하여 추출될 수 있다. 복수의 일반적인 아이-라인 샘플을 이용하여, 얼굴영상 또는 변환영상에서 이와 유사한 라인이 추출되면 이를 눈 영역으로 할 수 있다. 이와 같이, 눈의 형상이 기하학적으로 일정한 형상을 가지기 때문에, 가변 템플릿 기법에 의하여 눈 영역이 추출될 수 있다.
다른 예로서, 눈 영역의 밝기가 눈동자로 인하여 얼굴영상의 다른 부분보다 어두울 수 있다. 상대적 어두운 영역이라는 특성에 근거하여, 임의의 개수의 픽셀(예를 들어, 5×5 픽셀들)에 대한 평균 밝기를 계산하여 눈 영역을 추출할 수 있다. 따라서, 명암 정보를 이용하여 얼굴영상에서는 두 개의 눈 영역이 고립되어 나타나, 눈 영역을 용이하게 추출할 수 있다.
또 다른 예로서, 대략적인 눈 영역을 기반으로 일종의 스네이크(Snake) 에너지 함수 식에 근거하여, 컨투어(Contour) 영역인 아이-라인 영역을 추출하는 기법이 적용될 수 있다.
예를 들어, 아이-라인의 컨투어 영역을 추출할 수 있는 스네이크 에너지 함수 식은 다음 수학식과 같다.
여기서, Einternal은 윤곽선(contour)을 구부리는 내부 에너지이고, Eimage는 이미지의 에너지이며, Ecosntraint는 외부의 에너지를 나타낸다. 따라서, 연속성(continuity), 곡률(curvature), 이미지 힘(image force)으로 이루어진 에너지 함수를 최소화하는 방향으로 윤곽선을 추출하여, 아이-라인(eye-line)을 획득할 수 있다.
한편, 눈 영역 추출 기법은 상기의 기법에 한정되는 것은 아니며, 다양한 공지의 기법이 적용되어 눈 영역이 추출될 수 있다.
깜박임 검출부(220)는 추출된 눈 영역에서 눈동자의 크기 변화 또는 아이-라인(eye-line)의 변화를 이용하여 눈 깜박임을 검출하는 역할을 한다. 복수의 얼굴영상 또는 변환영상에 대하여 눈 영역이 추출된 상태에서, 깜박임 검출부(220)는 추출된 눈 영역에서의 눈 깜박임을 검출한다.
눈 깜박임을 검출하는 일례로서, 뜬 눈 및 감은 눈을 각각 감지하여 눈 깜박임을 검출할 수 있다. 여기서, 뜬 눈이란 눈동자가 검출되고, 아이-라인의 상부 및 하부 사이의 간격이 소정의 간격 이상인 상태를 말한다. 소정의 간격은 일반적인 사람의 뜬 눈인 경우에 아이-라인의 상하부 사이의 간격을 실험적 또는 이론적으로 구한 최소 값을 말한다. 또한, 감은 눈이란 눈동자가 검출되지 않거나 또는 아이- 라인의 상하부 간격이 소정의 간격보다 좁은 상태를 말한다. 따라서, 뜬 눈과 감은 눈을 검출할 수 있고, 일정한 시간 간격 동안의 뜬 눈 및 감은 눈의 빈도수인 눈 깜박임 빈도수를 검출하여, 상기 눈 깜박임 빈도수가 임계치 이상인 경우에 실제 인물로 판단할 수 있다. 여기서, 임계치는 실험적 또는 이론적으로 소정의 시간 간격 동안 눈을 깜박이는 최소 회수 또는 임의적으로 지정된 최소 눈 깜박임 회수를 말한다.
눈 깜박임을 검출하는 다른 예로서, 아이-라인의 변화를 이용할 수 있다. 아이-라인에 의해 형성되는 눈 윤곽선의 면적의 변화가 일정량 이상이거나 또는 면적 변화비가 임계치 이상인 경우에도 눈 깜박임으로 판단할 수 있다.
상기와 같이, 눈 깜박임을 검출함으로써 입력영상 내에 포함된 인물이 실제 인물로 판단할 수 있다. 또는 눈 깜박임 빈도수가 임계치 이상인 경우에 실물로 판단할 수도 있다.
다시 도 2를 참조하면, 실물 인식부(200)는 얼굴영상 또는 변환영상으로부터 입 영역을 추출하는 입 영역 추출부(260) 및 추출된 입 영상에서 마우스-라인(mouth-line)의 상부 및 하부 위치를 이용하여 입 여닫음을 검출하는 여닫음 검출부(270)를 포함할 수 있다.
입 영역 추출부(260)는 얼굴영상 또는 변환영상으로부터 입 영역을 추출하며, 입 영역을 추출하는 방법의 일 예로는, 눈 영역을 추출하는 기법과 유사한 기법이 적용될 수 있다. 여기서, 입 영역은 입술에 의해 형성되는 마우스-라인을 포함하며, 마우스-라인에 의해 형성되는 입 윤곽선을 포함할 수 있다.
여닫음 검출부(270)는 입 영역에서 마우스 라인의 상부 및 하부 위치를 이용하여 입이 열린 상태인지 닫힌 상태인지를 판단한다. 따라서, 복수의 얼굴영상 또는 변환영상으로부터 각각 추출된 입 영역에서의 마우스 라인을 서로 비교하여, 마우스 라인이 닫혀 있는 상태 및 열려 있는 상태가 모두 검출되는 경우에는 입 여닫음으로 판단할 수 있다. 여기서, 마우스-라인은 윗 입술 및 아래 입술에 의하여 입이 닫힐 때 서로 접하는 라인을 지칭한다.
좀 더 상세히 설명하면, 입 여닫음을 검출하는 일례로서, 열린 입 및 닫힌 입을 감지함에 의하여 입 여닫음을 검출할 수 있다. 여기서, 열린 입은 윗 입술 라인 및 아래 입술 라인의 간격이 소정 간격 이상인 상태이며, 닫힌 입은 윗 입술 라인 및 아래 입술 라인의 간격이 소정 간격 이하인 상태를 말한다. 여기서, 소정 간격이란 일반적인 사람의 열린 입 상태에서, 윗 입술 라인 및 아래 입술 라인 사이의 최소 간격을 말한다.
입 여닫음을 검출하는 다른 예로서, 마우스-라인의 변화를 이용할 수 있다. 마우스-라인에 의해 형성되는 입 윤곽선의 면적의 변화가 일정량 이상이거나 또는 면적 변화비가 임계치 이상인 경우에도 입 여닫음으로 판단할 수 있다.상기와 같이, 입 여닫음을 검출함으로써 입력영상 내에 포함된 인물이 실제 인물로 판단할 수 있다. 또는 입 여닫음 빈도수가 임계치 이상인 경우에 실물로 판단할 수도 있다.
도 3a는 본 발명의 일 실시예의 실물 인식부에 의하여 얼굴영상으로부터 추출된 대략적인 눈 영역을 보여주며, 도 3b는 본 발명의 일 실시예의 실물 인식부에 의하여 검출되는 눈 깜박임의 일례를 보여준다.
도 3a를 참조하면, 눈 영역 추출부(210)에 의하여 얼굴영상으로부터 눈 영역을 추출한다. 눈 영역 추출부(210)는 소정의 시간 동안 연속적으로 획득된 복수의 얼굴영상에서 대략적인 눈 영역(410)을 추출할 수 있다. 따라서, 각각의 얼굴영상에 대하여 눈 영역(4100이 추출될 수 있다. 눈 영역 추출부(210)는 대략적인 눈 영역(410) 중에 아이-라인(440) 및/또는 눈동자(430)를 추출할 수 있다.
도 3b를 참조하면, 깜박임 검출부(220)는 추출된 눈동자(430)의 크기 변화 또는 아이-라인(440)의 변화를 이용하여 눈 깜박임을 검출할 수 있다.
예를 들어, 눈동자(430)의 크기의 관점에서 살펴보면, 눈을 깜박이는 경우에는 노출되는 눈동자(430)가 급격히 작아진 후에 다시 원래 상태의 눈동자(430)의 크기로 회복될 수 있다. 따라서, 눈동자의 크기가 소정의 크기 이상인 경우 뜬 눈으로 판단하고, 눈동자의 크기가 소정의 크기 미만인 경우에 감은 눈으로 판단하여, 눈 깜박임을 검출할 수 있다.
또는, 눈 영역에서 추출된 눈동자(430)의 크기를 각 얼굴영상 또는 변환영상에 대하여 각각 측정하고, 눈동자(430)의 크기 변화를 이용하여 눈 깜박임을 판별할 수 있다.
또 다른 예로서, 아이-라인(440)의 관점에서 살펴보면, 눈을 깜박이는 경우에는 아이-라인의 상부(442) 및 하부(444)가 접하게 된 후에 다시 일정한 거리를 형성하며 눈 윤곽(450)을 형성할 수 있다. 따라서, 아이-라인의 상부(442) 및 하부(444)의 거리가 일정거리 이하로 낮아지면 눈 깜박임이 있는 것으로 판단하거나, 또는 최소 거리 및 최대 거리의 비가 일정값 이하인 경우에 눈 깜박임이 있는 것으로 판단할 수 있다. 따라서, 아이-라인(440)의 상부(442) 및 하부(444) 사이의 거리가 소정 간격 이상인 경우에는 뜬 눈으로 판단하고, 아이-라인(440)의 상부(442) 및 하부(444) 사이의 거리가 소정 간격 미만인 경우에는 감은 눈으로 판단하여, 눈 깜박임을 검출할 수 있다.
또는, 아이-라인(440)의 변화를 이용하여 눈 깜박임을 판별할 수 있다. 또는 아이-라인(440)이 구성하는 윤곽선(contour; 450) 내부면(451)의 면적에 의하여 눈 깜박임을 판별할 수 있다. 윤곽선(450)에 의한 최소 내부 면적 및 최대 내부 면적의 비가 일정값 이하가 되는 경우에 눈 깜박임 있는 것으로 판단할 수도 있다.
도 3b에서와 같이, 제1 얼굴영상(401), 제2 얼굴영상(402), 제3 얼굴영상(403)이 주어진 상태에서, 각 얼굴영상의 눈동자(430)의 크기 또는 아이-라인(440)의 변화를 나타낸다. 각 얼굴영상에서는 눈 깜박임이 진행 중인 경우로서, 노출되는 눈동자(430)의 크기는 점진적으로 작아진다. 또한, 아이-라인(440)에 의한 윤곽선(450)의 면적이 작아지면서 아이-라인의 상부(442) 및 하부(444)가 접할 수 있다.
따라서, 실물 인식부(200)는 눈동자(430)의 크기 변화 또는 아이-라인(440)의 변화를 이용하여 눈 깜박임을 검출하고, 눈 깜박임이 있는 경우에 실제 인물로 판단할 수 있다. 또한, 소정의 시간 동안 눈 깜박임 빈도수가 임계치 이상이 되는 경우에 실제 인물로 판단할 수도 있다.
도 4a는 본 발명의 일 실시예의 실물 인식부에 의하여 얼굴영상으로부터 추 출된 대략적인 입 영역을 보여주며, 도 4b는 본 발명의 일 실시예의 실물 인식부에 의하여 검출되는 입 여닫음의 일례를 보여준다.
도 4a를 참조하면, 입 영역 추출부(260)에 의하여 얼굴영상으로부터 대략적인 입 영역(480)을 추출한다. 입 영역 추출부(260)는 소정의 시간 동안 연속적으로 획득된 복수의 얼굴영상에서 대략적인 입 영역(480)을 추출할 수 있다.
도 4b를 참조하면, 여닫음 검출부(270)는 추출된 입 영역(480)에서 마우스-라인(470)을 추출하여, 마우스-라인의 상부(472) 및 하부(474)의 변화를 이용하여 입 여닫음을 검출할 수 있다.
예를 들어, 마우스-라인의 상부(472) 및 하부(474)의 간격이 소정 간격 이상인 경우에는 열린 입으로 판단하고, 마우스-라인의 상부(472) 및 하부(474)의 간격이 소정 간격 미만인 경우에는 닫힌 입으로 판단하여, 입 여닫음을 검출할 수 있다.
또는, 여닫음 검출부(270)는 마우스-라인(470)에 의해 형성되는 윤곽선(contour; 477) 내부면(478)의 면적을 이용하여 입 여닫음을 검출할 수도 있다. 입이 닫힌 경우에는 마우스-라인의 상하부(472, 474)가 접해 있기에, 윤곽선 면적이 영이며, 입이 열린 상태에서는 윤곽선(477)에 의해 닫힌 영역이 생성되어 소정의 면적을 가질 수 있다. 따라서, 최소 면적 및 최대 면적의 비가 임계치 이하거나, 또는 최대 면적이 최소 면적에 비하여 일정량 이상인 경우에 입이 닫히거나 열리는 것으로 판단할 수 있다.
도 4b에서와 같이, 제1 얼굴영상(401), 제2 얼굴영상(402), 제3 얼굴영 상(403)이 주어진 상태에서, 각 얼굴영상의 마우스-라인(470)의 변화를 나타낸다. 각 얼굴영상에서 입 닫음이 진행 되는 경우, 마우스-라인(470)의 윤곽선 면적은 점진적으로 작아진다. 따라서, 입 여닫음이 검출될 수 있다.
이와 같이, 실물 인식부(200)는 마우스-라인(470)의 변화를 이용하여 입 여닫음을 검출하고, 입 여닫음이 있는 경우에 실제 인물로 판단할 수 있다. 또한, 소정의 시간 동안 입 여닫음 횟수가 임계치 이상이 되는 경우에 실제 인물로 판단할 수도 있다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 얼굴 인식 시스템에서 변환영상 획득부에서 LBP 기법이 적용되는 예시도이다.
도 5a 및 도 5b를 참조하면 얼굴영상에서의 소정의 중심 픽셀(330)을 중심으로 인접 픽셀(340)들의 픽셀값을 기준으로 LBP 패턴을 획득하는 과정을 보여준다.
LBP 기법은 다음의 수학식과 같다.
여기서, LBP(xc, yc)는 (xc, yc) 중심 픽셀(330)에서의 LBP 변환된 값을 나타내며, gc 는 (xc, yc) 중심 픽셀(330)에서의 얼굴영상의 픽셀값이며, gp 는 (xc, yc)의 주변 픽셀(340)에서의 픽셀값을 나타낸다. 여기서, 픽셀값은 그레이 스케일 영 상 또는 단일채널 영상으로 변환될 때의 인텐서티(Intensity) 값을 나타낼 수 있다. 이와 함께, p는 (xc, yc) 픽셀에서의 한 지점을 기준으로 시계방향 또는 반시계방향으로 돌아가며 1씩 증가한다.
예를 들어, LBP 기법이 3×3 크기의 픽셀 영역에 대하여 적용된다면, 얼굴영상의 해당 픽셀값을 기준으로 8개의 주변 픽셀값을 비교하여 1 또는 0의 이진값을 가지는 이진패턴(350)을 얻을 수 있다. 따라서 3×3 크기의 픽셀 영역에 LBP 기법이 적용되는 경우에는 8개의 이진수로 구성되는 이진패턴(350)이 구해질 수 있고, 이러한 이진패턴(250)은 해당 픽셀의 패턴값(360)이 될 수 있다. 따라서, 얼굴영상의 각 픽셀마다 이러한 이진패턴(350)을 구하여, 각 픽셀마다의 패턴값(360)을 대입함으로써 변환영상을 산출할 수 있다.
도 5b에서와 같이, 3×3 크기의 픽셀 영역에서 중심 픽셀(330)의 픽셀값은 28이며, 주변 픽셀(340)들이 28보다 크면 1 값을 가지며, 28보다 같거나 작으면 0 값을 가진다. 따라서, 250의 픽셀값을 가지는 제1 주변 픽셀(341)을 중심으로 시계 방향으로 회전하면서 제8 주변 픽셀에까지 픽셀값의 비교를 통하여 8비트의 이진패턴인 (1, 1, 0, 1, 0, 0, 0, 1)을 얻을 수 있다. 상기의 이진패턴 (1, 1, 0, 1, 0, 0, 0, 1)을 하나의 이진수로 파악하여 십진수로 변환하면 209의 패턴값(360)을 중심 픽셀(330)에 대하여 얻을 수 있다.
상기와 같이, 얼굴영상의 각 픽셀에 대하여 LBP 기법을 적용함으로써 각 픽셀마다 소정의 패턴값이 도출되어, 상기 패턴값으로 구성되는 변환영상을 획득할 수 있다. 변환영상은 해당 픽셀과 주변 픽셀들간의 픽셀값 또는 밝기의 관계에 의하여 결정되기 때문에, 전체적인 조명이나 간섭에 의한 영향이 감소될 수 있고, 따라서 전체적으로 밝은 영상 또는 어두운 영상에 대하여도 얼굴 인식을 안정적으로 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 시스템에서 특징정보 추출부에 의하여 프로젝션 행렬을 산출되는 과정을 도식적으로 보여준다.
도 6에서와 같이, 2D-PCA 기법에 따르면 영상 행렬(Bj)을 더하여 평균을 하여 공분산 행렬(Gt)을 구하고, 구해진 공분산 행렬의 고유벡터들로 이루어지는 프로젝션 행렬(X)을 구할 수 있다.
영상 행렬(Bj)는 다음의 수학식에 의해 구해질 수 있다.
여기서, Bj는 j-번째 샘플영상에 대한 영상행렬이며, Aj는 M개의 샘플영상에서 j-번째 샘플영상이며, 
는 M개의 샘플영상의 평균영상이다. 각 샘플영상에 대하여 평균영상을 빼 준 행렬에 연산을 수행함으로써 각 샘플영상에 대한 영상행렬(Bj)을 구할 수 있다. 한편, 여기서 각 샘플영상은 임의의 얼굴영상으로서, 임의의 얼굴영상으로부터 LBP 기법에 의해 변환된 변환영상이 사용될 수도 있다.
구해진 영상행렬(Bj)을 기반으로 공분산 행렬(Gt; covariance matrix)은 다음의 수학식에 의해 구해질 수 있다.
여기서, Gt는 공분산 행렬이며, M은 샘플영상의 개수이며, Bj는 M개의 샘플영상에서 j-번째 영상행렬이다. 따라서, M개의 샘플영상에 대하여 M개의 각각의 영상행렬을 생성한 후에, 이를 평균함으로써 공분산 행렬을 구할 수 있다.
따라서, 샘플영상들이 프로젝션되는 비산 범위(total scatter)를 최대화시키는 공분산 행렬의 고유벡터들(Eigenvectors)은 다음의 수학식에 의하여 구해질 수 있다.
여기서, X1, ..., Xd는 공분산 행렬의 고유벡터들이며, d는 최대 고유벡터의 인덱스이다. 따라서, 각 고유벡터를 하나의 열(column) 벡터로하여 프로젝션 행렬(X)이 생성될 수 있다.
따라서, 다음의 수학식과 같이 주어진 변환영상에 프로젝션 행렬(X)을 곱함으로써 d 개의 프로젝션 특징 벡터(Yk)로 이루어지는 특징정보(Y)를 구할 수 있다.
여기서, Y는 얼굴영상 또는 변환영상의 특징정보로서, 주어진 영상에 대한 특징행렬(Feature matrix)로 칭할 수도 있다. 특징정보 Y는 열 벡터(column vector)들로 이루어지는 Y1, ..., Yd로 표현될 수도 있다. 또한, F는 주어진 입력영상에 대하여 얼굴영상을 나타내는 얼굴영상 행렬로서, 소정의 얼굴영상이 주어지면 이에 대한 특징정보를 구할 수 있다.
상기와 같이, 2D-PCA 기법을 적용하여 특징정보를 산출하는 것은 크기가 작은 공분산 행렬(Gt)을 바탕으로 프로젝션 행렬을 구함으로써 연산량 및 메모리 소요량을 줄일 수 있다. 또한, 일반적인 PCA 기법에서는 입력영상에서 1차원의 벡터를 정렬하고, 이를 기초로 특징점들을 추출하는 것에 비하여, 본 발명의 일 실시예에서는 2차원의 영상 행렬(Bj)을 기반으로 공분산 행렬(Gt) 및 프로젝션 행렬을 구함으로써 행렬의 크기가 현저히 작아짐으로써 연산에 소모되는 시간을 줄일 수 있고, 이로 인하여 실시간으로 얼굴 인식 및 저사양 시스템에도 적용될 수 있다.
한편, 얼굴 인식부(170)는 수학식 6에 의해 구해진 특징정보를 데이터베이스에 등록된 등록인물에 대한 특징정보와 비교하여 얼굴을 인식할 수 있다.
특징정보의 비교는 다음의 수학식에 의할 수 있다.
따라서, 수학식 7과 같이 입력영상으로부터 구해진 변환영상의 특징정보(
)및 데이터베이스에 등록된 등록인물에 대한 특징정보(
)와의 거리를 비교하여 유사도를 측정하고, 상기 유사도가 임계치 범위 내인 경우 동일인물로 인식할 수 있다.
상기와 같이, 본 발명의 일 실시예에 의하여는 조명 등의 영향에 대하여도 강인하게 얼굴 인식을 할 수 있고, 연산시간 및 메모리의 크기를 줄임으로써 저사양 시스템 또는 임베디드 시스템에도 용이하게 적용될 수 있다
도 7은 본 발명의 일 실시예에 따른 실물인식을 이용한 얼굴 인식 방법의 흐름도를 보여준다.
도 7을 참조하면, 먼저 외부로부터 복수의 입력영상을 획득한다(S710). 입력영상은 영상획득수단에 의하여 획득되거나 또는 유무선으로 외부로부터 전달받을 수 있다. 상기 복수의 입력영상은 소정의 시간 간격 동안 연속적으로 획득된 입력영상이 될 수 있다. 따라서, 복수의 입력영상에 대하여 각 얼굴영역을 추출하여, 각 얼굴영역에서의 눈 깜박임 또는 입 여닫음을 검출함으로써 실제 인물 여부를 판단할 수 있다.
복수의 입력영상이 획득되면, 각 입력영상으로부터 각 얼굴영역을 추출한다(S720). 각 입력영상에서 얼굴이 포함된 소정의 픽셀 영역을 각 얼굴영역으로 추출할 수 있다. 이러한 얼굴 영역을 추출하는 것은 일반적인 얼굴 영역을 추출하는 기법에 의할 수 있다.
각 얼굴영상이 추출되면, 각 얼굴영상에서 눈 영역 및/또는 입 영역을 추출할 수 있다(S730). 여기서, 눈 영역은 아이-라인(eye-line)을 포함하며, 아이-라인에 의해 형성되는 눈 윤곽선을 포함할 수 있다. 입 영역은 입술에 의해 형성되는 마우스-라인(mouth-line)을 포함하며, 마우스-라인에 의해 형성되는 입 윤곽선을 포함할 수 있다. 따라서, 눈 영역 및/또는 입 영역의 추출에 의하여, 눈의 윤곽선 및/또는 입의 윤곽선을 추출할 수 있다.
눈 영역 및/또는 입 영역이 추출되면, 아이-라인의 변화를 이용하여 눈 깜박임을 검출하거나 마우스-라인의 변화를 이용하여 입 여닫음을 검출할 수 있다(S740). 눈 깜박임 및/또는 입 여닫음이 검출되면, 획득된 입력영상 내의 인물을 실제 인물로 판단할 수 있다.
예를 들어, 눈 영역이 추출되면, 아이-라인의 상부 및 하부 라인의 간격을 이용하여 감은 눈 또는 뜬 눈으로 판단하고, 검출된 감은 눈 또는 뜬 눈이 검출되면 눈 깜박이 있는 것으로 판단하여 실제 인물로 인식한다. 이와 함께, 눈 깜박임의 빈도수가 제1 임계치 이상인 경우에 실제 인물로 인식할 수도 있다. 여기서, 제 1 임계치는 눈 깜박임에 의하여 실물로 인식될 수 있는 최소 눈 깜박임 회수를 말한다.
또는, 아이-라인에 의해 형성되는 눈 윤곽선의 면적 변화를 이용하여 눈 깜박임을 검출할 수 있다. 복수의 입력영상에서 눈 윤곽선의 면적이 일정량 이상 변화하거나 또는 최소 윤곽선 면적 대 최대 윤곽선 면적의 비가 일정치 이하가 되는 경우에는 눈 깜박임이 있는 것으로 판단할 수 있다. 또는 눈동자의 크기 변화를 이용하여 눈 깜박임 여부를 판단할 수도 있다.
입 여닫음에 있어서는, 마우스-라인의 상부 및 하부 라인의 간격을 이용하여 열린 입 또는 닫힌 입으로 판단하고, 이를 이용하여 입 여닫음을 검출하여 실제 인물로 인식한다. 이와 함께, 입 여닫음의 빈도수가 제2 임계치 이상인 경우에 실제 인물로 인식할 수도 있다. 여기서, 제2 임계치는 입 여닫음에 의하여 실물로 인식될 수 있는 최소 입 여닫음 회수를 말한다.
또는, 마우스-라인이 추출되면 마우스-라인에 의해 형성되는 입 윤곽선의 면적의 변화를 알 수 있다. 다만, 입 윤곽선에 있어, 입술의 외곽선이 아니라, 입이 닫혔을 때 윗 입술 및 아래 입술이 접하는 라인이 되며, 입이 열렸을 때에는 안쪽에 위치하는 윤곽선(contour)를 말한다. 따라서, 입 윤곽선의 면적에 있어 일정량의 변화가 있거나, 또는 최소 윤곽선 면적 대 최대 윤곽선 면적의 비가 일정치 이하가 되는 경우에는 입 여닫음이 있는 것으로 판단할 수 있다.
상기와 같이, 눈 깜박임 여부 및/또는 입 여닫음 여부를 검출하여 입력영상 내의 인물이 실제 인물인지를 판단할 수 있다.
실제 인물로 판단되는 경우에는, 입력영상 내에 포함된 얼굴에 대한 얼굴 인식을 수행한다. 복수의 얼굴영상 중에 소정의 얼굴영상에 대하여 각 픽셀을 중심으로 주변 픽셀들과의 픽셀값을 비교하여 이진패턴을 구하고, 이진패턴을 바탕으로 변환영상을 산출한다(S750). 인물인식률을 높이기 위하여, 복수의 얼굴영상 중에서 비교적 아이-라인이 선명한 영상을 선택하여, 얼굴 인식을 수행할 수도 있다. 다만, 조명 등의 외부 환경의 잡음이 크지 않은 환경하에서 획득되는 복수의 입력영상에 대하여는 변환영상의 산출과정이 생략될 수도 있다.
추출된 얼굴영역 또는 변환영상으로부터 특징정보를 추출한다(S760). 특징정보의 추출에는 PCA 또는 LDA 기법 등이 적용될 수 있다. 또한 2D-PCA 기법이 특징정보 추출에 적용될 수 있다. 예를 들어, 2D-PCA 기법에 따르면, 복수의 샘플영상을 바탕으로 각 샘플영상의 각 영상행렬을 산출하며, 각 영상행렬을 평균함에 의하여 구해지는 공분산 행렬의 고유벡터들을 포함하는 프로젝션 행렬을 구할 수 있다. 구해진 프로젝션 행렬 및 얼굴영상을 연산하여 얼굴영상 또는 변환영상에 대한 특징정보를 추출할 수 있다.
추출된 얼굴영상의 특징정보 및 등록된 인물정보를 비교하여 얼굴영상의 얼굴을 인식한다(S770). 얼굴영상의 특징정보 및 등록된 인물정보에 포함된 각 특징정보 사이의 거리를 계산하여, 임계치 이내의 거리에 위치하는 경우에는 입력영상 내의 얼굴이 등록된 인물과 동일인의 얼굴로 판단할 수 있다.
상기와 같이, 본 발명의 일 실시예에 따르면 실제 인물 여부를 눈 깜박임 및/또는 입 여닫음을 감지함으로써 용이하게 판단할 수 있다. 또한, 얼굴 인식에 있 어 LPB를 이용하여 외부 조명 또는 외부 잡음에 강인하게 대처할 수 있다. 또한, 2D-PCA 기법을 적용함으로써 연산량 및 연산 시간을 줄일 수 있어 실시간 얼굴 인식 및 저사양 시스템의 얼굴 인식에 용이하게 적용할 수 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
도 1은 본 발명의 일 실시예에 따른 실물 인식을 이용한 얼굴 인식 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실물 인식을 이용한 얼굴 인식 시스템에서 실물 인식부의 블록도이다.
도 3a는 본 발명의 일 실시예의 실물 인식부에 의하여 얼굴영상으로부터 추출된 대략적인 눈 영역을 보여주는 도면이다.
도 3b는 본 발명의 일 실시예의 실물 인식부에 의하여 검출되는 눈 깜박임의 일례를 보여주는 도면이다.
도 4a는 본 발명의 일 실시예의 실물 인식부에 의하여 얼굴영상으로부터 추출된 대략적인 입 영역을 보여주는 도면이다.
도 4b는 본 발명의 일 실시예의 실물 인식부에 의하여 검출되는 입 여닫음의 일례를 보여주는 도면이다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 얼굴 인식 시스템에서 변환영상 획득부에서 LBP 기법이 적용되는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 시스템에서 특징정보 추출부에 의하여 프로젝션 행렬을 산출되는 과정을 도식적으로 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 실물인식을 이용한 얼굴 인식 방법의 흐름도이다.
<도면의 주요 부분에 관한 부호의 설명>
100, 얼굴 인식 시스템
120: 영상 획득부 130: 얼굴 추출부
140: 변환영상 산출부 150: 특징정보 추출부
170: 얼굴 인식부 200: 실물 인식부
210: 눈 영역 추출부 220: 깜박임 검출부
260: 입 영역 추출부 270: 여닫음 검출부
300: 데이터베이스
Claims (14)
- 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부;상기 각 얼굴영상의 눈동자 크기 변화 또는 아이-라인(eye-line)의 변화를 이용하여 눈 깜박임을 검출하여 실물인지 여부를 판단하는 실물 인식부;상기 각 얼굴영상 중 소정의 얼굴영상에 대한 특징정보를 추출하는 특징정보 추출부; 및상기 추출된 특징정보 및 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함하며,상기 실물 인식부는 상기 검출된 눈 깜박임의 빈도수가 임계치 이상인 경우에 실물로 인식하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 제 1항에 있어서, 상기 실물 인식부는상기 각 얼굴영상에서 감지되는 상기 눈동자의 크기 또는 상기 아이-라인의 상하부 간격을 이용하여 감은 눈 및 뜬 눈을 감지함에 의하여 상기 눈 깜박임을 검출하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 제 1항에 있어서, 상기 실물 인식부는상기 각 얼굴영상으로부터 눈 영역을 추출하는 눈 영역 추출부; 및상기 추출된 눈 영역에서 상기 눈동자의 크기 변화, 상기 아이-라인의 상하 부 위치 변화, 및 상기 아이-라인에 의한 윤곽선의 면적 변화 중 하나를 이용하여 눈 깜박임을 검출하는 깜박임 검출부를 포함하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 삭제
- 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부;상기 각 얼굴영상의 감은 눈 및 뜬 눈을 검출하여 실물인지 여부를 판단하는 실물 인식부; 및상기 얼굴영상이 실물로 판단되는 경우, 상기 각 얼굴영상 중 소정의 얼굴영상에 대하여 얼굴 인식을 수행하는 얼굴 인식부를 포함하며상기 실물 인식부는 상기 검출된 감은 눈 및 뜬 눈의 빈도수가 임계치 이상인 경우에 상기 입력영상 내의 인물을 실물로 인식하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 삭제
- 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부;상기 각 얼굴영상의 마우스-라인(mouth-line)의 변화를 이용하여 입 여닫음을 검출하여 실물인지 여부를 판단하는 실물 인식부;상기 각 얼굴영상 중 소정의 얼굴영상에 대한 특징정보를 추출하는 특징정보 추출부; 및상기 추출된 특징정보 및 데이터베이스에 저장된 인물영상의 특징정보를 비교하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함하며,상기 실물 인식부는 상기 검출된 입 여닫음의 빈도수가 임계치 이상인 경우에 실물로 인식하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 제 7항에 있어서, 상기 실물 인식부는상기 각 마우스-라인의 상하부 간격을 이용하여 열린 입 및 닫힌 입을 감지함에 의하여 상기 입 여닫음을 검출하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 제 7항에 있어서, 상기 실물 인식부는상기 각 얼굴영상으로부터 입 영역을 추출하는 입 영역 추출부; 및상기 추출된 입 영역에서 상기 마우스-라인의 상하부 위치 변화 또는 상기 마우스-라인에 의한 윤곽선의 면적 변화를 이용하여 상기 입 여닫음을 검출하는 여닫음 검출부를 포함하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 삭제
- 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 얼굴 추출부;상기 각 얼굴영상의 눈 깜박임 및 입 여닫음을 검출하여 실물인지 여부를 판단하는 실물 인식부;상기 각 얼굴영상 중 소정의 얼굴영상에 대한 특징정보를 추출하여, 추출된 특징정보를 이용하여 상기 입력영상의 얼굴을 인식하는 얼굴 인식부를 포함하며,상기 실물 인식부는 상기 검출된 눈 깜박임의 빈도수가 제1 임계치 이상이거나, 또는 상기 검출된 입 여닫음의 빈도수가 제2 임계치 이상인 경우에 상기 입력영상 내의 얼굴을 실물로 판단하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 제 11항에 있어서, 상기 실물 인식부는상기 각 입력영상의 눈 영역을 추출하고, 추출된 눈 영역에서 눈동자의 크기 변화 또는 아이-라인의 변화를 이용하여 눈 깜박임을 검출하는 깜박임 검출부; 및상기 각 입력영상의 입 영역을 추출하고, 추출된 입 영역에서 마우스-라인의 변화를 이용하여 상기 입 여닫음을 검출하는 여닫음 검출부를 포함하는, 실물 인식을 이용한 얼굴 인식 시스템.
- 삭제
- 복수의 입력영상을 연속적으로 획득하여 각 입력영상에 대한 각 얼굴영상을 추출하는 단계;상기 각 얼굴영상의 눈 깜박임 또는 입 여닫음의 빈도수를 검출하여 실물인지 여부를 판단하는 단계; 및상기 얼굴영상이 실물로 판단되는 경우, 상기 각 얼굴영상 중 소정의 얼굴영상에 대하여 얼굴 인식을 수행하는 단계를 포함하는, 실물 인식을 이용한 얼굴 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080067706A KR100880256B1 (ko) | 2008-07-11 | 2008-07-11 | 실물 인식을 이용한 얼굴 인식 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080067706A KR100880256B1 (ko) | 2008-07-11 | 2008-07-11 | 실물 인식을 이용한 얼굴 인식 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100880256B1 true KR100880256B1 (ko) | 2009-01-28 |
Family
ID=40483099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080067706A KR100880256B1 (ko) | 2008-07-11 | 2008-07-11 | 실물 인식을 이용한 얼굴 인식 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100880256B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101117549B1 (ko) * | 2010-03-31 | 2012-03-07 | 경북대학교 산학협력단 | 얼굴 인식 시스템 및 그 얼굴 인식 방법 |
| WO2012146823A1 (en) * | 2011-04-29 | 2012-11-01 | Nokia Corporation | Method, apparatus and computer program product for blink detection in media content |
| KR20200091799A (ko) * | 2019-01-23 | 2020-07-31 | 건국대학교 산학협력단 | 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010001021A (ko) * | 1999-06-01 | 2001-01-05 | 윤종용 | 눈 깜빡임을 이용한 졸음 감지 방법 및 졸음 레벨 검출 전처리과정에서의 변형되는 눈 영역 추적 방법 |
| KR20030046007A (ko) * | 2001-12-03 | 2003-06-12 | 이일병 | 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템 |
| KR20070097629A (ko) * | 2006-03-28 | 2007-10-05 | (주)코아정보시스템 | 얼굴 인식을 위한 임베디드 시스템 |
-
2008
- 2008-07-11 KR KR1020080067706A patent/KR100880256B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010001021A (ko) * | 1999-06-01 | 2001-01-05 | 윤종용 | 눈 깜빡임을 이용한 졸음 감지 방법 및 졸음 레벨 검출 전처리과정에서의 변형되는 눈 영역 추적 방법 |
| KR20030046007A (ko) * | 2001-12-03 | 2003-06-12 | 이일병 | 개인 식별을 위한 홍채 영상의 처리 및 인식방법과 시스템 |
| KR20070097629A (ko) * | 2006-03-28 | 2007-10-05 | (주)코아정보시스템 | 얼굴 인식을 위한 임베디드 시스템 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101117549B1 (ko) * | 2010-03-31 | 2012-03-07 | 경북대학교 산학협력단 | 얼굴 인식 시스템 및 그 얼굴 인식 방법 |
| WO2012146823A1 (en) * | 2011-04-29 | 2012-11-01 | Nokia Corporation | Method, apparatus and computer program product for blink detection in media content |
| KR20200091799A (ko) * | 2019-01-23 | 2020-07-31 | 건국대학교 산학협력단 | 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템 |
| KR102286468B1 (ko) * | 2019-01-23 | 2021-08-06 | 건국대학교 산학협력단 | 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5010905B2 (ja) | 顔認証装置 | |
| KR100944247B1 (ko) | 얼굴 인식 방법 및 시스템 | |
| KR100983346B1 (ko) | Ｉｒ조명을 이용한 얼굴인식 시스템 및 방법 | |
| KR100904916B1 (ko) | 얼굴 인식 시스템 및 방법 | |
| KR101314293B1 (ko) | 조명변화에 강인한 얼굴인식 시스템 | |
| US20140270402A1 (en) | Gait recognition methods and systems | |
| Lee | Palm vein recognition based on a modified | |
| JP2009523265A (ja) | 画像中の虹彩の特徴を抽出する方法 | |
| CN104598888B (zh) | 一种人脸性别的识别方法 | |
| Matin et al. | Human iris as a biometric for identity verification | |
| Sharma | Designing of face recognition system | |
| Taha et al. | Iris features extraction and recognition based on the local binary pattern technique | |
| KR20030066512A (ko) | 노이즈에 강인한 저용량 홍채인식 시스템 | |
| KR100880256B1 (ko) | 실물 인식을 이용한 얼굴 인식 시스템 및 방법 | |
| Cho et al. | Thermal imprint feature analysis for face recognition | |
| KR20080073598A (ko) | 실시간 얼굴 인식을 위한 방법 및 장치 | |
| Taleb et al. | Access control using automated face recognition: Based on the PCA & LDA algorithms | |
| Rao et al. | Neural network approach for eye detection | |
| Tian et al. | Personal identity recognition approach based on iris pattern | |
| Nandakumar et al. | Incorporating ancillary information in multibiometric systems | |
| Wang et al. | Detecting and tracking eyes through dynamic terrain feature matching | |
| Jin et al. | Iris image segmentation based on K-means cluster | |
| Soltany et al. | Daugman’s Algorithm Enhancement for Iris Localization | |
| Khan et al. | Fast and efficient iris segmentation approach based on morphology and geometry operation | |
| Chai et al. | Towards contactless palm region extraction in complex environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20080711 |
|
| PA0201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20080717 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20080711 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20081015 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20090112 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20090116 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20090119 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20120111 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20130111 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130111 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20140117 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20140117 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20141205 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20141205 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20160108 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160108 Start annual number: 8 End annual number: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20170117 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170117 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20180116 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180116 Start annual number: 10 End annual number: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20190109 Year of fee payment: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190109 Start annual number: 11 End annual number: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20200116 Year of fee payment: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200116 Start annual number: 12 End annual number: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210323 Start annual number: 13 End annual number: 13 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20231027 |