KR101195539B1 - 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법 - Google Patents

얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법 Download PDF

Info

Publication number
KR101195539B1
KR101195539B1 KR1020100014690A KR20100014690A KR101195539B1 KR 101195539 B1 KR101195539 B1 KR 101195539B1 KR 1020100014690 A KR1020100014690 A KR 1020100014690A KR 20100014690 A KR20100014690 A KR 20100014690A KR 101195539 B1 KR101195539 B1 KR 101195539B1
Authority
KR
South Korea
Prior art keywords
image
eigenvector
unit
face
frame
Prior art date
Application number
KR1020100014690A
Other languages
English (en)
Other versions
KR20110094947A (ko
Inventor
황윤수
박창주
Original Assignee
(주)유런아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유런아이 filed Critical (주)유런아이
Priority to KR1020100014690A priority Critical patent/KR101195539B1/ko
Publication of KR20110094947A publication Critical patent/KR20110094947A/ko
Application granted granted Critical
Publication of KR101195539B1 publication Critical patent/KR101195539B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Collating Specific Patterns (AREA)

Abstract

얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법이 개시된다. 본 발명에 따른 얼굴인식을 이용한 출입문 개폐 시스템은, 등록된 출입가능자에 대한 훈련집합 이미지를 데이터베이스로 저장하는 데이터베이스부와, 입력되는 영상이미지를 좌대칭 이미지 및 우대칭 이미지로 분리하는 영상 이미지 분리부와, 입력되는 영상이미지 및 영상 이미지 분리부에 의해 분리된 각각의 이미지를 데이터베이스부에 저장된 출입가능자에 대한 훈련집합 이미지와 비교하는 이미지 비교부 및 이미지 비교부에 의해 비교된 입력되는 영상이미지, 좌대칭 이미지 및 우대칭 이미지가 데이터베이스부에 저장된 출입가능자에 대한 영상이미지 중 동일한 출입가능자의 영상이미지와 일치하는 경우에 출입허용 신호를 출력하는 신호 출력부를 포함하는 것을 특징으로 한다. 이에 의하면, 출입이 허가된 자의 얼굴을 인식할 수 있을 뿐만 아니라 인식된 얼굴의 정형화된 패턴이 아닌 경우 즉, 마스크를 쓰거나 모자를 쓴 경우와 같이 얼굴을 위장한 경우도 검출할 수 있어 출입문에 설치되는 월패드, 홈오토메이션 시스템이나 방법 시스템에 적용되는 경우 보다 정확하고 안정적으로 출입문 통제를 할 수 있게 된다.

Description

얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법{Door on/off switching system using face recognition and detection method therefor}
본 발명은 얼굴인식을 이용한 출입문 개폐 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 얼굴 인식 및 검출 시스템을 이용하여 등록된 출입가능자의 여부를 정확하게 판별할 수 있을 뿐만 아니라 마스크 또는 모자 등을 써서 얼굴이 검출되지 않는 경우를 판단하여 개인의 출입 통제를 정확하고 철저하게 할 수 있는 얼굴인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법에 관한 것이다.
최근 개인의 신분 확인 시스템에서 주로 사용되는 비밀번호나 PIN(Personal Identification Number)의 단점을 보완하기 위한 대안의 하나로 생체 인식 기술이 폭 넓게 연구되고 있다.
기본적으로 생체 인식 시스템은 측정 가능한 개인의 물리적 또는 행동적 특징을 이용하여 개인의 신원을 확인하거나 검증하는 기술을 기반으로 한다. 일반적으로 지금까지 사용된 생체 특징은 지문, 홍채, 망막, 얼굴, 음성, 걸음걸이 등이 있다. 이들 생체 특징은 비밀 번호와는 달리 개인의 도용이나 복제에 의하여 이용되기 어려울 뿐 아니라, 변경되거나 분실될 위험성이 거의 없다는 장점을 갖는다. 더욱이 생체인식은 이용자에 대한 사후 추적이 가능하여 시스템의 관리 측면에서도 효율적인 방안을 마련할 수 있다는 장점이 있다.
생체인식 분야에서 얼굴인식은 직관적으로 이해 가능한 직접적인 방법이기 때문에 컴퓨터 비전과 패턴 인식 분야에서 활발하게 연구되고 있는 주제 중 하나이다. 얼굴인식 시스템의 대표적인 적용 분야는 신용 카드, 운전면허증, 여권과 같은 개인 확인 시스템, 출입 통제 시스템 및 보안 시스템 등을 들 수 있다. 얼굴인식의 적용 가능성 및 적용 범위를 확대하기 위해서 기존의 컴퓨터 비전, 영상 처리, 신경망 분야의 다양한 기법들을 복합적으로 활용하여 다양한 조건에서 얼굴인식 시스템의 정확도와 신뢰도를 높이고자 하는 연구가 지속적으로 진행되고 있다.
본 발명은 상기와 같은 시대적 상황에 부응하여 창안된 것으로서, 입력되는 영상으로부터 얼굴을 인식하여 패턴을 분석하고, 분석된 패턴에 기초하여 출입문의 개폐를 제어하는 얼굴인식 및 검출을 이용한 출입문 통제 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
이러한 출입문 통제 시스템 및 그 방법은 출입문에 설치되어 방문자의 출입여부를 판단하는 월패드나 홈오토메이션 시스템 또는 방범 시스템 등에 적용될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 실시예에 따른 얼굴인식을 이용한 출입문 개폐 시스템은, 등록된 출입가능자에 대한 복수의 훈련집합 이미지를 데이터베이스로 저장함과 동시에 각각의 상기 훈련집합 이미지에 대한 공통패턴을 분석하여 저장하는 데이터베이스부; 입력되는 영상이미지를 좌대칭 이미지 및 우대칭 이미지로 분리하는 영상 이미지 분리부; 상기 입력되는 영상이미지 및 상기 영상 이미지 분리부에 의해 분리된 상기 좌대칭 이미지 및 상기 우대칭 이미지로부터 각각의 특성패턴을 추출하는 특성패턴 추출부; 상기 특성패턴 추출부에 의해 추출된 상기 각각의 특성패턴을 상기 데이터베이스부에 저장된 출입가능자에 대한 공통패턴과 비교하는 이미지 비교부; 및 상기 특성패턴 추출부에 의해 추출된 상기 각각의 특성패턴 중 상기 공통패턴과 일치하는 특성패턴의 수가 설정된 값 이상인 경우에 출입허용 신호를 출력하는 신호 출력부를 포함하는 것을 특징으로 한다.
바람직하게는 상기의 얼굴인식을 이용한 출입문 개폐 시스템은, 출입가능자에 대한 훈련집합 이미지의 평균영상을 계산하는 평균영상 계산부; 및 평균영상 계산부에 의해 계산된 평균영상에 기초하여 고유벡터를 계산하는 고유벡터 계산부를 더 포함할 수 있다.
또한, 상기의 얼굴인식을 이용한 출입문 개폐 시스템은, 입력되는 영상이미지, 좌대칭 이미지 및 우대칭 이미지의 각각의 프레임으로부터 프레임 고유벡터를 계산하는 프레임 고유벡터 계산부를 더 포함할 수도 있다.
여기서, 비교부는, 프레임 고유벡터 계산부에 의해 계산된 프레임 고유벡터와 고유벡터 계산부에 의해 계산된 고유벡터를 비교하는 것이 바람직하다.
또한, 신호 출력부는, 비교부에 의해 비교된 프레임 고유벡터와 고유벡터가 기 설정된 허용오차 범위 이내인 경우에 출입허용 신호를 출력하는 것이 바람직하다.
한편, 상기의 얼굴인식을 이용한 출입문 개폐 시스템은, 등록된 출입가능자에 대한 훈련집합 이미지를 데이터베이스로 저장함과 동시에 각각의 상기 훈련집합 이미지에 대한 공통패턴을 분석하여 저장하는 단계;
입력되는 영상이미지를 좌대칭 이미지 및 우대칭 이미지로 분리하며, 상기 입력되는 영상이미지, 분리된 상기 좌대칭 이미지 및 상기 우대칭 이미지로부터 각각의 특성패턴을 추출하는 단계; 추출된 상기 각각의 특성패턴을 상기 저장된 출입가능자에 대한 공통패턴과 비교하는 단계; 및 추출된 상기 각의 특성패턴 중 상기 공통패턴과 일치하는 특성패턴의 수가 설정된 값 이상인 경우에 출입허용 신호를 출력하는 단계를 포함하는 얼굴인식을 이용한 출입문 개폐방법을 제공한다.
여기서, 상기의 얼굴인식을 이용한 출입문 개폐방법은, 출입가능자에 대한 훈련집합 이미지의 평균영상을 계산하는 단계; 및 계산된 평균영상에 기초하여 고유벡터를 계산하는 단계를 더 포함할 수 있다.
또한, 상기의 얼굴인식을 이용한 출입문 개폐방법은, 영상이미지, 좌대칭 이미지 및 우대칭 이미지의 각각의 프레임에 기초하여 프레임 고유벡터를 계산하는 단계를 더 포함할 수도 있다.
여기서, 비교단계는, 계산된 프레임 고유벡터와 계산된 고유벡터를 비교하는 것이 바람직하다.
또한, 신호 출력단계는, 비교된 프레임 고유벡터와 고유벡터가 기 설정된 허용오차 범위 이내인 경우에 출입허용 신호를 출력하는 것이 바람직하다.
본 발명의 실시예에 따르면, 입력되는 영상으로부터 얼굴을 인식하여 패턴을 분석하고, 분석된 패턴에 기초하여 출입문의 개폐를 제어할 수 있게 된다. 이에 따라, 출입 가능자를 판단할 수 있을 뿐만 아니라 마스크나 모자를 깊이 눌러쓴 경우를 판단하고 즉, 얼굴의 정형화된 패턴이 검출되는지를 판단하여 보다 안전하게 출입문 개폐를 할 수 있다.
또한, 입력되는 영상에 대하여 좌대칭 및 우대칭 이미지를 분리하고, 분리된 각각의 이미지에 대한 프레임을 분석하여 출입가능자의 훈련집합 이미지와 비교함으로써, 보다 정확하게 얼굴을 인식 및 검출하고 그에 기초한 출입가능자 판단이 가능하게 된다.
도 1은 본 발명의 실시예에 따른 얼굴인식을 이용한 출입문 개폐 시스템을 개략적으로 도시한 도면이다.
도 2는 도 1의 얼굴인식을 이용한 출입문 개폐 시스템에 의한 출입문 개폐방법을 나타낸 흐름도이다.
도 3은 입력되는 영상이미지의 프레임 예를 나타낸 도면이다.
도 4는 도 3의 좌대칭 이미지를 나타낸 도면이다.
도 5는 도 3의 우대칭 이미지를 나타낸 도면이다.
도 6은 도 3의 탐색과정을 설명하기 위해 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 얼굴인식을 이용한 출입문 개폐 시스템 및 그 방법을 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 얼굴인식을 이용한 출입문 개폐 시스템을 개략적으로 도시한 도면이다.
도면을 참조하면, 본 발명의 실시예에 따른 얼굴인식을 이용한 출입문 개폐 시스템(100)은 데이터베이스부(110), 영상이미지 분리부(120), 특성패턴 추출부(130), 이미지 비교부(140), 신호 출력부(150), 평균영상 계산부(160), 고유벡터 계산부(170) 및 프레임벡터 계산부(180)를 구비할 수 있다.
데이터베이스부(110)는 등록된 출입가능자에 대한 복수의 훈련집합 이미지를 데이터베이스로 저장함과 동시에 각각의 훈련집합 이미지에 대한 공통패턴을 분석하여 저장한다. 여기서, 훈련집합 이미지는 등록된 출입가능자의 얼굴이미지에 대한 다양한 표정이미지, 조명에 따른 이미지를 포함한다. 또한, 각각의 훈련집합 이미지에 대한 공통패턴은 얼굴의 고정된 윤곽이나 특징, 눈이나 입술과 같이 표정에 의해 그 위치나 각도가 변하는 경우에는 변동이 없는 부분의 윤곽이나 위치 등을 포함한다. 이 경우, 표정에 따라 위치나 각도가 변하는 경우에도 그 변동된 위치나 각도가 설정된 범위 이내인 경우에는 고정된 것으로 간주할 수 있다.
영상이미지 분리부(120)는 카메라에 의해 촬영되어 입력되는 영상이미지를 좌대칭 이미지 및 우대칭 이미지로 분리한다. 또한, 영상이미지 분리부(120)는 입력되는 영상이미지를 프레임 단위의 영상으로 분리하거나, 필드 단위의 영상으로 분리할 수도 있다.
특성패턴 추출부(130)는 입력되는 영상이미지 및 영상 이미지 분리부(120)에 의해 분리된 좌대칭 이미지 및 우대칭 이미지로부터 각각의 특성패턴을 추출한다. 이때, 특성패턴 추출부(130)에 의해 추출되는 특성패턴은 얼굴의 윤곽, 점과 같은 구체적 특징, 눈, 코, 입술 등의 위치 및 크기, 각도 등에 대한 패턴을 포함한다. 또한, 이와 같은 특성패턴은 단일 프레임 또는 단일 필드로부터 추출될 수 있으며, 복수의 연속되는 프레임 또는 필드로부터 추출될 수도 있다.
이미지 비교부(140)는 특성패턴 추출부(130)에 의해 추출된 각각의 특성패턴을 데이터베이스부(110)에 저장된 출입가능자에 대한 공통패턴과 비교한다. 예를 들어, 이미지 비교부(140)는 특성패턴 추출부(130)에 의해 양 미간 사이의 거리, 입술의 크기, 왼쪽 뺨에 위치된 점 등과 같은 특성패턴을 데이터베이스부(110)에 저장된 공통패턴과 비교한다. 이때, 이미지 비교부(140)는 특성패턴 추출부(130)에 의해 추출된 각각의 특성패턴과 데이터베이스부(110)에 저장된 공통패턴의 일치여부를 비교하기 위하여, 각각의 특성패턴에 대한 벡터를 산출하고, 산출된 벡터를 데이터베이스부(110)에 저장된 공통패턴의 벡터와 비교할 수 있다.
이러한 구성에 의하여, 방문자의 얼굴을 인식하여 출입이 허가된 자인지를 정확하게 판단할 수 있을 뿐만 아니라 방문자가 얼굴 위장한 경우, 예를 들어, 모자를 깊숙히 눌러 쓴다거나 마스크를 착용한 경우 얼굴의 특성패턴이 추출되지 않는 경우 즉, 얼굴 검출이 되지 않는 경우를 판단하여 '모자나 마스크를 벗어 달라'는 안내 메시지를 출력할 수 있게 된다.
신호 출력부(150)는 특성패턴 추출부(130)에 의해 추출된 각각의 특성패턴 중 공통패턴과 일치하는 특성패턴의 수가 설정된 값 이상인 경우에 출입허용 신호를 출력한다.
평균영상 계산부(160)는 데이터베이스부(110)에 저장된 출입가능자에 대한 훈련집합 이미지의 평균영상을 계산한다.
고유벡터 계산부(170)는 평균영상 계산부(160)에 의해 계산된 평균영상에 기초하여 고유벡터를 계산한다.
프레임벡터 계산부(180)는 입력되는 영상이미지, 영상 이미지 분리부(120)에 의해 분리된 좌대칭 이미지 및 우대칭 이미지의 프레임 단위의 영상에 대하여, 프레임 고유벡터를 계산한다. 이때, 프레임 고유벡터는 훈련집합 이미지에 대하여 고유벡터를 산출한 방식과 동일한 방식으로 계산되는 것이 바람직하다.
도 2는 도 1의 얼굴인식을 이용한 출입문 개폐 시스템의 출입문 개폐방법을 나타낸 흐름도이다. 도면을 참조하여 도 1의 얼굴인식을 이용한 출입문 개폐 시스템의 구성 및 동작을 보다 상세하게 설명한다.
데이터베이스부(110)는 등록된 출입가능자에 대한 훈련집합 이미지를 데이터베이스로 저장함과 동시에 각각의 훈련집합 이미지에 대한 공통패턴을 분석하여 저장한다(S201).
수학적인 측면에서 보면 다른 영상과 마찬가지로 얼굴 이미지 또한 고차원 공간의 점이나 벡터로 이루어진다. 이렇게 고차원 공간에 분포된 얼굴 영상의 변이를 이해하기 위한 하나의 방법이 얼굴 이미지 집합에 대한 공분산 행렬의 고유벡터들을 이용하는 것이다. 고유벡터들은 많은 얼굴이미지들 사이에서 변화의 양을 설명하는 벡터로 정렬되어 있으며, 이런 의미에서 이 고유벡터를 고유얼굴(eigenface)이라고 부른다.
고유얼굴들의 선형 결합으로 원래의 얼굴 이미지를 완벽하게 복원해 낼 수 있으며, 단지 몇 개의 가장 효과적인 고유얼굴을 사용함으로써도 근사적으로 원래 얼굴 이미지를 표현할 수 있다.
주성분 분석을 사용하여 얼굴 사진들을 효과적으로 표현하기 위하여 Sirovich와 Kirby에 의해 개발된 기술을 이용할 수 있다. 원래 이미지들을 한곳에 전체적으로 위치시키는 방법이 시작되면서 Sirovich와 Kirby는 이미지 압축을 위하여 최적의 좌표 시스템을 계산하였다. 각 좌표는 그들이 고유사진이라고 부르는 하나의 이미지가 된다. 각 얼굴을 기술하는 가중치들은 얼굴 이미지를 각각의 고유사진에 투영시키면서 찾게 된다. 만약, 다수의 얼굴 이미지들이 특징들과 적은 고유사진들의 가중치의 합으로 재현될 수 있다면, 얼굴을 인식하고 습득하기 위한 효과적인 방법은 여러 번의 경험에 의한 특성들을 저장하는 것이다. 그리고 등록된 개개인들과 연관된 가중치와 입력된 얼굴을 대략적으로 재현하든데 필요한 특징 가중치를 비교함으로써 특정 얼굴을 인식하는 것이 좋은 방법이 될 것이다. 그러므로, 각 이미지들은 그들을 재현하고 기술하기 위해 필요한 특징이나 고유사진의 가중치 집합으로 표현된다. 이것은 이미지 그 자체를 비교할 때 매우 간결한 표현이 된다.
하나의 얼굴 이미지 I(x,y)를 명암 값을 가진 2차원 NxN 배열이라고 가정하면, 하나의 이미지는 N2 차원의 벡터로 생각할 수 있다. 예를 들어, 256x256 이미지는 65,536 차원의 공간에 존재하는 하나의 벡터 또는 점이 된다. 여러 장의 이미지로 구성된 이미지 집합은 고차원 공간에 분포된 일련의 점이라 생각할 수 있다.
얼굴인식 시스템을 개발하기 위해서 M개의 얼굴 이미지로 구성된 훈련 집합을 고려하면 수학식 1과 같이 표현할 수 있다.
Figure 112010010726540-pat00001
여기서, 평균영상 계산부(150)는 고유 얼굴 계산을 간단하게 하기 위해서 훈련 집합의 평균 얼굴을 계산할 수 있다(S203). 이 경우, 각 얼굴 이미지에서 계산된 평균 얼굴을 빼면 수학식 2와 같이 표현 가능하다.
Figure 112010010726540-pat00002
여기서 평균 얼굴은
Figure 112010010726540-pat00003
으로 계산된다.
고유벡터 계산부(160)는 평균영상 계산부(150)에 의해 계산된 평균영상에 기초하여 고유벡터를 계산한다(S205).
훈련 집합을 준비하고 나서 훈련 집합에 포함된 이미지 벡터들의 분포를 최적으로 기술하는 M개의 정규화된 직교 벡터들
Figure 112010010726540-pat00004
을 찾는 주성분 분석을 수행한다. 주성분 분석을 수행하여 구해진 k번째 벡터
Figure 112010010726540-pat00005
는 다음 식을 최대로 만든다.
Figure 112010010726540-pat00006
여기서 벡터
Figure 112010010726540-pat00007
와 스칼라
Figure 112010010726540-pat00008
는 각각 수학식 2에서 구한 훈련 집합의 얼굴 이미지의 공분산 행렬의 고유벡터와 고유값이다. 여기서 훈련 집합의 얼굴 이미지의 공분산 행렬은 다음의 식으로 정의된다.
Figure 112010010726540-pat00009
여기서
Figure 112010010726540-pat00010
이다.
전형적인 이미지의 크기를 가정하면 N2xN2 공분산 행렬 C에서 고유벡터들과 고유값을 계산하는 것은 일반적으로 매우 시간이 걸리는 작업이다. 따라서, 이런 고유벡터들을 찾기 위하여 계산적으로 실현 가능한 방법을 찾을 필요가 있으며, 만약 이미지 공간에 있는 데이터 점들의 수가 공간의 차원보다 적으면 (M < N2), 의미 있는 고유벡터의 수가 N2이 아닌 N-1개만 있으면 된다. 이는 나머지 고유벡터들은 0의 고유값과 연관되어 있기 때문이다. 따라서, 이와 같은 경우에 먼저 MxM 행렬의 고유벡터들을 찾아내고 얼굴 이미지들
Figure 112010010726540-pat00011
의 적절한 선형 결합을 취하면서 N2 차원의 고유벡터들을 찾아낼 수가 있다.
ATA의 고유벡터 vi를 다음과 같이 가정한다.
Figure 112010010726540-pat00012
먼저 수학식 5의 양변에 A를 곱하면, 다음 식을 얻을 수 있다.
Figure 112010010726540-pat00013
수학식 6으로부터
Figure 112010010726540-pat00014
가
Figure 112010010726540-pat00015
의 고유벡터들임을 알 수가 있다. 그러므로 원래 구하고자 하는 고유 얼굴
Figure 112010010726540-pat00016
은 다음의 식과 같이 구해진다.
Figure 112010010726540-pat00017
실제 훈련 집합에 포함된 얼굴 이미지 수가 화소의 제곱에 비하여 매우 작기 때문에 고유 얼굴을 계산하기 위한 계산양은 실제 적용 가능한 수준까지 줄어든다.
영상이미지 분리부(120)는 카메라를 통해 촬영되어 입력되는 영상이미지를 좌대칭 이미지 및 우대칭 이미지로 분리하며, 입력되는 영상이미지, 분리된 좌대칭 이미지 및 우대칭 이미지로부터 각각의 특성패턴을 추출한다(S207). 훈련집합의 고유얼굴 계산 과정과 새로운 얼굴 이미지의 인식과정을 통해 얼굴인식을 하기 위하여 접근법을 사용할 수 있다. 훈련집합의 고유얼굴 계산은 얼굴 이미지들의 초기집합을 구성하면서 이루어진다. 즉, 입력되는 영상을 프레임 단위로 분리하며, 각각의 프레임 단위에 대하여 좌대칭 이미지와 우대칭 이미지를 분리할 수 있다. 이렇게 분리된 각각의 프레임 단위의 영상에서 훈련집합 이미지의 경우와 동일한 방식으로 프레임 고유벡터를 계산하여 각 이미지와의 차영상을 얻는다(S209). 이때, 차영상 집합의 공분산을 계산하여 프레임 고유벡터와 고유값을 얻을 수 있다. 또는, 특성패턴 추출부(130)는 입력되는 영상이미지, 영상이미지 분리부(120)에 의해 분리된 좌대칭 이미지 및 우대칭 이미지로부터 각각의 이미지에 대한 특성패턴을 추출할 수 있다.
예를 들어, 입력되는 영상이미지의 한 프레임이 도 3과 같다고 할 경우, 해당 프레임은 도 4 및 도 5에 도시한 바와 같이 좌대칭 이미지 및 우대칭 이미지로 분리하며, 입력되는 영상이미지, 좌대칭 이미지 및 우대칭 이미지로부터 좌우 얼굴윤곽 사이의 넓이, 길이, 양 눈 사이의 거리, 중심선으로부터 눈, 코, 입 등에 대한 거리, 점 등과 같은 구체적인 특징 등에 대한 특성패턴을 추출할 수 있다. 이와 같이 입력된 영상이미지 및 각각의 분리된 이미지의 프레임에 대하여, 도 6에 도시한 바와 같이 MCT 전처리가 수행되거나 Adaboost를 이용한 Classifier가 적용되거나 변형이 이루어질 수 있다. 얼굴인식을 위한 탐색과정의 한 예로서, 입력 영상을 여러 크기로 다양하게 줄이면서 MCT 전처리를 수행하고, Adaboost를 이용한 Classifier를 적용하여 얼굴을 탐색하며, 한 위치에 여러 얼굴이 나오는 경우에는 신뢰도가 낮은 얼굴 검출을 삭제하여 최종 결과를 구할 수도 있다.
이미지 비교부(140)는 입력되는 영상이미지, 및 영상이미지 분리부(120)에 의해 분리된 각각의 좌대칭 이미지 및 우대칭 이미지의 특성패턴을 데이터베이스부(110)에 저장된 출입가능자에 대한 공통패턴과 비교한다(S211). 이때, 이미지 비교부(130)는 영상이미지를 프레임단위로 분리하고, 또한 각각의 프레임을 좌대칭 이미지 및 우대칭 이미지로 분리하며, 각각의 프레임에 대한 고유벡터의 특성패턴과 훈련집합 이미지에 대응하는 고유벡터의 특성패턴을 비교할 수도 있다.
프레임 고유벡터는 프레임 고유얼굴의 계산에 사용되며 고유값과 얼굴인식 시스템에 있어 이미지 비교부(140)에 의해 비교된 결과에 따라 유사도가 높은 순으로 정렬된다. 이때, 가장 높은 고유값에 해당하는 M개의 이미지들만을 가지고 있어야 한다. 이 M개의 이미지들을 시스템의 얼굴 공간이라 한다. 마지막으로 훈련집합의 개개인에 대한 M 차원 가중치 집합을 계산한다. 이것은 훈련집합의 얼굴 이미지들을 얼굴 공간으로 투영시키면서 이루어진다.
얼굴인식 과정은 새로운 얼굴 이미지가 얼굴 공간으로 투영되면서 이루어진다. 새로운 얼굴 이미지(
Figure 112010010726540-pat00018
)는 고유얼굴
Figure 112010010726540-pat00019
와 평균 얼굴
Figure 112010010726540-pat00020
를 뺀 차영상의 내적에 의해 수학식 8과 같이 가중치 벡터로 계산될 수 있다.
Figure 112010010726540-pat00021
이 가중치들은 얼굴 이미지를 인식하기 위한 기준이 되는 것이며, 각 고유얼굴의 인식 기여도를 기술하는 벡터인 가중치 집합
Figure 112010010726540-pat00022
을 구성한다. 이것은 얼굴 이미지들을 위한 베이시스 집합으로써 고유얼굴을 다루고 있다. 이 벡터는 표준 패턴 인식 알고리즘에서 사용되며 미리 정해진 훈련집합의 얼굴들 중에서 어느 얼굴이 가장 효과적으로 인식에 기여하는지를 찾아내는 기준이 된다. 입력 얼굴 이미지를 인식하는 간단한 방법 중에 하나는 수학식 9와 같이 유클리디안 거리를 이용하는 것이다. 이 거리가 최소화되는 얼굴을 판단하게 된다.
Figure 112010010726540-pat00023
수학식 9에서
Figure 112010010726540-pat00024
는 k번째 얼굴을 기술하는 가중치 집합이며
Figure 112010010726540-pat00025
는 새로운 얼굴 이미지에 대한 가중치를 갖고 있는 집합이다. 입력 얼굴에 대한 인식은 수학식 9를 이용하여 이루어진다. 이는 입력 얼굴과 훈련집합 얼굴들의 가중치를 비교하면서 거리가 최소가 되는 k번째 얼굴을 찾아낸다.
신호 출력부(140)는 이미지 비교부(130)가 영상이미지의 각각의 프레임 및 그에 대한 좌대칭 이미지와 우대칭 이미지의 특성패턴을 각각의 훈련집합 이미지의 공통패턴과 비교하는 경우, 프레임 고유벡터와 훈련집합 이미지의 고유벡터의 오차 범위가 기 설정된 허용범위 이내인 프레임의 수가 기 설정된 수 이상이면, 입력되는 영상이미지에 대하여 출입을 허용하는 출입허용 신호를 출력할 수 있다(S213, S215).
이와 같이 입력되는 영상에 대하여 프레임 단위 또는 필드 단위로 이미지를 분리하고, 또한 각각의 프레임 단위(또는 필드 단위)의 영상 이미지에 대하여 좌대칭 이미지 및 우대칭 이미지를 분리하여 각각의 특성패턴을 훈련집합 이미지의 공통패턴과 비교함으로써, 입력되는 영상에 대한 보다 정확한 등록 출입가능자의 여부를 판별할 수 있게 된다.
이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 출입문 개폐 시스템 110: 데이터베이스부
120: 영상이미지 분리부 130: 이미지 비교부
140: 신호 출력부 150: 평균영상 계산부
160: 고유벡터 계산부 170: 프레임벡터 계산부

Claims (10)

  1. 등록된 출입가능자에 대한 복수의 훈련집합 이미지를 데이터베이스로 저장함과 동시에 각각의 상기 훈련집합 이미지에 대한 공통패턴을 분석하여 저장하는 데이터베이스부;
    입력되는 영상이미지를 좌대칭 이미지 및 우대칭 이미지로 분리하는 영상 이미지 분리부;
    상기 입력되는 영상이미지 및 상기 영상 이미지 분리부에 의해 분리된 상기 좌대칭 이미지 및 상기 우대칭 이미지로부터 각각의 특성패턴을 추출하는 특성패턴 추출부;
    상기 특성패턴 추출부에 의해 추출된 상기 각각의 특성패턴을 상기 데이터베이스부에 저장된 출입가능자에 대한 공통패턴과 비교하는 이미지 비교부; 및
    상기 특성패턴 추출부에 의해 추출된 상기 각각의 특성패턴 중 상기 공통패턴과 일치하는 특성패턴의 수가 설정된 값 이상인 경우에 출입허용 신호를 출력하는 신호 출력부;
    를 포함하며,
    상기 출입가능자에 대한 상기 훈련집합 이미지의 평균영상을 계산하는 평균영상 계산부; 및
    상기 평균영상 계산부에 의해 계산된 상기 평균영상에 기초하여 고유벡터를 계산하는 고유벡터 계산부;
    를 더 포함하는 것을 특징으로 하는 얼굴인식 및 검출을 이용한 출입문 개폐 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 입력되는 영상이미지, 상기 좌대칭 이미지 및 상기 우대칭 이미지의 각각의 프레임으로부터 프레임 고유벡터를 계산하는 프레임 고유벡터 계산부;
    를 더 포함하는 것을 특징으로 하는 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템.
  4. 제 3항에 있어서, 상기 이미지 비교부는,
    상기 프레임 고유벡터 계산부에 의해 계산된 상기 프레임 고유벡터와 상기 고유벡터 계산부에 의해 계산된 상기 고유벡터를 비교하는 것을 특징으로 하는 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템.
  5. 삭제
  6. 등록된 출입가능자에 대한 훈련집합 이미지를 데이터베이스로 저장함과 동시에 각각의 상기 훈련집합 이미지에 대한 공통패턴을 분석하여 저장하는 단계;
    입력되는 영상이미지를 좌대칭 이미지 및 우대칭 이미지로 분리하며, 상기 입력되는 영상이미지, 분리된 상기 좌대칭 이미지 및 상기 우대칭 이미지로부터 각각의 특성패턴을 추출하는 단계;
    추출된 상기 각각의 특성패턴을 상기 저장된 출입가능자에 대한 공통패턴과 비교하는 단계; 및
    추출된 상기 각의 특성패턴 중 상기 공통패턴과 일치하는 특성패턴의 수가 설정된 값 이상인 경우에 출입허용 신호를 출력하는 단계;
    를 포함하며,
    상기 출입가능자에 대한 상기 훈련집합 이미지의 평균영상을 계산하는 단계; 및
    계산된 상기 평균영상에 기초하여 고유벡터를 계산하는 단계;
    를 더 포함하는 것을 특징으로 하는 얼굴 인식 및 검출을 이용한 출입문 개폐방법.
  7. 삭제
  8. 제 6항에 있어서,
    상기 영상이미지, 상기 좌대칭 이미지 및 상기 우대칭 이미지의 각각의 프레임에 기초하여 프레임 고유벡터를 계산하는 단계;
    를 더 포함하는 것을 특징으로 하는 얼굴 인식 및 검출을 이용한 출입문 개폐방법.
  9. 제 8항에 있어서, 상기 비교단계는,
    계산된 상기 프레임 고유벡터와 계산된 상기 고유벡터를 비교하는 것을 특징으로 하는 얼굴 인식 및 검출을 이용한 출입문 개폐방법.
  10. 삭제
KR1020100014690A 2010-02-18 2010-02-18 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법 KR101195539B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100014690A KR101195539B1 (ko) 2010-02-18 2010-02-18 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100014690A KR101195539B1 (ko) 2010-02-18 2010-02-18 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110094947A KR20110094947A (ko) 2011-08-24
KR101195539B1 true KR101195539B1 (ko) 2012-10-29

Family

ID=44930879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100014690A KR101195539B1 (ko) 2010-02-18 2010-02-18 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101195539B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360246B1 (ko) 2013-08-12 2014-02-11 김규미 다기능 방범카메라 통합방범 시스템
KR101731097B1 (ko) * 2016-10-10 2017-04-27 주식회사 라이더캠 방범기능과 택배편리기능이 탑재된 스마트도어벨, 상기 스마트도어벨을 이용한 스마트 방범방법 및 스마트 택배편리방법
KR102021963B1 (ko) 2018-03-26 2019-09-17 주식회사 허브테크 촬영기기가 구비된 원격 제어장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706266B2 (en) * 2015-09-09 2020-07-07 Nec Corporation Guidance acquisition device, guidance acquisition method, and program
KR102222477B1 (ko) * 2020-06-29 2021-03-04 주식회사 티앤에이치시스템 안면인식 기능을 갖는 스피드 게이트 시스템 및 이의 동작방법
KR102461430B1 (ko) * 2020-12-23 2022-11-01 주식회사 넷온 인공지능 기반의 감염자 추적 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360246B1 (ko) 2013-08-12 2014-02-11 김규미 다기능 방범카메라 통합방범 시스템
KR101731097B1 (ko) * 2016-10-10 2017-04-27 주식회사 라이더캠 방범기능과 택배편리기능이 탑재된 스마트도어벨, 상기 스마트도어벨을 이용한 스마트 방범방법 및 스마트 택배편리방법
KR102021963B1 (ko) 2018-03-26 2019-09-17 주식회사 허브테크 촬영기기가 구비된 원격 제어장치

Also Published As

Publication number Publication date
KR20110094947A (ko) 2011-08-24

Similar Documents

Publication Publication Date Title
Kak et al. A review of person recognition based on face model
KR101195539B1 (ko) 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법
Tathe et al. Face detection and recognition in videos
Bakhshi et al. A study based on various face recognition algorithms
Kekre et al. Face and gender recognition using principal component analysis
Krishnaprasad et al. A Conceptual Study on User Identification and Verification Process using Face Recognition Technique
Srinivasa et al. Continuous multimodal user authentication: coupling hard and soft biometrics with support vector machines to attenuate noise
Das Comparative analysis of PCA and 2DPCA in face recognition
Cui A scheme of human face recognition in complex environments
KR20160042646A (ko) 얼굴 인식 방법
Zafeiriou et al. The discriminant elastic graph matching algorithm applied to frontal face verification
Geetha et al. 3D face recognition using Hadoop
Meva et al. Study of different trends and techniques in face recognition
JP3841482B2 (ja) 顔画像認識装置
Raghavendra et al. Multimodal person verification system using face and speech
Borade et al. Comparative study of principal component analysis and independent component analysis
Kumar et al. An Advance Approach of Face Recognition using PCA and Region Base Color Segmentation
Fagbolu et al. Secured banking operations with face-based automated teller machine
Boodoo-Jahangeer et al. Fusion of local and global features for face recognition
Pavithra et al. Scale Invariant Feature Transform Based Face Recognition from a Single Sample per Person
Luciano et al. Automated multimodal biometrics using face and ear
Tiwari et al. An Exploratory Review of Face Recognition Techniques and Algorithms
Vulovic et al. Comparison of different neural network training algorithms with application to face recognition
Gupta et al. A priori Laplacian concept: An enhanced method for face recognition
Sehad et al. A new PCA-based face authentication approach for smart-card implementation

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee