KR101621157B1 - Mct를 이용한 얼굴 인식 장치 및 그 방법 - Google Patents

Mct를 이용한 얼굴 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101621157B1
KR101621157B1 KR1020140108355A KR20140108355A KR101621157B1 KR 101621157 B1 KR101621157 B1 KR 101621157B1 KR 1020140108355 A KR1020140108355 A KR 1020140108355A KR 20140108355 A KR20140108355 A KR 20140108355A KR 101621157 B1 KR101621157 B1 KR 101621157B1
Authority
KR
South Korea
Prior art keywords
mct
value
face
image
windows
Prior art date
Application number
KR1020140108355A
Other languages
English (en)
Other versions
KR20160022596A (ko
Inventor
이성주
임혁진
전영준
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020140108355A priority Critical patent/KR101621157B1/ko
Publication of KR20160022596A publication Critical patent/KR20160022596A/ko
Application granted granted Critical
Publication of KR101621157B1 publication Critical patent/KR101621157B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 MCT를 이용한 얼굴 인식 장치 및 그 방법에 관한 것이다. 본 발명에 따른 MCT를 이용한 얼굴 인식 장치는, 카메라를 통해 촬상된 영상을 입력받는 영상 입력부, 상기 입력 영상의 크기를 유지한 상태에서 상기 입력 영상을 MCT(Modified Census Transform) 방식으로 변환하는 MCT 변환부, 서로 다른 크기를 가지는 복수의 윈도우에 대하여 MCT 값에 따른 확률 값을 룩업 테이블 형태로 저장하는 룩업 테이블 저장부, 상기 복수의 윈도우 각각을 이용하여 MCT 변환된 영상을 스캔하고, 상기 룩업 테이블로부터 추출된 확률 값을 이용하여 복수의 후보 영역을 검출하는 데이터 처리부, 그리고 상기 복수의 후보 영역의 위치를 산출하고, 산출된 상기 복수의 후보 영역의 크기와 위치를 이용하여 얼굴 영역을 검출하는 얼굴 검출부를 포함한다.
이와 같이 본 발명에 의하면, 종래 기술과 달리 입력 영상의 크기를 줄이는 과정이 없고 다양한 크기의 윈도우에 대한 룩업테이블을 미리 생성하여 메모리에 저장하기 때문에 종래 기술에 비하여 신속하게 얼굴 인식을 수행할 수 있다. 또한, 입력 영상의 손상이 없기 때문에 확률적으로 더욱 정확하게 얼굴을 인식할 수 있다.

Description

MCT를 이용한 얼굴 인식 장치 및 그 방법{APPARATUS FOR RECONGNIZING FACE USING MCT AND METHOD THEREOF}
본 발명은 MCT를 이용한 얼굴 인식 장치 및 그 방법에 관한 것으로, 입력 영상의 크기를 축소시키지 않고 그대로 유지한 상태에서 얼굴을 인식할 수 있는 MCT를 이용한 얼굴 인식 장치 및 그 방법을 제공하기 위한 것이다.
현재 개인 식별이나 사용자 인증, 개인 정보 보호를 위한 대표적인 수단으로, 예를 들면, 주민등록증, 운전면허증, 학생증 등을 이용한 식별 수단들을 이용하고 있으나, 이러한 식별 수단들은 개인이 휴대하지 않을 경우 신원을 확인하기 어렵기 때문에, 본인 확인이 쉽지 않고, 때때로 식별 수단의 소유자와 실제 소유자가 같지 않은 경우에도 본인으로 확인되는 경우도 발생할 수 있다.
이러한 문제점을 보완하기 위해 예를 들면, 지문 인식, 홍채 인식, 얼굴 인식 등의 생체 인식 기술의 개발이 진행되고 있으며, 특히, 생체 인식 기술 중 얼굴 인식 기술은 다른 생체 정보에 비해 상대적으로 사용자에 대한 강제성이 적으며, 비접촉 방식으로 거부감이 덜하기 때문에 다양한 응용 분야에서 각광받고 있다.
여기서, 생체 인식 기술 중 하나인 얼굴 인식을 포함하는 사람 검출 기술은 생체 인식의 핵심 기반 기술로써 매우 오래 전부터 연구되어 왔으며, 생체 인식을 위한 검출 기술로의 활용뿐만 아니라, 최근 들어 디지털 기기, 모바일 기기 등과 관련된 시장의 확대와 더불어 더욱 다양하게 개발되고 있다.
이러한 환경에서 디지털 기기, 모바일 기기 등에 카메라를 탑재하고, 얼굴 인식을 포함하는 사람 인식 기술을 적용할 경우 상품의 부가가치 향상 및 판매 증대가 예상된다. 예를 들면, 휴대폰 등과 같은 모바일 기기의 경우 사람의 위치를 검출하고, 영상 처리를 통해 사람 얼굴을 인식한 후에, 얼굴 표정에 변화를 주는 기능 등을 제공할 수 있고, 디지털 카메라 등과 같은 디지털 기기의 경우 사람 위치를 잡아 포커스 맞추는 기능 등을 제공할 수 있어 다양한 기술들과 접목시켜 활용할 수 있다.
도 1은 종래 기술에 따른 MCT를 이용한 얼굴 인식 방법을 설명하기 위한 도면이다.
종래 기술에 따르면 먼저 얼굴 인식 장치의 영상 입력부(10)는 인식 대상이 되는 영상을 입력받는다. 이때, 종래 기술에 따르면 윈도우의 크기가 20 x 20으로 고정되어 있기 때문에 입력 영상 속에서 얼굴의 사이즈가 20 x 20과 비슷할 때만 검출이 가능하다. 따라서 스케일 변환부(20)는 입력된 원본 영상을 계속 축소해 가며 얼굴을 찾아야 하므로, 원본 이미지의 0.9의 스케일로 15단계까지 반복하여 축소시킨다. 이에 따라, 스케일 변환부(20)는 원본 영상, 0.9배 축소된 영상, (0.9)2배 축소된 영상, … , (0.9)15배 축소된 영상을 출력한다.
다음으로 MCT 변환부(30)는 스케일 변환부(20)에 의해 출력된 영상들을 각각 MCT 변환시킨다.
그리고, MCT 비교부(40)는 20 x 20 크기의 윈도우를 이용하여 MCT 변환된 각각의 영상에 대하여 스캔 동작을 통해 후보 영역을 검출한다. 여기서, MCT 비교부(40)는 MCT 알고리즘을 이용하여 생성된 20 x 20 크기의 윈도우의 룩업테이블과 MCT 변환 영상의 MCT 값을 비교하는 과정을 통하여 후보 영역을 검출한다.
즉, MCT 비교부(40)는 20 x 20 윈도우 내에 각 픽셀 위치에서의 MCT 값마다의 얼굴의 신뢰도를 출력하여 임계치 값 이상이 되면 얼굴이 아닌 것으로 판단하며, 임계치 값은 경험적인 통계수치로 결정한다.
다음으로, 얼굴 검출부(50)는 MCT 비교부(40)로부터 검출된 복수의 영상의 후보 영역의 좌표를 원본 입력 영상에서 대응되는 위치로 변환 계산해주고 여러 번 중복되어 검출되는 영역을 그룹화하여 가장 얼굴에 가까운 영역을 얼굴 영역으로 출력한다. 이때 얼굴 검출부(50)는 후보 얼굴 영역 내에서 여러 번(3회 이상) 검출 시 최종 얼굴 검출 영역으로 판단을 하고 근접 이웃 후보 얼굴 영역이 발생 시 동일 중복 얼굴 영상으로 판단하여 제거한다. 마지막으로 영상 출력부(60)는 검출된 얼굴 영역을 원본 입력 영상에 표시한다.
이와 같이 종래 기술에 따른 MCT를 이용한 얼굴 검출 방식은 고정된 크기(예를 들어 20 x 20)의 윈도우에 대응하는 룩업 테이블만을 사용하여 얼굴을 검출한다. 따라서, 종래 기술에 따르면 고정된 크기의 윈도우를 사용하기 위해서 원본 입력 영상의 크기를 일정 스케일로 반복하여 축소시켜야 하는 번거로움이 있으며 축소시키는 과정에서 영상이 손상되는 불이익을 초래하게 된다.
본 발명의 배경이 되는 기술은 대한민국 등록특허 제10-1366766호(2014. 02. 21 공고)에 개시되어 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 입력 영상의 크기를 축소시키지 않고 그대로 유지한 상태에서 얼굴을 인식할 수 있는 MCT를 이용한 얼굴 인식 장치 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 MCT를 이용한 얼굴 인식 장치는, 카메라를 통해 촬상된 영상을 입력받는 영상 입력부, 상기 입력 영상의 크기를 유지한 상태에서 상기 입력 영상을 MCT(Modified Census Transform) 방식으로 변환하는 MCT 변환부, 서로 다른 크기를 가지는 복수의 윈도우에 대하여 MCT 값에 따른 확률 값을 룩업 테이블 형태로 저장하는 룩업 테이블 저장부, 상기 복수의 윈도우 각각을 이용하여 MCT 변환된 영상을 스캔하고, 상기 룩업 테이블로부터 추출된 확률 값을 이용하여 복수의 후보 영역을 검출하는 데이터 처리부, 그리고 상기 복수의 후보 영역의 위치를 산출하고, 산출된 상기 복수의 후보 영역의 크기와 위치를 이용하여 얼굴 영역을 검출하는 얼굴 검출부를 포함한다.
상기 복수의 윈도우는, 일정 스케일로 증가하는 크기를 가질 수 있다.
상기 룩업 테이블은, 아다부스트(Adaboost) 알고리즘을 이용하여 생성될 수 있다.
상기 MCT 변환부는, 상기 입력 영상을 복수의 영역으로 분할하고, 분할된 영역의 픽셀 값들의 평균 값을 연산하여, 상기 평균 값보다 높은 픽셀 값은 1로 설정하고, 상기 평균 값 이하의 픽셀 값은 0으로 설정하며, 0 또는 1로 이진화된 상기 분할된 영역의 픽셀 값을 10진수로 변환하여 상기 분할된 영역의 중심에 위치하는 픽셀의 MCT 값으로 설정할 수 있다.
상기 데이터 처리부는, 상기 복수의 윈도우 각각을 이용하여 상기 MCT 변환된 영상을 스캔하고, 상기 룩업 테이블을 이용하여 상기 윈도우 영역에 대응하는 픽셀들의 확률 값을 추출하고, 추출된 상기 확률 값을 합산한 누적 확률 값을 기 설정된 임계값과 비교하여 누적 확률 값이 기 설정된 임계값보다 낮으면 해당 영역을 후보 영역으로 검출할 수 있다.
상기 얼굴 검출부는, 서로 다른 크기의 윈도우에 의해 검출된 일정 개수 이상의 후보 영역이 서로 겹치는 영역이 있거나, 하나의 윈도우로 스캔하는 과정에서 연속적으로 일정 개수 이상의 후보 영역이 검출되면, 상기 일정 개수 이상의 후보 영역을 포함하는 영역을 상기 얼굴 영역으로 검출할 수 있다.
상기 얼굴 영역의 좌표값과 영역 크기값을 이용하여 상기 입력 영상에 상기 얼굴 영역을 표시하여 출력하는 영상 출력부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 얼굴 인식 장치의 MCT를 이용한 얼굴 인식 방법에 있어서, 카메라를 통해 촬상된 영상을 입력받는 단계, 상기 입력 영상의 크기를 유지한 상태에서 상기 입력 영상을 MCT(Modified Census Transform) 방식으로 변환하는 단계, 서로 다른 크기를 가지는 복수의 윈도우 각각을 이용하여 MCT 변환된 영상을 스캔하고, 상기 복수의 윈도우 별로 저장된 룩업 테이블로부터 추출된 확률 값을 이용하여 복수의 후보 영역을 검출하는 단계, 그리고 상기 복수의 후보 영역의 위치를 산출하고, 산출된 상기 복수의 후보 영역의 크기와 위치를 이용하여 얼굴 영역을 검출하는 단계를 포함한다.
이와 같이 본 발명에 의하면, 종래 기술과 달리 입력 영상의 크기를 줄이는 과정이 없고 다양한 크기의 윈도우에 대한 룩업테이블을 미리 생성하여 메모리에 저장하기 때문에 종래 기술에 비하여 신속하게 얼굴 인식을 수행할 수 있다. 또한, 입력 영상의 손상이 없기 때문에 확률적으로 더욱 정확하게 얼굴을 인식할 수 있다.
그리고, 종래에는 입력 영상으로부터 축소된 각각의 영상에 대하여 개별적으로 MCT 변환을 수행해야 했으나, 본 발명에 따르면 원본 입력 영상에 대해서만 MCT 변환을 수행하면 되므로 얼굴 인식 프로세스의 복잡도를 줄일 수 있다.
도 1은 종래 기술에 따른 MCT를 이용한 얼굴 인식 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 장치를 나타낸 도면이다.
도 3a는 룩업 테이블을 생성하기 위한 아다부스트 알고리즘을 설명하기 위한 도면이다.
도 3b는 20 x 20 크기의 윈도우에 대한 룩업 테이블을 나타낸 예시도이다.
도 3c는 도 2에 나타낸 룩업 테이블 저장부의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 얼굴 인식 방법을 나타낸 순서도이다.
도 5는 도 4에 따른 얼굴 인식 방법을 설명하기 위한 도면이다.
도 6은 MCT 변환을 수행하는 과정을 설명하기 위한 예시도이다.
도 7a 및 도 7b는 복수의 후보 영역을 이용하여 얼굴 영역을 검출하는 과정을 설명하기 위한 예시도이다.
도 8은 검출된 얼굴 영역을 입력 영상에 표시하는 것을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 얼굴 인식 장치를 나타낸 도면이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 얼굴 인식 장치(200)는 영상 입력부(210), MCT 변환부(220), 룩업 테이블 저장부(230), 데이터 처리부(240), 얼굴 검출부(250), 영상 출력부(260)를 포함한다.
먼저 영상 입력부(210)는 카메라를 통해 촬상된 영상을 입력받는다. 여기서, 입력 영상은 예를 들면, CMOS 모듈, CCD 모듈 등을 이용하여 피사체를 촬영하는 적어도 하나의 카메라를 통해 촬영 및 입력되는데, 입력되는 촬영 이미지(또는, 동영상)는 렌즈를 통해 CCD 모듈 또는 CMOS 모듈로 제공되고, CCD 모듈 또는 CMOS 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력한다. 그리고, 카메라가 갖는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(Analog-to-Digital Converter, 이하 'ADC'라 함)를 통해 촬영 신호를 디지털 신호로 변환하여 입력된다.
그리고, MCT 변환부(220)는 입력 영상의 크기를 유지한 상태에서 MCT(Modified Census Transform) 방식으로 영상을 변환한다. 즉, MCT 변환부(220)는 입력된 영상을 다수의 영역들(예를 들면, 9(3*3)개의 영역 등)로 분할하며, 분할된 각 영역과 주변 영역들간의 관계를 수치화하여 표현하는 MCT 방식으로 영상을 변환하여 MCT 변환 영상을 출력한다. 이러한 MCT 방식의 영상 변환을 통해 영상 객체 검출 시 조명 변화에 따른 영향을 감소시킬 수 있으며, 이러한 변환 영상은 각각의 영역별로 수치화된 MCT값을 포함할 수 있다.
룩업 테이블 저장부(230)는 일정 스케일로 크기가 증가되는 복수의 윈도우에 대하여 확률 값을 룩업 테이블 형태로 저장한다. 윈도우의 크기는 20 x 20의 원본 윈도우를 이용하여, 1.1 배의 스케일로 15회까지 증가시켜 각각의 크기에 대응하는 윈도우에 대하여 확률 값에 대한 룩업 테이블을 생성하여 저장한다.
즉, 20 x 20, (20*1.1) x (20*1.1), (20*1.12) x (20*1.12), … , (20*1.114) x (20*1.114), (20*1.115) x (20*1.115) 크기의 각각의 윈도우에 대하여 확률 값에 대한 룩업 테이블을 저장한다. 여기서 소수점 이하의 값은 버림 처리하여 정수형으로 나타낸다.
데이터 처리부(240)는 생성된 복수의 윈도우를 이용하여 MCT 변환 영상을 스캔하여 추출된 확률 값을 이용하여 후보 영역을 검출한다.
데이터 처리부(240)는 MCT 변환부(220)로부터 전달된 MCT 변환 영상에 대해 후보 영역을 검출하기 위한 윈도우를 변환 영상의 좌측 최상위 픽셀부터 우측 최상위 픽셀까지 좌측에서 우측으로 1픽셀 단위로 이동하면서 스캔하고, 우측 차상위 픽셀부터 좌측 차상위 픽셀까지 우측에서 좌측으로 1픽셀 단위로 이동하면서 스캔하는 방식으로 우측 또는 좌측 최하위 픽셀까지 스캔함으로써 전체 영역을 스캔한다.
즉, 먼저 20 x 20 크기의 윈도우로 전체 영역을 스캔하는 경우, 데이터 처리부(240)는 윈도우가 위치하는 20 x 20 영역에 대응하는 픽셀 400개의 확률 값을 룩업 테이블 저장부(230)로부터 검출하고, 400개의 확률 값을 합산한 누적 확률 값을 기 설정된 임계값과 비교한 후에, 누적 확률 값이 기 설정된 임계값보다 상대적으로 낮은 값인 경우 그 영역을 후보 영역으로 검출한다.
이와 같이 20 x 20 크기의 윈도우를 이용하여 얼굴 후보 영역을 검출하면, (20*1.1) x (20*1.1) 크기의 윈도우를 이용하여 동일한 방식으로 얼굴 후보 영역을 검출하고, 반복적으로 1.1 배씩 스케일을 증가시켜 (20*1.115) x (20*1.115) 크기의 윈도우까지 얼굴 후보 영역을 검출한다.
얼굴 검출부(250)는 복수의 크기의 윈도우를 통해서 후보 영역으로 검출된 영역이 입력 영상에서 어느 부분에 위치하는지를 산출하고, 후보 영역의 위치 및 크기를 판단하는 과정을 반복 수행하면서, 후보 영역이 중복되는 위치와 크기에 대응하는 해당 영역을 얼굴 영역으로 검출한다.
즉, 얼굴 검출부(250)는 서로 다른 크기의 윈도우에 의해 검출된 일정 개수 이상의 후보 영역이 서로 겹치는 영역이 있거나, 하나의 윈도우로 스캔하는 과정에서 연속적으로 일정 개수 이상의 후보 영역이 검출되면, 일정 개수 이상의 후보 영역을 포함하는 영역을 얼굴 영역으로 검출한다.
그리고, 영상 출력부(260)은 결정된 얼굴 영역의 좌표값과 영역 크기값에 따라 입력 영상에 얼굴 영역을 표시하여 출력한다.
영상 출력부(260)는 얼굴 검출부(250)로부터 출력된 얼굴 영역의 좌표값과 영역 크기값을 저장한 후에, 입력부(210)에 입력된 원본 입력 영상에 해당 얼굴 영역의 좌표값과 영역 크기값을 적용하여 예를 들면, 박스 모양의 얼굴 영역 표시를 수행하고, 얼굴 영역이 표시된 영상을 출력한다.
이하에서는 도 3a 내지 도 3c를 이용하여 본 발명의 실시예에 따른 복수의 윈도우에 대한 룩업테이블을 생성하는 과정을 설명하도록 한다.
도 3a는 룩업 테이블을 생성하기 위한 아다부스트 알고리즘을 설명하기 위한 도면이다.
얼굴 표정 인식 장치(200)는 아다부스트(Adaboost, Adaptive boost) 알고리즘을 사용하여 다양한 크기의 윈도우에 대하여 MCT 값에 따른 확률 값을 나타내는 룩업 테이블(Look up table)을 생성한다.
여기서, 아다부스트(Adaboost) 알고리즘은 단순 약 분류기(weak classifier)들을 선형 결합하여 강 분류기(strong classifier)를 만드는 기계 학습 알고리즘으로, 아다부스트(Adaboost)는 약 분류기를 반복적인 학습과정에서 순차적으로 선택하고 조합하여 판별력이 뛰어난 강 분류기를 생성한다.
이와 같이 아다부스트 알고리즘은 구별 기능이 약한 분류기들을 선별하여 성능이 향상된 강한 분류기를 만들기 위해 사용된다. 아다부스트 알고리즘은 검출하고자 하는 얼굴 이미지(postive sample)와 그 외의 비 얼굴 이미지(negative sample)를 가장 잘 분류할 수 있는 약한 분류기의 조합을 찾아 강한 분류기를 만들어 내는 과정이다. 이를 통해 도 3b와 같이 일종의 확률 값인 룩업 테이블(Look up table)이 생성된다.
즉, 아다부스트 알고리즘은 확률 값을 통해 얼굴인지 아닌지 확인하기 때문에 얼굴 이미지(Face image)와 비 얼굴 이미지(non-face image)가 많으면 많을수록 우수한 룩업 테이블(Look up table)을 얻을 수 있다. 얼굴 이미지는 얼굴의 주요 부분인 눈썹 아래부터 입술까지를 잘라내어 사용하는 것이 바람직하다. 이미지의 개수는 얼굴 이미지 만개 이상, 비 얼굴 이미지 오천 개 이상을 사용한다.
얼굴 표정 인식 장치(200)는 상기와 같은 과정을 20 x 20의 원본 윈도우에 대하여 수행하여, 도 3b와 같은 형태의 룩업 테이블을 생성한다.
도 3b는 20 x 20 크기의 윈도우에 대한 룩업 테이블을 나타낸 예시도이다.
도 3b와 같이 20 x 20 크기의 윈도우 내에는 400개의 픽셀이 위치하므로, 400개의 픽셀 각각에 대하여 MCT 값에 따른 확률 값을 룩업 테이블 형태로 나타낼 수 있다. 여기서, 확률 값은 얼굴의 신뢰도를 의미하며, 확률 값이 낮을수록 얼굴의 신뢰도는 높다는 것을 나타낸다.
이와 같이 얼굴 표정 인식 장치(200)의 룩업 테이블 생성부(미도시)는 20 x 20의 원본 윈도우를 1.1 배의 스케일로 15회까지 증가시켜 각각의 크기에 대응하는 윈도우에 대하여 룩업 테이블을 생성하고 룩업 테이블 저장부(230)에 저장한다.
한편, 본 발명의 실시예에 따르면 20 x 20 크기의 원본 윈도우를 이용하여, 1.1 배의 스케일로 15회까지 증가시켜 복수의 윈도우를 생성하는 것으로 설명하였으나, 원본 윈도우의 사이즈 및 스케일 값은 당업자의 설계에 따라 변경될 수 있다.
도 3c는 도 2에 나타낸 룩업 테이블 저장부의 구성을 나타낸 도면이다.
도 3c와 같이 룩업 테이블 저장부(230)는 윈도우 크기 별로 룩업 테이블을 각각 저장한다. 더욱 상세하게 설명하면, 룩업 테이블 저장부(230)는 20 x 20 크기의 윈도우에 대한 룩업 테이블(230-1), 22 x 22 크기의 윈도우에 대한 룩업 테이블(230-2), 24 x 24 크기의 윈도우에 대한 룩업 테이블(230-3), …, 75 x 75 크기의 윈도우에 대한 룩업 테이블(230-15), 83 x 83 크기의 윈도우에 대한 룩업 테이블(230-16)을 포함한다. 여기서, 75는 20*1.114의 정수값이고, 83은 20*1.115의 정수값이다.
이하에서는 도 4 내지 도 6을 통하여 본 발명의 실시예에 따른 얼굴 인식 방법에 대하여 설명한다.
도 4는 본 발명의 실시예에 따른 얼굴 인식 방법을 나타낸 순서도이고, 도 5는 도 4에 따른 얼굴 인식 방법을 설명하기 위한 도면이다.
도 4와 도 5에 도시한 것처럼, 먼저 영상 입력부(210)는 카메라를 통해 촬상된 영상을 입력받는다(S410).
그리고, MCT 변환부(220)는 입력된 영상의 크기를 유지한 상태에서 도 6과 같이 MCT(Modified Census Transform) 방식으로 변환하여 MCT 변환 영상을 생성한다(S420).
도 6은 MCT 변환을 수행하는 과정을 설명하기 위한 예시도이다.
도 6과 같이 MCT 변환 알고리즘에 따르면, 입력 영상 내 임의 영역에 대하여 3 x 3 영역을 추출하여 영역 내의 픽셀 평균 값을 각 픽셀 값과 비교하여 평균보다 크면 1로 표시하고, 평균보다 작으면 0으로 표시한다. 그리고, 0 또는 1로 변환된 3 x 3 영역은 2진수 형식의 9비트의 값을 가지게 되며, 0 내지 511 사이의 값을 가지게 된다.
도 6의 예에 따르면, 3 x 3 영역에 포함되는 9개의 픽셀의 픽셀 값에 대하여 MCT 변환을 시키면 010110101로 변환되며, 이를 10진수로 나타내면 181로 연산된다. 그리고, 3 x 3 영역의 중심에 위치하는 픽셀에 MCT 값인 181을 대응시킨다.
그리고, MCT 변환부(220)는 임의의 3 x 3 영역을 한 픽셀씩 이동시켜가면서 상기와 같은 방법으로 MCT 변환 결과에 따른 MCT 값을 픽셀마다 매칭시킨다. 이와 같은 방법으로 MCT 변환부(220)는 입력 영상에 포함되는 모든 픽셀들에 대하여 MCT 변환에 따른 MCT 값을 매칭시킨다.
다음으로, 데이터 처리부(240)는 룩업 테이블 저장부(230)에 저장된 복수의 크기의 윈도우 각각에 대한 룩업 테이블을 이용하여, MCT 변환 영상을 스캔하여 추출된 확률 값을 이용하여 후보 영역을 검출한다(S430).
먼저, 데이터 처리부(240)는 MCT 변환 영상에 대해 20 x 20 크기의 윈도우로 MCT 변환 영상의 좌측 최상위 픽셀부터 우측 최하위 픽셀까지 좌측에서 우측으로 1픽셀 단위로 이동하면서 스캔하는 방식으로 전체 영역을 스캔하도록 한다.
그러면 데이터 처리부(240)는 이와 같은 전체 영역의 스캔을 통해 윈도우가 위치하는 20 x 20 영역에 대응하는 픽셀 400개에 대하여 도 3c와 같은 룩업 테이블을 참조하여 확률 값을 각각 추출한다.
예를 들면, 20 x 20 크기의 윈도우 영역 내 픽셀 위치가 5(첫번째 행, 5번째 열에 해당)이고 MCT 값이 40인 경우, 데이터 처리부(240)는 도 3c에 따른 룩업 테이블을 통하여 해당 픽셀의 확률 값을 0.8663로 추출할 수 있다.
이와 같이, 데이터 처리부(240)는 20 x 20 크기의 윈도우에 포함되는 400개의 픽셀 들에 대하여 확률 값을 각각 추출한 뒤 합산하고, 합산된 결과인 누적 확률 값을 기 설정된 임계값과 비교한다.
여기서, 기 설정된 임계값은 오프라인 상에서 미리 학습되어 저장된 값으로, 누적 확률 값이 임계값보다 낮은 값을 가질 때, 얼굴 영역으로 판단하도록 설정된 값을 의미한다.
따라서, 데이터 처리부(240)는 누적 확률 값이 기 설정된 임계값보다 상대적으로 낮은 값인 경우, 해당되는 20 x 20 크기의 윈도우 영역을 후보 영역으로 검출한다.
이와 같이 20 x 20 크기의 윈도우를 이용하여 얼굴 후보 영역을 검출하면, 데이터 처리부(240)는 1.1배 확장된 22 x 22 크기의 윈도우로 MCT 변환 영상을 스캔하여 동일한 방식으로 후보 영역을 검출한다.
마찬가지로 데이터 처리부(240)는 24 x 24, … , 75 x 75, 83 x 83 크기를 가지는 윈도우 각각에 대하여 MCT 변환 영상을 반복적으로 스캔하여 동일한 방식으로 후보 영역을 검출한다.
다음으로, 얼굴 검출부(250)는 복수의 크기의 윈도우를 통해서 후보 영역으로 검출된 영역이 입력 영상에서 어느 부분에 위치하는지를 산출하고, 후보 영역의 위치 및 크기를 파악하는 과정을 반복 수행하면서, 후보 영역이 중복되는 위치와 크기에 대응하는 해당 영역을 얼굴 영역으로 검출한다(S440).
즉, 얼굴 검출부(250)는 일정 개수 이상의 후보 영역이 중복되는 영역 또는 인접하는 후보 영역이 겹쳐서 표시되는 영역을 최종적으로 얼굴 영역으로 검출한다.
얼굴 검출부(250)는 후보 영역이 여러 번(예를 들면, 3회 이상) 검출되었는지 여부를 확인하고, 인접하는 후보 영역의 겹침 유무를 확인하여, 동일 중복 얼굴 영상 판단을 통해 최종적으로 얼굴 영역을 정한다.
도 7a 및 도 7b는 복수의 후보 영역을 이용하여 얼굴 영역을 검출하는 과정을 설명하기 위한 예시도이다.
도 7a와 같이, 서로 다른 크기의 윈도우를 통하여 검출된 3개의 후보 영역(710, 720, 730)이 서로 겹치는 영역이 있을 경우, 얼굴 검출부(250)는 3개의 후보 영역(710, 720, 730)을 포함하는 영역을 얼굴 영역(740)으로 검출한다.
또한, 도 7b와 같이 하나의 윈도우를 한 픽셀씩 이동시켜 가면서 스캔한 결과 인접하는 윈도우 영역들에서 연속적으로 3개의 후보 영역(750, 760, 770)이 검출되면, 얼굴 검출부(250)는 3개의 후보 영역(750, 760, 770)을 포함하는 영역을 얼굴 영역(780)으로 검출한다.
도 7a 및 도 7b에서는 설명의 편의상 3개의 후보 영역을 통해 얼굴 영역을 검출하는 것으로 예시하였으나, 얼굴 영역을 검출하기 위한 후보 영역의 개수는 설계 변경 가능하다.
마지막으로, 영상 출력부(260)은 결정된 얼굴 영역의 좌표값과 영역 크기값에 따라 입력 영상에 얼굴 영역을 표시하여 출력한다(S450).
도 8은 검출된 얼굴 영역을 입력 영상에 표시하는 것을 설명하기 위한 예시도이다.
도 8과 같이, 영상 출력부(260)는 얼굴 검출부(250)으로부터 전달되는 얼굴 영역의 좌표값과 영역 크기값을 이용하여 사각형 등의 모양으로 생성하고, 이를 입력 영상과 합성하여 출력할 수 있다.
이와 같이 본 발명의 실시예에 의하면, 종래 기술과 달리 입력 영상의 크기를 줄이는 과정이 없고 다양한 크기의 윈도우에 대한 룩업테이블을 미리 생성하여 메모리에 저장하기 때문에 종래 기술에 비하여 신속하게 얼굴 인식을 수행할 수 있다. 또한, 입력 영상의 손상이 없기 때문에 확률적으로 더욱 정확하게 얼굴을 인식할 수 있다.
그리고, 종래에는 입력 영상으로부터 축소된 각각의 영상에 대하여 개별적으로 MCT 변환을 수행해야 했으나, 본 발명에 따르면 원본 입력 영상에 대해서만 MCT 변환을 수행하면 되므로 프로세스의 복잡도를 줄일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10, 210: 영상 입력부 20: 스케일 변환부
30, 220: MCT 변환부 40: MCT 비교부
50, 250: 얼굴 검출부 60, 260: 영상 출력부
230: 룩업 테이블 저장부 240: 데이터 처리부
710, 720, 730, 750, 760, 770: 후보 영역
740, 780: 얼굴 영역

Claims (15)

  1. 카메라를 통해 촬상된 영상을 입력받는 영상 입력부,
    상기 입력 영상의 크기를 유지한 상태에서 상기 입력 영상을 MCT(Modified Census Transform) 방식으로 변환하는 MCT 변환부,
    일정 스케일로 증가하며 서로 다른 크기를 가지는 복수의 윈도우에 대하여 MCT 값에 따른 확률 값을 룩업 테이블 형태로 저장하는 룩업 테이블 저장부,
    상기 복수의 윈도우 각각을 이용하여 MCT 변환된 영상을 스캔하고, 상기 룩업 테이블로부터 추출된 확률 값을 이용하여 복수의 후보 영역을 검출하는 데이터 처리부, 그리고
    상기 복수의 후보 영역의 위치를 산출하고, 산출된 상기 복수의 후보 영역의 크기와 위치를 이용하여 얼굴 영역을 검출하는 얼굴 검출부를 포함하며,
    상기 얼굴 검출부는,
    서로 다른 크기의 윈도우에 의해 검출된 일정 개수 이상의 후보 영역이 서로 겹치는 영역이 있거나, 하나의 윈도우로 스캔하는 과정에서 연속적으로 일정 개수 이상의 후보 영역이 검출되면, 상기 일정 개수 이상의 후보 영역을 포함하는 영역을 상기 얼굴 영역으로 검출하는 MCT를 이용한 얼굴 인식 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 룩업 테이블은,
    아다부스트(Adaboost) 알고리즘을 이용하여 생성되는 MCT를 이용한 얼굴 인식 장치.
  4. 제1항에 있어서,
    상기 MCT 변환부는,
    상기 입력 영상을 복수의 영역으로 분할하고, 분할된 영역의 픽셀 값들의 평균 값을 연산하여, 상기 평균 값보다 높은 픽셀 값은 1로 설정하고, 상기 평균 값 이하의 픽셀 값은 0으로 설정하며, 0 또는 1로 이진화된 상기 분할된 영역의 픽셀 값을 10진수로 변환하여 상기 분할된 영역의 중심에 위치하는 픽셀의 MCT 값으로 설정하는 MCT를 이용한 얼굴 인식 장치.
  5. 제4항에 있어서,
    상기 데이터 처리부는,
    상기 복수의 윈도우 각각을 이용하여 상기 MCT 변환된 영상을 스캔하고, 상기 룩업 테이블을 이용하여 상기 윈도우 영역에 대응하는 픽셀들의 확률 값을 추출하고, 추출된 상기 확률 값을 합산한 누적 확률 값을 기 설정된 임계값과 비교하여 누적 확률 값이 기 설정된 임계값보다 낮으면 해당 영역을 후보 영역으로 검출하는 MCT를 이용한 얼굴 인식 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 얼굴 영역의 좌표값과 영역 크기값을 이용하여 상기 입력 영상에 상기 얼굴 영역을 표시하여 출력하는 영상 출력부를 더 포함하는 MCT를 이용한 얼굴 인식 장치.
  8. 얼굴 인식 장치의 MCT를 이용한 얼굴 인식 방법에 있어서,
    일정 스케일로 증가하며 서로 다른 크기를 가지는 복수의 윈도우에 대하여 MCT 값에 따른 확률 값을 룩업 테이블 형태로 저장하는 단계,
    카메라를 통해 촬상된 영상을 입력받는 단계,
    상기 입력 영상의 크기를 유지한 상태에서 상기 입력 영상을 MCT(Modified Census Transform) 방식으로 변환하는 단계,
    상기 서로 다른 크기를 가지는 복수의 윈도우 각각을 이용하여 MCT 변환된 영상을 스캔하고, 상기 복수의 윈도우 별로 저장된 룩업 테이블로부터 추출된 확률 값을 이용하여 복수의 후보 영역을 검출하는 단계, 그리고
    상기 복수의 후보 영역의 위치를 산출하고, 산출된 상기 복수의 후보 영역의 크기와 위치를 이용하여 얼굴 영역을 검출하는 단계를 포함하며,
    상기 얼굴 영역을 검출하는 단계는,
    서로 다른 크기의 윈도우에 의해 검출된 일정 개수 이상의 후보 영역이 서로 겹치는 영역이 있거나, 하나의 윈도우로 스캔하는 과정에서 연속적으로 일정 개수 이상의 후보 영역이 검출되면, 상기 일정 개수 이상의 후보 영역을 포함하는 영역을 상기 얼굴 영역으로 검출하는 MCT를 이용한 얼굴 인식 방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 룩업 테이블은,
    아다부스트(Adaboost) 알고리즘을 이용하여 생성되는 MCT를 이용한 얼굴 인식 방법.
  12. 제8항에 있어서,
    상기 MCT 방식으로 변환하는 단계는,
    상기 입력 영상을 복수의 영역으로 분할하는 단계,
    상기 분할된 영역의 픽셀 값들의 평균 값을 연산하는 단계,
    상기 평균 값보다 높은 픽셀 값은 1로 설정하고, 상기 평균 값 이하의 픽셀 값은 0으로 설정하는 단계,
    0 또는 1로 이진화된 상기 분할된 영역의 픽셀 값을 10진수로 변환시키는 단계, 그리고
    상기 변환된 값을 상기 분할된 영역의 중심에 위치하는 픽셀의 MCT 값으로 설정하는 단계를 포함하는 MCT를 이용한 얼굴 인식 방법.
  13. 제12항에 있어서,
    상기 복수의 후보 영역을 검출하는 단계는,
    상기 복수의 윈도우 각각을 이용하여 상기 MCT 변환된 영상을 스캔하고, 상기 룩업 테이블을 이용하여 상기 윈도우 영역에 대응하는 픽셀들의 확률 값을 추출하는 단계, 그리고
    추출된 상기 확률 값을 합산한 누적 확률 값을 기 설정된 임계값과 비교하여 누적 확률 값이 기 설정된 임계값보다 낮으면 해당 영역을 후보 영역으로 검출하는 단계를 포함하는 MCT를 이용한 얼굴 인식 방법.
  14. 삭제
  15. 제8항에 있어서,
    상기 얼굴 영역의 좌표값과 영역 크기값을 이용하여 상기 입력 영상에 상기 얼굴 영역을 표시하여 출력하는 단계를 더 포함하는 MCT를 이용한 얼굴 인식 방법.
KR1020140108355A 2014-08-20 2014-08-20 Mct를 이용한 얼굴 인식 장치 및 그 방법 KR101621157B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140108355A KR101621157B1 (ko) 2014-08-20 2014-08-20 Mct를 이용한 얼굴 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140108355A KR101621157B1 (ko) 2014-08-20 2014-08-20 Mct를 이용한 얼굴 인식 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160022596A KR20160022596A (ko) 2016-03-02
KR101621157B1 true KR101621157B1 (ko) 2016-05-13

Family

ID=55582424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140108355A KR101621157B1 (ko) 2014-08-20 2014-08-20 Mct를 이용한 얼굴 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101621157B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977509B2 (en) 2017-03-27 2021-04-13 Samsung Electronics Co., Ltd. Image processing method and apparatus for object detection
CN108664840A (zh) * 2017-03-27 2018-10-16 北京三星通信技术研究有限公司 图像识别方法及装置

Also Published As

Publication number Publication date
KR20160022596A (ko) 2016-03-02

Similar Documents

Publication Publication Date Title
US20200285886A1 (en) Feature density object classification, systems and methods
US7929771B2 (en) Apparatus and method for detecting a face
JP4372051B2 (ja) 手形状認識装置及びその方法
JP5726125B2 (ja) 奥行き画像内の物体を検出する方法およびシステム
US9036917B2 (en) Image recognition based on patterns of local regions
JP5361530B2 (ja) 画像認識装置、撮像装置及び画像認識方法
US9053384B2 (en) Feature extraction unit, feature extraction method, feature extraction program, and image processing device
EP1487341B1 (en) Real-time eye detection and tracking under various light conditions
US7912253B2 (en) Object recognition method and apparatus therefor
JP5483961B2 (ja) 画像処理装置、被写体判別方法、プログラム及び記憶媒体
US10672133B2 (en) Moving object tracking device, display device, and moving object tracking method
US10679358B2 (en) Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
EP2605186B1 (en) Method and apparatus for recognizing a character based on a photographed image
Nikisins et al. RGB-DT based face recognition
KR101366776B1 (ko) 영상 객체 검출 장치 및 그 방법
KR101139963B1 (ko) 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법 및 장치
JP6157165B2 (ja) 視線検出装置及び撮像装置
KR101621157B1 (ko) Mct를 이용한 얼굴 인식 장치 및 그 방법
JP2016095701A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4789526B2 (ja) 画像処理装置、画像処理方法
KR102634186B1 (ko) 사용자의 생체 특성을 가지는 이미지 내에서 객체를 식별하고 생체 특성을 포함하는 이미지의 일부를 이미지의 다른 부분으로부터 분리함으로써 사용자의 신원을 식별하기 위한 방법(Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image)
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
Kumar et al. A comparative analysis on the performance of different handcrafted descriptors over thermal and low resolution visible image dataset
KR101422549B1 (ko) 얼굴 인식 방법 및 그 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 4