KR100362328B1

KR100362328B1 - 안화상 처리장치

Info

Publication number: KR100362328B1
Application number: KR1020000002213A
Authority: KR
Inventors: 야마모토다카유키
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 1999-05-18
Filing date: 2000-01-18
Publication date: 2002-11-23
Also published as: JP2000331158A; JP3636927B2; US6549644B1; KR20000076486A

Abstract

다치화상 특징 추출수단(9)은, CCD 카메라(2)에 의해 입력된 안(face)화상에서, 추출필터를 사용하여 스파이럴검색으로 콧구멍(nostril)영역을 추출하여 2치화화상메모리(10)에 기억시킨다.

눈(eye)검색범위는, 2치화화상메모리(10)에 기억된 2치화 콧구멍영역의 콧구멍중심위치의 중간점인 콧구멍위치를 기준점으로 사용하여 특정된다.

그 다음에, 추출필터는, 안화상에서 눈영역을 추출하여 2치화화상메모리(10)에 눈영역을 기억시키는데 사용되며, 개폐판정수단(11)은 2치화눈영역에서 눈의 개폐를 판정한다.

Description

안화상 처리장치{FACE-IMAGE PROCESSING APPARATUS}

본 발명은, 화상처리에 의해 눈의 개폐상태를 판정하는 안화상 처리장치에 관한 것이다.

템플레이트(template)를 사용한 종래의 안화상 처리장치로서는, 예컨데 일본국특개평 8-175218호 공보에 기재된 것이 공지되어있다.

상기 장치는, 촬영된 화상에 대해 미리 설정된 표준안(standard face)템플레이트를 상하좌우로 순차이동시켜 상관연산을 하여, 그의 검출대상자용의 대상템플레이트를 작성하는 템플레이트작성수단과, 대상템플레이트를 사용하여 상관연산을 하여, 검출대상자의 눈영역을 검출하는 눈영역 검출수단을 가지고 있다.

도 12는, 일본국특개평8-175218호 공보에 기술되고, 템플레이트 매칭을 사용한 안화상 처리장치의 구성을 나타내는 개략도이다.

도 12에서, 1은 검출대상자, 2는 검출대상자(1)를 촬영하는 카메라, 3은 카메라(2)에 접속된 화상처리장치이고, A/D 변환기, 정상화회로 및 상관연산회로를 가진다.

4는 화상처리장치(3)에 접속된 메모리이며, 표준템플레이트 및 눈, 눈썹등의 눈요소의 배치데이터가 미리 저장되여있다.

5는 화상처리장치(3)에 접속되여 화상처리장치(3)의 처리결과가 공급되는 전자제어장치인 ECU, 6은 ECU(5)에 접속된 경보장치이다.

상기와 같이 구성된 종래의 안화상 처리장치에는, 카메라(2)가 검출대상자 (1)의 안화상을 화상처리장치(3)에 공급하도록 배치되어있다.

화상처리장치(3)는, 입력된 화상신호를 디지털신호로 변환하고, 계속해서 명암정규화처리를 하고, 처리결과를 ECU(5)에 공급한다.

ECU(5)는, 처리결과에서 검출대상자의 운전상태를 판별하고, 처리결과에 따라 경보장치(6)에 제어신호를 출력하여 경보를 발한다.

템플레이트를 사용한 종래의 안화상 처리장치에서는, 얼굴이 상하방향으로 움직여도 눈과 눈썹의 상하방향의 위치관계는 불변이였음으로, 대상근방영역을 이용하여 눈근방영역이 검출되면, 그 눈의 상방의 흑색부분은 눈썹, 하방의 흑색부분은 눈인 것과 같이, 눈영역을 확실하게 특정할 수 있다.

그러나, 얼굴의 움직임을 고려하면, 화상의 넓은 범위를 스캐닝하여 템플레이트매칭을 하여야 하며, 그에 따라 상관연산을 완료하기에 장시간 소요되었다.

본 발명은, 상기의 과제를 해결하기 위해 이루어진 것이며, 처리속도를 향상하여, 눈영역을 특정할 수 있으며, 눈의 개폐를 판정할 수 있는 안화상 처리장치를 얻는 것을 목적으로 한다.

본 발명에 의한 안화상 처리장치에서는, 안화상이 입력되는 화상입력수단과, 이 화상입력수단에 의해 입력된 안화상에서 2치화된 콧구멍영역을 추출하는 콧구멍영역추출수단과, 이 콧구멍영역추출수단에 의해 추출된 2치화된 콧구멍영역을 기준점으로 하여 안화상에서 2치화된 눈영역을 추출하는 눈영역추출수단 과, 이 눈영역추출수단에 의해 추출된 2치화된 눈영역에 의하여, 눈의 개폐를 판정하는 개폐판정수단을 구비한 것이다.

또, 콧구멍영역추출수단은, 검색개시점을 둘러싸고 있는 부분을 순차 스파이럴로 검색함으로써 검색을 개시하는 소정점에서 콧구멍영역을 추출한다.

또, 화상입력수단에 의해 입력된 안화상을 1프레임 저장하는 메모리를 구비하며, 1 프레임의 안화상을 사용하여, 콧구멍영역추출수단에 의한 콧구멍영역의 추출과 눈영역추출수단에 의한 눈영역의 추출 및 개폐판정수단에 의해 눈의 개폐의 판정을 하는 것이다.

또한, 콧구멍영역추출수단의 검색개시점은, 이전의 프레임의 안화상의 콧구멍영역에서 산출된 콧구멍중심위치인 것이다.

또, 콧구멍영역추출수단의 검색개시점은, 안화상의 투영 히스토그램의 피크위치에서 안화상의 수평방향으로 좌우등간격인 2개의 위치에 설정되는 것이다.

도 1은 본 발명의 실시예 1에 의한 안화상 처리장치의 구성을 나타낸 개략도이다.

도 2는 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍의 2차원 추출필터를 나타내는 설명도이다.

도 3A 및 3B는 본 발명의 실시예 1에 의한 안화상 처리장치의 다치화상 및 2치화화상을 나타내는 설명도이다.

도 4는 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍위치를 기준으로 눈검색영역설정을 나타내는 설명도이다.

도 5는 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍의 스파이럴검색을 나타내는 설명도이다. 도 5에서, 17은 좌측콧구멍범위를 나타낸다.

도 6A 및 6B는 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍의 스파이럴검색의 검색조건을 나타내는 설명도이다.

도 7은 본 발명의 실시예 1에 의한 안화상 처리장치의 좌우콧구멍영역의 중심 및 콧구멍위치를 나타내는 설명도이다.

도 8은 본 발명의 실시예 1에 의한 안화상 처리장치의 눈·콧구멍추적 알고리즘을 나타내는 플로차트이다.

도 9는 본 발명의 실시예 1에 의한 안화상 처리장치의 나선형의 눈·콧구멍검색 알고리즘을 나타내는 플로차트이다.

도 10은 본 발명의 실시예 2에 의한 안화상 처리장치의 콧구멍의 X축 투영피크위치에서 좌우콧구멍검색 개시점의 기준으로 되는 콧구멍임시위치의 설정을 나타내는 설명도이다.

도 11은, 본 발명의 실시예 2에 의한 안화상 처리장치의 콧구멍임시위치에서 좌우검색개시점의 설정을 나타내는 설명도이다.

도 12는, 종래의 템플레이트 매칭(template matching)을 사용한 안화상 처리장치의 구조를 나타내는 개략도이다.

<도면의 주요부분에 대한 부호의 설명>

1: 검출대상자 2: CCD 카메라

8: 다치화상메모리 9: 다치화상특징 추출수단

10: 2치화화상메모리 11: 개폐판정수단

12: 오리지날화상 13: 2치화화상

14: 콧구멍위치 15: 눈검색범위

16: 눈2치화영역 17: 좌콧구멍영역

18: 우콧구멍영역 19: 좌콧구멍 중심위치

20: 우콧구멍 중심위치 21: 콧구멍임시위치

실시예 1

본 발명의 실시예 1에 대해서, 도면에 따라 설명한다.

도 1은, 본 발명의 실시예 1에 의한 안화상 처리장치의 구성을 나타내는 개략도이다.

도 1에서, 1은 검출대상자, 2는 검출대상자(1)의 안화상을 촬영하여 입력하기 위한 촬영수단 또는 화상입력수단으로서의 CCD 카메라이다.

8은 CCD 카메라(2)에서 출력되는 다치화상을 일시적으로 기억하는 다치화상메모리, 9는 다치화상에서 상대적 휘도분포를 사용하여 눈·콧구멍영역을 추출하는 다치화상 특징추출수단으로, 콧구멍영역을 추출하는 콧구멍영역추출수단 및 눈영역을 추출하는 눈영역추출수단으로 구성된다.

10은 다치화상특징의 추출결과를 2치화화상으로하여 일시적으로 기억하는 2치화메모리이다.

11은 눈2치화영역의 유무에 의해 눈의 개폐판정을 하는 개폐판정수단이다.

여기서, 다치화상특징추출수단(9)및 개폐판정수단(11)은, 마이크로컴퓨터 등에 의해 소프트웨어적으로 실행되는 것이다.

도 2는, 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍의 2차원 추출필터를 나타내는 설명도이다.

도 3A 및 3B는, 본 발명의 실시예 1에 의한 화상처리장치의 다치화상 및 2치화화상을 나타내는 설명도이며, 도 3A는 다치화상메모리(8)에 저장된 다치화상이며, 도 3B는 2치화화상메모리에 저장된 2치화화상을 나타낸다.

도 3A 및 3B에서, 1은 검출대상자. 12는 오리지날화상 및 13은 2치화화상이다.

도 4는 본 발명의 실시예 1에 의한, 안화상 처리장치의 콧구멍위치를 기준으로 눈검색영역설정을 나타내는 설명도이다.

도 4에서, 14는 콧구멍위치, 15는 눈검색범위 및 16은 눈2치화영역을 나타낸다.

도 5는, 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍의 스파이럴검색을 나타내는 설명도이다.

도 6A 및 6B는, 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍의 스파이럴검색의 검색조건을 나타내는 설명도이다.

도 6A는 주목화소의 선정방법을 나타내는 도이며, 도 6B는 주목화소에 대한 참조화소를 설정하는 스파이럴검색테이블이다.

도 7에서, 14는 도 4에서의 것과 동일하고, 17은 도 5에서의 것과 동일하다.

18은 우콧구멍영역이고, 19는 좌콧구멍의 중심위치이며, 20은 우콧구멍의 중심위치이다.

도 9는, 본 발명의 실시예 1에 의한 안화상 처리장치의 나선형의 콧구멍검색 알고리즘을 나타내는 플로차트이다.

다음에, 동작에 대해서, 도 8의 플로차트를 참조하여 설명한다.

스텝 S1에서 촬영된 안화상을, 스텝 S2에서 다치화상메모리(8)에 1프레임에 대응하는 량을 저장한다.

스텝 S2에서 다치화상메모리(8)로부터 출력된 다치화상에 대해, 스텝 S3에서 콧구멍영역추출수단에 의한 콧구멍검색 및 스텝 S5에서 눈영역추출수단에 의한 눈검색을 한다.

도 2는, 스텝 S3에서의 콧구멍검색의 2차원 추출필터의 설명도이다.

주목화소(P)의 휘도치 및 필터참조화소(F)의 휘도치가 조건을 충족하면, 주목화소(P)는 필터를 통과하여, 2치화화상메모리(10)에 저장된다.

상기의 필터처리를 검색윈도내의 모든 화소에 대해서 시행함으로써, 도 3B에 나타난 바와 같이 2치화화상메모리(10)에 저장된다.

스텝 S4에 있어서, 필터처리후에 2치화화상메모리(10)에서 출력된 2치화화상을 사용하여 콧구멍영역을 선택한다.

스텝 S4에서, 콧구멍영역이 선택되면, 콧구멍위치(14)에서 X방향편차 및 Y방향편차를 고려하여 눈검색범위(15)를 설정한다.

스텝 S5의 눈검색에 있어서, 검색방법은 콧구멍과 동일하게 눈형상에 대응한 2차원추출필터를 사용하여 눈2치화영역(16)을 추출한다.

스텝 6에서, 눈영역이 선택되면, 스텝 S7에서 눈2치화영역(16)의 진직도(straightness) 등에 의해, 눈의 개폐상태를 판정한다.

스텝 S7의 개폐판정후, 스텝 S1 안화상 촬영에 되돌아가, 1프레임마다 처리를 반복한다.

스텝 S4의 콧구멍영역선택 및 스텝 S6의 눈영역선택에 있어서 영역이 선택되지 않은 경우에도 스텝 S1에 되돌아간다.

도 9는, 도 8의 스텝 S3에서의 콧구멍검색을 나타내는 플로차트이다.

이하, 도 9의 플로차트를 참조하여 설명한다.

스텝 S11의 2차원 필터처리는, 스텝 S3에서 설명한 것과 동일하다.

여기서, 필터에 의해 추출된 2치화영역을 구성하는 화소를 필터패스화소라고 부르는 것으로 한다.

스텝 S12 에서 전회의 콧구멍중심위치를 콧구멍검출개시점으로서 설정한다.

스텝 S13에서, 도 5에 나타난 것과 같이 스파이럴로 콧구멍영역을 검색하고, 스텝 15에서 스파이럴검색추출화소의 좌표(X, Y)를 기록한다.

도 6A 및 6B는 스텝 S13∼S15의 스파이럴검색을 설명하는 도이다.

도 6A에 나타난 것 같이 현재의 주목화소에서 참조화소의 4방향을 검색하여, 4방향의 어느 하나에 필터패스화소가 있으면, 참조화소를 다음의 주목화소로한다.

주목화소에 대한 참조화소는, 도 6B에 나타난 스파이럴검색테이블에서 설정된다.

이와같이하여, 참조화소의 4방향에 필터패스화소가 없어질때까지 스텝 S13∼S15의 스파이럴검색을 반복한다.

스텝 S14에 있어서, 참조화소의 4방향에 필터패스화소가 없어지면 동작을 종료하고 그 다음 스텝 S16으로 진행하고, 기록된 좌표(X,Y)에 따라 콧구멍영역의 중심위치를 구한다.

스텝 S17에 있어서, 좌우콧구멍영역의 중심위치가 검출되면, 스텝S18에서, 도 7과 같이 좌우콧구멍중심위치(19,20)의 중심에 따라, 콧구멍위치를 설정한다.

이때, 복수의 좌우콧구멍중심위치가 검출되는 경우에는, 얼굴에서의 상대적 위치관계에 따라 2개의 중심위치를 좌우콧구멍중심위치로서 선택한다.

이 콧구멍위치(14)및 좌우콧구멍중심위치(19,20)는, 프레임마다에 각각 이전의 화면의 추출위치, 중심위치로서 1프레임당 저장된다.

이상에서, 원형에 가까운 형상의 콧구멍의 검색에 있어서, 콧구멍2치화영역을 구성하는 화소전체를 주사하는 일없이, 또, X, Y방향의 주사회수를 저감하여 중심위치를 결정함으로써, 콧구멍검색의 처리속도가 향상된다.

실시예 2

실시예 2는, 실시예 1의 콧구멍영역추출수단의 콧구멍검색개시점설정에 있어서, 전회의 콧구멍중심위치대신에, 2치화영역투영 히스토그램의 피크위치에서 얼굴의 수평방향으로 좌우등간격으로 좌우검색개시점을 설정함으로써 전회의 콧구멍중심위치에 필터패스화소가 존재하지 않는 경우에도, 스파이럴검색이 가능한 개시점을 설정할 수 있어, 안정된 콧구멍추출 및 콧구멍추출의 신뢰성향상을 기할 수가 있다.

도 10은, 본 발명의 실시예 2에 의한 안화상 처리장치의 설명도이다.

장치에 의해, X축 투영피크위치에서 좌우콧구멍검색개시점의 기준으로 되는 콧구멍임시위치를 설정한다.

도 10에서, 17 및 18은 도 7의 것과 동일하며, 21은 콧구멍임시위치이다.

도 11은, 본 발명의 실시예 1에 의한 안화상 처리장치의 콧구멍임시위치에서 좌우콧구멍검색개시점의 설정을 나타내는 설명도이다.

도 11에서, 17, 18 및 21은 도 10의 것과 동일한 것이다.

다음, 투영 2치화영역의 히스토그램의 피크를 사용하여 검색개시점을 설정하는 처리에 대하여 설명한다.

도 3B에 표시된 2치화영역에 대해서, 도 10에 표시된 것과 같이 콧구멍주변부는 X축에 투영되고, 투영히스토그램의 피크위치의 교점과 전회의 콧구멍중심 Y좌표를 사용하여 콧구멍임시위치(21)를 설정한다.

도 11에 나타낸 것과 같이, 콧구멍임시위치(21)에서 좌우등간격으로 좌우콧구멍검색개시점을 설정한다.

스파이럴검색은 좌우콧구멍검색개시점에서 개시되나, 스파이럴검색은 일정수의 화소가 검색된 후에는 중단된다.

좌우콧구멍의 화소수가 일정수의 화소보다 작으면, 그 영역은 콧구멍영역으로서 인식되지 않는다.

피크가 복수개 존재하는 경우에는, 좌우콧구멍검색은 각 피크에 대해 시행된다.

양좌우콧구멍이 스파이럴검색화소수를 충족할 경우에는, 그 영역은 좌우콧구멍영역으로서 설정되며, 좌우영역의 중심위치에 따라 콧구멍위치가 설정된다.

그에 따라서, 얼굴의 움직임이 커서 전회의 콧구멍중심위치를 콧구멍검색개시점으로서 설정되지 않는 경우에도, 무효인 중심위치설정을 피함으로써, 콧구멍검색의 처리속도를 향상할 수 있다.

또, 콧구멍추적을 놓쳤을때 복귀에 요하는 시간을 단축할 수 있으므로, 눈의 추적을 빠뜨리는 시간 및 눈의 개폐상태를 판정할 수 없는 시간이 단축된다.

그러므로, 눈의 개폐상태의 빠뜨림을 방지하여 정확히 판정할 수가 있다.

실시예 2와 같이, 전회의 콧구멍중심위치에 콧구멍영역이 존재하지 않는 상태를 가정하면, 스파이럴검색에서는 실제의 콧구멍2치화영역의 중심위치와의 편차가 크게될 염려가 있다.

그러므로, 스파이럴검색은, 콧구멍검색개시점에 영역이 존재하는가 어떤가를 판정하는데만 사용하는 복합방식이 있다.

또한, 영역의 중심결정은 통상의 X, Y방향의 주사에 의해 시행된다.

본 발명은, 이상 설명한 바와 같이 구성되여 있으므로, 다음에 기술되는 효과를 얻을 수 있다.

안화상이 입력되는 화상입력수단과, 이 화상입력수단에 의해 입력된 안화상에서 2치화된 콧구멍영역을 추출하는 콧구멍영역추출수단과, 이 콧구멍영역추출수단에 의해 추출된 2치화된 콧구멍영역을 기준점으로하여 안화상에서 2치화된 눈영역을 추출하는 눈영역추출수단과, 이 눈영역추출수단에 의해 추출된 2치화된 눈영역에 따라 눈의 개폐를 판정하는 개폐판정수단을 구비하였으므로, 눈의 개폐상태를 바르게 판정할 수가 있다.

또, 콧구멍영역 추출수단은, 소정의 검색개시점에서 스파이럴로 검색개시점의 주위를 순차검색함으로써 콧구멍영역의 추출을 하므로 콧구멍영역의 추출의 처리속도가 향상된다.

또, 화상입력수단에 의해 입력된 안화상을 1프레임분 저장하는 메모리를 구비하고, 1프레임의 안화상을 사용하여 콧구멍영역추출수단에 의한 콧구멍영역의 추출 및 개폐판정수단에 의한 눈의 개폐의 판정을 하므로, 1프레임마다 눈의 개폐를 판정할 수 있다.

또한, 콧구멍영역추출수단의 검색개시점은 전프레임의 안화상의 콧구멍영역에서 산출된 콧구멍중심위치이므로, 효율이 좋은 스파이럴검색에 의한 콧구멍영역의 추출을 할 수가 있다.

또, 콧구멍영역추출수단의 검색개시점은, 안화상의 투영히스토그램의 피크위치에서 안화상의 수평방향으로 좌우등간격인 2개의 위치에 설정되므로, 초기 추출에서 또는 이전의 프레임의 화상에서 콧구멍영역이 추출되지 않았을 때에도 스파이럴로 검색할 수가 있다.

Claims

안화상을 입력하는 화상입력수단과, 이 화상입력수단에 의해 입력된 안화상에서 2치화된 콧구멍영역을 추출하는 콧구멍영역추출수단과, 이 콧구멍영역추출수단에 의해 추출된 2치화된 콧구멍영역을 기준점으로하여 상기 안화상에서 2치화된 눈영역을 추출하는 눈영역추출수단, 이 눈영역추출수단에 의해 추출된 2치화 된 눈영역에 따라 눈의 개폐를 판정하는 개폐판정수단을 구비한 것을 특징으로 하는 안화상 처리장치.
제 1항에 있어서,

콧구멍영역추출수단은, 소정의 검색개시점에서, 스파이럴로 검색개시점의 주위를 순차검색함으로써 콧구멍영역의 추출을 하는 것을 특징으로 하는 안화상 처리장치.
제 2항에 있어서,

화상입력수단에 의해 입력된 안화상을 1프레임분 저장하는 메모리를 더 구비하고, 상기 1프레임의 안화상을 사용하여 콧구멍영역추출수단에 의한 콧구멍영역의 추출 및 개폐판정수단에 의한 눈의 개폐를 판정을 하는 것을 특징으로 하는 안화상 처리장치.