KR100355125B1 - 안화상처리장치 - Google Patents

Abstract

카메라(1)에 의해 촬영되어 화상입력수단(2)에 입력된 눈화상의 눈영역을 눈영역판정수단(8)에 의해, 그 눈영역중의 눈화상을 눈화상2치화수단(9)에 의해 2치화한다.

적정한 상관계수를 얻을수 있도록, 좌표회전수단(10)에 의해 2치화상의 좌표가 회전되고, 좌표회전된 눈화상을 사용하여 상관연산수단(11)에 의해 연산하며, 그 결과 얻어진 상관계수에 따라, 개폐판정수단(12)이 눈의 개폐를 판정하는 것이다.

Description

안화상처리장치{FACE-IMAGE PROCESSING APPARATUS}

본 발명은, 얼굴의 눈화상을 추출하여, 눈화상의 상태에 따라 피촬영자의 눈의 개폐상태를 검출하는 장치에 사용되는 안화상처리장치에 관한 것이다.

종래부터, 차량운전자의 부주의, 졸음운전등의 운전상태를 검출하기 위하여, 운전자의 얼굴을 차량실내에 구비된 카메라로 촬영하여, 획득된 눈화상을 처리하여 얼굴의 특징점인 눈을 추출하여, 눈의 개폐를 검출하는 안화상처리장치가 개발되어 있었다.

이와같은 종래장치로서는 농도변이화상을 2치화상으로 변환한 후, 추출된 얼굴윤곽의 흑색영역에서 눈을 추출하고, 추출한 눈화상의 눈 가장자리 부분의 상부의 경사를, 1차상관을 얻음으로써 검출하고, 그의 경사의 변화에 의해, 눈의 개폐를 판정하는 일본국 특개평 9-44684호 공보에 공개되어 있다.

도 19는, 일본국 특개평 9-44684 호 공보에서 공개된 운전자의 상태검출을 나타내는 개략구성도이다.

도 19에서, 1은 운전자를 촬영하는 카메라, 2는 카메라(1)의 농도변이화상이 입력되고, A/D변환하여 디지털 변이화상으로 하는 화상입력수단, 3은 화상입력수단(2)에 의해 변환한 디지털 변이화상을 2치화하는 2치화수단, 4는 2치화화상의 눈의 존재영역을 추출하는 눈추출수단, 5는 눈존재영역에서 형상함수를 산출하고, 또 원호형상으로 착안한 평가함수를 산출하는 평가함수산출수단, 6은 평가함수의 치에서 눈의 개폐판정을 하는 개폐판정수단이다.

도 20은, 도 19의 동작을 설명하는 도이며, 화상에서 추출한 눈존재영역의 2치화상을 사용하는 눈의 개폐의 판정에 대해서 설명한다.

이와같이 구성된 종래의 운전자의 상태검출에서는, 먼저 화상입력수단(2)에서, 운전자의 얼굴을 촬영한 카메라(1)에서의 농도변이화상이 영상신호로서 입력되어, A/D변환되고, 변환된 디지털변이화상이 2치화상수단(3)에 의해, 소정의 한계치로 2치화, 즉 흑색화소와 백색화소로 변환된다.

다음에, 눈추출수단(4)에 의해 눈의 존재영역의 추출이 시행된다.

이 눈추출수단(4)은, 예컨대 2치화상의 흑색화소의 좌표평균에서 중심을 구하고, 그 중심에서 가장 가까운 흑색화소의 집합체가 존재하는 X방향의 소정범위의 직사각형 영역을 눈존재영역으로서 추출한다.

그후, 평가함수산출수단(5)은, 눈존재영역의 2치화된 눈화성전체의 형상, 즉 특징을 나타내는 형상함수를 산출한다.

그 형상함수에 따라 원호형상에 착안한 평가함수를 산출하고, 그의 치를 메모리에 기록한다.

그 다음 개폐판정수단(6)에 의해, 시간적으로 변화하는 평가함수의 치(k)에서 한계치를 결정하고, 눈의 개폐판정을 한다.

다음에 형상함수의 예를 도 20을 이용하여 설명한다.

도 20은, 시간의 추이(개안시 TA, 폐안시 TC, 그들 사이의 시점 TB)와, 시간의 추이에 대응한 눈존재영역의 2치화상을 나타낸 것이다.

이 2치화된 눈화상의 눈 가장자리 측에 있는 소정범위의 상측화소를, 최소자승법을 이용하여 직선접근을 시킨다.

그리하여, 도에 나타낸것같이, 개안시에는 경사가 크며, 눈을 감는데 따라 경사가 작게된다.

즉 소정범위(n화소)의 눈 가장자리의 상측화소의 좌표를 (xi,yi)로 할때, 경사는 다음과 같이 계산된다.

k=(nΣxy-ΣxΣy)/(nΣx²-(Σx)₂)

또, 얼굴이 경사될때에는 눈 가장자리의 경사도 변화하나, 양 눈의 가장자리의 경사의 평균을 취함으로써, 경사의 영향을 보상한다.

즉, 왼쪽눈의 눈 가장자리의 경사를 KL, 오른쪽 눈의 눈 구장자리의 경사를 KR로 하여, 다음식에 의해 눈의 개폐가 평가된다.

K=(KL+KR)/2

다음, 개폐평가수단(6)은, 개폐판정한계치(KB)를 설정함으로써 K의 치에 따라 개폐를 판정한다.

최후에, 졸음의 판정은, 눈깜박임 검출수단에 의해 검출된 눈의 개폐상태에 따라, 졸음운전을 판정한다.

그러나, 이와같은 종래장치에서는, 2치화수단(3)에 의해, 눈화상을 2치화할때, 피촬영자의 광환경의 급변한 경우, 또는 A/D변환시에 생기는 분산등으로 눈화상이 변화한다.

특히, 그의 영향은 눈꺼풀, 특히 눈 가장자리부에 현저한 영향을 준다.

그러므로, 상기에 설명한 것과 같이 최소자승법에 의해 눈 가장자리부의 경사를 계산하면, 이들의 요인에 따라 치가 변화하여, 오검출이 발생한다는 문제점이 있었다.

또, 피촬영자의 광환경이 왼쪽 눈과 오른쪽 눈에서 다르면, 좌우의 눈의 2치화상태도 불균형하게 되므로, 정확한 개폐평가가 얻어지지 않는 문제점이 있다.

본 발명은, 상기와 같은 과제를 해결하기 위해 이루어진것이며,눈화상2치화수단에 의해 피촬영자의 눈화상의 2치화상태가 변화하는 경우에도, 안정되게 눈의 개폐상태를 판정할 수 있는 안화상처리장치를 얻는 것을 목적으로 하고 있다.

본 발명에 의한 안화상처리장치에서는, 카메라에 의해 촬영된 안화상이 입력되는 화상입력수단과, 이 화상입력수단에 의해 입력된 안화상에서 2치화된 눈화상을 추출하는 눈화상 추출수단과, 이 눈화상 추출수단에 의해 추출된 눈화상을 소정각도, 좌표회전하는 좌표회전수단과, 이 좌표회전수단에 의해 회전된 눈화상을 사용하여 1차상관을 연산하는 상관연산수단과, 이 상관연산수단의 연산에 의해 얻어지는 상관계수에 따라 눈의 개폐를 판정하는 개폐판정수단을 구비한 것이다.

또, 눈화상추출수단은, 화상입력수단에 의해 입력된 안화상에서 눈영역을 특정하는 눈영역판정수단과, 눈영역중의 눈화상을 2치화하는 2치화수단과를 합한 것이다.

또, 장치는 눈화상추출수단에 의해 2치화된 눈화상의 폭을 확장하는 폭확장수단을 구비한 것이다.

또, 장치는 폭확장수단에 의해 눈화상의 폭의 확장을,상관계수가 소정범위에 들어오도록 제어하는 폭확장제어수단을 구비한 것이다.

또, 장치는 눈화상추출수단에 의해 2치화된 눈화상의 경사를 보정하는 경사보정수단을 구비하며, 좌표회전수단은 경사보정수단에 의해 보정된 눈화상을 회전하는 것이다.

또, 경사보정수단은, 상관계수가 소정범위에 들어오도록 보정을 하는 것이다.

또, 장치는 화상입력수단에 의해 입력된 안화상에서 안화상의 경사를 추정하는 경사추정수단을 구비하며, 경사보정수단은 경사추정수단에 의해 추정된 안화상의 경사를 사용하여 눈화상을 보정하는 것이다.

또, 장치는 화상입력수단에 의해 입력된 안화상의 경사를 추정하는 경사추정수단을 구비하며, 경사추정수단에 의해 추정된 경사를 사용하여, 경사보정수단에 의한 눈화상의 경사의 보정을 제한하는 것이다.

경사추정수단은, 안화상에서 추출된 콧구멍화상을 사용하여 경사를 추정하는 것이다.

또, 콧구멍화상의 추출은, 안화상에서 콧구멍영역을 특정하는 콧구멍영역판정수단과 콧구멍영역판정수단에 의해 특정된 콧구멍영역에서 콧구멍화상을 추출하는 콧구멍추출수단에 의해 이루어지는 것이다.

도 1은, 본 발명의 실시예 1에 의한 안화상처리장치의 구성을 나타내는 개략도이다.

도 2A및 도 2B는, 본 발명의 실시예 1에 의한 안화상처리장치의 상관계수의 특징을 나타내는 도이다.

도 3A및 3B는, 본 발명의 실시예 1에 의한 안화상처리장치에 의해 실행되는 눈의 개폐를 상관계수로 평가하는 것을 나타내는 개념도이다.

도 4는, 본 발명의 실시예 1에 의한 안화상처리장치에 의해 실행되는 눈의 개폐를 검출하는 방법을 나타내는 타임차트도이다.

도 5는, 본 발명의 실시예 2에 의한 안화상처리장치의 구성을 나타내는 개략도이다.

도 6은, 본 발명의 실시예 2에 의한 안화상처리장치에 의해 실행되는 가는 눈과 큰 눈과의 비교도이다.

도 7은, 본 발명의 실시예 2에 의한 안화상처리장치의 가는 눈의 사람의 눈의 개폐를 검출하는 방법을 나타내는 개략도이다.

도 8은, 본 발명의 실시예 3에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 9는 본 발명의 실시예 3에 의한 눈화상장치의 가는 눈과, 큰 눈에 관계없이 눈깜박임을 검출하는 방법을 나타내는 도이다.

도 10은, 본 발명의 실시예 4에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 11A 및 11B는, 본 발명의 실시예 4에 의한 안화상처리장치의 얼굴이 기울어졌을때의 문제점을 나타내는 도이다.

도 12A~12C는, 본 발명의 실시예 4에 의한 안화상처리장치의 동작을 설명하는 개략도이다.

도 13은, 본 발명의 실시예 5에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 14는, 본 발명의 실시예 5에 의한 안화상처리장치의 동작을 나타내는 개념도이다.

도 15는 본 발명의 실시예 6에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 16A및 16B는, 본 발명의 실시예 6에 의한 안화상처리장치의 눈화상의 일부가 없어진 경우의 문제점을 나타내는 도이다.

도 17은, 본 발명의 실시예 7에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 18A 및 18B는 본 발명의 실시예 7에 의한 안화상처리장치의 동작을 나타내는 도이다.

도 19는, 종래의 운전자의 상태검출을 나타내는 개략구성도이다.

도 20은, 종래의 운전자의 상태검출에서의 동작을 설명하는 도이다.

<도면의 주요부분에 대한 부호의 설명>

1. 카메라 2. 화상입력수단

8. 눈영역판정수단 9. 눈화상2치화수단

10. 좌표회전수단 11. 상관연산수단

12. 개폐판정수단 13. 폭확장수단

14. 폭확장제어수단 15. 경사보정수단

17. 콧구멍영역판정수단 18. 콧구멍추출수단

19. 경사추정수단

실시예 1

도 1은, 본 발명의 실시예 1에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 1에서, 1은 피촬영자를 촬영하는 카메라, 2는 카메라에 의해 촬영된 화상이 입력되는 화상입력수단이며, 촬영화상을 A/D변환함으로써, 디지털변이화상으로 된다.

8은 화상중의 눈영역을 특정하는 눈영역판정수단, 9는 눈영역중의 안화상을 2치화는 눈화상2치화수단이며, 눈영역판정수단과 함께 눈화상추출수단을 구성한다.

10은 2치화된 눈화상의 좌표를 회전하는 좌표회전수단, 11은 좌표가 회전된 눈화상에서 1차상관계수를 연산하는 상관연산수단, 12는 상관계수의 시간적 변화에 따라 눈의 개폐를 판정하는 개폐판정수단이다.

도 2A 및 2B는,본 발명의 실시예에 의한 안화상처리장치의 상관계수의 특징을 설명하는 도이며, 도 2A는 데이터가 X축과 평행인 경우, 도 2B는 데이터의 좌표를 회전한 경우를 나타낸다.

도 3A 및 3B는, 상관계수를 사용하여 눈의 개폐를 평가하는 본 발명의 실시예 1에 의한 안화상처리장치의 동작을 설명하는 개념도이며, 도 3A는 개안시와 폐안시의 2치화된 눈화상, 도 3B는 좌표회전한 눈화상을 나타낸다.

도 4는, 본 발명의 실시예 1 에 의한 안화상처리장치를 사용한 눈의 개폐를검출하는 방법을 나타내는 타임차트도이다.

다음, 동작에 대하여 설명한다.

카메라(1)로 촬영된 안화상은 종래예에서 설명한것과 동일하게 화상입력수단 (2)에 입력되어 A/D변환됨으로서, 디지털화상으로 변환된다.

그리고 눈영역판정수단(8)에 의해 화상중의 눈영역의 특정이 이루어진다.

그다음, 특정된 눈영역중의 눈화상이 눈화상2치화수단(9)에 의해 처리되어, 2치화된 눈화상이 얻어진다.

2치화된 눈화상의 좌표는 좌표회전수단(10)에 의해 회전되어, 상관연산수단 (11)에 입력된다.

상관연산수단(11)에 의해 연산된 1차상관계수는, 개폐판정수단(12)에 입력되어, 상관계수의 시간적변화에 의해 눈의 개폐가 판정된다.

다음, 상관연산수단(11)에 의해 시행된 1차상관연산에 의해 얻어지는 상관계수의 특징에 대하여 설명한다.

상관계수는, 통계학의 참고서등에 널리 알려져 있으며, 두 변수간의 상관의 세기를 나타낸것이다.

즉, 상관이 강하면 상관계수는, 1과 -1에 접근하며, 두 변수가 상관이 없으면, 0으로 된다.

바꾸어 말하면, 1차상관연산으로 상관계수를 구하는 것은, 직선성을 평가하는 것에 일치한다.

그러나, 직선성을 상관계수를 사용하여 평가하는 경우, 도 2A에 나타나는 것같은 문제가 발생한다.

즉, 도에 나타난것같이 직선이 X축과 평행인 경우, 그의 데이터가 직선상일지라도 상관계수는 0에 접근하며, 그의 직선성이 평가 될 수 없게된다.

이 문제는, 도 2B에 나타낸것같이 데이터의 좌표를 회전시켜 X-Y좌표에서 U-V좌표로 변환하여, U-V좌표에서 상관연산함으로써 해결된다.

즉, 도2A에서는 상관계수가 거이 0이였으나, 도 2B에서는 거이 1로 된다.

또한, 도 2중에 x-Y 좌표계에서 u-v좌표계에의 변환식과, u-v 좌표계에 있는 상관계수의 연산식을 나타내고 있다.

도중에 나타난 R의 자승이 상관계수이다.

다음에 상관계수의 특징을 이용하여, 눈의 개폐를 평가하는 처리에 대하여 설명한다.

도 3A에, 개안시와 폐안시의 2치화 된 눈화상을 나타낸다.

도에 나타낸것같이, 눈화상은 통상 X축에 평행이며, 화상의 직선성은, 폐안시때에 높다.

그러나, 이미 설명한 것과 같이, x축과 평행인 직선은, 가령 그의 직선성이 높더라도 상관계수를 계산하면 0에 접근된 값으로 되므로, 개안시와 폐안시간에는 차이가 없다.

좌표회전수단(10)을 사용하여 눈화상을 소정각도 회전시켜, 회전시킨 화상의 상관계수를 상관연산수단(11)을 사용하여 계산시키면, 도 3B에 나타난것같이, 개안시는 상관계수가 낮고, 또 폐안시는 상관계수가 높게된다.

이 소정각도는 45도가 가장 적절하다.

도 4에 눈깜박임의 검출예를 나타낸다.

도 4는, 눈의 개도에 대응한 상관계수의 치의 변화와 함께, 적당한 개폐판정 한계치를 나타낸다.

이 도에 나타낸것같이, 개폐판정수단(12)에 의해 개폐판정한계치를 넘는 경우, 폐안판정을 함으로써, 눈깜박임의 검출 및 한계치를 넘은 시간을 측정함으로써, 개안지속시간의 검출이 가능하게 된다.

또한, 이 개폐판정한계치의 설정은, 상관계수의 평균적인 값 및 상관계수를 필터링한 값, 주목시점부터 소정시간전의 값 등에서 개인의 특성에 맞추어 결정하는 것이다.

또한, 상관계수를 사용하였으나, 상관계수의 자승을 사용하여도 된다.

실시예 2

도 5는, 본 발명의 실시예 2에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 5에서, 1,2,8~12 는 도 1에 있는것과 동일하다.

13은 눈화상2치화수단(9)에 의해 2치화된 눈화상의 폭을 확장하는 폭확장수단이다.

도 6은, 본 발명의 실시예 2에 의한 안화상처리장치에 의해 처리되는 가는눈과 큰 눈과의 비교도이다.

도 7은, 본 발명의 실시예 2에 의하 안화상처리장치에 의해 채택되는 가는눈의 사람의 개폐안을 검출하는 방법을 설명하는 개략도이다.

다음에, 동작에 대하여 설명한다.

도 6은, 가는눈의 피촬영자의 예와, 큰눈의 피촬영자의 예를 나타내는 것이나, 도에 나타낸것같이, 가는 눈의 경우의 상관계수는, 눈형상이 직선에 가까우므로, 큰 눈의 피촬영자의 예와 비교하면, 보다 1에 가까운 값으로 되어, 개안시와 폐안시의 변화가 작게되고, 눈깜박임의 검출이 곤란하게 된다.

그러나, 도에 나타낸것같이, 눈화상의 좌표를 좌표회전수단(10)에 입력하기전에, 폭확장수단(13)에 입력하여, 눈화상의 개개의 화소의 Y좌표의 치를 소정배로 함으로써, 눈의 폭을 확장한다.

그의 확장후, 좌표회전수단(10)에 입력하여 좌표를 회전시켜, 상관연산수단 (11)에 입력하여 상관계수를 연산시키면, 도 7에 나타난것같이, 개안시의 상관계수의 감소율은 폐안시의 상관계수의 감소율보다도 크므로, 개안시와 폐안시의 상관계수의 변화량이 크게된다.

그 결과, 가는눈의 피촬영자의 눈깜박임 검출성능이 향상된다.

여기서, 소정배의 치는, 화상의 분해능 및 촬영된 눈의 크기등에서 최적인 치가 선택되는 것이다.

실시예 3

도 8은, 본 발명의 실시예 3에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 8에서, 1,2,8~13 은 도 5에 있는것과 동일한 것이다.

14는 상관연산수단(11)에서 얻어지는 상관계수의 평균적인 치가 소정범위의 치로 되도록, 폭확장수단(13)에서 확장을 위한 소정배의 치를 제어하는 폭확장제어수단이다.

도 9는, 본 발명의 실시예 3에 의한 안화상처리장치의 눈이 가늘고, 큰데 관계없이, 동일한 눈깜박임을 검출하는 방법을 설명하는 도이다.

실시예 1에서는, 가는 눈의 피촬영자에는, 눈깜박임의 검출이 곤란하였으나, 실시예 2에서는 그 문제가 해결되는 것을 설명하였다.

그러나, 눈이 큰 피촬영자에게는, 실시예 1에서는 양호한 검출성이 얻어졌으나, 실시예 2에서는 역으로 폭을 확장하는데 따른 상관계수의 저하율이 커서, 검출이 곤란하게 된다.

또, 실시예 1및 실시예2 에서도, 눈깜박임에 따른 상관계수의 시간적변화의 진폭이 눈의 크기에 따라 변화하며, 나아가서 눈깜박임 검출성의 개인차로서 나타난다.

실시예 3에서는, 도 9에 나타난것같이, 상관연산수단(11)에서 얻어지는 상관계수의 평균적인 값 또는 개안으로 판정되어져 있을때의 상관계수의 평균적인 값이 소정의 범위로 되도록 폭확장제어수단(14)을 사용하여, 폭확장수단(13)에서 소정배의 치를 피드백 제어하는 것이다.

이와같은 제어를 함으로써, 상관치의 변화가, 눈이 가늘고, 큰데 관계없이, 동일한 변화로 되며, 나아가서 개폐판정수단(12)에 의한 개폐판정한계치의 결정이 간소하게 되는 동시에, 눈깜박임 검출성의 개인차를 저감하는 것이 가능하게 된다.

실시예 4

도 10은, 본 발명의 실시예 4에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 10에서, 1,2,8~12 는 도 1에 있는것과 동일한 것이다.

15는 눈화상2치화수단(9)과 좌표회전수단(10)간에 추가된 경사보정수단이며, 상관연산수단(11)에서 1차상관계산시의 경사가 입력되어 있다.

도 11A 및 11B 는 본 발명의 실시예 4에 의한 안화상처리장치에서 얼굴이 경사되었을때의 문제점을 설명하는 도이며, 도 11A 는 얼굴이 경사되었을때의 눈화상, 도 11B는 도 11A 를 좌표회전시켰을때의 눈화상이다.

도 11A 는, 얼굴이 기울어졌을때의 눈화상2치화수단(9)에서의 눈화상을 나타내고 있다.

통상좌표회전수단(10)에 의한 회전각도는 실시예 1에서 설명한대로, 45도였으므로, 좌표회전수단(10)에서 45도 회전시킨 눈화상은, 도 11B와 같이되며, X축 또는 Y축에 평행인 직선에 접근하는 것을 용이하게 알수 있다.

따라서, 실시예 1에서 설명한 상관계수의 성질에 의해, 동일한 눈형상 일지라도, 경사각도에 의해 값이 변화되고, 나아가서 폐안시의 상관계수도 증대하는 것이 없어지므로, 눈깜박임의 검출이 불가능하게 된다.

도 12A~도 12C 는 본 발명의 실시예 4에 의한 안화상처리장치의 동작을 나타내는 개념도이며, 도 12A는 1에 접근된 경사를 가진 눈화상, 도 1~B 는 경사가 1에서 벗어난 눈화상, 도 12C 는 경사보정수단을 사용하여 보정된 눈화상을 나타낸다.

다음에 동작에 대하여 설명한다.

상관연산수단(11)에 상관치와 함께 경사를 취하면, 그의 경사를 평가함으로써, 좌표회전수단(10)에 의해 회전각도가 적절한가 어떤가의 판정이 가능하다.

즉, 도 12A에 나타난것같이 경사가 1에 접근하면, 눈화상은 이상적인 회전각도로 회전되어 있고, 눈깜박임에 의한 양호한 상관계수의 변화가 기대된다.

그러나, 도 12B에 나타난것같이 경사가 1에서 벗어나면, 좌표회전수단(10)에 의한 회전각도가 부적절하게 된다.

이와같은 성질을 이용하여, 경사보정수단(15)는, 상관연산수단(11)에서 얻어지는 경사가 입력되어, 그의 경사가 눈깜박임 판정을 양호하게 하는 범위를 벗어나지 않도록, 좌표회전수단(10)에 대해 회전각도를 피드백제어한다.

이들의 수단에 의해, 만일 얼굴이 경사된 경우에도, 도 12C 에 나타난것같이 상관연산수단(11)은, 얼굴의 경사에 관계없이 눈의 개폐도에 대응한 상관계수를 출력하는 것이 가능하게 되며, 그 결과로서, 눈개폐판정수단(12)에 의한 양호한 눈깜박임의 검출이 된다.

실시예 5

도 13은, 본 발명의 실시예 5에 의한 안화상처리장치를 나타내는 개략구성도이다.

도 13에서, 1,2,8~12,15 는 도 10의 것과 동일한 것이다.

17은 콧구멍영역판정수단, 18은 콧구멍추출수단이다.

19는 경사추정수단이다.

도 14는, 본 발명의 실시예 5에 의한 안화상처리장치의 동작을 나타내는 개념도이다.

다음, 동작에 대하여 설명한다.

실시예 5에서는, 실시예 4에 대하여 2개의 콧구멍을 추출하는 수단을 구비한다.

즉 콧구멍영역판정수단(17)은 영상입력수단(2)에서 입력된 눈화상중의 콧구멍영역을 특정한다.

다음, 특정된 콧구멍영역 중의 2개의 콧구멍화상이 콧구멍추출수단(18)에 의해 얻어진다.

다음에, 2개의 콧구멍상은 경사추정수단(19)에 입력된다.

경사추정수단(19)에서는, 도 14에 나타난것같이, 2개의 콧구멍의 중심좌표를 각각 구하고, 또 2개의 좌표에 의해 얼굴의 경사를 도 14에 나타낸것같은 식으로 계산한다.

다음에, 경사추정수단(19)에 의해 추정된 얼굴의 경사를 θ로 하면, 좌표회전수단(10)에 대한 회전각도지시는, 45도-θ라는 식으로 계산된다.

이들의 수단에 의해, 만일 얼굴이 경사된 경우에도, 도 14에 나타난것같이, 좌표회전수단(10)에 의해 회전된 눈화상의 경사는, 얼굴의 경사에 의한 영향이 제거되므로, 상관연산수단(11)은, 얼굴의 경사에 관계없이 눈의 개폐도에 대응한 상관계수를 출력하는 것이 가능하게 되며, 결과로서, 개폐판정수단(12)에 의한 양호한 눈깜박임의 검출이 된다.

실시예 6

도 15는 본 발명의 실시예 6에 의한 안화상처리장치를 나타내는 개략구성동이다.

도 15에서, 1,2,8~15,17,19는 도 13의 것과 동일한 것이다.

도 16A 및 16B는 본 발명의 실시예 6에 의한 안화상처리장치의 눈화상의 일부가 결어된 경우의 문제점의 설명과, 동작을 설명하는 도이며, 도 16A는 부적절한 보정각을 나타내는 도, 도 16B는 보정각을 제한한 도이다.

다음에 동작에 대하여 설명한다.

실시예 6의 기본구성은, 실시예 4와 동등하며, 여기에 실시예 5에서 설명된 콧구멍에 의한 얼굴의 경사추정수단(19)이 추가된 형으로 되어 있다.

그러나, 경사추정수단(19)에 의해 추정된 얼굴의 경사는, 실시예 5의 경우와는 다르며, 이 치를 이용하여, 경사보정수단(15)에 의한 보정각을 부여하는 것이 아니고 실시예 4와 동일하게 상관연산수단(11)에서 구해지는 상관계수가 소정의 범위에 들어오도록 피드백 제어한 경우에 얻어지는 보정각에 대한 클립치로서 작용한다.

즉, 실시예 4의 방식에서는, 상관치를 연산하기에 최적인 보정각이 구해지도록 경사보정수단(15)이 동작하나, 도 16A에 나타난것같이, 일부가 결여된 눈화상때문에, 눈화상2치화수단(9)에 의한 눈화상이 부적절한 경우, 경사보정수단(15)에 의한 경사보정도 틀린것으로 된다.

그러므로 경사보정수단(15)에 의한 보정각을 콧구멍검출에 의한 경사추정수단 (19)으로 추정한 이 경사를 이용하여 제한함으로써, 도 16B에 나타나는 것같이, 틀린경사보정을 억제한다.

도 16A와 같이 보정각을 제어하면, 상관계수는 커지며, 도 16B와 같이 보정각을 제한하면, 그의 영향을 제거할 수 있다.

그 결과로서, 틀린 개폐치의 생성이 방지되고, 개폐검출수단(12)에 의한 눈깜박임의 검출정도가 향상된다.

실시예 7

도 17은, 본 발명의 실시예 7에 의한 안화상처리장치를 나타내는 개략 구조도이다.

도 17에서 1,2,8~13은 도 5에서의 것과, 15는 도 10에서의 것과 동일한 것이다.

도 18A 및 18B는 본 발명의 실시예 7에 의한 안화상처리장치의 동작을 설명하는 도이며, 도 18A는 경사된 얼굴의 눈화상2치화수단의 출력을 나타내는 종축확장수단에 의해 종축을 확장한 도, 도 18B는 경사보정수단을 사용했을때의 도이다.

실시예 7에서는, 눈화상2치화수단(9)과 폭확장수단(13)간에 실시예 4,5,6등에서 설명한것과 동등한 경사보정수단(15)이 추가된 것이다.

다음, 동작에 대하여 설명한다.

도 18A는, 경사된 얼굴일때의 눈화상2치화수단(9)의 출력을 나타낸다.

이 눈화상을 Y축방향으로 확장하면, 실제로는 눈을 비스듬한 방향으로 확장하게 된다.

즉, 눈화상의 종방향을 동시에 확장하게 되므로, 종방향만의 확장과 비교하여 상관계수는 작어진다.

이 영향에 의해, 실시예 2,3에서 설명한 확장의 효과는 나타나지 않으며, 따라서 개폐검출이 되지 않게 된다.

그러므로 실시예 4,5,6에서 설명한것같이 얼굴의 경사를 추정한후, 경사보정수단(15)에 의해 눈화상을 수평위치에 수정한 후, 폭확장수단(13)을 사용하여, 실시예 2,3에서 설명한것과 동등의 처리를 함으로써, 얼굴의 경사, 눈의 대소에 관계없이 양호한 눈깜박임 검출성능이 얻어진다.

본 발명은, 이상 설명한것같이 구성되어 있으므로, 이하에 나타내는 효과를 얻을수 있다.

카메라에 의해 촬영된 안화상이 입력되는 화상입력수단과, 이 화상입력수단에 의해 입력된 안화상에서 2치화된 눈화상을 추출하는 눈화상추출수단과, 이 눈화상추출수단에 의해 추출된 눈화상을 소정각도로 좌표회전하는 좌표회전수단과, 이 좌표회전수단에 의해 회전된 눈화상을 사용하여 1차상관을 연산하는 상관연산수단과, 이 상관연산수단의 연산에 의해 얻어지는 상관계수에 따라 눈의 개폐를 판정하는 개폐판정수단을 구비하였으므로, 눈화상의 2치화상태가 변화하여도, 안정되게 눈의 개폐를 판정할 수가 있다.

또, 눈화상추출수단은, 화상입력수단에 의해 입력된 안화상에서 눈영역을 특정하는 눈영역판정수단과, 눈영역 중의 눈화상을 2치화하는 2치화수단과를 구비하므로, 특정한 눈영역에서 눈화상을 2치화할수가 있다.

또, 눈화상추출수단에 의해 2치화된 눈화상의 폭을 확장하는 폭확장수단을 구비하였으므로, 가는 눈의 피촬영자에도, 양호하게 눈의 개폐를 판정할수가 있다.

또한, 폭확장수단에 의한 눈화상의 폭의 확장을, 상관계수가 소정범위에 들어가도록 제어하는 폭확장제어수단을 구비하였으므로, 눈의 대소의 개인차를 흡수하는 것이 가능하게 된다.

또, 눈화상추출수단에 의해 2치화된 눈화상의 경사를 보정하는 경사보정수단을 구비하고, 좌표회전수단은 경사보정수단에 의해 보정된 눈화상을 회전하므로, 경사없는 눈화상을 회전할수가 있다.

또, 경사보정수단은, 상관계수가 소정범위에 들어오도록 보정하므로, 피촬영자의 얼굴의 경사가 변화한 경우에도, 양호하게 눈의 개폐를 판정할수가 있다.

또한, 화상입력수단에 의해 입력된 안화상에서 안화상의 경사를 추정하는 경사추정수단을 구비하며, 경사보정수단은, 경사추정수단에 의해 추정된 안화상의 경사를 사용하여, 눈화상의 보정을 행하므로 정확하게 보정을 할 수 있다.

또, 화상입력수단에 의해 입력된 안화상에서 안화상의 경사를 추정하는 경사추정수단을 구비하고, 경사추정수단에 의해 추정된 눈화상의 경사를 사용하여, 경사보정수단에 의한 눈화상의 경사보정을 제한하므로, 잘못된 보정을 방지할수가 있다.

또한, 경사추정수단은, 눈화상에서 추출된 콧구멍화상을 사용하여 경사를 추정함으로, 적절하게 얼굴의 경사를 추정할수가 있다.

또, 콧구멍화상의 추출은, 눈화상에서 콧구멍영역을 특정하는 콧구멍영역판정수단과, 이 콧구멍영역판정수단에 의해 특정된 콧구멍영역에서 콧구멍화상을 추출하는 콧구멍추출수단에 의해 콧구멍화상을 추출할수가 있다.

Claims (3)

1. 카메라에 의해 촬영된 눈화상이 입력되는 화상입력수단, 상기 화상입력수단에 의해 입력된 눈화상에서 2치화된 눈화상을 추출하는 눈화상추출수단, 상기 눈화상추출수단에 의해 추출될 눈화상의 좌표를 소정각도회전하는 좌표회전수단, 상기 좌표회전수단에 의해 회전된 눈화상을 사용하여 1차상관을 연산하는 상관연산수단, 상기 상관연산수단의 연산에 의해 구해진 상관계수에 따라 눈의 개폐를 판정하는 개폐수단을 구비한 것을 특징으로 하는 안화상처리장치.
2. 제 1항에 있어서,

   상기 눈화상추출수단은 2치화 된 눈화상의 폭을 확대하는 폭확대수단을 구비한 것을 특징으로 하는 안화상처리장치.
3. 제 1항에 있어서,

   상기 눈화상추출수단에 의해 2치화 된 눈화상의 경사를 보정하는 경사보정수단을 더 구비하고, 상기 좌표회전수단은 상기 경사보정수단에 의해 보정된 눈화상을 회전하는 것을 특징으로 하는 안화상처리장치.