KR101672946B1

KR101672946B1 - 눈 개폐 분류 장치 및 방법

Info

Publication number: KR101672946B1
Application number: KR1020150031925A
Authority: KR
Inventors: 박강령; 홍형길; 김영곤; 김기완; 이원오
Original assignee: 동국대학교 산학협력단
Priority date: 2015-03-06
Filing date: 2015-03-06
Publication date: 2016-11-17
Also published as: KR20160108790A

Abstract

본 발명은 눈 개폐 분류 장치 및 방법에 관한 것으로, 더욱 상세하게는 보다 정확한 눈 개폐 분류를 위하여 카메라로부터 취득한 컬러영상에 대해 퍼지 룰을 기반으로 눈 영역을 분할하여 뜬 눈인지 감은 눈인지에 대한 분류를 수행하는 장치 및 방법에 관한 것이다.

Description

눈 개폐 분류 장치 및 방법{DEVICE AND METHOD FOR CLASSIFYING OPEN AND CLOSE EYES}

눈 깜빡임 횟수는 피로도나 졸림에 대한 감지 시스템이 운전자에게 주의를 주기 위하여 한 요소로 연구되어 왔다. 또한 눈 피로도는 사람들이 피곤할 때 평상시보다 더 눈을 깜빡인다는 가정하에 디스플레이 분야에서 측정되고는 했다. 눈 깜빡임 횟수 또는 눈 피로도를 정확하게 감지하기 위해서는 눈 개폐 분류를 정확하게 하는 것이 필요하다.

본 발명의 배경기술은 대한민국 공개특허 제2001-0057239호(2001.07.04 공개, 비디오 시퀀스 내에서 눈 깜박임 정보를 이용한 얼굴 영역검출 시스템 및 그 방법)에 개시되어 있다.

본 발명은 I 컬러 정보 및 K 컬러 정보에 기반한 개선된 퍼지 룰 시스템에 의해 눈 부분을 이원화하여 눈 주위의 그늘이나 속눈썹에 의해 영향을 덜 받아 눈 개폐 분류의 정확도를 높인 눈 개폐 분류 장치 및 방법을 제공한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면 눈 개폐 분류 장치가 제공된다.

본 발명의 일 실시 예에 따른 눈 개폐 분류 장치는 입력된 컬러 눈 영상의 RGB 컬러정보를 I 컬러정보 및 K 컬러정보로 변환하는 컬러정보 변환부, I 컬러정보 및 K 컬러정보를 0에서 1사이의 범위로 정규화하는 정규화부, 정규화하여 생성된 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 퍼지 룰 테이블을 설정하고, 퍼지 멤버쉽 함수를 이용하여 I 컬러정보의 값 및 K 컬러정보의 값의 출력 값에 대한 추론 값을 산출하는 퍼지추론값산출부 및 추론 값을 역퍼지화하여 출력점수를 계산하는 역퍼지출력계산부를 포함할 수 있다.

본 발명의 다른 일 측면에 따르면 눈 개폐 분류 방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다.

본 발명의 일 실시 예에 따른 눈 개폐 분류 방법 및 이를 실행하는 컴퓨터 프로그램은 입력된 컬러 눈 영상의 RGB 컬러정보를 I 컬러정보 및 K 컬러정보로 변환하는 단계, I 컬러정보 및 K 컬러정보를 0에서 1사이의 범위로 정규화하는 단계, 정규화하여 생성된 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 퍼지 룰 테이블을 설정하고, 퍼지 멤버쉽 함수를 이용하여 I 컬러정보의 값 및 K 컬러정보의 값의 출력 값에 대한 추론 값을 산출하는 단계 및 추론 값을 역퍼지화하여 출력점수를 계산하여 이미지를 생성하고, 이미지를 이용하여 눈 개폐를 판단하는 단계를 포함할 수 있다.

본 발명은 HSI 컬러 공간의 I 컬러 정보 및 CMYK 컬러 공간에서의 K 컬러 정보를 이용하여 눈 분할이 더욱 정확하다.

본 발명은 I 컬러 정보 및 K 컬러 정보에 기반한 퍼지 룰 시스템을 이용하여 눈 부분을 이원화하여 눈 주위의 그늘이나 속눈썹에 의해 영향을 덜 받으므로 눈 개폐 분류의 정확도가 높다.

본 발명은 퍼지 시스템의 출력 점수를 계산하는데 있어 모든 추론 값들에 의한 영향을 고려하는 개선된 가중치 평균 방법의 퍼지 룰을 포함하여 보다 정확한 눈 영상의 분할이 가능하다.

본 발명은 특히 TV 시청 환경에서 캡쳐된 저 해상도의 눈 이미지를 개선된 퍼지 시스템에 의해 성공적으로 눈 개폐의 분류할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 눈 개폐 분류 시스템을 설명하기 위한 도면.
도 2는 본 발명의 일 실시 예에 따른 눈 개폐 분류 장치의 구성도.
도 3 내지 도 10은 본 발명의 일 실시 예에 따른 눈 개폐 분류 방법을 설명하기 위한 도면들.
도 11 및 도 12은 본 발명의 일 실시 예에 따른 눈 개폐 분류 방법의 성능을 실험하기 위하여 이용한 제1 데이터베이스 및 제2 데이터베이스를 설명하기 위한 도면들.
도 13 및 도 14는 본 발명의 일 실시 예에 따른 눈 개폐 분류 결과를 비교한 데이터를 설명하기 위한 도면들.
도 15 내지 도 19는 본 발명의 일 실시예에 따른 눈 개폐 분류 결과를 설명하기 위한 도면들.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.

도 1은 본 발명의 일 실시 예에 따른 눈 개폐 분류 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명에 따른 눈 개폐 분류 시스템은 눈 개폐 분류 장치(100) 및 눈 영상 입력 장치(200)를 포함한다.

눈 개폐 분류 장치(100)는 입력된 컬러 눈 영상을 I 컬러 정보 및 K 컬러 정보로 변환 및 정규화하고, 정규화한 I 컬러정보의 값 및 K 컬러정보의 값을 퍼지 시스템을 통하여 출력 점수를 계산한다. 이후 눈 개폐 분류 장치(100)는 출력 점수를 이용하여 이미지를 생성하고, 생성된 이미지를 이진화한 후 요소 라벨링을 수행한다. 눈 개폐 분류 장치(100)는 요소 라벨링한 흑색 픽셀을 세로방향으로 사영하고, 사영한 흑색 픽셀들의 세로 길이의 표준편차에 기초하여 눈 개폐를 분류한다. 이에 대해서는 도 2에서 더욱 상세히 설명하기로 한다.

눈 개폐 분류 장치(100)는 영상처리를 수행하는 프로세서, 영상데이터의 입출력을 담당하는 입출력 인터페이스 및 데이터 및 프로그램을 저장하는 메모리를 포함한다. 눈 개폐 분류 장치(100)는 예를 들면, 서버 컴퓨터, 개인 컴퓨터, 노트북, 테블릿, 패드 및 스마트폰 등 프로세서, 입출력 인터페이스 및 메모리를 포함하는 전자기기일 수 있다.

눈 영상 입력 장치(200)는 눈 개폐를 분류의 대상이 되는 객체의 영상을 입력한다. 눈 영상 입력 장치(200)는 예를 들면, 카메라를 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 눈 개폐 분류 장치의 구성도이다.

도 2를 참조하면, 눈 개폐 분류 장치(100)는 컬러정보변환부(110), 정규화부(120), 퍼지추론값산출부(130), 역퍼지출력계산부(140), 이미지이진화부(150), 요소라벨링및사영부(160) 및 눈개폐분류부(170)을 포함한다.

컬러정보변환부(110)는 눈 영상 입력 장치(200)를 통하여 입력된 컬러 눈 영상의 RGB 컬러정보를 I 컬러정보 및 K 컬러정보로 변환한다. 여기서, I 컬러정보는 HSI(Hue, Saturation and Intensity) 컬러 공간의 I 컬러 정보이며, K 컬러정보는 CMYK(Cyan, Magenta, Yellow and Key(black)) 컬러 공간의 K 컬러 정보이다.

컬러정보변환부(110)는 아래의 수학식 1 및 수학식 2를 이용하여 눈 영역의 RGB 컬러 정보를 I 컬러 정보 및 K 컬러 정보로 변환한다.

[수학식 1]

I=(R+G+B)/3

여기서, I는 HSI 컬러 공간의 I(Intensity) 컬러 정보, R은 RGB 컬러에서 Red 컬러 정보, G은 RGB 컬러에서 Green 컬러 정보 및 B은 RGB 컬러에서 Blue 컬러 정보임.

[수학식 2]

K=1-MAX(R, G, B)

여기서, K는 CMYK 컬러 공간의 K(Key, black) 컬러 정보, R은 RGB 컬러에서 Red 컬러 정보, G은 RGB 컬러에서 Green 컬러 정보 및 B은 RGB 컬러에서 Blue 컬러 정보임.

정규화부(120)는 변환된 I 컬러정보 및 K 컬러정보를 0에서 1사이의 범위로 정규화한다. 정규화부(120)는 아래의 수학식 3을 통하여 변환한 I 컬러 정보 및 K 컬러 정보를 0에서 1 사이의 범위로 정규화하여 I 컬러정보의 값 및 K 컬러정보의 값을 생성한다.

[수학식 3]

b(x,y)= 0 if a(x,y) ≤ 최소 값,

1 if a(x,y) ≥ 최대 값,

(a(x,y)- 최소 값)/(최대 값 - 최소 값) else.

여기서, 최소 값(min bound) 및 최대 값(max bound)은 정규화 히스토그램의 -3σ와 +3σ 범위로 미리 설정될 수 있고, σ는 데이터의 표준편차를 나타냄.

퍼지추론값산출부(130)는 정규화하여 생성된 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 퍼지 룰 테이블을 설정하고, 퍼지 멤버쉽 함수를 이용하여 I 컬러정보의 값 및 K 컬러정보의 값의 출력 값에 대한 추론 값(IV) 산출한다. 퍼지추론값산출부(130)는 정규화한 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 설정한 퍼지 룰 테이블의 9가지 조합((f1(L), f2(L)), (f1(L), f2(M)), (f1(L), f2(H)), (f1(M), f2(L)), (f1(M), f2(M)), (f1(M), f2(H)), (f1(H), f2(L)), (f1(H), f2(M)), (f1(H), f2(H))을 생성할 수 있다. 퍼지추론값산출부(130)는 생성한 9가지 조합에 대해 Min 룰 및 Max 룰을 적용하여 추론 값을 산출할 수 있다.

역퍼지출력계산부(140)는 산출한 추론 값을 역퍼지화하여 출력 점수를 계산한다. 역퍼지출력계산부(140)는 최종적인 출력 점수로 FOM(First Of Maxima) 값, LOM(Last Of Maxima) 값, MOM(Middle Of Maxima) 값, MeOM(Mean Of Maxima) 값 및 RWAM(Revised Weighted Average Method) 값이 사용될 수 있다.

이미지이진화부(150)는 출력 점수를 리스케일하여 이미지를 생성하고 생성된 이미지를 이진화한다. 여기서, 이진화는 미리 설정된 기준 값에 의해 이진화될 수 있으며, 예를 들면, 곤잘레스(Gonzalez) 방법, 오쯔(Otsu) 방법 또는 정적 한계(Static threshold) 방법이 이용될 수 있다.

요소라벨링및사영부(160)는 이진화된 이미지의 요소를 라벨링하고 라벨링된 부분을 세로방향으로 사영한다.

눈개폐분류부(170)는 사영한 흑색의 픽셀들의 세로 길이들의 표준편차를 산출하고, 표준편차에 기초하여 눈 개폐를 분류한다.

도 3은 본 발명의 일 실시 예에 따른 눈 개폐 분류 방법의 순서도이다.

도 3을 참조하면, 단계 S305에서 눈 개폐 분류 장치(100)는 컬러 눈 영상이 입력된다. 눈 개폐 분류 장치(100)는 우선 컬러 눈 영상을 입력하기 위하여 입력 영상에서 얼굴 영역을 감지한다. 눈 개폐 분류 장치(100)는 얼굴 영역의 감지를 위하여 AdaBoost 방법, 서브블록 기반의 템플릿 매칭(Subblock-based template matching) 방법 및 적응적 템플릿 매칭(Adaptive template matching) 방법 중 적어도 하나의 방법을 이용될 수 있다. 여기서, 적응적 템플릿 매칭 방법은 일단 얼굴 영역 감지 단계에서 눈 ROI(Region Of Interest)가 발견되면 눈 템플릿 이미지를 생성하고, 다음 프레임에서 생성된 눈 템플릿 이미지와 프레임 이미지의 유사도를 체크하여 유사도가 높으면 감지된 영역을 눈 템플릿 이미지와 동일하게 간주하고, 만약, 다음 프레임에서 생성된 눈 템플릿 이미지와 프레임 이미지의 유사도를 체크하여 유사도가 낮으면 이전 프레임에서 감지된 눈 ROI가 현재의 것으로 결정되는 방법일 수 있다.

단계 S310에서 눈 개폐 분류 장치(100)는 입력된 눈 영상 영역의 RGB 컬러 정보를 HSI(Hue, Saturation and Intensity) 컬러 공간의 I 컬러 정보 및 CMYK(Cyan, Magenta, Yellow and Key(black)) 컬러 공간의 K 컬러 정보로 변환한다.

도 4를 참조하면, 본 발명에 따른 눈 개폐 분류 장치(100)는 410, 460과 같은 RGB 영상을 420 및 470와 같은 I 영상과 430 및 480과 같은 K 영상으로 변환할 수 있다. 도 4의 440 및 490은 I 영상들의 히스토그램들을 나타내며, 도 4의 450 및 500은 K 영상들의 히스토그램들을 나타낸다.

단계 S315에서 눈 개폐 분류 장치(100)는 변환한 I 컬러 정보 및 K 컬러 정보를 0에서 1 사이의 범위로 정규화한다.

단계 S320에서 눈 개폐 분류 장치(100)는 정규화한 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 퍼지 룰 테이블을 설정한다. 본 발명에 따른 눈 개폐 분류 장치(100)는 어두운 픽셀과 밝은 픽셀을 구별하기 위하여 퍼지 기반의 분할을 이용한다. 입력된 눈 영상에서 밝은 갈색에서 검은 색은 변하는 인간의 눈은 일반적으로 피부의 컬러와 눈의 흰자위보다 상대적으로 어둡다. 따라서, 눈 개폐 분류 장치(100)는 I 컬러정보의 값과 K 컬러정보의 값을 이용하여 도 5의 퍼지 룰 테이블과 같이 출력 값을 설정할 수 있다. 도 5를 참조하면, 눈 개폐 분류 장치(100)는 I 컬러정보의 값이 낮고, K 컬러정보의 값이 높은 경우는 피부보다 눈에 가깝다고 가정하여 I 컬러정보의 값이 L(Low)이고, K 컬러정보의 값이 H(High)일 경우에 출력 값이 H로 될 수 있도록 퍼지 룰을 정할 수 있다. 또한 눈 개폐 분류 장치(100)는 영상의 흐릿함(Blur)이 있는 경우를 감안하여 I 컬러정보의 값이 M(Middle)이고, K 컬러정보의 값이 H일 경우도 출력 값이 H가 될 수 있도록 퍼지 룰을 정할 수 있다. 눈 개폐 분류 장치(100)는 그 외의 I 컬러정보의 값이 높고, K 컬러정보의 값이 낮은 경우에 L이 되게 설정되며, I 컬러정보의 값과 K 컬러정보의 값의 정도에 따라 출력 값들은 달리할 수 있다. 또한 눈 개폐 분류 장치(100)는 I 컬러정보의 값이 크고 K 컬러정보의 값도 큰 경우는 출력 값을 L로 설정할 수 있다.

단계 S325에서 눈 개폐 분류 장치(100)는 퍼지 멤버쉽 함수를 이용하여 산출된 I 컬러정보의 값 및 K 컬러정보의 값의 출력 값에 대한 추론 값을 산출한다.

도 6을 참조하면, 눈 개폐 분류 장치(100)는 I 컬러정보의 값 퍼지 멤버쉽 함수(610) 및 K 컬러정보의 값 퍼지 멤버쉽 함수(620)를 통하여 각각의 퍼지 멤버쉽 함수의 출력 값을 산출할 수 있다. 눈 개폐 분류 장치(100)는 도 6의 I 컬러정보의 값 퍼지 멤버쉽 함수(610) 및 K 컬러정보의 값 퍼지 멤버쉽 함수(620)를 통하여 입력된 I 컬러정보의 값 및 K 컬러정보의 값 각각에 대해 3가지의 퍼지 멤버쉽 함수의 출력 값들(f1(L), f1(M), 및 f1(H))을 산출한다. 눈 개폐 분류 장치(100)은 예를 들면, I 컬러정보의 값이 0.538인 경우, 퍼지 멤버쉽 함수 출력 값들(f1(L), f1(M), 및 f1(H))은 0.0, 0.924 및 0.076이다. 또한, 눈 개폐 분류 장치(100)은 예를 들면, K 컬러정보의 값이 0.429인 경우, 퍼지 멤버쉽 함수 출력 값들(f2(L), f2(M), 및 f2(H))은 0.143, 0.857 및 0.0이다. 도 7을 참조하면, 눈 개폐 분류 장치(100)은 도 5의 퍼지 룰 테이블에서 보여지는 바와 같이, 9가지 조합((f1(L), f2(L)), (f1(L), f2(M)), (f1(L), f2(H)), (f1(M), f2(L)), (f1(M), f2(M)), (f1(M), f2(H)), (f1(H), f2(L)), (f1(H), f2(M)), (f1(H), f2(H))을 생성할 수 있다.

이후, 눈 개폐 분류 장치(100)는 Min(최소) 룰, Max(최대) 룰 및 도 5의 퍼지 룰 테이블에 기초하여 I 컬러정보의 값 및 K 컬러정보의 값의 출력 값에 대한 추론 값을 산출한다. 눈 개폐 분류 장치(100)는 예를 들면, (f1(L), f2(L)) 는 0.0 (L) 및 0.143 (L)이며, 이를 Min 룰과 Max 룰을 사용하면 0.0 및 0.143을 산출할 수 있고, 이를 도 5의 퍼지 룰 테이블을 적용하면, L 및 L은 M이므로 최종적으로 0.0(M) 및 0.143(M)의 추론 값(inference values; IV)을 산출할 수 있다. 눈 개폐 분류 장치(100)는 상술한 방법을 도 5의 퍼지 룰 테이블의 모든 행에 대해 수행하면, 도 7과 같이 Min(최소) 룰 및 Max(최대) 룰 각각의 9가지의 추론 값을 산출할 수 있다.

단계 S330에서 눈 개폐 분류 장치(100)는 산출한 추론 값을 역퍼지화하여 최종적인 출력 점수를 계산한다. 눈 개폐 분류 장치(100)는 도 8의 역퍼지화 방법을 통하여 최종적인 출력 점수로 FOM(First Of Maxima) 값, LOM(Last Of Maxima) 값, MOM(Middle Of Maxima) 값, MeOM(Mean Of Maxima) 값 및 RWAM(Revised Weighted Average Method) 값이 사용될 수 있다. 여기서, 도 8의 810을 참조하면, FOM(First Of Maxima) 값, LOM(Last Of Maxima) 값, MOM(Middle Of Maxima) 값, MeOM(Mean Of Maxima) 값은 다음과 같이 정의된다.

FOM(First of maxima) 값 = s2,

LOM(last of maxima) 값 = s4,

MOM(middle of maxima) 값 = (s2+s4)/2,

MeOM(mean of maxima) 값 = (s3+s3+s4)/3.

여기서, WAM(Weighted Average Method) 값은 도 8의 820의 R1, R2 및 R3의 사각형내의 가중 평균의 의해 계산된 출력 값 s5로 산출된다. 만약 도 7에 의해 Min 룰 및 Max 룰에 의해 산출된 아홉 조합의 추론 값들을 얻을 수 있음에도 불구하고, WAM 값의 사각형이 단지 각 퍼지 멤버쉽 함수의의 최대 추론 값들 (IV(M), IV(H), IV(L))에 의해 정의된 사각형 영역들만이 반영되므로, 이는 다른 추론 값들의 반영되지 않음, 여기서는 모든 추론 값들의 의한 모든 사각 영역들인 RWAM(Revised Weighted Average Method) 값을 최종적인 출력 점수를 산출하는데 사용할 수 있다.

단계 S335에서 눈 개폐 분류 장치(100)는 출력 점수를 리스케일(rescale)하여 이미지를 생성하고 생성된 이미지를 이진화한다.

눈 개폐 분류 장치(100)는 0부터 1까지의 범위를 가지는 역퍼지화 방법에 의한 출력 점수에 255를 곱함에 의해 0부터 255까지로 범위로 출력점수를 리스케일(rescale)한다. 이후, 눈 개폐 분류 장치(100)는 출력 점수를 이용하여 이미지를 생성한다. 도 9를 참조하면, 눈 개폐 분류 장치(100)는 선택된 역퍼지화 방법, Min 룰 또는 Max 룰에 따라서 생성된 이미지가 생성된다. 여기서, 도 9에서의 이미지들을 살펴보면, 도 9의 905은 최초 입력된 이미지, 910은 Min 룰에 의한 FOM 값 이미지, 915는 Min 룰에 의한 LOM 값 이미지, 920은 Min 룰에 의한 MOM 값 이미지, 925는 Min 룰에 의한 MeOM 값 이미지, 930은 Min 룰에 의한 RWAM 값 이미지, 935는 Max 룰에 의한 FOM 값 이미지, 940은 Max 룰에 의한 LOM 값 이미지, 945는 Max 룰에 의한 MOM 값 이미지, 950은 Max 룰에 의한 MeOM 값 이미지 및 955는 Max 룰에 의한 RWAM 값 이미지를 나타낸다. 도 9의 이미지들을 살펴보면, 도 9의 910, 920 및 925는 눈 영역에 있어 최초 입력 이미지(905)보다 눈 이외의 다른 부분과 더 잘 분리됨을 알 수 있다. 이후, 도 10을 참조하면, 눈 개폐 분류 장치(100)는 눈 개폐를 분류하기 위하여 역퍼지화 이미지(1010)를 도 10의 1020에 보여지는 이진화 이미지로 변환한다. 여기서, 이진화 방법은 미리 설정된 기준 값을 이용하여 이진화할 수 있다.

단계 S340에서 눈 개폐 분류 장치(100)는 가장 큰 눈 BLOB(Binary Large Object) 영역을 요소 라벨링(Component Labeling)을 수행한다. 도 10을 참조하면, 눈 개폐 분류 장치(100)는 가장 큰 객체 영역을 라벨링(1030)하여 표현한다.

단계 S345에서 눈 개폐 분류 장치(100)는 세로방향에서 흑색의 픽셀들을 사영(project)한다. 도 10을 참조하면, 눈 개폐 분류 장치(100)는 요소 라벨링한 이미지에서 객체영역을 세로방향으로 사영(1040)한다.

단계 S350에서 눈 개폐 분류 장치(100)는 사영한 흑색 픽셀들의 세로 길이들의 표준 편차를 산출하고, 산출한 표준 편차에 기초하여 눈 개폐를 분류한다. 눈 개폐 분류 장치(100)는 미리 설정된 간격에서 흑색 픽셀들의 세로 길이를 설정하고, 설정된 세로 길이들의 표준편차를 산출할 수 있다. 눈 개폐 분류 장치(100)는 산출한 표준 편차가 미리 설정된 임계 값보다 큰 경우 뜬 눈으로 판단하고, 미리 설정된 임계 값보다 작은 경우 감은 눈으로 판단한다.

도 11 및 도 12는 본 발명의 일 실시 예에 따른 눈 개폐 분류 방법의 성능을 실험하기 위하여 이용한 제1 데이터베이스 및 제2 데이터베이스를 설명하기 위한 도면들이다.

눈 개폐 분류 장치(100)는 눈 개폐 분류의 성능을 측정하기 위하여 두 가지의 데이터베이스(제1 데이터베이스 및 제2 데이터베이스)를 이용하였다.

도 11을 참조하면, 제1 데이터베이스는 영상입력장치(200)로 로지텍 C600 웹 캠에 줌 렌즈를 부착하여 1600 X 1200 픽셀 해상도로 실내에서 취득한 영상들을 포함한다. 여기서, 취득한 영상들은 실험을 위해 영상취득장치(200)과 실험자와의 거리를 2m-2.5m로 하여 감은 눈과 뜬 눈의 영상들을 촬영하였다. 제1 데이터베이스는 취득된 영상 중 눈 영역만을 얻어 6,336장의 뜬 눈과 6,294장의 감은 눈을 성능 측정에 사용하였다.

도 12를 참조하면, 제2 데이터베이스는 공개 데이터베이스인 ZJU 아이링크 데이터베이스로부터 얻어졌다. 여기서, ZJU 아이링크 데이터베이스는 320 X 240 픽셀 해상도의 동영상이 80개를 포함한다. 본 발명에서는 안경은 쓴 영상과, 눈 검출이 실패한 경우를 제외한 20개의 동영상을 사용하여 4,891장의 뜬 눈 영상들(1210, 1220)과 485장의 감은 눈 영상(1230, 1240)을 성능 측정에 사용하였다.

도 13 및 도 14는 본 발명의 일 실시 예에 따른 눈 개폐 분류 결과를 비교한 데이터를 설명하기 위한 도면이다.

도 13 및 도 14는 퍼지 룰에 의한 분할 후 이진화를 하여 눈 개폐 분류를 수행하였을 경우의 결과와 다른 이진화 방법을 이용하여 눈 개폐 분류를 수행한 결과를 비교한 테이블이다. 각각의 경우에 대해 제1 타입 에러(뜬 눈을 감은 눈으로 판단)와 제2 타입 에러(감은 눈을 뜬 눈으로 판단), 그리고 제1 타입 에러, 제2 타입 에러를 계산하여 얻어진 동일 오류율(EER; Equal Error Rate)를 확인하여 눈 개폐 분류 성능을 비교하였다. 도 14에서 확인되는 바와 같이 Min 룰 FOM 값 영상에 대해 이진화를 수행한 결과가 다른 모든 결과들에 비해 동일 오류율의 수치가 낮은 것을 확인할 수 있다.

본 발명은 다른 그레이(gray) 영상의 이진화 후 눈 개폐 분류를 수행하는 방법과 비교하여 I 컬러정보의 값 및 K 컬러정보의 값을 동시에 사용하고, 퍼지 룰을 적용하여 분할을 수행한다는 점에서 장점을 가진다. I 컬러정보의 값 및 K 컬러정보의 값을 동시에 사용하는 장점을 예로 들면 다음과 같다. 중간 레벨의 픽셀 값의 경우 RGB 픽셀 값은 R=1, G=0.5, B=0과 같이 될 수 있다. 이때 I 컬러정보의 값은 수학식 1에 따라 (1.5/3=0.5)로 계산될 수 있고, K 컬러정보의 값은 수학식 2에 따라 0이 된다. 가장 밝은 밝기 값인 흰색의 경우 RGB 픽셀 값은 R, G, B 모두 1로 수학식 1에 따라 I 컬러정보의 값은 1이 되고, K 컬러정보의 값은 0이 된다. 마지막으로 가장 어두운 밝기 값인 검은색의 경우 RGB 픽셀 값은 R, G, B 모두 0으로 수학식 1에 따라 I 컬러정보의 값은 0이 되고, K 컬러정보의 값은 1이 된다. 위의 세가지 경우를 비교해보면, 중간 레벨의 픽셀 값의 경우 (R=1, G=0.5, B=0) I 컬러정보의 값은 0.5의 중간 값을 가지지만 K 컬러정보의 값은 흰색인 1로 계산된다. 눈 주위의 피부 픽셀 밝기 값은 흰자위보다는 어둡고, 동공과 같은 어두운 픽셀보다는 밝은 중간 레벨의 픽셀 값들로 이루어졌다. 따라서 I 컬러정보의 값 및 K 컬러정보의 값을 사용할 경우 I 컬러정보의 값의 밝기는 그대로 유지한 채 K 컬러정보의 값은 흰색에 가깝게 표현할 수 있는 효과를 갖는다. 결과적으로 K 컬러정보의 값은 눈 주변의 피부와 어두운 안구 간의 대비를 증가시켜 분할의 정밀도를 향상시킬 수 있다. 이를 기반으로 분할된 영상에 대해 이진화를 수행한다면 그레이(gray) 픽셀 값의 이진화 방법보다 눈 영역과 피부를 구분하는데 더욱 좋은 결과를 얻을 수 있다.

도 15 내지 도 19는 본 발명의 일 실시예에 따른 눈 개폐 분류 결과를 설명하기 위한 도면들이다.

도 15을 참조하면, 속눈썹이 긴 눈 영상들에 대해 I 컬러정보의 값, K 컬러정보의 값 및 퍼지 룰에 의한 분할 이미지를 각각 곤잘레스(Gonzalez), 오쯔(Otsu) 및 정적 한계(Static threshold) 이진화 방법을 수행한 결과이다. 여기서, 1510은 속눈썹이 긴 눈 영상들 중 눈을 뜬 영상에 대해 비교 결과를 나타낸 도면이고, 1520은 속눈썹이 긴 눈 영상들 중 눈을 감은 영상에 대해 비교 결과를 나타낸 도면이다. 도 15를 참조하면, 본 발명에 일 실시 예에 따른 퍼지 룰 기반 분할을 적용 후 이진화를 수행한 결과가 다른 이진화 방법에 비해 눈과 눈 주위 피부영역에 대해 구분이 잘 된 것을 확인할 수 있다.

도 16을 참조하면, 눈 주위에 그림자가 포함된 눈 영상들에 대해 I 컬러정보의 값, K 컬러정보의 값 및 퍼지 룰에 의한 분할 이미지를 각각 곤잘레스(Gonzalez), 오쯔(Otsu) 및 정적 한계(Static threshold) 이진화 방법을 수행한 결과이다. 여기서, 도 1610는 눈 주위에 그림자가 포함된 눈 영상들 중 눈을 뜬 영상에 대해 비교 결과를 나타낸 도면이고, 1620은 눈 주위에 그림자가 포함된 눈 영상들 중 눈을 감은 영상에 대해 비교 결과를 나타낸 도면이다. 도 16을 참조하면, 본 발명에 일 실시 예에 따른 퍼지 룰 기반 분할을 적용 후 이진화를 수행한 결과가 다른 이진화 방법에 비해 눈과 눈 주위 피부영역에 대해 구분이 잘 된 것을 확인할 수 있다.

도 17을 참조하면, 흑인 눈 영상들에 대해 I 컬러정보의 값, K 컬러정보의 값 및 퍼지 룰에 의한 분할 이미지를 각각 곤잘레스(Gonzalez), 오쯔(Otsu) 및 정적 한계(Static threshold) 이진화 방법을 수행한 결과이다. 여기서, 1710은 흑인 눈 영상들 중 눈을 뜬 영상에 대해 비교 결과를 나타낸 도면이고, 1720은 흑인 눈 영상들 중 눈을 감은 영상에 대해 비교 결과를 나타낸 도면이다. 도 17을 참조하면, 본 발명에 일 실시 예에 따른 퍼지 룰 기반 분할을 적용 후 이진화를 수행한 결과가 다른 이진화 방법에 비해 눈과 눈 주위 피부영역에 대해 구분이 잘 된 것을 확인할 수 있다.

도 18을 참조하면, 얼굴 회전 시의 눈 영상들에 대해 I 컬러정보의 값, K 컬러정보의 값 및 퍼지 룰에 의한 분할 이미지를 각각 곤잘레스(Gonzalez), 오쯔(Otsu) 및 정적 한계(Static threshold) 이진화 방법을 수행한 결과이다. 여기서, 1810은 얼굴 회전 시의 눈 영상들 중 눈을 뜬 영상에 대해 비교 결과를 나타낸 도면이고, 1820은 얼굴 회전 시의 눈 영상들 중 눈을 감은 영상에 대해 비교 결과를 나타낸 도면이다. 도 18을 참조하면, 본 발명에 일 실시 예에 따른 퍼지 룰 기반 분할을 적용 후 이진화를 수행한 결과가 다른 이진화 방법에 비해 눈과 눈 주위 피부영역에 대해 구분이 잘 된 것을 확인할 수 있다.

도 19를 참조하면, 안경 착용 시의 눈 영상들에 대해 I 컬러정보의 값, K 컬러정보의 값 및 퍼지 룰에 의한 분할 이미지를 각각 곤잘레스(Gonzalez), 오쯔(Otsu) 및 정적 한계(Static threshold) 이진화 방법을 수행한 결과이다. 여기서, 1910은 안경 착용 시의 눈 영상들 중 눈을 뜬 영상에 대해 비교 결과를 나타낸 도면이고, 1920은 안경 착용 시의 눈 영상들 중 눈을 감은 영상에 대해 비교 결과를 나타낸 도면이다. 도 19를 참조하면, 본 발명에 일 실시 예에 따른 퍼지 룰 기반 분할을 적용 후 이진화를 수행한 결과가 다른 이진화 방법에 비해 눈과 눈 주위 피부영역에 대해 구분이 잘 된 것을 확인할 수 있다.

본 발명의 다양한 실시예에 따른 눈 개폐 분류 방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 다중 입력 영상 보정 방법을 실행하는 프로그램은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 다만, 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 눈 개폐 분류 장치
200: 눈 영상 입력 장치

Claims

눈 개폐 분류 장치에 있어서,
입력된 컬러 눈 영상의 RGB 컬러정보를 I 컬러정보 및 K 컬러정보로 변환하는 컬러정보 변환부;
상기 I 컬러정보 및 상기 K 컬러정보를 0에서 1사이의 범위로 정규화하는 정규화부;
상기 정규화하여 생성된 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 퍼지 룰 테이블을 설정하고, 퍼지 멤버쉽 함수를 이용하여 상기 I 컬러정보의 값 및 상기 K 컬러정보의 값의 출력 값에 대한 추론 값을 산출하는 퍼지추론값산출부; 및
상기 추론 값을 역퍼지화하여 출력점수를 계산하는 역퍼지출력계산부를 포함하는 눈 개폐 분류 장치.
제1 항에 있어서,
상기 정규화부는
정규화 히스토그램의 -3σ와 +3σ 범위로 최소 값 및 최대 값을 설정하는 눈 개폐 분류 장치.
제1항에 있어서,
상기 추론 값은 상기 퍼지 룰 테이블에 기초하여 Min 룰 및 Max 룰에 의해 산출되는 눈 개폐 분류 장치.
제1항에 있어서,
상기 출력점수로 FOM(First Of Maxima) 값, LOM(Last Of Maxima) 값, MOM(Middle Of Maxima) 값, MeOM(Mean Of Maxima) 값 및 RWAM(Revised Weighted Average Method) 값 중 적어도 하나가 사용되는 눈 개폐 분류 장치.
제1 항에 있어서,
상기 출력점수를 이용하여 이미지를 생성하고 생성된 이미지를 이진화하는 이미지이진화부를 더 포함하는 눈 개폐 분류 장치.
제5항에 있어서,
상기 이미지는 상기 출력점수에 255를 곱하여 생성되는 눈 개폐 분류 장치.
제5 항에 있어서,
상기 이진화된 이미지의 요소를 라벨링하고 라벨링된 부분을 세로방향으로 사영하는 요소라벨링및사영부를 더 포함하는 눈 개폐 분류 장치.
제7 항에 있어서,
상기 요소라벨링및사영부는
상기 이진화된 이미지의 요소 중 가장 큰 눈 BLOB(Binary Large Object) 영역을 요소 라벨링(Component Labeling)하는 눈 개폐 분류 장치.
제7항에 있어서,
상기 세로방향으로 사영한 이진화된 이미지의 요소에서 흑색의 픽셀들의 세로 길이들의 표준편차를 산출하고, 상기 표준편차에 기초하여 눈 개폐를 분류하는 눈개폐분류부를 더 포함하는 눈 개폐 분류 장치.
제9항에 있어서,
상기 눈개폐분류부는 미리 설정된 임계 값보다 상기 표준편차가 큰 경우 뜬 눈으로 판단하고, 상기 미리 설정된 임계 값보다 상기 표준편차가 작은 경우 감은 눈으로 판단하는 눈 개폐 분류 장치.
눈 개폐 분류 방법에 있어서,
입력된 컬러 눈 영상의 RGB 컬러정보를 I 컬러정보 및 K 컬러정보로 변환하는 단계;
상기 I 컬러정보 및 상기 K 컬러정보를 0에서 1사이의 범위로 정규화하는 단계;
상기 정규화하여 생성된 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 퍼지 룰 테이블을 설정하고, 퍼지 멤버쉽 함수를 이용하여 상기 I 컬러정보의 값 및 상기 K 컬러정보의 값의 출력 값에 대한 추론 값을 산출하는 단계; 및
상기 추론 값을 역퍼지화하여 출력점수를 계산하여 이미지를 생성하고, 상기 이미지를 이용하여 눈 개폐를 판단하는 단계를 포함하는 눈 개폐 분류 방법.
제11 항에 있어서,
입력된 컬러 눈 영상에서 얼굴 영역을 감지하는 단계를 더 포함하되,
상기 얼굴 영역의 감지는 AdaBoost 방법, 서브블록 기반의 템플릿 매칭(Subblock-based template matching) 방법 및 적응적 템플릿 매칭(Adaptive template matching) 방법 중 적어도 하나의 방법을 이용하는 눈 개폐 분류 방법.
제11항에 있어서,
상기 RGB 컬러정보를 I 컬러정보 및 K 컬러정보로 변환하는 단계는 아래 수학식 1 및 수학식 2를 이용하는 눈 개폐 분류 방법.
[수학식 1]
I=(R+G+B)/3,
여기서, I는 HSI 컬러 공간의 I(Intensity) 컬러 정보, R은 RGB 컬러에서 Red 컬러 정보, G은 RGB 컬러에서 Green 컬러 정보 및 B은 RGB 컬러에서 Blue 컬러 정보임.
[수학식 2]
K= 1- MAX(R,G,B),
여기서, K는 CMYK 컬러 공간의 K(Key, black) 컬러 정보, R은 RGB 컬러에서 Red 컬러 정보, G은 RGB 컬러에서 Green 컬러 정보 및 B은 RGB 컬러에서 Blue 컬러 정보임,
제11항에 있어서,
상기 정규화하여 생성된 I 컬러정보의 값 및 K 컬러정보의 값을 이용하여 퍼지 룰 테이블을 설정하는 것은
상기 I 컬러정보의 값이 낮고, 상기 K 컬러정보의 값이 높은 경우는 피부보다 눈에 가깝다고 가정하여 I 컬러정보의 값이 L(Low)이고, K 컬러정보의 값이 H(High)일 경우에 출력 값이 H가 되고, 영상의 흐림(Blur)가 있는 경우를 감안하여 I 컬러정보의 값이 M(Middle)이고, K 컬러정보의 값이 H일 경우 출력 값이 H가 되는 눈 개폐 분류 방법.
제11항에 있어서,
상기 퍼지 멤버쉽 함수를 이용하여 상기 I 컬러정보의 값 및 상기 K 컬러정보의 값의 출력 값에 대한 추론 값을 산출하는 단계는
Min 룰, Max 룰 및 상기 퍼지 룰 테이블에 기초하여 상기 추론 값들을 산출하는 눈 개폐 분류 방법.
제11 항에 있어서,
상기 추론 값을 역퍼지화하여 출력점수를 계산하여 이미지를 생성하고, 상기 이미지를 이용하여 눈 개폐를 판단하는 단계는
상기 추론 값을 역퍼지화하여 출력점수를 계산하는 단계;
상기 출력점수를 이용하여 이미지를 생성하고 생성된 이미지를 이진화하는 단계;
상기 이진화된 이미지의 요소를 라벨링하고 라벨링된 부분을 세로방향으로 사영하는 단계; 및
상기 세로방향으로 사영한 이진화된 이미지의 요소에서 흑색의 픽셀들의 세로 길이들의 표준편차를 산출하고, 상기 표준편차에 기초하여 눈 개폐를 분류하는 단계를 포함하는 눈 개폐 분류 방법.
제16 항에 있어서,
상기 라벨링은 상기 이진화된 이미지의 요소 중 가장 큰 눈 BLOB(Binary Large Object) 영역을 요소 라벨링(Component Labeling)하는 눈 개폐 분류 방법.
제16 항에 있어서,
상기 눈 개폐를 분류하는 단계는 미리 설정된 임계 값보다 상기 표준편차가 큰 경우 뜬 눈으로 판단하고, 상기 미리 설정된 임계 값보다 상기 표준편차가 작은 경우 감은 눈으로 판단하는 눈 개폐 분류 방법.
제16항에 있어서,
상기 출력점수로 FOM(First Of Maxima) 값, LOM(Last Of Maxima) 값, MOM(Middle Of Maxima) 값, MeOM(Mean Of Maxima) 값 및 RWAM(Revised Weighted Average Method) 값 중 적어도 하나가 사용되는 눈 개폐 분류 방법.
제11항 내지 제19항 중 어느 한 항의 눈 개폐 분류 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.