KR101255219B1 - 시선 추적 방법 및 이를 적용한 장치 - Google Patents

Abstract

시선 추적 방법 및 이를 적용하는 장치에 관해 기술된다. 방법은: 사용자의 눈 영상과 사용자가 주시하는 전방 영상을 취득하는 단계; 사용자의 눈 영상으로부터 동공 중심 위치를 검출하여 상기 전방 영상에 대한 시선 위치를 추적하는 단계;를 포함한다.

Description

시선 추적 방법 및 이를 적용한 장치{method of eye-gaze tracking and system adopting the method}

본 발명은 시선 추적 방법에 관련한 것으로서, 상세하게는 현실 공간(real space)에서의 사용자의 시선을 추적하여 사용자의 주시 범위에 내에 존재하는 개체(object)를 선택하는 포인팅 방법 및 이를 적용하는 장치에 관련한다.

기존 레이저 조명 기반의 리모컨은 손이 불편한 사람은 이용하기 어려운 일이며, 복잡한 메뉴와 레이아웃으로 인해 혼란을 야기할 수 있는 문제점이 발생한다.

특허문헌1의 선행 발명은 고글 타입의 착용형 시선 추적 장치 및 방법에 관련한다. 이 선행 발명은 고글 형태로 착용이 가능한 두 개의 카메라를 이용하는데, 하나는 시선을 추적하기 위한 눈을 촬영하는 것이며, 다른 하나는 사용자가 바라보는 모니터의 화면을 촬영한다. 이러한 선행 발명에서는 전방 카메라를 통해 취득한 전방 영상에서 모니터의 모서리 위치를 기반으로 템플릿 매칭을 통해 모니터 영역을 설정하여 시선 추적한다.

이러한 시선 추적 장치는 모니터에 대한 사용자의 시선을 추적하는 방식으로서 그 응용 분야가 극히 제한적이다. 중증 장애인 뿐 아니라 특별한 용도의 비장애인을 위한 인터페이스 장치로서 사용하기 편하면서도 보다 현실적이고 응용 분야의 확대를 위해서는 실제 공간에 대한 정교한 시선 추적과 이러한 시선 추적 결과를 응용하는 발전적 연구가 요구된다.

KR 10-0949743 B1

Cheol Woo Cho, Ji Woo Lee, Eui Chul Lee, Kang Ryoung Park, "A Robust Gaze Tracking Method by Using Frontal Viewing and Eye Tracking Cameras", Optical Engineering, Vol. 48, No. 12, 127202, Dec. 2009. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd ed., Prentice-Hall, Englewood Cliffs, NJ, 2002. W. Doyle, Operation useful for similarity-invariant pattern recognition, J. Assoc. Comput. Mach, 1962, 9: 259~267 Y. J. Ko, E. C. Lee, and K. R. Park, "A robust gaze detection method by compensating for facial movements based on corneal specularities," Pattern Recogn. Lett. 29, 10, 1474-1485 2008.

본 발명이 해결하고자 하는 과제는 착용이 간편한 고글형 장비를 기반으로 근적외선 조명과 통과 필터가 부착된 메가 픽셀급 이상의 카메라와, 눈 위쪽에 부착된 메가 픽셀급 이상의 카메라를 이용하여 실제 3차원 공간 영역에서의 사용자의 시선 위치 추적 및 그 정확도의 향상을 목적으로 한다. 이 두 카메라를 이용하여 사용자의 눈 영상 및 전방향 영상을 실시간으로 추적하고, 더 정교한 알고리즘을 기반으로 실제 3차원 공간영역에서의 정교한 시선 추적을 통해 그 활용도를 높이는데 그 목적이 있다. 또한, 사용자 학습 알고리즘을 개별 캘리브레이션 과정에 적용하여, 선 학습된 캘리브레이션 좌표를 사용자 캘리브레이션 과정에 적용한다. 이는 사용자 입장에서 불변함을 줄 수 있는 복잡한 캘리브레이션 과정을 생략할 수 있으므로 편의성을 높이는데도 그 목적이 있다

본 발명은 실제 공간에 대한 사용자의 시선을 추적하고, 사용자의 시선이 닿는 개체의 선택이 가능한 시선 추적 기반 포인팅 방법 및 이를 적용한 인터페이스 장치를 제공한다.

이러한 본 발명은 중증 장애인과 같이 수족 사용이 원활하지 않은 사용자를 위한 어플리케이션이 응용될 수 있는 시선 추적 기반 포인팅 방법 및 이를 적용한 인터페이스 장치를 제공한다.

본 발명의 한 유형에 따르면,

전방 카메라와 사용자 눈 카메라를 이용하여, 3차원 공간 내에서 다수로 분할된 모든 분할 영역에 대한 선학습 전방 좌표와 이들 좌표에 대응하는 사용자의 동공 중심 좌표인 선학습 동공 좌표를 얻는 선 학습 단계;

상기 전방 카메라와 사용자 눈 카메라를 이용하여, 다수의 분할 영역이 포함되는 전체 영역의 좌표에 해당하는 전방 참고 좌표와 이에 대응하는 사용자 눈의 동공 중심 좌표에 해당하는 사용자 동공 참고 좌표를 획득하는 참고 좌표 획득 단계;

상기 전체 영역의 전방 참고 좌표와 동공 참고 좌표를 이용하여, 상기 분할된 모든 영역에 대응하는 것으로 상기 참고 좌표 내에 위치하는 전방 자동 좌표 및 이에 대응하는 동공 중심에 대한 자동 생성 좌표를 생성하는 단계;

상기 참고 좌표 및 자동 생성 좌표를 이용하여 실제 3차원 공간에 대한 사용자의 시선 위치를 결정하는 단계;를 포함하는 3차원 공간에서의 사용자 시선 추적 방법이 제공된다.

본 발명의 다른 유형에 따르면,

안경형 프레임;

상기 프레임에 설치되는 눈 카메라;

상기 프레임에 설치되는 전방 카메라; 그리고

상기 눈 카메라와 전방 카메라로부터 획득된 영상을 통하여 시선을 추적하는 시스템;을 구비하며,

상기 시스템은:

상기 전방 카메라와 사용자 눈 카메라를 이용하여, 3차원 공간 내에서 다수로 분할된 모든 분할 영역에 대한 선학습 전방 좌표와 이들 좌표에 대응하는 사용자의 동공 중심 좌표인 선학습 동공 좌표를 얻고;

상기 전방 카메라와 사용자 눈 카메라를 이용하여, 다수의 분할 영역이 포함되는 전체 영역의 좌표에 해당하는 전방 참고 좌표와 이에 대응하는 사용자 눈의 동공 중심 좌표에 해당하는 사용자 동공 참고 좌표를 획득하는 참고 좌표 획득하고;

상기 전체 영역의 전방 참고 좌표와 동공 참고 좌표를 이용하여, 상기 분할된 모든 영역에 대응하는 것으로 상기 참고 좌표 내에 위치하는 전방 자동 좌표 및 이에 대응하는 동공 중심에 대한 자동 생성 좌표를 생성하고;

상기 참고 좌표 및 자동 생성 좌표를 이용하여 실제 3차원 공간에 대한 사용자의 시선 위치를 결정하도록 되어 있는, 3차원 공간에서의 사용자 시선 추적 기반 포인팅 장치가 제공된다.

보다 정교한 시선 추적 및 이에 따른 정확한 물체 인식이 가능한 본 발명의 방법 및 장치는 손발이 불편한 중증 장애인들을 위한 인터페이스, 실감형 게임 및 증강현실, 사용자 시선 기반의 블랙박스, 관심 영역 분석 등의 다양한 분야에 적용이 가능하다. 또한 사용자의 시각 피로도 정보를 실시간으로 측정하여, 시각 피로도를 덜어줄 수 있는 방법을 제공하거나 휴식을 권장함으로써, 사용자 감성 기반의 인터페이스 시스템을 구축할 수 있다. 그리고 시중에서 쉽게 구할 수 있는 USB웹 카메라를 사용하기 때문에 제작 단가가 싸다.

도1은 본 발명에 따른 감성 포인팅 인터페이스 장치(시스템)을 설명하는 흐름도이다.
도2는 본 발명의 장치에 적용되는 안경 타입의 헤드셋의 개략적 사시도이다.
도 3은 본 발명에 따른 안경 타입의 헤드 셋에 있어서, 눈의 동공을 중심으로 하는 상하 카메라의 배치 예를 보인다.
도 4는 본 발명에 따른 포인팅 인터페이스 장치의 개략적 구성도이다.
도 5는 본 발명에 따른 시선 추적 알고리즘의 흐름도이다.
도 6는 전방 영상의 4 군데의 참고 지점과 이 지점들을 응시할 때의 동공 중심 영역 간의 사상 관계를 보이는 기하학적 변형의 개념도이다.
도 7은 눈의 깜박임을 판단하기 위하여 눈 깜박임에 의한 동공의 가림을 단계적으로 보이는 사진이다.
도 8는 본 발명에 따른 포인팅 인터페이스 장치에서 디스플레이 상에 나타나는 인터페이스 화면을 예시한다.
도 9 및 도 10은 시각 거리(Z) 변화에 따른 전 방향 카메라 대비 실제 시야에서의 (x, y) 위치 변화 및 오차를 설명하는 그림이다.
도 11은 참고 지점(R₁, R₂, R₃, R₄, R₅, R₆, R₇, R₉)이 표시된 영역의 전 방향 카메라 영상과, 최 외곽의 4 개의 참고 지점(R₁, R₂, R₃, R₄)을 응시할 때의 동공 중심 이동을 추적하는 눈 카메라 영상의 예를 도시한다.
도 12 내지 도 14는 분할된 눈 영역(P₁, P₂, P₃, P₄)과 영상 영역(S₁, S₂, S₃, S₄)간의 사상관계를 나타낸다.
도 15는 전 방향 카메라 영상에서 네 개의 참고 지점 좌표 값을 입력으로 하여, 학습 알고리즘(MLP, SVR, LR 등)을 통해 나머지 참고 지점 좌표 값을 출력으로 추출하는 방법을 도시한다.
도 16은 4 개의 참고 지점을 응시할 때의 동공 중심 좌표를 입력으로, 학습 알고리즘(MLP, SVR, LR 등)을 통해 나머지 참고 지점을 응시할 때의 동공 중심 좌표를 출력으로 추출하는 방법을 도시한다.
도 17은 12개의 참고 지점이 지정된 전 방향에서 여섯 영역으로 각 분할된 영역(S₁~S₆)과 동공 중심 영역(P₁~P₆)간의 사상 관계의 개념도이다.
도 18은 16개의 참고 지점이 지정된 전 방향에서 아홉 영역으로 각 분할된 영역(S₁~S₉)과 동공 중심 영역(P₁~P₉)간의 사상 관계의 개념도이다.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 시선 추적 기반 포인팅 인터페이스 장치의 실시 예를 설명한다.

기본적으로 본 발명의 인터페이스 장치 또는 이를 적용하는 시스템은 사용자로부터 얻어진 눈 영상을 기반으로 사용자의 시선 추적을 수행하고, 사용자가 향하고 있는 전방의 영상을 기반으로 시선 상에 놓인 개체(물체)를 선택 및 인식하는 구조를 가진다. 선택된 개체의 인식은 영상 특징 추출 및 데이터 베이스 매칭 과정을 통해서 수행된다.

본 발명의 인터페이스 장치는 실제 3차원 공간 영역에서의 사용자의 시선 위치 추적 및 그 정확도의 향상을 위하여, 전방 영역을 다수의 영역으로 분할하고, 상기 시선 추적 및 개체 인식을 각 분할에 대해 수행한다.

이러한 분할 영역에 대한 시선 추적 및 개체 인식은, 사용자의 시야와 전방 영상 간의 차이에 따른 오차, 특히 시야 내의 개체에 대한 거리의 변화에 따른 오차를 감소시킴으로써 매우 정교한 시선의 추적이 가능하게 된다. 분할 영역에 대한 시선 추적을 수행함에 있어서, 본 발명은 사용자 캐리브레이션 과정의 복잡성을 줄이기 위하여, 선행 학습을 통해 얻어진 모든 분할영역에 대한 선행학습 좌표를 이용하는 학습 알고리즘을 적용한다. 학습 알고리즘은 하나 또는 복수로 통합된 통합 영역에 대해 수행된 적은 수의 사용자 캘리브레이션 좌표로부터, 상기 선행 학습 캘리브레이션 좌표를 이용하여, 분할된 모든 영역에 대한 좌표를 추정(자동 생성)한다.

이러한 학습 알고리즘을 통해, 사용자는, 분할된 모든 영역에 대한 캘리브레이션이 없이, 하나로 통합영역에 대해서만 캘리브레이션을 수행할 수 있게 함으로써, 복잡한 캘리브레이션에 대한 부담을 제거할 수 있다.

이하에서, 시선 추적에 대한 개념을 이해하기 위하여, 눈 영상 분석, 동공 중심 추출 과정 등을 포함하는 본 발명에 따른 시선 추적 방법 및 장치에 대해 설명한다.

본 발명에서, 눈 영상 분석은 원형 검출 알고리즘을 이용한 대략적인 동공 위치 검출과 지역 이진화, 컴포넌트 라벨링, 영역 채움 방법 기반의 동공 중심 검출 과정을 통해 수행된다. 그리고, 전방 영상 영역과 동공 이동 영역과의 관계 설정 방법은 등극선 기하(epipolar geometry) 방법을 사용할 수 있다. 또한, 전방 영상에서의 물체 인식 방법은 SIFT(scale invariant feature transform) 방법을 사용할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 것으로 기본적인 시선 추적 방법의 흐름도이다.

먼저 감성 인터페이스(1)가 실행되면, 초기 사용자 캘리브레이션(2)이 진행된다. 그 후 실시간으로 눈 영상 및 전방 영상을 획득하면서 시선 기반 전방 영상 특징을 추출하고 이를 데이터베이스에 매칭한다(3). 사용자의 시선이 향하는 전방 영상에서 추출된 특징으로부터 물체를 인식한다(4). 여기에서 인식은 사용자가 선택한 물체에 대한 정보를 출력하는 것을 포함하며, 출력된 정보는 목적하는 용도의 신호로 사용된다. 이러한 동작은 무한루프 상에서 수행되며, 이 루프 중에는 시각 피로도를 측정하여 수동 선택 모드로의 진입을 결정하는 과정을 포함한다. 시각 피로도는 눈의 깜박이 빈도를 기준으로 결정된다. 피로도가 일정 임계치 이상일 경우(5), 별도의 터치 패널이나 수동 작동 시스템 등에 의해 사용자가 목적하는 물체를 선택할 수 있게 한다(6).

이러한 본 발명의 방법은 중증 장애인용 감성 인터페이스 시스템에 적합하다. 눈의 피로도가 증가하는 경우, 제한적으로 터치 패널 등의 수단을 이용해 원하는 메뉴를 선택할 수 있게 하고, 선택적으로 다시 감성 시선 추적 기반 개체 인식 및 선택 과정을 수행한다.

도 2는 사용자가 착용하는 안경 타입 헤드셋의 실시 예이다.

안경 타입 헤드셋(10, 이하 헤드셋)은 사용자의 한쪽 눈(100)을 촬영하는 눈 카메라(13)와 사용자가 주시하는 전방을 촬영하는 전방 카메라(12) 및 이를 지지하는 안경형 프레임(11)을 구비한다. 상기 눈 카메라(13)는 본체(13a)와 렌즈(13b) 및 옵션으로서 조명부(13c)를 구비하며, 전방 카메라(12)는 본체(12a), 렌즈(12b)를 구비한다. 프레임(11)의 사용자들 간의 눈 위치의 상이함을 고려하여 조정이 용이하도록 유연하게 재료로 형성하는 것이 바람직하다.

위의 구조에서 상기 전방 카메라(12)와 눈 카메라(13)의 렌즈(12b, 13b)는 단촛점 렌즈 또는 줌 렌즈이다. 이때에 전방 카메라(12)용 렌즈(12b)는 단초점 렌즈, 그리고 눈 카메라(13)의 렌즈(13b)는 눈 부분을 촬영 영역을 조절할 수 있는 것으로 시선 추적에 필요한 눈 만을 촬영할 수 있도록 조절이 가능한 줌 렌즈인 것이 바람직하다. 본 발명의 다른 실시 예에 따르면 상기 전방 카메라(12)의 렌즈(12b) 역시 전방의 촬영 영역을 조절할 수 있는 줌 렌즈일 수 있다. 한편, 상기 조명부(13c)는 눈 부심을 방지하기 위하여 700nm~900nm 범위, 구체적으로 880nm 파장 대의 원적외선 LED램프를 포함할 수 있다. 이때에 뚜렷한 동공 경계와 외부광의 영향을 받지 않는 일정한 밝기의 영상을 얻기 위해, 눈 카메라(13)는 적외선 투과 필터가 마련된 적외선 카메라이다. 즉, 일반적인 카메라에서는 센서 앞에 적외선 차단 필터가 마련되는데, 본 발명에서의 눈 카메라는 적외선 투과 필터가 마련되는 외부광의 영향이 없이 상기 조명부(13c)로부터 조사된 적외선의 반사광에 의해 눈 영상을 획득한다.

상기 전방 카메라(12)와 눈 카메라(13)는, 도 3에 도시된 바와 같이, 일측 눈(100)의 동공 중심(100b)을 통과하는 수직선(y-y)선 상에 위치한다. 이때의 홍채(100a)에 에워싸인 동공 중심(100b)은 사용자가 전방을 바라볼 때의 대략적 위치이며, 이 중심을 통과하는 수직선 상에 전방 카메라(12)와 눈 카메라(13)의 렌즈(12b, 13b)가 위치되도록 한다. 이는 사용자의 얼굴 움직임에 의한 시선 방향과도 일치되게 하기 위한 것이다. 또한, 이들 카메라(12, 13)이 사용자의 시야를 방해하지 않으면서 최대한 눈에 가깝게 눈 위에 눈 아래에 위치되게 한다.

도 4에 도시된 바와 같이, 상기 헤드셋(10)은 컴퓨터 또는 컴퓨터 기반 시스템(20)시선 추적 기반 포인팅 인터페이스 장치의 한 요소이다. 인터페이스 장치는 헤드 셋(10)이 연결되는 컴퓨터 형태의 시스템(20), 시스템(20)에 의한 처리 결과 등을 모니터링 하는 디스플레이(30) 및 시스템(20)에 제어에 필요한 정보, 명령어 등을 입력하는 마우스, 키보드 등이 포함되는 입력장치(40)를 구비한다. 본 발명의 한 실시 예에 따르면, 상기 디스플레이(30) 장치는 개체의 수동 선택을 위한 메뉴를 제공하는 터치 패널이다. 상기 입력장치는 상기 개체의 수동적 선택을 위한 별도의 터치패널 형태의 입력장치를 더 포함할 수 있다. 상기 카메라(12b, 13b)들은 가장 보편적인 인터페이스 방식인 USB(Universal Serial Bus) 방식으로서, 헤드 셋(10) 자체에 두 개의 카메라(12b, 13b)를 공통 연결을 위한 적어도 2 포트 허브가 마련될 수 있으며, 그렇지 않을 경우, 두 대의 카메라(12b, 13b)가 개별적으로 시스템(20)에 연결될 수 있다.

도 5는 본 발명에 따른 시선 추적 알고리즘의 흐름도를 보여준다. 눈 영상을 취득(51)한 후, 이로부터 후술하는 알고리즘을 이용해 동공 중심을 추출한다(52). 동공 중심 추출 후, 초기 캘리브레이션이 수행되지 않은 것으로 판단된 경우(53), 후술하는 과정의 캘리브레이션(55)을 수행한다. 그리고 캘리브레이션이 되어 있는 것으로 판단된 경우(53), 검출된 동공 중심의 위치에 대응하는 전방 영상 영역에서의 위치를 계산하여 실제 공간에 대한 시선 위치(54)를 계산한다.

구체적으로 전 과정을 살펴보면 다음과 같다. 눈 카메라(13b)로 취득한 눈 영상에서 동공의 중심을 찾기 위해 원형 검출 알고리즘 (circular edge detection), 지역 이진화(local binarization), 컴포넌트 라벨링(component labeling)과 영역 채움(region filling) 방법을 수행한다.

원형 검출 알고리즘은 원형 템플릿 매칭을 통해 초기 동공 영역을 결정한다. (비특허문헌 [1] 참조) 검출된 동공은 시선 위치 및 카메라 촬영 각도에 따라 원이 아닌 타원의 형태로 나타날 수 있기 때문에, 원형 템플릿 매칭 방법으로 결정된 위치가 정확하다고 할 수 없다. 따라서, 결정된 위치를 기준으로 지역적 이진화 과정을 수행한다. 사각 지역 영역은 동공 영역 (전경)과 동공이 아닌 영역 (배경)의 두 종류로 분류되므로 이진화의 임계 치는 Gonzalez가 제안한 방법(참조: 비특허문헌 [2]) 및 도일(Doyle)이 제안한 히스토그램 분석 기반의 이진화 방법(참조: 비특허 문헌[3])을 사용한다.

지역적 이진화 후에는 눈썹이나 그림자에 의한 노이즈 영역이 존재할 수 있으며, 반사광이 동공 영역 내부에 존재할 경우 뚫린 형태로 나타날 수 있다. 이를 해결하기 위해, 이진화된 영역에 대해서 라벨링(Component Labeling) 방법을 수행하여, 서로 인접된 영역들에 아이덴티티(identity)를 부여한 후, 가장 넓이가 큰 영역을 남기고 다른 아이덴티티를 가지는 영역을 제거함으로써, 노이즈 영역을 제거한다. 최종적으로 구멍 난 영역을 채우기 위해 모폴로지 닫힘 연산 (morphological closing operation)을 수행한 후, 채우진 영역의 무게 중심을 구하여, 최종 동공 중심으로 결정한다.

캘리브레이션에서, 도 6에 도시된 바와 같이, 전방 영상 영역(S)과 동공 이동 영역(P)과의 관계 설정을 위해 전방 영상에서 정의된 4개의 꼭지점 즉, 왼쪽 위(Cx₁, Cy₁), 오른쪽 위(Cx₂, Cy₂), 오른쪽 아래(Cx₃, Cy₃), 왼쪽 아래(Cx₄, Cy₄)를 차례로 바라보는 사용자 캘리브레이션 단계를 수행한다. 사용자는 모니터가 아닌 실제 세계를 응시하기 때문에, 모니터 화면의 전방 영상 영역과 실제 세계 영역의 차이가 최소화돼야 한다. 그러므로 실제 세계 영역과 일치하는 모니터의 전방 영상 영역을 수동적으로 설정한다. 사용자 캘리브레이션을 수행 후 얻어진 4개의 동공 중심 좌표는 모니터 속 전방 영상 영역의 4개의 꼭지점(Cx₁, Cy₁), (Cx₂, Cy₂), (Cx₃, Cy₃), (Cx₄, Cy₄)으로 사상 (mapping)되며 기하학적 변환(geometric transform) 방법을 사용하여 사용자의 동공 위치(Cx, Cy) 및 이에 따른 전방 영상 영역(S)에 대한 시선 위치(Rx, Cy)를 아래의 수식들에 의해 계산되며, 구체적인 내용은 비특허문헌 [4]가 참조될 수 있다. 아래의 수 1~4는 변환 행렬(T)를 통한 전방 영상 영역(S)과 동공 이동 영역(P)과의 사상관계의 변형 식(TP=S)을 나타낸다.

한편, 전방 영상으로서 개체(물체)의 특징을 신속히 추출하기 위해 영상의 회전, 크기 변화, 물체의 일부를 가리는 등의 변형에 강인한 SURF (speed up robust features) 알고리즘을 사용하며 탐색, 표현과 매칭 단계가 수행된다. 전방 카메라로 취득한 전방 영상에 대해 SURF방법으로 특징 점을 추출하고 미리 저장되어 있는 데이터베이스의 특징 점들과 매칭하여 물체 인식을 수행한다. 도 8은 디스플레이 상에 나타내 보인 그래픽 인터페이스로서, 눈의 영상 및 전방 영상 그리고 전방 영상에서 추출된 개체를 예시해 보인다.

한편, 시각 피로도 측정을 위한 눈 깜박임 판단 방법은 눈을 감았을 때 동공이 가려지게 되므로, 동공 추출 알고리즘을 수행해도 동공의 위치를 추출할 수 없게 된다는 원리를 이용한다. 이를 근거로 도7에 도시된 바와 같이 추출된 동공의 흑 화소의 개수가 동공의 최소 크기보다 작을 때에는 눈을 감은 상태라고 판단하며, 눈 깜박임의 빈도가 빨라질수록 시각 피로도가 증가한다는 사실을 기반으로 사용자의 눈 피로도를 측정할 수 있다. 또한, 눈 깜박임 빈도기반의 시각 피로도 측정 임계 치는 정상인의 분당 깜박임 횟수가 15~20회 정도임을 감안하여 정하거나, 개인별로 보통 상태의 평균 눈 깜박임 횟수를 측정하여 정의될 수 있다.

위와 같은 방법을 통해 사용자가 피로하다고 판단될 경우에는 시선 추적 기반의 물체 인식 시스템을 스크린을 터치하여 인식하는 등의 모드 변경을 통하여, 사용자의 시각 피로도를 덜어줄 수 있다. 피로도의 정도가 높다고 판단될 경우에는 휴식을 권장하는 등의 메시지를 출력할 수 있다. 도 4와 함께 설명된 본 발명의 장치는 사용자의 시각 피로도가 일정 레벨 이상 증가하는 경우, 물체 선택을 시선 추적 방법이 아닌 스크린 터치 방식으로 자동 전환하는 모드 변경 기능을 제공할 수 있다.

본 발명에 따른 시선추적 장치 또는 시스템은 사용자의 실제 3차원 공간영역에서의 시선 위치를 추적하도록 구현되어 있다. 그러므로 x, y축으로의 시선위치 외에 z축에서의 사용자의 시선 위치(또는 거리)의 변화도 고려되어야 한다. 도 3에 도시된 바와 같이 사용자의 실제 눈(100)과 눈 위의 카메라(12) 사이에는 일정한 간격이 존재하고, 이는 실제 공간 영역인 3차원 영역으로 적용할 경우 도9 및 도 10에 도시된 바와 같은 광학적 오차가 발생된다. 사용자 캘리브레이션은, 전술한 바와 같이, 일정한 거리의 영역에 대한 4개의 참고 지점을 기준으로 수행되지만, 이후 사용자의 실제 시선의 위치가 Z1, Z2, Z3 등으로 바뀔 경우 도 10에 도시된 바와 같은 y 방향으로의 광학적 오차가 불가피 하게 발생된다. 이 오차를 없애기 위해서는 사람의 눈과 전 방향 카메라의 광 축이 완벽하게 일치되어야 하는데, 이는 현실적으로 불가능하다. 그러므로 이 오차를 최소로 줄이기 위한 방법으로 최대한 사용자의 눈에 가깝게 전 방향 카메라를 배치하는 방법과 사용자의 캘리브레이션 참고 지점들 간의 간격을 좁힘으로써 사용자의 z 시선 변화에 따른 광 축 오차를 줄일 수 있다.

본 발명의 다른 실시 예에서는 전방 영역을 다수의 영역으로 분할하고, 각 분할된 영역에서의 사상관계 정립 및 변환의 과정을 수행함으로써 사용자의 z 시선 거리의 변화에 따른 오차를 현저히 감소시킬 수 있다.

그러나, 사용자 캘리브레이션 과정에서 다수의 분할 영역에 대응하는 참고지점을 더욱 많이 응시토록 하는 것은 사용자에게 불편함을 제공할 뿐 아니라, 그 과정에서 발생되는 오차는 더욱 시스템의 성능을 저하시키는 원인이 될 수 있다. 본 발명에서는 시선 추적 이전에 사용자의 눈 패턴 및 전 방향 영상의 참고 지점 패턴을 기존의 MLP(Multi-Layer Perception), SVR(Support Vector Regression), LR(Linear Regression) 방법과 같은 학습 알고리즘에 적용하여 선 학습 시킨다. 즉 본 발명은 다수의 분할 영역에 대응하는 모든 참고 지점에 대해, 사용자에 의한 선 학습 데이터를 확보한다. 이렇게 학습된 알고리즘을 사용자 캘리브레이션 과정에 적용하면, 사용자가 4 개의 참고 지점만을 응시하는 것에 의해서도 다수 분할된 영역에 대한 나머지 참고 지점 및 그때의 동공 중심 좌표 값을 추출해 낼 수 있다. 즉, 본 발명에 따르면, 다수 분할된 영역에 대응하는 모든 참고 지점에 대해 데이터를 상기 MLP, SVR, LR과 같은 학습 알고리즘을 이용하는 선행학습을 통해 축적하고, 실제 사용시에는 최 외곽의 4개 참고 지점에 대해서만 캘리브레이션을 수행하는 것에 의해 모든 참고 지점에 대한 좌표 및 동공 중심 좌표 값을 추출할 수 있게 된다.

이하, 이러한 다수 영역에 대한 캘리브레이션 및 시선 추적 과정을 자세히 설명한다.

도 11은 다수의 영역, 본 실시 예에서는 4개의 영역으로 분할된 전방 영상에 대한 선행 학습 캘리브레이션 과정을 설명하는 도면이다.

전방 카메라(12)를 통해서 전방 영상을 취득하면서, 사용자가 실 세계 공간 영역의 4 개의 지정된 참고지점(R1, R2, R3, R4)을 응시하면, 전술한 바와 같은 과정을 통해, 전 방향 카메라 영상에서의 4 개의 참고 지점 좌표와 사용자 눈의 동공 중심 좌표 값을 추출하고, 그 두 영역 간의 사상관계를 기하학적 변형(geometric transform)을 통해 정립한다. 이러한 기하학적 변형은 분할된 모든 영역의 참고 지점에 수행될 수 있다. 도 12 내지 도 14는 분할된 눈 영역(P1, P2, P3, P4)과 영상 영역(S1, S2, S3, S4)간의 사상관계를 나타낸다. 아래의 수 5~8은 변환 행렬 (T1, T2, T3, T4)를 통한 사상관계의 변형 식을 나타낸다.

이상 같이 분할된 영역간의 사상관계를 정립하는 이유는 첫째로, 사용자의 참고 지점 응시 대비 더 많은 동공 위치 정보를 이용하게 됨으로 시스템의 정교함을 높일 수 있다. 기하학적 변형(geometric transform) 식의 특성상 두 사각영역의 사상관계의 정립에 있어 매칭 영역의 범위가 좁을수록 그 성능은 좋아지기 때문이다. 이와 같이 다수의 영역으로 분할하여 사상관계를 정립함에 있어서, 전술한 바와 같이, 사용자 캘리브레이션 과정에서 모든 분할 영역에 대응하는 참고지점을 모두 응시토록 하는 것은 사용자의 불편을 가중하며, 그 과정에서 발생되는 오차는 더욱 시스템의 성능을 저하시키는 원인이 될 수 있다. 따라서, 본 발명에서는 때문에 본 발명에서는 사용자의 눈 패턴 및 전 방향 영상의 참고 지점 패턴을 상기 MLP, SVR, LR 과 같은 학습 알고리즘에 적용하여 선 학습 시킨다. 이렇게 학습된 알고리즘을 사용자의 캘리브레이션 과정에 적용하면, 사용자가 4 개의 참고 지점만을 응시하여도 나머지 모든 참고 지점의 위치 및 그 때의 동공 중심 좌표 값들을 추출해 낼 수 있다. 이렇게 추출된 사용자의 눈 좌표 및 전 방향 영상의 참고 지점 좌표 값들을 이용하여 앞서 제안한 분할된 영역에서의 사상 관계를 성립할 수 있다.

도 15는 발명에 따른 것으로서 사용자 캘리브레이션 과정의 순서도이다.

도 15를 참조하면, 전 방향 카메라와 눈 카메라를 이용해 전장향 영상과 사용자의 눈 영상을 취득한다(111,112). 그 다음 단계에서, 사용자는 실제 공간 영역 내에서 최외각 4개의 참고 지점을 응시하며(113), 이 상태에서 전방향 영상 내의 4개 참고 지점의 좌표와 사용자의 동공 중심 좌표를 추출한다(114, 115). 그 다음 단계에서, 4 개 참고 지점의 좌표와 사용자의 동공 중심 좌표를 적용한 할습 알고리즘을 적용하여(116, 117), 4 개의 참고 지점을 제외한 다른 참고 지점에 대한 좌표와 동공의 응시 중심 좌표를 각각 자동 생성한다(118, 119). 그리고, 참고 지점 좌표 및 자동 생성 지점 좌표들을 이용한 복수개의 기하학적 변환 행렬들을 생성한 후(200), 실제 3 차원 공간 영역에서 사용자의 시선 위치를 계산한다(201). 이러한 과정 들은 도 1에서 단계 '3'에 대응한다.

도 16 및 도 17은 4 개 참고 지점의 좌표와 사용자의 동공 중심 좌표에 학습 알고리즘을 적용하여, 분할 영역의 모든 참고 지점에 대한 좌표의 생성을 시각적으로 보이는 도면이다.

도 16에 도시된 바와 같이, 4 개 참고 지점(R1, R2, R3, R4)의 좌표 (Rx1, Ry1), (Rx2, Ry2), (Rx3, Ry3), (Rx4, Ry4)에 MLP, SVR, LR 등의 학습 알고리즘을 적용하여 나머지 모든 참고 지점(R5, R6, R7~Rm)의 좌표를 출력한다.

도 17에 도시된 바와 같이, 상기 4개의 참고 지점을 응시할 때의 4 개 동공 중심 좌표의 좌표 (Cx1, Cy1), (Cx2, Cy2), (Cx3, Cy3), (Cx4, Cy4)에 MLP, SVR, LR 등의 학습 알고리즘을 적용하여 나머지 모든 참고 지점(C5, C6, C7~Cm)의 좌표를 출력한다.

도 18 및 도 19는 12참고 지점 및 16 참고 지점을 가지는 6개 및 9개의 분할 영역의 사상관계를 보이는 것으로 본 발명에 의해 분할 영역이 다양한 수로 나뉠 수 있음을 예시한다.

상기 발명에서는 전방 영상영역을 더 세밀하게 다수의 영역으로 구분(분할)하여 각 영역별 기하학적 변환행렬을 적용함으로써 사용자의 시선 위치를 보다 정확하게 계산할 수 있게 된다. 결과적으로 사용자의 전방 영상 영역 내에서의 시선추적에 있어 그 성능이 보다 향상된다. 또한, 사용자 캘리브레이션 과정 이전에 개인별 학습 알고리즘 등을 적용하여 미리 학습된 캘리브레이션 좌표를 캘리브레이션 과정에 적용하면 복잡한 캘리브레이션 과정을 생략할 수 있다.

이러한 본 발명은 눈 영상을 기반으로 사용자의 시각 피로도를 판단 및 시선 추적을 수행하며, 전방 영상을 기반으로 물체를 선택 및 인식하는 중증 장애인용으로 적합한 감성 인터페이스 시스템에 관한 것이다. 기존 레이저 조명 기반의 리모컨은 손이 불편한 사람은 이용하기 어려운 일이며, 복잡한 메뉴와 레이아웃으로 인해 혼란을 야기할 수 있는 문제점이 발생한다. 본 발명은 손발이 불편한 중증 장애인들의 편의를 위해 시각 정보를 이용함으로써 직관적인 인터페이스를 구현한다.

10: 안경 타입 헤드 셋
11: 프레임
12: 전방 카메라12a: 본체12b: 렌즈
13: 눈 카메라 13a: 본체13b: 렌즈13b: 조명부
20: 시스템(컴퓨터)
30: 디스플레이
40: 입력장치

Claims (15)

1. 전방 카메라와 사용자 눈 카메라를 이용하여, 3차원 공간 내에서 다수로 분할된 모든 분할 영역에 대한 선 학습 전방 좌표와 이들 좌표에 대응하는 사용자의 동공 중심 좌표인 선 학습 동공 좌표를 얻는 선 학습 단계;
   상기 전방 카메라와 사용자 눈 카메라를 이용하여, 다수의 분할 영역이 포함되는 전체 영역의 좌표에 해당하는 전방 참고 좌표와 이에 대응하는 사용자 눈의 동공 중심 좌표에 해당하는 사용자 동공 참고 좌표를 획득하는 참고 좌표 획득 단계;
   상기 전체 영역의 전방 참고 좌표와 동공 참고 좌표를 이용하여, 상기 분할된 모든 영역에 대응하는 것으로 상기 참고 좌표 내에 위치하는 전방 자동 좌표 및 이에 대응하는 동공 중심에 대한 자동 생성 좌표를 생성하는 단계;
   상기 참고 좌표 및 자동 생성 좌표를 이용하여 실제 3차원 공간에 대한 사용자의 시선 위치를 결정하는 단계;를 포함하는 3차원 공간에서의 사용자 시선 추적 방법.
2. 제 1항에 있어서,
   상기 자동 생성 좌표는 MLP(Multi-Layer Perception), SVR(Support Vector Regression), LR(Linear Regression)중의 어느 하나의 방법에 따른 학습 알고리즘에 의해 계산하는 것을 특징으로 하는 사용자 시선 추적 방법.
3. 제 1항에 있어서,
   상기 전방 카메라에 의해 얻어지는 전방 영상으로부터 사용자 전방에 위치하는 물체의 특징 부를 추출하는 단계; 그리고
   상기 시선 위치에 대응하는 상기 전방 영상 내의 물체를 선택하여 이를 인식하는 단계;를 포함하는 시선 추적 방법.
4. 제 3 항에 있어서,
   상기 눈 영상과 전방 영상은 상기 동공 중심을 통과하는 수직선 상에 배치되는 카메라로부터 획득하는 것을 특징으로 하는 시선 추적 방법.
5. 제 1항 또는 제 2 항에 있어서,
   상기 눈 영상과 전방 영상은 상기 동공 중심을 통과하는 수직선 상에 배치되는 카메라로부터 획득하는 것을 특징으로 하는 시선 추적 방법.
6. 제 5 항에 있어서,
   상기 동공 중심 위치 검출하는 과정은;
   상기 눈 영상으로부터, 원형 검출 알고리즘을 이용한 동공 위치 검출하는 단계; 그리고
   지역 이진화, 컴포넌트 라벨링, 영역 채움 방법으로 동공 중심 검출 단계;를 포함하는 것을 특징으로 시선 추적 방법.
7. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
   상기 눈 카메라로부터 얻어지는 눈 영상으로부터, 원형 검출 알고리즘을 이용한 동공 위치 검출하는 것을 특징으로 하는 시선 추적 방법.
8. 제 7 항에 있어서,
   상기 동공 중심 위치 검출하는 과정은;
   상기 눈 영상으로부터, 원형 검출 알고리즘을 이용한 동공 위치 검출하는 단계; 그리고
   지역 이진화, 컴포넌트 라벨링, 영역 채움 방법으로 동공 중심 검출 단계;를 포함하는 것을 특징으로 시선 추적 방법.
9. 안경형 프레임;
   상기 프레임에 설치되는 눈 카메라;
   상기 프레임에 설치되는 전방 카메라; 그리고
   상기 눈 카메라와 전방 카메라로부터 획득된 영상을 통하여 시선을 추적하는 시스템;을 구비하며,
   상기 시스템은:
   상기 전방 카메라와 사용자 눈 카메라를 이용하여, 3차원 공간 내에서 다수로 분할된 모든 분할 영역에 대한 선학습 전방 좌표와 이들 좌표에 대응하는 사용자의 동공 중심 좌표인 선학습 동공 좌표를 얻고;
   상기 전방 카메라와 사용자 눈 카메라를 이용하여, 다수의 분할 영역이 포함되는 전체 영역의 좌표에 해당하는 전방 참고 좌표와 이에 대응하는 사용자 눈의 동공 중심 좌표에 해당하는 사용자 동공 참고 좌표를 획득하는 참고 좌표 획득하고;
   상기 전체 영역의 전방 참고 좌표와 동공 참고 좌표를 이용하여, 상기 분할된 모든 영역에 대응하는 것으로 상기 참고 좌표 내에 위치하는 전방 자동 좌표 및 이에 대응하는 동공 중심에 대한 자동 생성 좌표를 생성하고;
   상기 참고 좌표 및 자동 생성 좌표를 이용하여 실제 3차원 공간에 대한 사용자의 시선 위치를 결정하도록 되어 있는, 3차원 공간에서의 사용자 시선 추적 기반 포인팅 장치.
10. 제 9 항에 있어서,
    상기 눈 카메라에 인접하여 상기 눈을 조명하는 조명부;를 더 구비하는 시선 추적기반 포인팅 장치.
11. 제 10 항에 있어서,
    상기 조명부는 원적외선 램프를 포함하고, 상기 눈 카메라는 적외선 카메라인 것을 특징으로 하는 시선 추적 기반 포인팅 장치.
12. 제 9 항에 있어서,
    상기 사용자가 수동은 물체를 선택하는 별도의 터치 패널을 더 구비하는 것을 특징으로 하는 시선 추적 기반 개체 포인팅 장치.
13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 눈 카메라와 전방 카메라의 렌즈는 상기 사용자의 동공을 통과하는 수직선 상에 배치되는 것을 특징으로 시선 추적 기반 개체 포인팅 장치.
14. 제 13 항에 있어서,
    상기 눈 카메라의 렌즈는 줌 렌즈인 것을 특징으로 하는 시선 추적 기반 개체 포인팅 장치.
15. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 눈 카메라의 렌즈는 줌 렌즈인 것을 특징으로 하는 시선 추적 기반 개체 포인팅 장치.

Images