KR101395819B1

KR101395819B1 - 시선 추적 장치 및 방법

Info

Publication number: KR101395819B1
Application number: KR1020130139398A
Authority: KR
Inventors: 박강령; 황민철; 이종만; 허환; 이의철; 이지우
Original assignee: 동국대학교 산학협력단
Priority date: 2013-11-15
Filing date: 2013-11-15
Publication date: 2014-05-16

Abstract

시선 추적 장치는 사용자의 전방 방향으로 향하도록 위치하여 전방 영상을 생성하는 전방 카메라, 사용자의 눈을 향하도록 위치하여 눈 영상을 생성하는 눈 카메라, 미리 지정된 명령어에 따라 눈 영상을 참조하여 사용자의 시선을 추적하고, 사용자의 시선에 상응하는 전방 영상 상의 오브젝트를 포인팅하는 프로세서 및 명령어를 저장하는 메모리를 포함하되, 명령어는 사용자가 미리 지정된 사각형의 꼭지점을 응시하는 경우의 눈 영상으로부터 제1 동공 좌표를 추출하는 단계, 미리 지정된 변환식에 따라 제1 동공 좌표에 상응하는 전방 영상의 좌표를 산출하는 단계, 전방 영상의 좌표와 꼭지점의 좌표인 기준 좌표 간의 오차를 산출하는 단계, 오차가 감소하도록 변환식을 보정하여 보정 변환식을 생성하는 단계, 눈 영상으로부터 제2 동공 좌표를 추출하는 단계 및 보정 변환식에 따라 제2 동공 좌표에 상응하는 전방 영상의 좌표를 산출하는 단계, 전방 영상의 좌표에 상응하는 객체를 포인팅하는 단계를 포함한다.

Description

시선 추적 장치 및 방법{APPARATUS AND METHDO FOR TRACKING VISION}

본 발명은 시선을 추적하는 기술에 관한 것으로 보다 상세하게는 사용자의 시선에 따라 오브젝트를 포인팅하는 기술에 관한 것이다.

기존의 레이저 조명 기반의 리모컨과 같은 컨트롤러는 손이 불편한 사람은 이용하기 어려우며, 복잡한 메뉴와 레이아웃으로 인해 혼란을 야기할 수 있는 문제점이 발생한다. 이를 해결하기 위한 선행 발명으로는 착용형 타입의 고글형 시선 추적 방법이 있다[1]. 이 발명에서는 전방 카메라를 통해 취득한 영상 내에서의 검출된 모니터의 모서리 위치를 기반으로 모니터 영역을 정의하고, 2차원 모니터 영역 내에서 시선 추적하는 방법을 제안하였다. 하지만 이 선행 발명은 2차원 모니터 영역 내에서의 시선 추적 방식으로 사용 범위가 제한적이다.

본 발명이 해결하고자 하는 과제는 눈 영상의 동공 좌표에 따라 전방의 오브젝트를 포인팅하는 시선 추적 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 사용자의 전방 방향으로 향하도록 위치하여 전방 영상을 생성하는 전방 카메라; 상기 사용자의 눈을 향하도록 위치하여 눈 영상을 생성하는 눈 카메라; 미리 지정된 명령어에 따라 상기 눈 영상을 참조하여 상기 사용자의 시선을 추적하고, 상기 사용자의 시선에 상응하는 상기 전방 영상 상의 오브젝트를 포인팅하는 프로세서; 및 상기 명령어를 저장하는 메모리;를 포함하되, 상기 명령어는, 사용자가 미리 지정된 사각형의 꼭지점을 응시하는 경우의 눈 영상으로부터 제1 동공 좌표를 추출하는 단계; 미리 지정된 변환식에 따라 상기 제1 동공 좌표에 상응하는 전방 영상의 좌표를 산출하는 단계; 상기 전방 영상의 좌표와 상기 꼭지점의 좌표인 기준 좌표 간의 오차를 산출하는 단계; 상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계;상기 눈 영상으로부터 제2 동공 좌표를 추출하는 단계; 및 상기 보정 변환식에 따라 상기 제2 동공 좌표에 상응하는 상기 전방 영상의 좌표를 산출하는 단계; 상기 전방 영상의 좌표에 상응하는 객체를 포인팅하는 단계;의 수행을 위한 명령어를 포함하는 것을 특징으로 하는 시선 추적 장치가 제공된다.

상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계는 미리 지정된 학습 모듈을 통해 상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계일 수 있다.

상기 학습 모듈은 상기 오차가 감소하도록 디자인된 다층 신경망(MLP, Multi-layered Perceptron) 및 SVR(Support vector Regression) 중 어느 하나일 수 있다.

본 발명의 다른 측면에 따르면, 시선 추적 장치가 사용자의 시선을 추적하는 방법에 있어서, 상기 사용자가 미리 지정된 사각형의 꼭지점을 응시하는 경우의 눈 영상으로부터 제1 동공 좌표를 추출하는 단계; 미리 지정된 변환식에 따라 상기 제1 동공 좌표에 상응하는 전방 영상의 좌표를 산출하는 단계; 상기 전방 영상의 좌표와 상기 꼭지점의 좌표인 기준 좌표 간의 오차를 산출하는 단계; 상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계; 상기 눈 영상으로부터 제2 동공 좌표를 추출하는 단계; 및 상기 보정 변환식에 따라 상기 제2 동공 좌표에 상응하는 상기 전방 영상의 좌표를 산출하는 단계; 상기 전방 영상의 좌표에 상응하는 객체를 포인팅하는 단계;를 포함하는 시선 추적 방법이 제공된다.

상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계는

미리 지정된 학습 모듈을 통해 상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계일 수 있다.

상술한 바와 같이 본 발명의 일 실시예에 따르면, 사용자가 눈을 움직이는 것만으로 사용자의 전방의 특정 오브젝트를 선택할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 시선 추적 장치의 전방 카메라 및 눈 카메라를 휠체어에 설치한 것을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 시선 추적 장치가 시선을 추적하는 과정을 예시한 순서도.
도 4는 본 발명의 일 실시예에 따른 시선 추적 장치가 생성한 눈 영상과 기준 좌표 간의 관계를 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 시선 추적 장치가 생성한 전방 영상 상의 좌표와 기준 좌표 간의 오차를 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 시선 추적 장치가 사용하는 다층 신경망을 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치를 예시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 시선 추적 장치의 전방 카메라 및 눈 카메라를 휠체어에 설치한 것을 예시한 도면이다.

도 1을 참조하면, 얼굴 인식 장치는 전방 카메라(110), 눈 카메라(120), 프로세서(130), 메모리(140)를 포함한다.

전방 카메라(110)는 사용자의 정면 방향으로 촬영하도록 착용될 수 있다. 따라서, 전방 카메라(110)는 사용자의 정면 방향의 환경을 촬영할 수 있다. 이하, 전방 카메라(110)가 촬영한 영상을 전방 영상이라 지칭하도록 한다.

눈 카메라(120)는 사용자의 눈을 촬영하여 영상을 생성한다. 이하, 눈 카메라(120)가 촬영하여 생성한 영상을 눈 영상이라 지칭하도록 한다. 이 때, 눈 카메라(120)는 일정 거리 영역에서 일정 픽셀 크기 이상의 양 눈을 취득할 수 있도록 카메라 렌즈 앞에 고배율 렌즈가 부착된 카메라일 수 있다. 또한, 눈 카메라(120)는 어두운 지역 등에서 눈 영상을 취득하기 위해 근 적외선 조명 장치를 포함할 수 있고, 외부 가시광선 등을 차단하기 위한 근 적외선 투과 필터를 카메라 렌즈 안에 구비할 수 있다.

도 2를 참조하면, 전방 카메라(110)는 사용자의 정면 방향을 촬영하도록 휠체어의 최전방 일단에 설치되고, 눈 카메라(120)는 사용자의 전방에서 사용자의 눈을 촬영할 수 있는 위치에 설치될 수 있다. 도 2를 참조하여, 휠체어에 전방 카메라(110) 및 눈 카메라(120)가 설치되는 것으로 예시하였으나, 본 발명의 전방 카메라(110) 및 눈 카메라(120)의 위치는 이에 한정되지 않음은 자명하다.

프로세서(130)는 메모리(140)에 저장된 명령어에 따라 눈 영상으로부터 사용자의 시선 방향을 산출하고, 시선 방향에 위치한 전방 영상의 객체를 포인팅한다.

메모리(140)는 프로세서(130)에 의해 수행될 눈 영상으로부터 사용자의 시선 방향을 산출하고, 시선 방향에 위치한 전방 영상의 객체를 포인팅을 위한 명령어를 저장한다.

이하 도 3을 참조하여 시선 추적 장치가 상술한 메모리(130)에 저장된 명령어에 따른 영상으로부터 사용자의 시선 방향을 산출하고, 시선 방향에 위치한 전방 영상의 객체를 포인팅하는 과정을 상세히 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 시선 추적 장치가 시선을 추적하는 과정을 예시한 순서도이고, 도 4는 본 발명의 일 실시예에 따른 시선 추적 장치가 생성한 눈 영상과 기준 좌표 간의 관계를 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 시선 추적 장치가 생성한 전방 영상 상의 좌표와 기준 좌표 간의 오차를 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 시선 추적 장치가 사용하는 다층 신경망을 예시한 도면이다. 이하, 설명하는 각 과정은 시선 추적 장치의 프로세서(130)가 메모리(140)에 저장된 명령어에 따라 수행하는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 시선 추적 장치로 통칭하도록 한다.

도 3을 참조하면, 단계 310에서 시선 추적 장치는 사용자가 미리 지정된 사각형의 4개의 꼭지점을 응시하는 경우, 눈 카메라(120)를 통해 눈 영상을 생성하고, 눈 영상에서 사용자의 동공 좌표를 추출한다. 도 4를 참조하면, 사용자는 미리 지정된 사각형의 꼭지점인 (P_x1, P_y1), (P_x2, P_y2), (P_x3, P_y3), (P_x4, P_y4)를 응시한다. 이하, 미리 지정된 사각형의 꼭지점에 대한 좌표를 기준 좌표라 지칭하도록 한다. 시선 추적 장치는 눈 카메라(120)를 통해 각 꼭지점을 사용자가 응시할 경우의 눈 영상을 생성한다. 시선 추적 장치는 각 눈 영상으로부터 동공 좌표를 추출한다. 이 때, 각 (P_x1, P_y1), (P_x2, P_y2), (P_x3, P_y3), (P_x4, P_y4)를 사용자가 응시하였을 때 동공 좌표를 (C_x1, C_y1), (C_x2, C_y2), (C_x3, C_y3), (C_x4, C_y4)라고 정의하도록 한다.

단계 320에서 시선 추적 장치는 사용자의 동공 좌표와 사용자가 응시하는 지점에 상응하는 전방 영상의 좌표 간의 관계를 나타내는 변환식을 통해, 단계 310에서 추출한 동공 좌표에 상응하는 전방 영상의 좌표를 산출한다. 예를 들어, 시선 추적 장치는 하기의 수학식 1을 통해 동공 좌표에 상응하는 전방 영상의 좌표를 산출할 수 있다.

단계 330에서 시선 추적 장치는 산출된 전방 영상의 좌표와 기준 좌표간의 오차를 산출한다. 도 5를 참조하여 예를 들면, 시선 추적 장치는 (P_x1, P_y1)와 (R_x1, R_y1) 간의 가로축 상 및 세로축 상의 거리, (P_x2, P_y2)와 (R_x2, R_y2) 간의 가로축 상 및 세로축 상의 거리, (P_x3, P_y3)와 (R_x3, R_y3) 간의 가로축 상 및 세로축 상의 거리 및 (P_x4, P_y4)와 (R_x4, R_y4) 간의 가로축 상 및 세로축 상의 거리인 오차를 산출한다. 즉, 시선 추적 장치는 개의 오차(△x1, △y1, △x2, △y2, △x3, △y3, △x4, △y4)를 산출한다.

단계 340에서 시선 추적 장치는 전방 영상의 좌표와 기준 좌표간의 오차의 합이 최소가 되도록 설계된 다층 신경망(MLP, Multi-layered Perceptron), SVR(Support vector Regression) 등의 공지된 학습 모듈을 이용하여 수학식 1의 a, b, c, d, e, f, g, h를 보정하여 보정 변환식을 생성한다. 도 6을 참조하여 다층 신경망을 통한 보정 변환식을 생성하는 과정을 예를 들면, 다층 신경망은 학습을 위한 역전파 알고리즘(back-propagation algorithm)을 적용한 형태를 가지며, 입력층, 은닉층, 출력층으로 구성되어 있다. 시선 추적 장치는 8개의 오차 값(△x1, △y1, △x2, △y2, △x3, △y3, △x4, △y4)을 입력받는 입력층, n개의 은닉층과 오차들의 합이 최소가 되도록 하는 8개의 출력값(△Ta, △Tb, △Tc, △Td, △Te, △Tf, △Tg, △Th)을 출력하는 출력층을 포함하는 다층 신경망을 이용할 수 있다. 이 학습 알고리즘에서 가장 중요한 것은 연결 강도 w, w′의 갱신이며, 역전파 알고리즘은 w′의 갱신이 먼저 이루어지고, 이를 기반으로 w의 갱신이 이루어진다. 예를 들어, 다층 신경망은 전향 단계에서는 신경 회로망에 입력 패턴을 제시하고, 각 노드에 대해서 입력함수 h 와 출력 함수 o를 이용하여 출력을 산출한다. 이때 입력값은 출력층 방향으로만 전달된다. 초기에 임의로 정한 연결 강도 w를 sigmoid 혹은 linear 함수 형태로 이루어진 h함수에 적용하고, 이 값을 다시 임의로 정한 연결강도 w'에 결합하여 출력 값을 찾는다. 이 때, 출력층에서 일반적으로 출력 값이 목표 값과 완전히 일치하지는 않고 오차가 발생한다. 후향 단계에서는 제시된 출력 값과 계산되어 나오는 출력 값의 차이를 구하고, 이를 다시 역방향 즉, 입력층 방향으로 연결 강도 w, w'를 갱신한다. 이 과정을 반복할수록 제시된 출력 값과 계산된 값 차이는 줄어들게 되며 원하는 값에 결국 수렴하게 된다. 이렇게 얻어진 8개의 출력 값을 이용하여 T″변환식은 수학식 2와 같은 형태로 생성된다. 물론 구현 방법에 따라 다층 신경망(MLP) 알고리즘뿐만 아니라 SVR 및 LR (Linear Regression) 등의 공지된 학습 알고리즘을 이용하도록 시선 추적 장치가 변경될 수 있음은 당업자에게 자명하다.

단계 350에서 시선 추적 장치는 전방 카메라(110) 및 눈 카메라(120)를 통해 전방 영상 및 눈 영상을 생성한다.

단계 360에서 시선 추적 장치는 눈 영상에서 사용자의 동공 좌표를 추출한다.

단계 370에서 시선 추적 장치는 전방 영상에 포함된 객체를 추출한다.

단계 380에서 시선 추적 장치는 보정 변환식을 적용하여 이후 눈 카메라(120)를 생성된 눈 영상의 동공 좌표에 상응하는 전방 영상 상의 좌표를 생성하고, 전방 영상 상의 좌표에 해당하는 객체를 포인팅한다.

따라서, 본 발명의 일 실시예에 따른 시선 추적 장치는 사용자 별 적응적으로 눈 영상과 전방 영상 간의 보정 변환식을 생성하여 현재 사용자가 어느 객체를 보고 있는 것인지 파악할 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

사용자의 전방 방향으로 향하도록 위치하여 전방 영상을 생성하는 전방 카메라;
상기 사용자의 눈을 향하도록 위치하여 눈 영상을 생성하는 눈 카메라;
미리 지정된 명령어에 따라 상기 눈 영상을 참조하여 상기 사용자의 시선을 추적하고, 상기 사용자의 시선에 상응하는 상기 전방 영상 상의 오브젝트를 포인팅하는 프로세서; 및
상기 명령어를 저장하는 메모리;
를 포함하되,
상기 명령어는,
사용자가 미리 지정된 사각형의 꼭지점을 응시하는 경우의 눈 영상으로부터 제1 동공 좌표를 추출하는 단계;
미리 지정된 변환식에 따라 상기 제1 동공 좌표에 상응하는 전방 영상의 좌표를 산출하는 단계;
상기 전방 영상의 좌표와 상기 꼭지점의 좌표인 기준 좌표 간의 오차를 산출하는 단계;
상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계;
상기 눈 영상으로부터 제2 동공 좌표를 추출하는 단계; 및
상기 보정 변환식에 따라 상기 제2 동공 좌표에 상응하는 상기 전방 영상의 좌표를 산출하는 단계;
상기 전방 영상의 좌표에 상응하는 객체를 포인팅하는 단계;
의 수행을 위한 명령어를 포함하되,
상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계는
미리 지정된 학습 모듈을 통해 상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계이고,
상기 학습 모듈은 상기 오차를 입력받아 상기 변환식을 보정하기 위한 보정치를 출력하도록 학습된 모듈인 것을 특징으로 하는 시선 추적 장치.
제1 항에 있어서,
상기 학습 모듈은 상기 오차가 감소하도록 디자인된 다층 신경망(MLP, Multi-layered Perceptron) 및 SVR(Support vector Regression) 중 어느 하나인 것을 특징으로 하는 시선 추적 장치.
제2 항에 있어서,
상기 학습 모듈은 상기 오차가 감소하도록 역전파 알고리즘을 통해 연결 강도가 갱신된 다층 신경망인 것을 특징으로 하는 시선 추적 장치.
시선 추적 장치가 사용자의 시선을 추적하는 방법에 있어서,
상기 사용자가 미리 지정된 사각형의 꼭지점을 응시하는 경우의 눈 영상으로부터 제1 동공 좌표를 추출하는 단계;
미리 지정된 변환식에 따라 상기 제1 동공 좌표에 상응하는 전방 영상의 좌표를 산출하는 단계;
상기 전방 영상의 좌표와 상기 꼭지점의 좌표인 기준 좌표 간의 오차를 산출하는 단계;
상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계;
상기 눈 영상으로부터 제2 동공 좌표를 추출하는 단계; 및
상기 보정 변환식에 따라 상기 제2 동공 좌표에 상응하는 상기 전방 영상의 좌표를 산출하는 단계;
상기 전방 영상의 좌표에 상응하는 객체를 포인팅하는 단계;
를 포함하되,
상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계는
미리 지정된 학습 모듈을 통해 상기 오차가 감소하도록 상기 변환식을 보정하여 보정 변환식을 생성하는 단계이고,
상기 학습 모듈은 상기 오차를 입력받아 상기 변환식을 보정하기 위한 보정치를 출력하도록 학습된 모듈인 것을 특징으로 하는 시선 추적 방법.
제4 항에 있어서,
상기 학습 모듈은 상기 오차가 감소하도록 디자인된 다층 신경망(MLP, Multi-layered Perceptron) 및 SVR(Support vector Regression) 중 어느 하나인 것을 특징으로 하는 시선 추적 방법.
제5 항에 있어서,
상기 학습 모듈은 상기 오차가 감소하도록 역전파 알고리즘을 통해 연결 강도가 갱신된 다층 신경망인 것을 특징으로 하는 시선 추적 방법.