KR101868655B1 - 시선 방향을 결정하기 위한 방법 및 이를 위한 장치 - Google Patents

Abstract

본 발명의 일 태양은, 이동 전화 또는 이와 유사한 물체와 같은, 디스플레이 표면(21)을 갖는 이동 단말기(20)를 이동 상태에서 지지하기 위한 장치(10)에 관한 것이다. 본 발명은 상기 장치를 위한 핸드 그립을 형성하는 지지 부재(11); 및 지지 부재(11)에 대하여 움직일 수 있게 설치된 플레이트(12)를 포함하고, 상기 플레이트(12)는 디스플레이 표면(21)이 사용자에 의해 응시될 수 있는 사용 위치에서 이동 단말기를 수용하도록 의도된 하우징을 형성하는 것을 특징으로 한다. 상기 장치는 지지 부재(11)에 연결된 복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)을 포함하고, 복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)은 사용자의 눈을 향해 빛을 방출할 수 있고, 하우징에서 수용되도록 의도된 이동 단말기의 디스플레이 표면(21)과 동일한 평면상에 위치한 2차원 어레이에서 하우징의 주변에 배치된다.

Description

시선 방향을 결정하기 위한 방법 및 이를 위한 장치{METHOD FOR DETERMINING GAZE DIRECTION AND DEVICE FOR SAME}

본 발명은 시선(gaze) 방향의 측정 및 추적과 관련된 기술 분야("아이트래킹(eyetracking)"으로 알려져 있음)에 관한 것이며, 더욱 구체적으로는, 제1 태양에 따라서, 특히 이동 전화(mobile telephone) 또는 터치-스크린 타블렛(touch-screen tablet)과 같은 스크린으로 이루어진, 사용자에 의해 응시되는(observed) 디스플레이 표면상에서 사용자의 시선을 추적하기 위한 방법에 관한 것으로서, 이동하는 동안, 응시되는 디스플레이 표면상의 어느 위치로 사용자의 시선이 향하는지를 결정하는 것을 가능하게 한다.

본 발명의 적용의 비제한적인(non-exclusive) 예에 의해서, 예컨대 사용자 인터페이스(user interface) 내의 관심 영역들을 평가하는 것 또는 사용자 인터페이스의 인체공학적(ergonomic) 속성들을 조정하는 것을 지향한 행동 연구의 체계에서 취해진, 사용자 인터페이스와 시선의 상호작용의 분석이 특히 언급될 수 있다.

종래기술에서, 아이트래킹 시스템들은 크게 두 그룹으로 구별된다:

- 무구속적(non-intrusive)이고 비휴대형(non-portable)인 시스템들;

- 구속적(intrusive)이고 휴대형(portable)인 시스템들.

이러한 시스템들 모두는, 광원의 각막 반사(corneal reflection) 및 눈동자(pupil)의 상대적 위치로부터 시작하는 시선의 방향을 평가하는 것으로 이루어진 기본적인 기술적 원리를 이용한다.

이러한 원리는, 눈(eye)의 이미지들을 획득하기 위해서 의도된 비디오 카메라의 대물 렌즈 바로 옆에 적외선 파장의 복사선을 방출하는 광원으로서 LED(발광 다이오드)를 배치하는 것으로 이루어진다. 이러한 적외선 LED는 비디오 카메라의 대물 렌즈의 축과 동일한 방항으로 눈을 향해 빛을 방출한다. 이 빛은 눈의 각막, 즉 "Purkinje spot(푸르킨예 스팟)"이라고 불리는 광 스팟(light spot)에서 반사되고, 이후 비디오 카메라에 의해 캡쳐된(captured) 눈의 각막 이미지 위에서 보인다.

무구속적 추적 시스템은, 주체(subject)가 예컨대 컴퓨터 스크린을 바라볼 때, 눈의 움직임이 기록되어 시선이 추적되는 것을 가능하게 하는 시스템이다.

이러한 타입의 시스템은 일반적으로 주체의 시선의 축에서 사용자의 머리로부터 약 60 센티미터에 배치된 매운 높은 선명도(definition)의 카메라로 구성된다.

이러한 카메라는 선명도가 높기 때문에, 카메라가 겨냥하고 있는 사용자의 얼굴을 알아보는 것이 가능하다. 그래서, 이미지 프로세싱 및 형상 인식에 의해서, 푸르킨예 스팟에 대해 눈동자의 위치를 정확하게 결정하기 위하여 눈들의 위치를 식별하고 이미지를 확대하는 것이 가능하다. 이러한 시스템은 사용자와 상호작용하지 않고, 사용자는 특별한 안경이나 헬멧을 착용할 필요가 없다.

하지만, 이러한 시스템의 주요한 단점은 이러한 시스템이 표준 해상도를 갖는 카메라 가격의 100배가 넘는 가격의 높은 선명도의 카메라를 이용하는 것에 의존한다는 점이다. 게다가, 시선의 분석 동안, 사용자는 눈을 촬영하고 있는 카메라의 화각(angle of view)에 의해 정의된 3차원적인 제한범위를 넘어서 자신의 머리를 움직일 수 없다.

더군다나, 사용자가 보고 있는 스크린이 반드시 고정되어 있어야 하는데, 이것은 예컨대 본래의 속성상 이동하는 동안 사용되는 이동 전화 또는 터치-스크린 타블렛과 같은 이동 단말기의 디스플레이 스크린에 이러한 타입의 시스템을 적용하는 것을 막는 중요한 제한이 된다.

구속적인 아이트래킹 시스템들은 사용자가 예컨대 항공기의 조종석(cockpit) 또는 자동차의 계기판(dashboard)과 같이 전체적 장면(global scene)을 바라보고 있을 때 이러한 아이트래킹이 기록되는 것을 가능하게 한다.

이러한 타입의 시스템은 일반적으로 사용자의 시선의 축에서 사용자의 머리로부터 약 10 센티미터에 배치된 제1 비디오 카메라로 구성된다. 이러한 비디오 카메라는 머리에 가까이 있고, 그래서 특별한 하나의 안경 또는 헬멧에 고정되어야 한다.

이러한 비디오 카메라는 눈의 영역을 직접 촬영하기 때문에, 이미지 프로세싱에 의해서, 푸르킨예 포인트(Purkinje point)에 대해 눈동자의 위치를 정확하게 인식하는 것이 가능하다.

그래서, 이 시스템은 사용자에게 커다란 움직임의 자유를 부여한다. 그래서, 사용자는 카메라에게 자신의 시선의 방향을 분석할 기회를 부여하는 동시에 그 동안 돌아다닐 수 있다. 게다가, 이러한 시스템은 예컨대 높은 선명도의 카메라를 가지는 것과 비교하여 절감된 가격을 갖는 모든 타입의 카메라들을 이용하는 것을 가능하게 한다.

이러한 타입의 시스템은 또한 사용자에 의해 응시되는 장면을 촬영하기 위하여 '장면 카메라(scene camera)'라고 불리는 제2 비디오 카메라를 포함한다. 제1 비디오 카메라 및 제2 비디오 카메라에 의해 각각 생성된 두 개의 비디오 스트림(video stream)들은 장면을 나타내는 단일한 비디오 스트림을 생성하도록 처리되는데, 단일한 비디오 스트림은 사용자가 자신의 시선을 두는 장면에서의 위치들이 매 순간 적시에 추적되는 것을 가능하게 하는 커서(cursor)를 포함한다. 이러한 시스템은 특히 US 2010/0053555 문헌에서 제시되는 예에 의해서 통상의 기술자들에게 잘 알려져 있다.

하지만, 이러한 시스템의 하나의 단점은 눈의 위치를 결정하기 위해 사용되는 제1 비디오 카메라와 사용자에 의해 응시되는 장면이 촬영되도록 하는 제2 비디오 카메라가, 사용자 머리의 레퍼런스 프레임과 연관된(linked) 동일한 레퍼런스 프레임(reference frame) 내에 존재한다는 사실에 있다. 게다가, 이러한 시스템은 이동 물체의 표면에 대한, 더욱 구체적으로는 이동성(mobility)의 맥락에서 이동 전화와 같은 이동 단말기의 디스플레이 스크린에 대한 시선을 추적하는 것으로 잘 적용되지 않는다. 실제로, 사용자가 이동하면서 예컨대 이동 전화의 스크린을 바라보고 있는 경우에 장면 카메라가 장면을 기록하면, 주시 및 촬영되고 있는 논의되고 있는 물체(object)는 장면 카메라에 의한 장면의 기록으로부터 비롯된 비디오 이미지들의 스트림에서 움직이게(mobile) 된다. 이후, 사용자가 이동하면서 무엇을 바라보고 있는지를 자동으로 결정할 수 있도록 하는 것은 특히 어렵다.

예를 들어, 만일 사용자가 이동성의 맥락에서 이동 전화의 스크린상의 관심 영역을 지속적으로 바라고 있다면, 사용자 시선의 포인트(point)는 상기 관심 영역을 따라서 움직이지 않지만, 장면 카메라에 의한 장면의 기록으로부터 비롯된 비디오 이미지들의 스트림에서, 그것은 주시되고(watched) 있는 관심 영역의 이미지의 위치에 따라서 이동하고 결과적으로 얻어지는 비디오 스트림에서 그 자체가 움직인다.

따라서, 바람직하지는 않지만, 이미지 내에서 움직이는, 이미지상의 시선의 포인트(point of gaze)가 관심 영역을 따라갔다는 것을 추론하기(deduce) 위하여 비디오 이미지들의 스트림 내에서 논의되는 관심 영역을 정확하게 인식할 수 있는 강력한 이미지 프로세싱 및 형상 인식 수단을 시스템에 제공하는 경우를 제외하고는, 이동성의 맥락에서, 사용자가 논의되는 관심 영역을 지속적으로 바라보고 있는지를 즉각적으로 그리고 특히 자동으로 결정하는 하는 것은 불가능하다.

이러한 맥락에서, 본 발명의 목적은 종래 기술의 단점들을 극복하는 것이고, 구체적으로는 이동성의 맥락에서 주시되고 있는 물체, 특히 이동 전화에 대한 시선의 방향을 즉각적으로 그리고 자동으로 결정할 수 있기 위해서 구속적(intrusive)이고 휴대형(portable)인 타입의 공지된 아이트래킹 시스템들에 의해 마주치는 문제점들을 해결하는 것이다.

따라서, 제1 태양에 따르면, 본 발명은 사용자에 의해 응시되고 있는 이동 단말기의 디스플레이 표면에 대한 사용자의 시선(gaze)을 추적하기 위한 방법에 관한 것이며, 응시되고 있는 디스플레이 표면(display surface being observed)에서 사용자의 시선의 위치를 결정하는 것으로 이루어지고, 적어도 눈동자의 이미지 및 제1 광원의 각막 반사(corneal reflection)의 이미지를 포함하는 제1 비디오 신호를 수집하기 위해, 사용자의 시선의 축에 배치된 제1 비디오 카메라 및 제1 비디오 카메라의 대물 렌즈 근처에 배치되어 눈을 향해 겨냥된 제1 광원이 제공되고, 사용자에 의해 응시되고 있는 디스플레이 표면의 이미지들을 포함하는 제2 비디오 신호가 수집되고, 눈의 레퍼런스 프레임(reference frame)에서 시선의 방향을 제1 광원의 각막 반사의 중앙에 대한 눈동자의 중앙의 위치의 함수로서 측정하기 위해 제1 비디오 신호가 분석되고, 응시되고 있는 디스플레이 표면에서의 시선의 위치를 나타내는 커서(cursor)가 눈의 레퍼런스 프레임에서 측정된 시선의 방향의 함수로서 제2 비디오 신호에서 디스플레이된다.

본 발명에 따르면, 제2 비디오 신호는 제1 비디오 카메라의 레퍼런스 프레임과는 다른, 응시되고 있는 디스플레이 표면의 레퍼런스 프레임과 연관된(linked) 레퍼런스 프레임에서 캡쳐되고(captured), 복수의 레퍼런스 광원들은 눈을 향해 겨냥된 제2 비디오 신호의 캡쳐의 레퍼런스 프레임에 위치해 있고, 응시되고 있는 디스플레이 표면과 동일한 평면상의 2차원 어레이(two-dimensional array)를 따라 배치되어, 제1 비디오 카메라에 의해 수집된 제1 비디오 신호가 눈에서의 레퍼런스 광원들의 각막 반사들의 이미지를 더 포함하고, 눈에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치를 제공하기 위해 제1 비디오 신호가 분석되고, 응시되고 있는 디스플레이 표면의 평면에서의 시선의 위치는 눈에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치 및 눈의 레퍼런스 프레임에서 측정된 시선의 방향을 기초로 하여 결정된다.

유익하게는, 눈의 레퍼런스 프레임에서 시선의 위치는 눈에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치를 기초로 하여 눈에서 응시되고 있는 표면의 위치에 대해 결정되고, 응시되고 있는 디스플레이 표면의 평면에서의 시선의 위치를 눈의 레퍼런스 프레임에서 결정된 시선의 위치의 함수로서 결정하기 위해, 눈의 레퍼런스 프레임과 연관된(linked) 좌표계와 응시되고 있는 디스플레이 표면의 평면에 대응하는 복수의 레퍼런스 광원들에 의해 형성된 평면과 연관된 좌표계 간의 변환 관계(conversion relationship)가 이용된다.

일 실시 예에 따르면, 개시 작업(initial operation)은 제2 비디오 신호의 캡쳐의 레퍼런스 프레임에서 응시되고 있는 표면을 사용자의 눈의 함수로서 배치하는 캘리브레이션(calibration)을 하기 위해 수행되고, 응시되고 있는 표면의 평면과 눈의 이미지 사이의 대응점들(points of correspondence)이 정의될 수 있도록, 응시되고 있는 표면의 평면에 위치한 미리 정의된 테스트 패턴(test pattern)의 설치점(mounting point)들의 각각에서 눈동자의 중앙의 위치를 계산하는 것으로 이루어진다.

바람직하게는, 특히 어두운 환경에서 본 시스템을 구현하는 경우에, 눈의 조명을 향상시키도록 설계되고 제1 비디오 카메라의 대물 렌즈의 근처에서 눈을 향해 겨냥된 제2 광원이 제공된다.

바람직하게는, 제2 비디오 신호를 캡쳐하기 위해, 응시되고 있는 디스플레이 표면의 레퍼런스 프레임에 위치한 제2 비디오 카메라가 제공된다.

일 변형례에 따르면, 제2 비디오 신호는 이동 단말기의 비디오 출력을 이용해서 캡쳐된다.

다른 태양에 따르면, 본 발명은 또한 본 발명에 따른 방법의 구현을 위해 디스플레이 표면을 갖는 이동 단말기, 특히 이동 전화 또는 이와 유사한 물체를 이동 상태에서 지지하기 위한 장치에 관한 것이며, 본 장치는 장치를 위한 수동 파지 기구(manual gripping mechanism)를 형성하는 지지 부재(supporting element) 및 지지 부재에 대하여 움직일 수 있게 설치된 트레이(tray)를 포함하고, 트레이는 디스플레이 표면이 사용자에 의해 응시될 수 있는 사용 위치에서 이동 단말기를 수용하도록 설계된 거치대(accommodation)를 형성하고, 본 장치는 지지 부재에 연결된 복수의 레퍼런스 광원들을 포함하고, 복수의 레퍼런스 광원들은 사용자를 향해 빛을 방출할 수 있고, 거치대에서 수용되도록 의도된 이동 단말기의 디스플레이 표면과 동일한 평면상의 2차원 어레이를 따라 거치대의 주변에 배치된다.

일 실시 예에 따르면, 본 장치는 복수의 레퍼런스 광원들을 지지하도록 설계된 제1 지지 프레임을 포함하고, 제1 지지 프레임은 복수의 암(arm)들로 구성되고, 복수의 암들은 복수의 암들의 각각의 첫 번째 말단에서 지지 부재에 설치되고, 복수의 레퍼런스 광원들로부터의 하나의 각각의 광원이 복수의 암들의 각각의 두 번째 말단에 설치된다.

유익하게는, 본 장치는 제2 비디오 카메라라고 지칭되는 비디오 카메라를 더 포함할 수 있고, 이 비디오 카메라는 지지 부재에 부착되고, 응시되고 있는 디스플레이 표면의 이미지들을 캡쳐하기 위해 이동 단말기를 수용하도록 설계된 거치대를 향하여 지향될(oriented) 수 있다.

일 실시 예에 따르면, 본 장치는 제2 비디오 카메라를 지지하도록 설계된 제2 지지 프레임을 포함하고, 제2 지지 프레임은 제1 말단에 의해서 지지 부재에 부착된 암을 포함하고, 이동 단말기를 수용하도록 설계된 거치대 위에 위치한 제2 말단까지 제1 말단에서부터 뻗어 있고, 이러한 암의 제2 말단은 비디오 카메라를 올바른 방향으로 유지시킬 수 있는 비디오 카메라를 고정하기 위한 수단을 구비한다.

유익하게는, 복수의 레퍼런스 광원들은 네 개의 발광 다이오드들로 구성되고, 네 개의 발광 다이오드들에서 취해진 임의의 세 개의 발광 다이오드들이 일직선으로 배열되지 않는다(non-aligned).

바람직하게는, 발광 다이오드들은 적외선 파장 범위의 복사선(radiation)을 방출한다.

바람직하게는, 트레이는, 거치대에서 수용되도록 의도된 이동 단말기의 디스플레이 표면에 대해 랜드스케이프(landscape)라고 지칭되는 위치와 포트레이트(portrait)라고 지칭되는 위치를 각각 정의하는 방식으로, 서로에 대해 실질적으로 수직인 두 개의 위치들 사이에서 지지 부재에 회전가능하게(in rotation) 설치되고, 이 위치들 각각에서 트레이를 고정하기 위한 수단이 제공된다.

또 다른 태양에 따르면, 본 발명은 또한 이동 상태에서 이동 단말기(20)의 디스플레이 표면에 대한 사용자의 시선을 추적하기 위한 시스템에 관한 것이며, 본 시스템은, 본 발명에 따른 상기 이동 단말기를 지지하기 위한 장치, 사용자에 부착되는 장비의 휴대용(portable) 유닛, 및 처리 유닛을 포함하고, 사용자에게 부착된 장비의 휴대용 유닛은 사용자의 머리에 맞춰 조절되도록 설계된 지지체(support), 지지체에 설치되어 사용자의 시선의 축에서, 제1 비디오 카메라라고 지칭되는, 비디오 카메라를 원위 말단(distal end)에서 운반하는 암(arm), 및 제1 비디오 카메라의 대물 렌즈 근처에 배치되고 눈을 향해 겨냥된 제1 광원을 포함하고, 처리 유닛은 눈동자의 이미지, 눈을 향해 겨냥된 제1 광원의 각막 반사의 이미지, 및 물체를 지지하기 위한 장치에 구비된 레퍼런스 광원들 각각에 대응하는 각막 반사들의 이미지를 포함하는 휴대 장비의 제1 비디오 카메라에 의해 캡쳐된 제1 비디오 신호를 수신할 수 있는 제1 비디오 입력 인터페이스, 사용자에 의해 응시되고 있는 디스플레이 표면의 이미지를 포함하는 제2 비디오 신호를 수신할 수 있는 제2 비디오 입력 인터페이스, 및 제1 광원의 각막 반사의 중앙에 대한 눈동자의 중앙의 위치의 함수로서 눈의 레퍼런스 프레임에서의 시선의 방향을 제1 비디오 신호로부터 측정할 수 있고, 제1 비디오 신호에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치 및 눈의 레퍼런스 프레임에서 측정된 시선의 방향을 기초로 하여, 응시되고 있는 디스플레이 표면의 평면에서의 시선의 위치를 결정할 수 있는 프로세서 모듈(processor module)을 포함한다.

바람직하게는, 이동 단말기를 지지하기 위한 장치는 제2 비디오 신호를 공급하기 위한, 제2 비디오 카메라라고 지칭되는, 비디오 카메라를 포함하고, 제2 비디오 카메라는 유익하게는 지지 부재에 부착될 수 있고, 응시되고 있는 디스플레이 표면의 이미지들을 캡쳐하기 위해 이동 단말기를 수용하도록 설계된 거치대를 향해 지향될 수 있고, 처리 유닛의 제2 비디오 입력 인터페이스는 제2 비디오 신호를 공급하는 제2 비디오 카메라의 비디오 출력에 연결된다.

일 변형례에 따르면, 처리 유닛의 제2 비디오 입력 인터페이스는 제2 비디오 신호를 공급할 수 있는 이동 단말기의 비디오 출력에 연결된다.

유익하게는, 처리 유닛은 제2 비디오 신호를 공급할 수 있는 비디오 출력 인터페이스를 포함하고, 응시되고 있는 디스플레이 표면의 이미지들은 프로세서 모듈에 의해 결정된 응시되고 있는 표면의 평면에서의 시선의 위치를 나타내는 커서를 디스플레이한다.

바람직하게는, 본 시스템은 휴대 장비의 제1 비디오 카메라에 의한 제1 비디오 신호의 캡쳐와 제1 광원 및 레퍼런스 광원들의 점등을 동기화하기 위한 모듈을 포함하고, 동기화 모듈은 휴대 장비의 제1 비디오 카메라로부터 제1 비디오 신호를 수신할 수 있는 비디오 입력 인터페이스, 제1 광원 및 레퍼런스 광원들의 점등(illumination) 및 소등(extinction)을 동기화하는 방식으로 제어하도록 설계된 파워 공급 수단(power supply means), 및 휴대 장비의 제1 비디오 카메라에 의해 캡쳐된 이미지들에 대해 두 개 중 하나의 이미지의 비율로 제1 광원 및 레퍼런스 광원들의 점등을 제어하도록 상기 파워 공급 수단을 가지고 구성된 비디오 신호를 처리하기 위한 수단을 포함한다.

유익하게는, 휴대 장비의 지지체에 설치된 암은 제1 비디오 카메라를 올바른 방향으로 유지하기 위한 회전방지 수단(anti-rotation means)을 구비한 텔레스코픽 암(telescopic arm)이다.

일 실시 예에서, 텔레스코픽 암은 두 개의 연결되어 있는 슬라이딩 평행 로드(linked sliding parallel rod)들을 포함하고, 상기 로드들 중의 적어도 하나는 암의 근위 말단(proximal end)에서 슬라이딩 제어(sliding control)를 갖는다.

바람직하게는, 휴대 장비의 지지체는 두 개의 브랜치(branch)들을 가진 안경(spectacle) 프레임이고, 암들은 프레임의 브랜치들 중의 하나에 고정된다.

바람직하게는, 휴대 장비의 지지체에 설치된 암들은 제2 광원을 운반하고, 제2 광원은 제1 비디오 카메라의 대물 렌즈 근처에서 눈을 향해 겨냥되고, 눈의 조명을 증진시키도록 설계된다.

- 도 1은 본 발명에 따른 아이트래킹 시스템의 조감도를 도시한다;
- 도 2는 이동 상태에서 사용자에 의해 응시되는 물체를 지지하기 위한, 본 발명에 따른 장치의 측면도를 개략적으로 도시한다;
- 도 3은 도 2의 장치의 상면도를 도시한다;
- 도 4는 본 발명에 따른 아이트래킹 시스템의 구현의 체계에서 사용자에 의해 소지되도록(carried) 설계된 휴대 장비의 측면도를 개략적으로 도시한다;
- 도 5는 도 4의 휴대 장비의 상면도를 도시한다;
- 도 6은 캘리브레이션 테스트 패턴이 배치된 도 2의 장치의 상면도를 도시한다;
- 도 7은 시스템이 동작할 때 도 4 및 5에서 도시된 휴대 장비의 카메라에 의해서 캡쳐된 눈의 이미지를 도시한다.

본 발명의 다른 특징들 및 이점들은, 첨부된 도면들을 참조하여, 비제한적인(non-limiting) 예로서 주어진 본 발명의 구체적인 실시 예에 대하여 이하에서 제시되는 설명을 읽을 때 명백하게 될 것이다.

이제 예로서 설명될 시스템은, 특히 예컨대 이동 전화 또는 터치-스크린 타블렛과 같은 이동 단말기의 디스플레이 스크린(display screen)의 형태를 취하는 물체의 응시되고 있는 디스플레이 표면과 관련하여 인간 주체(human subject)(이하, '사용자'라고 함)의 시선의 방향의 즉각적인(instantaneous) 위치를 결정하도록 설계된다. 본 발명은 실제 이동 상황에서 사용자에 의한 물체의 사용이라는 맥락에서 적용될 수 있다. 따라서, 본 발명의 시스템에서, 사용될 때 사용자에 의해 통상적으로 손으로 파지되는 물체가 사용자의 머리에 대해 이동성이 있도록(mobile) 제공된다.

상술한 바와 같이, 주시되고 촬영되고 있는 물체는 장면 카메라(scene camera)에 의한 장면의 기록으로부터 비롯된 비디오에서 움직이게 되기 때문에, 구속적이고 휴대형인 타입의 공지의 아이트래킹 시스템들은 실제 이동성의 맥락에서 사용자가 물체를 바라보고 있는 장면을 기록하도록 적용되지 않는다. 따라서, 본 발명의 시스템은 구속적이고 휴대형인 타입의 아이트래킹 시스템들의 그룹 내에 여전히 있으면서, 이동 전화의 레퍼런스 프레임(reference frame)에서 사용자에 의해 응시되는 장면 즉 전형적으로 이동 전화의 스크린을 캡쳐하는 것, 및 사용자의 눈에서 반사되도록 설계된 레퍼런스 광원(reference light source)들을 이러한 동일한 레퍼런스 프레임 내에 배치하는 것을 제공하고, 나아가 이러한 광원들은 이동 전화의 스크린에 의해 형성되는 것과 동일한 평면에서 이동 전화에 대해 배치된다.

그래서, 응시되고 있는 디스플레이 표면(스크린)의 이미지는 장면 카메라로부터 비롯된 비디오에서 항상 동일한 장소에 위치할 것이며, 레퍼런스 광원들의 반사들에 의해서, 이하에서 보일 계산 이후에, 눈의 이미지에서의 눈동자의 위치로부터 추론되는 시선의 위치는 응시되는 장면의 레퍼런스 프레임에서의 시선의 위치와 관련이 될 수 있을 것이다.

이러한 목적을 위해서, 도 1에 도시된 본 발명에 따른 시스템의 실시 예는 이동 상태(mobile state)에서 사용자에 의해 주시되도록 설계된 디스플레이 표면(display surface, 21)을 갖는 이동 단말기(mobile terminal, 20)를 지지하기 위한 장치(10)를 도시한다. 예를 들어, 이동 단말기는 이동 전화로 이루어지고, 디스플레이 표면은 이동 전화의 스크린으로 이루어진다. 도 2 및 3에 더욱 상세하게 도시된 장치(10)는 지지 부재(supporting element, 11)를 포함하는데, 지지 부재(11)는 한편으로는 장치를 위한 베이스 플레이트(base plate)로 이용되도록 설계되고, 다른 한편으로는 장치를 위한 수동 파지 기구(manual gripping mechanism)로 이용되도록 설계된다. 이것은, 평면 지지체를 형성하는 제1 부분(11a), 평면 지지체로부터 연장되어 사용자로 하여금 전체 조립체를 잡고 조작할 수 있도록 하는 핸들(handle)을 형성하는 제2 부분(11b), 및 핸들을 형성하는 부분(11b)의 한쪽 말단에서부터 경사지는(inclined) 방식으로 연장되어 그 위에 트레이(tray, 12)가 설치되는 제3 부분(11c)으로 구성된 단일한 벌크 피스(bulk piece)의 형태를 취한다. 트레이(12)는 예컨대 사용의 위치에서, 즉 특히 사용자가 한 손으로 장치를 잡고 있을 때 디스플레이 스크린이 사용자에 의해서 응시될 수 있는 위치에서 이동 전화를 수용하도록 설계된 거치대(accommodation)의 경계를 형성하는(bounding) 하부 및 상부 말단 스톱(end stop)(12b 및 12c)이 설치된 평면 표면(12a)을 포함한다. 트레이(12)는 지지 부재(11) 위에서 움직일 수 있게 설치되도록 설계되는데, 더욱 구체적으로는 지지 부재의 경사진 부분(inclined part, 11c) 위에 회전가능하게 설치된다. 트레이(12)에는 예를 들어, 고정 스크류(locking screw, 13)가 설치되는데, 이것은 잘 정해진 위치에서 지지 부재(11)의 경사진 부분(11c) 위로 트레이(12)가 고정될 수 있게 한다. 스크류(13)는, 예를 들어 거치대에서 수용되도록 의도된 이동 전화의 디스플레이 스크린에 대해 랜드스케이프(landscape)라고 지칭되는 위치와 포트레이트(portrait)라고 지칭되는 위치를 각각 정의하는 방식으로, 서로에 대해 실질적으로 수직인 두 개의 위치들에서 트레이(12)가 고정될 수 있게 한다.

게다가, 장치(10)는 이동 전화의 레퍼런스 프레임과 동일한 레퍼런스 프레임에서, 거치대에서 수용되는 이동 전화의 스크린의 이미지들을 캡쳐하기 위해 제공되는, 장면 카메라라고 불리는 비디오 카메라(14)를 포함한다. 이것을 달성하기 위해서, 장면 카메라(14)는, 지지 부재(11)에 부착된, 상기 장치에 구비되는 라이트 프레임(light frame)(15)에 의해서 이동 전화를 위한 거치대를 형성하는 트레이(12) 위에서 유지되는데, 바람직하게는 전체 조립체를 파지하는 것을 방해하지 않도록 핸들을 형성하는 부분(11b)의 상부 영역에서 유지된다. 장치(10)의 거치대에서 수용되는 이동 전화의 레퍼런스 프레임에서 장면 카메라(14)를 지지하도록 설계된 이러한 지지 프레임(support frame, 15)은 예를 들어, 암(arm)을 포함하는데, 이 암은 그 말단(end)들 중에 제1 말단에 의해 지지 부재(11)에 고정되고, 거치대를 형성하는 트레이 위에 배치된 제2 말단을 향해 제1 말단에서부터 뻗어 있다. 이러한 암의 제2 말단은 장면 카메라(14)가 올바른 방향으로 유지될 수 있도록 하는 장면 카메라(14)를 고정하기 위한 수단(도시되지 않음)을 구비한다. 이러한 배열 덕분에, 장치(10)의 거치대에서 수용되는 이동 전화의 스크린을 촬영하기 위해 제공되는 장면 카메라(14)는 이동 전화 그 자체의 레퍼런스 프레임에서 이동 전화에 대해 고정된다. 게다가, 주시되고 촬영되고 있는 스크린은 장면 카메라(14)에 의한 스크린의 캡쳐에서 비롯된 비디오에서 고정된 채로 있을 것이고, 이는 이동성의 맥락에서 예컨대 사용자가 주시되고 있는 스크린에 대해 자신의 머리를 움직이는 경우 또는 사용자가 스크린을 보고 있으면서 공간에서 이동 전화를 움직이는 경우를 포함한다.

하나의 변형 실시 예에 따라서, 사용자에 의해 응시되는 스크린으로부터의 비디오 신호는, 전형적으로 이동 단말기가 이동 단말기의 스크린이 외부 디스플레이 매체(예컨대, 텔레비전 또는 컴퓨터 스크린)에 디스플레이될 수 있도록 하는 비디오 출력을 구비하는 경우에, 이동 단말기의 비디오 출력을 이용해서 직접 캡쳐될 수 있다. 이러한 변형 실시 예에 따르면, 상술한 바와 같은 장치(10)에 구비되는 장면 카메라의 존재는 필수적인 것이 아니다.

게다가, 이동하는 동안 사용자의 시선이 스크린 상의 어느 위치로 향하는지를 결정할 수 있도록 하기 위해서, 상기 장치는 복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)을 포함하는데, 이들은 거치대에서 수용되는 이동 전화의 레퍼런스 프레임과 동일한 레퍼런스 프레임에 배치되고, 사용자의 눈에서 반사되도록 의도된, 사용자를 향해 빛을 방출하기 위해서 제공된다. 레퍼런스 광원들(16a, 16b, 16c, 16d)은 바람직하게는 적외선 파장으로 복사선을 방출하는 네 개의 발광 다이오드들(LED들)로 구성된다. 네 개의 적외선 LED들은 거치대에서 수용되는 이동 전화의 스크린에 의해 형성되는 평면과 동일한 평면에 위치한 2차원 어레이(array)를 따라서 거치대의 주변에 더욱 정밀하게 배치되고, 나아가 세 개가 취해졌을 때 일직선으로 배열되지 않는다는 특징을 나타낸다. 네 개의 적외선 LED들(16a 내지 16d)에 의해 형성되는 평면은 이동 전화를 위한 거치대를 형성하는 트레이(12)의 평면 표면(12a)에 의해 형성되는 평면과 평행하게 배치되고, 네 개의 LED들이 물체의 스크린에 의해 형성되는 평면과 동일한 평면에 위치되는 방식으로 거치대에서 수용되는 물체의 두께를 고려한 높이에서 이것의 약간 위에 배치된다.

네 개의 레퍼런스 적외선 LED들은 상기 장치에 구비된 라이트 지지 프레임(light support frame, 17)에 의해 이동 전화를 수용하기 위한 거치대를 형성하는 트레이(12)의 주변에서 유지되고, 이것은 지지 부재(11)에 바람직하게는 지지 부재(11)의 동일한 영역에서 부착되고, 장면 카메라(14)를 지지하기 위한 라이트 프레임(15)이 지지 부재(11)로부터 배치된다. 네 개의 적외선 LED들을 위한 이러한 지지 프레임(17)은 예를 들어 네 개의 암들로 구성되고, 각각은 사용자의 눈을 향해 빛을 방출하는 방식으로 적외선 LED가 부착된 자유 말단(free end)을 가지고, 지지 프레임(17)의 암들의 각각의 다른 말단은 상기 장치의 지지 부재(11)에 부착된다. 지지 프레임의 암들은 상술한 바와 같은 적외선 LED들에 대한 기하학적 배치 제약조건들을 만족시키는 방식으로 서로에 대해 배열된다.

도 1에서 도시된 본 발명에 따른 시스템의 실시 예는 또한 "Purkinje spot(푸르킨예 스팟)"이라고 불리는 각막 상에서 반사되는 광 스팟에 대하여 눈의 위치를 식별하기 위한 구속적이고 휴대형인 타입의 장치(30)를 도시한다. 사용자에게 부착되도록 설계된 이 장비는, 도 4 및 5에서 더욱 자세하게 묘사된다. 이것은 사용자의 머리에 맞춰 조절되도록 설계된 지지체(support, 30)를 포함한다. 여기서, 지지체(30)는 교정 렌즈(corrective lense)들이 제거된 하나의 안경의 프레임의 형태를 취하고, 두 개의 브랜치(branch, 31)들을 포함하는데, 이들 중의 적어도 하나는 소형(miniature) 비디오 카메라(33)를 안경 프레임(30)에 단단히 고정시키기 위해 사용되는 암(arm, 32)을 측면으로(laterally) 수용하기 위해 적어도 전방영역에서 충분히 넓다. 이하에서 상세히 보이는 바와 같이, 이 암들의 길이는 웜 스크류(worm screw, 36)를 이용하는 메카니즘(mechanism)에 의해 조절가능하다.

암(32)은 세장형 베이스(elongated base, 34)를 가진 플레이트로 구성되는데, 이것은 예컨대 접착성 접합(adhesive bonding)에 의해 안경 프레임 브랜치(31)에 고정되고 이것을 앞을 향해 연장시킨다. 두 개의 병렬 튜브(tube)들(35a, 35b)은 임의의 수단에 의해, 예컨대 접착제의 리본에 의해 지지 플레이트(support plate, 34)에 고정되고, 예컨대 얇은 튜브의 형태를 취하는 두 개의 슬라이딩 로드(sliding rod)들(36a, 36b)을 가진 가이딩 부재(guiding member)로서 기능한다. 두 개의 로드들(36a, 36b)의 원위 말단(distal end)들은 튜브들(35a, 35b)로부터 돌출되어 있고, 수단(36c)에 의해서, 예컨대 개재된 스트럿(interposed strut)을 가진 클램프 링(clamp ring)들에 의해서 또는 두 개의 튜브들의 조립체를 통과하는 리벗(rivet)들에 의해서 서로 부착된다. 다시 말하자면, 원위 말단에서, 고정된 방향으로 실질적으로는 사용자의 시선의 축으로 비디오 카메라(33)를 로드들(36a, 36b)에 고정하기 위해서 동일한 수단(36c) 또는 다른 수단(33a)이 이용될 수 있다. 근위 말단(proximal end)에서, 로드들(36a, 36b)의 말단들은 또한 외부 튜브들(35a, 35b)로부터 돌출된다. 그러므로, 두 개의 로드들(36a, 36b)의 조립체는 튜브들(35a, 35b)에서 회전하지 않고 슬라이딩할 수 있다. 회전의 부존재를 보장하기 위하여 원통형이 아닌(non-cylindrical) 단면을 갖는 단일한 로드 또한 제공될 수 있으나, 본 실시 예는 매우 부드러운 슬라이딩 움직임(sliding movement)을 가능하게 한다는 이점을 가지고, 매우 흔하고 낮은 비용의 상업적으로 이용가능한 부품(element)들만을 요한다는 이점을 가진다.

근위 말단에서, 플레이트(34)는 튜브(35b)의 축 및 로드(36b)의 축과 정렬된 스무딩 액시얼 통로(smooth axial passage)를 포함하는 L-형상의 액시얼 가이드(L-shaped axial guide, 38)를 수용한다. 이 통로는 웜 스크류의 나사 로드(threaded rod, 40)를 수용한다. 말단-스톱 너트(end-stop nut, 39)는 액시얼 가이드 부품(38)의 주변에서 나사 로드(40)에 나사로 고정되고(screwed), 예컨대 접착성 접합에 의해서 나사 로드(40) 상에서 차단되고(blocked), 한편, 조절 썸휠(adjustment thumb-wheel, 37)이 스크류의 근위 말단에 접합되고, 그래서 그것의 축상의 움직임은 부품들(37, 38, 및 39)의 말단-스톱 협동작용(end-stop cooperation)에 의해 제한되고, 한편, 그것의 자유로운 회전은 조절 썸휠을 작동함으로써 가능하다. 나사 로드(40)는 예컨대 접착성 결합에 의해 로드(10b)의 근위 말단에 고정된 너트(nut, 41)에서 맞물린다.

장비의 작동은 다음과 같다. 상술한 바와 같은 예비-조절(pre-adjustment)에 잠재적으로 이어서, 안경 프레임이 사용자의 머리에서 조절된다. 카메라(33)에 의해 캡쳐되는 이미지들의 샤프니스(sharpness)의 미세 조절이 썸휠(37)을 수단으로 하여 사용자에 의해서 수행된다:

- 최초의 미리 정해진 방향으로 썸휠(37)을 회전시키는 것은 부품(41)이 부품(38)에 더욱 가까워지게 한다. 하지만, 부품들(41, 36c, 35a, 35b, 및 33)이 함께 단단히 고정되어 있어서, 카메라가 사용자의 눈에 더욱 가까워지게 된다.

- 최초의 미리 정해진 방향에 반대되는 방향으로 썸휠을 회전시키는 것은 부품(41)이 부품(38)으로부터 더욱 멀어지게 한다. 하지만, 부품들(41, 36c, 35a, 35b, 및 33)이 함께 단단히 고정되어 있어서, 카메라가 사용자의 눈으로부터 더욱 멀어지게 된다.

이러한 배열 덕분에, 카메라(33)를 사용자의 눈의 위치에 더욱 가까워지게 하는 것 또는 사용자의 눈의 위치로부터 더욱 멀어지게 하는 것, 그래서 초점을 조정하는 것은 도 4에 도시된 바와 같이 귀 근처에서, 다시 말해 주체의 머리에 대해 고정된 위치에서 암(32)의 근위 말단에 배치된 썸휠(37)의 단순한 회전에 의해 한 손으로 용이하게 수행되고, 썸휠을 조정하는 것이 결과적으로 유지될 필요가 없는 원하지 않는 방식으로 상기 장치의 전체 조립체를 움직이도록 할 위험을 낳지 않는다.

게다가, 장비는 제1 광원(L1)을 포함하는데, 이것은 눈을 향하여 겨냥되고, 비디오 카메라의 대물 렌즈(objective lens) 근처에 배치된다. 이것은 카메라(33)의 바디(body)상에 직접 고정된다. 이 제1 광원은 바람직하게는 적외선 파장의 복사선을 방출하는 LED로 구성되고, 이것은 이하에서 "푸르킨예(Purkinje)" LED로 언급된다. 필요한 경우에, 특히 어두운 장소에서 시스템을 사용하는 경우를 위해서 광원(L1)과 동일한 방식으로, 눈을 향하여 겨냥되고 비디오 카메라의 대물 렌즈 근처에 배치된 적외선 LED 타입의 제2 광원(L2)이 추가될 수 있다.

도 1에 도시된 본 발명에 따른 시스템의 실시 예는 또한, 장면 카메라에 구비된 마이크로폰(microphone)으로부터 오는 오디오 신호가 수신될 수 있도록 하는 오디오 입력 인터페이스(53)와 함께, 사용자 위에 배치된 휴대 장비의 비디오 카메라(33)에 의해 캡쳐된 비디오 신호를 수신하기 위한 제1 비디오 입력 인터페이스(51), 및 장면 카메라(14)에 의해 캡쳐된 비디오 신호를 수신하기 위한 제2 비디오 입력 인터페이스(52)를 포함하는 처리 유닛(processing unit, 50)을 도시한다. 처리 유닛은 또한 적어도 하나의 비디오 출력 인터페이스(54) 및 하나의 오디오 출력 인터페이스(55)를 포함한다.

그래서, 장면 카메라(14)가, 지지 장치(supporting device, 10)에 배치되어 사용자에 의해 응시되는 이동 전화의 스크린의 이미지들을 캡쳐하는 경우에, 스크린의 이미지들은 처리 유닛의 비디오 입력 인터페이스(52)에 연결된 링크(link)를 이용해서 비디오 신호의 형태로 처리 유닛(50)으로 전송되고, 처리 유닛의 적절한 저장 수단에 저장된다. 장면 카메라가 없는 상술한 변형 실시 예에 따르면, 처리 유닛(50)의 비디오 입력 인터페이스(52)는 장치(10)의 거치대에 수용되는 이동 단말기의 비디오 출력에 연결되도록 설계되고, 한편, 오디오 입력 인터페이스(53)는 별도의 마이크로폰에 연결될 수 있다. 그러므로, 이러한 변형례에 있어서, 사용자에 의해 응시되는 스크린의 비디오 녹화는 이동 단말기로부터의 비디오 출력에 의해서 이동 단말기 그 자체에 의해서 직접 공급된다.

게다가, 사용자의 머리에 배열된 휴대 장비의 비디오 카메라(33)가 사용자의 눈의 이미지들을 캡쳐하는 경우에, 사용자의 눈의 이미지들은 처리 유닛의 비디오 입력 인터페이스(51)에 연결된 링크를 이용해서 비디오 신호의 형태로 처리 유닛(50)에 전송되고, 처리 유닛의 적절한 저장 수단에 저장된다.

하지만, 하나의 바람직한 실시 예에서, 시스템은 휴대 장비의 비디오 카메라(33)에 의한 비디오 신호의 캡쳐와 "푸르킨예(Purkinje)" LED 및 레퍼런스 LED들의 점등을 동기화하기 위한 추가적인 모듈(60)을 포함한다. 이 모듈은 비디오 카메라(33)와 처리 유닛(50) 사이에 개재되는데(interposed): 이것은 휴대 장비의 카메라(33)에 의해 획득된 비디오 신호를 수신하기 위한 비디오 입력 인터페이스(61) 및 비디오 출력 인터페이스(62)를 포함한다. 이것은 또한 "푸르킨예(Purkinje)" LED 및 레퍼런스 LED들의 점등(illumination) 및 소등(extinction)을 동기화된 방식으로 제어하도록 설계된 LED들에 파워를 공급하기 위한 수단(63)을 포함한다.

그래서, 본 바람직한 실시 예에 따르면, 사용자의 머리에서 조절되는 휴대 장비의 비디오 카메라(33)가 사용자의 눈의 이미지들을 캡쳐하는 경우에, 눈의 이미지들은 동기화 모듈의 비디오 입력 인터페이스(61)에 연결된 링크를 이용해서 비디오 신호의 형태로 동기화 모듈(synchronization module, 60)로 전송되고, 처리(processing)를 위해 동기화 모듈의 적절한 저장 수단에 저장된다. 동기화 모듈에 의한 비디오 신호의 처리와 병행해서, 이 비디오 신호는 동기화 모듈의 비디오 출력 인터페이스(62)를 처리 유닛(50)의 비디오 입력 인터페이스(51)에 연결시키는 링크를 이용해서, 비디오 입력 인터페이스(61)에 수신되었던 것과 같이 변형 없이, 처리 유닛(50)으로 재전송된다.

동기화 모듈(60)의 역할은 수신된 비디오 신호에 포함된 동기화 신호를 검출하는 것, 및 LED들의 점등을 이미지의 캡쳐와 동기화하는 방식으로 "푸르킨예(Purkinje)" LED 및 레퍼런스 LED들의 점등을 상기 동기화 신호의 함수로서 제어하는 것이다. 더욱 구체적으로는, 네 개의 레퍼런스 LED들(16a 내지 16d) 및 "푸르킨예(Purkinje)" LED(L1)는 휴대 장비의 카메라(33)에 의해 캡쳐된 눈의 이미지들에 대해 두 개 중 하나의 이미지의 비율로 동기화되는 방식으로 번쩍이도록(flash) 동기화 모듈에 의해 제어된다. '동기화되는(synchronous)'이라는 용어는, 비디오 신호가 휴대 장비의 카메라(33)에 의해 기록되는 경우에, LED들이 예컨대 홀수 번호의 이미지들의 기록 동안 온(ON)이 되는 반면, 짝수 번호의 이미지들의 기록 동안 오프(OFF)가 된다는 사실을 의미하기 위해 사용된다. 실제로 두 개 중에 하나의 이미지에 대해서만 LED들이 온(ON)이 된다는 사실은 결과로 얻어지는 눈의 이미지에서 LED들의 빛 반사(light reflection)의 유효 위치가 더 잘 구별될 수 있도록 할 것이다.

더욱 구체적으로는, 하나의 실시 예에 따라서, 동기화 모듈은, 카메라(33)의 비디오 신호로부터 이 비디오 신호의 짝수- 및 홀수-번호의 프레임 동기화 큐(frame synchronization cue)에 관한 제1 정보를 추출하기 위하여, 그리고 이 정보를 비디오 신호에 의해 반환되는 짝수- 및 홀수-번호의 이미지 큐(image cue)에 관한 비디오 신호로부터 추출된 제2 정보의 검출을 기초로 하여 처리하기 위하여, 전자적 구성요소들을 이용한다. 이미지는 두 개의 프레임들(홀수-번호의 프레임 및 짝수-번호의 프레임)로 구성되고, 비디오 스트림은 홀수-번호의 이미지들(1, 3, 5 등으로 번호가 매겨짐)의 그룹 및 짝수-번호의 이미지들(2, 4, 6 등으로 번호가 매겨짐)의 그룹을 포함하는 1부터 무한대까지 번호가 매겨진 일련의 이미지들로 구성된다는 점이 상기된다. 그러므로, 두 개의 이미지들이 서로 이어지는 경우에 하나는 홀수를 가지고 다른 하나는 필연적으로 짝수를 가진다.

카메라(33)로부터 오는 비디오 신호의 이러한 처리는 예컨대, 카메라가 캡쳐하고 있는 홀수-번호의 프레임의 장면을 비추는 것과 등가적인(equivalent) 것인, 홀수-번호의 이미지의 홀수-번호의 프레임이 식별되는 순간에 LED들을 켜는 것을 위해, 홀수-번호의 이미지의 홀수-번호의 프레임이 비디오 신호에서 식별될 수 있도록 하는 이 정보를 기초로 해서 동기화 모듈에 의해 수행되는 계산에 해당할 수 있다. 이러한 식으로, LED들의 점등의 지속시간(duration)은 단일 프레임의 시간(즉, 하프-이미지(half-image)의 시간)과 엄밀하게 동일하다. LED들의 점등은 홀수-번호의 프레임의 지속시간 동안에만 수행되고, 완전한 이미지의 시작에서 개시되기 때문에, 점등은 반드시 하나의 완전한 이미지에 대해서 발생할 것이고 이어지는 이미지상으로 중복될(overlap) 수 없을 것이라는 점이 확실하다. 이러한 목적을 위해서, 동기화 모듈은 처리 수단(processing means)을 구현하는데, 이 처리 수단은 이 비디오 신호의 짝수- 및 홀수-번호의 프레임 동기화 큐에 관한 정보의 제1 조각(piece)을 추출할 수 있고, 비디오 신호에 의해 반환되는 짝수- 및 홀수-번호의 이미지 큐에 관한 정보의 제2 조각을 획득하도록 이러한 제1 정보를 처리할 수 있고, LED들에 파워를 공급하는 모듈로 보내질 LED들의 점등/소등을 위한 명령어를 결정하는 방식으로 획득된 홀수-번호의 이미지들과 홀수-번호의 프레임들 사이에서 AND 논리 타입의 연산을 수행할 수 있다.

변형례로서, 짝수- 및 홀수-번호의 이미지들을 위한 동기화 신호가 직접 복구될(recovered) 수 있도록 하는 디지털 카메라가 이용될 수 있다는 점이 주목되어야 한다. 실제로, 이러한 디지털 카메라들은 유익하게는 비디오 신호로부터 이미지 동기화 큐를 추출할 필요 없이 이미지 동기화 큐가 입수가능하도록 한다.

동기화 모듈 및 그 동작 원리는 특허 문헌 FR 2 937 428에서 설명되어 있는바, 독자들은 더욱 상세한 내용들에 대해서 이를 유용하게 참조할 수 있을 것이다.

방금 상술한 바와 같은 시스템의 동작은 한편으로는 사용자 눈의 고유 파라미터(intrinsic parameter)들의 캘리브레이션(calibration)(원칙적으로 각각의 사용자는 서로 다른 눈을 가짐) 및 장면 카메라(14)의 영역(field)에서 트레이(12)의 배치 파라미터(positioning parameter)들의 캘리브레이션을 요한다. 이러한 목적을 위해서, 도 6에서 도시된 바와 같이, 장치(10)의 트레이(12) 상에 배치된 테스트 패턴(test pattern, 70)이 이용된다. 테스트 패턴(70)은 플레이트(71)의 형태를 취하고, 그 위로 다섯 개의 캘리브레이션 LED들(72)이 미리 정의된 기하학적 형상에 따라서 고정되어 사용자의 눈을 향하여 빛을 방출하고, 처음에 그 위에서 휴대 장비(30)가 조절된다. 예를 들어, 네 개의 LED들이 정사각형을 형성하도록 플레이트(71) 상에 배치되고, 다섯 번째 LED는 정사각형의 중앙에 배치되고, 후자는 도 6의 상면도에서 카메라(14)에 의해 가려져 있다. 사용된 캘리브레이션 LED들(72)은 이들이 켜질 때 육안으로 알아볼 수 있는 색, 바람직하게는 붉은 색으로 이루어진 LED들이다.

도 6의 예에 따라서, 플레이트(71)는 두 개의 홀(hole)들(73, 74)을 가지는데, 캘리브레이션 작업 동안 플레이트(71)가 트레이(12)에 대해서 완벽하게 중앙에 위치하고, 트레이(12)에 단단히 고정되도록, 플레이트(71)가 트레이(12)에 배치될 때 두 개의 레퍼런스 LED들(16a, 16b)이 홀(hole)들(73, 74)을 통과한다.

다섯 개의 캘리브레이션 LED들(72)의 점등은, 플레이트의 캘리브레이션 LED들을 캘리브레이션 LED들을 위한 파워 공급 제어 유닛(도시되지 않음)에 연결시키는 연결 케이블(connection cable, 75)을 통해서 전송되는 구체적인 전자적 명령에 의해서 개별적으로 수행된다.

캘리브레이션 작업은 더욱 구체적으로는 다섯 개의 번쩍이는(flashing) 캘리브레이션 LED들을 하나씩 바라보는 것으로 이루어진다. 캘리브레이션 작업 동안 캡쳐된 눈의 이미지를 이용함으로써, 사용자의 눈에 의해 주시된 번쩍이는 캘리브레이션 LED들의 각각에 대해 눈의 다양한 위치들 및 각막 반사 지점들이 저장된다. 이러한 다양한 위치들의 저장에 이어서, 눈의 고유 파라미터들이 계산된다. 따라서, 이제 눈의 이미지에서 눈동자의 중앙의 위치와 푸르킨예 스팟의 위치의 코릴레이션(correlation)에 의해 결정된 시선의 방향과 네 개의 레퍼런스 LED들(16a 내지 16d)에 의해 형성된 평면 사이에서 전단사(bijection)를 결정하는 것이 가능하다.

작동 시에, 상술한 바와 같이, 이동 상태에서 사용자에 의해 주시되고 있는 물체를 지지하기 위한 장치(10)의 네 개의 레퍼런스 LED들(16a 내지 16d) 및 사용자의 머리에서 조절되는 휴대 장비(30)의 "푸르킨예(Purkinje)" LED(L1)는 휴대 장비(30)의 비디오 카메라(33)에 의해 캡쳐된 이미지들에 대해 두 개당 하나의 이미지의 비율로 동기화되는 방식으로 번쩍인다. LED들(16a 내지 16d 및 L1)이 켜질 때 이들은 사용자의 눈에서 반사되어, 눈의 캡쳐된 이미지에서 고정된 점(fixed point)이 각막 반사에 의해 획득될 수 있도록 한다. 그래서, 두 개의 연속적으로 캡쳐된 이미지들에 대해서, 두 개의 이미지들 중의 하나는 켜진 LED들의 각막 반사들의 이미지를 포함하고, 다른 이미지는 포함하지 않는다. 카메라(33)로부터 오는 비디오 신호를 수신하는 처리 유닛(50)에 의해 구현되는 역치화(thresholding)에 의한 처리를 가지고 두 이미지들을 차감하기(subtracting) 위한 방법은 결과적으로 얻어지는 이미지가 도 7에 도시된 것과 같이 획득되는 것을 가능하게 하는데, 이것은 LED들의 각막 반사들의 이미지만을 포함한다. 특별한 알고리즘을 이용함으로써, 처리 유닛은 눈의 이미지에서 각막 반사들의 중앙의 위치 및 눈동자의 중앙의 위치를 결정할 수 있다. 거기서부터, 눈에서의 "푸르킨예(Purkinje)" LED의 반사로부터 오는 눈에서의 "푸르킨예(Purkinje)" LED의 각막 반사(P)의 위치 및 눈동자(O)의 중앙의 위치는 시선의 방향이, 즉 응시되고 있는 장면에 대한 눈의 시선의 각도가 눈의 레퍼런스 프레임에서 결정되는 것을 가능하게 한다. 따라서, 계산 후에, 네 개의 레퍼런스 LED들(16a, 16b, 16c, 및 16d)의 각각의 각막 반사들(R1, R2, R3, 및 R4)의 이미지의 위치 및 그래서 측정된 시선의 방향은 지지 장치(10)의 트레이(12)에 배치된 물체의 응시되고 있는 표면상에서 시선의 위치의 정확한 결정을 가능하게 할 것이다.

실제로, 눈의 이미지에서 네 개의 레퍼런스 LED들(16a 내지 16d)의 각막 반사들의 중앙의 위치의 결정은 눈의 표면상에서 응시되고 있는 표면의 위치에 대한 시선의 위치를 눈의 레퍼런스 프레임에서 결정하는 것을 가능하게 한다. 이후, 레퍼런스 프레임을 변경함으로써, 응시되고 있는 표면의 평면에 대응하는 네 개의 레퍼런스 LED들(16a 내지 16d)에 의해 형성된 평면을 정의하는 장면 카메라(14)의 레퍼런스 프레임에서의 시선의 위치를 이로부터 추론하는 것이 가능하다. 그래서, 응시되고 있는 평면에서 결정된 시선의 위치는 이러한 시선의 위치를 나타내는 커서를 장면 비디오에서 디스플레이하기 위해 이용된다. 이러한 목적을 위해서, 처리 유닛은 두 개의 비디오 신호들의 대응하는 중요한 순간들을 시간 맞춰 조절하기 위하여 휴대 장비의 비디오 카메라 및 장면 카메라로부터 각각 오는 비디오 신호들의 사전(prior) 동기화를 적용한다.

본 발명의 수단, 특히 이동 상태에서 물체를 지지하기 위한 장치 덕분에, 응시되고 있는 표면의 이미지는 장면 비디오에서 동일한 장소에 항상 위치할 것이고, 레퍼런스 LED들은 계산 이후에 응시되고 있는 표면의 이미지에 대한 사용자의 시선의 위치가 결정될 수 있도록 한다. 이런 이유로, 실제 이동성의 맥락에서 이러한 이동 전화의 주어진 사용 기간 동안 주시 및 촬영되고 있는 것과 같은 사용자 인터페이스는 장면 비디오에서 항상 동일한 위치에 있을 것이고 시선의 포인트만이 사용자 인터페이스의 이미지에 대해 이동할 것이기 때문에, 예컨대 이동 전화의 사용자 인터페이스의 관심 영역들의 맵(map)들은 훨씬 더 손쉽게(readily) 생성될 수 있다.

Claims (22)

1. 사용자에 의해 응시되는 이동 단말기(20)의 디스플레이 표면(21)에 대한 사용자의 시선(gaze)을 추적하기 위한 방법으로서,
   응시되고 있는 디스플레이 표면(display surface being observed)에서 사용자의 시선의 위치를 결정하는 것으로 이루어지고,
   적어도 눈동자의 이미지 및 제1 광원의 각막 반사(corneal reflection)의 이미지를 포함하는 제1 비디오 신호를 수집하기 위해, 사용자의 시선의 축에 배치된 제1 비디오 카메라(33) 및 제1 비디오 카메라(33)의 대물 렌즈 근처에 배치되어 눈을 향해 겨냥된 제1 광원(L1)이 제공되고,
   디스플레이 표면(21)의 이미지들을 포함하는 제2 비디오 신호가 수집되고,
   눈의 레퍼런스 프레임(reference frame)에서 시선의 방향을 제1 광원(L1)의 각막 반사(P)의 중앙에 대한 눈동자(O)의 중앙의 위치의 함수로서 측정하기 위해 제1 비디오 신호가 분석되고,
   응시되고 있는 디스플레이 표면에서의 시선의 위치를 나타내는 커서(cursor)가 눈의 레퍼런스 프레임에서 측정된 시선의 방향의 함수로서 제2 비디오 신호에서 디스플레이되고,
   제2 비디오 신호는 제1 비디오 카메라(33)의 레퍼런스 프레임과는 다른, 응시되고 있는 디스플레이 표면의 레퍼런스 프레임과 연관된 레퍼런스 프레임에서 캡쳐되고(captured),
   복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)은 눈을 향해 겨냥된 제2 비디오 신호의 캡쳐의 레퍼런스 프레임에 위치해 있고, 응시되고 있는 디스플레이 표면과 동일한 평면상의 2차원 어레이(two-dimensional array)를 따라 배치되어, 제1 비디오 카메라(33)에 의해 수집된 제1 비디오 신호가 눈에서의 레퍼런스 광원들의 각막 반사들(R1, R2, R3, R4)의 이미지를 더 포함하고,
   눈에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치를 제공하기 위해 제1 비디오 신호가 분석되고,
   응시되고 있는 디스플레이 표면의 평면에서의 시선의 위치는 눈에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치 및 눈의 레퍼런스 프레임에서 측정된 시선의 방향을 기초로 하여 결정되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 방법.
2. 제 1 항에 있어서,
   눈의 레퍼런스 프레임에서 시선의 위치는 눈에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치를 기초로 하여 눈에서 응시되고 있는 표면의 위치에 대해 결정되고,
   응시되고 있는 디스플레이 표면의 평면에서의 시선의 위치를 눈의 레퍼런스 프레임에서 결정된 시선의 위치의 함수로서 결정하기 위해, 눈의 레퍼런스 프레임과 연관된 좌표계와 응시되고 있는 디스플레이 표면의 평면에 대응하는 복수의 레퍼런스 광원들에 의해 형성된 평면과 연관된 좌표계 간의 변환 관계(conversion relationship)가 이용되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   개시 작업(initial operation)은 제2 비디오 신호의 캡쳐의 레퍼런스 프레임에서 응시되고 있는 표면을 사용자의 눈의 함수로서 배치하는 캘리브레이션(calibration)을 하기 위해 수행되고, 응시되고 있는 표면의 평면과 눈의 이미지 사이의 대응점들(points of correspondence)이 정의될 수 있도록, 응시되고 있는 표면의 평면에 위치한 미리 정의된 테스트 패턴(test pattern)(70)의 설치점(mounting point)들(72)의 각각에서 눈동자의 중앙의 위치를 계산하는 것으로 이루어지는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 방법.
4. 제 1 항 또는 제 2 항에 있어서,
   눈의 조명을 증진시키도록 설계되고, 제1 비디오 카메라(33)의 대물 렌즈의 근처에서 눈을 향해 겨냥된 제2 광원(L2)이 제공되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 방법.
5. 제 1 항 또는 제 2 항에 있어서,
   제2 비디오 신호를 캡쳐하기 위해, 응시되고 있는 디스플레이 표면의 레퍼런스 프레임에 위치한 제2 비디오 카메라(14)가 제공되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 방법.
6. 제 1 항 또는 제 2 항에 있어서,
   제2 비디오 신호는 이동 단말기의 비디오 출력을 이용해서 캡쳐되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 방법.
7. 제 1 항 또는 제 2 항에 따른 방법의 구현을 위해 디스플레이 표면(21)을 갖는 이동 단말기(20), 이동 전화 또는 이와 유사한 물체를 이동 상태에서 지지하기 위한 장치(10)로서,
   상기 장치는 상기 장치를 위한 수동 파지 기구(manual gripping mechanism)를 형성하는 지지 부재(supporting element)(11) 및 지지 부재(11)에 대하여 움직일 수 있게 설치된 트레이(tray)(12)를 포함하고,
   트레이(12)는 디스플레이 표면(21)이 사용자에 의해 응시될 수 있는 사용 위치에서 이동 단말기를 수용하도록 설계된 거치대(accommodation)를 형성하고,
   상기 장치는 지지 부재(11)에 연결된 복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)을 포함하고,
   복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)은 사용자의 눈을 향해 빛을 방출할 수 있고, 거치대에서 수용되도록 의도된 이동 단말기의 디스플레이 표면(21)과 동일한 평면상의 2차원 어레이를 따라 거치대의 주변에 배치되는 것을 특징으로 하는 이동 단말기를 지지하기 위한 장치.
8. 제 7 항에 있어서,
   상기 장치는 복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)을 가지고 있도록 설계된 제1 지지 프레임(17)을 포함하고,
   제1 지지 프레임은 복수의 암(arm)들로 구성되고, 복수의 암들은 복수의 암들의 각각의 첫 번째 말단에서 지지 부재(11)에 설치되고, 복수의 레퍼런스 광원들로부터의 각각의 광원이 복수의 암들의 각각의 두 번째 말단에 설치되는 것을 특징으로 하는 이동 단말기를 지지하기 위한 장치.
9. 제 7 항에 있어서,
   상기 장치는 제2 비디오 카메라(14)를 더 포함하고,
   제2 비디오 카메라(14)는 지지 부재(11)에 부착되고, 응시되고 있는 디스플레이 표면의 이미지들을 캡쳐하기 위해 이동 단말기를 수용하도록 설계된 거치대를 향해 지향될 수 있는 것을 특징으로 하는 이동 단말기를 지지하기 위한 장치.
10. 제 9 항에 있어서,
    상기 장치는 제2 비디오 카메라(14)를 지지하도록 설계된 제2 지지 프레임(15)을 포함하고,
    제2 지지 프레임(15)은 제1 말단에 의해서 지지 부재(11)에 부착된 암을 포함하고, 이동 단말기를 수용하도록 설계된 거치대 위에 위치한 제2 말단까지 제1 말단에서부터 뻗어 있고, 암의 제2 말단은 비디오 카메라를 올바른 방향으로 유지시킬 수 있는 비디오 카메라(14)를 고정하기 위한 수단을 구비하는 것을 특징으로 하는 이동 단말기를 지지하기 위한 장치.
11. 제 7 항에 있어서,
    복수의 레퍼런스 광원들(16a, 16b, 16c, 16d)은 네 개의 발광 다이오드들로 구성되고, 네 개의 발광 다이오드들에서 취해진 임의의 세 개의 발광 다이오드들이 일직선으로 배열되지 않는(non-aligned) 것을 특징으로 하는 이동 단말기를 지지하기 위한 장치.
12. 제 11 항에 있어서,
    발광 다이오드들은 적외선 파장 범위의 복사선(radiation)을 방출하는 것을 특징으로 하는 이동 단말기를 지지하기 위한 장치.
13. 제 7 항에 있어서,
    트레이(12)는, 거치대에서 수용되도록 의도된 이동 단말기의 디스플레이 표면에 대해 랜드스케이프(landscape)라고 지칭되는 위치와 포트레이트(portrait)라고 지칭되는 위치를 각각 정의하는 방식으로, 서로에 대해 실질적으로 수직인 적어도 두 개의 위치들 사이에서 지지 부재(11)에 회전가능하게 설치되고, 위치들 각각에서 트레이를 위한 고정 수단(13)을 포함하는 것을 특징으로 하는 이동 단말기를 지지하기 위한 장치.
14. 이동 상태에서 이동 단말기(20)의 디스플레이 표면에 대한 사용자의 시선을 추적하기 위한 시스템으로서,
    상기 시스템은, 제 7 항에 따른 이동 단말기를 지지하기 위한 장치(10), 사용자에게 부착되는 장비의 휴대용 부품, 및 처리 유닛(50)을 포함하고,
    상기 사용자에게 부착되는 장비의 휴대용 부품은,
    사용자의 머리에 맞춰 조절되도록 설계된 지지체(support)(30),
    지지체(30)에 설치되어 사용자의 시선의 축에서 제1 비디오 카메라(33)를 원위 말단(distal end)에서 운반하는 암(arm)(32), 및
    제1 비디오 카메라(33)의 대물 렌즈 근처에 배치되고, 눈을 향해 겨냥된 제1 광원(L1)을 포함하고,
    상기 처리 유닛(50)은,
    눈동자의 이미지, 눈을 향해 겨냥된 제1 광원(L1)의 각막 반사의 이미지, 및 이동 단말기를 지지하기 위한 장치(10)에 구비된 레퍼런스 광원들(16a, 16b, 16c, 16d) 각각에 대응하는 각막 반사들의 이미지를 포함하는 휴대 장비의 제1 비디오 카메라(33)에 의해 캡쳐된 제1 비디오 신호를 수신할 수 있는 제1 비디오 입력 인터페이스(51),
    사용자에 의해 응시되고 있는 디스플레이 표면의 이미지를 포함하는 제2 비디오 신호를 수신할 수 있는 제2 비디오 입력 인터페이스(52), 및
    제1 광원의 각막 반사의 중앙에 대한 눈동자의 중앙의 위치의 함수로서 눈의 레퍼런스 프레임에서의 시선의 방향을 제1 비디오 신호로부터 측정할 수 있고, 제1 비디오 신호에서의 레퍼런스 광원들의 각막 반사들의 중앙의 위치 및 눈의 레퍼런스 프레임에서 측정된 시선의 방향을 기초로 하여, 응시되고 있는 디스플레이 표면의 평면에서의 시선의 위치를 결정할 수 있는 프로세서 모듈(processor module)을 포함하는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
15. 제 14 항에 있어서,
    이동 단말기를 지지하기 위한 장치(10)는 제2 비디오 신호를 공급하기 위한 제2 비디오 카메라(14)를 포함하고,
    제2 비디오 카메라(14)는 이동 단말기를 지지하기 위한 장치(10)의 지지 부재(11)에 부착되고, 응시되고 있는 디스플레이 표면의 이미지들을 캡쳐하기 위해 이동 단말기를 수용하도록 설계된 거치대를 향해 지향될 수 있고,
    처리 유닛(50)의 제2 비디오 입력 인터페이스(52)는 제2 비디오 카메라(14)의 비디오 출력에 연결되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
16. 제 14 항에 있어서,
    처리 유닛(50)의 제2 비디오 입력 인터페이스(52)는 제2 비디오 신호를 공급할 수 있는 이동 단말기의 비디오 출력에 연결되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
17. 제 14 항에 있어서,
    상기 처리 유닛은 제2 비디오 신호를 공급할 수 있는 비디오 출력 인터페이스(54)를 포함하고,
    응시되고 있는 디스플레이 표면의 이미지들은 프로세서 모듈에 의해 결정된 응시되고 있는 표면의 평면에서의 시선의 위치를 나타내는 커서를 디스플레이하는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
18. 제 14 항에 있어서,
    상기 시스템은 휴대 장비의 제1 비디오 카메라(33)에 의한 제1 비디오 신호의 캡쳐와 제1 광원(L1) 및 레퍼런스 광원들(16a, 16b, 16c, 16d)의 점등을 동기화하기 위한 모듈(60)을 포함하고,
    동기화 모듈은,
    휴대 장비의 제1 비디오 카메라(33)로부터 제1 비디오 신호를 수신할 수 있는 비디오 입력 인터페이스(61),
    제1 광원 및 레퍼런스 광원들의 점등(illumination) 및 소등(extinction)을 동기화하는 방식으로 제어하도록 설계된 파워 공급 수단(63), 및
    휴대 장비의 제1 비디오 카메라에 의해 캡쳐된 이미지들에 대해 두 개 중 하나의 이미지의 비율로 제1 광원 및 레퍼런스 광원들의 점등을 제어하도록 상기 파워 공급 수단을 가지고 구성된 수신된 비디오 신호를 처리하기 위한 수단을 포함하는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
19. 제 14 항에 있어서,
    휴대 장비의 지지체(30)에 설치된 암(32)은 제1 비디오 카메라를 올바른 방향으로 유지하기 위한 회전방지 수단(anti-rotation means)(35a, 35b, 36a, 36b)을 구비한 텔레스코픽 암(telescopic arm)(35a, 36a)인 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
20. 제 19 항에 있어서,
    텔레스코픽 암은 연결되어 있는 슬라이딩 평행 로드(linked sliding parallel rod)들(36a, 36b)을 포함하고, 상기 로드들(36a, 36b) 중의 적어도 하나는 암의 근위 말단(proximal end)에서 슬라이딩 제어(sliding control)를 갖는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
21. 제 14 항에 있어서,
    휴대 장비의 지지체(30)는 두 개의 브랜치(branch)들을 가진 안경(spectacle) 프레임이고, 암(32)들은 프레임의 브랜치들 중의 하나에 고정되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.
22. 제 14 항에 있어서,
    휴대 장비의 지지체(30)에 설치된 암(32)들은 제2 광원(L2)을 운반하고,
    제2 광원(L2)은 제1 비디오 카메라(33)의 대물 렌즈 근처에서 눈을 향해 겨냥되고, 눈의 조명을 증진시키도록 설계되는 것을 특징으로 하는 사용자의 시선을 추적하기 위한 시스템.

Images