KR101564967B1 - 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법 - Google Patents

아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법 Download PDF

Info

Publication number
KR101564967B1
KR101564967B1 KR1020140031326A KR20140031326A KR101564967B1 KR 101564967 B1 KR101564967 B1 KR 101564967B1 KR 1020140031326 A KR1020140031326 A KR 1020140031326A KR 20140031326 A KR20140031326 A KR 20140031326A KR 101564967 B1 KR101564967 B1 KR 101564967B1
Authority
KR
South Korea
Prior art keywords
user
pupil
interest
image
environment
Prior art date
Application number
KR1020140031326A
Other languages
English (en)
Other versions
KR20150108282A (ko
Inventor
조택연
윤자정
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020140031326A priority Critical patent/KR101564967B1/ko
Publication of KR20150108282A publication Critical patent/KR20150108282A/ko
Application granted granted Critical
Publication of KR101564967B1 publication Critical patent/KR101564967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에 관한 것으로서, 보다 구체적으로는 사용자 시선 방향의 환경 영상을 획득하는 환경 관찰 카메라 및 사용자의 동공 위치를 획득하는 동공 관찰 카메라를 포함하는 아이 트래킹 모듈; 상기 환경 영상 위에 상기 동공 위치를 동일한 위상으로 결합하여 중첩시키는 영상 중첩 모듈; 및 상기 영상 중첩 모듈에 의해 중첩된 영상으로부터, 상기 사용자의 동공이 위치한 대상을 상기 사용자의 관심 대상으로 파악하는 분석 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명은 아이 트래킹을 이용한 사용자 관심 대상 파악 방법에 관한 것으로서, 보다 구체적으로는 (1) 환경 관찰 카메라로부터 사용자 시선 방향의 환경 영상을 획득하고, 동공 관찰 카메라에서 사용자의 동공 위치를 획득하는 단계; (2) 상기 획득한 환경 영상 및 동공 위치를 동일한 위상으로 결합하여 중첩시키는 단계; 및 (3) 상기 중첩된 영상으로부터 상기 환경 영상에서 사용자의 동공이 위치한 대상을 사용자의 관심 대상으로 파악하는 단계를 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법에 따르면, 환경 관찰 카메라로부터 사용자 시선 방향의 환경 영상을 획득하고, 동공 관찰 카메라에서 사용자의 동공 위치를 획득하여, 환경 영상과 동공 위치를 동일한 위상으로 중첩시킨 영상으로부터 사용자의 관심 대상을 파악함으로써, 환경 관찰 카메라 및 동공 관찰 카메라가 구비된 웨어러블 컴퓨터를 통해 쉽고 정확하게 사용자 관심 대상을 파악할 수 있다.
또한, 본 발명에 따르면, 사용자의 관심 대상과 대응되는 부가 정보를 제공함으로써, 사용자의 관심 대상과 관련된 부가 정보를 실시간으로 제공하면서, 웨어러블 컴퓨터를 통해 사용자가 직관적으로 이해할 수 있도록 부가 정보를 제공할 수 있으므로 사용자의 만족도를 극대화할 수 있다.

Description

아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법{SYSTEM AND METHOD TO IDENTIFY USER INTEREST USING EYE TRACKING}
본 발명은 사용자의 관심 대상을 파악하기 위한 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법에 관한 것이다.
아이 트래킹이란 사용자가 어느 위치를 응시하고 있는지를 파악하는 방법으로, 장점으로는 기존 마우스 작동 방법 프로토콜과의 유사성, 바라보는 곳을 바로 포인팅 할 수 있다는 신속성, 손이 불편한 사용자에게 입력 장치 역할을 할 수 있다는 편의성, 가상현실 환경에서 사용자의 시선 방향에 따라 뷰(view) 화면을 조정함으로써 제공하는 몰입감 등이 있을 수 있다.
현재 아이 트래킹 방법은 크게 스킨 전극(skin electrodes) 기반 방법, 콘택트렌즈(contact lens) 기반 방법, 머리 장착형 디스플레이(head mounted display) 부착 기반 방법 및 데스크톱 기반 방법으로 나누어져 있다.
이 중, 스킨 전극 기반 방법은 사용자 눈 주변에 전극(electrode)을 부착하여 망막(retina)과 각막(cornea) 사이의 전위차를 측정하고, 측정된 전위차를 통해 응시위치를 계산하는 방법으로, 양 눈의 응시위치를 모두 파악할 수 있는 점과, 저렴한 가격, 간편한 사용방법을 장점으로 가진다. 그러나 스킨 전극 기반 방법은 가로세로 방향의 움직임이 제한적이어서 정확성이 떨어진다는 단점이 있다.
한편, 콘택트렌즈 기반 방법은 각막에 미끄러지지 않는 렌즈를 부착하고 이곳에 자기장 코일이나 거울을 부착하여 응시위치를 계산하는 방법으로, 정확성이 높은 장점을 가진다. 그러나 콘택트렌즈 기반 방법은 사용이 불편하고 눈의 깜박거림이 자유롭지 못하며, 계산이 가능한 범위가 제한되어 있다는 단점이 있다.
그리고 머리 장착형 디스플레이 부착 기반 방법은 헤드 밴드 또는 헬멧 밑에 작은 카메라를 장착하여 응시 위치를 계산하는 방법으로, 사용자의 머리 움직임에 관계없이 응시위치를 계산할 수 있는 장점을 가진다. 그러나 머리 장착형 디스플레이 부착 기반 방법은 밴드나 헬멧 착용이 불편하고 카메라가 눈높이보다 아래에 기울어져 있어 눈의 상하 움직임에 민감하지 못하다는 단점이 있다.
마지막으로 데스크톱 기반 방법은 사용자의 몸에 시선추적 장치를 착용하는 기존의 방법들과는 달리 외부에 회전 및 줌 기능을 가지는 카메라와 조명을 장치하여 응시위치를 계산하는 방법으로, 사용자의 머리 등에 장치를 부착하지 않으므로 사용 편의성이 높다는 장점이 있다. 그러나 데스크톱 기반 방법은 제작 단가가 높고, 복잡한 시선 추적 알고리즘이 요구되며, 추가로 카메라와 모니터 간의 위치관계 정립을 위한 복잡한 교정(calibration)이 요구되는 단점이 있다.
이와 같이 현재 제시되고 있는 아이 트래킹 방법들은 저렴한 가격 및 간편한 사용방법을 제공하는 경우 그 정확성이 떨어지는 문제점을 가지며, 스테레오 카메라, 팬&틸트(pan&tilt) 등과 같은 고가의 많은 하드웨어 장비들로 정확성을 높이는 경우 큰 부피와 무게, 높은 가격 및 많은 단계의 영상처리를 요구하여 저 사양 시스템에서는 적용이 불가능하다는 문제점을 가진다.
또한, 현재 제시되고 있는 아이 트래킹 방법들은 사용자 시선을 가리지 않도록 하기 위해 대부분 사용자 눈높이 아래에 카메라를 위치시킴에 따라, 동공의 상하 움직임에 민감하게 반응하지 못하며, 아이 트래킹 장치가 하나의 단말에 종속되도록 설계되고 있어 다른 환경과는 호화되지 못하는 문제점을 가진다.
본 발명과 관련된 선행기술로서, 사용자의 눈동자를 추적하는 아이 트래킹 기능을 기반으로 단말기의 사용자 기능을 보다 효율적이며 적응적으로 운용할 수 있도록 지원하는 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기가 개시된바 있다(공개특허 제10-2013-0059768호).
그러나 이와 같은 단말기는, 시선 각도 등의 파악을 통해 아이 트래킹을 수행하기 때문에 정확도가 낮은 한계가 있다. 또한, 아이 트래킹을 기반으로 사용자 기능 운영 방법 등을 지원하므로, 기능 운영 이외에 사용자가 관심 있는 대상을 추출하기는 어렵고, 이러한 관심 대상을 이용해 부가적인 서비스를 제공하는 데에 활용하기에는 한계가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 환경 관찰 카메라로부터 사용자 시선 방향의 환경 영상을 획득하고, 동공 관찰 카메라에서 사용자의 동공 위치를 획득하여, 환경 영상과 동공 위치를 동일한 위상으로 중첩시킨 영상으로부터 사용자의 관심 대상을 파악함으로써, 환경 관찰 카메라 및 동공 관찰 카메라가 구비된 웨어러블 컴퓨터를 통해 쉽고 정확하게 사용자 관심 대상을 파악할 수 있는, 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자의 관심 대상과 대응되는 부가 정보를 제공함으로써, 사용자의 관심 대상과 관련된 부가 정보를 실시간으로 제공하면서, 웨어러블 컴퓨터를 통해 사용자가 직관적으로 이해할 수 있도록 부가 정보를 제공할 수 있으므로 사용자의 만족도를 극대화할 수 있는, 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템은,
사용자 시선 방향의 환경 영상을 획득하는 환경 관찰 카메라 및 사용자의 동공 위치를 획득하는 동공 관찰 카메라를 포함하는 아이 트래킹 모듈;
상기 환경 영상 위에 상기 동공 위치를 동일한 위상으로 결합하여 중첩시키는 영상 중첩 모듈; 및
상기 영상 중첩 모듈에 의해 중첩된 영상으로부터, 상기 사용자의 동공이 위치한 대상을 상기 사용자의 관심 대상으로 파악하는 분석 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 아이 트래킹 모듈은,
사용자의 신체에 착용되는 안경 형태의 웨어러블 컴퓨터에 구비되며, 사용자의 시선 방향으로 상기 웨어러블 컴퓨터에 구비된 환경 관찰 카메라 및 사용자의 동공 방향으로 상기 웨어러블 컴퓨터에 구비된 동공 관찰 카메라를 포함할 수 있다.
바람직하게는, 상기 환경 관찰 카메라는,
가변 초점 카메라를 포함하며, 초점 거리를 변화시켜 상기 분석 모듈에 의해 파악된 상기 사용자의 관심 대상을 확대한 환경 영상을 획득할 수 있다.
바람직하게는,
상기 동공 관찰 카메라는, 상기 사용자의 동공 변화를 더 획득하며,
상기 분석 모듈은, 상기 획득한 사용자의 동공 변화로부터 상기 파악한 관심 대상에 대한 관심 정도를 추출할 수 있다.
바람직하게는, 상기 분석 모듈은,
상기 환경 영상을 분석하여 상기 환경 영상에 포함된 객체를 구분하고, 상기 구분된 객체 중 적어도 하나를 상기 관심 대상으로 파악할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 방법은,
(1) 환경 관찰 카메라로부터 사용자 시선 방향의 환경 영상을 획득하고, 동공 관찰 카메라에서 사용자의 동공 위치를 획득하는 단계;
(2) 상기 획득한 환경 영상 및 동공 위치를 동일한 위상으로 결합하여 중첩시키는 단계; 및
(3) 상기 중첩된 영상으로부터 상기 환경 영상에서 사용자의 동공이 위치한 대상을 사용자의 관심 대상으로 파악하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)는,
(2-1) 상기 수신한 환경 영상을 분석하여 상기 환경 영상에 포함된 객체를 구분하는 단계; 및
(2-2) 상기 객체가 구분된 환경 영상 위에 동공 위치를 동일한 위상으로 결합하여 중첩시키는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (3)에서는,
상기 중첩된 영상으로부터 상기 구분된 객체 중 적어도 하나를 상기 관심 대상으로 파악할 수 있다.
바람직하게는, 상기 단계 (3) 이후에는,
상기 파악된 관심 대상에 대응하는 부가 정보를 제공하되, 상기 환경 영상으로부터 추출된 사용자의 상황 정보에 따라 상기 부가 정보를 제공하는 단계를 더 포함할 수 있다.
본 발명에서 제안하고 있는 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법에 따르면, 환경 관찰 카메라로부터 사용자 시선 방향의 환경 영상을 획득하고, 동공 관찰 카메라에서 사용자의 동공 위치를 획득하여, 환경 영상과 동공 위치를 동일한 위상으로 중첩시킨 영상으로부터 사용자의 관심 대상을 파악함으로써, 환경 관찰 카메라 및 동공 관찰 카메라가 구비된 웨어러블 컴퓨터를 통해 쉽고 정확하게 사용자 관심 대상을 파악할 수 있다.
또한, 본 발명에 따르면, 사용자의 관심 대상과 대응되는 부가 정보를 제공함으로써, 사용자의 관심 대상과 관련된 부가 정보를 실시간으로 제공하면서, 웨어러블 컴퓨터를 통해 사용자가 직관적으로 이해할 수 있도록 부가 정보를 제공할 수 있으므로 사용자의 만족도를 극대화할 수 있다.
도 1은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 각 모듈을 포함하는 디바이스의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 각 모듈을 포함하는 디바이스의 구성을 도시한 도면.
도 4는 본 발명의 다른 실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 각 모듈을 포함하는 디바이스의 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 환경 관찰 카메라를 포함하는 웨어러블 컴퓨터를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 동공 관찰 카메라를 포함하는 웨어러블 컴퓨터를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 아이 트래킹 모듈에 의해 독서 내용을 감지하는 과정을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 중첩된 영상에서 관심 대상을 파악하는 영상을 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 웨어러블 컴퓨터를 착용한 사용자의 시선으로 확인되는 부가 정보의 출력 상태를 예를 들어 도시한 도면.
도 10은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 방법의 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 방법이, 부가 정보 제공 모듈을 더 포함하는 시스템에서 구현되는 과정의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템은, 아이 트래킹 모듈(100), 영상 중첩 모듈(200) 및 분석 모듈(300)을 포함하여 구성될 수 있으며, 부가 정보 제공 모듈(400)을 더 포함하여 구성될 수 있다.
즉, 본 발명은, 아이 트래킹 모듈(100)이 환경 관찰 카메라(110) 및 동공 관찰 카메라(120)를 포함하고, 환경 관찰 카메라(110)에서 획득한 환경 영상과 동공 관찰 카메라(120)에서 획득한 동공 위치를 영상 중첩 모듈(200)에서 동일한 위상으로 결합하여 중첩시키며, 분석 모듈(300)이 중첩된 영상으로부터 사용자의 관심 대상을 파악할 수 있다. 또한, 부가 정보 제공 모듈(400)을 더 포함하여, 분석 모듈(300)에 의해 파악된 사용자의 관심 대상과 대응되는 부가 정보를 사용자에게 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 각 모듈을 포함하는 디바이스의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템을 구성하는 각 구성요소는, 웨어러블 컴퓨터(10)와 서비스 서버(20)에 구비되어, 웨어러블 컴퓨터(10) 및 서비스 서버(20)와의 통신을 통해 구현될 수 있다. 본 발명에서는, 사용자가 책(30)을 읽는 과정에서 사용자의 관심 대상을 파악하는 과정을 예를 들어 상세히 설명하도록 한다.
한편, 웨어러블 컴퓨터(10)는, 사용자의 신체에 착용되며 아이 트래킹 모듈(100)을 구비할 수 있다. 또한, 웨어러블 컴퓨터(10)는 인터넷, 인트라넷, 유무선 통신망, 이동통신망 등을 포함하는 네트워크를 통해 서비스 서버(20)에 접속할 수 있다. 웨어러블 컴퓨터(10)는 이와 같은 통신 기능을 이용해, 서비스 서버(20)에 수집된 정보를 전송하고 서비스 서버(20)가 전송하는 정보를 수신하여 출력하는 등, 각종 신호 및 데이터를 송수신할 수 있다. 즉, 웨어러블 컴퓨터(10)는, 사용자와 서비스 서버(20)를 상호 매개하여, 사용자의 관심 대상을 파악하고 그에 따른 적절한 서비스를 제공하도록 할 수 있다.
본 발명의 웨어러블 컴퓨터(10)는, 도 2에 도시된 바와 같이 안경의 형태로 구현될 수 있으나, 그밖에 시계와 같이 몸에 착용할 수 있는 형태나 의복에 부착하여 사용하는 형태의 웨어러블 컴퓨터(10)가 있을 수도 있다. 또한, 본 발명의 웨어러블 컴퓨터(10)는 근거리통신장치를 가진 웨어러블 디바이스와 휴대용 디지털 기기를 연결하여 구성될 수도 있다.
다만, 본 발명의 웨어러블 컴퓨터(10)가 도 2에 도시된 바와 같은 단말기의 형태에 한정되는 것은 아니며, 사용자의 착용에 의해 사용자의 시선을 추적하고 관심 대상을 파악할 수 있다면, 구체적인 단말기의 형태에 관계없이 본 발명의 웨어러블 컴퓨터(10)의 역할을 얼마든지 할 수 있다.
도 3은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 각 모듈을 포함하는 디바이스의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서는, 웨어러블 컴퓨터(10)가 아이 트래킹 모듈(100)을 포함하고, 서비스 서버(20)가 영상 중첩 모듈(200) 및 분석 모듈(300)을 포함하여 구성될 수 있으며, 서비스 서버(20)는 부가 정보 제공 모듈(400)을 더 포함할 수도 있다.
도 4는 본 발명의 다른 실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 각 모듈을 포함하는 디바이스의 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서는, 웨어러블 컴퓨터(10)가 아이 트래킹 모듈(100) 이외에 영상 중첩 모듈(200) 및 분석 모듈(300)을 포함하여, 웨어러블 컴퓨터(10) 자체에서 환경 영상 및 동공 위치를 획득하고 중첩하는 등, 사용자의 관심 대상 파악 프로세스를 모두 처리할 수 있다. 서비스 서버(20)는 부가 정보 제공 모듈(400)을 포함하여, 사용자의 관심 대상에 대응되는 부가 정보를 제공할 수 있다.
도 3 및 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서는, 웨어러블 컴퓨터(10)와 서비스 서버(20)가 시스템을 구성하는 각 모듈을 포함함으로써, 다양한 방법으로 구현될 수 있다. 즉, 도 3 및 도 4에 도시된 바와 같은 구성 이외에도, 웨어러블 컴퓨터(10)가 아이 트래킹 모듈(100) 및 영상 중첩 모듈(200)을 포함하고, 서비스 서버(20)가 분석 모듈(300) 및 부가 정보 제공 모듈(400)을 포함하는 등으로 다양한 구성이 가능하다.
이하에서는, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하도록 한다.
아이 트래킹 모듈(100)은, 사용자 시선 방향의 환경 영상을 획득하는 환경 관찰 카메라(110) 및 사용자의 동공 위치를 획득하는 동공 관찰 카메라(120)를 포함할 수 있다. 아이 트래킹 모듈(100)은, 환경 관찰 카메라(110)와 동공 관찰 카메라(120)를 동기화하여, 동기화된 환경 관찰 카메라(110) 및 동공 관찰 카메라(120)로부터 환경 영상 및 동공 위치를 각각 획득함으로써, 획득한 환경 영상과 동공 위치가 동일한 위상을 갖도록 할 수 있다. 도 3 및 도 4에 도시된 바와 같이, 아이 트래킹 모듈(100)은, 사용자의 신체에 착용되는 안경 형태의 웨어러블 컴퓨터(10)에 구비될 수 있다.
환경 관찰 카메라(110)는, 사용자 시선 방향의 환경 영상을 획득할 수 있다. 즉, 환경 관찰 카메라(110)는 사용자의 시선과 동기화되어 주변 환경의 영상 정보를 획득할 수 있다. 또한, 이하에서 상세히 설명할 동공 관찰 카메라(120)와 연동하여 실시간으로 사용자의 동공 위치를 수신하고, 수신한 동공 위치에 따라 환경 관찰 카메라(110)를 조절하여 관찰 대상을 변경함으로써, 사용자의 동공 위치에 대응하는 주변 환경의 환경 영상을 획득할 수도 있다.
또한, 환경 관찰 카메라(110)는 하나 이상의 초점을 갖는 하나 이상의 카메라로 구성될 수 있으며, 가변 초점 카메라를 포함할 수도 있다. 이때, 가변 초점 카메라를 포함하는 환경 관찰 카메라(110)는, 초점 거리를 변화시켜 확대 또는 축소된 영상을 획득할 수 있다. 특히, 가변 초점 카메라를 이용하면 추후 상세히 설명할 분석 모듈(300)에 의해 파악된 사용자의 관심 대상을 확대한(zooming) 환경 영상을 획득할 수 있다. 예를 들어, 도 2에 도시된 바와 같은 독서를 하는 상황에서, 환경 관찰 카메라(110)는 사용자의 시선이 머물러 있는 책(30)의 특정 부분을 촬영할 수 있으며, 사용자의 독서 내용을 수집할 수 있다.
도 5는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 환경 관찰 카메라(110)를 포함하는 웨어러블 컴퓨터(10)를 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 환경 관찰 카메라(110)는 사용자의 시선 방향으로 웨어러블 컴퓨터(10)에 구비될 수 있다. 도 5에는 환경 관찰 카메라(110)가 하나인 경우가 도시되었으나, 실시예에 따라서는 다수의 환경 관찰 카메라(110)가 구비될 수 있으며, 웨어러블 컴퓨터(10) 상의 구체적인 설치 위치도 서로 상이할 수 있다.
동공 관찰 카메라(120)는, 사용자의 동공 위치를 획득할 수 있다. 즉, 동공 관찰 카메라(120)는 사용자의 눈을 관찰하여 동공 위치를 획득할 수 있으며, 획득한 동공 위치를 환경 관찰 카메라(110)에 전달하여, 실시간으로 사용자의 생물학적 눈동자가 관찰하는 대상을 추적할 수 있다.
또한, 동공 관찰 카메라(120)는, 사용자의 동공 변화를 더 획득할 수 있다. 즉, 동공 관찰 카메라(120)는, 사용자의 눈을 촬영하여 사용자가 주변 환경 정보에 대해 어떠한 반응을 보이는지에 대한 생체 신호를 수집할 수 있다. 동공은 중요한 정보를 관찰하면서 확장되는데, 이는 중요한 정보를 선택적으로 획득하기 위한 두뇌의 제어이다. 따라서 동일한 광량 상태의 환경에서 동공의 확장과 축소는 정보에 대한 사용자의 내적 의식의 반응을 보여줄 수 있다. 동공 관찰 카메라(120)는 이러한 동공의 반응을 촬영하여, 사용자의 관심 정도나 심리 상태를 나타내는 생체 신호로 사용할 수 있다.
한편, 동공 관찰 카메라(120)는 하나 이상의 카메라로 구성될 수 있는데, 좌측 눈과 우측 눈을 각각 관찰할 수 있는 카메라를 포함할 수 있다. 즉, 좌측 눈과 우측 눈에 각각 대응되는 두 대의 카메라로 동공 관찰 카메라(120)를 구성함으로써, 사용자의 동공 위치를 정확하게 획득할 수 있다.
도 6은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 동공 관찰 카메라(120)를 포함하는 웨어러블 컴퓨터(10)를 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 동공 관찰 카메라(120)는 사용자의 동공 방향으로 웨어러블 컴퓨터(10)에 구비될 수 있다. 도 6에는 좌측 눈과 우측 눈에 각각 대응되는 두 대의 카메라로 동공 관찰 카메라(120)가 구성된 경우가 도시되었으나, 실시예에 따라서는 하나의 동공 관찰 카메라(120)가 구비될 수 있으며, 2개 이상이 구비될 수도 있다. 또한, 웨어러블 컴퓨터(10)상의 구체적인 설치 위치도 서로 상이할 수 있다.
한편, 도 5 및 도 6에 도시된 바와 같은 안경 형태의 웨어러블 컴퓨터(10)에는, 환경 관찰 카메라(110) 및 동공 관찰 카메라(120)를 포함하는 아이 트래킹 모듈(100)이 직접 설치될 수 있으나, 실시예에 따라서는 비접촉 방식으로 영상 중첩 모듈(200), 분석 모듈(300) 등과 연결되어 아이 트래킹 모듈(100)에서 획득된 환경 영상 및 동공 위치를 영상 중첩 모듈(200) 등에 전달할 수도 있다.
도 7은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 아이 트래킹 모듈(100)에 의해 독서 내용을 감지하는 과정을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템에서, 사용자가 웨어러블 컴퓨터(10)를 착용하고 책(30)을 읽게 되면, 환경 관찰 카메라(110)가 사용자의 시선 방향과 일치하는 책(30)의 부분을 촬영하여 환경 영상을 획득하고, 동공 관찰 카메라(120)는 사용자의 동공을 추적하여 동공 위치를 획득할 수 있다. 이때, 환경 관찰 카메라(110)는 동공 관찰 카메라(120)로부터 동공 위치를 실시간으로 전달받아, 사용자의 시선이 머물러 있는 책(30)의 부분을 촬영하여 환경 영상을 획득할 수도 있다.
영상 중첩 모듈(200)은, 환경 영상 위에 동공 위치를 동일한 위상으로 결합하여 중첩시킬 수 있다. 즉, 환경 관찰 카메라(110)에서 획득된 환경 영상 위에, 환경 관찰 카메라(110)와 동기화된 동공 관찰 카메라(120)에서 획득된 사용자의 동공 위치를 중첩함으로써, 사용자의 생물학적 눈이 관찰하고 있는 위치를 알 수 있다.
분석 모듈(300)은, 영상 중첩 모듈(200)에 의해 중첩된 영상으로부터, 사용자의 동공이 위치한 대상을 사용자의 관심 대상으로 파악할 수 있다. 즉, 분석 모듈(300)은, 환경 영상 중에서 사용자의 동공이 위치한 부분을 관심 영역으로 분리하고, 영상 처리 기술을 이용해 분리된 관심 영역에 촬영된 피사체를 감지할 수 있다. 감지된 피사체 또는 피사체의 내용을 사용자의 관심 대상으로 파악할 수 있다.
도 8은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템에서, 중첩된 영상에서 관심 대상(301)을 파악하는 영상을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템에서는, 영상 중첩 모듈(200)이 환경 영상(111) 위에 동공 위치(121)를 결합하여 중첩시킬 수 있으며, 분석 모듈(300)은 중첩된 영상으로부터 사용자의 동공 위치(121)에 대응되는 피사체 또는 피사체의 내용을 관심 대상(301)으로 파악할 수 있다.
도 7 및 도 8에 도시된 바와 같이, 사용자가 책(30)을 읽는 상황에서는 책(30)의 일부 영역에 사용자의 동공 위치(121)가 대응될 수 있으며, 분석 모듈(300)은 동공이 위치한 영역을 관심 영역으로 분리할 수 있다. 분석 모듈(300)은, 관심 영역을 영상 처리하여 문자 인식함으로써, 관심 영역에 기재된 구체적인 텍스트를 관심 대상(301)으로 파악할 수 있다. 또한, 관심 영역의 채도, 명도 등으로부터 그림 또는 사진으로 인식하고, 책(30) 내용의 일부인 구체적인 그림 또는 사진을 관심 대상(301)으로 파악할 수도 있다.
한편, 분석 모듈(300)은, 환경 영상(111)을 분석하여 환경 영상(111)에 포함된 객체를 구분하고, 구분된 객체 중 적어도 하나를 관심 대상(301)으로 파악할 수 있다. 즉, 분석 모듈(300)은, 환경 영상(111) 전체를 분석하여 촬영된 피사체를 객체로 구분하고, 중첩된 영상으로부터 각 객체 중에서 동공 위치(121)에 대응되는 객체를 관심 대상(301)으로 파악할 수 있다. 이와 같은 분석 모듈(300)의 영상 처리는, 독서와 달리 형체가 있는 다양한 피사체가 촬영되는 상황에 효과적으로 적용될 수 있다.
또한, 분석 모듈(300)은, 환경 영상(111)을 분석함으로써 사용자의 상황 정보를 추출할 수 있다. 예를 들어, 환경 영상(111)의 분석 결과 차선, 핸들, 자동차 등이 객체로 구분되면, 사용자가 운전 중인 것으로 판단하는 등, 사용자가 처한 상황에 대한 상황 정보를 추출할 수 있다.
부가 정보 제공 모듈(400)은, 파악된 관심 대상(301)에 대응하는 부가 정보를 추출하여 제공할 수 있다. 즉, 부가 정보 제공 모듈(400)은, 분석 모듈(300)에서 파악된 관심 대상(301)에 대응하는 부가 정보를 추출하여 사용자에게 제공할 수 있으며, 부가 정보는 관심 대상(301)과 관련된 뉴스, 설명, 동영상과 같은 보조 자료, 추천 영상, 추천 도서, 관련 지식인 등 다양한 정보일 수 있다.
또한, 부가 정보는 관심 대상(301) 뿐 아니라 사용자의 상황 정보를 더 이용하여 추출될 수 있으며, 사용자의 상황 정보에 따라 부가 정보의 제공을 제어할 수도 있다. 예를 들어, 사용자가 운전 중인 경우에는, 운전에 도움이 되는 최소한의 정보만을 제공하며, 그밖에 부가 정보는 제공하지 않을 수 있다.
도 9는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템에서, 웨어러블 컴퓨터(10)를 착용한 사용자의 시선으로 확인되는 부가 정보(401)의 출력 상태를 예를 들어 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템에서는, 안경 형태의 웨어러블 컴퓨터(10)를 착용한 사용자가 책(30)을 읽으면, 사용자의 동공 위치(121)에 따라 파악된 사용자의 관심 대상(301) 주변으로, 관심 대상(301)인 독서 내용에 대한 단어나 구문의 설명, 동영상과 같은 보조 자료, 관련된 내용의 추천 도서, 도움을 줄 수 있는 멘토 소개 등을 포함하는 부가 정보(401)를 출력할 수 있다. 이와 같이, 웨어러블 컴퓨터(10)가 사용자의 독서 활동에 따라 실시간으로 부가 정보(401)를 출력함으로써, 사용자가 독서 중 필요한 정보를 실시간으로 신속하게 제공받을 수 있고, 이해가 어려운 내용이나 설명이 필요한 내용 등에 대해 즉각적으로 이해 수준을 향상시킬 수 있다.
도 10은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법의 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법은, 사용자 시선 방향의 환경 영상(111) 및 사용자의 동공 위치(121)를 획득하는 단계(S100), 환경 영상(111) 및 동공 위치(121)를 동일한 위상으로 결합하여 중첩시키는 단계(S200) 및 중첩된 영상으로부터 사용자의 관심 대상(301)을 파악하는 단계(S300)를 포함하여 구현될 수 있다.
단계 S100에서는, 아이 트래킹 모듈(100)이 환경 관찰 카메라(110)로부터 사용자 시선 방향의 환경 영상(111)을 획득하고, 동공 관찰 카메라(120)에서 사용자의 동공 위치(121)를 획득할 수 있다. 환경 관찰 카메라(110)와 동공 관찰 카메라(120)는 동기화되어 데이터를 상호 교환하면서, 동공 위치(121)의 이동에 따라 확대, 축소 또는 이동된 환경 영상(111)을 획득할 수 있다.
단계 S200에서는, 획득한 환경 영상(111) 및 동공 위치(121)를 영상 중첩 모듈(200)이 동일한 위상으로 결합하여 중첩시킬 수 있다. 즉, 환경 영상(111) 위에 동공 위치(121)를 중첩하여, 사용자의 눈이 관찰하고 있는 위치를 환경 영상(111)에서 찾아낼 수 있다. 이하에서는, 도 11을 참조하여 단계 S200의 세부적인 흐름에 대해 상세히 설명하도록 한다.
도 11은 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법의 단계 S200은, 환경 영상(111)에 포함된 객체를 구분하는 단계(S210) 및 객체가 구분된 환경 영상(111) 위에 동공 위치(121)를 결합하여 중첩시키는 단계(S220)를 포함하여 구현될 수 있다.
단계 S210에서는, 수신한 환경 영상(111)을 분석하여 환경 영상(111)에 포함된 객체를 구분할 수 있다. 즉, 분석 모듈(300)은, 환경 영상(111)을 분석하여 환경 영상(111)에 포함된 객체를 구분하고, 구분된 객체 중 적어도 하나를 관심 대상(301)으로 파악할 수 있다.
단계 S220에서는, 객체가 구분된 환경 영상(111) 위에 동공 위치(121)를 동일한 위상으로 결합하여 중첩시킬 수 있다. 즉, 영상 중첩 모듈(200)은, 분석 모듈(300)에 의해 분석된 환경 영상(111) 위에 동공 위치(121)를 결합하여 보다 용이하게 관심 대상(301)을 파악할 수 있다.
단계 S300에서는, 분석 모듈(300)이 중첩된 영상으로부터 환경 영상(111)에서 사용자의 동공이 위치한 대상을 사용자의 관심 대상(301)으로 파악할 수 있다. 이때, 단계 S300에서는, 중첩된 영상으로부터 단계 S210에서 구분된 객체 중 적어도 하나를 관심 대상(301)으로 파악할 수 있다.
도 12는 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법이, 부가 정보 제공 모듈(400)을 더 포함하는 시스템에서 구현되는 과정의 흐름을 도시한 도면이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법은, 도 10에 도시된 단계 S300 이후에, 관심 대상(301)에 대응하는 부가 정보(401)를 제공하는 단계(S400)를 더 포함하여 구현될 수 있다.
단계 S400에서는, 파악된 관심 대상(301)에 대응하는 부가 정보(401)를 제공하되, 환경 영상(111)으로부터 추출된 사용자의 상황 정보에 따라 부가 정보(401)를 제공할 수 있다. 단계 S400은 부가 정보 제공 모듈(400)에 의해 처리될 수 있으며, 분석 모듈(300)로부터 관심 대상(301) 및 상황 정보를 전달받아 부가 정보(401)를 추출하여 제공할 수 있다. 부가 정보 제공 모듈(400)이 제공한 부가 정보(401)는, 웨어러블 컴퓨터(10)와 같은 사용자 디바이스에 전달되어, 도 9에 도시된 바와 같은 방식으로 출력될 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 웨어러블 컴퓨터 20: 서비스 서버
30: 책 100: 아이 트래킹 모듈
110: 환경 관찰 카메라 111: 환경 영상
120: 동공 관찰 카메라 121: 동공 위치
200: 영상 중첩 모듈 300: 분석 모듈
301: 관심 대상 400: 부가 정보 제공 모듈
401: 부가 정보
S100: 사용자 시선 방향의 환경 영상 및 사용자의 동공 위치를 획득하는 단계
S200: 환경 영상 및 동공 위치를 동일한 위상으로 결합하여 중첩시키는 단계
S210: 환경 영상에 포함된 객체를 구분하는 단계
S220: 객체가 구분된 환경 영상 위에 동공 위치를 결합하여 중첩시키는 단계
S300: 중첩된 영상으로부터 사용자의 관심 대상을 파악하는 단계
S400: 관심 대상에 대응하는 부가 정보를 제공하는 단계

Claims (9)

  1. 관심 대상(301) 파악 시스템으로서,
    사용자 시선 방향의 환경 영상(111)을 획득하는 환경 관찰 카메라(110) 및 사용자의 동공 위치(121)를 획득하는 동공 관찰 카메라(120)를 포함하는 아이 트래킹 모듈(100);
    상기 환경 영상(111) 위에 상기 동공 위치(121)를 동일한 위상으로 결합하여 중첩시키는 영상 중첩 모듈(200); 및
    상기 영상 중첩 모듈(200)에 의해 중첩된 영상으로부터, 상기 사용자의 동공이 위치한 대상을 상기 사용자의 관심 대상(301)으로 파악하는 분석 모듈(300)을 포함하되,
    상기 환경 관찰 카메라(110)는,
    가변 초점 카메라를 포함하며, 초점 거리를 변화시켜 상기 분석 모듈(300)에 의해 파악된 상기 사용자의 관심 대상(301)을 확대한 환경 영상(111)을 획득하는 것을 특징으로 하는, 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템.
  2. 제1항에 있어서, 상기 아이 트래킹 모듈(100)은,
    사용자의 신체에 착용되는 안경 형태의 웨어러블 컴퓨터(10)에 구비되며, 사용자의 시선 방향으로 상기 웨어러블 컴퓨터(10)에 구비된 환경 관찰 카메라(110) 및 사용자의 동공 방향으로 상기 웨어러블 컴퓨터(10)에 구비된 동공 관찰 카메라(120)를 포함하는 것을 특징으로 하는, 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 동공 관찰 카메라(120)는, 상기 사용자의 동공 변화를 더 획득하며,
    상기 분석 모듈(300)은, 상기 획득한 사용자의 동공 변화로부터 상기 파악한 관심 대상(301)에 대한 관심 정도를 추출하는 것을 특징으로 하는, 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템.
  5. 제1항에 있어서, 상기 분석 모듈(300)은,
    상기 환경 영상(111)을 분석하여 상기 환경 영상(111)에 포함된 객체를 구분하고, 상기 구분된 객체 중 적어도 하나를 상기 관심 대상(301)으로 파악하는 것을 특징으로 하는, 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 시스템.
  6. 관심 대상(301) 파악하는 방법으로서,
    (1) 환경 관찰 카메라(110)로부터 사용자 시선 방향의 환경 영상(111)을 획득하고, 동공 관찰 카메라(120)에서 사용자의 동공 위치(121)를 획득하는 단계;
    (2) 상기 획득한 환경 영상(111) 및 동공 위치(121)를 동일한 위상으로 결합하여 중첩시키는 단계; 및
    (3) 상기 중첩된 영상으로부터 상기 환경 영상(111)에서 사용자의 동공이 위치한 대상을 사용자의 관심 대상(301)으로 파악하는 단계를 포함하되,
    상기 환경 관찰 카메라(110)는,
    가변 초점 카메라를 포함하며, 초점 거리를 변화시켜 상기 단계 (3)에서 파악된 상기 사용자의 관심 대상(301)을 확대한 환경 영상(111)을 획득하는 것을 특징으로 하는, 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법.
  7. 제6항에 있어서, 상기 단계 (2)는,
    (2-1) 상기 수신한 환경 영상(111)을 분석하여 상기 환경 영상(111)에 포함된 객체를 구분하는 단계; 및
    (2-2) 상기 객체가 구분된 환경 영상(111) 위에 동공 위치(121)를 동일한 위상으로 결합하여 중첩시키는 단계를 포함하는 것을 특징으로 하는, 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법.
  8. 제7항에 있어서, 상기 단계 (3)에서는,
    상기 중첩된 영상으로부터 상기 구분된 객체 중 적어도 하나를 상기 관심 대상(301)으로 파악하는 것을 특징으로 하는, 아이 트래킹을 이용한 사용자 관심 대상(301) 파악 방법.
  9. 삭제
KR1020140031326A 2014-03-17 2014-03-17 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법 KR101564967B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140031326A KR101564967B1 (ko) 2014-03-17 2014-03-17 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140031326A KR101564967B1 (ko) 2014-03-17 2014-03-17 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150108282A KR20150108282A (ko) 2015-09-25
KR101564967B1 true KR101564967B1 (ko) 2015-11-02

Family

ID=54246369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031326A KR101564967B1 (ko) 2014-03-17 2014-03-17 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101564967B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074933A (ko) 2017-12-20 2019-06-28 팜클라우드 주식회사 컨텐츠 노출 측정 시스템
KR102019217B1 (ko) 2019-05-08 2019-09-06 노순석 안구 이미지 정보에 기초한 시야 교란 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327578B1 (ko) * 2020-03-18 2021-11-17 한국과학기술연구원 웨어러블 디바이스를 이용한 객체 및 상황 정보 제공장치 및 방법
KR102543306B1 (ko) * 2020-11-04 2023-06-16 한국과학기술연구원 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시·지각 메타데이터 제공장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074933A (ko) 2017-12-20 2019-06-28 팜클라우드 주식회사 컨텐츠 노출 측정 시스템
KR102019217B1 (ko) 2019-05-08 2019-09-06 노순석 안구 이미지 정보에 기초한 시야 교란 시스템

Also Published As

Publication number Publication date
KR20150108282A (ko) 2015-09-25

Similar Documents

Publication Publication Date Title
US20190235624A1 (en) Systems and methods for predictive visual rendering
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
KR101471488B1 (ko) 시선 추적 장치 및 방법
US20150331486A1 (en) Image processing device, image processing method and program
KR101094766B1 (ko) 시선 위치 추적 장치 및 방법
KR101564967B1 (ko) 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법
JP2010061265A (ja) 人物検索登録システム
JP2020512120A (ja) ユーザーの健康状態を評価するシステム
KR101613091B1 (ko) 시선 추적 장치 및 방법
US10514755B2 (en) Glasses-type terminal and control method therefor
JP2017514186A (ja) 表示制御方法及び装置、電子機器
JP2018196730A (ja) 眼の位置を監視するための方法およびシステム
KR101580559B1 (ko) 의료 영상 및 정보 실시간 상호전송 및 원격 지원 장치
US11619813B2 (en) Coordinating an eye-mounted imager with an external camera
KR20140037730A (ko) 착용형 정보 제공 시스템
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
Tatler et al. Eye movement recordings in natural settings
Lander et al. " The story of life is quicker than the blink of an eye" using corneal imaging for life logging
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
KR101526557B1 (ko) 다중 카메라 기반 시선 추적 장치 및 방법
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
KR101842210B1 (ko) 시선 추적 기반 콘텐츠 제공 방법 및 장치
JP2005261728A (ja) 視線方向認識装置及び視線方向認識プログラム
KR101331055B1 (ko) 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법
US11200713B2 (en) Systems and methods for enhancing vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee