KR20160035419A - 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법 - Google Patents

두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법 Download PDF

Info

Publication number
KR20160035419A
KR20160035419A KR1020140127011A KR20140127011A KR20160035419A KR 20160035419 A KR20160035419 A KR 20160035419A KR 1020140127011 A KR1020140127011 A KR 1020140127011A KR 20140127011 A KR20140127011 A KR 20140127011A KR 20160035419 A KR20160035419 A KR 20160035419A
Authority
KR
South Korea
Prior art keywords
information
user
gaze
selection symbol
information selection
Prior art date
Application number
KR1020140127011A
Other languages
English (en)
Other versions
KR102325684B1 (ko
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority to KR1020140127011A priority Critical patent/KR102325684B1/ko
Publication of KR20160035419A publication Critical patent/KR20160035419A/ko
Application granted granted Critical
Publication of KR102325684B1 publication Critical patent/KR102325684B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Abstract

본 발명은 두부 착용형 시선 추적 입력 장치에 관한 것으로, 사용자의 두부에 착용된 안구 센서가 감지하는 안구 정보에 근거하여 사용자의 시선 응시 좌표를 산출하는 시선추적부, 사용자의 두부 움직임 정보를 감지하는 모션감지부, 사용자의 두부에 착용되어 영상을 표시하는 디스플레이부 및 상기 안구 센서가 감지하는 정보에 근거하여 정보 인식 범위를 설정하고, 상기 시선 응시 위치, 상기 정보 인식 범위 및 상기 두부의 움직임 정보에 근거하여 사용자가 결정하는 정보를 입력받는 정보입력부를 포함하고, 두부에 착용된 안구 센서에 의한 시선 추적을 통해 사용자로부터 정보를 입력받음으로써 사용자의 동작에 따라 입력 정보의 결정을 보다 편리하게 할 수 있으며, 시선 추적시 사용자의 안구의 이동 궤적 및 속도를 고려하여 입력 속도를 향상시킬 수 있다.

Description

두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법{EYE TRACKING INPUT APPARATUS THAR IS ATTACHED TO HEAD AND INPUT METHOD USING THIS}
본 발명은 두부 착용형 시선 추적 입력 장치 이를 이용하는 입력 방법에 관한 것으로서, 보다 상세하게는 두부에 착용된 안구 센서에 의한 시선 추적을 통해 사용자로부터 정보를 입력받는 입력 장치 및 이를 이용하는 입력 방법에 관한 것이다.
시선 추적(Eye Tracking)은 사용자의 안구의 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 영상분석 방식, 콘택트렌즈 방식, 센서부착 방식등의 방법이 사용될 수 있다. 영상분석방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장의 변화를 이용하여 안구의 움직임을 감지하며, 눈을 감고 있는 경우(수면 등)에도 안구 움직임의 검출이 가능하다.
최근, 시선 추적 기술의 적용 대상 기기가 넓어지고 있으며, 정확한 시선 검출을 위한 기술 개발이 지속적으로 이루어지고 있다. 특히 별도의 입력 장치를 사용하는 것이 사용자에게 부담을 줄 수 있는 가전 제품의 사용시, 오큘러스 리프트(Occulus Rift)등의 장비를 사용하는 가상 현실 또는 증강현실 기술에 의한 인터페이스 사용시 또는 장애인들의 정보기술 장치 사용시 키보드 등의 별도의 입력 도구 없이 사용자의 시선을 추적하여 사용자로부터 정보를 입력받기 위한 입력 장치로서 시선 추적 기술을 이용하는 기술이 대두되고 있다.
한국공개특허 제10-2008-0051664호
본 발명은 두부에 착용된 안구 센서에 의한 시선 추적을 통해 사용자로부터 정보를 입력받는 두부 착용형 시선 추적 입력 장치를 제공하는 것을 목적으로 한다.
본 발명은 두부 착용형 시선 추적 입력 장치에 있어서, 사용자의 두부에 착용된 안구 센서가 감지하는 안구 정보에 근거하여 사용자의 시선 응시 좌표를 산출하는 시선추적부, 사용자의 두부 움직임 정보를 감지하는 모션감지부, 사용자의 두부에 착용되어 영상을 표시하는 디스플레이부 및 상기 시선 응시 좌표에 따라 정보 인식 범위를 설정하고, 상기 시선 응시 좌표의 궤적, 상기 정보 인식 범위 및 상기 두부의 움직임 정보에 근거하여 사용자가 결정하는 정보를 입력받는 정보입력부를 포함하는 것을 일 특징으로 한다.
바람직하게는, 상기 사용자가 결정하는 정보는 상기 디스플레이부가 표시하는 영상 위의 상기 시선 응시 좌표로부터 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호에 근거하여 결정된다.
바람직하게는, 상기 정보입력부는 상기 시선 응시 좌표의 궤적의 이동 속도를 산출하고, 상기 시선 응시 좌표의 궤적 및 상기 궤적의 이동 속도에 근거하여 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호 중 하나를 선택한다. 상기 정보입력부는 사용자가 지금까지 입력한 정보, 상기 시선 응시 좌표의 궤적 및 상기 궤적의 이동 속도 중 적어도 하나에 근거하여 각 정보 선택 기호가 선택될 확률을 산출하고, 상기 선택될 확률에 근거하여 결정된 순서로 정보 선택 기호를 사용자에게 우선적으로 제시한다.
바람직하게는, 상기 디스플레이부는 상기 정보 선택 기호가 선택될 확률의 순서로 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호의 리스트를 표시하는 방법으로 사용자에게 정보 선택 기호를 제시한다. 상기 디스플레이부는 상기 정보 선택 기호가 선택될 확률이 높을 수록 상기 정보 선택 기호의 크기가 커지도록 표시하는 방법으로 사용자에게 정보 선택 기호를 제시한다.
바람직하게는, 상기 정보입력부는 상기 두부 움직임 정보에 근거하여 상기 정보 선택 기호를 선택한다. 상기 정보입력부는 상기 시선 응시 좌표가 일정 시간 이상 특정 정보 선택 기호를 가리키는 경우 상기 시선 응시 좌표가 가리키는 상기 특정 정보 선택 기호를 선택한다.
바람직하게는, 상기 정보 선택 기호는 상기 디스플레이부가 표시하는 가상 자판 위의 키이다.
바람직하게는, 상기 가상 자판 상에서 상기 키의 이용 빈도에 근거하여 상기 키의 위치가 결정된다.
본 발명은 두부 착용형 시선 추적 입력 방법으로서, 시선추적부가 사용자의 두부에 착용된 안구 센서가 감지하는 안구 정보에 근거하여 사용자의 시선 응시 좌표를 산출하는 단계, 정보입력부가 상기 시선 응시 좌표에 따라 정보 인식 범위를 설정하는 단계, 상기 정보입력부가, 사용자의 두부에 착용되어 영상을 표시하는 디스플레이부를 통하여 사용자에게 정보 선택 기호를 제시하는 단계, 상기 정보입력부가, 상기 시선 응시 좌표의 궤적, 상기 정보 인식 범위 및 상기 두부의 움직임 정보에 근거하여 상기 제시된 정보 선택 기호 중 하나를 사용자가 결정하는 정보에 대응하는 정보 선택 기호로 선택하는 단계 및 상기 정보입력부가 상기 선택된 정보 선택 기호에 대응하는 정보를 입력받는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 두부에 착용된 안구 센서에 의한 시선 추적을 통해 사용자로부터 정보를 입력받음으로써 사용자의 동작에 따라 입력 정보의 결정을 보다 편리하게 할 수 있으며, 시선 추적시 사용자의 안구의 이동 궤적 및 속도를 고려하여 입력 속도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 두부 착용형 시선 추적 입력 장치의 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 가상 자판의 배열을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 두부 착용형 시선 추적 입력 장치를 이용하는 입력 방법의 동작을 도시한 순서도이다.
이하에서는 본 발명에 따른 두부 착용형 시선 추적 입력 장치 장치 및 이를 이용하는 입력 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 두부 착용형 시선 추적 입력 장치의 블록도이다.
도 1에 도시된 바와 같이 본 발명의 두부 착용형 시선 추적 입력 장치는 시선추적부(100), 정보입력부(200), 모션감지부(300) 및 디스플레이부(400)를 포함하여 이루어질 수 있다.
시선추적부(100)는 사용자의 두부에 착용된 안구 센서(110)가 감지하는 안구 정보에 근거하여 사용자의 시선 응시 좌표를 산출한다.
상술한 바와 같이 최근에는 오큘러스 리프트와 같은 가상 현실 장비 또는 증강 현실 디스플레이 기능을 갖춘 안경 등의 사용자의 두부에 착용되어서 디스플레이 기능을 제공할 수 있는 인터페이스 장비들이 대두되고 있다. 이러한 인터페이스 장비를 사용할 경우 사용자의 시야에 안경 형태의 장비가 위치하게 되며, 특히 오큘러스 리프트의 경우 사용자의 시야를 완전히 가리게 되므로 통상적인 비디오 분석방법과 같이 원거리에서 촬영한 영상에 근거하여 사용자의 동공의 움직임을 검출할 수 없으며, 안구 센서(110)는 오큘러스 리프트 또는 안경 형태의 장비와 함께 사용자의 두부에 착용되어야 사용자의 안구의 움직임을 검출할 수 있다.
이 때 안구 센서(110)는 상술한 바와 같이 안구의 움직임에 따른 전기장의 변화에 의하여 안구의 움직임을 감지할 수도 있고 안구 주변에 장치된 카메라를 통하여 안구의 움직임을 촬영하여 안구의 움직임을 감지할 수도 있다. 또한 안구 센서(110)는 동공 크기, 반사점 및 특징점등의 눈 관련 정보를 획득할 수 있다.
안구 센서(110)가 감지하는 안구의 움직임에 근거하여 시선추적부(100)는 사용자의 시선이 가리키는 위치를 나타내는 시선 응시 좌표를 산출할 수 있다. 이 때, 오큘러스 리프트와 같이 사용자의 시야를 디스플레이 장비가 완전히 가리는 가상 현실 장비의 경우 시선 응시 좌표는 사용자에게 표시되는 영상 상에서의 좌표를 시선 응시 좌표로서 산출할 수 있고, 안경 형태의 증강 현실 장비 등 사용자의 시야에 디스플레이 장비가 표시하는 영상이 부가되어 표시되는 경우에는 외부의 물리좌표계 상의 위치를 시선 응시 좌표로서 산출할 수도 있다.
모션감지부(300)는 사용자의 두부 움직임 정보를 감지한다. 이 때 모션감지부(300)는 사용자의 고개나 목의 움직임 및 두부 전체의 움직임을 감지하여 사용자의 고개의 회전 방향, 회전 속도 및 두부가 가리키는 방향과 두부 전체의 위치를 감지할 수 있다. 따라서 모션감지부(300)는 고개의 까닥거림이나 좌우 흔들림 등의 움직임을 감지할 수 있고, 이러한 사용자의 움직임 정보는 시선추적부(100)가 감지하는 시선 응시 좌표에 더하여 사용자가 결정하느 정보를 입력받는 데에 사용될 수 있다.
디스플레이부(400)는 사용자의 두부에 착용되어 영상을 표시한다. 상술한 바와 같이 오큘러스 리프트와 같은 가상 현실 장비의 경우 디스플레이부(400)가 표시하는 영상은 사용자의 시야를 완전히 차지할 수 있으며, 안경 형태의 증강 현실 장비의 경우 사용자의 시야에 들어보는 외부의 실제 물체들 위에 디스플레이부(400)가 표시하는 영상이 증강되어 표시될 수 있다.
정보입력부(200)는 안구 센서(110)가 감지하는 정보에 근거하여 정보 인식 범위를 설정하고, 시선 응시 위치, 정보 인식 범위 및 두부 움직임 정보에 근거하여 사용자가 결정하는 정보를 입력받는다.
이 때, 사용자가 결정하는 정보는 디스플레이부(400)가 표시하는 영상 위의 시선 응시 좌표로부터 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호에 근거하여 결정될수 있다. 이 때, 정보입력부(200)는 사용자 안구의 동공과 반사점 중심을 포함하는 안구 정보에 근거하여 사용자의 시선으로부터 사용자가 인식하는 대상이 위치할 가능성이 높은 영역을 정보 인식 범위로 산출할 수 있다.
또한 정보입력부(200)는 시선 응시 좌표가 그리는 궤적 및 이동 속도를 산출하고, 궤적 및 이동 속도에 근거하여 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호 중 하나를 선택할 수 있다.
이 때, 정보입력부(200)는 일정한 주기로 시선 응시 좌표를 산출하고 산출되는 시선 응시 좌표들 사이의 거리를 통하여 시선 응시 좌표의 이동 속도를 산출할 수 있다. 이러한 주기는 약 40Hz 내지 60Hz 정도일 수 있다. 또한 이러한 시선 응시 좌표의 이동 속도는 간헐적으로 급격하게 변화하는 경향이 있음이 알려져 있다. 즉, 시선 응시 좌표는 대략 0.5초에 1회 정도씩 이동을 멈추었다가 급격하게 다음 장소로 이동하는 경향이 있으며, 이동을 멈춘 시선 응시 좌표의 위치가 사용자가 입력하고자 하는 정보 선택 기호가 표시되어 있는 위치일 가능성이 높을 수 있다. 한편 시선 응시 좌표의 이동 궤적과 자판의 각 키의 통계적인 이용 빈도 및 단어의 이용 빈도를 고려하면, 사용자가 입력하고자 하는 단어일 가능성이 높은 단어를 산출할 수 있다. 또한 시선 응시 좌표의 이동 궤적의 형태와 가상 키보드 상의 각 키의 위치를 입력하고자 하는 단어의 키 순으로 연결한 도형을 패턴 매칭함으로써 사용자가 어떤 단어를 입력하고자 하는지 산출할 수도 있다.
즉, 정보입력부(200)는 사용자로부터 입력받을 정보를 표시하는 정보 선택 기호를 디스플레이부(400)를 통하여 사용자에게 표시하고, 표시된 정보 선택 기호 중 사용자의 시선이 일치하는 정보 선택 기호, 즉, 시선 응시 좌표와 표시되는 위치가 일치하는 정보 선택 기호에 대응하는 정보를 입력받을 수 있다. 그러나, 시선 응시 좌표의 산출에는 일정 수순의 오차가 개입할 수 있으며, 안구 센서(110)가 사용자의 두부에 착용되는 경우 이러한 오차는 더욱 확대될 수 있다. 따라서, 시선 응시 좌표를 중심으로 설정된 일정한 범위의 정보 인식 범위 내에 표시된 복수의 정보 선택 기호 중, 사용자로부터 지금까지 입력받은 정보 및 사용자의 시선이 그리는 궤적과 궤적의 이동 속도를 고려하여 실제로 사용자가 선택할 가능성이 높은 정보 선택 기호를 사용자에게 우선적으로 제시하거나, 또는 그러한 정보 선택 기호를 입력받을 수 있다.
즉, 정보입력부(200)는 사용자가 지금까지 입력한 정보, 응시 좌표가 그리는 궤적 및 이동 속도 중 적어도 하나에 근거하여 각 정보 선택 기호가 선택될 확률을 산출하고, 선택될 확률이 높은 정보 선택 기호를 사용자에게 우선적으로 제시할 수 있다.
이 때, 디스플레이부(400)는 상기 정보 선택 기호가 선택될 확률의 순서로 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호의 리스트를 표시하는 방법으로 사용자에게 정보 선택 기호를 제시할 수도 있고, 상기 정보 선택 기호가 선택될 확률이 높을 수록 상기 정보 선택 기호의 크기가 커지도록 표시하는 방법으로 사용자에게 정보 선택 기호를 제시할 수도 있다.
또한 상술한 바와 같이, 정보입력부(200)는 사용자에게 제시한 정보 선택 기호들 중 하나를 사용자로부터 검출한 정보에 근거하여 사용자가 입력하고자 하는 정보로서 선택할 수 있다. 이 때, 정보입력부(200)는 두부 움직임 정보에 근거하여 상기 정보 선택 기호를 선택할 수 있다. 예컨대 사용자가 시선을 통하여 디스플레이부(400)에 제시된 정보 선택 기호 중 하나에 시선 응시 좌표를 위치시킨 뒤, 고개를 끄덕이거나 고개를 특정 방향으로 향하는 등의 제스처를 취하면 정보입력부(200)는 사용자가 시선을 위치시킨 좌표에 위치하는 정보 선택 기호를 사용자가 입력시키는 정보 선택 기호로 인식하고 그에 대응하는 정보를 입력받을 수 있다.
한편 정보입력부(200)는 시선 응시 좌표가 일정 시간 이상 특정 정보 선택 기호를 가리키는 경우 시선 응시 좌표가 가리키는 특정 정보 선택 기호를 선택할 수 있다.
이 때, 정보 선택 기호는 디스플레이부(400)가 표시하는 가상 자판 위의 키일 수 있다. 즉, 디스플레이부(400) 상에 복수 개의 키로 구성되는 가상 자판을 표시하고 사용자가 시선을 움직여 가상 자판 위의 키를 가리키게 함으로서 정보입력부(200)가 사용자로부터 정보를 입력받을 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 가상 자판의 배열을 도시한 도면이다. 도 2는 영문 자판의 일 예를 도시하고, 도 3은 한글 자판의 일 예를 도시한다.
이 때, 가상 자판 상에서 키의 이용 빈도에 근거하여 키의 위치가 결정될 수 있다. 즉 도 2 및 도 3의 예에서 이용 빈도가 높은 키들이 디스플레이부(400) 중심부에 배치될 수 있으며 이용빈도가 상대적으로 낮은 키들이 디스플레이부(400) 가장자리에 배치될 수 있고, 이에 따라서 사용자가 같은 정보를 입력하기 위하여 움직여야 하는 시선의 거리가 감소함으로써 정보 입력 속도가 증가할 수 있다.
도 4는 본 발명의 일 실시예에 따른 두부 착용형 시선 추적 입력 장치를 이용하는 입력 방법의 동작을 도시한 순서도이다. 도 4에 따라 본 발명의 일 실시예에 따른 두부 착용형 시선 추적 입력 장치를 이용하는 입력 방법의 동작을 상세하게 설명한다.
먼저 시선추적부(100)가 사용자의 두부에 착용된 안구 센서(110)가 감지하는 안구 정보에 근거하여 사용자의 시선 응시 좌표를 산출한다(S110).
이어서, 정보입력부(200)가 안구 센서가 감지하는 안구 정보에 근거하여 정보 인식 범위를 설정한다(S120).
이어서, 정보입력부(200)가 제시하는 정보 선택 기호가 디스플레이부(400)에 표시된다(S130). 이 때, 정보 선택 기호는 디스플레이부(400)가 표시하는 가상 자판 위의 키일 수 있다. 또한 이 때 정보입력부(200)는 사용자가 지금까지 입력한 정보, 응시 좌표가 그리는 궤적 및 이동 속도 중 적어도 하나에 근거하여 각 정보 선택 기호가 선택될 확률을 산출하고, 선택될 확률이 높은 정보 선택 기호를 사용자에게 우선적으로 제시할 수 있다. 상술한 바와 같이, 이러한 우선적으로 제시되는 정보 선택 기호는 정보 선택 기호가 선택될 확률의 순서로 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호의 리스트를 표시하는 방법으로 사용자에게 제시될 수도 있고, 정보 선택 기호가 선택될 확률이 높을 수록 상기 정보 선택 기호의 크기가 커지도록 표시하는 방법으로 사용자에게 제시될 수도 있다.
이후, 정보입력부(200)는 제시된 정보 선택 기호 중 하나를 사용자가 입력하는 정보를 나타내는 정보 선택 기호로서 선택한다(S140). 이 때, 상술한 바와 같이 정보입력부(200)는 모션감지부(300)가 감지하는 사용자의 두부 움직임 정보에 근거하여 정보 선택 기호를 선택할 수 있다. 예컨대 사용자가 시선을 통하여 디스플레이부(400)에 제시된 정보 선택 기호 중 하나에 시선 응시 좌표를 위치시킨 뒤, 고개를 끄덕이거나 고개를 특정 방향으로 향하는 등의 제스처를 취하면 정보입력부(200)는 사용자가 시선을 위치시킨 좌표에 위치하는 정보 선택 기호를 사용자가 입력시키는 정보 선택 기호로 인식하고 그에 대응하는 정보를 입력받을 수 있다. 또한 정보입력부(200)는 시선 응시 좌표가 일정 시간 이상 특정 정보 선택 기호를 가리키는 경우 시선 응시 좌표가 가리키는 특정 정보 선택 기호를 선택할 수도 있다.
이어서, 정보입력부(200)는 선택된 정보 선택 기호에 대응하는 정보를 사용자로부터 입력받고 프로세스를 종료한다(S150).
이상 살펴본 바와 같이 본 발명에 따르면, 두부에 착용된 안구 센서에 의한 시선 추적을 통해 사용자로부터 정보를 입력받음으로써 사용자의 동작에 따라 입력 정보의 결정을 보다 편리하게 할 수 있으며, 시선 추적시 사용자의 안구의 이동 궤적 및 속도를 고려하여 입력 속도를 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 시선추적부 110 : 안구 센서
200 : 정보입력부 300 : 모션감지부
400 : 디스플레이부

Claims (20)

  1. 사용자의 두부에 착용된 안구 센서가 감지하는 안구 정보에 근거하여 사용자의 시선 응시 좌표를 산출하는 시선추적부;
    사용자의 두부 움직임 정보를 감지하는 모션감지부;
    사용자의 두부에 착용되어 영상을 표시하는 디스플레이부; 및
    상기 시선 응시 좌표에 따라 정보 인식 범위를 설정하고, 상기 시선 응시 좌표의 궤적, 상기 정보 인식 범위 및 상기 두부의 움직임 정보에 근거하여 사용자가 결정하는 정보를 입력받는 정보입력부를 포함하는 입력 장치.
  2. 제 1 항에 있어서,
    상기 사용자가 결정하는 정보는 상기 디스플레이부가 표시하는 영상 위의 상기 시선 응시 좌표로부터 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호에 근거하여 결정되는 것을 특징으로 하는 입력 장치.
  3. 제 2 항에 있어서,
    상기 정보입력부는 상기 시선 응시 좌표의 궤적의 이동 속도를 산출하고, 상기 시선 응시 좌표의 궤적 및 상기 궤적의 이동 속도에 근거하여 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호 중 하나를 선택하는 것을 특징으로 하는 입력 장치.
  4. 제 3 항에 있어서,
    상기 정보입력부는 사용자가 지금까지 입력한 정보, 상기 시선 응시 좌표의 궤적 및 상기 궤적의 이동 속도 중 적어도 하나에 근거하여 각 정보 선택 기호가 선택될 확률을 산출하고, 상기 선택될 확률에 근거하여 결정되는 순서로 정보 선택 기호를 제시하는 것을 특징으로 하는 입력 장치.
  5. 제 4항에 있어서,
    상기 디스플레이부는 상기 정보 선택 기호가 선택될 확률의 순서로 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호의 리스트를 표시하는 방법으로 사용자에게 정보 선택 기호를 제시하는 것을 특징으로 하는 입력 장치.
  6. 제 4항에 있어서,
    상기 디스플레이부는 상기 정보 선택 기호가 선택될 확률이 높을 수록 상기 정보 선택 기호의 크기가 커지도록 표시하는 방법으로 사용자에게 정보 선택 기호를 제시하는 것을 특징으로 하는 입력 장치.
  7. 제 3항에 있어서,
    상기 정보입력부는 상기 두부 움직임 정보에 근거하여 상기 정보 선택 기호를 선택하는 것을 특징으로 하는 입력 장치.
  8. 제 3항에 있어서,
    상기 정보입력부는 상기 시선 응시 좌표가 일정 시간 이상 특정 정보 선택 기호를 가리키는 경우 상기 시선 응시 좌표가 가리키는 상기 특정 정보 선택 기호를 선택하는 것을 특징으로 하는 입력 장치.
  9. 제 2 항에 있어서,
    상기 정보 선택 기호는 상기 디스플레이부가 표시하는 가상 자판 위의 키인 것을 특징으로 하는 입력 장치.
  10. 제 9 항에 있어서,
    상기 가상 자판 상에서 상기 키의 이용 빈도에 근거하여 상기 키의 위치가 결정되는 것을 특징으로 하는 입력 장치.
  11. 시선추적부가 사용자의 두부에 착용된 안구 센서가 감지하는 안구 정보에 근거하여 사용자의 시선 응시 좌표를 산출하는 단계;
    정보입력부가 상기 시선 응시 좌표에 따라 정보 인식 범위를 설정하는 단계;
    상기 정보입력부가, 사용자의 두부에 착용되어 영상을 표시하는 디스플레이부를 통하여 사용자에게 정보 선택 기호를 제시하는 단계;
    상기 정보입력부가, 상기 시선 응시 좌표의 궤적, 상기 정보 인식 범위 및 상기 두부의 움직임 정보에 근거하여 상기 제시된 정보 선택 기호 중 하나를 사용자가 결정하는 정보에 대응하는 정보 선택 기호로 선택하는 단계; 및
    상기 정보입력부가 상기 선택된 정보 선택 기호에 대응하는 정보를 입력받는 단계를 포함하는 입력 방법.
  12. 제 11 항에 있어서,
    상기 사용자가 결정하는 정보는 상기 디스플레이부가 표시하는 영상 위의 상기 시선 응시 좌표로부터 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호에 근거하여 결정되는 것을 특징으로 하는 입력 방법.
  13. 제 12 항에 있어서,
    상기 정보입력부는 상기 시선 응시 좌표의 궤적의 이동 속도를 산출하고, 상기 시선 응시 좌표의 궤적 및 상기 궤적의 이동 속도에 근거하여 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호 중 하나를 선택하는 것을 특징으로 하는 입력 방법.
  14. 제 13 항에 있어서,
    상기 정보입력부는 사용자가 지금까지 입력한 정보, 상기 시선 응시 좌표의 궤적 및 상기 궤적의 이동 속도 중 적어도 하나에 근거하여 각 정보 선택 기호가 선택될 확률을 산출하고, 상기 선택될 확률에 근거하여 결정된 순서로 정보 선택 기호를 사용자에게 제시하는 것을 특징으로 하는 입력 방법.
  15. 제 14항에 있어서,
    상기 디스플레이부는 상기 정보 선택 기호가 선택될 확률의 순서로 상기 정보 인식 범위 내의 영역에 표시되는 정보 선택 기호의 리스트를 표시하는 방법으로 사용자에게 정보 선택 기호를 제시하는 것을 특징으로 하는 입력 방법.
  16. 제 14항에 있어서,
    상기 디스플레이부는 상기 정보 선택 기호가 선택될 확률이 높을 수록 상기 정보 선택 기호의 크기가 커지도록 표시하는 방법으로 사용자에게 정보 선택 기호를 제시하는 것을 특징으로 하는 입력 방법.
  17. 제 13항에 있어서,
    상기 정보입력부는 상기 두부 움직임 정보에 근거하여 상기 정보 선택 기호를 선택하는 것을 특징으로 하는 입력 방법.
  18. 제 13항에 있어서,
    상기 정보입력부는 상기 시선 응시 좌표가 일정 시간 이상 특정 정보 선택 기호를 가리키는 경우 상기 시선 응시 좌표가 가리키는 상기 특정 정보 선택 기호를 선택하는 것을 특징으로 하는 입력 방법.
  19. 제 12 항에 있어서,
    상기 정보 선택 기호는 상기 디스플레이부가 표시하는 가상 자판 위의 키인 것을 특징으로 하는 입력 방법.
  20. 제 19 항에 있어서,
    상기 가상 자판 상에서 상기 키의 이용 빈도에 근거하여 상기 키의 위치가 결정되는 것을 특징으로 하는 입력 방법.
KR1020140127011A 2014-09-23 2014-09-23 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법 KR102325684B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140127011A KR102325684B1 (ko) 2014-09-23 2014-09-23 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140127011A KR102325684B1 (ko) 2014-09-23 2014-09-23 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법

Publications (2)

Publication Number Publication Date
KR20160035419A true KR20160035419A (ko) 2016-03-31
KR102325684B1 KR102325684B1 (ko) 2021-11-12

Family

ID=55652129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140127011A KR102325684B1 (ko) 2014-09-23 2014-09-23 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법

Country Status (1)

Country Link
KR (1) KR102325684B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190044384A (ko) 2017-10-20 2019-04-30 김일열 스마트 유골함과 유골함 안치장치
CN110221696A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 眼球追踪方法及相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097477A (ko) * 2003-05-12 2004-11-18 한국과학기술원 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및방법
JP2007287089A (ja) * 2006-04-20 2007-11-01 Toshiba Corp 表示制御装置、画像処理装置、表示制御方法
KR20080051664A (ko) 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
KR20120027507A (ko) * 2009-07-10 2012-03-21 페킹 유니버시티 추적된 시선 움직임에 기초한 이미지 조작
JP2012137639A (ja) * 2010-12-27 2012-07-19 Brother Ind Ltd ヘッドマウントディスプレイ、制御プログラム、及び制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097477A (ko) * 2003-05-12 2004-11-18 한국과학기술원 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및방법
JP2007287089A (ja) * 2006-04-20 2007-11-01 Toshiba Corp 表示制御装置、画像処理装置、表示制御方法
KR20080051664A (ko) 2006-12-06 2008-06-11 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
KR20120027507A (ko) * 2009-07-10 2012-03-21 페킹 유니버시티 추적된 시선 움직임에 기초한 이미지 조작
JP2012137639A (ja) * 2010-12-27 2012-07-19 Brother Ind Ltd ヘッドマウントディスプレイ、制御プログラム、及び制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190044384A (ko) 2017-10-20 2019-04-30 김일열 스마트 유골함과 유골함 안치장치
CN110221696A (zh) * 2019-06-11 2019-09-10 Oppo广东移动通信有限公司 眼球追踪方法及相关产品

Also Published As

Publication number Publication date
KR102325684B1 (ko) 2021-11-12

Similar Documents

Publication Publication Date Title
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US9652047B2 (en) Visual gestures for a head mounted device
US10627900B2 (en) Eye-signal augmented control
US9529442B2 (en) Head mounted display providing eye gaze calibration and control method thereof
US10901505B1 (en) Eye-based activation and tool selection systems and methods
US11360605B2 (en) Method and device for providing a touch-based user interface
WO2021244145A1 (zh) 头戴显示设备的交互方法、终端设备及存储介质
US20140043229A1 (en) Input device, input method, and computer program
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
US20220413605A1 (en) Optical system providing accurate eye-tracking and related method
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
KR20160035419A (ko) 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
Schmieder et al. Thumbs up: 3D gesture input on mobile phones using the front facing camera
WO2021080926A1 (en) Eye-based activation and tool selection systems and methods
Inoue et al. Development of pointing system that uses gaze point detection
KR20190002831A (ko) 착시 ui를 이용하여 명령을 입력하는 방법 및 장치
KR20170090877A (ko) 인터랙티브 사용자 캘리브레이션 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant