KR102326489B1 - 디스플레이를 제어하는 전자 장치 및 방법 - Google Patents

디스플레이를 제어하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102326489B1
KR102326489B1 KR1020140164406A KR20140164406A KR102326489B1 KR 102326489 B1 KR102326489 B1 KR 102326489B1 KR 1020140164406 A KR1020140164406 A KR 1020140164406A KR 20140164406 A KR20140164406 A KR 20140164406A KR 102326489 B1 KR102326489 B1 KR 102326489B1
Authority
KR
South Korea
Prior art keywords
menu
eyeball
user interface
gaze
screen
Prior art date
Application number
KR1020140164406A
Other languages
English (en)
Other versions
KR20160061699A (ko
Inventor
박정훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140164406A priority Critical patent/KR102326489B1/ko
Priority to US15/529,368 priority patent/US10884488B2/en
Priority to PCT/KR2015/012584 priority patent/WO2016085212A1/ko
Publication of KR20160061699A publication Critical patent/KR20160061699A/ko
Application granted granted Critical
Publication of KR102326489B1 publication Critical patent/KR102326489B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 시선을 추적하여 디스플레이를 제어하는 전자 장치 및 방법에 관한 것이다.
이러한 본 발명은 시선을 추적하여 디스플레이를 제어하는 방법에 있어서, 안구의 시선을 추적하는 과정과, 상기 추적된 시선을 이용하여 스크린을 제어하기 위한 유저 인터페이스를 상기 스크린에 디스플레이하는 과정과, 상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능을 실행하는 과정을 포함할 수 있다.

Description

디스플레이를 제어하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING DISPAYING}
본 발명은 시선을 추적하여 디스플레이를 제어하는 전자 장치 및 방법에 관한 것이다.
일반적으로 컴퓨터를 통해 작업을 수행할 경우, 컴퓨터에 입력되는 명령은 마우스 또는 키보드를 통해 입력될 수 있다. 일반 사용자는 원하는 작업을 수행하기 위해 손가락을 이용하여 이러한 마우스 또는 키보드를 조작한다. 이와 같이, 마우스 또는 키보드를 통해 사용자가 원하는 기능을 실행하는 경우, 실행된 결과는 스크린을 통해 표시된다. 그런데, 일반 사용자에 비해 화면 컨트롤 능력이 떨어지는 근육병이나 루게릭 환자의 경우 마우스 또는 키보드를 사용하는데 많은 제약이 있기 때문에 컴퓨터를 사용하는데 어려움이 존재한다.
따라서, 사용자의 손가락이 아닌 사용자의 안구의 시선을 통해서 원할하게 컴퓨터를 사용할 필요성이 요구된다.
그런데, 종래에는 사용자의 안구의 시선을 이용하여 전자 장치에 명령을 제공하는 인터페이스가 제공되지 않았다.
따라서 본 발명의 다양한 실시예는 시선을 추적하여 디스플레이를 제어하는 전자 장치 및 방법을 제공한다.
상술한 바를 달성하기 위해 한 실시예는 시선을 추적하여 디스플레이를 제어하는 방법에 있어서, 안구의 시선을 추적하는 과정과, 상기 추적된 시선을 이용하여 스크린을 제어하기 위한 유저 인터페이스를 상기 스크린에 디스플레이하는 과정과, 상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능을 실행하는 과정을 포함할 수 있다.
또한, 상술한 바를 달성하기 위한 한 실시예는 시선을 추적하여 디스플레이를 제어하는 전자 장치에 있어서, 스크린을 제어하기 위한 유저 인터페이스를 디스플레이하는 스크린과, 상기 스크린을 주시하는 안구의 시선을 추적하고, 상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능의 실행을 제어하는 제어부를 포함할 수 있다.
또한, 상술한 바를 달성하기 위한 한 실시예는 시선을 추적하여 디스플레이를 제어하는 시스템에 있어서, 안구의 시선을 추적하기 위해 빛을 발산하는 적어도 하나의 발광 소자를 포함하는 발광부와, 상기 발산된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 상기 안구를 촬영하는 카메라를 포함하는 안구 추적 장치와, 스크린을 제어하기 위한 유저 인터페이스를 디스플레이하는 스크린과, 상기 촬영된 안구를 이용하여 상기 안구의 시선을 추적하고, 상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능을 실행하는 제어부를 포함하는 전자 장치를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 본 발명은 시선을 추적하여 디스플레이를 제어하는 전자 장치 및 방법을 제공함으로써, 사용자들에게 전자 장치의 사용률을 높일 수 있고, 안구의 시선을 통해서 보다 정확하고 신속한 사용자의 명령을 수신하여 해당 기능을 실행할 수 있다. 또한, 본 발명은 전자 장치에 제공될 기능을 포함하는 유저 인터페이스를 스크린에 표시함으로써, 사용자는 안구의 시선을 통해서 자신이 원하는 동작을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 시선을 추적하여 디스플레이를 제어하는 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 안구 추적 장치의 블럭도와 전자 장치의 블럭도를 나타낸 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 안구의 시선을 추적하는 과정을 나타낸 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 과정을 나타낸 순서도이다.
도 6a는 본 발명의 일 실시 예에 따른 안구의 위치 정보를 설정하는 화면을 나타낸 예시도이다.
도 6b는 본 발명의 일 실시 예에 따른 안구 위치 정보 설정의 환경 조건을 나타낸 예시도이다.
도 6c는 본 발명의 일 실시 예에 따른 임의 지점을 응시할 준비를 나타낸 예시도이다.
도 6d는 본 발명의 일 실시 예에 따른 안구의 시선을 인식하는 과정을 나타낸 예시도이다.
도 6e는 본 발명의 일 실시 예에 따른 안구의 시선의 인식이 완료된 것을 나타낸 예시도이다.
도 6f는 본 발명의 일 실시 예에 따른 안구 위치 정보 설정 결과를 나타낸 예시도이다.
도 7a는 본 발명의 일 실시 예에 따른 원형 타입의 유저 인터페이스를 나타낸 예시도이다.
도 7b는 본 발명의 일 실시 예에 따른 원형 타입의 유저 인터페이스를 나타낸 예시도이다.
도 8a는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 스크린에 표시되는 유저 인터페이스를 선택하는 예시도이다.
도 8b는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 마우스를 설정하는 예시도이다.
도 8c는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 카메라 뷰에 대한 예시도이다.
도 8d는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정 메뉴의 카메라 뷰에서 안구의 위치 정보를 설정한 결과를 나타낸 예시도이다.
도 8e는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 부가 기능을 적용하기 위한 예시도이다.
도 8f는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 단축 키 설정을 위한 예시도이다.
도 9a는 본 발명의 일 실시 예에 따른 스크린에서 마우스 우클릭에 따른 숨기기 기능으로 팝업 메뉴를 보이는 상태를 나타낸 예시도이다.
도 9b는 본 발명의 일 실시 예에 따른 스크린에서 마우스 우클릭에 따른 숨기기 기능으로 팝업 메뉴를 숨기는 상태를 나타낸 예시도이다.
도 10a는 본 발명의 일 실시 예에 따른 스크린을 바라보고 입력된 신호에 따라 우클릭 메뉴를 활성화시킨 예시도이다.
도 10b는 팝업 메뉴의 좌클릭 버튼을 바라보고 입력된 신호에 따라 좌클릭 마우스 동작을 선택하기 위한 예시도이다.
도 10c는 본 발명의 일 실시 예에 따른 우클릭 메뉴를 활성화시킨 상태에서 새 폴더 메뉴를 바라보고 입력된 신호를 보내어 실행시킨 예시도이다.
도 10d는 본 발명의 일 실시 예에 따른 우클릭 메뉴를 활성화시킨 상태에서 새 폴더 메뉴를 바라보고 입력된 신호를 보내어 새 폴더를 생성한 예시도이다.
도 10e는 본 발명의 일 실시 예에 따른 스크린에 생성된 새 폴더를 유저 인터페이스 상의 좌 더블클릭 메뉴를 선택하는 예시도이다.
도 10f는 본 발명의 좌 더블클릭 메뉴를 선택하고, 새 폴더를 주시하여 마우스 커서를 새 폴더로 이동시킨 예시도이다.
도 10g는 본 발명의 일 실시 예에 따른 새 폴더에 좌 더블클릭을 적용한 예시도이다.
도 11a는 본 발명의 일 실시 예에 따른 마우스를 사용하여 인터넷 화면을 스크롤 하기 위해 유저 인터페이스 상에서 스크롤에 해당하는 메뉴를 선택하는 예시도이다.
도 11b는 본 발명의 일 실시 예에 따른 스크롤에 해당되는 메뉴가 선택된 상태에서 스크롤하고자 하는 화면으로 시선을 이동한 예시도이다.
도 11c는 본 발명의 일 실시 예에 따른 스크롤하고자 하는 화면을 시선을 이동한 상태에서 입력 신호가 발생된 예시도이다.
도 11d는 본 발명의 일 실시 예에 따른 입력 신호의 발생에 대응하여 인터넷 화면에 스크롤 기능이 적용된 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명 가운데 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도 또는 A와 B 모두를 포함할 수도 있다.
본 발명 가운데 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에 따른 전자 장치는, 디스플레이 제어 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 와치(smartwatch)) 또는 안구 추적 장치 중 적어도 하나를 포함할 수 있다.
또한, 본 발명에 따른 안구 추적 장치는 안구의 시선을 추적하는 전자 장치로서, 안구의 시선을 추적하기 위해 빛을 발산하는 적어도 하나의 발광 소자를 포함하는 발광부와, 상기 발산된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 상기 안구를 촬영하는 카메라를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이 제어 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이 제어 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 시선을 추적하여 디스플레이를 제어하는 시스템을 나타낸 예시도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 시선을 추적하여 디스플레이를 제어하는 시스템은 스크린(120), 안구 추적 장치(110) 및 전자 장치(130)를 포함할 수 있다. 스크린(120)은 사용자에게 영상, 데이터, 정보 등을 시각적으로 보여지도록 출력할 수 있고, 사용자의 안구의 시선의 움직임에 대응하여 실시간으로 마우스 커서를 표시할 수 있다. 또한, 안구의 시선을 이용하여 디스플레이를 제어하는 유저 인터페이스를 표시할 수 있다.
안구 추적 장치(110)는 사용자의 안구를 추적하는 장치로서, 발광부, 카메라부, 제어부 및 송수신부를 포함할 수 있다. 상기 발광부는 카메라부의 좌측과 우측에 구비될 수 있다. 또한, 안구 추적 장치(110)는 사용자의 안구와 스크린 간의 거리를 측정할 수 있는 센서(미도시)를 더 포함할 수 있다. 상기 안구 추적 장치(110)는 스크린(120)의 상측 또는 하측에 장착될 수 있다. 또한, 안구 추적 장치(110)는 사용자의 안구를 추적할 수 있는 위치에 장착될 수 있다.
안구 추적 장치(110)는 빛을 방사하고, 방사된 빛을 통해서 안구를 촬영하고, 촬영된 안구를 분석하여 시선을 추적할 수 있다. 그리고, 안구 추적 장치(110)는 추적된 시선에 따른 디스플레이 상의 좌표에 대한 정보를 전자 장치(130)로 전송할 수 있다.
전자 장치(130)는 안구 추적 장치(110)로부터 시선에 의해 주시되는 좌표에 대한 정보를 수신하고, 안구의 시선을 이용하여 마우스 커서를 제어하기 위한 유저 인터페이스를 스크린(120)에 표시하고, 수신된 정보에 해당되는 지점에 마우스 커서를 표시할 수 있다. 전자 장치(130)는 마우스 커서가 표시된 유저 인터페이스 상의 메뉴에 위치하는지를 판단할 수 있다. 그리고, 전자 장치(130)는 유저 인터페이스 상에서 임의 메뉴가 선택되는 경우, 선택된 메뉴에 대응하는 기능을 실행할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 안구 추적 장치의 블럭도와 전자 장치의 블럭도를 나타낸 예시도이다.
도 2를 참조하면, 안구 추적 장치(210)는 사용자의 안구를 추적하는 장치로서, 발광부(211), 카메라부(212), 제어부(213) 및 송수신부(214)를 포함할 수 있다. 또한, 안구 추적 장치는 사용자의 안구와 스크린 간의 거리를 측정할 수 있는 센서(미도시)를 더 포함할 수 있다. 그리고, 전자 장치(220)는 안구 추적 장치를 통해 추적된 안구의 시선을 이용하여 디스플레이를 제어할 수 있는 장치로서, 스크린(221), 제어부(222) 및 송수신부(223)을 포함할 수 있다.
상기 안구 추적 장치(210)는 스크린(120)의 상측 또는 하측에 장착될 수 있다. 또한, 안구 추적 장치(210)는 사용자의 안구를 추적할 수 있는 위치에 장착될 수 있다. 안구 추적 장치(210)에서 발광부(211)는 빛을 발산할 수 있는 적어도 하나의 발광 소자를 포함할 수 있다. 상기 발광 소자는 LED(Light Emitting Diode)를 포함할 수 있다. 상기 발광 소자는 미리 결정된 시간 단위로 빛을 방사할 수 있다. 적어도 하나의 발광 소자에 의해 빛이 방사되어 안구에 빛이 형상되면, 카메라부(212)는 안구에 형상되는 빛을 감지하고, 안구를 촬영할 수 있다.
제어부(213)는 안구의 중심점(예: 홍채 중심점)과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 제어부(213)는 안구와 스크린(120) 간의 거리 및 안구의 중심점과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 발광 소자를 주시하면, 안구에 형상되는 빛은 안구의 중심부에 위치하게 될 수 있다. 또한, 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 스크린(120)의 윗쪽 부분을 주시하는 경우, 발광 소자에 의해 발산되는 빛은 상기 발광 소자를 주시하는 경우와 동일한 위치에 존재할 수 있으나, 홍채는 주시된 지점에 대응하여 안구에서 위쪽으로 향할 수 있다. 이 경우, 제어부(213)는 안구의 중심점과 안구상에 형상되는 빛 간의 거리, 각도 등을 계산하여, 사용자가 스크린의 어느 지점을 주시하고 있는지 판단할 수 있다. 제어부(213)는 미리 결정된 시간 단위로 안구를 촬영할 수 있거나 안구의 움직임의 감지에 대응하여 안구를 촬영할 수 있다. 또한, 제어부(213)는 발광 소자에 의해 발산된 빛이 안구에 형상되는 것을 감지하여 안구를 촬영할 수 있다.
제어부(213)는 추적된 시선에 따른 디스플레이 상의 좌표에 대한 정보를 송수신부(214)를 통해 전자 장치(220)로 전송할 수 있다. 안구 추적 장치(210)의 제어부(213)는 스크린의 좌측 상단, 좌측 하단, 우측 상단 및 우측 하단에 대한 좌표 정보를 인식할 수 있다. 그리고, 제어부(213)는 촬영된 안구를 분석하여 안구의 시선이 스크린 상의 어느 지점에 위치하는지 분석하거나 추적할 수 있다. 통상적으로 안구의 움직임은 빈번하게 발생될 수 있으며, 이러한 빈번한 발생에 따라 안구의 시선을 추적하기 위해서, 제어부(213)는 안구를 촬영하고 촬영된 안구를 통해 안구의 시선을 추적하는 과정을 지속적으로 수행할 수 있다. 그리고, 제어부(213)는 이러한 안구 추적에 대한 결과(예: 안구의 시선이 현재 머무르고 있는 지점에 대한 좌표 정보)를 전자 장치(220)로 전송할 수 있다. 상술한 바와 같이, 제어부(213)는 촬영된 안구를 통해 안구의 시선을 추적하고, 추적된 안구의 시선이 스크린 상의 어느 좌표에 위치하는지에 대한 정보를 분석하여 전자 장치(220)로 전송할 수 있다. 또한, 제어부(213)는 촬영된 안구를 전자 장치(220)로 전송할 수 있다.
전자 장치(220)는 PC, 노트북과 같은 스크린과 본체가 연결된 전자 장치를 포함할 수 있거나, 태블릿 PC, 스마트 폰과 같은 일체형의 전자 장치를 포함할 수 있거나, 사용자의 신체에 착용 가능한 스마트 시계, 스마트 안경과 같은 웨어러블 전자 장치를 포함할 수 있다. 전자 장치(220)는 사용자의 안구의 시선을 추적하여 추적된 안구의 시선을 통해서 디스플레이를 제어하는 장치로서, 스크린(221), 제어부(222) 및 송수신부(223)를 포함할 수 있다. 또한, 전자 장치(220)는 사용자의 안구와 스크린 간의 거리를 측정할 수 있는 센서(미도시)를 더 포함할 수 있다.
전자 장치(220)의 스크린(221)은 사용자에게 영상, 데이터, 정보 등을 시각적으로 보여지도록 출력할 수 있고, 사용자의 안구의 시선의 움직임에 대응하여 실시간으로 마우스 커서를 표시할 수 있다. 또한, 안구의 시선을 이용하여 디스플레이를 제어하는 유저 인터페이스를 표시할 수 있다.
그리고, 전자 장치(220)의 제어부(222)는 안구를 이용하여 마우스 커서를 제어하기 위한 유저 인터페이스를 스크린(221)에 표시할 수 있다. 제어부(222)는 촬영된 안구를 통해 안구의 시선을 분석하고, 스크린 상의 어느 지점에 위치하는지 추적된 결과를 안구의 움직임에 대응하여 송수신부(223)를 통해 수신할 수 있다. 이러한 결과의 수신은 안구의 움직임에 따라 수신되거나 또는 미리 결정된 시간 단위로 수신할 수 있다. 상술한 바와 같이, 제어부(222)는 안구 추적에 대한 결과(예: 안구의 시선이 현재 머무르고 있는 지점에 대한 좌표 정보)를 안구 추적 장치(210)로부터 수신할 수 있다. 제어부(222)는 안구의 시선을 이용하여 마우스 커서를 제어하기 위한 유저 인터페이스를 표시할 수 있다. 제어부(222)는 추적된 시선을 이용하여 스크린을 제어하기 위한 유저 인터페이스를 스크린(221) 상의 임의 위치에 디스플레이할 수 있다. 상기 유저 인터페이스는 스크린(221) 상에 위치 변경이 가능하며, 원형 타입 또는 사각형 타입으로 표시될 수 있다. 유저 인터페이스는 트레이 아이콘으로 표시될 수 있다. 유저 인터페이스는 좌표에 대한 정보를 수신하기 이전 또는 이후에 스크린(221)에 표시될 수 있다. 유저 인터페이스는 안구의 추적에 대응하여 자동으로 실행되어 스크린(221) 상에 표시되거나 또는 실행 명령에 의해 실행되어 스크린(221) 상에 표시될 수 있다. 상기 제어부(222)는 안구의 시선을 이용하거나 사용자의 입력에 대응하여 스크린(221) 상에 표시된 유저 인터페이스의 크기를 조절하거나 위치 변경을 할 수 있다.
제어부(222)는 안구를 촬영한 결과를 분석하여 안구의 시선을 추적하고, 추적된 지점에 마우스 커서를 표시할 수 있다. 제어부(222)는 안구 추적 장치(210)로부터 촬영된 적어도 하나의 이미지를 송수신부(223)를 통해 수신할 수 있다. 제어부(222)는 수신된 적어도 하나의 이미지를 통해서 안구의 시선을 추적할 수 있다. 제어부(222)는 안구의 중심점(예: 홍채 중심점)과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 제어부(222)는 안구와 스크린(120) 간의 거리 및 안구의 중심점과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 발광 소자를 주시하면, 안구에 형상되는 빛은 안구의 중심부에 위치하게 될 수 있다. 또한, 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 스크린(120)의 윗쪽 부분을 주시하는 경우, 발광 소자에 의해 발산되는 빛은 상기 발광 소자를 주시하는 경우와 동일한 위치에 존재할 수 있으나, 홍채는 주시된 지점에 대응하여 안구에서 위쪽으로 향할 수 있다. 이 경우, 제어부(222)는 안구의 중심점과 안구상에 형상되는 빛 간의 거리, 각도 등을 계산하여, 사용자가 스크린의 어느 지점을 주시하고 있는지 판단할 수 있다.
제어부(222)는 안구 추적 장치(210)로부터 수신된 이미지를 분석하여 안구의 시선을 추적할 수 있다. 그리고, 추적된 시선에 대응하는 지점에 마우스 커서를 표시할 수 있다. 제어부(222)는 안구 추적 장치(210)로부터 수신된 정보를 통해, 안구의 시선이 유저 인터페이스 상에 머무르고 있는지 또는 스크린(221) 상의 임의 지점에 머무르고 있는지를 판단할 수 있다. 제어부(222)는 수신된 정보를 통해 안구의 시선이 머무르고 있는 지점을 판단하고, 판단된 지점에 커서를 표시하거나 커서의 위치를 이동시킬 수 있다. 제어부(222)는 안구의 시선의 이동에 대응하여 마우스의 커서의 위치를 실시간으로 이동시킬 수 있다. 제어부(222)는 추적된 시선에 대응하여 디스플레이되는 커서의 위치가 유저 인터페이스의 임의 메뉴에 위치하는지 판단할 수 있다. 제어부(222)는 유저 인터페이스 상의 임의 메뉴를 선택하는 입력을 감지할 수 있다. 상기 커서의 모양은 선택되는 메뉴에 따라 서로 다른 형태를 가질 수 있다.
유저 인터페이스 상의 메뉴에 마우스 커서가 위치하는 경우, 제어부(222)는 마우스 커서가 위한 메뉴에 대응하는 기능을 실행할 수 있다. 제어부(222)는 유저 인터페이스 상의 임의 메뉴에 마우스 커서가 위치하는지 판단할 수 있다. 제어부(222)는 유저 인터페이스의 임의 메뉴에 커서가 위치한 상태에서 메뉴가 선택되는지를 판단할 수 있다. 제어부(222)는 임의 메뉴를 선택하는 입력을 감지할 수 있다. 상기 입력은 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 포함할 수 있다. 제어부(222)는 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 감지하여 임의 메뉴가 선택됨을 판단할 수 있다. 제어부(222)는 상기 입력을 통해 선택되는 메뉴의 기능을 적용하기 위해 상기 기능을 활성 상태로 유지할 수 있다. 제어부(222)는 메뉴가 선택되면, 선택된 메뉴에 비쥬얼 효과(예:음영 처리)를 제공하거나 메뉴가 선택되었음을 알리는 음성을 출력할 수 있다. 제어부(222)는 사용자가 인식할 수 있는 다양한 방법을 통해 사용자로 하여금 메뉴가 선택되었음이 인지되도록 선택 결과를 출력할 수 있다. 제어부(222)는 선택된 메뉴에 대응하는 기능을 실행할 수 있다. 제어부(222)는 스크린(221) 상에서 안구의 시선이 위치하는 지점에 임의 메뉴 기능을 실행할 수 있다. 제어부(222)는 선택된 메뉴에 해당되는 기능이 활성 상태로 유지된 이후, 시선이 다른 지점으로 이동되고, 이동된 다른 지점에서 입력이 감지되면, 상기 다른 지점에서 상기 활성 상태의 기능을 실행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 과정을 나타낸 순서도이다.
이하, 도 3을 참조하여 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 과정을 상세히 설명하면 다음과 같다.
안구 추적 장치(210)는 빛을 방사하여 안구를 촬영할 수 있다(310). 안구 추적 장치(210)는 빛을 방사할 수 있는 적어도 하나의 발광 소자를 포함하는 발광부를 포함할 수 있다. 이러한 안구 추적 장치(210)는 스크린(120)의 상측, 하측, 좌측 및 우측 중 적어도 한 곳에 장착될 수 있다. 또한, 안구 추적 장치(210)는 사용자의 안구를 추적하는데 용이한 위치에 장착될 수 있다. 안구 추적 장치(210)는 빛을 방사할 수 있는 적어도 하나의 발광 소자를 포함하는 발광부(211), 안구와 스크린간의 거리를 계산 또는 측정할 수 있는 센서(미도시), 안구를 촬영하는 카메라부(212), 발상된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 안구의 촬영을 제어하고, 촬영된 안구의 중심점과 상기 감지된 빛 간의 거리, 및 상기 계산된 거리 중 적어도 하나를 이용하여 상기 안구의 시선을 추적하는 제어부(213)와, 추적된 안구의 시선에 대한 정보를 전자 장치(130)로 전송할 수 있는 송수신부(214)를 포함할 수 있다. 상기 발광 소자는 LED(Light Emitting Diode)를 포함할 수 있다. 상기 발광 소자는 미리 결정된 시간 단위로 빛을 방사할 수 있다.
안구 추적 장치(210)는 안구를 촬영한 결과를 전자 장치(220)로 전송할 수 있다(320). 안구 추적 장치(210)와 전자 장치(220)는 유무선을 통해서 데이터를 송수신할 수 있다. 안구 추적 장치(210)와 전자 장치(220)는 USB(Universal Serial Bus)를 통해서 연결될 수 있다. 안구 추적 장치(210)는 미리 결정된 시간 단위로 안구를 촬영할 수 있거나 안구의 움직임의 감지에 대응하여 안구를 촬영할 수 있다. 또한, 안구 추적 장치(210)는 발광 소자에 의해 발산된 빛이 안구에 형상되는 것을 감지하여 안구를 촬영할 수 있다. 적어도 하나의 발광 소자에 의해 빛이 방사되어 안구에 빛이 형상되면, 안구 추적 장치(210)는 안구에 형상되는 빛을 감지하여 안구를 촬영하고, 촬영된 이미지를 전자 장치(220)로 전송할 수 있다. 안구 추적 장치(210)는 안구의 움직임에 대응하여 촬영되는 적어도 하나의 이미지를 전자 장치(220)로 전송할 수 있다.
전자 장치(220)는 안구를 이용하여 마우스 커서를 제어하기 위한 유저 인터페이스를 표시할 수 있다(330). 전자 장치(220)는 안구 추적 장치(210)에 의해 안구를 촬영하고, 촬영된 안구를 통해 안구의 시선을 분석하고, 스크린 상의 어느 지점에 위치하는지 추적된 결과를 안구의 움직임에 대응하여 수신할 수 있다. 이러한 결과의 수신은 안구의 움직임에 따라 수신되거나 또는 미리 결정된 시간 단위로 수신할 수 있다. 상술한 바와 같이, 전자 장치(220)는 안구 추적에 대한 결과(예: 안구의 시선이 현재 머무르고 있는 지점에 대한 좌표 정보)를 안구 추적 장치(210)로부터 수신할 수 있다. 전자 장치(220)는 안구의 시선을 이용하여 마우스 커서를 제어하기 위한 유저 인터페이스를 표시할 수 있다. 전자 장치(220)는 추적된 시선을 이용하여 스크린을 제어하기 위한 유저 인터페이스를 스크린(221) 상의 임의 위치에 디스플레이할 수 있다. 상기 유저 인터페이스는 스크린(221) 상에 위치 변경이 가능하며, 원형 타입 또는 사각형 타입으로 표시될 수 있다. 유저 인터페이스는 트레이 아이콘으로 표시될 수 있다. 유저 인터페이스는 좌표에 대한 정보를 수신하기 이전 또는 이후에 스크린(221)에 표시될 수 있다. 유저 인터페이스는 안구의 추적에 대응하여 자동으로 실행되어 스크린(221) 상에 표시되거나 또는 실행 명령에 의해 실행되어 스크린(221) 상에 표시될 수 있다.
유저 인터페이스는 마우스에서 제공되는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제1 그룹과 상기 안구의 시선을 이용하여 디스플레이를 제어하는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제2 그룹을 포함할 수 있다. 상기 제1 그룹은 상기 마우스의 좌 클릭에 해당되는 메뉴, 상기 마우스의 우 클릭에 해당되는 메뉴, 상기 마우스의 좌 더블 클릭에 해당되는 메뉴, 상기 마우스를 이용한 드래그에 해당되는 메뉴, 상기 마우스를 이용한 스크롤에 해당되는 메뉴 및 상기 마우스를 이용한 페이지 전환에 해당되는 메뉴 중 적어도 하나를 포함할 수 있다. 상기 제2 그룹은 상기 유저 인터페이스를 활성화하기 위한 메뉴, 상기 유저 인터페이스를 비활성화하기 위한 메뉴, 상기 유저 인터페이스를 설정하기 위한 메뉴, 마우스의 커서가 위치하는 영역을 확대하는 메뉴, 상기 안구의 시선을 이용한 안구 마우스와 일반 마우스간의 전환을 위한 메뉴, 상기 안구 마우스의 기능을 설정하기 위한 메뉴, 상기 안구의 위치 정보를 설정하기 위한 메뉴, 카메라 뷰를 위한 메뉴, 단축 키 설정을 위한 메뉴, 상기 스크린 상에 디스플레이된 데이터를 선택하기 위한 메뉴, 상기 선택된 데이터를 복사하기 위한 메뉴, 상기 복사된 데이터를 붙여 넣기 위한 메뉴 및 키보드의 스페이스 바에 해당되는 메뉴 중 적어도 하나를 포함할 수 있다. 상기 유저 인터페이스를 설정하기 위한 메뉴는 상기 유저 인터페이스의 타입을 선택하는 메뉴, 상기 안구 마우스의 속성을 조절하기 위한 메뉴, 상기 안구를 촬영하는 카메라의 속성을 조절하기 위한 메뉴 및 상기 유저 인터페이스의 부가 기능을 제공하기 위한 메뉴 중 적어도 하나를 포함할 수 있다. 유저 인터페이스가 원형 타입인 경우, 상기 제1 그룹은 중심부에 위치하고, 상기 제2 그룹은 상기 제1 그룹의 바깥부분에 위치할 수 있다. 또한, 상기 유저 인터페이스가 사각형 타입인 경우, 상기 제1 그룹은 상기 제2 그룹보다 위에 위치할 수 있다. 또한, 유저 인터페이스는 디스플레이되는 위치를 변경하기 위한 메뉴 및 상기 유저 인터페이스를 종료하기 위한 메뉴 중 적어도 하나를 더 포함할 수 있다.
전자 장치(220)는 안구를 촬영한 결과를 분석하여 안구의 시선을 추적하고, 추적된 지점에 마우스 커서를 표시할 수 있다(340). 전자 장치(220)는 안구 추적 장치(210)로부터 촬영된 적어도 하나의 이미지를 수신할 수 있다. 전자 장치(220)는 수신된 적어도 하나의 이미지를 통해서 안구의 시선을 추적할 수 있다. 전자 장치(220)는 안구의 중심점(예: 홍채 중심점)과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 전자 장치(220)는 안구와 스크린(120) 간의 거리 및 안구의 중심점과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 발광 소자를 주시하면, 안구에 형상되는 빛은 안구의 중심부에 위치하게 될 수 있다. 또한, 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 스크린(120)의 윗쪽 부분을 주시하는 경우, 발광 소자에 의해 발산되는 빛은 상기 발광 소자를 주시하는 경우와 동일한 위치에 존재할 수 있으나, 홍채는 주시된 지점에 대응하여 안구에서 위쪽으로 향할 수 있다. 이 경우, 전자 장치(220)는 안구의 중심점과 안구상에 형상되는 빛 간의 거리, 각도 등을 계산하여, 사용자가 스크린의 어느 지점을 주시하고 있는지 판단할 수 있다.
전자 장치(220)는 안구 추적 장치(210)로부터 수신된 이미지를 분석하여 안구의 시선을 추적할 수 있다. 그리고, 추적된 시선에 대응하는 지점에 마우스 커서를 표시할 수 있다. 전자 장치(220)는 안구 추적 장치(210)로부터 수신된 정보를 통해, 안구의 시선이 유저 인터페이스 상에 머무르고 있는지 또는 스크린(221) 상의 임의 지점에 머무르고 있는지를 판단할 수 있다. 전자 장치(220)는 수신된 정보를 통해 안구의 시선이 머무르고 있는 지점을 판단하고, 판단된 지점에 커서를 표시하거나 커서의 위치를 이동시킬 수 있다. 전자 장치(220)는 안구의 시선의 이동에 대응하여 마우스의 커서의 위치를 실시간으로 이동시킬 수 있다. 전자 장치(220)는 추적된 시선에 대응하여 디스플레이되는 커서의 위치가 유저 인터페이스의 임의 메뉴에 위치하는지 판단할 수 있다. 전자 장치(220)는 유저 인터페이스 상의 임의 메뉴를 선택하는 입력을 감지할 수 있다. 상기 커서의 모양은 선택되는 메뉴에 따라 서로 다른 형태를 가질 수 있다.
유저 인터페이스 상의 메뉴에 마우스 커서가 위치하는 경우(350), 전자 장치(220)는 마우스 커서가 위한 메뉴에 대응하는 기능을 실행할 수 있다(360). 전자 장치(220)는 유저 인터페이스 상의 임의 메뉴에 마우스 커서가 위치하는지 판단할 수 있다. 전자 장치(220)는 유저 인터페이스의 임의 메뉴에 커서가 위치한 상태에서 메뉴가 선택되는지를 판단할 수 있다. 전자 장치(220)는 임의 메뉴를 선택하는 입력을 감지할 수 있다. 상기 입력은 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 포함할 수 있다. 전자 장치(220)는 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 감지하여 임의 메뉴가 선택됨을 판단할 수 있다. 전자 장치(220)는 상기 입력을 통해 선택되는 메뉴의 기능을 적용하기 위해 상기 기능을 활성 상태로 유지할 수 있다. 전자 장치(220)는 메뉴가 선택되면, 선택된 메뉴에 비쥬얼 효과(예:음영 처리)를 제공하거나 메뉴가 선택되었음을 알리는 음성을 출력할 수 있다. 전자 장치(220)는 사용자가 인식할 수 있는 다양한 방법을 통해 사용자로 하여금 메뉴가 선택되었음이 인지되도록 선택 결과를 출력할 수 있다. 전자 장치(220)는 선택된 메뉴에 대응하는 기능을 실행할 수 있다. 전자 장치(220)는 스크린(221) 상에서 안구의 시선이 위치하는 지점에 임의 메뉴 기능을 실행할 수 있다. 전자 장치(220)는 선택된 메뉴에 해당되는 기능이 활성 상태로 유지된 이후, 시선이 다른 지점으로 이동되고, 이동된 다른 지점에서 입력이 감지되면, 상기 다른 지점에서 상기 활성 상태의 기능을 실행할 수 있다. 상기 입력은 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 포함할 수 있다. 예를 들어, 시선이 유저 인터페이스 상의 메뉴(예: 마우스 우측 클릭)에 위치하여 상기 입력이 감지되면, 전자 장치(220)는 상기 메뉴에 대한 기능을 준비 상태로 유지하고, 시선이 다른 지점으로 이동한 상태에서 입력이 감지되면, 이동한 지점에서 상기 메뉴에 대한 기능을 실행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 안구의 시선을 추적하는 과정을 나타낸 순서도이다.
이하, 도 4를 참조하여, 본 발명의 일 실시 예에 따른 안구의 시선을 추적하는 과정을 상세히 설명하면 다음과 같다.
안구 추적 장치(210)는 빛을 방사할 수 있다(410). 안구 추적 장치(210)는 스크린(120)의 상측 또는 하측에 장착될 수 있다. 또한, 안구 추적 장치(210)는 사용자의 안구를 추적할 수 있는 위치에 장착될 수 있다. 안구 추적 장치(210)는 빛을 방사할 수 있는 적어도 하나의 발광 소자를 포함하는 발광부(211), 안구와 스크린간의 거리를 계산 또는 측정할 수 있는 센서(미도시), 안구를 촬영하는 카메라부(212), 발상된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 안구의 촬영을 제어하고, 촬영된 안구의 중심점과 상기 감지된 빛 간의 거리, 및 상기 계산된 거리 중 적어도 하나를 이용하여 상기 안구의 시선을 추적하는 제어부(213)와, 추적된 안구의 시선에 대한 정보를 전자 장치(130)로 전송할 수 있는 송수신부(214)를 포함할 수 있다. 상기 발광 소자는 LED(Light Emitting Diode)를 포함할 수 있다. 상기 발광 소자는 미리 결정된 시간 단위로 빛을 방사할 수 있다.
안구 추적 장치(210)는 방사된 빛을 통해서 안구를 촬영하고(420), 촬영된 안구를 분석하여 시선을 추적할 수 있다(430). 적어도 하나의 발광 소자에 의해 빛이 방사되어 안구에 빛이 형상되면, 안구 추적 장치(210)는 안구에 형상되는 빛을 감지하고, 안구 추적 장치(210)는 안구를 촬영할 수 있다. 안구 추적 장치(210)는 안구의 중심점(예: 홍채 중심점)과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 안구 추적 장치(210)는 안구와 스크린(120) 간의 거리 및 안구의 중심점과 안구에 형상되는 빛 간의 거리를 이용하여 안구의 시선을 추적할 수 있다. 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 발광 소자를 주시하면, 안구에 형상되는 빛은 안구의 중심부에 위치하게 될 수 있다. 또한, 예를 들어, 안구와 스크린(120) 간의 거리가 계산 또는 측정된 상태에서, 사용자가 스크린(120)의 윗쪽 부분을 주시하는 경우, 발광 소자에 의해 발산되는 빛은 상기 발광 소자를 주시하는 경우와 동일한 위치에 존재할 수 있으나, 홍채는 주시된 지점에 대응하여 안구에서 위쪽으로 향할 수 있다. 이 경우, 안구 추적 장치(210)는 안구의 중심점과 안구상에 형상되는 빛 간의 거리, 각도 등을 계산하여, 사용자가 스크린의 어느 지점을 주시하고 있는지 판단할 수 있다. 안구 추적 장치(210)는 미리 결정된 시간 단위로 안구를 촬영할 수 있거나 안구의 움직임의 감지에 대응하여 안구를 촬영할 수 있다. 또한, 안구 추적 장치(210)는 발광 소자에 의해 발산된 빛이 안구에 형상되는 것을 감지하여 안구를 촬영할 수 있다.
안구 추적 장치(210)는 추적된 시선에 따른 디스플레이상의 좌표에 대한 정보를 전송할 수 있다(440). 안구 추적 장치(210)는 스크린의 좌측 상단, 좌측 하단, 우측 상단 및 우측 하단에 대한 좌표 정보를 인식할 수 있다. 그리고, 안구 추적 장치(210)는 촬영된 안구를 분석하여 안구의 시선이 스크린 상의 어느 지점에 위치하는지 분석하거나 추적할 수 있다. 통상적으로 안구의 움직임은 빈번하게 발생될 수 있으며, 이러한 빈번한 발생에 따라 안구의 시선을 추적하기 위해서, 안구 추적 장치(210)는 안구를 촬영하고 촬영된 안구를 통해 안구의 시선을 추적하는 과정을 지속적으로 수행할 수 있다. 그리고, 안구 추적 장치(210)는 이러한 안구 추적에 대한 결과(예: 안구의 시선이 현재 머무르고 있는 지점에 대한 좌표 정보)를 전자 장치(220)로 전송할 수 있다. 상술한 바와 같이, 안구 추적 장치(210)는 촬영된 안구를 통해 안구의 시선을 추적하고, 추적된 안구의 시선이 스크린 상의 어느 좌표에 위치하는지에 대한 정보를 분석하여 전자 장치(220)로 전송할 수 있다. 또한, 안구 추적 장치(210)는 촬영된 안구를 전자 장치(220)로 전송할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 과정을 나타낸 순서도이다.
이하, 도 5를 참조하여, 본 발명의 일 실시 예에 따른 안구의 시선을 추적하여 디스플레이를 제어하는 과정을 상세히 설명하면 다음과 같다.
전자 장치(220)는 시선에 의해 주시되는 지점의 좌표에 대한 정보를 수신할 수 있다(510). 상기 전자 장치(220)는 PC, 노트북과 같은 스크린과 본체가 연결된 전자 장치를 포함할 수 있거나, 태블릿 PC, 스마트 폰과 같은 일체형의 전자 장치를 포함할 수 있거나, 사용자의 신체에 착용 가능한 스마트 시계, 스마트 안경과 같은 웨어러블 전자 장치를 포함할 수 있다. 전자 장치(220)는 안구 추적 장치(210)에 의해 안구를 촬영하고, 촬영된 안구를 통해 안구의 시선을 분석하고, 스크린 상의 어느 지점에 위치하는지 추적된 결과를 안구의 움직임에 대응하여 수신할 수 있다. 이러한 결과의 수신은 안구의 움직임에 따라 수신되거나 또는 미리 결정된 시간 단위로 수신할 수 있다. 상술한 바와 같이, 전자 장치(220)는 안구 추적에 대한 결과(예: 안구의 시선이 현재 머무르고 있는 지점에 대한 좌표 정보)를 안구 추적 장치(210)로부터 수신할 수 있다. 상술한 바와 같이, 안구 추적 장치(210)는 촬영된 안구를 통해 안구의 시선을 추적하고, 추적된 안구의 시선이 스크린 상의 어느 좌표에 위치하는지에 대한 정보를 분석하여 전자 장치(220)로 전송할 수 있다. 또한, 안구 추적 장치(210)는 촬영된 안구를 전자 장치(220)로 전송할 수 있다.
전자 장치(220)는 안구의 시선을 이용하여 마우스 커서를 제어하기 위한 유저 인터페이스를 표시할 수 있다(520). 전자 장치(220)는 추적된 시선을 이용하여 스크린을 제어하기 위한 유저 인터페이스를 스크린(221) 상의 임의 위치에 디스플레이할 수 있다. 상기 유저 인터페이스는 스크린(221) 상에 위치 변경이 가능하며, 원형 타입 또는 사각형 타입으로 표시될 수 있다. 유저 인터페이스는 트레이 아이콘으로 표시될 수 있다. 유저 인터페이스는 좌표에 대한 정보를 수신하기 이전 또는 이후에 스크린(221)에 표시될 수 있다. 유저 인터페이스는 안구의 추적에 대응하여 자동으로 실행되어 스크린(221) 상에 표시되거나 또는 실행 명령에 의해 실행되어 스크린(221) 상에 표시될 수 있다. 유저 인터페이스는 마우스에서 제공되는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제1 그룹과 상기 안구의 시선을 이용하여 디스플레이를 제어하는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제2 그룹을 포함할 수 있다. 상기 제1 그룹은 상기 마우스의 좌 클릭에 해당되는 메뉴, 상기 마우스의 우 클릭에 해당되는 메뉴, 상기 마우스의 좌 더블 클릭에 해당되는 메뉴, 상기 마우스를 이용한 드래그에 해당되는 메뉴, 상기 마우스를 이용한 스크롤에 해당되는 메뉴 및 상기 마우스를 이용한 페이지 전환에 해당되는 메뉴 중 적어도 하나를 포함할 수 있다. 상기 제2 그룹은 상기 유저 인터페이스를 활성화하기 위한 메뉴, 상기 유저 인터페이스를 비활성화하기 위한 메뉴, 상기 유저 인터페이스를 설정하기 위한 메뉴, 마우스의 커서가 위치하는 영역을 확대하는 메뉴, 상기 안구의 시선을 이용한 안구 마우스와 일반 마우스간의 전환을 위한 메뉴, 상기 안구 마우스의 기능을 설정하기 위한 메뉴, 상기 안구의 위치 정보를 설정하기 위한 메뉴, 카메라 뷰를 위한 메뉴, 단축 키 설정을 위한 메뉴, 상기 스크린 상에 디스플레이된 데이터를 선택하기 위한 메뉴, 상기 선택된 데이터를 복사하기 위한 메뉴, 상기 복사된 데이터를 붙여 넣기 위한 메뉴 및 키보드의 스페이스 바에 해당되는 메뉴 중 적어도 하나를 포함할 수 있다. 상기 유저 인터페이스를 설정하기 위한 메뉴는 상기 유저 인터페이스의 타입을 선택하는 메뉴, 상기 안구 마우스의 속성을 조절하기 위한 메뉴, 상기 안구를 촬영하는 카메라의 속성을 조절하기 위한 메뉴 및 상기 유저 인터페이스의 부가 기능을 제공하기 위한 메뉴 중 적어도 하나를 포함할 수 있다. 유저 인터페이스가 원형 타입인 경우, 상기 제1 그룹은 중심부에 위치하고, 상기 제2 그룹은 상기 제1 그룹의 바깥부분에 위치할 수 있다. 또한, 상기 유저 인터페이스가 사각형 타입인 경우, 상기 제1 그룹은 상기 제2 그룹보다 위에 위치할 수 있다. 또한, 유저 인터페이스는 디스플레이되는 위치를 변경하기 위한 메뉴 및 상기 유저 인터페이스를 종료하기 위한 메뉴 중 적어도 하나를 더 포함할 수 있다.
그리고, 전자 장치는 수신된 정보에 해당되는 지점에 마우스 커서를 표시할 수 있다(530). 전자 장치(220)는 안구 추적 장치(210)로부터 추적된 시선에 따른 디스플레이상의 좌표에 대한 정보를 수신할 수 있고, 수신된 좌표에 대한 정보를 분석하여 수신된 정보에 해당되는 지점에 마우스 커서를 표시할 수 있다. 전자 장치(220)는 수신된 정보를 통해, 안구의 시선이 유저 인터페이스 상에 머무르고 있는지 또는 스크린(221) 상의 임의 지점에 머무르고 있는지를 판단할 수 있다. 전자 장치(220)는 수신된 정보를 통해 안구의 시선이 머무르고 있는 지점을 판단하고, 판단된 지점에 커서를 표시하거나 커서의 위치를 이동시킬 수 있다. 전자 장치(220)는 안구의 시선의 이동에 대응하여 마우스의 커서의 위치를 실시간으로 이동시킬 수 있다. 전자 장치(220)는 추적된 시선에 대응하여 디스플레이되는 커서의 위치가 유저 인터페이스의 임의 메뉴에 위치하는지 판단할 수 있다. 전자 장치(220)는 유저 인터페이스 상의 임의 메뉴를 선택하는 입력을 감지할 수 있다. 상기 커서의 모양은 선택되는 메뉴에 따라 서로 다른 형태를 가질 수 있다.
마우스 커서가 표시된 유저 인터페이스 상의 메뉴에 위치하고(540), 메뉴가 선택되면(550), 전자 장치(220)는 선택된 메뉴에 대응하는 기능을 실행할 수 있다. 전자 장치(220)는 유저 인터페이스 상의 임의 메뉴에 마우스 커서가 위치하는지 판단할 수 있다. 그리고, 전자 장치(220)는 유저 인터페이스의 임의 메뉴에 커서가 위치한 상태에서 메뉴가 선택되는지를 판단할 수 있다. 전자 장치(220)는 임의 메뉴를 선택하는 입력을 감지할 수 있다. 상기 입력은 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 포함할 수 있다. 전자 장치(220)는 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 감지하여 임의 메뉴가 선택됨을 판단할 수 있다. 전자 장치(220)는 상기 입력을 통해 선택되는 메뉴의 기능을 적용하기 위해 상기 기능을 활성 상태로 유지할 수 있다. 전자 장치(220)는 메뉴가 선택되면, 선택된 메뉴에 비쥬얼 효과(예:음영 처리)를 제공하거나 메뉴가 선택되었음을 알리는 음성을 출력할 수 있다. 전자 장치(220)는 사용자가 인식할 수 있는 다양한 방법을 통해 사용자로 하여금 메뉴가 선택되었음이 인지되도록 선택 결과를 출력할 수 있다. 전자 장치(220)는 선택된 메뉴에 대응하는 기능을 실행할 수 있다. 전자 장치(220)는 스크린(221) 상에서 안구의 시선이 위치하는 지점에 임의 메뉴 기능을 실행할 수 있다. 전자 장치(220)는 선택된 메뉴에 해당되는 기능이 활성 상태로 유지된 이후, 시선이 다른 지점으로 이동되고, 이동된 다른 지점에서 입력이 감지되면, 상기 다른 지점에서 상기 활성 상태의 기능을 실행할 수 있다. 상기 입력은 음성, 안구의 깜빡임 및 추적된 시선이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 포함할 수 있다. 예를 들어, 시선이 유저 인터페이스 상의 메뉴(예: 마우스 우측 클릭)에 위치하여 상기 입력이 감지되면, 전자 장치(220)는 상기 메뉴에 대한 기능을 준비 상태로 유지하고, 시선이 다른 지점으로 이동한 상태에서 입력이 감지되면, 이동한 지점에서 상기 메뉴에 대한 기능을 실행할 수 있다.
도 6a는 본 발명의 일 실시 예에 따른 안구의 위치 정보를 설정하는 화면을 나타낸 예시도이고, 도 6b는 본 발명의 일 실시 예에 따른 안구 위치 정보 설정의 환경 조건을 나타낸 예시도이고, 도 6c는 본 발명의 일 실시 예에 따른 임의 지점을 응시할 준비를 나타낸 예시도이고, 도 6d는 본 발명의 일 실시 예에 따른 안구의 시선을 인식하는 과정을 나타낸 예시도이고, 도 6e는 본 발명의 일 실시 예에 따른 안구의 시선의 인식이 완료된 것을 나타낸 예시도이고, 도 6f는 본 발명의 일 실시 예에 따른 안구 위치 정보 설정 결과를 나타낸 예시도이다.
도 6a를 참조하면, 본 발명의 일 실시 예에 따른 안구의 위치 정보를 설정하는 화면은 안구를 이용하여 디스플레이를 제어하기 위해 우선적으로 사용자의 안구에 따른 위치 정보를 설정하기 위한 화면(610)이다. 상기 화면(610)은 안구가 카메라에 잡히는지 카메라뷰 영상을 표시하는 제1 영역(611)과, 안구 위치 정보를 설정하는 속도를 조절하는 표시하는 제2 영역(612)과, 안구의 위치 정보 설정 준비 상태를 나타낸 제3 영역(613)을 포함할 수 있다. 제1 영역(611)은 카메라를 통해 안구를 촬영하여 안구를 인식하는 과정을 실시간으로 표시할 수 있다. 이러한 제1 영역에서는 안구가 카메라에 잡히는지 알 수 있으며, 필요에 따라 카메라뷰 가이드 안에 눈동자를 적당히 위치시켜 안구 인식이 원할하게 수행될 수 있도록 할 수 있다. 제2 영역(612)은 안구 위치 정보의 설정 수행 속도를 조절하기 위한 기능을 표시하며, 안구의 위치를 인식하는 속도를 느리게 하거나 또는 빠르게 조절할 수 있다. 그리고, 제3 영역(613)은 후술할 도 6e와 같은 초점이 형성되지 않는 경우 카메라 설정하기 위한 메뉴를 표시할 수 있다.
도 6b를 참조하면, 도 6a를 통해 안구 위치 정보 설정을 위한 필요 사항이 준비 완료되면, 안구 위치 정보 설정(Calibration)을 실행할 수 있다. 도 6b를 통해서 눈으로 바라보는 위치와 스크린 상의 위치의 관계를 계산하여 눈으로 바라보는 방향으로 마우스 커서가 이동할 수 있도록 해준다. 먼저, 모니터(예: 스크린)와 눈간의 거리를 계산할 수 있다. 모니터와 눈과의 거리 조건에 따라 도 6a의 제1 영역(611)에서 눈의 초점을 맞추고 안구위치 가이드를 켜서 눈의 위치를 확인할 수 있다. 이러한 조건은 모니터(예: 스크린)의 크기, 모니터의 해상도 및 눈과의 거리 중 적어도 하나를 포함할 수 있다. 그리고, 안구의 위치 정보의 설정의 속도를 조절할 수 있다. 설정 과정에서 측정 속도를 점점 빠르게 조절하여 그 소요 시간을 선택할 수 있다. 그리고, 안구 위치 정보 설정을 실행할 수 있다. 예를 들어, 안구 위치 정보 설정이 실행되어 녹색 신호가 켜지는 경우 실행이 가능하지만, 녹색 신호가 켜지지 않으면 모니터(예: 스크린)와 눈간의 거리를 계산하는 과정부터 다시 수행할 수 있다. 이러한 과정이 정확하게 수행되는 경우, 안구의 시선을 이용하여 디스플레이를 제어할 수 있는 유저 인터페이스를 충분히 이용할 수 있다.
도 6c 내지 도 6f를 참조하면, 안구 위치 정보 설정이 실행되면, 도 6c와 같이 임의 지점을 응시하기 위한 화면이 표시되고, 도 6d와 같이 안구의 시선을 인식할 수 있다. 안구의 시선이 인식되는 중에는 도 6d와 같은 초점(예: 붉은 점)이 형성되고, 안구의 시선의 인식이 완료되는 경우에는 도 6e와 같은 초점(예: 녹색 점)이 형성될 수 있다. 도 6c 내지 도 6e의 과정이 완료되면, 도 6f와 같은 안구 위치 정보 설정 결과를 표시할 수 있다. 안구 위치 정보 설정이 완료되면, 바둑판과 같은 형태의 격자가 나타나고, 좌측 상단의 격자부터 순차적으로 점이 표시되면서 안구 위치정보 설정이 진행된다. 격자에 점이 표시될 때, 사용자는 해당 점을 응시하고, 응시 결과 사용자의 안구가 정확이 인식되어 결과가 좋으면 녹색으로 표시하고, 보통이면 노란색으로 표시하고 나쁘면 적색으로 표시할 수 있다. 이러한 안구 위치 정보 설정은 1회 이상 수행될 수 있다. 또는, 안구 위치 정보의 부분 재실행도 수행할 수 있다. 그리고, 안구 위치 정보 설정이 완료되면, 안구의 인식을 위한 유저 인터페이스를 사용할 수 있다.
도 7a는 본 발명의 일 실시 예에 따른 원형 타입의 유저 인터페이스를 나타낸 예시도이고, 도 7b는 본 발명의 일 실시 예에 따른 원형 타입의 유저 인터페이스를 나타낸 예시도이다.
도 7a 내지 도 7b를 참조하면, 본 발명의 일 실시 예에 따른 유저 인터페이스는
상기 유저 인터페이스는 스크린(221) 상에 위치 변경이 가능하며, 원형 타입 또는 사각형 타입으로 표시될 수 있다. 유저 인터페이스는 트레이 아이콘으로 표시될 수 있다. 유저 인터페이스는 안구의 추적에 대응하여 자동으로 실행되어 스크린(221) 상에 표시되거나 또는 실행 명령에 의해 실행되어 스크린(221) 상에 표시될 수 있다. 예를 들어, 실행 명령에 의해 유저 인터페이스가 실행되는 경우, 안구의 추적은 유저 인터페이스가 실행된 이후에 수행될 수 있다. 유저 인터페이스는 마우스에서 제공되는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제1 그룹과 상기 안구의 시선을 이용하여 디스플레이를 제어하는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제2 그룹을 포함할 수 있다. 상기 제1 그룹은 상기 마우스의 좌 클릭에 해당되는 메뉴(711), 상기 마우스의 우 클릭에 해당되는 메뉴(714), 상기 마우스의 좌 더블 클릭에 해당되는 메뉴(712), 상기 마우스를 이용한 드래그에 해당되는 메뉴(713), 상기 마우스를 이용한 스크롤에 해당되는 메뉴(715) 및 상기 마우스를 이용한 페이지 전환에 해당되는 메뉴(727) 중 적어도 하나를 포함할 수 있다. 상기 제2 그룹은 상기 안구의 시선을 이용하여 디스플레이를 제어하는 유저 인터페이스를 실행하기 위한 메뉴(716), 상기 유저 인터페이스를 비활성화하기 위한 메뉴(728), 마우스의 커서가 위치하는 영역을 확대하는 메뉴(726), 상기 안구의 시선을 이용한 안구 마우스와 일반 마우스간의 전환을 위한 메뉴(725), 상기 안구 마우스의 기능을 설정하기 위한 메뉴(724), 상기 안구의 위치 정보를 설정하기 위한 메뉴(723), 카메라 뷰를 위한 메뉴(722), 단축 키 설정을 위한 메뉴(721), 상기 스크린 상에 디스플레이된 데이터를 선택하기 위한 메뉴(720), 상기 선택된 데이터를 복사하기 위한 메뉴(718), 상기 복사된 데이터를 붙여 넣기 위한 메뉴(719) 및 키보드의 스페이스 바에 해당되는 메뉴(718) 중 적어도 하나를 포함할 수 있다. 또한, 유저 인터페이스는 디스플레이되는 위치를 변경하기 위한 메뉴(729)를 더 포함할 수 있다. 본 발명의 일 실시 예에 따른 유저 인터페이스는 상술한 다양한 메뉴 이외에 키보드 또는 마우스를 이용하여 입력하거나 실행할 수 있는 다양한 기능을 포함할 수 있다.
상기 제1 그룹에서 상기 마우스의 좌 클릭에 해당되는 메뉴(711)에 지정된 기능은 기본적인 동작으로서 눈으로 마우스 커서를 이동 후, 입력(예:음성, 눈 깜빡임, 미리 결정된 시간 동안 주시)이 발생되면, 이동된 지점에서 마우스 왼쪽 클릭 동작을 수행하는 기능이다. 상기 마우스의 우 클릭에 해당되는 메뉴(714)에 지정된 기능은 기본적인 동작으로서 눈으로 마우스 커서를 이동 후, 입력(예:음성, 눈 깜빡임, 미리 결정된 시간 동안 주시)이 발생되면, 이동된 지점에서 마우스 오른쪽 클릭 동작을 수행하는 기능이다. 상기 마우스의 좌 더블 클릭에 해당되는 메뉴(712)에 지정된 기능은기본적인 동작으로서 눈으로 마우스 커서를 이동 후, 입력(예:음성, 눈 깜빡임, 미리 결정된 시간 동안 주시)이 발생되면, 이동된 지점에서 마우스 왼쪽 더블 클릭 동작을 수행하는 기능이다. 상기 마우스를 이용한 드래그에 해당되는 메뉴(713)에 지정된 기능은 상기 메뉴(713)를 선택한 상태에서 상기 입력을 입력한 이후, 눈을 움직여 커서가 움직이면 드래그가 수행되며, 다시 입력이 발생되면 상기 메뉴(713)에 대한 기능이 해제된다. 상기 마우스를 이용한 스크롤에 해당되는 메뉴(715)에 지정된 기능은 상기 메뉴(715)를 선택하고, 스크롤 하고자 하는 영역을 바라보고 입력(예: 음성, 눈 깜빡임, 미리 결정된 시간 동안 주시)이 발생되면, 스크롤 기준점이 활성화되고, 상기 기준점을 기준으로 상단을 바라보면 상단 방향으로 스크롤되며, 하단을 바라보면 하단 방향으로 스크롤된다. 그리고, 상기 마우스를 이용한 페이지 전환에 해당되는 메뉴(727)에 지정된 기능은 상기 메뉴(727)가 선택되고, 페이지 이동하고자 하는 영역을 바라보고 입력(예: 음성, 눈 깜빡임, 미리 결정된 시간 동안 주시)이 발생되면, 페이지 이동을 위한 기준점이 활성화된다. 그 기준점을 기준으로 상단을 바라보고 상기 입력이 입력되면, 상단 방향으로 페이지 이동되고, 하단을 바라보고, 상기 입력이 입력되면, 하단 방향으로 페이지가 이동된다. 상기 제1 그룹에 포함된 각각의 메뉴의 위치는 가변적으로 조절될 수 있다.
상기 제2 그룹에서 안구의 시선을 이용하여 디스플레이를 제어하는 유저 인터페이스를 실행하기 위한 메뉴(716)에 지정된 기능은 유저 인터페이스를 활성화하거나 실행하기 위한 기능이다. 상기 유저 인터페이스를 비활성화하기 위한 메뉴(728)에 지정된 기능은 안구의 시선을 이용하여 디스플레이를 제어하는 유저 인터페이스의 사용을 종료하거나 잠금 상태로 유지하기 위한 기능이다. 마우스의 커서가 위치하는 영역을 확대하는 메뉴(726)에 지정된 기능은 커서가 위치하는 지점을 중심으로 일정 영역을 확대하는 기능이다. 상기 안구의 시선을 이용한 안구 마우스와 일반 마우스간의 전환을 위한 메뉴(725)에 지정된 기능은 안구의 시선을 이용하여 디스플레이를 제어하거나 일반 마우스를 이용하여 디스플레이를 제어할 수 있는 기능이다. 상기 안구 마우스의 기능을 설정하기 위한 메뉴(724)에 지정된 기능은 스크린, 마우스, 카메라의 기능을 설정하고 다양한 기능을 부가하기 위한 기능이다. 상기 안구의 위치 정보를 설정하기 위한 메뉴(723)에 지정된 기능은 안구의 위치를 정확하게 인식하거나 설정하기 위한 기능이다. 카메라 뷰를 위한 메뉴(722)에 지정된 기능은 안구를 보다 정확하게 인식하기 위한 카메라에 대한 설정을 하기 위한 기능이다. 단축 키 설정을 위한 메뉴(721)에 지정된 기능은 주로 사용하는 기능을 임의 자판에 지정하기 위한 기능이다. 상기 스크린 상에 디스플레이된 데이터를 선택하기 위한 메뉴(720)에 지정된 기능은 키보드의 Ctrl + A와 같이 데이터를 선택하기 위한 기능이고, 상기 선택된 데이터를 복사하기 위한 메뉴(718)는 Ctrl + C와 같이 선택된 데이터를 복사하는 기능이고, 상기 복사된 데이터를 붙여 넣기 위한 메뉴(719)에 지정된 기능은 Ctrl + V와 같이 복사된 데이터를 붙여 넣기 위한 기능이다. 그리고, 키보드의 스페이스 바에 해당되는 메뉴(718)에 지정된 기능은 키보드에서 스페이스 바를 클릭하는 기능이다.
유저 인터페이스가 원형 타입인 경우, 도 7a와 같이 상기 제1 그룹은 중심부에 위치하고, 상기 제2 그룹은 상기 제1 그룹의 바깥부분에 위치할 수 있다. 또한, 상기 유저 인터페이스가 사각형 타입인 경우, 도 7b와 같이 상기 제1 그룹은 상기 제2 그룹보다 위에 위치할 수 있다. 또한, 유저 인터페이스는 디스플레이되는 위치를 변경하기 위한 메뉴 및 상기 유저 인터페이스를 종료하기 위한 메뉴 중 적어도 하나를 더 포함할 수 있다. 그리고, 상기 유저 인터페이스를 설정하기 위한 메뉴(724)는 상기 유저 인터페이스의 타입을 선택하는 메뉴, 상기 안구 마우스의 속성을 조절하기 위한 메뉴, 상기 안구를 촬영하는 카메라의 속성을 조절하기 위한 메뉴 및 상기 유저 인터페이스의 부가 기능을 제공하기 위한 메뉴 중 적어도 하나를 포함할 수 있다.
그리고, 아래 [표 1]은 본 발명의 일 실시 예에 따른 마우스 포인터의 이미지를 나타낸 것이다.
마우스 포인터 이미지 마우스 동작 명칭
Figure 112014113231976-pat00001
 좌클릭
Figure 112014113231976-pat00002
 우클릭
Figure 112014113231976-pat00003
 좌 더블클릭
Figure 112014113231976-pat00004
 드래그
Figure 112014113231976-pat00005
 스크롤
Figure 112014113231976-pat00006
 페이지
Figure 112014113231976-pat00007
 단축키 실행
[표 1]과 같이, 좌클릭의 경우 마우스 포인터의 좌측 부분을 노란색으로 표시하고, 우클릭의 경우 마우스 포인터의 우측 부분을 노란색으로 표시하고, 좌 더블클릭의 경우 마우스 포인터의 좌측 부분을 노란색으로 중첩하여 표시하고, 드래그의 경우 마우스 포인터의 중앙에 '+'을 표시하고, 스크롤의 경우 마우스 포인터의 중앙의 상하에 화살표로 표시하고, 페이지의 경우 페이지의 우측 상단과 하단에 '+'를 표시할 수 있다.
도 8a는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 스크린에 표시되는 유저 인터페이스를 선택하는 예시도이고, 도 8b는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 마우스를 설정하는 예시도이고, 도 8c는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 카메라 뷰에 대한 예시도이고, 도 8d는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정 메뉴의 카메라 뷰에서 안구의 위치 정보를 설정한 결과를 나타낸 예시도이고, 도 8e는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 부가 기능을 적용하기 위한 예시도이고, 도 8f는 본 발명의 일 실시 예에 따른 유저 인터페이스를 설정하는 메뉴에서 단축 키 설정을 위한 예시도이다.
도 8a를 참조하면, 유저 인터페이스를 설정하는 화면(810)은 디스플레이 메뉴(820), 마우스 메뉴(830), 카메라 메뉴(840) 및 부가 기능 메뉴(850)를 포함할 수 있다. 상기 디스플레이 메뉴(820)는 스크린에 표시되는 유저 인터페이스의 타입을 결정하기 위해 다양한 타입의 유저 인터페이스를 표시하며, 사용자는 임의의 유저 인터페이스를 선택하거나 설정할 수 있다. 상기 디스플레이 메뉴(820)는 원형 타입의 유저 인터페이스(821)와 사각형 타입의 유저 인터페이스(822)를 포함할 수 있다. 이러한 각각의 유저 인터페이스는 스크린 상에서 위치 변경 또는 크기가 변경될 수 있다.
도 8b를 참조하면, 유저 인터페이스를 설정하는 화면(810)에서 마우스 메뉴(830)가 선택되는 경우, 마우스 사용 설정 화면(831)과, 마우스 포인터 종류 화면(832)과 마우스 포인터 옵션 화면(833)이 디스플레이 된다. 상기 마우스 사용 설정 화면(831)은 본 발명의 실시 예에 따른 입력을 설정하는 화면으로서, 안구로 마우스 기능을 동작시키는 안구 동작의 상세한 사항과 마우스 포인터의 움직임을 설정할 수 있다. 이러한 마우스 사용 설정 화면(831)은 제1 아이콘(831a)을 조절하여 눈의 깜빡임을 인식할 수 있는 정도를 조절할 수 있고, 제2 아이콘(831b)을 조절하여 시선이 한 지점에 머무를 경우 입력으로 판단하기 위한 시간을 설정할 수 있고, 제3 아이콘(831c)을 조절하여 시선이 한 지점에 머무르는 고정 기준 범위를 설정할 수 있다. 그리고, 마우스 포인터 종류 화면(832)은 유저 인터페이스(예: eyeCAN+) 전용 마우스 포인터를 사용하거나 일반 마우스 포인터를 사용하는 것을 설정할 수 있다. 마우스 포인터 옵션 화면(833)은 마우스 포인터의 투명도를 조절하기 위한 화면으로서, 제4 아이콘(833a)를 조절하여 투명도를 조절할 수 있다.
도 8c를 참조하면, 유저 인터페이스를 설정하는 화면(810)에서 카메라 메뉴(840)가 선택되는 경우, 카메라 뷰(860)가 표시된다. 이러한 카메라 뷰(860)는 현재 카메라를 통해 촬영되고 있는 영상을 표시한다. 이러한 촬영된 영상을 표시함으로써, 안구의 적절한 위치를 확인하기 위해 안구 위치 가이드를 활성화하여 안구 가이드를 표시할 수 있다. 또한, 안구 위치 정보 설정 버튼(861)을 선택하여 안구 위치 정보 설정 과정을 수행할 수 있다.
도 8d를 참조하면, 본 발명의 일 실시 예에 따른 안구의 위치 정보를 설정하는 화면(870)은 안구를 이용하여 디스플레이를 제어하기 위해 우선적으로 사용자의 안구에 따른 위치 정보를 설정하기 위한 화면이다. 상기 화면(870)은 카메라에 의해 촬영되는 영상을 표시하는 제1 영역(871)과, 안구 위치 정보를 설정하는 속도를 조절하는 표시하는 제2 영역(872)과, 안구의 위치 정보 설정 준비 상태를 나타낸 제3 영역(873)을 포함할 수 있다. 제1 영역(871)은 카메라를 통해 안구를 촬영하여 안구를 인식하는 과정을 실시간으로 표시할 수 있다. 이러한 제1 영역에서는 안구가 카메라에 잡히는지 알 수 있으며, 필요에 따라 카메라뷰 가이드 안에 눈동자를 적당히 위치시켜 안구 인식이 원할하게 수행될 수 있도록 할 수 있다. 제2 영역(872)은 안구 위치 정보의 설정 수행 속도를 조절하기 위한 기능을 표시하며, 안구의 위치를 인식하는 속도를 느리게 하거나 또는 빠르게 조절할 수 있다. 그리고, 제3 영역(873)은 초점이 형성되지 않는 경우 카메라 설정하기 위한 메뉴를 표시할 수 있다. 그리고, 상기 화면(871)에서 전체 재실행은 안구 위치 정보 설정 전체 과정을 처음부터 다시 수행할 수 있고, 부분 재실행은 현재 안구 위치 정보가 바르게 수행되지 못한 지점만 안구 위치 정보 설정 과정을 수행할 수 있다.
도 8e를 참조하면, 유저 인터페이스를 설정하는 화면(810)에서 부가기능 메뉴(850)가 선택되는 경우, 사용 안내 화면(851)과, 도움말 제공 화면(852)과 언어 화면(853)이 디스플레이 된다. 상기 사용 안내 화면(851)은 팝업 메뉴 버튼에 마우스 포인터를 위치시키는 경우 버튼 기능 명을 팝업으로 표시하기 위한 기능을 설정하는 화면이다. 그리고, 도움말 제공 화면(852)은 유저 인터페이스의 메뉴얼을 표시하기 위한 화면이고, 언어 화면(853)은 유저 인터페이스에서 사용되는 언어를 선택하기 위한 화면이다.
도 8f를 참조하면, 본 발명의 일 실시 예에 따른 유저 인터페이스 상의 단축 키는 데이터를 선택하기 위한 메뉴(720), 상기 선택된 데이터를 복사하기 위한 메뉴(718), 상기 복사된 데이터를 붙여 넣기 위한 메뉴(719) 및 키보드의 스페이스 바에 해당되는 메뉴(718) 이외에 사용자의 취향에 따라 다양한 단축 키를 설정할 수 있다. 도 8f와 같이 다양한 단축 키에 대한 설정 화면(880)은 기 설정되거나 선택된 단축키를 나타내는 화면(881)과 선택 가능한 단축기를 나타내는 화면(882)을 포함할 수 있다. 상술한 바와 같이, 선택 가능한 단축키에서 선택되는 단축키는 상기 화면(881)으로 이동될 수 있다.
도 9a는 본 발명의 일 실시 예에 따른 스크린에서 마우스 우클릭에 따른 숨기기 기능으로 팝업 메뉴를 보이는 상태를 나타낸 예시도이고, 도 9b는 본 발명의 일 실시 예에 따른 스크린에서 마우스 우클릭에 따른 숨기기 기능으로 팝업 메뉴를 숨기는 상태를 나타낸 예시도이다.
도 9a 및 도 9b를 참조하면, 유저 인터페이스(예: eye CAN+) 메뉴 숨기기는 메뉴 선택시 팝업 메뉴가 숨겨지는 기능이고, 윈도우 시작시 자동 실행은 윈도우가 시작되면, 유저 인터페이스를 자동으로 실행하기 위한 기능이다. 또한, 마우스 우클릭을 통해서 메뉴 선택시 안구 마우스 설정 팝업을 제공하는 안구 마우스 설정과 유저 인터페이스를 종료할 수 있다.
도 10a는 본 발명의 일 실시 예에 따른 스크린을 바라보고 입력된 신호에 따라 우클릭 메뉴를 활성화시킨 예시도이고, 도 10b는 팝업 메뉴의 좌클릭 버튼을 바라보고 입력된 신호에 따라 좌클릭 마우스 동작을 선택하기 위한 예시도이고, 도 10c는 본 발명의 일 실시 예에 따른 우클릭 메뉴를 활성화시킨 상태에서 새 폴더 메뉴를 바라보고 입력된 신호를 보내어 실행시킨 예시도이고, 도 10d는 본 발명의 일 실시 예에 따른 우클릭 메뉴를 활성화시킨 상태에서 새 폴더 메뉴를 바라보고 입력된 신호를 보내어 새 폴더를 생성한 예시도이고, 도 10e는 본 발명의 일 실시 예에 따른 스크린에 생성된 새 폴더를 유저 인터페이스 상의 좌 더블클릭 메뉴를 선택하는 예시도이고, 도 10f는 본 발명의 좌 더블클릭 메뉴를 선택하고, 새 폴더를 주시하여 마우스 커서를 새 폴더로 이동시킨 예시도이고, 도 10g는 본 발명의 일 실시 예에 따른 새 폴더에 좌 더블클릭을 적용한 예시도이다.
도 10a 내지 도 10g를 참조하면, 유저 인터페이스 상에서 마우스 우클릭(1010)이 선택되면 우클릭에 따른 다양한 기능을 선택할 수 있는 팝업(1020)이 표시되고, 도 10b를 참조하면, 유저 인터페이스 상에서 마우스 좌클릭(1030)이 선택되면, 좌클릭에 따른 다양한 기능을 선택할 수 있는 팝업(1040)이 표시된다. 도 10c를 참조하면, 도 10a의 팝업(1020)에서 새로운 폴더를 생성하기 위한 기능(예: New)이 선택되면, 상기 새로운 폴더를 생성하는 다양한 기능을 포함하는 팝업(1050)이 표시된다. 상기 팝업(1050)에서 폴더 기능(1051)이 선택되면, 도 10d와 같이 스크린 상에 새로운 폴더(1060)가 생성된다. 상기 생성된 새로운 폴더를 열기 위해 도 10e와 같이, 유저 인터페이스 상에서 좌 더블 클릭 메뉴(1070)를 선택하고, 도 10f와 같이 상기 생성된 폴더(1080)를 주시한 상태에서 입력이 입력되면, 도 10g와 같이, 생성된 폴더는 실행된다.
도 11a는 본 발명의 일 실시 예에 따른 마우스를 사용하여 인터넷 화면을 스크롤 하기 위해 유저 인터페이스 상에서 스크롤에 해당하는 메뉴를 선택하는 예시도이고, 도 11b는 본 발명의 일 실시 예에 따른 스크롤에 해당되는 메뉴가 선택된 상태에서 스크롤하고자 하는 화면으로 시선을 이동한 예시도이고, 도 11c는 본 발명의 일 실시 예에 따른 스크롤하고자 하는 화면을 시선을 이동한 상태에서 입력 신호가 발생된 예시도이고, 도 11d는 본 발명의 일 실시 예에 따른 입력 신호의 발생에 대응하여 인터넷 화면에 스크롤 기능이 적용된 예시도이다.
도 11a 내지 도 11d를 참조하면, 본 발명의 일 실시 예에 따른 유저 인터페이스 상에서 스크롤에 해당되는 메뉴(1110)를 주시하고, 입력(예: 음성, 눈 깜빡임 등등)을 발생한 이후, 도 11b와 같이 인터넷 화면으로 시선을 이동시키면, 인터넷 화면에는 안구의 시선에 대응하여 스크롤에 대응하는 포인터(1120)가 생성된다. 이 상태에서 다시 입력(예:음성, 눈 깜빡임 등등)이 발생되면, 스크롤 기능에 대응되는 아이콘(1130)을 인터넷 화면에 활성화하고, 사용자의 시선의 향하는 방향에 대응하여 인터넷 화면(1140)을 도 11d와 같이 스크롤할 수 있다.
본 발명에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 발명에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서(210))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(220)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서(210)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 안구의 시선을 추적하는 제1 명령 셋과, 상기 추적된 시선을 이용하여 스크린을 제어하기 위한 유저 인터페이스를 상기 스크린에 디스플레이하는 제2 명령 셋과, 상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능을 실행하는 제3 명령 셋을 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
210: 안구 추적 장치 211: 발광부
212: 카메라부 213: 제어부
214: 송수신부 220: 전자 장치
221: 스크린 221: 제어부
223: 송수신부

Claims (27)

  1. 시선을 추적하여 디스플레이를 제어하는 방법에 있어서,
    안구의 시선을 추적하는 과정과,
    상기 추적된 시선을 이용하여 스크린을 제어하기 위한 유저 인터페이스를 상기 스크린에 디스플레이하는 과정과,
    상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능을 실행하는 과정을 포함하고,
    상기 유저 인터페이스는 상기 스크린 상에서 크기 및 위치 중 적어도 하나의 변경이 가능한 디스플레이 제어 방법.
  2. 제1 항에 있어서,
    상기 기능을 실행하는 과정은,
    상기 추적된 시선에 대응하여 디스플레이되는 커서의 위치가 상기 유저 인터페이스의 임의 메뉴 상에 위치하는지 판단하는 과정과,
    상기 임의 메뉴를 선택하는 입력을 감지하는 과정과,
    상기 스크린 상에서 상기 안구의 시선이 위치하는 지점에 상기 임의 메뉴의 기능을 실행하는 과정을 포함하는 디스플레이 제어 방법.
  3. 제2 항에 있어서,
    상기 임의 메뉴를 선택하는 입력은 음성, 상기 안구의 깜빡임 및 상기 추적된 시선이 상기 임의 메뉴 상에 존재하는 시간이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 포함하는 디스플레이 제어 방법.
  4. 제1 항에 있어서,
    상기 유저 인터페이스는 상기 스크린 상에 위치 변경이 가능하며, 원형 타입 또는 사각형 타입인 것을 특징으로 하는 디스플레이 제어 방법.
  5. 제1 항에 있어서,
    상기 유저 인터페이스는 마우스에서 제공되는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제1 그룹과 상기 안구의 시선을 이용하여 디스플레이를 제어하는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제2 그룹을 포함하는 디스플레이 제어 방법.
  6. 제5 항에 있어서,
    상기 제1 그룹은 상기 마우스의 좌 클릭에 해당되는 메뉴, 상기 마우스의 우 클릭에 해당되는 메뉴, 상기 마우스의 좌 더블 클릭에 해당되는 메뉴, 상기 마우스를 이용한 드래그에 해당되는 메뉴, 상기 마우스를 이용한 스크롤에 해당되는 메뉴 및 상기 마우스를 이용한 페이지 전환에 해당되는 메뉴 중 적어도 하나를 포함하는 디스플레이 제어 방법.
  7. 제5 항에 있어서,
    상기 제2 그룹은 상기 유저 인터페이스를 활성화하기 위한 메뉴, 상기 유저 인터페이스를 비활성화하기 위한 메뉴, 상기 유저 인터페이스를 설정하기 위한 메뉴, 마우스의 커서가 위치하는 영역을 확대하는 메뉴, 상기 안구의 시선을 이용한 안구 마우스와 일반 마우스간의 전환을 위한 메뉴, 상기 안구 마우스의 기능을 설정하기 위한 메뉴, 상기 안구의 위치 정보를 설정하기 위한 메뉴, 카메라 뷰를 위한 메뉴, 단축 키 설정을 위한 메뉴, 상기 스크린 상에 디스플레이된 데이터를 선택하기 위한 메뉴, 상기 선택된 데이터를 복사하기 위한 메뉴, 상기 복사된 데이터를 붙여 넣기 위한 메뉴 및 키보드의 스페이스 바에 해당되는 메뉴 중 적어도 하나를 포함하는 디스플레이 제어 방법.
  8. 제5 항에 있어서,
    상기 유저 인터페이스는 디스플레이되는 위치를 변경하기 위한 메뉴 및 상기 유저 인터페이스를 종료하기 위한 메뉴 중 적어도 하나를 더 포함하는 디스플레이 제어 방법.
  9. 제6 항에 있어서,
    상기 유저 인터페이스가 원형 타입인 경우, 상기 제1 그룹은 중심부에 위치하고, 상기 제2 그룹은 상기 제1 그룹의 바깥부분에 위치하는 디스플레이 제어 방법.
  10. 제6 항에 있어서,
    상기 유저 인터페이스가 사각형 타입인 경우, 상기 제1 그룹은 상기 제2 그룹보다 위에 위치하는 디스플레이 제어 방법.
  11. 제2 항에 있어서,
    상기 커서의 모양은 상기 선택된 임의 메뉴의 종류에 따라 서로 다른 형태를 갖는 디스플레이 제어 방법.
  12. 제1 항에 있어서,
    상기 안구의 시선을 추적하기 위해 빛을 발산하는 과정과,
    상기 안구와 상기 스크린 간의 거리를 계산하는 과정과,
    상기 발산된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 상기 안구를 촬영하는 과정과,
    상기 촬영된 안구의 중심점과 상기 감지된 빛간의 거리, 및 상기 계산된 거리 중 적어도 하나를 이용하여 상기 안구의 시선을 추적하는 과정을 포함하는 디스플레이 제어 방법.
  13. 제7 항에 있어서,
    상기 유저 인터페이스를 설정하기 위한 메뉴는,
    상기 유저 인터페이스의 타입을 선택하는 메뉴, 상기 안구 마우스의 속성을 조절하기 위한 메뉴, 상기 안구를 촬영하는 카메라의 속성을 조절하기 위한 메뉴 및 상기 유저 인터페이스의 부가 기능을 제공하기 위한 메뉴 중 적어도 하나를 포함하는 디스플레이 제어 방법.
  14. 삭제
  15. 시선을 추적하여 디스플레이를 제어하는 전자 장치에 있어서,
    스크린을 제어하기 위한 유저 인터페이스를 디스플레이하는 스크린과,
    상기 스크린을 주시하는 안구의 시선을 추적하고, 상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능의 실행을 제어하는 제어부를 포함하고,
    상기 제어부는 상기 스크린 상에서 상기 유저 인터페이스의 크기 조절 및 위치 변경 중 적어도 하나를 수행하도록 상기 스크린을 제어하는 전자 장치.
  16. 제15 항에 있어서,
    상기 안구의 시선을 추적하기 위해 빛을 발산하는 적어도 하나의 발광 소자를 포함하는 발광부와,
    상기 발산된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 상기 안구를 촬영하는 카메라를 더 포함하는 전자 장치.
  17. 제15 항에 있어서,
    상기 제어부는 상기 추척된 시선에 대응하여 디스플레이되는 커서의 위치가 상기 유저 인터페이스의 임의 메뉴 상에 위치하는지 판단하고, 상기 임의 메뉴를 선택하는 입력의 감지에 대응하여 상기 스크린 상에서 상기 안구의 시선이 위치하는 지점에 상기 임의 메뉴의 기능을 실행하는 전자 장치.
  18. 제17 항에 있어서,
    상기 임의 메뉴를 선택하는 입력은 음성, 상기 안구의 깜빡임 및 상기 추적된 시선이 상기 임의 메뉴 상에 존재하는 시간이 미리 결정된 시간을 초과하는 경우 중 적어도 하나를 포함하는 전자 장치.
  19. 제15 항에 있어서,
    상기 유저 인터페이스는 마우스에서 제공되는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제1 그룹과 상기 안구의 시선을 이용하여 디스플레이를 제어하는 적어도 하나의 기능에 해당되는 메뉴를 포함하는 제2 그룹을 포함하는 전자 장치.
  20. 제19 항에 있어서,
    상기 제1 그룹은 상기 마우스의 좌 클릭에 해당되는 메뉴, 상기 마우스의 우 클릭에 해당되는 메뉴, 상기 마우스의 좌 더블 클릭에 해당되는 메뉴, 상기 마우스를 이용한 드래그에 해당되는 메뉴, 상기 마우스를 이용한 스크롤에 해당되는 메뉴 및 상기 마우스를 이용한 페이지 전환에 해당되는 메뉴 중 적어도 하나를 포함하는 전자 장치.
  21. 제19 항에 있어서,
    상기 제2 그룹은 상기 유저 인터페이스를 활성화하기 위한 메뉴, 상기 유저 인터페이스를 비활성화하기 위한 메뉴, 상기 유저 인터페이스를 설정하기 위한 메뉴, 마우스의 커서가 위치하는 영역을 확대하는 메뉴, 상기 안구의 시선을 이용한 안구 마우스와 일반 마우스간의 전환을 위한 메뉴, 상기 안구 마우스의 기능을 설정하기 위한 메뉴, 상기 안구의 위치 정보를 설정하기 위한 메뉴, 카메라 뷰를 위한 메뉴, 단축 키 설정을 위한 메뉴, 상기 스크린 상에 디스플레이된 데이터를 선택하기 위한 메뉴, 상기 선택된 데이터를 복사하기 위한 메뉴, 상기 복사된 데이터를 붙여 넣기 위한 메뉴 및 키보드의 스페이스 바에 해당되는 메뉴 중 적어도 하나를 포함하는 전자 장치.
  22. 제19 항에 있어서,
    상기 유저 인터페이스는 디스플레이되는 위치를 변경하기 위한 메뉴 및 상기 유저 인터페이스를 종료하기 위한 메뉴 중 적어도 하나를 더 포함하는 전자 장치.
  23. 제17 항에 있어서,
    상기 제어부는 상기 선택된 임의 메뉴의 종류에 따라 서로 다른 형태를 갖도록 상기 커서의 모양을 변경하는 전자 장치.
  24. 제16 항에 있어서,
    상기 제어부는 상기 안구와 상기 스크린 간의 거리를 계산하고, 상기 카메라를 통해 촬영된 안구의 중심점과 상기 감지된 빛간의 거리, 및 상기 계산된 거리 중 적어도 하나를 이용하여 상기 안구의 시선을 추적하는 전자 장치.
  25. 제21 항에 있어서,
    상기 유저 인터페이스를 설정하기 위한 메뉴는,
    상기 유저 인터페이스의 타입을 선택하는 메뉴, 상기 안구 마우스의 속성을 조절하기 위한 메뉴, 상기 안구를 촬영하는 카메라의 속성을 조절하기 위한 메뉴 및 상기 유저 인터페이스의 부가 기능을 제공하기 위한 메뉴 중 적어도 하나를 포함하는 전자 장치.
  26. 삭제
  27. 시선을 추적하여 디스플레이를 제어하는 시스템에 있어서,
    안구의 시선을 추적하기 위해 빛을 발산하는 적어도 하나의 발광 소자를 포함하는 발광부와, 상기 발산된 빛에 의해 상기 안구에 형상되는 빛의 감지에 대응하여 상기 안구를 촬영하는 카메라를 포함하는 안구 추적 장치와,
    스크린을 제어하기 위한 유저 인터페이스를 디스플레이하는 스크린과, 상기 촬영된 안구를 이용하여 상기 안구의 시선을 추적하고, 상기 추적된 시선이 상기 유저 인터페이스의 임의 메뉴의 선택에 대응하여 선택되는 기능을 실행하는 제어부를 포함하고,
    상기 제어부는 상기 스크린 상에서 상기 유저 인터페이스의 크기 조절 및 위치 변경 중 적어도 하나를 수행하도록 상기 스크린을 제어하는 전자 장치를 포함하는 시스템.
KR1020140164406A 2014-11-24 2014-11-24 디스플레이를 제어하는 전자 장치 및 방법 KR102326489B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140164406A KR102326489B1 (ko) 2014-11-24 2014-11-24 디스플레이를 제어하는 전자 장치 및 방법
US15/529,368 US10884488B2 (en) 2014-11-24 2015-11-23 Electronic device and method for controlling display
PCT/KR2015/012584 WO2016085212A1 (ko) 2014-11-24 2015-11-23 디스플레이를 제어하는 전자 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140164406A KR102326489B1 (ko) 2014-11-24 2014-11-24 디스플레이를 제어하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160061699A KR20160061699A (ko) 2016-06-01
KR102326489B1 true KR102326489B1 (ko) 2021-11-16

Family

ID=56138222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140164406A KR102326489B1 (ko) 2014-11-24 2014-11-24 디스플레이를 제어하는 전자 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102326489B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057947A1 (en) 2016-09-22 2018-03-29 Apple, Inc. Eye and head tracking
KR101943206B1 (ko) * 2017-06-30 2019-04-17 연세대학교 산학협력단 착시 ui를 이용하여 명령을 입력하는 방법 및 장치
CN111629653B (zh) 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
WO2019094953A1 (en) 2017-11-13 2019-05-16 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
CN111712192B (zh) 2018-01-18 2024-07-02 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
DE102020208348A1 (de) * 2020-07-03 2022-01-05 BSH Hausgeräte GmbH Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine
CN114257824B (zh) * 2021-11-25 2024-03-19 广州方硅信息技术有限公司 直播显示方法、装置、存储介质及计算机设备
CN114466208B (zh) * 2022-01-21 2024-04-09 广州方硅信息技术有限公司 直播记录处理方法、装置、存储介质及计算机设备
CN116820246B (zh) * 2023-07-06 2024-05-28 上海仙视电子科技有限公司 一种视角自适应的屏幕调节控制方法及装置
CN118092669B (zh) * 2024-04-22 2024-07-26 江西科技学院 一种智能眼镜操控方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216180A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
KR101284349B1 (ko) * 2011-04-11 2013-07-17 주식회사 메디스 검안기 및 검안방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216180A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム

Also Published As

Publication number Publication date
KR20160061699A (ko) 2016-06-01

Similar Documents

Publication Publication Date Title
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
US11231777B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
US20240319841A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和系统
US10884488B2 (en) Electronic device and method for controlling display
US9971401B2 (en) Gaze-assisted computer interface
US10540008B2 (en) System for gaze interaction
US20180157323A1 (en) Eye gaze determination
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
ES2731560T3 (es) Interacción de mirada con deformación retardada
US10456072B2 (en) Image interpretation support apparatus and method
US9727135B2 (en) Gaze calibration
EP2840478B1 (en) Method and apparatus for providing user interface for medical diagnostic apparatus
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR20160050682A (ko) 전자장치의 화면 표시 제어 방법 및 장치
WO2015133889A1 (en) Method and apparatus to combine ocular control with motion control for human computer interaction
US11540710B2 (en) System and method for testing peripheral vision
US20150153834A1 (en) Motion input apparatus and motion input method
KR20160035865A (ko) 오브젝트를 식별하는 전자 장치 및 방법
EP2894545A1 (en) Method and apparatus for processing inputs in an electronic device
US20230333643A1 (en) Eye Tracking Based Selection of a User Interface (UI) Element Based on Targeting Criteria

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant