KR101331655B1 - 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체 - Google Patents

전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체 Download PDF

Info

Publication number
KR101331655B1
KR101331655B1 KR1020117017284A KR20117017284A KR101331655B1 KR 101331655 B1 KR101331655 B1 KR 101331655B1 KR 1020117017284 A KR1020117017284 A KR 1020117017284A KR 20117017284 A KR20117017284 A KR 20117017284A KR 101331655 B1 KR101331655 B1 KR 101331655B1
Authority
KR
South Korea
Prior art keywords
cursor
command
visual display
mouse
displayed
Prior art date
Application number
KR1020117017284A
Other languages
English (en)
Other versions
KR20110098966A (ko
Inventor
나즈 마타 자모이스키
Original Assignee
알카텔-루센트 유에스에이 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알카텔-루센트 유에스에이 인코포레이티드 filed Critical 알카텔-루센트 유에스에이 인코포레이티드
Publication of KR20110098966A publication Critical patent/KR20110098966A/ko
Application granted granted Critical
Publication of KR101331655B1 publication Critical patent/KR101331655B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

시스템은 시각적 디스플레이, 안구 추적 장치 및 프로세서를 포함한다. 안구 추적 장치는 시각적 디스플레이를 향한 안구의 배향을 검출할 수 있다. 프로세서는 시각적 디스플레이와 안구 추적 장치와 통신한다. 프로세서는 커서가 시각적 디스플레이 상에 표시되게 할 수 있다. 프로세서는 디스플레이된 커서의 일부를 향하여 검출된 안구의 배향에 응답하여 복수의 커서 명령들 중 하나의 커서 명령을 실행할 수 있다. 방법은 시각적 디스플레이, 안구 추적 장치 및 상기 시각적 디스플레이와 상기 안구 추적 장치와 통신하는 프로세서를 제공하는 단계를 포함한다. 이 방법은 커서가 상기 시각적 디스플레이 상에 디스플레이되게 하는 단계를 포함한다. 이 방법은 상기 디스플레이된 커서의 일부를 향한 안구의 배향이 검출되게 하는 단계를 더 포함한다. 이 방법은 상기 디스플레이된 커서의 일부를 향하여 검출된 안구의 배향에 응답하여 복수의 커서 명령들 중 하나의 커서 명령이 실행되게 하는 단계를 더 포함한다. 또한, 컴퓨터 판독 가능한 매체가 제공된다.

Description

전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체{ELECTRONIC DATA INPUT SYSTEM}
본 발명은 전반적으로 전자 데이터를 입력하기 위한 시스템 및 방법에 관한 것이다.
이 배경 기술 부분은 본 발명을 더 잘 이해하도록 하기 위해서 제공된다. 따라서, 이 배경 기술 부분은 이러한 견지에서 해석되어야 하지 무엇이 종래 기술이고 무엇이 종래 기술이 아닌지를 규정하기 위한 방식으로 해석되어서는 안 된다.
다양한 타입의 전자 데이터 입력 시스템 및 방법이 존재한다. 타이핑 키보드, 컴퓨터 마우스 하드웨어 장치, 음성 인식 시스템, 터치 감지 스크린, 광학적 문자 인식 장치, 광학적 스캐닝 장치, 이더넷, USB, 다른 하드와이어드 링키지(hardwired linkage), 무선 수신기 또는 하드 드라이브, 플래시 드라이브 또는 테이프 드라이브와 같은 메모리 장치를 사용하는 컴퓨터 데이터 입력 시스템들이 개발되어 왔다. 그럼에도 불구하고, 전자 데이터를 입력하기 위한 개선된 시스템이 더 요구되고 있다.
일 실시예에서, 시스템이 제공된다. 이 시스템은 시각적 디스플레이, 안구 추적 장치 및 프로세서를 포함한다. 안구 추적 장치는 시각적 디스플레이를 향한 안구의 배향을 검출할 수 있다. 프로세서는 시각적 디스플레이와 안구 추적 장치와 통신한다. 프로세서는 커서가 시각적 디스플레이 상에서 표시되게 할 수 있다. 프로세서는 디스플레이된 커서의 일부를 향한 안구의 검출된 배향에 응답하여 복수의 커서 명령들 중 하나의 커서 명령을 실행할 수 있다.
일 실시예에서, 방법이 제공된다. 이 방법은 시각적 디스플레이, 안구 추적 장치 및 상기 시각적 디스플레이와 안구 추적 장치와 통신하는 프로세서를 제공하는 단계를 포함한다. 이 방법은 커서가 시각적 디스플레이 상에서 표시되게 하는 단계를 더 포함한다. 이 방법은 이 표시된 커서의 일부를 향한 안구의 배향이 검출되게 하는 단계를 더 포함한다. 이 방법은 디스플레이된 또는 표시된 커서의 일부를 향한 검출된 안구의 배향에 응답하여 복수의 커서 명령들 중 하나의 커서 명령이 실행되게 하는 단계를 더 포함한다.
일 실시예에서, 컴퓨터 판독 가능한 매체가 제공된다. 이 매체는 시각적 디스플레이, 안구 추적 장치 및 상기 시각적 디스플레이와 안구 추적 장치와 통신하는 프로세서를 포함하는 시스템에 의해서 실행되는 컴퓨터 코드를 포함한다. 이 컴퓨터 코드는 커서가 시각적 디스플레이 상에서 표시되게 하는 단계와, 이 표시된 커서의 일부를 향한 안구의 배향이 검출되게 하는 단계와, 디스플레이된 또는 표시된 커서의 일부를 향하여 검출된 안구의 배향에 응답하여 복수의 커서 명령들 중 하나의 커서 명령이 실행되게 하는 단계를 상기 시스템으로 실행하게 한다.
본 발명의 다른 시스템, 방법, 특징 및 장점들이 이제 다음의 도면 및 상세한 설명 부분을 독해하면 본 기술 분야의 당업자에게는 명백해질 것이다. 모든 이러한 다른 방법, 시스템, 장점 및 특징들은 이 상세한 설명 부분에 포함되며 본 발명의 범위 내에도 포함되고 첨부된 청구 범위에 의해서 보호되어야 한다.
본 발명은 다음의 첨부 도면을 참조하면 더 잘 이해될 것이다. 도면에서 구성 요소들은 반드시 실제 축척대로 도시될 필요가 없으며, 본 발명의 원리를 설명하기 위해서 강조되기도 한다. 또한, 전체 상이한 도면들에서, 유사한 참조 부호는 대응하는 구성 요소들을 나타낸다.
도 1은 시스템의 일 실시예를 나타내는 개략도이다.
도 2는 시스템의 다른 실시예를 나타내는 개략도이다.
도 3은 시스템의 다른 실시예를 나타내는 개략도이다.
도 4는 시스템의 다른 실시예를 나타내는 개략도이다.
도 5는 방법의 일 실시예를 나타내는 흐름도이다.
도 1은 시스템(100)의 일 실시예의 개략도이다. 이 시스템(100)은 시각적 디스플레이(102), 안구 추적 장치(eye-tracking arrangement)(104) 및 프로세서(106)를 포함한다. 안구 추적 장치(104)는 시각적 디스플레이(102)를 향한 안구 E의 배향을 검출할 수 있다. 프로세서(106)는 점선(108)으로 개략적으로 표시된 바와 같이 시각적 디스플레이(102)와 통신한다. 프로세서(106)는 점선(110)으로 개략적으로 표시된 바와 같이 안구 추적 장치(104)와 통신한다. 프로세서(106)는 커서(112)가 시각적 디스플레이(102) 상에 디스플레이되게 할 수 있다. 가령, 커서(112)는 온-스크린 컴퓨터 마우스 커서일 수 있다. 온-스크린 컴퓨터 마우스 커서(112)는 가령 통상적인 컴퓨터 마우스 하드웨어 장치를 대체하는 기능을 포함하여 복수의 기능을 제공할 수 있다. 프로세서(106)는 디스플레이된 커서(112)의 일부에 대하여 검출된 안구 E의 배향에 응답하여 복수의 커서 명령(미도시) 중 하나의 커서 명령을 실행할 수 있다. 예를 들자면, 커서(112)와 같은 디스플레이된 커서의 "일부"는 커서의 둘레의 일부 또는 커서의 내부의 일부 또는 이 둘을 포함할 수 있는 커서의 규정된 영역일 수 있다. 다른 실례에서, 커서(112)와 같은 디스플레이된 커서의 "일부"는 커서의 둘레에 위치하거나 커서의 내부에 위치할 수 있는 커서 내의 점일 수 있다. 가령, 복수의 커서 명령들은 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온 크루즈 명령 및 컨트롤 오프 크루즈 명령을 포함할 수 있다. 가령, 컨트롤 온 크루즈 명령은 커서(112)로 하여금 시각적 디스플레이(102)를 가로질러서 사전 결정된 레이트 또는 사용자 규정된 레이트로 해서 움직이게 하거나 시각적 디스플레이(102) 상에 디스플레이되고 있는 워드 문서, 엑셀 문서, 파워포인트 문서 또는 PDF 문서와 같은 데이터 엔트리 필드(미도시)가 사전 결정된 레이트 또는 사용자 규정된 레이트로 해서 시각적 디스플레이(102) 상에서 수직 또는 수평으로 스크롤링되게 할 수 있다. 커서(112)뿐만 아니라 본 명세서에서 개시된 다른 커서들은 임의의 선택된 형상 및 외형을 가질 수 있다. 가령, 커서(112)는 화살표 형상이거나 수직선 형상이거나 십자 형상이거나 기하학적 도형 형상이거나 실제 이미지이거나 추상적 이미지이거나 심볼일 수 있다.
시스템(100)의 동작의 일 실례에서, 시스템(100)의 운영자 역할을 하는 사람(미도시)은 시각적 디스플레이(102)를 관측하기 위하여 적합하게 위치할 수 있다. 시스템 운영자의 안구 E는 가령 점선 화살표(114)에 의해서 개략적으로 표시된 바와 같은 배향을 가질 수 있다. 가령, 안구 E의 동공 P는 커서(112)가 시각적 디스플레이(102) 상에서 표시될 때에 커서(112) 내의 제 1 지점(116)을 응시할 수 있다. 일 실례에서, 프로세서(106)는 시각적 디스플레이(102)의 픽셀 행렬(미도시) 전체에 걸쳐서 화살표 x,y에 의해서 표현되는 축들을 따라서 2 차원 픽셀 좌표들을 할당하도록 구성될 수 있다. 제 1 지점(116)은 가령 x 축을 따르는 수형 픽셀 좌표 H 및 y 축을 따르는 수직 픽셀 좌표 V를 가질 수 있다. 안구 추적 장치(104)는 시각적 디스플레이(102)를 향한 안구 E의 배향을 검출할 수 있다. 가령, 시스템(100)은 안구 E의 배향(114)에 대응하는 시각적 디스플레이(102) 상의 제 1 지점(116)을 나타내는 픽셀 좌표(H,V)로서 표현되는 응시 지점 정보를 생성할 시에 안구 추적 장치(104)에 의해서 수집된 데이터를 사용할 수 있다.
시스템의 동작의 다른 실례에서, 시스템(100)은 커서(112)의 화살표 선단이 초기에 시각적 디스플레이(102) 상의 지점(118)에 위치하게 할 수 있다. 커서(112)는 가령 전술한 바와 같은 온-스크린 컴퓨터 마우스 커서일 수 있다. 또한, 가령, 시스템(100)은 시각적 디스플레이(102) 상의 "마우스 커서 드롭된(dropped)" 정지 위치에서 커서(112)를 초기에 표시할 수 있다. 시스템 운영자가 커서(112)의 일부 또는 커서(112) 내의 제 1 지점(116)을 향하여 안구(E)의 배향(114)을 사전 결정된 경과 기간에 걸쳐서 유지하면, 프로세서(106)는 "마우스 커서 픽업" 명령을 실행할 수 있다. 또한, 가령, 시스템(100)은 점선 화살표(120)에 의해서 표시된 바와 같이 제 2 지점(122)을 향한 다른 배향으로 안구 E가 움직이면 이를 "마우스 커서 포인트" 명령으로 해석할 수 있다. 이로써, 가령, 시스템(100)이 커서(112)의 화살표 선단이 점선 화살표(123)의 방향을 따라서 제 2 지점(122)으로 향하게 할 수 있다. 이어서, 시스템 운영자가 커서(112) 내의 제 2 지점(122)을 향해서 안구 E의 배향(120)을 소정의 경과 기간 동안 유지하면, 프로세서(106)는 "마우스 커서 드롭" 명령을 실행할 수 있다. 추가적인 실례에서는, 사전 결정된 안구 깜박임 운동이 상기 소정의 경과 기간 동안 대체될 수 있다. 가령, 시스템(100)은 시스템(100)에 의해서 사전 결정되거나 시스템 운영자에 의해서 규정된 바와 같은 느린 안구 깜박임 동작, 급하게 반복되는 안구 깜박임 동작 또는 다른 방식의 안구 깜박임 동작 등을 검출하도록 구성될 수 있다. 사전 결정된 안구 깜박임 동작은 가령 시스템 운영자의 정상적인 안구 깜박인 동작과는 실질적으로 상이하면서 시스템(100)에 의해서는 구별될 수 있는 바와 같이 사전 규정된 안구 깜박임 동작일 수 있다. 이로써, 시스템 운영자는 커서(112)의 일부 또는 커서(112)의 제 1 지점(116)을 향해서 사전 결정된 안구 깜박임 동작으로 자신의 안구 E의 배향(114)을 유지하면, 프로세서(106)는 "마우스 커서 픽업" 명령을 실행할 수 있다. 또한, 가령, 시스템(100)은 후속하여서 점선 화살표(120)에 의해서 표시된 바와 같이 제 2 지점(122)을 향한 안구 E가 움직이면 이를 "마우스 커서 포인트" 명령으로 해석할 수 있다. 이로써, 가령, 시스템(100)이 커서(112)의 화살표 선단이 점선 화살표(123)의 방향을 따라서 제 2 지점(122)으로 향하게 할 수 있다. 이어서, 시스템 운영자가 커서(112) 내의 제 2 지점(122)을 향해서 안구 E의 배향(120)을 사전 결정된 안구 깜박임 동작을 통해서 유지하면, 프로세서(106)는 "마우스 커서 드롭" 명령을 실행할 수 있다.
다른 실례에서, 시스템 운영자가 커서(112) 내의 제 1 지점(116)과 같은 커서(112) 내의 일부를 향해서 사전 결정된 경과 기간 동안 또는 사전 결정된 안구 깜박임 동작을 통해서 안구 E의 배향(114)을 유지하면, 프로세서(106)는 이 검출된 안구 E의 배향에 응답하여 복수의 커서 명령(미도시) 중에서 마우스 클릭 명령을 실행할 수 있다. 가령, 프로세서(106)는 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 단일 클릭 명령, 마우스 라이트 더블 클릭 명령, 커서 라이트 드래그 명령, 컨트롤 온 크루즈 명령 또는 컨트롤 오프 크루즈 명령을 실행할 수 있다. 시스템 운영자는 가령 프로세서(106)가 이러한 복수의 커서 명령들을 연속하여서 실행하게 할 수 있다. 실례에서, 다양한 커서 명령 실행은 하나 이상의 가청 신호, 가시 신호 또는 진동 신호에 의해서 확인될 수 있다. 일 실례에서, 커서(112)는 상술한 바와 같이 지점(118)을 안구 E가 배향되면 "마우스 커서 포인트" 명령을 실행하도록 전용되는 지점(118)과 같은 부분을 포함할 수 있다. 또한, 가령, 커서(112)의 다른 지점 또는 부분들(미도시) 역시 상술한 바와 같이 이러한 지점 또는 부분을 향해서 안구 E가 배향되면 복수의 다른 커서 명령 각각을 실행하도록 전용될 수 있다.
일 실례에서, 시스템 운영자는 시각적 디스플레이(102) 상에서 표시되고 있는 워드 문서, 엑셀 문서, 파워포인트 문서 또는 PDF 문서(미도시)와 같은 데이터 엔트리 필드의 일부(126)에 대한 텍스트 스위핑 및 선택 동작을 실행하기 위해서 시스템(100)을 사용할 수 있다. 가령, 시스템 운영자는 텍스트 스위핑 동작을 개시하기 위한 데이터 엔트리 필드의 부분(126) 상의 선택된 위치가 되는 지점(118)에 커서(112)의 화살표 선단을 배치하여서 전술한 바와 같이 "마우스 커서 픽업" 명령 및 "마우스 커서 포인트" 명령을 프로세서(106)가 연속하여서 실행하게 할 수 있다. 이어서, 가령, 시스템 운영자는 프로세서(106)가 온-스크린 컴퓨터 마우스 커서(112)를 사용하여서 "마우스 레프트 단일 클릭" 명령 및 "커서 레프트 드래그" 명령을 연속하여서 실행하게 할 수 있다. 이어서, 일 실례로서, 시스템 운영자는 자신의 안구 E가 제 2 지점(122)을 향한 배향(120)이 되도록 할 수 있다. 이어서, 가령, 시스템 운영자는 "마우스 커서 드래그-드롭" 명령 또는 "마우스 커서 드롭" 명령을 실행할 수 있다. 이 시점에서, 가령, 지점(118)과 지점(122) 간의 데이터 엔트리 필드의 부분(126) 내의 텍스트가 "선택된 부분"으로서 프로세서(16)에 의해서 지정될 수 있다.
이어서, 시스템 운영자는 프로세서(106)로 하여금 후속하는 텍스트 붙이기 동작을 위하여 선택된 텍스트의 복사본을 생성하게 할 수 있다. 가령, 시스템 운영자는 자신의 안구 E를 커서의 일 부분 또는 일 지점을 향해서 배향함으로써 "마우스 라이트 단일 클릭" 명령을 실행할 수 있다. 이 마우스 라이트 단일 클릭 명령으로 인해서 가령 우측 마우스 명령 메뉴(128)가 시각적 디스플레이(102) 상에 표시될 수 있다. 이어서, 가령, 시스템 운영자는 우측 마우스 명령 메뉴(128) 상의 "복사" 명령(미도시)을 향해서 자신의 안구 E의 배향이 되도록 하며 이로써 전술한 바와 같은 마우스 레프트 단일 클릭 명령을 실행하게 된다. 이 시점에서, 가령, 지점(118)과 지점(122) 간의 데이터 엔트리 필드의 부분(126) 내의 텍스트가 "복사된 부분"으로서 프로세서(16)에 의해서 지정될 수 있다.
다른 실례에서, 시스템 운영자는 프로세서(106)로 하여금 시각적 디스플레이(102) 상의 버튼(미도시)을 갖는 스크롤 바 상의 드래그 동작을 실행하도록 하기 위해서 시스템(100)을 사용할 수 있다. 먼저, 가령, 시스템 운영자는 시스템(100)을 사용하여서 "마우스 커서 포인트" 명령을 실행하여서 커서(112)를 스크롤 버튼으로 움직인다. 이어서, 시스템 운영자는 가령 시스템(100)을 사용하여서 프로세서(106)로 하여금 "커서 다운 드래그", "커서 업 드래그", "커서 레프트 드래그" 또는 "커서 라이트 드래그"를 적합하게 실행하게 할 수 있다. 다른 실례에서, 시스템 운영자는 시스템(100)을 사용하여서 프로세서(106)가 워드 문서, 엑셀 문서, 파워포인트 문서 또는 PDF 문서와 같은 시각적 디스플레이(102) 상에 디스플레이된 데이터 엔트리 필드(미도시)에 걸쳐서 스크롤링하게 할 수 있다. 먼저, 가령, 시스템 운영자는 시스템(100)을 사용하여서 마우스 커서 포인트 명령을 실행하여서 커서(112)를 데이터 엔트리 필드 상의 선택된 위치로 움직이게 할 수 있다. 이어서, 시스템 운영자는 가령 시스템(100)을 사용하여서 프로세서(106)가 "커서 다운 드래그", "커서 업 드래그", "커서 레프트 드래그" 또는 "커서 라이트 드래그"를 실행하게 하여서 데이터 엔트리 필드를 적합한 방향으로 스크롤링할 수 있다. 이어서, 가령, 시스템 운영자는 "마우스 커서 드래그-드롭" 명령 또는 "마우스 커서 드롭" 명령을 실행할 수 있다.
다른 실례에서, 시스템(100)은 시스템(100)을 활성화하고 비활성화할 시에, 즉 시스템(100)을 온 상태로 만들거나 오프 상태로 할 시에 시각적 디스플레이(102)를 향한 안구의 E의 배향을 사용하도록 구성될 수 있다. 가령, 안구 추적 장치(104)는 시각적 디스플레이(102)를 향한 안구 E의 배향의 부재를 검출할 수 있다. 일 실례에서, 시스템 운영자가 사전 결정된 경과 기간에 걸쳐서 자신의 두 안구 E 모두를 시각적 디스플레이(102)로부터 멀어지게 돌리면, 시스템(100)은 프로세서(106)가 시스템(100)을 비활성화 또는 오프 상태로 만들게 할 수 있다. 이어서, 가령, 시스템 운영자가 사전 결정된 기간에 걸쳐서 시각적 디스플레이(102)를 향해서 자신의 안구 E의 배향을 유지하면, 시스템(100)은 프로세서(100)가 시스템(100)을 활성화 또는 온 상태로 되게 할 수 있다. 가령, 시스템(100)의 다른 부분들이 비활성화 상태로 되어 있는 동안에 안구 추적 장치(104)는 온 상태로 유지될 수 있으며, 이로써 시스템(100)의 재활성화를 용이하게 한다. 일 실례에서, 시스템(100)을 오프 상태로 하기 위하여 사전 결정된 경과 기간은 상대적으로 긴 시간으로 설정되어서 시스템 운영자는 시스템(100)이 너무 조기에 오프 상태가 되지 않게 하여서 시각적 디스플레이(102)로부터 자신의 안구를 자연스럽게 돌릴 수도 있게 될 수 있다. 다른 실례에서, 시스템(100)은 시스템(100)을 활성화 또는 비활성화시키기 위해서 시각적 디스플레이(102)에 대한 안구 E의 다른 배향들을 위와 유사한 방식으로 사용할 수 있도록 구성될 수 있다. 가령, 시스템(100)은 시각적 디스플레이(102)를 향한 사전 결정된 안구 깜박임 동작을 위와 유사한 방식으로 사용하여서 시스템(100)을 활성화 또는 비활성화시킬 수 있다.
도 2는 시스템(200)의 다른 실시예의 개략도이다. 이 시스템(200)은 시각적 디스플레이(202), 안구 추적 장치(204) 및 프로세서(206)를 포함한다. 안구 추적 장치(204)는 시각적 디스플레이(202)에 대한 안구 E의 배향을 검출할 수 있다. 프로세서(206)는 점선(208)으로 개략적으로 표시된 바와 같이 시각적 디스플레이(202)와 통신한다. 프로세서(206)는 또한 점선(210)으로 개략적으로 표시된 바와 같이 안구 추적 장치(204)와 통신한다. 프로세서(206)는 커서(212)가 시각적 디스플레이(206) 상에 표시될 수 있게 할 수 있다. 일 실례에서, 커서(212)는 시스템(100)을 참조하여서 전술한 바와 동일한 방식으로 지점(218)을 향한 안구 E의 배향에 의해서 마우스 커서 포인트 명령을 실행하기 위해서 전용되는 지점(218)과 같은 부분을 포함할 수 있다. 가령, 프로세서(206)는 디스플레이된 커서(212)가 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254)를 포함하게 하도록 구성될 수 있다. 여기서, 각 커서 명령 액츄에이터는 시각적 디스플레이(202)의 서로 다른 부분에서 디스플레이되며, 복수의 커서 명령(미도시) 중 하나에 대응한다. 가령, 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254)는 각기 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온/오프 크루즈 토글(toggle) 명령에 대응할 수 있다. 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254) 각각은 가령 자신의 대응하는 커서 명령을 식별하는 라벨(미도시)를 포함할 수 있다. 가령, 이러한 라벨(미도시) 각각은 안구 E가 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254) 중 자신의 대응하는 바를 포함하는 커서(212)의 부분 내의 제 1 지점(216)을 향하여 배향하고 있는바가 검출될 때를 제외하고는 은폐되거나 커서(212) 상에서 언제나 보일 수 있다. 프로세서(206)는 디스플레이된 커서(212) 내의 복수의 커서 명령 액츄에이터(226 내지 254) 중 하나와 같은 커서(212)의 일 지점 또는 일 부분을 향하여 검출된 안구 E의 배향에 응답하여 복수의 커서 명령(미도시) 중 일 커서 명령을 실행할 수 있다.
시스템(200)의 동작의 일 실례에서, 시스템(200)의 운영자 역할을 하는 사람(미도시)은 시각적 디스플레이(202)를 관측하기 위하여 적합하게 위치할 수 있다. 시스템 운영자의 안구 E는 가령 점선 화살표(214)에 의해서 개략적으로 표시된 바와 같은 배향을 가질 수 있다. 가령, 안구 E의 동공 P는 커서(212)가 시각적 디스플레이(202) 상에서 표시될 때에 커서(212) 내의 제 1 지점(216)을 응시할 수 있다. 일 실례에서, 프로세서(206)는 시각적 디스플레이(202)의 픽셀 행렬(미도시) 전체에 걸쳐서 화살표 x,y에 의해서 표현되는 축들을 따라서 2 차원 픽셀 좌표들을 할당하도록 구성될 수 있다. 제 1 지점(216)은 가령 x 축을 따르는 수형 픽셀 좌표 H 및 y 축을 따르는 수직 픽셀 좌표 V를 가질 수 있다. 안구 추적 장치(204)는 시각적 디스플레이(202)를 향한 안구 E의 배향을 검출할 수 있다. 가령, 시스템(200)은 안구 E의 배향(214)에 대응하는 시각적 디스플레이(202) 상의 제 1 지점(216)을 나타내는 픽셀 좌표(H,V)로서 표현되는 응시 지점 정보를 생성할 시에 안구 추적 장치(204)에 의해서 수집된 데이터를 사용할 수 있다. 시각적 디스플레이(202) 상의 제 1 지점(216)은 가령 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254) 중 하나 내에 위치할 수 있으며, 이 각 커서 명령 액츄에이터는 시각적 디스플레이(202)의 서로 다른 부분에서 디스플레이되며, 복수의 커서 명령(미도시) 중 하나에 대응한다. 프로세서(206)는 가령 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254) 중 하나에 대응하는 복수의 커서 명령(미도시)으로부터 선택된 하나의 커서 명령을 실행할 수 있다. 도 2에 도시된 실시예에서, 시스템 운영자의 안구 E가 디스플레이 커서(212) 내의 "마우스 커서 메뉴 보이기 명령"을 나타내는 커서 명령 액츄에이터(236) 상의 제 1 지점(216)을 향하게 되면 프로세서(206)는 "마우스 커서 메뉴 보이기 명령"을 실행할 수 있다. 일 실례에서, 프로세서(206)는 시각적 디스플레이(202)가 커서 명령 액츄에이터(226 내지 254)에 각기 대응하는 커서 명령을 식별하는 복수의 라벨(미도시)를 포함하는 마우스 커서 메뉴(256)를 디스플레이하게 할 수 있다. 다른 실례에서, 커서 명령 액츄에이터(226 내지 254) 각각은 가령 자신의 대응하는 커서 명령을 식별하는 일 라벨(미도시)을 포함할 수 있다. 다른 실례에서, 이러한 라벨(미도시) 각각은 안구 E가 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254) 중 자신의 대응하는 바를 포함하는 커서(212)의 부분 내의 제 1 지점(216)을 향하여 배향하고 있는바가 검출될 때를 제외하고는 은폐될 수 있다. 다른 실례에서, 커서 명령 액츄에이터(226 내지 254) 각각은 자신의 대응하는 커서 명령을 식별하도록 컬러 코딩될 수 있다.
도 3은 시스템(300)의 다른 실시예의 개략도이다. 이 시스템(300)은 시각적 디스플레이(302), 안구 추적 장치(304) 및 프로세서(306)를 포함한다. 안구 추적 장치(304)는 시각적 디스플레이(302)에 대한 안구 E의 배향을 검출할 수 있다. 프로세서(306)는 점선(308)으로 개략적으로 표시된 바와 같이 시각적 디스플레이(302)와 통신한다. 프로세서(306)는 또한 점선(310)으로 개략적으로 표시된 바와 같이 안구 추적 장치(304)와 통신한다. 프로세서(306)는 커서(312)가 시각적 디스플레이(306) 상에 표시될 수 있게 할 수 있다. 일 실례에서, 커서(312)는 둘레(313)를 갖는다. 일 실례에서, 커서(312)는 시스템(100)을 참조하여서 전술한 바와 동일한 방식으로 지점(318)을 향한 안구 E의 배향에 의해서 "마우스 커서 포인트 명령"을 실행하기 위해서 전용되는 지점(318)과 같은 부분을 포함할 수 있다. 가령, 커서(312)는 복수의 커서 명령 액츄에이터(326,328,330,332,334,336,338,340,342,344,346,348,350,352,354)를 포함하며, 각 커서 명령 액츄에이터는 시각적 디스플레이(302)의 서로 다른 부분에서 디스플레이되며, 복수의 커서 명령(미도시) 중 하나에 대응한다. 가령, 복수의 커서 명령 액츄에이터(326,328,330,332,334,336,338,340,342,344,346,348,350,352,354)는 각기 마우스 커서 픽업 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온 크루즈 명령 및 컨트롤 오프 크루즈 명령에 대응할 수 있다. 프로세서(306)는 디스플레이된 커서(312)의 둘레(313) 주변의 복수의 커서 명령 액츄에이터(326 내지 354) 중 하나와 같은 커서(312)의 일 부분 또는 일 지점을 향한 안구 E의 배향이 검출되면 복수의 커서 명령(미도시) 중 하나의 커서 명령을 실행할 수 있다.
가령, 복수의 커서 명령 액츄에이터(326 내지 354) 각각은 자신의 대응하는 커서 명령을 식별하는 라벨(미도시)을 포함할 수 있다. 이러한 라벨(미도시) 각각은 안구 E가 복수의 커서 명령 액츄에이터(326 내지 354) 중 자신의 대응하는 바를 포함하는 커서(312)의 둘레(313)의 일부를 따르는 제 1 지점(316)을 향하여 배향하고 있는 바가 검출될 때를 제외하고는 은폐될 수 있다. 다른 실례에서, 마우스 커서 메뉴 보이기 명령이 실행되면 프로세서(306)는 마우스 커서 메뉴(356)를 디스플레이할 수 있다. 다른 실례에서, 각 커서 명령 액츄에이터(326 내지 354)는 자신의 대응하는 커서 명령을 식별하도록 컬러 코딩될 수 있다. 다른 실례에서, 각 커서 명령 액츄에이터(326 내지 354)는 자신의 위치가 자신의 대응하는 커서 명령을 표시하기에 적합하도록 커서(312)의 둘레(313)의 일부에 위치할 수 있다. 가령, 각 커서 명령 액츄에이터(326 내지 354)는 통상적인 컴퓨터 마우스 하드웨어 장치에서의 수동 커서 명령 액츄에이터의 레이아웃과 일치하는 방식으로 커서(312)의 둘레(313)의 일부에 위치할 수 있다. 가령, "레프트" 명령 액츄에이터 및 "라이트" 명령 액츄에이터는 각기 둘레(313)의 좌측(315) 및 우측(317)에 위치할 수 있다. 다른 실례에서, "더블 클릭" 명령은 그의 대응하는 "단일 클릭" 명령에 인접하여 위치할 수 있다. 또 다른 실례에서, "업" 명령 및 "다운" 명령은 각기 둘레(313)의 상단부(319) 및 하단부(321)에 위치할 수 있다.
시스템(300)의 동작의 일 실례에서, 시스템(300)의 운영자 역할을 하는 사람(미도시)은 시각적 디스플레이(202)를 관측하기 위하여 적합하게 위치할 수 있다. 시스템 운영자의 안구 E는 가령 점선 화살표(314)에 의해서 개략적으로 표시된 바와 같은 배향을 가질 수 있다. 가령, 안구 E의 동공 P는 커서(312)가 시각적 디스플레이(302) 상에서 표시될 때에 커서(312)의 둘레(313) 상의 제 1 지점(316)을 응시할 수 있다. 일 실례에서, 프로세서(306)는 시각적 디스플레이(302)의 픽셀 행렬(미도시) 전체에 걸쳐서 화살표 x,y에 의해서 표현되는 축들을 따라서 2 차원 픽셀 좌표들을 할당하도록 구성될 수 있다. 제 1 지점(316)은 가령 x 축을 따르는 수형 픽셀 좌표 H 및 y 축을 따르는 수직 픽셀 좌표 V를 가질 수 있다. 안구 추적 장치(304)는 시각적 디스플레이(302)를 향한 안구 E의 배향을 검출할 수 있다. 가령, 시스템(300)은 안구 E의 배향(314)에 대응하는 시각적 디스플레이(302) 상의 커서(312)의 둘레(313) 상의 제 1 지점(316)을 나타내는 픽셀 좌표(H,V)로서 표현되는 응시 지점 정보를 생성할 시에 안구 추적 장치(304)에 의해서 수집된 데이터를 사용할 수 있다. 시각적 디스플레이(302) 상의 제 1 지점(316)은 가령 복수의 커서 명령 액츄에이터(326 내지 354) 중 하나 내에 위치할 수 있으며, 이 각 커서 명령 액츄에이터는 커서(312)의 둘레(313)의 서로 다른 부분에서 디스플레이되며, 복수의 커서 명령(미도시) 중 하나에 대응한다. 프로세서(306)는 가령 복수의 커서 명령 액츄에이터(326 내지 354) 중 하나에 대응하는 복수의 커서 명령(미도시)으로부터 선택된 하나의 커서 명령을 실행할 수 있다. 도 3에 도시된 실시예에서, 시스템 운영자의 안구 E가 디스플레이된 커서(312)의 둘레(313) 상에 있으면서 "마우스 라이트 단일 클릭 명령"을 나타내는 커서 명령 액츄에이터(342) 상에도 있는 제 1 지점(316)을 향하게 되면 프로세서(306)는 마우스 라이트 단일 클릭 명령을 실행할 수 있다.
도 4는 시스템(400)의 다른 실시예의 개략도이다. 이 시스템(400)은 시각적 디스플레이(402), 안구 추적 장치(404) 및 프로세서(406)를 포함한다. 안구 추적 장치(404)는 시각적 디스플레이(402)에 대한 안구 E의 배향을 검출할 수 있다. 프로세서(406)는 점선(408)으로 개략적으로 표시된 바와 같이 시각적 디스플레이(402)와 통신한다. 프로세서(406)는 또한 점선(410)으로 개략적으로 표시된 바와 같이 안구 추적 장치(404)와 통신한다. 프로세서(406)는 커서(412)가 시각적 디스플레이(306) 상에 표시될 수 있게 할 수 있다. 일 실례에서, 커서(412)의 일부 또는 일 지점을 향하여 검출된 안구 E의 배향에 응답하여 프로세서(406)는 시각적 디스플레이(402)로 하여금 상기 커서(412)를 포함할 뿐만 아니라 각각이 복수의 커서 명령에 대응하는 복수의 커서 명령 액츄에이터(426,428,430,432,434,436,438,440,442,444,446,448,450,452)를 갖는 마우스 커서 메뉴(415)도 포함하는 확장형 커서(413)를 디스플레이하게 한다. 가령, 복수의 커서 명령 액츄에이터(426,428,430,432,434,436,438,440,442,444,446,448,450,452)는 각기 마우스 커서 픽업 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온 크루즈 명령 및 컨트롤 오프 크루즈 명령에 대응할 수 있다. 가령, 안구 E가 커서(412)를 향한 배향(414)을 갖는 바가 검출될 때를 제외하고 커서 명령 액츄에이터(426 내지 452)의 메뉴(415)는 시각적 디스플레이(402) 상에서 은폐될 수 있다. 다른 실례에서, 안구 E가 커서(412)의 제 1 위치(416)를 향한 배향(414)을 갖는 바가 검출될 때를 제외하고 커서 명령 액츄에이터(426 내지 452)의 메뉴(415)는 시각적 디스플레이(402) 상에서 은폐될 수 있다. 실례에서, 커서(412)의 제 1 지점(416)은 가령 음영 또는 색상을 지정함으로써 커서(412)의 다른 부분들과 다른 외형을 가짐으로써 구별될 수 있다. 또한, 가령, 커서 명령 액츄에이터(426 내지 452)의 메뉴(415)는 커서(412)에 인접하여서 시각적 디스플레이(402) 상에서 디스플레이되거나 시각적 디스플레이(402) 상의 다른 위치(미도시)에서 디스플레이될 수 있다. 시스템(400)이 커서(412)의 일 부분 또는 확장형 커서(413)의 일 부분을 향한 안구 E의 배향을 검출할 경우에, 안구 E가 시각적 디스플레이(402) 상에 디스플레이된 복수의 커서 명령 액츄에이터(426 내지 452) 중 하나를 향하고 있는 배향을 검출하면 프로세서(406)는 복수의 커서 명령(미도시) 중 하나의 커서 명령을 실행할 수 있다.
시스템(400)의 동작의 일 실례에서, 시스템(400)의 운영자 역할을 하는 사람(미도시)은 시각적 디스플레이(402)를 관측하기 위하여 적합하게 위치할 수 있다. 시스템 운영자의 안구 E는 가령 점선 화살표(414)에 의해서 개략적으로 표시된 바와 같은 배향을 가질 수 있다. 가령, 안구 E의 동공 P는 커서(412)가 시각적 디스플레이(402) 상에서 표시될 때에 커서(412)의 제 1 지점(416)을 응시할 수 있다. 일 실례에서, 프로세서(406)는 시각적 디스플레이(402)의 픽셀 행렬(미도시) 전체에 걸쳐서 화살표 x,y에 의해서 표현되는 축들을 따라서 2 차원 픽셀 좌표들을 할당하도록 구성될 수 있다. 제 1 지점(416)은 가령 x 축을 따르는 수형 픽셀 좌표 범위 H 내지 I 및 y 축을 따르는 수직 픽셀 좌표 범위 V 내지 W를 가질 수 있다. 안구 추적 장치(404)는 시각적 디스플레이(402)를 향한 안구 E의 배향을 검출할 수 있다. 가령, 시스템(400)은 안구 E의 배향(414)에 대응하는 시각적 디스플레이(402) 상의 커서(412) 내의 제 1 지점(416)을 나타내는 픽셀 좌표의 행렬 범위 (H,V) 내지 (I,W)로서 표현되는 응시 지점 정보를 생성할 시에 안구 추적 장치(404)에 의해서 수집된 데이터를 사용할 수 있다. 안구 E가 커서(412)의 제 1 부분(416)을 향한 배향(414)을 가짐을 시스템(400)이 검출하면, 프로세서(406)는 가령 커서 명령 액츄에이터(426 내지 452)의 메뉴(415)를 포함하는 확장형 커서(413)가 시각적 디스플레이(402) 상에 디스플레이되게 하며, 이 메뉴(415)는 커서(412)에 인접하여서 디스플레이되거나 시각적 디스플레이(402) 상의 다른 위치에서 표시될 수 있다. 가령, 이어서, 시스템 운영자(미도시)는 디스플레이된 메뉴(415) 내의 복수의 커서 명령 액츄에이터(426 내지 452) 중 하나를 포함하는 확장형 커서(413)의 제 2 부분(419)을 향하여 자신의 안구 E가 배향(417)되도록 할 수 있다. 이어서, 가령, 프로세서(406)는 복수의 커서 명령 액츄에이터(426 내지 452) 중 하나에 대응하며 복수의 커서 명령(미도시)으로부터 선택된 일 커서 명령을 실행할 수 있다. 도 4에 도시된 실례에서, 프로세서(406)는 "마우스 커서 드래그-드롭" 명령을 나타내는 커서 명령 액츄에이터(448)를 포함하는 메뉴(415)의 제 2 부분(419)을 향하여 안구 E가 배향(417)하는 것이 검출되면 "마우스 커서 드래그-드롭" 명령을 실행할 수 있다.
시스템(100,200,300,400)은 가령 시각적 디스플레이(102,202,302,404) 상의 커서(112,212,312,412)의 지점 또는 부분(116,216,316,416,419)을 향하여 안구 E의 배향(114,214,314,414,417)이 지속적으로 유지되는 기간을 검출할 수 있다. 가령, 안구 추적 장치(104,204,304,404)는 시각적 디스플레이(102,202,302,404)를 향한 안구 E의 배향 및 커서(11,212,312,412)를 향한 안구 E의 배향 또는 시각적 디스플레이(102,202,302,404) 상의 다른 부분을 향한 안구 E의 배향 또는 시각적 디스플레이(102,202,302,404)로부터 안구 E가 멀어지는 바를 파악하기 위해서 응시 지점 데이터를 계속적으로 샘플링할 수 있다. 또한, 가령, 프로세서(106,206,306,406)는 시각적 디스플레이(102,202,302,404) 상의 지점 또는 부분(116,216,316,416,419)을 향한 안구 E의 배향(114,214,314,414,417)의 검출된 지속 기간을 사전 결정된 기간 값과 비교할 수 있다. 이어서, 이 검출된 지속 기간이 사전 결정된 기간 값에 도달하면, 프로세서(106,206,306,406)는 가령 커서 명령을 실행할 수 있다. 이 사전 결정된 기간 값은 가령 시스템 운영자에 의해서 규정되어서 시스템(100,200,300,400) 내로 프로그래밍될 수 있다. 또한, 이 시스템(100,200,300,400)은 서로 상이한 대응하는 기능들을 갖는 복수의 상이한 사전 결정된 기간 값들을 저장할 수 있다. 가령, 최단의 사전 결정된 기간 값은 마우스 커서 픽업 명령 및 마우스 커서 드롭 명령 각각에 대응하게 프로세서(106,206,306,406)에 의해서 규정 및 저장될 수 있다. 다른 실례에서, 프로세서(106,206,306,406)는 시스템(100,200,300,400)을 온 상태로 하는 동작에 대응되게 사전 결정된 기간 값을 저장하고 시스템(100,200,300,400)을 오프 상태로 하는 동작에 대응되게 사전 결정된 기간 값을 저장할 수 있다.
또한, 시스템(100,200,300,400)은 시각적 디스플레이(102,202,302,402)의 제 1 지점 또는 제 1 부분(116,216,316,416)을 향한 안구 E의 배향(114,214,314,414)에서의 안구 E의 초기 위치를 검출할 수 있다. 본 실례에서, 이어서, 시스템(100,200,300,400)은 점선 화살표(120,220,320,420)에 의해서 개략적으로 표시된 바와 같은 시각적 디스플레이(102,202,302,402)의 제 2 지점 또는 제 2 부분(122,222,322,422)을 향한 안구 E의 배향을 위해서 후속 위치로 안구 E가 움직이는 바를 검출할 수 있다. 다른 실례에서, 시각적 디스플레이(102,202,302,402)의 제 1 지점 또는 제 1 부분(116,216,316,416)을 향한 안구 E의 배향(114,214,314,414)에서 시각적 디스플레이(102,202,302,402)의 제 2 지점 또는 제 2 부분(122,222,322,422)을 향한 안구 E의 배향(120,220,320,420)으로 안구 E가 움직이는 바가 검출되면 프로세서(106,206,306,406)는 커서(112,212,312,412)가 시각적 디스플레이(102,202,302,402)를 가로질러서 움직이게 할 수 있다. 또한, 일 실례에서, 프로세서(106,206,306,406)는 시각적 디스플레이(102,202,302,402)가 데이터 필드 입력 커서(124,224,324,424)를 디스플레이하게 할 수 있으며, 프로세서(106,206,306,406)는 데이터 필드 입력 커서(124,224,324,424)가 점선 화살표(123,223,323,423)의 방향을 따라서 시각적 디스플레이(102,202,302,402)의 제 2 지점 또는 제 2 부분(122,222,322,422)으로 움직이게 할 수 있다. 또한, 시스템(100,200,300,400)은 가령 임계 각도 θ 이상만큼의 안구 E의 배향(114,214,314,414)에 있어서의 변화를 검출할 수 있다. 동작 실례에서, 임계 각도 θ 이상만큼의 안구 E의 배향(114,214,314,414)에 있어서의 변화가 검출되면, 시스템(100,200,300,400)은 프로세서(106,206,306,406)로 하여금 커서(112,212,312,412)를 시각적 디스플레이(102,202,302,402)에 걸쳐서 일 방향으로 시각적 디스플레이(102,202,302,402)에 대한 안구 E의 배향(114,214,314,414)에 있어서의 변화 정도에 비례하는 거리만큼 움직이게 한다.
도 5는 방법(500)의 일 실시예의 흐름도이다. 이 방법은 단계(505)에서 시작되며 단계(510)는 시각적 디스플레이(102,202,302,402), 안구 추적 장치(104,204,304,404) 및 시각적 디스플레이(102,202,302,402)와 안구 추적 장치(104,204,304,404)와 통신하는 프로세서(106,206,306,406)를 제공하는 단계를 포함한다. 단계(510)는 여러 실례들에 있어서 시각적 디스플레이(102,202,302,402)의 픽셀 행렬(미도시)에 걸쳐서 화살표 x,y로 표시된 축들을 따라서 2 차원 픽셀 좌표를 할당하도록 프로세서(106,206,306,406)를 구성하는 단계를 포함한다. 단계(515)는 커서(112,212,312,412)가 시각적 디스플레이(102,202,302,402) 상에 디스플레이되도록 하는 단계를 포함한다.
일 실례에서, 시스템 운영자(미도시)는 시각적 디스플레이(102,202,302,402)를 관측하기 위하여 적합하게 위치할 수 있다. 시스템 운영자의 안구 E는 가령 점선 화살표(114,214,314,414)에 의해서 개략적으로 표시된 바와 같은 배향을 가질 수 있다. 가령, 안구 E의 동공 P는 커서(112,212,312,412)가 시각적 디스플레이(102,202,302,402) 상에서 표시될 때에 커서(112,212,312,412) 내의 제 1 부분 또는 제 1 지점(116,216,316,416)을 응시할 수 있다. 일 실례에서, 제 1 부분 또는 제 1 지점(116,216,316,416)은 가령 x 축을 따르는 수형 픽셀 좌표 H 및 y 축을 따르는 수직 픽셀 좌표 V를 갖는 응시 지점을 포함할 수 있다. 단계(520)에서, 시각적 디스플레이(102,202,302,402) 상의 커서(112,212,312,412) 내의 제 1 부분 또는 제 1 지점(116,216,316,416)을 향한 안구 E의 배향이 검출될 수 있다. 가령, 안구 추적 장치(104,204,304,404)는 안구 E의 배향을 검출하도록 될 수 있다. 또한, 단계(520)에서, 가령, 안구 추적 장치(104,204,304,404)에 의해서 데이터가 수집되고, 안구 E의 배향(114,214,314,414)에 대응하는 시각적 디스플레이(102,202,302,402) 상의 제 1 지점 또는 제 1 부분(116,216,316,416)을 나타내는 픽셀 좌표(H,V)로서 표현되는 응시 지점 정보를 생성할 시에 이 수집된 데이터가 사용되게 된다.
단계(530)에서, 디스플레이된 커서(112,212,312,412)의 일 부분 또는 일 지점을 향하여 안구 E가 배향하는 바가 검출되면 복수의 커서 명령들(미도시) 중에서 일 커서 명령이 실행된다. 가령, 프로세서(106,206,306,406)가 이 커서 명령을 실행할 수 있다. 예를 들자면, 이 복수의 커서 명령들은 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온 크루즈 명령 및 컨트롤 오프 크루즈 명령을 포함할 수 있다. 이어서, 이 방법(500)은 단계(540)에서 종료될 수 있다.
다른 실례에서, 단계(515)는 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254)━각각이 시각적 디스플레이(202)의 서로 다른 부분에서 디스플레이되며, 복수의 커서 명령(미도시) 중 하나에 대응함━를 포함하는 커서(212)가 시각적 디스플레이(202) 상에 디스플레이되게 하는 단계를 포함할 수 있다. 또한, 단계(515)는 상기 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254)가 각기 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 오프 크루즈 명령 및 컨트롤 온 크루즈 명령에 대응하도록 프로세서(206)를 프로그래밍하는 단계를 포함할 수 있다. 또한, 단계(515)는 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254) 각각을 자신의 대응하는 커서 명령을 식별하기에 적합한 방식으로 시각적 디스플레이(202)가 표시하도록 프로세서(206)를 프로그래밍하는 단계를 포함할 수 있다. 또한, 단계(515)는 복수의 커서 명령 액츄에이터(226,228,230,232,234,236,238,240,242,244,246,248,250,252,254) 각각에 대응하는 커서 명령을 식별하는 라벨을 시각적 디스플레이(202)가 디스플레이하도록 프로세서(206)를 프로그래밍하는 단계를 포함할 수 있다. 일 실례에서, 단계(515)는 이러한 라벨이 언제나 커서(212) 상에서 디스플레이되도록 프로세서(206)를 프로그래밍하는 단계를 포함할 수 있다. 다른 실례에서, 단계(515)는 복수의 커서 명령 액츄에이터(226 내지 254) 중 자신의 대응하는 바를 포함하는 커서(212)의 제 1 지점 또는 제 1 부분(216)을 향하여 안구 E가 배향(214)하고 있는바 가 검출될 때를 제외하고는 상기 라벨이 은폐되도록 프로세서(206)를 프로그래밍하는 단계를 포함할 수 있다. 또한, 가령, 단계(530)는 디스플레이된 커서(212) 내의 복수의 커서 명령 액츄에이터(226 내지 254) 중 하나를 향하여 안구 E가 배향하고 있는 바가 검출되면 프로세서(206)로 하여금 복수의 커서 명령(미도시) 중에서 하나의 커서 명령을 실행하게 하는 단계를 포함할 수 있다.
다른 실례에서, 단계(515)는 커서 둘레(313) 및 복수의 커서 명령 액츄에이터(326,328,330,332,334,336,338,340,342,344,346,348,350,352,354)━각각이 시각적 디스플레이(302)의 커서(312)의 둘레(313)의 서로 다른 부분에서 디스플레이되며, 복수의 커서 명령(미도시) 중 하나에 대응함━를 포함하는 커서(312)가 시각적 디스플레이(302) 상에 디스플레이되게 하는 단계를 포함할 수 있다. 또한, 이 실례에서, 단계(515)는 상기 복수의 커서 명령 액츄에이터(326,328,330,332,334,336,338,340,342,344,346,348,350,352,354)가 각기 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 오프 크루즈 명령 및 컨트롤 온 크루즈 명령에 대응하도록 프로세서(306)를 프로그래밍하는 단계를 포함할 수 있다. 또한, 단계(515)는 복수의 커서 명령 액츄에이터(326 내지 354) 각각을 자신의 대응하는 커서 명령을 식별하기에 적합한 방식으로 시각적 디스플레이(302)가 표시하도록 프로세서(306)를 프로그래밍하는 단계를 포함할 수 있다. 또한, 단계(515)는 복수의 커서 명령 액츄에이터(326 내지 354) 각각에 대응하는 커서 명령을 식별하는 라벨을 시각적 디스플레이(302)가 디스플레이하도록 프로세서(306)를 프로그래밍하는 단계를 포함할 수 있다. 다른 실례에서, 단계(515)는 복수의 커서 명령 액츄에이터(326 내지 354) 중 자신의 대응하는 바를 포함하는 커서(312)의 둘레(313)의 일 부분의 제 1 지점(316)을 향하여 안구 E가 배향(314)하고 있는바 가 검출될 때를 제외하고는 상기 라벨이 은폐되도록 프로세서(306)를 프로그래밍하는 단계를 포함할 수 있다. 다른 실례에서, 단계(515)는 자신의 대응하는 커서 명령을 식별하게 컬러 코딩되는 방식으로 복수의 커서 명령 액츄에이터(326 내지 354) 각각이 시각적 디스플레이(302) 상에서 디스플레이되도록 프로세서(306)를 프로그래밍하는 단계를 포함할 수 있다. 다른 실례에서, 단계(515)는 각 커서 명령 액츄에이터(326 내지 354)가 자신의 위치가 자신의 대응하는 커서 명령을 표시하기에 적합하도록 커서(312)의 둘레(313)의 일부에 위치하게 시각적 디스플레이(302) 상에서 표시되도록 프로세서(306)를 프로그래밍하는 단계를 포함할 수 있다. 가령, "레프트" 명령 액츄에이터 및 "라이트" 명령 액츄에이터는 각기 둘레(313)의 좌측(315) 및 우측(317)에 위치할 수 있다. 다른 실례에서, "더블 클릭" 명령은 그의 대응하는 "단일 클릭" 명령에 인접하여 위치할 수 있다. 또 다른 실례에서, "업" 명령 및 "다운" 명령은 각기 둘레(313)의 상단부(319) 및 하단부(321)에 위치할 수 있다. 또한, 가령, 단계(530)는 디스플레이된 커서(312)의 둘레(313) 주변의 복수의 커서 명령 액츄에이터(326 내지 354) 중 하나를 향하여 안구 E가 배향하고 있는 바가 검출되면 프로세서(306)로 하여금 복수의 커서 명령(미도시) 중에서 하나의 커서 명령을 실행하게 하는 단계를 포함할 수 있다.
다른 실례에서, 단계(515)는 커서(412)의 일부 또는 일 지점을 향하여 검출된 안구 E의 배향에 응답하여 프로세서(406)가 시각적 디스플레이(402)로 하여금 상기 커서(412)뿐만 아니라 각각이 복수의 커서 명령에 대응하는 복수의 커서 명령 액츄에이터(426,428,430,432,434,436,438,440,442,444,446,448,450,452)를 갖는 마우스 커서 메뉴(415)도 디스플레이하도록 이 프로세서(406)를 프로그래밍하는 단계를 포함할 수 있다. 또한, 본 실례에서, 단계(515)는 이 메뉴(515)가 초기에는 표시되지 않고 은폐되도록 커서(412)가 시각적 디스플레이(402) 상에서 디스플레이되게 하는 단계를 포함할 수 있다. 또한, 단계(515)는 안구 E가 커서(412)를 향하여 배향(414)하고 있는 시점을 검출하여서 복수의 커서 명령 액츄에이터(426 내지 452)를 포함하는 메뉴(415)를 시각적 디스플레이(402) 상에 표시하는 단계를 포함할 수 있다. 다른 실례에서, 단계(415)는 안구 E가 커서(412)의 제 1 부분(416)에 향하여 배향(414)하고 있는 시점을 검출하여서 복수의 커서 명령 액츄에이터(426 내지 452)를 포함하는 메뉴(415)를 시각적 디스플레이(402) 상에 표시하는 단계를 포함할 수 있다. 일 실례에서, 단계(515)는 커서(412)의 제 1 부분 또는 지점(416)이 가령 음영 또는 색상을 지정함으로써 커서(412)의 다른 부분들과 다른 외형을 가짐으로써 구별될 수 있게 이 제 1 지점(416)을 디스플레이하는 단계를 포함할 수 있다. 또한, 가령, 단계(515)는 커서 명령 액츄에이터(426 내지 452)의 메뉴(415)가 커서(412)에 인접하여서 시각적 디스플레이(402) 상에서 디스플레이되거나 시각적 디스플레이(402) 상의 다른 위치(미도시)에서 디스플레이될 수 있게 이 메뉴(415)를 디스플레이하는 단계를 포함할 수 있다. 또한, 가령, 단계(515)는 복수의 커서 명령 액츄에이터(426 내지 452)가 각기 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 오프 크루즈 명령 및 컨트롤 온 크루즈 명령에 대응하도록 프로세서(406)를 프로그래밍하는 단계를 포함할 수 있다. 단계(520)에서, 안구 추적 장치(404)는 시각적 디스플레이(402) 상의 커서(412)의 제 1 지점 또는 제 1 부분(416)을 향한 안구 E의 배향을 검출하도록 될 수 있다. 단계(525)에서, 안구 추적 장치(404)는 시각적 디스플레이(402) 상의 커서 메뉴(415)의 복수의 커서 명령 액츄에이터(426 내지 452) 중 하나 상의 제 2 지점 또는 부분(419)을 향한 안구 E의 배향을 검출하도록 될 수 있다. 또한, 가령, 단계(530)는 안구 E가 시각적 디스플레이(402) 상에 디스플레이된 커서(412) 내의 복수의 커서 명령 액츄에이터(426 내지 452) 중 하나를 향하고 있는 배향을 검출하면 프로세서(406)로 하여금 복수의 커서 명령(미도시) 중 하나의 커서 명령을 실행하게 하는 단계를 포함할 수 있다.
일 실례에서, 단계(520,525)는 가령 시각적 디스플레이(102,202,302,404) 상의 커서(112,212,312,412)의 제 1 지점 또는 부분(116,216,316,416)을 향하여 안구 E의 배향(114,214,314,414)이 지속적으로 유지되는 기간을 검출하는 단계를 포함할 수 있다. 또한, 가령, 단계(520,525)는 시각적 디스플레이(102,202,302,404) 상의 제 1 지점 또는 부분(116,216,316,416)을 향한 안구 E의 배향(114,214,314,414)의 검출된 지속 기간을 사전 결정된 기간 값과 비교하는 단계를 포함할 수 있다. 또한, 본 실례에서, 단계(530)는 상기 검출된 지속 기간이 사전 결정된 기간 값에 도달하면, 프로세서(106,206,306,406)로 하여금 일 커서 명령을 실행하게 하는 단계를 포함할 수 있다. 또한, 단계(510)는 이 사전 결정된 기간 값을 시스템 운영자에 의해서 규정되는 값으로서 프로세서(106,206,306,406) 내로 프로그래밍하는 단계를 포함할 수 있다.
일 실례에서, 단계(520,525)는 시각적 디스플레이(102,202,302,402)의 제 1 지점 또는 제 1 부분(116,216,316,416)을 향하며 점선 화살표(114,214,314,414)의 방향으로 된 안구 E의 배향에서의 안구 E의 초기 위치를 검출하는 단계를 포함할 수 있다. 본 실례에서, 이어서, 단계(520,525)는 점선 화살표(120,220,320,420)에 의해서 개략적으로 표시된 바와 같은 시각적 디스플레이(102,202,302,402)의 제 2 지점 또는 제 2 부분(122,222,322,422)을 향한 안구 E의 배향을 위해서 후속 위치로 안구 E가 움직이는 바를 검출하는 단계를 포함할 수 있다. 또한, 본 실례에서, 이 방법(500)은 시각적 디스플레이(102,202,302,402)의 제 1 지점 또는 제 1 부분(116,216,316,416)을 향한 안구 E의 배향에서 시각적 디스플레이(102,202,302,402)의 제 2 지점 또는 제 2 부분(122,222,322,422)을 향한 안구 E의 배향으로 안구 E가 움직이는 바가 검출되면 커서(112,212,312,412)가 시각적 디스플레이(102,202,302,402)를 가로질러서 움직이게 하는 단계(530)를 포함할 수 있다. 가령, 이로써, 커서(112,212,312,412)의 화살표 선단이 시각적 디스플레이(102,202,302,402) 상에서 제 1 지점 또는 제 1 부분(116,216,316,416)에서 제 2 지점 또는 제 2 부분(122,222,322,422)으로 움직일 수 있다. 또한, 일 실례에서, 이 방법(500)은 단계(515)에서 데이터 필드 입력 커서(124,224,324,424)를 디스플레이하게 할 수 있으며, 단계(535)에서 이 데이터 필드 입력 커서(124,224,324,424)가 시각적 디스플레이(102,202,302,402)의 제 1 지점 또는 제 1 부분(116,216,316,416)에 위치하는 바에서 제 2 지점 또는 제 2 부분(122,222,322,422)에 위치하는 바로 재배치되게 할 수 있다.
다른 실례에서, 단계(520,525)는 시각적 디스플레이(102,202,302,402)를 향한 가령 임계 각도 θ 이상만큼의 안구 E의 배향(114,214,314,414)에 있어서의 변화를 검출하는 단계를 포함할 수 있다. 또한, 본 실례에서, 이 방법(500)은 단계(530)에서 이 임계 각도 θ 이상만큼의 안구 E의 배향(114,214,314,414)에 있어서의 변화가 검출되면, 프로세서(106,206,306,406)로 하여금 커서(112,212,312,412)를 시각적 디스플레이(102,202,302,402)에 걸쳐서 일 방향으로 시각적 디스플레이(102,202,302,402)에 대한 안구 E의 배향(114,214,314,414)에 있어서의 변화 정도에 비례하는 거리만큼 움직이게 할 수 있다.
시스템(100,200,300,400)에 포함되도록 선택된 시각적 디스플레이(102,202,302,402)는 가령 LCD, 플라스마 디스플레이, 광 프로젝트 장치 또는 음극선관과 같은 그래픽 사용자 인터페이스로서 사용되기에 적합한 임의의 모니터 장치에 의해서 구현될 수 있다. 시스템(100,200,300,400)은 하나 이상의 시각적 디스플레이(102,202,302,402)를 포함할 수 있다.
시스템(100,200,300,400)에 포함되도록 선택된 안구 추적 장치(104,204,304,404)는 가령 시각적 디스플레이(102,202,302,402)를 향한 안구 E의 배향(114,214,314,414)을 검출할 수 있게 선택된 안구 추적 장치에 의해서 구현될 수 있다. 가령, 안구 추적 장치(104,204,304,404)는 하나 이상의 카메라(미도시)를 포함할 수 있다. 또한, 일 실례에서, 카메라(미도시)는 시각적 디스플레이(102,202,302,402) 상에 장착될 수 있다. 안구 추적 장치(104,204,304,404)는 가령 시각적 디스플레이(102,202,302,402)를 향한 안구 E의 공동 P의 위치를 위해서 (H,V) 좌표로서 표현되는 응시 지점 정보를 생성할 수 있다. 시스템(100,200,300,400)은 가령 이 (H,V) 좌표 데이터를 사용하여서 시각적 디스플레이(102,202,302,402) 상의 커서(112,212,312,412)의 위치를 설정할 수 있다. 안구 추적 장치(104,204,304,404)는 가령 사람의 안구 E의 공동 P로 카메라의 초점을 맞추고 시각적 디스플레이(102,202,302,402)에 걸쳐 있는 알려진 좌표(H,V)를 갖는 서로 상이하고 서로 이격된 위치들인 일련의 지점들을 이 사람이 응시하는 동안에 이 사람으로 하여금 정지 상태로 있게 함으로써 캘리브레이션될 수 있다. 안구 추적 장치(104,204,304,404)는 전술한 바와 같은 사전 결정된 경과 기간 또는 사전 결정된 안구 깜박임 움직임들에 관해서 프로세서(106,206,306,406)를 프로그래밍할 시에 사용될 수 있다. 가령, 시각적 디스플레이(102,202,302,402)의 일 지점 또는 부분을 향한 안구 E의 배향을 프로세서(106,206,306,406)로 하여금 시스템(100,200,300,400)에서 일 동작을 실행시키도록 하기 위해서 마우스 클릭 명령으로 변환하기 위해서 사전 결정된 기간은 사용자에 의해서 규정된 기간 동안 그 사람으로 하여금 자신의 안구 E의 배향(114,214,314,44)을 유지하게 함으로써 설정될 수 있는데, 즉 상기 사용자에 의해서 사전 규정된 기간이 상기 사전 결정된 기간으로서 프로세서(106,206,306,406)에 의해서 저장되게 된다. 다른 실례에서, 시각적 디스플레이(102,202,302,402)의 일 지점 또는 부분을 향한 안구 E의 배향을 프로세서(106,206,306,406)로 하여금 시스템(100,200,300,400)에서 다른 동작을 실행시키도록 하기 위해서 마우스 클릭 명령으로 변환하기 위해서 사전 결정된 안구 깜박임 동작은 사용자에 의해서 규정된 안구 깜박임 정도를 하면서 그 사람으로 하여금 자신의 안구 E의 배향(114,214,314,44)을 유지하게 함으로써 설정될 수 있는데, 즉 상기 사용자에 의해서 사전 규정된 안구 깜박임 정도가 상기 시스템(100,200,300,400)의 규정된 동작이 실행되도록 하는 상기 사전 결정된 안구 깜박임 정도로서 프로세서(106,206,306,406)에 의해서 저장되게 된다.
다른 실례에서, 안구 추적 장치(104,204,304,404)는 도시되지 않은 헤드 장착형 광학 장치, 카메라, 반사형 모노클 및 제어기를 포함할 수 있다. 가령, CCD(charge-coupled device)를 포함하는 카메라가 사용될 수 있다. 프로세서(106,206,306,406)가 안구 추적 장치(104,204,304,404)를 제어하는 제어기 역할을 하거나 별도의 제어기(미도시)가 제공될 수 있다. 헤드 장착형 광학 장치는 가령 풋볼 또는 자전거 헬멧 내부에서 볼 수 있는 내부 지지 구조물과 유사한 헤드밴드를 포함할 수 있다. 카메라는 가령 근사 적외선 조사기를 가질 수 있다. 일 실례에서, 헤드밴드를 착용할 때에 당사자의 안구 E 위쪽으로 카메라가 적합하게 위치하도록 소형 카메라가 선택되어서 헤드밴드 상에 장착될 수 있다. 가령 약 3 인지 내지 2 인치 크기를 갖는 모노클이 헤드밴드를 착용한 당사자의 안구 E 아래에 놓여 위치하도록 될 수 있다. 일 실례에서, 안구 추적 장치(104,204,304,404)는 자기 헤드 추적 유닛(미도시)을 포함할 수 있다. 자기 헤드 추적 유닛은 가령 자기 송신기, 짐벌(gimbaled) 포인팅 장치 및 센서를 포함할 수 있다. 일 실례에서, 자기 송신기 및 짐벌 포인팅 장치는 안구 추적 장치(104,204,304,404)가 사용 중일 때에는 당사자의 머리 바로 뒤에서 고정된 지지부 상에 위치하며 소형 센서가 헤드밴드 상에 위치할 수 있다. 안구 추적 장치(104,204,304,404)의 동작 시에, 당사자의 안구 E에 헤드밴드 상의 근사 적외선 빔이 조사된다. 안구 E의 이미지가 모노클 내에 반사된다. 이어서, 카메라는 가령 반사된 이미지를 수신하여서 이 이미지를 프로세서(106,206,306,406)에 전송한다. 또한, 가령, 자기 헤드 추적 유닛이 머리의 위치 좌표(x,y) 데이터를 프로세서(106,206,306,406)에 전송한다. 이어서, 프로세서(106,206,306,406)는 카메라 및 자기 헤드 추적 유닛으로부터 수신한 데이터들을 (H,V) 응시 지점 좌표 데이터로서 통합시킨다. 당사자의 응시 지점에 대한 정확한 캘리브레이션은 가령 시각적 디스플레이(102,202,302,402)에서 당사자의 안구 E 및 자기 헤드 추적 유닛까지의 거리에 의존한다. 이러한 안구 추적 장치(104,204,304,404)는 가령 품명 CU4000 또는 SU4000으로 하여서 Applied Science Laboratories, Bedford, Massachusetts USA으로부터 상업적으로 입수 가능하다.
다른 실례에서, 안구 추적 장치(104,204,304,404)는 그 상에 하나 이상의 카메라가 장착된 헤드밴드(미도시)를 포함할 수 있다. 가령, 2 개의 카메라가 헤드밴드를 착용한 당사자의 안구 E 아래에 위치하도록 헤드밴드 상에 배치될 수 있다. 본 실례에서, 안구 추적(x,y) 좌표는 당사자의 좌측 안구 및 우측 안구 E 모두에 대해서 기록될 수 있다. 일 실례에서, 2 개의 카메라는 약 60 Hz 내지 약 250 Hz의 범위 내의 샘플링 레이트로 해서 안구 추적 데이터를 수집할 수 있다. 가령, 제 3 카메라가 당사자가 헤드밴드를 착용하는 동안에 당사자의 앞이마의 대략 중간에 위치하도록 헤드밴드 상에 배치될 수 있다. 일 실례에서, 제 3 카메라의 배향은 시각적 디스플레이(102,202,302,402) 상에 배치된 적외선 센서들에 의해서 검출될 수 있다. 또한, 가령, 제 3 카메라는 시각적 디스플레이(102,202,302,402)에 대한 당사자의 머리의 움직임을 기록할 수 있다. 일 실례에서, 안구 추적 장치(104,204,304,404)는 가령 당사자의 안구 E의 공동 P로 각 카메라의 초점을 맞추고 시각적 디스플레이(102,202,302,402)에 걸쳐 있는 알려진 좌표(H,V)를 갖는 서로 상이하고 서로 이격된 위치들인 일련의 지점들을 이 당사자가 응시하는 동안에 이 당사자로 하여금 정지 상태로 있게 함으로써 캘리브레이션될 수 있다. 이러한 안구 추적 장치(104,204,304,404)는 가령 품명 "EyeLink System"으로 해서 독일 소재의 SensoriMotorics Instrumentation (SMI) 사로부터 상업적으로 입수 가능하다.
다른 타입의 안구 추적 장치(104,204,304,404)가 사용될 수 있다. 가령, 안구 추적 장치(104,204,304,404)는 당사자의 안구 E에 근사한 피부의 표면상의 전위의 생리학적 측정치로부터 안구 E의 배향을 도출함으로써 기능하도록 구성될 수 있다. 다른 실례로서, 다른 안구 추적 장치(104,204,304,404)는 6475 Alvarado Road, Suite 132, San Diego, California 92120 USA 소재의 EyeTracking, Inc 사로부터 상업적으로 입수 가능하다. 시스템(100,200,300,400)은 하나 이상의 안구 추적 장치(104,204,304,404)를 포함할 수 있다. 안구 추적 장치(104,204,304,404)에 대한 다른 배경 기술 정보는 다음의 문서들에 개시되어 있으며 이 문서들 모두는 그 전체 내용이 본 시스템(100,200,300,400) 및 본 방법(500)에 대한 설명에 있어서 참조로서 인용된다: 2000년 7월 18일자에 공고된 Marshall의 미국 특허 제6,909,151호; 2000년 8월 15일자에 공고된 Edwards의 미국 특허 제6,102,870호; 및 2007년 12월 20일자에 공개된 Marshall의 미국 특허 출원 공개 제2007/0291232A1호.
시스템(100,200,300,400)에 포함되기로 선택된 프로세서(106,206,306,406)는 가령 안구 추적 장치(104,204,304,404)로부터의 데이터를 수신하고 시각적 디스플레이(102,202,302,402)를 제어하기에 적합한 전자적 프로세서일 수 있다. 프로세서(106,206,306,406)는 가령 안구 추적 장치(104,204,304,404)의 동작을 제어하기에 적합하게 선택될 수 있다. 본 시스템(100,200,300,400) 및 본 방법(500)과 관련하여서 기술된 하나 이상의 기능들 또는 단계들은 하드웨어 및/또는 소프트웨어로 구현되는 프로세서(106,206,306,406)에 의해서 수행될 수 있다. 또한, 방법(500)의 단계들은 전적으로 프로세서(106,206,306,406) 내에서 실행되는 소프트웨어로 해서 구현될 수 있다. 또한, 가령, 프로세서(106,206,306,406)는 본 시스템(100,200,300,400) 또는 본 방법(500)을 구성하기에 적합한 알고리즘을 실행할 수 있다. 프로세서(106,206,306,406)의 실례들은 마이크로프로세서, 범용 프로세서, 디지털 신호 프로세서 또는 애플리케이션 특정 디지털 집적 회로를 포함한다. 프로세서(106,206,306,406)는 가령 능동 메모리 소자, 하드 드라이브, 버스 및 입출력 인터페이스와 같은 추가 구성 요소들을 포함할 수도 있다. 가령, 시스템(100,200,300,400)의 시각적 디스플레이(102,202,302,402) 및 프로세서(106,206,306,406)는 개인용 컴퓨터에 의해서 통합적으로 구현될 수 있다. 방법(500)이 소프트웨어에 의해서 수행되면, 이 소프트웨어는 소프트웨어 메모리(미도시) 및/또는 이 소프트웨어를 실행시키는데 사용되는 프로세서(106,206,306,406) 내에 상주할 수 있다. 소프트웨어 메모리 내의 소프트웨어는 논리적 기능들을 구현하는 실행 가능한 인스트럭션들의 순서화된 리스트를 포함할 수 있으며 프로세서를 포함하는 시스템과 같은 인스트럭션 실행 시스템에 의해서 사용되거나 이 시스템과 연결되어서 사용되는 임의의 디지털 머신 판독 가능한 매체 및/또는 컴퓨터 판독 가능한 매체에서 구현될 수 있다. 시스템(100,200,300,400)은 하나 이상의 프로세서(106,206,306,406)를 포함할 수 있다.
다른 실시예에서, 컴퓨터 판독 가능한 매체(미도시)가 제공된다. 컴퓨터 판독 가능한 매체는 시각적 디스플레이(102,202,302,402), 안구 추적 장치(104,204,304,404) 및 시각적 디스플레이(102,202,302,402)와 안구 추적 장치(104,204,304,404)와 통신하는 프로세서(106,206,306,406)를 포함하는 시스템(100,200,300,400)에 의해서 실행되는 컴퓨터 코드를 포함한다. 이 컴퓨터 코드는 시스템(100,200,300,400)으로 하여금 방법(500)의 단계들을 수행하게 하는데, 즉 이 컴퓨터 코드는 커서(112,212,312,412)가 시각적 디스플레이(102,202,302,402) 상에서 표시되게 하는 단계와, 이 표시된 커서(112,212,312,412)의 일부를 향한 안구 E의 배향이 검출되게 하는 단계와, 디스플레이된 또는 표시된 커서의 일부를 향하여 검출된 안구의 배향에 응답하여 복수의 커서 명령들 중 하나의 커서 명령이 실행되게 하는 단계를 상기 시스템으로 실행하게 한다. 다른 실례들에서, 컴퓨터 판독 가능한 매체는 시스템(100,200,300,400)에 의해서 실행될 때에 전술한 방법(500)의 다른 변형 실례들을 실행할 수 있는 컴퓨터 코드를 포함할 수 있다. 컴퓨터 판독 가능한 매체의 실례들은 하나 이상의 와이어들을 갖는 (전자적) 전기적 접속부, (자기적) 휴대용 컴퓨터 디스켓, (전자적) RAM, (전자적) ROM, (전자적) EPROM 또는 플래시 메모리, (광학적) 광섬유 및 (광학적) 휴대용 CD-ROM를 포함할 수 있다. 다른 실례에서, 컴퓨터 판독 가능한 매체는 프로그램이 가령 페이퍼 또는 다른 매체의 광학적 스캐닝을 통해서 전자적으로 캡처되고 이어서 컴파일링되거나 해석되거나 필요하다면 적합한 방식으로 달리 처리되고 이어서 컴퓨터 메모리에 저장될 때에, 이 프로그램이 인쇄되는 페이퍼 또는 다른 적합한 매체일 수 있다.
시스템(100,200,300,400)은 가령 통상적인 컴퓨터 마우스 하드웨어 장치 대신에 사용될 수 있다. 본 실례에서, 시스템(100,200,300,400)은 시각적 디스플레이(102,202,302,402) 상에 온-스크린 컴퓨터 마우스 커서(112,212,312,412)를 생성한다. 일 실례에서, 시스템(100,200,300,400)은 통상적인 컴퓨터 마우스 하드웨어 장치에서 사용되는 바와 동일한 하드웨어 인터페이스 및 소프트웨어 인터페이스를 사용할 수 있다. 시스템(100,200,300,400)은 가령 시각적 디스플레이(102,202,302,402) 상에서 온-스크린 컴퓨터 마우스 커서(112,212,312,412)를 손을 사용하지 않고 제어하는 동작을 실현할 수 있다. 이렇게 시각적 디스플레이(102,202,302,402) 상에서 온-스크린 컴퓨터 마우스 커서(112,212,312,412)를 손을 사용하지 않고 제어하는 동작은 장애를 가지고 있는 장애인, 손 및 팔의 반복적 움직임으로 인해서 손 및 팔이 손상되는 것을 피하고자 하는 사람 또는 커서를 손을 사용하지 않고 제어하는 바가 이와 달리 유용한 활동에 종사하는 사람들에게 유용할 수 있다. 또한, 이렇게 온-스크린 컴퓨터 마우스 커서(112,212,312,412)를 손을 사용하지 않고 제어하는 동작은 통상적인 컴퓨터 마우스 하드웨어 장치의 사용시보다 신속하거나 이와 달리 보다 효율적일 수 있다. 또한, 실례로서, 시스템(100,200,300,400)은 손을 쓸 필요가 없는 키보드 또는 통상적인 컴퓨터 마우스 하드웨어 장치와 함께 사용될 수 있다. 다른 실례에서, 시스템(100,200,300,400)은 종래의 컴퓨터 마우스 하드웨어 장치를 부분적으로 또는 선택적으로 대체하는데 사용될 수 있다. 예를 들어, 시스템(100,200,300,400)은 다른 동작들은 키보드 또는 통상적인 컴퓨터 마우스 하드웨어 장치에 의해서 수행되는 동안에 이러한 키보드 또는 통상적인 컴퓨터 마우스 하드웨어 장치에 의해서 수행될 수 있는 몇몇 동작들을 위해서 사용될 수 있다. 방법(500) 및 컴퓨터 판독 가능한 매체는 가령 시스템(100,200,300,400)에 대해서 기술된 바와 유사한 방식으로 구현될 수 있다. 시스템(100,200,300,400)의 다양한 실시예들의 각 특징은 이 시스템(100,200,300,400) 각각 또는 모두에 대한 본 명세서에서의 교시 사항들과 일관된, 소정의 엔드 유스 애플리케이션(end-use application)을 위해서 선택된 특정 시스템(100,200,300,400) 내에 포함되거나 이로부터 배제될 수 있다. 시스템(100,200,300,400)의 다양한 실시예들은 방법(500)의 유사한 변형 실례들을 나타낼 수 있으며 따라서 시스템(100,200,300,400)에 대한 모든 기술 사항들은 방법(500) 및 컴퓨터 판독 가능한 매체에 대한 세부 사항 내에 포함될 수 있다. 마찬가지로, 방법(500)의 다양한 실시예들은 시스템(100,200,300,400)의 유사한 변형 실례들을 나타낼 수 있으며 이로써 방법(500)에 대한 전체 기술 내용들은 시스템(100,200,300,400) 및 컴퓨터 판독 가능한 매체의 세부 사항들 내에 포함될 수 있다.
또한, 복수의 실시예들에 대한 전술한 바들은 본 발명을 예시적으로 설명하기 위해서 제공되었다. 이러한 설명들은 본 발명을 개시된 바로 한정하는 것이 아니다. 이보다는, 수많은 수정 및 변경이 전술한 설명의 조명 하에서 가능하거나 본 발명을 실시하는 바로부터 획득될 수 있다. 청구 범위 및 이와 균등한 범위가 본 발명의 범위를 규정한다.

Claims (16)

  1. 전자 데이터 입력 시스템으로서,
    시각적 디스플레이(visual display)와,
    상기 시각적 디스플레이를 향한 안구의 배향을 검출하는 안구 추적 장치와,
    상기 시각적 디스플레이 및 상기 안구 추적 장치와 통신하는 프로세서를 포함하며,
    상기 프로세서는 커서가 상기 시각적 디스플레이에 표시되게 하며,
    상기 프로세서는 상기 시각적 디스플레이에 디스플레이된 커서의 제1 부분을 향한 안구의 검출된 배향에 응답하여 복수의 커서 명령들 중 제 1 커서 명령을 실행하며,
    상기 디스플레이된 커서의 상기 제 1 부분은 상기 제 1 커서 명령의 실행에 전용되는
    전자 데이터 입력 시스템.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 커서로 하여금 상기 복수의 커서 명령 중 하나의 실행에 전용되는 디스플레이된 커서 명령 액츄에이터로서, 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온 크루즈 명령, 또는 컨트롤 오프 크루즈 명령을 포함하게 하는
    전자 데이터 입력 시스템.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 커서로 하여금 상기 시각적 디스플레이의 서로 다른 부분에서 각각 디스플레이되는 복수의 커서 명령 액츄에이터를 포함하게 하며,
    상기 복수의 커서 명령 액츄에이터 각각은 상기 복수의 커서 명령 중 하나의 실행에 전용되는
    전자 데이터 입력 시스템.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 시각적 디스플레이에 디스플레이된 커서의 상기 제1 부분을 향하는 안구의 검출된 배향에 응답하여 확장된 커서가 디스플레이되게 하며,
    상기 확장된 커서는 상기 커서를 포함하고 복수의 커서 명령 액츄에이터를 갖는 마우스 커서 메뉴를 디스플레이하며,
    상기 복수의 커서 명령 액츄에이터 각각은 상기 복수의 커서 명령 중 하나의 실행에 전용되는
    전자 데이터 입력 시스템.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 시각적 디스플레이에 디스플레이된 커서의 상기 제 1 부분을 향한 배향을 갖는 상태로부터 상기 시각적 디스플레이의 제 2 부분을 향한 다른 배향을 갖는 상태로의 안구의 움직임의 검출에 응답하여 상기 커서가 상기 시각적 디스플레이 상에서 움직이게 하는
    전자 데이터 입력 시스템.
  6. 제 1 항에 있어서,
    상기 프로세서는 상기 시각적 디스플레이에 디스플레이된 커서의 상기 제1 부분을 향하는 상기 안구의 배향의 검출된 지속 기간과 사전 결정된 기간 값을 비교하여, 상기 검출된 지속 기간이 상기 사전 결정된 기간 값에 도달하면, 상기 제 1 커서 명령을 실행하는
    전자 데이터 입력 시스템.
  7. 시각적 디스플레이, 안구 추적 장치, 및 상기 시각적 디스플레이 및 상기 안구 추적 장치와 통신하는 프로세서를 제공하는 단계와,
    상기 프로세서에 의하여, 커서가 상기 시각적 디스플레이에 디스플레이되게 하는 단계와,
    상기 안구 추적 장치에 의하여, 상기 시각적 디스플레이에 디스플레이된 커서의 제1 부분을 향한 안구의 배향이 검출되게 하는 단계와,
    상기 프로세서에 의하여, 상기 검출된 안구의 배향에 응답하여 복수의 커서 명령들 중 제 1 커서 명령이 실행되게 하는 단계를 포함하며,
    상기 디스플레이된 커서의 상기 제 1 부분은 상기 제 1 커서 명령의 실행에 전용되는
    방법.
  8. 제 7 항에 있어서,
    상기 커서가 디스플레이되게 하는 단계는,
    상기 복수의 커서 명령 중 하나의 실행에 전용되는 커서 명령 액츄에이터로서 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온 크루즈 명령, 또는 컨트롤 오프 크루즈 명령을 상기 시각적 디스플레이에 디스플레이하는 단계를 포함하는
    방법.
  9. 컴퓨터 코드를 포함하는 컴퓨터 판독 가능한 매체로서,
    상기 컴퓨터 코드는 시각적 디스플레이와, 안구 추적 장치와, 상기 시각적 디스플레이 및 상기 안구 추적 장치와 통신하는 프로세서를 포함하는 시스템에 의해서 실행될 때, 상기 시스템으로 하여금
    상기 프로세서에 의하여, 커서가 상기 시각적 디스플레이에 디스플레이되게 하는 단계와,
    상기 안구 추적 장치에 의하여, 상기 시각적 디스플레이에 디스플레이된 커서의 제1 부분을 향한 안구의 배향이 검출되게 하는 단계와,
    상기 프로세서에 의하여, 상기 검출된 안구의 배향에 응답하여 복수의 커서 명령들 중 제 1 커서 명령이 실행되게 하는 단계를 수행하게 하며,
    상기 디스플레이된 커서의 상기 제 1 부분은 상기 제 1 커서 명령의 실행에 전용되는
    컴퓨터 판독 가능한 매체.
  10. 제 9 항에 있어서,
    상기 복수의 커서 명령 중 하나의 실행에 전용되는 커서 명령 액츄에이터로서 마우스 커서 픽업 명령, 마우스 커서 포인트 명령, 커서 레프트 드래그 명령, 마우스 레프트 더블 클릭 명령, 마우스 레프트 단일 클릭 명령, 마우스 커서 메뉴 보이기 명령, 커서 업 드래그 명령, 커서 다운 드래그 명령, 마우스 커서 메뉴 숨김 명령, 마우스 라이트 더블 클릭 명령, 마우스 라이트 단일 클릭 명령, 커서 라이트 드래그 명령, 마우스 커서 드롭 명령, 마우스 커서 드래그 드롭 명령, 컨트롤 온 크루즈 명령, 또는 컨트롤 오프 크루즈 명령을 상기 시각적 디스플레이에 디스플레이하는 단계를 상기 시스템으로 하여금 수행하게 하는 컴퓨터 코드를 더 포함하는,
    컴퓨터 판독 가능한 매체.
  11. 제 3 항에 있어서,
    상기 프로세서는 상기 커서로 하여금 디스플레이된 커서 주변부를 포함하게 하며, 상기 복수의 커서 명령 액츄에이터 각각이 상기 커서 주변부의 서로 상이한 부분에 디스플레이되도록 하는
    전자 데이터 입력 시스템.
  12. 제 9 항에 있어서,
    상기 시각적 디스플레이의 서로 다른 부분에서 각각 디스플레이되는 복수의 커서 명령 액츄에이터를 포함하는 커서를 디스플레이하는 단계를 상기 시스템으로 하여금 수행하게 하는 컴퓨터 코드를 더 포함하며,,
    상기 복수의 커서 명령 액츄에이터 각각은 상기 복수의 커서 명령 중 하나의 실행에 전용되는
    컴퓨터 판독 가능한 매체.
  13. 제 12 항에 있어서,
    상기 커서를 디스플레이하는 단계 -상기 커서는 커서 주변부를 포함함- 와,
    상기 복수의 커서 명령 액츄에이터 각각을 상기 커서 주변부의 서로 상이한 부분에 디스플레이하는 단계를 상기 시스템으로 하여금 수행하게 하는 컴퓨터 코드를 더 포함하는,
    컴퓨터 판독 가능한 매체.
  14. 제 9 항에 있어서,
    상기 시각적 디스플레이에 디스플레이된 커서의 상기 제1 부분을 향하는 안구의 검출된 배향에 응답하여 확장된 커서를 디스플레이하는 단계 -상기 확장된 커서는 상기 커서를 포함-와,
    복수의 커서 명령 액츄에이터를 갖는 마우스 커서 메뉴를 디스플레이하는 단계 -상기 복수의 커서 명령 액츄에이터 각각은 상기 복수의 커서 명령 중 하나의 실행에 전용됨- 를 상기 시스템으로 하여금 수행하게 하는 컴퓨터 코드를 더 포함하는
    컴퓨터 판독 가능한 매체.
  15. 제 9 항에 있어서,
    상기 시각적 디스플레이에 디스플레이된 커서의 상기 제 1 부분을 향한 배향을 갖는 상태로부터 상기 시각적 디스플레이의 제 2 부분을 향한 다른 배향을 갖는 상태로의 안구의 움직임의 검출에 응답하여 상기 커서를 상기 시각적 디스플레이 상에서 움직이는 단계를 상기 시스템으로 하여금 수행하게 하는 컴퓨터 코드를 더 포함하는
    컴퓨터 판독 가능한 매체.

  16. 제 9 항에 있어서,
    상기 시각적 디스플레이에 디스플레이된 커서의 상기 제1 부분을 향하는 상기 안구의 배향의 검출된 지속 기간과 사전 결정된 기간 값을 비교하는 단계와,
    상기 검출된 지속 기간이 상기 사전 결정된 기간 값에 도달하면, 상기 제 1 커서 명령을 실행하는 단계를 상기 시스템으로 하여금 수행하게 하는 컴퓨터 코드를 더 포함하는,
    컴퓨터 판독 가능한 매체.
KR1020117017284A 2009-01-22 2010-01-21 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체 KR101331655B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/321,545 US20100182232A1 (en) 2009-01-22 2009-01-22 Electronic Data Input System
US12/321,545 2009-01-22
PCT/US2010/021585 WO2010085527A2 (en) 2009-01-22 2010-01-21 Electronic data input system

Publications (2)

Publication Number Publication Date
KR20110098966A KR20110098966A (ko) 2011-09-02
KR101331655B1 true KR101331655B1 (ko) 2013-11-20

Family

ID=42336540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117017284A KR101331655B1 (ko) 2009-01-22 2010-01-21 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체

Country Status (6)

Country Link
US (1) US20100182232A1 (ko)
EP (1) EP2389619A4 (ko)
JP (1) JP5528476B2 (ko)
KR (1) KR101331655B1 (ko)
CN (1) CN102292690B (ko)
WO (1) WO2010085527A2 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US8922493B2 (en) * 2010-09-19 2014-12-30 Christine Hana Kim Apparatus and method for automatic enablement of a rear-face entry in a mobile device
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US9411416B2 (en) 2011-06-24 2016-08-09 Wenjuan Song Computer device operable with user's eye movement and method for operating the computer device
JP2013069211A (ja) * 2011-09-26 2013-04-18 Nec Casio Mobile Communications Ltd 表示装置、表示方法およびプログラム
WO2013089693A1 (en) * 2011-12-14 2013-06-20 Intel Corporation Gaze activated content transfer system
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
HK1160574A2 (en) * 2012-04-13 2012-07-13 King Hei Francis Kwong Secure electronic payment system and process
JP2013225226A (ja) * 2012-04-23 2013-10-31 Kyocera Corp 情報端末、表示制御プログラムおよび表示制御方法
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
TW201403454A (zh) * 2012-07-05 2014-01-16 Asustek Comp Inc 顯示畫面旋轉的方法及系統
US20140009395A1 (en) * 2012-07-05 2014-01-09 Asustek Computer Inc. Method and system for controlling eye tracking
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
FR2995120B1 (fr) * 2012-09-05 2015-09-18 Dassault Aviat Systeme et procede de commande de la position d'un objet deplacable sur un dispositif de visualisation
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
US9746915B1 (en) * 2012-10-22 2017-08-29 Google Inc. Methods and systems for calibrating a device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
TWI488070B (zh) 2012-12-07 2015-06-11 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
DE102013003047A1 (de) 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
ES2731560T3 (es) 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CN103257707B (zh) * 2013-04-12 2016-01-20 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
KR101540358B1 (ko) * 2013-06-27 2015-07-29 정인애 안구마우스 구현을 위한 키보드 유저 인터페이스 화면 제공 방법 및 제공 시스템
US9251333B2 (en) * 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
WO2015037767A1 (en) * 2013-09-16 2015-03-19 Lg Electronics Inc. Image display apparatus and method for operating the same
US20150127505A1 (en) * 2013-10-11 2015-05-07 Capital One Financial Corporation System and method for generating and transforming data presentation
TWI489320B (zh) * 2013-10-25 2015-06-21 Utechzone Co Ltd 電子文件標記方法及裝置
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
CN105899996B (zh) * 2013-12-06 2019-04-23 瑞典爱立信有限公司 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
WO2016003100A1 (en) * 2014-06-30 2016-01-07 Alticast Corporation Method for displaying information and displaying device thereof
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
JP6367673B2 (ja) * 2014-09-29 2018-08-01 京セラ株式会社 電子機器
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
CN104391572B (zh) * 2014-11-10 2017-08-22 苏州佳世达电通有限公司 具有眼球追踪功能的电子装置及其控制方法
WO2016147499A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20160331592A1 (en) * 2015-05-11 2016-11-17 Lincoln Global, Inc. Interactive helmet with display of welding parameters
CN105630148A (zh) * 2015-08-07 2016-06-01 宇龙计算机通信科技(深圳)有限公司 终端的显示方法、终端的显示装置和终端
CN105078404B (zh) * 2015-09-02 2017-05-10 北京津发科技股份有限公司 基于激光算法的全自动眼动追踪测距定标仪及其使用方法
CN106095111A (zh) * 2016-06-24 2016-11-09 北京奇思信息技术有限公司 根据用户眼部动作控制虚拟现实交互的方法
SK289010B6 (sk) 2016-10-17 2022-11-24 Ústav experimentálnej fyziky SAV, v. v. i. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad
CN107066085B (zh) * 2017-01-12 2020-07-10 惠州Tcl移动通信有限公司 一种基于眼球追踪控制终端的方法及装置
KR102518404B1 (ko) 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
TWI644260B (zh) * 2017-11-07 2018-12-11 佳世達科技股份有限公司 顯示裝置
CN109646784A (zh) * 2018-12-21 2019-04-19 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于沉浸式vr的失眠障碍心理治疗系统和方法
CN110489026A (zh) * 2019-07-05 2019-11-22 深圳市格上格创新科技有限公司 一种手持输入设备及其指示图标的消隐控制方法和装置
US20210132689A1 (en) * 2019-11-05 2021-05-06 Micron Technology, Inc. User interface based in part on eye movement
WO2021145855A1 (en) * 2020-01-14 2021-07-22 Hewlett-Packard Development Company, L.P. Face orientation-based cursor positioning on display screens
CN113326849B (zh) * 2021-07-20 2022-01-11 广东魅视科技股份有限公司 一种可视化数据采集方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
CA2126142A1 (en) * 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US6437758B1 (en) * 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
AU1091099A (en) * 1997-10-16 1999-05-03 Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
US6090051A (en) * 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
JP3810012B2 (ja) * 2003-08-11 2006-08-16 株式会社日立ケーイーシステムズ 障害者用パソコン入力装置
US7438418B2 (en) * 2005-02-23 2008-10-21 Eyetracking, Inc. Mental alertness and mental proficiency level determination
US8120577B2 (en) * 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
US8245156B2 (en) * 2008-06-28 2012-08-14 Apple Inc. Radial menu selection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法

Also Published As

Publication number Publication date
EP2389619A2 (en) 2011-11-30
CN102292690A (zh) 2011-12-21
WO2010085527A2 (en) 2010-07-29
EP2389619A4 (en) 2014-07-16
JP2012515986A (ja) 2012-07-12
WO2010085527A3 (en) 2010-11-04
JP5528476B2 (ja) 2014-06-25
US20100182232A1 (en) 2010-07-22
KR20110098966A (ko) 2011-09-02
CN102292690B (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
KR101331655B1 (ko) 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체
US10831281B2 (en) Systems and methods of free-space gestural interaction
US20210294415A1 (en) External user interface for head worn computing
US20200356238A1 (en) Virtual Interactions for Machine Control
US10627900B2 (en) Eye-signal augmented control
US9911240B2 (en) Systems and method of interacting with a virtual object
EP1943583B1 (en) Eye tracker with visual feedback
US20190250733A1 (en) External user interface for head worn computing
US10456072B2 (en) Image interpretation support apparatus and method
US20170336872A1 (en) External user interface for head worn computing
US20150205351A1 (en) External user interface for head worn computing
IL303037A (en) A system and method of communication through visual feedback
KR101638095B1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
JP2006516772A (ja) 視線追跡システム及び方法
WO2021244145A1 (zh) 头戴显示设备的交互方法、终端设备及存储介质
SE529156C2 (sv) Ögonföljare med visuell återkoppling
JP6524589B2 (ja) クリック動作検出装置，方法およびプログラム
JP5977808B2 (ja) 動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供すること
CN108292448A (zh) 信息处理装置、信息处理方法和程序
KR101571848B1 (ko) 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
US20130187845A1 (en) Adaptive interface system
CN115890655A (zh) 基于头部姿态和眼电的机械臂控制方法、装置及介质
US20180081430A1 (en) Hybrid computer interface system
US9940900B2 (en) Peripheral electronic device and method for using same
US20240122469A1 (en) Virtual reality techniques for characterizing visual capabilities

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 6