KR101450452B1 - 태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 - Google Patents

태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101450452B1
KR101450452B1 KR20130051856A KR20130051856A KR101450452B1 KR 101450452 B1 KR101450452 B1 KR 101450452B1 KR 20130051856 A KR20130051856 A KR 20130051856A KR 20130051856 A KR20130051856 A KR 20130051856A KR 101450452 B1 KR101450452 B1 KR 101450452B1
Authority
KR
South Korea
Prior art keywords
area
coordinates
target area
unit
screen
Prior art date
Application number
KR20130051856A
Other languages
English (en)
Other versions
KR20130129108A (ko
Inventor
아끼노리 다구찌
사또시 나까시마
마사요시 시미즈
사찌꼬 즈지가끼
다께히꼬 라꾸
요시로 무네사다
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20130129108A publication Critical patent/KR20130129108A/ko
Application granted granted Critical
Publication of KR101450452B1 publication Critical patent/KR101450452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

이용자의 눈에 가해지는 부담을 경감시키는 것이다.
태블릿 단말기(10)는 시선의 검출 결과를 유효화하는 계기의 지시를 접수한다. 또한, 태블릿 단말기(10)는 시선의 검출 위치를 사용해서, 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정한다. 또한, 태블릿 단말기(10)는 상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 화면에 표시되는 화상 중 목표 영역에 표시되는 부분 화상을 표시시킨다. 또한, 태블릿 단말기(10)는 조준 영역의 좌표 및 목표 영역의 좌표의 대응 관계를 기록한다. 또한, 태블릿 단말기(10)는 조준 영역 내에서 터치 조작을 접수한 경우에, 기록해 둔 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 목표 영역으로 투영된 좌표로 변환한 다음 변환된 좌표를 출력한다.

Description

태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체{TABLET TERMINAL AND COMPUTER-READABLE RECORDING MEDIUM HAVING STORED THEREIN OPERATION RECEIVING PROGRAM}
본 발명은, 태블릿 단말기 및 조작 접수 프로그램에 관한 것이다.
스마트폰을 비롯하여, 휴대 전화, PHS(Personal Handyphone System)나 PDA(Personal Digital Assistants) 등의 태블릿 단말기가 보급되고 있다. 이러한 태블릿 단말기에 있어서의 조작성을 향상시키기 위해서, 시선 입력과 접촉 입력을 병용하는 유저 인터페이스가 제안되고 있다.
이를 설명하면 유저 인터페이스는, 이용자의 시선의 움직임에 따라 터치 패널 상에 표시된 커서의 이동을 접수한다. 그런 다음, 유저 인터페이스는 터치 패널 상의 소정의 영역에서 터치가 이루어지면, 커서의 조준이 합치한 오브젝트를 선택한다. 이에 의해, 이용자가 태블릿 단말기를 들고 있는 쪽의 손으로 터치 패널을 한손 조작시키는 것을 목표로 한다.
그러나, 상기 종래 기술에는, 이하에 설명한 바와 같이, 이용자의 눈에 가해지는 부담이 증대한다는 문제가 있다.
즉, 사람이 물건을 보는 경우에는, 시선은 일정한 장소에 머물지 않고, 목표 주변으로 이동하는 것이 일반적이고, 시선의 고정은 안정 피로의 원인으로 된다. 그럼에도 불구하고, 상기 유저 인터페이스에서는, 커서를 목표 오브젝트로 이동시키기 위해서, 시선을 커서에 고정하는 상태를 억지로 시키게 된다. 이 결과, 상기 유저 인터페이스에서는, 이용자의 눈에 가해지는 부담이 증대한다. 또한, 시선에 의해 커서의 조준을 오브젝트에 합치시키는 경우에는, 목표 오브젝트가 작을수록 시선에 미세한 움직임이 요구된다. 이 때문에, 터치 패널에 표시되는 오브젝트의 크기에 따라서는, 이용자의 눈에 가해지는 부담이 더 증대한다.
개시된 기술은, 상기를 감안하여 이루어진 것으로, 이용자의 눈에 가해지는 부담을 경감시킬 수 있는 태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
본원이 개시하는 태블릿 단말기는, 표시 가능하면서 입력 가능한 터치 패널을 갖는다. 또한, 상기 태블릿 단말기는, 시선의 검출 결과를 유효화하는 계기의 지시를 접수하는 접수부를 갖는다. 또한, 상기 태블릿 단말기는, 시선의 검출 위치를 사용해서, 상기 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하는 설정부를 갖는다. 또한, 상기 태블릿 단말기는, 상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 상기 화면에 표시되는 화상 중 상기 목표 영역에 표시되는 부분 화상을 표시시키는 표시 제어부를 갖는다. 또한, 상기 태블릿 단말기는 상기 조준 영역의 좌표 및 상기 목표 영역의 좌표의 대응 관계를 소정의 기억부에 기록하는 기록부를 갖는다. 또한, 상기 태블릿 단말기는 상기 조준 영역 내에서 터치 조작을 접수한 경우에, 상기 기억부에 기억된 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 상기 목표 영역으로 투영된 좌표로 변환하는 변환부를 갖는다. 또한, 상기 태블릿 단말기는 상기 변환부에 의해 변환된 좌표를 출력하는 출력부를 갖는다.
본원이 개시하는 태블릿 단말기의 하나의 형태에 따르면, 이용자의 눈에 가해지는 부담을 경감시킬 수 있다고 하는 효과를 발휘한다.
도 1은 실시예 1에 따른 태블릿 단말기의 기능적 구성을 도시하는 블록도.
도 2는 태블릿 단말기를 들고 있는 손으로 터치 조작이 가능한 영역과 곤란한 영역의 일례를 나타내는 도면.
도 3은 터치 패널에 표시되는 화면의 일례를 나타내는 도면.
도 4는 조준 영역에 표시시키는 목표 영역의 부분 화상의 일례를 나타내는 도면.
도 5는 조준 영역의 일례를 나타내는 도면.
도 6은 목표 영역의 설정예를 도시하는 도면.
도 7은 조준 영역의 좌표 및 목표 영역의 좌표의 대응짓기 방법의 일례를 나타내는 도면.
도 8은 대응 관계 정보의 일례를 나타내는 도면.
도 9는 좌표 변환의 일례를 나타내는 도면.
도 10은 실시예 1에 따른 조작 접수 처리의 수순을 나타내는 플로우차트.
도 11은 응용예를 설명하기 위한 설명도.
도 12는 실시예 1 및 실시예 2에 따른 조작 접수 프로그램을 실행하는 컴퓨터의 일례에 대하여 설명하기 위한 도면.
이하에, 본원이 개시하는 태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체의 실시예를 도면에 기초하여 상세하게 설명한다. 또한，이 실시예는 개시된 기술을 한정하는 것은 아니다. 그리고, 각 실시예는 처리 내용을 모순시키지 않는 범위에서 적절히 조합하는 것이 가능하다.
<실시예 1>
[태블릿 단말기의 구성]
도 1은 실시예 1에 따른 태블릿 단말기의 기능적 구성을 도시하는 블록도이다. 도 1에 도시하는 태블릿 단말기(10)는 터치 패널(11)의 화면 상의 위치 지정에, 화면에 대한 터치 조작과 함께 시선 검출을 병용하는 것이며, 특히 태블릿 단말기(10)를 들고 있는 쪽의 손으로 터치 패널을 한손 조작시킨다.
이러한 태블릿 단말기(10)는 스마트폰으로 대표되는 휴대 전화기를 비롯하여, PHS나 PDA 등의 정보 처리 단말에 상기 조작 접수 처리를 실행하는 조작 접수 프로그램을 인스톨시킴으로써 실장할 수 있다. 또한，상기 「PHS」는 「Personal Handyphone System」의 약칭이며, 또한 상기 「PDA」는 「Personal Digital Assistants」의 약칭이다.
여기서, 본 실시예에 따른 태블릿 단말기(10)는 터치 패널(11)의 화면 상에서 시선의 검출 위치가 가리키는 목표 영역의 부분 화상을 가까운 측의 조준 영역에 표시시킴으로써 단말기를 들고 있는 손으로는 닿지 않는 범위의 조작을 접수한다.
즉, 터치 패널(11)의 화면 전역에 걸친 위치 지정을 한쪽 손의 터치 조작만으로 접수하는 것은 어렵다고 하는 과제가 있다. 도 2는 태블릿 단말기를 들고 있는 손으로 터치 조작이 가능한 영역과 곤란한 영역의 일례를 나타내는 도면이다. 도 2에 도시한 바와 같이, 이용자가 태블릿 단말기(10)를 들고 있는 쪽의 손으로 터치 패널을 한손 조작하는 경우에는, 태블릿 단말기(10)를 들고 있는 쪽의 손의 손가락, 대표적으로는 엄지 손가락(20)으로 화면을 접촉할 수 있는 범위가 터치 조작이 가능한 영역(21)으로 된다. 한편, 태블릿 단말기(10)를 들고 있는 쪽의 손의 엄지 손가락(20)으로 접촉할 수 없는 범위가 터치 조작이 곤란한 영역(22)으로 된다. 이와 같이, 태블릿 단말기(10)의 소지에 의해 엄지 손가락(20)의 근원이 고정된 상태에서 엄지 손가락(20)이 화면 상에서 접촉할 수 있는 범위는 한정적이므로, 터치 패널(11)의 화면 전역에 걸치는 위치 지정을 터치 조작만으로 행하는 것은 어렵다.
따라서，태블릿 단말기(10)는 시선 입력의 장점과 접촉 입력의 장점을 더불어서 사용함으로써 목표로 하는 오브젝트의 일점을 주시시키지 않더라도 목표로 하는 오브젝트에 대한 터치 조작을 가능하게 한다.
이를 설명하면 태블릿 단말기(10)는 시선의 검출 결과를 유효화하는 계기의 지시를 접수한다. 이와 같이, 시선의 검출 결과를 유효로 하는 타이밍을 지시시킴으로써 목표로 하는 오브젝트의 주변에 시선이 향한 상태에서 검출된 시선의 검출 위치를 후단의 처리로 사용하게 한다.
그리고, 태블릿 단말기(10)는 시선 검출에 의해 얻어지는 시선의 검출 위치를 기준으로, 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정한다. 도 3은 터치 패널(11)에 표시되는 화면의 일례를 나타내는 도면이다. 도 3의 예에서는, 이용자가 태블릿 단말기(10)를 왼손으로 소지하면서 터치 패널(11)에 표시된 5종류의 오브젝트 중 원형의 오브젝트를 목표로 하여 선택하는 의사를 갖는 경우를 상정한다. 도 3에 도시한 바와 같이, 터치 패널(11)의 화면 상에서 원형의 오브젝트를 목표로 하는 경우에는, 반드시 이용자의 시선이 원형의 오브젝트 상에 위치한다고는 한정하지 않고, 원형의 오브젝트의 주변에 위치할 가능성은 높다. 이 때문에, 태블릿 단말기(10)는 시점 검출에 의해 화면 상의 일점을 지정시키는 것은 아니고, 목표로 하는 오브젝트가 존재하는 기준으로 되는 영역을 러프하게 지정시키는데 시선 검출을 사용한다.
계속해서, 태블릿 단말기(10)는 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 화면에 표시되는 화상 중 목표 영역에 표시되는 부분 화상을 표시시킨다. 이러한 조준 영역은, 목표 영역에 표시되어 있는 부분 화상의 터치 조작을 직접 지정시키는 대신에, 목표로 하는 오브젝트에 터치 조작의 조준을 합치시키는 윈도우로서 사용된다. 도 4는 조준 영역에 표시시키는 목표 영역의 부분 화상의 일례를 나타내는 도면이다. 도 4에 도시한 바와 같이, 시선은 닿아도 터치 조작이 곤란했던 원형의 오브젝트를 포함하는 목표 영역(40S)의 부분 화상이 태블릿 단말기(10)를 소지하는 손으로 터치 가능한 조준 영역(40D)에 표시된다. 이에 의해, 태블릿 단말기(10)는 시선 검출에 의해 러프하게 지정시켜 둔 영역 가운데로부터 터치 조작에 의해 일점을 지정시킨다.
그런 다음, 태블릿 단말기(10)는 조준 영역 내에서 터치 조작을 접수한 경우에, 조준 영역의 좌표 및 목표 영역의 좌표의 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 목표 영역으로 투영된 좌표로 변환한 다음 변환 후의 좌표를 출력한다. 이에 의해, 조준 영역에 표시된 부분 화상 상에서 이루어진 터치 조작이 목표 영역에 표시된 부분 화상 상에서 이루어진 것과 동정하여 조작을 접수하는 것이 가능하게 된다.
이와 같이, 본 실시예에 따른 태블릿 단말기(10)는 터치 패널(11)의 화면 상에서 시선의 검출 위치가 가리키는 목표 영역의 부분 화상을 가까운 측의 조준 영역에 표시시킴으로써 단말기를 들고 있는 손으로는 닿지 않는 범위의 조작을 접수한다. 그로 인해, 본 실시예에 따른 태블릿 단말기(10)에서는, 태블릿 단말기(10)를 들고 있는 쪽의 손으로 터치 패널을 한손 조작시키는 경우에, 목표로 하는 오브젝트의 일점을 주시시키지 않더라도, 목표로 하는 오브젝트에 대한 터치 조작이 가능하게 된다. 따라서，본 실시예에 따른 태블릿 단말기(10)에 의하면, 이용자의 눈에 가해지는 부담을 경감시킬 수 있다.
도 1의 설명으로 되돌아가서, 태블릿 단말기(10)는 터치 패널(11)과, 카메라(12)와, 광원(12a)과, 기억부(13)와, 제어부(15)를 갖는다. 또한，태블릿 단말기(10)는 도 1에 도시하는 기능부 이외에도 기지의 태블릿 단말기가 갖는 각종 기능부, 예를 들어 안테나, 캐리어망을 통해 통신을 행하는 캐리어 통신부, 음성을 집음하는 마이크 등의 기능을 갖는 것으로 해도 된다.
터치 패널(11)은 표시 가능하면서 입력 가능한 디바이스이다. 일 형태로서는, 터치 패널(11)은 후술하는 제어부(15)에 의해 실행되는 OS(Operating System)나 어플리케이션 프로그램에 의해 출력되는 화상을 표시한다. 다른 일 형태로서는, 터치 패널(11)은 화면 상에서 이루어지는 탭, 플릭, 스위프, 핀치 인이나 핀치 아웃 등의 터치 조작을 접수한다.
카메라(12)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등을 사용한 촬상 장치이다. 일 형태로서는, 카메라(12)는, 카메라(12)의 근방에 배치된 광원(12a)을 제어함으로써 피사체에 적외선을 조사시키고, 피사체로부터의 반사광을 수광한 다음 디지털 신호로 변환된 피사체의 화상을 후술하는 검출부(15a)에 출력한다. 이때, 피사체에 이용자의 안구가 포함되는 경우에는, 망막 상의 광의 반사가 카메라(12)에 의해 파악되며, 안구의 동공 부분이 다른 부분보다도 밝게 찍힌 화상을 얻을 수 있다. 또한，상기 카메라(12)에는, 태블릿 단말기(10)의 출하 시부터 탑재되어 있는 카메라를 유용하는 것으로 해도 되고, 외부 접속된 디지털 카메라 등을 사용할 수도 있다.
기억부(13)는 제어부(15)에서 실행되는 OS나 조작 접수 프로그램 등의 각종 프로그램을 기억하는 기억 디바이스이다. 기억부(13)의 일 형태로서는, 플래시 메모리 등의 반도체 메모리 소자, 하드 디스크, 광 디스크 등의 기억 장치를 들 수 있다. 또한, 기억부(13)는 상기 종류의 기억 장치에 한정되는 것은 아니고, RAM(Random Access Memory), ROM(Read Only Memory)이어도 된다. 기억부(13)는 제어부(15)에서 실행되는 프로그램에 사용되는 데이터의 일례로서, 후술하는 조준 영역 정보(13a)나 대응 관계 정보(13b) 등을 기억한다.
제어부(15)는 각종 처리 수순을 규정한 프로그램이나 제어 데이터를 저장하기 위한 내부 메모리를 가지며, 이들에 의해 다양한 처리를 실행한다. 제어부(15)는, 도 1에 도시한 바와 같이, 검출부(15a)와, 접수부(15b)와, 설정부(15c)와, 표시 제어부(15d)와, 기록부(15e)와, 변환부(15f)와, 출력부(15g)를 갖는다.
이 중, 검출부(15a)는 시선의 시선 검출을 실행하는 처리부이다. 일 형태로서는, 검출부(15a)는 카메라(12)에 의해 출력된 피사체의 화상에 각막 반사법 등의 알고리즘을 적용하여, 안구의 동공의 중심 위치로부터 시선의 방향이 가리키는 시점의 위치, 소위 주시점을 검출한다. 여기서, 이하에서는, 검출부(15a)에 의해 검출된 시점의 위치를 「시선의 검출 위치」라고 기재하는 경우가 있다. 그런 다음, 검출부(15a)는 피사체의 화상으로부터 검출한 시선의 위치를 후술하는 설정부(15c)에 출력한다.
또한，여기에서는, 각막 반사법을 사용해서 시선의 위치를 검출하는 경우를 예시했지만, 다른 방법을 사용해서 시선의 위치를 검출할 수도 있다. 예를 들어, 개시된 장치는, 터치 패널(11)의 화면을 분할하고, 분할한 영역을 보는 눈의 형상을 학습해 두고, 카메라(12)로부터 입력되는 피사체의 화상으로부터 검출한 눈의 형상과 템플릿 매칭을 실행함으로써 시선의 위치를 검출할 수도 있다. 또한, 개시된 장치는, 이용자에게 시선의 위치를 검출하는 헤드셋을 장착시키고, 헤드셋에 의해 검출된 시선의 위치를 취득하는 것으로 해도 상관없다.
접수부(15b)는 검출부(15a)에 의한 시선의 검출 결과를 유효화하는 타이밍의 지시를 접수하는 처리부이다. 일 형태로서는, 접수부(15b)는 터치 패널(11)의 화면 내이고, 또한 시선의 검출 위치로부터 소정의 거리 이상의 거리를 떼어 놓은 위치가 탭된 것으로써 타이밍의 지시가 접수되었다고 간주할 수 있다. 다른 일 형태로서는, 접수부(15b)는 터치 패널(11)의 화면 상에서 소정의 터치 조작, 예를 들어 스위프 등이 이루어진 것으로써 타이밍의 지시가 접수되었다고 간주할 수도 있다. 한층 더한 일 형태로서는, 접수부(15b)는 터치 패널(11)의 화면 상에 표시된 타이밍 지시용 버튼이 탭된 것으로써 타이밍의 지시가 접수되었다고 간주할 수도 있다. 다른 일 형태로서는, 접수부(15b)는 도시하지 않은 마이크 등의 집음 디바이스로부터 입력된 음성의 인식 결과가 소정의 키워드, 예를 들어 「스타트」 등의 워드와 일치하는 것으로써 타이밍의 지시가 접수되었다고 간주할 수도 있다.
설정부(15c)는 검출부(15a)에 의한 시선의 검출 위치를 사용해서, 터치 패널(11)의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하는 처리부이다. 일 형태로서는, 설정부(15c)는 시선의 검출 위치를 목표 영역의 무게 중심으로서 설정함과 함께, 기억부(13)에 기억된 조준 영역 정보(13a)에 정의되어 있는 조준 영역의 폭 및 높이를 목표 영역의 폭 및 높이로서 설정한다.
여기서, 도 5를 사용해서, 시선의 검출 위치에 중첩하는 조준 영역에 대하여 설명한다. 도 5는 조준 영역의 일례를 나타내는 도면이다. 도 5에 도시한 바와 같이, 조준 영역(40D)은 터치 패널(11)의 화면 상에서 조준 영역(40D)의 무게 중심이 존재하는 무게 중심 위치 Gd(xd, yd)와, 조준 영역(40D)의 폭 II 및 높이 Is에 의해 정의된다. 이러한 조준 영역(40D)에는, 이용자가 태블릿 단말기(10)를 들고 있는 쪽의 손의 엄지 손가락(20)이 태블릿 단말기(10)를 잡은 상태에서 닿는 범위(50)와 동등하거나 또는 범위(50)보다도 작은 형상 및 크기가 정의된다. 도 5의 예에서 말하면, 상기 범위(50)에 의해 내포되고, 태블릿 단말기(10)의 각의 부분에 인접하는 직사각형 영역이 조준 영역(40D)으로서 정의되고 있다. 이때, 터치 패널(11)의 화면에 표시되는 화상의 상하 방향이 정해져 있는 경우에는, 그 화상이 표시되는 좌측 하방의 코너와 조준 영역(40D)의 좌측 하방의 정점이 일치하도록 무게 중심 위치 Gd(xd, yd)를 정할 수도 있다.
또한，도 5의 예에서는, 조준 영역(40D)의 형상이 직사각형인 경우를 예시했지만, 다른 형상, 예를 들어 사각형 이외의 다각형, 원형, 타원형으로 하는 것으로 해도 상관없다. 또한, 조준 영역(40D)은 반드시 고정일 필요는 없고, 이용자의 손가락의 길이에 맞추어서 무게 중심 위치와 폭 및 높이를 캘리브레이션할 수도 있다.
계속해서, 도 6을 사용해서, 목표 영역의 설정 방법을 설명한다. 도 6은 목표 영역의 설정예를 도시하는 도면이다. 도 6에 도시한 바와 같이, 시선의 검출 위치 (xs, ys)가 목표 영역(40S)의 무게 중심 위치 Gs(xs, ys)로서 설정됨과 함께, 조준 영역(40D)의 폭 II 및 높이 Is가 목표 영역(40S)의 폭 및 높이로서 설정된다. 또한，도 6의 예에서는, 목표 영역(40S) 및 조준 영역(40D)의 크기를 동일하게 설정하는 경우를 예시했지만, 반드시 양자의 크기는 동일할 필요는 없다. 예를 들어, 목표 영역(40S)에 표시되어 있는 부분 화상을 확대하여 조준 영역에 표시시키는 경우에는, 부분 화상의 확대율에 맞추어서 조준 영역(40D)의 폭 및 높이를 줄어들게 하여 목표 영역(40S)의 폭 및 높이를 설정할 수도 있다.
표시 제어부(15d)는 터치 패널(11)의 표시 제어를 실행하는 처리부이다. 일 형태로서는, 표시 제어부(15d)는 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 화면에 표시되는 화상 중 목표 영역에 표시되는 부분 화상을 표시시킨다. 이 결과, 도 4에 도시한 바와 같이, 시선은 닿아도 터치 조작이 곤란했던 원형의 오브젝트를 포함하는 목표 영역(40S)의 부분 화상이 태블릿 단말기(10)를 소지하는 손으로 터치 가능한 조준 영역(40D)에 표시된다.
기록부(15e)는 조준 영역의 좌표 및 목표 영역의 좌표의 대응 관계를 기억부(13)에 기록하는 처리부이다. 일 형태로서는, 기록부(15e)는 목표 영역의 무게 중심 좌표 Gs(xs, ys)와 조준 영역의 무게 중심 좌표 Gd(xd, yd) 사이에서 위치의 차분 (dx, dy)를 계산한다. 그리고, 기록부(15e)는 먼저 계산한 위치의 차분 (dx, dy)로 표현되는 변환 함수에 조준 영역에 포함되는 각 화소의 좌표를 대입함으로써 목표 영역에 포함되는 각 화소의 좌표를 도출한다. 도 7은 조준 영역의 좌표 및 목표 영역의 좌표의 대응짓기 방법의 일례를 나타내는 도면이다. 도 7에 도시한 바와 같이, 목표 영역(40S)의 무게 중심 좌표 Gs(xs, ys)로부터 조준 영역(40D)의 무게 중심 좌표 Gd(xd, yd)를 감산하는 계산(xs-xd, ys-yd)를 실행함으로써 위치의 차분 (dx, dy)가 산출된다. 그 후, 위치의 차분 (dx, dy)로 표현되는 변환 함수에 조준 영역(40D)에 포함되는 각 화소의 좌표가 대입된다. 예를 들어, 조준 영역(40D)에 포함되는 화소 A'의 좌표 (xda, yda)에 위치의 차분 (dx, dy)를 더함으로써 목표 영역(40S)의 화소 A의 좌표 (xsa, ysa)가 산출된다. 또한, 조준 영역(40D)에 포함되는 화소 B'의 좌표 (xdb, ydb)에 위치의 차분 (dx, dy)를 더함으로써 목표 영역(40S)의 화소 B의 좌표 (xsb, ysb)가 산출된다. 이와 같이 하여 목표 영역에 포함되는 각 화소의 좌표가 산출된다.
그런 다음, 기록부(15e)는 조준 영역에 포함되는 각 화소의 좌표와 목표 영역에 포함되는 각 화소의 좌표를 대응지은 대응 관계 정보(13b)를 생성한 다음 대응 관계 정보(13b)를 기억부(13)에 기록한다. 도 8은 대응 관계 정보(13b)의 일례를 나타내는 도면이다. 도 8의 예에서는, 조준 영역(40D)에 포함되는 각 화소의 좌표 (xd0, yd0), (xd1, yd0), …, (xdII, ydIs)가 목표 영역(40S)에 포함되는 각 화소의 좌표 (xs0, ys0), (xs1, ys0), …, (xsII, ysIs)에 각각 대응하는 것을 나타낸다. 또한，도 8의 예에서는, 조준 영역에 포함되는 각 화소의 좌표와 목표 영역에 포함되는 각 화소의 좌표의 대응 관계를 대응 관계 정보(13b)로 하는 경우를 예시했지만, 위치의 차분 (dx, dy)로 표현되는 변환 함수를 대응 관계 정보(13b)로서 기록하는 것으로 해도 상관없다.
변환부(15f)는 조준 영역 내에서 터치 조작을 접수한 경우에, 대응 관계 정보(13b)를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 목표 영역으로 투영된 좌표로 변환하는 처리부이다. 일 형태로서는, 변환부(15f)는 표시 제어부(15d)에 의해 조준 영역에 목표 영역의 부분 화상의 표시가 개시되고 나서 소정 기간 td, 예를 들어 5초가 경과할 때까지 탭 조작을 감시한다. 이때, 변환부(15f)는 소정 기간 내에 탭 조작이 이루어진 경우에는, 그 탭 조작이 이루어진 좌표가 조준 영역 내인지 여부를 더 판정한다. 그리고, 변환부(15f)는 탭 조작이 이루어진 좌표가 조준 영역 내인 경우에는, 탭 조작이 이루어진 조준 영역의 좌표를, 대응 관계 정보(13b)에 정의된 목표 영역의 좌표 중 탭 조작이 이루어진 조준 영역의 좌표에 대응지어진 목표 영역의 좌표로 변환한다. 이때, 변환부(15f)는 위치의 차분 (dx, dy)로 표현되는 변환 함수가 대응 관계 정보(13b)로서 기록되어 있는 경우에는, 탭 조작이 이루어진 조준 영역의 좌표에 위치의 차분 (dx, dy)를 더함으로써 목표 영역의 좌표로 변환하는 것으로 해도 상관없다.
도 9는 좌표 변환의 일례를 나타내는 도면이다. 예를 들어, 도 9에 도시한 바와 같이, 조준 영역(40D) 내의 좌표 (xt, yt)가 탭 조작된 경우에는, 그 탭 조작이 이루어진 좌표 (xt, yt)는, 위치의 차분 (dx, dy)가 더해진 좌표 (xc, yc)로 변환된다. 이에 의해, 조준 영역에 표시된 부분 화상 상에서 이루어진 탭 조작이 목표 영역에 표시된 부분 화상 상에서 이루어진 것과 동정되게 된다.
출력부(15g)는 변환부(15f)에 의해 변환된 목표 영역의 좌표를 소정의 출력처에 출력하는 처리부이다. 일 형태로서는, 출력부(15g)는 변환부(15f)에 의해 변환된 목표 영역의 좌표를 제어부(15)에 의해 실행되는 OS나 어플리케이션 프로그램에 출력한다. 이러한 목표 영역의 좌표의 출력에 의해, 도 9에 나타낸 예에서 말하면, 이용자가 조작이 목표로 하는 원형의 오브젝트가 탭되었다면 OS나 어플리케이션 프로그램에 인식시킬 수 있다. 또한，도 9의 예에서는, 오브젝트의 일례로서 아이콘을 탭하는 경우를 상정했지만, 다른 오브젝트, 예를 들어 탭, 풀 다운 메뉴나 링크 등이 탭되는 경우도 마찬가지의 효과가 얻어진다.
또한，제어부(15)에는 각종 집적 회로나 전자 회로를 채용할 수 있다. 또한, 제어부(15)이 갖는 기능부의 일부를 다른 집적 회로나 전자 회로로 할 수도 있다. 예를 들어, 집적 회로로서는, ASIC(Application Specific Integrated Circuit)를 들 수 있다. 또한, 전자 회로로서는 CPU(Central Processing Unit)나 MPU(Micro Processing Unit) 등을 들 수 있다.
[처리의 흐름]
도 10은, 실시예 1에 따른 조작 접수 처리의 수순을 나타내는 플로우차트이다. 이 조작 접수 처리는, 태블릿 단말기(10)의 전원이 ON 상태인 한, 반복 실행되는 처리이며, 터치 패널(11)의 화면 상에서 탭 조작을 접수한 경우에 처리가 기동한다.
도 10에 도시한 바와 같이, 터치 패널(11)의 화면 상에서 탭 조작을 접수하면(스텝 S101), 태블릿 단말기(10)는 시선의 검출 위치가 터치 패널(11)의 화면 내 인지 여부를 판정한다(스텝 S102).
이때, 시선의 검출 위치가 터치 패널(11)의 화면 내가 아닌 경우(스텝 S102, 아니오)에는, 이용자가 곁눈질 등을 하고 있어, 태블릿 단말기(10)를 조작할 의사를 갖고 있을 가능성이 낮다고 추정할 수 있다. 이 경우에는, 태블릿 단말기(10)는 이후의 처리를 실행하지 않고 그대로 처리를 종료한다.
한편, 시선의 검출 위치가 터치 패널(11)의 화면 내인 경우(스텝 S102, 예)에는, 태블릿 단말기(10)는 그 탭 조작을 접수한 위치에 오브젝트가 없는지 여부를 판정한다(스텝 S103).
그리고, 탭 조작을 접수한 위치에 오브젝트가 있는 경우(스텝 S103, 아니오)에는, 탭 조작을 접수한 좌표가 그 오브젝트를 출력하고 있는 프로그램에 출력된 후에 처리를 종료한다.
또한, 탭 조작을 접수한 위치에 오브젝트가 없는 경우(스텝 S103, 예)에는, 태블릿 단말기(10)는 탭 조작을 접수한 위치가 시선의 검출 위치로부터 소정의 거리 미만인지 여부를 판정한다. 또한，탭 조작을 접수한 위치가 시선의 검출 위치로부터 소정의 거리 미만인 경우(스텝 S104, 예)에는, 이후의 처리를 실행하지 않고 그대로 처리를 종료한다.
이때, 탭 조작을 접수한 위치가 시선의 검출 위치로부터 소정의 거리 이상인 경우(스텝 S104, 아니오)에는, 태블릿 단말기(10)는 다음과 같은 처리를 실행한다. 즉, 태블릿 단말기(10)는 스텝 S101에서 탭 조작이 접수된 시점에서 검출된 시선의 위치를 사용해서, 터치 패널(11)의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정한다(스텝 S105).
계속해서, 태블릿 단말기(10)는 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 화면에 표시되는 화상 중 목표 영역에 표시되는 부분 화상을 표시시킨다(스텝 S106).
또한, 태블릿 단말기(10)는 조준 영역에 포함되는 각 화소의 좌표와 목표 영역에 포함되는 각 화소의 좌표를 대응지은 대응 관계 정보(13b)를 생성한 다음 대응 관계 정보(13b)를 기억부(13)에 기록한다(스텝 S107).
그 후, 태블릿 단말기(10)는 스텝 S106에서 조준 영역에 목표 영역의 부분 화상의 표시가 개시되고 나서 소정 기간 td, 예를 들어 5초가 경과할 때까지 탭 조작을 감시한다(스텝 S108).
여기서, 소정 기간 내에 탭 조작이 이루어진 경우(스텝 S108, 예)에는, 태블릿 단말기(10)는 그 탭 조작이 이루어진 좌표가 조준 영역 내인지 여부를 더 판정한다(스텝 S109).
그리고, 탭 조작이 이루어진 좌표가 조준 영역 내인 경우(스텝 S109, 예)에는, 태블릿 단말기(10)는 다음과 같은 처리를 실행한다. 즉, 태블릿 단말기(10)는 탭 조작이 이루어진 조준 영역의 좌표를, 대응 관계 정보(13b)에 정의된 목표 영역의 좌표 중 탭 조작이 이루어진 조준 영역의 좌표에 대응지어진 목표 영역의 좌표로 변환한다(스텝 S110). 그 후, 태블릿 단말기(10)는 스텝 S110에서 변환된 목표 영역의 좌표를 OS나 어플리케이션 프로그램에 출력하고(스텝 S111), 처리를 종료한다.
또한, 소정 기간 내에 탭 조작이 이루어지지 않은 경우 또는 탭 조작이 이루어진 좌표가 조준 영역 내가 아닌 경우(스텝 S108, 아니오 또는 스텝 S109, 아니오)에는, 태블릿 단말기(10)는 다음과 같은 처리를 실행한다. 즉, 태블릿 단말기(10)는 스텝 S106에서 조준 영역에 표시시키고 있었던 부분 화상을 삭제하고(스텝 S112), 처리를 종료한다.
또한，상기 플로우차트에서는, 스텝 S106의 처리가 실행된 후에 스텝 S107의 처리가 실행되는 경우를 예시했지만, 이들 스텝 S106 및 스텝 S107의 처리는 순서를 바꿀 수도 있고, 병행하여 실행시킬 수도 있다.
[실시예 1의 효과]
전술한 바와 같이, 본 실시예에 따른 태블릿 단말기(10)는 터치 패널(11)의 화면 상에서 시선의 검출 위치가 가리키는 목표 영역의 부분 화상을 가까운 측의 조준 영역에 표시시킴으로써 단말기를 들고 있는 손으로는 닿지 않는 범위의 조작을 접수한다. 그 때문에, 본 실시예에 따른 태블릿 단말기(10)에서는, 태블릿 단말기(10)를 들고 있는 쪽의 손으로 터치 패널을 한손 조작시키는 경우에, 목표로 하는 오브젝트의 일점을 주시시키지 않더라도, 목표로 하는 오브젝트에 대한 터치 조작이 가능하게 된다. 따라서，본 실시예에 따른 태블릿 단말기(10)에 의하면, 이용자의 눈에 가해지는 부담을 경감시킬 수 있다.
<실시예 2>
그런데, 지금까지 개시된 장치에 관한 실시예에 대해 설명했지만, 본 발명은 전술한 실시예 이외에도, 다양한 다른 형태로 실시되어도 되는 것이다. 따라서，이하에서는, 본 발명에 포함되는 다른 실시예를 설명한다.
[목표 영역의 설정의 응용예]
상기 실시예 1에서는, 탭 조작에 의해 타이밍이 지시된 시점에서 검출된 시선의 위치를 목표 영역의 설정에 사용하는 경우를 설명했지만, 타이밍이 지시되는 것 보다도 전의 시점에서 검출된 시선의 위치를 목표 영역의 설정에 사용할 수도 있다.
즉, 탭 조작을 처리 기동의 트리거로 했을 때, 탭 조작에 의한 충격이 원인으로 되어 태블릿 단말기(10)가 흔들려서, 탭 조작을 접수하는 전후에 시선의 검출 위치가 흔들려버릴 가능성이 있다. 한편, 탭 조작을 행하기 전에는, 이용자는 목표로 하는 오브젝트를 볼 준비를 행할 가능성이 높다고 상정된다. 따라서，개시된 장치는, 탭 조작이 실행되기 전의 시점에서 검출된 시선의 위치를 목표 영역의 설정에 사용한다. 이에 의해, 탭 조작에 의한 충격이 원인으로 되어 태블릿 단말기(10)가 흔들린 경우에도, 이용자가 목표로 정하는 오브젝트를 포함하여 목표 영역을 설정할 수 있다.
[목표 영역의 재설정의 응용예]
개시된 장치는, 목표 영역의 좌표가 출력되기 전후에 터치 패널(11)의 화면 상에 표시되는 화상의 차분의 비율을 산출하고, 화상의 차분의 비율이 소정의 임계값 이하인 경우에, 그 차분으로 되는 화상이 표시되는 영역을 목표 영역으로서 설정할 수도 있다. 이에 의해, 메뉴가 계층화하여 표시되는 경우에, 계층화하여 표시되는 메뉴를 연쇄하여 선택할 수 있다.
여기서, 상기 임계값에는, 어플리케이션 프로그램에 의해 화면에 출력되는 윈도우 화면 그 자체가 천이한 것인지, 윈도우에 탭이나 풀 다운 메뉴 등의 일부 표시 영역이 출현한 것인지를 판별할 수 있을 정도의 비율, 예를 들어 화면의 50%가 설정된다. 또한, 목표 영역의 재설정 시에는, 차분으로 되는 화상의 폭 및 높이가 조준 영역 정보(13a)의 폭 및 높이보다도 크더라도, 차분으로 되는 화상이 표시되는 영역을 목표 영역으로 재설정하여, 조준 영역의 폭 및 높이도 목표 영역의 폭 및 높이에 맞춘다.
도 11은 응용예를 설명하기 위한 설명도이다. 도 11에 도시한 바와 같이, 목표 영역에 표시된 메뉴 바(200A)가 조준 영역에 메뉴 바(200A')로서 표시된 경우에, 조준 영역 내의 메뉴 바(200A')가 탭된다. 그렇게 하면, 메뉴 바(200A)에 대응하는 드롭다운 메뉴(210A)가 터치 패널(11)의 화면에 표시된다. 이 경우에는, 드롭다운 메뉴(210A)가 차분으로 되지만, 터치 패널(11)의 화면의 50% 이하이다. 따라서, 드롭다운 메뉴(210A)가 목표 영역에 재설정된다. 이러한 목표 영역의 재설정에 연동하여, 조준 영역에 드롭다운 메뉴(210A')가 표시된다.
이때, 조준 영역 내의 드롭다운 메뉴(210A')에 포함되는 메뉴 아이템이 탭되면, 그 메뉴 아이템에 대응하는 서브메뉴(220B)가 터치 패널(11)의 화면에 더 표시된다. 이 경우에는, 서브메뉴(220B)가 차분으로 되지만, 터치 패널(11)의 화면의 50% 이하이다. 따라서, 서브메뉴(220B)가 목표 영역에 재설정된다. 이러한 목표 영역의 재설정에 연동하여, 조준 영역에 서브메뉴(220B')가 표시된다. 이에 의해, 메뉴 바(200A), 풀 다운 메뉴(210A)의 메뉴 아이템, 메뉴 아이템의 서브메뉴(220B)의 순서로 메뉴를 연쇄하여 선택할 수 있다.
[대응 관계 정보의 응용예]
상기 실시예 1에서는, 조준 영역에 포함되는 각 화소의 좌표와 목표 영역에 포함되는 각 화소의 좌표의 대응 관계를 대응 관계 정보(13b)로서 기록하는 경우를 예시했지만, 화소간의 좌표 이외의 정보를 대응지어서 기록할 수도 있다. 예를 들어, 개시된 장치는 조준 영역 및 목표 영역의 화소간의 좌표의 대응 관계와 함께, 목표 영역에 표시되는 부분 화상의 화소값을 대응지은 대응 관계 정보를 기록할 수도 있다. 그리고, 개시된 장치는 제어부(15) 내에서 실행되는 OS나 어플리케이션 프로그램에 의해 목표 영역에 표시되는 부분 화상이 갱신되는데 맞추어서 대응 관계 정보의 기록을 갱신한다. 이에 의해, 목표 영역에 표시되는 부분 화상에 변화가 있는 경우, 예를 들어 동화상이 재생되어 있거나, 배너 표시가 이루어져 있거나 하는 경우에도, 대응 관계 정보를 사용해서, 조준 영역에 표시되는 부분 화상을 목표 영역의 부분 화상과 동기시킬 수 있다.
[부분 화상의 표시 타이밍의 응용예]
상기 실시예 1에서는, 목표 영역이 설정되었을 때에 조준 영역에 부분 화상을 실시간으로 표시시키는 경우를 예시했지만, 반드시 조준 영역에 부분 화상을 실시간으로 표시시킬 필요는 없다. 예를 들어, 개시된 장치는, 목표 영역이 설정 된 시점의 화상을 기억부(13)에 축적해 두고, 소정의 조건, 예를 들어 화면의 스크롤이 마지막까지 이동되는 조건이나 부분 화상의 표시를 개방하는 조작을 접수하는 조건을 만족한 경우에 조준 영역에 부분 화상을 표시시킬 수도 있다.
[분산 및 통합]
또한, 도시한 각 장치의 각 구성 요소는, 반드시 물리적으로 도시된 바와 같이 구성되어 있는 것을 필요로 하지 않는다. 즉, 각 장치의 분산·통합의 구체적 형태는 도시한 것에 한정되지 않고, 그 전부 또는 일부를, 각종 부하나 사용 상황 등에 따라 임의의 단위로 기능적 또는 물리적으로 분산·통합하여 구성할 수 있다.예를 들어, 접수부(15b), 설정부(15c), 표시 제어부(15d), 기록부(15e), 변환부(15f) 및 출력부(15g) 중 적어도 1개의 기능부를 태블릿 단말기(10)의 외부 장치로 하여 네트워크 경유로 접속하고, 조작 접수 서비스를 실행하는 서버 장치로 하여 구성하도록 해도 된다. 또한, 접수부(15b), 설정부(15c), 표시 제어부(15d), 기록부(15e), 변환부(15f) 또는 출력부(15g)를 다른 장치가 각각 갖고, 네트워크 접속되어 협동함으로써, 상기 태블릿 단말기(10)의 기능을 실현하도록 해도 된다.
[조작 접수 프로그램]
또한, 상기 실시예에서 설명한 각종 처리는, 미리 준비된 프로그램을 퍼스널 컴퓨터나 워크스테이션 등의 컴퓨터로 실행함으로써 실현할 수 있다. 따라서，이하에서는, 도 12를 사용해서, 상기 실시예와 마찬가지의 기능을 갖는 조작 접수 프로그램을 실행하는 컴퓨터의 일례에 대하여 설명한다.
도 12는 실시예 1 및 실시예 2에 따른 조작 접수 프로그램을 실행하는 컴퓨터의 일례에 대하여 설명하기 위한 도면이다. 도 12에 도시한 바와 같이, 컴퓨터(100)는 조작부(110a)와, 스피커(110b)와, 카메라(110c)와, 디스플레이(120)와, 통신부(130)를 갖는다. 또한, 이 컴퓨터(100)는 CPU(150)와, ROM(160)과, HDD(170)와, RAM(180)을 갖는다. 이들 참조 부호 110 내지 180의 각 부는 버스(140)를 통해서 접속된다.
HDD(170)에는, 도 12에 도시한 바와 같이, 상기 실시예 1에서 나타낸 접수부(15b), 설정부(15c), 표시 제어부(15d), 기록부(15e), 변환부(15f) 및 출력부(15g)와 마찬가지의 기능을 발휘하는 조작 접수 프로그램(170a)이 미리 기억된다. 이 조작 접수 프로그램(170a)에 대해서는, 도 1에 도시한 각각의 접수부(15b), 설정부(15c), 표시 제어부(15d), 기록부(15e), 변환부(15f) 및 출력부(15g)의 각 구성 요소와 마찬가지로, 적절히 통합 또는 분리해도 된다. 즉, HDD(170)에 저장되는 각 데이터는, 항상 모든 데이터가 HDD(170)에 저장될 필요는 없고, 처리에 필요한 데이터만이 HDD(170)에 저장되면 된다.
그리고, CPU(150)가 조작 접수 프로그램(170a)을 HDD(170)로부터 판독하여 RAM(180)에 전개한다. 이에 의해, 도 12에 도시한 바와 같이, 조작 접수 프로그램(170a)은, 조작 접수 프로세스(180a)로서 기능한다. 이 조작 접수 프로세스(180a)는, HDD(170)로부터 판독한 각종 데이터를 적절히 RAM(180) 상의 자신에게 할당된 영역에 전개하고, 이 전개한 각종 데이터에 기초하여 각종 처리를 실행한다. 또한，조작 접수 프로세스(180a)는 도 1에 도시한 접수부(15b), 설정부(15c), 표시 제어부(15d), 기록부(15e), 변환부(15f) 및 출력부(15g)에서 실행되는 처리, 예를 들어 도 10에 도시하는 처리를 포함한다. 또한, CPU(150) 상에서 가상적으로 실현되는 각 처리부는, 항상 모든 처리부가 CPU(150) 상에서 동작할 필요는 없고, 처리에 필요한 처리부만이 가상적으로 실현되면 된다.
또한，상기 조작 접수 프로그램(170a)에 대해서는, 반드시 처음부터 HDD(170)나 ROM(160)에 기억시켜 둘 필요는 없다. 예를 들어, 컴퓨터(100)에 삽입되는 플렉시블 디스크, 소위 FD, CD-ROM, DVD 디스크, 광자기 디스크, IC 카드 등의 「가반용 물리 매체」에 각 프로그램을 기억시킨다. 그리고, 컴퓨터(100)가 이들 가반용 물리 매체로부터 각 프로그램을 취득하여 실행하도록 해도 된다. 또한, 공중(대중) 회선, 인터넷, LAN, WAN 등을 통해서 컴퓨터(100)에 접속되는 다른 컴퓨터 또는 서버 장치 등에 각 프로그램을 기억시켜 두고, 컴퓨터(100)가 이들로부터 각 프로그램을 취득하여 실행하도록 해도 된다.
이상의 실시예 1 내지 2를 포함하는 실시 형태에 관해서, 더욱 이하의 부기를 개시한다.
(부기 1) 표시 가능하면서 입력 가능한 터치 패널과,
시선의 검출 결과를 유효화하는 계기의 지시를 접수하는 접수부와,
시선의 검출 위치를 사용해서, 상기 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하는 설정부와,
상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 상기 화면에 표시되는 화상 중 상기 목표 영역에 표시되는 부분 화상을 표시시키는 표시 제어부와,
상기 조준 영역의 좌표 및 상기 목표 영역의 좌표의 대응 관계를 소정의 기억부에 기록하는 기록부와,
상기 조준 영역 내에서 터치 조작을 접수한 경우에, 상기 기억부에 기억된 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 상기 목표 영역으로 투영된 좌표로 변환하는 변환부와,
상기 변환부에 의해 변환된 좌표를 출력하는 출력부
를 갖는 것을 특징으로 하는 태블릿 단말기.
(부기 2) 상기 설정부는, 상기 시선의 검출 결과 중 상기 접수부에 의해 지시가 접수되기 전의 시선의 검출 위치를 사용해서, 상기 목표 영역을 설정하는 것을 특징으로 하는 부기 1에 기재된 태블릿 단말기.
(부기 3) 상기 출력부에 의해 좌표가 출력되기 전후에 상기 터치 패널의 화면 상에 표시되는 화상의 차분의 비율을 산출하는 산출부를 더 갖고,
상기 설정부는, 상기 산출부에 의해 산출된 화상의 차분의 비율이 소정의 임계값 이하인 경우에, 그 차분으로 되는 화상이 표시되는 영역을 목표 영역으로서 재설정하는 것을 특징으로 하는 부기 1 또는 2에 기재된 태블릿 단말기.
(부기 4) 컴퓨터에,
시선의 검출 결과를 유효화하는 계기의 지시를 접수하고,
시선의 검출 위치를 사용해서, 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하고,
상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 상기 화면에 표시되는 화상 중 상기 목표 영역에 표시되는 부분 화상을 표시시키고,
상기 조준 영역의 좌표 및 상기 목표 영역의 좌표의 대응 관계를 소정의 기억부에 기록하고,
상기 조준 영역 내에서 터치 조작을 접수한 경우에, 상기 기억부에 기억된 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 상기 목표 영역으로 투영된 좌표로 변환하고,
변환된 좌표를 출력하는
처리를 실행시키는 것을 특징으로 하는 조작 접수 프로그램.
(부기 5) 프로세서 및 메모리를 갖는 태블릿 단말기로서,
상기 프로세서는,
시선의 검출 결과를 유효화하는 계기의 지시를 접수하고,
시선의 검출 위치를 사용해서, 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하고,
상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 상기 화면에 표시되는 화상 중 상기 목표 영역에 표시되는 부분 화상을 표시시키고,
상기 조준 영역의 좌표 및 상기 목표 영역의 좌표의 대응 관계를 소정의 기억부에 기록하고,
상기 조준 영역 내에서 터치 조작을 접수한 경우에, 상기 기억부에 기억된 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 상기 목표 영역으로 투영된 좌표로 변환하고,
변환된 좌표를 출력하는
처리를 실행하는 것을 특징으로 하는 태블릿 단말기.
(부기 6) 컴퓨터에,
시선의 검출 결과를 유효화하는 계기의 지시를 접수하고,
시선의 검출 위치를 사용해서, 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하고,
상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 상기 화면에 표시되는 화상 중 상기 목표 영역에 표시되는 부분 화상을 표시시키고,
상기 조준 영역의 좌표 및 상기 목표 영역의 좌표의 대응 관계를 소정의 기억부에 기록하고,
상기 조준 영역 내에서 터치 조작을 접수한 경우에, 상기 기억부에 기억된 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 상기 목표 영역으로 투영된 좌표로 변환하고,
변환된 좌표를 출력하는
처리를 실행시키는 조작 접수 프로그램을 보존한 컴퓨터 판독 가능한 기록 매체.
10 : 태블릿 단말기
11 : 터치 패널
12 : 카메라
12a : 광원
13 : 기억부
13a : 조준 영역 정보
13b : 대응 관계 정보
15 : 제어부
15a : 검출부
15b : 접수부
15c : 설정부
15d : 표시 제어부
15e : 기록부
15f : 변환부
15g : 출력부

Claims (4)

  1. 표시 가능하고 입력 가능한 터치 패널과,
    시선의 검출 결과를 유효화하는 계기의 지시를 접수하는 접수부와,
    시선의 검출 위치를 사용해서, 상기 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하는 설정부와,
    상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 상기 화면에 표시되는 화상 중 상기 목표 영역에 표시되는 부분 화상을 표시시키는 표시 제어부와,
    상기 조준 영역의 좌표 및 상기 목표 영역의 좌표의 대응 관계를 소정의 기억부에 기록하는 기록부와,
    상기 조준 영역 내에서 터치 조작을 접수한 경우에, 상기 기억부에 기억된 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 상기 목표 영역으로 투영된 좌표로 변환하는 변환부와,
    상기 변환부에 의해 변환된 좌표를 출력하는 출력부
    를 갖는 것을 특징으로 하는 태블릿 단말기.
  2. 제1항에 있어서,
    상기 설정부는, 상기 시선의 검출 결과 중 상기 접수부에 의해 지시가 접수되기 전의 시선의 검출 위치를 사용해서, 상기 목표 영역을 설정하는 것을 특징으로 하는 태블릿 단말기.
  3. 제1항 또는 제2항에 있어서,
    상기 출력부에 의해 좌표가 출력되기 전에 상기 터치 패널의 화면 상에 표시되는 화상과, 상기 출력부에 의해 좌표가 출력된 후에 상기 터치 패널의 화면 상에 표시되는 화상과의 차분이 상기 터치 패널의 화면 전체 또는 소정의 조건을 만족하는 화면 내의 영역에서 차지하는 비율을 산출하는 산출부를 더 갖고,
    상기 설정부는, 상기 산출부에 의해 산출된 화상의 차분의 비율이 소정의 임계값 이하인 경우에, 그 차분으로 되는 화상이 표시되는 영역을 목표 영역으로서 재설정하는 것을 특징으로 하는 태블릿 단말기.
  4. 컴퓨터에,
    시선의 검출 결과를 유효화하는 계기의 지시를 접수하고,
    시선의 검출 위치를 사용해서, 터치 패널의 화면 상에서 목표로 하는 오브젝트의 존재를 상정하는 목표 영역을 설정하고,
    상기 목표 영역 대신에 그 목표 영역에의 터치 조작을 접수하는 조준 영역에, 상기 화면에 표시되는 화상 중 상기 목표 영역에 표시되는 부분 화상을 표시시키고,
    상기 조준 영역의 좌표 및 상기 목표 영역의 좌표의 대응 관계를 소정의 기억부에 기록하고,
    상기 조준 영역 내에서 터치 조작을 접수한 경우에, 상기 기억부에 기억된 대응 관계를 사용해서, 그 터치 조작을 접수한 조준 영역의 좌표를 상기 목표 영역에 투영된 좌표로 변환하고,
    변환된 좌표를 출력하는
    처리를 실행시키는 것을 특징으로 하는 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR20130051856A 2012-05-18 2013-05-08 태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 KR101450452B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-114985 2012-05-18
JP2012114985A JP5942586B2 (ja) 2012-05-18 2012-05-18 タブレット端末および操作受付プログラム

Publications (2)

Publication Number Publication Date
KR20130129108A KR20130129108A (ko) 2013-11-27
KR101450452B1 true KR101450452B1 (ko) 2014-10-13

Family

ID=48190735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130051856A KR101450452B1 (ko) 2012-05-18 2013-05-08 태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Country Status (4)

Country Link
US (1) US9098135B2 (ko)
EP (1) EP2664985B1 (ko)
JP (1) JP5942586B2 (ko)
KR (1) KR101450452B1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6131540B2 (ja) * 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US10691291B2 (en) * 2013-05-24 2020-06-23 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
US9189095B2 (en) * 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
JP6303297B2 (ja) * 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
US9696882B2 (en) * 2013-08-28 2017-07-04 Lenovo (Beijing) Co., Ltd. Operation processing method, operation processing device, and control method
CN104808836B (zh) * 2014-01-23 2017-12-01 京瓷办公信息系统株式会社 电子设备及操作支援方法
JP6153487B2 (ja) * 2014-03-14 2017-06-28 株式会社Ｎｔｔドコモ 端末及び制御方法
KR20150107528A (ko) 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
US20170199662A1 (en) * 2014-05-26 2017-07-13 Huawei Technologies Co., Ltd. Touch operation method and apparatus for terminal
FR3036818B1 (fr) * 2015-06-01 2017-06-09 Sagem Defense Securite Systeme de visee comportant un ecran recouvert d'une interface tactile et procede de visee correspondant
JP2017016198A (ja) 2015-06-26 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2017054847A1 (en) * 2015-09-29 2017-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Touchscreen device and method thereof
CN106791535B (zh) * 2016-11-28 2020-07-14 阿里巴巴（中国）有限公司 视频录制方法及装置
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
JP6852612B2 (ja) * 2017-07-26 2021-03-31 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
JP7143642B2 (ja) * 2018-06-20 2022-09-29 株式会社リコー 共有端末、筆記方法、プログラム
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US11487425B2 (en) * 2019-01-17 2022-11-01 International Business Machines Corporation Single-hand wide-screen smart device management
JP2020129269A (ja) * 2019-02-08 2020-08-27 コニカミノルタ株式会社 画像形成装置および表示制御方法
US11409279B1 (en) * 2019-09-26 2022-08-09 Amazon Technologies, Inc. Autonomously motile device with remote control
US11861113B2 (en) * 2020-05-29 2024-01-02 Marthinus VAN DER MERWE Contactless touchscreen interface
CN114510174A (zh) * 2020-10-29 2022-05-17 华为技术有限公司 一种界面显示方法及电子设备
JP7176020B2 (ja) * 2021-02-03 2022-11-21 マクセル株式会社 携帯端末の制御方法
CN117472262B (zh) * 2023-12-28 2024-10-18 荣耀终端有限公司 交互方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009283013A (ja) 2009-08-31 2009-12-03 Toshiba Corp 情報処理装置および表示制御方法
US20110169749A1 (en) 2010-01-13 2011-07-14 Lenovo (Singapore) Pte, Ltd. Virtual touchpad for a touch device
KR20120024299A (ko) * 2010-09-06 2012-03-14 엘지전자 주식회사 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
JP2012185753A (ja) 2011-03-08 2012-09-27 Casio Comput Co Ltd 画像表示制御装置及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722949D0 (en) * 1997-10-30 1998-01-07 Bid Instr Ltd Ocular testing and related projection apparatus and method
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
JP5045559B2 (ja) * 2008-06-02 2012-10-10 富士通モバイルコミュニケーションズ株式会社 携帯端末
JP2010079442A (ja) * 2008-09-24 2010-04-08 Toshiba Corp 携帯端末
JP4852627B2 (ja) * 2009-05-14 2012-01-11 株式会社エヌ・ティ・ティ・ドコモ 入力装置及び入力方法
JP2011086036A (ja) * 2009-10-14 2011-04-28 Victor Co Of Japan Ltd 電子機器、アイコン表示方法およびアイコン表示プログラム
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009283013A (ja) 2009-08-31 2009-12-03 Toshiba Corp 情報処理装置および表示制御方法
US20110169749A1 (en) 2010-01-13 2011-07-14 Lenovo (Singapore) Pte, Ltd. Virtual touchpad for a touch device
KR20120024299A (ko) * 2010-09-06 2012-03-14 엘지전자 주식회사 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
JP2012185753A (ja) 2011-03-08 2012-09-27 Casio Comput Co Ltd 画像表示制御装置及びプログラム

Also Published As

Publication number Publication date
JP2013242671A (ja) 2013-12-05
US20130307797A1 (en) 2013-11-21
EP2664985A2 (en) 2013-11-20
EP2664985A3 (en) 2016-06-15
KR20130129108A (ko) 2013-11-27
EP2664985B1 (en) 2020-07-08
US9098135B2 (en) 2015-08-04
JP5942586B2 (ja) 2016-06-29

Similar Documents

Publication Publication Date Title
KR101450452B1 (ko) 태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
US10817067B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
US11231777B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
JP6131540B2 (ja) タブレット端末、操作受付方法および操作受付プログラム
US9983687B1 (en) Gesture-controlled augmented reality experience using a mobile communications device
US9952667B2 (en) Apparatus and method for calibration of gaze detection
US10936162B2 (en) Method and device for augmented reality and virtual reality display
KR102326489B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
CN111886564B (zh) 信息处理装置、信息处理方法和程序
JP6052399B2 (ja) 画像処理プログラム、画像処理方法及び情報端末
US20140043229A1 (en) Input device, input method, and computer program
EP3617851B1 (en) Information processing device, information processing method, and recording medium
JP2015152938A (ja) 情報処理装置、情報処理方法、及びプログラム
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
US10802620B2 (en) Information processing apparatus and information processing method
US10996763B2 (en) System for and method of managing gestures in virtual reality
CN114740966A (zh) 多模态图像显示控制方法、系统及计算机设备
WO2023172463A1 (en) Methods, apparatuses and computer program products for utilizing gestures and eye tracking information to facilitate camera operations on artificial reality devices
JP2014219812A (ja) 入力装置および入力プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170919

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180918

Year of fee payment: 5