KR20130010012A - 사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법 - Google Patents

사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법 Download PDF

Info

Publication number
KR20130010012A
KR20130010012A KR1020127030015A KR20127030015A KR20130010012A KR 20130010012 A KR20130010012 A KR 20130010012A KR 1020127030015 A KR1020127030015 A KR 1020127030015A KR 20127030015 A KR20127030015 A KR 20127030015A KR 20130010012 A KR20130010012 A KR 20130010012A
Authority
KR
South Korea
Prior art keywords
user
gaze
touchscreen display
processor
touchscreen
Prior art date
Application number
KR1020127030015A
Other languages
English (en)
Other versions
KR101436226B1 (ko
Inventor
자딘 엔 이
조엘 버나트
자넷 엘 돕슨
기리다 디 맨디암
조셉 황
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130010012A publication Critical patent/KR20130010012A/ko
Application granted granted Critical
Publication of KR101436226B1 publication Critical patent/KR101436226B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

사용자의 시선 내에 디스플레이된 이미지의 일부를 확대하는 디지털 카메라 및 터치스크린 디스플레이가 구비된 컴퓨팅 디바이스들에 대한 사용자 인터페이스의 제공이 개시된다. 사용자는, 하나 이상의 손가락들로 터치스크린의 일부를 터치하고 그 디스플레이 상의 이동 이미지를 그 눈으로 따라감으로써 그 모바일 디바이스를 교정할 수도 있다. 모바일 디바이스는 사용자가 보고 있는 곳을 추적할 수도 있고, 사용자가 모바일 디바이스 디스플레이를 보고 있으면, 사용자의 시선 부근의 디스플레이의 일부가 확대될 수도 있다. 일 실시형태에 있어서, 사용자가 가상 키보드를 보고 있으면, 사용자의 시선 근방의 키 아이콘들은, 사용자의 손가락 선단 사이즈에 상응한 사이즈로 증가될 수도 있다. 이러한 방식으로, 사용자는 모바일 디바이스 디스플레이 내에서 피팅하는 가상 키보드에서 개별 키들을 정확하게 선택할 수 있다.

Description

사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법{APPARATUS AND METHODS FOR DYNAMICALLY CORRELATING VIRTUAL KEYBOARD DIMENSIONS TO USER FINGER SIZE}
본 출원은 일반적으로 컴퓨팅 디바이스 사용자 인터페이스들에 관한 것으로서, 더 상세하게는, 터치스크린 구비형 모바일 디바이스들에 적합한 사용자 인터페이스들에 관한 것이다.
터치스크린 디스플레이들이 구비된 모바일 컴퓨팅 디바이스들은 신세대의 개인용 전자 디바이스들을 가능케 하였다. 터치스크린 디스플레이들은 그래픽 디스플레이 및 플렉시블 사용자 인터페이스 양자를 제공하고, 따라서, 더 대형의 디스플레이에 유리하게 디바이스들로 하여금 물리적 키들 및 버튼들을 제거할 수 있게 한다. 그러한 모바일 디바이스들은 통상적으로, 디스플레이 상에 제시된 아이콘들을 터치함으로써 사용자들로 하여금 커맨드들을 입력할 수 있게 하는 그래픽 사용자 인터페이스 시스템들을 포함한다. 사용자 인터페이스의 일반적 형태는, 통상적인 물리적 키보드 또는 키패드의 방식으로 배열된 다수의 소형 키 아이콘들을 가상 키보드 또는 키패드에 제시한다. 가상 키보드 사용자 인터페이스들이 직관적이고 유용하지만, 통상적인 모바일 디바이스들에 있어서의 터치스크린 디스플레이의 제한된 사이즈는 사이즈에 있어서 제한되는 가상 키보드 키 아이콘들을 요구하고, 이는 사용자가 미스타이핑없이 정확하게 터치하는 것을 어렵게 한다.
다양한 실시형태들은, 디지털 카메라로 사용자의 시선을 추적함으로써 디스플레이 이미지의 일부의 사이즈를 국부적으로 증가시킴으로써 사용자의 손가락의 사이즈를 보상할 수 있는 터치스크린 디스플레이들을 갖는 컴퓨팅 디바이스들 상에서의 사용에 적합한 사용자 인터페이스들을 가능케 한다. 일 실시형태에 있어서, 모바일 디바이스는 터치스크린 디스플레이, 및 사용자가 터치스크린 디스플레이를 보고 있는 동안에 사용자의 얼굴을 이미징할 수 있도록 위치된 디지털 카메라를 포함한다. 디지털 이미지들에 있어서 사용자의 눈을 추적함으로써, 모바일 디바이스는 사용자가 보고 있는 곳을 결정하도록 구성될 수도 있고, 사용자의 시선이 터치스크린 디스플레이 상의 일 위치에 지향되면, 사용자가 보고 있는 곳 부근에서의 디스플레이된 이미지의 일부가 사이즈에 있어서 증가될 수도 있다. 디스플레이된 이미지가 가상 키보드 또는 키패드를 포함할 경우, 사용자의 시선 부근에서의 키 아이콘들은, 사용자의 손가락 선단의 치수들에 상응한 사이즈로 증가될 수도 있다. 일 실시형태에 있어서, 모바일 디바이스는 트레이닝 루틴에 있어서 사용자의 손가락 사이즈 및 눈에 대해 교정될 수도 있다. 실시형태들이 가상 키보드 사용자 인터페이스 디스플레이들에 대해 특히 유용할 수도 있지만, 눈 추적 국부화 확대 기능은 또한, 대형 터치스크린 디스플레이들을 갖는 것들을 포함하여 다른 형태의 컴퓨팅 디바이스들뿐 아니라 다른 애플리케이션들에 대해 유용할 수도 있다.
본 명세서에 통합되고 본 명세서의 일부를 구성하는 첨부 도면들은 본 발명의 예시적인 실시형태들을 도시하고, 상기 제공된 일반적인 설명과 하기 제공되는 상세한 설명과 함께, 본 발명의 특징들을 설명하도록 제공된다.
도 1 은 메시징 애플리케이션을 위한 종래의 사용자 인터페이스를 터치스크린 디스플레이 상에 나타낸 모바일 디바이스의 정면도이다.
도 2 는 메시징 애플리케이션을 위한 일 실시형태의 사용자 인터페이스를 나타낸 모바일 디바이스의 정면도이다.
도 3 및 도 4 는 일 실시형태의 사용자 인터페이스의 동작을 도시한 모바일 디바이스의 정면도이다.
도 5 및 도 6 은 일 실시형태의 사용자 인터페이스의 교정 동작을 도시한 모바일 디바이스의 정면도이다.
도 7 은 일 실시형태의 사용자 인터페이스를 구현하는 예시적인 방법의 프로세스 플로우 다이어그램이다.
도 8 은 일 실시형태의 사용자 인터페이스를 교정하는 일 실시형태의 방법의 프로세스 플로우 다이어그램이다.
도 9 는 다른 실시형태의 사용자 인터페이스를 구현하는 일 실시형태의 방법의 프로세스 플로우 다이어그램이다.
도 10 은 일 실시형태에서 사용하기에 적합한 모바일 디바이스의 컴포넌트 블록 다이어그램이다.
다양한 실시형태들이 첨부 도면들을 참조하여 상세히 설명될 것이다. 가능한 어느 경우든, 동일하거나 유사한 부분들을 지칭하기 위해 동일한 참조부호들이 도면들 전반에 걸쳐 사용될 것이다. 특정 실시예들 및 구현들에 대해 행해지는 참조들은 예시적인 목적이고 본 발명 또는 청구항들의 범위를 한정하도록 의도되지 않는다.
용어 "컴퓨팅 디바이스" 및 "모바일 디바이스" 는 본 명세서에서 대체가능하게 사용되어, 셀룰러 전화기들, 개인휴대 정보 단말기(PDA)들, 팜탑 컴퓨터들, 무선 전자 메일 수신기들 (예를 들어, Blackberry? 및 Treo? 디바이스들), 멀티미디어 인터넷 가능식 셀룰러 전화기들 (예를 들어, Blackberry Storm?), 글로벌 포지셔닝 시스템 (GPS) 수신기들, 무선 게이밍 제어기들, 프로그래머블 프로세서를 포함하는 개인용 컴퓨터들 및 유사한 개인용 전자 디바이스들, 터치스크린 사용자 인터페이스/디스플레이, 및 사용자가 디스플레이를 볼 수 있을 경우에 사용자의 눈을 이미징할 수 있도록 디바이스 상에 위치된 디지털 카메라 중 임의의 하나 또는 그 모두를 지칭한다. 다양한 실시형태들이 특히 소형 디스플레이들을 갖는 셀룰러 전화기들과 같은 모바일 디바이스들에서 유용하지만, 그 실시형태들은 또한 터치스크린 디스플레이를 채용하는 임의의 컴퓨팅 디바이스에서 유용할 수도 있다. 따라서, 다음의 실시형태의 설명에 있어서의 "모바일 디바이스" 에 대한 참조는 단지 예시적인 목적이고, 터치스크린 디스플레이를 특징으로 하는 컴퓨팅 디바이스들의 다른 형태들을 배제하거나 청구항들의 범위를 한정하도록 의도되지 않는다.
터치스크린 사용자 인터페이스/디스플레이가 구비된 컴퓨팅 디바이스들은 자료의 사용자 입력들 및 그래픽 표현들의 관점에서 큰 유연성을 제공한다. 하지만, 그러한 사용자 인터페이스들은 제한이 없다면 안된다. 예를 들어, 종래의 키보드가 통상적인 모바일 디바이스 터치스크린 디스플레이 상의 가상 키보드 또는 키패드의 관점에서 표현될 경우, 키 아이콘들은 그 디스플레이의 폭 및 높이 내에서 피팅하기에 충분히 소형의 사이즈로 디스플레이되어야 한다. 손가락에 의해 터치되는 표면적이 통상적으로 2 이상의 키 아이콘을 포괄하기 때문에, 그러한 소형의 키 아이콘들은 손가락으로 정확하게 누르기가 매우 어려울 수 있다. 이는, 가상 키보드 (4) 가 디스플레이된 터치스크린 (2) 을 갖는 모바일 디바이스 (1) 를 나타낸 도 1 에 도시된다. 도 1 에 도시된 통상의 가상 키보드 레이아웃에 있어서, 단일 키 (예를 들어, "H" 키) 를 누르길 시도하는 사용자의 손가락 (5) 은, 도시된 바와 같이, "G", "H", "V" 및 "B" 에 대한 키들과 같은 주위의 키 아이콘들을 또한 터치할 것이다. 결과적으로, 그러한 가상 키보드들 및 키패드들에 대한 타이핑 에러들은 일반적이고 사용자들을 좌절시킬 수 있다.
다양한 실시형태들은, 사용자의 시선에 응답하여 디스플레이된 이미지 또는 아이콘들의 선택적인 증대 (enhancement) 를 제공함으로써 소형 모바일 디바이스 디스플레이들의 이러한 문제점에 대한 솔루션을 제공한다. 일 실시형태에 있어서, 사용자는 그 컴퓨팅 디바이스를 자신의 손가락 사이즈에 대해 교정하고, 그 디바이스를 트레이닝하여 그 눈으로 취해진 이미지들에 기초하여 사용자의 시선의 위치를 인식할 수도 있다. 사용자가 터치스크린 상에서 보고 있는 곳을 결정하고 사용자가 보고 있는 곳 근방의 가상 키보드의 일부분들을 손가락 사이즈 교정 팩터에 기초한 양으로 증대시킴으로써, 모바일 디바이스는, 터치스크린 디스플레이의 실제 부지 내에 피팅하지만 사용자의 손가락들에 대해 충분히 대형의 키 아이콘들을 제공하는 사용자 인터페이스 키보드 또는 키패드를 제공할 수 있다. 추가 실시형태에 있어서, 사용자의 시선 내의 디스플레이의 일부를 증대시키는 방법은, 디스플레이된 지도들, 사진들, 텍스트, 및 다른 시각적 자료와 같은 다른 애플리케이션들에 적용될 수 있다. 또한, 국부화된 이미지 증대 기능이 사용자들로 하여금 전체 이미지를 확대해야 하지 않고도 디스플레이 상의 특정 위치들을 정확히 누를 수 있게 할 수 있기 때문에, 다양한 실시형태들은 터치스크린 디스플레이, 심지어 대형의 터치스크린 디스플레이들을 포함한 임의의 컴퓨팅 디바이스 상에서 구현될 수도 있다.
도 2 는 터치스크린 (2) 을 갖는 모바일 디바이스 (1) 상에서 동작하는 일 실시형태를 도시한 것이다. 이 실시형태에 있어서, 사람의 눈은 디지털 카메라 (3) 에 의해 이미징되고, 이 디지털 카메라 (3) 는 모바일 디바이스 (1) 상에 위치되어, 사용자가 터치스크린 (2) 와 상호작용하는 동안 사용자의 얼굴을 이미징할 수 있다. 사용자가 보고 있는 곳에 기초하여, 모바일 디바이스 (1) 는 가상 키패드 가상 키보드 (4) 에서의 키 아이콘들의 사이즈를 증가시켜, 사용자의 손가락 (5) 와 양립하게 한다. 도시된 바와 같이, 문자 "H" 에 대한 가상 키를 누르길 시도하는 사용자에게는 사용자의 손가락 선단과 같이 큰 아이콘이 제시된다. 이러한 방식으로, 잘못된 키를 누르거나 터치스크린 인터페이스를 다중의 키 아이콘들을 포함하는 터치 이벤트와 혼동할 가능성이 감소된다.
이 실시형태는, 터치스크린 디스플레이 (2) 상에서 사용자의 시선 (6) 의 위치를 결정하기 위해 디지털 카메라 (3) 가 사용자의 눈 (5) 을 이미징하는 방법을 나타내는 도 3 및 도 4 에 더 도시된다. 이는, 사용자의 눈의 위치, 더 상세하게는, 사용자의 동공의 위치를 결정하기 위해 이미지 인식 소프트웨어를 사용함으로써 달성될 수도 있다. 사용자의 시선의 위치를 결정하는 것은 디바이스 터치스크린 디스플레이에 대한 사용자의 얼굴의 배향 및 위치뿐 아니라 이미지 내의 사용자의 동공의 위치를 고려할 수도 있는 사용자의 눈의 이미지에 이미지 분석 룰들을 적용하고, 또한 사용자가 보고 있는 곳을 추정하기 위해 삼각 계산을 적용함으로써 달성될 수도 있다. 모바일 디바이스가 디지털 카메라 (3) 에 의해 획득된 이미지들로부터 사용자의 시선 (6) 의 위치를 결정하기 때문에, 사용자의 시선 (6) 의 중심에 근접한 가상 키패드 (4) 의 키 아이콘들이 사이즈에 있어서 증대된다. 따라서, 사용자의 시선 (6) 이 도 3 에 도시된 바와 같이 가상 키보드 (4) 의 좌측으로부터 도 4에 도시된 바와 같이 우측으로 시프트함에 따라, 사용자의 시선 (6) 의 중심 내의 가상 키패드 (4) 의 그 아이콘들은 사용자의 손가락에 대한 교정 팩터에 기초하여 더 커지게 된다. 도 3 및 도 4 는, 실시형태들이 가상 키보드 (4) 로 하여금 모바일 디바이스 스크린 (2) 의 한정된 공간 내에 피팅할 수 있게 하면서 사용자의 손가락을 수용하기에 충분히 대형의 키 아이콘들을 제공하는 방법을 도시한다.
도 2 내지 도 4 는 사용자의 시선에 응답하여 증대되는 가상 키보드 (4) 를 도시하지만, 그 실시형태들은 또한 전화기 키패드, 계산기 키패드 또는 게임 특정 키패드와 같은 임의의 가상 키패드에 적용될 수도 있다. 따라서, 가상 키보드 (4) 의 이미지들은 단지 실시예들로서 제공되고 그 실시형태들의 범위에 대한 한정으로서 제공되지 않는다.
모바일 디바이스 (1) 를 사용자의 손가락 사이즈에 대해 교정하기 위해, 모바일 디바이스는 사용자에게 사용 전에 그 디바이스를 그 손가락들에 대해 초기화 또는 교정할 것을 요구할 수도 있다. 도 5 는, 교정 프로세스에서 터치스크린 (2) 상에 제시될 수도 있는 예시적인 사용자 인터페이스 디스플레이를 도시한 것이다. 그러한 교정 프로세스에 있어서, 사용자는 텍스팅 동안에 통상 사용되는 손가락 또는 손가락들로 스크린 상의 가상 키 (8) 를 터치하도록 프롬프트될 수도 있다. 이 실시형태에 있어서, 사용자는 단지 디스플레이된 키 아이콘을 터치하여 모바일 디바이스 (1) 로 하여금 사용자의 손가락 선단에 의해 접촉된 터치스크린 (2) 의 표면적의 치수들을 결정할 수 있게만 해야 한다. 측정된 치수들을 이용하여, 디바이스 프로세서는, 도 2 내지 도 4 에 도시된 바와 같이 키 아이콘들을 리사이징하는데 사용하기 위해 메모리에 저장될 수도 있는 적절한 사용자 손가락 사이즈 교정 팩터를 계산할 수 있다.
사용자가 보고 있는 곳을 정확하게 결정할 수 있게 하도록 모바일 디바이스 (1) 를 사용자의 눈에 대해 교정하기 위해, 모바일 디바이스 (1) 는 사용자에게 트레이닝 루틴에 있어서 그 눈을 추적하기 위해 그 디바이스를 트레이닝할 것을 요구할 수도 있다. 도 6 은, 그러한 트레이닝 루틴에 있어서 터치스크린 (2) 상에 제시될 수도 있는 단순 사용자 인터페이스 디스플레이를 도시한 것이다. 예를 들어, 사용자는, 터치스크린 디스플레이 (2) 상에서 돌아다니는 벌 (9) 의 이미지와 같이 터치스크린 (2) 상의 이동 아이콘을 따라가도록 프롬프트될 수도 있다. 각각의 순간에, 모바일 디바이스 (1) 는 디지털 카메라 (3) 로부터 획득된 사용자의 눈의 이미지를 디스플레이 (2) 상의 이동 아이콘 (9) 의 위치와 비교하여, 사용자의 눈의 이미지를 디스플레이 (2) 상의 특정 위치에 상관시키는 방법을 학습한다. 터치스크린 상의 어디에 이미지가 있는지를 디바이스 프로세서가 알기 때문에, 그 프로세서는 차이 또는 정정 팩터를 계산하거나 그렇지 않으면 이미지 분석 룰들을 조정하여, 결정된 위치와 실제 위치를 정렬되게 할 수 있다. 그러한 교정/학습 프로세스는, 널리 공지된 머신 학습 기술들 및 널리 공지된 이미지 인식 기술들을 이용함으로써와 같이, 사용자 안면 이미지를 분석하여 시선의 초점을 결정하는 룰들의 세트를 전개시키는데 이용될 수도 있다.
도 5 및 도 6 에 도시된 교정 및 트레이닝 프로세스들은 통계적으로 평균화된 손가락 사이징된 교정 및 눈 추적 룰들을 제공하기 위해 다수회 반복될 수도 있다. 또한, 눈 추적 트레이닝은 미리결정된 시간 기간 동안, 또는 디스플레이된 이미지의 실제 위치와 사용자가 보고 있다고 결정된 위치 간의 오차가 최대 임계값 미만으로 감소될 때까지 계속될 수도 있다.
일 실시형태에 따라 컴퓨팅 디바이스 상에서 구현될 수도 있는 예시적인 방법 (10) 이 도 7 에 도시되어 있다. 방법 (10) 에 있어서, 가상 키패드가 터치스크린 상에 디스플레이될 경우 눈 추적/디스플레이 증대 기능이 활성화될 수도 있다 (단계 12). 눈 추적/디스플레이 증대 기능을 활성화하는 것의 일부로서, 단계 14 에서, 컴퓨팅 디바이스 내의 프로세서는 메모리로부터 교정값들 및 눈 추적 룰들에 액세스할 수도 있다. 단계 16 에서, 프로세서는 디지털 카메라 (3) 를 활성화하고, 사용자의 얼굴 및 눈을 이미징하기 시작할 수도 있다. 단계 18 에서, 프로세서는 사용자의 얼굴의 이미지를 분석하여 사용자의 시선의 위치를 결정할 수도 있다. 상기 언급된 바와 같이, 이는 사용자의 동공의 위치 및 배향을 위치결정하기 위해 이미지 인식 소프트웨어를 사용함으로써 달성될 수도 있다. 사용자의 시선의 위치를 결정하는 것은 메모리로부터 획득된 이미지 분석 룰들을 사용자의 눈의 이미지에 적용함으로써 달성될 수도 있다. 그러한 이미지 분석 룰들은 도 8 을 참조하여 이하 논의되는 바와 같은 사용자 트레이닝 루틴 동안에 결정 또는 조정될 수도 있다.
사용자의 시선의 방향 또는 위치가 결정될 경우, 판정 단계 20 에서, 프로세서는 그 위치와 디스플레이된 가상 키패드의 위치를 비교하여, 사용자가 키패드를 보고 있는지 여부를 판정할 수도 있다. 사용자가 현재 가상 키보드를 보고 있지 않는다고 프로세서가 판정하면 (즉, 판정 단계 20 = "아니오"), 프로세서는 단계 18 로 리턴함으로써 디지털 카메라로부터 사용자의 눈의 이미지들을 계속 획득 및 분석할 수도 있다. 사용자가 현재 가상 키보드를 보고 있다고 프로세서가 판정하면 (즉, 판정 단계 20 = "예"), 단계 22 에서, 프로세서는 손가락 사이즈 교정 팩터를 이용하여 사용자의 시선의 중심 근방의 키 아이콘들을 증대시킬 수도 있다. 그 후, 프로세서는 단계 18 로 리턴함으로써 디지털 카메라로부터 이미지들을 계속 수신 및 분석한다. 이 프로세스는 가상 키보드가 터치스크린 디스플레이 상에 디스플레이되는 한, 또는 그렇지 않으면 그 기능이 사용자에 의해 종료될 때까지 계속할 수도 있다.
사용자가 보고 있는 곳 부근 내의 가상 키들의 사이즈를 확대하는 것에 부가하여, 프로세서는 또한, 터치스크린 디스플레이에 대한 터치를 사용자 입력으로서 인식할 목적으로 아이콘들의 사이즈를 일치시키도록 각각의 키 아이콘에 매핑된 디스플레이 좌표를 조정할 수도 있다. 그래픽 사용자 인터페이스 기능들은 디스플레이된 이미지에서의 사용자 인터페이스 아이콘들 (예를 들어, 키 아이콘들) 의 위치를 터치스크린 인터페이스 상의 좌표 위치들 또는 경계들에 매핑하여, 특정 아이콘이 사용자에 의해 터치되고 있을 때를 디바이스 프로세서가 인식할 수 있게 한다. 따라서, 단계 22 에서, 프로세서는 또한, 디스플레이 좌표로의 키 아이콘들의 매핑을 조정하여, 디스플레이 상에 제시된 아이콘들의 치수들을 일치시킬 수도 있다. 일 실시형태에 있어서, 키보드 아이콘들의 리사이징은 2개의 단계들로 달성될 수도 있다. 첫째로, 프로세서는 사용자의 시선의 위치 및 손가락 교정 팩터에 기초하여 각각의 키 아이콘에 대한 새로운 사이즈를 결정할 수도 있다. 그 후, 제 2 단계에서, 프로세서는 터치스크린 센서 좌표로의 아이콘들의 매핑을 조정하여, 다양한 키 아이콘들의 조정된 치수들을 일치시킬 수도 있다.
도 8 은, 사용자의 손가락 사이즈 및 눈 시선에 대해 컴퓨팅 디바이스를 트레이닝 및 교정하기 위해 그 컴퓨팅 디바이스 상에서 구현될 수도 있는 예시적인 방법 (30) 을 도시한 것이다. 방법 (30) 이 교정/트레이닝 동작들 양자를 함께 도시하지만, 손가락 사이즈 교정 및 눈 추적 트레이닝은 또한 별개로 달성될 수도 있다. 방법 (30) 에 있어서의 단계 32 에서, 컴퓨팅 디바이스 내의 프로세서는 사용자 메뉴 선택에 응답하여 또는 더 대형의 디바이스 초기화 루틴의 일부로서와 같이 교정/트레이닝 애플리케이션을 활성화할 수도 있다. 단계 34 에서, 프로세서는, 도 5 에 도시된 바와 같이 터치스크린 상의 특정 스폿을 터치하도록 사용자를 프롬프트하는 디스플레이를 생성할 수도 있다. 단계 36 에서, 프로세서는 터치스크린 디스플레이로부터 신호들 또는 좌표 정보를 수신하고 사용자의 손가락에 의해 접촉된 영역의 사이즈 및 형상을 측정할 수도 있다. 단계 38 에서, 프로세서는 접촉 영역의 측정된 사이즈 및 형상을 이용하여, 메모리에 저장될 수 있는 손가락 사이즈 교정 팩터를 계산할 수도 있다. 이 교정 팩터는, 사용자의 손가락에 적합한 아이콘 사이즈를 결정하기 위해 아이콘의 치수들에 적용될 수도 있는 치수값 (예를 들어, 면적, 직경 또는 반경) 또는 확대 팩터 (예를 들어, 퍼센티지 또는 수치값) 일 수도 있다.
단계 40 에서, 프로세서는 디지털 카메라를 활성화하고, 사용자의 얼굴 및 눈을 이미징할 수도 있다. 단계 42 에서, 프로세서는 획득된 이미지를 분석하여, 이미지 내에 사용자의 얼굴을 위치결정하고, 사용자의 눈을 인식하며, 이미지 영역 내에서 사용자의 얼굴의 치수 측정치들을 획득할 수도 있다. 이 정보는, 컴퓨팅 디바이스가 사용자의 얼굴로부터 다양한 거리들에서 유지될 경우 사용자의 눈을 인식 및 추적할 수 있는 이미지 인식 룰들을 생성 또는 조정하는데 이용될 수도 있다. 컴퓨팅 디바이스와 사용자의 얼굴 간의 거리는, 그 기능이 활성화될 때마다 그리고 사용자가 컴퓨팅 디바이스와 상호작용하고 있는 동안에 변경될 가능성이 있을 것이다. 따라서, 교정의 일부는 컴퓨팅 디바이스 프로세서로 하여금 상이한 이미징 거리들을 보상할 수 있게 하는 측정치들을 획득하는 것과 관련될 수도 있다. 또한, 트레이닝 프로세스는 상이한 얼굴-대-카메라 거리들에서 반복되어, 프로세서로 하여금 그러한 분리 거리들에서의 차이들을 보상할 수 있는 인식 룰들을 생성할 수 있게 할 수도 있다.
단계 44 에서, 프로세서는 디스플레이 상의 이동 카툰 또는 아이콘을 따라가도록 사용자를 프롬프트하는 메시지를 디스플레이할 수도 있다. 단계 46 에서, 프로세서는 디스플레이 상의 증분 거리로 그 카툰 또는 아이콘을 이동시킬 수도 있고, 단계 48 에서, 프로세서는 사용자의 얼굴의 이미지를 획득 및 분석하여, 사용자의 시선의 위치를 결정할 수도 있다. 단계 46 에서, 그 카툰 또는 아이콘은 연속적으로, 증분적으로, 또는 큰 스텝으로 (예를 들어, 코너들 각각 및 중심으로 순차적으로) 이동될 수도 있다. 눈 추적 트레이닝이 달성되는 처음에, 단계 48 에서의 시선 결정 동작은 사용자의 눈의 이미지들을 컴퓨팅 디바이스 상의 시선 위치로 전환시키는 디폴트 룰들을 채용할 수도 있다. 단계 50 에서, 컴퓨팅 디바이스는 시선 결정 이미지 분석 룰들을 조정하여, 결정된 위치가 디스플레이 상의 실제 카툰 또는 아이콘 위치와 일치하게 할 수도 있다. 이러한 눈 추적 룰 교정 프로세스는 사용자 시선 위치를 결정하기 위해 단계 48 에서 이용된 룰들의 단순 선형 조정 또는 변형과 관련되어, 결정된 위치가 디스플레이 상의 카툰 또는 아이콘의 실제 위치와 일치하게 할 수도 있다. 판정 단계 52 에서, 프로세서는 트레이닝 프로세스가 종료되었는지를 판정할 수도 있다. 프로세서는 미리결정된 시간량 동안, 미리결정된 수의 위치들에 걸쳐, 또는 시선의 결정된 위치와 카툰 또는 아이콘의 실제 위치 간의 차이가 최대 임계값 (즉, 허용가능 오차) 내에 일관적으로 있을 때까지, 카툰 또는 아이콘을 디스플레이 상에서 이동시킴으로써 트레이닝 루틴을 계속할 수도 있다. 트레이닝이 종료되지 않았다고 프로세서가 판정하는 한 (즉, 판정 단계 52 = "아니오"), 프로세서는 카툰 또는 아이콘을 디스플레이 상에서 이동시키고 (단계 46), 사용자의 시선의 위치를 결정하며 (단계 48), 시선-대-아이콘 결정 룰들을 교정하는 것 (단계 50) 을 계속할 수도 있다. 일단 트레이닝이 종료되었다고 프로세서가 판정하면 (즉, 판정 단계 52 = "예"), 프로세서는 교정 세팅들 및 눈 추적 이미지 분석 룰들을 메모리에 저장할 수도 있다 (단계 54).
다양한 실시형태들이 또한, 우선적인 시각적 증대로부터 이익을 얻을 수도 있는 시각적 디스플레이들을 제시하는 다른 타입들의 애플리케이션들에 적용될 수도 있다. 예를 들어, 눈 추적 국부화 확대 기능은 지도나 네비게이션 프로그램들에서 유용할 수도 있어서, 사용자들이 더 대형의 지도 디스플레이의 콘텍스트 내에서 국부적인 지도 상세들을 볼 수 있게 한다. 가상 키패드와 유사하게, 터치스크린 인터페이스를 터치함으로써 사용자로 하여금 추가 정보를 위한 특정 위치를 선택하는 것을 허용하는 지도 또는 네비게이션 애플리케이션은 손가락 사이즈 교정 팩터에 의존하는 양으로 그 지도를 국부적으로 확대할 수도 있다. 이러한 방식으로, 지도 또는 네비게이션 애플리케이션은, 사용자의 손가락 선단의 사이즈가 잘못된 위치를 부주의하게 선택할 낮은 가능성을 갖는 특정 위치로의 손가락 터치를 통해 사용자 입력들을 수신할 수 있다.
다양한 실시형태들의 또다른 실제 애플리케이션은 터치스크린 디스플레이 상에 디스플레이된 하이퍼링크들, 인터넷 웹 링크들, 또는 다른 "클릭가능한" 텍스트를 증대시키기 위해 눈 추적 국부화 확대 기능을 이용하는 것이다. 대부분의 모바일 디바이스들 상의 터치스크린 디스플레이들의 소형 사이즈로 인해, 디스플레이된 웹 페이지 아이콘들 및 텍스트의 사이즈는 통상적으로 대부분의 사용자들의 손가락 선단보다 더 작다. 따라서, 아이콘들 또는 하이퍼텍스트의 형태인 하이퍼링크들 상을 "클릭"하기 위해 디스플레이 스크린을 터치하는 것은 어려울 수 있다. 다양한 실시형태들은 사용자가 보고 있는 곳에서, 하이퍼링크들을 포함하는 웹 페이지들 및 문서들을 국부적으로 확대할 수 있어서, 하이퍼링크 아이콘 또는 텍스트는, 부정확한 하이퍼링크를 부주의하게 터치하지 않고 사용자로 하여금 원하는 하이퍼링크를 정확하게 터치할 수 있게 하도록 충분히 크다.
도 9 는 컴퓨팅 디바이스 상에서 그러한 기능을 구현하는 예시적인 방법 (60) 을 도시한 것이다. 단계 62 에서, 컴퓨팅 디바이스 프로세서는 지도 또는 다른 애플리케이션의 활성화에 응답하여 시각 추적 및 증대 기능을 활성화할 수도 있다. 눈 추적/디스플레이 증대 기능을 활성화하는 것의 일부로서, 컴퓨팅 디바이스 내의 프로세서는 메모리에서 교정값들 및 눈 추적 룰들에 액세스할 수도 있다 (단계 64). 단계 66 에서, 프로세서는 디지털 카메라를 활성화하고, 사용자의 얼굴 및 눈을 이미징하기 시작할 수도 있다. 단계 68 에서, 프로세서는 사용자의 얼굴의 이미지를 분석하여 사용자의 시선의 위치를 결정할 수도 있다. 이러한 분석을 달성하기 위해, 프로세서는 도 8 을 참조하여 상기 설명된 바와 같이 사용자 트레이닝 루틴 동안에 결정된 이미지 분석 룰들을 적용할 수도 있다. 사용자의 시선의 위치가 결정될 경우, 판정 단계 70 에서, 프로세서는 그 위치와 터치스크린 디스플레이의 위치를 비교하여, 사용자가 컴퓨팅 디바이스 디스플레이를 보고 있는지 여부를 판정할 수도 있다. 사용자가 현재 그 디스플레이를 보고 있지 않는다고 프로세서가 판정하면 (즉, 판정 단계 70 = "아니오"), 프로세서는 단계 68 로 리턴함으로써 디지털 카메라로부터 이미지들을 계속 획득 및 분석할 수도 있다. 사용자가 현재 그 디스플레이를 보고 있다고 프로세서가 판정하면 (즉, 판정 단계 70 = "예"), 단계 72 에서, 프로세서는 사용자의 시선의 중심 근방의 키보드 이미지의 일부를 증대시킬 수도 있다. 그 후, 프로세서는 단계 68 로 리턴함으로써 디지털 카메라로부터 이미지들을 계속 획득 및 분석한다. 이 프로세스는 특정 애플리케이션이 활성화되거나 특정 타입의 이미지가 터치스크린 디스플레이 상에 디스플레이되는 한, 또는 그 기능이 사용자에 의해 종료될 때까지 계속할 수도 있다.
다양한 실시형태들로 사용하기에 적합한 통상의 모바일 디바이스들 (1) 은 도 10 에 도시된 컴포넌트들을 공통으로 가질 것이다. 예를 들어, 모바일 수신기 디바이스 (1) 는 내부 메모리 (102), 터치스크린 디스플레이 (103), 및 사용자가 디스플레이 (103) 를 보고 있는 동안에 사용자의 눈을 이미징할 수 있도록 위치된 디지털 카메라 (3) 에 커플링된 프로세서 (101) 를 포함할 수도 있다. 부가적으로, 모바일 디바이스 (1) 는, 프로세서 (101) 에 커플링된 무선 데이터 링크 및/또는 셀룰러 전화 트랜시버 (105) 에 접속된, 전자기 방사를 전송 및 수신하는 안테나 (104) 를 가질 수도 있다. 모바일 디바이스들은 통상적으로 또한, 사용자 입력들을 수신하는 메뉴 선택 버튼들 또는 록커 스위치들 (107) 을 포함한다. 도 10 이 모바일 컴퓨팅 디바이스를 도시하지만, 개인용 컴퓨터들 및 랩탑 컴퓨터들을 포함하여 다른 형태의 컴퓨팅 디바이스들은 통상적으로 또한, 내부 메모리 (102), 터치스크린 디스플레이 (103), 및 사용자가 디스플레이 (103) 를 보고 있는 동안에 사용자의 눈을 이미징할 수 있도록 위치된 디지털 카메라 (3) 에 커플링된 프로세서 (101) 를 포함할 것이다. 또한, 디지털 카메라 (3) 는 도 10 에 도시된 바와 같이 컴퓨팅 디바이스에 내장될 수도 있거나, 또는 케이블 (도시 안함) 또는 무선 데이터 링크 (도시 안함) 에 의한 것 같이 프로세서 (101) 에 전자적으로 커플링된 별도의 디바이스로서 구성될 수도 있다. 따라서, 도 10 은 청구항들의 범위를, 도시된 특정 폼 팩터의 모바일 컴퓨팅 디바이스로 한정하도록 의도되지 않는다.
프로세서 (101) 는, 본 명세서에서 설명된 다양한 실시형태들의 기능들을 포함한 다양한 기능들을 수행하도록 소프트웨어 명령들 (애플리케이션들) 에 의해 구성될 수 있는 임의의 프로그래머블 마이크로프로세서, 마이크로 컴퓨터 또는 다중의 프로세서 칩 또는 칩들일 수도 있다. 일부 모바일 디바이스들에 있어서는, 무선 통신 기능들에 전용된 일 프로세서 및 구동하는 다른 애플리케이션들에 전용된 일 프로세서와 같은 다중의 프로세서들 (101) 이 제공될 수도 있다. 통상적으로, 소프트웨어 애플리케이션들은, 프로세서 (101) 에 액세스 및 로딩되기 전에 내부 메모리 (102) 에 저장될 수도 있다. 일부 모바일 디바이스들에 있어서, 프로세서 (101) 는 애플리케이션 소프트웨어 명령들을 저장하기에 충분한 내부 메모리를 포함할 수도 있다. 일부 모바일 디바이스들에 있어서, 보안 메모리가 프로세서 (101) 에 커플링된 별도의 메모리 칩에 있을 수도 있다. 다수의 모바일 디바이스들 (1) 에 있어서, 내부 메모리 (102) 는 휘발성 메모리 또는 플래시 메모리와 같은 비휘발성 메모리, 또는 이들 양자의 혼합품일 수도 있다. 이러한 설명의 목적으로, 메모리에 대한 일반적인 참조는 내부 메모리 (102), 모바일 디바이스에 플러깅된 착탈가능 메모리, 및 프로세서 (101) 자체 내의 메모리를 포함하여 프로세서 (101) 에 의해 액세스가능한 모든 메모리를 지칭한다.
전술한 방법 설명들 및 프로세스 플로우 다이어그램들은 단지 예시적인 실시예들로서 제공되며, 다양한 실시형태들의 단계들이 제시된 순서로 수행되어야 함을 요구하거나 암시하도록 의도되지 않는다. 당업자에 의해 인식되는 바와 같이, 전술한 실시형태들에 있어서의 단계들의 순서는 임의의 순서로 수행될 수도 있다. "이후", "그 후", "그 다음" 등과 같은 단어들은 단계들의 순서를 한정하도록 의도되지 않으며; 이들 단어들은 그 방법들의 설명을 통해 독자들을 가이드하기 위해 단순히 사용된다. 또한, 예를 들어 관사 "a", "an", 또는 "the" 를 사용한 단수로의 청구항 엘리먼트들에 대한 임의의 참조는 그 엘리먼트를 단수로 한정하는 것으로서 해석되지 않아야 한다.
본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로서 구현될 수도 있다. 하드웨어와 소프트웨어의 이러한 대체 가능성을 분명히 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능의 관점에서 상술되었다. 그러한 기능이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약에 의존한다. 당업자는 설명된 기능을 각각의 특정 애플리케이션에 대하여 다양한 방식으로 구현할 수도 있지만, 그러한 구현의 결정이 본 발명의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 로직들, 논리 블록들, 모듈들, 및 회로들을 구현하도록 사용된 하드웨어는 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 다른 프로그래머블 로직 디바이스, 별개의 게이트 또는 트랜지스터 로직, 별개의 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계되는 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다. 대안적으로, 일부 단계들 또는 방법들은 소정의 기능에 특정된 회로에 의해 수행될 수도 있다.
하나 이상의 예시적인 실시형태들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수 있다. 소프트웨어에서 구현된다면, 그 기능들은 머신 판독가능 매체 상으로 하나 이상의 명령들 또는 코드로서 저장 또는 송신될 수도 있다. 본 명세서에 개시된 방법 또는 알고리즘의 단계들은 , 컴퓨터 판독가능 매체 상에 상주할 수도 있는 실행되는 프로세서 실행가능 소프트웨어 모듈에서 구현될 수도 있다. 컴퓨터 판독가능 매체는, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체 및 통신 매체 양자를 포함한다. 저장 매체는, 컴퓨터에 의해 액세스될 수도 있는 임의의 가용 매체일 수도 있다. 한정이 아닌 예로서, 그러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 반송 또는 저장하는데 이용될 수도 있고 컴퓨터에 의해 액세스될 수도 있는 임의의 다른 매체를 포함할 수도 있다. 또한, 임의의 접속체가 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 본 명세서에서 사용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 데이터를 레이저로 광학적으로 재생한다. 상기의 조합들이 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다. 부가적으로, 방법 또는 알고리즘의 동작들은, 컴퓨터 프로그램 제품에 통합될 수도 있는 머신 판독가능 매체 및/또는 컴퓨터 판독가능 매체 상의 코드들 및/또는 명령들의 하나 또는 임의의 조합 또는 세트로서 상주할 수도 있다.
개시된 실시형태들의 상기 설명은 당업자로 하여금 본 발명을 제조 또는 이용할 수 있도록 제공된다. 이들 실시형태들에 대한 다양한 변형들은 당업자에게 용이하게 자명할 것이며, 본 명세서에서 정의된 일반적인 원리들은 발명의 사상 또는 범위로부터 일탈함없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 발명은 본 명세서에 나타낸 실시형태들에 한정되도록 의도되지 않으며, 다음의 청구항들 그리고 본 명세서에 개시된 원리들 및 신규한 특징들과 부합하는 최광의 범위를 부여받아야 한다.

Claims (40)

  1. 사용자가 터치스크린 디스플레이를 보고 있을 경우에 사용자의 얼굴을 이미징할 수 있도록 구성된 디지털 카메라 및 상기 터치스크린 디스플레이가 구비된 컴퓨팅 디바이스 상에 사용자 인터페이스를 제공하는 방법으로서,
    상기 디지털 카메라로 상기 컴퓨팅 디바이스의 사용자의 눈의 디지털 이미지를 획득하는 단계;
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 단계;
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 단계; 및
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향된다고 판정될 경우, 상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 단계를 포함하는, 사용자 인터페이스를 제공하는 방법.
  2. 제 1 항에 있어서,
    상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 단계는, 상기 사용자의 손가락의 사이즈에 관련된 교정 팩터에 기초하여 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 단계를 포함하는, 사용자 인터페이스를 제공하는 방법.
  3. 제 2 항에 있어서,
    사용자 인터페이스 아이콘이 상기 터치스크린 디스플레이 상의 상기 사용자의 시선의 결정된 위치 근방에 있을 경우에 상기 사용자 인터페이스 아이콘을 확대하는 단계를 더 포함하는, 사용자 인터페이스를 제공하는 방법.
  4. 제 3 항에 있어서,
    상기 확대된 아이콘과 일치하도록, 디스플레이된 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 단계를 더 포함하는, 사용자 인터페이스를 제공하는 방법.
  5. 제 1 항에 있어서,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 단계는 상기 사용자의 시선이 상기 터치스크린 디스플레이 상의 가상 키보드 이미지에 지향되는지 여부를 판정하는 단계를 포함하고,
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 단계는,
    사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 상기 가상 키보드 이미지 내의 키 아이콘들을 확대하는 단계; 및
    상기 확대된 키 아이콘들과 일치하도록, 디스플레이된 키 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 단계를 포함하는, 사용자 인터페이스를 제공하는 방법.
  6. 제 1 항에 있어서,
    상기 터치스크린 디스플레이 상의 터치 영역의 치수를 측정하는 단계;
    상기 터치 영역의 측정된 치수에 기초하여 손가락 사이즈 교정 팩터를 계산하는 단계; 및
    상기 계산된 손가락 사이징된 교정 팩터를 메모리에 저장하는 단계를 더 포함하는, 사용자 인터페이스를 제공하는 방법.
  7. 제 1 항에 있어서,
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 단계는 상기 획득된 디지털 이미지에 룰을 적용하는 단계를 포함하고,
    상기 사용자 인터페이스를 제공하는 방법은,
    상기 터치스크린 디스플레이 상에 아이콘을 디스플레이하는 단계;
    상기 디지털 카메라로 상기 사용자의 눈의 디지털 이미지를 획득하는 단계;
    상기 획득된 디지털 이미지에 상기 룰을 적용함으로써 상기 사용자의 시선의 위치를 결정하는 단계;
    상기 터치스크린 디스플레이 상의 상기 디스플레이된 아이콘의 실제 위치에 기초하여 상기 룰을 조정하는 단계; 및
    상기 조정된 룰을 메모리에 저장하는 단계를 더 포함하는, 사용자 인터페이스를 제공하는 방법.
  8. 제 1 항에 있어서,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 단계는 상기 사용자의 시선이 디스플레이된 하이퍼링크 부근에 지향되는지 여부를 판정하는 단계를 포함하고,
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 단계는,
    사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 디스플레이된 하이퍼링크들을 확대하는 단계; 및
    상기 확대된 디스플레이된 하이퍼링크들과 일치하도록, 디스플레이된 하이퍼링크들의 터치스크린 좌표로의 매핑을 조정하는 단계를 포함하는, 사용자 인터페이스를 제공하는 방법.
  9. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스는 모바일 디바이스인, 사용자 인터페이스를 제공하는 방법.
  10. 제 1 항에 있어서,
    상기 컴퓨팅 디바이스는 개인용 컴퓨터인, 사용자 인터페이스를 제공하는 방법.
  11. 컴퓨팅 디바이스로서,
    프로세서;
    상기 프로세서에 커플링된 메모리;
    상기 프로세서에 커플링되고, 상기 컴퓨팅 디바이스의 사용자의 눈을 이미징할 수 있도록 구성된 디지털 카메라; 및
    상기 프로세서에 커플링된 터치스크린 디스플레이를 포함하고,
    상기 프로세서는,
    상기 디지털 카메라로 상기 컴퓨팅 디바이스의 사용자의 눈의 디지털 이미지를 획득하는 것;
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 것;
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 것; 및
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향된다고 판정될 경우, 상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것
    을 포함하는 동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  12. 제 11 항에 있어서,
    상기 프로세서는,
    상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것이 상기 사용자의 손가락의 사이즈에 관련된 교정 팩터에 기초하여 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것을 포함하도록 하는 동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  13. 제 12 항에 있어서,
    상기 프로세서는,
    사용자 인터페이스 아이콘이 상기 터치스크린 디스플레이 상의 상기 사용자의 시선의 결정된 위치 근방에 있을 경우에 상기 사용자 인터페이스 아이콘을 확대하는 것을 더 포함하는 동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 확대된 아이콘과 일치하도록, 디스플레이된 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 것을 더 포함하는 동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  15. 제 11 항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 것이 상기 사용자의 시선이 상기 터치스크린 디스플레이 상의 가상 키보드 이미지에 지향되는지 여부를 판정하는 것을 포함하도록 하고, 그리고
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것이, 사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 상기 가상 키보드 이미지 내의 키 아이콘들을 확대하는 것과 상기 확대된 키 아이콘들과 일치하도록, 디스플레이된 키 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 것을 포함하도록 하는
    동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  16. 제 11 항에 있어서,
    상기 프로세서는,
    상기 터치스크린 디스플레이 상의 터치 영역의 치수를 측정하는 것;
    상기 터치 영역의 측정된 치수에 기초하여 손가락 사이즈 교정 팩터를 계산하는 것; 및
    상기 계산된 손가락 사이징된 교정 팩터를 메모리에 저장하는 것
    을 더 포함하는 동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  17. 제 11 항에 있어서,
    상기 프로세서는,
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 것이 상기 획득된 디지털 이미지에 룰을 적용하는 것을 포함하도록 하는 동작들을 수행하도록 프로세서 실행가능 명령들로 구성되고,
    상기 프로세서는,
    상기 터치스크린 디스플레이 상에 아이콘을 디스플레이하는 것;
    상기 디지털 카메라로 상기 사용자의 눈의 디지털 이미지를 획득하는 것;
    상기 획득된 디지털 이미지에 상기 룰을 적용함으로써 상기 사용자의 시선의 위치를 결정하는 것;
    상기 터치스크린 디스플레이 상의 상기 디스플레이된 아이콘의 실제 위치에 기초하여 상기 룰을 조정하는 것; 및
    상기 조정된 룰을 메모리에 저장하는 것
    을 더 포함하는 동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  18. 제 11 항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 것이 상기 사용자의 시선이 디스플레이된 하이퍼링크 부근에 지향되는지 여부를 판정하는 것을 포함하도록 하고, 그리고
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것이, 사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 디스플레이된 하이퍼링크들을 확대하는 것과 상기 확대된 디스플레이된 하이퍼링크들과 일치하도록, 디스플레이된 하이퍼링크들의 터치스크린 좌표로의 매핑을 조정하는 것을 포함하도록 하는
    동작들을 수행하도록 프로세서 실행가능 명령들로 구성되는, 컴퓨팅 디바이스.
  19. 제 11 항에 있어서,
    상기 컴퓨팅 디바이스는 모바일 디바이스인, 컴퓨팅 디바이스.
  20. 제 11 항에 있어서,
    상기 컴퓨팅 디바이스는 개인용 컴퓨터인, 컴퓨팅 디바이스.
  21. 컴퓨팅 디바이스로서,
    터치스크린 디스플레이;
    상기 컴퓨팅 디바이스의 사용자의 눈의 디지털 이미지를 획득하는 수단;
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 수단;
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 수단; 및
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향된다고 판정될 경우, 상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 수단을 포함하는, 컴퓨팅 디바이스.
  22. 제 21 항에 있어서,
    상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 수단은, 상기 사용자의 손가락의 사이즈에 관련된 교정 팩터에 기초하여 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 수단을 포함하는, 컴퓨팅 디바이스.
  23. 제 22 항에 있어서,
    사용자 인터페이스 아이콘이 상기 터치스크린 디스플레이 상의 상기 사용자의 시선의 결정된 위치 근방에 있을 경우에 상기 사용자 인터페이스 아이콘을 확대하는 수단을 더 포함하는, 컴퓨팅 디바이스.
  24. 제 23 항에 있어서,
    상기 확대된 아이콘과 일치하도록, 디스플레이된 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 수단을 더 포함하는, 컴퓨팅 디바이스.
  25. 제 21 항에 있어서,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 수단은 상기 사용자의 시선이 상기 터치스크린 디스플레이 상의 가상 키보드 이미지에 지향되는지 여부를 판정하는 수단을 포함하고,
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 수단은,
    사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 상기 가상 키보드 이미지 내의 키 아이콘들을 확대하는 수단; 및
    상기 확대된 키 아이콘들과 일치하도록, 디스플레이된 키 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 수단을 포함하는, 컴퓨팅 디바이스.
  26. 제 21 항에 있어서,
    상기 터치스크린 디스플레이 상의 터치 영역의 치수를 측정하는 수단;
    상기 터치 영역의 측정된 치수에 기초하여 손가락 사이즈 교정 팩터를 계산하는 수단; 및
    상기 계산된 손가락 사이징된 교정 팩터를 메모리에 저장하는 수단을 더 포함하는, 컴퓨팅 디바이스.
  27. 제 21 항에 있어서,
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 수단은 상기 획득된 디지털 이미지에 룰을 적용하는 수단을 포함하고,
    상기 컴퓨팅 디바이스는,
    상기 터치스크린 디스플레이 상에 아이콘을 디스플레이하는 수단;
    디지털 카메라로 상기 사용자의 눈의 디지털 이미지를 획득하는 수단;
    상기 획득된 디지털 이미지에 상기 룰을 적용함으로써 상기 사용자의 시선의 위치를 결정하는 수단;
    상기 터치스크린 디스플레이 상의 상기 디스플레이된 아이콘의 실제 위치에 기초하여 상기 룰을 조정하는 수단; 및
    상기 조정된 룰을 메모리에 저장하는 수단을 더 포함하는, 컴퓨팅 디바이스.
  28. 제 21 항에 있어서,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 수단은 상기 사용자의 시선이 디스플레이된 하이퍼링크 부근에 지향되는지 여부를 판정하는 수단을 포함하고,
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 수단은,
    사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 디스플레이된 하이퍼링크들을 확대하는 수단; 및
    상기 확대된 디스플레이된 하이퍼링크들과 일치하도록, 디스플레이된 하이퍼링크들의 터치스크린 좌표로의 매핑을 조정하는 수단을 포함하는, 컴퓨팅 디바이스.
  29. 제 21 항에 있어서,
    상기 컴퓨팅 디바이스는 모바일 디바이스인, 컴퓨팅 디바이스.
  30. 제 21 항에 있어서,
    상기 컴퓨팅 디바이스는 개인용 컴퓨터인, 컴퓨팅 디바이스.
  31. 프로세서로 하여금,
    디지털 카메라로 컴퓨팅 디바이스의 사용자의 눈의 디지털 이미지를 획득하는 것;
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 것;
    상기 사용자의 시선이 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 것; 및
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향된다고 판정될 경우, 상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것
    을 포함하는 동작들을 수행하게 하도록 구성된 프로세서 실행가능 명령들이 저장된, 프로세서 판독가능 저장 매체.
  32. 제 31 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것이 상기 사용자의 손가락의 사이즈에 관련된 교정 팩터에 기초하여 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것을 포함하도록 하는 동작들을 수행하게 하도록 구성되는, 프로세서 판독가능 저장 매체.
  33. 제 32 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    사용자 인터페이스 아이콘이 상기 터치스크린 디스플레이 상의 상기 사용자의 시선의 결정된 위치 근방에 있을 경우에 상기 사용자 인터페이스 아이콘을 확대하는 것을 더 포함하는 동작들을 수행하게 하도록 구성되는, 프로세서 판독가능 저장 매체.
  34. 제 33 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    상기 확대된 아이콘과 일치하도록, 디스플레이된 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 것을 더 포함하는 동작들을 수행하게 하도록 구성되는, 프로세서 판독가능 저장 매체.
  35. 제 31 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 것이 상기 사용자의 시선이 상기 터치스크린 디스플레이 상의 가상 키보드 이미지에 지향되는지 여부를 판정하는 것을 포함하도록 하고, 그리고
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것이, 사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 상기 가상 키보드 이미지 내의 키 아이콘들을 확대하는 것과 상기 확대된 키 아이콘들과 일치하도록, 디스플레이된 키 아이콘들의 터치스크린 좌표로의 매핑을 조정하는 것을 포함하도록 하는
    동작들을 수행하게 하도록 구성되는, 프로세서 판독가능 저장 매체.
  36. 제 31 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    상기 터치스크린 디스플레이 상의 터치 영역의 치수를 측정하는 것;
    상기 터치 영역의 측정된 치수에 기초하여 손가락 사이즈 교정 팩터를 계산하는 것; 및
    상기 계산된 손가락 사이징된 교정 팩터를 메모리에 저장하는 것
    을 더 포함하는 동작들을 수행하게 하도록 구성되는, 프로세서 판독가능 저장 매체.
  37. 제 31 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    상기 획득된 디지털 이미지에 기초하여 상기 사용자의 시선의 위치를 결정하는 것이 상기 획득된 디지털 이미지에 룰을 적용하는 것을 포함하도록 하는 동작들을 수행하게 하도록 구성되고,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    상기 터치스크린 디스플레이 상에 아이콘을 디스플레이하는 것;
    상기 디지털 카메라로 상기 사용자의 눈의 디지털 이미지를 획득하는 것;
    상기 획득된 디지털 이미지에 상기 룰을 적용함으로써 상기 사용자의 시선의 위치를 결정하는 것;
    상기 터치스크린 디스플레이 상의 상기 디스플레이된 아이콘의 실제 위치에 기초하여 상기 룰을 조정하는 것; 및
    상기 조정된 룰을 메모리에 저장하는 것
    을 더 포함하는 동작들을 수행하게 하도록 구성되는, 프로세서 판독가능 저장 매체.
  38. 제 31 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은, 프로세서로 하여금,
    상기 사용자의 시선이 상기 터치스크린 디스플레이의 일부에 지향되는지 여부를 판정하는 것이 상기 사용자의 시선이 디스플레이된 하이퍼링크 부근에 지향되는지 여부를 판정하는 것을 포함하도록 하고, 그리고
    상기 사용자가 보고 있는 곳 근방의 상기 터치스크린 디스플레이 상에 제시된 이미지의 일부를 확대하는 것이, 사용자 손가락 사이징된 교정 팩터에 기초하여 상기 사용자가 보고 있는 곳 근방에 위치된 디스플레이된 하이퍼링크들을 확대하는 것과 상기 확대된 디스플레이된 하이퍼링크들과 일치하도록, 디스플레이된 하이퍼링크들의 터치스크린 좌표로의 매핑을 조정하는 것을 포함하도록 하는
    동작들을 수행하게 하도록 구성되는, 프로세서 판독가능 저장 매체.
  39. 제 31 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은 모바일 디바이스의 프로세서에 의해 실행되도록 구성되는, 프로세서 판독가능 저장 매체.
  40. 제 31 항에 있어서,
    상기 저장된 프로세서 실행가능 명령들은 개인용 컴퓨터의 프로세서에 의해 실행되도록 구성되는, 프로세서 판독가능 저장 매체.
KR1020127030015A 2010-04-16 2011-04-15 사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법 KR101436226B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/761,479 2010-04-16
US12/761,479 US8982160B2 (en) 2010-04-16 2010-04-16 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
PCT/US2011/032626 WO2011130594A1 (en) 2010-04-16 2011-04-15 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size

Publications (2)

Publication Number Publication Date
KR20130010012A true KR20130010012A (ko) 2013-01-24
KR101436226B1 KR101436226B1 (ko) 2014-09-01

Family

ID=44318452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127030015A KR101436226B1 (ko) 2010-04-16 2011-04-15 사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법

Country Status (6)

Country Link
US (1) US8982160B2 (ko)
EP (1) EP2558922A1 (ko)
JP (2) JP2013524390A (ko)
KR (1) KR101436226B1 (ko)
CN (1) CN102834789B (ko)
WO (1) WO2011130594A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116585A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법
US9851788B2 (en) 2013-06-11 2017-12-26 Samsung Electronics Co., Ltd Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR20180080486A (ko) * 2017-01-04 2018-07-12 조선대학교산학협력단 오입력을 최소화한 가상키보드 및 이를 이용한 문자 입력방법
KR102426071B1 (ko) * 2021-07-21 2022-07-27 정희석 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
US9886231B2 (en) 2008-03-28 2018-02-06 Kopin Corporation Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
US8677287B2 (en) * 2008-12-04 2014-03-18 Mitsubishi Electric Corporation Display input device and navigation device
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
US20110264442A1 (en) * 2010-04-22 2011-10-27 Microsoft Corporation Visually emphasizing predicted keys of virtual keyboard
US8810543B1 (en) 2010-05-14 2014-08-19 Cypress Semiconductor Corporation All points addressable touch sensing surface
WO2012005005A1 (ja) * 2010-07-07 2012-01-12 パナソニック株式会社 端末装置およびｇｕｉ画面生成方法
KR101695818B1 (ko) * 2010-07-28 2017-01-13 엘지전자 주식회사 이동 단말기 및 이것의 가상 키 패드 제어 방법
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9357024B2 (en) 2010-08-05 2016-05-31 Qualcomm Incorporated Communication management utilizing destination device user presence probability
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
CN102479046B (zh) * 2010-11-30 2013-09-25 英业达股份有限公司 触控装置及其操作方法
US9965094B2 (en) 2011-01-24 2018-05-08 Microsoft Technology Licensing, Llc Contact geometry tests
KR101838696B1 (ko) * 2011-01-24 2018-04-26 삼성전자주식회사 터치스크린 기반 웹브라이저 환경에서 링크 개체 선택 방법 및 장치
US9542092B2 (en) 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
EP2751988A1 (en) * 2011-04-21 2014-07-09 Sony Mobile Communications AB Method and system for providing an improved audio experience for viewers of video
CN103620527B (zh) 2011-05-10 2018-08-17 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
US20130002722A1 (en) * 2011-07-01 2013-01-03 Krimon Yuri I Adaptive text font and image adjustments in smart handheld devices for improved usability
US8368723B1 (en) * 2011-07-14 2013-02-05 Google Inc. User input combination of touch and user position
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
WO2013059647A1 (en) * 2011-10-21 2013-04-25 New York University Reducing visual crowding, increasing attention and improving visual span
US8750852B2 (en) * 2011-10-27 2014-06-10 Qualcomm Incorporated Controlling access to a mobile device
JP2013097593A (ja) * 2011-11-01 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2013098840A (ja) * 2011-11-02 2013-05-20 Sony Corp 情報処理装置、表示制御方法およびプログラム
US9785281B2 (en) 2011-11-09 2017-10-10 Microsoft Technology Licensing, Llc. Acoustic touch sensitive testing
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5945417B2 (ja) * 2012-01-06 2016-07-05 京セラ株式会社 電子機器
WO2013111388A1 (ja) * 2012-01-23 2013-08-01 三菱電機株式会社 情報表示装置
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US9378581B2 (en) 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
JP5962085B2 (ja) 2012-03-15 2016-08-03 ソニー株式会社 表示制御装置、その制御方法およびプログラム
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9471763B2 (en) * 2012-05-04 2016-10-18 Sony Interactive Entertainment America Llc User input processing with eye tracking
JP2013235344A (ja) * 2012-05-07 2013-11-21 Sony Computer Entertainment Inc 入力装置、入力制御方法、及び入力制御プログラム
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
EP2856284B1 (en) * 2012-05-30 2017-10-04 Kopin Corporation Head-worn computer with improved virtual display function
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
CN103514149B (zh) * 2012-06-29 2017-03-22 国际商业机器公司 调整超链接的版面大小的装置和方法
US9170680B2 (en) * 2012-07-12 2015-10-27 Texas Instruments Incorporated Method, system and computer program product for operating a touchscreen
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
CN102841683B (zh) * 2012-07-24 2015-07-22 东莞宇龙通信科技有限公司 应用启动的方法及其通信终端
JP2014035562A (ja) * 2012-08-07 2014-02-24 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US20140049487A1 (en) * 2012-08-17 2014-02-20 Qualcomm Incorporated Interactive user interface for clothing displays
US9772722B2 (en) * 2012-10-22 2017-09-26 Parade Technologies, Ltd. Position sensing methods and devices with dynamic gain for edge positioning
US9559793B2 (en) * 2012-10-25 2017-01-31 Microsoft Technology Licensing, Llc Wireless device test station calibration
US20150261374A1 (en) * 2012-10-26 2015-09-17 Sharp Kabushiki Kaisha Coordinate input device and display device provided with same
DE102012219958A1 (de) * 2012-10-31 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Bestimmung einer Eingabeposition auf einem Touch-Screen
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
TWI483193B (zh) * 2012-12-13 2015-05-01 Hongfujin Prec Ind Wuhan 顯示螢幕移動系統及方法
CN103869943A (zh) * 2012-12-14 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示内容修改系统及方法
US20140184511A1 (en) * 2012-12-28 2014-07-03 Ismo Puustinen Accurate data entry into a mobile computing device
KR20140090552A (ko) * 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US10884577B2 (en) * 2013-01-15 2021-01-05 Poow Innovation Ltd. Identification of dynamic icons based on eye movement
US20140208263A1 (en) * 2013-01-24 2014-07-24 Victor Maklouf System and method for dynamically displaying characters over a screen of a computerized mobile device
US9693684B2 (en) 2013-02-14 2017-07-04 Facebook, Inc. Systems and methods of eye tracking calibration
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
CN104035549A (zh) * 2013-03-06 2014-09-10 联想(北京)有限公司 一种信号处理的方法及装置
US20160139803A1 (en) * 2013-03-11 2016-05-19 City University Of Hong Kong Regional zooming virtual keyboards for accurate typing on small displays
US20140267281A1 (en) * 2013-03-13 2014-09-18 Ericom Software Ltd. Method for displaying a remote desktop on a portable touch screen device
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
CN105359062B (zh) * 2013-04-16 2018-08-07 脸谱公司 眼动追踪数据分析系统及方法
KR102080183B1 (ko) * 2013-04-18 2020-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서 잠금 해제 방법
GB2514603B (en) 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9189095B2 (en) 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
KR101500098B1 (ko) * 2013-07-05 2015-03-06 현대자동차주식회사 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10156984B2 (en) 2013-09-29 2018-12-18 Shenzhen Hsmc Technology Co., Ltd. Method for implementing control of keys of virtual keyboard on wide touch screen with two thumbs
US9933858B2 (en) 2013-09-29 2018-04-03 Shenzhen Hsmc Technology Co., Ltd. Keyboard operated with two thumbs and key layout method thereof
CN103576879B (zh) * 2013-09-29 2016-03-30 罗蒙明 一种实现双手拇指操控宽屏虚拟键盘按键的方法
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
KR20150051663A (ko) * 2013-11-05 2015-05-13 삼성전자주식회사 터치 입력에 반응하여 기능을 실행하는 방법 및 이를 구현하는 전자장치
US9971413B2 (en) * 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
CN103645806B (zh) * 2013-12-24 2016-09-14 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
CN105874409A (zh) * 2014-01-08 2016-08-17 索尼公司 信息处理系统、信息处理方法及程序
JP6349838B2 (ja) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
US11010042B2 (en) * 2014-02-13 2021-05-18 Lenovo (Singapore) Pte. Ltd. Display of different versions of user interface element
JP6343953B2 (ja) * 2014-02-13 2018-06-20 オムロン株式会社 プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
EP3108338A1 (en) * 2014-02-21 2016-12-28 Drnc Holdings, Inc. Methods for facilitating entry of user input into computing devices
US9324149B2 (en) * 2014-03-17 2016-04-26 Joel David Wigton Method and use of smartphone camera to prevent distracted driving
US9158426B1 (en) * 2014-03-19 2015-10-13 Google Inc. Touch keyboard calibration
EP2924540B1 (de) * 2014-03-27 2019-04-24 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und System zum Betreiben einer Anzeigevorrichtung
WO2015154882A1 (en) 2014-04-11 2015-10-15 The Eye Tribe Aps Systems and methods of eye tracking calibration
US20150301598A1 (en) * 2014-04-22 2015-10-22 Kabushiki Kaisha Toshiba Method, electronic device, and computer program product
WO2015183208A1 (en) * 2014-05-30 2015-12-03 Koç Üniversitesi Gaze based prediction device and method
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
WO2015198366A1 (ja) * 2014-06-23 2015-12-30 富士通株式会社 電子機器、モード判定方法およびモード判定プログラム
CN105446673B (zh) * 2014-07-28 2018-10-19 华为技术有限公司 屏幕显示的方法及终端设备
CN104536556B (zh) * 2014-09-15 2021-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
US10585584B2 (en) * 2014-09-29 2020-03-10 Hewlett-Packard Development Company, L.P. Virtual keyboard
JP6547268B2 (ja) 2014-10-02 2019-07-24 富士通株式会社 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム
US10126940B2 (en) * 2014-10-19 2018-11-13 Lenovo (Singapore) Pte. Ltd. Touch zones on a soft keyboard
CN105630365A (zh) * 2014-10-29 2016-06-01 深圳富泰宏精密工业有限公司 网页调整方法及系统
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US20160140523A1 (en) * 2014-11-13 2016-05-19 Bank Of America Corporation Position adaptive atm for customer privacy
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
KR20160071139A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 시선 캘리브레이션 방법 및 그 전자 장치
US9961258B2 (en) 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
US9791942B2 (en) 2015-03-31 2017-10-17 International Business Machines Corporation Dynamic collaborative adjustable keyboard
CN104793750A (zh) * 2015-04-30 2015-07-22 努比亚技术有限公司 输入的方法及装置
CN104834402B (zh) * 2015-05-11 2018-01-02 上海交通大学 基于预测的自适应中文输入法触摸屏键盘的实现方法
JP6553418B2 (ja) 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
US9927974B2 (en) * 2015-09-22 2018-03-27 Qualcomm Incorporated Automatic customization of keypad key appearance
CN105607736B (zh) * 2015-12-17 2019-10-11 魅族科技（中国）有限公司 一种信息显示方法及终端
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
EP3451135A4 (en) * 2016-04-26 2019-04-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US10275023B2 (en) 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
CN106126088A (zh) * 2016-06-15 2016-11-16 青岛海信移动通信技术股份有限公司 一种图片放大显示的方法及装置
JP6809022B2 (ja) 2016-07-29 2021-01-06 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
JP2018031822A (ja) * 2016-08-22 2018-03-01 パイオニア株式会社 表示装置及び方法、並びにコンピュータプログラム及び記録媒体
DK201670728A1 (en) * 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
CN106791135B (zh) * 2016-12-29 2020-12-29 努比亚技术有限公司 一种自动局部缩放显示方法及移动终端
GB2560340A (en) * 2017-03-07 2018-09-12 Eyn Ltd Verification method and system
CN110832441B (zh) * 2017-05-19 2023-12-26 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
DE102017213005A1 (de) * 2017-07-27 2019-01-31 Audi Ag Verfahren zum Darstellen eines Anzeigeinhalts
EP3678581A4 (en) * 2017-09-05 2021-05-26 Covidien LP ROBOTIC SURGICAL SYSTEMS AND PROCESSES AS WELL AS COMPUTER-READABLE MEDIA FOR ORDERING THEM
US10768696B2 (en) * 2017-10-05 2020-09-08 Microsoft Technology Licensing, Llc Eye gaze correction using pursuit vector
US10936189B2 (en) * 2017-10-24 2021-03-02 BBPOS Limited System and method for a keypad on a touch screen device
CN108052304B (zh) * 2017-11-22 2021-03-26 努比亚技术有限公司 一种音量调节方法、设备及计算机存储介质
DE102018211624A1 (de) * 2018-07-12 2020-01-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Benutzerschnittstelle zur Erfassung einer Eingabe mittels Zeigegestik
DE102018212398A1 (de) * 2018-07-25 2020-01-30 Audi Ag Eingabeeinheit und Verfahren zum Eingeben von Steuerbefehlen
CN109177899B (zh) * 2018-08-30 2021-03-09 上海天马微电子有限公司 车载显示装置的交互方法和车载显示装置
CN109242778A (zh) * 2018-09-18 2019-01-18 北京旷视科技有限公司 一种图片标注控制方法、装置及其存储介质
WO2020147948A1 (en) * 2019-01-16 2020-07-23 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
CN109840060A (zh) * 2019-01-31 2019-06-04 维沃移动通信有限公司 一种显示控制方法及终端设备
US11159731B2 (en) * 2019-02-19 2021-10-26 Samsung Electronics Co., Ltd. System and method for AI enhanced shutter button user interface
JP7215254B2 (ja) * 2019-03-13 2023-01-31 株式会社リコー 情報処理装置、表示制御方法、及びプログラム
WO2020189254A1 (ja) * 2019-03-15 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
CN110286759A (zh) * 2019-06-18 2019-09-27 广东以诺通讯有限公司 基于视线跟踪的终端自适应放大显示方法、系统及终端
US10990420B1 (en) * 2019-10-24 2021-04-27 Dell Products L.P. Customizing user interface components
JP6827132B2 (ja) * 2020-01-14 2021-02-10 パイオニア株式会社 操作装置、制御方法、プログラム及び記憶媒体
US11281289B2 (en) 2020-02-21 2022-03-22 Honda Motor Co., Ltd. Content adjustment based on vehicle motion and eye gaze
CN116719452A (zh) * 2020-09-25 2023-09-08 苹果公司 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
CN112987930A (zh) * 2021-03-17 2021-06-18 读书郎教育科技有限公司 一种实现和大尺寸电子产品便捷交互的方法
SE545129C2 (en) * 2021-03-31 2023-04-11 Tobii Ab Method and system for eye-tracker calibration

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JPH0887380A (ja) 1994-09-19 1996-04-02 Tabai Espec Corp 操作体対応型操作パネル装置
JP3272906B2 (ja) * 1995-05-29 2002-04-08 シャープ株式会社 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
JP2004118484A (ja) 2002-09-26 2004-04-15 Toshiba Corp リンク表示位置変更方法、リンク表示位置変更プログラム、文書表示装置、入出力装置及び計算機
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
FI20045149A (fi) * 2004-04-23 2005-10-24 Nokia Corp Käyttöliittymä
US9213404B2 (en) * 2006-02-01 2015-12-15 Tobii Technology Ab Generation of graphical feedback in a computer system
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US20080238947A1 (en) * 2007-03-27 2008-10-02 Keahey T Alan System and method for non-linear magnification of images
JP4884417B2 (ja) 2008-04-01 2012-02-29 富士フイルム株式会社 携帯型電子装置及びその制御方法
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116585A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법
US9851788B2 (en) 2013-06-11 2017-12-26 Samsung Electronics Co., Ltd Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10203754B2 (en) 2013-06-11 2019-02-12 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10514758B2 (en) 2013-06-11 2019-12-24 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11194388B2 (en) 2013-06-11 2021-12-07 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11366516B2 (en) 2013-06-11 2022-06-21 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR20180080486A (ko) * 2017-01-04 2018-07-12 조선대학교산학협력단 오입력을 최소화한 가상키보드 및 이를 이용한 문자 입력방법
KR102426071B1 (ko) * 2021-07-21 2022-07-27 정희석 인공지능 기반 시선 인식 장치 및 방법과 이를 이용한 무인 정보 단말기

Also Published As

Publication number Publication date
CN102834789A (zh) 2012-12-19
KR101436226B1 (ko) 2014-09-01
WO2011130594A1 (en) 2011-10-20
EP2558922A1 (en) 2013-02-20
CN102834789B (zh) 2017-03-01
JP2013524390A (ja) 2013-06-17
US20110254865A1 (en) 2011-10-20
JP6069378B2 (ja) 2017-02-01
US8982160B2 (en) 2015-03-17
JP2015097123A (ja) 2015-05-21

Similar Documents

Publication Publication Date Title
KR101436226B1 (ko) 사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법
US20180349346A1 (en) Lattice-based techniques for providing spelling corrections
JP2022118183A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US20130145304A1 (en) Confirming input intent using eye tracking
US20130215018A1 (en) Touch position locating method, text selecting method, device, and electronic equipment
US20190238755A1 (en) Method and apparatus for push interaction
US20130275907A1 (en) Virtual keyboard
EP2840478B1 (en) Method and apparatus for providing user interface for medical diagnostic apparatus
US20140059428A1 (en) Portable device and guide information provision method thereof
KR20190021595A (ko) 전자 장치 및 전자 장치의 제어 방법
CN103914196B (zh) 电子设备和确定电子设备的触摸按键输入的有效性的方法
KR20140136066A (ko) 스마트 사용자 커스터마이징된 가상 키보드
WO2014201831A1 (en) Wearable smart glasses as well as device and method for controlling the same
CN106406708A (zh) 一种显示方法及移动终端
TWI564780B (zh) 觸控螢幕姿態技術
JP2013200792A (ja) 端末装置、および、制御方法
US20160266698A1 (en) Method and apparatus for generating a personalized input panel
GB2591201A (en) Computer-Implemented System and Method For Assisting Input To A Virtual Keypad or Keyboard On An Electronic Device
CN106990843B (zh) 一种眼睛跟踪系统的参数校准方法及电子设备
CN116737051B (zh) 基于触控屏的视触结合交互方法、装置、设备和可读介质
KR102229971B1 (ko) 콘텐츠 정보 제공 지원 장치 및 방법
AU2021103563A4 (en) Computer-Implemented System and Method For Assisting Input To A Virtual Keypad or Keyboard On An Electronic Device
KR102198867B1 (ko) 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
KR101966585B1 (ko) 공간터치장치 및 이를 포함하는 디스플레이 장치
KR20100051387A (ko) 터치 스크린을 구비한 장치에서 사용자 인터페이스 제공 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee