KR102237659B1 - 입력 방법 및 이를 수행하는 장치들 - Google Patents

입력 방법 및 이를 수행하는 장치들 Download PDF

Info

Publication number
KR102237659B1
KR102237659B1 KR1020190020601A KR20190020601A KR102237659B1 KR 102237659 B1 KR102237659 B1 KR 102237659B1 KR 1020190020601 A KR1020190020601 A KR 1020190020601A KR 20190020601 A KR20190020601 A KR 20190020601A KR 102237659 B1 KR102237659 B1 KR 102237659B1
Authority
KR
South Korea
Prior art keywords
gaze
touch
keyboard
user
key
Prior art date
Application number
KR1020190020601A
Other languages
English (en)
Other versions
KR20200102228A (ko
Inventor
이기혁
안성근
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190020601A priority Critical patent/KR102237659B1/ko
Priority to US16/364,445 priority patent/US20200275089A1/en
Publication of KR20200102228A publication Critical patent/KR20200102228A/ko
Application granted granted Critical
Publication of KR102237659B1 publication Critical patent/KR102237659B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

입력 방법 및 이를 수행하는 장치들이 개시된다. 일 실시예에 따른 입력 방법은 사용자의 시선에 응답하여 가상 현실 내 복수의 키보드들 중에서 상기 시선에 대응하는 키보드를 선택하는 단계와, 상기 사용자의 터치에 응답하여 선택된 키보드에 포함된 복수의 키들 중에서 상기 터치에 해당하는 키를 입력하는 단계를 포함한다.

Description

입력 방법 및 이를 수행하는 장치들{METHOD FOR INPUT AND APPARATUSES PERFORMING THE SAME}
아래 실시예들은 입력 방법 및 이를 수행하는 장치들에 관한 것이다.
얼굴 착용형 장치는 구글 글래스 및 뷰직스 M series 등의 스마트 글래스 및 가상 현실용 디스플레이 장치로 구현된다. 얼굴 착용형 장치는 디스플레이에 대한 접근성이 높은 장치이며, 동시에 눈의 움직임을 추적하기 적합한 형태이다. 이에, 시선 추적 장치 제조사들이 안경 형태의 시선 추적 장치와 시선 추적이 가능한 가상 현실 디스플레이 장치를 상품화하고 있다.
다만, 얼굴 착용형 장치는 문자 입력과 같이 복잡한 터치 입력을 수행하기에는 입력 공간이 부족하고 제한적인 문제가 있다.
예를 들어, 스마트 글래스는 길고 좁은 안경 다리에 부착된 터치 패드를 입력 장치로 이용하거나 음성 입력을 이용해 문자를 입력한다.
터치 패드는 일 차원 조작인 스크롤 등의 조작이 수행되기에는 용이할 수 있으나 문자 입력과 같이 복잡한 입력이 수행되기에는 제한적일 수 있다. 기존 연구자들은 제한적인 입력 공간의 문제를 해결하기 위해서, 하나의 문자를 입력하기 위한 복수의 터치 입력을 수행하거나 복잡한 unistroke 제스처를 이용하여 문자를 입력하는 방법을 디자인한 바 있다.
음성 입력을 이용하여 문자 입력을 수행하는 경우, 얼굴 착용형 장치는 직관적이고 빠른 입력 속도를 가지고 있으나, 사적인 정보를 보호할 수 없다는 단점이 있다.
또한, 얼굴 착용형 장치는 매 입력 마다 주변 사람들의 주목을 끌 수 있기에 상황에 따라 사용 제약이 발생하는 문제가 있다.
공개된 장소에서 음성을 이용하여 문자 입력을 수행하는 경우, 얼굴 착용형 장치는 특히 비밀 번호를 입력하기 적합하지 않고 정숙이 요구되는 공공 장소에서 사용이 불가능한 치명적인 문제가 있다.
실시예들은 사용자의 시선 및 터치에 응답하여 사용자의 시선 및 터치에 대응하는 키(또는 문자)를 입력하는 기술을 제공할 수 있다.
일 실시예에 따른 입력 방법은 사용자의 시선에 응답하여 가상 현실 내 복수의 키보드들 중에서 상기 시선에 대응하는 키보드를 선택하는 단계와, 상기 사용자의 터치에 응답하여 선택된 키보드에 포함된 복수의 키들 중에서 상기 터치에 해당하는 키를 입력하는 단계를 포함한다.
상기 선택하는 단계는 상기 시선을 나타내는 시선 커서를 상기 가상 현실 내에 표시하는 단계와, 상기 복수의 키보드들 중에서 상기 시선 커서에 대응하는 키보드를 상기 시선에 대응하는 키보드로 선택하는 단계를 포함할 수 있다.
상기 시선 커서에 대응하는 키보드를 상기 시선에 대응하는 키보드로 선택하는 단계는 상기 시선 커서가 상기 복수의 키보드들 중에서 어느 하나의 키보드의 범위 내에 위치하는지 판단하는 단계와, 상기 시선 커서가 상기 어느 하나의 키보드의 범위 내에 위치하는 경우, 상기 어느 하나의 키보드를 상기 시선에 대응하는 키보드로 선택하는 단계를 포함할 수 있다.
상기 시선 커서의 좌표는 상기 시선에 따른 가상 현실 내 응시 위치 및 상기 응시 위치에 대응하는 키보드의 범위에 기초하여 결정될 수 있다.
상기 시선 커서의 x축 좌표는 상기 응시 위치의 x축 좌표와 동일하게 결정될 수 있다.
상기 시선 커서의 y축 좌표는 상기 응시 위치에 대응하는 키보드 하단의 특정 위치로 결정될 수 있다.
상기 시선에 대응하는 키보드를 선택하는 단계는 상기 선택된 키보드에 대한 선택 완료 피드백을 제공하는 단계와, 상기 복수의 키들 중에서 적어도 하나가 입력될 입력 필드를 상기 선택된 키모드 내에 표시하는 단계를 더 포함할 수 있다.
상기 선택 완료 피드백은 상기 선택된 키보드가 선택되었음을 알리는 피드백으로, 상기 선택된 키보드를 강조 및 확대 중에서 적어도 하나하는 시각화 피드백일 수 있다.
상기 입력하는 단계는 상기 복수의 키들 중에서 상기 터치에 해당하는 키를 선택하는 단계와, 선택된 키를 입력하는 단계를 포함할 수 있다.
상기 터치는 탭핑(tapping) 제스처 및 스와이프(swipe) 제스처 중에서 어느 하나일 수 있다.
상기 탭핑 제스처는 상기 사용자가 임의의 지점을 탭핑하는 제스처일 수 있다.
상기 스와이프 제스처는 상기 사용자가 임의의 지점을 터치한 후 터치를 유지한 체 스와이프하는 제스처일 수 있다.
상기 터치에 해당하는 키를 선택하는 단계는 상기 터치가 상기 텝핑 제스처인 경우, 상기 복수의 키들 중에서 중앙에 위치한 중앙 키를 선택하는 단계와, 상기 터치가 상기 스와이프 제스처인 경우, 상기 복수의 키들 중에서 상기 중앙 키를 제외한 나머지 키를 선택하는 단계를 포함할 수 있다.
상기 나머지 키를 선택하는 단계는 상기 복수의 키들 중에서 상기 스와이프 제스처의 이동 방향에 대응하는 키를 상기 나머지 키로 선택하는 단계를 포함할 수 있다.
상기 터치에 해당하는 키를 입력하는 단계는 상기 터치에 해당하는 키에 상기 터치를 나타내는 터치 커서를 표시하는 단계와, 상기 선택된 키를 상기 터치에 해당하는 키가 입력될 입력 필드에 표시하는 단계를 더 포함할 수 있다.
일 실시예에 따른 사용자 인터페이스 장치는 메모리와, 사용자의 시선에 응답하여 가상 현실 내 복수의 키보드들 중에서 상기 시선에 대응하는 키보드를 선택하고, 상기 사용자의 터치에 응답하여 선택된 키보드에 포함된 복수의 키들 중에서 상기 터치에 해당하는 키를 입력하는 컨트롤러를 포함한다.
상기 컨트롤러는 상기 시선을 나타내는 시선 커서를 상기 가상 현실 내에 표시하고, 상기 복수의 키보드들 중에서 상기 시선 커서에 대응하는 키보드를 상기 시선에 대응하는 키보드로 선택할 수 있다.
상기 컨트롤러는 상기 시선 커서가 상기 복수의 키보드들 중에서 어느 하나의 키보드의 범위 내에 위치하는지 판단하고, 상기 시선 커서가 상기 어느 하나의 키보드의 범위 내에 위치하는 경우, 상기 어느 하나의 키보드를 상기 시선에 대응하는 키보드로 선택할 수 있다.
상기 시선 커서의 좌표는 상기 시선에 따른 가상 현실 내 응시 위치 및 상기 응시 위치에 대응하는 키보드의 범위에 기초하여 결정될 수 있다.
상기 시선 커서의 x축 좌표는 상기 응시 위치의 x축 좌표와 동일하게 결정될 수 있다.
상기 시선 커서의 y축 좌표는 상기 응시 위치에 대응하는 키보드 하단의 특정 위치로 결정될 수 있다.
상기 컨트롤러는 상기 선택된 키보드에 대한 선택 완료 피드백을 제공하고, 상기 복수의 키들 중에서 적어도 하나가 입력될 입력 필드를 상기 선택된 키보드 내에 표시할 수 있다.
상기 선택 완료 피드백은 상기 선택된 키보드가 선택되었음을 알리는 피드백으로, 상기 선택된 키보드를 강조 및 확대 중에서 적어도 하나하는 시각화 피드백일 수 있다.
상기 컨트롤러는 상기 복수의 키들 중에서 상기 터치에 해당하는 키를 선택하고, 선택된 키를 입력할 수 있다.
상기 터치는 탭핑(tapping) 제스처 및 스와이프(swipe) 제스처 중에서 어느 하나일 수 있다.
상기 탭핑 제스처는 상기 사용자가 임의의 지점을 탭핑하는 제스처일 수 있다.
상기 스와이프 제스처는 상기 사용자가 임의의 지점을 터치한 후 터치를 유지한 체 스와이프하는 제스처일 수 있다.
상기 컨트롤러는 상기 터치가 상기 텝핑 제스처인 경우, 상기 복수의 키들 중에서 중앙에 위치한 중앙 키를 선택하고, 상기 터치가 상기 스와이프 제스처인 경우, 상기 복수의 키들 중에서 상기 중앙 키를 제외한 나머지 키를 선택할 수 있다.
상기 컨트롤러는 상기 복수의 키들 중에서 상기 스와이프 제스처의 이동 방향에 대응하는 키를 상기 나머지 키로 선택할 수 있다.
상기 컨트롤러는 상기 터치에 해당하는 키에 상기 터치를 나타내는 터치 커서를 표시하고, 상기 선택된 키를 상기 터치에 해당하는 키가 입력될 입력 필드에 표시할 수 있다.
도 1은 일 실시예에 따른 문자 입력 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 사용자 인터페이스 장치의 개략적인 블록도를 나타낸다.
도 3은 도 1에 도시된 사용자 인터페이스 장치의 키보드 선택 동작을 설명하기 위한 일 예를 나타낸다.
도 4a는 도 1에 도시된 사용자 인터페이스 장치의 키 입력 동작을 설명하기 위한 일 예를 나타낸다.
도 4b는 도 1에 도시된 사용자 인터페이스 장치의 키 입력 동작을 설명하기 위한 다른 예를 나타낸다.
도 4c는 도 1에 도시된 사용자 인터페이스 장치의 키 입력 동작을 설명하기 위한 또 다른 예를 나타낸다.
도 5a는 복수의 키보드들의 일 예를 설명하기 위한 도면이다.
도 5b는 복수의 키보드들의 다른 예를 설명하기 위한 도면이다.
도 5c는 복수의 키보드들의 또 다른 예를 설명하기 위한 도면이다.
도 5d는 복수의 키보드들의 또 다른 예를 설명하기 위한 도면이다.
도 6a는 시선 커서를 생성하는 동작을 설명하기 위한 도면이다.
도 6b는 도 6a에 따라 시선 커서가 생성되는 예를 설명하기 위한 도면이다.
도 7은 입력 필드의 일 예를 설명하기 위한 도면이다.
도 8은 터치 커서의 일 예를 설명하기 위한 도면이다.
도 9은 도 1에 도시된 사용자 인터페이스 장치의 동작을 설명하기 위한 순서도를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 실시예들은 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 문자 입력 시스템의 개략적인 블록도를 나타낸다.
문자 입력 시스템(a text input system; 10)은 전자 장치(an electronic apparatus; 100) 및 사용자 인터페이스 장치(a user interface appratus; 300)를 포함한다.
전자 장치(100)는 사용자가 착용 가능한 웨어러블 장치일 수 있다. 예를 들어, 웨어러블 장치는 사용자의 머리에 착용 가능한 가상 현실용 웨어러블 장치로써, 구글 글래스, 뷰직스 M seies, 안경형 착용 장치, 가상 현실용 디스플레이 등 다양한 장치일 수 있다.
전자 장치(100)는 가상 현실(또는 증강 현실)을 생성할 수 있다. 전자 장치(100)에 포함된 센서(110)는 사용자의 시선을 감지하고, 사용자의 시선을 사용자 인터페이스 장치(300)로 전송할 수 있다. 예를 들어, 사용자의 시선은 가상 현실을 바라보는 시선일 수 있다.
전자 장치(100)는 PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.
사용자 인터페이스 장치(300)는 전자 장치(100)를 제어하기(또는 조작하기) 위한 인터페이스 장치일 수 있다. 도 1에서는 설명의 편의를 위해 사용자 인터페이스 장치(300)가 전자 장치(100)의 외부에 구현된 것으로 도시하고 있지만, 반드시 이에 한정되는 것은 아니다. 예를 들어, 사용자 인터페이스 장치(300)는 전자 장치(100) 내에 구현될 수 있고, 전자 장치(100)와 통신이 가능한 별도의 장치로 구현될 수 있고, 전자 장치(100)와 통신이 가능한 전자 장치 내에 구현될 수 있다. 또한, 도 1의 전자 장치(100)에 포함된 센서(110)는 사용자 인터페이스 장치(300) 내에 구현될 수도 있다. 전자 장치(100)와 통신이 가능한 전자 장치도 상술한 전자 장치(100)와 같이 구현될 수 있다.
사용자 인터페이스 장치(300)는 사용자의 터치를 감지할 수 있다. 사용자 인터페이스 장치(300)는 사용자의 시선 및 터치에 응답하여 전자 장치(100)에서 생성되는 가상 현실 내 사용자의 시선 및 터치에 대응하는 키(또는 문자)를 입력할 수 있다.
이에, 사용자 인터페이스 장치(100)는 사용자의 시선 및 터치가 상호 보완적으로 수행되는 효율적인 문자 입력이 가능하여 사용자의 눈 피로도가 경감되고, 팔의 피도로가 낮아지고, 세밀한(subtle) 조작이 가능하고, 문자 입력의 속도 및 정확도가 상승하게 할 수 있다.
사용자 인터페이스 장치(100)는 시선만을 이용하여 문자를 입력하는 방법보다 낮은 수준의 시선 응답 정확도 및 정밀도로 문자 입력을 수행할 수 있다. 사용자 인터페이스 장치(100)는 터치만을 이용하여 문자를 입력하는 방법보다 문자 입력을 신속하게 수행할 수 있다.
또한, 사용자 인터페이스 장치(100)는 사용자의 시선 및 터치에 응답하기에, 시선에 따른 키보드 수 및 터치에 따른 키 수가 종속적이고, 터치 패드의 제한된 입력 공간을 극복하여 보다 효율적으로 활용 가능하고, 키보드 수 및 키 수를 유연하게 디자인할 수 있다.
이에, 사용자는 사용자의 시선 및 터치를 번갈아 사용하여 문자를 입력할 수 있기에, 사용자의 시선외에 고개나 손목의 움직임을 추가적으로 사용하는 것보다 인지적인 어려움을 느끼지 않을 수 있다.
도 2는 도 1에 도시된 사용자 인터페이스 장치의 개략적인 블록도를 나타낸다.
사용자 인터페이스 장치(300)는 메모리(310), 컨트롤러(330), 및 터치 패드(350)를 포함한다.
메모리(310)는 컨트롤러(330)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 컨트롤러(330)의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
컨트롤러(330)는 전자 장치(100)로부터 전송된 문자 입력 신호에 응답하여 전자 장치(100)가 제공하는 가상 현실 내에 복수의 키보드들을 생성할 수 있다. 이때, 문자 입력 신호는 사용자가 전자 장치(100)에 문자를 입력하기 위해 문자 입력을 위한 트리거 신호일 수 있다. 트리거 신호는 사용자의 조작에 따라 전자 장치(200)에서 발생할 수 있다.
복수의 키보드들 각각은 가상의 키보드로, 키보드 범위 내에 복수의 키들(또는 문자들)을 포함할 수 있다. 예를 들어, 키보드 범위(또는 키보드 형태, 키보드 레이 아웃)는 복수의 키들을 포함하기 위한 범위로써, 삼각형, 사각형 및 원형 등 다양할 수 있다.
컨트롤러(330)는 사용자의 시선에 응답하여 복수의 키보드들 중에서 사용자의 시선에 대응하는 키보드를 선택할 수 있다. 이때, 컨트롤러(330)는 사용자의 시선에만 응답하고, 사용자의 터치에는 응답하지 않을 수 있다.
먼저, 컨트롤러(330)는 사용자의 시선에 응답하여 사용자의 시선을 나타내는 시선 커서를 가상 현실 내에 표시(또는 생성)할 수 있다. 시선 커서는 선택된 키보드에 포함된 복수의 키들을 방해하지 않는 위치에 표시될 수 있다. 시선 커서는 키보드가 선택되기 전까지 사용자의 시선에 따라 이동할 수 있다.
예를 들어, 컨트롤러(330)는 사용자의 시선에 따른 가상 현실 내 응시 위치 및 응시 위치에 대응하는 키보드의 범위(도는 높이)에 기초하여 시선 커서의 좌표를 결정할 수 있다. 시선 커서의 x축 좌표는 응시 위치의 x축 좌표와 동일하게 결정되고, 시선 커서의 y축 좌표는 응시 위치에 대응하는 키보드 하단의 특정 위치로 결정될 수 있다.
이후에, 컨트롤러(330)는 복수의 키보드들 중에서 시선 커서에 대응하는 키보드를 사용자의 시선에 대응하는 키보드로 선택할 수 있다.
예를 들어, 컨트롤러(330)는 기 설정된 시간 동안 시선 커서가 복수의 키보드들 중에서 어느 하나의 키보드의 범위 내에 위치하는지 판단할 수 있다. 기 설정된 시간은 컨트롤러(300)가 사용자의 시선이 키보드를 선택하기 위한 시선임을 판단하기 위한 판단 기준 시간일 수 있다.
기 설정된 시간 동안 시선 커서가 어느 하나의 키보드의 범위 내에 위치하는 경우, 컨트롤러(330)는 어느 하나의 키보드를 사용자의 시선에 대응하는 키보드로 선택할 수 있다.
키보드가 선택된 경우, 컨트롤러(330)는 선택된 키보드에 대한 선택 완료 피드백을 전자 장치(100)내 가상 현실에 출력할 수 있다.
선택 완료 피드백은 사용자의 시선에 대응하는 키보드가 선택되었음을 알리는 피드백(또는 알림)일 수 있다. 예를 들어, 선택 완료 피드백은 선택된 키보드를 강조 및/또는 확대하는 시각화 피드백일 수 있다.
선택 완료 피드백이 선택된 키보드를 강조 및 확대하는 시각화 피드백이지만, 이에 한정하는 것은 아니다. 예를 들어, 선택 완료 피드백은 사용자의 시선에 대응하는 키보드가 선택되었음을 알리는 청각적 피드백 및 촉각적 피드백 등 다양할 수 있다. 청각적 피드백은 알림 소리일 수 있다. 촉각적 피드백은 알림 진동일 수 있다.
키보드가 선택된(또는 선택 완료 피드백이 제공된) 후, 컨트롤러(330)는 사용자의 시선을 감지(또는 추적)하지 않고, 시선 커서의 위치를 유지할 수 있다. 시선 커서는 사용자의 시선에 따라 이동하지 않고 고정된 위치에 표시될 수 있다.
또한, 컨트롤러(330)는 선택된 키보드에 포함된 복수의 키들 중에서 적어도 하나가 입력될 입력 필드를 선택된 키보드 내에 표시(또는 생성)할 수 있다. 입력 필드는 선택된 키보드에 포함된 복수의 키들을 방해하지 않는 위치에 표시될 수 있다.
컨트롤러(330)는 사용자의 터치에 응답하여 선택된 키보드에 포함된 복수의 키들 중에서 사용자의 터치에 해당하는 키 선택하고, 선택된 키를 입력할 수 있다. 이때, 컨트롤러(330)는 사용자의 터치에 응답하여 사용자의 터치에 해당하는 키에 사용자의 터치를 나타내는 터치 커서를 가상 현실 내 표시(또는 생성)할 수 있다. 컨트롤러(330)는 사용자의 터치에만 응답하고, 사용자의 시선에는 응답하지 않을 수 있다. 복수의 키들은 복수의 키들 각각에 해당하는 터치 제스처가 기 설정될 수 있다.
사용자의 터치는 터치 패드(350)가 감지한 사용자의 터치일 수 있다. 또한, 사용자의 터치는 전자 장치(100) 또는 전자 장치(100)와 통신 가능한 전자 장치에 별도로 구현된 인터페이스 장치에서 감지된 사용자의 터치일 수 있다.
사용자의 터치는 탭핑(tapping) 제스처 및 스와이프(swipe) 제스처 중에서 어느 하나일 수 있다. 탭핑 제스처는 사용자가 임의의 지점을 탭핑하는 제스처일 수 있다. 스와이프 제스처는 사용자가 임의의 지점을 터치한 후, 터치를 유지한 체 스와이프하는(또는 이동하는, 밀어주는) 제스처일 수 있다.
터치가 탭핑 제스처인 경우, 컨트롤러(330)는 선택된 키보드에 포함된 복수의 키들 중에서 선택된 키보드의 중앙에 위치한 중앙 키를 선택할 수 있다. 중앙 키는 탭칭 제스처가 중앙 키에 해당하는 터치 제스처로 설정된 키일 수 있다.
터치가 스와이프 제스처인 경우, 컨트롤러(330)는 선택된 키보드에 포함된 복수의 키들 중에서 중앙 키를 제외한 나머지 키를 선택할 수 있다. 나머지 키는 스와이프 제스처가 나머지 키에 해당하는 터치 제스처로 설정된 키일 수 있다. 나머지 키는 중앙 키 주위에 배치된 키들 중에서 어느 하나일 수 있다. 나머지 키는 키를 나타내는 키 방향이 설정될 수 있다. 키 방향은 위, 아래, 왼쪽, 오른쪽 등 다양할 수 있다.
예를 들어, 컨트롤러(330)는 선택된 키보드에 포함된 복수의 키들 중에서 스와이프 제스처의 이동 방향에 대응하는 키를 나머지 키로 선택할 수 있다. 스와이프 제스처의 이동 방향에 대응하는 키는 키 방향과 스와이프 제스처의 이동 방향이 동일한 키일 수 있다.
컨트롤러(330)는 선택된 키를 입력할 수 있다. 예를 들어, 컨트롤러(330)는 선택된 키를 입력 필드에 표시할 수 있다. 컨트롤러(330)는 전자 장치(100)에 선택된 키를 문자 입력 신호로 제공할 수 있다.
도 3은 도 1에 도시된 사용자 인터페이스 장치의 키보드 선택 동작을 설명하기 위한 일 예를 나타낸다.
컨트롤러(330)는 가상 현실 내에 3개의 원형 키보드들(keyboard 1 내지 keyboard 3)을 생성할 수 있다. 원형 키보드들(keyboard 1 내지 keyboard 3)은 3 X 3 구조로 구성된 복수의 키들을 포함할 수 있다.
컨트롤러(330)는 전자 장치(100)가 감지한 사용자의 시선에 따른 가상 현실 내 응시 위치에 기초하여 원형 키보드들(keyboard 1 내지 keyboard 3) 중에서 제1 키보드(keyboard 1)에 시선 커서를 표시할 수 있다. 사용자의 시선은 제1 키보드(keyboard 1)를 바라보는 시선일 수 있다.
기 설정된 시간 동안 시선 커서가 제1 키보드(keyboard 1)의 범위에 위치하는 경우, 컨트롤러(330)는 제1 키보드(keyboard 1)를 사용자의 시선에 대응하는 키보드로 선택할 수 있다.
제1 키보드(keyboard 1)가 선택된 경우, 컨트롤러(330)는 사용자의 터치에 따라 키보드 변경이 발생되지 않도록 시선 커서를 고정할 수 있다.
즉, 사용자는 기 설정된 시간 동안 복수의 키보드들 중에서 선택할 키보드를 바라보는 것 만으로 사용자가 선택하고자 하는 키보드를 선택할 수 있다.
또한, 사용자는 선택 완료 피드백을 제공받기 전까지 사용자의 시선을 옮겨가며 선택할 키보드를 자유롭게 변경할 수 있다.
도 4a는 도 1에 도시된 사용자 인터페이스 장치의 키 입력 동작을 설명하기 위한 일 예를 나타내고, 도 4b는 도 1에 도시된 사용자 인터페이스 장치의 키 입력 동작을 설명하기 위한 다른 예를 나타내고, 도 4c는 도 1에 도시된 사용자 인터페이스 장치의 키 입력 동작을 설명하기 위한 또 다른 예를 나타낸다.
도 4a 내지 도 4c에서는 설명의 편의를 위해 전자 장치(100)가 안경형 착용 장치로 구현된 것으로 가정한다.
도 4a에 도시된 바와 같이 사용자의 터치는 전자 장치(100)에 구현된 별도의 인터페이스 장치로부터 감지된 사용자 터치일 수 있다. 또한, 도 4b 및 도 4c에 도시된 바와 같이 전자 장치(100)와 통신 가능한 전자 장치(510 및 530)에 구현된 별도의 인터페이스 장치로부터 감지된 사용자의 터치일 수 있다. 또한, 사용자의 터치는 사용자 인터페이스 장치(300)를 통한 사용자의 터치일 수 있다. 예를 들어, 사용자 인터페이스 장치(300)는 전자 장치(100) 또는 전자 장치(100)와 통신이 가능한 전자 장치(510 및 530)에 구현되어 사용자 터치를 감지할 수도 있다.
컨트롤러(330)는 사용자의 터치에 응답하여 제1 키보드(keyboard 1)에 포함된 복수의 키들 중에서 사용자의 터치에 해당하는 키를 입력할 수 있다.
사용자의 터치가 탭 제스처인 경우, 컨트롤러(330)는 제1 키보드(keyboard 1)의 중앙 키인 s를 사용자의 터치에 해당하는 키로 입력할 수 있다. 이때, 컨트롤러(330)는 s에 터치 커서를 표시할 수 있다.
사용자의 터치가 오른쪽으로 스와이프 하는 제스처인 경우, 컨트롤러(330)는 제1 키보드(keyboard 1)의 중앙 키 주위에 배치된 키들 중에서 키 방향이 오른쪽인 d를 사용자의 터치에 해당하는 키로 입력할 수 있다. 이때, 컨트롤러(330)는 d에 터치 커서를 표시할 수 있다.
즉, 사용자는 터치 패드를 바라보지 않고도 사용자가 입력할 키에 해당하는 터치 제스처를 수행하는 것 만으로 사용자가 입력하고자 하는 키를 입력할 수 있다.
도 5a는 복수의 키보드들의 일 예를 설명하기 위한 도면이고, 도 5b는 복수의 키보드들의 다른 예를 설명하기 위한 도면이고, 도 5c는 복수의 키보드들의 또 다른 예를 설명하기 위한 도면이고, 도 5d는 복수의 키보드들의 또 다른 예를 설명하기 위한 도면이다.
도 5a 및 도 5b에 도시된 바와 같이 복수의 키보드들은 도 51 X 3으로 구성된 3개의 키보드들로 구성될 수 있다. 도 5c에 도시된 바와 같이 복수의 키보드들은 2 X 3으로 구성된 6개의 키보드들로 구성될 수 있다. 또한, 도 5d에 도시된 바와 같이 복수의 키보들은 3 X 3으로 구성된 9개의 키보드들로 구성될 수 있다. 예를 들어, 복수의 키보드들은 도 5a와 같은 원형 또는 도 5b 내지 도 5d와 같은 사각형의 키보드 범위를 가질 수 있다.
도 5a 및 도 5b를 참조하면, 복수의 키보드들은 8개 또는 9개로 구성된 복수의 키들을 포함할 수 있다. 이때, 복수의 키들은 3 X 3 구조로 구성될 수 있다. 3 X 3 구조로 구성된 키를 입력하기 위한 사용자의 터치 제스처는 탭핑 제스처 1개 및 스와이프 제스처 8개로 총 9개의 제스처일 수 있다.
도 5c를 참조하면, 복수의 키보드들은 1개 또는 5개로 구성된 복수의 키들을 포함할 수 있다. 이때, 복수의 키들은 + 구조로 구성될 수 있다. + 구조로 구성된 키를 입력하기 위한 사용자의 터치 제스처는 탭핑 제스처 1개 및 스와이프 제스처 4개로 총 5개의 제스처일 수 있다.
도 5d를 참조하면, 복수의 키보드들은 3개로 구성된 복수의 키들을 포함할 수 있다. 이때, 복수의 키들은 - 구조로 구성될 수 있다. - 구조로 구성된 키를 입력하기 위한 사용자의 터치 제스처는 탭핑 제스처 1개 및 스와이프 제스처 2개로 총 3개의 제스처일 수 있다.
즉, 복수의 키보드들 및 복수의 키들은 세부 디자인에 따라 기 설정되어 저장될 수 있다. 복수의 키보드들의 수 및 복수의 키들의 수는 서로 간에 조정이 가능하게 설정될 수 있다.
도 6a는 시선 커서를 생성하는 동작을 설명하기 위한 도면이고, 도 6b는 도 6a에 따라 시선 커서가 생성되는 예를 설명하기 위한 도면이다.
도 6a 및 도 6b에서는 설명의 편의를 위해 복수의 키보들이 2 X 3으로 구성된 것으로 가정한다.
도 6a는 시선 커서를 생성하는 알고리즘을 나타낸다. 컨트롤러(330)는 도 6a의 알고리즘을 이용하여 시선 커서를 가상 현실 내에 생성할 수 있다.
사용자가 2행의 가운데에 위치한 키보드를 바라보는 경우, 컨트롤러(330)는 사용자의 응시 위치에 따라 시선 커서의 위치를 결정할 수 있다. 예를 들어, 컨트롤러(330)는 사용자의 응시 위치의 x축 좌표(gx)와 동일한 gx로 시선 커서의 x축 좌표를 결정할 수 있다.
컨트롤러(330)는 사용자의 응시 위치에 대응하는 기 설정된 특정 위치들(y0 및 y1) 중에서 y1로 시선 커서의 y축 좌표(Y_row)를 결정할 수 있다. 기 설정된 특정 위치들은 사용자의 응시 위치에 대응하는 키보드의 행렬에 따라 사용자의 응시 위치가 기 설정된 값으로 치환된 좌표일 수 있다.
먼저, 컨트롤러(330)는 사용자의 응시 위치의 y축 좌표(gy)에 기초하여 사용자의 응시 위치에 대응하는 키보드의 행(row_id)을 계산할 수 있다. 이때, 사용자의 응시 위치에 대응하는 키보드의 행은 사용자의 시선에 대응하는 키보드가 위치한 행일 수 있다.
이후에, 컨트롤러(330)는 계산된 키보드의 행에 해당하는 특정 위치(Y_def[row_id])로 시선 커서의 y축 좌표(Y_row)를 결정할 수 있다. 이때, 특정 위치는 터치 커서, 입력 필드 및 복수의 키들을 방해하지 않고, 사용자를 산만하게 만들지 않기 위해 사용자의 시선 내에 기 설정된 위치일 수 있다. 기 설정된 특정 위치는 사용자의 시선 내에 사용자의 응시 위치에 대응하는 키보드의 하단일 수 있다.
이에, 사용자는 사용자 인터페이스 장치(300)가 제공하는 시선 커서를 통해 시선 커서를 조작(시선 이동)하는 형태로 키보드를 선택하고, 사용자가 선택할 키보드 및 선택한 키보드를 확인할 수 있다.
도 7은 입력 필드의 일 예를 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 컨트롤러(330)는 선택된 키보드에 포함된 복수의 키들 위에 입력 필드를 표시할 수 있다. 입력 필드는 선택된 키보드에 포함된 복수의 키들 중에서 사용자의 터치에 해당하는 키가 입력될 수 있다.
이에, 사용자는 사용자 인터페이스 장치(300)가 제공하는 입력 필드를 통해 사용자가 입력한 키를 확인할 수 있다.
도 8은 터치 커서의 일 예를 설명하기 위한 도면이다.
컨트롤러(330)는 터치 시작 지점을 기준으로 상대적인 좌표로 터치 커서를 표시할 수 있다.
터치가 탭핑 제스처인 경우, 컨트롤러(330)는 선택된 키보드에 포함된 복수의 키들 중에서 중앙에 위치한 중앙 키에 터치 커서를 표시할 수 있다.
터치가 스와이프 제스처인 경우, 컨트롤러(330)는 먼저 터치가 입력된 순간 중앙 키에 터치 커서를 표시하고, 스와이프 동작에 따라 상대적인 위치로 터치 커서를 이동하며 표시할 수 있다.
이에, 사용자는 사용자 인터페이스 장치(300)가 제공하는 터치 커서를 통해 터치 커서를 조작(탭핑 또는 스와이츠 제스처)하는 형태로 키를 선택하고, 사용자가 입력할 키를 확인할 수 있다.
사용자가 터치 커서를 조작이 숙련된 경우, 사용자는 터치 커서를 보지 않고, 터치 위치와 무관하게 복수의 키들에 해당하는 터치 동작을 수행함으로써, 키를 입력할 수 있다.
도 6a 내지 도 8에서 설명한바와 같이 시선 커서, 터치 커서 및 입력 필드는 사용자의 시선 내에 생성되어 사용자가 키보드를 바라보는 시야 안에서 확인될 수 있다. 이때, 시선 커서, 터치 커서 및 입력 필드는 문자 입력이 완료되기 전까지 표시될 수 있다.
즉, 시선 커서, 터치 커서 및 입력 필드는 사용자 편의를 위해 제공되는 그래픽 유저 인터페이스(graphical user interface; GUI)일 수 있다.
도 9은 도 1에 도시된 사용자 인터페이스 장치의 동작을 설명하기 위한 순서도를 나타낸다.
도 9를 참조하면, 컨트롤러(330)는 사용자의 시선에 응답하여 가상 현실 내 복수의 키보드들 중에서 사용자의 시선에 대응하는 키보드를 선택할 수 있다(910).
컨트롤러(330)는 사용자의 터치에 응답하여 선택된 키보드에 포함된 복수의 키들 중에서 사용자의 터치에 해당하는 키를 입력할 수 있다(930).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 전자 장치의 컨트롤러에 의해 수행되는 입력 방법에 있어서,
    사용자의 시선을 나타내는 시선 커서를 가상 현실 내에 표시하는 단계;
    상기 가상 현실 내 복수의 키보드들 중에서 상기 시선 커서에 대응하는 키보드를 선택하는 단계; 및
    상기 사용자의 터치에 응답하여 선택된 키보드에 포함된 복수의 키들 중에서 상기 터치에 해당하는 키를 입력하는 단계
    를 포함하고,
    상기 시선 커서의 좌표는 상기 시선에 따른 가상 현실 내 응시 위치 및 상기 응시 위치에 대응하는 키보드의 범위에 기초하여 결정되고,
    상기 시선 커서의 x축 좌표는 상기 응시 위치의 x축 좌표와 동일하게 결정되고,
    상기 시선 커서의 y축 좌표는 상기 응시 위치에 대응하는 키보드 하단의 특정 위치로 결정되는, 입력 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 시선 커서에 대응하는 키보드를 상기 시선에 대응하는 키보드로 선택하는 단계는,
    상기 시선 커서가 상기 복수의 키보드들 중에서 어느 하나의 키보드의 범위 내에 위치하는지 판단하는 단계; 및
    상기 시선 커서가 상기 어느 하나의 키보드의 범위 내에 위치하는 경우, 상기 어느 하나의 키보드를 상기 시선에 대응하는 키보드로 선택하는 단계
    를 포함하는 입력 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 시선에 대응하는 키보드를 선택하는 단계는,
    상기 선택된 키보드에 대한 선택 완료 피드백을 제공하는 단계; 및
    상기 복수의 키들 중에서 적어도 하나가 입력될 입력 필드를 상기 선택된 키보드 내에 표시하는 단계
    를 더 포함하는 입력 방법.
  6. 제5항에 있어서,
    상기 선택 완료 피드백은 상기 선택된 키보드가 선택되었음을 알리는 피드백으로, 상기 선택된 키보드를 강조 및 확대 중에서 적어도 하나하는 시각화 피드백인 입력 방법.
  7. 제1항에 있어서,
    상기 입력하는 단계는,
    상기 복수의 키들 중에서 상기 터치에 해당하는 키를 선택하는 단계; 및
    선택된 키를 입력하는 단계
    를 포함하는 입력 방법.
  8. 제7항에 있어서,
    상기 터치는 탭핑(tapping) 제스처 및 스와이프(swipe) 제스처 중에서 어느 하나이고,
    상기 탭핑 제스처는 상기 사용자가 임의의 지점을 탭핑하는 제스처이고,
    상기 스와이프 제스처는 상기 사용자가 임의의 지점을 터치한 후 터치를 유지한 체 스와이프하는 제스처인 입력 방법.
  9. 제8항에 있어서,
    상기 터치에 해당하는 키를 선택하는 단계는,
    상기 터치가 상기 탭핑 제스처인 경우, 상기 복수의 키들 중에서 중앙에 위치한 중앙 키를 선택하는 단계; 및
    상기 터치가 상기 스와이프 제스처인 경우, 상기 복수의 키들 중에서 상기 중앙 키를 제외한 나머지 키를 선택하는 단계
    를 포함하고,
    상기 나머지 키를 선택하는 단계는,
    상기 복수의 키들 중에서 상기 스와이프 제스처의 이동 방향에 대응하는 키를 상기 나머지 키로 선택하는 단계
    를 포함하는 입력 방법.
  10. 제7항에 있어서,
    상기 터치에 해당하는 키를 입력하는 단계는,
    상기 터치에 해당하는 키에 상기 터치를 나타내는 터치 커서를 표시하는 단계; 및
    상기 선택된 키를 상기 터치에 해당하는 키가 입력될 입력 필드에 표시하는 단계
    를 더 포함하는 입력 방법.
  11. 메모리; 및
    사용자의 시선을 나타내는 시선 커서를 가상 현실 내에 표시하고, 상기 가상 현실 내 복수의 키보드들 중에서 상기 시선에 대응하는 키보드를 선택하고, 상기 사용자의 터치에 응답하여 선택된 키보드에 포함된 복수의 키들 중에서 상기 터치에 해당하는 키를 입력하는 컨트롤러
    를 포함하고,
    상기 시선 커서의 좌표는 상기 시선에 따른 가상 현실 내 응시 위치 및 상기 응시 위치에 대응하는 키보드의 범위에 기초하여 결정되고,
    상기 시선 커서의 x축 좌표는 상기 응시 위치의 x축 좌표와 동일하게 결정되고,
    상기 시선 커서의 y축 좌표는 상기 응시 위치에 대응하는 키보드 하단의 특정 위치로 결정되는, 사용자 인터페이스 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 컨트롤러는,
    상기 시선 커서가 상기 복수의 키보드들 중에서 어느 하나의 키보드의 범위 내에 위치하는지 판단하고, 상기 시선 커서가 상기 어느 하나의 키보드의 범위 내에 위치하는 경우, 상기 어느 하나의 키보드를 상기 시선에 대응하는 키보드로 선택하는 사용자 인터페이스 장치.
  14. 삭제
  15. 제11항에 있어서,
    상기 컨트롤러는,
    상기 선택된 키보드에 대한 선택 완료 피드백을 제공하고, 상기 복수의 키들 중에서 적어도 하나가 입력될 입력 필드를 상기 선택된 키보드 내에 표시하는 사용자 인터페이스 장치.
  16. 제15항에 있어서,
    상기 선택 완료 피드백은 상기 선택된 키보드가 선택되었음을 알리는 피드백으로, 상기 선택된 키보드를 강조 및 확대 중에서 적어도 하나하는 시각화 피드백인 사용자 인터페이스 장치.
  17. 제11항에 있어서,
    상기 컨트롤러는,
    상기 복수의 키들 중에서 상기 터치에 해당하는 키를 선택하고, 선택된 키를 입력하는 사용자 인터페이스 장치.
  18. 제17항에 있어서,
    상기 터치는 탭핑(tapping) 제스처 및 스와이프(swipe) 제스처 중에서 어느 하나이고,
    상기 탭핑 제스처는 상기 사용자가 임의의 지점을 탭핑하는 제스처이고,
    상기 스와이프 제스처는 상기 사용자가 임의의 지점을 터치한 후 터치를 유지한 체 스와이프하는 제스처인 사용자 인터페이스 장치.
  19. 제18항에 있어서,
    상기 컨트롤러는,
    상기 터치가 상기 탭핑 제스처인 경우, 상기 복수의 키들 중에서 중앙에 위치한 중앙 키를 선택하고,
    상기 터치가 상기 스와이프 제스처인 경우, 상기 복수의 키들 중에서 상기 중앙 키를 제외한 나머지 키를 선택하고,
    상기 컨트롤러는,
    상기 복수의 키들 중에서 상기 스와이프 제스처의 이동 방향에 대응하는 키를 상기 나머지 키로 선택하는 사용자 인터페이스 장치.
  20. 제17항에 있어서,
    상기 컨트롤러는,
    상기 터치에 해당하는 키에 상기 터치를 나타내는 터치 커서를 표시하고, 상기 선택된 키를 상기 터치에 해당하는 키가 입력될 입력 필드에 표시하는 사용자 인터페이스 장치.
KR1020190020601A 2019-02-21 2019-02-21 입력 방법 및 이를 수행하는 장치들 KR102237659B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190020601A KR102237659B1 (ko) 2019-02-21 2019-02-21 입력 방법 및 이를 수행하는 장치들
US16/364,445 US20200275089A1 (en) 2019-02-21 2019-03-26 Input method and apparatuses performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190020601A KR102237659B1 (ko) 2019-02-21 2019-02-21 입력 방법 및 이를 수행하는 장치들

Publications (2)

Publication Number Publication Date
KR20200102228A KR20200102228A (ko) 2020-08-31
KR102237659B1 true KR102237659B1 (ko) 2021-04-08

Family

ID=72141994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190020601A KR102237659B1 (ko) 2019-02-21 2019-02-21 입력 방법 및 이를 수행하는 장치들

Country Status (2)

Country Link
US (1) US20200275089A1 (ko)
KR (1) KR102237659B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210016752A (ko) * 2019-08-05 2021-02-17 윤현진 중증 환자를 위한 영문 입력자판
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
KR20220086939A (ko) * 2020-12-17 2022-06-24 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN115729402A (zh) * 2021-08-30 2023-03-03 北京字跳网络技术有限公司 一种对象显示方法、装置、电子设备及存储介质
KR20240028874A (ko) * 2022-08-25 2024-03-05 삼성전자주식회사 외부 디바이스에 의해 제어되는 증강 현실 디바이스 및 그 동작 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100069089A (ko) * 2008-12-16 2010-06-24 삼성전자주식회사 터치 스크린을 사용하는 디바이스에서 문자 입력 장치 및 방법
US20100251176A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with slider buttons
KR102254169B1 (ko) * 2014-01-16 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108351685B (zh) * 2015-08-15 2022-07-08 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法

Also Published As

Publication number Publication date
KR20200102228A (ko) 2020-08-31
US20200275089A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102237659B1 (ko) 입력 방법 및 이를 수행하는 장치들
Grubert et al. Text entry in immersive head-mounted display-based virtual reality using standard keyboards
US9830444B2 (en) Password processing device
Biener et al. Breaking the screen: Interaction across touchscreen boundaries in virtual reality for mobile knowledge workers
RU2501068C2 (ru) Интерпретация неоднозначных вводов на сенсорном экране
US9146672B2 (en) Multidirectional swipe key for virtual keyboard
US9665276B2 (en) Character deletion during keyboard gesture
US9423932B2 (en) Zoom view mode for digital content including multiple regions of interest
US10416777B2 (en) Device manipulation using hover
US9524097B2 (en) Touchscreen gestures for selecting a graphical object
US20140306898A1 (en) Key swipe gestures for touch sensitive ui virtual keyboard
CN109891368A (zh) 活动对象在增强和/或虚拟现实环境中的切换
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
Bermejo et al. Exploring button designs for mid-air interaction in virtual reality: A hexa-metric evaluation of key representations and multi-modal cues
WO2017172548A1 (en) Ink input for browser navigation
KR20190044389A (ko) 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법
Darbar et al. Exploring smartphone-enabled text selection in ar-hmd
KR20130054990A (ko) 듀얼 터치 경험 필드를 달성하기 위한 싱글 터치 프로세스
CN107967091B (zh) 一种人机交互方法及用于人机交互的计算设备
TWI631484B (zh) 基於方向的文字輸入方法及其系統與電腦可讀取記錄媒體
JP2015022675A (ja) 電子機器、インターフェース制御方法、および、プログラム
Bauer et al. Marking menus for eyes-free interaction using smart phones and tablets
KR101366170B1 (ko) 항목의 상태 변경을 위한 사용자 인터페이스
KR102090443B1 (ko) 터치 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
KR101169760B1 (ko) 화면 상에 가상 입력 도구를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right