KR20200125062A - Method for user input and user interface device executing the method - Google Patents
Method for user input and user interface device executing the method Download PDFInfo
- Publication number
- KR20200125062A KR20200125062A KR1020190048762A KR20190048762A KR20200125062A KR 20200125062 A KR20200125062 A KR 20200125062A KR 1020190048762 A KR1020190048762 A KR 1020190048762A KR 20190048762 A KR20190048762 A KR 20190048762A KR 20200125062 A KR20200125062 A KR 20200125062A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- gaze
- touch screen
- cursor
- point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G06K9/00604—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
본 발명의 실시예는 사용자 인터페이스 기술과 관련된다. Embodiments of the present invention relate to user interface technology.
최근, 시선 추적 기술이 발달함에 따라 시선 추적 기술을 사용자 인터페이스와 결합시키는 시도가 이루어지고 있다. 예를 들어, 스마트 폰 등에서 사용자의 시선을 추적하여 사용자가 응시하는 지점을 사용자가 선택한 지점으로 결정하여 그에 대응하는 동작이 이루어지도록 하고 있다. 그러나, 기존의 시선 추적 기술을 이용한 사용자 인터페이스는 정확성이 떨어져 사용자의 의도와는 다른 지점이 선택되고, 소정 지점이 선택되는 순간이 직관적이지 않다는 문제점이 있다.Recently, with the development of eye tracking technology, attempts have been made to combine eye tracking technology with a user interface. For example, by tracking the user's gaze on a smart phone or the like, a point at which the user gazes is determined as a point selected by the user, and an action corresponding thereto is performed. However, the user interface using the existing gaze tracking technology has a problem in that a point different from the user's intention is selected due to poor accuracy, and the moment when a predetermined point is selected is not intuitive.
개시되는 실시예는 새로운 사용자 인터페이스 기술을 제공하기 위한 것이다. The disclosed embodiment is to provide a new user interface technology.
개시되는 일 실시예에 따른 사용자 인터페이스 장치는, 터치 스크린을 구비하는 사용자 단말기에서 사용자 입력을 수행하기 위한 사용자 인터페이스 장치로서, 상기 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하는 시선 추적부; 상기 터치 스크린 상에 표시되는 어시스트 버튼부; 및 사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하는 커서 표시부를 포함한다.A user interface device according to an embodiment disclosed is a user interface device for performing a user input in a user terminal having a touch screen, and a gaze tracking unit for generating gaze position information by tracking a user's gaze on the touch screen ; An assist button unit displayed on the touch screen; And a cursor display unit that displays a cursor at a position on the touch screen corresponding to the gaze position information in association with a user's touch of the assist button unit.
상기 어시스트 버튼부는, 기 설정된 이벤트 발생에 따라 상기 터치 스크린 상에서 드래그 가능하도록 마련되고, 상기 커서 표시부는, 상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시킬 수 있다.The assist button unit may be provided to be dragged on the touch screen according to occurrence of a preset event, and the cursor display unit may move a cursor displayed on the touch screen in association with a drag direction and a drag length of the assist button unit.
상기 기 설정된 이벤트는, 사용자가 상기 어시스트 버튼부를 터치하거나 상기 터치 스크린에 커서가 표시되는 경우 발생할 수 있다.The preset event may occur when a user touches the assist button or a cursor is displayed on the touch screen.
상기 사용자 인터페이스 장치는, 상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 선택 결정부를 더 포함할 수 있다.The user interface device may further include a selection determination unit configured to determine a user's selection point on the touch screen in conjunction with the position of the cursor and the drag end operation of the assist button unit.
상기 선택 결정부는, 상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정할 수 있다.The selection determination unit may determine the position of the cursor on the touch screen as the user's selection point at the end of dragging of the assist button unit.
상기 사용자 인터페이스 장치는, 상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행하는 캘리브레이션부를 더 포함할 수 있다.The user interface device may further include a calibration unit for calibrating the gaze tracking unit based on the gaze position information and information on the user's selection point.
상기 캘리브레이션부는, 사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행할 수 있다.The calibration unit may map the gaze position information and information on the user’s selection point whenever a user selection operation occurs, and perform calibration on the gaze tracking unit based on the mapped information.
상기 캘리브레이션부는, 상기 시선 위치 정보를 기반으로 시선 벡터를 검출하고, 상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하며, 상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하여 캘리브레이션을 수행할 수 있다.The calibration unit detects a gaze vector based on the gaze position information, detects a point vector on the touch screen based on information on the user's selection point, and is detected whenever the user's selection operation occurs. And a matching matrix that matches the line of sight vector and the point vector on a one-to-one basis on the basis of a pair of point vectors to perform calibration.
개시되는 일 실시예에 따른 사용자 입력 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하기 위한 동작; 상기 터치 스크린 상에 어시스트 버튼부를 표시하기 위한 동작; 및 사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하기 위한 동작을 포함한다.A user input method according to the disclosed embodiment is a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, comprising: Generating gaze position information by tracking a gaze; Displaying an assist button unit on the touch screen; And displaying a cursor at a position on the touch screen corresponding to the gaze position information in association with the user's touch of the assist button.
상기 사용자 입력 방법은, 기 설정된 이벤트 발생에 따라 상기 어시스트 버튼부를 상기 터치 스크린 상에서 드래그 가능하도록 하는 동작; 및 상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시키는 동작을 더 포함할 수 있다.The user input method includes: allowing the assist button unit to be dragged on the touch screen according to occurrence of a preset event; And moving the cursor displayed on the touch screen in association with the drag direction and the drag length of the assist button.
상기 사용자 입력 방법은, 상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 동작을 더 포함할 수 있다.The user input method may further include an operation of determining a user's selection point on the touch screen in conjunction with a position of the cursor and a drag end operation of the assist button unit.
상기 사용자의 선택 지점을 결정하는 동작은, 상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정할 수 있다.In the determining of the user's selection point, the position of the cursor on the touch screen at the end of dragging of the assist button unit may be determined as the user's selection point.
상기 사용자 입력 방법은, 상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 사용자의 시선 추적을 위한 시선 추적 모델을 캘리브레이션 하는 동작을 더 포함할 수 있다.The user input method may further include calibrating a gaze tracking model for tracking the user's gaze based on the gaze position information and information on the user's selection point.
상기 캘리브레이션 하는 동작은, 사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적 모델에 대해 캘리브레이션을 수행할 수 있다.In the calibration operation, each time a user selection operation occurs, the gaze position information and information on the user’s selection point may be mapped, and the gaze tracking model may be calibrated based on the mapped information.
상기 캘리브레이션을 하는 동작은, 상기 시선 위치 정보를 기반으로 시선 벡터를 검출하는 동작; 상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하는 동작; 및 상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하는 동작을 포함할 수 있다.The calibration may include detecting a gaze vector based on the gaze position information; Detecting a point vector on the touch screen based on information on the user's selection point; And updating a matching matrix that associates the gaze vector and the point vector on a one-to-one basis based on a pair of gaze vectors and point vectors detected whenever the user's selection operation occurs.
개시되는 실시예에 의하면, 사용자의 시선을 추적하여 터치 스크린 상에 커서를 위치시킨 후 어시스트 버튼을 통해 미세 조정하여 사용자가 의도한 선택 지점을 선택하도록 함으로써, 터치 스크린에서 사용자가 한 손으로 터치하기 어려운 부분도 정확히 선택할 수 있게 된다. 그리고, 별도의 캘리브레이션 과정이 없이도 사용자의 선택 동작이 있을 때마다 시선 벡터 및 점 벡터 쌍들이 생성됨으로써, 자연적으로 시선 추적 정확도를 점점 향상시킬 수 있게 된다.According to the disclosed embodiment, by tracking the user's gaze, placing a cursor on the touch screen, finely adjusting it through an assist button, and allowing the user to select an intended selection point, the user touches the touch screen with one hand. You will be able to accurately select difficult parts. In addition, the gaze vector and the point vector pair are generated whenever a user selects without a separate calibration process, so that the gaze tracking accuracy can be gradually improved.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 나타낸 도면
도 2 내지 도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용하여 사용자의 선택 지점을 결정하는 과정을 나타낸 도면
도 4는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용한 사용자 입력 방법을 나타낸 흐름도
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a diagram showing the configuration of a user interface device according to an embodiment of the present invention
2 to 3 are diagrams showing a process of determining a user's selection point using a user interface device according to an embodiment of the present invention
4 is a flowchart showing a user input method using a user interface device according to an embodiment of the present invention
5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a specific embodiment of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention and may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification. The terms used in the detailed description are only for describing embodiments of the present invention, and should not be limiting. Unless explicitly used otherwise, expressions in the singular form include the meaning of the plural form. In this description, expressions such as "comprising" or "feature" are intended to refer to certain features, numbers, steps, actions, elements, some or combination thereof, and one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, any part or combination thereof.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, "transmission", "communication", "transmission", "reception" of signals or information, and other terms having a similar meaning are not only directly transmitted signals or information from one component to another component. It includes what is passed through other components. In particular, "transmitting" or "transmitting" a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for "reception" of signals or information. In addition, in the present specification, when two or more pieces of data or information are "related", it means that when one data (or information) is obtained, at least a part of other data (or information) can be obtained based thereon.
한편, 상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.Meanwhile, directional terms such as upper side, lower side, one side, and the other side are used in relation to the orientation of the disclosed drawings. Since the constituent elements of the embodiments of the present invention may be positioned in various orientations, the directional terminology is used for illustrative purposes, but is not limiting.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.In addition, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms may be used for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 나타낸 도면이다. 1 is a diagram showing the configuration of a user interface device according to an embodiment of the present invention.
도 1을 참조하면, 사용자 인터페이스 장치(100)는 시선 추적부(102), 어시스트 버튼부(104), 커서 표시부(106), 선택 결정부(108), 및 캘리브레이션부(110)를 포함할 수 있다. 사용자 인터페이스 장치(100)는 터치 스크린을 구비한 사용자 단말기(예를 들어, 스마트 폰, 태블릿 PC, 노트북 등)(50)에 장착될 수 있다. 사용자 인터페이스 장치(100)는 사용자 단말기(50)에서 사용자 인터페이스를 위한 구성일 수 있다. Referring to FIG. 1, the
또한, 도 1에 도시된 사용자 인터페이스 장치의 구성은, 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 본 발명에 따른 기능을 수행하기 위하여 상호 기능적으로 연결될 수 있으며, 어느 하나 이상의 구성이 실제 물리적으로는 서로 통합되어 구현될 수도 있다.In addition, the configuration of the user interface device shown in FIG. 1 shows functional elements that are functionally divided, and may be functionally connected to each other in order to perform a function according to the present invention, and any one or more configurations may be physically It can also be integrated and implemented.
시선 추적부(102)는 사용자의 시선을 추적할 수 있다. 구체적으로, 시선 추적부(102)는 사용자 단말기(50)의 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성할 수 있다. 시선 추적부(102)는 사용자의 시선을 추적하기 위한 시선 추적 모델을 포함할 수 있다. 시선 추적 모델은 기 공지된 시선 추적 기술들을 통해 구현될 수 있다.The
어시스트 버튼부(104)는 사용자 단말기(50)의 터치 스크린 상에 표시될 수 있다. 예시적인 실시예에서, 어시스트 버튼부(104)는 시선 추적부(102)와 연동하여 활성화 될 수 있다. 즉, 어시스트 버튼부(104)는 평소에 눈에 안 보이는 형태로 있다가 시선 추적부(102)의 동작과 연동하여 활성화 되고, 사용자 단말기(50)의 터치 스크린 상에 표시될 수 있다. The
어시스트 버튼부(104)는 사용자 단말기(50)의 터치 스크린의 테두리와 인접한 부분에 표시될 수 있다. 예시적인 실시예에서, 어시스트 버튼부(104)는 사용자가 사용자 단말기(50)를 파지한 손의 엄지 손가락으로 닿을 수 있는 부분(예를 들어, 상기 터치 스크린의 좌측 하단 또는 우측 하단 테두리 부분 등)에 표시될 수 있다. The
어시스트 버튼부(104)는 기 설정된 이벤트 발생에 따라 터치 스크린 상에서 드래그(Drag)가 가능하도록 마련될 수 있다. 여기서, 기 설정된 이벤트는 사용자가 어시스트 버튼부(104)를 터치하거나 커서가 터치 스크린에 표시되는 것 등이 포함될 수 있다. 어시스트 버튼부(104)는 기 설정된 이벤트가 발생하는 경우, 상기 터치 스크린 상에서 사용자가 터치하고 소정 방향(360도 방향을 포함)으로 드래그가 가능하도록 마련될 수 있다. The
커서 표시부(106)는 시선 위치 정보에 기반하여 커서를 터치 스크린에 표시할 수 있다. 이때, 커서 표시부(106)는 사용자의 어시스트 버튼부(104)의 터치와 연동하여 커서를 상기 터치 스크린에 표시할 수 있다. 즉, 커서 표시부(106)는 사용자가 어시스트 버튼부(104)를 터치하는 순간의 시선 위치 정보에 기반하여 터치 스크린에서 시선 위치 정보에 대응하는 지점에 커서를 표시할 수 있다. The
여기서, 터치 스크린에 표시되는 커서의 위치는 사용자가 실제 의도하는 위치(즉, 사용자가 실제 응시하는 위치)와 차이가 있을 수 있다. 즉, 시선 추적부(102)가 정확히 사용자의 시선 위치를 추적하지 못하여 시선 위치 정보에 의한 커서의 위치와 사용자가 실제 응시하는 위치 간에 차이가 있을 수 있다.Here, the position of the cursor displayed on the touch screen may be different from the position actually intended by the user (ie, the position at which the user actually gazes). That is, the
커서 표시부(106)는 터치 스크린에 표시된 커서를 어시스트 버튼부(104)의 드래그와 연동하여 이동시킬 수 있다. 즉, 사용자가 어시스트 버튼부(104)를 터치하거나 커서가 터치 스크린 상에 표시되는 경우, 어시스트 버튼부(104)는 터치 스크린 상에서 드래그가 가능한 형태로 변경될 수 있다. The
여기서, 커서 표시부(106)는 사용자가 어시스트 버튼부(104)를 드래그하는 방향 및 드래그하는 길이와 연동하여 터치 스크린 상에서 커서를 이동시킬 수 있다. 이때, 커서 표시부(106)는 어시스트 버튼부(104)의 드래그 방향으로 커서를 이동시키되, 어시스트 버튼부(104)의 드래그 길이와 대응하는 만큼 이동시킬 수 있다. 이 경우, 사용자는 어시스트 버튼부(104)를 통해 커서의 이동을 제어할 수 있게 된다.Here, the
선택 결정부(108)는 사용자 단말기(50)의 터치 스크린에서 사용자의 선택 지점을 결정할 수 있다. 선택 결정부(108)는 터치 스크린에서 커서의 위치 및 어시스트 버튼부(104)의 드래그 종료 동작과 연동하여 사용자의 선택 지점을 결정할 수 있다. 예를 들어, 선택 결정부(108)는 사용자가 어시스트 버튼부(104)를 드래그한 후 어시스트 버튼부(104)에서 손을 뗀 시점(즉, 드래그 종료 시점)에 터치 스크린의 커서 위치를 사용자의 선택 지점으로 결정할 수 있다. The
예를 들어, 사용자의 선택 지점은 터치 스크린 상의 메뉴 또는 아이콘 등일 수 있다. 선택 결정부(108)에서 사용자의 선택 지점으로 결정되는 경우, 사용자의 선택 지점에 대응하는 메뉴 또는 아이콘 등이 활성화 되거나 실행될 수 있다.For example, the user's selection point may be a menu or an icon on a touch screen. When the
캘리브레이션부(110)는 시선 추적부(102)에 의한 시선 위치 정보 및 선택 결정부(108)에 의한 사용자의 선택 지점에 대한 정보를 기반으로 시선 추적부(102)에 대해 캘리브레이션을 수행할 수 있다. 즉, 캘리브레이션부(110)는 터치 스크린 상에서 사용자가 실제로 응시하는 시선의 위치 정보(즉, 사용자의 선택 지점에 대한 정보)와 시선 추적부(102)에 의해 추적한 시선 위치 정보(즉, 사용자가 상기 선택 지점을 볼 때 시선 추적부에 의해 생성된 시선 위치 정보)를 기반으로 시선 추적 모델에 대해 캘리브레이션을 수행할 수 있다.The
캘리브레이션부(110)는 사용자 인터페이스 장치(100)를 통해 사용자가 사용자 단말(50)의 터치 스크린 상에서 소정 지점을 선택할 때마다, 시선 추적부(102)에 의한 시선 위치 정보와 선택 결정부(108)에 의한 사용자의 선택 지점에 대한 정보를 매핑시킬 수 있다. 캘리브레이션부(110)는 누적되는 시선 위치 정보 및 사용자의 선택 지점에 대한 정보의 매핑 정보를 기반으로 시선 추적부(102)의 시선 위치 정보를 캘리브레이션 할 수 있다. 이에 따라, 시선 추적부(102)의 시선 위치 정보에 따른 커서의 표시되는 위치와 사용자가 실제 응시하는 위치 간의 차이가 점점 줄어들게 된다.Whenever the user selects a predetermined point on the touch screen of the
구체적으로, 캘리브레이션부(110)는 시선 추적부(102)에서 생성되는 시선 위치 정보를 기반으로 시선 벡터를 검출할 수 있다. 예를 들어, 시선 벡터는 사용자의 안구 중심에서 동공 중심 또는 각막 중심으로 향하는 벡터 등이 사용될 수 있다. 캘리브레이션부(110)는 터치 스크린에서 사용자의 선택 지점을 기반으로 터치 스크린 상의 점 벡터를 검출할 수 있다. 캘리브레이션부(110)는 시선 벡터와 점 벡터(즉, 터치 스크린 상의 점 벡터)를 1:1로 대응시키는 매칭 매트릭스(Matching Matrix)를 검출할 수 있다. Specifically, the
캘리브레이션부(110)는 기 저장된 복수 개의 시선 벡터 및 점 벡터 쌍들의 그룹에 사용자의 선택 동작(사용자 인터페이스 장치(100)를 통해 사용자가 사용자 단말(50)의 터치 스크린 상에서 소정 지점을 선택하는 동작)에 의해 생성된 시선 벡터 및 점 벡터 쌍을 추가할 수 있다. 여기서, 기 저장된 복수 개의 시선 벡터 및 점 벡터는 기존의 다른 사용자들에 의한 평균 시선 벡터 및 평균 점 벡터일 수 있다. The
캘리브레이션부(110)는 사용자의 선택 동작에 의해 시선 벡터 및 점 벡터 쌍이 생성될 때마다, 생성된 시선 벡터 및 점 벡터 쌍을 시선 벡터 및 점 벡터 쌍 그룹에 추가하고, 시선 벡터 및 점 벡터 쌍 그룹을 이용하여 새로운 매칭 매트릭스를 검출할 수 있다. 예를 들어, 캘리브레이션부(110)는 시선 벡터 및 점 벡터 쌍 그룹에 선형 회귀(Linear Regression) 기법을 적용하여 매칭 매트릭스를 생성할 수 있다. 이와 같이, 해당 사용자의 선택 동작에 의해 생성되는 시선 벡터 및 점 벡터 쌍으로 매칭 매트릭스를 매번 갱신함에 따라 해당 사용자의 시선에 대한 시선 추적 정확도를 점점 높일 수 있게 된다.Whenever a gaze vector and a point vector pair are generated by a user's selection operation, the
한편, 캘리브레이션부(110)는 시선 벡터 및 점 벡터 쌍이 기 설정된 개수 이상으로 누적되는 경우, 시선 벡터 및 점 벡터 쌍들 중 일부를 제거하여 매핑 속도를 향상시킬 수 있다. 이때, 캘리브레이션부(110)는 시선 벡터 및 점 벡터 쌍들 중 다른 사용자들에 의한 시선 벡터 및 점 벡터 쌍들을 우선적으로 제거할 수 있다. Meanwhile, the
개시되는 실시예에 의하면, 사용자의 시선을 추적하여 터치 스크린 상에 커서를 위치시킨 후 어시스트 버튼을 통해 미세 조정하여 사용자가 의도한 선택 지점을 선택하도록 함으로써, 터치 스크린에서 사용자가 한 손으로 터치하기 어려운 부분도 정확히 선택할 수 있게 된다. 그리고, 별도의 캘리브레이션 과정이 없이도 사용자의 선택 동작이 있을 때마다 시선 벡터 및 점 벡터 쌍들이 생성됨으로써, 자연적으로 시선 추적 정확도를 점점 향상시킬 수 있게 된다.According to the disclosed embodiment, by tracking the user's gaze, placing a cursor on the touch screen, finely adjusting it through an assist button, and allowing the user to select an intended selection point, the user touches the touch screen with one hand. You will be able to accurately select difficult parts. In addition, the gaze vector and the point vector pair are generated whenever a user selects without a separate calibration process, so that the gaze tracking accuracy can be gradually improved.
도 2 내지 도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용하여 사용자의 선택 지점을 결정하는 과정을 나타낸 도면이다. 2 to 3 are diagrams illustrating a process of determining a user's selection point using a user interface device according to an embodiment of the present invention.
도 2를 참조하면, 사용자 단말기(50)의 터치 스크린(51)에 어시스트 버튼부(104)가 표시될 수 있다. 여기서, 사용자는 터치 스크린(51)에서 선택을 원하는 위치를 눈으로 쳐다보면서 어시스트 버튼부(104)를 터치할 수 있다. 이때, 시선 추적부(102)는 터치 스크린(51) 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하고, 커서 표시부(106)는 어시스트 버튼부(104)가 터치되는 순간의 시선 위치 정보에 기반하여 커서(A)를 터치 스크린(51) 상에 표시할 수 있다. Referring to FIG. 2, the
여기서, 터치 스크린(51)에 표시되는 커서(A)의 위치(즉, 시선 위치 정보에 기반한 커서의 위치)는 사용자가 의도하는 위치와 차이가 있을 수 있다. 즉, 시선 추적부(102)가 정확히 사용자의 시선 위치를 추적하지 못하여 시선 위치 정보에 의한 커서(A)의 위치와 사용자가 의도한 위치 간에 차이가 있을 수 있다. 따라서, 터치 스크린(51)의 커서(A)의 위치를 사용자가 의도한 위치로 조정할 필요가 있게 된다. Here, the position of the cursor A displayed on the touch screen 51 (ie, the position of the cursor based on gaze position information) may be different from the position intended by the user. That is, since the
도 3을 참조하면, 도 2에서 기 설정된 이벤트(사용자가 어시스트 버튼부(104)를 터치하거나 커서(A)가 터치 스크린(51)에 표시됨)가 발생됨에 따라, 어시스트 버튼부(104)는 터치 스크린(51) 상에서 드래그가 가능하도록 변경될 수 있다. Referring to FIG. 3, as a preset event in FIG. 2 (the user touches the
여기서, 사용자가 어시스트 버튼부(104)를 드래그시킴에 따라 그와 연동하여 커서 표시부(106)는 터치 스크린(51)에서 커서(A)의 위치를 이동시킬 수 있다. 사용자는 터치 스크린(51)에서 자신이 선택하고자 하는 위치에 커서(A)가 위치하도록 어시스트 버튼부(104)를 드래그시킬 수 있다. 사용자는 커서(A)가 자신이 선택하고자 하는 위치에 온 경우, 어시스트 버튼부(104)의 드래그 동작을 종료(즉, 어시스트 버튼부(104)에서 손을 뗌)시킬 수 있다. 그러면, 선택 결정부(108)는 어시스트 버튼부(104)의 드래그 동작이 종료되는 시점에 위치하는 커서(A)의 위치를 사용자가 선택하는 지점으로 결정할 수 있다. Here, as the user drags the
도 4는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용한 사용자 입력 방법을 나타낸 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.4 is a flowchart illustrating a user input method using a user interface device according to an embodiment of the present invention. In the illustrated flowchart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, divided into detailed steps, or not shown. One or more steps may be added and performed.
도 4를 참조하면, 사용자 인터페이스 장치(100)는 터치 스크린(51) 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성한다(S 101). 다음으로, 사용자 인터페이스 장치(100)는 터치 스크린(51) 상에 어시스트 버튼부(104)를 표시한다(S 103). 예시적인 실시예에서, 어시스트 버튼부(104)는 사용자의 시선 추적 동작과 연동하여 터치 스크린(51) 상에 표시될 수 있다. Referring to FIG. 4, the
다음으로, 사용자 인터페이스 장치(100)는 사용자의 어시스트 버튼부(104)의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린(51) 상의 위치에 커서를 표시한다(S 105). 다음으로, 사용자 인터페이스 장치(100)는 기 설정된 이벤트 발생에 따라 어시스트 버튼부(104)를 터치 스크린(51) 상에 드래그 가능하도록 한다(S 107). Next, the
다음으로, 사용자 인터페이스 장치(100)는 사용자의 어시스트 버튼부(104)의 드래그 동작에 따라 터치 스크린(51) 상에서 커서의 위치를 이동시킨다(S 109). 다음으로, 사용자 인터페이스 장치(100)는 사용자의 드래그 종료 동작에 따라 터치 스크린(51) 상에서 커서가 위치한 지점을 사용자의 선택 지점으로 결정한다(S 111). 다음으로, 사용자 인터페이스 장치(100)는 시선 위치 정보와 사용자의 선택 지점에 대한 정보를 매핑시킨다(S 113). Next, the
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.5 is a block diagram illustrating and describing a
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 사용자 인터페이스 장치(100)일 수 있다.The illustrated
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the exemplary embodiments of the present invention have been described in detail above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications may be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should not be determined by the claims to be described later, but also by those equivalents to the claims.
100 : 사용자 인터페이스 장치
102 : 시선 추적부
104 : 어시스트 버튼부
106 : 커서 표시부
108 : 선택 결정부
110 : 캘리브레이션부100: user interface device
102: gaze tracking unit
104: assist button part
106: cursor display
108: selection decision section
110: calibration unit
Claims (15)
상기 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하는 시선 추적부;
상기 터치 스크린 상에 표시되는 어시스트 버튼부; 및
사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하는 커서 표시부를 포함하는, 사용자 인터페이스 장치.
A user interface device for performing a user input in a user terminal having a touch screen, comprising:
A gaze tracking unit for generating gaze position information by tracking a user's gaze on the touch screen;
An assist button unit displayed on the touch screen; And
A user interface device comprising a cursor display unit configured to display a cursor at a position on a touch screen corresponding to the gaze position information in connection with a user's touch of the assist button unit.
상기 어시스트 버튼부는,
기 설정된 이벤트 발생에 따라 상기 터치 스크린 상에서 드래그 가능하도록 마련되고,
상기 커서 표시부는,
상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시키는, 사용자 인터페이스 장치.
The method according to claim 1,
The assist button portion,
It is provided to be draggable on the touch screen according to the occurrence of a preset event,
The cursor display unit,
A user interface device for moving a cursor displayed on the touch screen in association with a drag direction and a drag length of the assist button part.
상기 기 설정된 이벤트는,
사용자가 상기 어시스트 버튼부를 터치하거나 상기 터치 스크린에 커서가 표시되는 경우 발생하는, 사용자 인터페이스 장치.
The method according to claim 2,
The preset event is,
Occurs when a user touches the assist button or a cursor is displayed on the touch screen.
상기 사용자 인터페이스 장치는,
상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 선택 결정부를 더 포함하는, 사용자 인터페이스 장치.
The method according to claim 2,
The user interface device,
The user interface device further comprising a selection determination unit configured to determine a user's selection point on the touch screen in association with a position of the cursor and a drag end operation of the assist button unit.
상기 선택 결정부는,
상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정하는, 사용자 인터페이스 장치.
The method of claim 4,
The selection determination unit,
A user interface device configured to determine a position of a cursor on the touch screen as a selection point of the user at the end of dragging of the assist button unit.
상기 사용자 인터페이스 장치는,
상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행하는 캘리브레이션부를 더 포함하는, 사용자 인터페이스 장치.
The method of claim 4,
The user interface device,
The user interface device further comprising a calibration unit for calibrating the gaze tracking unit based on the gaze position information and information on the user's selection point.
상기 캘리브레이션부는,
사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행하는, 사용자 인터페이스 장치.
The method of claim 6,
The calibration unit,
Whenever a user's selection operation occurs, the gaze position information and information on the user's selection point are mapped, and calibration is performed on the gaze tracker based on the mapped information.
상기 캘리브레이션부는,
상기 시선 위치 정보를 기반으로 시선 벡터를 검출하고, 상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하며, 상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하여 캘리브레이션을 수행하는, 사용자 인터페이스 장치.
The method of claim 7,
The calibration unit,
A gaze vector is detected based on the gaze position information, a point vector on the touch screen is detected based on the information on the user's selection point, and a gaze vector and a point vector pair detected whenever the user's selection operation occurs A user interface device for performing calibration by updating a matching matrix that matches the gaze vector and the point vector on a one-to-one basis.
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하기 위한 동작;
상기 터치 스크린 상에 어시스트 버튼부를 표시하기 위한 동작; 및
사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하기 위한 동작을 포함하는, 사용자 입력 방법.
One or more processors, and
A method performed in a computing device having a memory storing one or more programs executed by the one or more processors,
Generating gaze position information by tracking a user's gaze on the touch screen;
Displaying an assist button unit on the touch screen; And
And displaying a cursor at a position on a touch screen corresponding to the gaze position information in association with a user's touch of the assist button unit.
상기 사용자 입력 방법은,
기 설정된 이벤트 발생에 따라 상기 어시스트 버튼부를 상기 터치 스크린 상에서 드래그 가능하도록 하는 동작; 및
상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시키는 동작을 더 포함하는, 사용자 입력 방법.
The method of claim 9,
The user input method,
Allowing the assist button unit to be dragged on the touch screen according to occurrence of a preset event; And
The user input method further comprising moving a cursor displayed on the touch screen in association with a drag direction and a drag length of the assist button unit.
상기 사용자 입력 방법은,
상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 동작을 더 포함하는, 사용자 입력 방법.
Following on in claim 10,
The user input method,
The user input method further comprising an operation of determining a user's selection point on the touch screen in association with a position of the cursor and a drag end operation of the assist button unit.
상기 사용자의 선택 지점을 결정하는 동작은,
상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정하는, 사용자 입력 방법.
The method of claim 11,
The operation of determining the selection point of the user,
A user input method of determining a position of a cursor on the touch screen as a selection point of the user at the end of dragging of the assist button unit.
상기 사용자 입력 방법은,
상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 사용자의 시선 추적을 위한 시선 추적 모델을 캘리브레이션 하는 동작을 더 포함하는, 사용자 입력 방법.
The method of claim 11,
The user input method,
The user input method further comprising calibrating a gaze tracking model for tracking the gaze of the user based on the gaze location information and information on the user's selection point.
상기 캘리브레이션 하는 동작은,
사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적 모델에 대해 캘리브레이션을 수행하는, 사용자 입력 방법.
The method of claim 13,
The calibration operation,
The user input method of mapping the gaze location information and information on the user's selection point whenever a user's selection operation occurs, and calibrating the gaze tracking model based on the mapped information.
상기 캘리브레이션을 하는 동작은,
상기 시선 위치 정보를 기반으로 시선 벡터를 검출하는 동작;
상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하는 동작; 및
상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하는 동작을 포함하는, 사용자 입력 방법.
The method of claim 14,
The calibration operation,
Detecting a gaze vector based on the gaze position information;
Detecting a point vector on the touch screen based on information on the user's selection point; And
And updating a matching matrix that associates the gaze vector and the point vector on a one-to-one basis based on a pair of gaze vectors and point vectors detected whenever the user's selection operation occurs.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190048762A KR102198867B1 (en) | 2019-04-25 | 2019-04-25 | Method for user input and user interface device executing the method |
PCT/KR2020/005398 WO2020218859A1 (en) | 2019-04-25 | 2020-04-23 | User input method and user interface device for performing same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190048762A KR102198867B1 (en) | 2019-04-25 | 2019-04-25 | Method for user input and user interface device executing the method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200125062A true KR20200125062A (en) | 2020-11-04 |
KR102198867B1 KR102198867B1 (en) | 2021-01-05 |
Family
ID=72941088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190048762A KR102198867B1 (en) | 2019-04-25 | 2019-04-25 | Method for user input and user interface device executing the method |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102198867B1 (en) |
WO (1) | WO2020218859A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140088487A (en) * | 2013-01-02 | 2014-07-10 | 삼성디스플레이 주식회사 | Terminal and method for controlling thereof |
KR20140117469A (en) * | 2012-01-04 | 2014-10-07 | 토비 테크놀로지 에이비 | System for gaze interaction |
KR20150032019A (en) | 2013-09-17 | 2015-03-25 | 한국전자통신연구원 | Method and apparatus for providing user interface by using eye tracking |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
JP5811780B2 (en) * | 2011-11-07 | 2015-11-11 | 富士通株式会社 | Information processing apparatus and input control program thereof |
KR20150031986A (en) * | 2013-09-17 | 2015-03-25 | 삼성전자주식회사 | Display apparatus and control method thereof |
-
2019
- 2019-04-25 KR KR1020190048762A patent/KR102198867B1/en active IP Right Grant
-
2020
- 2020-04-23 WO PCT/KR2020/005398 patent/WO2020218859A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140117469A (en) * | 2012-01-04 | 2014-10-07 | 토비 테크놀로지 에이비 | System for gaze interaction |
KR20140088487A (en) * | 2013-01-02 | 2014-07-10 | 삼성디스플레이 주식회사 | Terminal and method for controlling thereof |
KR20150032019A (en) | 2013-09-17 | 2015-03-25 | 한국전자통신연구원 | Method and apparatus for providing user interface by using eye tracking |
Also Published As
Publication number | Publication date |
---|---|
WO2020218859A1 (en) | 2020-10-29 |
KR102198867B1 (en) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230052490A1 (en) | Remote user interface | |
US20210141451A1 (en) | Two Step Gaze Interaction | |
JP2022118183A (en) | Systems and methods of direct pointing detection for interaction with digital device | |
KR101542625B1 (en) | Method and apparatus for selecting an object within a user interface by performing a gesture | |
US11054894B2 (en) | Integrated mixed-input system | |
US10089000B2 (en) | Auto targeting assistance for input devices | |
RU2683171C2 (en) | Probabilistic touch detection | |
US20140210728A1 (en) | Fingerprint driven profiling | |
US9495098B2 (en) | Detecting input based on multiple gestures | |
US20210109641A1 (en) | System and Methods for Device Interaction Using a Pointing Device and Attention Sensing Device | |
WO2021227370A1 (en) | Method and system for processing gestures detected on display screen of foldable device | |
KR20180048158A (en) | Method for display operating and electronic device supporting the same | |
KR20200092379A (en) | Dynamically configurable application control elements | |
US10802620B2 (en) | Information processing apparatus and information processing method | |
US10558340B2 (en) | Inadvertent dismissal prevention for graphical content | |
KR20160098700A (en) | Apparatus for processing multi-touch input and method thereof | |
KR102198867B1 (en) | Method for user input and user interface device executing the method | |
US20230070059A1 (en) | False touch rejection method, terminal device, and storage medium | |
KR20200015045A (en) | Electronic device and method for providing virtual input tool | |
KR102308927B1 (en) | Method for outputting screen and display device for executing the same | |
KR102204599B1 (en) | Method for outputting screen and display device for executing the same | |
US12008160B2 (en) | Eye tracking based selection of a user interface (UI) element based on targeting criteria | |
US20230333642A1 (en) | Calibrating a Gaze Tracker | |
US20220276777A1 (en) | Mapping user inputs in two directions to a single direction for one-handed device interactions with graphical sliders | |
US11928264B2 (en) | Fixed user interface navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |