WO2020218859A1 - User input method and user interface device for performing same - Google Patents

User input method and user interface device for performing same Download PDF

Info

Publication number
WO2020218859A1
WO2020218859A1 PCT/KR2020/005398 KR2020005398W WO2020218859A1 WO 2020218859 A1 WO2020218859 A1 WO 2020218859A1 KR 2020005398 W KR2020005398 W KR 2020005398W WO 2020218859 A1 WO2020218859 A1 WO 2020218859A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
gaze
touch screen
cursor
unit
Prior art date
Application number
PCT/KR2020/005398
Other languages
French (fr)
Korean (ko)
Inventor
석윤찬
이용은
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Publication of WO2020218859A1 publication Critical patent/WO2020218859A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • Embodiments of the present invention relate to user interface technology.
  • the disclosed embodiment is to provide a new user interface technology.
  • a user interface device for performing a user input in a user terminal having a touch screen, and a gaze tracking unit for generating gaze position information by tracking a user's gaze on the touch screen ; An assist button unit displayed on the touch screen; And a cursor display unit that displays a cursor at a position on the touch screen corresponding to the gaze position information in association with a user's touch of the assist button unit.
  • the preset event may occur when a user touches the assist button or a cursor is displayed on the touch screen.
  • the user interface device may further include a selection determination unit configured to determine a user's selection point on the touch screen in conjunction with the position of the cursor and the drag end operation of the assist button unit.
  • the selection determination unit may determine the position of the cursor on the touch screen as the user's selection point at the end of dragging of the assist button unit.
  • the user interface device may further include a calibration unit for calibrating the gaze tracking unit based on the gaze position information and information on the user's selection point.
  • the calibration unit may map the gaze position information and information on the user’s selection point whenever a user selection operation occurs, and perform calibration on the gaze tracking unit based on the mapped information.
  • the calibration unit detects a gaze vector based on the gaze position information, detects a point vector on the touch screen based on information on the user's selection point, and is detected whenever the user's selection operation occurs. And a matching matrix that matches the line of sight vector and the point vector on a one-to-one basis on the basis of a pair of point vectors to perform calibration.
  • a user input method is a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, comprising: Generating gaze position information by tracking a gaze; Displaying an assist button unit on the touch screen; And displaying a cursor at a position on the touch screen corresponding to the gaze position information in association with the user's touch of the assist button.
  • the user input method includes: allowing the assist button unit to be dragged on the touch screen according to occurrence of a preset event; And moving the cursor displayed on the touch screen in association with the drag direction and the drag length of the assist button.
  • the user input method may further include an operation of determining a user's selection point on the touch screen in conjunction with a position of the cursor and a drag end operation of the assist button unit.
  • the position of the cursor on the touch screen at the end of dragging of the assist button unit may be determined as the user's selection point.
  • the user input method may further include calibrating a gaze tracking model for tracking the user's gaze based on the gaze position information and information on the user's selection point.
  • the gaze position information and information on the user’s selection point may be mapped, and the gaze tracking model may be calibrated based on the mapped information.
  • the calibration may include detecting a gaze vector based on the gaze position information; Detecting a point vector on the touch screen based on information on the user's selection point; And updating a matching matrix that associates the gaze vector and the point vector on a one-to-one basis based on a pair of gaze vectors and point vectors detected whenever the user's selection operation occurs.
  • the user by tracking the user's gaze, placing a cursor on the touch screen, finely adjusting it through an assist button, and allowing the user to select an intended selection point, the user touches the touch screen with one hand. You will be able to accurately select difficult parts.
  • the gaze vector and the point vector pair are generated whenever a user selects without a separate calibration process, so that the gaze tracking accuracy can be gradually improved.
  • FIG. 1 is a diagram showing the configuration of a user interface device according to an embodiment of the present invention
  • FIGS. 2 to 3 are diagrams showing a process of determining a user's selection point using a user interface device according to an embodiment of the present invention
  • FIG. 4 is a flowchart showing a user input method using a user interface device according to an embodiment of the present invention
  • FIG. 5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
  • transmission In the following description, "transmission”, “communication”, “transmission”, “reception” of signals or information, and other terms having a similar meaning are not only directly transmitted signals or information from one component to another component. It includes what is passed through other components.
  • “transmitting” or “transmitting” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for “reception” of signals or information.
  • transmission when two or more pieces of data or information are "related”, it means that when one data (or information) is obtained, at least a part of other data (or information) can be obtained based thereon.
  • directional terms such as upper side, lower side, one side, and the other side are used in relation to the orientation of the disclosed drawings. Since the constituent elements of the embodiments of the present invention may be positioned in various orientations, the directional terminology is used for illustrative purposes, but is not limited thereto.
  • first and second may be used to describe various components, but the components should not be limited by the terms. These terms may be used for the purpose of distinguishing one component from another component.
  • a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
  • FIG. 1 is a diagram showing the configuration of a user interface device according to an embodiment of the present invention.
  • the user interface device 100 may include a gaze tracking unit 102, an assist button unit 104, a cursor display unit 106, a selection determination unit 108, and a calibration unit 110. have.
  • the user interface device 100 may be mounted on a user terminal (eg, a smart phone, a tablet PC, a notebook, etc.) 50 having a touch screen.
  • the user interface device 100 may be a configuration for a user interface in the user terminal 50.
  • the gaze tracking unit 102 may track a user's gaze. Specifically, the gaze tracking unit 102 may generate gaze location information by tracking a user's gaze on the touch screen of the user terminal 50.
  • the gaze tracking unit 102 may include a gaze tracking model for tracking a user's gaze.
  • the gaze tracking model may be implemented through known gaze tracking techniques.
  • the assist button unit 104 may be provided to enable drag on the touch screen according to occurrence of a preset event.
  • the preset event may include a user touching the assist button unit 104 or displaying a cursor on the touch screen.
  • the assist button unit 104 may be provided to enable a user to touch on the touch screen and drag in a predetermined direction (including a 360° direction) when a preset event occurs.
  • the position of the cursor displayed on the touch screen may be different from the position actually intended by the user (ie, the position at which the user actually gazes). That is, the gaze tracking unit 102 may not accurately track the gaze position of the user, and thus there may be a difference between the position of the cursor based on gaze position information and the position at which the user actually gazes.
  • the cursor display unit 106 may move the cursor displayed on the touch screen in conjunction with the drag of the assist button unit 104. That is, when the user touches the assist button unit 104 or a cursor is displayed on the touch screen, the assist button unit 104 may be changed to a form capable of being dragged on the touch screen.
  • the cursor display unit 106 may move the cursor on the touch screen in association with the dragging direction and length of the assist button unit 104 by the user.
  • the cursor display unit 106 may move the cursor in the drag direction of the assist button unit 104, but may move the cursor by a length corresponding to the drag length of the assist button unit 104.
  • the user can control the movement of the cursor through the assist button unit 104.
  • the selection determination unit 108 may determine a user's selection point on the touch screen of the user terminal 50.
  • the selection determination unit 108 may determine the user's selection point in conjunction with the position of the cursor on the touch screen and the drag end operation of the assist button unit 104. For example, the selection determination unit 108 may position the cursor on the touch screen at the time when the user drags the assist button unit 104 and then releases the hand from the assist button unit 104 (ie, the end of dragging). Can be decided by a selection point.
  • the user's selection point may be a menu or an icon on a touch screen.
  • the selection determination unit 108 determines the user's selection point, a menu or icon corresponding to the user's selection point may be activated or executed.
  • the calibration unit 110 may calibrate the gaze tracking unit 102 based on the gaze position information by the gaze tracking unit 102 and information on the user's selection point by the selection determination unit 108 . That is, the calibration unit 110 includes location information of the gaze that the user actually gazes on the touch screen (i.e., information about the user's selection point) and gaze location information tracked by the gaze tracking unit 102 (that is, the user When viewing the selected point, calibration may be performed on the gaze tracking model based on gaze position information generated by the gaze tracking unit).
  • the calibration unit 110 Whenever the user selects a predetermined point on the touch screen of the user terminal 50 through the user interface device 100, the calibration unit 110 provides gaze position information and selection determination unit 108 by the gaze tracking unit 102. Information on the user's selection point by can be mapped.
  • the calibration unit 110 may calibrate the gaze location information of the gaze tracking unit 102 based on the accumulated gaze location information and mapping information of information on the user's selection point. Accordingly, the difference between the displayed position of the cursor according to the gaze position information of the gaze tracking unit 102 and the position at which the user actually gazes is gradually reduced.
  • the calibration unit 110 may detect a gaze vector based on gaze position information generated by the gaze tracking unit 102.
  • the gaze vector may be a vector directed from the center of the user's eyeball to the center of the pupil or the center of the cornea.
  • the calibration unit 110 may detect a point vector on the touch screen based on the user's selection point on the touch screen.
  • the calibration unit 110 may detect a matching matrix that matches the gaze vector and the point vector (that is, the point vector on the touch screen) 1:1.
  • the calibration unit 110 selects a group of a plurality of pre-stored gaze vectors and point vector pairs (an operation in which the user selects a predetermined point on the touch screen of the user terminal 50 through the user interface device 100) A pair of gaze vectors and point vectors generated by can be added.
  • the plurality of pre-stored gaze vectors and point vectors may be average gaze vectors and average point vectors by other existing users.
  • the calibration unit 110 may improve the mapping speed by removing some of the line-of-sight vector and point vector pairs when the line-of-sight vector and point vector pairs are accumulated in excess of a preset number. In this case, the calibration unit 110 may preferentially remove the gaze vector and point vector pairs by other users among the gaze vector and point vector pairs.
  • the user by tracking the user's gaze, placing a cursor on the touch screen, finely adjusting it through an assist button, and allowing the user to select an intended selection point, the user touches the touch screen with one hand. You will be able to accurately select difficult parts.
  • the gaze vector and the point vector pair are generated whenever a user selects without a separate calibration process, so that the gaze tracking accuracy can be gradually improved.
  • FIGS. 2 to 3 are diagrams illustrating a process of determining a user's selection point using a user interface device according to an embodiment of the present invention.
  • the assist button unit 104 may be displayed on the touch screen 51 of the user terminal 50.
  • the user may touch the assist button unit 104 while looking at a desired position on the touch screen 51 with his own eyes.
  • the gaze tracking unit 102 generates gaze position information by tracking the user’s gaze on the touch screen 51, and the cursor display unit 106 is based on the gaze position information at the moment when the assist button unit 104 is touched.
  • the cursor A can be displayed on the touch screen 51.
  • the position of the cursor A displayed on the touch screen 51 (ie, the position of the cursor based on gaze position information) may be different from the position intended by the user. That is, since the gaze tracking unit 102 cannot accurately track the user's gaze position, there may be a difference between the location of the cursor A based on gaze location information and the location intended by the user. Accordingly, it is necessary to adjust the position of the cursor A of the touch screen 51 to a position intended by the user.
  • the assist button 104 touches It can be changed to enable drag on the screen 51.
  • FIG. 4 is a flowchart illustrating a user input method using a user interface device according to an embodiment of the present invention.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, divided into detailed steps, or not shown. One or more steps may be added and performed.
  • the user interface device 100 generates gaze position information by tracking the user's gaze on the touch screen 51 (S 101 ).
  • the user interface device 100 displays the assist button unit 104 on the touch screen 51 (S103).
  • the assist button unit 104 may be displayed on the touch screen 51 in conjunction with a user's gaze tracking operation.
  • the user interface device 100 displays a cursor at a position on the touch screen 51 corresponding to the gaze position information in conjunction with the user's touch of the assist button unit 104 (S105).
  • the user interface device 100 allows the assist button unit 104 to be dragged on the touch screen 51 according to the occurrence of a preset event (S107).
  • the user interface device 100 moves the position of the cursor on the touch screen 51 according to the user's dragging operation of the assist button unit 104 (S109).
  • the user interface device 100 determines the point where the cursor is located on the touch screen 51 as the user's selection point according to the user's drag end operation (S111).
  • the user interface device 100 maps the gaze position information and information on the user's selection point (S113).
  • FIG. 5 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12.
  • computing device 12 may be a user interface device 100.
  • the computing device 12 includes at least one processor 14, a computer-readable storage medium 16 and a communication bus 18.
  • the processor 14 may cause the computing device 12 to operate according to the exemplary embodiments mentioned above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16.
  • the one or more programs may include one or more computer-executable instructions, and the computer-executable instructions are configured to cause the computing device 12 to perform operations according to an exemplary embodiment when executed by the processor 14 Can be.
  • the computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14.
  • the computer-readable storage medium 16 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other types of storage media that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.
  • the communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer readable storage medium 16.
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24.
  • the input/output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22.
  • the exemplary input/output device 24 includes a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or a touch screen), a voice or sound input device, and various types of sensor devices and/or a photographing device.
  • Input devices and/or output devices such as display devices, printers, speakers, and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

A user input method and a user interface device for performing same are disclosed. A user interface device according to one disclosed embodiment relates to a user interface for performing a user input in a user terminal having a touch screen, and comprises: a gaze tracking unit for generating gaze location information by tracking the gaze of a user on the touch screen; an assist button unit displayed on the touch screen; and a cursor display unit linked with touch of the assist button unit of the user so as to display a cursor at the location on the touch screen corresponding to the gaze location information.

Description

사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치User input method and user interface device for performing the same
본 발명의 실시예는 사용자 인터페이스 기술과 관련된다. Embodiments of the present invention relate to user interface technology.
최근, 시선 추적 기술이 발달함에 따라 시선 추적 기술을 사용자 인터페이스와 결합시키는 시도가 이루어지고 있다. 예를 들어, 스마트 폰 등에서 사용자의 시선을 추적하여 사용자가 응시하는 지점을 사용자가 선택한 지점으로 결정하여 그에 대응하는 동작이 이루어지도록 하고 있다. 그러나, 기존의 시선 추적 기술을 이용한 사용자 인터페이스는 정확성이 떨어져 사용자의 의도와는 다른 지점이 선택되고, 소정 지점이 선택되는 순간이 직관적이지 않다는 문제점이 있다.Recently, with the development of eye tracking technology, attempts have been made to combine eye tracking technology with a user interface. For example, by tracking the user's gaze on a smart phone or the like, a point at which the user gazes is determined as a point selected by the user, and an action corresponding thereto is performed. However, the user interface using the existing gaze tracking technology has a problem in that a point different from the user's intention is selected due to poor accuracy, and the moment when a predetermined point is selected is not intuitive.
개시되는 실시예는 새로운 사용자 인터페이스 기술을 제공하기 위한 것이다. The disclosed embodiment is to provide a new user interface technology.
개시되는 일 실시예에 따른 사용자 인터페이스 장치는, 터치 스크린을 구비하는 사용자 단말기에서 사용자 입력을 수행하기 위한 사용자 인터페이스 장치로서, 상기 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하는 시선 추적부; 상기 터치 스크린 상에 표시되는 어시스트 버튼부; 및 사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하는 커서 표시부를 포함한다.A user interface device according to an embodiment disclosed is a user interface device for performing a user input in a user terminal having a touch screen, and a gaze tracking unit for generating gaze position information by tracking a user's gaze on the touch screen ; An assist button unit displayed on the touch screen; And a cursor display unit that displays a cursor at a position on the touch screen corresponding to the gaze position information in association with a user's touch of the assist button unit.
상기 어시스트 버튼부는, 기 설정된 이벤트 발생에 따라 상기 터치 스크린 상에서 드래그 가능하도록 마련되고, 상기 커서 표시부는, 상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시킬 수 있다.The assist button unit may be provided to be dragged on the touch screen according to occurrence of a preset event, and the cursor display unit may move a cursor displayed on the touch screen in association with a drag direction and a drag length of the assist button unit.
상기 기 설정된 이벤트는, 사용자가 상기 어시스트 버튼부를 터치하거나 상기 터치 스크린에 커서가 표시되는 경우 발생할 수 있다.The preset event may occur when a user touches the assist button or a cursor is displayed on the touch screen.
상기 사용자 인터페이스 장치는, 상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 선택 결정부를 더 포함할 수 있다.The user interface device may further include a selection determination unit configured to determine a user's selection point on the touch screen in conjunction with the position of the cursor and the drag end operation of the assist button unit.
상기 선택 결정부는, 상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정할 수 있다.The selection determination unit may determine the position of the cursor on the touch screen as the user's selection point at the end of dragging of the assist button unit.
상기 사용자 인터페이스 장치는, 상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행하는 캘리브레이션부를 더 포함할 수 있다.The user interface device may further include a calibration unit for calibrating the gaze tracking unit based on the gaze position information and information on the user's selection point.
상기 캘리브레이션부는, 사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행할 수 있다.The calibration unit may map the gaze position information and information on the user’s selection point whenever a user selection operation occurs, and perform calibration on the gaze tracking unit based on the mapped information.
상기 캘리브레이션부는, 상기 시선 위치 정보를 기반으로 시선 벡터를 검출하고, 상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하며, 상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하여 캘리브레이션을 수행할 수 있다.The calibration unit detects a gaze vector based on the gaze position information, detects a point vector on the touch screen based on information on the user's selection point, and is detected whenever the user's selection operation occurs. And a matching matrix that matches the line of sight vector and the point vector on a one-to-one basis on the basis of a pair of point vectors to perform calibration.
개시되는 일 실시예에 따른 사용자 입력 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하기 위한 동작; 상기 터치 스크린 상에 어시스트 버튼부를 표시하기 위한 동작; 및 사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하기 위한 동작을 포함한다.A user input method according to the disclosed embodiment is a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, comprising: Generating gaze position information by tracking a gaze; Displaying an assist button unit on the touch screen; And displaying a cursor at a position on the touch screen corresponding to the gaze position information in association with the user's touch of the assist button.
상기 사용자 입력 방법은, 기 설정된 이벤트 발생에 따라 상기 어시스트 버튼부를 상기 터치 스크린 상에서 드래그 가능하도록 하는 동작; 및 상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시키는 동작을 더 포함할 수 있다.The user input method includes: allowing the assist button unit to be dragged on the touch screen according to occurrence of a preset event; And moving the cursor displayed on the touch screen in association with the drag direction and the drag length of the assist button.
상기 사용자 입력 방법은, 상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 동작을 더 포함할 수 있다.The user input method may further include an operation of determining a user's selection point on the touch screen in conjunction with a position of the cursor and a drag end operation of the assist button unit.
상기 사용자의 선택 지점을 결정하는 동작은, 상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정할 수 있다.In the determining of the user's selection point, the position of the cursor on the touch screen at the end of dragging of the assist button unit may be determined as the user's selection point.
상기 사용자 입력 방법은, 상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 사용자의 시선 추적을 위한 시선 추적 모델을 캘리브레이션 하는 동작을 더 포함할 수 있다.The user input method may further include calibrating a gaze tracking model for tracking the user's gaze based on the gaze position information and information on the user's selection point.
상기 캘리브레이션 하는 동작은, 사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적 모델에 대해 캘리브레이션을 수행할 수 있다.In the calibration operation, each time a user selection operation occurs, the gaze position information and information on the user’s selection point may be mapped, and the gaze tracking model may be calibrated based on the mapped information.
상기 캘리브레이션을 하는 동작은, 상기 시선 위치 정보를 기반으로 시선 벡터를 검출하는 동작; 상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하는 동작; 및 상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하는 동작을 포함할 수 있다.The calibration may include detecting a gaze vector based on the gaze position information; Detecting a point vector on the touch screen based on information on the user's selection point; And updating a matching matrix that associates the gaze vector and the point vector on a one-to-one basis based on a pair of gaze vectors and point vectors detected whenever the user's selection operation occurs.
개시되는 실시예에 의하면, 사용자의 시선을 추적하여 터치 스크린 상에 커서를 위치시킨 후 어시스트 버튼을 통해 미세 조정하여 사용자가 의도한 선택 지점을 선택하도록 함으로써, 터치 스크린에서 사용자가 한 손으로 터치하기 어려운 부분도 정확히 선택할 수 있게 된다. 그리고, 별도의 캘리브레이션 과정이 없이도 사용자의 선택 동작이 있을 때마다 시선 벡터 및 점 벡터 쌍들이 생성됨으로써, 자연적으로 시선 추적 정확도를 점점 향상시킬 수 있게 된다.According to the disclosed embodiment, by tracking the user's gaze, placing a cursor on the touch screen, finely adjusting it through an assist button, and allowing the user to select an intended selection point, the user touches the touch screen with one hand. You will be able to accurately select difficult parts. In addition, the gaze vector and the point vector pair are generated whenever a user selects without a separate calibration process, so that the gaze tracking accuracy can be gradually improved.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 나타낸 도면1 is a diagram showing the configuration of a user interface device according to an embodiment of the present invention
도 2 내지 도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용하여 사용자의 선택 지점을 결정하는 과정을 나타낸 도면2 to 3 are diagrams showing a process of determining a user's selection point using a user interface device according to an embodiment of the present invention
도 4는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용한 사용자 입력 방법을 나타낸 흐름도4 is a flowchart showing a user input method using a user interface device according to an embodiment of the present invention
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도5 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a specific embodiment of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention and may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification. The terms used in the detailed description are only for describing embodiments of the present invention, and should not be limiting. Unless explicitly used otherwise, expressions in the singular form include the meaning of the plural form. In this description, expressions such as "comprising" or "feature" are intended to refer to certain features, numbers, steps, actions, elements, some or combination thereof, and one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, any part or combination thereof.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, "transmission", "communication", "transmission", "reception" of signals or information, and other terms having a similar meaning are not only directly transmitted signals or information from one component to another component. It includes what is passed through other components. In particular, "transmitting" or "transmitting" a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for "reception" of signals or information. In addition, in the present specification, when two or more pieces of data or information are "related", it means that when one data (or information) is obtained, at least a part of other data (or information) can be obtained based thereon.
한편, 상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.Meanwhile, directional terms such as upper side, lower side, one side, and the other side are used in relation to the orientation of the disclosed drawings. Since the constituent elements of the embodiments of the present invention may be positioned in various orientations, the directional terminology is used for illustrative purposes, but is not limited thereto.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.In addition, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms may be used for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치의 구성을 나타낸 도면이다. 1 is a diagram showing the configuration of a user interface device according to an embodiment of the present invention.
도 1을 참조하면, 사용자 인터페이스 장치(100)는 시선 추적부(102), 어시스트 버튼부(104), 커서 표시부(106), 선택 결정부(108), 및 캘리브레이션부(110)를 포함할 수 있다. 사용자 인터페이스 장치(100)는 터치 스크린을 구비한 사용자 단말기(예를 들어, 스마트 폰, 태블릿 PC, 노트북 등)(50)에 장착될 수 있다. 사용자 인터페이스 장치(100)는 사용자 단말기(50)에서 사용자 인터페이스를 위한 구성일 수 있다. Referring to FIG. 1, the user interface device 100 may include a gaze tracking unit 102, an assist button unit 104, a cursor display unit 106, a selection determination unit 108, and a calibration unit 110. have. The user interface device 100 may be mounted on a user terminal (eg, a smart phone, a tablet PC, a notebook, etc.) 50 having a touch screen. The user interface device 100 may be a configuration for a user interface in the user terminal 50.
또한, 도 1에 도시된 사용자 인터페이스 장치의 구성은, 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 본 발명에 따른 기능을 수행하기 위하여 상호 기능적으로 연결될 수 있으며, 어느 하나 이상의 구성이 실제 물리적으로는 서로 통합되어 구현될 수도 있다.In addition, the configuration of the user interface device shown in FIG. 1 shows functional elements that are functionally divided, and may be functionally connected to each other in order to perform a function according to the present invention, and any one or more configurations may be physically It can also be integrated and implemented.
시선 추적부(102)는 사용자의 시선을 추적할 수 있다. 구체적으로, 시선 추적부(102)는 사용자 단말기(50)의 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성할 수 있다. 시선 추적부(102)는 사용자의 시선을 추적하기 위한 시선 추적 모델을 포함할 수 있다. 시선 추적 모델은 기 공지된 시선 추적 기술들을 통해 구현될 수 있다.The gaze tracking unit 102 may track a user's gaze. Specifically, the gaze tracking unit 102 may generate gaze location information by tracking a user's gaze on the touch screen of the user terminal 50. The gaze tracking unit 102 may include a gaze tracking model for tracking a user's gaze. The gaze tracking model may be implemented through known gaze tracking techniques.
어시스트 버튼부(104)는 사용자 단말기(50)의 터치 스크린 상에 표시될 수 있다. 예시적인 실시예에서, 어시스트 버튼부(104)는 시선 추적부(102)와 연동하여 활성화 될 수 있다. 즉, 어시스트 버튼부(104)는 평소에 눈에 안 보이는 형태로 있다가 시선 추적부(102)의 동작과 연동하여 활성화 되고, 사용자 단말기(50)의 터치 스크린 상에 표시될 수 있다. The assist button unit 104 may be displayed on the touch screen of the user terminal 50. In an exemplary embodiment, the assist button unit 104 may be activated in conjunction with the gaze tracking unit 102. That is, the assist button unit 104 is in a form that is not normally visible to the eyes, and is activated in conjunction with the operation of the gaze tracking unit 102 and may be displayed on the touch screen of the user terminal 50.
어시스트 버튼부(104)는 사용자 단말기(50)의 터치 스크린의 테두리와 인접한 부분에 표시될 수 있다. 예시적인 실시예에서, 어시스트 버튼부(104)는 사용자가 사용자 단말기(50)를 파지한 손의 엄지 손가락으로 닿을 수 있는 부분(예를 들어, 상기 터치 스크린의 좌측 하단 또는 우측 하단 테두리 부분 등)에 표시될 수 있다. The assist button unit 104 may be displayed on a portion adjacent to the edge of the touch screen of the user terminal 50. In an exemplary embodiment, the assist button unit 104 is a portion that the user can reach with the thumb of the hand holding the user terminal 50 (for example, the lower left or lower right edge of the touch screen, etc.) Can be displayed on.
어시스트 버튼부(104)는 기 설정된 이벤트 발생에 따라 터치 스크린 상에서 드래그(Drag)가 가능하도록 마련될 수 있다. 여기서, 기 설정된 이벤트는 사용자가 어시스트 버튼부(104)를 터치하거나 커서가 터치 스크린에 표시되는 것 등이 포함될 수 있다. 어시스트 버튼부(104)는 기 설정된 이벤트가 발생하는 경우, 상기 터치 스크린 상에서 사용자가 터치하고 소정 방향(360도 방향을 포함)으로 드래그가 가능하도록 마련될 수 있다. The assist button unit 104 may be provided to enable drag on the touch screen according to occurrence of a preset event. Here, the preset event may include a user touching the assist button unit 104 or displaying a cursor on the touch screen. The assist button unit 104 may be provided to enable a user to touch on the touch screen and drag in a predetermined direction (including a 360° direction) when a preset event occurs.
커서 표시부(106)는 시선 위치 정보에 기반하여 커서를 터치 스크린에 표시할 수 있다. 이때, 커서 표시부(106)는 사용자의 어시스트 버튼부(104)의 터치와 연동하여 커서를 상기 터치 스크린에 표시할 수 있다. 즉, 커서 표시부(106)는 사용자가 어시스트 버튼부(104)를 터치하는 순간의 시선 위치 정보에 기반하여 터치 스크린에서 시선 위치 정보에 대응하는 지점에 커서를 표시할 수 있다. The cursor display unit 106 may display a cursor on the touch screen based on the gaze position information. In this case, the cursor display unit 106 may display a cursor on the touch screen in association with the user's touch of the assist button unit 104. That is, the cursor display unit 106 may display the cursor at a point corresponding to the gaze position information on the touch screen based on the gaze position information at the moment when the user touches the assist button unit 104.
여기서, 터치 스크린에 표시되는 커서의 위치는 사용자가 실제 의도하는 위치(즉, 사용자가 실제 응시하는 위치)와 차이가 있을 수 있다. 즉, 시선 추적부(102)가 정확히 사용자의 시선 위치를 추적하지 못하여 시선 위치 정보에 의한 커서의 위치와 사용자가 실제 응시하는 위치 간에 차이가 있을 수 있다.Here, the position of the cursor displayed on the touch screen may be different from the position actually intended by the user (ie, the position at which the user actually gazes). That is, the gaze tracking unit 102 may not accurately track the gaze position of the user, and thus there may be a difference between the position of the cursor based on gaze position information and the position at which the user actually gazes.
커서 표시부(106)는 터치 스크린에 표시된 커서를 어시스트 버튼부(104)의 드래그와 연동하여 이동시킬 수 있다. 즉, 사용자가 어시스트 버튼부(104)를 터치하거나 커서가 터치 스크린 상에 표시되는 경우, 어시스트 버튼부(104)는 터치 스크린 상에서 드래그가 가능한 형태로 변경될 수 있다. The cursor display unit 106 may move the cursor displayed on the touch screen in conjunction with the drag of the assist button unit 104. That is, when the user touches the assist button unit 104 or a cursor is displayed on the touch screen, the assist button unit 104 may be changed to a form capable of being dragged on the touch screen.
여기서, 커서 표시부(106)는 사용자가 어시스트 버튼부(104)를 드래그하는 방향 및 드래그하는 길이와 연동하여 터치 스크린 상에서 커서를 이동시킬 수 있다. 이때, 커서 표시부(106)는 어시스트 버튼부(104)의 드래그 방향으로 커서를 이동시키되, 어시스트 버튼부(104)의 드래그 길이와 대응하는 만큼 이동시킬 수 있다. 이 경우, 사용자는 어시스트 버튼부(104)를 통해 커서의 이동을 제어할 수 있게 된다.Here, the cursor display unit 106 may move the cursor on the touch screen in association with the dragging direction and length of the assist button unit 104 by the user. In this case, the cursor display unit 106 may move the cursor in the drag direction of the assist button unit 104, but may move the cursor by a length corresponding to the drag length of the assist button unit 104. In this case, the user can control the movement of the cursor through the assist button unit 104.
선택 결정부(108)는 사용자 단말기(50)의 터치 스크린에서 사용자의 선택 지점을 결정할 수 있다. 선택 결정부(108)는 터치 스크린에서 커서의 위치 및 어시스트 버튼부(104)의 드래그 종료 동작과 연동하여 사용자의 선택 지점을 결정할 수 있다. 예를 들어, 선택 결정부(108)는 사용자가 어시스트 버튼부(104)를 드래그한 후 어시스트 버튼부(104)에서 손을 뗀 시점(즉, 드래그 종료 시점)에 터치 스크린의 커서 위치를 사용자의 선택 지점으로 결정할 수 있다. The selection determination unit 108 may determine a user's selection point on the touch screen of the user terminal 50. The selection determination unit 108 may determine the user's selection point in conjunction with the position of the cursor on the touch screen and the drag end operation of the assist button unit 104. For example, the selection determination unit 108 may position the cursor on the touch screen at the time when the user drags the assist button unit 104 and then releases the hand from the assist button unit 104 (ie, the end of dragging). Can be decided by a selection point.
예를 들어, 사용자의 선택 지점은 터치 스크린 상의 메뉴 또는 아이콘 등일 수 있다. 선택 결정부(108)에서 사용자의 선택 지점으로 결정되는 경우, 사용자의 선택 지점에 대응하는 메뉴 또는 아이콘 등이 활성화 되거나 실행될 수 있다.For example, the user's selection point may be a menu or an icon on a touch screen. When the selection determination unit 108 determines the user's selection point, a menu or icon corresponding to the user's selection point may be activated or executed.
캘리브레이션부(110)는 시선 추적부(102)에 의한 시선 위치 정보 및 선택 결정부(108)에 의한 사용자의 선택 지점에 대한 정보를 기반으로 시선 추적부(102)에 대해 캘리브레이션을 수행할 수 있다. 즉, 캘리브레이션부(110)는 터치 스크린 상에서 사용자가 실제로 응시하는 시선의 위치 정보(즉, 사용자의 선택 지점에 대한 정보)와 시선 추적부(102)에 의해 추적한 시선 위치 정보(즉, 사용자가 상기 선택 지점을 볼 때 시선 추적부에 의해 생성된 시선 위치 정보)를 기반으로 시선 추적 모델에 대해 캘리브레이션을 수행할 수 있다.The calibration unit 110 may calibrate the gaze tracking unit 102 based on the gaze position information by the gaze tracking unit 102 and information on the user's selection point by the selection determination unit 108 . That is, the calibration unit 110 includes location information of the gaze that the user actually gazes on the touch screen (i.e., information about the user's selection point) and gaze location information tracked by the gaze tracking unit 102 (that is, the user When viewing the selected point, calibration may be performed on the gaze tracking model based on gaze position information generated by the gaze tracking unit).
캘리브레이션부(110)는 사용자 인터페이스 장치(100)를 통해 사용자가 사용자 단말(50)의 터치 스크린 상에서 소정 지점을 선택할 때마다, 시선 추적부(102)에 의한 시선 위치 정보와 선택 결정부(108)에 의한 사용자의 선택 지점에 대한 정보를 매핑시킬 수 있다. 캘리브레이션부(110)는 누적되는 시선 위치 정보 및 사용자의 선택 지점에 대한 정보의 매핑 정보를 기반으로 시선 추적부(102)의 시선 위치 정보를 캘리브레이션 할 수 있다. 이에 따라, 시선 추적부(102)의 시선 위치 정보에 따른 커서의 표시되는 위치와 사용자가 실제 응시하는 위치 간의 차이가 점점 줄어들게 된다.Whenever the user selects a predetermined point on the touch screen of the user terminal 50 through the user interface device 100, the calibration unit 110 provides gaze position information and selection determination unit 108 by the gaze tracking unit 102. Information on the user's selection point by can be mapped. The calibration unit 110 may calibrate the gaze location information of the gaze tracking unit 102 based on the accumulated gaze location information and mapping information of information on the user's selection point. Accordingly, the difference between the displayed position of the cursor according to the gaze position information of the gaze tracking unit 102 and the position at which the user actually gazes is gradually reduced.
구체적으로, 캘리브레이션부(110)는 시선 추적부(102)에서 생성되는 시선 위치 정보를 기반으로 시선 벡터를 검출할 수 있다. 예를 들어, 시선 벡터는 사용자의 안구 중심에서 동공 중심 또는 각막 중심으로 향하는 벡터 등이 사용될 수 있다. 캘리브레이션부(110)는 터치 스크린에서 사용자의 선택 지점을 기반으로 터치 스크린 상의 점 벡터를 검출할 수 있다. 캘리브레이션부(110)는 시선 벡터와 점 벡터(즉, 터치 스크린 상의 점 벡터)를 1:1로 대응시키는 매칭 매트릭스(Matching Matrix)를 검출할 수 있다. Specifically, the calibration unit 110 may detect a gaze vector based on gaze position information generated by the gaze tracking unit 102. For example, the gaze vector may be a vector directed from the center of the user's eyeball to the center of the pupil or the center of the cornea. The calibration unit 110 may detect a point vector on the touch screen based on the user's selection point on the touch screen. The calibration unit 110 may detect a matching matrix that matches the gaze vector and the point vector (that is, the point vector on the touch screen) 1:1.
캘리브레이션부(110)는 기 저장된 복수 개의 시선 벡터 및 점 벡터 쌍들의 그룹에 사용자의 선택 동작(사용자 인터페이스 장치(100)를 통해 사용자가 사용자 단말(50)의 터치 스크린 상에서 소정 지점을 선택하는 동작)에 의해 생성된 시선 벡터 및 점 벡터 쌍을 추가할 수 있다. 여기서, 기 저장된 복수 개의 시선 벡터 및 점 벡터는 기존의 다른 사용자들에 의한 평균 시선 벡터 및 평균 점 벡터일 수 있다. The calibration unit 110 selects a group of a plurality of pre-stored gaze vectors and point vector pairs (an operation in which the user selects a predetermined point on the touch screen of the user terminal 50 through the user interface device 100) A pair of gaze vectors and point vectors generated by can be added. Here, the plurality of pre-stored gaze vectors and point vectors may be average gaze vectors and average point vectors by other existing users.
캘리브레이션부(110)는 사용자의 선택 동작에 의해 시선 벡터 및 점 벡터 쌍이 생성될 때마다, 생성된 시선 벡터 및 점 벡터 쌍을 시선 벡터 및 점 벡터 쌍 그룹에 추가하고, 시선 벡터 및 점 벡터 쌍 그룹을 이용하여 새로운 매칭 매트릭스를 검출할 수 있다. 예를 들어, 캘리브레이션부(110)는 시선 벡터 및 점 벡터 쌍 그룹에 선형 회귀(Linear Regression) 기법을 적용하여 매칭 매트릭스를 생성할 수 있다. 이와 같이, 해당 사용자의 선택 동작에 의해 생성되는 시선 벡터 및 점 벡터 쌍으로 매칭 매트릭스를 매번 갱신함에 따라 해당 사용자의 시선에 대한 시선 추적 정확도를 점점 높일 수 있게 된다.Whenever a gaze vector and a point vector pair are generated by a user's selection operation, the calibration unit 110 adds the generated gaze vector and a point vector pair to the gaze vector and point vector pair group, and the gaze vector and point vector pair group A new matching matrix can be detected using. For example, the calibration unit 110 may generate a matching matrix by applying a linear regression technique to the line of sight vector and the point vector pair group. In this way, as the matching matrix is updated every time with the gaze vector and the point vector pair generated by the user's selection operation, the gaze tracking accuracy for the gaze of the corresponding user can be gradually increased.
한편, 캘리브레이션부(110)는 시선 벡터 및 점 벡터 쌍이 기 설정된 개수 이상으로 누적되는 경우, 시선 벡터 및 점 벡터 쌍들 중 일부를 제거하여 매핑 속도를 향상시킬 수 있다. 이때, 캘리브레이션부(110)는 시선 벡터 및 점 벡터 쌍들 중 다른 사용자들에 의한 시선 벡터 및 점 벡터 쌍들을 우선적으로 제거할 수 있다. Meanwhile, the calibration unit 110 may improve the mapping speed by removing some of the line-of-sight vector and point vector pairs when the line-of-sight vector and point vector pairs are accumulated in excess of a preset number. In this case, the calibration unit 110 may preferentially remove the gaze vector and point vector pairs by other users among the gaze vector and point vector pairs.
개시되는 실시예에 의하면, 사용자의 시선을 추적하여 터치 스크린 상에 커서를 위치시킨 후 어시스트 버튼을 통해 미세 조정하여 사용자가 의도한 선택 지점을 선택하도록 함으로써, 터치 스크린에서 사용자가 한 손으로 터치하기 어려운 부분도 정확히 선택할 수 있게 된다. 그리고, 별도의 캘리브레이션 과정이 없이도 사용자의 선택 동작이 있을 때마다 시선 벡터 및 점 벡터 쌍들이 생성됨으로써, 자연적으로 시선 추적 정확도를 점점 향상시킬 수 있게 된다.According to the disclosed embodiment, by tracking the user's gaze, placing a cursor on the touch screen, finely adjusting it through an assist button, and allowing the user to select an intended selection point, the user touches the touch screen with one hand. You will be able to accurately select difficult parts. In addition, the gaze vector and the point vector pair are generated whenever a user selects without a separate calibration process, so that the gaze tracking accuracy can be gradually improved.
도 2 내지 도 3은 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용하여 사용자의 선택 지점을 결정하는 과정을 나타낸 도면이다. 2 to 3 are diagrams illustrating a process of determining a user's selection point using a user interface device according to an embodiment of the present invention.
도 2를 참조하면, 사용자 단말기(50)의 터치 스크린(51)에 어시스트 버튼부(104)가 표시될 수 있다. 여기서, 사용자는 터치 스크린(51)에서 선택을 원하는 위치를 눈으로 쳐다보면서 어시스트 버튼부(104)를 터치할 수 있다. 이때, 시선 추적부(102)는 터치 스크린(51) 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하고, 커서 표시부(106)는 어시스트 버튼부(104)가 터치되는 순간의 시선 위치 정보에 기반하여 커서(A)를 터치 스크린(51) 상에 표시할 수 있다. Referring to FIG. 2, the assist button unit 104 may be displayed on the touch screen 51 of the user terminal 50. Here, the user may touch the assist button unit 104 while looking at a desired position on the touch screen 51 with his own eyes. At this time, the gaze tracking unit 102 generates gaze position information by tracking the user’s gaze on the touch screen 51, and the cursor display unit 106 is based on the gaze position information at the moment when the assist button unit 104 is touched. Thus, the cursor A can be displayed on the touch screen 51.
여기서, 터치 스크린(51)에 표시되는 커서(A)의 위치(즉, 시선 위치 정보에 기반한 커서의 위치)는 사용자가 의도하는 위치와 차이가 있을 수 있다. 즉, 시선 추적부(102)가 정확히 사용자의 시선 위치를 추적하지 못하여 시선 위치 정보에 의한 커서(A)의 위치와 사용자가 의도한 위치 간에 차이가 있을 수 있다. 따라서, 터치 스크린(51)의 커서(A)의 위치를 사용자가 의도한 위치로 조정할 필요가 있게 된다. Here, the position of the cursor A displayed on the touch screen 51 (ie, the position of the cursor based on gaze position information) may be different from the position intended by the user. That is, since the gaze tracking unit 102 cannot accurately track the user's gaze position, there may be a difference between the location of the cursor A based on gaze location information and the location intended by the user. Accordingly, it is necessary to adjust the position of the cursor A of the touch screen 51 to a position intended by the user.
도 3을 참조하면, 도 2에서 기 설정된 이벤트(사용자가 어시스트 버튼부(104)를 터치하거나 커서(A)가 터치 스크린(51)에 표시됨)가 발생됨에 따라, 어시스트 버튼부(104)는 터치 스크린(51) 상에서 드래그가 가능하도록 변경될 수 있다. Referring to FIG. 3, as a preset event in FIG. 2 (the user touches the assist button 104 or the cursor A is displayed on the touch screen 51) occurs, the assist button 104 touches It can be changed to enable drag on the screen 51.
여기서, 사용자가 어시스트 버튼부(104)를 드래그시킴에 따라 그와 연동하여 커서 표시부(106)는 터치 스크린(51)에서 커서(A)의 위치를 이동시킬 수 있다. 사용자는 터치 스크린(51)에서 자신이 선택하고자 하는 위치에 커서(A)가 위치하도록 어시스트 버튼부(104)를 드래그시킬 수 있다. 사용자는 커서(A)가 자신이 선택하고자 하는 위치에 온 경우, 어시스트 버튼부(104)의 드래그 동작을 종료(즉, 어시스트 버튼부(104)에서 손을 뗌)시킬 수 있다. 그러면, 선택 결정부(108)는 어시스트 버튼부(104)의 드래그 동작이 종료되는 시점에 위치하는 커서(A)의 위치를 사용자가 선택하는 지점으로 결정할 수 있다. Here, as the user drags the assist button unit 104, the cursor display unit 106 may move the position of the cursor A on the touch screen 51 in connection therewith. The user may drag the assist button unit 104 so that the cursor A is positioned on the touch screen 51 at the position he/she wants to select. When the cursor A comes to the position he/she wants to select, the user may end the drag operation of the assist button unit 104 (that is, release the hand from the assist button unit 104). Then, the selection determination unit 108 may determine the position of the cursor A positioned at the time when the drag operation of the assist button unit 104 is terminated as a point selected by the user.
도 4는 본 발명의 일 실시예에 따른 사용자 인터페이스 장치를 이용한 사용자 입력 방법을 나타낸 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.4 is a flowchart illustrating a user input method using a user interface device according to an embodiment of the present invention. In the illustrated flowchart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, divided into detailed steps, or not shown. One or more steps may be added and performed.
도 4를 참조하면, 사용자 인터페이스 장치(100)는 터치 스크린(51) 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성한다(S 101). 다음으로, 사용자 인터페이스 장치(100)는 터치 스크린(51) 상에 어시스트 버튼부(104)를 표시한다(S 103). 예시적인 실시예에서, 어시스트 버튼부(104)는 사용자의 시선 추적 동작과 연동하여 터치 스크린(51) 상에 표시될 수 있다. Referring to FIG. 4, the user interface device 100 generates gaze position information by tracking the user's gaze on the touch screen 51 (S 101 ). Next, the user interface device 100 displays the assist button unit 104 on the touch screen 51 (S103). In an exemplary embodiment, the assist button unit 104 may be displayed on the touch screen 51 in conjunction with a user's gaze tracking operation.
다음으로, 사용자 인터페이스 장치(100)는 사용자의 어시스트 버튼부(104)의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린(51) 상의 위치에 커서를 표시한다(S 105). 다음으로, 사용자 인터페이스 장치(100)는 기 설정된 이벤트 발생에 따라 어시스트 버튼부(104)를 터치 스크린(51) 상에 드래그 가능하도록 한다(S 107). Next, the user interface device 100 displays a cursor at a position on the touch screen 51 corresponding to the gaze position information in conjunction with the user's touch of the assist button unit 104 (S105). Next, the user interface device 100 allows the assist button unit 104 to be dragged on the touch screen 51 according to the occurrence of a preset event (S107).
다음으로, 사용자 인터페이스 장치(100)는 사용자의 어시스트 버튼부(104)의 드래그 동작에 따라 터치 스크린(51) 상에서 커서의 위치를 이동시킨다(S 109). 다음으로, 사용자 인터페이스 장치(100)는 사용자의 드래그 종료 동작에 따라 터치 스크린(51) 상에서 커서가 위치한 지점을 사용자의 선택 지점으로 결정한다(S 111). 다음으로, 사용자 인터페이스 장치(100)는 시선 위치 정보와 사용자의 선택 지점에 대한 정보를 매핑시킨다(S 113). Next, the user interface device 100 moves the position of the cursor on the touch screen 51 according to the user's dragging operation of the assist button unit 104 (S109). Next, the user interface device 100 determines the point where the cursor is located on the touch screen 51 as the user's selection point according to the user's drag end operation (S111). Next, the user interface device 100 maps the gaze position information and information on the user's selection point (S113).
도 5는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.5 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 사용자 인터페이스 장치(100)일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be a user interface device 100.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer-readable storage medium 16 and a communication bus 18. The processor 14 may cause the computing device 12 to operate according to the exemplary embodiments mentioned above. For example, the processor 14 may execute one or more programs stored in the computer-readable storage medium 16. The one or more programs may include one or more computer-executable instructions, and the computer-executable instructions are configured to cause the computing device 12 to perform operations according to an exemplary embodiment when executed by the processor 14 Can be.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other types of storage media that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer readable storage medium 16.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24. The input/output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22. The exemplary input/output device 24 includes a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or a touch screen), a voice or sound input device, and various types of sensor devices and/or a photographing device. Input devices and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the exemplary embodiments of the present invention have been described in detail above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications may be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should not be determined by the claims to be described later, but also by those equivalents to the claims.

Claims (15)

  1. 터치 스크린을 구비하는 사용자 단말기에서 사용자 입력을 수행하기 위한 사용자 인터페이스 장치로서, A user interface device for performing a user input in a user terminal having a touch screen, comprising:
    상기 터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하는 시선 추적부;A gaze tracking unit for generating gaze position information by tracking a user's gaze on the touch screen;
    상기 터치 스크린 상에 표시되는 어시스트 버튼부; 및An assist button unit displayed on the touch screen; And
    사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하는 커서 표시부를 포함하는, 사용자 인터페이스 장치.A user interface device comprising a cursor display unit configured to display a cursor at a position on a touch screen corresponding to the gaze position information in connection with a user's touch of the assist button unit.
  2. 청구항 1에 있어서, The method according to claim 1,
    상기 어시스트 버튼부는, The assist button portion,
    기 설정된 이벤트 발생에 따라 상기 터치 스크린 상에서 드래그 가능하도록 마련되고, It is provided to be draggable on the touch screen according to the occurrence of a preset event,
    상기 커서 표시부는, The cursor display unit,
    상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시키는, 사용자 인터페이스 장치.A user interface device for moving a cursor displayed on the touch screen in association with a drag direction and a drag length of the assist button part.
  3. 청구항 2에 있어서, The method according to claim 2,
    상기 기 설정된 이벤트는, The preset event is,
    사용자가 상기 어시스트 버튼부를 터치하거나 상기 터치 스크린에 커서가 표시되는 경우 발생하는, 사용자 인터페이스 장치.Occurs when a user touches the assist button or a cursor is displayed on the touch screen.
  4. 청구항 2에 있어서, The method according to claim 2,
    상기 사용자 인터페이스 장치는, The user interface device,
    상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 선택 결정부를 더 포함하는, 사용자 인터페이스 장치.The user interface device further comprising a selection determination unit configured to determine a user's selection point on the touch screen in association with a position of the cursor and a drag end operation of the assist button unit.
  5. 청구항 4에 있어서, The method of claim 4,
    상기 선택 결정부는, The selection determination unit,
    상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정하는, 사용자 인터페이스 장치.The user interface device, wherein the position of the cursor on the touch screen is determined as the selection point of the user at the end of dragging of the assist button unit.
  6. 청구항 4에 있어서, The method of claim 4,
    상기 사용자 인터페이스 장치는, The user interface device,
    상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행하는 캘리브레이션부를 더 포함하는, 사용자 인터페이스 장치.The user interface device further comprising a calibration unit for calibrating the gaze tracking unit based on the gaze position information and information on the user's selection point.
  7. 청구항 6에 있어서, The method of claim 6,
    상기 캘리브레이션부는, The calibration unit,
    사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적부에 대해 캘리브레이션을 수행하는, 사용자 인터페이스 장치.Whenever a user's selection operation occurs, the gaze position information and information on the user's selection point are mapped, and calibration is performed on the gaze tracker based on the mapped information.
  8. 청구항 7에 있어서, The method of claim 7,
    상기 캘리브레이션부는, The calibration unit,
    상기 시선 위치 정보를 기반으로 시선 벡터를 검출하고, 상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하며, 상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하여 캘리브레이션을 수행하는, 사용자 인터페이스 장치.A gaze vector is detected based on the gaze position information, a point vector on the touch screen is detected based on the information on the user's selection point, and a gaze vector and a point vector pair detected whenever the user's selection operation occurs A user interface device for performing calibration by updating a matching matrix that matches the gaze vector and the point vector on a one-to-one basis.
  9. 하나 이상의 프로세서들, 및One or more processors, and
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, A method performed in a computing device having a memory storing one or more programs executed by the one or more processors,
    터치 스크린 상에서 사용자의 시선을 추적하여 시선 위치 정보를 생성하기 위한 동작;Generating gaze position information by tracking a user's gaze on the touch screen;
    상기 터치 스크린 상에 어시스트 버튼부를 표시하기 위한 동작; 및Displaying an assist button unit on the touch screen; And
    사용자의 상기 어시스트 버튼부의 터치와 연동하여 상기 시선 위치 정보에 대응하는 터치 스크린 상의 위치에 커서를 표시하기 위한 동작을 포함하는, 사용자 입력 방법.And displaying a cursor at a position on a touch screen corresponding to the gaze position information in association with a user's touch of the assist button unit.
  10. 청구항 9에 있어서, The method of claim 9,
    상기 사용자 입력 방법은, The user input method,
    기 설정된 이벤트 발생에 따라 상기 어시스트 버튼부를 상기 터치 스크린 상에서 드래그 가능하도록 하는 동작; 및Allowing the assist button unit to be dragged on the touch screen according to occurrence of a preset event; And
    상기 어시스트 버튼부의 드래그 방향 및 드래그 길이와 연동하여 상기 터치 스크린에 표시된 커서를 이동시키는 동작을 더 포함하는, 사용자 입력 방법.The user input method further comprising moving a cursor displayed on the touch screen in association with a drag direction and a drag length of the assist button unit.
  11. 청구항 10에 잇어서, Following on in claim 10,
    상기 사용자 입력 방법은, The user input method,
    상기 커서의 위치 및 상기 어시스트 버튼부의 드래그 종료 동작과 연동하여 상기 터치 스크린에서 사용자의 선택 지점을 결정하는 동작을 더 포함하는, 사용자 입력 방법.The user input method further comprising an operation of determining a user's selection point on the touch screen in association with a position of the cursor and a drag end operation of the assist button unit.
  12. 청구항 11에 있어서, The method of claim 11,
    상기 사용자의 선택 지점을 결정하는 동작은, The operation of determining the selection point of the user,
    상기 어시스트 버튼부의 드래그 종료 시점에 상기 터치 스크린 상의 커서의 위치를 상기 사용자의 선택 지점으로 결정하는, 사용자 입력 방법.A user input method of determining a position of a cursor on the touch screen as a selection point of the user at the end of dragging of the assist button unit.
  13. 청구항 11에 있어서, The method of claim 11,
    상기 사용자 입력 방법은, The user input method,
    상기 시선 위치 정보 및 상기 사용자의 선택 지점에 대한 정보를 기반으로 상기 사용자의 시선 추적을 위한 시선 추적 모델을 캘리브레이션 하는 동작을 더 포함하는, 사용자 입력 방법.The user input method further comprising calibrating a gaze tracking model for tracking the gaze of the user based on the gaze location information and information on the user's selection point.
  14. 청구항 13에 있어서, The method of claim 13,
    상기 캘리브레이션 하는 동작은, The calibration operation,
    사용자의 선택 동작이 발생할 때마다 상기 시선 위치 정보와 상기 사용자의 선택 지점에 대한 정보를 매핑시키고, 매핑된 정보를 기반으로 상기 시선 추적 모델에 대해 캘리브레이션을 수행하는, 사용자 입력 방법.The user input method of mapping the gaze location information and information on the user's selection point whenever a user's selection operation occurs, and calibrating the gaze tracking model based on the mapped information.
  15. 청구항 14에 있어서, The method of claim 14,
    상기 캘리브레이션을 하는 동작은, The calibration operation,
    상기 시선 위치 정보를 기반으로 시선 벡터를 검출하는 동작;Detecting a gaze vector based on the gaze position information;
    상기 사용자의 선택 지점에 대한 정보를 기반으로 터치 스크린 상의 점 벡터를 검출하는 동작; 및Detecting a point vector on the touch screen based on information on the user's selection point; And
    상기 사용자의 선택 동작이 발생할 때마다 검출되는 시선 벡터 및 점 벡터 쌍을 기반으로 상기 시선 벡터와 상기 점 벡터를 일대일로 대응시키는 매칭 매트릭스를 갱신하는 동작을 포함하는, 사용자 입력 방법.And updating a matching matrix that matches the gaze vector and the point vector on a one-to-one basis based on a pair of gaze vectors and point vectors detected whenever the user's selection operation occurs.
PCT/KR2020/005398 2019-04-25 2020-04-23 User input method and user interface device for performing same WO2020218859A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190048762A KR102198867B1 (en) 2019-04-25 2019-04-25 Method for user input and user interface device executing the method
KR10-2019-0048762 2019-04-25

Publications (1)

Publication Number Publication Date
WO2020218859A1 true WO2020218859A1 (en) 2020-10-29

Family

ID=72941088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005398 WO2020218859A1 (en) 2019-04-25 2020-04-23 User input method and user interface device for performing same

Country Status (2)

Country Link
KR (1) KR102198867B1 (en)
WO (1) WO2020218859A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013097763A (en) * 2011-11-07 2013-05-20 Fujitsu Ltd Information processor and input control program therefor
KR20140035358A (en) * 2011-04-21 2014-03-21 소니 컴퓨터 엔터테인먼트 인코포레이티드 Gaze-assisted computer interface
KR20140088487A (en) * 2013-01-02 2014-07-10 삼성디스플레이 주식회사 Terminal and method for controlling thereof
KR20140117469A (en) * 2012-01-04 2014-10-07 토비 테크놀로지 에이비 System for gaze interaction
KR20150031986A (en) * 2013-09-17 2015-03-25 삼성전자주식회사 Display apparatus and control method thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150032019A (en) 2013-09-17 2015-03-25 한국전자통신연구원 Method and apparatus for providing user interface by using eye tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140035358A (en) * 2011-04-21 2014-03-21 소니 컴퓨터 엔터테인먼트 인코포레이티드 Gaze-assisted computer interface
JP2013097763A (en) * 2011-11-07 2013-05-20 Fujitsu Ltd Information processor and input control program therefor
KR20140117469A (en) * 2012-01-04 2014-10-07 토비 테크놀로지 에이비 System for gaze interaction
KR20140088487A (en) * 2013-01-02 2014-07-10 삼성디스플레이 주식회사 Terminal and method for controlling thereof
KR20150031986A (en) * 2013-09-17 2015-03-25 삼성전자주식회사 Display apparatus and control method thereof

Also Published As

Publication number Publication date
KR102198867B1 (en) 2021-01-05
KR20200125062A (en) 2020-11-04

Similar Documents

Publication Publication Date Title
WO2015099293A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
CN110769155B (en) Camera control method and electronic equipment
US20220300302A1 (en) Application sharing method and electronic device
CN108762634B (en) Control method and terminal
EP2761973A1 (en) Method of operating gesture based communication channel and portable terminal system for supporting the same
CN110888707A (en) Message sending method and electronic equipment
CN110989881B (en) Icon arrangement method and electronic equipment
WO2011132910A2 (en) Method and apparatus for interface
WO2018216868A1 (en) Electronic device and input processing method of input device
CN108681427B (en) Access right control method and terminal equipment
WO2016088981A1 (en) Method, device, and system for providing user interface, and non-transitory computer-readable recording medium
WO2020130356A1 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
CN111475080B (en) Misoperation prompting method and electronic equipment
WO2020192324A1 (en) Interface displaying method and terminal device
WO2018105955A2 (en) Method for displaying object and electronic device thereof
CN111459350B (en) Icon sorting method and device and electronic equipment
EP3039556A1 (en) Method, apparatus, and recording medium for interworking with external terminal
WO2013133624A1 (en) Interface apparatus using motion recognition, and method for controlling same
CN111638822A (en) Icon operation method and device and electronic equipment
US11526320B2 (en) Multi-screen interface control method and terminal device
WO2020218859A1 (en) User input method and user interface device for performing same
WO2012118271A1 (en) Method and device for controlling contents using touch, recording medium therefor, and user terminal having same
KR20220154825A (en) How to create notes and electronic devices
WO2015056886A1 (en) Method for controlling touch screen by detecting position of line of sight of user
CN109144390A (en) Information processing equipment and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20794163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20794163

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26/04/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20794163

Country of ref document: EP

Kind code of ref document: A1