WO2015178571A1 - 시선 추적형 입력 장치 - Google Patents

시선 추적형 입력 장치 Download PDF

Info

Publication number
WO2015178571A1
WO2015178571A1 PCT/KR2015/001644 KR2015001644W WO2015178571A1 WO 2015178571 A1 WO2015178571 A1 WO 2015178571A1 KR 2015001644 W KR2015001644 W KR 2015001644W WO 2015178571 A1 WO2015178571 A1 WO 2015178571A1
Authority
WO
WIPO (PCT)
Prior art keywords
gaze
user
word
character
symbol
Prior art date
Application number
PCT/KR2015/001644
Other languages
English (en)
French (fr)
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140143985A external-priority patent/KR101671837B1/ko
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Publication of WO2015178571A1 publication Critical patent/WO2015178571A1/ko
Priority to US15/357,184 priority Critical patent/US20170068316A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • Embodiments of the present invention relate to an input device technology using a gaze of a user.
  • Eye tracking is a technology for tracking the position of the eye by detecting the movement of the eyeball of the user, and an image analysis method, a contact lens method, a sensor attachment method, and the like may be used.
  • the image analysis method detects pupil movement through analysis of a real-time camera image and calculates the direction of the eye based on a fixed position reflected by the cornea.
  • the contact lens method uses reflected light of a contact lens with a mirror or a magnetic field of a contact lens with a coil, and has low accuracy and high accuracy.
  • the sensor attachment method a sensor is attached around the eye to detect eye movement using a change in electric field according to eye movement, and eye movement can be detected even when the eyes are closed (sleeping, etc.).
  • Patent Document 1 Republic of Korea Patent Publication No. 10-2013-0049915 (2013. 05. 15)
  • Embodiments of the present invention are to provide an input means for inputting characters, symbols, and the like through eye gaze tracking of a user.
  • a display unit for displaying an on-screen keyboard in which a plurality of keys corresponding to inputtable characters or symbols are arranged through image output means;
  • a gaze tracking unit for calculating gaze coordinates according to the gaze of the user on the on-screen keyboard;
  • a detector configured to detect a character or a symbol that the user wants to input according to the calculated gaze coordinates.
  • the display unit may arrange the plurality of keys in the on-screen keyboard such that the size of a key corresponding to the corresponding character or symbol increases as the frequency of use of each character or symbol increases.
  • the display unit may arrange the plurality of keys in the on-screen keyboard such that the keys corresponding to the corresponding letters or symbols are arranged closer to the center of the screen of the image output means as the frequency of use of each character or symbol increases.
  • the on-screen keyboard may include a key for repeatedly inputting a character or symbol input immediately before.
  • the gaze tracking unit may calculate gaze coordinates of the user repeatedly according to a predetermined period.
  • the detection unit configures the gaze movement path of the user by using the gaze coordinates, and when a bend of a predetermined angle or more exists among the gaze movement paths, a key corresponding to the coordinate at which the bend occurs is generated by the user. Can be determined as a character or symbol to be input.
  • the gaze tracking unit detects a change in pupil size of the user on the on-screen keyboard, and the detection unit attempts to input a key corresponding to a coordinate at which the pupil size change is detected at least a predetermined degree. It can be judged by a character or a symbol.
  • the gaze tracking input device may further include a word recommendation unit configured to estimate a word to be input by the user from the letters or symbols detected by the detection unit and to display the estimated word as the recommended word through the image output means. Can be.
  • the word recommendation unit may compare a previously stored word list with a letter or symbol detected by the sensing unit, and display one or more words selected according to the similarity ranking according to the comparison as the recommendation word.
  • the word recommendation unit estimates a word to be input by the user by considering a character or symbol detected by the sensing unit and a character or symbol disposed at an adjacent position on the on-screen keyboard together with the character or symbol detected by the sensing unit. can do.
  • the gaze tracking input device may store a word list including a plurality of words and a standard gaze movement path for each word, and the gaze movement path of the user and the gaze path calculated by the gaze coordinates calculated by the gaze tracking unit.
  • the apparatus may further include a word recommendation unit configured to compare the standard gaze movement paths and display one or more words as recommended words on the screen according to the path similarity according to the comparison.
  • FIG. 1 is a block diagram showing the configuration of a gaze tracking input device according to an embodiment of the present invention.
  • FIG 3 is an exemplary view showing a part of a virtual keyboard according to an embodiment of the present invention.
  • FIG. 4 is an exemplary view showing a virtual keyboard according to another embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a calibration process in the gaze tracking unit according to an exemplary embodiment of the present invention.
  • FIG. 6 is an exemplary view for explaining a key input detection method in a detection unit according to an embodiment of the present invention.
  • the gaze tracking input device 100 refers to a device for tracking a movement of a user's screen and thus inputting a character or a symbol.
  • the gaze tracking input device 100 includes a display unit 102, a gaze tracking unit 104, a sensing unit 106 and an output unit 108, According to an embodiment, the word recommendation unit 110 may be further included.
  • the display unit 102 displays, via an image output means, an image keyboard on which a plurality of keys corresponding to inputable characters or symbols are arranged.
  • the image output means is a device for displaying information visually recognizable by the user, and includes various kinds of display means such as a display of a monitor, a television, a tablet, or a smartphone provided in a personal computer or a laptop computer. I mean.
  • the image keyboard is a kind of virtual keyboard displayed on the image output means.
  • the on-screen keyboard may have a layout that is the same as or similar to that of a commonly used QWERTY keyboard, or a 2 beol / 3 beol Hangul keyboard. Most users who are familiar with computers are familiar with the keyboard layout of a general keyboard. Thus, when the on-screen keyboard is configured to have a layout similar to that of a normal keyboard, the user can type on the on-screen keyboard without any adaptation. You can do it.
  • the display 102 may arrange the plurality of keys in the on-screen keyboard such that the size of a key corresponding to the character or symbol increases as the frequency of use of each character or symbol increases.
  • Figure 2 is a graph showing the frequency of use of each alphabet found by analyzing the literature in English. As shown in the figure, the alphabets such as E and T have a relatively high frequency of use in the language, while the frequencies of X, Q, and Z are very low. Accordingly, the virtual keyboard may also be configured to reflect the statistics and increase the size of a key corresponding to the character or symbol with a higher frequency of use.
  • FIG. 3 is a diagram illustrating a part of a virtual keyboard according to an embodiment of the present invention.
  • E, T, A, and the like in the case of alphabets having a high frequency of use, corresponding keys are relatively large, and Q, Z, W, In the case of a low-frequency alphabet, such as Y, the corresponding key can be made relatively small.
  • a typical keyboard that is configured to type by pressing a button with a finger, a user presses a key through a user's fingertip to input an input, so there is less need to increase a specific key size according to the frequency of use.
  • the display unit 102 may display the key in the on-screen keyboard such that a key corresponding to the letter or symbol is arranged closer to the center of the screen of the image output means as the frequency of use of each letter or symbol increases. Multiple keys can be arranged. This will be described with an example.
  • FIG. 4 is an exemplary view showing a virtual keyboard according to another embodiment of the present invention.
  • a sentence currently being typed is displayed at the center of the screen, and an alphabet key is wrapped around the sentence.
  • the virtual keyboard is configured such that N, I, A, etc., which are used frequently, are located at the center of the screen, and relatively less frequently used alphabets, such as W, Q, are placed at the edge of the screen. can do.
  • the movement distance of the gaze for inputting a specific sentence may be reduced. Frequently used words are concentrated in the center.
  • the on-screen keyboard may be configured to include a separate key for repeatedly inputting the character or symbol entered immediately before.
  • the gaze tracking input device 100 detects the movement of the gaze of each key and performs typing. Therefore, the process of repeatedly inputting the same letter may be relatively difficult compared to other input means. Therefore, the on-screen keyboard is provided with a separate key for repeating the key, and when the gaze is located on the corresponding key, it is possible to easily recognize the repetition of the character when the input character or symbol is configured to be repeated.
  • the Hangul keyboard may also be configured differently in size or position of each key according to the frequency of each phoneme.
  • the frequency for each key constituting each language may initially use a value surveyed from general literature, etc., but may adjust the frequency by reflecting this as the user's input data is accumulated. For example, when a particular user uses a particular alphabet particularly frequently or vice versa, the display 102 may dynamically change the layout of the on-screen keyboard to reflect this.
  • the gaze tracking unit 104 calculates gaze coordinates according to the gaze of the user on the on-screen keyboard.
  • the gaze tracking unit 104 may repeatedly calculate the gaze coordinates of the user according to a predetermined period.
  • the gaze tracking unit 104 may measure the gaze coordinates of the user at a time interval of several times to several tens of times per second. When the measured gaze coordinates are connected, the gaze tracking unit 104 may configure a path of the gaze on the on-screen keyboard. .
  • the gaze tracking unit 104 may be configured to track the gaze of the user in various ways and obtain gaze coordinates therefrom.
  • techniques for tracking the user's eyes are three methods, a video analysis method, a contact lens method, and a sensor attachment method.
  • the video analysis method detects pupil movement through analysis of a real-time camera image and calculates the direction of the eye based on a fixed position reflected by the cornea.
  • the contact lens method uses reflected light of a contact lens with a mirror or a magnetic field of a contact lens with a coil, and has low accuracy and high accuracy.
  • the sensor attachment method uses an electric field according to the eye movement by attaching a sensor around the eye, and detects eye movement even when the eyes are closed (sleep, etc.).
  • embodiments of the present invention are not limited to a specific gaze tracking method or algorithm.
  • the gaze tracking unit 104 may perform calibration for a user before performing gaze tracking to correct an error according to eye characteristics of each eye.
  • FIG. 5 is a flowchart illustrating a calibration process in the gaze tracking unit 104 according to an embodiment of the present invention.
  • the eye tracking unit 104 acquires an eye image of the user through a camera or the like.
  • the eye tracking unit 104 detects the center of the pupil and the reflection point from the acquired eye image. The center of the pupil and the reflection point is then the default value for measuring the position of the user's gaze.
  • the gaze tracking unit 104 outputs a plurality of feature points on a screen so that the user gazes, and calculates a difference between the output feature points and the user's actual gaze.
  • the gaze tracking unit 104 completes the calibration by mapping the difference calculated in operation 506 on the screen.
  • the detector 106 detects a character or symbol that the user wants to input according to the calculated gaze coordinates. Basically, the sensing unit 106 considers the key of the on-screen keyboard corresponding to the position where the user's eyes are directed to be the key to be input by the user. However, since the user's gaze is not intermittent but continuous, the detector 106 needs to include an identification algorithm for identifying which part of the continuous gaze movement as an input.
  • the detector 106 may configure a gaze movement path according to the user's time from the gaze coordinates obtained by the gaze tracker 104.
  • the detector 106 analyzes the shape of the gaze movement path to determine whether there is a bend more than a predetermined angle among the movement paths, and if there is, a key corresponding to the coordinate at which the bend occurs. It is determined by the character or symbol that the user wants to input.
  • FIG. 6 is an exemplary view for explaining a key input sensing method in the sensing unit 106 according to an embodiment of the present invention.
  • the sensing unit 106 may detect that the user attempts to input the word “family” by sequentially connecting keys of the on-screen keyboard corresponding to the start point, the bending position, and the end point. In this case, the sensing unit 106 determines that the point where the bending does not occur even if the user's gaze passes is not intended to type the key of the corresponding part.
  • the user's gaze passes through D and S sequentially to move from F to A.
  • the sensing unit 106 ignores the key input of the corresponding portion.
  • the sensing unit 106 calculates the gaze movement speed of the user using the gaze coordinates, and the user receives a key corresponding to a coordinate whose calculated gaze movement speed is equal to or less than a preset value. Can be determined as a character or symbol to be input. For example, in the case of a point where the movement speed is high in the user's gaze movement path, it corresponds to a case in which the key is moved between the keys, but in the case of a point where the movement speed is slow, the key may be intended to be input. Therefore, the sensing unit 106 may be configured to detect a moving speed of the gaze and input a key corresponding to a point at which the moving speed is less than or equal to a set value.
  • the eye tracker 104 may be configured to detect eye blink of the user on the on-screen keyboard.
  • the sensing unit 106 may determine a key corresponding to the coordinate where the blink is detected as a character or a symbol that the user wants to input.
  • the eye tracking unit 104 detects a change in pupil size instead of blinking of the user on the on-screen keyboard, and the detector 106 detects a change in the pupil size of the preset degree or more.
  • the corresponding key may be determined as a character or a symbol to be input by the user.
  • a human pupil expands when the subject of interest comes out. Therefore, if you apply this, you can perform typing by using the effect that the pupil grows when you find the letters you want on the keyboard.
  • the degree of bending, the change in the eye movement speed, the change in the size of the pupil, etc. may be appropriately set in consideration of the physical characteristics of the user, the size and layout of the on-screen keyboard, and the like. That is, it is noted that the embodiments of the present invention are not limited to a specific range of parameters.
  • the output unit 108 outputs a signal corresponding to the detected character or symbol.
  • the output unit 108 may be configured to output an ASCII code or Unicode corresponding to the detected character or symbol.
  • the gaze tracking input device 100 may further include a word recommender 110.
  • the word recommender 110 estimates a word to be input by the user from the letters or symbols detected by the detector 106 and displays the estimated word as the recommended word through the image output means. It is composed.
  • the word recommendation unit 110 may include a word list corresponding to a language to be input by the user. Accordingly, when the user inputs a specific character string, the word recommendation unit 110 may compare the character string with the stored word list, and display one or more words selected according to the similarity ranking on the screen. Then, the user may complete the typing of the word without having to input all the remaining alphabets of the word by moving the gaze to the word that the user wants to type among the recommended words.
  • the word recommendation unit 110 may estimate a word that the user wishes to input by considering both a character or a symbol detected by the sensing unit 106 and a character or a symbol disposed at an adjacent position on the on-screen keyboard. .
  • the word recommendation unit 110 inputs the user by considering q, s, z, etc., which are adjacent to “a” on the QWERTY keyboard. You can estimate the word you want. In this configuration, even when the user's gaze input is somewhat inaccurate, the recommendation word may be effectively provided.
  • the word recommender 110 estimates a word to be input by the user from the gaze coordinates calculated by the gaze tracker 104 and displays the estimated word as the recommended word through the image output means. Is configured to. Specifically, the word recommendation unit 110 compares the gaze movement path of the user calculated from the gaze coordinates calculated by the gaze tracking unit 104 and the standard gaze movement path for each word, and according to the path similarity according to the comparison. The above words can be displayed on the screen as recommended words.
  • the word recommendation unit 110 may include a word list including a plurality of words and a standard gaze movement path for each word.
  • the standard gaze movement path refers to a path to which the user's eyes move to input each word.
  • the standard gaze movement path may be preset for each word or dynamically configured according to a user's word input. May be For example, when the user inputs the same word a plurality of times, the standard gaze movement path may be an average value of the gaze movement paths acquired at each input.
  • an embodiment of the present invention may include a program for performing the methods described herein on a computer, and a computer readable recording medium including the program.
  • the computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
  • the media may be those specially designed and constructed for the purposes of the present invention, or those conventionally available in the field of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, and specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Hardware devices are included. Examples of such programs may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.

Abstract

시선 추적형 입력 장치가 개시된다. 본 발명의 일 실시예에 따른 시선 추적형 입력 장치는 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이하는 디스플레이부; 상기 화상 키보드 상에서의 상기 사용자의 시선에 따른 응시 좌표를 계산하는 시선 추적부; 및 계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지하는 감지부를 포함한다.

Description

시선 추적형 입력 장치
본 발명의 실시예들은 사용자의 시선을 이용한 입력 장치 기술과 관련된다.
시선 추적(Eye Tracking)은 사용자의 안구의 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 영상 분석 방식, 콘택트렌즈 방식, 센서 부착 방식 등의 방법이 사용될 수 있다. 영상 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장의 변화를 이용하여 안구의 움직임을 감지하며, 눈을 감고 있는 경우(수면 등)에도 안구 움직임의 검출이 가능하다.
최근, 시선 추적 기술의 적용 대상 기기가 넓어지고 있으며, 정확한 시선 검출을 위한 기술 개발이 지속적으로 이루어지고 있다. 이에 따라 상기 시선 추적 기술을 문자의 타이핑에 응용하려는 시도 또한 존재하였다. 그러나 종래의 시선 추적을 통한 문자 타이핑은 그 정확도 및 속도 면에서 한계가 존재하였다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 대한민국 공개특허공보 제10-2013-0049915호 (2013. 05. 15)
본 발명의 실시예들은 사용자의 시선 추적을 통해 문자, 기호 등을 입력하기 위한 입력 수단을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이하는 디스플레이부; 상기 화상 키보드 상에서의 상기 사용자의 시선에 따른 응시 좌표를 계산하는 시선 추적부; 및 계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지하는 감지부를 포함하는 시선 추적형 입력 장치가 제공된다.
상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키)의 크기가 증가하도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다.
상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키가 상기 화상 출력 수단의 화면 중앙과 가까운 위치에 배열되도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다.
상기 화상 키보드는, 직전에 입력된 문자 또는 기호를 반복하여 입력하기 위한 키를 포함할 수 있다.
상기 시선 추적부는, 기 설정된 주기에 따라 반복적으로 상기 사용자의 응시 좌표를 계산할 수 있다.
상기 감지부는, 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 경로를 구성하고, 상기 시선 이동 경로 중 기 설정된 각도 이상의 꺾임이 존재하는 경우, 상기 꺾임이 발생한 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다.
상기 시선 추적부는, 상기 화상 키보드 상에서의 상기 사용자의 동공 크기 변화를 감지하며, 상기 감지부는, 상기 기 설정된 정도 이상의 상기 동공 크기 변화가 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다.
상기 시선 추적형 입력 장치는, 상기 감지부에서 감지된 문자 또는 기호로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하는 단어 추천부를 더 포함할 수 있다.
상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 기 저장된 단어 목록을 비교하고, 상기 비교에 따른 유사도 순위에 따라 선택된 하나 이상의 단어를 상기 추천 단어로서 디스플레이할 수 있다.
상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 상기 화상 키보드 상에서 인접한 위치에 배치되는 문자 또는 기호를 상기 감지부에서 감지된 문자 또는 기호와 함께 고려하여 상기 사용자가 입력하고자 하는 단어를 추정할 수 있다.
상기 시선 추적형 입력 장치는, 복수 개의 단어 및 각 단어별 표준 시선 이동 경로를 포함하는 단어 목록을 저장하며, 상기 시선 추적부에서 계산된 상기 응시 좌표로부터 계산되는 사용자의 시선 이동 경로와 상기 단어별 표준 시선 이동 경로를 비교하고, 상기 비교에 따른 경로 유사도에 따라 하나 이상의 단어를 추천 단어로서 화면 상에 디스플레이하는 단어 추천부를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 사용자의 시선을 감지하고 이를 이용하여 문자 또는 기호를 입력할 수 있게 되는 바, 물리적인 키보드의 사용이 어려운 환경에서도 효과적으로 타이핑을 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 시선 추적형 입력 장치의 구성을 나타낸 블록도
도 2는 영어 문헌에서 각 알파벳들의 사용 빈도를 나타낸 그래프
도 3은 본 발명의 일 실시예에 따른 가상 키보드의 일부를 도시한 예시도
도 4는 본 발명의 다른 실시예에 따른 가상 키보드를 도시한 예시도
도 5는 본 발명의 일 실시예에 따른 시선 추적부에서의 캘리브레이션 과정을 설명하기 위한 흐름도
도 6은 본 발명의 일 실시예에 따른 감지부에서의 키 입력 감지 방법을 설명하기 위한 예시도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)의 구성을 나타낸 블록도이다. 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)는 사용자의 화면 상에서의 움직임을 추적하고, 이에 따라 문자 또는 기호를 입력하기 위한 장치를 의미한다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)는 디스플레이부(102), 시선 추적부(104), 감지부(106) 및 출력부(108)를 포함하며, 실시예에 따라 단어 추천부(110)를 더 포함하여 구성될 수 있다.
디스플레이부(102)는 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이한다. 일 실시예에서, 상기 화상 출력 수단은 사용자가 시각적으로 인식 가능한 정보를 표시하기 위한 장치로서, 퍼스널 컴퓨터 또는 랩탑 컴퓨터 등에 구비된 모니터, 텔레비전, 태블릿 또는 스마트폰의 디스플레이 등 다양한 종류의 디스플레이 수단을 포괄하는 의미이다.
상기 화상 키보드는 상기 화상 출력 수단에 디스플레이되는 일종의 가상 키보드이다. 일 실시예에서, 상기 화상 키보드는 일반적으로 사용되는 쿼티(QWERTY) 키보드, 또는 2벌식/3벌식 한글 키보드와 동일하거나 유사한 레이아웃을 가질 수 있다. 대부분 컴퓨터에 익숙한 사용자는 일반적인 키보드의 자판 배열을 숙지하고 있는 경우가 많으므로, 이와 같이 화상 키보드가 일반 키보드와 유사한 레이아웃을 가지도록 구성되는 경우 사용자는 별도의 적응이 필요 없이도 화상 키보드를 이용한 타이핑을 할 수 있게 된다.
다른 실시예에서 디스플레이부(102)는 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키(key)의 크기가 증가하도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다. 특정한 언어를 구성하는 알파벳 또는 음소들은 그 사용 빈도가 각각 상이하기 때문이다. 도 2는 영어로 된 문헌을 분석하여 알아낸 각 알파벳들의 사용 빈도를 나타낸 그래프이다. 도시된 바와 같이 E, T 등의 알파벳은 언어 내에서의 사용 빈도가 상대적으로 높은 반면, X, Q, Z 등의 알파벳의 사용 빈도는 매우 낮다. 따라서 가상 키보드 또한 이와 같은 통계를 반영하여 사용 빈도가 높은 문자 또는 기호일수록 상대적으로 해당 문자 또는 기호에 대응되는 키의 크기 또한 증가하도록 구성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상 키보드의 일부를 도시한 예시도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 가상 키보드의 경우 E, T, A 등 언어 내에서의 사용 빈도가 높은 알파벳의 경우 해당하는 키를 상대적으로 크게 구성하고, Q, Z, W, Y 등 사용 빈도가 낮은 알파벳의 경우 해당하는 키를 상대적으로 작게 구성할 수 있다. 손가락으로 버튼을 눌러 타이핑하도록 구성되는 일반적인 키보드의 경우 사용자의 손 끝을 통해 키를 눌러 입력을 수행하므로 사용 빈도에 따라 특정한 키의 사이즈를 늘릴 필요가 적다. 그러나 본 발명의 실시예들에 따른 가상 키보드의 경우 사이즈가 클 경우 사용자의 눈에 띄기 쉽고, 사용자의 시선이 머무를 수 있는 범위 또한 증가하게 되므로 상기와 같이 구성할 경우 타이핑의 효율을 높일 수 있게 된다.
또한 다른 실시예에서, 디스플레이부(102)는 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키가 상기 화상 출력 수단의 화면 중앙과 가까운 위치에 배열되도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열할 수 있다. 이를 예를 들어 설명하면 도 4와 같다.
도 4는 본 발명의 다른 실시예에 따른 가상 키보드를 도시한 예시도이다. 본 실시예에 따른 가상 키보드의 경우, 화면의 중앙에 현재 타이핑 중인 문장이 디스플레이되고 그 주변을 알파벳 키가 감싸고 있는 형태이다. 도시된 바와 같이, N, I, A 등 사용 빈도가 상대적으로 높은 알파벳의 경우 화면의 중앙 부분에, W, Q 등과 같이 상대적으로 사용 빈도가 낮은 알파벳은 화면의 가장자리 부분에 위치하도록 가상 키보드를 구성할 수 있다. 이와 같이 구성할 경우 특정 문장을 입력하기 위한 시선의 이동 거리가 감소하는 효과를 얻을 수 있다. 자주 사용되는 단어들이 중앙부분에 몰려 있기 때문이다.
또한, 상기 화상 키보드는 직전에 입력된 문자 또는 기호를 반복하여 입력하기 위한 별도의 키를 포함하도록 구성될 수 있다. 본 발명의 실시예에 따른 시선 추적형 입력 장치(100)는 각 키에 대한 시선의 이동을 감지하여 타이핑을 수행하게 된다. 따라서 동일한 글자를 반복 입력할 경우의 처리가 다른 입력 수단에 비해 상대적으로 어려울 수 있다. 따라서 화상 키보드에 키 반복을 위한 별도의 키를 구비하고, 해당 키에 시선이 위치할 경우 직전 입력된 문자 또는 기호가 반복되도록 구성할 경우 문자의 반복 또한 용이하게 인식할 수 있게 된다.
한편, 전술한 실시예들은 모두 영문 알파벳을 기준으로 설명하였으나, 이는 다른 언어에도 동일하게 적용된다. 즉, 한글 자판 또한 각 음소의 빈도에 따라 각 키의 크기 또는 위치를 서로 다르게 구성할 수 있음은 물론이다. 또한, 각 언어를 구성하는 키 별 빈도수는 초기에는 일반적인 문헌 등으로부터 조사된 값을 사용할 수 있으나, 사용자의 입력 데이터가 쌓여 감에 따라 이를 반영하여 빈도수를 조정할 수도 있다. 예를 들어 특정 사용자가 특정 알파벳을 특별히 자주 사용하거나 또는 그 반대인 경우 디스플레이부(102)는 이를 반영하여 화상 키보드의 레이아웃을 동적으로 변경시킬 수 있다.
다음으로, 시선 추적부(104)는 상기 화상 키보드 상에서의 상기 사용자의 시선에 따른 응시 좌표를 계산한다. 구체적으로, 시선 추적부(104)는 기 설정된 주기에 따라 반복적으로 상기 사용자의 응시 좌표를 계산할 수 있다. 예를 들어 시선 추적부(104)는 초당 수 회 내지 수십 회의 시간 간격 별로 사용자의 응시 좌표를 측정할 수 있으며, 측정된 응시 좌표를 연결할 경우 화상 키보드 상에서의 사용자 시선의 경로를 구성할 수 있게 된다.
본 발명의 실시예에서 시선 추적부(104)는 다양한 방식으로 사용자의 시선을 추적하고 이로부터 응시 좌표를 획득하도록 구성될 수 있다. 사용자 시선을 추적하기 위한 기술의 예시로는 비디오 분석 방식, 콘택트렌즈 방식, 센서 부착 방식의 3가지 방식을 들 수 있다. 이 중 비디오 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하며, 눈을 감고 있는 경우(수면 등)에도 눈의 움직임 검출이 가능하다. 다만, 본 발명의 실시예들은 특정한 시선 추적 방식 내지 알고리즘에 한정되는 것은 아님을 유의한다.
또한 시선 추적부(104)는 사용자별 안구의 특성에 따른 오차를 보정하기 위하여 시선 추적을 수행하기 이전 사용자에 대한 캘리브레이션을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 시선 추적부(104)에서의 캘리브레이션 과정을 설명하기 위한 흐름도이다.
단계 502에서, 시선 추적부(104)는 카메라 등의 수단을 통해 사용자의 눈 영상을 획득한다.
단계 504에서, 시선 추적부(104)는 획득된 눈 영상으로부터 동공과 반사점의 중심을 검출한다. 상기 동공과 반사점의 중심은 이후 사용자의 시선의 위치를 측정하기 위한 기본값이 된다.
단계 506에서, 시선 추적부(104)는 복수 개의 특징점을 화면 상에 출력하여 이를 사용자가 응시하도록 하고, 출력된 특징점과 사용자의 실제 시선과의 차이를 연산한다.
단계 508에서, 시선 추적부(104)는 상기 506 단계에서 계산된 차이를 화면 상에 매핑함으로써 캘리브레이션을 완료한다.
다음으로, 감지부(106)는 계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지한다. 기본적으로 감지부(106)는 사용자의 시선이 향한 위치에 대응되는 화상 키보드의 키를 사용자가 입력하고자 하는 키인 것으로 간주한다. 그러나 사용자의 시선은 단속적인 것이 아니라 연속적이므로, 감지부(106)는 연속적인 시선의 움직임 중 어떤 부분을 입력으로 보아야 하는지에 대한 식별 알고리즘을 포함할 필요가 있다.
일 실시예에서, 감지부(106)는 시선 추적부(104)에서 획득한 응시 좌표로부터 상기 사용자의 시간에 따른 시선 이동 경로를 구성할 수 있다. 감지부(106)는 상기 시선 이동 경로의 형태를 분석하여 상기 이동 경로 중 기 설정된 각도 이상의 꺾임이 존재하는지의 여부를 판단하고, 만약 존재하는 경우 상기 꺾임이 발생한 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하게 된다.
도 6은 본 발명의 일 실시예에 따른 감지부(106)에서의 키 입력 감지 방법을 설명하기 위한 예시도이다. 예를 들어 도 6의 상단에 도시된 것과 같은 가상 키보드 상에서 추적된 사용자 시선의 움직임이 도 6의 하단에 도시된 것과 같다고 가정하자. 이 경우 시작점인 1과 끝점인 6을 제외하고, 꺾임이 발생한 위치는 2, 3, 4, 5의 4군데이다. 따라서 감지부(106)는 시작점, 꺾임 발생 위치 및 끝점에 해당하는 화상 키보드의 키를 순차적으로 연결함으로써 사용자가 “family”라는 단어를 입력하려고 하였음을 감지할 수 있다. 이 경우 감지부(106)는 사용자의 시선이 지나가더라도 꺾임이 발생하지 않은 지점은 해당 부분의 키를 타이핑할 의도가 아니었다고 판단한다. 예를 들어, 도 5에 도시된 실시예에서 사용자의 시선이 F에서 A로 이동하기 위해서는 D와 S를 순차적으로 지나가게 된다. 그러나 D와 S에 해당하는 위치에서는 사용자 시선의 꺾임이 발생하지 않았으므로 감지부(106)는 해당 부분의 키 입력을 무시하게 된다.
또한, 다른 실시예에서 감지부(106)는 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 속도를 계산하고, 계산된 상기 시선 이동 속도가 기 설정된 값 이하인 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다. 예를 들어 사용자의 시선 이동 경로에서 이동 속도가 빠른 지점의 경우에는 키와 키 사이를 이동하는 경우에 해당하나, 이동 속도가 느린 지점의 경우 해당 위치의 키를 입력하려는 의도일 수 있다. 따라서 감지부(106)는 시선의 이동 속도를 감지하여 이동 속도가 설정된 값 이하인 지점에 해당하는 키를 입력하도록 구성될 수 있다.
또한, 다른 실시예에서 시선 추적부(104)는 상기 화상 키보드 상에서의 상기 사용자의 안구 깜박임을 감지하도록 구성될 수 있다. 이 경우 감지부(106)는, 상기 깜박임이 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다.
또한 다른 실시예에서 시선 추적부(104)는 상기 화상 키보드 상에서의 상기 사용자의 깜박임이 아닌 동공 크기 변화를 감지하며, 감지부(106)는 상기 기 설정된 정도 이상의 상기 동공 크기 변화가 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단할 수 있다. 일반적으로 인간의 동공은 자신이 관심있어 하는 피사체가 나오거나 할 경우 동공이 확장된다는 점이 알려져 있다. 따라서 이를 응용할 경우 키보드의 자판 중 자신이 원하는 글자를 발견했을 때 동공이 커지는 효과를 이용하여 타이핑을 수행할 수 있다.
전술한 실시예에서, 꺾임의 정도, 시선 이동 속도의 변화, 동공의 크기 변화량 등은 사용자의 신체적 특성, 화상 키보드의 화면 상의 크기 및 레이아웃 등을 종합적으로 고려하여 적절히 설정할 수 있다. 즉, 본 발명의 실시예들은 특정한 범위의 파라미터에 한정되는 것은 아님을 유의한다.
다음으로, 출력부(108)는 감지된 상기 문자 또는 기호에 대응되는 신호를 출력한다. 예를 들어, 출력부(108)는 감지된 문자 또는 기호에 대응되는 아스키 코드 또는 유니코드를 출력하도록 구성될 수 있다.
한편, 전술한 바와 같이 본 발명의 일 실시예에 따른 시선 추적형 입력 장치(100)는 단어 추천부(110)를 더 포함할 수 있다.
일 실시예에서, 단어 추천부(110)는 감지부(106)에서 감지된 문자 또는 기호로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하도록 구성된다.
단어 추천부(110)는 사용자가 입력하려는 언어에 맞는 단어 목록을 포함할 수 있다. 이에 따라 사용자가 특정 문자열을 입력하게 되면 단어 추천부(110)는 상기 문자열과 저장된 단어 목록을 비교하고, 이에 따른 유사도 순위에 따라 선택된 하나 이상의 단어를 상기 추천 단어로서 화면 상에 디스플레이할 수 있다. 그러면 사용자는 추천된 단어 중 자신이 타이핑하려던 단어로 시선을 이동함으로써 해당 단어의 나머지 알파벳을 모두 입력할 필요 없이 해당 단어의 타이핑을 완료할 수 있다.
또한, 단어 추천부(110)는, 감지부(106)에서 감지된 문자 또는 기호와 상기 화상 키보드 상에서 인접한 위치에 배치되는 문자 또는 기호를 함께 고려하여 상기 사용자가 입력하고자 하는 단어를 추정할 수 있다. 예를 들어, 감지부(106)에서 감지된 문자가 “a”인 경우, 단어 추천부(110)는 QWERTY 자판 상에서 “a”와 인접한 위치에 있는 q, s, z 등도 함께 고려하여 사용자가 입력하고자 하는 단어를 추정할 수 있다. 이와 같이 구성되는 경우 사용자의 시선 입력이 다소 부정확한 경우에도 효과적으로 추천 단어를 제공할 수 있다.
다른 실시예에서, 단어 추천부(110)는 시선 추적부(104)에서 계산된 상기 응시 좌표로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하도록 구성된다. 구체적으로, 단어 추천부(110)는 시선 추적부(104)에서 계산된 응시 좌표로부터 계산되는 사용자의 시선 이동 경로와 상기 단어별 표준 시선 이동 경로를 비교하고, 상기 비교에 따른 경로 유사도에 따라 하나 이상의 단어를 추천 단어로서 화면 상에 디스플레이할 수 있다.
이 경우, 단어 추천부(110)는 복수 개의 단어 및 각 단어별 표준 시선 이동 경로를 포함하는 단어 목록을 포함할 수 있다. 이때 상기 표준 시선 이동 경로는 각 단어를 입력하기 위하여 사용자의 시선이 이동하여야 하는 경로를 의미한다.. 상기 표준 시선 이동 경로는 각 단어별로 미리 설정될 수도 있고, 사용자의 단어 입력에 따라 동적으로 구성될 수도 있다. 예를 들어, 사용자가 동일한 단어를 복수 회 입력한 경우, 상기 표준 시선 이동 경로는 각각의 입력시 획득된 시선 이동 경로의 평균값일 수 있다.
시선 입력을 통한 타이핑의 경우 일반적인 키보드를 이용한 타이핑과 비교하여 상대적으로 속도 및 정확도가 감소할 수 밖에 없는 바, 이와 같은 단어 추천을 이용할 경우 타이핑 속도 및 정확도의 손실을 보완할 수 있게 된다. 입력된 문자열과 단어 목록 간의 유사도 계산 알고리즘 등과 관련해서는 본 발명이 속하는 기술분야에서 다양한 수단들이 알려져 있는 바, 여기서는 그 상세한 설명을 생략하기로 한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
[부호의 설명]
100: 시선 추적형 입력 장치
102: 디스플레이부
104: 시선 추적부
106: 감지부
108: 출력부
110: 단어 추천부

Claims (13)

  1. 입력 가능한 문자 또는 기호에 대응되는 복수 개의 키(key)가 배열된 화상 키보드를 화상 출력 수단을 통해 디스플레이하는 디스플레이부;
    상기 화상 키보드 상에서의 상기 사용자의 시선에 따른 응시 좌표를 계산하는 시선 추적부; 및
    계산된 상기 응시 좌표에 따라 상기 사용자가 입력하고자 하는 문자 또는 기호를 감지하는 감지부를 포함하는 시선 추적형 입력 장치.
  2. 청구항 1에 있어서,
    상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키의 크기가 증가하도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열하는, 시선 추적형 입력 장치.
  3. 청구항 1에 있어서,
    상기 디스플레이부는, 상기 각 문자 또는 기호의 사용 빈도가 높을수록 해당 문자 또는 기호에 대응되는 키가 상기 화상 출력 수단의 화면 중앙과 가까운 위치에 배열되도록 상기 화상 키보드 내에 상기 복수 개의 키를 배열하는, 시선 추적형 입력 장치.
  4. 청구항 1에 있어서,
    상기 화상 키보드는, 직전에 입력된 문자 또는 기호를 반복하여 입력하기 위한 키를 포함하는, 시선 추적형 입력 장치.
  5. 청구항 1에 있어서,
    상기 시선 추적부는, 기 설정된 주기에 따라 반복적으로 상기 사용자의 응시 좌표를 계산하는, 시선 추적형 입력 장치.
  6. 청구항 1에 있어서,
    상기 감지부는, 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 경로를 구성하고,
    상기 시선 이동 경로 중 기 설정된 각도 이상의 꺾임이 존재하는 경우, 상기 꺾임이 발생한 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
  7. 청구항 1에 있어서,
    상기 감지부는, 상기 응시 좌표를 이용하여 상기 사용자의 시선 이동 속도를 계산하고,
    계산된 상기 시선 이동 속도가 기 설정된 값 이하인 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
  8. 청구항 1에 있어서,
    상기 시선 추적부는, 상기 화상 키보드 상에서의 상기 사용자의 안구 깜박임을 감지하며,
    상기 감지부는, 상기 깜박임이 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
  9. 청구항 1에 있어서,
    상기 시선 추적부는, 상기 화상 키보드 상에서의 상기 사용자의 동공 크기 변화를 감지하며,
    상기 감지부는, 상기 기 설정된 정도 이상의 상기 동공 크기 변화가 감지된 좌표에 대응되는 키(key)를 상기 사용자가 입력하고자 하는 문자 또는 기호로 판단하는, 시선 추적형 입력 장치.
  10. 청구항 1에 있어서,
    상기 감지부에서 감지된 문자 또는 기호로부터 상기 사용자가 입력하고자 하는 단어를 추정하고, 추정된 단어를 추천 단어로서 상기 화상 출력 수단을 통해 디스플레이하는 단어 추천부를 더 포함하는, 시선 추적형 입력 장치.
  11. 청구항 10에 있어서,
    상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 기 저장된 단어 목록을 비교하고, 상기 비교에 따른 유사도 순위에 따라 선택된 하나 이상의 단어를 상기 추천 단어로서 디스플레이하는, 시선 추적형 입력 장치.
  12. 청구항 11에 있어서,
    상기 단어 추천부는, 상기 감지부에서 감지된 문자 또는 기호와 상기 화상 키보드 상에서 인접한 위치에 배치되는 문자 또는 기호를 상기 감지부에서 감지된 문자 또는 기호와 함께 고려하여 상기 사용자가 입력하고자 하는 단어를 추정하는, 시선 추적형 입력 장치.
  13. 청구항 1에 있어서,
    복수 개의 단어 및 각 단어별 표준 시선 이동 경로를 포함하는 단어 목록을 저장하며,
    상기 시선 추적부에서 계산된 상기 응시 좌표로부터 계산되는 사용자의 시선 이동 경로와 상기 단어별 표준 시선 이동 경로를 비교하고, 상기 비교에 따른 경로 유사도에 따라 하나 이상의 단어를 추천 단어로서 화면 상에 디스플레이하는 단어 추천부를 더 포함하는, 시선 추적형 입력 장치.
PCT/KR2015/001644 2014-05-20 2015-02-17 시선 추적형 입력 장치 WO2015178571A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/357,184 US20170068316A1 (en) 2014-05-20 2016-11-21 Input device using eye-tracking

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140060315 2014-05-20
KR10-2014-0060315 2014-05-20
KR10-2014-0143985 2014-10-23
KR1020140143985A KR101671837B1 (ko) 2014-05-20 2014-10-23 시선 추적형 입력 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/357,184 Continuation US20170068316A1 (en) 2014-05-20 2016-11-21 Input device using eye-tracking

Publications (1)

Publication Number Publication Date
WO2015178571A1 true WO2015178571A1 (ko) 2015-11-26

Family

ID=54554208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001644 WO2015178571A1 (ko) 2014-05-20 2015-02-17 시선 추적형 입력 장치

Country Status (1)

Country Link
WO (1) WO2015178571A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040206A (ko) * 2009-10-13 2011-04-20 에스케이텔레콤 주식회사 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법
US20110175932A1 (en) * 2010-01-21 2011-07-21 Tobii Technology Ab Eye tracker based contextual action
WO2011152634A2 (ko) * 2010-05-29 2011-12-08 Lee Moon Key 모니터 기반 증강현실 시스템
WO2013133664A1 (ko) * 2012-03-08 2013-09-12 삼성전자 주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
KR20140049920A (ko) * 2013-06-17 2014-04-28 삼성전자주식회사 디스플레이 장치 및 이의 문자 입력 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040206A (ko) * 2009-10-13 2011-04-20 에스케이텔레콤 주식회사 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법
US20110175932A1 (en) * 2010-01-21 2011-07-21 Tobii Technology Ab Eye tracker based contextual action
WO2011152634A2 (ko) * 2010-05-29 2011-12-08 Lee Moon Key 모니터 기반 증강현실 시스템
WO2013133664A1 (ko) * 2012-03-08 2013-09-12 삼성전자 주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
KR20140049920A (ko) * 2013-06-17 2014-04-28 삼성전자주식회사 디스플레이 장치 및 이의 문자 입력 방법

Similar Documents

Publication Publication Date Title
KR101671837B1 (ko) 시선 추적형 입력 장치
US8902198B1 (en) Feature tracking for device input
US9727135B2 (en) Gaze calibration
US8823658B2 (en) Bimanual gesture based input and device control system
US20110248914A1 (en) System and Method for Virtual Touch Typing
WO2018217060A1 (en) Method and wearable device for performing actions using body sensor array
Hu et al. Deep neural network-based speaker-aware information logging for augmentative and alternative communication
US20180177446A1 (en) Image interpretation support apparatus and method
US10241571B2 (en) Input device using gaze tracking
KR100663515B1 (ko) 휴대 단말 장치 및 이를 위한 데이터 입력 방법
WO2016114496A1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
US9874950B2 (en) Adaptive guidelines for handwriting
US20150355723A1 (en) Finger position sensing and display
WO2015178571A1 (ko) 시선 추적형 입력 장치
Abe et al. An eye-gaze input system using information on eye movement history
KR101671839B1 (ko) 시선 추적형 입력 장치
KR102077515B1 (ko) 스마트 미러 및 이를 이용한 맞춤형 개인 트레이닝 장치
JP2009169464A (ja) 文字入力方法
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
WO2018034386A1 (ko) 생체정보 연동형 스마트보드 시스템 및 그 방법
KR102586144B1 (ko) 딥러닝을 이용한 손 움직임 추적방법 및 장치
CN106104419A (zh) 计算设备
US20200293107A1 (en) Method and system for realizing character input by means of eye movement
KR101643744B1 (ko) 시선고정 눈 반응 감지장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15795545

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 03.04.2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15795545

Country of ref document: EP

Kind code of ref document: A1