WO2016114496A1 - 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2016114496A1
WO2016114496A1 PCT/KR2015/013189 KR2015013189W WO2016114496A1 WO 2016114496 A1 WO2016114496 A1 WO 2016114496A1 KR 2015013189 W KR2015013189 W KR 2015013189W WO 2016114496 A1 WO2016114496 A1 WO 2016114496A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
eye
eyeball
camera module
information obtained
Prior art date
Application number
PCT/KR2015/013189
Other languages
English (en)
French (fr)
Inventor
유회준
홍인준
봉경렬
김용재
Original Assignee
한국과학기술원
주식회사 유엑스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 주식회사 유엑스팩토리 filed Critical 한국과학기술원
Priority to US15/542,933 priority Critical patent/US20180004287A1/en
Publication of WO2016114496A1 publication Critical patent/WO2016114496A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to a method for providing a user interface through a head mounted display using gaze recognition and a biosignal, an apparatus using the same, and a computer readable recording medium, and more particularly, to a screen provided by a head mounted display.
  • GUI graphical user interface
  • the cursor is moved to the specific location gazed by the user with reference to at least one gaze information of the gaze information acquired from the second eyeball of the user through the biosignal acquisition module, and the graphical user interface is located at the specific location.
  • the present invention relates to a method for supporting a detailed selection item corresponding to the graphic object with reference to motion information obtained from the eyelid corresponding to the second eyeball of the user, an apparatus using the same, and a computer-readable recording medium. .
  • the user interface which is widely used in the head mounted display, has a speech recognition-based user interface that can transmit complex commands to the HMD without using both hands.
  • the voice-based user interface is difficult to use in public places because the commands are spoken by voice, and the commands you give to the HMD are exposed to the people around you, so that personal information such as addresses, phone numbers, and passwords can be passed from the public places to the HMD. There is a problem that is difficult.
  • US Patent Publication 2006-0061544 discloses a unit for sensing a bio-signal including a voltage generated from a face of a user in the HMD, and recognizes the bio-signal as an input of a key.
  • the unit detects a biosignal, recognizes key information according to the detected biosignal as a specific key input, and commands the HMD even in a public place.
  • it is necessary to first point the specific key to execute the key input.
  • the present inventors propose a method for providing a user interface for installing and controlling separate modules for both eyes so that a user can conveniently and accurately command the HMD, and an apparatus using the same.
  • the present invention aims to solve all the above-mentioned problems.
  • Another object of the present invention is to divide a measurement module applied to the first eye and the second eye into a camera module and a biosignal acquisition module to enable more accurate and various user input.
  • a method of providing a user interface through a head mounted display using gaze recognition and a biosignal is provided.
  • A When a user gazes at a specific position among output screens, Moving the cursor to the specific position gazed by the user with reference to the gaze information obtained from any one eye, the first eye; and (b) in a state in which a predetermined object exists at the specific position, And supporting the detailed selection item corresponding to the object by referring to the motion information acquired from the eyelid corresponding to any one eye of the user through the biosignal acquisition module.
  • a head mounted display device for providing a user interface using gaze recognition and a biosignal, comprising: a camera module for obtaining gaze information from a first eye, which is any one eye of the user, Biometric signal acquisition module for acquiring motion information from the eyelid corresponding to one eyeball, the second eyeball, (1) When the user gazes at a specific position among the output screens, the camera module may receive the first eyeball from the first eyeball of the user. With reference to the obtained gaze information, the cursor is moved to the specific position gazed by the user, and (2) in the state where a predetermined object exists at the specific position, Three pieces of information corresponding to the individual are referred to by referring to the motion information obtained from the eyelid corresponding to the second eyeball.
  • the device including a user interface providing unit configured to provide support to the selection is provided.
  • a computer readable recording medium for recording a computer program for executing the method of the present invention is further provided.
  • the measurement module applied to the first eye and the second eye can be divided into a camera module and a biosignal acquisition module, respectively, so that various user inputs can be implemented, thereby enabling user convenience compared to a general HMD. There is.
  • FIG. 1 is a schematic diagram of a head mounted display implemented in the form of glasses according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a process of processing, by a user, a graphic object output to a head mounted display with both eyes according to an embodiment of the present invention.
  • 3A to 3C exemplarily illustrate a process in which a user selects a graphic object output on a head mounted display with both eyes according to one embodiment of the present invention.
  • FIG. 4 exemplarily illustrates a graphical user interface output to a head mounted display according to an embodiment of the present invention.
  • the present invention provides a user interface through a head mounted display using gaze recognition and a biosignal.
  • A When a user gazes at a specific position of an output screen, the eyeball of any one of the user through a camera module is provided. Moving the cursor to the specific position gazed by the user with reference to the gaze information obtained from the first eyeball, and (b) in a state in which a predetermined object exists at the specific position, the biosignal acquisition module And supporting the detailed selection item corresponding to the object with reference to the motion information obtained from the eyelid corresponding to the second eye, which is one of the eyes of the user.
  • the object may be selected by referring to the motion information obtained from the eyelid corresponding to the first eye of the user through the camera module.
  • the first eye and the second eye may be the same one eye of the user.
  • the biosignal acquisition module may include a plurality of electrodes attached to the skin around the second eyeball, and the attachment position of the plurality of electrodes may be determined as a position for recognizing a movement direction of the eyelid corresponding to the second eyeball. have.
  • the gaze information acquired from the first eyeball of the user may be derived by a processor that performs a predetermined gaze tracking algorithm and the camera module that photographs the first eyeball of the user.
  • the gaze tracking algorithm may photograph the first eye of the user with the camera module, and calculate a point on the screen where the user gazes by finding a center position of the pupil of the first eye in the captured image.
  • the bio-signal may include information based on the degree of safety (EOG).
  • EOG degree of safety
  • the present invention provides a head mounted display device that provides a user interface using gaze recognition and a biosignal, comprising: a camera module for obtaining gaze information from a first eye, which is any one eye of the user, and one eye of the user Biometric signal acquisition module for acquiring motion information from the eyelid corresponding to the second eyeball, (1) when the user gazes at a specific position of the output screen, the gaze information obtained from the first eyeball of the user through the camera module With reference to, the cursor is moved to the specific position gazed by the user, and (2) in a state in which a predetermined object exists at the specific position, the second eyeball of the user through the biosignal acquisition module.
  • Sub-selection item corresponding to the object with reference to the motion information obtained from the corresponding eyelid Provided to support the user interface provided to include a.
  • the user interface providing unit may support the graphic object to be selected by referring to the motion information obtained from the eyelid corresponding to the first eye of the user through the camera module.
  • the first eye and the second eye may be the same one eye of the user.
  • the biosignal acquisition module may include a plurality of electrodes attached to the skin around the second eyeball, and the attachment position of the plurality of electrodes may be determined as a position for recognizing a movement direction of the eyelid corresponding to the second eyeball. Can be.
  • the camera module may acquire the gaze information obtained from the first eyeball of the user with the help of a processor which photographs the first eyeball of the user and performs a predetermined gaze tracking algorithm.
  • the camera module photographs the first eyeball of the user, and finds the center position of the pupil of the first eyeball in the captured image and calculates a point on the graphical user interface that the user gazes at.
  • the gaze information obtained from the first eyeball of the user may be obtained with the assistance of.
  • the bio-signal may include information based on the degree of safety (EOG).
  • EOG degree of safety
  • the screen may be installed outside the glasses.
  • the shape of the head mounted display mentioned in the present invention is various, for convenience of description, an embodiment of the present invention will be described assuming a form of glasses as a form of the head mounted display.
  • the first eye of the user may be the right eye
  • the second eye of the user may be the left eye
  • the biosignal acquisition module to be described below obtains the biometric from the second eye of the user.
  • the signal may be based on, but not limited to, an electrologueogram (EOG).
  • EOG electrologueogram
  • the first eye and the second eye of the present invention may mean any one eye of the user, but for convenience of description, the following description will be exemplarily described as referring to other eye. If the first eye and the second eye point to the same eye, the camera module to be described later and the biosignal acquisition module to be described later will be configured to be positioned around the same eye.
  • FIG. 1 is a schematic diagram of a head mounted display device implemented in the form of glasses according to an embodiment of the present invention.
  • the head mounted display apparatus 100 may include a display unit 110, a camera module 120, a biosignal acquisition module 130, and a user interface providing unit (not shown).
  • the head mounted display apparatus 100 may further include a processor 140 for performing a gaze tracking algorithm, and may further include a plurality of electrodes 135 included in the biosignal acquisition module 130. Can be.
  • the display unit 110 may be installed to overlap a portion of the right lens of the head mounted display, and may output a predetermined graphic user interface by the user interface providing unit.
  • the camera module 120 may obtain the gaze information from the first eyeball of the user or the motion information from the eyelid corresponding to the first eyeball of the user.
  • the camera module 120 performs a function of capturing the first eyeball of the user and obtaining the eyeball information obtained from the first eyeball of the user with the support of the processor 140 that performs a predetermined eye tracking algorithm. can do.
  • the eye tracking algorithm may perform a function of finding a center position of the pupil of the first eye in the image photographed for the first eye and calculating a point on the graphical user interface that the user gazes at.
  • the camera module 120 may be installed at a predetermined position of the right lens, and may be provided in a monocular configuration having one camera by installing only at the right lens side.
  • the distance between the object and the person gazing at the person is not constant.
  • the distance between the graphic user interface and the person outputted on the screen, that is, the display unit 110 is constant, thus recognizing the line of sight.
  • the camera module 120 may be configured in a monocular configuration.
  • the biosignal obtaining module 130 may obtain motion information from the eyelid corresponding to the second eye of the user.
  • the biosignal acquisition module 130 may include a plurality of electrodes 135 attached to the skin around the second eyeball, and the attachment position of the plurality of electrodes 135 may correspond to a position of the eyelid corresponding to the second eyeball. It may be determined as a position for recognizing the direction of movement. For example, as shown in FIG. 1, the electrode 135 is attached to each of the upper, lower, left, and right sides of the second eye, so that the direction of movement of the eyelid corresponding to the second eye may be accurately recognized. Of course, the number of attachment of the electrode 135 will not be limited thereto.
  • the biosignal may include information based on the degree of safety (EOG), but is not limited thereto.
  • the electrode 135 is interlocked with the biological signal acquisition module 130 on the skin around the eye of the left lens side is not installed camera module 120 Can be installed.
  • the biosignal acquisition module 130 may be a safety sensor, and in this case, the EOG may be sensed from the eyelid of the second eye of the user through the electrode 135 to obtain motion information thereof.
  • the safety sensor 130 can sense the EOG with a simple amplifier and ADC, power consumption is considerably small, so that the head mounted display device 100 uses a binocular camera having a large power consumption. Rather than acquiring motion information, acquiring motion information of both eyes of the user using the safety sensor 130 and the camera module 120 may reduce power consumption of the head mounted display 100.
  • the EOG signal sensed from the user's second eyeball has a small data size, the amount of computation and memory of the algorithm for processing the EOG signal is small, so that the processor and hardware for processing the EOG signal may be easily implemented.
  • the user interface providing unit may output a predetermined graphical user interface (GUI) at a predetermined position of a screen (ie, the display unit 110) corresponding to the head mounted display apparatus 100.
  • GUI graphical user interface
  • the screen corresponding to the head mounted display apparatus 100 is assumed to be a screen of a display connected through wireless or wired communication, and is not only installed on the head mounted display itself such as glasses but also glasses.
  • the concept also includes a case where a display is separately installed outside of the device.
  • the user gazes at a specific position of the graphic user interface output through the screen the user gazes with reference to the gaze information obtained from the first eyeball of the user through the camera module 120. It can be displayed by moving the cursor to a position.
  • the user interface providing unit obtains from the eyelid corresponding to the first eye of the user through the camera module 120.
  • the graphic object may be supported to be selected.
  • the motion information obtained from the eyelid corresponding to the first eye is a concept including information on the movement, trembling, and the degree of eyelid opening of the first eyeball.
  • the user interface providing unit may support the detailed selection item corresponding to the graphic object by referring to the motion information obtained from the eyelid corresponding to the second eye of the user through the biosignal acquisition module 130.
  • the motion information obtained from the eyelid corresponding to the second eyeball is a concept including information on the movement, trembling of the eyelid, and the degree of eyelid openness of the second eyeball.
  • FIG. 2 is a flowchart illustrating a process of processing, by a user, a graphic object output to a head mounted display with both eyes according to an embodiment of the present invention.
  • a point gazed by the user on the screen is tracked through the camera module 120 and a predetermined point on the graphical user interface is referred to.
  • the cursor may be controlled to move (S220).
  • the graphical user interface may include and display at least one graphic object.
  • the cursor In a state where the cursor is moved to correspond to the position of a specific graphic object among the at least one graphic object, the user may select at least one of both eyes. One movement will be able to carry out the command.
  • a plurality of movement combinations may be formed using various eye movements, and the graphic object may be variously controlled with reference to the plurality of movement combinations.
  • a specific graphic object located at the point where the cursor is moved can be clicked to execute a corresponding command (S240), and when the user blinks the left eye (S250).
  • the specific graphic object is clicked to bring up and display a detailed selection item corresponding to the specific graphic object.
  • the corresponding command may be a selection for the graphic object, and a detailed selection item corresponding to the graphic object may be a context menu.
  • step S220 If the user does not blink for a predetermined time in the state of step S220, the eyes of the user may be recognized again to continue the step S220.
  • FIGS. 3A to 3C exemplarily illustrate a process in which a user selects a graphic object output on a head mounted display with both eyes according to one embodiment of the present invention.
  • the camera module 120 is located at the portion corresponding to the left eye and the safety electrode 135 is located at the portion corresponding to the right eye. That is, it does not matter whether one eye has the camera module 120 as shown in FIG. 1 or FIG. 3, and the safety electrode 135 is disposed in the eye without the camera module 120.
  • the head mounted display apparatus 100 when a user gazes at any part of the graphic user interface outputted on the display unit 110 installed on the upper left lens of the head mounted display apparatus 100, the head mounted display apparatus 100 may be viewed.
  • the camera module 120 installed at one side of the left lens may recognize the user's gaze.
  • FIG. 3B when the user's gaze is located on a specific graphic object included in the graphic user interface, it can be seen that when the user blinks the left eye, the specific graphic object can be selected.
  • FIG. 4 it can be seen that when the user blinks his right eye, a context menu corresponding to the specific graphic object can be called and displayed.
  • FIG. 4 exemplarily illustrates a graphical user interface output to a head mounted display according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a graphic user interface output to a head mounted display according to an embodiment of the present invention.
  • the graphic user interface is output to a predetermined position of a screen provided by the head mounted display.
  • Examples of the graphical user interface may include a yes / no question, a quadrilateral, an image slide, a numeric input, and the like, wherein the graphic object output to the graphical user interface is controlled from the right eye of the user through the camera module.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.
  • the user can utilize the user's convenience in comparison with the general HMD. Due to the effect, it is possible to secure the possibility of mass production and sales, and the industrial availability by mass production according to the standardization corresponds to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법으로서, (a) 사용자가 출력된 화면 중 특정 위치를 응시하면, 카메라 모듈을 통해 상기 사용자의 어느 하나의 안구인 제1 안구로부터 획득된 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키는 단계, 및 (b) 상기 특정 위치에 소정의 개체가 존재하는 상태에서, 상기 생체 신호 획득 모듈을 통해 상기 사용자의 어느 하나의 안구인 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 단계를 포함하는 방법을 제공한다. 본 발명에 따르면, 영상 신호 및 생체 신호를 바탕으로 하여 사용자 편의적인 인터페이스를 제공할 수 있다.

Description

시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
본 발명은 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 상세하게는, 헤드 마운트 디스플레이에 의해 제공되는 화면의 소정의 위치에 소정의 그래픽 유저 인터페이스(Graphic User Interface: GUI)를 출력하고, 사용자가 상기 출력된 그래픽 유저 인터페이스 중 특정 위치를 응시하면, 카메라 모듈을 통해 상기 사용자의 제1 안구로부터 획득된 시선 정보 및 생체 신호 획득 모듈을 통해 상기 사용자의 제2 안구로부터 획득된 시선 정보 중 적어도 하나의 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키고, 상기 특정 위치에 상기 그래픽 유저 인터페이스에 의해 제공되는 그래픽 개체가 존재하는 상태에서, (i) 상기 카메라 모듈을 통해 상기 사용자의 상기 제1 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 그래픽 개체가 선택되도록 지원하고, (ii) 상기 생체 신호 획득 모듈을 통해 상기 사용자의 상기 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 그래픽 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
기존의 헤드 마운트 디스플레이에서 활용도가 높은 사용자 인터페이스에는 양손을 사용하지 않고 복잡한 명령을 HMD에 전달할 수 있는 음성 인식 기반의 유저 인터페이스가 있다. 하지만 음성을 활용한 사용자 인터페이스는 음성으로 명령을 하기 때문에 공공장소에서는 사용하기 어렵고, 사용자가 HMD에 내리는 명령이 주변 사람들에게 노출되므로 주소, 전화번호, 비밀번호 같은 개인 정보를 공공장소에서 HMD에 전달하기 어렵다는 문제점이 있다.
미국공개특허 2006-0061544에는 HMD에서 사용자의 얼굴로부터 발생되는 전압을 포함하는 생체 신호를 센싱하여, 상기 생체 신호를 키의 입력으로 인식하는 유닛이 개시되어 있다. 상기 유닛은 생체 신호를 감지하고, 감지된 상기 생체 신호에 따른 키 정보를 특정 키의 입력으로서 인식하여, 공공장소에서도 HMD에 명령을 할 수 있다. 감지된 키 정보를 상기 특정 키의 입력으로 인식하기 위해서는 먼저 키의 입력을 실행할 상기 특정 키를 포인팅해야 한다. 하지만 생체 신호로 얻은 키 정보만으로는 상기 특정 키를 정확하게 포인팅 하는 것은 어렵다.
이에, 본 발명자는 사용자가 HMD에 편리하고 정확하게 명령할 수 있도록 양 눈마다 별도의 모듈을 설치하여 제어하는 사용자 인터페이스 제공 방법 및 이를 사용한 장치를 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
본 발명은 제1 안구 및 제2 안구에 적용되는 측정 모듈을 카메라 모듈 및 생체 신호 획득 모듈로서 이분화하여 보다 정확하고 다양한 사용자 입력을 가능하게 하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법으로서, (a) 사용자가 출력된 화면 중 특정 위치를 응시하면, 카메라 모듈을 통해 상기 사용자의 어느 하나의 안구인 제1 안구로부터 획득된 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키는 단계, 및 (b) 상기 특정 위치에 소정의 개체가 존재하는 상태에서, 상기 생체 신호 획득 모듈을 통해 상기 사용자의 어느 하나의 안구인 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 시선 인식 및 생체 신호를 이용하여 사용자 인터페이스를 제공하는 헤드 마운트 디스플레이 장치로서, 사용자의 어느 하나의 안구인 제1 안구로부터 시선 정보를 획득하는 카메라 모듈, 상기 사용자의 어느 하나의 안구인 제2 안구에 대응되는 눈꺼풀로부터 움직임 정보를 획득하는 생체 신호 획득 모듈, (1) 상기 사용자가 출력된 화면 중 특정 위치를 응시하면, 상기 카메라 모듈을 통해 상기 사용자의 제1 안구로부터 획득된 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키고, (2) 상기 특정 위치에 소정의 개체가 존재하는 상태에서, 상기 생체 신호 획득 모듈을 통해 상기 사용자의 상기 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 사용자 인터페이스 제공부를 포함하는 장치가 제공된다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 제1 안구 및 제2 안구에 적용되는 측정 모듈을 각각 카메라 모듈 및 생체 신호 획득 모듈로서 이분화하고 이를 통하여 다양한 사용자 입력을 구현할 수 있도록 함으로써 일반적인 HMD에 비하여 사용자 편의적으로 활용될 수 있다는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 안경 형태로 구현된 헤드 마운트 디스플레이의 개략도이다.
도 2는 본 발명의 일 실시예에 따라 사용자가 양 눈으로 헤드 마운트 디스플레이에 출력된 그래픽 개체를 처리하는 과정을 나타내는 흐름도이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따라 사용자가 양 눈으로 헤드 마운트 디스플레이에 출력된 그래픽 개체를 선택하는 과정을 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 헤드 마운트 디스플레이에 출력되는 그래픽 유저 인터페이스를 예시적으로 도시한 것이다.
[도면의 부호 설명]
110: 디스플레이 유닛
120: 카메라 모듈
130: 안전도 전극
135: 생체 신호 획득 모듈
140: 프로세서
본 발명은 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법으로서, (a) 사용자가 출력된 화면 중 특정 위치를 응시하면, 카메라 모듈을 통해 상기 사용자의 어느 하나의 안구인 제1 안구로부터 획득된 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키는 단계, 및 (b) 상기 특정 위치에 소정의 개체가 존재하는 상태에서, 상기 생체 신호 획득 모듈을 통해 상기 사용자의 어느 하나의 안구인 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 단계를 포함한다.
상기 (b) 단계에서, 상기 카메라 모듈을 통해 상기 사용자의 상기 제1 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체가 선택되도록 지원할 수 있다.
상기 제1 안구 및 상기 제2 안구는 상기 사용자의 동일한 하나의 안구일 수 있다.
상기 생체 신호 획득 모듈은 상기 제2 안구 주변의 피부에 부착되는 복수 개의 전극을 포함하며, 상기 복수 개의 전극의 부착 위치는 상기 제2 안구에 대응되는 눈꺼풀의 움직임 방향을 인식하기 위한 위치로 결정될 수 있다.
상기 사용자의 제1 안구로부터 획득한 시선 정보는, 소정의 시선 추적 알고리즘을 수행하는 프로세서와 상기 사용자의 제1 안구를 촬영하는 상기 카메라 모듈에 의해 도출될 수 있다.
상기 시선 추적 알고리즘은, 상기 카메라 모듈로 상기 사용자의 제1 안구를 촬영하고, 상기 촬영한 영상에서 상기 제1 안구의 동공의 중심 위치를 찾아 사용자가 응시하고 있는 화면 상의 지점을 계산할 수 있다.
상기 생체신호는 안전도(Electrooculogram: EOG)에 의한 정보를 포함할 수 있다.
그리고 본 발명은 시선 인식 및 생체 신호를 이용하여 사용자 인터페이스를 제공하는 헤드 마운트 디스플레이 장치로서, 사용자의 어느 하나의 안구인 제1 안구로부터 시선 정보를 획득하는 카메라 모듈, 상기 사용자의 어느 하나의 안구인 제2 안구에 대응되는 눈꺼풀로부터 움직임 정보를 획득하는 생체 신호 획득 모듈, (1) 상기 사용자가 출력된 화면 중 특정 위치를 응시하면, 상기 카메라 모듈을 통해 상기 사용자의 제1 안구로부터 획득된 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키고, (2) 상기 특정 위치에 소정의 개체가 존재하는 상태에서, 상기 생체 신호 획득 모듈을 통해 상기 사용자의 상기 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 사용자 인터페이스 제공부를 포함한다.
상기 사용자 인터페이스 제공부는, 상기 카메라 모듈을 통해 상기 사용자의 상기 제1 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 그래픽 개체가 선택되도록 지원할 수 있다.
상기 제1 안구 및 상기 제2 안구는 상기 사용자의 동일한 하나의 안구일 수 있다.
상기 생체 신호 획득 모듈은, 상기 제2 안구 주변의 피부에 부착되는 복수 개의 전극을 포함하며, 상기 복수 개의 전극의 부착 위치는 상기 제2 안구에 대응되는 눈꺼풀의 움직임 방향을 인식하기 위한 위치로 결정될 수 있다.
상기 카메라 모듈은, 상기 사용자의 제1 안구를 촬영하고, 소정의 시선 추적 알고리즘을 수행하는 프로세서의 지원을 받아 상기 사용자의 제1 안구로부터 획득한 시선 정보를 획득할 수 있다.
상기 카메라 모듈은, 상기 사용자의 제1 안구를 촬영하고, 상기 촬영한 영상에서 상기 제1 안구의 동공의 중심 위치를 찾아 상기 사용자가 응시하고 있는 상기 그래픽 유저 인터페이스 상의 지점을 계산하는 상기 시선 추적 알고리즘의 지원을 받아 상기 사용자의 제1 안구로부터 획득한 시선 정보를 획득할 수 있다.
상기 생체신호는 안전도(Electrooculogram: EOG)에 의한 정보를 포함할 수 있다.
상기 화면은 상기 안경 외부에 설치될 수 있다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
참고로, 본 발명에서 언급되는 헤드 마운트 디스플레이의 형태는 다양하지만, 설명의 편의 상 본 발명의 일 실시예에서는 헤드 마운트 디스플레이의 형태로서 안경 형태를 가정하여 설명한다.
또한, 본 발명의 일 실시예에서는 상기 사용자의 상기 제1 안구를 오른쪽 눈으로, 상기 사용자의 상기 제2 안구를 왼쪽 눈일 수 있고, 후술할 생체 신호 획득 모듈부가 사용자의 제2 안구로부터 획득하는 생체 신호는 안전도(Electrooculogram: EOG)에 기반할 수 있으나, 이에 한정되지는 않는다. 또한, 본 발명의 제1 안구 및 제2 안구는 사용자의 동일한 어느 하나의 안구를 의미하는 것일 수도 있으나, 설명의 편의 상, 이하에서는 다른 안구를 가리키는 것으로 예시적으로 설명하였을 뿐이다. 만약, 제1 안구 및 제2 안구가 동일한 안구를 가리키는 것일 경우에는 후술할 카메라 모듈과 후술할 생체 신호 획득 모듈이 동일한 안구 주변에 위치하도록 구성될 것이다.
또한, 본 발명의 도면 및 이에 대한 설명에서는 예시적으로 그래픽 유저 인터페이스, 즉 GUI를 상정하여 설명하였지만, 본 발명에 따른 개체의 선택 등이 반드시 GUI를 기반으로 이루어질 필요는 없음은 물론이라 할 것이다.
도 1은 본 발명의 일 실시예에 따른 안경 형태로 구현된 헤드 마운트 디스플레이 장치에 대한 개략도이다.
도 1을 참조하면, 헤드 마운트 디스플레이 장치(100)는 디스플레이 유닛(110), 카메라 모듈(120), 생체 신호 획득 모듈(130), 사용자 인터페이스 제공부(미도시)를 포함할 수 있다. 또한, 헤드 마운트 디스플레이 장치(100)는 시선 추적 알고리즘을 수행하기 위한 프로세서(140)를 추가로 더 포함할 수 있으며, 생체 신호 획득 모듈(130)에 포함되는 복수 개의 전극(135)을 더 포함할 수 있다.
구체적으로, 디스플레이 유닛(110)은 헤드 마운트 디스플레이의 가령 우측 렌즈의 일부 영역과 겹치도록 설치될 수 있으며, 사용자 인터페이스 제공부에 의해 소정의 그래픽 유저 인터페이스를 출력할 수 있다.
다음으로, 카메라 모듈(120)은 사용자의 제1 안구로부터 시선 정보를 획득하거나 사용자의 제1 안구에 대응되는 눈꺼풀로부터 움직임 정보를 획득할 수 있다. 여기서, 카메라 모듈(120)은, 사용자의 제1 안구를 촬영하고, 소정의 시선 추적 알고리즘을 수행하는 프로세서(140)의 지원을 받아 사용자의 제1 안구로부터 획득한 시선 정보를 획득하는 기능을 수행할 수 있다. 여기서, 시선 추적 알고리즘은, 제1 안구에 대해 촬영한 영상에서 제1 안구의 동공의 중심 위치를 찾아 사용자가 응시하고 있는 그래픽 유저 인터페이스 상의 지점을 계산하는 기능을 수행할 수 있다.
여기서, 카메라 모듈(120)은 우측 렌즈의 소정의 위치에 설치될 수 있으며, 우측 렌즈 쪽에만 설치함으로써 한 대의 카메라를 갖는 단안식 구성일 수 있다. 일반적으로 카메라를 이용하여 주변 환경을 바라보는 사람의 시선을 인식하는 경우, 상기 사람이 응시하는 물체와 상기 사람 사이의 거리가 일정하지 않기 때문에 두 개의 카메라를 갖는 양안식 구성을 이용하여 사람의 시선을 인식 하지만, 본 발명에서는 화면 상의 그래픽 유저 인터페이스를 바라보는 사람의 시선을 인식하기 때문에, 화면, 즉 디스플레이 유닛(110)에 출력되는 상기 그래픽 유저 인터페이스와 상기 사람 사이의 거리가 일정하므로 시선 인식을 위한 카메라 모듈(120)은 단안식 구성으로 이루어질 수 있다.
또한, 생체 신호 획득 모듈(130)은 사용자의 제2 안구에 대응되는 눈꺼풀로부터 움직임 정보를 획득할 수 있다. 여기서, 생체 신호 획득 모듈(130)은 제2 안구 주변의 피부에 부착되는 복수 개의 전극(135)을 포함할 수 있으며, 상기 복수 개의 전극(135)의 부착 위치는 제2 안구에 대응되는 눈꺼풀의 움직임 방향을 인식하기 위한 위치로 결정될 수 있다. 가령, 도 1에서 도시하는 바와 같이 제2 안구의 상하좌우 각각에 전극(135)이 부착됨으로 인하여 제2 안구에 대응되는 눈꺼풀의 움직임 방향을 정확하게 인지할 수 있다. 물론, 전극(135)의 부착 개수가 이에 한정되는 것은 아닐 것이다. 또한, 상기 생체 신호는 안전도(Electrooculogram: EOG)에 의한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 시선 인식을 위한 카메라 모듈(120)을 단안식으로 구성함으로써, 카메라 모듈(120)이 설치되지 않은 좌측 렌즈 쪽의 안구 주위의 피부에는 생체 신호 획득 모듈(130)과 연동되는 전극(135)을 설치할 수 있다. 가령, 생체 신호 획득 모듈(130)은 안전도 센서일 수 있으며, 이 경우 전극(135)을 통하여 사용자의 제2 안구의 눈꺼풀로부터 EOG를 센싱하여 이에 대한 움직임 정보를 획득할 수 있다.
이때, 안전도 센서(130)는 간단한 앰프와 ADC로 EOG를 센싱할 수 있어 전력 소모가 상당히 작으므로, 헤드 마운트 디스플레이 장치(100)에서 전력소모가 큰 양안식 카메라를 이용하여 상기 사용자 양쪽 눈의 움직임 정보를 획득하는 것 보다, 안전도 센서(130)와 카메라 모듈(120)을 함께 이용해 사용자의 양쪽 눈의 움직임 정보를 획득하는 것이 헤드 마운트 디스플레이(100)의 전력 소모를 줄일 수 있을 것이다. 또한, 사용자의 제2 안구로부터 센싱된 상기 EOG 신호는 데이터 크기가 작아 이를 처리하는 알고리즘의 연산량 및 메모리 요구량이 작으므로, 상기 EOG 신호를 처리하는 프로세서 및 하드웨어는 간편하게 구현될 수 있을 것이다.
다음으로, 사용자 인터페이스 제공부는, 헤드 마운트 디스플레이 장치(100)에 대응되는 화면(즉, 디스플레이 유닛(110))의 소정의 위치에 소정의 그래픽 유저 인터페이스(Graphic User Interface: GUI)를 출력할 수 있다. 여기서, 헤드 마운트 디스플레이 장치(100)에 대응되는 화면이라는 의미는 무선 또는 유선 통신 등을 통하여 연결이 되는 디스플레이의 화면을 상정한 것으로서, 안경 등의 헤드 마운트 디스플레이 자체에 설치되어 있는 경우뿐만 아니라 안경 등의 외부에 별도로 디스플레이가 설치되어 있는 경우도 포함하는 개념이라 할 것이다. 한편, 여기서, 사용자가 상기 화면을 통해 출력된 그래픽 유저 인터페이스 중 특정 위치를 응시하면, 카메라 모듈(120)을 통해 사용자의 제1 안구로부터 획득된 시선 정보를 참조로 하여, 사용자가 응시하는 상기 특정 위치로 커서를 이동시키는 것으로 디스플레이할 수 있다. 또한, 만약 커서가 이동된 상기 특정 위치에 상기 그래픽 유저 인터페이스에 의해 제공되는 소정의 그래픽 개체가 존재한다면, 사용자 인터페이스 제공부는, 카메라 모듈(120)을 통해 사용자의 제1 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 그래픽 개체가 선택되도록 지원할 수 있을 것이다. 여기서, 제1 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보란, 제1 안구의 눈꺼풀의 움직임, 떨림, 눈꺼풀의 벌어진 정도 등에 대한 정보를 포함하는 개념이다. 또한, 사용자 인터페이스 제공부는, 생체 신호 획득 모듈(130)을 통해 사용자의 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 그래픽 개체에 대응되는 세부 선택 항목이 제공되도록 지원할 수 있을 것이다. 여기서, 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보란, 제2 안구의 눈꺼풀의 움직임, 떨림, 눈꺼풀의 벌어진 정도 등에 대한 정보를 포함하는 개념이다.
도 2는 본 발명의 일 실시예에 따라 사용자가 양 눈으로 헤드 마운트 디스플레이에 출력된 그래픽 개체를 처리하는 과정을 나타내는 흐름도이다.
도 2를 참조하여 설명하면, 화면 상에 그래픽 유저 인터페이스가 출력되는 경우(S210), 화면 상에서 사용자가 응시하고 있는 지점을 카메라 모듈(120)을 통하여 추적하고 이를 참조로 하여 그래픽 유저 인터페이스 상에서 소정의 커서가 이동되도록 제어할 수 있다(S220).
이 때, 그래픽 유저 인터페이스에는 적어도 하나의 그래픽 개체가 포함되어 디스플레이될 수 있으며, 커서가 이동된 지점이 상기 적어도 하나의 그래픽 개체 중 특정 그래픽 개체의 위치에 해당되는 상태에서, 사용자는 양 눈 중 적어도 하나의 움직임을 통해 명령을 수행할 수 있을 것이다.
구체적으로, 눈의 움직임은 다양하므로, 다양한 눈의 움직임을 이용하여 복수의 움직임 조합을 형성할 수 있으며, 상기 복수의 움직임 조합을 참조로 하여 상기 그래픽 개체를 다양하게 컨트롤할 수 있을 것이다.
가령, 사용자가 오른쪽 눈을 깜박일 경우(S230), 커서가 이동된 지점에 위치하는 특정 그래픽 개체가 클릭되어 대응되는 명령을 실행하도록 할 수 있고(S240), 사용자가 왼쪽 눈을 깜박일 경우(S250), 상기 특정 그래픽 개체가 클릭되어 상기 특정 그래픽 개체에 대응되는 세부 선택 항목을 불러와 디스플레이할 수 있다(S260).
여기서, 상기 대응되어 있는 명령은 상기 그래픽 개체에 대한 선택일 수 있고, 상기 그래픽 개체에 대응되는 세부 선택 항목은 컨텍스트 메뉴일 수 있다.
만약, S220 단계 상태에서 소정 시간 동안 사용자가 눈을 깜박이지 않는 경우, 사용자의 시선을 다시 인식하여 S220 단계를 지속할 수 있다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따라 사용자가 양 눈으로 헤드 마운트 디스플레이에 출력된 그래픽 개체를 선택하는 과정을 예시적으로 도시한 것이다. 참고로, 도 3a 내지 도 3c에서는 도 1과는 달리 좌측 눈에 대응되는 부분에 카메라 모듈(120)이 있고 우측 눈에 대응되는 부분에 안전도 전극(135)이 있음을 밝혀둔다. 즉, 도 1이나 도 3과 같이 어느 한 쪽 눈에 카메라 모듈(120)이 있든 상관이 없으며, 카메라 모듈(120)이 없는 쪽의 눈에는 안전도 전극(135)이 배치됨은 물론이라 할 것이다.
도 3a를 참조하면, 헤드 마운트 디스플레이 장치(100)의 좌측 렌즈 상단에 설치되어 있는 디스플레이 유닛(110)에 출력된 그래픽 유저 인터페이스 중 어느 한 부분을 사용자가 응시하면, 헤드 마운트 디스플레이 장치(100)의 좌측 렌즈 일측에 설치되어 있는 카메라 모듈(120)이 사용자의 시선을 인식할 수 있다. 여기서, 도 3b를 참조하면, 사용자의 시선이 그래픽 유저 인터페이스에 포함되는 특정 그래픽 개체에 위치할 때, 사용자가 왼쪽 눈을 깜박이면 상기 특정 그래픽 개체가 선택되도록 할 수 있는 것을 알 수 있고, 도 3c를 참조하면, 사용자가 오른쪽 눈을 깜박이면 상기 특정 그래픽 개체에 대응되는 컨텍스트 메뉴를 불러와 디스플레이되도록 할 수 있는 것을 알 수 있다.
도 4는 본 발명의 일 실시예에 따라 헤드 마운트 디스플레이에 출력되는 그래픽 유저 인터페이스를 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 헤드 마운트 디스플레이에 출력되는 그래픽 유저 인터페이스를 예시적으로 도시한 것으로서, 상기 그래픽 유저 인터페이스는 상기 헤드 마운트 디스플레이에 의해 제공되는 화면의 소정의 위치에 출력되며, 상기 그래픽 유저 인터페이스의 예로는, 예/아니오 질문, 사지선다, 이미지 슬라이드, 숫자 입력 등이 있을 수 있으며, 상기 그래픽 유저 인터페이스에 출력되는 상기 그래픽 개체는, 상기 카메라 모듈을 통해 상기 사용자의 오른쪽 눈으로부터 획득된 움직임 정보와 상기 생체 신호 획득 모듈을 통해 상기 사용자의 왼쪽 눈으로부터 획득된 움직임 정보에 대응된 명령을 수행하는 개체로, 예를 들면, Yes/No 선택 개체, 항목 개체, 이미지 슬라이드 개체, 숫자 입력 버튼 개체 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
따라서, 본 발명에 의하면 제1 안구 및 제2 안구에 적용되는 측정 모듈을 각각 카메라 모듈 및 생체 신호 획득 모듈로서 이분화하고 이를 통하여 다양한 사용자 입력을 구현할 수 있도록 함으로써 일반적인 HMD에 비하여 사용자 편의적으로 활용될 수 있다는 효과로 인하여 대량 생산 및 판매 가능성을 확보할 수 있으며, 규격화에 따른 대량 생산에 의한 산업 이용 가능성이 충분한 발명에 해당된다.

Claims (16)

  1. 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법으로서,
    (a) 사용자가 출력된 화면 중 특정 위치를 응시하면, 카메라 모듈을 통해 상기 사용자의 어느 하나의 안구인 제1 안구로부터 획득된 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키는 단계, 및
    (b) 상기 특정 위치에 소정의 개체가 존재하는 상태에서, 상기 생체 신호 획득 모듈을 통해 상기 사용자의 어느 하나의 안구인 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 카메라 모듈을 통해 상기 사용자의 상기 제1 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체가 선택되도록 지원하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 제1 안구 및 상기 제2 안구는 상기 사용자의 동일한 하나의 안구인 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 생체 신호 획득 모듈은 상기 제2 안구 주변의 피부에 부착되는 복수 개의 전극을 포함하며, 상기 복수 개의 전극의 부착 위치는 상기 제2 안구에 대응되는 눈꺼풀의 움직임 방향을 인식하기 위한 위치로 결정되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 사용자의 제1 안구로부터 획득한 시선 정보는, 소정의 시선 추적 알고리즘을 수행하는 프로세서와 상기 사용자의 제1 안구를 촬영하는 상기 카메라 모듈에 의해 도출되는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 시선 추적 알고리즘은, 상기 카메라 모듈로 상기 사용자의 제1 안구를 촬영하고, 상기 촬영한 영상에서 상기 제1 안구의 동공의 중심 위치를 찾아 사용자가 응시하고 있는 화면 상의 지점을 계산하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 생체신호는 안전도(Electrooculogram: EOG)에 의한 정보를 포함하는 것을 특징으로 하는 방법.
  8. 시선 인식 및 생체 신호를 이용하여 사용자 인터페이스를 제공하는 헤드 마운트 디스플레이 장치로서,
    사용자의 어느 하나의 안구인 제1 안구로부터 시선 정보를 획득하는 카메라 모듈,
    상기 사용자의 어느 하나의 안구인 제2 안구에 대응되는 눈꺼풀로부터 움직임 정보를 획득하는 생체 신호 획득 모듈,
    (1) 상기 사용자가 출력된 화면 중 특정 위치를 응시하면, 상기 카메라 모듈을 통해 상기 사용자의 제1 안구로부터 획득된 시선 정보를 참조로 하여, 상기 사용자가 응시하는 상기 특정 위치로 커서를 이동시키고, (2) 상기 특정 위치에 소정의 개체가 존재하는 상태에서, 상기 생체 신호 획득 모듈을 통해 상기 사용자의 상기 제2 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 개체에 대응되는 세부 선택 항목이 제공되도록 지원하는 사용자 인터페이스 제공부
    를 포함하는 장치.
  9. 제8항에 있어서,
    상기 사용자 인터페이스 제공부는,
    상기 카메라 모듈을 통해 상기 사용자의 상기 제1 안구에 대응되는 눈꺼풀로부터 획득된 움직임 정보를 참조로 하여, 상기 그래픽 개체가 선택되도록 지원하는 것을 특징으로 하는 장치.
  10. 제8항에 있어서,
    상기 제1 안구 및 상기 제2 안구는 상기 사용자의 동일한 하나의 안구인 것을 특징으로 하는 장치.
  11. 제8항에 있어서,
    상기 생체 신호 획득 모듈은,
    상기 제2 안구 주변의 피부에 부착되는 복수 개의 전극을 포함하며, 상기 복수 개의 전극의 부착 위치는 상기 제2 안구에 대응되는 눈꺼풀의 움직임 방향을 인식하기 위한 위치로 결정되는 것을 특징으로 하는 장치.
  12. 제8항에 있어서,
    상기 카메라 모듈은,
    상기 사용자의 제1 안구를 촬영하고,
    소정의 시선 추적 알고리즘을 수행하는 프로세서의 지원을 받아 상기 사용자의 제1 안구로부터 획득한 시선 정보를 획득하는 것을 특징으로 하는 장치.
  13. 제12항에 있어서,
    상기 카메라 모듈은,
    상기 사용자의 제1 안구를 촬영하고,
    상기 촬영한 영상에서 상기 제1 안구의 동공의 중심 위치를 찾아 상기 사용자가 응시하고 있는 상기 그래픽 유저 인터페이스 상의 지점을 계산하는 상기 시선 추적 알고리즘의 지원을 받아 상기 사용자의 제1 안구로부터 획득한 시선 정보를 획득하는 것을 특징으로 하는 장치.
  14. 제8항에 있어서,
    상기 생체신호는 안전도(Electrooculogram: EOG)에 의한 정보를 포함하는 것을 특징으로 하는 장치.
  15. 제8항에 있어서,
    상기 화면은 상기 안경 외부에 설치되는 것을 특징으로 하는 장치.
  16. 제1항 내지 제7항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
PCT/KR2015/013189 2015-01-16 2015-12-04 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체 WO2016114496A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/542,933 US20180004287A1 (en) 2015-01-16 2015-12-04 Method for providing user interface through head mounted display using eye recognition and bio-signal, apparatus using same, and computer readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150008202A KR101638095B1 (ko) 2015-01-16 2015-01-16 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
KR10-2015-0008202 2015-01-16

Publications (1)

Publication Number Publication Date
WO2016114496A1 true WO2016114496A1 (ko) 2016-07-21

Family

ID=56406012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013189 WO2016114496A1 (ko) 2015-01-16 2015-12-04 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체

Country Status (3)

Country Link
US (1) US20180004287A1 (ko)
KR (1) KR101638095B1 (ko)
WO (1) WO2016114496A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111417888A (zh) * 2017-12-07 2020-07-14 深圳市柔宇科技有限公司 头戴式显示设备及其调节控制方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
CN109819671A (zh) * 2017-09-18 2019-05-28 Looxid实验室公司 头戴式显示设备
CN108681074A (zh) * 2018-07-17 2018-10-19 北京七鑫易维信息技术有限公司 一种头戴式显示设备
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11934572B2 (en) * 2021-11-09 2024-03-19 Qualcomm Incorporated Dynamic content presentation for extended reality systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060026273A (ko) * 2004-09-20 2006-03-23 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
JP2013077013A (ja) * 2012-11-20 2013-04-25 Sony Corp 表示装置、表示方法
KR20130043366A (ko) * 2011-10-20 2013-04-30 경북대학교 산학협력단 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
JP2014187574A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20140119144A (ko) * 2012-01-24 2014-10-08 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US7639146B2 (en) * 2004-09-29 2009-12-29 Baura Gail D Blink monitor for detecting blink occurrence in a living subject
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
JP5888205B2 (ja) * 2012-11-02 2016-03-16 ソニー株式会社 画像表示装置並びに情報入力装置
US9026189B2 (en) * 2012-11-16 2015-05-05 Diopsys, Inc. Electrode sensor assembly for electroretinography and pattern electroretinography
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
KR102011457B1 (ko) * 2013-04-17 2019-08-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060026273A (ko) * 2004-09-20 2006-03-23 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR20130043366A (ko) * 2011-10-20 2013-04-30 경북대학교 산학협력단 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
KR20140119144A (ko) * 2012-01-24 2014-10-08 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
JP2013077013A (ja) * 2012-11-20 2013-04-25 Sony Corp 表示装置、表示方法
JP2014187574A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111417888A (zh) * 2017-12-07 2020-07-14 深圳市柔宇科技有限公司 头戴式显示设备及其调节控制方法

Also Published As

Publication number Publication date
US20180004287A1 (en) 2018-01-04
KR101638095B1 (ko) 2016-07-20

Similar Documents

Publication Publication Date Title
WO2016114496A1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
US20220382371A1 (en) Multimodal eye tracking
JP6664512B2 (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
Majaranta et al. Eye tracking and eye-based human–computer interaction
EP2509070B1 (en) Apparatus and method for determining relevance of input speech
US9886111B2 (en) Wearable electronic apparatus and acquisition control method
US10831268B1 (en) Systems and methods for using eye tracking to improve user interactions with objects in artificial reality
US11119573B2 (en) Pupil modulation as a cognitive control signal
WO2017119788A1 (ko) 머리 장착형 전자장치
JP2013114595A (ja) 情報処理装置、情報処理方法及びプログラム
KR101613091B1 (ko) 시선 추적 장치 및 방법
WO2018117443A1 (ko) 클라우드 연동형 시기능 강화 웨어러블 디바이스 시스템
KR20140037730A (ko) 착용형 정보 제공 시스템
WO2019202355A1 (en) System and method for using gaze control to control electronic switches and machinery
EP3346368B1 (en) Device, method and system for control of a target apparatus
US20230239586A1 (en) Eye tracking using efficient image capture and vergence and inter-pupillary distance history
KR20150108282A (ko) 아이 트래킹을 이용한 사용자 관심 대상 파악 시스템 및 방법
WO2019143186A1 (ko) 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
US20220293241A1 (en) Systems and methods for signaling cognitive-state transitions
JP2020154569A (ja) 表示装置、表示制御方法、及び表示システム
US10928900B2 (en) Communication systems and methods
JP2023017615A (ja) 情報処理システム及びプログラム
Skowronek et al. Eye Tracking Using a Smartphone Camera and Deep Learning
CN111566597A (zh) 信息处理设备、信息处理方法和程序
US20230280827A1 (en) Detecting user-to-object contacts using physiological data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15878140

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15542933

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15878140

Country of ref document: EP

Kind code of ref document: A1