WO2013133664A1 - 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스 - Google Patents

안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스 Download PDF

Info

Publication number
WO2013133664A1
WO2013133664A1 PCT/KR2013/001893 KR2013001893W WO2013133664A1 WO 2013133664 A1 WO2013133664 A1 WO 2013133664A1 KR 2013001893 W KR2013001893 W KR 2013001893W WO 2013133664 A1 WO2013133664 A1 WO 2013133664A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
control command
gaze
screen
cursor
Prior art date
Application number
PCT/KR2013/001893
Other languages
English (en)
French (fr)
Inventor
이준석
유경화
이상원
정진용
조성구
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US14/383,795 priority Critical patent/US9864429B2/en
Publication of WO2013133664A1 publication Critical patent/WO2013133664A1/ko
Priority to US15/864,745 priority patent/US10481685B2/en
Priority to US16/682,531 priority patent/US20200081531A1/en
Priority to US16/871,141 priority patent/US11231777B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Definitions

  • the present invention relates to a method for controlling a device based on eye movement and a device therefor, and more particularly, to a method for controlling a device based on eye movement of a user and blinking of the user's eye and a device therefor.
  • a mouse is a type of computer input device. It is considered as the most popular input device to date with a keyboard because of the relatively simple usage of moving a cursor on a display screen when a mouse is moved and executing a command when a button is clicked.
  • the mouse is divided into a ball mouse, an optical mouse, a gyroscope mouse (air mouse) and the like according to the driving method.
  • a ball mouse is a kind of mechanical mouse with a small ball inside it that rolls the ball to calculate its direction and distance.
  • the ball mouse has a disadvantage that the sensitivity is drastically reduced due to the adhesion of foreign matter to the ball.
  • the optical mouse emits light from the optical sensor on the bottom of the mouse and senses the change with the light reflected off the floor. It is the most popular way at present. Optical mice are divided into optical, laser, and blue tracks depending on the type of sensor.
  • Gyroscope mice are mice that do not require bottom contact.
  • the gyroscope mouse is equipped with a gyroscope sensor and detects three-dimensional coordinates of X, Y, and Z axes according to the tilt of the mouse, and is mostly released in a wireless form. It is also called an 'air mouse' because it is used in the air.
  • An ocular mouse refers to special equipment for the disabled, which is designed to move the cursor according to the movement of the pupil.
  • An embodiment of the present invention provides a method and a device therefor that can control a device using information on eye movements and eye blinks of a user.
  • an embodiment of the present invention provides a method and a device for controlling the device based on the user's gaze and the movement of the gaze with respect to the divided region of the screen.
  • an embodiment of the present invention provides a control method and a device therefor that can correct the position of a cursor on a screen and move the cursor in detail.
  • FIG. 1 is an overall schematic diagram of a system for controlling a device based on an eye movement of a user according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram of a device according to an embodiment of the present invention.
  • FIG. 3 is a detailed configuration diagram of a control command generation unit according to an embodiment of the present invention.
  • FIG. 4 is a detailed flowchart of a method of controlling a device based on an eye movement of a user according to an embodiment of the present invention.
  • FIG. 5 is a detailed flowchart of a method of correcting a position of a cursor corresponding to a line of sight of a user according to an exemplary embodiment of the present invention.
  • FIG. 6 is a detailed flowchart of a method in which a device moves a cursor finely according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining the blink operation of the eye according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example of a divided screen area according to an embodiment of the present invention.
  • the user may gaze at various areas inside and outside the screen, and various types of control commands may be generated based on the position and movement of the user's gaze.
  • FIG. 9 illustrates an example of controlling an operation of a device according to an eyeball operation using a selection window for selecting a control command according to an embodiment of the present disclosure.
  • FIG. 10 illustrates an example in which a device corrects a position of a cursor corresponding to a line of sight of a user according to an exemplary embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an example in which a device moves a cursor finely according to an embodiment of the present invention.
  • FIG. 12 is a view for explaining a TV control method according to an embodiment of the present invention.
  • FIG. 13 is a diagram for describing a method of moving a list of content displayed on a screen of a mobile terminal according to one embodiment of the present invention.
  • FIG. 14 is a diagram for describing a method of controlling a mobile terminal according to one embodiment of the present invention.
  • FIG. 15 illustrates an example of moving a cursor to an object when the cursor is located within a predetermined area from an object displayed on a screen of the device according to an embodiment of the present invention.
  • FIG. 16 illustrates a method of controlling an E-book terminal according to an embodiment of the present invention.
  • 17 is a view for explaining a method of controlling an E-book terminal according to another embodiment of the present invention.
  • FIG. 18 is a diagram illustrating an example in which a device controls a map application according to an embodiment of the present invention.
  • a first aspect of the present invention the step of receiving information about the eyeball operation of the user; Receiving information regarding blinking of the user's eyes; Generating a control command corresponding to the eyeball motion information and the blink information; And controlling the operation of the device based on the generated control command, wherein the generating of the control command includes the position of the gaze of the user and the movement of the gaze based on the eyeball operation information. Verifying a direction, and generating the control command based on the position of the gaze, the direction of movement of the gaze, and the blink information; a method by which a device controls the operation of the device based on an eye movement of a user Can be provided.
  • the method may further include dividing a screen of the device into a plurality of areas;
  • the generating of the control command may further include generating the control command based on a movement direction of the gaze of the user from an area in which the gaze of the user is located among the divided areas, and a direction of movement of the gaze of the user from the area in which the gaze of the user is located. You can create a command.
  • the method may further include splitting the screen of the device based on an area where content is displayed on the device.
  • the generating of the control command may generate a control command based on the movement of the gaze as the gaze of the user is moved out of the screen within the screen.
  • the method also includes displaying a control command selection window including a list of control commands; Selecting a control command list included in the control command selection window based on a user input through the displayed control command selection window; And moving the cursor on a screen of the device to a predetermined object based on eyeball operation information of the user, wherein generating the control command comprises: in response to a blink of the user's eye, For the object, a control command corresponding to the selected control command list may be generated.
  • the method may further include fixing a position of a cursor corresponding to the gaze of the user; And in response to the movement of the gaze of the user to the fixed position, matching the position of the moved gaze with the position of the fixed cursor.
  • the method may further include displaying a preset area around a cursor based on a user input; And moving the position of the cursor based on the position of the user's gaze with respect to the displayed area.
  • the method may further include moving the cursor to a location where the object is located, as the cursor moved based on the eyeball motion information is located within a preset range from an object on the device screen. .
  • the eyeball operation information receiving unit for receiving information about the eyeball operation of the user;
  • a blinking information receiver for receiving information regarding blinking of the user's eyes;
  • a control command generation unit configured to generate a control command corresponding to the eyeball operation information and the blinking information, wherein the control command generator includes a position of the gaze of the user and movement of the gaze based on the eyeball operation information. It is possible to provide a device for controlling the operation based on the eyeball movement of the user to check the direction and generate the control command based on the position of the gaze, the direction of movement of the gaze, and the blinking information.
  • the third aspect of the present invention can provide a computer readable recording medium having recorded thereon a program for executing the method of the first aspect on a computer.
  • FIG. 1 is an overall schematic diagram of a system for controlling a device based on an eye movement of a user according to an embodiment of the present invention.
  • the sensing device 1000 detects eyeball movement of a user and blinking of an eye of a user, and a plurality of devices connected to the sensing device 1000 are based on the detected eyeball motion and blink information. You can control your own behavior.
  • the device may include, for example, a TV 2100, a smartphone 2200, a tablet PC 2300, and a PC 2400.
  • the device may include, for example, a laptop computer, an electronic book terminal, a smart TV, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), or navigation. It doesn't work.
  • the sensing apparatus 1000 may acquire data regarding eye movements of the user and blinking of the eyes.
  • the data about the eyeball movement may include information regarding at least one of the eye gaze position and the eyeball moving speed.
  • the data regarding eye blinking may include information about at least one of the speed of eye blinking and the number of eye blinks.
  • the sensing apparatus 1000 may acquire data regarding eye movements of the user and blinking of the eyes by using an eye-tracker including an infrared LED and a camera.
  • the sensing apparatus 1000 may be included or attached to glasses worn by a user, but is not limited thereto.
  • the pupils will appear brighter than usual because they normally reflect light from the blood-rich retina. This phenomenon is called “Bright pupil effect” and can be very useful for detecting and tracking the pupil.
  • the eye tracker gets a brightly lit image of the eyes, and when the infrared LEDs (off-axls leds) away from the camera are turned on, the eye trackers do not glow the eyes. You can get the image.
  • the eye tracker can detect eye movement by first converting the image into a black-and-white image and finding the difference between the two images so as to detect the brightly shining pupil of the two images.
  • the sensing device 1000 has been described as being a separate device from the plurality of devices, the present invention is not limited thereto, and the sensing device 1000 may be included in some or all of the plurality of devices.
  • FIG. 2 is a detailed block diagram of the device 2000 according to an embodiment of the present invention.
  • the device 2000 may include an eyeball operation information receiver 2010, a blinking information receiver 2020, a control command generator 2030, a display unit 2040, An error corrector 2050, a fine input adjuster 2060, a DB 2070, and a controller 2080 are included.
  • the eyeball operation information receiver 2010 receives information about the eyeball movement of the user from the sensing device 1000.
  • the eye movement information includes information regarding the movement of the pupil of the eyeball of the user.
  • the eye movement information may be used to determine the position of the gaze of the user and the moving speed of the gaze based on the movement of the eye.
  • the position of the user's gaze on the screen of the device 2000 may be determined based on the movement of the eyeball, and the moving direction and the moving speed of the user's gaze on the screen may be determined.
  • the blink information receiver 2020 receives information about blinking of the user's eyes from the sensing device 1000.
  • Information regarding eye blinking may include information about the speed of eye blinking and the number of eye blinks.
  • various kinds of events may be matched according to the blink rate and the number of times.
  • the control command generator 2030 generates a control command of the device 2000 based on the eyeball operation information and the blinking information.
  • the control command generation unit 2030 may generate a control command corresponding to a combination of at least two of the position of the user's gaze on the screen, the moving direction of the user's gaze on the screen, the moving speed, the eye blink rate, and the number of eye blinks. Can be.
  • control command generation unit 2030 may divide the screen of the device 2000 into a plurality of areas, and determine an area viewed by the user among the divided areas. In addition, the control command generation unit 2030 may check the change in the area viewed by the user. In addition, the control command generation unit 2030 may check the blink rate of the eye and the number of blinks of the eye. In addition, the control command generator 2030 may set a control command corresponding to a combination of at least two of an area viewed by the user, a change in the area viewed by the user, a blink rate of the eye, and the number of blinks of the eye.
  • the control command generation unit 2030 may generate a command for moving the cursor based on the user's eyeball and blink information, a command for selecting a predetermined object on the screen, and a command for executing a predetermined operation of the device 2000.
  • the object refers to a user selectable object on the display screen. Objects include, but are not limited to, for example, icons, images, and text.
  • the control command generation unit 2030 will be described in more detail with reference to FIG. 3.
  • the display unit 2040 displays a user interface on the screen in order to receive a user input through the device 2000.
  • the display unit 2040 may move the cursor on the screen according to the eyeball operation, and display a control command selection window for generating a predetermined control command on the screen.
  • the control command selection window may include a list of control commands corresponding to the blink of an eye, and may include, for example, a list of at least one control command among right click, left click, drag, and scroll. Therefore, when the user selects a right click on the control command selection window using the eyes, moves the cursor to a predetermined object on the screen, and blinks the eyes, the device 2000 selects the predetermined object by right-clicking the control command. Can be generated.
  • the display unit 2040 may display a user interface on the screen so that the error correction unit 2050, which will be described later, corrects the position of a cursor corresponding to the line of sight of the user.
  • the display unit 2040 may display a user interface on the screen so that the fine input adjustment unit 2060 to be described later may move the position of the cursor finely.
  • the display unit 2040 may move the cursor to the position of the object to display it. For example, when the cursor is located within a distance of 10 pixels from the address input window of the web site, the display 2040 may move the cursor to an area within the address input window and display the cursor.
  • the error correction unit 2050 corrects the position of the cursor corresponding to the gaze of the user.
  • the error correction unit 2050 may correct the position of the cursor by fixing the position of the cursor on the screen and matching the position of the gaze of the user looking at the fixed cursor with the fixed cursor. For example, when the user closes the eyes for a preset time, the device 2000 may fix the position of the cursor on the screen to correct the position of the cursor, and then the eye movement of the user looking at the fixed cursor. Information may be received.
  • the error correction unit 2050 may correct the position of the cursor corresponding to the gaze of the user by matching the position of the fixed cursor and the position of the gaze of the user looking at the fixed cursor. In this case, a predetermined user interface for correcting the cursor position may be displayed on the screen.
  • the fine input adjusting unit 2060 moves the position of the cursor finely.
  • the fine input controller 2060 may move the cursor finely based on the direction of the position where the user's gaze is located with respect to the predetermined area displayed at the position of the cursor.
  • the display 2040 may display a preset area around the cursor as a rectangle on the screen.
  • the fine input controller 2060 may cause the display unit 2040 to move the cursor at a predetermined speed or less in the right direction of the rectangle. can do.
  • the DB 2070 stores various types of information so that the device 2000 may control the operation of the device 2000 based on the eyeball operation information of the user.
  • the DB 2070 may store various types of eyeball operation information and blink information, and may store setting values of control commands corresponding to a combination of various types of eyeball motion information and blink information.
  • the controller 2080 may include the eyeball operation information receiver 2010, the blinking information receiver 2020, and the control command generator 2030 so that the device 2000 may control the operation of the device 2000 based on the user's eyeball operation information. ), The display unit 2040, the error correction unit 2050, the fine input control unit 2060, and the DB 2070 are controlled.
  • control command generation unit 2030 is a detailed block diagram of the control command generation unit 2030 according to an embodiment of the present invention.
  • control command generation unit 2030 includes a screen divider 2032 and a control command matching unit 2034.
  • the screen divider 2032 divides the screen of the device 2000 into a plurality of areas.
  • the screen divider 2032 may divide the area of the screen of the device 2000 into a plurality.
  • the screen divider 2032 may divide the area of the screen of the device 2000 into nine areas.
  • the screen splitter 2032 may include an area in the screen of the device 2000 as an upper left area, an upper center area, an upper right area, a left center area, a center area, a right center area, a lower left area, a lower center area, And the lower right area.
  • the screen divider 2032 may set a horizontal center area by combining a left center area, a center area, and a right center area among the nine areas.
  • the screen divider 2032 may set a vertical center area by combining a center upper area, a center area, and a lower right area among the nine areas.
  • the screen divider 2032 may divide an area excluding an area where content is displayed on the screen. For example, when predetermined content is displayed in the center of the screen of the device 2000, the screen divider 2032 may include an edge area except for an area where the content is displayed, on the upper left edge area, the center upper edge area, and the upper right corner. It can be divided into an edge area, a left center edge area, a right center edge area, a bottom left edge area, a center bottom edge area and a right bottom edge area. In this case, when the cursor or the user's gaze is positioned at the edge region except for the region where the content is displayed, a control command based on the eyeball movement of the user may be generated.
  • the screen divider 2032 may divide an area outside the screen of the device 2000.
  • the screen divider 2032 may divide an area outside the screen of the device 2000 into an off-screen left area, an off-screen right area, an off-screen top area, and an off-screen bottom area.
  • the control command matching unit 2034 matches a predetermined control command to an eyeball operation and a blinking operation of the user.
  • the control command matching unit 2034 may include at least one of a region where the user's gaze is located among the divided areas of the device screen, a moving direction of the user's gaze with respect to the divided area, a moving speed of the gaze, a number of blinks of the eyes, and a blinking speed of the eyes.
  • the events corresponding to may be distinguished and control commands may be matched with respect to each event.
  • control command matching unit 2034 may generate a control command for increasing the volume of the device 2000 when the user looks at the upper center area of the device screen and blinks the eye once quickly. have.
  • control command matching unit 2034 may list the contents arranged left and right on the screen of the device 2000 when the user moves the gaze from the right center area of the device screen to the right area outside the screen. It is possible to generate a control command to move to the right.
  • FIG. 4 is a detailed flowchart of a method of controlling a device based on an eye movement of a user according to an embodiment of the present invention.
  • the device 2000 sets a control command.
  • the device 2000 may match a predetermined control command to an eyeball operation and a blinking operation of the user.
  • the device 2000 may distinguish an event corresponding to at least one of the area where the user's gaze is located among the divided areas of the device screen, the movement direction of the user's gaze with respect to the divided area, the moving speed of the gaze, and the blink operation of the eyes.
  • the control command may be matched to each event.
  • the device 2000 may match different control commands for each event according to the type of the device 2000, the type of the application, and the type of the user interface displayed on the screen.
  • an area within the screen and an area outside the screen of the device 2000 may be divided into a plurality of areas according to preset criteria.
  • the device 2000 may control to increase the volume of the device 2000 when a multimedia application is running on the device 2000 and the user looks at the central upper area of the device screen and blinks one eye. You can have a command generated. Also, for example, when the device 2000 displays a list screen of content on the device 2000 and the user moves the gaze from the right center area of the device screen to the right area outside the screen, the device 2000 may display the device 2000. A control command for moving the list of contents arranged left and right on the screen of the user may be generated.
  • the device 2000 receives eyeball operation information.
  • the device 2000 may receive information about an eyeball operation of the user from the sensing apparatus 1000.
  • the eye movement information includes information regarding the movement of the pupil of the eyeball of the user.
  • the eye movement information may be used to determine the position of the gaze of the user and the moving speed of the gaze based on the movement of the eye.
  • the position of the user's gaze on the screen of the device 2000 may be determined based on the movement of the eyeball, and the moving direction and the moving speed of the user's gaze on the screen may be determined.
  • the device 2000 receives eye blink information.
  • the device 2000 may receive information about blinking of the user's eyes from the sensing apparatus 1000.
  • Information regarding eye blinking may include information about the speed of eye blinking and the number of eye blinks.
  • the device 2000 checks the control command based on the set value.
  • the device 2000 may move the gaze of the user's gaze to the divided area, the direction of movement of the gaze, and the gaze of the gaze, based on the received eye movement information and eye blink information. You can determine the speed, the number of eye blinks, and the speed of eye blinks.
  • the device 2000 may include at least one of a region where a user's gaze is located, a moving direction of the user's gaze, a moving speed of the gaze, a number of blinks of an eye, and a blinking speed of an eye among divided areas of the device screen. The corresponding control command can be confirmed from the set value.
  • the device 2000 controls the operation of the device 2000 based on the eyeball movement of the user and the blink of the eye.
  • the device 2000 may generate the identified control command and control the operation of the device 2000 by using the generated control command.
  • FIG. 5 is a detailed flowchart of a method of correcting a position of a cursor corresponding to a gaze of a user by the device 2000 according to an exemplary embodiment.
  • the device 2000 receives a user input for requesting correction of an error of a cursor position. For example, when the user stares at a predetermined position of the screen of the device 2000 for 5 seconds or more and does not blink, the device 2000 may allow the device 2000 to correct the position of the cursor displayed on the device 2000.
  • the device 2000 fixes the cursor displayed corresponding to the position of the predetermined line of sight.
  • the device 2000 may fix the cursor displayed on the screen as a user input for requesting correction of an error is received. After the cursor is fixed, the cursor may not be moved on the screen in response to the eye movement of the user.
  • the device 2000 checks the gaze of the user looking at the fixed cursor. After the cursor is fixed, the user can move the position of the gaze to the fixed cursor by moving the eyeball. In addition, the user may blink an eye once after moving the eye with the cursor, and the device 2000 may identify the position of the eye when the eye blinks.
  • the device 2000 matches the identified eye to the fixed cursor. Since the line of sight identified in step S506 is matched to the fixed cursor, the position of the gaze of the user afterwards may coincide with the position of the cursor.
  • FIG. 6 is a detailed flowchart illustrating a method in which the device 2000 moves the cursor finely in accordance with an embodiment of the present invention.
  • the device 2000 receives a user input for requesting fine input adjustment. For example, when the user closes the eyes for 1.5 seconds or more and opens the device, the device 2000 may allow the cursor displayed on the device 2000 to be minutely moved based on the operation of the eyes after opening the eyes.
  • the device 2000 displays a predetermined area around the cursor.
  • the device 2000 may display a predetermined area around the cursor as a rectangular border.
  • the device 2000 moves the cursor at a preset speed according to the position of the user's gaze based on the displayed area. For example, when the user's gaze is located in the right direction from the edge of the rectangle displayed around the cursor, the device 2000 may move the cursor at a speed lower than or equal to a predetermined direction in the right direction. Also, for example, when the user's gaze is located in the left direction from the edge of the rectangle displayed around the cursor, the device 2000 may move the cursor at a speed lower than or equal to a predetermined direction in the left direction.
  • FIG. 7 is a view for explaining the blink operation of the eye according to an embodiment of the present invention.
  • the blinking operation of the eye includes an opening operation of the eyes (open), a fast blinking operation of the eyes (blink), a short closing operation of the eyes (short_click), It may include an operation of closing and opening the eyes (click), an operation of closing and closing the eyes (long_click), an operation of closing the eyes (close), and an operation of staring at a predetermined area of the screen for a predetermined time or more.
  • the blink operation of the eyes may be divided based on the speed of closing and opening the eyes.
  • the blink operation of the eye may be combined with information about the operation of the eye so that the device can be used to distinguish various kinds of user input.
  • FIG. 8 is a diagram illustrating an example of a divided screen area according to an embodiment of the present invention.
  • the user may gaze at various areas inside and outside the screen, and various types of control commands may be generated based on the position and movement of the user's gaze.
  • the off-screen region 420 may include an off-screen left region 1, an off-screen right region 2, an off-screen upper region 3, and an off-screen lower region 4.
  • the area 410 in the screen includes the upper left area 5, the upper middle area 6, the upper right area 7, the left center area 8, the center area 9, and the right center area ( 10), there may be a lower left region 11, a central lower region 12, and a lower right region 13. Meanwhile, the area 410 in the screen may include a horizontal center area 8, 9, and 10, a center vertical area 6, 9, and 12.
  • the device 2000 may determine an area in which the content is displayed and divide an area other than the determined area. For example, the device 2000 may determine the central portion of the screen on which the content is displayed as the central region 18 and divide the edge region other than the central region 18.
  • the edge region is the upper left edge area 14, the upper middle edge area 15, the upper right edge area 16, the left center edge area 17, the right center edge area 19, the lower left edge area. 20, the center lower edge area 21, and the lower right edge area 22.
  • the device 2000 may generate a control command based on the eyeball movement of the user.
  • FIG. 9 illustrates an example of controlling an operation of a device according to an eyeball operation using a selection window for selecting a control command according to an embodiment of the present disclosure.
  • the device 2000 may display a control command selection window 90 for generating a predetermined control command on a screen.
  • the control command selection window may include a list of control commands corresponding to the blink of an eye, and may include, for example, a list of at least one control command among right click, left click, drag, and scroll. If the user moves the eye to select the cursor 94 in the right-click field 92 of the control command selection window 90, moves the cursor 94 to the icon 96 on the screen, and blinks the eye. 2000 may generate a control command for right-clicking the icon 96.
  • FIG. 10 illustrates an example in which the device 2000 according to an exemplary embodiment corrects a position of a cursor corresponding to a line of sight of a user.
  • the cursor 12 when the user gazes at a predetermined position of the screen, the cursor 12 may be displayed at a position different from that of the user's gaze 10. In this case, when the user stares at the screen for 5 seconds or longer and does not blink, the device 2000 may allow the device 12 to correct the position of the cursor 12 displayed on the device 2000.
  • the device 2000 may fix the cursor 12 displayed corresponding to the position of the user's gaze 10.
  • the device 2000 may identify the position of the moved gaze 10.
  • the user may blink an eye once after moving the eye 10 to the position of the cursor 12, and the device 2000 may fix the position of the eye 10 when the eye blinks. 12) can be matched.
  • FIG. 11 is a diagram illustrating an example in which the device 2000 moves the cursor finely according to an embodiment of the present invention.
  • the device 2000 may display a predetermined area around the cursor 16 as a rectangular border based on the operation of the eyes after opening the eyes. Can be. Subsequently, when the user's gaze 14 is located in the right direction of the rectangle, the device 2000 may move the cursor 16 at a predetermined speed or less in the right direction.
  • FIG. 12 is a view for explaining a TV control method according to an embodiment of the present invention.
  • the device 2000 when the device 2000 is a TV, when the user quickly blinks in the left area 710 of the TV screen 700 and crosses the gaze to the left, the volume is decreased. In the right area 720, the eyes quickly blink and then look outward to the right to increase the volume. In the top area 730, the eyes quickly blink and then bounce the eyes out to the top.
  • the channel may be reduced by increasing the eye and rapidly blinking the eye in the lower region 740 and passing the gaze out of the lower region.
  • FIG. 13 is a diagram for describing a method of moving a list of content displayed on a screen of a mobile terminal according to one embodiment of the present invention.
  • the list of contents may be swiped to the left.
  • FIG. 14 is a diagram for describing a method of controlling a mobile terminal according to one embodiment of the present invention.
  • the screen when the device 2000 is a mobile terminal, the screen may be swiped up, down, left, or right according to an eyeball operation and an eye gaze position of the user.
  • the user when the user stares at a predetermined area and blinks more than a predetermined number of times, an object existing in the predetermined area may be selected.
  • the device 2000 may determine that the user selects the object.
  • FIG. 15 illustrates an example of moving a cursor to an object when the cursor is located within a predetermined area from an object displayed on the screen of the device 2000 according to an embodiment of the present invention.
  • the cursor 50 may be moved to the position of the object 52. have. Therefore, even when the user does not move the gaze accurately to the position of the object 52, the cursor 50 may be effectively positioned on the object 52, and the device 2000 performs a predetermined operation by selecting the object. You can do that.
  • FIG. 16 illustrates a method of controlling an E-book terminal according to an embodiment of the present invention.
  • the device 2000 when the device 2000 is an E-book terminal and the user stares at the left edge of the screen and closes his eyes, the device 2000 may display the previous page of the currently displayed page.
  • the next page when the user stares at the right edge of the screen and closes his eyes, the next page may be displayed.
  • the device 2000 may display the next page when the user closes the eyes in a certain area for less than a predetermined time (short_click) and displays the next page (930).
  • short_click a predetermined time
  • the screen is displayed.
  • the content displayed on the screen may be enlarged and displayed at a predetermined ratio (940).
  • 17 is a view for explaining a method of controlling an E-book terminal according to another embodiment of the present invention.
  • the device 2000 may display a content list for selecting other contents (950).
  • FIG. 18 is a diagram illustrating an example in which the device 2000 controls a map application according to an embodiment of the present invention.
  • the device 2000 may display a map screen photographing the changed eye gaze position (FIG. 1010). For example, when a user moves his / her eyes to a predetermined building located along a road on a map, a front photograph of a building located in the moved gaze may be displayed on the screen.
  • the device 2000 may display a map screen which is moved as the user's gaze changes (1020). For example, when the user gazes at a predetermined location on the road displayed on the map and blinks, the device 2000 may display a road picture photographed at the location of the user's gaze on the screen.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Abstract

안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스가 제공된다. 디바이스가 사용자의 안구 동작에 기초하여 상기 디바이스의 동작을 제어하는 방법은, 사용자의 안구 동작에 관한 정보를 수신하는 단계; 상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 단계; 상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 단계; 및 상기 생성된 제어 명령에 기초하여, 상기 디바이스의 동작을 제어하는 단계;를 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성한다.

Description

안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
본 발명은 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스에 관한 것으로서, 보다 상세하게는, 사용자의 안구 동작 및 사용자의 눈의 깜박임에 기초하여 디바이스를 제어하는 방법 및 이를 위한 디바이스에 관한 것이다.
마우스는 컴퓨터 입력 장치의 일종으로, 마우스를 움직이면 디스플레이 화면 속의 커서가 움직이고, 버튼을 클릭하면 명령이 실행되는 비교적 간단한 사용법 때문에 키보드와 더불어 현재까지 가장 대중적으로 많이 사용되는 입력 장치로 꼽힌다.
마우스는 구동 방식에 따라 볼 마우스, 광마우스, 자이로스코프 마우스(에어 마우스) 등으로 나뉜다. 볼 마우스는 기계식 마우스의 일종으로 내부에 작은 공을 탑재해 이 공을 굴려 방향과 이동 거리를 계산한다. 하지만, 볼 마우스는 볼에 이물질이 달라붙어 감도가 급격하게 떨어진다는 단점이 있다.
광마우스는 마우스 바닥의 광학 센서에서 빛을 발사해 바닥에 반사된 빛으로 변화를 감지한다. 현재 가장 대중적으로 많이 쓰이는 방식이다. 광마우스는 센서의 방식에 따라 다시 옵티컬(optical), 레이저(laser), 블루트랙(blue track) 등으로 나뉜다.
자이로스코프 마우스는 바닥 접촉이 필요 없는 마우스다. 자이로스코프 마우스는, 자이로스코프 센서를 탑재해, 마우스의 기울기에 따라 X, Y, Z축 3차원 좌표를 감지하며, 대부분 무선 형태로 출시된다. 공중에서 사용한다고 하여 ‘에어 마우스’ 라고도 부른다.
하지만, 상기 언급된 마우스의 경우, 거동이 불편한 장애인이 입력 장치로 사용하기는 어렵다. 따라서, 안구 마우스가 연구되고 있다. 안구 마우스는 눈동자의 움직임을 따라 커서가 움직이도록 설계되는 장애인용 특수 장비를 의미한다.
본 발명의 일 실시예는 사용자의 안구 동작 및 눈의 깜박임에 관한 정보를 이용하여 디바이스를 제어할 수 있는 방법 및 이를 위한 디바이스를 제공한다.
또한, 본 발명의 일 실시예는 화면의 분할된 영역에 대한 사용자 시선 및 시선의 이동에 기초하여 디바이스를 제어할 수 있는 방법 및 이를 위한 디바이스를 제공한다.
또한, 본 발명의 일 실시예는 화면 상의 커서의 위치를 보정하고, 커서를 세밀하게 이동시킬 수 있는 제어 방법 및 이를 위한 디바이스를 제공한다.
도 1은 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 시스템의 전체 개요도이다.
도 2는 본 발명의 일 실시예에 따른 디바이스의 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따른 제어 명령 생성부의 세부 구성도이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 방법의 세부 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 디바이스가 사용자의 시선에 대응되는 커서의 위치를 보정하는 방법의 세부 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 디바이스가 커서의 위치를 미세하게 이동시키는 방법의 세부 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 눈의 깜박임 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 분할된 화면 영역의 일례를 도시한 도면이다. 사용자는 화면의 안과 밖의 다양한 영역을 응시할 수 있으며, 사용자의 시선의 위치 및 이동에 기초하여 여러 종류의 제어 명령이 생성될 수 있다.
도 9는 본 발명의 일 실시예에 따른 제어 명령을 선택하기 위한 선택창을 이용하여, 안구 동작에 따른 디바이스의 동작을 제어하는 일례를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 디바이스가 사용자의 시선에 대응되는 커서의 위치를 보정하는 일례를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 디바이스가 커서를 미세하게 이동시키는 일례를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 TV 제어 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 이동 단말의 화면에 표시된 콘텐트의 목록을 이동시키는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 이동 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 디바이스의 화면에 표시된 객체로부터 소정의 영역 내에 커서가 위치하는 경우에, 커서를 객체로 이동시키는 일례를 도시한 도면이다.
도 16은 본 발명의 일 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 다른 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 디바이스가 지도 애플리케이션을 제어하는 일례를 설명하기 위한 도면이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은, 사용자의 안구 동작에 관한 정보를 수신하는 단계; 상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 단계; 상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 단계; 및 상기 생성된 제어 명령에 기초하여, 상기 디바이스의 동작을 제어하는 단계;를 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성하는 것인, 방법디바이스가 사용자의 안구 동작에 기초하여 상기 디바이스의 동작을 제어하는 방법을 제공할 수 있다.
또한, 상기 방법은, 상기 디바이스의 화면을 복수의 영역으로 분할하는 단계;
를 더 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 분할된 영역 중 상기 사용자의 시선이 위치한 영역, 및 상기 사용자의 시선이 위치한 영역으로부터의 상기 사용자의 시선의 이동 방향에 기초하여, 상기 제어 명령을 생성할 수 있다.
또한, 상기 방법은, 상기 디바이스의 화면을 분할하는 단계는, 상기 디바이스에서 콘텐트가 디스플레이되는 영역에 기초하여 상기 디바이스의 화면을 분할 할 수 있다.
또한, 상기 제어 명령을 생성하는 단계는, 상기 사용자의 시선이 상기 화면 내에서 상기 화면 밖으로 이동됨에 따라 상기 시선의 이동에 기초하여 제어 명령을 생성 할 수 있다.
또한, 상기 방법은, 제어 명령의 목록을 포함하는 제어 명령 선택창을 표시하는 단계; 상기 표시된 제어 명령 선택창을 통한 사용자 입력에 기초하여, 상기 제어 명령 선택창에 포함된 제어 명령 목록을 선택하는 단계; 및 상기 사용자의 안구 동작 정보에 기초하여, 상기 디바이스의 화면 상의 커서를 소정의 객체로 이동하는 단계;를 더 포함하며, 상기 제어 명령을 생성하는 단계는, 상기 사용자의 눈의 깜박임에 응답하여, 상기 객체에 대하여, 상기 선택된 제어 명령 목록에 대응되는 제어 명령을 생성 할 수 있다.
또한, 상기 방법은, 상기 사용자의 시선에 대응되는 커서의 위치를 고정하는 단계; 상기 고정된 위치로의 상기 사용자의 시선의 이동에 응답하여, 상기 이동된 시선의 위치와 상기 고정된 커서의 위치를 매칭하는 단계;를 더 포함 할 수 있다.
또한, 상기 방법은, 사용자 입력에 기초하여, 커서 주변의 기 설정된 영역을 표시하는 단계; 및 상기 표시된 영역에 대한 상기 사용자 시선의 위치에 기초하여, 상기 커서의 위치를 이동하는 단계;를 더 포함할 수 있다.
또한, 상기 방법은, 상기 안구 동작 정보에 기초하여 이동되는 커서가 상기 디바이스 화면 상의 객체로부터 기 설정된 범위 내에 위치함에 따라, 상기 커서를 상기 객체가 위치한 곳으로 이동시키는 단계;를 더 포함 할 수 있다.
또한, 본 발명의 제 2 측면은, 사용자의 안구 동작에 관한 정보를 수신하는 안구 동작 정보 수신부; 상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 깜박임 정보 수신부; 및 상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 제어 명령 생성부;를 포함하며, 상기 제어 명령 생성부는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성하는 것인, 사용자의 안구 동작에 기초하여 동작을 제어하는 디바이스를 제공할 수 있다.
또한, 본 발명의 제 3 측면은, 상기 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 시스템의 전체 개요도이다.
도 1에 도시된 바와 같이, 감지 장치(1000)는 사용자의 안구의 동작 및 사용자의 눈의 깜박임을 감지하고, 감지 장치(1000)와 연결된 복수의 디바이스들은 감지된 안구 동작 및 깜박임 정보에 기초하여 자신의 동작을 각각 제어할 수 있다. 디바이스는, 예를 들어, TV(2100), 스마트폰(2200), 태블릿 PC(2300) 및 PC(2400)를 포함할 수 있다. 또한, 디바이스는, 예를 들어, 노트북 컴퓨터(laptop computer), 전자북 단말기, 스마트 TV, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션을 포함할 수 있으나, 이에 제한되지 않는다.
감지 장치(1000)는 사용자의 안구 동작 및 눈의 깜박임에 관한 데이터를 획득할 수 있다. 안구 동작에 관한 데이터는, 안구의 응시 위치 및 안구의 이동 속도 중 적어도 하나에 관한 정보를 포함할 수 있다. 또한, 눈의 깜박임에 관한 데이터는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한, 감지 장치(1000)는 적외선 LED 및 카메라를 포함하는 아이 트래커(eye-tracker)를 이용하여 사용자의 안구 동작 및 눈의 깜박임에 관한 데이터를 획득할 수 있다. 또한, 감지 장치(1000)는 사용자가 착용하는 안경에 포함되거나 부착될 수 있으나, 이에 제한되지 않는다.
적외선 LED를 카메라 축에 가까운 곳에 둘 경우 동공은 보통 혈액이 풍부한 망막에서 빛을 반사시키기 때문에 평소보다 더욱 밝게 보인다. 이런 현상은 "Bright pupil effect"라고 불리는데, 눈동자를 검출하고 추적하는데 아주 유용하게 이용될 수 있다.
카메라에 근접하게 설치된 적외선 LED(on axls leds)가 켜지면, 아이 트래커는 눈동자가 밝게 빛나는 영상을 얻게 되고, 카메라에서 멀리 떨어진 적외선 LED(off-axls leds)가 켜지면, 아이 트래커는 눈동자가 빛나지 않는 영상을 얻을 수 있다. 아이 트래커는 이렇게 얻어진 두 영상에서 밝게 빛나는 눈의 동공 부분을 검출해 낼 수 있도록 먼저 영상을 흑백 영상으로 변환하고, 두 영상의 차이를 구함으로써, 안구 동작을 검출할 수 있는 것이다.
또한, 도 1에서는 감지 장치(1000)가 복수의 디바이스들과 별개의 장치인 것으로 설명하였지만, 이에 제한되지 않으며, 감지 장치(1000)는 복수의 디바이스들의 일부 또는 전부에 각각 포함될 수 있다.
도 2는 본 발명의 일 실시예에 따른 디바이스(2000)의 세부 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(2000)는 안구 동작 정보 수신부(2010), 깜박임 정보 수신부(2020), 제어 명령 생성부(2030), 디스플레이부(2040), 오차 보정부(2050), 미세 입력 조절부(2060), DB(2070) 및 제어부(2080)를 포함한다.
안구 동작 정보 수신부(2010)는 감지 장치(1000)로부터 사용자의 안구 동작에 관한 정보를 수신한다. 안구 동작 정보는 사용자의 안구의 눈동자의 움직임에 관한 정보를 포함한다. 또한, 안구 동작 정보는 안구의 움직임에 기초한 사용자의 시선의 위치 및 시선의 이동 속도를 판단하는데 이용될 수 있다. 구체적으로, 안구의 움직임에 기초하여 디바이스(2000)의 화면 상의 사용자의 시선의 위치가 판단될 수 있으며, 화면 상의 사용자의 시선의 이동 방향 및 이동 속도가 판단될 수 있다.
깜박임 정보 수신부(2020)는 감지 장치(1000)로부터 사용자의 눈의 깜박임에 관한 정보를 수신한다. 눈의 깜박임에 관한 정보는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수에 관한 정보를 포함할 수 있다. 또한, 깜박임 속도 및 횟수에 따라 다양한 종류의 이벤트가 매칭될 수 있다.
제어 명령 생성부(2030)는 안구 동작 정보 및 깜박임 정보에 기초하여 디바이스(2000)의 제어 명령을 생성한다. 제어 명령 생성부(2030)는 화면 상의 사용자의 시선의 위치, 화면 상의 사용자의 시선의 이동 방향, 이동 속도, 눈의 깜박임 속도 및 눈의 깜박임 횟수 중 적어도 둘의 조합에 대응되는 제어 명령을 생성할 수 있다.
구체적으로, 제어 명령 생성부(2030)는 디바이스(2000)의 화면을 복수 개의 영역으로 분할하고, 분할된 영역 중 사용자가 바라보는 영역을 판단할 수 있다. 또한, 제어 명령 생성부(2030)는 사용자가 바라보는 영역의 변화를 확인할 수 있다. 또한, 제어 명령 생성부(2030)는 눈의 깜박임 속도 및 눈의 깜박임 횟수를 확인할 수 있다. 또한, 제어 명령 생성부(2030)는 사용자가 바라보는 영역, 사용자가 바라보는 영역의 변화, 눈의 깜박임 속도 및 눈의 깜박임 횟수 중 적어도 둘의 조합에 대응되는 제어 명령을 설정할 수 있다.
제어 명령 생성부(2030)는 사용자의 안구 동작 및 깜박임 정보에 기초하여 커서를 이동시키는 명령, 화면 상의 소정의 객체를 선택하는 명령, 디바이스(2000)의 소정의 동작을 실행시키는 명령을 생성할 수 있다. 객체는 디스플레이 화면 상에서 사용자가 선택할 수 있는 대상을 의미한다. 객체는, 예를 들어, 아이콘, 이미지, 및 텍스트를 포함하나 이에 제한되지 않는다.
이러한 제어 명령 생성부(2030)에 대하여는 도 3에서 보다 상세히 설명하기로 한다.
디스플레이부(2040)는 디바이스(2000)를 통한 사용자 입력을 수신하기 위하여 사용자 인터페이스를 화면에 표시한다. 디스플레이부(2040)는 안구 동작에 따라 화면 상의 커서를 이동시킬 수 있으며, 소정의 제어 명령을 생성하기 위한 제어 명령 선택창을 화면에 표시할 수 있다. 제어 명령 선택창은 눈의 깜박임에 대응한 제어 명령의 목록을 포함할 수 있으며, 예를 들어, 우클릭, 좌클릭, 드래그 및 스크롤 중 적어도 하나의 제어 명령의 목록을 포함할 수 있다. 따라서, 사용자가 눈을 이용하여 제어 명령 선택창에서 우클릭을 선택하고, 커서를 화면 상의 소정의 객체로 이동시킨 후 눈을 깜박임으로써, 디바이스(2000)가 소정의 객체를 우클릭을 통해 선택하는 제어 명령을 생성하도록 할 수 있다.
또한, 디스플레이부(2040)는 후술할 오차 보정부(2050)가 사용자의 시선에 대응되는 커서의 위치를 보정할 수 있도록, 사용자 인터페이스를 화면에 표시할 수 있다. 또한, 디스플레이부(2040)는 후술할 미세 입력 조절부(2060)가 커서의 위치를 미세하게 이동시킬 수 있도록 사용자 인터페이스를 화면에 표시할 수 있다.
또한, 화면 상에 소정의 객체가 표시되어 있고 커서가 객체로부터 기 설정된 범위 내에 위치한 경우에, 디스플레이부(2040)는 커서를 객체의 위치로 이동하여 표시할 수 있다. 예를 들어, 웹 사이트의 주소 입력창으로부터 10 픽셀 이내의 거리에 커서가 위치하는 경우에, 디스플레이부(2040)는 커서를 주소 입력창 내의 영역으로 이동시켜 표시할 수 있다.
오차 보정부(2050)는 사용자의 시선에 대응되는 커서의 위치를 보정한다. 오차 보정부(2050)는 화면 상의 커서의 위치를 고정시키고, 고정된 커서를 바라보는 사용자의 시선의 위치를 고정된 커서와 매칭시킴으로써, 커서의 위치를 보정할 수 있다. 예를 들어, 사용자가 눈을 기 설정된 시간동안 감는 경우에 디바이스(2000)는 커서의 위치를 보정하기 위하여 화면 상의 커서의 위치를 고정할 수 있으며, 이후 고정된 커서를 바라보는 사용자의 안구 동작에 관한 정보를 수신할 수 있다. 또한, 오차 보정부(2050)는 고정된 커서의 위치 및 고정된 커서를 바라보는 사용자의 시선 위치를 매칭함으로써, 사용자의 시선에 대응되는 커서의 위치를 보정할 수 있다. 이 경우, 커서 위치를 보정하기 위한 소정의 사용자 인터페이스가 화면에 표시될 수 있다.
미세 입력 조절부(2060)는 커서의 위치를 미세하게 이동시킨다. 미세 입력 조절부(2060)는 커서의 위치에 표시된 소정의 영역에 대한 사용자 시선이 위치한 곳의 방향에 기초하여 커서를 미세하게 이동시킬 수 있다. 예를 들어, 디스플레이부(2040)는 커서 주변의 기 설정된 영역을 화면에 사각형으로 표시할 수 있다. 또한, 화면에 표시된 사각형의 우변의 오른쪽 방향에 사용자 시선이 위치하는 경우에, 미세 입력 조절부(2060)는 디스플레이부(2040)가 커서를 사각형의 오른쪽 방향으로 기설정된 이하의 속도로 이동시키도록 할 수 있다.
DB(2070)는 디바이스(2000)가 사용자의 안구 동작 정보에 기초하여 디바이스(2000)의 동작을 제어할 수 있도록 각종의 정보를 저장한다. DB(2070)는 다양한 종류의 안구 동작 정보 및 깜박임 정보를 저장할 수 있으며, 다양한 종류의 안구 동작 정보 및 깜박임 정보의 조합에 대응되는 제어 명령의 설정 값을 저장할 수 있다.
제어부(2080)는 디바이스(2000)가 사용자의 안구 동작 정보에 기초하여 디바이스(2000)의 동작을 제어할 수 있도록 안구 동작 정보 수신부(2010), 깜박임 정보 수신부(2020), 제어 명령 생성부(2030), 디스플레이부(2040), 오차 보정부(2050), 미세 입력 조절부(2060) 및 DB(2070)를 제어한다.
도 3은 본 발명의 일 실시예에 따른 제어 명령 생성부(2030)의 세부 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제어 명령 생성부(2030)는 화면 분할부(2032) 및 제어 명령 매칭부(2034)를 포함한다.
화면 분할부(2032)는 디바이스(2000)의 화면을 복수 개의 영역으로 분할한다. 화면 분할부(2032)는 디바이스(2000)의 화면 안의 영역을 복수 개로 분할할 수 있다. 예를 들어, 화면 분할부(2032)는 디바이스(2000)의 화면 안의 영역을 9개의 영역으로 분할할 수 있다. 구체적으로, 화면 분할부(2032)는 디바이스(2000)의 화면 안의 영역을 좌측 상단 영역, 중앙 상단 영역, 우측 상단 영역, 좌측 중앙 영역, 중앙 영역, 우측 중앙 영역, 좌측 하단 영역, 중앙 하단 영역, 및 우측 하단 영역으로 분할할 수 있다. 또한, 예를 들어, 화면 분할부(2032)는 9개의 영역 중 좌측 중앙 영역, 중앙 영역, 우측 중앙 영역을 결합하여 수평 중앙 영역을 설정할 수 있다. 또한, 예를 들어, 화면 분할부(2032)는 9개의 영역 중 중앙 상단 영역, 중앙 영역, 우측 하단 영역을 결합하여 수직 중앙 영역을 설정할 수 있다.
또한, 화면 분할부(2032)는 화면에 콘텐트가 디스플레이되는 영역을 제외한 영역을 분할할 수 있다. 예를 들어, 디바이스(2000)의 화면 중앙에 소정의 콘텐트가 디스플레이되는 경우에, 화면 분할부(2032)는 콘텐트가 디스플레이되는 영역을 제외한 가장자리 영역을 좌측 상단 가장자리 영역, 중앙 상단 가장자리 영역, 우측 상단 가장자리 영역, 좌측 중앙 가장자리 영역, 우측 중앙 가장자리 영역, 좌측 하단 가장자리 영역, 중앙 하단 가장자리 영역, 우측 하단 가장자리 영역으로 분할할 수 있다. 이 경우, 콘텐트가 디스플레이되는 영역을 제외한 가장자리 영역에 커서 또는 사용자 시선이 위치하는 경우에 사용자의 안구 동작에 기초한 제어 명령이 생성될 수 있다.
또한, 화면 분할부(2032)는 디바이스(2000)의 화면 밖의 영역을 분할할 수 있다. 예를 들어, 화면 분할부(2032)는 디바이스(2000)의 화면 밖의 영역을 화면 밖 좌측 영역, 화면 밖 우측 영역, 화면 밖 상단 영역, 화면 밖 하단 영역으로 분할할 수 있다.
제어 명령 매칭부(2034)는 사용자의 안구 동작 및 눈의 깜박임 동작에 소정의 제어 명령을 매칭한다. 제어 명령 매칭부(2034)는 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 눈의 깜박임 횟수 및 눈의 깜박임 속도 중 적어도 하나에 대응되는 이벤트를 구별할 수 있으며, 각각의 이벤트에 대하여 제어 명령을 매칭할 수 있다.
예를 들어, 제어 명령 매칭부(2034)는, 사용자가 디바이스 화면의 중앙 상단 영역을 바라보고 눈을 1회 빠르게 깜박인 경우에, 디바이스(2000)의 볼륨을 증가시키는 제어 명령이 생성되도록 할 수 있다.
또한, 예를 들어, 제어 명령 매칭부(2034)는, 사용자가 디바이스 화면의 우측 중앙 영역으로부터 화면 밖 우측 영역으로 시선을 이동시킨 경우에, 디바이스(2000)의 화면에 좌우로 정렬된 콘텐트의 목록을 우측으로 이동시키는 제어 명령이 생성되도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자의 안구 동작에 기초하여 디바이스를 제어하는 방법의 세부 흐름도이다.
단계 S400에서 디바이스(2000)는 제어 명령을 설정한다. 단계 S400에서 디바이스(2000)는 사용자의 안구 동작 및 눈의 깜박임 동작에 소정의 제어 명령을 매칭할 수 있다. 디바이스(2000)는 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 및 눈의 깜박임 동작 중 적어도 하나에 대응되는 이벤트를 구별할 수 있으며, 각각의 이벤트에 대하여 제어 명령을 매칭할 수 있다. 또한, 단계 S400에서 디바이스(2000)는 디바이스(2000)의 종류, 애플리케이션의 종류 및 화면에 표시된 사용자 인터페이스의 종류에 따라 각각의 이벤트에 대하여 상이한 제어 명령을 매칭할 수 있다. 또한, 디바이스(2000)의 화면 안의 영역 및 화면 밖의 영역은 기 설정된 기준에 따라 복수 개로 분할될 수 있다.
예를 들어, 디바이스(2000)는, 디바이스(2000)에서 멀티미디어 애플리케이션이 실행 중이고 사용자가 디바이스 화면의 중앙 상단 영역을 바라보고 눈을 1회 깜박인 경우에, 디바이스(2000)의 볼륨을 증가시키는 제어 명령이 생성되도록 할 수 있다. 또한, 예를 들어, 디바이스(2000)는, 디바이스(2000)에서 콘텐트의 목록 화면이 표시되어 있고 사용자가 디바이스 화면의 우측 중앙 영역으로부터 화면 밖 우측 영역으로 시선을 이동시킨 경우에, 디바이스(2000)의 화면에 좌우로 정렬된 콘텐트의 목록을 우측으로 이동시키는 제어 명령이 생성되도록 할 수 있다.
단계 S402에서 디바이스(2000)는 안구 동작 정보를 수신한다. 단계 S402에서 디바이스(2000)는 감지 장치(1000)로부터 사용자의 안구 동작에 관한 정보를 수신할 수 있다. 안구 동작 정보는 사용자의 안구의 눈동자의 움직임에 관한 정보를 포함한다. 또한, 안구 동작 정보는 안구의 움직임에 기초한 사용자의 시선의 위치 및 시선의 이동 속도를 판단하는데 이용될 수 있다. 구체적으로, 안구의 움직임에 기초하여 디바이스(2000)의 화면 상의 사용자의 시선의 위치가 판단될 수 있으며, 화면 상의 사용자의 시선의 이동 방향 및 이동 속도가 판단될 수 있다.
단계 S404에서 디바이스(2000)는 눈의 깜박임 정보를 수신한다. 단계 S404에서 디바이스(2000)는 감지 장치(1000)로부터 사용자의 눈의 깜박임에 관한 정보를 수신할 수 있다. 눈의 깜박임에 관한 정보는 눈의 깜박임의 속도 및 눈의 깜박임의 횟수에 관한 정보를 포함할 수 있다.
단계 S406에서 디바이스(2000)는 설정 값에 기초하여 제어 명령을 확인한다. 단계 S406에서 디바이스(2000)는 수신된 안구 동작 정보 및 눈의 깜박임 정보에 기초하여, 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 눈의 깜박임 횟수 및 눈의 깜박임 속도를 판단할 수 있다. 또한, 디바이스(2000)는 디바이스 화면의 분할된 영역 중 사용자의 시선이 위치한 영역, 분할된 영역에 대한 사용자 시선의 이동 방향, 시선의 이동 속도, 눈의 깜박임 횟수 및 눈의 깜박임 속도 중 적어도 하나에 대응되는 제어 명령을 설정 값으로부터 확인할 수 있다.
단계 S408에서 디바이스(2000)는 사용자의 안구 동작 및 눈의 깜박임에 기초하여 디바이스(2000)의 동작을 제어한다. 단계 S408에서 디바이스(2000)는 확인된 제어 명령을 생성하고, 생성된 제어 명령을 이용하여 디바이스(2000)의 동작을 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디바이스(2000)가 사용자의 시선에 대응되는 커서의 위치를 보정하는 방법의 세부 흐름도이다.
단계 S500에서 디바이스(2000)는 커서 위치의 오차를 보정을 요청하는 사용자 입력을 수신한다. 예를 들어, 사용자가 디바이스(2000)의 화면의 소정 위치를 5초 이상 응시하고 눈을 깜박이지 않는 경우에, 디바이스(2000)는 디바이스(2000)에 표시된 커서의 위치를 보정하도록 할 수 있다.
단계 S502에서 디바이스(2000)는 소정의 시선의 위치에 대응하여 표시되는 커서를 고정한다. 단계 S502에서 디바이스(2000)는 오차를 보정을 요청하는 사용자 입력을 수신함에 따라, 화면에 표시된 커서를 고정할 수 있다. 커서가 고정된 이후에는 사용자의 안구 동작에 응답하여 커서가 화면 상에서 이동되지 않을 수 있다.
단계 S504에서 디바이스(2000)는 고정된 커서를 바라보는 사용자의 시선을 확인한다. 커서가 고정된 이후에 사용자는 안구를 움직임으로써 시선의 위치를 고정된 커서로 이동시킬 수 있다. 또한, 사용자는 커서로 시선을 이동시킨 이후에 눈을 1회 깜박일 수 있으며, 디바이스(2000)는 눈을 깜박인 때의 시선의 위치를 확인할 수 있다.
단계 S506에서 디바이스(2000)는 확인된 시선을 고정된 커서에 매칭시킨다. 단계 S506에서 확인된 시선이 고정된 커서에 매칭됨으로써, 이후의 사용자의 시선의 위치와 커서의 위치가 일치될 수 있다.
도 6은 본 발명의 일 실시예에 따른 디바이스(2000)가 커서의 위치를 미세하게 이동시키는 방법의 세부 흐름도이다.
단계 S600에서 디바이스(2000)는 미세 입력 조절을 요청하는 사용자 입력을 수신한다. 예를 들어, 사용자가 눈을 1.5초 이상 감았다가 뜬 경우에, 디바이스(2000)는 눈을 뜬 이후의 눈의 동작에 기초하여 디바이스(2000)에 표시된 커서를 미세하게 이동시키도록 할 수 있다.
단계 S602에서 디바이스(2000)는 커서 주변의 소정의 영역을 표시한다. 단계 S602에서 디바이스(2000)는 미세 입력 조절을 요청하는 사용자 입력이 수신됨에 따라 커서 주변의 소정의 영역을 사각형의 테두리로 표시할 수 있다.
단계 S604에서 디바이스(2000)는 표시된 영역을 기준으로 사용자의 시선의 위치에 따라 기 설정된 속도로 커서를 이동한다. 예를 들어, 커서 주변에 표시된 사각형의 테두리로부터 우측 방향에 사용자의 시선이 위치한 경우에, 디바이스(2000)는 커서를 우측 방향으로 기 설정된 이하의 속도로 이동시킬 수 있다. 또한, 예를 들어, 커서 주변에 표시된 사각형의 테두리로부터 좌측 방향에 사용자의 시선이 위치한 경우에, 디바이스(2000)는 커서를 좌측 방향으로 기 설정된 이하의 속도로 이동시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 눈의 깜박임 동작을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 눈의 깜박임 동작은 눈을 뜨고 있는 동작(open), 눈을 빠르게 깜빡이는 동작(blink), 눈을 짧게 감았다가 뜨는 동작(short_click), 눈을 감았다가 뜨는 동작(click), 눈을 길게 감았다가 뜨는 동작(long_click), 눈을 감고 있는 동작(close), 화면의 소정 영역을 소정 시간 이상 응시하는 동작(dwell)을 포함할 수 있다. 또한, 눈의 깜박임 동작은 눈을 감았다가 뜨는 속도에 기초하여 각각 구분될 수 있다. 또한, 눈의 깜박임 동작은 안구의 동작에 관한 정보와 조합됨으로써 디바이스가 다양한 종류의 사용자 입력을 구별하는데 이용될 수 있다.
도 8은 본 발명의 일 실시예에 따라 분할된 화면 영역의 일례를 도시한 도면이다. 사용자는 화면의 안과 밖의 다양한 영역을 응시할 수 있으며, 사용자의 시선의 위치 및 이동에 기초하여 여러 종류의 제어 명령이 생성될 수 있다.
도 8a는 화면 밖의 영역(420)을 나타내는 도면이다. 화면 밖의 영역(420)은 화면 밖 좌측 영역(1), 화면 밖 우측 영역(2), 화면 밖 상단 영역(3), 화면 밖 하단 영역(4)이 있을 수 있다.
도 8b는 균등하게 분할된 화면 안의 영역(410)을 나타내는 도면이다. 도 8b에서는 화면이 9개로 분할 표시 되어있지만, 이에 한정되는 것은 아니다. 도 8b에 의하면, 화면 안의 영역(410)은 좌측 상단 영역(5), 중앙 상단 영역(6), 우측 상단 영역(7), 좌측 중앙 영역(8), 중앙 영역(9), 우측 중앙 영역(10), 좌측 하단 영역(11), 중앙 하단 영역(12), 우측 하단 영역(13)이 있을 수 있다. 한편, 화면 안의 영역(410)은 수평 중앙 영역(8, 9, 10), 중앙 수직 영역(6, 9, 12) 등이 있을 수 있다.
도 8c는 화면 안의 가장자리 영역을 나타내는 도면이다. 화면에 콘텐트가 디스플레이되는 경우, 디바이스(2000)는 콘텐트가 디스플레이되는 영역을 결정하고, 결정된 영역 외의 영역을 분할할 수 있다. 예를 들어, 디바이스(2000)는 콘텐트가 디스플레이되는 화면의 중앙 부분을 중앙 영역(18)으로 결정하고, 중앙 영역(18) 외의 가장 자리 영역을 분할할 수 있다. 또한, 가장 자리 영역은 좌측 상단 가장자리 영역(14), 중앙 상단 가장자리 영역(15), 우측 상단 가장자리 영역(16), 좌측 중앙 가장자리 영역(17), 우측 중앙 가장자리 영역(19), 좌측 하단 가장자리 영역(20), 중앙 하단 가장자리 영역(21), 우측 하단 가장자리 영역(22)으로 분할될 수 있다. 또한, 디바이스(2000)는 사용자의 시선이 가장 자리 영역 및 화면 밖에 위치하는 경우에, 사용자의 안구 동작에 기초한 제어 명령을 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 제어 명령을 선택하기 위한 선택창을 이용하여, 안구 동작에 따른 디바이스의 동작을 제어하는 일례를 설명하기 위한 도면이다.
도 9를 참조하면, 디바이스(2000)는 소정의 제어 명령을 생성하기 위한 제어 명령 선택창(90)을 화면에 표시할 수 있다. 또한, 제어 명령 선택창은 눈의 깜박임에 대응한 제어 명령의 목록을 포함할 수 있으며, 예를 들어, 우클릭, 좌클릭, 드래그 및 스크롤 중 적어도 하나의 제어 명령의 목록을 포함할 수 있다. 만약, 사용자가 눈을 움직여 커서(94)를 제어 명령 선택창(90)의 우클릭 필드(92)을 선택하고, 커서(94)를 화면 상의 아이콘(96)으로 이동시킨 후 눈을 깜박인다면, 디바이스(2000)는 아이콘(96)을 우클릭을 통해 선택하는 제어 명령을 생성할 수 있다.
도 10은 본 발명의 일 실시예에 따른 디바이스(2000)가 사용자의 시선에 대응되는 커서의 위치를 보정하는 일례를 도시한 도면이다.
도 10을 참조하면, 사용자가 화면의 소정 위치를 응시하는 경우에, 사용자 시선(10)의 위치와 상이한 위치에 커서(12)가 표시될 수 있다. 이 경우, 사용자가 화면을 5초 이상 응시하고 눈을 깜박이지 않는 경우에, 디바이스(2000)는 디바이스(2000)에 표시된 커서(12)의 위치를 보정하도록 할 수 있다.
구체적으로, 디바이스(2000)는 사용자의 시선(10)의 위치에 대응하여 표시되는 커서(12)를 고정할 수 있다. 또한, 커서(12)를 고정시킨 이후에 사용자가 고정된 커서(12)의 위치로 시선(10)을 이동시킴에 따라, 디바이스(2000)는 이동된 시선(10)의 위치를 확인할 수 있다. 또한, 사용자는 커서(12)의 위치로 시선(10)을 이동시킨 이후에 눈을 1회 깜박일 수 있으며, 디바이스(2000)는 눈을 깜박인 때의 시선(10)의 위치를 고정된 커서(12)의 위치에 매칭시킬 수 있다.
도 11은 본 발명의 일 실시예에 따른 디바이스(2000)가 커서를 미세하게 이동시키는 일례를 도시한 도면이다.
도 11을 참조하면, 사용자가 눈을 1.5초 이상 감았다가 뜬 경우에, 디바이스(2000)는 눈을 뜬 이후의 눈의 동작에 기초하여 커서(16) 주변의 소정의 영역을 사각형의 테두리로 표시할 수 있다. 이후, 사용자의 시선(14)이 사각형의 우측 방향에 사용자의 시선이 위치하면, 디바이스(2000)는 커서(16)를 우측 방향으로 기 설정된 이하의 속도로 이동시킬 수 있다.
도 12는 본 발명의 일 실시예에 따른 TV 제어 방법을 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 디바이스(2000)가 TV인 경우, 사용자가 TV 화면(700)의 좌측 영역(710)에서 눈을 빠르게 깜빡(blink)인 후 좌측 바깥으로 시선을 넘기면 볼륨을 감소시키고, 우측 영역(720)에서 눈을 빠르게 깜빡(blink)인 후 우측 바깥으로 시선을 넘기면 볼륨을 증가시키고, 상단 영역(730)에서 눈을 빠르게 깜빡(blink)인 후 상단 바깥으로 시선을 넘기면 채널을 증가시키고, 하단 영역(740)에서 눈을 빠르게 깜빡(blink)인 후 하단 바깥으로 시선을 넘기면 채널을 감소시킬 수 있다.
도 13은 본 발명의 일 실시예에 따른 이동 단말의 화면에 표시된 콘텐트의 목록을 이동시키는 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 사용자가 화면에 표시된 콘텐트의 목록을 바라보고 눈을 깜박인 이후에 시선을 좌측으로 이동시키면, 콘텐트의 목록이 좌측으로 스와이프(swipe)될 수 있다.
도 14는 본 발명의 일 실시예에 따른 이동 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 14a에 도시된 바와 같이, 디바이스(2000)가 이동 단말인 경우, 사용자의 안구 동작 및 안구 응시 위치에 따라 화면을 상하좌우로 스와이프(swipe)할 수 있다. 또한, 사용자가 소정 영역을 응시하면서 빠르게 소정 횟수 이상 깜빡이는 경우, 소정 영역에 존재하는 객체가 선택될 수도 있다.
한편, 도 14b에 도시된 바와 같이, 사용자가 선택할 수 있는 객체가 복수 개 존재하는 경우, 사용자가 안구 동작에 의해 객체를 정확히 선택하기 어려울 수 있다. 따라서, 디바이스(2000)는, 해당 객체로부터 소정 영역 내에 안구의 응시 위치가 존재하는 경우, 사용자가 해당 객체를 선택한 것으로 판단할 수 있다.
도 15는 본 발명의 일 실시예에 따른 디바이스(2000)의 화면에 표시된 객체로부터 소정의 영역 내에 커서가 위치하는 경우에, 커서를 객체로 이동시키는 일례를 도시한 도면이다.
도 15를 참조하면, 디바이스(2000)의 화면 상에 웹 페이지가 표시되고 소정의 객체(52) 주변에 커서(50)가 위치하면, 커서(50)를 객체(52)의 위치로 이동시킬 수 있다. 따라서, 사용자가 시선을 객체(52)의 위치로 정확하게 이동시키지 않는 경우에도, 커서(50)를 효과적으로 객체(52)에 위치시킬 수 있으며, 객체를 선택하여 디바이스(2000)가 소정의 동작을 수행하도록 할 수 있다.
도 16은 본 발명의 일 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 16에 도시된 바와 같이, 디바이스(2000)가 전자북(E-book) 단말이며, 사용자가 화면의 좌측 가장자리를 응시하면서 눈을 감았다가 뜨는 경우, 디바이스(2000)는 현재 표시된 페이지의 이전 페이지를 디스플레이하고(910), 사용자가 화면의 우측 가장자리를 응시하면서 눈을 감았다가 뜨는 경우, 다음 페이지를 디스플레이(920)할 수 있다. 또한, 디바이스(2000)는 사용자가 어느 영역에서든지 소정 시간 미만 눈을 감았다가 뜬 경우(short_click), 다음 페이지를 디스플레이할 수 있고(930), 사용자가 어느 영역에서든지 눈을 감았다가 뜨는 경우(click), 화면에 표시된 컨텐츠를 소정 비율로 확대하여 디스플레이할 수도 있다(940).
도 17은 본 발명의 다른 실시예와 관련된 전자북(E-book) 단말을 제어하는 방법을 설명하기 위한 도면이다.
도 17에 도시된 바와 같이, 사용자가 소정 시간 이상 눈을 감았다가 뜬 경우(long_click), 디바이스(2000)는 다른 컨텐츠를 선택할 수 있는 컨텐츠 리스트를 디스플레이할 수도 있다(950).
도 18은 본 발명의 일 실시예에 따른 디바이스(2000)가 지도 애플리케이션을 제어하는 일례를 설명하기 위한 도면이다.
도 18에 도시된 바와 같이, 사용자에 의해 선택된 애플리케이션이 지도 애플리케이션인 경우, 사용자가 안구의 응시 위치를 변화시키면, 디바이스(2000)는 변화된 안구의 응시 위치를 촬영한 지도 화면을 디스플레이할 수 있다(1010). 예를 들어, 사용자가 지도 상의 도로를 따라 위치한 소정의 건물로 시선을 이동시키는 경우에, 이동된 시선에 위치한 건물을 촬영한 정면 사진이 화면에 디스플레이될 수 있다.
또한, 사용자가 소정 방향을 응시하면서 눈을 깜빡이면, 디바이스(2000)는 사용자의 시선이 변화함에 따라 이동되는 지도 화면을 디스플레이할 수 있다(1020). 예를 들어, 사용자가 지도에 표시된 도로 상의 소정의 위치를 응시하고 눈을 깜빡이는 경우에, 디바이스(2000)는 사용자의 시선의 위치에서 촬영된 도로 사진을 화면에 디스플레이할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (17)

  1. 디바이스가 사용자의 안구 동작에 기초하여 상기 디바이스의 동작을 제어하는 방법에 있어서,
    사용자의 안구 동작에 관한 정보를 수신하는 단계;
    상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 단계;
    상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 단계; 및
    상기 생성된 제어 명령에 기초하여, 상기 디바이스의 동작을 제어하는 단계;
    를 포함하며,
    상기 제어 명령을 생성하는 단계는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성하는 것인, 방법.
  2. 제 1 항에 있어서,
    상기 디바이스의 화면을 복수의 영역으로 분할하는 단계;
    를 더 포함하며,
    상기 제어 명령을 생성하는 단계는, 상기 분할된 영역 중 상기 사용자의 시선이 위치한 영역, 및 상기 사용자의 시선이 위치한 영역으로부터의 상기 사용자의 시선의 이동 방향에 기초하여, 상기 제어 명령을 생성하는 것인, 방법.
  3. 제 2 항에 있어서,
    상기 디바이스의 화면을 분할하는 단계는,
    상기 디바이스에서 콘텐트가 디스플레이되는 영역에 기초하여 상기 디바이스의 화면을 분할하는 것인, 방법.
  4. 제 1 항에 있어서,
    상기 제어 명령을 생성하는 단계는, 상기 사용자의 시선이 상기 화면 내에서 상기 화면 밖으로 이동됨에 따라 상기 시선의 이동에 기초하여 제어 명령을 생성하는 것인, 방법.
  5. 제 1 항에 있어서,
    제어 명령의 목록을 포함하는 제어 명령 선택창을 표시하는 단계;
    상기 표시된 제어 명령 선택창을 통한 사용자 입력에 기초하여, 상기 제어 명령 선택창에 포함된 제어 명령 목록을 선택하는 단계; 및
    상기 사용자의 안구 동작 정보에 기초하여, 상기 디바이스의 화면 상의 커서를 소정의 객체로 이동하는 단계;
    를 더 포함하며,
    상기 제어 명령을 생성하는 단계는,
    상기 사용자의 눈의 깜박임에 응답하여, 상기 객체에 대하여, 상기 선택된 제어 명령 목록에 대응되는 제어 명령을 생성하는 것인, 방법.
  6. 제 1 항에 있어서,
    상기 사용자의 시선에 대응되는 커서의 위치를 고정하는 단계;
    상기 고정된 위치로의 상기 사용자의 시선의 이동에 응답하여, 상기 이동된 시선의 위치와 상기 고정된 커서의 위치를 매칭하는 단계;
    를 더 포함하는, 방법.
  7. 제 1 항에 있어서,
    사용자 입력에 기초하여, 커서 주변의 기 설정된 영역을 표시하는 단계; 및
    상기 표시된 영역에 대한 상기 사용자 시선의 위치에 기초하여, 상기 커서의 위치를 이동하는 단계;
    를 더 포함하는 방법.
  8. 제 1 항에 있어서,
    상기 안구 동작 정보에 기초하여 이동되는 커서가 상기 디바이스 화면 상의 객체로부터 기 설정된 범위 내에 위치함에 따라, 상기 커서를 상기 객체가 위치한 곳으로 이동시키는 단계;
    를 더 포함하는, 방법.
  9. 사용자의 안구 동작에 기초하여 동작을 제어하는 디바이스에 있어서,
    사용자의 안구 동작에 관한 정보를 수신하는 안구 동작 정보 수신부;
    상기 사용자의 눈의 깜박임에 관한 정보를 수신하는 깜박임 정보 수신부; 및
    상기 안구 동작 정보 및 상기 깜박임 정보에 대응되는 제어 명령을 생성하는 제어 명령 생성부;
    를 포함하며,
    상기 제어 명령 생성부는, 상기 안구 동작 정보에 기초하여 상기 사용자의 시선의 위치 및 상기 시선의 이동 방향을 확인하고, 상기 시선의 위치, 상기 시선의 이동 방향, 및 상기 깜박임 정보에 기초하여 상기 제어 명령을 생성하는 것인, 디바이스.
  10. 제 9 항에 있어서,
    상기 제어 명령 생성부는,
    상기 디바이스의 화면을 복수의 영역으로 분할하고, 상기 분할된 영역 중 상기 사용자의 시선이 위치한 영역, 및 상기 사용자의 시선이 위치한 영역으로부터의 상기 사용자의 시선의 이동 방향에 기초하여, 상기 제어 명령을 생성하는 것인, 디바이스.
  11. 제 10 항에 있어서,
    상기 제어 명령 생성부는,
    상기 디바이스에서 콘텐트가 디스플레이되는 영역에 기초하여 상기 디바이스의 화면을 분할하는 것인, 디바이스.
  12. 제 9 항에 있어서,
    상기 제어 명령 생성부는,
    상기 사용자의 시선이 상기 화면 내에서 상기 화면 밖으로 이동됨에 따라 상기 시선의 이동에 기초하여 제어 명령을 생성하는 것인, 디바이스.
  13. 제 9 항에 있어서,
    사용자의 눈의 깜박임에 대응되는 제어 명령의 목록을 포함하는 제어 명령 선택창을 표시하는 디스플레이부;
    를 더 포함하며,
    상기 제어 명령 생성부는, 상기 표시된 제어 명령 선택창을 통한 사용자 입력에 기초하여 상기 제어 명령 목록에 포함된 상기 제어 명령 목록이 선택되고 사용자의 눈의 깜박임이 감지됨에 따라, 커서가 위치한 곳의 객체에 대하여 상기 선택된 제어 명령 목록에 대응되는 제어 명령을 생성하는 것인, 디바이스.
  14. 제 9 항에 있어서,
    상기 사용자의 시선에 대응되는 커서의 위치를 고정하고, 상기 고정된 위치로의 상기 사용자의 시선의 이동에 응답하여, 상기 이동된 시선의 위치와 상기 고정된 커서의 위치를 매칭하는 오차 보정부;
    를 포함하는, 디바이스.
  15. 제 9 항에 있어서,
    사용자 입력에 기초하여, 커서 주변의 기 설정된 영역을 표시하는 디스플레이부; 및
    상기 표시된 영역에 대한 상기 사용자 시선이 위치한 곳의 방향에 기초하여, 상기 커서의 위치를 이동하는 미세 입력 조절부;
    를 더 포함하는 디바이스.
  16. 제 9 항에 있어서,
    상기 안구 동작 정보에 기초하여 이동되는 커서가 상기 디바이스 화면 상의 객체로부터 기 설정된 범위 내에 위치함에 따라, 상기 커서를 상기 객체가 위치한 곳으로 이동시키는 디스플레이부;
    를 더 포함하는, 디바이스.
  17. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2013/001893 2012-03-08 2013-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스 WO2013133664A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/383,795 US9864429B2 (en) 2012-03-08 2013-03-08 Method for controlling device on the basis of eyeball motion, and device therefor
US15/864,745 US10481685B2 (en) 2012-03-08 2018-01-08 Method for controlling device on the basis of eyeball motion, and device therefor
US16/682,531 US20200081531A1 (en) 2012-03-08 2019-11-13 Method for controlling device on the basis of eyeball motion, and device therefor
US16/871,141 US11231777B2 (en) 2012-03-08 2020-05-11 Method for controlling device on the basis of eyeball motion, and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120024119A KR101919010B1 (ko) 2012-03-08 2012-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
KR10-2012-0024119 2012-03-08

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/383,795 A-371-Of-International US9864429B2 (en) 2012-03-08 2013-03-08 Method for controlling device on the basis of eyeball motion, and device therefor
US15/864,745 Continuation US10481685B2 (en) 2012-03-08 2018-01-08 Method for controlling device on the basis of eyeball motion, and device therefor

Publications (1)

Publication Number Publication Date
WO2013133664A1 true WO2013133664A1 (ko) 2013-09-12

Family

ID=49117070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001893 WO2013133664A1 (ko) 2012-03-08 2013-03-08 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스

Country Status (3)

Country Link
US (4) US9864429B2 (ko)
KR (1) KR101919010B1 (ko)
WO (1) WO2013133664A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
CN114020156A (zh) * 2015-09-24 2022-02-08 托比股份公司 能够进行眼睛追踪的可穿戴设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609715S1 (en) * 2007-06-28 2010-02-09 Apple Inc. Animated graphical user interface for a display screen or portion thereof
USD658195S1 (en) * 2010-01-27 2012-04-24 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
KR102097637B1 (ko) * 2013-10-21 2020-04-06 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
KR101580397B1 (ko) * 2014-05-27 2015-12-24 전남대학교산학협력단 안구 운동을 사용하는 디바이스의 제어 장치 및 방법
USD798334S1 (en) * 2014-09-01 2017-09-26 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10645218B2 (en) * 2014-10-31 2020-05-05 Avaya Inc. Contact center interactive text stream wait treatments
WO2016085212A1 (ko) 2014-11-24 2016-06-02 삼성전자 주식회사 디스플레이를 제어하는 전자 장치 및 방법
KR101663993B1 (ko) 2014-12-18 2016-10-12 숭실대학교산학협력단 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체
US20160231812A1 (en) * 2015-02-06 2016-08-11 The Eye Tribe Aps Mobile gaze input system for pervasive interaction
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
KR101671838B1 (ko) * 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
US10956544B1 (en) 2016-04-01 2021-03-23 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
KR101671839B1 (ko) * 2016-09-01 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
JP6862202B2 (ja) * 2017-02-08 2021-04-21 キヤノン株式会社 画像処理装置、撮像装置および制御方法
USD876469S1 (en) * 2017-04-17 2020-02-25 Samsung Display Co., Ltd. Combined display device and screen with an animated graphical user interface
US11966055B2 (en) * 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
USD916867S1 (en) 2019-02-15 2021-04-20 Apple Inc. Display screen or portion thereof with graphical user interface
US11009698B2 (en) * 2019-03-13 2021-05-18 Nick Cherukuri Gaze-based user interface for augmented and mixed reality device
KR20190109336A (ko) * 2019-09-05 2019-09-25 엘지전자 주식회사 운전자 시선에 기반한 길 안내 서비스 지원 장치 및 이를 이용한 자동차 내비게이션 시스템
TW202301083A (zh) 2021-06-28 2023-01-01 見臻科技股份有限公司 提供精準眼動追蹤之光學系統和相關方法
US20240028110A1 (en) * 2022-07-21 2024-01-25 Dell Products, Lp System and method for headset haptic or audio confirmation feedback for gaze activation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072494A (ko) * 2000-09-06 2000-12-05 고병삼 눈동자 움직임을 광원을 이용하여 감지할 수 있는 기기 및무선원격장치.
US20020180799A1 (en) * 2001-05-29 2002-12-05 Peck Charles C. Eye gaze control of dynamic information presentation
KR20070043469A (ko) * 2005-10-21 2007-04-25 엘지전자 주식회사 장애인을 위한 마우스 동작 인식 시스템
KR20090050069A (ko) * 2006-09-08 2009-05-19 소니 가부시끼 가이샤 표시 장치, 표시 방법
KR20110083770A (ko) * 2010-01-15 2011-07-21 에스케이텔레콤 주식회사 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749744A (ja) 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
KR101098687B1 (ko) 2004-09-23 2011-12-23 엘지전자 주식회사 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법
CN101272727B (zh) * 2005-09-27 2011-09-07 潘尼公司 用于控制外部单元的装置
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
GB0618979D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Cursor control method
JP4399513B2 (ja) * 2008-01-25 2010-01-20 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
TW200938176A (en) * 2008-03-05 2009-09-16 Coretronic Corp Eyeball locating method and system
US20100182232A1 (en) * 2009-01-22 2010-07-22 Alcatel-Lucent Usa Inc. Electronic Data Input System
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
JP4991829B2 (ja) * 2009-11-09 2012-08-01 株式会社デンソー 遠隔操作デバイス用表示制御装置
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
JP5387557B2 (ja) * 2010-12-27 2014-01-15 カシオ計算機株式会社 情報処理装置及び方法、並びにプログラム
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8884892B2 (en) * 2011-08-12 2014-11-11 Blackberry Limited Portable electronic device and method of controlling same
US9178753B2 (en) * 2011-08-31 2015-11-03 Salesforce.Com, Inc. Computer implemented methods and apparatus for providing access to an online social network
US8860660B2 (en) * 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US9075453B2 (en) * 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072494A (ko) * 2000-09-06 2000-12-05 고병삼 눈동자 움직임을 광원을 이용하여 감지할 수 있는 기기 및무선원격장치.
US20020180799A1 (en) * 2001-05-29 2002-12-05 Peck Charles C. Eye gaze control of dynamic information presentation
KR20070043469A (ko) * 2005-10-21 2007-04-25 엘지전자 주식회사 장애인을 위한 마우스 동작 인식 시스템
KR20090050069A (ko) * 2006-09-08 2009-05-19 소니 가부시끼 가이샤 표시 장치, 표시 방법
KR20110083770A (ko) * 2010-01-15 2011-07-21 에스케이텔레콤 주식회사 눈 깜빡임의 인식에 따른 단말의 기능 수행 방법 및 이를 적용한 단말

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178571A1 (ko) * 2014-05-20 2015-11-26 주식회사 비주얼캠프 시선 추적형 입력 장치
CN114020156A (zh) * 2015-09-24 2022-02-08 托比股份公司 能够进行眼睛追踪的可穿戴设备

Also Published As

Publication number Publication date
US11231777B2 (en) 2022-01-25
US20200081531A1 (en) 2020-03-12
KR20130102918A (ko) 2013-09-23
US20200272234A1 (en) 2020-08-27
US20180129283A1 (en) 2018-05-10
US10481685B2 (en) 2019-11-19
KR101919010B1 (ko) 2018-11-16
US9864429B2 (en) 2018-01-09
US20150091793A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
WO2013133664A1 (ko) 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
EP3191921B1 (en) Stabilizing motion of an interaction ray
WO2016085212A1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
WO2013133618A1 (en) Method of controlling at least one function of device by using eye action and device for performing the method
US20110169730A1 (en) Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
CN109782913A (zh) 一种控制屏幕内容显示的方法及装置
JP2015087921A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2016064073A1 (ko) 디스플레이와 카메라가 장착된 스마트 안경과 이를 이용한 공간 터치 입력 및 보정 방법
WO2018105955A2 (ko) 객체를 디스플레이하기 위한 방법 및 그 전자 장치
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
CN113539192A (zh) 环境光检测方法及装置、电子设备和存储介质
JP2017182109A (ja) 表示システム、情報処理装置、プロジェクター及び情報処理方法
WO2014193136A1 (ko) 전자 장치, 전자 장치의 제어 방법, 및 컴퓨터 판독 가능한 기록 매체
JP2021056371A (ja) 表示システム、表示方法及び表示プログラム
CN116324679A (zh) 上下文相关的眼戴器遥控器
WO2022212072A1 (en) Eyewear projector brightness control
KR20090090980A (ko) 영상을 이용한 포인팅 장치
WO2020204594A1 (ko) 가상 현실 장치 및 그 제어 방법
TW202213994A (zh) 擴增實境系統與其顯示亮度調整方法
WO2022176541A1 (ja) 情報処理方法および情報処理装置
WO2021112386A1 (ko) 디스플레이 장치
WO2023158171A1 (ko) 전자 장치 및 전자 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13757717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14383795

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13757717

Country of ref document: EP

Kind code of ref document: A1