WO2017183943A1 - 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 - Google Patents

표시 장치와 이를 이용한 입력 처리 방법 및 시스템 Download PDF

Info

Publication number
WO2017183943A1
WO2017183943A1 PCT/KR2017/004291 KR2017004291W WO2017183943A1 WO 2017183943 A1 WO2017183943 A1 WO 2017183943A1 KR 2017004291 W KR2017004291 W KR 2017004291W WO 2017183943 A1 WO2017183943 A1 WO 2017183943A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
input signal
gaze
input
tracking information
Prior art date
Application number
PCT/KR2017/004291
Other languages
English (en)
French (fr)
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Priority claimed from KR1020170051512A external-priority patent/KR101904889B1/ko
Publication of WO2017183943A1 publication Critical patent/WO2017183943A1/ko
Priority to US16/166,450 priority Critical patent/US10423225B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Definitions

  • the present invention relates to an input signal display technology, and more particularly, to a display device and an input processing method and system using the same.
  • An embodiment of the present invention is to provide a new input interface technique based on gaze tracking information.
  • An input processing system may include: a gaze tracking device configured to track a gaze of a user to generate gaze tracking information, and to transmit the generated gaze tracking information; A user input device generating a user input signal according to a user input and transmitting the generated user input signal; And a display device configured to receive the gaze tracking information and the user input signal, respectively, and perform input control based on the gaze tracking information and the user input signal.
  • the user input device may include a first user input device configured to receive a voice from a user, generate a voice input signal, and transmit the generated voice input signal, and the display device may display a screen based on the gaze tracking information.
  • the apparatus may detect an input control related object, extract a user control command by analyzing the voice input signal, and perform input control on the detected input control related object according to the user control command.
  • the input processing system may further include a second user input device configured to generate an auxiliary input signal according to the user input and to transmit the generated auxiliary input signal, wherein the display device is configured to receive the auxiliary input signal.
  • the analysis function of the voice input signal may be activated.
  • the display device may drive an artificial intelligence engine linked with the display device when the object gazed by the user on the screen based on the gaze tracking information is a word or an image and the user control command is a semantic search of the object.
  • the semantic search of the object may be performed.
  • the input processing system may further include a second user input device configured to generate an auxiliary input signal according to the user's input and to transmit the generated auxiliary input signal, wherein the display device includes the gaze tracking information and the voice.
  • the artificial intelligence engine linked to the display device may be driven according to the user control command.
  • the user input signal may be generated by recognizing a gesture of the user by the user input device, and the display device may perform preset input control corresponding to a combination of a gaze processing pattern based on the gaze tracking information and the gesture of the user. Can be done.
  • the display apparatus after performing the input control, when the gaze tracking information is received from the gaze tracking device within a preset time, and the received gaze tracking information is gaze tracking information related to the input control, performing You can cancel the input control.
  • the display apparatus may display a marker at a position corresponding to the gaze of the user on the screen when the gaze of the user by the gaze tracking information observes a specific position of the screen for a preset first time, and the gaze tracking information If it is determined that the user's gaze moves by the voice input signal within the second time set longer than the first time, the marker may be moved on the screen according to the user's gaze movement direction. Can be.
  • a display device includes: one or more processors; Memory; And a display device including one or more programs, wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs track the user's gaze from the gaze tracking device. Instructions for receiving the generated gaze tracking information; Instructions for receiving a user input signal generated according to a user input from a user input device; And a command for performing input control based on the gaze tracking information and the user input signal.
  • the user input signal may include a voice input signal generated by receiving a voice from a user, and the one or more programs may be related to an input control on a screen based on the gaze tracking information in a command for performing the input control. Instructions for detecting a message; Extracting a user control command by analyzing the voice input signal; And a command for performing input control on the detected input control related object according to the user control command.
  • the user input signal further includes an auxiliary input signal generated according to the user input, wherein the one or more programs are configured to activate a command to activate an analysis function of the voice input signal according to whether the auxiliary input signal is received. It may further include.
  • the one or more programs may include instructions for determining whether an object gaze at the user on the screen is a word or an image based on the gaze tracking information in a command for performing the input control; And when the user control command is a semantic search of the object, a command for driving a semantic search of the object by driving an artificial intelligence engine linked to the display device.
  • the user input signal further includes an auxiliary input signal generated according to the user's input, wherein the one or more programs include, in a command for performing the input control, the eye tracking information, the voice input signal, and the When all of the auxiliary input signals are received within a preset time difference, a command for driving an artificial intelligence engine linked to the display device according to the user control command may be included.
  • the user input signal may be generated by recognizing a gesture of the user by the user input device, and the one or more programs may include a gaze processing pattern based on the gaze tracking information and the user's gaze in a command for performing the input control. Preset input control corresponding to the combination of gestures may be performed.
  • the one or more programs may include instructions for, after performing the input control, checking whether the gaze tracking information is received from the gaze tracking device within a preset time; And when the gaze tracking information is received, and when the received gaze tracking information is gaze tracking information related to the input control, a command for canceling the performed input control.
  • the one or more programs may include instructions for displaying a marker at a position corresponding to the gaze of the user on the screen when the gaze of the user by the gaze tracking information observes a specific position of the screen for a first predetermined time; And when the gaze tracking information determines that the user's gaze moves, if the voice input signal is not received within a second time set longer than the first time, the screen is determined according to the gaze movement direction of the user.
  • the method may further include a command for moving the marker.
  • An input processing method is a method performed in a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors, the method being performed by a user from a gaze tracking device.
  • the user may enable accurate input control to the display device. Can be.
  • the user by performing a menu display function on the screen for at least two combinations of the user's eye tracking information, the auxiliary input signal, and the voice input signal, the user can easily check the menu on the content It is possible to increase the convenience of the user.
  • the gaze tracking information of the user, the auxiliary input signal, and the voice input signal may be used. It is possible to easily provide an interface that can control the corresponding content through at least two combinations.
  • FIG. 1 is a block diagram of an input processing system according to an embodiment of the present invention
  • FIG. 2 is a block diagram of an input signal processing apparatus according to an embodiment of the present invention.
  • FIG. 3 illustrates an example of displaying a content control menu on a screen during content input control
  • 4 is an exemplary diagram of a case of performing a stored operation matched with an input control among input control of contents
  • FIG. 5 is a flowchart of an input signal processing method according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in exemplary embodiments.
  • FIGS. 1 to 6 This is only an exemplary embodiment and the present invention is not limited thereto.
  • the terms "transfer”, “communication”, “transmit”, “receive” and other similar meanings of signals or information are not only meant to directly convey the signal or information from one component to another. It also includes passing through other components.
  • “transmitting” or “sending” a signal or information to a component indicates the final destination of the signal or information and does not mean a direct destination. The same is true for the "reception” of a signal or information.
  • that two or more pieces of data or information are "related” means that if one data (or information) is obtained, at least a portion of the other data (or information) can be obtained based thereon.
  • FIG. 1 is a block diagram of an input processing system according to an embodiment of the present invention.
  • an input processing system 100 includes a gaze tracking device 102, an auxiliary input device 104, a voice input device 106, and a display device 108. can do.
  • the input processing system 100 combines at least two of the eye tracking information of the eye tracking device 102, the auxiliary input signal of the auxiliary input device 104, and the voice input signal of the voice input device 106 in combination with a display device ( 108 may be a system for performing preset input control on the screen.
  • the eye tracking device 102, the auxiliary input device 104, and the voice input device 106 each connect to a communication network 50, such as a local area wireless network (eg, Bluetooth, Wi-Fi, etc.).
  • the display device 108 may be communicatively connected to the display device 108.
  • the kind of the communication network 50 is not limited thereto, and the communication network 50 may further include a local area network (LAN), a wide area network (WAN), a cellular network, or the Internet. It may include.
  • the gaze tracking device 102, the auxiliary input device 104, and the voice input device 106 may be communicatively connected to the display device 108 through a wire (for example, a cable).
  • the display device 108 displays the content on the screen using image display means.
  • the image display means is for visually displaying various types of content, and may include, for example, an LCD panel, an OLED panel, a PDP, a transparent display, and the like.
  • the content may include various types of content that can be visually displayed on a screen by using image display means such as a video, an image, a game, a web page, a virtual reality, and an augmented reality.
  • the display device 108 may be implemented in the form of a virtual reality device, a smart glass, a head mounted display (HMD) configured to be worn on the user's head.
  • the present invention is not limited thereto, and the display device 108 may include a smart TV, a smart phone, a PDA, a personal computer, a laptop computer, and the like.
  • the gaze tracking device 102 may track the gaze of the user and transmit gaze tracking information to the display device 108.
  • the gaze tracking information is information generated by tracking the eyes of the user, and may include, for example, the current gaze position of the user, the gaze moving direction, and whether the user gazes at a predetermined position.
  • the gaze tracking device 102 may track the gaze of the user on the screen displayed on the display device 108 to calculate the gaze position of the user, and generate gaze tracking information based on the gaze tracking information.
  • the gaze tracking device 102 may be integrally implemented with the display device 108.
  • the gaze tracking device 102 may collect gaze motion information of the user using various types of sensors or cameras, and calculate the gaze position of the user by using the collected gaze motion information.
  • Techniques for tracking the user's gaze include, for example, three methods, a video analysis method, a contact lens method, and a sensor attachment method.
  • the video analysis method detects pupil movement through real-time analysis of a camera image photographed using a camera and calculates the position of the gaze based on the fixed position reflected on the cornea.
  • the contact lens method uses reflected light of a contact lens with a mirror or a magnetic field of a contact lens with a coil.
  • the contact lens method has low accuracy and high accuracy.
  • the sensor attaches a sensor around the eye to use an electric field according to the eye's movement, and even when the eye is closed (surface, etc.), the eye movement can be detected.
  • embodiments of the present invention are not limited to a specific gaze tracking method or algorithm.
  • the user may perform gaze processing corresponding to a preset gaze processing pattern to generate gaze tracking information through the gaze tracking device 102 such that an input control such as a content control menu display or a content screen control is performed on the display device 108. Can be.
  • the auxiliary input device 104 may generate an auxiliary input signal according to a user input and transmit the auxiliary input signal to the display device 108.
  • the auxiliary input device 104 may be a device (for example, a mouse or a keyboard) equipped with a mechanical (or pressure) button that the user can press, but is not limited thereto.
  • the auxiliary input signal may be touched by a user's touch. It may be implemented to generate.
  • the auxiliary input device 104 may be provided in the form of a wearable device to increase the convenience of operation while increasing the portability of the user.
  • the auxiliary input device 104 may be provided in the form of a mouse formed in a ring shape, a mouse which can be gripped on a hand, a smart watch, or the like.
  • the auxiliary input device 104 may be a device capable of detecting a gesture of a user.
  • the auxiliary input device 104 may include a gesture recognition sensor or a camera.
  • the user may generate an auxiliary input signal by taking a preset gesture.
  • the auxiliary input device 104 may transmit the auxiliary input signal to the display device 108 according to a user's input.
  • the auxiliary input signal may mean a signal that informs the display device 108 that a user's input is generated by the auxiliary input device 104.
  • the auxiliary input device 104 is described as a device having a button, and thus, the auxiliary input signal is described as being a signal according to a user's button input, but is not limited thereto.
  • the auxiliary input device 104 may generate an auxiliary input signal and transmit the generated auxiliary input signal to the display device 108.
  • the auxiliary input device 104 generates an auxiliary input signal indicating that there is a button input as soon as the user presses the button, transmits the auxiliary input signal to the display device 108, and stops transmitting the auxiliary input signal as soon as the user's button input is released. Can be.
  • the input signal can be transmitted more accurately when only the gaze tracking device 102 is used.
  • the voice input device 106 may receive a voice of a user and transmit a voice input signal to the display device 108.
  • the voice input device 106 may include a microphone.
  • the voice input device 106 may generate a voice input signal according to the vibration of the user's voice, and transmit the generated voice input signal to the display device 108.
  • the voice input device 106 may be integrated with the display device 108.
  • the user may generate an auxiliary input signal through the auxiliary input device 104 or a voice input signal through the voice input device 106 while performing a line of sight processing corresponding to the preset gaze processing pattern.
  • the user may generate the auxiliary input signal through the auxiliary input device 104 and the voice input signal through the voice input device 106 while performing the gaze processing corresponding to the preset gaze processing pattern.
  • the display device 108 may perform input control according to various combinations of the eye tracking information, the auxiliary input signal, and the voice input signal.
  • the display device 108 displays the content on the screen using image display means.
  • the display device 108 may perform preset input control according to at least two combinations of the eye tracking information, the auxiliary input signal, and the voice input signal.
  • the input control includes: 1) a combination of eye tracking information and an auxiliary input signal, 2) a combination of eye tracking information and a voice input signal, and 3) an input control according to a combination of eye tracking information, an auxiliary input signal, and a voice input signal. It can be divided into.
  • the auxiliary input signal and the voice input signal may be collectively referred to as a user input signal. That is, the auxiliary input signal and the voice input signal may be included in the user input signal.
  • the auxiliary input device 104 and the voice input device 106 may be collectively referred to as a user input device. That is, the user input device may include an auxiliary input device 104 and a voice input device 106.
  • the display device 108 may perform input control of the display device 108 based on the gaze tracking information received from the gaze tracking device 102 and the auxiliary input signal received from the auxiliary input device 104.
  • the display device 108 may check the gaze processing pattern of the user through the received gaze tracking information, and may check whether the display apparatus 108 matches the previously stored gaze processing pattern.
  • the gaze processing pattern is at least one of a current gaze position of the user, a movement from one direction of the gaze to another direction (ie, a gaze moving direction), and a gaze of a predetermined point of the gaze of the user (ie, gaze at a predetermined position). It may mean a pattern for the gaze processing of the user including.
  • the display device 108 may check the auxiliary input signal pattern of the user through the received auxiliary input signal and check whether the auxiliary input signal pattern matches the pre-stored auxiliary input signal pattern.
  • the auxiliary input signal pattern may include a reception duration of the auxiliary input signal (ie, an auxiliary input duration) and an input frequency of the auxiliary input signal.
  • the display device 108 Input control corresponding to the combination of the auxiliary input signal patterns may be performed.
  • the display device 108 does not separately display a menu for controlling the content on the screen so as to increase the immersion and concentration of the user content, and only the executed content is displayed on the screen in full screen. Can provide. Accordingly, the display device 108 may use the gaze tracking information and the auxiliary input signal received from the gaze tracking device 102 and the auxiliary input device 104, respectively, and input control corresponding thereto (eg, in the content control menu). Display, screen control for content, etc.) to perform input control of the display device 108.
  • the display device 108 when the display device 108 is implemented in the form of a virtual reality device, a smart glass, a head mounted display (HMD) configured to be worn on the user's head, a menu is displayed on the screen. It is difficult to input for display and to perform screen control on content. Accordingly, the display device 108 may perform input control for displaying a content control menu on the screen through the gaze tracking information and the auxiliary input signal of the user, or may perform screen control on the content.
  • HMD head mounted display
  • FIG. 2 is a diagram illustrating a state in which a content control menu is displayed on a screen according to a combination of eye tracking information and an auxiliary input signal in a display device according to an exemplary embodiment.
  • an example is a case where the content executed in the display device 108 is a music player.
  • a control menu of a music player is not separately displayed on the screen of the display device 108, and only a background screen of music is displayed.
  • the display device 108 may display a content control menu (ie, a music player control menu) on the screen according to the gaze processing pattern and the auxiliary input signal pattern.
  • the display device 108 is a gaze movement direction in which a gaze processing pattern based on gaze tracking information is directed from the top to the bottom of the screen, and the auxiliary input signal pattern by the auxiliary input signal is input count 2.
  • a preset input control in which the input control is a control menu display
  • the display device 108 responds to two inputs of a gaze direction + an auxiliary input signal from the top to the bottom of the screen (for example, play, pause, next song, previous song, etc.) of the music player.
  • the display device 108 may allow the control menu of the music player to be scrolled and displayed from the upper side to the lower side (ie, in the eye movement direction of the eye gaze processing pattern) on the screen.
  • the display device 108 is a gaze movement direction in which a gaze processing pattern based on gaze tracking information is from the left side to the right side of the screen, and the auxiliary input signal pattern by the auxiliary input signal.
  • a preset input control in which the input control is an information related menu display
  • the display device 108 responds to the eye movement direction from the left side of the screen to the up direction + 2 seconds of the auxiliary input duration (eg, song information, add, down, end, etc.) of the music player.
  • the display device 108 may cause the information related menu to be scrolled and displayed from the left to the right on the screen (that is, in the gaze movement direction of the gaze processing pattern).
  • the display device 108 may cancel the previously performed input control according to the gaze tracking information input within a preset time. That is, when the gaze tracking information received from the gaze tracking device 102 is the gaze tracking information related to the previously performed input control within a preset time after the input control is performed, the display device 108 performs the input control previously performed. You can cancel.
  • the gaze tracking information related to the previously performed input control may mean gaze movement in a direction opposite to the gaze movement direction.
  • the gaze tracking information for performing the input control is a gaze of a predetermined position on the screen
  • the gaze tracking information related to the previously performed input control may mean a re staring of the predetermined position on the screen.
  • This input control canceling operation is not only input control by the combination of the eye tracking information and the auxiliary input signal, but also other input control (that is, input control and the eye tracking information by the combination of the eye tracking information and the voice input signal, the auxiliary input signal, and The same or similar may be applied to the input control according to the combination of the voice input signals.
  • FIG. 3 is a diagram illustrating a state of performing screen control on content according to a combination of eye tracking information and an auxiliary input signal in a display device according to an exemplary embodiment.
  • an example is a case where the content executed in the display device 108 is a video player.
  • the display device 108 is a gaze processing pattern based on gaze tracking information that gazes at a predetermined position of a screen for at least 3 seconds, and an auxiliary input signal pattern based on an auxiliary input signal.
  • a preset input control ie, content screen control
  • the display device 108 determines a location where the user's gaze gazes as the focusing area based on the gaze processing pattern (see FIG. 3A), and blurs the remaining areas except the focusing area on the screen.
  • the content screen control may be performed to visually distinguish and display the focusing area.
  • the display device 108 performs the content previously performed. You can cancel the screen control.
  • the method of visually distinguishing and displaying the focusing area is not limited thereto, and the user may visually distinguish and recognize the focusing area from the other areas, such as displaying the color and brightness of the focusing area differently from other areas. It includes various forms of modifications to make it possible.
  • the display device 108 is a gaze processing pattern based on gaze tracking information gazing at a predetermined position for at least 3 seconds, and the auxiliary input signal by the auxiliary input signal.
  • a preset input control ie, content screen control
  • the display device 108 may determine a location where the gaze of the user gazes as an enlarged area based on the gaze processing pattern, and perform content screen control to enlarge and display the corresponding area on the screen (FIG. 3). (c)).
  • the display device 108 may perform various input controls in addition to the combination of the eye tracking information and the auxiliary input signal.
  • the display device 108 may display the screen of the display device 108 when the gaze processing pattern based on the gaze tracking information is the direction of eye movement of the user, and the auxiliary input signal pattern based on the auxiliary input signal is the auxiliary input duration.
  • the input control may be performed to move by the auxiliary input duration according to the user's eye movement direction.
  • the control menu of the music player is displayed as shown in FIG. 2B, when the user's gaze stares at the skip menu among the control menus and the auxiliary input signal is input once, You can also perform input control to run the menu.
  • the auxiliary input device 104 is described as an example of a device having a button, but is not limited thereto, and the auxiliary input device 104 may be a device for recognizing a gesture of a user.
  • the display device 108 may perform input control based on a combination of the gaze processing pattern by the gaze tracking information of the user and the gesture of the user by the auxiliary input signal. For example, a user may scroll and display a menu related to a content according to a user's gaze movement direction, and perform an input control such as stopping a scrolling menu when the user makes a gesture of thumb and forefinger.
  • the display device 108 may perform input control of the display device 108 based on the gaze tracking information received from the gaze tracking device 102 and the voice input signal received from the voice input device 106.
  • the display device 108 may detect an input control related object on the screen of the display device 108 based on the eye tracking information received from the eye tracking device 102.
  • the input control related object may be content (eg, a video, an image, a game, a web page, a virtual reality, an augmented reality, etc.) controlled by the display device 108.
  • the input control related object may be an object (for example, a menu or a button on a screen) that is executed by being clicked on the display device 108.
  • the input control related object may be an object (eg, a word, an image, etc.) searched for the meaning of the display device 108.
  • the display device 108 may perform input control on the detected input control related object based on the voice input signal received from the voice input device 106. That is, the display device 108 may extract the user control command by analyzing the received voice input signal, and perform input control on the detected input control related object according to the extracted user control command.
  • the display device 108 gazes at the user.
  • the meaning of the word can be searched and displayed on the screen, or output through voice.
  • the display device 108 may analyze the voice input signal to extract that the user control command is a word meaning search.
  • a user's gesture may be received as an auxiliary input signal instead of the voice input signal.
  • the display device 108 may display the user.
  • the searcher can search for the meaning of the word that he is staring at and display it on the screen, or output it through the speaker.
  • the display device 108 can search for the image that he is staring at and display the result of “red sports car is Tesla 2017 model” or voice output.
  • the display device 108 may operate in conjunction with an artificial intelligence engine. That is, when the user control command by the voice input signal is an object meaning search such as a word meaning search or an image meaning search, the display device 108 drives an artificial intelligence engine linked with the display device 108 to perform an object meaning search. Can be done. In this case, the display device 108 may drive the artificial intelligence engine according to whether the auxiliary input signal is received. For example, when the gaze tracking information, the voice input signal, and the auxiliary input signal are all received within a preset time difference, the display device 108 may drive the artificial intelligence engine according to a user control command to perform an object semantic search. have.
  • the display device 108 operates to clearly distinguish the user's general voice from the voice for input control. can do.
  • the display apparatus 108 displays the ID of the website. And after detecting the password, the login and login by entering the ID and password of the web site.
  • the voice input signal is “Transfer 100,000 won to my wife”, It is possible to transfer 100,000 won to the user's wife's account.
  • the display device 108 checks the gaze processing pattern of the user based on the received gaze tracking information, analyzes the voice input signal received from the voice input device 106, extracts a user control command, and looks at the gaze processing pattern. And input control based on a user control command.
  • the display device 108 when the user's gaze processing pattern based on gaze tracking information is a gaze movement direction from the top to the bottom of the screen, and the voice input signal is “display a control menu on the screen”, the display device 108 is currently executed.
  • the control menu of the content for example, a music player
  • the display device 108 may analyze the voice input signal to extract that the user control command is a screen display of the control menu.
  • Input control according to the combination of eye tracking information, auxiliary input signal, and voice input signal
  • the display device 108 is based on the eye tracking information received from the eye tracking device 102, the auxiliary input signal received from the auxiliary input device 104, and the voice input signal received from the voice input device 106. Input control of 108 may be performed.
  • the auxiliary input signal may serve to activate an analysis function of the voice input signal in the display device 108. That is, the display device 108 can clearly recognize that the user intends to perform a predetermined input control based on the gaze tracking information and the voice input signal through the auxiliary input signal.
  • the display device 108 analyzes the voice input signal only when the auxiliary input signal is additionally received in embodiments of the input control according to the combination of the above-described eye tracking information and the voice input signal. Corresponding input control may be performed.
  • the display device 108 may perform input control by a combination of a gaze processing pattern by gaze tracking information, an auxiliary input signal pattern by an auxiliary input signal, and a user control command by a voice input signal. It may be.
  • the gaze processing pattern is a gaze movement from the left side of the screen to the right side
  • the user control command by the voice input signal is the “increasing playback speed” of the content
  • the auxiliary input signal pattern is the auxiliary input duration of 3 seconds
  • the display device 108 may perform an input control for fast forwarding the content displayed on the screen for 3 seconds.
  • the display device 106 includes a communication unit 112, a voice analysis unit 114, an input signal processor 116, a display unit 118, a marker display unit 120, and a storage unit 122. It may include.
  • the communication unit 112 may perform wireless communication with the eye tracking device 102, the auxiliary input device 104, and the voice input device 106 through a short range wireless network (for example, Bluetooth, Wi-Fi, etc.). .
  • a short range wireless network for example, Bluetooth, Wi-Fi, etc.
  • the present invention is not limited thereto, and the communication unit 112 may perform wired communication through a cable or a communication bus.
  • the communication unit 112 may receive the eye tracking information from the eye tracking apparatus 102.
  • the communication unit 112 may receive an auxiliary input signal from the auxiliary input device 104.
  • the communication unit 112 may receive a voice input signal from the voice input device 106.
  • the voice analyzer 114 may analyze the received voice input signal and extract a user control command.
  • the voice analyzer 114 may convert the received voice input signal into a character string corresponding thereto and then analyze the converted character string to extract a user control command.
  • the input signal processor 116 may perform preset input control of the display device 108 according to at least two combinations of the eye tracking information, the auxiliary input signal, and the voice input signal received from the communication unit 112. For example, the input signal processor 116 may perform input control corresponding to a combination of the gaze processing pattern of the user based on the gaze tracking information and the auxiliary input signal pattern based on the auxiliary input signal.
  • the input signal processor 116 detects an input control-related object on the screen of the display device 108 based on the gaze tracking information, and detects the input control-related object according to the detected user control command based on the voice input signal. It can perform input control on.
  • the input signal processor 116 may perform a search operation by driving an artificial intelligence engine linked to the display device 108, and receive a search result from the artificial intelligence engine.
  • the input signal processor 116 may perform input control based on the gaze processing pattern of the user based on the gaze tracking information and the user control command based on the voice input signal.
  • the input signal processing unit 116 analyzes the user's control command from the voice input signal when there is an auxiliary input signal from the auxiliary input device 104 (or when there is a preset auxiliary input signal pattern by the auxiliary input signal). Can be performed.
  • the display unit 118 may display one or more contents (or interfaces, etc.) on the screen by using image display means.
  • the image display means is generally an electronic display for transmitting visual information such as a liquid crystal display, an organic light-emitting diode display, a cathode ray tube, a plasma display, and the like. It is meant to encompass.
  • the marker display unit 120 may display a user's current gaze position on the screen of the display unit 118 (hereinafter, referred to as “screen”).
  • the marker display unit 120 may display a marker such as an arrow shape or a finger shape on the screen.
  • the position of the marker may be a position corresponding to the gaze tracking information received from the gaze tracking device 102.
  • the marker display unit 120 may not always display the current gaze position of the user on the screen, but may be configured to display only when the user watches a specific position for a predetermined time or more. For example, when the user watches a specific location on the screen for a predetermined time (for example, 0.5 seconds) or more, the marker display unit 120 may flash a location that the user watches on the screen, or the brightness of the location, By changing the color, etc., the user can see where he is looking.
  • a predetermined time for example, 0.5 seconds
  • the marker display unit 120 when it is determined that the user moves the gaze in a specific direction based on the gaze tracking information received from the gaze tracking device 102, the marker display unit 120 indicates that the gaze has moved in a specific direction through the marker. Can be displayed on the screen. Specifically, the marker display unit 120 does not receive the auxiliary input signal from the auxiliary input device 104 within a preset time (for example, two seconds) after the eye tracking information is received from the eye tracking device 102. If the voice input signal is not received, the marker may be moved and displayed on the screen according to the gaze movement direction according to the received gaze tracking information. In this case, the marker display control on the screen can be easily performed without a separate interface.
  • the storage unit 122 may store various information used by the display device 108.
  • the storage unit 122 may control input according to a combination of eye tracking information and an auxiliary input signal, input control according to a combination of eye tracking information and a voice input signal, eye tracking information, an auxiliary input signal, and a voice input signal.
  • Each input control can be stored.
  • Only exemplary embodiments stored by the storage unit 122 have been described, but are not limited thereto.
  • the storage unit 120 may store all information that may be stored in the display device 108.
  • FIG. 5 is a flowchart illustrating an input signal processing method according to an embodiment of the present invention.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps may be performed in a reverse order, in combination with other steps, omitted together, divided into substeps, or one or more of the drawings. Steps may be added and performed. In some embodiments, one or more steps not shown in the method may be performed with the method.
  • the display device 108 receives gaze tracking information from the gaze tracking device 102 (S502).
  • the display device 108 may receive the gaze tracking information including the current gaze position of the user, the gaze moving direction, and whether the user gazes at a predetermined position from the gaze tracking device 102.
  • the display device 108 checks whether the received gaze tracking information is a gaze processing pattern used to perform input control (S504).
  • the display device 106 may determine whether the gaze tracking pattern extracted from the gaze tracking information received from the gaze tracking device 102 is a gaze processing pattern used to perform pre-stored input control.
  • step S504 when the gaze processing pattern extracted from the received gaze tracking information is a gaze processing pattern used to perform pre-stored input control, the display device 108 determines whether an auxiliary input signal is received from the auxiliary input device 104.
  • Check (S506). In detail, the display device 108 determines whether the auxiliary input signal is received from the auxiliary input device 104 within a preset time (for example, 5 seconds) from the time of receiving the eye tracking information from the eye tracking device 102. You can check. If the auxiliary input signal is not received from the auxiliary input device 104, the display device 106 may move or display a marker (eg, a cursor, etc.) on the screen of the display.
  • a marker eg, a cursor, etc.
  • step S506 when the auxiliary input signal is received from the auxiliary input device 104, the display device 108 checks whether the received auxiliary input signal is an auxiliary input signal pattern used to perform pre-stored input control (S508). ). In detail, the display device 108 may determine whether the auxiliary input signal pattern extracted from the received auxiliary input signal is an auxiliary input signal pattern used to perform pre-stored input control.
  • step S508 when the auxiliary input signal pattern extracted from the auxiliary input signal is an auxiliary input signal pattern used to perform pre-stored input control, the display device 108 performs input control corresponding to the gaze processing pattern and the auxiliary gaze pattern.
  • the display device 108 checks the content (or interface, etc.) displayed on the display screen of the current display device 108, and based on the checked gaze processing pattern and the auxiliary input signal pattern, the display device 108 on the current display screen. Input control of the content displayed on the screen may be performed.
  • FIG. 6 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12.
  • computing device 12 may be a device for displaying content on a screen (eg, display device 108).
  • computing device 12 may be a device for tracking a user's gaze (eg, gaze tracking device 102).
  • computing device 12 may be a device (eg, auxiliary input device 104) that checks for a user's auxiliary input.
  • Computing device 12 includes at least one processor 14, computer readable storage medium 16, and communication bus 18.
  • the processor 14 may cause the computing device 12 to operate according to the example embodiments mentioned above.
  • processor 14 may execute one or more programs stored in computer readable storage medium 16.
  • the one or more programs may include one or more computer executable instructions that, when executed by the processor 14, cause the computing device 12 to perform operations in accordance with an exemplary embodiment. Can be.
  • Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable forms of information.
  • the program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14.
  • computer readable storage medium 16 includes memory (volatile memory, such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, or any other form of storage medium that is accessible by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • the communication bus 18 interconnects various other components of the computing device 12, including the processor 14 and the computer readable storage medium 16.
  • Computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24.
  • the input / output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22.
  • Exemplary input / output devices 24 may include pointing devices (such as a mouse or trackpad), keyboards, touch input devices (such as touchpads or touchscreens), voice or sound input devices, various types of sensor devices, and / or imaging devices.
  • Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards.
  • the example input / output device 24 may be included inside the computing device 12 as one component of the computing device 12, and may be connected to the computing device 12 as a separate device from the computing device 12. It may be.

Abstract

표시 장치와 이를 이용한 입력 처리 방법 및 시스템이 개시된다. 개시되는 일 실시예에 따른 입력 처리 시스템은, 사용자의 시선을 추적하여 시선 추적 정보를 생성하고, 생성된 시선 추적 정보를 전송하는 시선 추적 장치, 사용자로부터 음성을 입력 받아 음성 입력 신호를 생성하고, 생성된 음성 입력 신호를 전송하는 음성 입력 장치, 및 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하고, 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 사용자 제어 명령에 따라 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하는 표시 장치를 포함한다.

Description

표시 장치와 이를 이용한 입력 처리 방법 및 시스템
본 발명은 입력 신호 표시 기술에 관한 것으로, 보다 상세하게는 표시 장치와 이를 이용한 입력 처리 방법 및 시스템에 관한 것이다.
최근, 시선 추적 기술의 적용 대상 기기가 넓어지고 있으며, 정확한 시선 검출을 위한 기술 개발이 지속적으로 이루어지고 있다. 특히, 가상 현실 또는 증강 현실 기술 등에서 별도의 입력 도구 없이 사용자로부터 정보를 입력 받기 위한 입력 장치로서 시선 추적 기술을 이용하는 기술이 대두되고 있다.
하지만, 시선 추적만을 이용해 사용자로부터 정보를 입력 받는 경우, 사용자의 의도를 정확히 파악하지 못하는 경우가 발생하여, 사용자가 원하는 입력이 이루어지지 않는 문제점이 있다. 또한, 시선 추적만을 이용하는 경우, 현재 디스플레이의 화면 상에서 일시 정지, 각종 메뉴 표시 등의 기능을 실행시키기 어렵다는 문제점이 있다.
본 발명의 실시예는 시선 추적 정보 기반의 새로운 입력 인터페이스 기법을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 입력 처리 시스템은, 사용자의 시선을 추적하여 시선 추적 정보를 생성하고, 생성된 상기 시선 추적 정보를 전송하는 시선 추적 장치; 사용자의 입력에 따라 사용자 입력 신호를 발생시키고, 발생된 상기 사용자 입력 신호를 전송하는 사용자 입력 장치; 및 상기 시선 추적 정보 및 상기 사용자 입력 신호를 각각 수신하고, 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 표시 장치를 포함한다.
상기 사용자 입력 장치는, 사용자로부터 음성을 입력 받아 음성 입력 신호를 생성하고, 생성된 상기 음성 입력 신호를 전송하는 제1 사용자 입력 장치를 포함하고, 상기 표시 장치는, 상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하고, 상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다.
상기 입력 처리 시스템은, 상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고, 상기 표시 장치는, 상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시킬 수 있다.
상기 표시 장치는, 상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지이고, 상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행할 수 있다.
상기 입력 처리 시스템은, 상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고, 상기 표시 장치는, 상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시킬 수 있다.
상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고, 상기 표시 장치는, 상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행할 수 있다.
상기 표시 장치는, 상기 입력 제어를 수행한 후, 기 설정된 시간 이내에 상기 시선 추적 장치로부터 시선 추적 정보가 수신되고, 수신된 상기 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시킬 수 있다.
상기 표시 장치는, 상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하고, 상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 상기 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시킬 수 있다.
개시되는 일 실시예에 따른 표시 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하는 표시 장치이고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하기 위한 명령; 사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하기 위한 명령; 및 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하기 위한 명령을 포함한다.
상기 사용자 입력 신호는, 사용자로부터 음성을 입력 받아 생성된 음성 입력 신호를 포함하고, 상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하기 위한 명령; 상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하기 위한 명령; 및 상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하기 위한 명령을 포함할 수 있다.
상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고, 상기 하나 이상의 프로그램들은, 상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시키기 위한 명령을 더 포함할 수 있다.
상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지인지 여부를 확인하기 위한 명령; 및 상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행하기 위한 명령을 포함할 수 있다.
상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고, 상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시키기 위한 명령을 포함할 수 있다.
상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고, 상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서, 상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행할 수 있다.
상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행한 후, 상기 시선 추적 장치로부터 기 설정된 시간 이내에 시선 추적 정보가 수신되는지 여부를 확인하기 위한 명령; 및 상기 시선 추적 정보가 수신된 경우, 상기 수신된 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시키기 위한 명령을 더 포함할 수 있다.
상기 하나 이상의 프로그램들은, 상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하기 위한 명령; 및 상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 상기 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시키기 위한 명령을 더 포함할 수 있다.
개시되는 일 실시예에 따른 입력 처리 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하는 단계; 사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하는 단계; 및 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 단계를 포함한다.
본 발명의 실시예에 의하면, 사용자의 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합을 통해 표시 장치의 입력 제어를 수행함으로써, 사용자가 표시 장치에 정확한 입력 제어가 가능하도록 할 수 있다.
또한, 본 발명의 실시예에 의하면, 사용자의 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합에 대하여 화면 상에 메뉴 표시 기능을 수행하도록 함으로써, 사용자가 컨텐츠 상에서 메뉴를 쉽게 확인할 수 있어, 사용자의 편의성을 증대시킬 수 있다.
또한, 본 발명의 실시예에 의하면, 가상 현실, 증강 현실, 게임 등과 같은 컨텐츠가 표시 장치의 전체 화면으로 표시되어 사용자에게 제공되는 경우, 사용자의 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합을 통해 해당 컨텐츠를 제어할 수 있는 인터페이스를 용이하게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 입력 처리 시스템의 구성도
도 2는 본 발명의 일 실시예에 따른 입력 신호 처리 장치의 블록도
도 3은 컨텐츠의 입력 제어 중 컨텐츠 제어 메뉴를 화면 상에 표시하는 경우의 예시도
도 4는 컨텐츠의 입력 제어 중 입력 제어와 매칭되어 저장된 동작을 수행하는 경우의 예시도
도 5는 본 발명의 일 실시예에 따른 입력 신호 처리 방법의 흐름도
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도 1 내지 도 6을 참조하여 본 발명의 구체적인 실시 예들을 설명하기로 한다. 그러나 이는 예시적 실시예에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
도 1은 본 발명의 일 실시예에 따른 입력 처리 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 입력 처리 시스템(100)은 시선 추적 장치(102), 보조 입력 장치(104), 음성 입력 장치(106), 및 표시 장치(108)를 포함할 수 있다.
입력 처리 시스템(100)은 시선 추적 장치(102)의 시선 추적 정보, 보조 입력 장치(104)의 보조 입력 신호, 및 음성 입력 장치(106)의 음성 입력 신호 중 적어도 2개를 조합하여 표시 장치(108)의 화면 상에 기 설정된 입력 제어를 수행하기 위한 시스템일 수 있다.
예시적인 실시예에서, 시선 추적 장치(102), 보조 입력 장치(104), 및 음성 입력 장치(106)는 각각 근거리 무선 네트워크(예를 들어, 블루투스, 와이파이 등)과 같은 통신 네트워크(50)를 통해 표시 장치(108)와 통신 가능하게 연결될 수 있다. 그러나, 통신 네트워크(50)의 종류가 이에 한정되는 것은 아니며, 통신 네트워크(50)는 그 이외에 로컬 영역 네트워크(Local Area Network: LAN), 광역 네트워크(Wide Area Network: WAN), 셀룰라 네트워크 또는 인터넷 등을 포함할 수 있다. 또한, 시선 추적 장치(102), 보조 입력 장치(104), 및 음성 입력 장치(106)는 각각 유선(예를 들어, 케이블 등)을 통해 표시 장치(108)와 통신 가능하게 연결될 수도 있다.
표시 장치(108)는 화상 표시 수단을 이용하여 화면 상에 컨텐츠를 표시한다. 이때, 화상 표시 수단은 다양한 형태의 컨텐츠를 시각적으로 표시하기 위한 것으로 예를 들어, LCD 패널, OLED 패널, PDP, 투명 디스플레이 등을 포함할 수 있다. 또한, 컨텐츠는 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등 화상 표시 수단을 이용하여 화면 상에 시각적으로 표시할 수 있는 다양한 형태의 컨텐츠를 포함할 수 있다. 예시적인 실시예에서, 표시 장치(108)는 사용자의 두부에 착용할 수 있도록 구성된 가상 현실 장치, 스마트 글래스(Smart Glass), 헤드 마운티드 디스플레이(Head Mounted Display, HMD)의 형태로 구현될 수 있다. 그러나, 이에 한정되는 것은 아니며, 표시 장치(108)는 그 이외에 스마트 TV, 스마트 폰, PDA, 퍼스널 컴퓨터, 랩톱 컴퓨터 등을 포함할 수 있다.
시선 추적 장치(102)는 사용자의 시선을 추적하여 표시 장치(108)로 시선 추적 정보를 전송할 수 있다. 여기서, 시선 추적 정보는 사용자의 시선을 추적하여 생성되는 정보로서, 예를 들어, 사용자의 현재 시선 위치, 시선 이동 방향, 소정 위치 응시 여부 등을 포함할 수 있다.
구체적으로, 시선 추적 장치(102)는 표시 장치(108)에 디스플레이되는 화면에서 사용자의 시선을 추적하여 사용자의 시선 위치를 산출하고, 이를 기반으로 시선 추적 정보를 생성할 수 있다. 예시적인 실시예에서, 표시 장치(108)가 사용자의 두부에 착용 가능한 형태인 경우, 시선 추적 장치(102)는 표시 장치(108)에 일체로 구현될 수 있다. 시선 추적 장치(102)는 다양한 형태의 센서 또는 카메라를 이용하여, 사용자의 시선 움직임 정보를 수집하고, 수집된 시선 움직임 정보를 이용하여 사용자의 시선 위치를 산출할 수 있다.
사용자 시선을 추적하기 위한 기술은 예를 들어, 비디오 분석 방식, 콘택트 렌즈 방식, 센서 부착 방식의 3가지 방식을 들 수 있다. 이 중 비디오 분석 방식은 카메라를 이용하여 촬영된 카메라 이미지의 실시간 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 위치를 계산한다. 콘택트 렌즈 방식은 거울이 내장된 콘택트 렌즈의 반사된 빛이나, 코일이 내장된 콘택트 렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하며, 눈을 감고 있는 경우(수면 등)에도 눈의 움직임 검출이 가능하다. 다만, 본 발명의 실시예들은 특정한 시선 추적 방식 내지 알고리즘에 한정되는 것은 아님을 유의한다.
사용자는 표시 장치(108)에서 컨텐츠 제어 메뉴 표시 또는 컨텐츠 화면 제어 등의 입력 제어가 수행되도록, 기 설정된 시선 처리 패턴에 대응되는 시선 처리를 하여 시선 추적 장치(102)를 통해 시선 추적 정보를 발생시킬 수 있다.
보조 입력 장치(104)는 사용자의 입력에 따라 보조 입력 신호를 발생하여 표시 장치(108)로 송신할 수 있다. 보조 입력 장치(104)는 사용자가 누를 수 있는 기계식(또는 압력식) 버튼이 구비된 장치(예를 들어, 마우스 또는 키보드 등)일 수 있으나, 이에 한정되는 것은 아니며 사용자의 터치에 의해 보조 입력 신호를 발생시키도록 구현될 수도 있다. 예시적인 실시예에서, 보조 입력 장치(104)는 사용자의 휴대성을 높이면서 조작 편의성을 높이기 위해 웨어러블 기기의 형태로 마련될 수 있다. 예를 들어, 보조 입력 장치(104)는 반지형으로 형성된 마우스, 손에 파지가 가능한 형태의 마우스, 스마트 워치 등과 같은 형태로 마련될 수 있다.
또한, 보조 입력 장치(104)는 사용자의 제스처를 감지할 수 있는 장치일 수 있다. 이를 위해, 보조 입력 장치(104)는 제스처 인식 센서 또는 카메라를 구비할 수 있다. 이 경우, 사용자는 기 설정된 제스처를 취함으로써, 보조 입력 신호를 발생시킬 수 있다.
보조 입력 장치(104)는 사용자의 입력에 따라 보조 입력 신호를 표시 장치(108)로 송신할 수 있다. 여기서, 보조 입력 신호는 보조 입력 장치(104)에 의해 사용자의 입력이 발생하였음을 표시 장치(108)로 알려주는 신호를 의미할 수 있다. 예시적인 실시예에서, 보조 입력 장치(104)는 버튼을 구비하고 있는 장치인 것으로 설명하며, 이에 따라 보조 입력 신호는 사용자의 버튼 입력에 따른 신호인 것으로 설명하나 이에 한정되는 것은 아니다.
구체적으로, 보조 입력 장치(104)는 사용자의 버튼 입력이 있는 경우, 보조 입력 신호를 발생시켜 표시 장치(108)로 송신할 수 있다. 보조 입력 장치(104)는 사용자가 버튼을 누르는 순간 버튼 입력이 있음을 알리는 보조 입력 신호를 생성하여 표시 장치(108)로 송신하고, 사용자의 버튼 입력이 해제되는 순간 보조 입력 신호의 송신을 중지할 수 있다. 사용자는 표시 장치(108)로 보조 입력 신호를 송신하고자 하는 시점에 보조 입력 장치(104)의 버튼을 누름으로써, 시선 추적 장치(102)만을 이용했을 때 보다 정확한 입력 신호의 송신이 가능하게 된다.
음성 입력 장치(106)는 사용자의 음성을 입력 받고, 음성 입력 신호를 표시 장치(108)로 전송할 수 있다. 음성 입력 장치(106)는 마이크로폰(Microphone)을 포함할 수 있다. 음성 입력 장치(106)는 사용자의 음성의 진동에 따른 음성 입력 신호를 발생시키고, 발생된 음성 입력 신호를 표시 장치(108)로 전송할 수 있다. 음성 입력 장치(106)는 표시 장치(108)와 일체로 구현될 수도 있다.
사용자는 기 설정된 시선 처리 패턴에 대응되는 시선 처리를 하면서 보조 입력 장치(104)를 통해 보조 입력 신호를 발생시키거나 음성 입력 장치(106)를 통해 음성 입력 신호를 발생시킬 수 있다. 또는, 사용자는 기 설정된 시선 처리 패턴에 대응하는 시선 처리를 하면서 보조 입력 장치(104)를 통해 보조 입력 신호를 발생시키고 음성 입력 장치(106)를 통해 음성 입력 신호를 발생시킬 수도 있다. 이로써, 표시 장치(108)에서 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 다양한 조합에 따른 입력 제어가 수행되도록 할 수 있다.
표시 장치(108)는 화상 표시 수단을 이용하여 화면 상에 컨텐츠를 표시한다. 표시 장치(108)는 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합에 따라 기 설정된 입력 제어를 수행할 수 있다. 구체적으로, 입력 제어는 1) 시선 추적 정보 및 보조 입력 신호의 조합, 2) 시선 추적 정보 및 음성 입력 신호의 조합, 3) 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어로 구분될 수 있다. 한편, 본 명세서에서 보조 입력 신호 및 음성 입력 신호는 사용자 입력 신호로 총칭될 수 있다. 즉, 사용자 입력 신호에 보조 입력 신호와 음성 입력 신호가 포함될 수 있다. 또한, 보조 입력 장치(104) 및 음성 입력 장치(106)는 사용자 입력 장치로 총칭될 수 있다. 즉, 사용자 입력 장치에는 보조 입력 장치(104)와 음성 입력 장치(106)가 포함될 수 있다.
시선 추적 정보 및 보조 입력 신호의 조합에 따른 입력 제어
표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보 및 보조 입력 장치(104)로부터 수신한 보조 입력 신호를 기반으로 표시 장치(108)의 입력 제어를 수행할 수 있다.
구체적으로, 표시 장치(108)는 상기 수신한 시선 추적 정보를 통해 사용자의 시선 처리 패턴을 확인하고, 기 저장된 시선 처리 패턴과의 일치 여부를 확인할 수 있다. 여기서, 시선 처리 패턴이란 사용자의 현재 시선 위치, 시선의 일 방향에서 타 방향으로 이동(즉, 시선 이동 방향), 및 사용자의 시선의 기 지정된 지점의 응시(즉, 소정 위치 응시 여부) 중 적어도 하나를 포함하는 사용자의 시선 처리에 대한 패턴을 의미할 수 있다.
또한, 표시 장치(108)는 상기 수신한 보조 입력 신호를 통해 사용자의 보조 입력 신호 패턴을 확인하고, 기 저장된 보조 입력 신호 패턴과의 일치 여부를 확인할 수 있다. 예를 들어, 보조 입력 신호 패턴은 보조 입력 신호의 수신 지속 시간(즉, 보조 입력 지속 시간) 및 보조 입력 신호의 입력 횟수 등을 포함할 수 있다.
표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 기 저장된 시선 처리 패턴과 일치하고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 기 저장된 보조 입력 신호 패턴과 일치하는 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응되는 입력 제어를 수행할 수 있다.
예시적인 실시예에서, 표시 장치(108)는 사용자의 컨텐츠에 대한 몰입감 및 집중도를 높일 수 있도록 컨텐츠를 제어하기 위한 메뉴 등을 화면 상에 별도로 표시하지 않고, 실행되는 컨텐츠만을 화면 상에 전체 화면으로 제공할 수 있다. 이에 따라, 표시 장치(108)는 시선 추적 장치(102) 및 보조 입력 장치(104)로부터 각각 수신되는 시선 추적 정보 및 보조 입력 신호를 이용하여 그에 대응하는 입력 제어(예를 들어, 컨텐츠 제어 메뉴의 표시, 컨텐츠에 대한 화면 제어 등)를 수행함으로써, 표시 장치(108)의 입력 제어를 수행할 수 있다.
즉, 표시 장치(108)가 사용자의 두부에 착용할 수 있도록 구성된 가상 현실 장치, 스마트 글래스(Smart Glass), 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 등의 형태로 구현되는 경우, 화면에 메뉴를 표시하기 위한 입력이 어렵고, 컨텐츠에 대한 화면 제어를 수행하기 어렵다. 이에 따라, 표시 장치(108)는 사용자의 시선 추적 정보 및 보조 입력 신호를 통해 컨텐츠 제어 메뉴를 화면 상에 표시하는 입력 제어를 수행하거나, 컨텐츠에 대한 화면 제어를 수행할 수 있다.
# 제1 실시예
도 2는 본 발명의 일 실시예에 따른 표시 장치에서, 시선 추적 정보 및 보조 입력 신호의 조합에 따라 컨텐츠 제어 메뉴를 화면 상에 표시하는 상태를 나타낸 도면이다. 여기서는, 표시 장치(108)에서 실행되는 컨텐츠가 음악 플레이어인 경우를 일 예로 하였다.
도 2의 (a)를 참조하면, 표시 장치(108)의 화면에 음악 플레이어의 제어 메뉴가 별도로 표시되지 않고, 음악에 대한 배경 화면만 표시된 경우이다. 여기서, 표시 장치(108)는 시선 처리 패턴 및 보조 입력 신호 패턴에 따라 컨텐츠 제어 메뉴(즉, 음악 플레이어의 제어 메뉴)를 화면 상에 표시할 수 있다.
도 2의 (b)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 화면의 위에서 아래 방향으로 향하는 시선 이동 방향이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 입력 횟수 2회인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(여기서는, 상기 입력 제어가 제어 메뉴 표시인 것으로 함)를 수행할 수 있다. 즉, 표시 장치(108)는 화면의 위에서 아래 방향으로 향하는 시선 이동 방향 + 보조 입력 신호의 2회 입력에 대응하여 음악 플레이어의 제어 메뉴(예를 들어, 재생, 일시정지, 다음곡, 이전곡 등을 선택하는 메뉴)를 화면에 표시할 수 있다. 이때, 표시 장치(108)는 화면 상의 상측에서 하측으로(즉, 시선 처리 패턴의 시선 이동 방향으로) 음악 플레이어의 제어 메뉴가 스크롤 되어 표시되도록 할 수 있다.
다른 예로, 도 2의 (c)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 화면의 왼쪽에서 오른쪽 방향으로 향하는 시선 이동 방향이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간 2초인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(여기서는, 상기 입력 제어가 정보 관련 메뉴 표시인 것으로 함)를 수행할 수 있다. 즉, 표시 장치(108)는 화면의 왼쪽에서 오르쪽 방향으로 향하는 시선 이동 방향 + 보조 입력 지속 시간 2초에 대응하여 음악 플레이어의 정보 관련 메뉴(예를 들어, 곡정보, 담기, 다운, 종료 등을 선택하는 메뉴)를 화면에 표시할 수 있다. 이때, 표시 장치(108)는 화면 상의 좌측에서 우측으로(즉, 시선 처리 패턴의 시선 이동 방향으로) 정보 관련 메뉴가 스크롤 되어 표시되도록 할 수 있다.
한편, 표시 장치(108)는 입력 제어를 수행한 후, 기 설정된 시간 내에 입력되는 시선 추적 정보에 따라 이전에 수행한 입력 제어를 취소할 수 있다. 즉, 표시 장치(108)는 입력 제어 수행 후, 기 설정된 시간 내에 시선 추적 장치(102)로부터 수신된 시선 추적 정보가 이전에 수행한 입력 제어와 관련된 시선 추적 정보인 경우, 이전에 수행한 입력 제어를 취소할 수 있다.
여기서, 입력 제어를 수행하도록 한 시선 추적 정보가 시선 이동 방향인 경우, 이전에 수행한 입력 제어와 관련된 시선 추적 정보는 상기 시선 이동 방향과 반대 방향의 시선 이동을 의미할 수 있다. 또한, 입력 제어를 수행하도록 한 시선 추적 정보가 화면 상의 소정 위치의 응시인 경우, 이전에 수행한 입력 제어와 관련된 시선 추적 정보는 상기 화면 상의 소정 위치의 재응시를 의미할 수 있다. 이러한 입력 제어 취소 동작은 시선 추적 정보 및 보조 입력 신호의 조합에 의한 입력 제어뿐만 아니라 다른 입력 제어(즉, 시선 추적 정보 및 음성 입력 신호의 조합에 의한 입력 제어 및 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어 등)에도 동일 또는 유사하게 적용될 수 있다.
예를 들어, 도 2의 (b)에서와 같이 화면의 위에서 아래 방향으로 향하는 시선 이동 방향 + 보조 입력 신호의 2회 입력에 대응하여 음악 플레이어의 제어 메뉴를 화면에 표시하는 입력 제어를 수행한 후, 기 설정된 시간 내(예를 들어, 2초 이내)에 상기 입력 제어를 수행하도록 하는 시선 처리 패턴과 반대 방향의 시선 처리 패턴(즉, 화면의 아래에서 위 방향으로 향하는 시선 이동 방향)이 검출되는 경우, 표시 장치(108)는 이전에 수행하였던 입력 제어(즉, 제어 메뉴의 화면 표시)를 취소할 수 있다.
# 제2 실시예
도 3은 본 발명의 일 실시예에 따른 표시 장치에서, 시선 추적 정보 및 보조 입력 신호의 조합에 따라 컨텐츠에 대한 화면 제어를 수행하는 상태를 나타낸 도면이다. 여기서는, 표시 장치(108)에서 실행되는 컨텐츠가 영상 플레이어인 경우를 일 예로 하였다.
도 3의 (a) 및 (b)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 화면의 소정 위치를 3초 이상 응시하는 것이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간 3초인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(즉, 컨텐츠 화면 제어)를 수행할 수 있다.
즉, 표시 장치(108)는 상기 시선 처리 패턴에 의해 사용자의 시선이 응시하는 위치를 포커싱 영역으로 결정하고(도 3의 (a) 참조), 화면에서 포커싱 영역을 제외한 나머지 영역을 블러(Blur) 처리(도 3의 (b) 참조)하여 포커싱 영역이 시각적으로 구분되어 표시되도록 하는 컨텐츠 화면 제어를 수행할 수 있다. 이와 같이, 컨텐츠 화면 제어를 수행한 후, 기 설정된 시간 이내에 시선 추적 장치(102)로부터 수신된 시선 추적 정보가 상기 포커싱 영역을 재응시하는 것인 경우, 표시 장치(108)는 이전에 수행하였던 컨텐츠 화면 제어를 취소할 수 있다.
여기서, 포커싱 영역을 시각적으로 구분하여 표시하는 방식이 이에 한정되는 것은 아니며, 포커싱 영역의 색상, 밝기 등을 다른 영역과 달리하여 표시하는 것과 같이 사용자가 포커싱 영역과 다른 영역을 시각적으로 구분하여 인식할 수 있도록 하는 다양한 형태의 변형 실시예를 포함한다.
다른 예로, 도 3의 (a) 및 (c)를 참조하면, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 소정 위치를 3초 이상 응시하는 것이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간 2초인 경우, 상기 시선 처리 패턴 및 상기 보조 입력 신호 패턴의 조합과 대응하여 기 설정된 입력 제어(즉, 컨텐츠 화면 제어)를 수행할 수 있다.
즉, 표시 장치(108)는 상기 시선 처리 패턴에 의해 사용자의 시선이 응시하는 위치를 확대 영역으로 결정하고, 화면에서 해당 영역을 확대하여 표시되도록 하는 컨텐츠 화면 제어를 수행할 수 있다(도 3의 (c) 참조).
한편, 표시 장치(108)는 시선 추적 정보 및 보조 입력 신호의 조합에 따라 그 이외에 다양한 입력 제어를 수행할 수 있다. 예를 들어, 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴이 사용자의 시선 이동 방향이고, 보조 입력 신호에 의한 보조 입력 신호 패턴이 보조 입력 지속 시간인 경우, 표시 장치(108)의 화면이 사용자의 시선 이동 방향에 따라 보조 입력 지속 시간만큼 이동하도록 입력 제어를 수행할 수도 있다. 또한, 표시 장치(108)는 도 2의 (b)에서와 같이 음악 플레이어의 제어 메뉴가 표시된 경우, 사용자의 시선이 제어 메뉴 중 건너뛰기 메뉴를 응시하고, 보조 입력 신호가 1회 입력된 경우, 해당 메뉴를 실행하는 입력 제어를 수행할 수도 있다.
여기서는, 보조 입력 장치(104)가 버튼을 구비한 형태의 장치인 것을 일 예로 설명하였으나, 이에 한정되는 것은 아니며 보조 입력 장치(104)는 사용자의 제스처를 인식하는 장치일 수도 있다. 이때, 표시 장치(108)는 사용자의 시선 추적 정보에 의한 시선 처리 패턴 및 보조 입력 신호에 의한 사용자의 제스처의 조합을 기반으로 입력 제어를 수행할 수 있다. 예를 들어, 사용자의 시선 이동 방향에 따라 컨텐츠와 관련된 메뉴를 스크롤하여 표시하여 주다가, 사용자가 엄지와 검지를 맞대는 제스처를 취하면 스크롤되는 메뉴를 정지시키는 등의 입력 제어를 수행할 수 있다.
시선 추적 정보 및 음성 입력 신호의 조합에 따른 입력 제어
표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보 및 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 기반으로 표시 장치(108)의 입력 제어를 수행할 수 있다.
구체적으로, 표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보를 기반으로 표시 장치(108)의 화면 상에서 입력 제어 관련 대상을 검출할 수 있다. 여기서, 입력 제어 관련 대상은 표시 장치(108)에 의해 제어가 이루어지는 컨텐츠(예를 들어, 동영상, 이미지, 게임, 웹 페이지, 가상 현실, 증강 현실 등)일 수 있다. 또한, 입력 제어 관련 대상은 표시 장치(108)에서 클릭되어 실행되는 객체(예를 들어, 화면 상의 메뉴, 버튼 등)일 수 있다. 또한, 입력 제어 관련 대상은 표시 장치(108)에서 그 의미가 설명되도록 검색되는 객체(예를 들어, 단어, 이미지 등)일 수도 있다.
또한, 표시 장치(108)는 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 기반으로 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다. 즉, 표시 장치(108)는 수신한 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하고, 추출한 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다.
예를 들어, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면 상의 특정 단어를 응시하고 있고, 음성 입력 신호가 “이 단어의 뜻이 뭐지”인 경우, 사용자가 응시하고 있는 단어의 의미를 검색하여 화면에 표시하여 주거나 스피커를 통해 음성으로 출력할 수 있다. 이때, 표시 장치(108)는 상기 음성 입력 신호를 분석하여 사용자 제어 명령이 단어 의미 검색인 것임을 추출할 수 있다.
그러나, 이에 한정되는 것은 아니며 음성 입력 신호 대신에 사용자의 제스처가 보조 입력 신호로 수신될 수도 있다. 예를 들어, 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면 상의 특정 단어를 응시하고 있고, 보조 입력 신호에 따른 사용자의 제스처가 엄지와 검지를 맞대는 제스처인 경우, 표시 장치(108)는 사용자가 응시하고 있는 단어의 의미를 검색하여 화면에 표시하여 주거나 스피커를 통해 음성으로 출력할 수 있다.
또한, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면 상의 특정 이미지(예를 들어, 붉은 색 스포츠 카)를 응시하고 있고, 음성 입력 신호가 “이게 뭐지”인 경우, 사용자가 응시하고 있는 이미지를 검색하여 “붉은 색 스포츠 카는 테슬라 2017년형 모델입니다”는 결과를 화면에 표시하거나 음성 출력할 수 있다.
표시 장치(108)는 단어 의미 검색 또는 이미지 의미 검색 시, 인공 지능 엔진(Artificial Intelligence Engine)과 연동하여 동작될 수 있다. 즉, 표시 장치(108)는 음성 입력 신호에 의한 사용자 제어 명령이 단어 의미 검색 또는 이미지 의미 검색 등과 같은 객체 의미 검색인 경우, 표시 장치(108)와 연동된 인공 지능 엔진을 구동하여 객체 의미 검색을 수행할 수 있다. 이때, 표시 장치(108)는 보조 입력 신호의 수신 여부에 따라 인공 지능 엔진을 구동시킬 수 있다. 예를 들어, 표시 장치(108)는 시선 추적 정보, 음성 입력 신호, 및 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 객체 의미 검색을 수행하라는 사용자 제어 명령에 따라 인공 지능 엔진을 구동시킬 수 있다.
다시 말하면, 시선 추적 정보 및 음성 입력 신호 이외에 보조 입력 신호를 인공 지능 엔진을 활성화시키는 별도 입력 신호로 활용함으로써, 표시 장치(108)에서 사용자의 일반적인 음성과 입력 제어를 위한 음성을 명확히 구별하여 동작하도록 할 수 있다.
다른 예로, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 웹 사이트의 로그인 창을 응시하고 있고, 음성 입력 신호가 “웹 사이트에 로그인 해 줘”인 경우, 해당 웹 사이트의 아이디 및 패스워드를 검출한 후, 해당 웹 사이트의 아이디 및 패스워드를 입력하여 로그인을 수행할 수 있다.
또한, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 인터넷 뱅킹의 계좌 이체 버튼을 응시하고 있고, 음성 입력 신호가 “내 아내에게 10만원 이체해줘”인 경우, 사용자의 계좌에서 사용자의 아내의 계좌로 10만원을 이체하는 작업을 수행할 수 있다.
또한, 표시 장치(108)는 상기 수신한 시선 추적 정보에 의한 사용자의 시선 처리 패턴을 확인하고, 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 시선 처리 패턴 및 사용자 제어 명령에 기반한 입력 제어를 수행할 수 있다.
예를 들어, 표시 장치(108)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴이 화면의 위에서 아래 방향으로 향하는 시선 이동 방향이고, 음성 입력 신호가 “제어 메뉴를 화면에 표시해”인 경우, 현재 실행중인 컨텐츠(예를 들어, 음악 플레이어 등)의 제어 메뉴를 시선 이동 방향에 따라 스크롤하여 화면 상에 표시할 수 있다. 이때, 표시 장치(108)는 상기 음성 입력 신호를 분석하여 사용자 제어 명령이 제어 메뉴의 화면 표시인 것임을 추출할 수 있다.
시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어
표시 장치(108)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보, 보조 입력 장치(104)로부터 수신한 보조 입력 신호, 및 음성 입력 장치(106)로부터 수신한 음성 입력 신호를 기반으로 표시 장치(108)의 입력 제어를 수행할 수 있다. 예시적인 실시예에서, 보조 입력 신호는 표시 장치(108)에서 음성 입력 신호의 분석 기능을 활성화시키는 역할을 할 수 있다. 즉, 보조 입력 신호를 통해 사용자가 시선 추적 정보 및 음성 입력 신호를 기반으로 소정의 입력 제어를 하려고 한다는 사실을 표시 장치(108)에 명확히 인지시켜 줄 수 있다. 이때, 표시 장치(108)는 상기 기술한 시선 추적 정보 및 음성 입력 신호의 조합에 따른 입력 제어에 대한 실시예들에서, 보조 입력 신호가 추가로 수신되는 경우에 한해, 음성 입력 신호를 분석하여 그에 대응하는 입력 제어를 수행할 수 있다.
그러나, 이에 한정되는 것은 아니며 표시 장치(108)는 시선 추적 정보에 의한 시선 처리 패턴, 보조 입력 신호에 의한 보조 입력 신호 패턴, 및 음성 입력 신호에 의한 사용자 제어 명령의 조합에 의한 입력 제어를 수행할 수도 있다. 예를 들어, 시선 처리 패턴이 화면의 왼쪽에서 오른쪽으로의 시선 이동이고, 음성 입력 신호에 의한 사용자 제어 명령이 컨텐츠의 “재생 속도 증가”이며, 보조 입력 신호 패턴이 보조 입력 지속 시간 3초인 경우, 표시 장치(108)는 화면에 표시된 컨텐츠에 대해 3초 동안 빨리 감기를 수행하는 입력 제어를 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 표시 장치의 블록도이다. 도 4를 참조하면, 표시 장치(106)는 통신부(112), 음성 분석부(114), 입력 신호 처리부(116), 디스플레이부(118), 마커 표시부(120), 및 저장부(122)를 포함할 수 있다.
통신부(112)는 시선 추적 장치(102), 보조 입력 장치(104), 및 음성 입력 장치(106)와 각각 근거리 무선 네트워크(예를 들어, 블루투스, 와이파이 등)를 통해 무선 통신을 수행할 수 있다. 그러나, 이에 한정되는 것은 아니며, 통신부(112)는 케이블 또는 통신 버스 등을 통해 유선 통신을 수행할 수도 있다. 통신부(112)는 시선 추적 장치(102)로부터 시선 추적 정보를 수신할 수 있다. 또한, 통신부(112)는 보조 입력 장치(104)로부터 보조 입력 신호를 수신할 수 있다. 또한, 통신부(112)는 음성 입력 장치(106)로부터 음성 입력 신호를 수신할 수 있다.
음성 분석부(114)는 수신한 음성 입력 신호를 분석하여 사용자 제어 명령을 추출할 수 있다. 구체적으로, 음성 분석부(114)는 수신한 음성 입력 신호를 그에 대응하는 문자열로 변환한 후, 변환한 문자열을 분석하여 사용자 제어 명령을 추출할 수 있다.
입력 신호 처리부(116)는 통신부(112)로부터 수신되는 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호 중 적어도 2개의 조합에 따라 표시 장치(108)의 기 설정된 입력 제어를 수행할 수 있다. 예를 들어, 입력 신호 처리부(116)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴 및 보조 입력 신호에 의한 보조 입력 신호 패턴의 조합에 대응하는 입력 제어를 수행할 수 있다.
또한, 입력 신호 처리부(116)는 시선 추적 정보를 기반으로 표시 장치(108)의 화면 상에서 입력 제어 관련 대상을 검출하고, 음성 입력 신호를 기반으로 추출한 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행할 수 있다. 입력 신호 처리부(116)는 해당 입력 제어가 검색 동작을 수행하는 경우, 표시 장치(108)와 연동된 인공 지능 엔진을 구동시켜 검색 동작을 수행하고, 인공 지능 엔진으로부터 검색 결과를 수신할 수 있다.
또한, 입력 신호 처리부(116)는 시선 추적 정보에 의한 사용자의 시선 처리 패턴 및 음성 입력 신호에 의한 사용자 제어 명령에 기반하여 입력 제어를 수행할 수 있다. 입력 신호 처리부(116)는 보조 입력 장치(104)로부터 보조 입력 신호가 있는 경우(또는 보조 입력 신호에 의한 기 설정된 보조 입력 신호 패턴이 있는 경우), 음성 입력 신호로부터 사용자 제어 명령을 추출하는 분석 작업을 수행할 수 있다.
디스플레이부(118)는 화상 표시 수단을 이용하여 화면 상에 하나 이상의 컨텐츠(또는, 인터페이스 등)를 표시할 수 있다. 이때, 상기 화상 표시 수단은 액정 표시 장치(Liquid Crystal Display), 유기 발광 다이오드 디스플레이(Organic Light-Emitting Diode Display), 음극선관(Cathode Ray Tube), 플라즈마 디스플레이 등 일반적으로 시각적 정보를 전달하기 위한 전자 디스플레이를 포괄하는 의미이다.
마커 표시부(120)는 사용자의 현재 시선 위치를 디스플레이부(118)의 화면 상(이하, “화면 상”이라 칭함)에 표시할 수 있다. 예를 들어, 마커 표시부(120)는 화살표 모양, 또는 손가락 모양 등의 마커를 화면 상에 표시할 수 있다. 이때, 해당 마커의 위치는 시선 추적 장치(102)로부터 수신한 시선 추적 정보에 대응되는 위치일 수 있다.
마커 표시부(120)는 사용자의 현재 시선 위치를 항상 화면 상에 표시하는 것이 아니라, 사용자가 특정 위치를 일정 시간 이상 주시할 경우에만 표시하도록 구성될 수도 있다. 예를 들어, 사용자가 화면 상의 특정 위치를 일정 시간(예를 들어, 0.5초) 이상 주시하는 경우, 마커 표시부(120)는 화면 상의 사용자가 주시하는 위치를 반짝이게 하거나, 또는 해당 위치의 밝기, 색상 등을 변화시킴으로써 사용자가 자신이 어디를 주시하고 있는지를 알 수 있도록 할 수 있다.
한편, 일 실시예에서 마커 표시부(120)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보에 의하여 사용자가 특정 방향으로 시선을 이동한 것으로 판단된 경우, 마커를 통해 특정 방향으로 시선이 이동되었음을 화면 상에 표시할 수 있다. 구체적으로, 마커 표시부(120)는 시선 추적 장치(102)로부터 시선 추적 정보가 수신된 후, 기 설정된 시간(예를 들어, 2초) 이내에 보조 입력 장치(104)로부터 보조 입력 신호가 수신되지 않는 경우(또는 음성 입력 신호가 수신되지 않는 경우), 수신한 시선 추적 정보에 따른 시선 이동 방향에 따라 마커를 화면 상에서 이동하여 표시할 수 있다. 이 경우, 별도의 인터페이스 없이도 화면 상의 마커 표시 제어를 용이하게 수행할 수 있게 된다.
저장부(122)는 표시 장치(108)에서 사용하는 각종 정보를 저장할 수 있다. 저장부(122)는 시선 추적 정보 및 보조 입력 신호의 조합에 따른 입력 제어, 시선 추적 정보 및 음성 입력 신호의 조합에 따른 입력 제어, 시선 추적 정보, 보조 입력 신호, 및 음성 입력 신호의 조합에 따른 입력 제어를 각각 저장할 수 있다. 여기서는, 저장부(122)가 저장하고 있는 대표적인 예를 설명한 것일 뿐, 이에 한정하는 것은 아니며, 저장부(120)는 표시 장치(108)에 저장될 수 있는 모든 정보를 저장할 수 있음은 물론이다.
도 5는 본 발명의 일 실시예에 따른 입력 신호 처리 방법의 흐름도이다. 도면에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다. 또한 실시예에 따라 상기 방법에 도시되지 않은 하나 이상의 단계들이 상기 방법과 함께 수행될 수도 있다.
도 5를 참조하면, 표시 장치(108)는 시선 추적 장치(102)로부터 시선 추적 정보를 수신한다(S502). 구체적으로, 표시 장치(108)는 시선 추적 장치(102)로부터 사용자의 현재 시선 위치, 시선 이동 방향, 소정 위치 응시 여부 등이 포함된 시선 추적 정보를 수신할 수 있다.
다음으로, 표시 장치(108)는 수신한 시선 추적 정보가 입력 제어 수행에 사용되는 시선 처리 패턴인지 여부를 확인한다(S504). 구체적으로, 표시 장치(106)는 시선 추적 장치(102)로부터 수신한 시선 추적 정보에서 추출된 시선 추적 패턴이 기 저장된 입력 제어 수행에 사용되는 시선 처리 패턴인지 여부를 확인할 수 있다.
단계 S504 결과, 수신한 시선 추적 정보에서 추출한 시선 처리 패턴이 기 저장된 입력 제어 수행에 사용되는 시선 처리 패턴인 경우, 표시 장치(108)는 보조 입력 장치(104)로부터 보조 입력 신호가 수신되는지 여부를 확인한다(S506). 구체적으로, 표시 장치(108)는 시선 추적 장치(102)로부터 시선 추적 정보의 수신하는 시점부터 기 설정된 시간(예를 들어, 5초) 이내에 보조 입력 장치(104)로부터 보조 입력 신호가 수신되는지 여부를 확인할 수 있다. 만약, 보조 입력 장치(104)로부터 보조 입력 신호가 수신되지 않는 경우, 표시 장치(106)는 디스플레이의 화면 상에 마커(예를 들어, 커서 등)를 이동시키거나 표시할 수 있다.
단계 S506 결과, 보조 입력 장치(104)로부터 보조 입력 신호가 수신되는 경우, 표시 장치(108)는 수신된 보조 입력 신호가 기 저장된 입력 제어 수행에 사용되는 보조 입력 신호 패턴인지 여부를 확인한다(S508). 구체적으로, 표시 장치(108)는 수신한 보조 입력 신호에서 추출된 보조 입력 신호 패턴이 기 저장된 입력 제어 수행에 사용되는 보조 입력 신호 패턴인지 여부를 확인할 수 있다.
단계 S508 결과, 보조 입력 신호에서 추출한 보조 입력 신호 패턴이 기 저장된 입력 제어 수행에 사용되는 보조 입력 신호 패턴인 경우, 표시 장치(108)는 시선 처리 패턴 및 보조 시선 패턴에 대응하는 입력 제어를 수행한다(S510). 구체적으로, 표시 장치(108)는 현재 표시 장치(108)의 디스플레이 화면 상에 표시된 컨텐츠(또는, 인터페이스 등)를 확인하고, 상기 확인한 시선 처리 패턴 및 보조 입력 신호 패턴을 기반으로, 현재 디스플레이 화면 상에 표시된 컨텐츠의 입력 제어를 수행할 수 있다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 화면 상에 컨텐츠를 표시하는 장치(예를 들어, 표시 장치(108))일 수 있다. 또한, 컴퓨팅 장치(12)는 사용자의 시선을 추적하기 위한 장치(예를 들어, 시선 추적 장치(102))일 수 있다. 또한, 컴퓨팅 장치(12)는 사용자의 보조 입력을 확인하는 장치(예를 들어, 보조 입력 장치(104))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (17)

  1. 사용자의 시선을 추적하여 시선 추적 정보를 생성하고, 생성된 상기 시선 추적 정보를 전송하는 시선 추적 장치;
    사용자의 입력에 따라 사용자 입력 신호를 발생시키고, 발생된 상기 사용자 입력 신호를 전송하는 사용자 입력 장치; 및
    상기 시선 추적 정보 및 상기 사용자 입력 신호를 각각 수신하고, 상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 표시 장치를 포함하는, 입력 처리 시스템.
  2. 청구항 1에 있어서,
    상기 사용자 입력 장치는, 사용자로부터 음성을 입력 받아 음성 입력 신호를 생성하고, 생성된 상기 음성 입력 신호를 전송하는 제1 사용자 입력 장치를 포함하고,
    상기 표시 장치는, 상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하고, 상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하며, 상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하는, 입력 처리 시스템.
  3. 청구항 2에 있어서,
    상기 입력 처리 시스템은,
    상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고,
    상기 표시 장치는, 상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시키는, 입력 처리 시스템.
  4. 청구항 2에 있어서,
    상기 표시 장치는,
    상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지이고, 상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행하는, 입력 처리 시스템.
  5. 청구항 2에 있어서,
    상기 입력 처리 시스템은,
    상기 사용자의 입력에 따라 보조 입력 신호를 발생시키고, 발생된 상기 보조 입력 신호를 전송하는 제2 사용자 입력 장치를 더 포함하고,
    상기 표시 장치는,
    상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시키는, 입력 처리 시스템.
  6. 청구항 1에 있어서,
    상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고,
    상기 표시 장치는,
    상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행하는, 입력 처리 시스템.
  7. 청구항 1에 있어서,
    상기 표시 장치는,
    상기 입력 제어를 수행한 후, 기 설정된 시간 이내에 상기 시선 추적 장치로부터 시선 추적 정보가 수신되고, 수신된 상기 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시키는, 입력 처리 시스템.
  8. 청구항 1에 있어서,
    상기 표시 장치는,
    상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하고,
    상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 상기 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시키는, 입력 처리 시스템.
  9. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하는 표시 장치이고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하기 위한 명령;
    사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하기 위한 명령; 및
    상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하기 위한 명령을 포함하는, 표시 장치.
  10. 청구항 9에 있어서,
    상기 사용자 입력 신호는, 사용자로부터 음성을 입력 받아 생성된 음성 입력 신호를 포함하고,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보를 기반으로 화면 상에서 입력 제어 관련 대상을 검출하기 위한 명령;
    상기 음성 입력 신호를 분석하여 사용자 제어 명령을 추출하기 위한 명령; 및
    상기 사용자 제어 명령에 따라 상기 검출한 입력 제어 관련 대상에 대한 입력 제어를 수행하기 위한 명령을 포함하는, 표시 장치.
  11. 청구항 10에 있어서,
    상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고,
    상기 하나 이상의 프로그램들은,
    상기 보조 입력 신호의 수신 여부에 따라 상기 음성 입력 신호의 분석 기능을 활성화시키기 위한 명령을 더 포함하는, 표시 장치.
  12. 청구항 10에 있어서,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보를 기반으로 화면 상에서 상기 사용자가 응시하는 객체가 단어 또는 이미지인지 여부를 확인하기 위한 명령; 및
    상기 사용자 제어 명령이 상기 객체의 의미 검색인 경우, 상기 표시 장치와 연동된 인공 지능 엔진을 구동하여 상기 객체의 의미 검색을 수행하기 위한 명령을 포함하는, 표시 장치.
  13. 청구항 10에 있어서,
    상기 사용자 입력 신호는, 상기 사용자의 입력에 따라 발생된 보조 입력 신호를 더 포함하고,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보, 상기 음성 입력 신호, 및 상기 보조 입력 신호가 기 설정된 시간차 이내에 모두 수신되는 경우, 상기 사용자 제어 명령에 따라 상기 표시 장치와 연동된 인공 지능 엔진을 구동시키기 위한 명령을 포함하는, 표시 장치.
  14. 청구항 9에 있어서,
    상기 사용자 입력 신호는, 상기 사용자 입력 장치에서 상기 사용자의 제스처를 인식하여 발생되고,
    상기 하나 이상의 프로그램들은, 상기 입력 제어를 수행하기 위한 명령에서,
    상기 시선 추적 정보에 의한 시선 처리 패턴 및 상기 사용자의 제스처의 조합에 대응하는 기 설정된 입력 제어를 수행하는, 표시 장치.
  15. 청구항 9에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 입력 제어를 수행한 후, 상기 시선 추적 장치로부터 기 설정된 시간 이내에 시선 추적 정보가 수신되는지 여부를 확인하기 위한 명령; 및
    상기 시선 추적 정보가 수신된 경우, 상기 수신된 시선 추적 정보가 상기 입력 제어와 관련된 시선 추적 정보인 경우, 상기 수행한 입력 제어를 취소시키기 위한 명령을 더 포함하는, 표시 장치.
  16. 청구항 9에 있어서,
    상기 하나 이상의 프로그램들은,
    상기 시선 추적 정보에 의한 사용자의 시선이 화면의 특정 위치를 기 설정된 제1 시간 동안 주시하는 경우 상기 화면에서 상기 사용자의 시선에 대응하는 위치에 마커를 표시하기 위한 명령; 및
    상기 시선 추적 정보에 의해 사용자의 시선이 이동하는 것으로 판단되는 경우, 상기 제1 시간보다 길게 설정되는 제2 시간 이내에 상기 음성 입력 신호가 수신되지 않으면, 상기 사용자의 시선 이동 방향에 따라 상기 화면에서 상기 마커를 이동시키기 위한 명령을 더 포함하는, 표시 장치.
  17. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    시선 추적 장치로부터 사용자의 시선을 추적하여 생성된 시선 추적 정보를 수신하는 단계;
    사용자 입력 장치로부터 사용자의 입력에 따라 발생된 사용자 입력 신호를 수신하는 단계; 및
    상기 시선 추적 정보 및 상기 사용자 입력 신호를 기반으로 입력 제어를 수행하는 단계를 포함하는, 입력 처리 방법.
PCT/KR2017/004291 2016-04-21 2017-04-21 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 WO2017183943A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/166,450 US10423225B2 (en) 2016-04-21 2018-10-22 Display apparatus, and input processing method and system using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0048842 2016-04-21
KR20160048842 2016-04-21
KR10-2017-0051512 2017-04-21
KR1020170051512A KR101904889B1 (ko) 2016-04-21 2017-04-21 표시 장치와 이를 이용한 입력 처리 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/166,450 Continuation US10423225B2 (en) 2016-04-21 2018-10-22 Display apparatus, and input processing method and system using same

Publications (1)

Publication Number Publication Date
WO2017183943A1 true WO2017183943A1 (ko) 2017-10-26

Family

ID=60116204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/004291 WO2017183943A1 (ko) 2016-04-21 2017-04-21 표시 장치와 이를 이용한 입력 처리 방법 및 시스템

Country Status (1)

Country Link
WO (1) WO2017183943A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120116134A (ko) * 2011-04-12 2012-10-22 한국전자통신연구원 지능형 로봇 특성을 갖는 휴대형 컴퓨터 장치 및 그 동작 방법
KR20140117469A (ko) * 2012-01-04 2014-10-07 토비 테크놀로지 에이비 시선 상호작용을 위한 시스템
KR20140132246A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 오브젝트 선택 방법 및 오브젝트 선택 장치
US9152222B2 (en) * 2012-05-17 2015-10-06 Sri International Method, apparatus, and system for facilitating cross-application searching and retrieval of content using a contextual user model
US20150356971A1 (en) * 2014-06-06 2015-12-10 Microsoft Corporation Modification of visual content to facilitate improved speech recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120116134A (ko) * 2011-04-12 2012-10-22 한국전자통신연구원 지능형 로봇 특성을 갖는 휴대형 컴퓨터 장치 및 그 동작 방법
KR20140117469A (ko) * 2012-01-04 2014-10-07 토비 테크놀로지 에이비 시선 상호작용을 위한 시스템
US9152222B2 (en) * 2012-05-17 2015-10-06 Sri International Method, apparatus, and system for facilitating cross-application searching and retrieval of content using a contextual user model
KR20140132246A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 오브젝트 선택 방법 및 오브젝트 선택 장치
US20150356971A1 (en) * 2014-06-06 2015-12-10 Microsoft Corporation Modification of visual content to facilitate improved speech recognition

Similar Documents

Publication Publication Date Title
KR101904889B1 (ko) 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
WO2014030902A1 (en) Input method and apparatus of portable device
WO2019013517A1 (en) APPARATUS AND METHOD FOR VOICE CONTROL CONTEXT
WO2018128526A1 (en) System and method for augmented reality control
WO2013133618A1 (en) Method of controlling at least one function of device by using eye action and device for performing the method
WO2009150747A1 (ja) 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体
WO2011078540A2 (en) Mobile device and related control method for external output depending on user interaction based on image sensing module
WO2015178692A1 (en) Display apparatus, remote control apparatus, system and controlling method thereof
WO2014073825A1 (en) Portable device and control method thereof
WO2014157806A1 (en) Display device and control method thereof
WO2013133664A1 (ko) 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
WO2013133478A1 (en) Portable device and control method thereof
WO2017138777A1 (en) Method and electronic device for performing voice based actions
WO2011059202A2 (en) Display device and method of controlling the same
WO2015108234A1 (en) Detachable head mount display device and method for controlling the same
WO2015199288A1 (en) Glass-type terminal and method of controling the same
EP3915039A1 (en) System and method for context-enriched attentive memory network with global and local encoding for dialogue breakdown detection
WO2019124841A1 (ko) 전자 장치 및 스트로크 입력에 따른 기능 실행 방법
WO2016035940A1 (en) Display device and method of controlling therefor
WO2016080557A1 (ko) 웨어러블 디바이스 및 그 제어 방법
WO2020159302A1 (ko) 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2020045909A1 (en) Apparatus and method for user interface framework for multi-selection and operation of non-consecutive segmented information
WO2017183943A1 (ko) 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17786211

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25.02.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17786211

Country of ref document: EP

Kind code of ref document: A1