WO2016182090A1 - 안경형 단말기 및 이의 제어방법 - Google Patents

안경형 단말기 및 이의 제어방법 Download PDF

Info

Publication number
WO2016182090A1
WO2016182090A1 PCT/KR2015/004579 KR2015004579W WO2016182090A1 WO 2016182090 A1 WO2016182090 A1 WO 2016182090A1 KR 2015004579 W KR2015004579 W KR 2015004579W WO 2016182090 A1 WO2016182090 A1 WO 2016182090A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
specified object
information
function
external device
Prior art date
Application number
PCT/KR2015/004579
Other languages
English (en)
French (fr)
Inventor
조태훈
설지이
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/569,922 priority Critical patent/US10514755B2/en
Priority to PCT/KR2015/004579 priority patent/WO2016182090A1/ko
Priority to KR1020177029126A priority patent/KR102110208B1/ko
Publication of WO2016182090A1 publication Critical patent/WO2016182090A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention relates to an eyeglass terminal capable of executing various functions based on the user's gaze analysis.
  • Terminals may be divided into mobile / portable terminals and stationary terminals according to their mobility.
  • the spectacle terminal may be further classified into a handheld terminal and a vehicle mount terminal according to whether a user can directly carry it.
  • the terminal is implemented in the form of a multimedia player having complex functions such as taking a picture or video, playing a music or video file, playing a game or receiving a broadcast. have. Further, in order to support and increase the function of the terminal, it may be considered to improve the structural part and the software part of the terminal.
  • the glass type terminal mounted on the head of the user may correspond to a head mounted display HMD.
  • the display unit provided in a glass type terminal such as an HMD can provide various conveniences to the user by being combined with augmented reality technology, N screen technology, etc., beyond the simple image output function.
  • the technical problem of the present invention is to provide a control method capable of executing various functions related to a specific object existing in reality by using the gaze analysis of the user.
  • the display unit provided in the main body of the glasses type terminal, a camera for photographing the external environment, a sensing unit for detecting the user's eyes to the external environment and the user of the external environment The gaze is analyzed to specify an object to which the user's gaze is directed from an image corresponding to the external environment photographed by the camera, and based on an event related to the specified object being photographed through the camera, And a control unit for controlling the display unit such that a function icon associated with a preset function is located in a corresponding area corresponding to the area where the target is located.
  • the controller may execute a function associated with the function icon based on the selection input related to the function icon being received.
  • the selection input associated with the function icon may be received by the sensing unit when the user's gaze toward the function icon is detected, and the preset gesture of the user is detected.
  • the event related to the specified object may be a predetermined movement of the specified object captured by the camera.
  • the apparatus may further include a wireless communication unit, and the function icon may include a control icon associated with a function for controlling an external device corresponding to the specified object, and the controller may correspond to the specified object.
  • the wireless communication may be controlled to transmit a preset control command to the external device.
  • the controller may analyze the image of the specified object included in the image corresponding to the external environment, obtain identification information of the external device corresponding to the specified object, and identify the external device.
  • the wireless communication unit may be controlled to perform wireless communication with the external device using information.
  • the controller when the first gesture of the user is detected by a selection input related to the control icon, the controller transmits a first control command for requesting transmission of preset information to the external device, and controls the control.
  • the wireless communication unit may be controlled to transmit a second control command for outputting preset information from the external device to the external device.
  • the preset information received from the external device by the first control command is screen information being output to the display unit of the external device
  • the control unit may display the display unit of the external device by the wireless communication unit.
  • the screen information may be output to the display unit.
  • the control unit may control the wireless communication unit to transmit the screen information to a device different from the external device based on a specific input being applied while the screen information is output to the display unit.
  • the other device may be selected based on the gaze of the user sensed by the sensing unit.
  • the controller may select preset information to be output from the external device by the second control command based on a type of an event related to the specified object captured by the camera.
  • the function icon may include an information icon associated with a function for confirming information related to the specified object, and the controller may execute a function for confirming information related to the specified object. And analyzing the image of the specified object included in the image corresponding to the external environment to obtain information related to the specified object, and controlling the display unit to output at least a part of the information related to the specified object. can do.
  • the controller may adjust an output amount of information related to the specified object according to the number of objects included in the image corresponding to the external environment.
  • the function icon may include a data forming icon associated with a function of forming image data of the specified object, and the controller may be further configured to, when a selection input associated with the data forming icon is received.
  • the camera may be controlled to photograph the captured object, and the display unit may be controlled to output a preview image of the specified object photographed by the camera.
  • the controller may request to output an associated data image including motion information associated with movement of the specified target included in the preview image.
  • the display unit may control the display unit such that the associated data image overlaps the preview image and is output.
  • the controller may control the display unit to output information indicating the specific movement of the other object when a specific movement of the specified object is different from the specified object in the image corresponding to the external environment. Can be.
  • a control method of an eyeglass type terminal photographing an external environment by a camera, sensing a user's gaze to the external environment by a sensing unit, and a user's gaze to the external environment Analyzing the data, and identifying an object to which the user's gaze is directed from an image corresponding to the external environment, and based on the event related to the specified object being photographed through the camera;
  • the method may include positioning a function icon associated with a preset function in a corresponding corresponding area.
  • the method may further include receiving a selection input associated with the function icon and executing a function associated with the function icon based on the selection input being received.
  • the selection input related to the function icon may be received by detecting a preset gesture of the user in a state in which the user's gaze toward the function icon is detected by the sensing unit.
  • the executing of the function associated with the function icon may include analyzing an image of the specified object included in an image corresponding to the external environment, based on image analysis of the specified object. Acquiring information related to the specified object and executing a function associated with the function icon by using the information related to the specified object.
  • the event related to the specified object may be a predetermined movement of the specified object captured by the camera.
  • the spectacles-type terminal may provide an icon of a function that can be executed in relation to the specified object by specifying one object in an external environment through the user's gaze analysis. Accordingly, the user may intuitively be provided with information about a function executable in relation to the specified object without directly searching for information related to the specified object.
  • the user is provided with the convenience of executing various functions associated with the function icon by using a non-contact input such as changing a line of sight or a preset gesture.
  • FIG. 1 is a block diagram illustrating a mobile terminal related to the present invention.
  • FIG. 2A is a view of an eyeglass terminal according to an embodiment of the present disclosure, viewed from one direction
  • FIG. 2B is a conceptual view illustrating an optical unit included in the eyeglass terminal of FIG. 2A.
  • FIG. 3A is a flowchart illustrating a control method of providing a function icon associated with a specified object by a spectacle type terminal according to the present invention
  • FIG. 3B is a representative diagram for describing a control method of providing the function icon.
  • FIGS. 4A and 4B are diagrams illustrating an exemplary embodiment when a control icon linked to a function linked with an external device corresponding to the specified object is selected.
  • 5A and 5B illustrate an example of transferring information received from a first external device to a second external device.
  • FIGS. 6A and 6B illustrate an exemplary embodiment in which a glasses terminal controls the external device to output preset information from the external device.
  • FIG. 7A and 7B illustrate embodiments in which a function of forming data related to a specified object is executed.
  • 8A and 8B illustrate an example in which a function of confirming information related to a specified object is executed.
  • FIGS. 9A and 9B are diagrams illustrating an embodiment in which information is transmitted to each of a plurality of external devices from a spectacle type terminal.
  • FIG. 10 is a diagram illustrating an embodiment in which an eyeglass type terminal simultaneously receives information from a plurality of external devices.
  • FIG. 11 is a diagram illustrating an embodiment of providing a notch for an object different from a specified object based on a line of sight of a user within an angle of view of a camera.
  • the mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a controller 180, and a power source. It may include a supply unit 190 and the like.
  • the components shown in FIG. 1 are not essential to implementing the spectacle terminal according to the present invention, so the spectacle terminal described herein may have more or fewer components than those listed above.
  • the wireless communication unit 110 of the components between the mobile terminal 100 and a wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or the mobile terminal 100 And one or more modules that enable wireless communication between the server and an external server.
  • the wireless communication unit 110 may include one or more modules for connecting the mobile terminal 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of the broadcast receiving module 111, the mobile communication module 112, the wireless internet module 113, the short range communication module 114, and the location information module 115. .
  • the input unit 120 may include a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, an audio input unit, or a user input unit 123 for receiving information from a user. , Touch keys, mechanical keys, and the like.
  • the voice data or the image data collected by the input unit 120 may be analyzed and processed as a control command of the user.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the terminal, surrounding environment information surrounding the terminal, and user information.
  • the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • Optical sensors e.g. cameras 121), microphones (see 122), battery gauges, environmental sensors (e.g.
  • the spectacles-type terminal disclosed in the present specification may use a combination of information sensed by at least two or more of these sensors.
  • the output unit 150 is used to generate an output related to sight, hearing, or tactile sense, and includes at least one of a display unit 151, an audio output unit 152, a hap tip module 153, and an optical output unit 154. can do.
  • the display unit 151 forms a layer structure with or is integrally formed with the touch sensor, thereby implementing a touch screen.
  • the touch screen may function as a user input unit 123 that provides an input interface between the terminal 100 and the user, and may provide an output interface between the terminal 100 and the user.
  • the interface unit 160 serves as a path to various types of external devices connected to the terminal 100.
  • the interface unit 160 connects a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port.
  • the terminal 100 may perform appropriate control related to the connected external device.
  • the memory 170 stores data supporting various functions of the terminal 100.
  • the memory 170 may store a plurality of application programs or applications that are driven by the terminal 100, data for operating the terminal 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication.
  • at least some of these application programs may exist on the terminal 100 from the time of shipment for basic functions (for example, call incoming, outgoing, message receiving, and outgoing functions) of the terminal 100.
  • the application program may be stored in the memory 170 and installed on the terminal 100 to be driven by the controller 180 to perform an operation (or function) of the terminal.
  • the controller 180 In addition to the operation related to the application program, the controller 180 typically controls the overall operation of the terminal 100.
  • the controller 180 may provide or process information or a function appropriate to a user by processing signals, data, information, and the like, which are input or output through the above-described components, or by driving an application program stored in the memory 170.
  • controller 180 may control at least some of the components described with reference to FIG. 1 to drive an application program stored in the memory 170. In addition, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 to drive the application program.
  • the power supply unit 190 receives power from an external power source and an internal power source under the control of the controller 180 to supply power to each component included in the terminal 100.
  • the power supply unit 190 includes a battery, which may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of the terminal according to various embodiments described below.
  • the operation, control, or control method of the terminal may be implemented on the terminal by driving at least one application program stored in the memory 170.
  • FIG. 2A is a view of an eyeglass terminal according to an embodiment of the present disclosure, viewed from one direction
  • FIG. 2B is a conceptual view illustrating an optical unit included in the eyeglass terminal of FIG. 2A.
  • the spectacles-type terminal 200 may be configured to be worn on a head of a human body, and may include a frame part (case, housing, etc.) therefor.
  • the frame portion may be formed of a flexible material to facilitate wearing.
  • the frame part includes a first frame 201 and a second frame 202 of different materials.
  • the eyeglass terminal 200 may include a feature of the mobile terminal 100 of FIG. 1 or a similar feature thereof.
  • the frame part is supported by the head, and provides a space for mounting various components.
  • electronic components such as a controller 280, a sound output module 252, and the like may be mounted in the frame unit.
  • the frame portion may be mounted with a prism 251 ′ disposed adjacent to at least one of the left eye and the right eye.
  • the prism 251 ′ may be detachable.
  • the controller 280 is configured to control various electronic components provided in the eyeglass terminal 200.
  • the controller 280 may be understood as a configuration corresponding to the controller 180 described above.
  • the control part 280 is illustrated in the frame part on one side head.
  • the position of the controller 280 is not limited thereto.
  • the camera 221 is disposed adjacent to at least one of the left eye and the right eye, and is formed to capture an image of the front. Since the camera 221 is located adjacent to the eye, the camera 221 may acquire a scene viewed by the user as an image.
  • the glasses type terminal 200 displays a separate preview image when the image capturing function is executed. May not be output to.
  • the spectacles-type terminal 200 may include user input units 223a and 223b operated to receive a control command.
  • the user input units 223a and 223b may be adopted in any manner as long as the user is operating in a tactile manner such as touch or push.
  • the frame unit and the controller 280 are provided with push and touch input user input units 223a and 223b, respectively.
  • the user input unit 223b of the touch input method will be mainly described, and reference numeral 223 will be used.
  • the spectacles-type terminal 200 may include a microphone (not shown) that receives sound and processes it as electrical voice data, and a sound output module 252 that outputs sound.
  • the visual information 300 output through the display unit may be seen to overlap the general field of view with the virtual image 400 through the optical unit 130 and the prism 251 ′.
  • the spectacles type terminal 200 displays an augmented reality (AR) showing the virtual image 400 as a single image by superimposing the virtual image 400 on the image of the reality (or scene, background, and the user's general field of view) using the characteristics of the display.
  • AR augmented reality
  • the optical unit 130 may be embedded in the frame 101. That is, the optical unit 130 is not located in the user's field of view.
  • the optical unit 130 includes first and second lenses 131 and 132 and a zoom lens unit 133.
  • the virtual image 400 ′ formed by the optical unit 130 may be reflected by the prism 251 ′ and provided to the user's eyes.
  • the controller 280 forms the visual information 300 output from the display unit as a virtual image image 400 having various sizes based on a user's control command, and outputs the virtual image 400 to various positions. 130 may be controlled.
  • the display unit may output visual information 300 between the focus f of the first lens 131 of the optical unit 130 and the first lens 131. Accordingly, the virtual image 400 ′ of the visual information 300 is enlarged at a position opposite to the position where the visual information 300 is output, based on the focal point f of the first lens 131. Can be formed.
  • the virtual image 400 ′ may be visible to the user through the optical unit 130 and the prism 251 ′.
  • the virtual image 400 may be viewed in the virtual area 450 (or, the space or the virtual space) located in front of the user's eyes.
  • This may mean that the virtual image 400 of the visual information 300 is formed in the virtual region 450 (for example, the virtual region located in front of the eyes of the user) away from the main body.
  • the optical unit 130 is located in front of the virtual area 450 (for example, the eyes of the user gazing away from the main body) of the image 400 (the virtual image) of the visual information 300 output from the display unit.
  • Virtual area 450 (or a space)).
  • Related data may already be stored.
  • the sensing unit may detect a user gesture performed in the space (or around the glass type terminal 200) existing within a predetermined distance from the glasses type terminal 200 or the glasses type terminal 200.
  • the user gesture may mean an operation formed by a part of the user's body (for example, a finger, a hand, an arm, a leg, etc.) or an object (object, a stick, etc.).
  • the spectacles-type terminal may provide a control method for specifying a target based on a user's gaze to the external environment in a captured image of an external environment and executing a function related to the specified target.
  • the spectacles-type terminal according to the present invention may be applied when a teacher wearing the spectacles-type terminal looks at the plurality of students in a classroom environment including a plurality of students. That is, the eyeglass terminal may analyze the eyes of the teacher for the plurality of students, specify a student corresponding to the eyes of the teacher among the plurality of students as one object, and execute a function related to the specified object.
  • a control method can be provided.
  • the glasses-type terminal may output various function icons associated with a preset function to execute a function related to the specified object. Therefore, the user is provided with the convenience of executing various functions related to one object of the external environment only with a simple operation of changing the line of sight.
  • FIG. 3A is a flowchart illustrating a control method of providing a function icon associated with a specified object by a spectacle type terminal according to the present invention
  • FIG. 3B is a representative diagram for describing a control method of providing the function icon.
  • the external environment may be photographed by the camera of the spectacle terminal according to the present invention (S301).
  • the camera 221 of the spectacles-type terminal 200 may photograph the front of the eye of the user while the user is wearing the spectacles-type terminal 200.
  • the camera 221 may capture the external environment in real time according to a preset field of view.
  • the camera 221 may have a field of view corresponding to the viewing range of the user wearing the spectacles-type terminal 200.
  • the camera 221 mounted on the spectacles-type terminal 200 may photograph an external environment according to a preset angle of view.
  • the external environment may include a plurality of objects (1, 2, 3, 4).
  • the eyeglass terminal 200 may detect a user's gaze with respect to the external environment by using a sensing unit (S302).
  • the sensing unit may detect a gaze of a user wearing the spectacles-type terminal 200.
  • the sensing unit may include a plurality of sensors capable of sensing the gaze of the user.
  • the sensing unit may include a camera and may detect movement of the pupil of the user from the camera.
  • the camera 221 and the camera included in the sensing unit may be disposed at different positions of the spectacle terminal 200. That is, the camera included in the sensing unit may be disposed at a position capable of detecting the gaze of the user.
  • the sensing unit may include an infrared sensor.
  • the infrared sensor may detect the movement of the user's eyes with infrared rays reflected from the user's eyes.
  • the gaze of the user with respect to the external environment may be analyzed, and an object to which the user's gaze is directed may be specified from the captured image corresponding to the external environment (S303).
  • the controller 280 may analyze the gaze of the user detected by the sensing unit. For example, the gaze of the user may be analyzed by applying an image of the movement of the user's pupil captured by the camera included in the sensing unit to a preset gaze tracking algorithm. In this case, the direction of the user's gaze may be determined by analyzing the image of the infrared light reflected from the user's eyes.
  • the controller 280 may calculate the angle of the gaze of each of the two eyes of the user based on the position of the pupil of the user, and determine the direction and the distance of the gaze corresponding to the angle of the gaze.
  • the controller 280 may specify an object to which the gaze of the user is directed from an image corresponding to the external environment (S303).
  • the object may be a subject included in the external environment, and may include a person or a thing.
  • a plurality of students 1, 2, 3, and 4 included in the external environment eg, a classroom
  • the controller 280 may acquire direction or distance information to which the gaze of the user is directed by analyzing the gaze of the user, and may specify an object to which the gaze of the user is directed. That is, as shown in the second drawing of FIG. 3B, when the user's gaze toward the external environment is analyzed to be directed to one object 1, the controller 280 looks at the one object 1 to which the user's gaze is directed. It can be specified.
  • the controller 280 may determine whether an event related to the specified object is photographed through the camera 221.
  • the event may mean a predetermined movement of the specified target.
  • the controller 280 may determine that an event related to the specified object has occurred. In this case, the controller 280 may determine whether the eyes match with the user by using the direction in which the face image of the specified object is directed in the captured image corresponding to the external environment.
  • the controller 280 may determine the occurrence of an event related to the specified object based on the photographing of the predetermined movement of the specified object. That is, as shown in the third drawing of FIG. 3B, when the movement of raising the hand of the specified object 1 is photographed, the controller 280 may determine that an event related to the specified object 1 has occurred.
  • the controller 280 when it is photographed that a predetermined operation (eg, bowing down) of the specified object is maintained for a predetermined time, the controller 280 generates an event related to the specified object. You can judge.
  • a predetermined operation eg, bowing down
  • the controller 280 may display the display unit such that a function icon associated with a preset function is located in a corresponding area corresponding to the area where the specified object is located. 251 can be controlled.
  • the controller 280 may output a function icon related to a function executable in relation to the specified object to the display unit 251.
  • the function icon is a graphic object used to execute a function associated with the function icon, and a function executable in association with the function icon may be preset.
  • the function associated with the function icon may include all kinds of functions executable in the terminal.
  • the function icon may be an icon associated with a function for checking specific information about the specified object. That is, the function associated with the function icon may be a function for checking personal information, identification information, grade information, etc. of the specified object.
  • the function icon may be an icon associated with a function for generating information related to the specified object. That is, the function associated with the function icon may be a function (for example, a recording or recording function) for recording or acquiring a voice, an action or a movement, and a current state of the specified object.
  • a function for example, a recording or recording function
  • the function icon when there is an external device corresponding to the specified object, the function icon may be an icon associated with a function of controlling the external device by wireless connection with the external device. That is, the function icon is an icon associated with a function of transmitting a control command for outputting specific information from an external device corresponding to the specified object or transmitting a control command requesting reception of specific information to the external device. Can be.
  • controller 280 may determine an output position of the function icon on the display unit 251 such that the function icon is displayed to the user in an area adjacent to the region where the specified object is located.
  • the controller 280 uses the optical unit 130 to generate a virtual image of visual information output to the display unit 251. It may be output at a position away from the user within a viewing range of the user.
  • the virtual image forming area corresponding to the output area of the display unit 251 may be set within the viewing range of the user.
  • the virtual image of the visual information may be output in the virtual image forming area.
  • the virtual image of the visual information output in the virtual image forming area may be displayed to the user by overlapping with the external environment.
  • the controller 280 may control the display unit 251 to output the virtual image of the function icon to a corresponding area corresponding to the area where the specified object is located within the virtual image forming area.
  • the controller 280 may determine the location of the specified object within the viewing range of the user. That is, the distance and direction from the user to the point where the specified object is located may be determined based on the gaze analysis of the user.
  • controller 280 controls the function icon of the function icon on the display unit 251 so that the virtual image of the function icon is located in a corresponding area related to the identified position and orientation of the identified image. At least one of an output position, a size, and an output interval may be adjusted.
  • an area 401 for outputting a virtual image corresponding to an output area of the display unit 251 may be set within a viewing range of the user.
  • the controller 280 may display a function icon in a corresponding area corresponding to an area in which the specified object 1 is located in the virtual image forming area 401.
  • the display unit 251 may be controlled to position the virtual image of the image. Accordingly, the user may be provided with the virtual image of the function icons 10, 11, and 12 in the peripheral area of the specified object as shown in the fourth drawing of FIG. 3B.
  • the spectacles-type terminal may be formed in a light transmission at a position corresponding to at least one of both eyes of the user, may include a display unit for outputting visual information.
  • the user may look at the external environment through the light transmitting display unit.
  • the controller 280 may control the display unit such that the function icon is output to an area of the display unit corresponding to the gaze of the user.
  • the display unit may output a real-time captured image of an external environment at a position corresponding to each of both eyes of the user.
  • the controller may control the display unit to synthesize and output the function icon in one region corresponding to the specified object in the captured image image of the external environment.
  • the eyeglass terminal according to the present invention may specify an object of interest to the user even without a separate input from the user by using the captured image of the external environment and the user's gaze information.
  • the user by providing a function icon related to the specified object, the user can be provided with information about a function that can be executed in relation to the object of interest only by a simple operation such as changing the line of sight.
  • an eyeglass type terminal having a structure according to FIGS. 2A and 2B will be described as a main embodiment.
  • the eyeglass terminal according to the embodiment of the present invention is not limited to the structure of the eyeglass terminal described with reference to FIGS. 2A and 2B.
  • the virtual image of the function icon will be expressed in the same way as the function icon.
  • the user may execute a desired function by using the function icon. More specifically, in a state in which the function icon is output, the controller 280 may execute a function associated with the function icon based on a selection input related to the function icon from a user.
  • the selection input may be received in various ways. For example, when a preset gesture of a user is detected by the sensing unit while the function icon is output, the controller 280 may determine that the selection input has been received. That is, whether the user's eye blinking (at least one of the left eye and the right eye blinks, a preset number of blinks, etc.) is detected, or the user's preset hand gesture is detected. You can judge.
  • the sensing unit may include a plurality of sensors capable of sensing various gestures of the user.
  • the selection input may be received by a touch or push applied to a user input unit (for example, a touch key or a push key) provided in the spectacles-type terminal.
  • a user input unit for example, a touch key or a push key
  • the function icons may be linked to all kinds of functions executable in the terminal, and a plurality of functions icons may be output.
  • the controller 280 may select a function icon associated with a function to be executed by the user from among the plurality of function icons based on the gaze analysis of the user.
  • the eyes of the user may be analyzed to specify a function icon to which the eyes of the user are directed among the plurality of function icons.
  • the controller 280 may execute a function associated with the specified function icon based on the detection of the preset gesture of the user in the state where the function icon is specified.
  • 4A and 4B are diagrams illustrating an embodiment when a control icon associated with a function of controlling an external device corresponding to the specified object is selected.
  • the controller 280 may specify an object in the external environment based on the gaze analysis of the user. In this case, the controller 280 may give a specific visual effect to the specified object so that the user can recognize the specified object.
  • the controller 280 is configured to display a specific visual effect 1a at the position of the specified object in the region 401 of forming the virtual image corresponding to the output area of the display unit 251. ) May be controlled such that the display unit 251 overlaps.
  • the controller 280 may output a function icon associated with a function executable in relation to the specified object 1 to the display unit 251.
  • the function icons 10, 11, and 12 may be output in the corresponding region corresponding to the specified object in the formation region 401 of the virtual image. .
  • the controller 280 may analyze the eyes of the user and specify a function icon to which the eyes of the user are directed among the function icons 10, 11, and 12. .
  • control unit 280 displays the display unit (12a) so that the specified function icon 12 is distinctly displayed 12a based on the gaze of the user. 251 can be controlled.
  • the controller 280 may determine that a user's selection input for the function icon has been received.
  • the controller 280 when a certain function icon 12 is detected by the sensing unit in a state in which a function icon 12 is specified, the controller 280 is detected. ) May execute a function associated with the specified function icon 12.
  • the controller 280 may obtain information about the specified object for use in executing a function associated with the function icon. More specifically, the controller 280 may extract an image of the specified object from an image corresponding to the external environment, and analyze the image of the specified object. And, based on the image analysis of the specified object, it is possible to obtain information about the specified object.
  • the information about the specified object may be stored in the memory of the spectacles type terminal together with the image information of the specified object.
  • the controller 280 may control the wireless communication unit to obtain information about the specified object corresponding to the image of the specified object from an external server.
  • the function icon is a function of controlling an external device corresponding to the specified object
  • the information on the specified object may correspond to identification information of the external device for wirelessly connecting with the external device.
  • the controller 280 may control the wireless communication unit to wirelessly connect with the external device corresponding to the specified object 1 by using the acquired identification information of the external device.
  • the controller 280 may transmit a control command to the external device to transmit / receive information with the external device.
  • the type of control command for controlling the external device corresponding to the specified object may be determined based on an input for selecting the function icon.
  • the controller 280 may transmit a control command for receiving preset information from the external device to the external device when the first gesture by the user is detected while the function icon is specified.
  • a control command for outputting preset information may be transmitted to the external device.
  • a gesture for blinking one eye of the user may be detected by the sensing unit. Can be.
  • the controller 280 may transmit a control command for receiving preset information from the external device 100.
  • the preset information may be screen information currently being output to the display unit 151 of the external device 100.
  • the controller 280 may output the received screen information to the display unit 251.
  • the virtual image 20 of the screen information received from the external device 100 may be shown to the user in an overlapping state with the plurality of objects 1, 2, 3, and 4 located in the external environment.
  • the controller 280 may control the wireless communication unit to transmit predetermined information to the external device 100.
  • the preset information may be time information output to the display unit 151 of the external device 100.
  • the user can easily select a function icon associated with a function that he / she wants to execute among the plurality of function icons by using the gaze.
  • the user can selectively execute a detailed function related to one function.
  • the controller 280 may temporarily store the received information in a memory. At this time, the user may have a need to deliver the received information to another external device, to confirm the received information through a larger display unit, or to share it with others.
  • the spectacles-type terminal when the user receives additional input while the information received from the first external device is output to the display unit, the spectacles-type terminal receives the information received from the first external device from the second external device. It can provide the ability to share with devices.
  • an external device corresponding to the specified object will be referred to as a first external device and another external device as a second external device.
  • 5A and 5B illustrate an example of transferring information received from a first external device to a second external device.
  • information is received from a first external device, and the controller 280 may output the received information to the display unit 251.
  • the controller 280 may temporarily store the received information in a memory.
  • a specific input may be applied from the user.
  • the specific input may be a touch input applied to the main body of the spectacles-type terminal 200.
  • the controller 280 may terminate the output of the received information from the display unit 251. . Accordingly, in the field of view of the user, the virtual image 21 of the received information may disappear. In addition, based on the touch input applied to the spectacles-type terminal, the controller 280 may activate the camera 221 to photograph the front (external environment).
  • the controller 280 may control the sensing unit to detect the gaze of the user when the touch input is released.
  • the controller 280 may move the gaze of the user based on the gaze analysis of the user in a captured image corresponding to an external environment captured by the camera 221. You can specify an object.
  • the object may be a subject included in the external environment like the target.
  • the object may be a second external device.
  • the controller 280 may analyze an image of a second external device corresponding to the object, and obtain identification information corresponding to the second external device.
  • the identification information corresponding to the second external device may be pre-registered in the memory together with the image of the second external device.
  • controller 280 may control the wireless communication unit to transmit the information received from the first external device to the second external device.
  • the information received from the first external device is transmitted to the second external device 500 as shown in the third drawing of FIG. 5A, and the second external device transmits the received information 21a to the second. It can be output to the display unit of the external device 500.
  • the user may apply the received information to the second external device only by applying a touch to the main body of the eyeglass terminal and changing the line of sight while the information received from the first external device is output to the display unit.
  • the user maintains a gaze toward the second external device 300 when the user maintains a touch on the spectacles-type terminal and releases the touch, thereby receiving information received from the first external device from the second external device. Can be passed to 300.
  • the information received from the first external device may be output together with the previously output information. That is, as shown in the third drawing of FIG. 5B, the display unit 351 of the second external device 300 is divided into a plurality of areas, and the information 22 and the information 22 previously outputted on the display unit 351 of the second external device 300. The information 21a received from the first external device may be output together.
  • the user may check the information received from the first external device by comparing the information received from the second external device with the information previously output from the second external device.
  • the method of outputting information received from the first external device to the display unit of the second external device may be changed by setting of the eyeglass terminal or the second external device.
  • the controller 280 may form a control command to output preset information from an output unit of the external device.
  • the preset information may include all kinds of information that can be output to the output unit of the external device.
  • the preset information may include visual information that can be output through a display unit of the external device, auditory information that can be output through an audio output unit, and vibration of a preset method that can be output through a haptic module of the external device. This may be included.
  • the controller 280 may select information to be output from the external device among various information output from the external device based on various conditions. This will be described with reference to FIGS. 6A and 6B.
  • FIGS. 6A and 6B illustrate an exemplary embodiment in which a glasses terminal controls the external device to output preset information from the external device.
  • the controller 280 may determine that the user's gaze is in an image corresponding to an external environment captured by the camera 221. You can specify the object to be directed.
  • controller 280 may detect that an event related to the specified object has occurred in the captured image corresponding to the external environment by the camera 221.
  • the event related to the specified object may be defined as various movements related to the specified object, such as detecting a predetermined movement of the specified object or detecting that the predetermined movement is maintained for a predetermined time.
  • the controller 280 detects that the bowing operation of the specified object 1 is maintained for a predetermined time through the camera 221. can do.
  • the user may view the virtual image of the function icon output on the display unit 251 in the corresponding area corresponding to the specified object as shown in the second drawing of FIG. 6A.
  • the user may apply a preset gesture (nod gesture) while keeping an eye on the function icon for controlling the external device.
  • the controller 280 may transmit a control command for outputting preset information from the external device 100 according to the preset gesture.
  • the preset information may be determined by the type of event related to the specified target. That is, the controller 280 may select the type of information to be output from the external device based on the type of event related to the specified object.
  • the user can directly specify the type of information to be transmitted to the external device using voice.
  • the controller 228 may analyze the voice input together with the selection gesture and select a type of information to be transmitted to the external device 100 by the selection gesture.
  • the information 23 transmitted to the external device 100 may be output to the display unit 151 of the external device 100. Accordingly, the user is provided with the convenience of transmitting a desired information to the external device according to the selection gesture by inputting a voice together with a selection gesture for executing a function of controlling an external device.
  • the function icon may be a data forming icon associated with a function of forming data related to the specified object.
  • exemplary embodiments related to this will be described with reference to FIGS. 7A and 7B.
  • FIG. 7A and 7B illustrate embodiments in which a function of generating information related to a specified object is executed.
  • the spectacles-type terminal 200 may execute a function associated with a specific function icon 10 based on a gaze analysis of a user.
  • the function associated with the function icon 10 may be a data forming icon for forming the image data for the specified object (5).
  • control unit 280 is a one-eye gesture (eg, as shown in the second drawing of FIG. 7A) from the user in a state where the user's gaze is detected toward the function icon 10.
  • a blinking gesture When a blinking gesture is detected, the data forming function may be executed.
  • the controller 280 may control the camera 221 to photograph the specified object based on the detection of the preset gesture of the user.
  • the controller 280 may output the preview image 25 photographed with respect to the specified object 5 to the display unit 251 in real time.
  • the preview image 25 may be shown to the user through the virtual image forming area 401 corresponding to the output area of the display unit.
  • the controller 280 may control the camera 221 such that the photographing of the specified object 5 is performed for a preset time.
  • the controller 280 may detect the predetermined object 5 when the preset gesture of the user is detected while the photographing of the specified object 5 is being performed, as shown in the second drawing of FIG. 7B. You can stop shooting.
  • the image data for the specified object 5 may be formed by the image photographed from when the photographing is performed to when it is stopped.
  • the controller 280 may search for related data including motion information associated with the movement of the specified object 5 included in the preview image.
  • the associated data may include pre-formed image data of the specified object including the associated motion information or image data of another object including the related motion information.
  • the related data may be previously stored in a memory of the spectacles-type terminal 200 or may be received from an external server based on a specific input of the user.
  • the controller 280 may overlap the association data with the preview image so as to compare the association data with the preview image.
  • the controller 280 may select a section including a movement related to the movement of the specified object in the associated data section.
  • the controller 280 may control the display unit 251 such that the section selected from the related data and the movement section of the specified target correspond to each other in the preview image.
  • the user may form image data of one object located in an external environment by using the gaze, or compare related data related to the one object with the formed image data.
  • sub-menu icons for various functions that can be executed in relation to the function icon may be output.
  • the submenu icon may be secondarily selected based on the detection of the user's gaze and a specific operation, and thus a function associated with the selected submenu icon may be executed.
  • the function icon may be an information icon associated with a function for checking information related to the specified object. This will be described with reference to FIGS. 8A and 8B.
  • 8A and 8B illustrate an example in which a function of confirming information related to a specified object is executed.
  • the object 1 is specified, and as shown in the second drawing of FIG. 8A, an area in which the specified object 2 is located and
  • the function icons 10, 11, and 12 may be located in the corresponding areas.
  • a function icon 10 associated with a function for confirming information related to the specified object may be specified based on a user's gaze.
  • the controller 280 may output information related to the specified object to the display unit 251. .
  • the information related to the specified object may include all kinds of information for identifying the specified object, such as personal information and grade information of the specified object.
  • the controller 280 may display the information 27a related to the specified object in one area corresponding to the area where the specified object is located, similarly to the function icon.
  • the unit 251 may be controlled.
  • the controller 280 may determine an output amount of information related to the specified object according to the number of objects included in a field of view range of the camera 221.
  • the camera 221 photographs the external environment by using a preset field of view
  • the camera 221 is moved by the camera 221 as a distance between the user and objects included in the external environment is changed.
  • the number of objects to be photographed may vary.
  • FIG. 8A when a user is relatively far from objects included in the external environment, four objects may be included within a field of view range of the camera.
  • FIG. 8B when the user is relatively close to the objects included in the external environment, two objects may be included in the field of view range of the camera 221.
  • the controller 280 may output the amount of information 27b when the number of objects included in the field of view range of the camera 221 is small.
  • the display unit 251 may be controlled to be larger than the output amount 27a of information when a large number of objects are included in a field of view range of the camera 221.
  • the user looks at the specified object through the formation area 401 of the virtual image corresponding to the output area of the display unit 251, the user may be provided with an appropriate amount of information within his or her viewing range. .
  • the spectacles-type terminal may perform wireless communication with a plurality of external devices included within a predetermined distance from the spectacles-type terminal.
  • the eyeglass type terminal may simultaneously transmit information to each of the plurality of external devices or receive information from each of the plurality of external devices based on the detection of the user's gaze and a predetermined movement.
  • the spectacles-type terminal may enter a specific mode and be wirelessly connected to each of a plurality of external devices that are registered in the spectacles-type terminal.
  • FIGS. 9A and 9B are diagrams illustrating an embodiment in which information is transmitted to each of a plurality of external devices from a spectacle type terminal.
  • the spectacles-type terminal may set an operation mode with settings.
  • the spectacle terminal may operate in a first mode capable of transmitting and receiving specific information with an external device or a second mode capable of simultaneously transmitting and receiving specific information with each of a plurality of external devices by setting.
  • the controller 280 may control the wireless communication unit to wirelessly connect with a plurality of external devices included within a predetermined distance from the spectacle type terminal 200.
  • identification information corresponding to each of the plurality of external devices may be registered in advance in the eyeglass terminal.
  • the controller 280 may control the camera 221 to capture an external environment and control the sensing unit to detect a user's gaze to the external environment. have.
  • the controller 280 may take an external environment captured by the camera 221.
  • the object to which the user's gaze is directed may be specified from the captured image corresponding to.
  • the controller 280 may acquire the screen information 30 output to the display unit of the external device 500 through image analysis of the external device 500 corresponding to the specified object. For example, the controller 280 may obtain identification information corresponding to the external device 500 and receive the screen information 30 from the external device 500. As another example, the controller 280 may acquire a captured image of the screen information 30 using the camera 221.
  • the controller 280 may be configured to move a user's preset movement (hand in one direction) while the user's gaze is directed toward the external device 500.
  • the screen information 30 may be transmitted to a plurality of external devices.
  • the screen information 30 may be transmitted to a plurality of external devices 100 and 100 ′ pre-registered in the eyeglass terminal 200.
  • the terminal 300 of the user may be specified as one external device to which the user's eyes are directed.
  • the controller 280 displays the information 28 output on the display unit 351 of the terminal 300 of the user. It can transmit to the external devices 100 and 100 '.
  • the controller 280 may display the additional information formed by the user on the screen information 28 transmitted to each of the plurality of external devices 100 and 100 '. Can be controlled.
  • the additional information formed by the user may be information corresponding to content highlighted based on the user's gaze, voice, etc. among contents included in the screen information 28.
  • the controller 280 uses the information included in the area 28a specified by the user's gaze in the screen information 28 as the additional information. 100, 100 ').
  • the additional information may be highlighted and displayed on the screen information 28 output to the display unit of each of the plurality of external devices 100 and 100 ′.
  • the controller 280 adds at least a portion of the screen information 28 corresponding to the user's voice.
  • Information may be transmitted to the plurality of external devices 100 and 100 '.
  • the controller 280 may simultaneously transmit information to a plurality of external devices included within a predetermined distance from the spectacle type terminal based on the user's gaze or a predetermined movement. In addition, by transmitting additional information highlighted by the user among the information transmitted to the plurality of external devices, it may provide convenience to the user corresponding to each of the plurality of external devices.
  • the eyeglass type terminal may receive information from each of a plurality of externally connected external devices. This will be described with reference to FIG. 10.
  • FIG. 10 is a diagram illustrating an embodiment in which an eyeglass type terminal simultaneously receives information from a plurality of external devices.
  • the user's gaze toward the external environment may be detected, and the user's preset gesture (a gesture of blinking both eyes) may be detected.
  • the controller 280 may receive information output to the display units of the plurality of external devices 100a, 100b, 100c, and 100d at one time by using the wireless communication unit.
  • the controller 280 may include summary information about information received from each of the plurality of external devices 100a, 100b, 100c, and 100d corresponding to each of the plurality of external devices 100a, 100b, 100c, and 100d.
  • the display unit 251 may be controlled to be output to a peripheral area of the object.
  • the information received from each of the plurality of external devices 100a, 100b, 100c, and 100d may be information input by a user corresponding to each of the plurality of external devices 100a, 100b, 100c, and 100d.
  • the problem solving information for the mathematical problem For example, the controller 280 analyzes the information received from each of the plurality of external devices 100a, 100b, 100c, and 100d, and compares the summary information (if the problem solving information is corrected, the correct answer to the problem solving information). Information indicating whether or not) can be determined.
  • the summary information 29a, 29b, 29c, and 29d is stored in an area corresponding to an area where an object corresponding to each of the plurality of external devices 100a, 100b, 100c, and 100d is located. Each can be located.
  • one external device or a plurality of external devices may be controlled according to a mode set in the spectacles-type terminal.
  • a user wearing the spectacles-type terminal can easily control the external device or a plurality of external devices by using a simple gesture of changing a gaze or an operation.
  • the spectacle terminal according to the present invention may detect a specific movement of the one object and the other object within the angle of view of the camera 221.
  • an embodiment related to this will be described with reference to FIG. 11.
  • FIG. 11 is a diagram illustrating an embodiment of providing a notch for an object different from a specified object based on a line of sight of a user within an angle of view of a camera.
  • the controller 280 may be a region where the one object 1 is located.
  • the function icon may be output to the corresponding area corresponding to the.
  • a specific movement of one object 1 and another object 4 to which the user's eyes are directed may be detected by the camera 221.
  • the other object 4 may move in a specific motion, such as raising a hand or getting up from a seat.
  • the controller 280 controls the display unit 251 to output a notch 4a for notifying the specific movement to a region related to the region where the other object 4 is located. Can be controlled. Therefore, the user can easily grasp the movement with respect to the other object 4 which has not been sensed even in the state where the gaze is fixed to the one object 1.
  • the spectacles-type terminal may provide an icon of a function that can be executed in relation to the specified object by specifying one object in an external environment through the user's gaze analysis. Accordingly, the user may intuitively be provided with information about a function executable in relation to the specified object without directly searching for information related to the specified object.
  • the user is provided with the convenience of executing various functions associated with the function icon by using a non-contact input such as changing a line of sight or a preset gesture.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include the controller 180 of the terminal. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시 예에 따른 안경형 단말기는 사용자의 시선에 근거하여 외부의 일 대상을 특정하고, 상기 특정된 대상과 관련된 기능을 수행할 수 있다. 보다 구체적으로, 본 발명의 일 실시 예에 따른 안경형 단말기는, 상기 안경형 단말기의 본체에 구비되는 디스플레이부, 외부환경을 촬영하는 카메라, 상기 외부환경에 대한 사용자의 시선을 감지하는 센싱부 및 상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 카메라에 의해 촬영된 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하고, 상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

안경형 단말기 및 이의 제어방법
본 발명은 사용자의 시선 분석에 근거하여 다양한 기능을 실행할 수 있는 안경형 단말기에 관한 것이다.
단말기(terminal)는 이동 가능 여부에 따라 안경형 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 안경형 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기는 기능이 다양화됨에 따라, 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
최근 사람의 신체의 일부에 장착가능 하도록 형성되는 웨어러블형(wearable-type) 안경형 단말기가 개발되고 있다. 사용자의 두부에 장착되는 안경형(glass type) 단말기는 헤드 마운티드 디스플레이(HMD)에 해당될 수 있다. HMD와 같은 안경형(glass type) 단말기에 구비된 디스플레이부는 단순한 영상출력 기능을 넘어 증강 현실기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.
또한, 상기 안경형 단말기가 두부에 장착되는 특성을 이용하여 사용자의 시선 분석을 이용한 제어방법에 대한 연구가 활발히 진행되고 있다. 일 예로, 상기 사용자의 시선을 트래킹하여 정보를 특정하거나 검색하는 등의 간단한 기능이 있을 수 있다.
한편, 현실에 존재하는 특정인을 대상으로 하여 어느 일 기능을 실행하는 경우, 예를 들어, 상기 특정인의 정보를 검색하거나, 상기 특정인과 정보를 공유하는 등의 기능 실행을 위하여는 사용자는 직접 입력을 인가해야 하는 불편함이 있었다. 또한, 사용자의 시선만으로 상기 특정인과의 관계에서 다양한 기능을 실행하는데는 한계가 있었다.
이에 본 발명의 기술적 과제는 사용자의 시선 분석을 이용하여 현실에 존재하는 특정 대상과 관련된 다양한 기능을 실행할 수 있는 제어방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 안경형 단말기는, 안경형 단말기의 본체에 구비되는 디스플레이부, 외부환경을 촬영하는 카메라, 상기 외부환경에 대한 사용자의 시선을 감지하는 센싱부 및 상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 카메라에 의해 촬영된 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하고, 상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부를 제어하는 제어부를 포함할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 기능 아이콘과 관련된 선택 입력이 수신되는 것에 근거하여, 상기 기능 아이콘에 연계된 기능을 실행할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘과 관련된 선택 입력은, 상기 센싱부에 의하여, 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것으로 수신될 수 있다.
일 실시 예에 있어서, 상기 특정된 대상과 관련된 이벤트는, 상기 카메라를 통해 촬영되는 상기 특정된 대상의 기 설정된 움직임일 수 있다.
일 실시 예에 있어서, 무선통신부를 더 포함하고, 상기 기능 아이콘은, 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능에 연계된 제어 아이콘을 포함하며, 상기 제어부는, 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능이 실행되는 경우, 상기 외부 기기로 기 설정된 제어명령을 전송하도록 상기 무선통신을 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 외부환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상에 대응되는 외부 기기의 식별정보를 획득하고, 상기 외부 기기의 식별정보를 이용하여 상기 외부 기기와의 무선통신을 수행하도록 상기 무선통신부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 제어 아이콘과 관련된 선택 입력으로 사용자의 제1 제스처가 감지되는 경우, 기 설정된 정보의 전송을 요청하는 제1 제어명령을 상기 외부 기기로 전송하고, 상기 제어 아이콘과 관련된 선택 입력으로 사용자의 제2 제스처가 감지되는 경우, 상기 외부 기기에서 기 설정된 정보를 출력시키는 제2 제어명령을 상기 외부 기기로 전송하도록 상기 무선통신부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제1 제어명령에 의하여 상기 외부 기기로부터 수신되는 기 설정된 정보는, 상기 외부 기기의 표시부에 출력중인 화면정보이며, 상기 제어부는, 상기 무선통신부에 의하여 상기 외부 기기의 표시부에 출력중인 화면정보가 수신되면, 상기 화면정보를 상기 디스플레이부에 출력시킬 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부에 상기 화면정보가 출력된 상태에서 특정 입력이 인가되는 것에 근거하여 상기 외부 기기와 다른 기기로 상기 화면정보를 전송하도록 상기 무선통신부를 제어하고, 상기 다른 기기는, 상기 센싱부에 의하여 감지된 사용자의 시선에 근거하여 선택될 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 카메라를 통해 촬영되는 상기 특정된 대상과 관련된 이벤트의 종류에 근거하여, 상기 제2 제어명령에 의하여 상기 외부 기기에서 출력할 기 설정된 정보를 선택할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘은, 상기 특정된 대상과 관련된 정보를 확인하는 기능에 연계된 정보 아이콘을 포함하고, 상기 제어부는, 상기 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우, 상기 외부 환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상과 관련된 정보를 획득하고, 상기 획득된 특정된 대상과 관련된 정보의 적어도 일부가 출력되도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 외부 환경에 대응되는 영상에 포함된 대상의 수에 따라 상기 특정된 대상과 관련된 정보의 출력양을 조절할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘은, 상기 특정된 대상에 대한 영상 데이터를 형성하는 기능에 연계된 데이터 형성 아이콘을 포함하고, 상기 제어부는,상기 데이터 형성 아이콘과 관련된 선택 입력이 수신되면 상기 특정된 대상을 촬영하도록 상기 카메라를 제어하고, 상기 카메라에 의하여 촬영되는 상기 특정된 대상에 대한 프리뷰 영상이 출력되도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부에 상기 프리뷰 영상이 출력된 상태에서, 상기 프리뷰 영상에 포함된 상기 특정된 대상의 움직임과 연관된 움직임 정보를 포함하는 연관 데이터 영상의 출력 요청이 있으면, 상기 프리뷰 영상에 상기 연관 데이터 영상이 오버랩되어 출력되도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 외부환경에 대응되는 영상에서 상기 특정된 대상과 다른 대상에 대한 특정 움직임이 감지되면, 상기 다른 대상의 특정 움직임을 알리는 정보가 출력되도록 상기 디스플레이부를 제어할 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기의 제어방법은, 카메라에 의하여 외부환경을 촬영하는 단계, 센싱부에 의하여 상기 외부환경에 대한 사용자의 시선을 감지하는 단계, 상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하는 단계 및 상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘을 위치시키는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘과 관련된 선택 입력을 수신하는 단계 및 상기 선택 입력이 수신되는 것에 근거하여 상기 기능 아이콘에 연계된 기능을 실행하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘과 관련된 선택 입력은, 상기 센싱부에 의하여 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것에 의하여 수신될 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘에 연계된 기능을 실행하는 단계는,상기 외부환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하는 단계, 상기 특정된 대상의 이미지 분석에 근거하여 상기 특정된 대상과 관련된 정보를 획득하는 단계 및 상기 획득된 특정된 대상과 관련된 정보를 이용하여 상기 기능 아이콘에 연계된 기능을 실행하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 특정된 대상과 관련된 이벤트는, 상기 카메라를 통하여 촬영되는 상기 특정된 대상의 기 설정된 움직임일 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기는, 사용자의 시선 분석을 통하여 외부환경에서 어느 일 대상을 특정하고 상기 특정된 대상과 관련하여 실행될 수 있는 기능의 아이콘을 제공할 수 있다. 따라서, 사용자는 상기 특정된 대상과 관련된 정보를 직접 검색하는 등의 과정 없이도 상기 특정된 대상과 관련하여 실행 가능한 기능에 대한 정보를 직관적으로 제공받을 수 있다.
또한, 사용자는 시선의 변경이나 기 설정된 제스처 등과 같은 비 접촉식 입력을 이용하여 상기 기능 아이콘에 연계된 다양한 기능을 실행할 수 있는 편의를 제공 받는다.
도 1은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 2a는 본 발명의 일 실시 예에 따른 안경형 단말기를 일 방향에서 바라본 도면이고, 도 2b는 도 2a의 안경형 단말기에 포함된 광학부를 설명하기 위한 개념도이다.
도 3a는 본 발명에 따른 안경형 단말기가 특정된 대상과 관련된 기능 아이콘을 제공하는 제어방법에 관한 순서도이고, 도 3b는 상기 기능 아이콘을 제공하는 제어방법을 설명하기 위한 대표도이다.
도 4a 및 도 4b는 상기 특정된 대상에 대응되는 외부 기기와 연동되는 기능에 연계된 제어 아이콘이 선택된 경우의 실시 예에 관하여 도시한 도면이다.
도 5a 및 도 5b는 제1 외부 기기에서 수신된 정보를 제2 외부 기기로 전달하는 것과 관련된 실시 예를 도시한 도면이다.
도 6a 및 도 6b는 안경형 단말기가 외부 기기에서 기 설정된 정보가 출력되도록 상기 외부 기기를 제어하는 것과 관련된 실시 예를 도시한 도면이다.
도 7a 및 도 7b는 특정된 대상과 관련된 데이터를 형성하는 기능이 실행되는 것과 관련된 실시 예를 도시한 도면이다.
도 8a 및 도 8b는 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우에 대한 실시 예를 도시한 도면이다.
도 9a 및 도 9b는 안경형 단말기에서 복수의 외부 기기 각각으로 정보가 송신되는 실시 예를 도시한 도면이다.
도 10은 안경형 단말기가 복수의 외부 기기로부터 동시에 정보를 수신하는 실시 예를 도시한 도면이다.
도 11은 카메라의 화각 범위 내에 사용자의 시선에 근거하여 특정된 대상과 다른 대상에 대한 노티를 제공하는 실시 예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다. 본 발명과 관련된 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 본 발명에 따른 안경형 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 안경형 단말기는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 상기 이동 단말기(100)와 무선 통신 시스템 사이, 상기 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 상기 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 상기 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 상기 단말기 내 정보, 상기 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 안경형 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 상기 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 상기 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 상기 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 상기 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 상기 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 상기 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 상기 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 상기 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 상기 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 상기 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 상기 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 상기 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 상기 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 상기 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 상기 단말기 상에서 구현될 수 있다.
도 2a는 본 발명의 일 실시 예에 따른 안경형 단말기를 일 방향에서 바라본 도면이고, 도 2b는 도 2a의 안경형 단말기에 포함된 광학부를 설명하기 위한 개념도이다.
도 2a를 참조하면, 안경형 단말기(200)는 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)을 구비할 수 있다. 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 본 도면에서는, 프레임부가 서로 다른 재질의 제1 프레임(201)과 제2 프레임(202)을 포함하는 것을 예시하고 있다. 일반적으로 안경형 단말기(200)는 도 1의 이동 단말기(100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.
프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어부(280), 음향 출력 모듈(252) 등과 같은 전자부품이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중 적어도 하나에 인접하게 배치되는 프리즘(251')이 장착될 수 있다. 상기 프리즘(251')은 착탈 가능할 수 있다.
제어부(280)은 안경형 단말기(200)에 구비되는 각종 전자부품을 제어하도록 이루어진다. 제어부(280)은 앞서 설명한 제어부(180)에 대응되는 구성으로 이해될 수 있다. 본 도면에서는, 제어부(280)이 일측 두부 상의 프레임부에 설치된 것을 예시하고 있다. 하지만, 제어부(280)의 위치는 이에 한정되지 않는다.
카메라(221)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 형성된다. 카메라(221)가 눈에 인접하여 위치하므로, 카메라(221)는 사용자가 바라보는 장면을 영상으로 획득할 수 있다.
이와 같이, 사용자가 바라보는 장면이, 곧 카메라(221)를 통해 획득되는 프리뷰 영상에 대응되므로, 안경형 단말기(200)에서는, 영상 촬영 기능을 실행시에, 별도의 프리뷰 영상을 디스플레이부(251)에 출력시키지 않을 수 있다.
안경형 단말기(200)는 제어명령을 입력 받기 위하여 조작되는 사용자 입력부(223a, 223b)를 구비할 수 있다. 사용자 입력부(223a, 223b)는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 본 도면에서는, 프레임부와 제어부(280)에 각각 푸시 및 터치 입력 방식의 사용자 입력부(223a, 223b)가 구비된 것을 예시하고 있다.
이하에서는, 터치 입력 방식의 사용자 입력부(223b)를 중점적으로 설명하며, 도면부호 223을 사용하기로 한다.
또한, 안경형 단말기(200)에는 사운드를 입력 받아 전기적인 음성 데이터로 처리하는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력 모듈(252)이 구비될 수 있다.
도 2b를 참조하면, 디스플레이부를 통하여 출력되는 시각정보(300)는, 광학부(130) 및 프리즘(251')을 통하여 허상 이미지(400)로 일반 시야와 오버랩(overlap)되어 보여질 수 있다. 안경형 단말기(200)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지(또는, 장면, 배경, 사용자의 일반 시야)에 가상 이미지(400)를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다. 상기 광학부(130)는 상기 프레임(101)에 내장될 수 있다. 즉, 상기 광학부(130)는 사용자의 시야에 위치하지 아니한다.
상기 광학부(130)는 제1 및 제2 렌즈(131, 132) 및 줌렌즈부(133)를 포함한다. 상기 광학부(130)에 의하여 형성된 상기 허상 이미지(400')는 상기 프리즘(251')에 의하여 반사되어 사용자의 눈으로 제공될 수 있다.
다만, 상기 안경형 단말기의 광학부 및 디스플레이부의 구조는 이에 한정되는 것은 아니다. 제어부(280)는 디스플레이부에서 출력되는 시각정보(300)를 사용자의 제어명령에 근거하여 다양한 크기의 허상 이미지(400)로 형성하고, 상기 허상 이미지(400)를 다양한 위치에 출력하기 위하여 광학부(130)를 제어할 수 있다.
디스플레이부는 광학부(130)의 제1 렌즈(131)의 초점(f)과 상기 제1 렌즈(131) 사이에 시각정보(300)를 출력할 수 있다. 이에 따라, 상기 시각정보(300)의 허상 이미지(400')는 상기 제1 렌즈(131)의 초점(f)을 기준으로, 상기 시각정보(300)가 출력된 위치의 반대되는 위치에 확대되어 형성될 수 있다.
상기 허상 이미지(400')는 광학부(130) 및 프리즘(251')을 통해 사용자의 눈에 보여질 수 있다. 이 경우, 사용자의 입장에서는 사용자 눈이 응시하는 정면에 위치한 가상영역(450)(또는, 공간, 가상공간)에서 허상 이미지(400)가 보여질 수 있다. 이는, 시각정보(300)의 허상 이미지(400)가 본체를 벗어난 가상영역(450)(예를 들어, 사용자의 눈이 응시하는 정면에 위치한 가상영역)에 형성된다는 것을 의미할 수 있다. 즉, 광학부(130)는 디스플레이부에서 출력되는 시각정보(300)의 이미지(400)(허상 이미지)를 본체를 벗어난 가상영역(450)(예를 들어, 사용자의 눈이 응시하는 정면에 위치한 가상영역(450)(또는, 공간))에 형성할 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기(200)에는 사용자의 입장에서 상기 사용자 눈이 응시하는 정면에 위치한 가상영역(450)에서 보여지는 허상 이미지(400)의 표시위치(거리) 및 표시크기와 관련된 데이터가 기 저장되어 있을 수 있다.
또한, 센싱부(도면 미도시)는 안경형 단말기(200) 또는 안경형 단말기(200)로부터 기 설정된 거리 이내에 존재하는 공간(또는, 글래스타입 단말기(200) 주변)에서 행해지는 사용자 제스처를 감지할 수 있다. 여기에서, 상기 사용자 제스처는, 사용자의 신체의 일부(예를 들어, 손가락, 손, 팔, 다리 등) 또는 대상체(물체, 막대기 등)에 의해 형성되는 동작을 의미할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 안경형 단말기의 제어방법과 관련된 다양한 실시 예에 대하여 설명하기로 한다.
본 발명에 따른 안경형 단말기는, 외부 환경의 촬영 영상에서 상기 외부 환경에 대한 사용자의 시선에 근거하여 일 대상을 특정하고, 상기 특정된 대상과 관련된 기능을 실행할 수 있는 제어방법을 제공할 수 있다.
보다 구체적인 예로, 본 발명에 따른 안경형 단말기는 복수의 학생들이 포함된 교실 환경에서, 상기 안경형 단말기를 착용한 선생님이 상기 복수의 학생들을 바라보는 경우에 적용될 수 있다. 즉, 상기 안경형 단말기는 상기 복수의 학생들에 대한 선생님의 시선을 분석하고, 상기 복수의 학생 중 상기 선생님의 시선에 대응되는 학생을 일 대상으로 특정하여, 상기 특정된 대상과 관련된 기능을 실행할 수 있는 제어방법을 제공할 수 있다.
또한, 상기 특정된 대상과 관련된 기능 실행을 위하여 상기 안경형 단말기는 기 설정된 기능에 연계된 다양한 기능 아이콘을 출력할 수 있다. 따라서, 사용자는 시선을 변경하는 간단한 동작만으로 외부 환경의 일 대상과 관련된 다양한 기능을 실행할 수 있는 편의를 제공받는다.
도 3a는 본 발명에 따른 안경형 단말기가 특정된 대상과 관련된 기능 아이콘을 제공하는 제어방법에 관한 순서도이고, 도 3b는 상기 기능 아이콘을 제공하는 제어방법을 설명하기 위한 대표도이다.
먼저, 도 3a를 참조하면, 본 발명에 따른 안경형 단말기의 카메라에 의하여 외부 환경이 촬영될 수 있다(S301).
본 발명에 따른 안경형 단말기(200)의 카메라(221)는 도 2a에서 상술한 것처럼, 사용자가 상기 안경형 단말기(200)를 착용한 상태에서 상기 사용자의 시선이 향하는 전방을 촬영할 수 있다.
또한, 상기 카메라(221)는 기 설정된 화각(field of view)에 의하여 상기 외부 환경을 실시간으로 촬영할 수 있다. 여기에서, 상기 카메라(221)는 상기 안경형 단말기(200)를 착용한 사용자의 시야범위와 대응되는 화각(field of view)을 가질 수 있다.
예를 들어, 도 3b의 첫 번째 도면처럼, 상기 안경형 단말기(200)에 장착된 카메라(221)는 기 설정된 화각에 따라 외부 환경을 촬영할 수 있다. 여기에서, 상기 외부 환경에는 복수의 대상(1, 2, 3, 4)이 포함될 수 있다.
또한, 상기 안경형 단말기(200)는 센싱부를 이용하여, 상기 외부 환경에 대한 사용자의 시선을 감지할 수 있다(S302).
상기 센싱부는 상기 안경형 단말기(200)를 착용한 사용자의 시선을 감지할 수 있다. 이를 위하여 상기 센싱부는, 상기 사용자의 시선을 감지할 수 있는 복수 개의 센서를 구비할 수 있다.
일 예로, 상기 센싱부는 카메라를 포함할 수 있고, 상기 카메라로부터 상기 사용자의 동공의 움직임을 감지할 수 있다. 이 경우, 상기 카메라(221)와 상기 센싱부에 포함되는 카메라는 상기 안경형 단말기(200)의 서로 다른 위치에 배치될 수 있다. 즉, 상기 센싱부에 포함되는 카메라는 상기 사용자의 시선을 감지할 수 있는 위치에 배치될 수 있다.
또 다른 예로, 상기 센싱부는 적외선 센서를 포함할 수 있다. 이 경우, 상기 적외선 센서는, 상기 사용자의 눈으로부터 반사되는 적외선으로 상기 사용자의 눈의 움직임을 감지할 수 있다.
이와 같이 상기 사용자의 시선이 감지되면, 상기 외부 환경에 대한 사용자의 시선을 분석하고, 상기 외부 환경에 대응되는 촬영 영상으로부터 사용자의 시선이 향하는 대상을 특정할 수 있다(S303).
상기 제어부(280)는 상기 센싱부에 의하여 감지된 사용자의 시선을 분석할 수 있다. 예를 들어, 상기 센싱부에 포함된 카메라로부터 촬영된 사용자의 동공의 움직임에 대한 이미지를 기 설정된 시선 추적 알고리즘에 적용하여 상기 사용자의 시선을 분석할 수 있다. 이 경우, 상기 사용자의 눈동자에서 반사된 적외선의 이미지를 분석하여 상기 사용자의 시선이 향하는 방향을 판단할 수 있다.
또 다른 예로, 상기 제어부(280)는 상기 사용자의 동공의 위치에 근거하여 상기 사용자 양안 각각이 이루는 시선의 각도를 산출하고, 상기 시선의 각도에 대응되는 시선의 방향 및 거리를 판단할 수 있다.
이와 같이, 상기 사용자의 시선 분석이 이루어지면, 상기 제어부(280)는 상기 외부 환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정할 수 있다(S303).
상기 대상은, 상기 외부 환경에 포함된 피사체로서, 사람 또는 사물이 포함될 수 있다. 예를 들어, 도 3b에서처럼, 상기 외부 환경(예를 들면, 교실)에 포함된 복수의 학생들(1, 2, 3, 4)이 상기 대상에 포함될 수 있다.
상기 제어부(280)는 상기 사용자의 시선 분석에 의하여 상기 사용자의 시선이 향하는 방향이나 거리 정보를 획득하고, 이를 이용하여 상기 사용자의 시선이 향하는 대상을 특정할 수 있다. 즉, 도 3b의 두 번째 도면처럼, 상기 외부 환경에 대한 사용자의 시선이 어느 일 대상(1)을 향하는 것으로 분석되면, 상기 제어부(280)는 상기 사용자의 시선이 향하는 상기 일 대상(1)을 특정할 수 있다.
또한, 상기 제어부(280)는 상기 대상이 특정되면, 상기 카메라(221)를 통하여 상기 특정된 대상과 관련된 이벤트가 촬영되는지 판단할 수 있다. 여기에서, 상기 이벤트는, 상기 특정된 대상의 기 설정된 움직임을 의미할 수 있다.
일 예로, 상기 특정된 대상의 시선이 사용자의 시선과 일치한 경우, 상기 제어부(280)는 상기 특정된 대상과 관련된 이벤트가 발생하였다 판단할 수 있다. 이 경우, 상기 제어부(280)는 상기 외부 환경에 대응되는 촬영 영상에서, 상기 특정된 대상의 얼굴 이미지가 향하는 방향을 이용하여 상기 사용자와의 시선 일치 여부를 판단할 수 있다.
일 예로, 상기 제어부(280)는 상기 특정된 대상의 기 설정된 움직임이 촬영되는 것에 근거하여 상기 특정된 대상과 관련된 이벤트의 발생을 판단할 수 있다. 즉, 도 3b의 세 번째 도면처럼, 상기 특정된 대상(1)의 손을 드는 움직임이 촬영되면, 상기 제어부(280)는 상기 특정된 대상(1)과 관련된 이벤트가 발생하였다 판단할 수 있다.
또 다른 예로, 상기 제어부(280)는 상기 특정된 대상의 기 설정된 동작(예를 들면, 고개를 숙인 동작)이 기 설정된 시간 동안 유지되는 것이 촬영되는 경우, 상기 특정된 대상과 관련된 이벤트가 발생하였다 판단할 수 있다.
이와 같이 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 제어부(280)는 상기 특정된 대상이 위치한 영역과 대응되는 대응영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부(251)를 제어할 수 있다.
상기 제어부(280)는 상기 카메라에 의하여 상기 특정된 대상과 관련된 이벤트가 감지되면, 상기 특정된 대상과 관련하여 실행 가능한 기능에 연계된 기능 아이콘을 상기 디스플레이부(251)에 출력시킬 수 있다.
상기 기능 아이콘은, 상기 기능 아이콘에 연계된 기능의 실행에 이용되는 그래픽 객체로서, 상기 기능 아이콘에 연계되어 실행 가능한 기능은 기 설정될 수 있다. 여기에서, 상기 기능 아이콘에 연계되는 기능은 단말기에서 실행 가능한 모든 종류의 기능을 포함할 수 있다.
일 예로, 상기 기능 아이콘은, 상기 특정된 대상에 대한 구체적인 정보를 확인하기 위한 기능에 연계된 아이콘일 수 있다. 즉, 상기 기능 아이콘에 연계된 기능은 특정된 대상의 신상 정보, 식별 정보, 성적 정보 등을 확인하기 위한 기능일 수 있다.
또 다른 예로, 상기 기능 아이콘은, 상기 특정된 대상과 관련된 정보를 생성하기 위한 기능에 연계된 아이콘일 수 있다. 즉, 상기 기능 아이콘에 연계된 기능은 상기 특정된 대상의 음성, 동작이나 움직임, 현재 상태를 기록하거나 획득하는 기능(예를 들면, 녹음이나 녹화 기능)일 수 있다.
또 다른 예로, 상기 기능 아이콘은, 상기 특정된 대상에 대응되는 외부 기기가 존재하는 경우, 상기 외부 기기와의 무선 연결에 의하여 상기 외부 기기를 제어하는 기능에 연계된 아이콘일 수 있다. 즉, 상기 기능 아이콘은 상기 특정된 대상에 대응되는 외부 기기에서 특정 정보의 출력을 위한 제어명령을 송신하거나, 상기 외부 기기로 특정 정보의 수신을 요청하는 제어명령을 전송하는 기능에 연계된 아이콘일 수 있다.
또한, 상기 제어부(280)는, 상기 기능 아이콘이 상기 사용자에게 상기 특정된 대상이 위치한 영역과 인접한 영역에서 보여질 수 있도록, 상기 디스플레이부(251)상에서 상기 기능 아이콘의 출력 위치를 결정할 수 있다.
예를 들어, 상기 안경형 단말기(200)가 도 2b의 구조로 형성된 경우, 상기 제어부(280)는 상기 광학부(130)를 이용하여 상기 디스플레이부(251)에 출력된 시각 정보에 대한 허상 이미지를 상기 사용자의 시야범위 내에서 상기 사용자로부터 일정 거리 떨어진 위치에 출력할 수 있다.
보다 구체적으로, 상기 사용자의 시야범위 내에, 상기 디스플레이부(251)의 출력 영역에 대응되는 허상 이미지 형성 영역이 설정될 수 있다. 이 때, 상기 디스플레이부(251)에 시각 정보가 출력되면, 상기 시각 정보의 허상 이미지는 상기 허상 이미지 형성 영역 내에 출력될 수 있다. 또한, 상기 허상 이미지 형성 영역 내에 출력된 상기 시각 정보에 대한 허상 이미지는 상기 외부 환경과 오버랩되어 상기 사용자에게 보여질 수 있다.
상기 제어부(280)는 상기 기능 아이콘의 허상 이미지가 상기 허상 이미지 형성 영역 내에서, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 출력되도록 상기 디스플레이부(251)를 제어할 수 있다.
이를 위하여, 상기 제어부(280)는 상기 사용자의 시야범위 내에서 상기 특정된 대상의 위치를 파악할 수 있다. 즉, 상기 사용자의 시선 분석에 근거하여 상기 사용자로부터 상기 특정된 대상이 위치한 지점까지의 거리 및 방향을 파악할 수 있다.
그리고, 상기 제어부(280)는 상기 허상 이미지 형성 영역 중 상기 파악된 특정된 대상의 위치 및 방향과 관련된 대응 영역에 상기 기능 아이콘의 허상 이미지가 위치하도록 상기 디스플레이부(251)에서의 상기 기능 아이콘의 출력 위치, 크기 및 출력 간격 중 적어도 하나를 조절할 수 있다.
즉, 도 3b의 세 번째 도면처럼, 상기 사용자의 시야범위 내에서 상기 디스플레이부(251)의 출력 영역에 대응되는 허상 이미지가 출력되는 영역(401)이 설정될 수 있다.
이 때, 기능 아이콘이 상기 디스플레이부(251)에 출력되면, 상기 제어부(280)는 상기 허상 이미지 형성 영역(401) 내에서 상기 특정된 대상(1)이 위치한 영역과 대응되는 대응 영역에 기능 아이콘의 허상 이미지가 위치하도록 상기 디스플레이부(251)를 제어할 수 있다. 따라서, 상기 사용자는 도 3b의 네 번째 도면과 같이 상기 특정된 대상의 주변 영역에 상기 기능 아이콘(10, 11, 12)의 허상 이미지를 제공받을 수 있다.
한편, 상기 안경형 단말기는 사용자의 양안 중 적어도 하나에 대응되는 위치에 광 투과성으로 형성되어, 시각정보를 출력하는 디스플레이부를 포함할 수 있다. 이 경우에는 상기 사용자가 상기 광 투과성의 디스플레이부를 통하여 외부 환경을 바라볼 수 있다. 이 경우에도, 상기 제어부(280)는 상기 사용자의 시선에 대응되는 디스플레이부의 영역에 상기 기능 아이콘이 출력되도록 상기 디스플레이부를 제어할 수 있다.
만약, 상기 안경형 단말기가 HMD(Head Mounted Display)형 단말기인 경우, 상기 디스플레이부에는 상기 사용자의 양안 각각에 대응되는 위치에서, 외부 환경에 대한 실시간 촬영 영상이 출력될 수 있다. 이 경우, 상기 제어부는 상기 외부 환경에 대한 촬영 영상 이미지에서, 상기 특정된 대상과 대응되는 일 영역에 상기 기능 아이콘을 합성되어 출력되도록 상기 디스플레이부를 제어할 수 있다.
이와 같이, 본 발명에 따른 안경형 단말기는, 외부 환경에 대한 촬영 영상 및 사용자의 시선 정보를 이용하여 사용자로부터 별도의 입력이 없어도 상기 사용자가 관심을 갖는 대상을 특정할 수 있다. 또한, 상기 특정된 대상과 관련된 기능 아이콘을 제공해줌으로써, 사용자는 시선 변경과 같은 간단한 동작만으로 자신이 관심을 갖는 대상과 관련하여 실행할 수 있는 기능에 대한 정보를 제공받을 수 있는 효과가 있다.
이하에서는, 상기 도 2a 및 도 2b에 따른 구조를 갖는 안경형 단말기를 주 실시 예로 하여 설명하기로 한다. 다만, 본 발명의 실시 예에 따른 안경형 단말기는 도 2a 및 도 2b에서 설명한 안경형 단말기의 구조에 한정되지 않는다. 또한, 편의상, 기능 아이콘의 허상 이미지를 기능 아이콘과 동일하게 표현하기로 한다.
상기 사용자는 상기 기능 아이콘을 이용하여 자신이 원하는 기능을 실행할 수 있다. 보다 구체적으로, 상기 기능 아이콘이 출력된 상태에서, 상기 제어부(280)는 사용자로부터 상기 기능 아이콘과 관려된 선택 입력이 수신되는 것에 근거하여, 상기 기능 아이콘에 연계된 기능을 실행할 수 있다.
상기 선택 입력은 다양한 방식으로 수신될 수 있다. 예를 들어, 상기 기능 아이콘이 출력된 상태에서, 상기 센싱부에 의하여 사용자의 기 설정된 제스처가 감지되는 경우, 상기 제어부(280)는 상기 선택 입력이 수신되었음을 판단할 수 있다. 즉, 상기 사용자의 눈 깜빡임(좌안 및 우안 중 적어도 하나가 깜빡이거나, 기 설정된 횟수의 깜빡임 등) 제스처가 감지되거나, 상기 사용자의 기 설정된 손 동작 제스처가 감지되는 것 등으로 상기 선택 입력 수신 여부를 판단할 수 있다. 이 경우, 상기 센싱부는 상기 사용자의 다양한 제스처를 감지할 수 있는 복수의 센서를 포함할 수 있다.
또 다른 예로, 상기 선택 입력은, 상기 안경형 단말기에 구비된 사용자 입력부(예를 들어, 터치키, 푸시키 등)에 인가되는 터치나 푸시 등에 의하여 수신될 수 있다.
한편, 상기 기능 아이콘은 상술한 바와 같이, 단말기에서 실행 가능한 모든 종류의 기능에 연계될 수 있고, 복수 개의 기능 각각에 연계된 복수 개가 출력될 수 있다. 이 경우, 상기 제어부(280)는 상기 복수 개의 기능 아이콘 중 사용자가 실행하고자 하는 기능에 연계된 기능 아이콘을 상기 사용자의 시선 분석에 근거하여 선택할 수 있다.
즉, 복수 개의 기능 아이콘이 출력된 상태에서, 상기 사용자의 시선을 분석하여, 상기 복수 개의 기능 아이콘 중 상기 사용자의 시선이 향하는 기능 아이콘을 특정할 수 있다. 또한, 상기 제어부(280)는 상기 기능 아이콘을 특정한 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것에 근거하여, 상기 특정된 기능 아이콘에 연계되는 기능을 실행할 수 있다.
이하, 첨부된 도면을 참조하여, 상기 기능 아이콘을 이용하여, 상기 특정된 대상과 관련된 기능이 실행되는 다양한 실시 예에 대하여 살펴보기로 한다.
도 4a 및 도 4b는 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능에 연계된 제어 아이콘이 선택된 경우의 실시 예에 관하여 도시한 도면이다.
먼저, 도 4a를 참조하면, 상기 제어부(280)는 상기 외부 환경에서, 상기 사용자의 시선 분석에 근거하여 대상을 특정할 수 있다. 이 경우, 상기 제어부(280)는 상기 특정된 대상을 사용자가 인지할 수 있도록, 상기 특정된 대상에 특정 시각적 효과를 줄 수 있다.
즉, 도 4a의 첫 번째 도면에서처럼, 상기 제어부(280)는 상기 디스플레이부(251)의 출력영역에 대응되는 허상 이미지의 형성 영역(401)에서, 상기 특정된 대상의 위치에 특정 시각적 효과(1a)가 오버랩되도록 상기 디스플레이부(251)를 제어할 수 있다.
그리고, 상기 제어부(280)는 상기 디스플레이부(251)에 상기 특정된 대상(1)과 관련하여 실행 가능한 기능에 연계된 기능 아이콘을 출력할 수 있다. 상기 기능 아이콘이 상기 디스플레이부(251)에 출력되면, 상기 허상 이미지의 형성 영역(401)에 상기 특정된 대상과 대응되는 대응영역에서, 상기 기능 아이콘(10, 11, 12)이 출력될 수 있다.
이와 같이, 복수의 기능 아이콘이 출력되면, 상기 제어부(280)는 상기 사용자의 시선을 분석하여, 상기 기능 아이콘(10, 11, 12)들 중 상기 사용자의 시선이 향하는 기능 아이콘을 특정할 수 있다.
상기 대상이 특정되는 경우와 마찬가지로, 상기 제어부(280)는, 도 4a의 두 번째 도면처럼, 상기 사용자의 시선에 근거하여 특정된 기능 아이콘(12)이 구별되게 표시(12a)되도록 상기 디스플레이부(251)를 제어할 수 있다.
상기 어느 일 기능 아이콘이 특정된 상태에서, 상기 사용자에 의하여 기 설정된 제스처가 인가되면 상기 제어부(280)는 상기 기능 아이콘에 대한 사용자의 선택 입력이 수신되었다 판단할 수 있다.
즉, 도 4a의 두 번째 도면처럼, 어느 일 기능 아이콘(12)이 특정된 상태에서, 상기 센싱부에 의하여 상기 사용자의 기 설정된 제스처(한쪽 눈을 깜빡이는 제스처)가 감지되면, 상기 제어부(280)는 상기 특정된 기능 아이콘(12)에 연계된 기능을 실행할 수 있다.
한편, 상기 제어부(280)는 상기 기능 아이콘에 연계된 기능 실행에 이용하기 위하여 상기 특정된 대상에 관한 정보를 획득할 수 있다. 보다 구체적으로, 상기 제어부(280)는 상기 외부 환경에 대응되는 영상으로부터 상기 특정된 대상의 이미지를 추출하고, 상기 특정된 대상의 이미지를 분석할 수 있다. 그리고, 상기 특정된 대상의 이미지 분석에 근거하여, 상기 특정된 대상에 관한 정보를 획득할 수 있다.
여기에서, 상기 특정된 대상에 관한 정보는 상기 특정된 대상의 이미지 정보와 함께 상기 안경형 단말기의 메모리에 기 저장되어 있을 수 있다. 또한, 상기 제어부(280)는 외부 서버로부터 상기 특정된 대상의 이미지에 대응되는 상기 특정된 대상에 관한 정보를 획득하도록 무선통신부를 제어할 수 있다.
만약, 상기 기능 아이콘이 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능인 경우, 상기 특정된 대상에 관한 정보는 상기 외부 기기와 무선 연결되기 위한 상기 외부 기기의 식별 정보 등이 이에 해당될 수 있다.
이 경우, 상기 제어부(280)는 상기 획득된 외부 기기의 식별 정보를 이용하여 상기 특정된 대상(1)에 대응되는 외부 기기와 무선 연결되도록 상기 무선통신부를 제어할 수 있다.
한편, 상기 제어부(280)는 상기 외부 기기와 무선 연결되면, 상기 외부 기기와 정보를 송수신하기 위한 제어명령을 상기 외부 기기로 송신할 수 있다. 여기에서, 상기 특정된 대상에 대응되는 외부 기기 제어를 위한 제어명령의 종류는 상기 기능 아이콘을 선택하는 입력에 근거하여 결정될 수 있다.
예를 들어, 상기 제어부(280)는 상기 기능 아이콘이 특정된 상태에서, 사용자에 의한 제1 제스처가 감지되면 기 설정된 정보를 상기 외부 기기로부터 수신하기 위한 제어명령을 상기 외부 기기로 전송할 수 있다. 이와 달리, 상기 기능 아이콘이 특정된 상태에서, 사용자에 의한 제2 제스처가 감지되면, 상기 외부 기기에 기 설정된 정보의 출력을 위한 제어명령을 송신할 수 있다.
보다 구체적인 예로, 도 4a의 두 번째 도면에서처럼, 외부 기기(100)의 제어 기능에 연계된 기능 아이콘(12)이 특정된 상태에서, 센싱부에 의하여 상기 사용자의 한쪽 눈을 깜빡이는 제스처가 감지될 수 있다. 이 경우, 상기 제어부(280)는 상기 외부 기기(100)로부터 기 설정된 정보의 수신을 위한 제어명령을 전송할 수 있다. 일 예로, 상기 기 설정된 정보는, 상기 외부 기기(100)의 표시부(151)에 현재 출력중인 화면정보일 수 있다.
이와 같이, 상기 외부 기기(100)로부터 기 설정된 정보가 수신되면, 상기 제어부(280)는 상기 수신된 화면정보를 상기 디스플레이부(251)에 출력할 수 있다. 또한, 상기 외부 기기(100)로부터 수신된 화면정보의 허상 이미지(20)는 상기 외부 환경에 위치한 복수의 대상들(1, 2, 3, 4)과 오버랩된 상태로 사용자에게 보여질 수 있다.
이와 다른 예로, 도 4b에서처럼, 사용자의 시선에 근거하여 상기 외부 기기(100)의 제어 기능에 연계된 기능 아이콘(12)이 특정된 상태에서, 도 4b의 두 번째 도면처럼, 사용자가 고개를 끄덕이는 제스처가 감지될 수 있다.
이와 같이, 상기 사용자의 제스처가 감지되면 상기 제어부(280)는 상기 외부 기기(100)로 기 설정된 정보가 전송되도록 상기 무선통신부를 제어할 수 있다. 일 예로, 상기 기 설정된 정보는 상기 외부 기기(100)의 표시부(151)에 출력 가능한 시각 정보일 수 있다.
따라서, 사용자는 시선을 이용하여 복수 개의 기능 아이콘 중 자신이 실행시키고자 하는 기능에 연계된 기능 아이콘을 용이하게 선택할 수 있다. 또한, 사용자는 기능 아이콘 선택을 위한 다양한 제스처를 활용함으로써, 어느 일 기능과 관련된 세부 기능을 선택적으로 실행할 수 있는 효과가 있다.
상기 특정된 대상에 대응되는 외부 기기로부터 정보가 수신되면, 상기 제어부(280)는 메모리에 상기 수신된 정보를 임시 저장할 수 있다. 이 때, 상기 사용자는 상기 수신된 정보를 다른 외부 기기로 전달하여, 보다 큰 표시부를 통하여 상기 수신된 정보를 확인하거나 다른 사람들과 공유하고자 하는 니즈가 있을 수 있다.
이에 본 발명의 일 실시 예에 따른 안경형 단말기는, 제1 외부 기기로부터 수신된 정보가 디스플레이부에 출력된 상태에서, 사용자의 추가 입력이 있으면, 상기 제1 외부 기기에서 수신된 정보를 제2 외부 기기와 공유하는 기능을 제공할 수 있다.
이와 관련하여 도 5a 및 도 5b를 참조하여 설명하기로 한다. 편의상, 특정된 대상에 대응되는 외부 기기를 제1 외부 기기, 그 이외의 외부 기기를 제2 외부 기기로 명명하기로 한다.
도 5a 및 도 5b는 제1 외부 기기에서 수신된 정보를 제2 외부 기기로 전달하는 것과 관련된 실시 예를 도시한 도면이다.
먼저, 도 5a를 참조하면, 제1 외부 기기로부터 정보가 수신되고, 상기 제어부(280)는 상기 수신된 정보를 상기 디스플레이부(251)에 출력할 수 있다. 또한, 상기 제어부(280)는 상기 수신된 정보를 메모리에 임시 저장할 수 있다.
이와 같이, 상기 제1 외부 기기로부터 수신된 정보가 상기 디스플레이부(251)에 출력된 상태에서, 사용자로부터 특정 입력이 인가될 수 있다. 예를 들어, 상기 특정 입력은 상기 안경형 단말기(200)의 본체에 인가되는 터치입력일 수 있다.
상기 안경형 단말기(200)의 본체에 상기 사용자의 터치입력이 인가되면, 도 5a의 두 번째 도면처럼, 상기 제어부(280)는 상기 디스플레이부(251)에서 상기 수신된 정보의 출력을 종료시킬 수 있다. 이에 따라, 상기 사용자의 시야범위에서, 상기 수신된 정보의 허상 이미지(21)는 사라질 수 있다. 또한, 상기 터치입력이 상기 안경형 단말기에 인가되는 것에 근거하여, 상기 제어부(280)는 전방(외부 환경)을 촬영하도록 상기 카메라(221)를 활성화할 수 있다.
상기 안경형 단말기의 본체에 유지되던 상기 사용자의 터치입력이 해제되는 경우, 상기 제어부(280)는 상기 터치입력이 해제되는 때에 상기 사용자의 시선을 감지하도록 상기 센싱부를 제어할 수 있다. 또한, 상기 제어부(280)는 상기 카메라(221)가 활성화된 이후, 상기 카메라(221)를 통해 촬영된 외부 환경에 대응되는 촬영 영상에서, 상기 사용자의 시선 분석에 근거하여 상기 사용자의 시선이 향하는 객체를 특정할 수 있다.
여기에서, 상기 객체는, 상기 대상과 마찬가지로 상기 외부 환경에 포함된 피사체일 수 있다. 일 예로, 상기 객체는 제2 외부 기기일 수 있다. 상기 객체가 특정되면, 상기 제어부(280)는 상기 객체에 대응되는 제2 외부 기기의 이미지를 분석하고, 상기 제2 외부 기기에 대응되는 식별 정보를 획득할 수 있다. 여기에서, 상기 제2 외부 기기에 대응되는 식별 정보는 상기 제2 외부 기기의 이미지와 함께 상기 메모리에 기 등록될 수 있다.
또한, 상기 제어부(280)는 상기 제1 외부 기기로부터 수신된 정보를 상기 제2 외부 기기에 전달되도록 상기 무선통신부를 제어할 수 있다. 이와 같이, 상기 제1 외부 기기로부터 수신된 정보는 도 5a의 세 번째 도면처럼, 상기 제2 외부 기기(500)로 전달되고, 상기 제2 외부 기기는 상기 수신된 정보(21a)를 상기 제2 외부 기기(500)의 표시부에 출력할 수 있다.
이와 같이, 사용자는 상기 제1 외부 기기로부터 수신된 정보가 디스플레이부에 출력된 상태에서, 상기 안경형 단말기의 본체에 터치를 가하는 동작 및 시선을 변경하는 동작만으로 상기 수신된 정보를 상기 제2 외부 기기와 쉽게 공유할 수 있다.
도 5b도 도 5a와 마찬가지로, 사용자는 안경형 단말기에 터치를 유지하고 터치를 해제하는 때에 제2 외부 기기(300)를 향해 시선을 유지함으로써, 상기 제1 외부 기기에서 수신된 정보를 제2 외부 기기(300)로 전달할 수 있다.
이 때, 상기 제2 외부 기기(300)의 표시부(351)에 기 출력된 정보가 있는 경우, 상기 제1 외부 기기로부터 수신된 정보는 상기 기 출력된 정보와 함께 출력될 수 있다. 즉, 도 5b의 세 번째 도면처럼, 상기 제2 외부 기기(300)의 표시부(351)가 복수의 영역으로 분할되고 상기 제2 외부 기기의 표시부(351)에 기 출력된 정보(22)와 상기 제1 외부 기기로부터 수신된 정보(21a)가 함께 출력될 수 있다.
따라서, 사용자는 제2 외부 기기를 이용하여 상기 제1 외부 기기로부터 수신된 정보를 상기 제2 외부 기기에서 기 출력되던 정보와 비교하면서 확인할 수 있다. 상기 제2 외부 기기의 표시부에 상기 제1 외부 기기로부터 수신된 정보가 출력되는 방법은 상기 안경형 단말기 또는 상기 제2 외부 기기의 설정에 의하여 변경이 가능하다.
상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능이 실행되면, 상기 제어부(280)는 상기 외부 기기의 출력부에서 기 설정된 정보를 출력하도록 제어명령을 형성할 수 있다. 여기에서, 상기 기 설정된 정보는 상기 외부 기기의 출력부에 출력될 수 있는 모든 종류의 정보가 포함될 수 있다. 예를 들어, 상기 기 설정된 정보는, 상기 외부 기기의 표시부를 통하여 출력이 가능한 시각 정보, 음향 출력부를 통하여 출력이 가능한 청각 정보 및 상기 외부 기기의 햅틱 모듈을 통하여 출력이 가능한 기 설정된 방식의 진동 등이 포함될 수 있다.
이 때, 상기 제어부(280)는 다양한 조건에 근거하여, 상기 외부 기기에서 출력 가능한 다양한 정보 중 상기 외부 기기에서 출력될 정보를 선택할 수 있다. 이와 관련하여 도 6a 및 도 6b를 참조하여 설명하기로 한다.
도 6a 및 도 6b는 안경형 단말기가 외부 기기에서 기 설정된 정보가 출력되도록 상기 외부 기기를 제어하는 것과 관련된 실시 예를 도시한 도면이다.
먼저, 도 6a를 참조하면, 상기 사용자의 시선이 어느 일 대상(1)을 향하는 경우, 상기 제어부(280)는 상기 카메라(221)에 의하여 촬영된 외부 환경에 대응되는 영상에서 상기 사용자의 시선이 향하는 대상을 특정할 수 있다.
또한, 상기 제어부(280)는 상기 카메라(221)에 의하여 상기 외부 환경에 대응되는 촬영 영상에서, 상기 특정된 대상과 관련된 이벤트가 발생하였음을 감지할 수 있다.
상기 특정된 대상과 관련된 이벤트는 상기 특정된 대상의 기 설정된 움직임이 감지되거나, 상기 기 설정된 움직임이 기 설정된 시간 동안 유지되는 것이 감지되는 등 상기 특정된 대상과 관련된 다양한 움직임으로 정의될 수 있다. 예를 들어, 도 6a의 첫 번째 및 두 번째 도면처럼, 상기 제어부(280)는 상기 카메라(221)를 통하여, 상기 특정된 대상(1)의 고개를 숙인 동작이 기 설정된 시간 동안 유지되는 것을 감지할 수 있다.
이에 따라, 상기 사용자는 도 6a의 두 번째 도면처럼, 상기 특정된 대상과 대응되는 대응 영역에서 상기 디스플레이부(251)에 출력된 상기 기능 아이콘의 허상 이미지를 볼 수 있다.
이 때, 도 6a의 세 번째 도면과 같이, 상기 사용자는 외부 기기를 제어하는 기능 아이콘에 시선을 유지한 상태에서 기 설정된 제스처(고개를 끄덕이는 제스처)를 인가할 수 있다.
이 경우, 상기 제어부(280)는 상기 기 설정된 제스처에 따라 상기 외부 기기(100)에서 기 설정된 정보를 출력시키는 제어명령을 전송할 수 있다. 여기에서, 상기 기 설정된 정보는, 상기 특정된 대상과 관련된 이벤트의 종류에 의하여 결정될 수 있다. 즉, 상기 제어부(280)는 상기 특정된 대상과 관련된 이벤트의 종류에 근거하여 상기 외부 기기에서 출력할 정보의 종류를 선택할 수 있다.
따라서, 사용자는 외부 기기로의 정보 전송 기능 실행을 위해 동일한 제스처를 인가하더라도, 상기 특정된 대상과 관련된 이벤트로부터 감지된 상기 특정된 대상의 상태에 따라 서로 다른 정보가 상기 외부 기기에서 출력되도록 할 수 있다.
한편, 사용자는 상기 외부 기기로 전송할 정보의 종류를 음성을 이용하여 직접 지정할 수 있다.
즉, 도 6b의 첫 번째 도면처럼, 상기 사용자의 시선에 의하여 상기 외부 기기(100)를 제어하는 기능 아이콘이 특정된 상태(12a)에서, 도 6b의 두 번째 도면처럼, 기 설정된 선택 제스처(고개를 끄덕이는 제스처)를 인가할 수 있다. 또한, 상기 선택 제스처를 인가하면서, 상기 외부 기기(100)로 전송하고자 하는 정보를 음성으로 입력할 수 있다.
이 때, 상기 제어부(228)는 상기 선택 제스처와 함께 입력된 음성을 분석하여, 상기 선택 제스처에 의하여 외부 기기(100)로 전송할 정보의 종류를 선택할 수 있다,
또한, 상기 외부 기기(100)로 전송된 정보(23)는 상기 외부 기기(100)의 표시부(151)에 출력될 수 있다. 따라서, 상기 사용자는 외부 기기를 제어하는 기능 실행을 위한 선택 제스처와 함께 음성을 입력하여, 상기 선택 제스처에 따라 원하는 정보를 상기 외부 기기로 전송할 수 있는 편의를 제공받는다.
상기 기능 아이콘은, 상기 특정된 대상과 관련된 데이터를 형성하는 기능과 연계된 데이터 형성 아이콘일 수 있다. 이하, 도 7a 및 도 7b를 참조하여, 이와 관련된 실시 예에 대하여 살펴보기로 한다.
도 7a 및 도 7b는 특정된 대상과 관련된 정보를 생성하는 기능이 실행되는 것과 관련된 실시 예를 도시한 도면이다.
먼저, 도 7a를 참조하면, 상기 안경형 단말기(200)는 사용자의 시선 분석에 근거하여 특정된 기능 아이콘(10)과 연계된 기능을 실행할 수 있다. 여기에서, 상기 기능 아이콘(10)에 연계된 기능은, 상기 특정된 대상(5)에 대한 영상 데이터를 형성하는 데이터 형성 아이콘일 수 있다.
보다 구체적으로, 상기 제어부(280)는 상기 사용자의 시선이, 상기 기능 아이콘(10)을 향하는 것이 감지되는 상태에서, 사용자로부터 기 설정된 제스처(예를 들면, 도 7a의 두 번째 도면처럼, 한쪽 눈을 깜빡이는 제스처)가 감지되면, 상기 데이터 형성 기능을 실행할 수 있다.
먼저, 상기 제어부(280)는 상기 사용자의 기 설정된 제스처가 감지되는 것에 근거하여, 상기 특정된 대상에 대한 촬영을 수행하도록 상기 카메라(221)를 제어할 수 있다.
이 경우, 상기 제어부(280)는 상기 특정된 대상(5)에 대하여 촬영된 프리뷰 영상(25)을 상기 디스플레이부(251)에 실시간으로 출력할 수 있다. 여기에서, 상기 프리뷰 영상(25)은 상기 디스플레이부의 출력 영역에 대응되는 허상 이미지 형성 영역(401)을 통하여 사용자에게 보여질 수 있다.
상기 제어부(280)는 상기 특정된 대상(5)에 대한 촬영이 기 설정된 시간 동안 수행되도록 상기 카메라(221)를 제어할 수 있다. 이와 달리, 상기 제어부(280)는, 도 7b의 두 번째 도면처럼, 상기 특정된 대상(5)에 대한 촬영이 수행되고 있는 중에 상기 사용자의 기 설정된 제스처가 감지되면, 상기 특정된 대상(5)에 대한 촬영을 중단할 수 있다. 이 경우, 상기 특정된 대상(5)에 대한 영상 데이터는 상기 촬영이 수행된 때부터 중단된 때까지 촬영된 영상에 의하여 형성될 수 있다.
한편, 상기 특정된 대상(5)에 대한 프리뷰 영상이 상기 디스플레이부(251)에 출력된 상태에서, 상기 사용자에 의하여 상기 안경형 단말기(200)에 특정 입력이 인가될 수 있다. 이 경우, 상기 제어부(280)는 상기 프리뷰 영상에 포함된 상기 특정된 대상(5)의 움직임과 연관된 움직임 정보를 포함하는 연관 데이터를 검색할 수 있다.
예를 들어, 상기 연관 데이터는 상기 연관된 움직임 정보를 포함하는 상기 특정된 대상의 기 형성된 영상 데이터나 상기 연관된 움직임 정보를 포함하는 다른 대상의 영상 데이터등을 포함할 수 있다. 상기 연관 데이터는, 상기 안경형 단말기(200)의 메모리에 기 저장되어 있거나, 상기 사용자의 특정 입력에 근거하여 외부 서버로부터 수신될 수 있다.
상기 제어부(280)는 상기 연관 데이터와 상기 프리뷰 영상을 비교할 수 있도록 상기 프리뷰 영상에 상기 연관 데이터를 오버랩시킬 수 있다.
예를 들어, 상기 제어부(280)는 상기 연관 데이터 구간에서 상기 특정된 대상의 움직임과 연관된 움직임이 포함된 구간을 선택할 수 있다. 그리고, 상기 제어부(280)는 상기 연관 데이터에서 선택된 구간과 상기 프리뷰 영상에서 상기 특정된 대상의 움직임 구간이 대응되게 오버랩되도록 상기 디스플레이부(251)를 제어할 수 있다.
따라서, 사용자는 시선을 이용하여 외부 환경에 위치한 어느 일 대상에 대한 영상 데이터를 형성하거나, 상기 어느 일 대상과 관련된 연관 데이터를 상기 형성된 영상 데이터와 비교할 수 있다.
도면에는 도시되지 않았으나, 상기 데이터 형성 아이콘이 1차적으로 선택되면, 상기 기능 아이콘과 관련하여 실행할 수 있는 다양한 기능에 대한 서브 메뉴 아이콘이 출력될 수 있다. 이 경우, 사용자의 시선 및 특정 동작이 감지되는 것에 근거하여, 상기 서브 메뉴 아이콘이 2차적으로 선택될 수 있고, 이에 따라 선택된 서브 메뉴 아이콘에 연계된 기능이 실행될 수 있다.
또한, 상기 기능 아이콘은 상기 특정된 대상과 관련된 정보를 확인하기 위한 기능에 연계된 정보 아이콘일 수 있다. 이와 관련하여 도 8a 및 도 8b를 참조하여 설명하기로 한다.
도 8a 및 도 8b는 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우에 대한 실시 예를 도시한 도면이다.
도 8a를 참조하면, 어느 일 대상(2)에 대한 사용자의 시선 분석에 근거하여,상기 대상(1)이 특정되고, 도 8a의 두 번째 도면처럼, 상기 특정된 대상(2)이 위치한 영역과 대응되는 대응 영역에 기능 아이콘(10, 11, 12)이 위치할 수 있다.
또한, 상기 기능 아이콘(10, 11, 12) 중 상기 특정된 대상과 관련된 정보를 확인하는 기능에 연계된 기능 아이콘(10)이 사용자의 시선에 근거하여 특정될 수 있다. 이와 같이, 상기 기능 아이콘(10)이 특정된 상태에서, 사용자에 의한 기 설정된 제스처가 감지되면, 상기 제어부(280)는 상기 특정된 대상과 관련된 정보를 상기 디스플레이부(251)에 출력할 수 있다.
여기에서, 상기 특정된 대상과 관련된 정보는, 예를 들어, 상기 특정된 대상의 신상 정보, 성적 정보 등과 같이 상기 특정된 대상을 식별할 수 있는 모든 종류의 정보를 포함할 수 있다.
또한, 도 8a의 세 번째 도면처럼, 상기 제어부(280)는 상기 기능 아이콘과 마찬가지로, 상기 특정된 대상이 위치한 영역과 대응되는 일 영역에 상기 특정된 대상과 관련된 정보(27a)가 위치하도록 상기 디스플레이부(251)를 제어할 수 있다.
한편, 상기 제어부(280)는 상기 카메라(221)의 화각(field of view) 범위에 포함된 대상의 수에 따라 상기 특정된 대상과 관련된 정보의 출력 양을 결정할 수 있다.
보다 구체적으로, 상기 카메라(221)는 기 설정된 화각(field of view)에 의하여 외부 환경을 촬영하기 때문에 상기 사용자와 상기 외부 환경에 포함된 대상들 간의 거리가 달라짐에 따라 상기 카메라(221)에 의하여 촬영되는 대상들의 수가 달라질 수 있다.
예를 들어, 도 8a에서처럼, 사용자가 상기 외부 환경에 포함된 대상들과 비교적 멀리 위치한 경우, 상기 카메라의 화각(field of view) 범위 내에 4명의 대상이 포함될 수 있다. 이와 달리, 도 8b에서처럼, 사용자가 상기 외부 환경에 포함된 대상들과 비교적 가까이 위치한 경우, 상기 카메라(221)의 화각(field of view) 범위 내에는 2명의 대상이 포함될 수 있다.
이 경우, 도 8a 및 도 8b의 세 번째 도면처럼, 상기 제어부(280)는 상기 카메라(221)의 화각(field of view) 범위에 적은 대상이 포함된 경우의 정보의 출력 양(27b)이, 상기 카메라(221)의 화각(field of view) 범위에 많은 대상이 포함된 경우의 정보의 출력 양(27a)보다 많아지도록 상기 디스플레이부(251)를 제어할 수 있다.
따라서, 사용자는 상기 디스플레이부(251)의 출력 영역에 대응되는 허상 이미지의 형성 영역(401)을 통하여 상기 특정된 대상을 바라보는 경우, 자신의 시야 범위 내에서 적절한 양의 정보를 제공받을 수 있다.
이상에서는, 상기 사용자의 시선이 어느 일 특정 대상을 향하는 경우 상기 어느 일 특정 대상과의 관계에서 실행될 수 있는 다양한 실시 예를 설명하였다. 이하, 상기 사용자의 시선이 어느 일 대상을 향하여 특정되지 않는 경우 본 발명에 따른 안경형 단말기로 수행될 수 있는 실시 예들에 대하여 설명하기로 한다.
본 발명에 따른 안경형 단말기는, 상기 안경형 단말기로부터 기 설정된 거리 이내에 포함된 복수의 외부 기기와 무선통신을 수행할 수 있다. 이 경우, 상기 안경형 단말기는 사용자의 시선 및 기 설정된 움직임이 감지되는 것에 근거하여, 상기 복수의 외부 기기 각각으로 동시에 정보를 송신하거나 상기 복수의 외부 기기 각각으로부터 동시에 정보를 수신할 수 있다. 이를 위하여, 상기 안경형 단말기는 특정 모드로 진입하여, 상기 안경형 단말기에 기 등록된 복수의 외부 기기 각각과 무선 연결될 수 있다.
도 9a 및 도 9b는 안경형 단말기에서 복수의 외부 기기 각각으로 정보가 송신되는 실시 예를 도시한 도면이다.
먼저, 도 9a를 참조하면, 상기 안경형 단말기는 설정으로 동작 모드를 설정할 수 있다. 예를 들어, 상기 안경형 단말기는 설정에 의하여 어느 일 외부 기기와 특정 정보를 송수신할 수 있는 제1 모드 또는 복수의 외부 기기 각각과 동시에 특정 정보를 송수신할 수 있는 제2 모드로 동작할 수 있다.
사용자의 선택에 의하여, 상기 제2 모드가 설정된 경우, 상기 제어부(280)는 상기 안경형 단말기(200)로부터 기 설정된 거리 이내에 포함된 복수의 외부 기기와 무선 연결되도록 상기 무선통신부를 제어할 수 있다. 여기에서, 상기 복수의 외부 기기 각각에 대응되는 식별정보는 상기 안경형 단말기에 미리 등록될 수 있다.
이와 같이, 상기 제2 모드로 진입한 상태에서, 상기 제어부(280)는 외부 환경이 촬영되도록 상기 카메라(221)를 제어하고, 상기 외부 환경에 대한 사용자의 시선을 감지하도록 상기 센싱부를 제어할 수 있다.
만약, 도 9a의 두 번째 도면처럼, 상기 외부 환경의 어느 일 외부 기기(500, 전자칠판)에 대한 사용자의 시선이 감지된 경우, 상기 제어부(280)는 상기 카메라(221)로부터 촬영된 외부 환경에 대응되는 촬영 영상으로부터 상기 사용자의 시선이 향하는 객체를 특정할 수 있다.
또한, 상기 제어부(280)는 상기 특정된 객체에 대응되는 상기 일 외부 기기(500)의 이미지 분석을 통하여 상기 일 외부 기기(500)의 표시부에 출력된 화면 정보(30)를 획득할 수 있다. 예를 들어, 상기 제어부(280)는 상기 일 외부 기기(500)에 대응되는 식별정보를 획득하고 상기 일 외부 기기(500)로부터 상기 화면정보(30)를 수신할 수 있다. 또 다른 예로, 상기 제어부(280)는 상기 카메라(221)를 이용하여 상기 화면정보(30)에 대한 캡처 이미지를 획득할 수 있다.
또한, 상기 제어부(280)는 도 9a의 세 번째 도면처럼, 상기 센싱부에 의하여 상기 사용자의 시선이 상기 일 외부 기기(500)를 향하는 상태에서, 상기 사용자의 기 설정된 움직임(어느 일 방향으로 손을 움직이는 동작)이 감지되는 경우, 복수의 외부 기기로 상기 화면정보(30)를 전송할 수 있다.
즉, 도 9a의 네 번째 도면처럼, 상기 화면정보(30)는 상기 안경형 단말기(200)에 기 등록된 복수의 외부 기기(100, 100')로 전송될 수 있다.
마찬가지로, 도 9b를 참조하면, 상기 사용자의 시선이 향하는 어느 일 외부 기기로 상기 사용자의 단말기(300)가 특정될 수 있다. 이 경우, 상기 제어부(280)는 도 9b의 두 번째 도면처럼, 상기 사용자의 기 설정된 제스처가 감지되면, 상기 사용자의 단말기(300)의 표시부(351)에 출력된 정보(28)를 상기 복수의 외부 기기(100, 100')로 전송할 수 있다.
또한, 상기 제어부(280)는 상기 복수의 외부 기기(100, 100') 각각에 전송된 화면정보(28)에, 사용자에 의하여 형성된 추가정보를 표시하도록 상기 복수의 외부 기기(100, 100')를 제어할 수 있다. 여기에서, 상기 사용자에 의하여 형성된 추가정보는 상기 화면정보(28)에 포함된 내용 중 상기 사용자의 시선이나 음성 등에 근거하여 강조된 내용에 대응되는 정보일 수 있다.
즉, 도 9b의 세 번째 도면처럼, 상기 제어부(280)는 상기 화면정보(28)에서 상기 사용자의 시선에 의하여 특정된 영역(28a)에 포함된 정보를 상기 추가정보로써 상기 복수의 외부 기기(100, 100')로 전송할 수 있다. 이 경우, 상기 복수의 외부 기기(100, 100') 각각의 표시부에 출력된 화면정보(28)에 상기 추가정보가 강조되어 표시(28a)될 수 있다.
도면에는 도시되지 않았으나, 상기 제어부(280)는 상기 화면정보(28)가 출력된 상태에서 사용자의 음성이 입력되는 경우, 상기 화면정보(28)에서 상기 사용자의 음성에 대응되는 적어도 일부를 상기 추가정보로써 상기 복수의 외부 기기(100, 100')로 전송할 수 있다.
이와 같이, 상기 제어부(280)는 상기 사용자의 시선이나 기 설정된 움직임에 근거하여 상기 안경형 단말기로부터 기 설정된 거리 이내에 포함된 복수의 외부 기기로 동시에 정보를 전송할 수 있다. 또한, 상기 복수의 외부 기기로 전송한 정보 중 사용자에 의하여 강조된 추가 정보를 함께 전송하여, 상기 복수의 외부 기기 각각에 대응되는 사용자에게 편의를 제공할 수 있다.
마찬가지로, 상기 제2 모드에서 동작하는 경우, 상기 안경형 단말기는 무선연결된 복수의 외부 기기 각각으로부터 정보를 수신할 수 있다. 이와 관련하여 도 10을 참조하여 설명하기로 한다.
도 10은 안경형 단말기가 복수의 외부 기기로부터 동시에 정보를 수신하는 실시 예를 도시한 도면이다.
상기 안경형 단말기(200)에 상기 제2 모드가 설정된 상태에서, 상기 외부 환경을 향한 사용자의 시선이 감지되고, 상기 사용자의 기 설정된 제스처(양쪽 눈을 깜빡이는 제스처)가 감지될 수 있다.
이 경우, 상기 제어부(280)는 상기 무선통신부를 이용하여 복수의 외부 기기 (100a, 100b, 100c, 100d)각각의 표시부에 출력된 정보를 한 번에 수신할 수 있다. 또한, 상기 제어부(280)는 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각으로부터 수신된 정보에 대한 요약 정보가 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각에 대응되는 대상의 주변 영역에 출력되도록 상기 디스플레이부(251)를 제어할 수 있다.
예를 들어, 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각으로부터 수신된 정보는 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각에 대응되는 사용자가 입력한 정보(보다 구체적인 예로, 수학 문제에 대한 문제풀이 정보)일 수 있다. 이 경우, 상기 제어부(280)는 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각으로부터 수신된 정보를 분석하여, 각 정보에 대한 요약 정보(문제풀이 정보인 경우, 상기 문제풀이의 정답여부를 나타내는 정보)를 판단할 수 있다.
따라서, 도 10의 네 번째 도면처럼, 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각에 대응되는 대상이 위치한 영역과 대응되는 영역에 상기 요약정보(29a, 29b, 29c, 29d)가 각각 위치할 수 있다.
이와 같이, 상기 안경형 단말기에 설정된 모드에 따라 어느 일 외부 기기 또는 복수의 외부 기기를 제어할 수 있다. 또한, 상기 안경형 단말기를 착용한 사용자는 시선이나 동작을 변경하는 간단한 제스처 만으로 상기 어느 일 외부 기기 또는 복수의 외부 기기를 용이하게 제어할 수 있다.
사용자의 시선이 어느 일 대상을 향하는 것으로 감지되는 상태에서, 본 발명에 따른 안경형 단말기는 상기 카메라(221)의 화각 범위 내의 상기 일 대상과 다른 대상의 특정 움직임을 감지할 수 있다. 이하, 도 11을 참조하여 이와 관련된 실시 예를 설명한다.
도 11은 카메라의 화각 범위 내에 사용자의 시선에 근거하여 특정된 대상과 다른 대상에 대한 노티를 제공하는 실시 예를 도시한 도면이다.
도 11을 참조하면, 사용자의 시선이 상기 외부 환경의 어느 일 대상(1)을 향하는 것으로 감지되면, 도 11의 두 번째 도면처럼, 상기 제어부(280)는 상기 어느 일 대상(1)이 위치한 영역과 대응되는 대응 영역에 기능 아이콘을 출력할 수 있다.
이 상태에서, 도 11의 세 번째 도면처럼, 상기 사용자의 시선이 향하는 일 대상(1)과 다른 대상(4)의 특정 움직임이 상기 카메라(221)에 의하여 감지될 수 있다. 예를 들어, 상기 다른 대상(4)은, 손을 들거나, 자리에서 일어나는 등의 특정 동작으로 움직일 수 있다.
이 경우, 상기 제어부(280)는 도 11의 네 번째 도면처럼, 상기 다른 대상(4)이 위치한 영역과 관련된 일 영역에 상기 특정 움직임을 알리는 노티(4a)가 출력되도록 상기 디스플레이부(251)를 제어할 수 있다. 따라서, 사용자는 어느 일 대상(1)에 시선을 고정한 상태에서도, 감지하지 못한 다른 대상(4)에 관한 움직임을 용이하게 파악할 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기는, 사용자의 시선 분석을 통하여 외부환경에서 어느 일 대상을 특정하고 상기 특정된 대상과 관련하여 실행될 수 있는 기능의 아이콘을 제공할 수 있다. 따라서, 사용자는 상기 특정된 대상과 관련된 정보를 직접 검색하는 등의 과정 없이도 상기 특정된 대상과 관련하여 실행 가능한 기능에 대한 정보를 직관적으로 제공받을 수 있다.
또한, 사용자는 시선의 변경이나 기 설정된 제스처 등과 같은 비 접촉식 입력을 이용하여 상기 기능 아이콘에 연계된 다양한 기능을 실행할 수 있는 편의를 제공 받는다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 착용 가능한 안경형 단말기에 있어서,
    상기 안경형 단말기의 본체에 구비되는 디스플레이부;
    외부환경을 촬영하는 카메라;
    상기 외부환경에 대한 사용자의 시선을 감지하는 센싱부; 및
    상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 카메라에 의해 촬영된 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하고,
    상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 것을 특징으로 하는 안경형 단말기.
  2. 제1항에 있어서, 상기 제어부는,
    상기 기능 아이콘과 관련된 선택 입력이 수신되는 것에 근거하여, 상기 기능 아이콘에 연계된 기능을 실행하는 것을 특징으로 하는 안경형 단말기.
  3. 제2항에 있어서,
    상기 기능 아이콘과 관련된 선택 입력은,
    상기 센싱부에 의하여, 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것으로 수신되는 것을 특징으로 하는 안경형 단말기.
  4. 제1항에 있어서, 상기 특정된 대상과 관련된 이벤트는,
    상기 카메라를 통해 촬영되는 상기 특정된 대상의 기 설정된 움직임인 것을 특징으로 하는 안경형 단말기.
  5. 제2항에 있어서,
    무선통신부를 더 포함하고,
    상기 기능 아이콘은, 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능에 연계된 제어 아이콘을 포함하며,
    상기 제어부는,
    상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능이 실행되는 경우, 상기 외부 기기로 기 설정된 제어명령을 전송하도록 상기 무선통신을 제어하는 것을 특징으로 하는 안경형 단말기.
  6. 제5항에 있어서, 상기 제어부는,
    상기 외부환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상에 대응되는 외부 기기의 식별정보를 획득하고,
    상기 외부 기기의 식별정보를 이용하여 상기 외부 기기와의 무선통신을 수행하도록 상기 무선통신부를 제어하는 것을 특징으로 하는 안경형 단말기.
  7. 제5항에 있어서, 상기 제어부는,
    상기 제어 아이콘과 관련된 선택 입력으로 사용자의 제1 제스처가 감지되는 경우, 기 설정된 정보의 전송을 요청하는 제1 제어명령을 상기 외부 기기로 전송하고,
    상기 제어 아이콘과 관련된 선택 입력으로 사용자의 제2 제스처가 감지되는 경우, 상기 외부 기기에서 기 설정된 정보를 출력시키는 제2 제어명령을 상기 외부 기기로 전송하도록 상기 무선통신부를 제어하는 것을 특징으로 하는 안경형 단말기.
  8. 제7항에 있어서,
    상기 제1 제어명령에 의하여 상기 외부 기기로부터 수신되는 기 설정된 정보는, 상기 외부 기기의 표시부에 출력중인 화면정보이며,
    상기 제어부는,
    상기 무선통신부에 의하여 상기 외부 기기의 표시부에 출력중인 화면정보가 수신되면, 상기 화면정보를 상기 디스플레이부에 출력시키는 것을 특징으로 하는 안경형 단말기.
  9. 제8항에 있어서, 상기 제어부는,
    상기 디스플레이부에 상기 화면정보가 출력된 상태에서 특정 입력이 인가되는 것에 근거하여 상기 외부 기기와 다른 기기로 상기 화면정보를 전송하도록 상기 무선통신부를 제어하고,
    상기 다른 기기는, 상기 센싱부에 의하여 감지된 사용자의 시선에 근거하여 선택되는 것을 특징으로 하는 안경형 단말기.
  10. 제7항에 있어서, 상기 제어부는,
    상기 카메라를 통해 촬영되는 상기 특정된 대상과 관련된 이벤트의 종류에 근거하여, 상기 제2 제어명령에 의하여 상기 외부 기기에서 출력할 기 설정된 정보를 선택하는 것을 특징으로 하는 안경형 단말기.
  11. 제2항에 있어서,
    상기 기능 아이콘은, 상기 특정된 대상과 관련된 정보를 확인하는 기능에 연계된 정보 아이콘을 포함하고,
    상기 제어부는,
    상기 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우, 상기 외부 환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상과 관련된 정보를 획득하고,
    상기 획득된 특정된 대상과 관련된 정보의 적어도 일부가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  12. 제11항에 있어서, 상기 제어부는,
    상기 외부 환경에 대응되는 영상에 포함된 대상의 수에 따라 상기 특정된 대상과 관련된 정보의 출력양을 조절하는 것을 특징으로 하는 안경형 단말기.
  13. 제2항에 있어서,
    상기 기능 아이콘은, 상기 특정된 대상에 대한 영상 데이터를 형성하는 기능에 연계된 데이터 형성 아이콘을 포함하고,
    상기 제어부는,
    상기 데이터 형성 아이콘과 관련된 선택 입력이 수신되면 상기 특정된 대상을 촬영하도록 상기 카메라를 제어하고,
    상기 카메라에 의하여 촬영되는 상기 특정된 대상에 대한 프리뷰 영상이 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  14. 제13항에 있어서, 상기 제어부는,
    상기 디스플레이부에 상기 프리뷰 영상이 출력된 상태에서, 상기 프리뷰 영상에 포함된 상기 특정된 대상의 움직임과 연관된 움직임 정보를 포함하는 연관 데이터 영상의 출력 요청이 있으면,
    상기 프리뷰 영상에 상기 연관 데이터 영상이 오버랩되어 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  15. 제1항에 있어서, 상기 제어부는,
    상기 외부환경에 대응되는 영상에서 상기 특정된 대상과 다른 대상에 대한 특정 움직임이 감지되면,
    상기 다른 대상의 특정 움직임을 알리는 정보가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  16. 카메라에 의하여 외부환경을 촬영하는 단계;
    센싱부에 의하여 상기 외부환경에 대한 사용자의 시선을 감지하는 단계;
    상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하는 단계;
    상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘을 위치시키는 단계를 포함하는 것을 특징으로 하는 안경형 단말기의 제어방법.
  17. 제16항에 있어서,
    상기 기능 아이콘과 관련된 선택 입력을 수신하는 단계; 및
    상기 선택 입력이 수신되는 것에 근거하여 상기 기능 아이콘에 연계된 기능을 실행하는 단계를 더 포함하는 것을 특징으로 하는 안경형 단말기의 제어방법.
  18. 제17항에 있어서,
    상기 기능 아이콘과 관련된 선택 입력은,
    상기 센싱부에 의하여 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것에 의하여 수신되는 것을 특징으로 하는 안경형 단말기의 제어방법.
  19. 제17항에 있어서, 상기 기능 아이콘에 연계된 기능을 실행하는 단계는,
    상기 외부환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하는 단계;
    상기 특정된 대상의 이미지 분석에 근거하여 상기 특정된 대상과 관련된 정보를 획득하는 단계; 및
    상기 획득된 특정된 대상과 관련된 정보를 이용하여 상기 기능 아이콘에 연계된 기능을 실행하는 단계를 포함하는 것을 특징으로 하는 안경형 단말기의 제어방법.
  20. 제16항에 있어서,
    상기 특정된 대상과 관련된 이벤트는,
    상기 카메라를 통하여 촬영되는 상기 특정된 대상의 기 설정된 움직임인 것을 특징으로 하는 안경형 단말기의 제어방법.
PCT/KR2015/004579 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법 WO2016182090A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/569,922 US10514755B2 (en) 2015-05-08 2015-05-08 Glasses-type terminal and control method therefor
PCT/KR2015/004579 WO2016182090A1 (ko) 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법
KR1020177029126A KR102110208B1 (ko) 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/004579 WO2016182090A1 (ko) 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법

Publications (1)

Publication Number Publication Date
WO2016182090A1 true WO2016182090A1 (ko) 2016-11-17

Family

ID=57249069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004579 WO2016182090A1 (ko) 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법

Country Status (3)

Country Link
US (1) US10514755B2 (ko)
KR (1) KR102110208B1 (ko)
WO (1) WO2016182090A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI656359B (zh) * 2017-05-09 2019-04-11 瑞軒科技股份有限公司 用於混合實境之裝置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109804357A (zh) 2016-10-07 2019-05-24 索尼公司 服务器、客户端、控制方法和存储介质
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
WO2019193885A1 (ja) * 2018-04-06 2019-10-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019212798A1 (en) * 2018-05-01 2019-11-07 Snap Inc. Image capture eyewear with auto-send
KR20210019826A (ko) * 2019-08-13 2021-02-23 삼성전자주식회사 Ar 글래스 장치 및 그 동작 방법
US11481177B2 (en) * 2020-06-30 2022-10-25 Snap Inc. Eyewear including multi-user, shared interactive experiences
KR20220138933A (ko) * 2021-04-07 2022-10-14 삼성전자주식회사 메타 렌즈를 포함하는 카메라 및 그 카메라를 포함하는 웨어러블 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
KR20130059827A (ko) * 2011-11-29 2013-06-07 학교법인 한국산업기술대학 동공인식을 이용한 안경 카메라
KR20130067902A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 안경형 이동 통신 단말 장치
KR20140128489A (ko) * 2013-04-25 2014-11-06 (주)세이엔 영상 인식과 터치 인터페이스를 이용한 스마트 안경 및 그의 제어 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
KR20140072651A (ko) * 2012-12-05 2014-06-13 엘지전자 주식회사 글래스타입 휴대용 단말기
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20140139883A (ko) * 2013-05-28 2014-12-08 엘지전자 주식회사 디스플레이 장치
KR20150018264A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 안경형 단말기의 정보 제공 장치 및 그 방법
KR20150033431A (ko) * 2013-09-24 2015-04-01 엘지전자 주식회사 안경형 단말기 및 그 제어 방법
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN107787472A (zh) * 2015-08-04 2018-03-09 谷歌有限责任公司 用于虚拟现实中的凝视交互的悬停行为
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10663729B2 (en) * 2016-09-15 2020-05-26 Daqri, Llc Peripheral device for head-mounted display
JP2018097160A (ja) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 表示システム、表示装置、及び、表示装置の制御方法
US10564720B2 (en) * 2016-12-31 2020-02-18 Daqri, Llc User input validation and verification for augmented and mixed reality experiences
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10871934B2 (en) * 2017-05-04 2020-12-22 Microsoft Technology Licensing, Llc Virtual content displayed with shared anchor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking
KR20130059827A (ko) * 2011-11-29 2013-06-07 학교법인 한국산업기술대학 동공인식을 이용한 안경 카메라
KR20130067902A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 안경형 이동 통신 단말 장치
KR20140128489A (ko) * 2013-04-25 2014-11-06 (주)세이엔 영상 인식과 터치 인터페이스를 이용한 스마트 안경 및 그의 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI656359B (zh) * 2017-05-09 2019-04-11 瑞軒科技股份有限公司 用於混合實境之裝置
US10606098B2 (en) 2017-05-09 2020-03-31 Amtran Technology Co., Ltd. Device for mixed reality
US10613345B2 (en) 2017-05-09 2020-04-07 Amtran Technology Co., Ltd. Mixed reality assembly and method of generating mixed reality
US10795178B2 (en) 2017-05-09 2020-10-06 Amtran Technology Co., Ltd. Device for mixed reality

Also Published As

Publication number Publication date
KR102110208B1 (ko) 2020-05-13
KR20180004112A (ko) 2018-01-10
US10514755B2 (en) 2019-12-24
US20180150133A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
WO2016190505A1 (ko) 글래스타입 단말기 및 이의 제어방법
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2015053449A1 (ko) 안경형 영상표시장치 및 그것의 제어방법
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2017051975A1 (ko) 이동 단말기 및 그 제어방법
WO2016024746A1 (en) Mobile terminal
WO2017018603A1 (ko) 이동 단말기 및 이의 제어방법
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2018056473A1 (ko) 헤드 마운티드 디스플레이 장치
WO2018124334A1 (ko) 전자장치
WO2018070624A2 (en) Mobile terminal and control method thereof
WO2015194723A1 (ko) 이동단말기 및 그 제어방법
WO2015174611A1 (ko) 이동 단말기 및 그것의 제어 방법
WO2019160194A1 (ko) 이동 단말기 및 그 제어방법
WO2016195207A1 (ko) 이동 단말기
WO2017026554A1 (ko) 이동 단말기
WO2017204498A1 (ko) 이동 단말기
WO2016039496A1 (ko) 이동단말기 및 그 제어방법
WO2017022872A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법
WO2016039509A1 (ko) 단말기 및 그 동작 방법
WO2018135675A1 (ko) 전자장치
WO2016027932A1 (en) Glass-type mobile terminal and control method thereof
WO2016013768A1 (ko) 이동단말기 및 그 제어방법
WO2016035920A1 (ko) 이동 단말기 및 이의 제어 방법
WO2016024707A1 (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15891906

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177029126

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15569922

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15891906

Country of ref document: EP

Kind code of ref document: A1