WO2016021747A1 - 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법 - Google Patents

헤드 마운티드 디스플레이 장치 및 그것의 제어 방법 Download PDF

Info

Publication number
WO2016021747A1
WO2016021747A1 PCT/KR2014/007245 KR2014007245W WO2016021747A1 WO 2016021747 A1 WO2016021747 A1 WO 2016021747A1 KR 2014007245 W KR2014007245 W KR 2014007245W WO 2016021747 A1 WO2016021747 A1 WO 2016021747A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification information
user
displayed
hmd device
virtual reality
Prior art date
Application number
PCT/KR2014/007245
Other languages
English (en)
French (fr)
Inventor
김종호
이도영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/325,203 priority Critical patent/US10444930B2/en
Priority to EP14899544.2A priority patent/EP3179292B1/en
Priority to PCT/KR2014/007245 priority patent/WO2016021747A1/ko
Publication of WO2016021747A1 publication Critical patent/WO2016021747A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Definitions

  • the present invention relates to a head mounted display (HMD) device capable of providing contents to a user while being worn on the user's head.
  • HMD head mounted display
  • Head mounted display (HMD) devices are various image display devices that are worn on a user's head like glasses to allow a user to view an image (content).
  • various wearable computers have been developed, and the HMD device is also widely used.
  • the HMD device can be combined with augmented reality technology, N screen technology, and the like to provide various conveniences to the user beyond simple display functions.
  • the HMD device generates not only augmented reality that uses at least part of the real environment around the HMD device, but also creates a virtual space itself and interacts with the five senses such as the user's vision and hearing in the virtual space. You can also provide a virtual reality that makes you feel like you are.
  • the HMD device may display the notification information to the user in the virtual space.
  • the HMD device may recognize the user's gesture and receive a user's selection of the notification information displayed in the virtual space.
  • the user when the user makes a gesture to touch the notification information, the user may not be aware of the actual object and thus may be at risk from the user without knowing it, and the notification information may experience the user's virtual reality experience. Sometimes it interferes with this. Accordingly, various methods for ensuring the safety of the user when the notification information is displayed and effectively displaying the notification information on the HMD device without disturbing the user's virtual reality experience are currently being actively studied.
  • An object of the present invention is to provide an HMD device and its HMD device that can ensure the safety of the user even when the user makes a gesture on the notification information when the notification information is generated while the user wears the HMD device. It is to provide a method for controlling.
  • Another object of the present invention is to provide a HMD device and its HMD device so that the user's virtual reality experience is not disturbed by the display of the notification information when the notification information occurs while the user is wearing the HMD device; It is to provide a method for controlling.
  • a head mounted display device the display unit for outputting a virtual reality image, and the object around the HMD device And a controller configured to display notification information related to the generated event on the display unit when a predetermined event occurs, wherein the controller comprises the HMD device among the recognized objects.
  • An obstacle is detected based on a distance between the object and the recognized object, and when the generated notification information is notification information requiring interaction of a user, a location on which the notification information is to be displayed based on the detected obstacle. It is characterized by determining.
  • the control unit may recognize an area corresponding to the position of the detected obstacle in the virtual reality image, and output the notification information to another area except for the recognized part.
  • the control unit may select a virtual reality object corresponding to the detected obstacle from the virtual reality image and apply the notification information to an area other than an area on the virtual reality image in which the selected virtual reality object is displayed. It is characterized by outputting.
  • control unit may distinguish the notification information requiring the user's interaction from the notification information that does not need the user's interaction and display the distinguished information.
  • the controller may be further configured to determine whether the notification information is based on whether the notification information requires confirmation of a separate user or whether the notification information unilaterally transmits information to the user. It is characterized by determining whether the interaction is the required notification information.
  • the notification information requiring interaction of the user may be notification information for notifying a Short Messaging Service (SMS) or Social Network Service (SNS) message or an incoming call.
  • SMS Short Messaging Service
  • SNS Social Network Service
  • the controller may display the notification information such that the perspective information is different from each other in the case of notification information requiring user interaction and notification information not requiring user interaction.
  • the controller may identify the virtual reality image displayed in the region where the notification information is displayed through the region in which the notification information is displayed. And displaying the notification information.
  • the control unit may select the virtual object corresponding to the detected obstacle from the virtual reality image and display the notification information based on the selected shape of the virtual object.
  • the controller may display the notification information in a form in which the notification information is placed on the virtual object.
  • the control unit may display the notification information as a graphic object having a shape attached to a surface of a virtual object corresponding to the detected obstacle.
  • the controller may further evaluate the importance of the virtual reality image displayed at the determined location to change the location at which the notification information is displayed.
  • the control unit may evaluate the importance according to at least one of a movement or a display state of the virtual objects on the virtual reality image displayed at the determined position, and a type of the virtual objects.
  • the controller may further include an area on the virtual reality image in which the amount of movement of the virtual objects is greater than or equal to a predetermined level or the virtual objects are closed up based on the evaluated importance. Or display the notification information in a region other than the region on the virtual reality image in which the caption or guide text is displayed.
  • the controller may detect, as the obstacle, objects located within a length corresponding to the length of the arm of the user, from the recognized object, between the HMD device and the recognized object.
  • the apparatus may further include a location sensor configured to detect a current location, and the controller may store a result of recognizing at least one object located at a specific place according to a user's selection, When the current location is the specific place, the objects around the current user may be recognized using the recognition results of the pre-stored objects.
  • the apparatus may further include a camera that may receive an image of objects around a user, and the controller may recognize the object and detect the obstacle based on the received image of the object.
  • the virtual object corresponding to the shape of the detected obstacle is selected from the virtual reality image currently displayed on the display.
  • the controller when the virtual object corresponding to the shape of the detected obstacle is not included in the virtual reality image, the controller generates a virtual object corresponding to the shape of the obstacle to generate an image on the virtual reality image. It is characterized by displaying on.
  • the controller may determine a location at which notification information is to be displayed based on the type of the thing for each thing, based on the recognized thing.
  • a control method of a head mounted display device outputs a virtual reality image, the object around the user Recognizing, detecting the objects located within a predetermined distance of the recognized objects as an obstacle, detecting whether a predetermined event has occurred, and, if the predetermined event occurs, the detected And displaying notification information corresponding to the generated event on the virtual reality image based on the position of the obstacle.
  • the present invention by the HMD device recognizes the obstacle around the HMD, by avoiding the recognized obstacle to display the notification information, the user gestures for the notification information Even when taking the advantage that the user's safety can be guaranteed.
  • the present invention in the case of a pre-recognized obstacle, the notification information can be displayed by using a virtual reality object corresponding to the recognized obstacle, the user's virtual There is an advantage that the notification information can be provided to the user without disturbing the reality experience.
  • FIG. 1A is a block diagram illustrating a configuration of an HME device according to an embodiment of the present invention.
  • FIG. 1B is an exemplary view showing an example of an HMD device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an operation process of an HMD device according to an exemplary embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operation process of displaying notification information differently depending on whether notification information requires user interaction among the processes shown in FIG. 2.
  • FIG. 4 is a flowchart illustrating an operation process of recognizing an obstacle around the HMD device and displaying the notification information accordingly in displaying notification information among the processes shown in FIG. 2.
  • FIG. 5 is a flowchart illustrating an operation process of displaying notification information at a location which does not disturb the user's virtual reality experience in the HMD device according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an operation process of displaying notification information using a virtual object corresponding to a previously recognized obstacle in the HMD device according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view illustrating an example of displaying notification information in an HMD device according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram illustrating an example of notification information displayed differently according to whether a user needs an interaction in the HMD device according to an exemplary embodiment of the present invention.
  • FIGS. 9A and 9B are diagrams illustrating an example of displaying notification information by using a virtual object corresponding to a currently recognized obstacle in an HMD device according to an embodiment of the present invention.
  • FIGS. 10A and 10B are diagrams illustrating another example of displaying notification information by using a virtual object corresponding to a currently recognized obstacle in an HMD device according to an embodiment of the present invention.
  • FIG. 1A is a block diagram illustrating a configuration of an HMD device according to an embodiment of the present invention.
  • the HMD device 100 includes a control unit 110, a display unit 112, a recognition unit, and a memory 114 connected to the control unit 110. Can be configured.
  • the camera may further include a wireless communication unit and a sound output unit.
  • the HMD device 100 described herein may have more or fewer components than those listed above.
  • the HMD device 100 is configured to be worn on the head (or head, head) of the human body, it may be provided with a frame portion (case, housing, etc.) for this.
  • the frame part is supported by the head, and provides a space for mounting various components. As shown, components such as the controller 180 and the recognizer 140 may be mounted in the frame unit. In addition, the display unit 112 covering at least one of the left eye and the right eye may be detachably mounted to the frame unit.
  • the display unit 112 is mounted on the head and serves to show an image directly in front of the user's eyes.
  • the display 112 may be disposed to correspond to at least one of the left eye and the right eye so as to provide an image directly in front of the user's eyes.
  • the display unit 112 may project an image to the eyes of a user using a prism.
  • the prism can be formed translucent so that the user can see the projected image together with the general field of view (the range the user sees through the eye) together. In this way, the image output through the display 112 may be seen to overlap with the general field of view.
  • the HMD device 100 may provide an augmented reality (AR) that displays a single image by superimposing a virtual image on a real image or a background using the characteristics of the display.
  • AR augmented reality
  • the recognition unit 140 may include at least one sensor for recognizing the environment around the HMD device 100.
  • the recognition unit 116 may include a proximity sensor, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor G-. sensor, gyroscope sensor, motion sensor, RGB sensor, infrared sensor (IR sensor), fingerprint scan sensor, ultrasonic sensor, optical sensor It may include at least one of an optical sensor (eg, a camera), a microphone, a battery gauge, and the like.
  • the controller 110 may use information detected by at least one of these sensors to recognize an environment around the HMD device 100.
  • the HMD device 100 may be provided with a microphone (not shown) and a sound output unit for outputting sound.
  • the sound output unit may be configured to transmit sound by a general sound output method or a bone conduction method.
  • the HMD device 100 may further include a wireless communication unit (not shown). And, the wireless communication unit, between the HMD device 100 and the wireless communication system, between the HMD device 100 and the external device, between the HMD device 100 and a remote controller (remote controller) for controlling it or the HMD device 100 And one or more modules that enable wireless communication between the server and an external server.
  • the wireless communication unit may include one or more modules for connecting the HMD device 100 to one or more networks.
  • the wireless communication unit may further include at least one of a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and a location information module.
  • the memory 114 stores data supporting various functions of the HMD device 100.
  • the memory 114 may store a plurality of application programs (applications) or applications that are driven by the HMD device 100, data for operating the HMD device 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication. In addition, at least some of these application programs may exist on the HMD device 100 from the time of shipment for basic functions of the HMD device 100.
  • the application program may be stored in a memory, installed on the HMD device 100, and driven by the controller 180 to perform an operation (or function) of the HMD device 100.
  • the controller 110 controls the overall operation of the HMD device 100.
  • the controller 180 displays image information through the display 112 or displays the image information to the user by processing signals, data, information, etc. input or output through the components described above, or by running an application program stored in the memory 114. Provide or process appropriate information or functions.
  • the controller 110 generates a virtual space according to the information stored in the memory 114 or the user's selection, and visually and auditory information related to the generated virtual space through the display 112 and the sound output unit. It can be provided to the user to provide a virtual reality so that the user can feel the virtual space as if it is real.
  • the control unit 110 may recognize the surrounding objects by using at least one detection value detected by the sensor of the recognition unit 116. If an event to be notified to the user occurs, the controller 110 may provide the user with notification information for informing the user of the occurrence of such an event, and the notification information is displayed on the display 112. It may be provided in the form of visual information or sound information displayed on.
  • the controller 110 may display the notification information based on the surrounding environment recognized by the recognition unit 116. That is, the controller 110 of the HMD device 100 according to an embodiment of the present invention determines the distance between the surrounding objects recognized by the recognition unit 116, an obstacle that may threaten the safety of the user. It can be determined whether or not. If there are obstacles that may threaten the safety of the user, the objects or areas in the virtual reality corresponding to the obstacles or the objects or areas in the virtual reality corresponding to the obstacles may be avoided. The notification information may be displayed.
  • the controller 110 of the HMD device 100 may use a result of recognizing obstacles to at least one specific place in advance.
  • the controller 110 may recognize in advance objects of at least one specific place according to a user's selection, and information corresponding to the recognized objects may be stored in the memory 114 in advance.
  • the controller 110 may display the notification information at a location where the user experiences the least amount of virtual reality experience. That is, the controller 110 may display the notification information on the visual information related to the virtual space, that is, the portion of the virtual reality image displayed on the display 112 that is determined to be the least important. For example, the controller 110 may evaluate the importance based on the movement or movement state of the virtual objects on the current virtual reality image, or may evaluate the importance based on the object itself displayed in the virtual reality object.
  • the controller 110 determines the output position of the notification information based on an object in the virtual reality corresponding to an obstacle that may threaten the safety of the user. May be considered further. Accordingly, in displaying the notification information, the HMD device 100 according to the embodiment of the present invention not only protects the user's body but also provides the notification information without disturbing the user experiencing the virtual reality as much as possible. To be made available to the user.
  • the power supply unit receives power from the outside and the power from the inside to supply power to each component included in the HMD device 100.
  • a power supply includes a battery, which may be an internal battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other in order to implement an operation, control, or control method of the HMD device 100 according to various embodiments described below.
  • the operation, control, or control method of the HMD device 100 may be implemented on the HMD device 100 by driving at least one application program stored in the memory.
  • FIG 1B illustrates an example of an HMD device 100 according to an embodiment of the present invention.
  • HMD device 100 can be implemented in a form that can be mounted on the user's head, it may be provided with a frame portion for this.
  • the frame portion may be formed of a flexible material to facilitate wearing.
  • the frame part includes a first frame 101 and a second frame 102 of different materials.
  • the frame part is supported by the head, and provides a space for mounting various components.
  • electronic components such as the controller 110, the recognition unit 140, the sound output unit 152, and the like may be mounted on the frame unit.
  • the display unit 112 covering at least one of the left eye and the right eye may be detachably mounted to the frame unit.
  • the display unit 112 may be formed so that the display unit 112 covers both the left and right eyes so as to output an image toward both the left and right eyes of the user.
  • the display unit 112 may be configured as a stereoscopic display unit for displaying a stereoscopic image.
  • the left image and the right image necessary for implementing the 3D stereoscopic image may be displayed on the stereoscopic display unit by the stereoscopic processing unit.
  • the stereo processing unit may be configured to receive a 3D image (the image of the base view and the image of the extended view) and set a left image and a right image therefrom, or to receive a 2D image and convert it to a left image and a right image.
  • the sound output unit 152 may output audio data received from a wireless communication unit or stored in a memory in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may also output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed by the HMD device 100.
  • the sound output unit 152 may include a receiver, a speaker, a buzzer, and the like.
  • the recognizer 116 may recognize objects around the HMD device 100 and determine whether the recognized objects are obstacles that may threaten the user's body.
  • the recognition unit 116 may be implemented as a laser sensor, an infrared sensor, an ultrasonic sensor, or the like, and recognizes a location of objects around the HMD device 100 and a distance from which the objects are separated by using light, infrared light, or ultrasonic waves. can do.
  • the objects corresponding to the obstacle may be distinguished based on the recognized separation distance.
  • the controller 180 may calculate the position of the wave generation source through the information detected by the optical sensor and the plurality of ultrasonic sensors.
  • the position of the wave generation source may be calculated using the time when the light reaches the optical sensor is much faster than the time when the ultrasonic wave reaches the ultrasonic sensor. More specifically, the position of the wave generation source may be calculated using a time difference from the time when the ultrasonic wave reaches the light as the reference signal.
  • the HMD device 100 may further include a camera 121.
  • the camera 121 may be disposed adjacent to at least one of the left eye and the right eye, and may be formed to capture an image of the front. In this case, since the camera 121 is located adjacent to the eye, a scene viewed by the user may be obtained as an image.
  • FIG. 1B illustrates that only one camera 121 is included, the present invention is not limited thereto.
  • the camera 121 may be formed in a form having a plurality of lenses or a plurality of lenses to acquire a stereoscopic image.
  • the camera 121 and the laser sensor may be combined with each other to detect a user's gesture with respect to the virtual reality image, for example, a user's touch with respect to a specific virtual reality object.
  • the camera 121 that is, the photo sensor, calculates coordinates of a sensing target, that is, a specific body part of the user, according to the amount of change of light, and thereby obtains location information to which the body part of the user is directed.
  • the controller 110 may identify a virtual reality object, that is, a virtual object designated by the body part of the user, in the virtual reality image based on the obtained position information.
  • the virtual object may be various objects included in the virtual reality image, or may be various notification information displayed on the virtual reality image.
  • the HMD device 100 may include a haptic module (not shown) for generating various touch effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module may be vibration.
  • the intensity and pattern of vibration generated in the haptic module may be controlled by the user's selection or the setting of the controller.
  • the haptic module may output different vibrations or sequentially output the synthesized vibrations.
  • the haptic module can be operated by a pin array that vertically moves with respect to the contact skin surface, the effects of stimulation such as the blowing force or suction force of air through the injection or inlet, grazing to the skin surface, contact of electrodes, and electrostatic force.
  • various tactile effects can be generated, such as an effect of reproducing a feeling of cold and heat using an endothermic or heat generating element.
  • the haptic module can not only deliver a tactile effect through direct contact, but can also be implemented so that a user can feel the tactile effect through a muscle sense such as a face or ear.
  • Two or more haptic modules may be provided according to the configuration aspect of the HMD device 100.
  • the HMD device 100 may include a wireless communication unit, and the wireless communication unit may include at least one of a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and a location information module. It may include.
  • the broadcast reception module of the wireless communication unit receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • Two or more broadcast reception modules may be provided to the HMD device 100 for simultaneous broadcast reception or broadcast channel switching for at least two broadcast channels.
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network constructed according to technical standards or communication schemes for mobile communication.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module refers to a module for wireless internet access and may be embedded or external to the HMD device 100.
  • the wireless internet module is configured to transmit and receive wireless signals in a communication network according to wireless internet technologies.
  • the wireless Internet module for performing a wireless Internet access through the mobile communication network may be understood as a kind of mobile communication module.
  • the short range communication module is for short range communication, and between the HMD device 100 and the wireless communication system, between the HMD device 100 and an external device, and the remote controller for controlling the HMD device 100. Wireless communication between the controllers or between the HMD device 100 and an external server may be supported.
  • the location information module is a module for obtaining a location (or current location) of the HMD device 100 and is based on information of a wireless access point (AP) that transmits or receives a radio signal with a GPS satellite or a Wi-Fi module. By doing so, the position of the HMD device 100 may be obtained.
  • AP wireless access point
  • FIG. 2 is a flowchart illustrating an operation process of an HMD device according to an exemplary embodiment of the present invention.
  • the controller 110 of the HMD device 100 may provide visual information and auditory information related to virtual reality according to a user's selection.
  • the controller 110 provides the virtual reality-related information to the user and recognizes objects around the user.
  • the controller 110 may detect whether notification information to be provided to the user has occurred (S200).
  • the controller 110 may determine that the notification information has occurred when a preset event occurs. These events can be various. For example, the controller 110 may determine that such an event has occurred when a short messaging service (SMS) or social network service (SNS) message is newly received by the HMD device 100. Alternatively, the controller 110 may determine that the event occurs when an alarm is generated to inform the user that the battery is low or connectable to an access point (AP) or the current time or a preset time.
  • SMS short messaging service
  • SNS social network service
  • the control unit 110 detects whether there is an obstacle that may pose a danger to the user's body of the currently recognized objects (S202).
  • the controller 110 may recognize the objects as the obstacles based on the distance between the current user and the recognized objects among the recognized objects.
  • the controller 110 may be one of the objects, which are located within a distance corresponding to the length of the arm of the user, that is, a distance of about 1 m. It may be determined whether or not the 'obstacle'.
  • the controller 110 may determine a position to display the notification information based on the detected position of the obstacle (S204). For example, in determining the position to display the notification information, the controller 110 recognizes the position and direction of the obstacle, and the position and direction of the obstacle on the virtual reality image output on the display 112.
  • the notification information may be displayed in an area on the virtual reality image except for the area corresponding to the. This is to prevent the user from being injured by obstacles around the user even if the user gestures to the displayed notification information when the notification information is displayed while the user is being provided with information about the virtual reality. .
  • the notification information may be displayed using the detected obstacle, of course.
  • the controller 110 generates a virtual object corresponding to the obstacle detected in the step S202 and displays it on the virtual reality image currently being provided to the user, and displays the notification information around the virtual object. can do.
  • the controller 110 may select an object corresponding to the position and shape of the detected obstacle among the virtual objects included in the currently provided virtual reality image, and display the notification information around the selected virtual object. .
  • the controller 110 may recognize objects around the user more accurately at the current place. For example, the controller 110 may accurately recognize types or shapes of objects around the user from images of objects around the user input through the camera 121 provided in the HMD device 100 according to a user's selection. It may be.
  • the recognized information about the surrounding objects may be stored in the memory 114 according to a user's selection, and may be used again at any time according to the user's selection. That is, the controller 110 stores the information on the place where the user is currently located together with the recognized information about the surrounding objects, and if the user is determined to be located at the same place later, Information can be reused.
  • the controller 110 may display the notification information at the determined location (S206). Accordingly, in the HMD device 100 according to an embodiment of the present invention, since the notification information is displayed based on the location of the obstacle detected around the user, when the user makes a gesture with respect to the notification information, The user can be prevented from getting injured.
  • the controller 110 may determine the position where the notification information is displayed in consideration of the virtual reality image currently output on the display 112. For example, the controller 110 may minimize the disturbance of the user's virtual reality experience when the notification information is displayed based on the virtual objects of the currently displayed virtual reality image.
  • the controller 110 determines whether the notification information hides a highlight portion in the currently displayed virtual reality based on the display position of the currently determined notification information and the virtual objects displayed at the location. It can be determined whether it is displayed at a specific location that interferes with immersion. If the notification information is displayed at a location covering the specific location or highlight portion, the controller 110 may display the notification information in another area on the virtual reality image except for the locations.
  • the control unit 110 of the HMD device 100 according to an exemplary embodiment of the present invention performs an operation process of displaying notification information by avoiding a location covering a specific location or a region where a highlight is displayed on the virtual reality image. See this in more detail.
  • control unit 110 may determine the location where the notification information is displayed according to the type of the notification information in determining the location to display the notification information in step S204.
  • the controller 110 may detect the notification information based on a type of the generated notification information, according to whether the notification information is notification information that requires a user's interaction, that is, a user's gesture response to the notification information.
  • the location where the notification information is displayed may be determined based on the location of the obstacle.
  • the controller 110 may distinguish whether the currently generated notification information is necessary or not for the user's interaction and display it on the display 112. This is to allow the user to distinguish whether the currently displayed notification information requires the user's interaction, so that the user can make a gesture only in the case of the information requiring the interaction.
  • FIG. 3 illustrates an operation of displaying notification information differently according to whether notification information requires user interaction in this case.
  • the controller 110 of the HMD device 100 may determine whether the currently generated notification information is information requiring user interaction (S300). For example, the controller 110 may determine that the notification information requires user interaction when the currently generated alarm information is information that requires confirmation of the user, such as a newly received SMS or SNS message or an incoming call. It can be determined as information. In addition, the controller 110 may be configured to display a notification of a current time or information about an expiration of a preset time, or to provide specific information to a user, such as a current battery status. Notification information may be determined as notification information that does not require the user's interaction.
  • the controller 110 may display the control unit 110 separately from each other according to the determination result of the step S300. That is, as a result of the determination in step S300, the controller 110 may display the notification information currently generated when the notification information is information that does not require the user's interaction from information requiring the user's interaction. Can be. For example, the controller 110 may display the notification information as if it is located at a distant distance as if the user does not reach out, or as a 'sky' on the virtual reality image displayed through the display 112. The notification information may be displayed at a location that cannot be reached even if the user reaches out. Alternatively, the controller 110 may display the virtual objects on the virtual reality image so that they can be identified through the notification information in case of the notification information that does not require the user's interaction.
  • the control unit 110 is based on the location of the obstacle detected in the vicinity of the user only when the notification information is the notification information that requires the user interaction, that is, the user's gesture response to the notification information.
  • the position at which is displayed may be determined.
  • the controller 110 proceeds to step S204 to detect an obstacle among objects around the user and detects the detected information. Based on the position of the obstacle, it is also possible to determine a position to display the notification information requiring the user's interaction.
  • the HMD device 100 has mentioned that the position where the notification information is displayed may be detected based on the position of the detected obstacle. That is, in displaying the notification information, the HMD device 100 according to an embodiment of the present disclosure may display the notification information in an area other than the area on the virtual reality image corresponding to the detected obstacle location. Alternatively, the notification information may be displayed using the detected obstacle. For example, the controller 110 may display the notification information by using a virtual object corresponding to the detected obstacle.
  • FIG. 4 illustrates an operation process of recognizing obstacles around the HMD device and displaying the notification information accordingly in displaying the notification information.
  • the controller 110 of the HMD device 100 corresponds to the position of the currently detected obstacle. It is determined whether there is a virtual object (S400). If the virtual object corresponding to the location of the currently detected obstacle is displayed on the virtual reality image as a result of the determination in step S400, the controller 110 may determine the notification information based on the type of the corresponding virtual object. The position to be displayed may be determined (S402). For example, in step S402, the controller 110 may display the notification information in an area other than the area on the virtual reality image in which the corresponding virtual object is displayed.
  • the controller 110 may detect whether the virtual object corresponding to the detected obstacle type is displayed in the area on the virtual reality image corresponding to the position of the detected obstacle based on the currently detected obstacle type. have. For example, the controller 110 may recognize the position and shape of various objects located in a specific place in advance according to a user's selection, and store information about the recognized objects in advance. If the current location is the specific place as a result of the location detection, the controller 110 may recognize the shapes of the objects around the user using the recognition information of the pre-stored objects. In this case, objects that are located within a certain distance from the user among the objects may be detected as obstacles, and the shapes of the obstacles may be recognized based on recognition information of the objects detected as the obstacles.
  • the controller 110 may determine whether there is a virtual object corresponding to the obstacle, based on the detected obstacle shape. That is, when the detected obstacle has a horizontal plane on which another object can be placed, such as a desk or a table, the controller 110 corresponds to a desk or table or a bed corresponding to the position of the currently detected obstacle.
  • the virtual object such as a chair may be determined to be a virtual object corresponding to the detected obstacle.
  • the controller 110 detects a virtual object such as a wall, a TV or a computer monitor, or a window corresponding to the location of the currently detected obstacle. It may be determined that the virtual object corresponds to the obstacle.
  • the controller 110 may determine a location where the notification information is to be displayed based on the form of the virtual object. For example, the controller 110 determines a position where the notification information is to be displayed or post-it in a form of being placed on the virtual object (for a virtual object such as a desk or a table or a bed or a chair). The location of the notification information may be determined in an attached form (for a virtual object such as a wall or a window, a cupboard, or a monitor). In this case, the controller 110 may display the notification information in a state of being placed on a virtual object such as a desk or a table in step S206, or display the notification information in a state of being attached to a virtual object such as a wall or a monitor.
  • the controller 110 may recognize the shape of the obstacle very simply. That is, the controller 110 may receive the image of the object detected as an obstacle among the objects recognized by the recognition unit 116 through the camera 121 provided with the image. The image of the received obstacle may be analyzed to determine whether the obstacle has a horizontal plane or a vertical plane. If the obstacle has a horizontal plane or a vertical plane, the controller 110 may determine whether a virtual object corresponding to the obstacle is included in the current virtual reality image based on the width of the vertical or horizontal plane. In this case, the virtual object corresponding to the detected obstacle may be searched based on the recognition result of the objects around the user without information about the previously recognized objects.
  • step S402 when the virtual object corresponding to the position of the currently detected obstacle is not included in the currently displayed virtual reality image, the controller 110 may determine the location and / or location of the detected obstacle on the virtual reality image.
  • the location where the notification information is displayed may be determined in another area except for an area corresponding to a direction.
  • the controller 110 may generate a virtual object corresponding to the detected obstacle, display the virtual object on the virtual reality image, and display the notification information based on the generated virtual object. That is, as a result of recognizing an obstacle around the user as described above, when there is pre-stored information corresponding to the recognized obstacle, the controller 110 creates a new virtual object based on the pre-stored information and has the obstacle. It may be displayed in the area on the virtual reality image corresponding to the position.
  • the notification information may be displayed based on the displayed type of the virtual object.
  • the controller 110 may recognize the obstacle based on whether the recognized obstacle has a horizontal plane or a vertical plane of a predetermined size or more.
  • the virtual object corresponding to the recognized obstacle may be displayed in an area on the virtual reality image corresponding to the location of the obstacle.
  • the controller 110 of the HMD device 100 may mention that the notification information may be displayed at a location that may disturb the user's virtual reality experience least. I've done it.
  • FIG. 5 is a flowchart illustrating an operation of displaying notification information at a location that does not disturb the user's virtual reality experience in the HMD device according to an embodiment of the present invention.
  • the control unit 110 of the HMD device 100 when the position on the virtual reality image to display the notification information is determined in step S202, the control unit 110 of the HMD device 100 according to an embodiment of the present invention is located at the currently determined position.
  • the importance of the displayed virtual reality content may be evaluated (S500).
  • the controller 110 may determine whether the notification information is displayed at the display position of the currently determined notification information according to whether the importance evaluated at step S500 is less than the predetermined level (S502).
  • the controller 110 may evaluate the importance based on the virtual objects displayed at the position where the display of the current notification information is determined in step S500.
  • the control unit 110 is a case where the movement change amount of the virtual objects displayed at the position where the display of the notification information is determined, that is, when the movement of the virtual objects displayed at the position where the display of the notification information is determined is greater than or equal to a preset level, When there are virtual objects displayed in a close-up state in the region where the information is determined, the importance of the virtual reality content displayed at the location where the current notification information is determined may be highly evaluated.
  • the controller 110 may allow the user to display the notification information by avoiding an area on the virtual reality image in which the information with high concentration is displayed.
  • the controller 110 may evaluate the importance of a virtual object such as a caption or a guide of the virtual reality content that the user is currently experiencing.
  • the controller 110 may display the notification information in the currently determined area or another area according to the evaluated importance. Can be. That is, the controller 110 displays the notification information at the currently determined position when the importance evaluated in the step S500 is less than the preset level, and the notification information when the evaluated importance is more than the preset level. It is also possible to determine a new position to display (S504). In this case, the controller 110 determines a new position to display the notification information based on the position of the obstacle detected around the user as in the above-described process of FIG. 4 to determine a new position to display the notification information. Of course you can.
  • the HMD device 100 may use information of a previously recognized object in connection with the detected location information.
  • FIG. 6 illustrates an operation process of displaying notification information using a virtual object corresponding to a previously recognized obstacle.
  • the controller 110 of the HMD device 100 may determine the position at which the notification information is to be displayed in step S204, based on the current position of the HMD device 100.
  • the notification information may be displayed at a location different from the determined location. That is, when the location to display the notification information is determined in step S204, the controller 110 may detect the current location of the HMD device 100 and determine whether the detected location is a place previously designated by the user. . When the location of the current HMD device 100 is not a predetermined place by the user as a result of the determination in step S600, the controller 110 displays notification information at the currently determined location (S608). In this case, the controller 110 may change the display position of the notification information based on the virtual reality content displayed at the display position of the notification information.
  • step S600 when the current location of the HMD device 100 is a predetermined place by the user, the controller 110 recognizes objects around the user and may cause danger to the user's body among the recognized objects. It detects whether there is an object, that is, an obstacle. The controller 110 may detect a part of the recognized objects as the obstacle based on the distance between the user and the recognized objects. Meanwhile, when the location of the current HMD device 100 is a place previously designated by the user, the memory 114 recognizes the objects by using a photographed image of the objects located at the current place through the camera 121. The information may be stored in advance. In this case, when there is information about objects previously recognized for the current place, the controller 110 may recognize the type and shape of the obstacles detected in a more accurate manner.
  • the controller 110 may determine whether a virtual object corresponding to the currently detected obstacle is included in the virtual reality image currently displayed on the display 112 (S602). In addition, if the virtual object corresponding to the currently recognized obstacle is displayed on the display 112 as a result of the determination in step S602, the controller 110 is located at a preset position based on the virtual object.
  • the notification information may be displayed (S604). That is, the controller 110 may determine in advance a location where the notification information is displayed based on the detected obstacle, and display the notification information at the predetermined location with respect to the virtual object corresponding to the detected obstacle. It may be.
  • the predetermined position based on the detected obstacle may be determined according to the shape and shape of the detected obstacle.
  • the corresponding virtual object may also be a chair or a table, and in this case, may have a horizontal plane of a predetermined size or more.
  • the controller 110 may preset an area in which the notification information is displayed in a predetermined area on the horizontal plane, and display the notification information in a form in which the notification information is placed on a virtual object such as a chair or a table. have.
  • the controller 110 may display a graphic object corresponding to the notification information instead of the notification information (S604). If there is a user's selection of the graphic object, the notification information may be displayed at a predetermined position on the display 112 (S606). As such, in the case of notification information requiring user interaction, a graphic object is displayed according to a user's selection, and the notification information is displayed based on a user's gesture with respect to the graphic object, with reference to FIGS. 10A and 10B. Let's look at it.
  • the HMD device 100 in the above description, to determine the location to display the notification information to the user based on the position of the object recognized around the user, and the operation process of displaying the notification information I looked in detail.
  • FIG. 7 is an exemplary view illustrating an example of displaying notification information in an HMD device according to an embodiment of the present invention.
  • the controller 110 of the HMD device 100 may recognize an object around the user, that is, the computer monitor 700.
  • the controller 110 controls the monitor 700. It may be recognized as an object, that is, an obstacle that may pose a danger to the user's body.
  • the controller 110 may display notification information for notifying the user of the event on the display 112.
  • the controller 110 may display the notification information 800 in an area other than the area on the display 112 corresponding to the detected obstacle, that is, the position of the monitor 700.
  • Figure 7 (b) shows this example.
  • the controller 110 may also evaluate the importance of the virtual reality content displayed in the determined area according to a predetermined criterion.
  • the preset criterion may be an amount of movement of the virtual objects displayed in the region where the notification information 800 is to be displayed, a state in which the virtual objects are displayed in the region, and types of the virtual objects. If the evaluated importance is less than a predetermined level, the notification information may be displayed in an area different from the currently determined area.
  • control unit 110 of the HMD device 100 mentioned that the notification information may be displayed separately according to whether or not the information requiring the user's interaction. There is a bar.
  • the user's interaction that is, the information requiring the user's interaction
  • the information that does not require the user's interaction is information that is unilaterally transmitted to the user, that is, a warning indicating a low battery, information for notifying the current time, or notifying the user that a preset alarm time has expired. Information for example.
  • the user's interaction may be set to information necessary for the user's interaction.
  • FIG. 8 illustrates an example of notification information displayed differently according to whether a user needs an interaction in the HMD device according to an embodiment of the present disclosure.
  • the controller 110 may be touched when the user moves a gesture, for example, a hand, close to the user. It may be displayed on the display 112 as if it is displayed at a close distance. In contrast, in case of the notification information 850 that does not require user interaction, the notification information 850 may be displayed as if it is farther away from the user as shown in (b) of FIG. 8.
  • a gesture for example, a hand
  • the notification information 850 may be displayed as if it is farther away from the user as shown in (b) of FIG. 8.
  • the controller 110 may display the notification information on the display 112 to have different perspectives based on whether the notification information is information requiring user interaction.
  • the controller 110 semi-transparently displays an area where the notification information 850 is displayed, as shown in FIG.
  • the virtual reality image may be identified through an area where the notification information 850 is displayed.
  • the HMD device 100 may be located in another area except for an area in which virtual objects corresponding to locations and shapes corresponding to the detected obstacles are displayed among objects around the user. It has been mentioned that the notification information can be displayed. 9A and 9B illustrate this example.
  • FIG. 9A illustrates an example in which the user wears the HMD device 100
  • FIG. 9A (b) illustrates the display of the HMD device 100 worn by the user.
  • An example of the virtual reality image displayed in the unit 112 is shown.
  • the controller 110 may detect an obstacle among objects around the user based on the distance between the user and the object around the user. Accordingly, the monitor 900 may be detected as an obstacle, and in this case, the controller 110 may select at least one virtual object corresponding to the position and shape of the monitor 900.
  • the controller 110 displays an obstacle corresponding to the position at which the obstacle, that is, the monitor 900 is displayed, from the virtual reality image currently displayed on the display 112. You can choose which virtual objects to use. Accordingly, the controller 110 may determine that the virtual objects 910a and 910b included in the virtual reality image are at least one virtual object corresponding to the obstacle 900.
  • the controller 110 may select another area on the virtual reality image except for the area where the virtual objects 910a and 910b that are determined to correspond to the obstacle (monitor 900) as the area where the notification information 950 is to be displayed. You can decide. Accordingly, as shown in (b) of FIG. 9B, the notification information 950 may be displayed.
  • the controller 110 may detect a virtual object corresponding to the obstacle 900 from the virtual reality image based on the detected characteristic of the obstacle 900. For example, the controller 110 may select a chair, a table, or a bed as a virtual object corresponding to the detected obstacle, depending on whether the detected obstacle has a horizontal plane of a predetermined size or more. Alternatively, the controller 110 may select a wall, a door, a window, or the like as a virtual object corresponding to the detected obstacle according to whether the detected obstacle has a vertical plane of a predetermined size or more.
  • the controller 110 has a feature that is most similar to that of the shape of the detected obstacle, and the virtual object displayed in the area on the virtual reality image corresponding to the position of the detected obstacle corresponds to the detected obstacle. You can also select it as an object. That is, as shown in FIG. 9B, the controller 110 has a feature that is visible from the obstacle (monitor 900), that is, has a vertical plane of a predetermined size or more, and corresponds to the position of the detected obstacle 900.
  • the displayed virtual objects 910a and 910b may be selected as virtual objects corresponding to the detected obstacle 900.
  • the controller 110 of the HMD device 100 when the virtual object corresponding to the detected obstacle is included in the virtual reality image, the controller 110 of the HMD device 100 according to the embodiment of the present invention notifies based on the virtual object. It was mentioned that information can also be displayed.
  • FIGS. 10A and 10B illustrate another example of displaying notification information by using a virtual object corresponding to a currently recognized obstacle in the HMD device according to an embodiment of the present invention.
  • FIG. 10A illustrates an example in which a user wears the HMD device 100 according to an embodiment of the present invention and watches virtual reality content.
  • b) shows an example of a virtual reality image displayed on the display unit 112 of the HMD device 100 in the case of FIG. 10A (a).
  • the controller 110 may determine that a virtual object corresponding to the detected obstacle 1000 is currently displayed on the display 112. It may be determined whether it is included in the virtual reality image output on the screen.
  • the controller 110 may check whether there is information about objects previously recognized at the current place based on the location of the current HMD device 100.
  • the controller 110 may more accurately select a virtual object corresponding to the detected obstacle 1000. Accordingly, the virtual object 1010 shown in (b) of FIG. 10A may be selected as the virtual object corresponding to the detected obstacle 1000.
  • the controller 110 may display the notification information at a preset location based on the currently selected virtual object 1010. For example, when recognizing information about things, the controller 110 may determine in advance a location to display the notification information based on the type or form of the recognized things. That is, when the recognized object has a horizontal plane of a predetermined area or more, the controller 110 may determine in advance that the notification information is displayed in a state of being placed in a virtual object corresponding to the recognized object. Alternatively, when the recognized object has a vertical plane of a predetermined area or more, the notification information may be preset to be displayed in a form attached to the recognized object.
  • the controller 110 may recognize the shapes of various objects input through the camera 121 using various shape recognition methods, and determine the location where the notification information is displayed according to the recognition result. And if the display position of the notification information for the particular recognized thing by the user is specified, the display position of the notification information may be determined accordingly.
  • the controller 110 may determine a location where the notification information is to be displayed based on the selected virtual object 1010 corresponding to the detected obstacle. Accordingly, as shown in FIG. 10A, when the detected obstacle 1000 is a chair, the controller 110 displays the notification information on the virtual object 1010 corresponding to the chair. The display position of the notification information may be determined, and thus notification information currently generated may be displayed on the display 112.
  • the HMD device 100 displays a graphic object corresponding to the notification information on the virtual object 1010. It has been mentioned that content of the notification information may be displayed based on a user's selection of the graphic object.
  • the controller 110 may display the graphic object 1030 corresponding to the notification information at a preset position.
  • the controller 110 is a graphic object corresponding to the notification information, and the graphic object of the envelope as shown in (a) of FIG. 10B ( 1030 may be displayed.
  • the controller 110 may determine that there is a user's selection of the currently generated notification information. Also, of course, the user's selection may be determined by the user's gesture. Therefore, if the user reaches out and makes a gesture of touching the envelope-shaped graphic object 1030, the controller 110 may determine that there is user interaction with the notification information. Accordingly, the controller 110 may display the contents of the notification information on the display 112 as shown in (b) of FIG. 10B. Here, in displaying the contents of the notification information, the controller 110 may evaluate the importance of the area in which the notification information is displayed and determine the area in which the notification information is displayed according to the evaluation result.
  • the present invention may be applied.
  • the controller 110 may determine that the virtual object corresponding to the previously recognized object corresponding to the currently detected obstacle 1000 is not included in the virtual reality image or that the virtual object included in the virtual reality image is included in the virtual reality image. If it is not displayed at the position corresponding to the detected obstacle 1000, the controller 110 creates and displays a new virtual object corresponding to the detected obstacle 1000 or displays the virtual object displayed at another position. Of course, it may be displayed by moving to a position corresponding to the detected obstacle (1000).
  • the detected obstacle 1000 may be displayed on the virtual reality image.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include the controller 180 of the terminal.
  • the present invention may be applied to all other devices having a similar function, that is, for example, smart glass or of course, the smart lens (smart lens) can be applied to the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 머리에 착용된 상태에서 사용자에게 컨텐츠(Contents)를 제공할 수 있는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치에 관한 것으로, 가상현실 이미지를 출력하는 디스플레이부와, 상기 HMD 장치 주변의 사물들을 인식하는 센서, 및, 기 설정된 이벤트(event) 발생시, 상기 발생한 이벤트에 관련된 알림 정보를 상기 디스플레이부 상에 표시하는 제어부를 포함하여 구성되며, 상기 제어부는, 상기 인식된 사물들 중에서 상기 HMD 장치와 인식된 사물 사이의 거리에 근거하여 장애물을 검출하고, 상기 검출된 장애물에 근거하여 상기 알림 정보가 표시될 위치를 결정하는 것을 특징으로 한다.

Description

헤드 마운티드 디스플레이 장치 및 그것의 제어 방법
본 발명은 사용자의 머리에 착용된 상태에서 사용자에게 컨텐츠(Contents)를 제공할 수 있는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치에 관한 것이다.
헤드 마운티드 디스플레이(HMD) 장치란, 안경처럼 사용자의 머리에 착용되어 사용자가 영상(컨텐츠)을 볼 수 있도록 하는 각종 영상 표시 장치를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 장치 또한 널리 사용되고 있다. HMD 장치는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.
한편 이러한 HMD 장치는 이처럼 HMD 장치 주변의 실제 환경을 적어도 일부 이용하는 증강 현실 뿐만 아니라, 가상 공간 자체를 생성하고, 이러한 가상 공간에서 사용자의 시각과 청각 등 오감의 상호작용을 거쳐 마치 사용자가 상기 가상 환경을 실제처럼 느낄 수 있도록 하는 가상현실을 제공할 수도 있다.
한편 사용자가 HMD 장치를 착용하고 있는 경우에도, 메시지의 수신 알림과 같은 다양한 알림 정보가 사용자에게 제공될 수 있다. 이러한 경우 HMD 장치는 상기 가상 공간 내에서 상기 알림 정보를 사용자에게 표시할 수 있다. 그리고 HMD 장치는, 사용자의 제스처를 인식하여, 상기 가상 공간 내에서 표시되는 알림 정보에 대한 사용자의 선택을 입력받을 수 있다.
그런데 이처럼 사용자가 알림 정보를 터치하기 위해 제스처를 취하는 경우, 사용자는 실제 오브젝트를 인식하지 못함에 따라 사용자가 자신도 모르게 위험에 처해지는 경우가 있을 수도 있으며, 또한 상기 알림 정보가 사용자의 가상현실 체험을 방해하는 경우가 발생하기도 한다. 이에 따라 알림 정보가 표시될 때에 사용자의 안전을 보장하고 사용자의 가상현실 체험을 방해하지 않으면서도 효과적으로 HMD 장치에서 상기 알림 정보가 표시될 수 있도록 하는 다양한 방법들이 현재 활발하게 연구 중에 있다.
본 발명의 목적은, 사용자가 HMD 장치를 착용하고 있는 상태에서 알림 정보가 발생하는 경우, 사용자가 상기 알림 정보에 대한 제스처를 취하더라도 사용자의 안전이 보장될 수 있도록 하는 HMD 장치 및 그 HMD 장치를 제어하는 방법을 제공함에 있다.
본 발명의 다른 목적은, 사용자가 HMD 장치를 착용하고 있는 상태에서 알림 정보가 발생하는 경우, 상기 알림 정보의 표시로 인해 사용자의 가상현실 체험이 방해받지 않을 수 있도록 하는 HMD 장치 및 그 HMD 장치를 제어하는 방법을 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 헤드 마운트 디스플레이(Head Mounted Display) 장치는, 가상현실 이미지를 출력하는 디스플레이부와, 상기 HMD 장치 주변의 사물들을 인식하는 센서, 및, 기 설정된 이벤트(event) 발생시, 상기 발생한 이벤트에 관련된 알림 정보를 상기 디스플레이부 상에 표시하는 제어부를 포함하여 구성되며, 상기 제어부는, 상기 인식된 사물들 중에서 상기 HMD 장치와 인식된 사물 사이의 거리에 근거하여 장애물을 검출하고, 상기 발생한 알림 정보가 사용자의 인터랙션(interaction)을 필요로 하는 알림 정보인 경우, 상기 검출된 장애물에 근거하여 상기 알림 정보가 표시될 위치를 결정하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 가상현실 이미지에서 상기 검출된 장애물의 위치에 대응되는 영역을 인식하고, 상기 인식된 부분을 제외한 다른 영역에 상기 알림 정보를 출력하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 가상현실 이미지에서 상기 검출된 장애물에 대응되는 가상현실 객체를 선택하고, 선택된 가상현실 객체가 표시되는 가상현실 이미지 상의 영역을 제외한 다른 영역에 상기 알림 정보를 출력하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 사용자의 인터랙션이 필요한 알림 정보와, 사용자의 인터랙션이 필요 없는 알림 정보를 구분하여 서로 구분되게 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 알림 정보가, 별도의 사용자의 확인을 필요로 하는 것인지 또는 상기 알림 정보가 사용자에게 정보를 일방적으로 전달하는 것인지 여부에 근거하여, 상기 알림 정보가 사용자의 인터랙션이 필요한 알림 정보인지 여부를 판단하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 사용자의 인터랙션이 필요한 알림 정보는, SMS(Short Messaging Service) 또는 SNS(Social Network Service) 메시지 또는 착신된 호를 알리기 위한 알림 정보임을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 알림 정보가 사용자의 인터랙션이 필요한 알림 정보와 사용자의 인터랙션을 필요로 하지 않는 알림 정보의 경우 원근감이 서로 달라지도록 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 사용자의 인터랙션을 필요로 하지 않는 알림 정보의 경우, 상기 알림 정보가 표시되는 영역에서 표시되는 가상현실 이미지가, 상기 알림 정보가 표시되는 영역을 통해 식별 가능하도록 상기 알림 정보를 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 가상현실 이미지에서, 상기 검출된 장애물에 대응되는 가상 객체를 선택하고, 선택된 상기 가상 객체의 형상에 근거하여 상기 알림 정보를 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 선택된 가상 객체가 테이블 또는 의자인 경우, 상기 가상 객체에 상기 알림 정보가 놓여진 형태로 상기 알림 정보를 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 검출된 장애물에 대응되는 가상 객체의 표면에 부착된 형상의 그래픽 객체로 상기 알림 정보를 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 알림 정보가 표시될 위치가 결정되면 상기 결정된 위치에서 표시되는 가상현실 이미지의 중요도를 더 평가하여 상기 알림 정보가 표시될 위치를 변경하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 결정된 위치에서 표시되는 가상현실 이미지 상의 가상 객체들의 움직임이나 표시 상태, 및 상기 가상 객체들의 종류 중 적어도 하나에 따라 상기 중요도를 평가하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 평가된 중요도에 근거하여, 상기 가상 객체들의 움직임 양이 기 설정된 수준 이상이거나, 상기 가상 객체들이 클로즈업(Close up)된 상태로 표시되는 가상현실 이미지 상의 영역, 또는 상기 가상 객체가 자막 또는 안내문이 표시되는 가상현실 이미지 상의 영역을 제외한 다른 영역에 상기 알림 정보를 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 인식된 사물들 중에서 상기 HMD 장치와 인식된 사물 사이의 거리가 상기 사용자의 팔 길이에 해당되는 길이 내에 위치한 사물들을 상기 장애물로 검출하는 것을 특징으로 한다.
일 실시 예에 있어서, 현재의 위치를 감지하기 위한 위치 감지부를 더 구비하고, 상기 제어부는, 사용자의 선택에 따라 특정 장소에 위치한 적어도 하나의 사물을 인식한 결과를 저장하고, 상기 위치 감지 결과, 현재 위치가 상기 특정 장소인 경우, 상기 기 저장된 사물들의 인식 결과들을 이용하여 현재 사용자 주변의 사물들을 인식하는 것을 특징으로 한다.
일 실시 예에 있어서, 사용자 주변의 사물들에 대한 영상을 수신할 수 있는 카메라를 더 구비하고, 상기 제어부는, 상기 수신된 사물의 영상에 근거하여, 상기 사물을 인식 및, 상기 장애물이 검출되는 경우 검출된 장애물의 형상에 대응되는 가상 객체를 상기 디스플레이부 상에서 현재 표시되는 가상현실 이미지에서 선택하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 검출된 장애물의 형상에 대응되는 가상 객체가 상기 가상현실 이미지에 포함되어 있지 않은 경우, 상기 장애물의 형상에 대응되는 가상 객체를 생성하여 상기 가상현실 이미지 상에 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 인식된 사물에 근거하여, 각 사물별로 사물의 형태에 근거하여 알림 정보가 표시될 위치를 결정하는 것을 특징으로 한다.
또한 상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 헤드 마운트 디스플레이(Head Mounted Display) 장치의 제어 방법은, 가상현실 이미지를 출력하고, 사용자 주변의 사물을 인식하는 단계와, 상기 인식된 사물들 중 기 설정된 거리 이내에 위치한 사물들을 장애물로 검출하는 단계와, 기 설정된 이벤트(event) 발생하였는지를 검출하는 단계, 및, 기 설정된 이벤트가 발생된 경우, 상기 검출된 장애물의 위치에 근거하여 상기 발생된 이벤트에 대응되는 알림 정보를 상기 가상현실 이미지 상에 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 HMD 장치 및 그 장치의 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은, HMD 장치가, HMD 주변의 장애물을 인식하고, 인식된 장애물을 피하여 상기 알림 정보가 표시될 수 있도록 함으로써, 사용자가 상기 알림 정보에 대한 제스처를 취하는 경우에도 사용자의 안전이 보장될 수 있도록 한다는 장점이 있다.
또한, 본 발명의 실시예 들 중 적어도 하나에 의하면, 본 발명은, 미리 인식된 장애물의 경우, 인식된 장애물에 대응되는 가상현실 객체를 이용하여 상기 알림 정보가 표시될 수 있도록 함으로써, 사용자의 가상현실 체험을 방해하지 않으면서도 알림 정보가 사용자에게 제공될 수 있도록 한다는 장점이 있다.
도 1a는 본 발명의 실시 예에 따른 HME 장치의 구성을 도시한 블록도이다.
도 1b는 본 발명의 실시 예에 따른 HMD 장치의 예를 보이고 있는 예시도이다.
도 2는 본 발명의 실시 예에 따른 HMD 장치의 동작 과정을 도시한 흐름도이다.
도 3은, 도 2에서 보인 과정들 중, 알림 정보가 사용자의 인터랙션을 필요로 하는지 여부에 따라 서로 다르게 알림 정보를 표시하는 동작 과정을 도시한 흐름도이다.
도 4는, 도 2에서 보인 과정들 중, 알림 정보를 표시하는 데 있어서, HMD 장치 주변의 장애물을 인식하고 그에 따라 알림 정보를 표시하는 동작 과정을 도시한 흐름도이다.
도 5는, 본 발명의 실시 예에 따른 HMD 장치에서, 사용자의 가상현실 체험을 가장 방해하지 않는 위치에 알림 정보를 표시하는 동작 과정을 도시한 흐름도이다.
도 6은, 본 발명의 실시 예에 따른 HMD 장치에서, 미리 인식된 장애물에 대응되는 가상 객체를 이용하여 알림 정보를 표시하는 동작 과정을 도시한 흐름도이다.
도 7은, 본 발명의 실시 예에 따른 HMD 장치에서 알림 정보가 표시되는 예를 도시한 예시도이다.
도 8은, 본 발명의 실시 예에 따른 HMD 장치에서 사용자의 인터랙션 필요 여부에 따라 다르게 표시되는 알림 정보의 예를 도시한 예시도이다.
도 9a 및 도 9b는, 본 발명의 실시 예에 따른 HMD 장치에서, 현재 인식된 장애물에 대응되는 가상 객체를 이용하여 알림 정보를 표시하는 예를 도시한 예시도이다.
도 10a 및 도 10b는, 본 발명의 실시 예에 따른 HMD 장치에서, 현재 인식된 장애물에 대응되는 가상 객체를 이용하여 알림 정보를 표시하는 다른 예를 도시한 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1a는 본 발명의 실시 예에 따른 HMD 장치의 구성을 도시한 블록도이다.
도 1a를 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD 장치(100)는, 제어부(110)와 상기 제어부(110)에 연결되는 디스플레이부(112), 인식부, 메모리(114)를 포함하여 구성될 수 있다. 그리고 카메라나 무선 통신부 및 음향 출력부등을 더 포함하여 구성될 수도 있다. 즉, 본 명세서 상에서 설명되는 HMD 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있음은 물론이다.
보다 구체적으로, HMD 장치(100)는 인체의 두부(또는, 머리, 헤드(head))에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)를 구비할 수 있다.
프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어부(180), 인식부(140)와 같은 부품들이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중 적어도 하나를 덮는 디스플레이부(112)가 착탈 가능하게 장착될 수 있다.
디스플레이부(112)는 두부에 장착되어, 사용자의 눈 앞에 직접 영상을 보여주는 역할을 한다. 사용자가 HMD 장치(100)를 착용하였을 때, 사용자의 눈 앞에 직접 영상을 제공할 수 있도록, 디스플레이부(112)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다.
또한, 디스플레이부(112)는 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다. 그리고 이처럼 디스플레이부(112)를 통하여 출력되는 영상은, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. HMD 장치(100)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수도 있다.
한편 인식부(140)는 HMD 장치(100) 주변의 환경을 인식하기 위한 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 인식부(116)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광센서(optical sensor, 예를 들어, 카메라), 마이크로폰(microphone), 배터리 게이지(battery gauge) 등의 센서들을 적어도 하나를 포함할 수 있다. 그리고 제어부(110)는, HMD 장치(100) 주변의 환경을 인식하기 위해 이러한 센서들 중 적어도 하나 이상의 센서에서 감지되는 정보들을 이용할 수 있다.
또한, HMD 장치(100)에는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력부가 구비될 수 있다. 음향 출력부는 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다.
또한 비록 도 1a의 도면에 개시되지는 않았으나 본 발명의 실시 예에 따른 HMD 장치(100)는 무선 통신부(미도시)를 더 포함할 수도 있다. 그리고 상기 무선 통신부는, HMD 장치(100)와 무선 통신 시스템 사이, HMD 장치(100)와 외부 기기 사이, HMD 장치(100)와 이를 제어하기 위한 리모트 컨트롤러(remote controller) 사이 또는 HMD 장치(100)와 외부 서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부는, HMD 장치(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
또한 상기 무선 통신부는, 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 더 포함할 수도 있다.
한편 메모리(114)는 HMD 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(114)는 HMD 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), HMD 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, HMD 장치(100)의 기본적인 기능을 위하여 출고 당시부터 HMD 장치(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리에 저장되고, HMD 장치(100) 상에 설치되어, 제어부(180)에 의하여 상기 HMD 장치(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
한편 제어부(110)는 HMD 장치(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(114)에 저장된 응용 프로그램을 구동함으로써, 디스플레이부(112)를 통해 화상 정보를 표시하거나 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
즉, 제어부(110)는 메모리(114)에 저장된 정보 또는 사용자의 선택에 따라 가상 공간을 생성하고, 생성된 가상 공간과 관련된 시각 정보와 청각 정보를, 상기 디스플레이부(112) 및 음향 출력부를 통해 사용자에게 제공하여 사용자가 마치 가상의 공간을 마치 실제처럼 느낄 수 있도록 하는 가상현실을 제공할 수 있다.
이처럼 가상현실을 사용자에게 제공하는 상태에서, 제어부(110)는 상기 인식부(116)의 센서로부터 감지되는 적어도 하나의 감지값을 이용하여 주변의 사물을 인식할 수 있다. 그리고 만약 사용자에게 알려야할 이벤트가 발생하는 경우, 제어부(110)는 이러한 이벤트의 발생을 사용자에게 알리기 위한 알림(Notification) 정보를 사용자에게 제공할 수 있으며, 상기 알림 정보는 상기 디스플레이부(112) 상에 표시되는 시각 정보 또는 음향 정보의 형태로 제공될 수 있다.
이러한 경우, 제어부(110)는 상기 인식부(116)를 통해 인식된 주변 환경에 근거하여 상기 알림 정보가 표시되도록 할 수 있다. 즉, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는 상기 인식부(116)를 통해 인식된 주변의 사물들간의 거리를 판단하여, 사용자의 안전에 위협을 줄 수 있는 장애물인지 여부를 판단할 수 있다. 그리고 상기 주변의 사물들 중, 사용자의 안전에 위협을 줄 수 있는 장애물이 있는 경우, 상기 장애물에 대응되는 가상현실 내의 객체 또는 영역을 이용하거나 또는 상기 장애물에 대응되는 가상현실 내의 객체 또는 영역을 피하여 상기 알림 정보를 표시할 수 있다.
이를 위해 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는, 적어도 하나의 특정 장소에 대한 장애물들을 미리 인식한 결과를 이용할 수도 있다. 이러한 경우 제어부(110)는 사용자의 선택에 따라 적어도 하나의 특정 장소에 대한 사물들을 미리 인식할 수 있으며, 인식된 사물들에 대응되는 정보들은 미리 메모리(114)에 저장될 수도 있다.
한편 제어부(110)는 상기 알림 정보를 표시함에 있어서, 사용자의 가상현실 체험이 가장 적게 방행되는 위치에 상기 알림 정보가 표시되도록 할 수도 있다. 즉, 제어부(110)는 가상 공간과 관련된 시각 정보, 즉 디스플레이부(112)에서 표시되는 가상현실 이미지 상에서 가장 중요도가 낮다고 판단되는 부분에 상기 알림 정보가 표시되도록 할 수 있다. 예를 들어 제어부(110)는 현재 가상현실 이미지 상에서 가상 객체들의 이동 또는 움직임 상태에 근거하여 상기 중요도를 평가하거나, 가상현실 객체에서 표시되는 객체 그 자체에 근거하여 상기 중요도를 평가할 수도 있다.
이러한 경우 상기 제어부(110)는 사용자의 안전에 위협을 줄 수 있는 장애물에 대응되는 가상현실 내의 객체에 근거하여 상기 알림 정보의 출력 위치를 결정함에 있어서, 상기 가상현실 이미지 상에서 중요도가 높게 판단되는 부분을 더 고려할 수도 있다. 이에 따라 본 발명의 실시 예에 따른 HMD 장치(100)에서는, 알림 정보를 표시함에 있어서, 사용자의 신체를 보호할 수 있을 뿐만 아니라, 가상현실을 체험하는 사용자를 최대한 방해하지 않으면서도 상기 알림 정보가 사용자에게 제공될 수 있도록 한다.
한편 전원공급부는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 HMD 장치(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 HMD 장치(100)의 동작, 제어, 또는 제어 방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 HMD 장치(100)의 동작, 제어, 또는 제어 방법은 상기 메모리에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 HMD 장치(100) 상에서 구현될 수 있다.
도 1b는 본 발명의 실시 예에 따른 HMD 장치(100)의 예를 도시한 것이다.
도 1b를 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD 장치(100)는 사용자의 머리에 장착될 수 있는 형태로 구현될 수 있으며, 이를 위한 프레임부를 구비할 수 있다. 이러한 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 본 도면에서는, 프레임부가 서로 다른 재질의 제1 프레임(101)과 제2 프레임(102)을 포함하는 것을 예시하고 있다.
프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어부(110), 인식부(140), 음향 출력부(152) 등과 같은 전자부품이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중 적어도 하나를 덮는 디스플레이부(112)가 착탈 가능하게 장착될 수 있다.
이러한 디스플레이부(112)는, 사용자의 좌안 및 우안 모두를 향하여 영상을 출력할 수 있도록, 디스플레이부(112)가 좌안 및 우안을 모두 덮도록 형성될 수 있다. 또한 상기 디스플레이부(112)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다. 그리고 3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부에 의하여 입체 디스플레이부에 표시될 수 있다. 입체 처리부는 3D 영상(기준시점의 영상과 확장시점의 영상)을 입력 받아 이로부터 좌 영상과 우 영상을 설정하거나, 2D 영상을 입력 받아 이를 좌 영상과 우 영상으로 전환하도록 이루어질 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 HMD 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
한편 인식부(116)는 상술한 바와 같이 HMD 장치(100) 주변의 사물들을 인식하고, 인식된 사물이 사용자의 신체에 위협을 줄 수 있는 장애물인지 여부를 판단할 수 있다. 이러한 인식부(116)는 레이저 센서, 적외선 센서, 초음파 센서등으로 구현될 수 있으며, 빛, 적외선 또는 초음파를 이용하여, HMD 장치(100) 주변의 사물들의 위치 및 상기 사물들이 이격된 거리를 인식할 수 있다. 그리고 인식된 이격 거리에 근거하여, 상기 주변의 사물 중, 상기 장애물에 해당되는 것들을 구분할 수 있다.
또는 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 예를 들어 파동 발생원의 위치는, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.
또한 본 발명의 실시 예에 따른 HMD 장치(100)는 카메라(121)을 더 구비할 수 있다. 예를 들어 카메라(121)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 형성될 수 있다. 이러한 경우 카메라(121)가 눈에 인접하여 위치하므로, 사용자가 바라보는 장면이 영상으로 획득될 수 있다. 또한 상기 도 1b에서는 카메라(121)가 하나만 포함되는 것을 도시하고 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어 카메라(121)는 복수 개 또는 복수 개의 렌즈를 가지는 형태로 형성되어 입체 영상을 획득하도록 이루어질 수도 있다.
한편 카메라(121)와 레이저 센서는 서로 조합되어, 가상현실 이미지에 대한 사용자의 제스처, 예를 들어 특정 가상현실 객체에 대한 사용자의 터치를 감지할 수 있다. 카메라(121), 즉, 포토 센서는 빛의 변화량에 따른 감지대상, 즉 사용자의 특정 신체 부위에 대한 좌표 계산을 수행하며, 이를 통하여 사용자의 신체 부위가 향하는 위치 정보를 획득할 수 있다. 이 경우 제어부(110)는 상기 획득된 상기 위치 정보에 근거하여 가상현실 이미지 내에서 상기 사용자의 신체 부위에 의해 지정되는 가상현실 객체, 즉 가상 객체를 식별할 수 있다. 여기서 상기 가상 객체는, 가상현실 이미지 내에 포함되는 다양한 객체일 수 있으며, 또는 상기 가상현실 이미지 상에 표시되는 각종 알림 정보일 수도 있다.
또한 본 발명의 실시 예에 따른 HMD 장치(100)는 사용자가 느낄 수 있는 다양한 촉곽 효과를 발생시키는 햅틱 모듈(haptic module)(미도시)를 포함할 수 있다. 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 얼굴이나 귀 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈은 HMD 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
한편 본 발명의 실시 예에 따른 HMD 장치(100)는 무선 통신부를 구비할 수 있으며, 상기 무선 통신부는, 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
무선 통신부의 방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 HMD 장치(100)에 제공될 수 있다.
이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, HMD 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
한편 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈은 상기 이동통신 모듈의 일종으로 이해될 수도 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, HMD 장치(100)와 무선 통신 시스템 사이, HMD 장치(100)와 외부 기기 사이, HMD 장치(100)와 이를 제어하기 위한 리모트 컨트롤러(remote controller) 사이 또는 HMD 장치(100)와 외부서버 사이의 무선 통신을 지원할 수 있다.
한편 위치정보 모듈은 HMD 장치(100)의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, GPS 위성 또는 Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, HMD 장치(100)의 위치를 획득할 수 있다.
이하에서는 이와 같이 구성된 HMD 장치(100)에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 2는 본 발명의 실시 예에 따른 HMD 장치의 동작 과정을 도시한 흐름도이다.
도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는 사용자의 선택에 따라 가상현실과 관련된 시각 정보와 청각 정보를 제공할 수 있다. 또한 제어부(110)는 이처럼 가상현실과 관련된 정보들을 사용자에게 제공함과 동시에 사용자 주변의 사물들을 인식한다. 그리고 상기 가상현실과 관련된 정보들을 제공하는 상태에서, 제어부(110)는 사용자에게 제공하여야 할 알림(Notification) 정보가 발생하였는지를 감지할 수 있다(S200).
예를 들어 제어부(110)는 미리 설정된 이벤트가 발생하는 경우 상기 알림 정보가 발생한 것으로 판단할 수 있다. 이러한 이벤트는 다양한 것이 될 수 있다. 예를 들어 제어부(110)는 상기 HMD 장치(100)로 SMS(Short Messaging Service) 또는 SNS(Social Network Service) 메시지 등이 새로 수신된 경우 이러한 이벤트가 발생한 것으로 판단할 수 있다. 또는 제어부(110)는 배터리의 부족이나 연결 가능한 AP(Access Point) 등에 대한 정보나 현재의 시각 또는 기 설정된 시각임을 사용자에게 알리기 위한 알람이 발생한 경우 상기 이벤트가 발생한 것으로 판단할 수도 있다.
한편 상기 S200 단계에서 알림 정보의 발생이 감지되면, 제어부(110)는 현재 인식된 사물들 중 사용자의 신체에 위험을 줄 수 있는 장애물이 있는지를 검출한다(S202). 여기서 제어부(110)는 상기 인식된 사물들 중 현재 사용자와 상기 인식된 사물들 사이의 거리에 근거하여 상기 사물들을 상기 장애물로 인식할 수 있다. 예를 들어 제어부(110)는, 상기 사물들 중, 사용자의 팔 길이에 해당하는 거리, 즉 대략 1m 가량의 거리 내에 위치한 사물들에 한해 상기 사물들이 사용자의 신체에 위험을 줄 수 있는 것, 즉 상기‘장애물’인지 여부를 판단할 수 있다.
그리고 제어부(110)는 상기 검출된 장애물의 위치에 근거하여 상기 알림 정보를 표시할 위치를 결정할 수 있다(S204). 예를 들어 제어부(110)는 상기 알림 정보를 표시할 위치를 결정함에 있어, 상기 장애물의 위치 및 방향을 인식하고, 디스플레이부(112) 상에 출력되는 가상현실 이미지 상에 상기 장애물의 위치 및 방향에 대응되는 영역을 제외한 다른 가상현실 이미지 상의 영역에 상기 알림 정보가 표시되도록 할 수 있다. 이는 사용자가 가상현실에 관한 정보를 제공받고 있는 상태에서 상기 알림 정보가 표시되는 경우, 표시되는 알림 정보에 대해 사용자가 제스처를 취하더라도 사용자가 상기 사용자 주변의 장애물에 의해 부상을 당하지 않도록 하기 위함이다.
한편 이와는 달리 제어부(110)는 상기 S204 단계에서, 상기 검출된 장애물를 이용하여 상기 알림 정보가 표시되도록 할 수도 있음은 물론이다. 예를 들어 제어부(110)는, 상기 S202 단계에서 검출된 장애물에 대응되는 가상 객체를 생성하여 이를 현재 사용자에게 제공되고 있는 가상현실 이미지 상에 표시하고, 상기 가상 객체의 주변에 상기 알림 정보가 표시할 수 있다. 또는 제어부(110)는 현재 제공되고 있는 가상현실 이미지에 포함된 가상 객체들 중 상기 검출된 장애물의 위치 및 모양에 대응되는 객체를 선택하고, 선택된 가상 객체 주변에 상기 알림 정보가 표시되도록 할 수도 있다.
이를 위해 상기 제어부(110)는 현재 장소에서 사용자 주변의 사물들을 보다 정확하게 인식할 수도 있다. 예를 들어 제어부(110)는 사용자의 선택에 따라 HMD 장치(100)에 구비된 카메라(121)를 통해 입력되는 사용자 주변의 사물들의 영상들로부터 상기 사용자 주변의 사물들의 종류나 형상을 정확하게 인식할 수도 있다. 그리고 이러한 주변 사물들에 대해 인식된 정보는, 사용자의 선택에 따라 상기 메모리(114)에 저장될 수 있으며, 사용자의 선택에 따라 언제든지 다시 사용될 수 있다. 즉, 제어부(110)는 현재 사용자가 위치한 장소에 대한 정보를 상기 주변 사물들에 대해 인식된 정보와 함께 저장하여, 사용자가 차후 같은 장소에 위치한 것으로 판단되는 경우 얼마든지 상기 인식된 주변 사물에 대한 정보를 다시 활용할 수 있다.
한편 제어부(110)는 상기 S204 단계에서 상기 알림 정보가 표시될 위치가 결정되면, 상기 결정된 위치에 알림 정보를 표시할 수 있다(S206). 이에 따라 본 발명의 실시 예에 따른 HMD 장치(100)에서는 사용자 주변에서 검출된 장애물의 위치에 근거하여 상기 알림 정보가 표시되므로, 상기 알림 정보에 대해 사용자가 제스처를 취하는 경우에, 상기 장애물로 인해 사용자가 부상을 당하는 것을 미연에 방지할 수 있다.
한편 상기 S206 단계에서 제어부(110)는 상기 알림 정보가 표시되는 위치를 현재 디스플레이부(112) 상에 출력되는 가상현실 이미지에 고려하여 결정할 수도 있다. 예를 들어 제어부(110)는 현재 표시되는 가상현실 이미지의 가상 객체들에 근거하여, 상기 알림 정보가 표시됨에 있어 사용자의 가상현실 체험을 방해하는 것을 최소화 할 수도 있음은 물론이다.
즉, 제어부(110)는 현재 결정된 알림 정보의 표시 위치와, 그 위치에서 표시되는 가상 객체들에 근거하여 상기 알림 정보가, 현재 표시되는 가상현실 내의 하이라이트(highlight) 부분을 가리는지, 또는 사용자의 몰입감을 방해하는 특정 위치에서 표시되는지 여부를 판단할 수 있다. 그리고 제어부(110)는 상기 알림 정보가 상기 특정 위치 또는 하이라이트 부분을 가리는 위치에서 표시되는 경우라면, 상기 위치들을 제외한 가상현실 이미지 상의 다른 영역에 상기 알림 정보가 표시되도록 할 수도 있음은 물론이다. 이처럼 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)가 상기 가상현실 이미지 상의 특정 위치 또는 하이라이트가 표시되는 영역을 가리는 위치를 피하여 알림 정보가 표시되도록 하는 동작 과정을 하기 도 6을 참조하여 보다 자세히 살펴보기로 한다.
한편 제어부(110)는 상기 S204 단계에서 알림 정보를 표시할 위치를 결정함에 있어, 상기 알림 정보의 종류에 따라 알림 정보가 표시되는 위치를 결정할 수도 있음은 물론이다. 예를 들어 제어부(110)는 발생된 알림 정보의 종류에 근거하여, 상기 알림 정보가 사용자의 인터랙션(interaction), 즉 상기 알림 정보에 대한 사용자의 제스처 응답이 필요한 알림 정보인지 여부에 따라 상기 검출된 장애물의 위치에 근거하여 상기 알림 정보가 표시될 위치가 결정되도록 할 수도 있다.
이러한 경우 제어부(110)는 현재 발생된 알림 정보가 사용자의 인터랙션이 필요한 것인지 그렇지 않은지를 구분하여 디스플레이부(112) 상에 표시할 수 있다. 이는 사용자에게, 현재 표시된 알림 정보가 사용자의 인터랙션이 필요한 것인지를 구분할 수 있도록 하여, 인터랙션이 필요한 정보의 경우에 한하여 사용자가 제스처를 취할 수 있도록 하기 위한 것이다.
도 3은, 이러한 경우에, 알림 정보가 사용자의 인터랙션을 필요로 하는지 여부에 따라 서로 다르게 알림 정보를 표시하는 동작 과정을 도시한 것이다.
예를 들어 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는, 현재 발생된 알림 정보가 사용자의 인터랙션이 필요한 정보인지 여부를 판단할 수 있다(S300). 예를 들어 제어부(110)는 현재 발생된 알람 정보가 새로 수신된 SMS 또는 SNS 메시지나, 착신된 호와 같이 사용자의 확인을 필요로 하는 정보인 경우에 상기 알림 정보가 사용자의 인터랙션을 필요로 하는 정보라고 판단할 수 있다. 또한 제어부(110)는 현재 발생된 알람 정보가 현재 시각의 알림이나 또는 기 설정된 시간이 만기 등에 대한 정보를 표시하기 위한 것이거나, 또는 현재 배터리의 상태등과 같이 단지 사용자에게 특정한 정보를 제공하기 위한 알림 정보의 경우 상기 사용자의 인터랙션을 필요로 하지 않는 알림 정보로 판단할 수도 있다.
그리고 제어부(110)는 상기 S300 단계의 판단 결과에 따라 서로 구분되게 표시할 수 있다. 즉, 제어부(110)는 상기 S300 단계의 판단 결과, 상기 알림 정보가 사용자의 인터랙션을 필요로 하지 않는 정보인 경우에 현재 발생된 알림 정보를, 사용자의 인터랙션을 필요로 하는 정보와 구분되게 표시할 수 있다. 예를 들어 제어부(110)는 상기 알림 정보가 사용자가 손을 뻗어도 안 닿을 것처럼 먼 거리에 위치한 것처럼 표시하거나, 또는 디스플레이부(112)를 통해 표시되는 가상현실 이미지 상의 ‘하늘’과 같이, 사용자가 손을 뻗어도 닿을 수 없는 위치에 상기 알림 정보가 표시되도록 할 수도 있다. 또는 제어부(110)는 상기 사용자의 인터랙션이 필요하지 않은 알림 정보의 경우에는 가상현실 이미지 상의 가상 객체들이 상기 알림 정보를 투과하여 식별 가능하도록 표시할 수도 있다.
한편 제어부(110)는 상기 알림 정보가 사용자의 인터랙션, 즉 상기 알림 정보에 대한 사용자의 제스처 응답을 필요로 하는 알림 정보의 경우에 한하여, 상기 사용자 주변에서 검출된 장애물의 위치에 근거하여 상기 알림 정보가 표시되는 위치가 결정되도록 할 수도 있다. 이러한 경우 제어부(110)는 상기 S300 단계의 판단 결과 상기 발생된 알림 정보가 사용자의 인터랙션을 필요로 하는 알림 정보인 경우에 상기 S204 단계로 진행하여 사용자 주변의 사물들 중 장애물을 검출하고, 검출된 장애물의 위치에 근거하여 상기 사용자의 인터랙션을 필요로 하는 알림 정보가 표시될 위치를 결정할 수도 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD 장치(100)는 검출된 장애물의 위치에 근거하여 알림 정보가 표시되는 위치를 검출할 수 있음을 언급한 바 있다. 즉, 본 발명의 실시 예에 따른 HMD 장치(100)는 상기 알림 정보를 표시함에 있어, 상기 검출된 장애물의 위치에 대응되는 가상현실 이미지 상의 영역을 제외한 다른 영역에 상기 알림 정보를 표시할 수도 있고, 또는 상기 검출된 장애물을 이용하여 상기 알림 정보를 표시할 수도 있다. 예를 들어 제어부(110)는 상기 검출된 장애물에 대응되는 가상 객체를 이용하여 상기 알림 정보를 표시할 수도 있다.
도 4는, 이처럼 알림 정보를 표시하는 데 있어서, HMD 장치 주변의 장애물을 인식하고 그에 따라 알림 정보를 표시하는 동작 과정을 도시한 것이다.
도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는, 상기 S202 단계에서 사용자 주변의 사물들 중 장애물이 검출되면, 현재 검출된 장애물의 위치에 대응되는 가상 객체가 있는지 여부를 판단한다(S400). 그리고 상기 S400 단계의 판단 결과, 현재 검출된 장애물의 위치에 대응되는 가상 객체가, 현재 가상현실 이미지 상에서 표시되고 있는 경우라면, 제어부(110)는 상기 대응되는 가상 객체의 형태에 근거하여 상기 알림 정보가 표시될 위치를 결정할 수 있다(S402). 예를 들어, 상기 S402 단계에서 제어부(110)는 상기 대응되는 가상 객체가 표시되는 가상현실 이미지 상의 영역을 제외한 다른 영역에 상기 알림 정보가 표시되도록 할 수 있다.
또는 제어부(110)는 현재 검출된 장애물의 형태에 근거하여, 검출된 장애물의 형태에 대응되는 가상 객체가, 상기 검출된 장애물의 위치에 대응되는 가상현실 이미지 상의 영역에 표시되고 있는지를 검출할 수도 있다. 예를 들어 제어부(110)는 사용자의 선택에 따라 특정 장소에 위치한 각종 사물들의 위치 및 모양을 미리 인식하고, 인식된 사물들에 대한 정보를 미리 저장할 수 있다. 그리고 제어부(110)는 위치 감지 결과, 현재의 위치가 상기 특정 장소인 경우라면, 기 저장된 사물들의 인식 정보들을 이용하여 사용자 주변의 사물들의 형태를 인식할 수 있다. 그리고 이러한 경우 상기 사물들 중 사용자와 일정 거리 이내에 위치한 사물들을 장애물로 검출하고, 장애물로 검출된 사물들의 인식 정보를 근거로, 상기 장애물들의 형태를 인식할 수 있다.
이러한 경우 제어부(110)는, 상기 검출된 장애물의 형태에 근거하여, 상기 장애물에 대응되는 가상 객체가 있는지 여부를 판단할 수 있다. 즉, 제어부(110)는 상기 검출된 장애물이, 책상이나 테이블과 같이, 다른 물체를 그 위에 올려놓을 수 있는 수평 평면을 가지는 경우, 현재 검출된 장애물의 위치에 대응되는 책상이나 테이블, 또는 침대나 의자와 같은 가상 객체가, 상기 검출된 장애물에 대응되는 가상 객체라고 판단할 수 있다. 또는 제어부(110)는 상기 검출된 장애물이, 벽이나 찬장과 같이 수직 평면을 가지는 경우, 현재 검출된 장애물의 위치에 대응되는 벽이나 TV 또는 컴퓨터 모니터, 또는 창문과 같은 가상 객체가, 상기 검출된 장애물에 대응되는 가상 객체라고 판단할 수 있다.
이러한 경우 제어부(110)는 상기 알림 정보가 표시될 위치를 상기 가상 객체의 형태에 근거하여 결정할 수 있다. 예를 들어 제어부(110)는 상기 가상 객체의 위에 놓여지는 형태(책상이나 테이블 또는 침대, 의자와 같은 가상 객체의 경우)로 상기 알림 정보가 표시될 위치를 결정하거나, 또는 포스트 잇(post-it)과 같이 부착된 형태(벽이나 창문, 찬장이나 모니터와 같은 가상 객체의 경우)로 상기 알림 정보가 표시될 위치를 결정할 수도 있다. 이러한 경우, 제어부(110)는 상기 S206 단계에서 책상이나 테이블 같은 가상 객체 위에 놓여진 상태로 상기 알림 정보를 표시하거나, 벽이나 모니터와 같은 가상 객체 위에 부착된 상태로 상기 알림 정보를 표시할 수도 있다.
한편 상술한 설명에서는 미리 사물들을 인식한 특정 장소에 한하여 상기 장애물의 형태를 인식할 수 있음을 설명하였으나, 본 발명이 이에 국한되는 것이 아님은 물론이다. 예를 들어 제어부(110)는 상기 장애물의 형태를 극히 단순하게 인식할 수도 있다. 즉, 제어부(110)는 인식부(116)를 통하여 인식된 사물들 중 장애물로 검출된 사물의 영상을 구비된 카메라(121)를 통하여 수신할 수 있다. 그리고 수신된 장애물의 영상을 분석하여, 상기 장애물이 수평 평면을 가지고 있는 형태인지 아니면 수직 평면을 가지고 있는 형태인지를 판단할 수 있다. 그리고 제어부(110)는 상기 장애물이 수평 평면 또는 수직 평면을 가지고 있는 경우 그 수직 또는 수평 평면의 넓이에 근거하여 상기 장애물에 대응되는 가상 객체가 현재 가상현실 이미지에 포함되어 있는지 판단할 수 있다. 이러한 경우 미리 인식된 사물들에 대한 정보 없이도 상기 사용자 주변의 사물들의 인식 결과를 바탕으로, 검출된 장애물에 대응되는 가상 객체를 탐색할 수도 있음은 물론이다.
한편 상기 S402 단계에서, 현재 검출된 장애물의 위치에 대응되는 가상 객체가 현재 표시되고 있는 가상현실 이미지에 포함되어 있지 않은 경우, 제어부(110)는 가상현실 이미지 상에서 상기 검출된 장애물의 위치 및/또는 방향에 대응되는 영역을 제외한 다른 영역에 상기 알림 정보가 표시될 위치를 결정할 수 있다. 또는 제어부(110)는 상기 검출된 장애물에 대응되는 가상 객체를 생성하여 가상현실 이미지 상에 표시하고, 생성된 가상 객체에 근거하여 상기 알림 정보가 표시되도록 할 수도 있음은 물론이다. 즉, 상술한 바와 같이 사용자 주변의 장애물을 인식한 결과, 인식된 장애물에 대응되는 기 저장된 정보가 있는 경우, 제어부(110)는 상기 기 저장된 정보를 근거로 새로운 가상 객체를 생성 및 이를 장애물이 있는 위치에 대응되는 가상현실 이미지 상의 영역에 표시할 수 있다. 그리고 상기 표시된 가상 객체의 형태에 근거하여 상기 알림 정보가 표시되도록 할 수 있다.
또는 제어부(110)는 상술한 바와 같이 상기 인식된 장애물이 일정 크기 이상의 수평 평면 또는 수직 평면을 가지고 있는지 여부에 근거하여 상기 장애물을 인식할 수도 있다. 이러한 경우 상기 인식된 장애물에 대응되는 가상 객체가 상기 장애물이 있는 위치에 대응되는 가상현실 이미지 상의 영역에 표시될 수도 있다.
한편 상술한 설명에 의하면, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는 사용자의 가상현실 체험을 가장 적게 방해할 수 있는 위치에 상기 알림 정보가 표시되도록 할 수도 있음을 언급한 바 있다.
도 5는, 본 발명의 실시 예에 따른 HMD 장치에서, 사용자의 가상현실 체험을 가장 방해하지 않는 위치에 알림 정보를 표시하는 동작 과정을 도시한 것이다.
도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는, 상기 S202 단계에서 상기 알림 정보를 표시할 가상현실 이미지 상의 위치가 결정되는 경우, 현재 결정된 위치에서 표시되는 가상현실 컨텐츠의 중요도를 평가할 수 있다(S500). 그리고 S500 단계에서 평가된 중요도가 기 설정된 수준 미만인지 여부에 따라, 제어부(110)는 현재 결정된 알림 정보의 표시 위치에서 알림 정보가 표시될지 여부를 결정할 수 있다(S502).
예를 들어 제어부(110)는, 상기 S500 단계에서, 현재 알림 정보의 표시가 결정된 위치에서 표시되는 가상 객체들에 근거하여 상기 중요도를 평가할 수 있다. 여기서, 제어부(110)는 상기 알림 정보의 표시가 결정된 위치에서 표시되는 가상 객체들의 움직임 변화량, 즉 상기 알림 정보의 표시가 결정된 위치에서 표시되는 가상 객체들의 움직임이 기 설정된 수준 이상인 경우거나, 상기 알림 정보의 표시가 결정된 영역에서 클로즈업 된 상태로 표시되는 가상 객체들이 있는 경우, 현재 알림 정보가 결정된 위치에서 표시되는 가상현실 컨텐츠의 중요도를 높게 평가할 수 있다.
뿐만 아니라, 제어부(110)는 사용자가 집중도가 높은 정보가 표시되는 가상현실 이미지 상의 영역을 피하여 상기 알림 정보가 표시되도록 할 수도 있다. 예를 들어 제어부(110)는 사용자가 현재 체험하고 있는 가상현실 컨텐츠의 자막이나 안내문과 같은 가상 객체의 경우 중요도를 높게 평가할 수도 있다.
그리고 이처럼 가상 객체들의 움직임 또는 종류에 따라 상기 알림 정보가 표시될 영역의 가상현실 컨텐츠 중요도가 평가되면, 제어부(110)는 상기 평가된 중요도에 따라 현재 결정된 영역 또는 다른 영역에 상기 알림 정보를 표시할 수 있다. 즉, 제어부(110)는 상기 S500 단계에서 평가된 중요도가 기 설정된 수준 미만인 경우라면 S206 단계로 진행하여 현재 결정된 위치에 상기 알림 정보를 표시하고, 상기 평가된 중요도가 기 설정된 수준 이상인 경우라면 알림 정보를 표시할 새로운 위치를 결정할 수도 있다(S504). 여기서 제어부(110)는, 상기 알림 정보를 표시할 새로운 위치를 결정하기 위해 상술한 도 4의 과정에서와 같이, 사용자 주변에 검출된 장애물의 위치에 근거하여 상기 알림 정보가 표시될 위치를 새로 결정할 수도 있음은 물론이다.
한편 상술한 설명에 의하면, 본 발명의 실시 예에 따른 HMD 장치(100)는 감지된 위치 정보와 연계하여 미리 인식된 사물의 정보를 이용할 수도 있음을 언급한 바 있다.
도 6은, 이처럼 미리 인식된 장애물에 대응되는 가상 객체를 이용하여 알림 정보를 표시하는 동작 과정을 도시한 것이다.
도 6을 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는, 상기 S204 단계에서 알림 정보가 표시될 위치가 결정된 경우, 현재 HMD 장치(100)의 위치에 근거하여, 상기 알림 정보를 상기 결정된 위치와 다른 위치에 표시할 수도 있다. 즉, 제어부(110)는 상기 S204 단계에서 알림 정보가 표시될 위치가 결정된 경우, HMD 장치(100)의 현재 위치를 감지하고, 감지된 위치가 사용자에 의해 미리 지정된 장소인지 여부를 판단할 수 있다. 그리고 상기 S600단계의 판단 결과 현재 HMD 장치(100)의 위치가 사용자에 의해 미리 지정된 장소가 아닌 경우라면, 제어부(110)는 현재 결정된 위치에 알림 정보를 표시한다(S608). 이 경우, 제어부(110)는 상기 알림 정보의 표시 위치에서 표시되는 가상현실 컨텐츠에 근거하여 상기 알림 정보의 표시 위치를 변경할 수도 있음은 물론이다.
그러나 상기 S600 단계의 판단 결과 현재 HMD 장치(100)의 위치가 사용자에 의해 미리 지정된 장소인 경우, 제어부(110)는 사용자 주변의 사물들을 인식하고, 인식된 사물들 중 사용자의 신체에 위험을 줄 수 있는 사물, 즉 장애물이 있는지 여부를 검출한다. 여기서 제어부(110)는 사용자와 인식된 사물들 간의 거리에 근거하여, 상기 인식된 사물들의 일부를 상기 장애물로 검출할 수 있다. 한편 이처럼 현재 HMD 장치(100)의 위치가 사용자에 의해 미리 지정된 장소인 경우, 메모리(114)에는, 카메라(121)를 통해 현재 장소에 위치하는 사물들 촬영한 영상을 이용하여 상기 사물들을 인식한 정보들이 미리 저장되어 있을 수 있다. 그리고 이처럼 현재 장소에 대해 미리 인식된 사물들에 대한 정보가 있는 경우 제어부(110)는 현개 검출된 장애물의 종류 및 형태에 대해 보다 정확하게 인식할 수 있다.
이러한 경우 제어부(110)는 현재 디스플레이부(112) 상에 표시되는 가상현실 이미지 상에 현재 검출된 장애물에 대응되는 가상 객체가 포함되어 있는지를 판단할 수 있다(S602). 그리고 제어부(110)는 상기 S602 단계의 판단결과 현재 인식된 장애물에 대응되는 가상 객체가 디스플레이부(112) 상에 표시되고 있는 경우라면, 제어부(110)는 상기 가상 객체에 근거하여 기 설정된 위치에 상기 알림 정보가 표시되도록 할 수도 있다(S604). 즉, 제어부(110)는 상기 검출된 장애물에 근거하여 알림 정보가 표시되는 위치를 미리 결정할 수 있으며, 상기 검출된 장애물에 대응되는 가상 객체에 대해, 상기 미리 결정된 위치에 상기 알림 정보가 표시되도록 할 수도 있다.
여기서 상기 검출된 장애물에 근거하여 미리 결정되는 위치는, 상기 검출된 장애물의 형태 및 모양에 따라 결정될 수 있다. 예를 들어 상술한 바와 같이, 상기 검출된 장애물이 의자나 테이블인 경우라면, 그에 대응되는 가상 객체 역시 의자 또는 테이블이 될 수 있으며, 이러한 경우 일정 크기 이상의 수평 평면을 가지고 있을 수 있다. 그리고 제어부(110)는 상기 수평 평면 위의 일정 영역을 상기 알림 정보가 표시되는 영역을 미리 설정하여, 상기 의자 또는 테이블과 같은 가상 객체 위에 상기 알림 정보가 놓여져 있는 형태로 상기 알림 정보를 표시할 수도 있다.
뿐만 아니라, 만약 상기 알림 정보가 사용자의 인터랙션을 필요로 하는 정보인 경우에는, 제어부(110)는 상기 알림 정보 대신, 상기 알림 정보에 대응되는 그래픽 객체가 표시되도록 할 수도 있다(S604). 그리고 만약 상기 그래픽 객체에 대한 사용자의 선택이 있는 경우 상기 알림 정보가 디스플레이부(112) 상의 미리 결정된 위치에 표시되도록 할 수도 있다(S606). 이처럼, 사용자의 인터랙션이 필요한 알림 정보의 경우 사용자의 선택에 따라 그래픽 객체를 표시하고, 상기 그래픽 객체에 대한 사용자의 제스처에 근거하여 상기 알림 정보를 표시하는 예를 하기 도 10a 및 도 10b를 참조하여 살펴보기로 한다.
한편 이상의 설명에서는, 본 발명의 실시 예에 따른 HMD 장치(100)에서 사용자 주변에서 인식된 사물의 위치에 근거하여 사용자에게 알림 정보를 표시할 위치를 결정 및, 상기 알림 정보를 표시하는 동작 과정을 자세히 살펴보았다.
이하의 설명에서는, 본 발명의 실시 예에 따른 HMD 장치(100)에서 이처럼 알림 정보를 표시하는 예를 예시도를 참조하여 보다 자세하게 살펴보기로 한다.
도 7은, 본 발명의 실시 예에 따른 HMD 장치에서 알림 정보가 표시되는 예를 도시한 예시도이다.
예를 들어 도 7의 (a)에서 보이고 있는 것과 같이, 사용자가 HMD 장치(100)를 착용하고 가상현실 컨텐츠를 시청하고 있는 경우, 사용자에게 표시되는 가상현실 이미지는 도 7의 (b)에서 보이고 있는 것과 같을 수 있다. 이러한 경우 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는 사용자 주변의 사물, 즉 컴퓨터 모니터(700)를 인식할 수 있다. 그리고 도 7의 (a)에서 보이고 있는 것과 같이 상기 모니터(700)와 사용자 사이의 이격된 거리가 기 설정된 거리 이내(예를 들어 1m)인 경우라면, 제어부(110)는 상기 모니터(700)를 사용자의 신체에 위험을 줄 수 있는 사물, 즉 장애물로 인식할 수 있다.
이러한 경우 제어부(110)는 사용자에게 알려야할 이벤트가 발생하는 경우, 상기 이벤트를 사용자에게 알리기 위한 알림 정보를 디스플레이부(112) 상에 표시할 수 있다. 이러한 경우 제어부(110)는 검출된 장애물, 즉 모니터(700)의 위치에 대응되는 디스플레이부(112) 상의 영역을 제외한 다른 영역에 상기 알림 정보(800)가 표시되도록 할 수 있다. 도 7의 (b)는 이러한 예를 보이고 있는 것이다.
한편 제어부(110)는 상기 알림 정보(800)가 표시될 영역이 결정되면, 상술한 바와 같이, 상기 결정된 영역에서 표시되는 가상현실 컨텐츠의 중요도를 기 설정된 기준에 따라 평가할 수도 있음은 물론이다. 여기서 상기 기 설정된 기준은, 상기 알림 정보(800)가 표시될 영역에서 표시되는 가상 객체들의 움직임의 양 또는 상기 영역에서 가상 객체들이 표시되는 상태, 그리고 상기 가상 객체들의 종류 등이 될 수 있다. 그리고 상기 평가된 중요도가 기 설정된 수준 미만인 경우 현재 결정된 영역과 다른 영역에 상기 알림 정보를 표시할 수도 있음은 물론이다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는 상기 알림 정보가 사용자의 인터랙션을 필요로 하는 정보인지 여부에 따라 구분되게 표시될 수 있음을 언급한 바 있다.
여기서 상기 사용자의 인터랙션, 즉 사용자의 상호 작용을 필요로 하는 정보는, 상술한 바와 같이 새로운 메시지나, 착신 전화 등 그 내용에 대해 사용자가 직접 확인을 하여야 하는 정보일 수 있다. 이에 반해 상기 사용자의 인터랙션을 필요로 하지 않는 정보는, 사용자에게 일방적으로 전달되는 정보, 즉 배터리 부족을 알리는 경고라던가, 현재의 시각을 알리기 위한 정보, 또는 사용자가 미리 설정한 알람 시간이 만기되었음을 알리기 위한 정보 등일 수 있다. 또한 비록 사용자에게 일방적으로 전달되는 정보라고 할지라도 사용자의 선택에 따라 얼마든지 상기 사용자의 인터랙션이 필요한 정보로 설정될 수도 있음은 물론이다.
도 8은, 이러한 경우에 본 발명의 실시 예에 따른 HMD 장치에서 사용자의 인터랙션 필요 여부에 따라 다르게 표시되는 알림 정보의 예를 도시한 것이다.
예를 들어 제어부(110)는 사용자의 인터랙션이 필요한 알림 정보(800)의 경우, 도 8의 (a)에서 보이고 있는 것과 같이, 사용자에게 가깝게 사용자가 제스처, 예를 들어 손을 뻗으면 닿을 수 있는 듯한 가까운 거리에 표시되는 것처럼 디스플레이부(112) 상에 표시될 수 있다. 이에 반해 사용자의 인터랙션이 필요하지 않은 알림 정보(850)의 경우에는 도 8의 (b)에서 보이고 있는 것과 같이 사용자로부터 보다 멀리 떨어진 것처럼 표시할 수도 있다.
이처럼 제어부(110)는 상기 알림 정보가 사용자의 인터랙션을 필요로 하는 정보인지 여부에 근거하여, 서로 다른 원근감을 가지도록 디스플레이부(112) 상에 표시할 수 있다. 뿐만 아니라 제어부(110)는 사용자의 인터랙션을 필요로 하지 않는 알림 정보(850)의 경우에는, 도 8의 (b)에서 보이고 있는 것과 같이, 상기 알림 정보(850)가 표시되는 영역을 반투명하게 표시하여, 상기 알림 정보(850)가 표시되는 영역을 통해 가상현실 이미미가 식별 가능하도록 할 수도 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD 장치(100)는, 사용자 주변의 사물 중, 검출된 장애물에 대응되는 위치 및 형태에 대응되는 가상 객체가 표시되는 영역을 제외한 다른 영역에 상기 알림 정보를 표시할 수 있음을 언급한 바 있다. 도 9a 및 도 9b는 이러한 예를 보이고 있는 것이다.
우선 도 9a를 참조하여 살펴보면, 도 9a의 (a)는 사용자가 HMD 장치(100)를 착용한 예를 보이고 있는 것이며, 상기 도 9a의 (b)는 사용자가 착용한 HMD 장치(100)의 디스플레이부(112)에서 표시되는 가상현실 이미지의 예를 보이고 있는 것이다.
이러한 상태에서, 제어부(110)는 사용자와 주변의 사물의 거리에 근거하여, 사용자 주변의 사물들 중 장애물을 검출할 수 있다. 따라서 모니터(900)가 장애물로 검출될 수 있으며, 이러한 경우 제어부(110)는 상기 모니터(900)의 위치 및 모양에 대응되는 적어도 하나의 가상 객체를 선택할 수 있다.
즉, 제어부(110)는 도 9b의 (a)에서 보이고 있는 것과 같이, 현재 디스플레이부(112) 상에 표시되는 가상현실 이미지로부터 장애물, 즉 모니터(900)가 표시되는 위치에 대응되는 영역에서 표시되는 가상 객체들을 선택할 수 있다. 이에 따라 제어부(110)는 가상현실 이미지에 포함된 가상 객체들(910a, 910b)이 상기 장애물(모니터 : 900)에 대응되는 적어도 하나의 가상 객체라고 판단할 수 있다.
그리고 제어부(110)는 상기 장애물(모니터 : 900)에 대응되는 것으로 판단되는 가상 객체들(910a, 910b)이 표시되는 영역을 제외한 가상현실 이미지 상의 다른 영역을 알림 정보(950)가 표시될 영역으로 결정할 수 있다. 이에 따라 도 9b의 (b)에서 보이고 있는 것처럼, 알림 정보(950)가 표시될 수 있다.
뿐만 아니라 제어부(110)는 상기 검출된 장애물(900)의 특성에 근거하여, 상기 장애물(900)에 대응되는 가상 객체를 가상현실 이미지로부터 검출할 수 있다. 예를 들어 제어부(110)는 상기 검출된 장애물이 일정 크기 이상의 수평 평면을 가지고 있는지 여부에 따라, 상기 검출된 장애물에 대응되는 가상 객체로 의자나 테이블 또는 침대 등을 선택할 수 있다. 또는 제어부(110)는 상기 검출된 장애물이 일정 크기 이상의 수직 평면을 가지고 있는지 여부에 따라 상기 검출된 장애물에 대응되는 가상 객체로 벽이나, 문 또는 창문 등을 선택할 수도 있다. 이에 따라 제어부(110)는 상기 검출된 장애물의 형상의 특징과 가장 유사한 특징을 가지며, 상기 검출된 장애물의 위치에 대응되는 가상현실 이미지 상의 영역에서 표시되는 가상 객체를 상기 검출된 장애물에 대응되는 가상 객체로 선택할 수도 있다. 즉, 도 9b에서 보이고 있는 것과 같이, 제어부(110)는 장애물(모니터 : 900)에서 보이고 있는 특징, 즉 일정 크기 이상의 수직 평면을 가지고 있으며, 상기 검출된 장애물(900)의 위치에 대응되는 영역에서 표시되는 가상 객체들(910a, 910b)을 상기 검출된 장애물(900)에 대응되는 가상 객체들로 선택할 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD 장치(100)의 제어부(110)는 검출된 장애물에 대응되는 가상 객체가 가상현실 이미지에 포함되어 있는 경우, 상기 가상 객체에 근거하여 알림 정보를 표시할 수도 있음을 언급한 바 있다.
도 10a 및 도 10b는, 이러한 경우에 본 발명의 실시 예에 따른 HMD 장치에서, 현재 인식된 장애물에 대응되는 가상 객체를 이용하여 알림 정보를 표시하는 다른 예를 도시한 것이다.
우선 도 10a를 참조하여 살펴보면, 도 10a의 (a)는 사용자가 본 발명의 실시 예에 따른 HMD 장치(100)를 착용하고, 가상현실 컨텐츠를 시청하고 있는 예를 도시한 것이며, 도 10a의 (b)는, 도 10a의 (a)의 경우에 HMD 장치(100)의 디스플레이부(112)에 표시되는 가상현실 이미지의 예를 보이고 있는 것이다.
예를 들어 도 10a의 (a)에서 보이고 있는 것과 같이, 사용자의 주변에 장애물(1000)이 검출되는 경우, 제어부(110)는 검출된 장애물(1000)에 대응되는 가상 객체가 현재 디스플레이부(112) 상에 출력되는 가상현실 이미지에 포함되어 있는지를 판단할 수 있다.
여기서 제어부(110)는 현재 HMD 장치(100)의 위치에 근거하여 현재의 장소에서 미리 인식된 사물들에 대한 정보가 있는지를 확인할 수 있다. 그리고 상기 검출된 장애물(1000)이 사용자에 의해 미리 인식된 사물인 경우, 제어부(110)는 보다 정확하게 상기 검출된 장애물(1000)에 대응되는 가상 객체를 선택할 수 있다. 이에 따라 도 10a의 (b)에서 보이고 있는 가상 객체(1010)가 상기 검출된 장애물(1000)에 대응되는 가상 객체로 선택될 수 있다.
이러한 상태에서 제어부(110)는 현재 선택된 가상 객체(1010)에 근거하여 기 설정된 위치에서 알림 정보가 표시되도록 할 수 있다. 예를 들어 제어부(110)는 사물들에 대한 정보를 인식할 때에, 인식된 사물들의 종류 또는 형태에 근거하여 상기 알림 정보를 표시할 위치를 미리 결정할 수 있다. 즉, 제어부(110)는 인식된 사물이 일정 영역 이상의 수평 평면을 가지고 있는 경우, 상기 인식된 사물에 대응되는 가상 객체에 놓여지는 상태로 상기 알림 정보가 표시되도록 미리 결정할 수 있다. 또는 상기 인식된 사물이 일정 영역 이상의 수직 평면을 가지고 있는 경우, 상기 인식된 사물에 부착되는 형태로 상기 알림 정보가 표시되도록 미리 졀정할 수 있다.
이 뿐만 아니라 제어부(110)는, 카메라(121)를 통해 입력되는 다양한 사물들의 형상을, 다양한 형상 인식 방법을 이용하여 인식할 수 있으며, 인식 결과에 따라 알림 정보가 표시될 위치를 결정할 수 있다. 그리고 만약 사용자에 의해 특정 인식된 사물에 대한 알림 정보의 표시 위치가 지정되는 경우, 그에 따라 알림 정보의 표시 위치가 결정될 수도 있음은 물론이다.
이에 따라 제어부(110)는 검출된 장애물에 대응되는 것으로 선택된 가상 객체(1010)에 근거하여 알림 정보가 표시될 위치를 결정할 수 있다. 이에 따라 도 10a에서와 같이, 상기 검출된 장애물(1000)이 ‘의자’인 경우, 제어부(110)는 ‘의자’에 대응되는 가상 객체(1010)에 상기 알림 정보가 놓여진 형태로 표시되도록, 상기 알림 정보의 표시 위치를 결정할 수 있으며, 이에 따라 현재 발생된 알림 정보가 디스플레이부(112) 상에 표시될 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD 장치(100)는, 사용자의 인터랙션을 필요로 하는 알림 정보인 경우 상기 가상 객체(1010)에 상기 알림 정보에 대응되는 그래픽 객체를 표시하고, 상기 그래픽 객체에 대한 사용자의 선택에 근거하여 상기 알림 정보의 내용이 표시될 수도 있음을 언급한 바 있다.
즉, 도 10b에서 보이고 있는 것과 같이, 제어부(110)는 상기 알림 정보가 사용자의 인터랙션을 필요로 하는 정보인 경우, 기 설정된 위치에 상기 알림 정보에 대응되는 그래픽 객체(1030)를 표시할 수 있다. 예를 들어 현재 발생된 알림 정보가, 새로 수신된 메시지에 대한 것인 경우 제어부(110)는 상기 알림 정보에 대응되는 그래픽 객체로서 도 10b의 (a)에서 보이고 있는 것과 같은 편지 봉투의 그래픽 객체(1030)를 표시할 수 있다.
그리고 제어부(110)는 상기 그래픽 객체(1030)에 대한 사용자의 선택이 있는 경우, 현재 발생한 알림 정보에 대한 사용자의 선택이 있는 것으로 판단할 수 있다. 또한 여기서 사용자의 선택은, 사용자의 제스처에 의해 결정될 수 있음은 물론이다. 따라서 만약 사용자가 손을 뻗어 상기 편지 봉투 모양의 그래픽 객체(1030)를 터치하는 제스처를 취하는 경우, 제어부(110)는 상기 알림 정보에 대한 사용자의 인터랙션이 있는 것으로 판단할 수 있다. 이에 따라 제어부(110)는 상기 도 10b의 (b)에서 보이고 있는 것과 같이 상기 알림 정보의 내용을 디스플레이부(112) 상에 표시할 수 있다. 여기서 제어부(110)는 상기 알림 정보의 내용을 표시함에 있어, 상기 알림 정보가 표시되는 영역의 중요도를 평가하여, 그 평가 결과에 따라 상기 알림 정보가 표시되는 영역을 결정할 수도 있음은 물론이다.
한편 도 10a 및 도 10b의 설명과 달리, 만약 현재 검출된 장애물(1000)에 대응되는 가상 객체가, 현재 디스플레이부(112) 상에 표시되는 가상현실 이미지에 포함되어 있지 않은 경우에도 본 발명이 적용될 수도 있음은 물론이다. 즉, 제어부(110)는 현재 검출된 장애물(1000)에 대응되는 미리 인식된 사물에 대응되는 가상 객체가 상기 가상현실 이미지에 포함되어 있지 않은 경우, 또는 상기 가상현실 이미지에 포함된 가상 객체가 상기 검출된 장애물(1000)에 대응되는 위치에서 표시되고 있지 않은 경우, 제어부(110)는 상기 검출된 장애물(1000)에 대응되는 가상 객체를 새로 생성하여 표시하거나, 다른 위치에서 표시되는 가상 객체를 상기 검출된 장애물(1000)에 대응되는 위치로 이동시켜서 표시할 수도 있음은 물론이다. 이러한 경우 재 검출된 장애물(1000)에 대응되는 미리 인식된 사물에 대응되는 가상 객체가 상기 가상현실 이미지에 포함되어 있지 않은 경우라도, 도 10a의 (b)에서 보이고 있는 것처럼, 검출된 장애물(1000)에 대응되는 가상 객체(1010)가 가상현실 이미지 상에서 표시될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다.
또한 상술한 본 발명의 설명에서는 비록 HMD 장치에 대해서만 언급하고 있으나, 이와 유사한 기능을 하는 다른 기기들도 모두 이러한 본 발명이 적용될 수도 있음은 물론이다, 즉, 예를 들어 스마트 글래스(smart glass) 또는 스마트 렌즈(smart lens) 역시 이러한 본 발명이 적용될 수 있음은 물론이다.
따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. HMD(Head Mounted Displayed) 장치에 있어서,
    가상현실 이미지를 출력하는 디스플레이부;
    상기 HMD 장치 주변의 사물들을 인식하는 센서; 및,
    기 설정된 이벤트(event) 발생시, 상기 발생한 이벤트에 관련된 알림 정보를 상기 디스플레이부 상에 표시하는 제어부를 포함하여 구성되며,
    상기 제어부는,
    상기 인식된 사물들 중에서 상기 HMD 장치와 인식된 사물 사이의 거리에 근거하여 장애물을 검출하고, 상기 발생한 알림 정보가 사용자의 인터랙션(interaction)을 필요로 하는 알림 정보인 경우, 상기 검출된 장애물에 근거하여 상기 알림 정보가 표시될 위치를 결정하는 것을 특징으로 하는 HMD 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 가상현실 이미지에서 상기 검출된 장애물의 위치에 대응되는 영역을 인식하고, 상기 인식된 부분을 제외한 다른 영역에 상기 알림 정보를 출력하는 것을 특징으로 하는 HMD 장치.
  3. 제1항에 있어서, 상기 제어부는,
    상기 가상현실 이미지에서 상기 검출된 장애물에 대응되는 가상현실 객체를 선택하고, 선택된 가상현실 객체가 표시되는 가상현실 이미지 상의 영역을 제외한 다른 영역에 상기 알림 정보를 출력하는 것을 특징으로 하는 HMD 장치.
  4. 제1항에 있어서, 상기 제어부는,
    사용자의 인터랙션이 필요한 알림 정보와, 사용자의 인터랙션이 필요 없는 알림 정보를 구분하여 서로 구분되게 표시하는 것을 특징으로 하는 HMD 장치.
  5. 제4항에 있어서, 상기 제어부는,
    상기 알림 정보가, 별도의 사용자의 확인을 필요로 하는 것인지 또는 상기 알림 정보가 사용자에게 정보를 일방적으로 전달하는 것인지 여부에 근거하여, 상기 알림 정보가 사용자의 인터랙션이 필요한 알림 정보인지 여부를 판단하는 것을 특징으로 하는 HMD 장치.
  6. 제4항에 있어서, 상기 사용자의 인터랙션이 필요한 알림 정보는,
    SMS(Short Messaging Service) 또는 SNS(Social Network Service) 메시지 또는 착신된 호를 알리기 위한 알림 정보임을 특징으로 하는 HMD 장치.
  7. 제4항에 있어서, 상기 제어부는,
    상기 알림 정보가 사용자의 인터랙션이 필요한 알림 정보와 사용자의 인터랙션을 필요로 하지 않는 알림 정보의 경우 원근감이 서로 달라지도록 표시하는 것을 특징으로 하는 HMD 장치.
  8. 제4항에 있어서, 상기 제어부는,
    상기 사용자의 인터랙션을 필요로 하지 않는 알림 정보의 경우, 상기 알림 정보가 표시되는 영역에서 표시되는 가상현실 이미지가, 상기 알림 정보가 표시되는 영역을 통해 식별 가능하도록 상기 알림 정보를 표시하는 것을 특징으로 하는 HMD 장치.
  9. 제1항에 있어서, 상기 제어부는,
    상기 가상현실 이미지에서, 상기 검출된 장애물에 대응되는 가상 객체를 선택하고, 선택된 상기 가상 객체의 형상에 근거하여 상기 알림 정보를 표시하는 것을 특징으로 하는 HMD 장치.
  10. 제9항에 있어서, 상기 제어부는,
    상기 선택된 가상 객체가 테이블 또는 의자인 경우, 상기 가상 객체에 상기 알림 정보가 놓여진 형태로 상기 알림 정보를 표시하는 것을 특징으로 하는 HMD 장치.
  11. 제9항에 있어서, 상기 제어부는,
    상기 검출된 장애물에 대응되는 가상 객체의 표면에 부착된 형상의 그래픽 객체로 상기 알림 정보를 표시하는 것을 특징으로 하는 HMD 장치.
  12. 제1항에 있어서, 상기 제어부는,
    상기 알림 정보가 표시될 위치가 결정되면 상기 결정된 위치에서 표시되는 가상현실 이미지의 중요도를 더 평가하여 상기 알림 정보가 표시될 위치를 변경하는 것을 특징으로 하는 HMD 장치.
  13. 제12항에 있어서, 상기 제어부는,
    상기 결정된 위치에서 표시되는 가상현실 이미지 상의 가상 객체들의 움직임이나 표시 상태, 및 상기 가상 객체들의 종류 중 적어도 하나에 따라 상기 중요도를 평가하는 것을 특징으로 하는 HMD 장치.
  14. 제13항에 있어서, 상기 제어부는,
    상기 평가된 중요도에 근거하여, 상기 가상 객체들의 움직임 양이 기 설정된 수준 이상이거나, 상기 가상 객체들이 클로즈업(Close up)된 상태로 표시되는 가상현실 이미지 상의 영역, 또는 상기 가상 객체가 자막 또는 안내문이 표시되는 가상현실 이미지 상의 영역을 제외한 다른 영역에 상기 알림 정보를 표시하는 것을 특징으로 하는 HMD 장치.
  15. 제1항에 있어서, 상기 제어부는,
    상기 인식된 사물들 중에서 상기 HMD 장치와 인식된 사물 사이의 거리가 상기 사용자의 팔 길이에 해당되는 길이 내에 위치한 사물들을 상기 장애물로 검출하는 것을 특징으로 하는 HMD 장치.
  16. 제1항에 있어서,
    현재의 위치를 감지하기 위한 위치 감지부를 더 구비하고,
    상기 제어부는,
    사용자의 선택에 따라 특정 장소에 위치한 적어도 하나의 사물을 인식한 결과를 저장하고,
    상기 위치 감지 결과, 현재 위치가 상기 특정 장소인 경우, 상기 기 저장된 사물들의 인식 결과들을 이용하여 현재 사용자 주변의 사물들을 인식하는 것을 특징으로 하는 HMD 장치.
  17. 제1항에 있어서,
    사용자 주변의 사물들에 대한 영상을 수신할 수 있는 카메라를 더 구비하고,
    상기 제어부는,
    상기 수신된 사물의 영상에 근거하여, 상기 사물을 인식 및, 상기 장애물이 검출되는 경우 검출된 장애물의 형상에 대응되는 가상 객체를 상기 디스플레이부 상에서 현재 표시되는 가상현실 이미지에서 선택하는 것을 특징으로 하는 HMD 장치.
  18. 제17항에 있어서, 상기 제어부는,
    상기 검출된 장애물의 형상에 대응되는 가상 객체가 상기 가상현실 이미지에 포함되어 있지 않은 경우, 상기 장애물의 형상에 대응되는 가상 객체를 생성하여 상기 가상현실 이미지 상에 표시하는 것을 특징으로 하는 HMD 장치.
  19. 제17항에 있어서, 상기 제어부는,
    상기 인식된 사물에 근거하여, 각 사물별로 사물의 형태에 근거하여 알림 정보가 표시될 위치를 결정하는 것을 특징으로 하는 HMD 장치.
  20. HMD(Head Mounted Displayed) 장치의 제어 방법에 있어서,
    가상현실 이미지를 출력하고, 사용자 주변의 사물을 인식하는 단계;
    상기 인식된 사물들 중 기 설정된 거리 이내에 위치한 사물들을 장애물로 검출하는 단계;
    기 설정된 이벤트(event) 발생하였는지를 검출하는 단계; 및,
    기 설정된 이벤트가 발생된 경우, 상기 검출된 장애물의 위치에 근거하여 상기 발생된 이벤트에 대응되는 알림 정보를 상기 가상현실 이미지 상에 표시하는 단계를 포함하는 것을 특징으로 하는 HMD 장치의 제어 방법.
PCT/KR2014/007245 2014-08-05 2014-08-05 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법 WO2016021747A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/325,203 US10444930B2 (en) 2014-08-05 2014-08-05 Head-mounted display device and control method therefor
EP14899544.2A EP3179292B1 (en) 2014-08-05 2014-08-05 Head-mounted display device and control method therefor
PCT/KR2014/007245 WO2016021747A1 (ko) 2014-08-05 2014-08-05 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2014/007245 WO2016021747A1 (ko) 2014-08-05 2014-08-05 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법

Publications (1)

Publication Number Publication Date
WO2016021747A1 true WO2016021747A1 (ko) 2016-02-11

Family

ID=55264003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/007245 WO2016021747A1 (ko) 2014-08-05 2014-08-05 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법

Country Status (3)

Country Link
US (1) US10444930B2 (ko)
EP (1) EP3179292B1 (ko)
WO (1) WO2016021747A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652345A (zh) * 2016-12-26 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种安全监测方法、装置及虚拟现实设备
WO2017183858A1 (ko) * 2016-04-19 2017-10-26 주식회사 테그웨이 열적 피드백을 제공하는 피드백 디바이스
US10126722B2 (en) 2016-08-01 2018-11-13 Qualcomm Incorporated System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning
US10408688B2 (en) 2016-04-19 2019-09-10 Tegway Co., Ltd. Feedback device providing thermal feedback
CN113079256A (zh) * 2020-01-03 2021-07-06 三星电子株式会社 电子装置及其控制方法
US11074463B2 (en) 2017-05-02 2021-07-27 Qualcomm Incorporated Dynamic sensor operation and data processing based on motion information
US11118819B2 (en) 2016-10-31 2021-09-14 Tegway Co., Ltd. Feedback device and thermal feedback providing method using same
WO2022099853A1 (zh) * 2020-11-13 2022-05-19 歌尔股份有限公司 头戴显示设备及其避障方法、计算机可读存储介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2996017B1 (en) * 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
US10521941B2 (en) 2015-05-22 2019-12-31 Samsung Electronics Co., Ltd. System and method for displaying virtual image through HMD device
CN108700982B (zh) * 2016-02-08 2021-11-23 索尼公司 信息处理设备、信息处理方法以及程序
US10482749B2 (en) * 2017-01-11 2019-11-19 Universal Entertainment Corporation Controlling electronic device alerts by operating head mounted display
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
US10831513B2 (en) * 2017-11-06 2020-11-10 International Business Machines Corporation Control transparency of a top layer provided by an additional transparent layer on top of the top layer based on relevance
CN108628442B (zh) * 2018-03-22 2021-03-26 北京奇艺世纪科技有限公司 一种信息提示方法、装置以及电子设备
US10643362B2 (en) * 2018-03-26 2020-05-05 Lenovo (Singapore) Pte Ltd Message location based on limb location
US11847773B1 (en) * 2018-04-27 2023-12-19 Splunk Inc. Geofence-based object identification in an extended reality environment
US10768426B2 (en) * 2018-05-21 2020-09-08 Microsoft Technology Licensing, Llc Head mounted display system receiving three-dimensional push notification
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
WO2021040107A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
US11039279B1 (en) 2019-12-10 2021-06-15 BlueOwl, LLC Automated tracking of vehicle operation and synchronized media delivery
US11302121B1 (en) * 2019-12-10 2022-04-12 BlueOwl, LLC Automated tracking of vehicle operation and synchronized gamified interface
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US11410518B2 (en) * 2020-06-29 2022-08-09 At&T Intellectual Property I, L.P. Cross-reality safety service
US11405484B2 (en) 2020-11-30 2022-08-02 At&T Intellectual Property I, L.P. Variable-intensity immersion for extended reality media
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
US20220397985A1 (en) * 2021-06-14 2022-12-15 Citrix Systems, Inc. Transparent Application Window
US12106161B2 (en) * 2021-11-02 2024-10-01 International Business Machines Corporation Augmented reality object interaction and notification
CN114647305B (zh) * 2021-11-30 2023-09-12 四川智能小子科技有限公司 Ar导览中的障碍物提示方法、头戴式显示设备和可读介质
WO2023139406A1 (en) * 2022-01-20 2023-07-27 Telefonaktiebolaget Lm Ericsson (Publ) Improvement of safety through modification of immersive environments
CN115527015A (zh) * 2022-09-20 2022-12-27 北京字跳网络技术有限公司 通知消息的显示方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192083A (ja) * 2003-12-26 2005-07-14 Nikon Corp 情報表示装置
JP2006030802A (ja) * 2004-07-20 2006-02-02 Olympus Corp 情報表示システム
KR20120064557A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
US20130154906A1 (en) * 2011-07-20 2013-06-20 Max Braun Determining whether a wearable device is in use
KR20140020177A (ko) * 2012-08-07 2014-02-18 한양대학교 산학협력단 감지 기능을 구비한 착용형 디스플레이 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120264510A1 (en) 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
WO2014192103A1 (ja) * 2013-05-29 2014-12-04 三菱電機株式会社 情報表示装置
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
US10832479B2 (en) * 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005192083A (ja) * 2003-12-26 2005-07-14 Nikon Corp 情報表示装置
JP2006030802A (ja) * 2004-07-20 2006-02-02 Olympus Corp 情報表示システム
KR20120064557A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
US20130154906A1 (en) * 2011-07-20 2013-06-20 Max Braun Determining whether a wearable device is in use
KR20140020177A (ko) * 2012-08-07 2014-02-18 한양대학교 산학협력단 감지 기능을 구비한 착용형 디스플레이 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017183858A1 (ko) * 2016-04-19 2017-10-26 주식회사 테그웨이 열적 피드백을 제공하는 피드백 디바이스
US10408688B2 (en) 2016-04-19 2019-09-10 Tegway Co., Ltd. Feedback device providing thermal feedback
US10533900B1 (en) 2016-04-19 2020-01-14 Tegway Co., Ltd. Feedback device providing thermal feedback
US10126722B2 (en) 2016-08-01 2018-11-13 Qualcomm Incorporated System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning
US11118819B2 (en) 2016-10-31 2021-09-14 Tegway Co., Ltd. Feedback device and thermal feedback providing method using same
US11747056B2 (en) 2016-10-31 2023-09-05 Tegway Co., Ltd. Feedback device and thermal feedback providing method using same
CN106652345A (zh) * 2016-12-26 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种安全监测方法、装置及虚拟现实设备
US11074463B2 (en) 2017-05-02 2021-07-27 Qualcomm Incorporated Dynamic sensor operation and data processing based on motion information
CN113079256A (zh) * 2020-01-03 2021-07-06 三星电子株式会社 电子装置及其控制方法
CN113079256B (zh) * 2020-01-03 2024-03-26 三星电子株式会社 电子装置及其控制方法、记录介质
WO2022099853A1 (zh) * 2020-11-13 2022-05-19 歌尔股份有限公司 头戴显示设备及其避障方法、计算机可读存储介质

Also Published As

Publication number Publication date
EP3179292A1 (en) 2017-06-14
US20170192620A1 (en) 2017-07-06
EP3179292A4 (en) 2018-03-14
EP3179292B1 (en) 2021-03-03
US10444930B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
WO2016021747A1 (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어 방법
WO2016190505A1 (ko) 글래스타입 단말기 및 이의 제어방법
US20160163110A1 (en) Virtual reality system and method for controlling operation modes of virtual reality system
WO2018056473A1 (ko) 헤드 마운티드 디스플레이 장치
WO2016003078A1 (en) Glasses-type mobile terminal
WO2014106977A1 (en) Head mounted display and method for controlling the same
WO2016186257A1 (ko) 헤드 마운티드 디스플레이
WO2018070624A2 (en) Mobile terminal and control method thereof
WO2017065535A1 (ko) 전자 장치 및 그 제어 방법
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2018143509A1 (ko) 이동 로봇 및 그 제어방법
EP3167610A1 (en) Display device having scope of accreditation in cooperation with depth of virtual object and controlling method thereof
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2017007101A1 (ko) 스마트 디바이스 및 이의 제어방법
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2019112114A1 (ko) 글래스 타입 단말기 및 그것의 동작방법
WO2018066962A1 (ko) 스마트 안경
WO2017164545A1 (ko) 디스플레이 장치, 및 디스플레이 장치의 제어방법
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2016013692A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법
WO2021145473A1 (ko) 이동 단말기 및 그의 제어 방법
WO2018131747A1 (ko) 이동 단말기 및 그 제어 방법
KR20180113406A (ko) 가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치
WO2021107200A1 (ko) 이동 단말기 및 이동 단말기 제어 방법
WO2018079869A1 (ko) 이동 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14899544

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15325203

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014899544

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014899544

Country of ref document: EP