WO2018030567A1 - Hmd 및 그 hmd의 제어 방법 - Google Patents

Hmd 및 그 hmd의 제어 방법 Download PDF

Info

Publication number
WO2018030567A1
WO2018030567A1 PCT/KR2016/009122 KR2016009122W WO2018030567A1 WO 2018030567 A1 WO2018030567 A1 WO 2018030567A1 KR 2016009122 W KR2016009122 W KR 2016009122W WO 2018030567 A1 WO2018030567 A1 WO 2018030567A1
Authority
WO
WIPO (PCT)
Prior art keywords
hmd
image
user
displayed
information
Prior art date
Application number
PCT/KR2016/009122
Other languages
English (en)
French (fr)
Inventor
전용덕
김동섭
Original Assignee
주식회사 씽크브릿지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씽크브릿지 filed Critical 주식회사 씽크브릿지
Publication of WO2018030567A1 publication Critical patent/WO2018030567A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance

Definitions

  • the present invention relates to an HMD and a method of controlling the HMD.
  • the glass-type terminal mounted on the head of the user may correspond to a head mounted display HMD.
  • Head Mounted Display refers to a display device that is worn on the user's head and can present an image directly in front of the user's eyes. Contents may be enjoyed, or a virtual space screen may be displayed to allow a user to enjoy a virtual space experience.
  • the virtual space experience may be performed by playing a pre-stored specific type of image content.
  • the specific type of image content hereinafter, referred to as virtual reality (VR) content
  • VR virtual reality
  • the HMD may output an image of the 360-degree omnidirectional or 180-degree angle of view of the image heading toward the head of the user.
  • the video can be output.
  • the HMD is generally worn on the head of a user. Accordingly, the VR content output through the HMD can be provided to only one user wearing the HMD, and other users cannot share the virtual space that the user is watching. Accordingly, even if a plurality of users watch the same VR content, the plurality of users can experience each virtual space separately, and provide a sense of space where the plurality of users experience the same virtual space together. There is a problem that can not be.
  • the present invention is to solve the above-described problem, the control of the HMD and the HMD that allows a plurality of users watching the same VR content to provide a sense of space as the plurality of users experience the same virtual space together To provide a way.
  • Another object of the present invention is to provide a HMD and a method of controlling the HMD that allow a plurality of users who watch the same VR content to share the images they are viewing.
  • the present invention in the HMD connected to at least one of a plurality of second head mounted display (HMD) for playing the same virtual space image, the at least one A display for displaying a communication unit for performing a wireless connection with the second HMD, a sensing unit for sensing the direction of the front surface of the HMD, and an image of one region corresponding to the direction of the front surface of the HMD among the virtual space images.
  • a controller configured to display images corresponding to a part of the virtual space images displayed on each of the at least one second HMD connected to the HMD, in different areas on the display unit, wherein the controller comprises the at least one image.
  • the control unit may display images corresponding to images displayed on each of the at least one second HMD on at least one display area formed in different areas on the display unit, respectively, and preset graphics
  • the image inside the display area may be displayed on the display unit separately through an object or a graphic process.
  • the controller may display another area on the display unit except for the inside of the display area in a predetermined color, or display another area on the display unit as opaque or blurred by a predetermined level or more. Characterized in that the display of the image inside.
  • the controller when the user selects one of the display areas, the controller may display an image displayed on the selected display area through the entire display unit screen.
  • the controller may group the at least one display area into at least one group according to a user's selection or a predetermined criterion, and display the display areas included in the same group adjacent to each other. It is done.
  • the control unit may be configured to group at least one second HMD connected to the HMD into at least one group according to a user's selection, and according to a result of the grouping of the at least one second HMD.
  • the position of the display area corresponding to each of the second HMDs may be determined.
  • the controller may be configured to connect with at least one of the second HMDs based on a connection request received from at least one of the second HMDs or when a user requests a connection to at least one of the second HMDs. Characterized in that.
  • the controller when the HMD operates in the voice recognition mode, the controller detects a specific wearer corresponding to a result of recognizing a user's voice signal among the wearers wearing the plurality of second HMDs, and detects the detected wearer. And performing a connection with the HMD of the wearer.
  • the present invention a plurality of virtual space image for playing the same VR (Virtual Reality) content, and displays any one of a plurality of virtual space images constituting the VR content
  • An HMD connected to at least one of a second head mounted display (HMD), the communication unit performing wireless connection with the at least one second HMD, a sensing unit for sensing a direction in which a front surface of the HMD faces, and the VR.
  • HMD head mounted display
  • a display unit configured to display an image of one region corresponding to a direction in which the front surface of the HMD is directed from one of the virtual space images constituting the content, and at least one second HMD connected to the HMD;
  • a control unit for displaying images corresponding to a part of the virtual space images displayed in each of the different regions on the display unit is included.
  • the control unit may receive information on the virtual space image displayed in the second HMD and a result of detecting a head movement of the wearer wearing the second HMD from each of the at least one second HMD, and the VR content. Extracting an image of one region corresponding to a head movement of each of the at least one second HMD wearer, from the virtual space images corresponding to the information received from the respective second HMDs
  • the extracted images are displayed on at least one display area formed on the display unit.
  • the VR content may further include structure information indicating an association relationship between virtual spaces corresponding to each of the plurality of virtual space images, and the controller controls the VR content according to the structure information.
  • Each of the constituent virtual spaces is displayed in one region on the display unit in the form of map information, and the user of the HMD displays a specific virtual space corresponding to the virtual space image currently displayed on the display unit on the map information. Characterized in that the virtual space is located.
  • the controller is based on the information on the virtual space image displayed in the second HMD received from each of the at least one second HMD, the wearer of each of the second HMD on the map information It is characterized in that to display the virtual space to be distinguished.
  • the controller displays an image of one region corresponding to the direction in which the front surface of the HMD is facing among the images of the selected virtual space. Characterized in that.
  • the HMD and at least one second HMD connected to the HMD are divided into a master HMD and a slave HMD according to whether a specific virtual space image can be selected or not.
  • the controller may display one region of a specific virtual space image selected by a user on the display and display the at least one second HMD to display a portion of the selected virtual space image.
  • at least one second HMD is controlled and the HMD is set as the slave HMD, in a direction of the front of the HMD in a specific virtual space image according to the control of the HMD set as the master HMD among the at least one second HMD; And displaying an image of one corresponding area.
  • the present invention in the HMD connected to at least one of a plurality of second head mounted display (HMD) driven the same content (Augmented) related AR,
  • a wireless communication unit configured to wirelessly connect to at least one second HMD and receive the AR-related information from a surrounding communication device, a camera unit for sensing an image in a direction toward the front of the HMD, and sensing at the camera unit An image sensed by the camera unit of each of the at least one second HMD connected to the HMD and a display unit displaying AR related information corresponding to the image and the AR information received from each of the at least one second HMD
  • a control unit to display a portion of the display unit on the display unit, wherein the AR-related content includes at least one of the HMD and the at least one second HMD.
  • the apparatus may further include map information of a plurality of places including one places, and the controller may be configured to include the HMD and at least one second HMD connected to the HMD among a plurality of places included in the map information. It is characterized in that the corresponding specific place is displayed to be distinguished from other places.
  • the controller when there is a user's selection of AR information displayed on a portion of the display unit, the controller may correspond to the selected AR information through any one second HMD which has transmitted the selected AR information. Receive and display the received information.
  • an image displayed on the HMD of another user is displayed on at least part of the display unit.
  • a sense of space can be provided such that the plurality of users experience the same virtual space together.
  • FIG. 1A is a block diagram illustrating a configuration of an HMD according to an embodiment of the present invention.
  • FIG. 1B is an exemplary diagram illustrating an example of an HMD according to an embodiment of the present invention.
  • FIG. 1C is an exemplary diagram illustrating an example in which a plurality of HMDs play back the same VR content provided from a server and are connected to each other.
  • FIGS. 2A and 2B are conceptual views illustrating an example in which images of different areas of VR content are displayed according to a direction of the head of each user in a plurality of HMDs according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operation process of an HMD according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an operation of generating an image based on information received from an HMD of another user in an HMD according to an exemplary embodiment of the present invention.
  • FIG. 5A is a flowchart illustrating an operation process of reproducing VR content in FIG. 3 when VR content composed of a plurality of images is reproduced according to the second embodiment of the present invention.
  • 5B is a flowchart illustrating an operation of generating an image based on information received from an HMD of another user according to the second embodiment of the present invention.
  • FIG. 5C is a flowchart illustrating an operation of displaying a location of the HMD user based on a virtual space corresponding to an image displayed in the HMD of the user, according to the second embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an operation process of displaying an augmented reality image in an HMD according to a third embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an operation of generating an image corresponding to image information received from another user's HMD among the processes of FIG. 6.
  • FIGS. 8A and 8B are exemplary views illustrating an example of displaying an image displayed on an HMD of another user on a display unit according to a user's selection or another user's request in an HMD according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating examples of displaying images displayed on HMDs of a plurality of different users in an HMD according to an exemplary embodiment of the present invention.
  • FIG. 10 is a diagram illustrating other examples in which images displayed on HMDs of a plurality of different users are displayed in an HMD according to an embodiment of the present invention.
  • FIG. 11 illustrates an example of displaying an image of a virtual space according to a user's selection in an HMD according to an embodiment of the present invention, when the VR content to be played is composed of a plurality of virtual space images according to an embodiment of the present invention. It is an illustration.
  • FIG. 12 is an exemplary diagram illustrating an example in which the HMD displays an AR image according to an embodiment of the present invention.
  • FIG. 13 illustrates an example in which an AR image displayed in another user's HMD is displayed when the HMD displays an AR image according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating the HMD 100 related to the present invention.
  • the HMD 100 is a wireless communication unit 110, the camera unit 120, the input unit 130, the sensing unit 140, the output unit 150, the interface unit ( 160, the memory 170, the controller 180, the power supply 190, and the like.
  • the components shown in FIG. 2A are not essential to implementing the HMD 100 in accordance with an embodiment of the invention, so that the HMD 100 described herein is more or less than the components listed above. It may have components.
  • the wireless communication unit 110 may include one or more modules that enable wireless communication between the HMD 100 and various peripheral devices, for example, a preset controller device or another HMD or an external server. It may include. It may also include one or more modules that connect the HMD 100 to one or more networks.
  • the camera unit 120 may include at least one camera for inputting image information.
  • the camera unit 120 may process image information obtained by the image sensor as an input for another application program or another function.
  • the processed image information may be displayed on the display unit 151 of the HMD 100 or stored in the memory 170.
  • the input unit 130 is for inputting image information (or signal), audio information (or signal), data, or information input from a user, and includes a microphone 131 or an audio input unit for inputting an audio signal. And a user input unit 132 (eg, a touch key, a mechanical key, etc.) for receiving information from the user.
  • the user input unit 132 may be formed in a separate device that can be connected to the HMD 100, that is, a controller, in order to receive a user input to the HMD 100. In this case, various inputs sensed through the controller may be applied as a user input to the HMD 100.
  • the user's input applied through the controller may vary.
  • the user's input may be applied from at least one key included in the controller.
  • various gestures of the user sensed through the controller may be applied as the user's input.
  • the controller may separately include one or more sensors such as an acceleration sensor or a gyroscope to identify various gestures that the user takes while holding the controller.
  • the controller 180 may be configured according to the user's wrist snap while the user is inputting a specific key provided in the controller or while applying a preset drag input such as a swipe input.
  • the controller is moved in a specific direction by a predetermined angle or more, the user's input may be determined as a user's preset input related to the function of the HMD 100. That is, when a gesture of the user is detected, the controller 180 may display various functions of the HMD 100, for example, a menu related to reproduction of VR content, in response to the gesture, on the display unit 151 of the HMD 100. Can also be displayed on the screen.
  • the sensing unit 140 may include one or more sensors for detecting the head movement of the user wearing the HMD (100).
  • the sensing unit 140 may include an acceleration sensor 141 and a gyro sensor 142.
  • the acceleration sensor 141 and the gyro sensor 142 may detect the acceleration and the angular velocity according to the movement of the head of the user.
  • the output unit 150 is used to generate an output related to visual, auditory or tactile, and may include a display unit 151 and a sound output unit 152.
  • the display unit 151 may be installed at a position corresponding to both eyes of the user when the user wears the HMD 100 so as to provide a larger sized image to the user.
  • the sound output unit 152 may be formed in the form of a headphone (headphone) that can be in close contact with both ears of the user when the user wears the HMD 100 so that the sound signal related to the content to be reproduced can be delivered.
  • the output unit 150 may include a haptic module, and may generate a vibration related to the content currently being played to the user through the haptic module, thereby allowing the user to watch the virtual reality content more realistically. have.
  • the interface unit 160 serves as a path to various types of external devices connected to the HMD 100.
  • the interface unit 160 may include at least one of various ports such as a wired / wireless headset port, an external charger port, a wired / wireless data port, and the like.
  • the interface unit 160 may serve as a path through which various data and information are exchanged between the HMD 100 and the controller device.
  • the memory 170 stores data supporting various functions of the HMD 100.
  • the memory 170 may store a plurality of application programs or applications that are driven by the HMD 100, data for operating the HMD 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication. In addition, at least some of these applications may be installed on the HMD 100 from the time of shipment for the basic functions of the HMD 100 (for example, the playback of VR content and the output of video and audio signals of the VR content being played back). May exist in The application program may be stored in the memory 170 and installed on the HMD 100 to be driven by the controller 180 to perform an operation (or function) of the HMD 100.
  • the controller 180 controls the overall operation of the HMD 100 in addition to the operation related to a specific application program.
  • the controller 180 may provide or process information or a function appropriate to a user by processing signals, data, information, etc. input or output through the above-described components or driving an application program stored in the memory 170.
  • controller 180 may control at least some of the components described with reference to FIG. 1 in order to drive an application program stored in the memory 170. In addition, the controller 180 may operate by combining at least two or more of the components included in the HMD 100 to drive the application program.
  • the power supply unit 190 receives power from an external power source and an internal power source under the control of the controller 180 to supply power to each component included in the HMD 100.
  • the power supply unit 190 includes a battery, which may be a built-in battery or a replaceable battery.
  • FIG. 1B illustrates an example of the HMD 100 according to the embodiment of the present invention.
  • FIG. 1B illustrates an example of a user wearing an HMD according to an embodiment of the present invention.
  • the controller 180 is based on the detection values of the sensors provided in the sensing unit 140, and the head of the user wearing the HMD 100 is displayed.
  • the direction 102 facing the front side can be identified.
  • an image of one region corresponding to the identified front direction 102 may be displayed on the display unit 151 from the virtual space image of the reproduced VR content.
  • the reproduced VR content may be reproduced by the HMD 100 or provided from an external server connected to the HMD 100.
  • the external server may provide the same VR content to a plurality of HMDs, and may play the same VR content on the plurality of HMDs.
  • an example of a case where a plurality of HMDs are provided with the same VR content from a preset external server and played back is described as an example.
  • FIG. 1C is an exemplary diagram illustrating an example in which a plurality of HMDs 100 according to an embodiment of the present invention play and connect the same VR content provided from a server.
  • a plurality of HMDs may be connected to the external server 200, respectively.
  • the external server 200 may provide VR content requested from a user of each of the connected HMDs.
  • HMDs provided with the same VR content can play back images of the same virtual space.
  • the HMDs 100a, 100b, 100c, and 100d provided with the same VR content may be connected to each other as shown in FIG. 1C.
  • the HMDs 100a, 100b, 100c, and 100d may each perform direct wireless communication with other HMDs, and may be connected to each other according to the result.
  • the HMDs 100a, 100b, 100c, and 100d may exchange various pieces of information.
  • the exchanged information may be voice information input from each user, or may be information received or generated at each HMD.
  • Each of the HMDs 100a, 100b, 100c, and 100d may request the same VR content from the external server 200.
  • each of the HMDs 100a, 100b, 100c, and 100d plays the received VR content, thereby reproducing the image of the same virtual space and playing the virtual space.
  • Information related to the video may be transmitted to another connected HMD.
  • the HMDs 100a, 100b, 100c, and 100d may be connected to each other via the external server 200.
  • the external server 200 may group each of the HMDs requesting the same VR content. If information related to an image of a virtual space played in the HMD is received at the request of one HMD, the received image may be transmitted to another HMD of the group including the HMD. Accordingly, even when the HMDs 100a, 100b, 100c, and 100d cannot be directly connected to each other, the HMDs 100a, 100b, 100c, and 100d that provide the same VR content may be connected to each other.
  • the image displayed through each HMD 100 may be different.
  • the images displayed on the display unit 151 of the HMDs 100a and 100b respectively. May be different.
  • FIGS. 2A and 2B are conceptual views illustrating an example in which images of different regions of the same VR content are displayed according to a direction of the head of each user in a plurality of HMDs 100a and 100b according to an exemplary embodiment of the present invention. to be.
  • FIG. 2A is a conceptual diagram illustrating an example in which an image of one region of VR content corresponding to a direction of the head of the user in the first HMD 100a is displayed among the plurality of HMDs 100a and 100b.
  • FIG. 2A illustrates a user of the first HMD 100a in a direction horizontal to the ground (hereinafter, referred to as a horizontal direction) based on VR content which is a 360 degree omnidirectional image. That is, an example of a view angle according to the direction of the head of the first user is shown.
  • the first HMD 100a may have a specific angle according to the information of the VR content received when the VR content is provided.
  • the image may be set as the image of the reference angle (0 degree).
  • the angle corresponding to the image viewed by the first user may be calculated according to a direction toward the head of the first user based on the set reference angle. That is, as shown in (a) of FIG. 2A, when the first user is watching the VR content, the view angle of the horizontal direction corresponding to the gaze direction 262 of the first user, that is, the first user is viewed. 1
  • the angle of the head facing the front of the user may be 90 degrees. Accordingly, the first HMD 100a may determine that the first user is currently watching an image of a VR content corresponding to 90 degrees in the horizontal direction from the reference angle.
  • the image 250 of the VR content shown in FIG. 2A (b) may be an image that is currently being viewed by the first user, that is, an image corresponding to a view angle of 90 degrees in the horizontal direction among the VR content. have.
  • the first HMD 100a may detect an angle in a vertical direction that the front of the head of the first user faces through the sensing result of the sensing unit 140. That is, as shown in (b) of FIG. 2A, when the first user is facing upward of 30 degrees, the first HMD 100a is a region where the first user corresponds to an angle of 30 degrees upward in the vertical direction. You can judge that you are watching the video. Accordingly, the vertical viewing angle of the first user may be +30 degrees.
  • 2C illustrates an example of displaying an image of one region of VR content corresponding to a direction of the head of the user of the second HMD 100b, that is, the second user, among the plurality of HMDs 100a and 100b. It is a conceptual diagram for illustration. In this case, since the first HMD 100a and the second HMD 100b are provided with the same content from the external server 200 and reproduced as shown in FIG. 1C, the VR content played by the second HMD 100b is the first content. The VR content may be the same as the VR content reproduced by the 1HMD 100a.
  • the second HMD 100b calculates a horizontal view angle of the front of the head of the second user from the same VR content, that is, the same 360 degree omnidirectional image 250. can do.
  • the second HMD 100b is also viewed by the second user according to the direction in which the front of the head of the second user faces from the reference angle set according to the received VR content information. An angle in the horizontal direction corresponding to the image may be calculated. Therefore, when the second user views the direction shown in FIG. 2A (c), the second HMD 100b is currently viewing the video of VR content corresponding to 180 degrees in the horizontal direction from the reference angle. You can judge that you are doing.
  • FIG. 2A illustrates an example of a view angle in a vertical direction in a direction in which the head of the second user faces.
  • the image 250 of the VR content shown in FIG. 2A (d) is an image that is currently being viewed by the second user, that is, an image corresponding to a view angle of 180 degrees in the horizontal direction among the VR content. Can be.
  • the second HMD 100b may detect an angle in a vertical direction that the front of the head of the second user faces in the same manner as the first HMD 100a. Therefore, as shown in (d) of FIG. 2A, when the second HMD 100b faces the downward direction of the 30 degree angle, the second HMD 100b corresponds to a region where the second user corresponds to the downward angle of 30 degrees in the vertical direction. You can judge that you are watching the video. Accordingly, the viewing angle of the second user in the vertical direction may be -30 degrees.
  • FIG 2B illustrates the VR content 250 displayed on the first HMD 100a and the second HMD 100b according to the horizontal and vertical view angles of the first user and the second user. An example of images of another region is shown.
  • the VR content 250 when the VR content 250, that is, an image taken at an angle of view of 360 degrees in the forward direction is unfolded in accordance with a horizontal viewing angle, the VR content 250 is as shown in FIG. Can be unfolded.
  • the region of the VR content 250 corresponding to 90 degrees in the horizontal direction and +30 degrees in the vertical direction is shown in (a) of FIG. 2B. It may be a first region 260.
  • the region of the VR content 250 corresponding to the horizontal direction 180 degrees and the vertical direction -30 degrees shown in FIGS. 2A and 2D is the second region shown in FIG. 270).
  • the first region 260 and the second region 270 may be displayed in the first HMD 100a and the second HMD 100b, respectively.
  • the HMD 100 may be connected to at least one HMD that plays the same VR content.
  • information related to an image currently displayed on the display unit 151 may be received from another connected HMD.
  • an image corresponding to information received from another connected HMD may be displayed on the display unit 151 according to a user's selection. Therefore, users of each HMD can have a sense of space that they are watching the same VR content by sharing the video of the VR content that they are watching with other users.
  • FIG. 3 is a flowchart illustrating an operation of displaying an image of an area watched by another user from HMDs of other users who play the same VR content in the HMD 100 according to an exemplary embodiment of the present invention.
  • the controller 180 of the HMD 100 may reproduce an image of VR content selected by a user (S300).
  • the VR content may be the same as the VR content provided to the HMD of at least one other user from a preset external server. Meanwhile, in the following description, for the convenience of description, the VR content will be described with an example of configuring a still image or a video (360-degree omnidirectional image) of 360 degrees in all directions.
  • the controller 180 may form a virtual space corresponding to the 360 degree omnidirectional image of the currently played VR content, centering on the HMD 100. According to the sensing result of the sensing unit 140, a part of the image corresponding to the front of the head of the user, that is, the direction of the face of the user, may be displayed on the display unit 151 among the 360 degree omnidirectional images ( S302).
  • the controller 180 may check whether there is image related information received from another HMD 100 (S304). For example, when a connection request for another user is received from the user, the controller 180 may perform connection with another user corresponding to the received connection request.
  • a connection request for another user may be received in various ways.
  • the controller 180 may recognize an input of a specific key provided in the user input unit 132 as a connection request to the other user. That is, when a specific key is recognized, the controller 180 can wirelessly connect with the HMD of the user corresponding to the key.
  • the controller 180 performs a connection with the HMD corresponding to at least one other user according to a specific gesture of the user holding the controller. can do.
  • the controller 180 may connect to another user according to a result of recognizing the voice of the user.
  • the controller 180 may further include a voice recognition module (not shown) capable of recognizing voice information of the user and converting the recognized voice information into text information.
  • the controller 180 can receive a user's voice signal through the microphone 131 provided in the input unit 130.
  • the voice recognition module may convert the received voice signal into text information.
  • the converted text information may be compared with information previously stored in the memory 170.
  • the memory 170 may include information on at least one other HMD connectable to the HMD 100.
  • the at least one other HMD may include information on a user currently using the HMD as text information.
  • each user using the HMD may perform user registration in advance before wearing the HMD to be used, and the text information input during the user registration process may be stored as the information of the user using each HMD. have.
  • the stored user information may be stored in a memory of each HMD.
  • the memory 170 of the HMD 100 may also include text information corresponding to users of other HMDs.
  • the controller 180 can identify the HMD of the specific user corresponding to the voice signal of the user based on a result of comparing text information corresponding to the voice signal of the user with information stored in the memory 170. have. Then, the controller 180 of the HMD 100 may perform wireless communication with the HMD of the specific user based on wireless connection information corresponding to the HMD of the specific user, and in response thereto Can be connected.
  • the HMD of at least one other user is connected based on a signal input from the user of the HMD 100, but may be connected to the HMD of another user through the reverse process. . That is, if a wireless connection is requested to the HMD 100 from another HMD based on the above-described process, the user may indicate that there is a connection request currently received from another user. If the user accepts the connection with respect to the received connection request, the controller 180 can perform a wireless connection with another HMD that has transmitted the connection request.
  • the controller 180 may receive information related to the image displayed on the HMD of the other user from the connected HMD of the other user.
  • the received image related information may be information about a region of VR content currently played by the HMD 100. This is because, as described above, the HMD of the connected other user is also an HMD that plays the same VR content provided from a preset external server.
  • the controller 180 may determine that there is image related information received from another user's HMD in step S304.
  • a display area corresponding thereto may be set in one area on the display unit 151 (S306).
  • the display area may be set by various criteria.
  • the controller 180 may generate the display area in a predetermined area on the display unit 151.
  • the display area may be generated based on a point on the display unit 151 corresponding to the user's gaze direction.
  • the camera unit 120 may include an internal camera for capturing a pupil image of a user in the HMD 100.
  • the controller 180 may detect the location of the pupil center of each user from the binocular image of the user sensed through the internal camera.
  • a point on the display unit 151 corresponding to the gaze of the user may be calculated based on the detected pupil center position.
  • the controller 180 may calculate eyeball center positions of both eyes from the binocular images based on previously stored eye modeling data, and the user may calculate the eyeball center position from the calculated eyeball center position and the pupil center position.
  • One point on the display unit 151 that is staring may be calculated.
  • the display area may be formed at the calculated point.
  • the size of the display area may also be determined according to various criteria. For example, the size of the display area may be determined according to a size preset by the user. Alternatively, the size of the display area may be determined according to the number of display areas displayed on the display unit 151. That is, when there is a preset display area on the display unit 151, the size of the display area according to the number of display areas and the number of display areas generated according to a request of the current user or a request received from another user. Can be determined. In this case, as the number of display areas displayed on the display unit 151 increases, the size of the display area may decrease. On the other hand, if there is a user input to any one of the display area, the controller 180 may change the size of the one display area according to the user's input.
  • the controller 180 can generate an image to be displayed on the set display area (S308).
  • the image to be displayed on the display area may be an image corresponding to image related information received from the HMD of the other user.
  • the controller 180 performs the step S306 and S308 for each of the plurality of received image related information. Of course it can.
  • the image related information may be information about a region of VR content currently played by the HMD 100.
  • the image related information may be image information obtained by compressing an image of one region of the VR content or reducing its size in a predetermined manner.
  • the image related information may be coordinate information of one region of VR contents displayed on the connected HMD.
  • the coordinate information may be coordinate information on VR content corresponding to each vertex of the display unit of another connected HMD, or coordinate information of one point on VR content corresponding to a center point on the other HMD display unit.
  • the HMD 100 may receive the detection result detected from the connected HMD as it is. That is, the controller 180 may receive a result of detecting a direction in which the face direction of the other user faces from the connected HMD and receive the image related information.
  • the received image related information may be information about a horizontal and vertical view angle detected from the other HMD.
  • the controller 180 may generate an image corresponding to the received image related information in step S308. For example, the controller 180 may extract an image of one region corresponding to the received view angle information from the currently reproduced VR content. An image corresponding to the size of the currently set display area may be generated from the extracted image.
  • an operation process of the controller 180 which generates an image according to the size of the currently generated display area based on the received view angle information will be described in more detail with reference to FIG. 4.
  • the controller 180 may display the generated image on the display area (S310).
  • the controller 180 transmits images generated from each of the plurality of received image related information to each HMD in step S310. It can be displayed on the corresponding display area.
  • the controller 180 may display the images displayed on the display areas separately from the image of the VR content that the user is currently watching.
  • the controller 180 may display the periphery of each display area as a graphic object having a guideline shape of a predetermined color or thickness so that each display area is distinguished.
  • the display unit 151 may display an area corresponding to the inside of each display area and an area corresponding to the outside of the display area differently so that the user may easily identify the image of each display area.
  • the controller 180 may perform graphic processing in a preset manner on other areas on the display unit 151 except for each display area in step S310.
  • the controller 180 may process another area on the display unit 151 excluding each display area with a predetermined color (for example, blackout process), or preset another area on the display unit 151. You can also make it opaque or blurry (like blur). In this case, only the images displayed in each display area, that is, images corresponding to the image related information received from the HMD of another user, may be clearly displayed on the display unit 151.
  • the controller 180 may group and display the display areas according to preset criteria. For example, the controller 180 may group the display areas according to a user's selection and change the position of each display area according to the grouping result. In this case, images displayed from HMDs included in the same group may be displayed adjacent to each other.
  • the grouping criteria may be automatically determined.
  • the controller 180 may perform the grouping based on an image currently displayed on the display unit 151 of the HMD 100.
  • the controller 180 may perform the grouping based on the view angle information of the image currently viewed by the user among the VR contents.
  • the image related to the image depends on whether the horizontal or vertical view angle has a larger value or a smaller value than the viewing angle of the image currently being viewed by the user.
  • a group of display areas corresponding to each of the information may be determined.
  • a grouping is performed based on a predetermined criterion or view angle information of an image currently viewed by a user will be described in more detail with reference to FIG. 9.
  • the controller 180 may return to step S302 to display an image of the front surface of the HMD, that is, the direction of the user's face toward the display unit 151. . Then, the processes from steps S304 to S310 are repeated until playback of the current VR content is repeated, and if a new HMD is connected according to the determination result of step S304, the display area accordingly is further displayed or an existing connected HMD is displayed. When the connection of is released, the display area may be released accordingly.
  • FIG. 4 is a flowchart illustrating an operation of generating an image corresponding to image related information received from an HMD of each other user in an HMD according to an exemplary embodiment of the present invention.
  • the controller 180 of the HMD 100 may include at least one other HMD according to a user's selection or a request from another user while playing VR content. It can be connected with.
  • information related to an image displayed in each HMD (hereinafter, referred to as image information) may be received from each of the at least one connected HMD.
  • the controller 180 may generate an image corresponding to each image related information by performing the operation of FIG. 4 with respect to the received image related information.
  • the received image related information is described as an example of view angle information detected by another connected HMD.
  • the controller 180 may receive information on a direction of the front of the head of the user wearing the second HMD from the second HMD (S400).
  • the information received from the second HMD may be information that detects a direction of the front of the head of the user in the second HMD, that is, view angle information. Accordingly, the controller 180 may detect a direction of the front of the head of the user wearing the second HMD through the connected second HMD.
  • the controller 180 may calculate coordinates of one point corresponding to the received view angle from the 360 degree omnidirectional image of the VR content reproduced in step S302 (S402).
  • the controller 180 may extract an image having a predetermined size from the 360 degree omnidirectional image of the VR content based on the coordinates calculated in operation S402 (S404).
  • the preset size may correspond to a size of an area displayed on the display unit 151 of the HMD 100 among the 360 degree omnidirectional images. That is, the controller 180 extracts an image corresponding to the received view angle having a size that can be displayed on the display unit 151 from the 360 degree omnidirectional image of the VR content reproduced in the same step S404.
  • the same image as the image of the VR content viewed by the user wearing the second HMD can be generated.
  • the controller 180 may resize the generated image according to the size of the display area corresponding to the second HMD to generate an image to be displayed on the display area (S406).
  • the image generated in operation S406 may be displayed through a display area corresponding to the second HMD.
  • the controller 180 can check whether the connection with the second HMD is terminated (S408). For example, the controller 180 may terminate the connection with the second HMD when there is a predetermined input of a user applied to the display area corresponding to the second HMD. Alternatively, when the voice signal of the preset user corresponding to the second HMD is detected, the controller 180 may terminate the connection with the second HMD accordingly. When the connection with the second HMD is terminated as a result of the sensing in step S408, the controller 180 may release the setting of the display area corresponding to the second HMD (S410). Then, the display area of the second HMD displaying the resized image in step S406 may no longer be displayed.
  • step S408 determines whether the connection with the second HMD is terminated and the connection with the second HMD is not terminated.
  • the controller 180 proceeds to the step S400 again and receives the view angle information from the second HMD. can do.
  • the processes from steps S402 to S406 may be performed again to generate an image of the display area corresponding to the second HMD according to the received view angle information. Accordingly, until the connection with the second HMD is terminated, the image displayed in the display area corresponding to the second HMD may be updated in real time according to the view angle information received from the second HMD. That is, the image displayed on the display area may be changed in real time according to the movement of the head of the wearer wearing the second HMD. Accordingly, the controller 180 according to an embodiment of the present invention displays an image corresponding to the head movement of the user wearing the second HMD in one area (display area) on the display unit 151 through the connected second HMD. Can be.
  • a user viewing the same VR content by displaying an image of the VR content viewed by the user of the other HMD on at least part of the display unit 151 from the other HMD playing the same VR content. Allow them to share their videos with each other. Therefore, the present invention can allow each user to share a sense of space that they are experiencing the same virtual space.
  • the controller 180 may display information about the direction in which the front of the head of the user faces, that is, the view angle, based on the detected value detected by the sensing unit 140 of the HMD 100, similar to the other HMD described above. It can be transmitted as related information.
  • the other HMD may also be an HMD according to an embodiment of the present invention.
  • the VR content has been described as an example in which only one 360-degree omnidirectional image or video is provided.
  • the VR content may be implemented in any other form.
  • the VR content may include a plurality of still images or moving images having an angle of view more than a predetermined angle.
  • the VR content may allow one of the still images or moving images having an angle of view greater than or equal to a predetermined angle constituting the VR content to be played through the HMD.
  • the image played in each HMD may be a different image.
  • the VR content is composed of a plurality of still images or moving images having an angle of view more than a predetermined angle.
  • the HMD 100 plays the VR content composed of the plurality of images from the case of playing the VR content composed of the one image
  • a case of reproducing the VR content composed of one video will be referred to as a first embodiment of the present invention
  • a case of reproducing the VR content composed of the plurality of videos will be referred to as a second embodiment of the present invention.
  • FIG. 5A is a flowchart illustrating an operation process of reproducing VR content in FIG. 3 when VR content including a plurality of images is reproduced according to the second embodiment of the present invention.
  • the VR content may include a plurality of different images (which may include a still image or a moving image).
  • the images constituting the VR content as described above, each image having an angle of view more than a predetermined angle (for example, 360-degree omnidirectional image or 180-degree image) are generated so that each can experience different virtual spaces.
  • a predetermined angle for example, 360-degree omnidirectional image or 180-degree image
  • the VR content may be composed of images corresponding to a plurality of different virtual spaces, and the controller 180 may form the virtual space from an image corresponding to any one virtual space according to a user's selection. There is (S500).
  • the controller 180 may display, on the display unit 151, a part of the image corresponding to the direction in which the face of the user faces among the 360-degree omnidirectional images according to the sensing result of the sensing unit 140 (S502). ).
  • the controller 180 may check whether there is image related information received from another HMD 100 (S504).
  • the controller 180 can connect with any one of other HMDs playing the same VR content according to a user's selection, and can obtain information related to an image of a virtual space displayed in the HMD from the connected HMD. Can be.
  • the controller 180 may perform a connection with the other HMD in response thereto, and the virtual space displayed in the HMD from the connected HMD.
  • the information related to the image may be obtained.
  • the connection request of the user may be made according to an input such as a voice signal or a predetermined key or gesture of the user, as described in operation S304 of FIG. 3.
  • the controller 180 may set a display area corresponding to the received image related information on the display unit 151 (S506).
  • the display area may be determined according to various setting criteria such as a predetermined area or a user's gaze direction.
  • the size of the display area may also be determined according to the number of display areas displayed on the display unit 151 or the size may be determined according to a user's selection.
  • the controller 180 displays an image to be displayed through the display area based on the image corresponding to the image related information received from the other HMD. Can be generated (S508).
  • the image related information may be information about horizontal and vertical view angles detected from the other HMDs.
  • an operation process of the controller 180 which generates an image according to the size of the currently generated display area based on the received view angle information will be described in more detail with reference to FIG. 5B.
  • the controller 180 may display the generated image on the display area (S510). If a plurality of image related information is received from a plurality of different HMDs, the controller 180 displays images generated from each of the plurality of received image related information in a display area corresponding to each HMD in step S510. I can display it.
  • the controller 180 may display the images displayed on the display areas separately from the image of the VR content that the user is currently watching. For example, as described above with reference to FIG. 3, the controller 180 displays the predetermined graphic object or an area corresponding to the inside of the display area and an area outside the display area with different brightnesses so that the display area is distinguished. You may. Alternatively, the controller 180 processes the other area on the display unit 151 except for each display area to have a predetermined color through a blackout process, or makes other areas on the display unit 151 opaque through a blur process or It can also be dimmed.
  • the controller 180 may check whether the user selects another virtual space (S512). If another virtual space is not selected as a result of checking in step S512, the controller 180 proceeds to step S502 again and displays an image of a direction of the face of the user on the display unit 151 among the images of the currently selected virtual space. Can be marked on.
  • the controller 180 may form a new virtual space from an image corresponding to the selected virtual space (S514).
  • the controller 180 may display an image corresponding to the direction of the face of the user from the newly created virtual space on the display unit 151. The process from step S504 to step S512 may be repeated until playback of the VR content is completed.
  • 5B is a flowchart illustrating an operation of generating an image based on information received from another user's HMD according to the second embodiment of the present invention.
  • the controller 180 may obtain image related information including information on a virtual space corresponding to the image displayed on the second HMD from the second HMD (S550). . That is, as described above, when the VR content includes a plurality of images corresponding to the plurality of virtual spaces, the second HMD includes information on the virtual space corresponding to the image currently displayed on the display unit and the user head of the second HMD. Image related information including a direction facing the front surface, that is, view angle information, may be transmitted to the HMD 100 according to an embodiment of the present invention.
  • the HMD 100 also includes information on the virtual space corresponding to the image currently displayed on the display unit 151 and view angle information according to the sensing result of the sensing unit 140.
  • the video related information can be transmitted to the second HMD.
  • the second HMD may also be an HMD according to an embodiment of the present invention.
  • the controller 180 may extract information of the virtual space displayed in the second HMD from the image related information obtained in step S550 (S552).
  • the controller 180 may select one image corresponding to the virtual space information extracted in the step S552 among the images of the virtual space constituting the VR content (S554).
  • the controller 180 may calculate coordinates of one point corresponding to the view angle included in the image related information from the virtual space image selected in step S554, and extract an image having a predetermined size based on the calculated coordinates. It may be (S556).
  • the preset size may correspond to the size of the image displayed on the display unit 151 of the HMD 100.
  • the controller 180 when an image having a predetermined size is extracted from the image of the virtual space corresponding to the received image related information, the controller 180 generates the image according to the size of the display area corresponding to the second HMD. It may be resized (S558). The resized image may be displayed on the display area corresponding to the second HMD. Therefore, even when images of different virtual spaces are displayed, if the different virtual spaces are included in the same VR content, the controller 180 displays the images of the different virtual spaces displayed in the second HMD. 151 can be displayed. Likewise, the second HMD may also display an image of the virtual space displayed on the HMD 100 on the display unit of the second HMD. Accordingly, the user of the HMD 100 and the user of the second HMD may share images of different virtual spaces that are being viewed.
  • the controller 180 may check whether the connection with the second HMD is terminated (S560). If the connection with the second HMD is terminated, the controller 180 can release the setting of the display area corresponding to the second HMD (S562). Then, the display area of the second HMD may no longer be displayed on the display unit 151.
  • step S560 If the connection with the second HMD is not terminated as a result of checking in step S560, the controller 180 may proceed to step S550 again to obtain image related information including the virtual space information from the second HMD. . In addition, the processes from steps S552 to S560 may be performed again. Accordingly, when the image of the virtual space displayed through the second HMD is changed or the direction in which the face of the user wearing the second HMD faces is changed, the changed image is displayed through the display area corresponding to the second HMD. 151 may be displayed on the screen.
  • each of the virtual spaces corresponding to the images may be related to each other.
  • the VR content is virtual exhibition hall content including a plurality of exhibition spaces
  • the plurality of virtual spaces constituting the VR content may correspond to each exhibition space constituting the virtual exhibition hall.
  • the image corresponding to each virtual space may be an image corresponding to each exhibition space.
  • the VR content including a plurality of virtual spaces associated with each other, it may have structural information about the connection relationship between each virtual space according to the relationship between each virtual space.
  • the structure information may be used to select an image of a virtual space desired by the user when the user plays the VR content, and may be provided from an external server providing the VR content together with the VR content.
  • the controller 180 displays the virtual spaces constituting the VR content on the display unit 151 in the form of map information according to the structure information. Can be marked on.
  • the controller 180 of the HMD 100 may display a location corresponding to the virtual space that the user is currently watching using the map information.
  • the controller 180 may use the information of the virtual space obtained in step S552 of FIG. 5B to display the location of the user.
  • 5C is a flowchart illustrating an operation process of displaying the location of the second HMD user based on the virtual space information obtained from the image related information transmitted from the second HMD in the second embodiment of the present invention.
  • map information corresponding to the virtual spaces constituting the VR content may be generated (S570).
  • the generated map information may be displayed on a predetermined area on the display unit 151 (S572).
  • the map information may include graphic objects corresponding to each of the plurality of virtual spaces constituting the VR content.
  • the graphic objects may be displayed to be connected to each other according to an association relationship between the virtual spaces, or the graphic objects may be displayed to be sequentially arranged according to an order or a position according to the association relationship. That is, as described above, when the VR content is virtual exhibition hall content including a plurality of exhibition spaces, the controller 180 corresponds to each exhibition space according to a state in which the plurality of exhibition spaces constituting the virtual exhibition hall are connected to each other. Graphic objects can be displayed to be connected to each other. Alternatively, graphic objects corresponding to each exhibition space may be determined in a region on the display unit 151 in which the map information is displayed, according to a state in which a plurality of exhibition spaces constituting the virtual exhibition hall are arranged.
  • the controller 180 when map information including graphic objects corresponding to the virtual spaces constituting the VR content is displayed on the display unit 151, the controller 180 according to the extracted virtual space information in step S552 of FIG. In operation S574, a point on the graphic object corresponding to one virtual space may be displayed as location information of the connected second HMD user. Accordingly, the controller 180 according to an embodiment of the present invention identifies the virtual space in which the other HMD user is located in the VR content composed of a plurality of virtual spaces according to the image of the virtual space viewed by the user of the other HMD. can do.
  • the user may select another virtual space among the virtual spaces constituting the VR content according to the location information of the other HMD user displayed through the map information, and thus move to the virtual space viewed by the other HMD user. You can also experience the image of the virtual space together.
  • an image of a virtual space desired by a user may be displayed on the display unit according to the selection of each user.
  • FIG. 1C when a plurality of HMDs in which the VR contents including the plurality of virtual spaces are identically reproduced are connected to each other, selection of a specific virtual space and a change of the virtual space are set in each HMD.
  • one of the plurality of HMDs may be classified as a master according to the authority for selecting and changing the virtual space, and the remaining HMDs may be classified as slaves.
  • the master HMD may be an HMD having authority to select and change the virtual space. Therefore, the master HMD can freely select and move the virtual space to enter.
  • the slave HMDs are free to move in the currently located virtual space, but the selection and movement of the virtual space may be limited. Accordingly, the slave HMDs may move to the selected virtual space from the master HMD and watch an image of the selected virtual space from the master HMD.
  • the user of the master HMD may be a curator guiding the viewers.
  • the user of the slave HMD may be a spectator who views each virtual space constituting the VR content.
  • the master HMD may transmit voice information input from the user of the master HMD to the users of the slave HMD, and conversely, voice information input from the user of the slave HMD may be transmitted to the user of the master HMD.
  • the slave HMDs may move to a virtual space selected by a user wearing a master HMD, and an image of the virtual space in which the master HMD is moved may be displayed on the slave HMDs as the virtual HMD moves.
  • the master HMD may transfer master authority to another HMD according to various conditions.
  • the master authority that is, the authority to freely select and move the virtual space to enter may be made according to the user's selection currently set as the master HMD.
  • any one slave HMD transferred to the master authority may be set as a master HMD, and the existing master HMD may be converted to a slave HMD.
  • such a transfer of master authority may occur in a specific case, not a user's selection.
  • the authority of the master HMD may be transferred to any one of the slave HMDs.
  • the HMD 100 according to the embodiment of the present invention plays only the VR content.
  • the HMD 100 according to the embodiment of the present invention is limited to playing the VR content.
  • the HMD 100 may display not only the VR content but also an Augmented Reality image. to be.
  • the augmented reality image may be an image including an image sensed by the external camera and a virtual object related to the sensed image.
  • the AR image displays information related to various objects included in the real image as a virtual object on the real image sensed through the external camera, and displays various information related to the object as well as the image of the real object. It can be used to allow the user to check at the same time.
  • FIG. 6 is a flowchart illustrating an operation process of displaying an augmented reality image in the HMD according to the third embodiment of the present invention.
  • the controller 180 displays an image sensed from a camera sensing an image in the front direction of the HMD 100 on a display unit 151. It can be displayed in the form.
  • the controller 180 may identify whether information related to the currently sensed image is received from the currently sensed image. If information related to the sensed image is received, the controller 180 can display an AR object corresponding to the received information on the display unit 151 (S600).
  • the controller 180 may analyze each image sensed by the current camera and distinguish each object included in the sensed image. As a result of the analysis, if the sensed image does not include an object corresponding to the received information, the AR object may not be displayed. However, if the sensed image includes an object corresponding to the received information, an AR object corresponding to the received information is generated, and the generated AR object is displayed around the corresponding object among the sensed images. can do.
  • an Internet of Things (IOT) communication device for example, a beacon device
  • the HMD 100 senses an image of the exhibit corresponding to the user's gaze through a camera equipped with the HMD 100 when the user looks at the direction in which the specific exhibit is displayed. can do.
  • Information related to the exhibit included in the sensed image may be received from a communication device corresponding to the exhibit.
  • the received information may be displayed on the display unit 151 as an AR object.
  • the controller 180 may display various information related to the exhibition currently displayed on the display unit 151 through the AR object. For example, the controller 180 may display information on a production time of the exhibit, information on a producer who produced the exhibit, or a history related to the exhibit.
  • the information received from the communication device may include information collected by the communication device corresponding to the exhibition object about the exhibition object. For example, the communication device may determine that a visitor who stays in the vicinity of the exhibit for a predetermined time or more as a visitor who viewed the exhibit. In addition, among the visitors who watched the exhibit, the visitor whose residence time is longer than a predetermined time or closer to the exhibit than a predetermined distance may be determined as a visitor who shows high interest in the exhibit. In addition, the communication device may transmit information to the HMD 100 that evaluates the response of the viewers related to the exhibit, such as the number of the visitors and / or the number of the interested visitors. Then, the controller 180 can display this information on the display unit 151 through the AR object.
  • the controller 180 can detect whether a connection with another user's HMD is made (S602). .
  • the controller 180 may connect with another user's HMD based on a predetermined key input or gesture or a user's voice signal, similar to the first and second embodiments described above.
  • the user may perform connection with the HMD of another user who has transmitted the connection request according to the user's selection.
  • the HMD 100 and the other HMD may receive information related to each exhibition and display the information as an AR object through a predetermined AR-related content, for example, an AR-related application provided in an exhibition hall.
  • the preset AR-related content may be transmitted from a server of the exhibition hall.
  • the HMD 100 and the other HMD may be HMDs in which the same AR-related content is driven.
  • the HMD 100 and the other HMD receive information related to the exhibit from communication devices located in the same exhibition hall, and an AR object according to the received information. Can be displayed on the display unit.
  • the HMD 100 and the other HMD may be HMDs in which the same AR-related content is driven.
  • the same AR-related content may be driven.
  • HMDs in which the same AR-related content is driven may be connected to each other as shown in FIG. 1C.
  • the controller 180 may receive the image related information from the connected second HMD.
  • the image related information received from the second HMD may include an image sensed by a camera included in the second HMD and an AR object related to an exhibition of the image.
  • the controller 180 may set a display area corresponding to the received image related information (S604).
  • the display area may be formed at a predetermined area or a point on the display unit 151 where the user gazes, as described in the first and second embodiments of the present invention.
  • the size of the display area may also be determined according to a user's selection or a predetermined criterion.
  • the controller 180 can generate an image to be displayed through the display area (S606).
  • the generated image may be an image obtained by resizing an image including the image received as the image related information and an AR object related to an exhibition of the image according to a size of a display area currently set.
  • the controller 180 can display the generated image on the display area set in step S604 (S608).
  • step S608 when the image sensed by the camera of the second HMD and the AR object of the exhibition included in the image are displayed, the controller 180 may proceed to operation S600 again.
  • the controller 180 may display an image sensed by a camera of the HMD 100 on an area of the display unit 151 other than the area displayed in the display area, and display the AR information when there is related AR information. .
  • the process from step S602 to step S608 may be performed again.
  • the image related information received from the second HMD in step S602 may include information related to the position of the second HMD.
  • the HMD 100 and the second HMD may be provided with AR-related contents from the same server.
  • the AR-related content may include information about the structure of the exhibition hall.
  • the AR-related content may include information on each exhibition space constituting the exhibition hall, and is selected by a user. As a result, information about each exhibition space may be displayed on the display unit 151.
  • the HMDs connected to each other can exchange position information of each other.
  • location information may be information about an exhibition space where each HMD is currently located.
  • each HMD may transmit image related information including information on an exhibition space in which the present HMD is located, and the HMD receiving the image related information may extract information on the exhibition space where the HMD is located from the received image related information.
  • the controller 180 can display the information of the HMD corresponding to the extracted exhibition space on the structure information of the exhibition hall included in the AR-related content, which will be information on a place where a specific HMD is currently located.
  • the third embodiment of the present invention described above may also display the locations of other HMD users connected on the map information displaying the structure information of the exhibition hall as described in FIG. 5C of the second embodiment of the present invention. .
  • the HMD 100 may provide information related to the AR object when there is an AR object related to an exhibit included in the image sensed by the camera of the second HMD. May be received from the second HMD and displayed.
  • 7 is a flowchart illustrating the operation of the HMD 100 according to an embodiment of the present invention in this case.
  • the controller 180 of the HMD 100 when the controller 180 of the HMD 100 according to an embodiment of the present invention includes an AR object among images displayed in the display area in operation S608 of FIG. 6, the AR object
  • the user's input for the S700 may be sensed.
  • the user's input may be an input of a predetermined key provided in the user input unit 132 or a user's gesture detected through a separate controller.
  • the voice command may be a user's voice command or a preset user's head gesture.
  • the controller 180 may obtain information corresponding to an AR object corresponding to the detected user's input from a currently connected HMD, that is, a second HMD. Can be obtained (S702).
  • the second HMD may receive information corresponding to the AR object and transmit the received information to the HMD 100 according to a request of the controller 180.
  • the controller 180 may display the received information on the display unit 151.
  • the controller 180 may display the received information on a part of the display area or display the received information on another area on the preset display unit 151.
  • the received information may be displayed in an area on the display unit 151 adjacent to the display area.
  • FIGS. 8A and 8B are exemplary views illustrating an example in which an image displayed in the HMD of another user is displayed on the display unit in response to a user's selection or another user's request in the HMD 100 according to the present invention. .
  • FIG. 8A illustrates an example in which an image displayed on a specific HMD according to a user request of the first HMD 100 is displayed on the display unit 151 of the first HMD 100 among a plurality of HMDs that play the same VR content. Is showing.
  • a user's request for a specific HMD may be variously made as described above.
  • the user's request may be made according to a predetermined key input or a preset user's gesture.
  • it can be made based on the user's voice signal, of course.
  • the controller 180 may use the microphone 131 only when there is a user input such as a preset user gesture to distinguish the voice of the user for requesting the connection with the HMD of the other user and the voice that is not.
  • the voice of the user which is received through the, may be identified as a voice signal for requesting connection with another user's HMD. That is, the controller 180 may switch the operation mode to the user voice recognition mode when there is a preset user input, and when the user enters the voice recognition operation mode, the controller 180 recognizes the user's voice and connects the HMD of the specific user corresponding thereto. Can be performed.
  • the controller 180 may use the microphone 131 provided in the HMD 100. A voice signal calling a user name of a specific HMD may be received. Then, the controller 180 may recognize the received voice signal as text information through the voice recognition module.
  • the controller 180 may search for an HMD corresponding to text information recognized from the voice signal of the user, from the information previously stored in the memory 170.
  • the memory 170 may store user information input by each user who uses the HMD before wearing the HMD.
  • the controller 180 may detect an HMD worn by a user corresponding to the recognized text information among user information stored in the memory 170.
  • a signal for wireless connection may be transmitted to the detected HMD.
  • wireless connection with the detected HMD may be performed, and information related to an image displayed on the connected HMD may be received.
  • the controller 180 may receive image related information from the connected HMD.
  • the image related information received here may be horizontal and vertical view angle information detected by the HMD of the 'TOM' as described above. That is, the image related information may be a result of detecting a direction in which the front face of the head, namely, the face of the 'TOM', faces from sensors provided in the HMD worn by the 'TOM'.
  • the controller 180 of the HMD 100 displays an image of one region corresponding to the direction of the head of the other user, which is detected from the HMD of the other user from the VR content to be played back. It may be displayed on the unit 151.
  • an image of one region corresponding to a direction of the head of another user may be displayed on the display area 810 preset on the display unit 151 as shown in the second drawing of FIG. 8A.
  • the VR content is reproduced identically in the HMD 100 worn by the HMD 100 and the 'TOM' according to the embodiment of the present invention, and the image displayed on the display area 810 It may be the same image as the image displayed in the HMD of the 'TOM'.
  • connection request received from the other user may be connected to the HMD worn by the other user.
  • 8B shows an example of such a case.
  • notification information 850 is displayed on the display unit 151 to notify the user when there is a connection request received from another user. It is showing an example.
  • the notification information 850 may display information 'TOM' about the user who sent the connection request, and whether the user accepts the connection request or not. At least one graphic object for selection may be included.
  • the controller 180 may detect a user input related to whether to accept the connection request.
  • the user's input may be an input of a specific key or a gesture of a specific user detected through the user input unit 132.
  • the controller 180 may detect this as an acceptance of the connection request.
  • the user snaps the hand holding the controller in the right direction it may be detected as a rejection of the connection request.
  • 8B illustrates an example in which the controller 180 detects the user's input as an acceptance of the connection request.
  • the controller 180 may perform a wireless connection with the HMD of another connected user.
  • Information related to the image of the VR content displayed on the other HMD may be received from another connected HMD.
  • the image of one region of the VR content corresponding to the received image related information may be displayed on the display region corresponding to the other HMD as shown in the second drawing of FIG. 8B.
  • control unit 180 of the HMD 100 has been described with reference to receiving only image related information from another HMD connected to the example, but like the other HMD, the HMD 100
  • information related to the image displayed through the display unit 151 may be transmitted to another connected HMD.
  • FIG. 9 is a diagram illustrating examples of displaying images displayed on HMDs of a plurality of different users in the HMD 100 according to an exemplary embodiment of the present invention.
  • the controller 180 of the HMD 100 may display an image of a virtual space included in the currently played VR content. That is, the controller 180 may display, on the display unit 151, an image of one region corresponding to the front direction of the HMD 100 detected by the sensing unit 140 among the images of the virtual space.
  • the controller 180 may be connected with at least one other HMD based on a request of a user or a request received from a user of another HMD.
  • information related to the virtual space image currently displayed on each HMD may be received from the connected HMD, and the images corresponding to the received image related information may be displayed on the display unit 151.
  • FIG. 9A illustrates an example in which images displayed on a plurality of different HMDs connected to the HMD 100 are displayed on the display unit 151 of the HMD 100 according to an exemplary embodiment of the present invention. It is.
  • the controller 180 of the HMD 100 may display display regions 910, 912, 914, corresponding to the number of each HMD currently connected. 916 may be generated. In this case, the controller 180 may determine the size of each display area according to the number of the display areas. Alternatively, the size of each display area may be determined according to the preset size.
  • the controller 180 may display an image corresponding to the image currently displayed on the HMD in the display area corresponding to each HMD. Accordingly, as shown in FIG. 9A, images displayed by the plurality of HMDs connected to the HMD 100 are displayed on the display unit 151 of the HMD 100 according to an exemplary embodiment of the present invention. Can be.
  • the controller 180 of the HMD 100 may not only receive image related information from another connected HMD, but also display the image currently displayed on the other display HMD.
  • the image related information transmitted as described above may include information about a direction in which the front surface of the HMD 100 is detected as a result of sensing by the sensing unit 140, for example, information such as a view angle in a horizontal or vertical direction. Can be.
  • another HMD that receives the image related information transmitted from the HMD 100 according to an embodiment of the present invention also displays an image corresponding to the image displayed on the display unit 151 based on the received image related information. Can be created and displayed. Therefore, the present invention allows users wearing a plurality of HMDs that play the same content to share the images they are viewing with each other. Accordingly, the present invention allows the users to have a sense of space as if they are experiencing the same virtual space through the same content.
  • the controller 180 of the HMD 100 has mentioned that the user may arbitrarily group or automatically group the display areas corresponding to the respective HMDs.
  • FIG. 9B shows an example in which the display areas are grouped as described above.
  • the controller 180 may receive a selection of a specific group corresponding to the HMD when the other HMD is connected. Then, the controller 180 can set a display area corresponding to the HMD at a position corresponding to the selected specific group. For example, when another HMD is connected, the controller 180 can receive the HMD selected from either the first group or the second group, and is formed adjacent to the left edge of the display unit 151 according to the group selected by the user. A display area corresponding to the HMD may be generated in an area of one group or an area of a second group formed adjacent to a right edge on the display unit 151.
  • the controller 180 may automatically group each display area according to a preset criterion.
  • the preset criterion may be coordinate information on a virtual space corresponding to an image currently displayed on the display unit 151. That is, the controller 180 can group images corresponding to image related information received from another HMD based on the coordinates of the image currently viewed by the user. 9 (b) shows such an example.
  • the reference display area 950 corresponding to the image that is the grouping reference, that is, the image currently displayed on the display unit 151 may be displayed on the display unit 151. Then, the controller 180 may compare the view angle of the image displayed on the reference display area 950 with the image related information received from another HMD, that is, the view angle.
  • the controller 180 is a direction toward the front of the HMD 100 sensed by the current sensing unit 140, that is, a vertical component of the view angle (view angle information in the vertical direction) and image related information received from another HMD.
  • a vertical component of the view angle view angle information in the vertical direction
  • image related information received from another HMD By comparing the vertical components of the view angles included in the image, information related to the image received from the HMD in a direction higher than that in which the front side of the HMD 100 faces, and a direction lower than the direction in which the front side of the HMD 100 faces.
  • Image-related information received from the HMD may be distinguished.
  • the HMD facing the higher direction and the HMD facing the lower direction may be divided into different groups.
  • the controller 180 controls the HMD facing the higher direction. May be formed as a first group, and the HMD facing in the lower direction may be formed as a second group.
  • the first group is formed on the left side of one region on the display unit 151 on which the reference display region 950 is displayed, an image corresponding to image related information received from the HMD facing the higher direction (third group)
  • An image 914 may be displayed on the left side of the reference display area 950.
  • the images (first image: 910, second image: 912, fourth image: 914) corresponding to image-related information received from the lower-direction HMDs are right of the reference display area 950. Can be marked on.
  • the position where the image is displayed may be determined according to a result of comparing the view angle information.
  • FIG. 10 is a diagram illustrating other examples in which images displayed on HMDs of a plurality of different users are displayed in the HMD according to an embodiment of the present invention.
  • FIG. 10A illustrates an example in which the other part of the display unit 151 is blackened in the HMD 100 according to an exemplary embodiment of the present invention except for the display area.
  • the blackout process may mean a process of displaying a predetermined area on the display unit 151 in a predetermined color (for example, black).
  • the controller 180 blurs other portions of the display unit 151 except for the region where the display regions 910, 912, 914, and 916 are displayed. It can also be processed. In this case, other regions on the display unit 151 except for the display regions 910, 912, 914, and 916 may be blurred and difficult to identify due to the blurring process.
  • FIG. 11 illustrates an image of a virtual space according to a user's selection in the HMD 100 according to an embodiment of the present invention, when the VR content includes a plurality of virtual space images as described in the second embodiment of the present invention.
  • This is an exemplary view showing an example displayed.
  • any one of the virtual space images 1100 is formed from a VR content including a plurality of virtual space images through the display unit 151.
  • the example shown is shown.
  • the controller 180 can obtain the structure information of the virtual spaces constituting the VR content from the information related to the VR content, and is displayed on the current display unit 151 using the obtained structure information.
  • the virtual space corresponding to the image may be displayed separately. As shown in the first drawing of FIG. 11, this may be displayed as map information 1120.
  • the map information 120 may include information about the virtual spaces 1122, 1124, and 1126 constituting the VR content.
  • the controller 180 may indicate that the user is located in the first virtual space 1122.
  • a graphic object 'ME' may be displayed on the map information.
  • the map information may display not only the location information of the user but also the location of the virtual space corresponding to the user of another currently connected HMD. That is, when another HMD that plays the same VR content is connected, the controller 180 can obtain image related information about an image displayed on the HMD as described above.
  • the image related information may include information of a virtual space corresponding to the image displayed in each HMD, and the controller 180 may determine the location of the virtual space corresponding to the user of each HMD based on the information of the virtual space. I can display it.
  • the image corresponding to the image related information may not be displayed as many as the user selects.
  • the location of the user of each HMD may be displayed by a name set by each user. That is, when a user of other HMDs is registered as a TOM or Jane, and the HMD worn by the TOM is located in the second virtual space 1124, the controller 180 controls the second virtual space 1124 in the map information 1120.
  • the graphic object 'TOM' may be displayed to indicate that the TOM is located at one point of the). In this manner, a graphic object for indicating that Jane is located may be displayed at a point in the virtual space where the HMD worn by Jane is located.
  • the user may select a specific virtual space.
  • the selection of the virtual space may be made through the map information 1120.
  • the controller 180 displays one virtual space image corresponding to the selected object. It may be displayed on the unit 151. That is, when the user selects a point on the map information 1120 corresponding to the third virtual space 1126, the controller 180 may display the third virtual space as shown in the second drawing of FIG. 11.
  • the image 1150 may be displayed on the display unit 151.
  • an avatar corresponding to the user may be displayed on the display unit 151. That is, as shown in the second drawing of FIG. 11, when the user moves to the third virtual space 1126, the controller 180 is another user who is previously located in the third virtual space 1126, that is, Jane. The avatar corresponding to may also be displayed on the display unit 151.
  • FIG. 12 is an exemplary view illustrating an example in which the HMD displays an AR image, as described in the third embodiment of the present invention.
  • the first drawing of FIG. 12 is a communication device 1210 that recognizes when a user is viewing a specific exhibit 1200 according to a third embodiment of the present invention. Shows an example of transmitting information related to an exhibit that the user is auditing. For example, when it is detected that the user stays for a predetermined time or more within a predetermined distance from the exhibit 1200, the communication device 1210 may determine that the user is viewing the exhibit 1200. Various information related to the exhibit 1200 may be transmitted to the HMD 100.
  • the HMD 100 may display an image of the front surface of the HMD 100 sensed by a camera on the display unit 151. Accordingly, even if the HMD 100 blocks the user's field of view, the user can identify the front object through the image displayed on the display unit 151.
  • the controller 180 displays the image 1250 of the exhibit 1200 on the display unit 151 when the user looks at the direction in which the specific exhibit 1200 is located. Can be marked on.
  • the controller 180 may receive information transmitted from the communication device 1210, and the received information is information related to the exhibit 1250 currently displayed on the display unit 151. It can be displayed on. That is, the information received from the communication device 1210 may be displayed on the display unit 151 in the form of AR information 1260.
  • FIG. 13 illustrates an example in which an AR image displayed in another user's HMD is displayed when the HMD displays an AR image according to an embodiment of the present invention.
  • the controller 180 of the HMD 100 displays an image 1312 that is sensed from a direction toward which the front surface of the HMD 100 faces. ) Can be displayed.
  • the sensed image includes the image 1314 of a specific exhibit
  • the AR information 1316 corresponding to the exhibit may be displayed on the display unit 151.
  • the controller 180 may display information related to the location of another HMD connected to the HMD 100 through the map information 1300.
  • the map information 1300 may include information about exhibition spaces constituting the exhibition hall in which the current user is located, and may separately display the exhibition space 1310 corresponding to the current location of the user.
  • the location of the user may be identified by the communication device that transmitted the AR information.
  • the exhibition space 1320 in which another user is located may be displayed on the map information 1300 to be distinguished.
  • the HMD of another user may be previously connected to the HMD 100 according to an embodiment of the present invention.
  • the controller 180 may display an image displayed on the HMD of the other user on the display unit 151 according to a user's request or a request received from the other user. . That is, the controller 180 can receive an image sensed by the camera of the HMD of another connected user, and as shown in the first drawing of FIG. 13, the display area (1) generated in one area on the display unit 151 ( The received image may be displayed through 1350.
  • the display area 1350 may display not only an image sensed by the camera of the HMD of another user, but also an AR object 1352 corresponding to AR information received by the HMD of the other user.
  • the controller 180 may sense a user input applied to the AR object 1352.
  • the user's input may be input of a predetermined key or a voice command of the user.
  • the user's input may be applied according to a preset gesture of the head of the user or a gesture of a hand holding the controller provided with the user input unit 132.
  • the controller 180 may request information about the AR object 1352 from the HMD of the other user. Then, the HMD of the other user may receive information corresponding to the received request and transmit the received information to the HMD 100. Then, as shown in the second drawing of FIG. 13, the controller 180 generates AR information 1360 from the information received from the HMD of the other user, and displays the generated AR information 1360. It can be displayed on. Accordingly, the present invention may be applied to an exhibition of the particular exhibition or another exhibition space through the connected user's HMD, even if the user is not located around the specific exhibition or exhibited in another exhibition space where the user is located. Relevant AR information can be collected and stored.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include a controller 180 of the HMD 100.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

같은 가상공간 영상을 재생하는 복수의 제2 HMD(Head Mounted Display) 중 적어도 하나와 연결되는 HMD에 있어서, 상기 적어도 하나의 제2 HMD와 무선 연결을 수행하는 통신부와, 상기 HMD의 전면이 향하는 방향을 센싱하기 위한 센싱부와, 상기 가상공간 영상 중, 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부와, 상기 HMD와 연결된 적어도 하나의 제2 HMD 각각에서 표시되는 상기 가상공간 영상 중 일부에 대응되는 영상들을, 상기 디스플레이부 상의 서로 다른 영역에 표시하는 제어부를 포함하며, 상기 제어부는, 상기 적어도 하나의 제2 HMD로부터 수신되는 정보에 근거하여 상기 적어도 하나의 제2 HMD를 착용한 착용자 각각의 두부 움직임을 감지하고, 감지된 각 착용자의 두부 움직임에 대응되는 상기 가상공간 영상 중 일부에 대응되는 영상들을 상기 디스플레이부 상의 서로 다른 영역에 표시하는 것을 특징으로 한다.

Description

HMD 및 그 HMD의 제어 방법
본 발명은 HMD 및 그 HMD의 제어 방법에 관한 것이다.
최근 사람의 신체 일부에 장착가능 하도록 형성되는 웨어러블(wearable-type) 글래스타입 단말기가 개발되고 있다. 그리고 사용자의 두부에 장착되는 글래스타입(glass-type) 단말기는 헤드 마운티드 디스플레이(HMD)에 해당될 수 있다.
헤드 마운티드 디스플레이(Head Mounted Display : HMD)란, 사용자의 두부에 착용되며, 사용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치를 말하는 것으로, 사용자가 TV나 또는 화면보다 더 거대한 영상으로 사용자가 영상 컨텐츠를 즐길 수 있도록 하거나, 또는 가상공간 화면을 표시하여 사용자가 가상공간 체험을 즐길 수 있도록 할 수도 있다.
예를 들어 상기 가상공간 체험은 기 저장된 특정 형태의 영상 컨텐츠의 재생으로 이루어질 수도 있다. 일 예로 상기 특정 형태의 영상 컨텐츠는(이하 가상 현실(VR : Virtual Reality) 컨텐츠), 일정 시간동안 360도 전방향 또는 180도의 화각으로 촬영된 정지 영상 또는 동영상 컨텐츠일 수 있다. 이러한 경우 HMD는 상기 360도 전방향 또는 180도 화각의 영상 중, 사용자의 두부가 향하는 방향의 영상을 출력할 수 있으며, 사용자의 두부가 회전되는 경우 회전된 방향에 따라 상기 영상 컨텐츠 중 다른 영역의 영상을 출력할 수 있다.
한편 HMD는 그 이름에서 알 수 있듯이, 일반적으로 사용자의 두부에 착용되는 형태를 가진다. 이에 따라 상기 HMD를 통해 출력되는 VR컨텐츠는 단지 HMD를 착용하고 있는 사용자 1인에게만 제공될 수 있을 뿐, 사용자가 시청하고 있는 가상공간을 다른 사용자가 공유할 수 없다. 이에 따라 복수의 사용자가 동일한 VR컨텐츠를 시청한다고 하더라도, 상기 복수의 사용자는 각각 별개로 각각의 가상공간을 체험할 수 있을 뿐, 복수의 사용자가 함께 같은 가상공간을 체험하는 것과 같은 공간감을 제공할 수 없다는 문제가 있다.
본 발명은 전술한 문제를 해결하기 위한 것으로, 동일한 VR컨텐츠를 시청하는 복수의 사용자가, 동일한 가상공간을 상기 복수의 사용자가 함께 체험하는 것과 같은 공간감을 제공할 수 있도록 하는 HMD 및 그 HMD의 제어 방법을 제공하는 것이다.
본 발명의 다른 목적은, 동일한 VR컨텐츠를 시청하는 복수의 사용자가, 자신이 시청하고 있는 영상을 서로 간에 공유할 수 있도록 하는 HMD 및 그 HMD의 제어 방법을 제공하는 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은, 같은 가상공간 영상을 재생하는 복수의 제2HMD(Head Mounted Display) 중 적어도 하나와 연결되는 HMD에 있어서, 상기 적어도 하나의 제2HMD와 무선 연결을 수행하는 통신부와, 상기 HMD의 전면이 향하는 방향을 센싱하기 위한 센싱부와, 상기 가상공간 영상 중, 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부와, 상기 HMD와 연결된 적어도 하나의 제2HMD 각각에서 표시되는 상기 가상공간 영상 중 일부에 대응되는 영상들을, 상기 디스플레이부 상의 서로 다른 영역에 표시하는 제어부를 포함하며, 상기 제어부는, 상기 적어도 하나의 제2HMD로부터 수신되는 정보에 근거하여 상기 적어도 하나의 제2HMD를 착용한 착용자 각각의 두부 움직임을 감지하고, 감지된 각 착용자의 두부 움직임에 대응되는 상기 가상공간 영상 중 일부에 대응되는 영상들을 상기 디스플레이부 상의 서로 다른 영역에 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 적어도 하나의 제2HMD 각각에서 표시되는 영상에 대응되는 영상들을, 상기 디스플레이부 상에 서로 다른 영역에 형성된 적어도 하나의 표시 영역에 각각 표시하며, 기설정된 그래픽 객체 또는 그래픽 처리를 통해, 상기 디스플레이부 상에서 상기 표시 영역 내부의 영상이 구분되게 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 표시 영역 내부를 제외한 상기 디스플레이부 상의 다른 영역을 기설정된 색상으로 표시하거나 또는 상기 디스플레이부 상의 다른 영역을 기설정된 수준 이상 불투명하게 하거나 흐리게 표시하여 상기 표시 영역 내부의 영상이 구분되게 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 표시 영역 중 어느 하나에 대한 사용자의 선택이 있는 경우, 선택된 표시 영역에 표시되는 영상을 상기 디스플레이부 화면 전체를 통해 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 사용자의 선택 또는 기설정된 기준에 따라 상기 적어도 하나의 표시 영역을 적어도 하나의 그룹으로 그룹화하고, 서로 같은 그룹에 포함되는 표시 영역들은 서로 인접하게 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 HMD와 연결된 적어도 하나의 제2HMD를 사용자의 선택에 따라 적어도 하나의 그룹으로 그룹화하고, 상기 적어도 하나의 제2HMD가 그룹화된 결과에 따라, 상기 적어도하나의 제2HMD에 각각 대응되는 표시 영역의 위치를 결정하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 제2HMD 중 적어도 하나에 대한 사용자의 연결 요청이 있는 경우 또는 상기 제2HMD 중 적어도 하나로부터 수신되는 연결 요청에 근거하여 상기 제2HMD 중 적어도 하나와 연결을 수행하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 HMD가 음성 인식 모드로 동작하는 경우, 상기 복수의 제2HMD를 착용한 착용자들 중 사용자의 음성 신호를 인식한 결과에 대응되는 특정 착용자를 검출하며, 검출된 착용자의 HMD와 연결을 수행하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은, 동일한 VR(Virtual Reality) 컨텐츠를 재생하며, 상기 VR컨텐츠를 구성하는 복수의 가상공간 영상 중 어느 하나를 표시하는 복수의 제2HMD(Head Mounted Display) 중, 적어도 하나와 연결되는 HMD에 있어서, 상기 적어도 하나의 제2HMD와 무선 연결을 수행하는 통신부와, 상기 HMD의 전면이 향하는 방향을 센싱하기 위한 센싱부와, 상기 VR컨텐츠를 구성하는 가상공간 영상 중, 사용자로부터 선택된 어느 하나의 가상공간 영상으로부터 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부, 및, 상기 HMD와 연결된 적어도 하나의 제2HMD 각각에서 표시되는 가상공간 영상 중 일부에 대응되는 영상들을, 상기 디스플레이부 상의 서로 다른 영역에 표시하는 제어부를 포함하며, 상기 제어부는, 상기 적어도 하나의 제2HMD 각각으로부터, 상기 제2HMD에서 표시되는 가상공간 영상에 대한 정보 및, 상기 제2HMD를 착용한 착용자의 두부 움직임을 감지한 결과를 수신하며, 상기 VR컨텐츠를 구성하는 가상공간 영상들 중, 상기 각각의 제2HMD로부터 수신된 정보들에 각각 대응되는 가상공간 영상들로부터, 상기 적어도 하나의 제2HMD 착용자 각각의 두부 움직임에 대응되는 일 영역의 영상을 추출하고, 추출된 영상을 상기 디스플레이부 상에 형성된 적어도 하나의 표시 영역에 각각 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 VR컨텐츠는, 상기 복수의 가상공간 영상 각각에 대응되는 가상공간들 사이의 연관관계를 나타내는 구조 정보를 더 포함하고, 상기 제어부는, 상기 구조 정보에 따라 상기 VR컨텐츠를 구성하는 각 가상공간들을 맵정보의 형태로 상기 디스플레이부 상의 일 영역에 표시하며, 상기 맵정보 상에, 상기 디스플레이부 상에 현재 표시되는 가상공간 영상에 대응되는 특정 가상공간을 상기 HMD의 사용자가 위치하고 있는 가상공간으로 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 적어도 하나의 제2HMD 각각으로부터 수신된 상기 제2HMD에서 표시되는 가상공간 영상에 대한 정보에 근거하여, 상기 맵정보 상에, 상기 제2HMD 각각의 착용자가 위치하는 가상공간을 구분되게 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 맵정보 상에 표시되는 각 가상공간들 중 어느 하나가 선택되면, 선택된 가상공간의 영상 중 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 HMD 및 상기 HMD와 연결되는 적어도 하나의 제2HMD는, 특정 가상공간 영상을 선택할 수 있는지 그렇지 않은지 여부에 따라 마스터(master) HMD와 슬레이브(slave) HMD로 구분되며, 상기 제어부는, 상기 HMD가 상기 마스터 HMD로 설정되면, 사용자로부터 선택된 특정 가상공간 영상의 일 영역을 상기 디스플레이부 상에 표시 및, 상기 적어도 하나의 제2HMD가 상기 선택된 가상공간 영상의 일부를 표시하도록 상기 적어도 하나의 제2HMD를 제어하며, 상기 HMD가 상기 슬레이브 HMD로 설정되면, 상기 적어도 하나의 제2HMD 중 상기 마스터 HMD로 설정된 HMD의 제어에 따른 특정 가상공간 영상 중, 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명은, 같은 AR(augmented) 관련 컨텐츠가 구동되는 복수의 제2HMD(Head Mounted Display) 중 적어도 하나와 연결되는 HMD에 있어서, 상기 적어도 하나의 제2HMD와 무선 연결을 수행 및, 주변의 기설정된 통신 장치로부터 상기 AR관련정보를 수신하는 통신부와, 상기 HMD의 전면이 향하는 방향의 영상을 센싱하는 카메라부와, 상기 카메라부에서 센싱된 영상 및, 상기 영상에 대응되는 AR관련정보를 표시하는 디스플레이부, 및, 상기 HMD와 연결된 적어도 하나의 제2HMD 각각의 카메라부에서 센싱되는 영상 및 상기 적어도 하나의 제2HMD 각각에서 수신되는 AR정보를 상기 디스플레이부 상의 일부에 표시하는 제어부를 포함하며, 상기 AR관련컨텐츠는, 상기 HMD 및 상기 적어도 하나의 제2HMD가 위치한 적어도 하나의 장소들을 포함하는 복수의 장소에 대한 맵정보를 더 포함하며, 상기 제어부는, 상기 맵정보 상에 포함된 복수의 장소 중, 상기 HMD 및 상기 HMD와 연결되는 적어도 하나의 제2HMD들의 위치에 대응되는 특정 장소를, 다른 장소와 구분되게 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부 상의 일부에 표시되는 AR정보에 대한 사용자의 선택이 있는 경우, 선택된 AR정보를 전송한 어느 하나의 제2HMD를 통해 상기 선택된 AR정보에 대응되는 정보를 수신하고 수신된 정보를 표시하는 것을 특징으로 한다.
본 발명에 따른 HMD 및 HMD 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 서버로부터 제공되는 동일한 VR컨텐츠가 복수의 사용자가 착용하고 있는 HMD에 재생되는 경우, 다른 사용자의 HMD에 표시되는 영상이 디스플레이부 상의 적어도 일부에 표시되도록 함으로써, 상기 복수의 사용자가 동일한 가상공간을 함께 체험하는 것과 같은 공간감이 제공될 수 있도록 한다.
도 1a는 본 발명의 실시 예에 따른 HMD의 구성을 설명하기 위한 블록도이다.
도 1b는 본 발명의 실시 예에 따른 HMD의 일 예를 도시한 예시도이다.
도 1c는 본 발명의 실시 예에 따른 복수의 HMD가, 서버로부터 제공되는 동일한 VR컨텐츠를 재생 및, 서로 연결된 예를 도시한 예시도이다.
도 2a 및 2b는 본 발명의 실시 예에 따른 복수의 HMD에서, 각 사용자의 두부가 향하는 방향에 따라 VR컨텐츠의 서로 다른 영역의 영상들이 표시되는 예를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시 예에 따른 HMD의 동작 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 HMD에서 다른 사용자의 HMD로부터 수신되는 정보에 따른 영상을 생성하는 동작 과정을 도시한 흐름도이다.
도 5a는 본 발명의 제2 실시 예에 따라, 복수의 영상으로 이루어지는 VR컨텐츠가 재생되는 경우에, 상기 도 3에서 VR컨텐츠를 재생하는 동작 과정을 도시한 흐름도이다.
도 5b는 본 발명의 제2 실시 예에 따라 다른 사용자의 HMD로부터 수신되는 정보에 따른 영상을 생성하는 동작 과정을 도시한 흐름도이다.
도 5c는 본 발명의 제2 실시 예에서, 사용자의 HMD에서 표시되는 영상에 대응되는 가상공간에 근거하여, 상기 HMD 사용자의 위치를 표시하는 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 제3 실시 예에 따른 HMD에서 증강현실(Augmented Reality) 영상을 표시하는 경우의 동작 과정을 도시한 흐름도이다.
도 7은 상기 도 6의 과정들 중, 다른 사용자의 HMD로부터 수신된 영상 정보에 대응되는 영상을 생성하는 동작 과정을 도시한 흐름도이다.
도 8a 및 도 8b는 본 발명의 실시 예에 따른 HMD에서 사용자의 선택 또는 다른 사용자의 요청에 따라, 상기 다른 사용자의 HMD에서 표시되는 영상이 디스플레이부 상에 표시되는 예를 도시한 예시도들이다.
도 9는 본 발명의 실시 예에 따른 HMD에서, 복수의 다른 사용자의 HMD에 표시되는 영상들이 표시되는 예들을 도시한 예시도들이다.
도 10은 본 발명의 실시 예에 따른 HMD에서, 복수의 다른 사용자의 HMD에 표시되는 영상들이 표시되는 다른 예들을 도시한 예시도들이다.
도 11은 본 발명의 실시 예에 따라 재생되는 VR컨텐츠가 복수의 가상공간 영상으로 이루어지는 경우에, 본 발명의 실시 예에 따른 HMD에서 사용자의 선택에 따른 가상공간의 영상이 표시되는 예를 도시한 예시도이다.
도 12는 본 발명의 실시 예에 따른 HMD가, AR 영상을 표시하는 경우의 예를 도시한 예시도이다.
도 13은 본 발명의 실시 예에 따른 HMD가 AR 영상을 표시하는 경우에, 사용자의 선택에 따른 다른 사용자의 HMD에서 표시되는 AR 영상이 표시되는 예를 도시한 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 이러한 본 발명과 관련된 HMD(100)를 설명하기 위한 블록도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 에에 따른 HMD(100)는 무선 통신부(110), 카메라부(120), 입력부(130), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 2a에 도시된 구성요소들은 본 발명의 실시 예에 따른 HMD(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 HMD(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로 상기 구성요소들 중, 무선 통신부(110)는, HMD(100)와 각종 주변 기기 사이, 예를 들어 기설정된 컨트롤러 기기 또는 다른 HMD나 외부 서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한 HMD(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
그리고 카메라부(120)는 영상 정보의 입력을 위하여 적어도 하나의 카메라를 구비할 수 있다. 상기 카메라부(120)는 이미지 센서에 의해 얻어지는 화상 정보를 다른 응용 프로그램 또는 다른 기능을 위한 입력으로 처리할 수 있다. 그리고 처리된 화상 정보는 HMD(100)의 디스플레이부(151) 상에 표시되거나 메모리(170)에 저장될 수 있다.
한편 입력부(130)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 오디오 신호 입력을 위한 마이크로폰(microphone, 131), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(132, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 여기서 상기 사용자 입력부(132)는 HMD(100)에 대한 사용자의 입력을 인가받기 위해, 상기 HMD(100)와 연결될 수 있는 별도의 기기, 즉, 컨트롤러에 형성되는 것일 수도 있다. 이러한 경우 상기 컨트롤러를 통해 감지되는 다양한 입력은, 상기 HMD(100)에 대한 사용자의 입력으로 인가될 수 있다.
한편 상기 컨트롤러를 통해 인가되는 사용자의 입력은 다양할 수 있다. 예를 들어 상기 사용자의 입력은 상기 컨트롤러에 포함된 적어도 하나의 키로부터 인가되는 것일 수 있다. 또는 상기 컨트롤러를 통해 감지되는 사용자의 다양한 제스처가 상기 사용자의 입력으로 인가될 수 있다. 이를 위해 상기 컨트롤러는 사용자가 컨트롤러를 파지한 상태로 취하는 다양한 제스처를 식별할 수 있도록 가속도 센서나 자이로스코프와 같은 하나 이상의 센서를 별도로 구비할 수 있다.
한편 상술한 특정 키의 입력과 특정 제스처의 조합이 특정 사용자의 입력으로 인가될 수도 있다. 예를 들어 제어부(180)는 사용자가 상기 컨트롤러에 구비된 특정 키를 입력하고 있는 상태에서, 또는 스와이프(swipe) 입력과 같은 기설정된 드래그 입력을 인가한 상태에서, 사용자의 손목 스냅에 따라 기설정된 각도 이상 특정 방향으로 상기 컨트롤러가 이동되는 경우, 이러한 사용자의 입력을 상기 HMD(100)의 기능과 관련된 사용자의 기설정된 입력이라고 판단할 수도 있다. 즉, 이러한 사용자의 제스처가 감지되는 경우 제어부(180)는 상기 제스처에 대한 응답으로, HMD(100)의 다양한 기능, 예를 들어 VR컨텐츠의 재생과 관련된 메뉴를 HMD(100)의 디스플레이부(151) 상에 표시할 수도 있다.
한편 센싱부(140)는 상기 HMD(100)를 착용한 사용자의 두부 움직임을 감지하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 가속도 센서(141), 자이로 센서(142)를 포함할 수 있다. 여기서 가속도 센서(141) 및 자이로 센서(142)는 사용자의 두부 움직임에 따른 가속도 및 각속도를 감지할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151) 및 음향 출력부(152)를 포함할 수 있다. 디스플레이부(151)는 사용자에게 보다 큰 크기의 영상을 제공할 수 있도록, 사용자가 HMD(100)를 착용하였을 때에 사용자의 양안에 대응되는 위치에 설치될 수 있다. 또한 음향 출력부(152)는 재생되는 컨텐츠에 관련된 음향 신호가 전달될 수 있도록, 사용자가 HMD(100)를 착용하였을 때에 사용자의 양쪽 귀에 밀착될 수 있는 헤드폰(headphone)의 형태로 형성될 수 있다. 또한 출력부(150)는 비록 도시되지 않았으나 햅틱 모듈을 구비할 수 있으며, 상기 햅틱 모듈을 통해 사용자에게 현재 재생 중인 컨텐츠에 관련된 진동을 발생시킴으로서, 사용자가 보다 현실감있게 가상현실 컨텐츠를 시청하도록 할 수 있다.
한편 인터페이스부(160)는 HMD(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port) 등의 다양한 포트들 중 적어도 하나를 포함할 수 있다. 예를 들어 상기 인터페이스부(160)는 기설정된 컨트롤러 기기와 유선 또는 무선으로 연결되는 경우, 상기 HMD(100)와 컨트롤러 기기 사이에 다양한 데이터 및 정보들이 교환되는 통로 역할을 수행할 수 있다.
또한, 메모리(170)는 HMD(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 HMD(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), HMD(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, HMD(100)의 기본적인 기능(예를 들어, VR컨텐츠의 재생 및 재생되는 VR컨텐츠의 영상 신호 및 음향 신호의 출력 등)을 위하여 출고 당시부터 HMD(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, HMD(100) 상에 설치되어, 제어부(180)에 의하여 상기 HMD(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
한편 제어부(180)는 특정 응용 프로그램과 관련된 동작 외에도, 통상적으로 HMD(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공하거나 처리할 수 있다.
또한 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1에서 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, HMD(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원 공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 HMD(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
한편 도 1b는 본 발명의 실시 예에 따른 HMD(100)의 예를 도시한 것이다.
도 1b를 참조하여 살펴보면, 도 1b는 본 발명의 실시 예에 따른 HMD를 착용한 사용자의 예를 보이고 있는 것이다. 도 1b에서 보이고 있는 바와 같이 사용자가 HMD(100)를 착용하는 경우, 제어부(180)는 센싱부(140)에 구비된 센서들의 감지값에 근거하여, 상기 HMD(100)를 착용한 사용자의 두부 전면이 향하는 방향(102)을 식별할 수 있다. 그리고 VR컨텐츠가 재생되는 경우, 상기 재생되는 VR컨텐츠의 가상공간 영상으로부터, 상기 식별된 전면 방향(102)에 대응되는 일 영역의 영상이 디스플레이부(151) 상에 표시되도록 할 수 있다.
여기서 상기 재생되는 VR컨텐츠는, 상기 HMD(100)에 재생되거나 또는 상기 HMD(100)에 연결된 외부 서버로부터 제공되는 것일 수 있다. 그리고 VR컨텐츠가 연결된 특정 외부 서버로부터 제공되는 것일 경우, 상기 외부 서버는 복수의 HMD에 동일한 VR컨텐츠를 제공할 수 있으며, 상기 복수의 HMD에서 동일한 VR컨텐츠가 재생되도록 할 수도 있다. 이하의 설명에서는 복수의 HMD가 기설정된 외부 서버로부터 동일한 VR컨텐츠를 제공받아 재생하는 경우의 예를 예로 들어 설명하기로 한다.
도 1c는 이처럼 본 발명의 실시 예에 따른 복수의 HMD(100)가, 서버로부터 제공되는 동일한 VR컨텐츠를 재생 및, 서로 연결된 예를 도시한 예시도이다.
도 1c를 참조하여 살펴보면, 도 1c는 본 발명의 실시 예에 따른 복수의 HMD가 각각 외부 서버(200)에 각각 연결될 수 있다. 그리고 외부 서버(200)는 연결된 HMD들 각각의 사용자로부터 요청되는 VR컨텐츠를 제공할 수 있다. 이러한 경우 동일한 VR컨텐츠를 제공받은 HMD들은 동일한 가상공간의 영상을 재생할 수 있다.
한편 이처럼 상기 동일한 VR컨텐츠를 제공받는 HMD들(100a, 100b, 100c, 100d)은 도 1c에서 보이고 있는 바와 같이 서로 연결될 수 있다. 예를 들어, 상기 HMD들(100a, 100b, 100c, 100d)은 각각 다른 HMD와 직접 무선 통신을 수행하고, 그 결과에 따라 서로 연결될 수 있다. 그리고 이처럼 서로 연결되는 경우 상기 HMD들(100a, 100b, 100c, 100d)은 다양한 정보를 서로 교환할 수 있다. 예를 들어 상기 교환되는 정보는, 각 사용자로부터 입력되는 음성 정보일 수 있으며, 각 HMD에서 수신 또는 생성된 정보일 수도 있다.
그리고 HMD들(100a, 100b, 100c, 100d) 각각은 외부 서버(200)에 동일한 VR컨텐츠를 요청할 수 있다. 그리고 요청된 VR컨텐츠가 상기 외부 서버(200)로부터 수신되면, 각 HMD들(100a, 100b, 100c, 100d)은 수신된 VR컨텐츠를 재생함으로써, 동일한 가상공간의 영상을 재생 및, 재생되는 가상공간의 영상에 관련된 정보들을 연결된 다른 HMD에 전송할 수 있다.
한편 이와는 달리 상기 HMD들(100a, 100b, 100c, 100d)은, 외부 서버(200)를 경유하여 연결될 수도 있음은 물론이다. 이러한 경우 외부 서버(200)는 동일한 VR컨텐츠를 요청한 HMD들을 각각 그룹화할 수 있다. 그리고 어느 하나의 HMD의 요청에 따라 그 HMD에서 재생되는 가상공간의 영상에 관련된 정보가 수신되면, 수신된 영상을 그 HMD가 포함된 그룹의 다른 HMD에 전송할 수 있다. 이에 따라 상기 HMD들(100a, 100b, 100c, 100d)이 서로 직접적으로 연결될 수 없는 경우에도, 상기 동일한 VR컨텐츠를 제공하는 HMD들(100a, 100b, 100c, 100d)은 서로 연결될 수 있다.
한편 비록 동일한 VR컨텐츠가 재생되는 경우라고 할지라도, 각각의 HMD(100)를 통해 표시되는 영상은 서로 다를 수 있다. 일 예로 본 발명의 실시 예에 따른 복수의 HMD(100a, 100b)를 착용한 사용자들이, 각각 서로 다른 방향을 바라보는 경우 상기 HMD들(100a, 100b)의 디스플레이부(151) 상에 표시되는 영상은 서로 다를 수 있다.
도 2a 및 2b는 이처럼 본 발명의 실시 예에 따른 복수의 HMD(100a, 100b)에서, 각 사용자의 두부가 향하는 방향에 따라 동일한 VR컨텐츠의 서로 다른 영역의 영상들이 표시되는 예를 설명하기 위한 개념도이다.
먼저 도 2a는 복수의 HMD(100a, 100b) 중 제1HMD(100a)에서 사용자의 두부가 향하는 방향에 대응되는 VR컨텐츠의 일 영역의 영상이 표시되는 예를 설명하기 위한 개념도이다.
우선 도 2a의 (a)를 참조하여 살펴보면, 도 2a의 (a)는 360도 전방향 영상인 VR컨텐츠를 기준으로, 지면과 수평한 방향(이하 수평방향)에서 제1HMD(100a)의 사용자, 즉 제1사용자의 두부가 향하는 방향에 따른 뷰앵글의 예를 도시한 것이다.
도 2a의 (a)에서 보이고 있는 바와 같이 VR컨텐츠가 360도 전방향 영상(250)의 경우, 제1HMD(100a)는 상기 VR컨텐츠가 제공될 때 함께 수신된 VR컨텐츠의 정보에 따라 특정 각도의 영상을 기준각(0도)의 영상으로 설정할 수 있다. 그리고 설정된 기준각을 중심으로 제1 사용자의 두부가 향하는 방향에 따라, 제1 사용자가 시청하고 있는 영상에 대응되는 각도를 산출할 수 있다. 즉, 도 2a의 (a)에서 보이고 있는 바와 같이 제1 사용자가 VR컨텐츠를 시청하고 있는 상태라면, 제1 사용자의 시선 방향(262)에 대응되는 수평 방향의 뷰 앵글(view angle), 즉 제1 사용자의 두부 전면이 향하는 방향의 각도는 90도가 될 수 있다. 이에 따라 제1HMD(100a)는, 상기 기준각으로부터 수평 방향으로 90도에 대응되는 VR컨텐츠의 영상을 현재 제1 사용자가 시청하고 있는 것으로 판단할 수 있다.
한편 상기 도 2a의 (b)는 지면과 수직한 방향(이하 수직 방향)에서, 제1 사용자의 두부가 향하는 방향에 따른 뷰 앵글의 예를 보이고 있는 것이다. 상기 도 2a의 (b)에서 보이고 있는 VR컨텐츠의 영상(250)은 현재 제1 사용자가 시청하고 있는 영상, 즉 VR컨텐츠 중, 수평 방향으로 90도의 뷰 앵글에 대응되는 영상의 상하 방향 영상일 수 있다.
이러한 상태에서, 제1HMD(100a)는 센싱부(140)의 감지 결과를 통해, 상기 제1 사용자의 두부 전면이 향하는 수직 방향의 각도를 감지할 수 있다. 즉, 도 2a의 (b)에서 보이고 있는 바와 같이 제1 사용자가 30도 각도의 위쪽 방향을 향하는 상태라면, 제1HMD(100a)는 제1 사용자가, 수직 방향으로 상향 30도의 각도에 대응되는 영역의 영상을 시청하고 있는 것으로 판단할 수 있다. 이에 따라 제1 사용자의 수직 방향의 뷰 앵글은 +30도가 될 수 있다.
한편 도 2a의 (c)는 복수의 HMD(100a, 100b) 중 상기 제2HMD(100b)의 사용자, 즉 제2 사용자의 두부가 향하는 방향에 대응되는 VR컨텐츠의 일 영역의 영상이 표시되는 예를 설명하기 위한 개념도이다. 여기서 제1HMD(100a)와 제2HMD(100b)는, 상기 도 1c에서 보이고 있는 바와 같이 외부 서버(200)로부터 동일한 컨텐츠를 제공받아 재생하므로, 상기 제2HMD(100b)에서 재생되는 VR컨텐츠는 상기 제1HMD(100a)에서 재생되는 VR컨텐츠와 동일한 VR컨텐츠일 수 있다.
먼저 도 2a의 (c)에서 보이고 있는 바와 같이, 제2HMD(100b)는 동일한 VR컨텐츠, 즉 동일한 360도 전방향 영상(250)으로부터 상기 제2 사용자의 두부 전면이 향하는 수평 방향의 뷰 앵글을 산출할 수 있다. 상기 제1HMD(100a)의 경우와 동일하게, 제2HMD(100b) 역시, 수신된 VR컨텐츠의 정보에 따라 설정된 기준각으로부터 제2 사용자의 두부 전면이 향하는 방향에 따라, 제2 사용자가 시청하고 있는 영상에 대응되는 수평 방향의 각도를 산출할 수 있다. 따라서 도 2a의 (c)에서 보이고 있는 방향을 제2 사용자가 바라보는 경우, 제2HMD(100b)는, 상기 기준각으로부터 수평 방향으로 180도에 대응되는 VR컨텐츠의 영상을 현재 제2 사용자가 시청하고 있는 것으로 판단할 수 있다.
한편 상기 도 2a의 (d)는 수직 방향에서, 제2 사용자의 두부가 향하는 방향에 따른 뷰 앵글의 예를 보이고 있는 것이다. 상기 도 2a의 (d)에서 보이고 있는 VR컨텐츠의 영상(250)은, 현재 제2 사용자가 시청하고 있는 영상, 즉 VR컨텐츠 중, 수평 방향으로 180도의 뷰 앵글에 대응되는 영상의 상하 방향 영상일 수 있다.
이러한 상태에서, 제2HMD(100b)는, 상기 제1HMD(100a)와 동일한 방법으로 제2 사용자의 두부 전면이 향하는 수직 방향의 각도를 감지할 수 있다. 따라서 도 2a의 (d)에서 보이고 있는 바와 같이 제2HMD(100b)가 30도 각도의 아래쪽 방향을 향하는 상태라면, 제2HMD(100b)는 제2 사용자가 수직 방향으로 하향 30도의 각도에 대응되는 영역의 영상을 시청하고 있는 것으로 판단할 수 있다. 이에 따라 제2 사용자의 수직 방향의 뷰 앵글은 -30도가 될 수 있다.
한편 도 2b는 상기 도 2a에서 살펴본 제1 사용자 및 제2 사용자의 수평 방향, 수직 방향의 뷰 앵글들에 따라, 제1HMD(100a) 및 제2HMD(100b)에 표시되는 VR컨텐츠(250)의 서로 다른 일 영역의 영상들의 예를 보이고 있는 것이다.
예를 들어 상기 VR컨텐츠(250), 즉 360도 전방향의 화각으로 촬영된 영상을 수평 방향의 뷰 앵글에 따라 펼치는 경우, 상기 VR컨텐츠(250)는 도 2b의 (a)에서 보이고 있는 것과 같이 펼쳐질 수 있다. 이러한 경우 상기 도 2a의 (a) 및 (b)에서 보이고 있는 바와 같이, 수평 방향 90도, 수직 방향 +30도에 대응되는 VR컨텐츠(250)의 영역은, 도 2b의 (a)에서 보이고 있는 제1 영역(260)일 수 있다. 그리고 상기 도 2a의 (c) 및 (d)에서 보이고 있는 수평 방향 180도, 수직 방향 -30도에 대응되는 VR컨텐츠(250)의 영역은, 도 2b의 (a)에서 보이고 있는 제2 영역(270)일 수 있다. 그리고 상기 제1 영역(260) 및 제2 영역(270)은 각각 제1HMD(100a) 및 제2HMD(100b)에서 표시될 수 있다.
따라서 도 2b의 (b) 및 (c)에서 보이고 있는 바와 같이, 비록 동일한 VR컨텐츠가 복수의 HMD에서 재생되는 경우라고 할지라도, 각 사용자의 두부 전면이 향하고 있는 방향이 서로 다를 경우에는 상기 복수의 HMD의 디스플레이부 상에 표시되는 영상이 서로 달라질 수 있다.
한편 본 발명의 실시 예에 따른 HMD(100)는, 상기 도 1c에서 보이고 있는 바와 같이, 동일한 VR컨텐츠를 재생하는 적어도 하나의 HMD와 연결될 수 있다. 그리고 연결된 다른 HMD로부터 현재 디스플레이부(151) 상에 표시되는 영상에 관련된 정보를 수신할 수 있도록 한다. 그리고 사용자의 선택에 따라 연결된 다른 HMD로부터 수신된 정보에 대응되는 영상을 디스플레이부(151) 상에 표시함할 수 있다. 따라서 각 HMD의 사용자는 자신이 시청하고 있는 VR컨텐츠의 영상을, 다른 사용자와 공유함으로써 서로 같은 VR컨텐츠를 시청하고 있다는 공간감을 가질 수 있다.
이하에서는 이러한 본 발명의 실시 예에 따른 HMD(100)에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
먼저 도 3은 본 발명의 실시 예에 따른 HMD(100)에서, 서로 같은 VR컨텐츠를 재생하는 다른 사용자의 HMD로부터, 상기 다른 사용자가 시청하고 있는 영역의 영상을 표시하는 동작 과정을 도시한 흐름도이다.
도 3을 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 사용자로부터 선택된 VR컨텐츠의 영상을 재생할 수 있다(S300). 여기서 상기 VR컨텐츠는 기설정된 외부 서버로부터 적어도 하나의 다른 사용자의 HMD에 제공된 VR컨텐츠와 동일한 것일 수 있다. 한편, 이하의 설명에서는 설명의 편의상 상기 VR컨텐츠가 360도 전방향의 정지 영상 또는 동영상(이하 360도 전방향 영상)으로 구성되는 것을 예로 들어 설명하기로 한다.
상기 S300 단계에서 VR컨텐츠가 재생되면, 제어부(180)는 HMD(100)를 중심으로, 현재 재생된 VR컨텐츠의 360도 전방향 영상에 대응되는 가상공간을 형성할 수 있다. 그리고 센싱부(140)의 감지 결과에 따라, 상기 360도 전방향 영상 중, 사용자 두부 전면, 즉 사용자의 안면이 향하는 방향에 대응되는 일부의 영상을 디스플레이부(151) 상에 표시할 수 있다(S302).
이러한 상태에서 제어부(180)는, 다른 HMD(100)로부터 수신된 영상 관련 정보가 있는지 여부를 확인할 수 있다(S304). 예를 들어 제어부(180)는 사용자로부터 다른 사용자에 대한 연결 요청이 수신되는 경우, 수신된 연결 요청에 대응되는 다른 사용자와의 연결을 수행할 수 있다.
상기 S304 단계에서, 다른 사용자에 대한 연결 요청은 다양한 방법으로 수신될 수 있다. 예를 들어 제어부(180)는 사용자 입력부(132)에 구비된 특정 키의 입력을 상기 다른 사용자에 대한 연결 요청으로 인식할 수 있다. 즉 제어부(180)는 특정 키가 인식되는 경우 그 키에 대응되는 사용자의 HMD와 무선 연결을 수행할 수 있다. 한편 상기 사용자 입력부(132)가 상술한 바와 같이 별도로 구비된 컨트롤러에 형성된 경우라면, 제어부(180)는 상기 컨트롤러를 파지한 사용자의 특정 제스처에 따라 적어도 하나의 다른 사용자에 대응되는 HMD와의 연결을 수행할 수 있다.
한편, 제어부(180)는 사용자의 음성을 인식한 결과에 따라 다른 사용자에 대한 연결을 수행할 수도 있음은 물론이다. 이를 위해 제어부(180)는 사용자의 음성 정보를 인식 및, 인식된 음성 정보를 텍스트 정보로 변환할 수 있는 음성 인식 모듈(도시되지 않음)을 더 구비할 수 있다.
이러한 경우 제어부(180)는 입력부(130)에 구비된 마이크(131)를 통해 사용자의 음성 신호를 수신할 수 있다. 그리고 상기 음성 인식 모듈을 통해 상기 수신된 음성 신호를 텍스트 정보로 변환할 수 있다. 그리고 변환된 텍스트 정보를 메모리(170)에 기 저장된 정보와 비교할 수 있다.
여기서 상기 메모리(170)는 상기 HMD(100)에 연결 가능한 적어도 하나의 다른 HMD에 대한 정보를 포함할 수 있다. 그리고 상기 적어도 하나의 다른 HMD는 현재 HMD를 사용하는 사용자에 대한 정보가 텍스트 정보로 포함될 수 있다. 예를 들어 HMD를 사용하는 각 사용자들은, 자신이 사용할 HMD를 착용하기 전에 미리 사용자 등록을 수행할 수 있으며, 상기 사용자 등록 과정에 입력된 텍스트 정보가 각 HMD를 사용하는 사용자의 정보로서 저장될 수 있다. 그리고 저장된 각 사용자의 정보는, 각 HMD들의 메모리에 저장될 수 있다. 이에 따라 상기 HMD(100)의 메모리(170) 역시 다른 HMD들의 사용자들에 대응되는 텍스트 정보를 포함할 수 있다.
이에 따라 제어부(180)는 상기 사용자의 음성 신호에 대응되는 텍스트 정보와 상기 메모리(170)에 저장된 정보를 비교한 결과에 근거하여, 상기 사용자의 음성 신호에 대응되는 특정 사용자의 HMD를 식별할 수 있다. 그러면 HMD(100)의 제어부(180)는 상기 특정 사용자의 HMD에 대응되는 무선 연결 정보에 근거하여, 상기 특정 사용자의 HMD에 무선 통신을 수행할 수 있고, 그에 대한 응답으로 상기 특정 사용자의 HMD와 연결될 수 있다.
한편 상술한 설명에서는 HMD(100)의 사용자로부터 입력되는 신호에 근거하여 적어도 하나의 다른 사용자의 HMD가 연결되는 예를 설명하였으나, 이와 반대의 과정을 통해 다른 사용자의 HMD와 연결될 수도 있음은 물론이다. 즉, 상술한 과정에 근거하여 다른 HMD로부터 상기 HMD(100)에 무선 연결이 요청되면 사용자에게, 현재 다른 사용자로부터 수신된 연결 요청이 있음을 표시할 수 있다. 그리고 사용자가 상기 수신된 연결 요청에 대해 연결을 승낙하는 경우, 제어부(180)는 연결 요청을 전송한 다른 HMD와 무선 연결을 수행할 수 있다.
한편 상술한 과정에 의해 다른 사용자의 HMD(100)와 연결되면, 제어부(180)는 연결된 다른 사용자의 HMD로부터, 상기 다른 사용자의 HMD에 표시되는 영상에 관련된 정보를 수신할 수 있다. 여기서 상기 수신되는 영상 관련 정보는 현재 HMD(100)에서 재생되는 VR컨텐츠의 일 영역에 대한 정보일 수 있다. 이는 상술한 바와 같이 상기 연결된 다른 사용자의 HMD 역시, 기설정된 외부 서버로부터 제공된 동일한 VR컨텐츠를 재생하는 HMD이기 때문이다.
한편 상기 영상 관련 정보의 수신 결과에 따라 제어부(180)는 상기 S304 단계에서 다른 사용자의 HMD로부터 수신된 영상 관련 정보가 있는 것으로 판단할 수 있다. 그리고 상기 S304 단계의 판단 결과, 다른 사용자의 HMD(100)로부터 수신된 영상 관련 정보가 있는 경우, 이에 대응되는 표시 영역을 디스플레이부(151) 상의 일 영역에 설정할 수 있다(S306).
한편 상기 표시 영역은 다양한 기준에 의해 설정될 수 있다. 예를 들어 제어부(180)는 상기 표시 영역을, 디스플레이부(151) 상의 기설정된 영역에 생성할 수 있다. 또는 상기 표시 영역을, 사용자의 시선 방향에 대응되는 디스플레이부(151) 상의 일 지점을 중심으로 생성할 수도 있다.
예를 들어 상기 카메라부(120)는 상기 HMD(100) 내에서 사용자의 동공 영상을 촬영하기 위한 내부 카메라를 포함할 수 있다. 이러한 경우 제어부(180)는 상기 내부 카메라를 통해 센싱되는 사용자의 양안 영상으로부터, 각 사용자의 동공 중심의 위치를 검출할 수 있다. 그리고 검출된 사용자의 동공 중심 위치에 근거하여 사용자의 시선에 대응되는 디스플레이부(151) 상의 일 지점을 산출할 수도 있다. 예를 들어 제어부(180)는 기 저장된 안구 모델링 데이터에 근거하여 상기 양안 영상으로부터 양안의 안구 중심 위치를 산출할 수 있으며, 산출된 안구 중심 위치와 상기 동공 중심 위치 사이의 이격 거리에 근거하여 사용자가 응시하고 있는 디스플레이부(151) 상의 일 지점을 산출할 수 있다. 그리고 산출된 일 지점에 상기 표시 영역을 형성할 수도 있다.
한편, 상기 표시 영역의 크기 역시 다양한 기준에 따라 결정될 수 있다. 예를 들어 상기 표시 영역의 크기는 사용자가 미리 설정한 크기에 따라 결정될 수 있다. 또는 상기 표시 영역의 크기는, 디스플레이부(151) 상에 표시되는 표시 영역의 개수에 따라 결정될 수도 있다. 즉, 디스플레이부(151) 상에 기설정된 표시 영역이 있는 경우, 그 표시 영역의 개수와, 현재 사용자의 요청 또는 다른 사용자로부터 수신된 요청에 따라 생성되는 표시 영역의 개수에 따라 상기 표시 영역의 크기가 결정될 수 있다. 이러한 경우 디스플레이부(151) 상에 표시되는 표시 영역의 수가 많을수록 상대적으로 표시 영역의 크기는 작아질 수 있다. 한편 제어부(180)는 어느 하나의 표시 영역에 대한 사용자의 입력이 있는 경우, 상기 어느 하나의 표시 영역의 크기를 사용자의 입력에 따라 변경할 수도 있음은 물론이다.
한편 상기 S306 단계에서 표시 영역이 설정되는 경우, 제어부(180)는 설정된 표시 영역에 표시할 영상을 생성할 수 있다(S308). 그리고 상기 표시 영역에 표시할 영상은 상기 다른 사용자의 HMD로부터 수신된 영상 관련 정보에 대응되는 영상일 수 있다. 한편 상기 S304 단계의 감지 결과, 복수의 다른 HMD로부터 수신된 복수의 영상 관련 정보가 있는 경우라면, 제어부(180)는 상기 S306 단계와 상기 S308 단계를 상기 수신된 복수의 영상 관련 정보 각각마다 수행할 수 있음은 물론이다.
한편 상기 영상 관련 정보는, 상술한 바와 같이 현재 HMD(100)에서 재생되는 VR컨텐츠의 일 영역에 대한 정보일 수 있다. 예를 들어 상기 영상 관련 정보는, 상기 VR컨텐츠 일 영역의 영상을, 기설정된 방식으로 압축하거나 그 크기를 줄인 영상 정보일 수도 있다.
한편 이처럼 표시되는 영상 자체를 영상 관련 정보로서 전송하는 경우 처리량이 많아지고 또한 전송되는 데이터가 많아질 수 있다. 이에 따라 보다 바람직하게 상기 영상 관련 정보는 상기 연결된 HMD에서 표시되고 있는 VR컨텐츠 중 일 영역에 대한 좌표 정보일 수도 있다. 예를 들어 상기 좌표 정보는 상기 연결된 다른 HMD의 디스플레이부 각 꼭지점에 대응되는 VR컨텐츠 상의 좌표 정보이거나, 또는 상기 다른 HMD 디스플레이부 상의 정중앙 지점에 대응되는 VR컨텐츠 상의 일 지점의 좌표 정보일 수도 있다.
한편 이처럼 좌표 정보를 전송하는 경우, 상기 연결된 다른 사용자의 안면이 향하는 방향이 변경되면 변경된 방향에 따라 디스플레이부 상에 표시되는 VR컨텐츠 상의 영역이 달라지므로, 상기 VR컨텐츠로부터 HMD 상의 디스플레이부 상에 표시되는 영역의 좌표 정보를 산출하는 과정을 지속적으로 수행하여야 한다. 이러한 경우 상기 좌표 정보 산출 과정에 따른 시간 지연이 발생할 수 있다.
따라서 이러한 좌표 정보 산출 과정에 대응되는 시간 지연을 최소화하기 위해, 본 발명의 실시 예에 따른 HMD(100)는 상기 연결된 HMD로부터 감지된 감지 결과를 그대로 수신할 수도 있다. 즉, 제어부(180)는 상기 연결된 HMD로부터 상기 다른 사용자의 안면 방향이 향하고 있는 방향을 감지한 결과를 수신하고 상기 영상 관련 정보로 수신할 수도 있다. 이러한 경우 상기 수신되는 영상 관련 정보는, 상기 다른 HMD로부터 감지되는 수평, 수직 방향의 뷰 앵글에 대한 정보일 수 있다.
한편 이처럼 수평, 수직 방향의 뷰 앵글에 대한 정보가 상기 연결된 HMD의 영상 관련 정보로서 수신되면, 제어부(180)는 상기 S308 단계에서 상기 수신된 영상 관련 정보에 대응되는 영상을 생성할 수 있다. 예를 들어 제어부(180)는 현재 재생되는 VR컨텐츠로부터 상기 수신된 뷰 앵글 정보에 대응되는 일 영역의 영상을 추출할 수 있다. 그리고 상기 추출된 영상으로부터, 현재 설정된 표시 영역의 크기에 대응되는 영상을 생성할 수 있다. 이하 이처럼 수신된 뷰 앵글 정보에 근거하여, 현재 생성된 표시 영역의 크기에 따른 영상을 생성하는 제어부(180)의 동작 과정을, 하기 도 4를 참조하여 보다 자세하게 살펴보기로 한다.
한편 상기 S308 단계에서, 현재 생성된 표시 영역의 크기에 대응되는 영상이 생성되면, 제어부(180)는 생성된 영상을 상기 표시 영역에 표시할 수 있다(S310). 이러한 경우 상술한 바와 같이, 복수의 다른 HMD로부터 복수의 영상 관련 정보가 수신된 경우라면, 제어부(180)는 상기 S310 단계에서, 상기 수신된 복수의 영상 관련 정보 각각으로부터 생성되는 영상들을 각 HMD에 대응되는 표시 영역에 표시할 수 있다.
한편 상기 S310 단계에서 제어부(180)는, 상기 각각의 표시 영역에 표시되는 영상들을, 사용자가 현재 시청하고 있는 VR컨텐츠의 영상과 구분되게 표시할 수도 있다. 예를 들어 제어부(180)는 각 표시 영역의 주변을, 기설정된 색상 또는 두께의 가이드라인(guideline) 형태를 가지는 그래픽 객체로 표시하여 각각의 표시 영역이 구분되도록 할 수도 있다. 또는 디스플레이부(151) 상에서 각 표시 영역 내부에 대응되는 영역과 상기 각 표시 영역 외부에 대응되는 영역을, 밝기가 서로 다르게 표시함으로써 사용자가 각각의 표시 영역의 영상을 보다 쉽게 식별하도록 할 수도 있다.
또는 제어부(180)는 상기 S310 단계에서 각 표시 영역을 제외한 디스플레이부(151) 상의 다른 영역에 대해, 기설정된 방식의 그래픽 처리를 수행할 수도 있다. 예를 들어 제어부(180)는 상기 각 표시 영역을 제외한 디스플레이부(151) 상의 다른 영역을 기설정된 색상으로 처리(예 : 암막화 처리)하거나, 또는 상기 디스플레이부(151) 상의 다른 영역을 기설정된 수준 이상 불투명하게 하거나 또는 흐리게 보이도록 처리(예 : 블러(blur) 처리)할 수도 있다. 이러한 경우 디스플레이부(151) 상에는 각각의 표시 영역 내부에 표시되는 영상, 즉 다른 사용자의 HMD로부터 수신된 영상 관련 정보에 대응되는 영상들만 명확하게 표시될 수도 있다.
한편 제어부(180)는 상기 표시 영역이 복수인 경우, 기설정된 기준에 따라 상기 표시 영역들을 그룹화하여 표시할 수도 있음은 물론이다. 예를 들어 제어부(180)는 사용자의 선택에 따라 상기 표시 영역을 그룹화하고, 그룹화 결과에 따라 각 표시 영역의 위치를 변경할 수도 있다. 이러한 경우 같은 그룹에 포함되는 HMD들로부터 표시되는 영상들은, 서로 인접하게 표시될 수 있다.
한편 상기 그룹화 기준은 자동으로 결정될 수도 있음은 물론이다. 예를 들어 제어부(180)는 현재 HMD(100)의 디스플레이부(151) 상에 표시되는 영상에 근거하여 상기 그룹화를 수행할 수도 있다. 이러한 경우 제어부(180)는 VR컨텐츠 중, 현재 사용자가 시청하고 있는 영상의 뷰 앵글 정보를 기준으로 상기 그룹화를 수행할 수도 있다. 이러한 경우 상기 다른 HMD들로부터 수신된 영상 관련 정보들 중 수평 방향 또는 수직 방향의 뷰 앵글이 사용자가 현재 시청하고 있는 영상의 뷰 앵글 보다 큰 값을 가지는지 또는 작은 값을 가지는지에 따라 상기 영상 관련 정보들 각각에 대응되는 표시 영역의 그룹이 결정될 수 있다. 이하 이처럼 기설정된 기준 또는 사용자가 현재 시청하고 있는 영상의 뷰 앵글 정보를 기준으로 그룹화가 이루어지는 경우의 예를, 하기 도 9를 참조하여 보다 자세하게 살펴보기로 한다.
그리고 제어부(180)는 상기 적어도 하나의 표시 영역에 표시되는 영상들과는 별개로 다시 S302 단계로 진행하여 HMD의 전면, 즉 사용자의 안면이 향하는 방향의 영상을 디스플레이부(151) 상에 표시할 수 있다. 그리고 현재 VR컨텐츠의 재생이 종료될 때까지 상기 S304 단계 내지 S310 단계에 이르는 과정들을 반복하여 상기 S304 단계의 판단 결과에 따라 새로운 HMD가 연결되는 경우 그에 따른 표시 영역을 더 표시하거나, 기존의 연결된 HMD의 연결이 해제되는 경우 그에 따른 표시 영역을 해제할 수도 있다.
한편 도 4는 본 발명의 실시 예에 따른 HMD에서, 각각의 다른 사용자의 HMD로부터 수신된 영상 관련 정보에 대응되는 영상이 생성되는 동작 과정을 도시한 흐름도이다.
본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 상기 도 3의 S304 단계에서 설명한 바와 같이, VR컨텐츠를 재생 중 사용자의 선택 또는 다른 사용자로부터의 요청에 따라 적어도 하나의 다른 HMD와 연결될 수 있다. 그리고 연결된 상기 적어도 하나의 HMD 각각으로부터, 각 HMD에서 표시되는 영상에 관련된 정보(이하 영상 관련 정보)를 수신할 수 있다. 이러한 경우 제어부(180)는 수신되는 각각의 영상 관련 정보에 대해, 하기 도 4의 동작 과정을 수행하여 각 영상 관련 정보에 대응되는 영상을 생성할 수 있다. 이하 도 4의 설명에서는, 설명의 편의상 상기 수신되는 영상 관련 정보가 연결된 다른 HMD에서 감지되는 뷰 앵글 정보인 것을 예로 들어 설명하기로 한다.
먼저 제어부(180)는 다른 HMD(제2HMD)가 연결되는 경우, 상기 제2HMD로부터, 상기 제2HMD를 착용한 사용자의 두부 전면이 향하는 방향에 대한 정보를 수신할 수 있다(S400). 이러한 경우 상기 제2HMD로부터 수신되는 정보는 상술한 바와 같이, 상기 제2HMD에서 사용자의 두부 전면이 향하는 방향을 감지한 정보, 즉 뷰 앵글 정보일 수 있다. 따라서 제어부(180)는 연결된 제2HMD를 통해, 상기 제2HMD를 착용한 사용자의 두부 전면이 향하는 방향을 감지할 수 있다.
그러면 제어부(180)는 상기 S302 단계에서 재생되는 VR컨텐츠의 360도 전방향 영상으로부터, 상기 수신된 뷰 앵글에 대응되는 일 지점의 좌표를 산출할 수 있다(S402).
그리고 제어부(180)는 상기 S402 단계에서 산출된 좌표를 중심으로, VR컨텐츠의 360도 전방향 영상으로부터 기설정된 크기의 영상을 추출할 수 있다(S404). 여기서 상기 기설정된 크기는, 상기 360도 전방향 영상 중 HMD(100)의 디스플레이부(151) 상에 표시되는 영역의 크기에 대응되는 크기일 수 있다. 즉, 제어부(180)는 상기 S404 단계에서, 동일하게 재생되는 VR컨텐츠의 360도 전방향 영상으로부터, 디스플레이부(151) 상에 표시될 수 있는 크기의 상기 수신된 뷰 앵글에 대응되는 영상을 추출함으로써, 상기 제2HMD를 착용한 사용자가 시청하고 있는 VR컨텐츠의 영상과 동일한 영상을 생성할 수 있다. 그리고 제어부(180)는 상기 제2HMD에 대응되는 표시 영역의 크기에 따라 상기 생성된 영상을 리사이징(resizing)하여, 상기 표시 영역에 표시될 영상을 생성할 수 있다(S406). 그리고 상기 S406 단계에서 생성된 영상은, 상기 도 3의 S310 단계에서, 상기 제2HMD에 대응되는 표시 영역을 통해 표시될 수 있다.
한편 이처럼 표시 영역의 영상이 생성되면, 제어부(180)는 상기 제2HMD와의 연결이 종료되었는지 여부를 체크할 수 있다(S408). 예를 들어 제어부(180)는 상기 제2HMD에 대응되는 표시 영역에 대해 인가되는 사용자의 기설정된 입력이 있는 경우, 상기 제2HMD와의 연결을 종료할 수 있다. 또는 제어부(180)는 상기 제2HMD에 대응되는 기설정된 사용자의 음성 신호가 감지되는 경우 그에 따라 상기 제2HMD와의 연결을 종료할 수도 있다. 그리고 상기 S408 단계의 감지 결과, 상기 제2HMD와의 연결이 종료되는 경우라면, 제어부(180)는 상기 제2HMD에 대응되는 표시 영역의 설정을 해제할 수 있다(S410). 그러면 상기 S406 단계에서 리사이징된 영상을 표시하는 상기 제2HMD의 표시 영역은 더 이상 표시되지 않을 수도 있다.
한편 상기 S408 단계에서 상기 제2HMD와의 연결이 종료되었는지 여부를 체크한 결과 제2HMD와의 연결이 종료되지 않은 경우라면, 제어부(180)는 다시 상기 S400 단계로 진행하여 상기 제2HMD로부터 뷰 앵글 정보를 수신할 수 있다. 그리고 상기 S402 단계 내지 S406 단계에 이르는 과정들을 다시 수행하여, 상기 다시 수신된 뷰 앵글 정보에 따라 상기 제2HMD에 대응되는 표시 영역의 영상을 생성하는 과정을 수행할 수 있다. 이에 따라 제2HMD와의 연결이 종료되기 전까지, 상기 제2HMD에 대응되는 표시 영역에서 표시되는 영상은 상기 제2HMD로부터 수신되는 뷰 앵글 정보에 따라 실시간으로 갱신될 수 있다. 즉 상기 제2HMD를 착용한 착용자의 두부 움직임에 따라 상기 표시 영역에 표시되는 영상은 실시간으로 변경될 수 있다. 따라서 본 발명의 실시 예에 따른 제어부(180)는, 연결된 제2HMD를 통해, 상기 제2HMD를 착용한 사용자의 두부 움직임에 대응되는 영상을 디스플레이부(151) 상의 일 영역(표시 영역)에 표시할 수 있다.
이처럼 본 발명은, 동일한 VR컨텐츠가 재생되는 다른 HMD로부터, 상기 다른 HMD의 사용자가 시청하고 있는 VR컨텐츠의 영상을 디스플레이부(151) 상의 적어도 일부에 표시함으로서, 상기 동일한 VR컨텐츠를 같이 시청하는 사용자들끼리 자신이 시청하는 영상을 서로 공유할 수 있도록 한다. 따라서 본 발명은 각 사용자들이 서로 같은 가상공간의 체험을 하고 있다는 공간감을 공유하도록 할 수 있다.
한편 상술한 도 3 및 도 4의 설명에서는, 본 발명의 실시 예에 따른 HMD(100)가 연결된 다른 HMD로부터 영상 관련 정보를 수신하는 것만을 예로 들어 설명하였으나, 이와는 달리 상기 다른 HMD로부터의 요청이 있는 경우 그에 대한 응답으로, 또는 사용자의 요청에 따라 영상 관련 정보를 전송할 수도 있음은 물론이다. 이러한 경우 제어부(180)는 상술한 다른 HMD와 동일하게 HMD(100)의 센싱부(140)로부터 감지되는 감지값에 근거하여, 사용자의 두부 전면이 향하는 방향에 대한 정보, 즉 뷰 앵글을 상기 영상 관련 정보로서 전송할 수 있다. 보다 바람직하게는, 상기 다른 HMD 역시 본 발명의 실시 예에 따른 HMD 일 수 있다.
한편 상술한 설명에서는, VR컨텐츠가 단지 하나의 360도 전방향의 정지 영상 또는 동영상으로 이루어지는 예를 들어 설명하였으나, 상기 VR컨텐츠는 이외에도 얼마든지 다른 형태로 구현될 수도 있음은 물론이다. 예를 들어 상기 VR컨텐츠는 기설정된 각도 이상의 화각을 가지는 복수의 정지 영상 또는 동영상들로 이루어질 수도 있다. 이러한 경우 VR컨텐츠는, 상기 VR컨텐츠를 구성하는 복수개의 기설정된 각도 이상의 화각을 가지는 정지 영상 또는 동영상 중, 사용자의 선택에 따른 어느 하나가 HMD를 통해 재생되도록 할 수도 있다. 이러한 경우 상술한 바와 같이 복수의 HMD가 동일한 VR컨텐츠를 재생하는 경우라고 할지라도, 각 HMD에서 재생되는 영상은 서로 다른 영상일 수도 있다.
이하의 설명에서는 이처럼 VR컨텐츠가 기설정된 각도 이상의 화각을 가지는 복수의 정지영상 또는 동영상들로 이루어지는 경우를 예로 들어 설명하기로 한다.
그리고 이처럼 본 발명의 실시 예에 따른 HMD(100)가 복수개의 영상으로 이루어지는 VR컨텐츠를 재생하는 경우의 실시 예를, 상기 하나의 영상으로 이루어지는 VR컨텐츠를 재생하는 경우의 실시 예와 구분하기 위해, 상기 하나의 영상으로 이루어지는 VR컨텐츠를 재생하는 경우를 본 발명의 제1 실시 예라고 칭하기로 하고, 상기 복수개의 영상으로 이루어지는 VR컨텐츠를 재생하는 경우를 본 발명의 제2 실시 예라고 칭하기로 한다.
먼저 도 5a는 본 발명의 제2 실시 예에 따라, 복수의 영상으로 이루어지는 VR컨텐츠가 재생되는 경우에, 상기 도 3에서 VR컨텐츠를 재생하는 동작 과정을 도시한 흐름도이다.
상술한 바와 같이 상기 VR컨텐츠는 복수의 서로 다른 영상(정지 영상 또는 동영상을 포함할 수 있다)으로 구성될 수 있다. 이러한 경우 상기 VR컨텐츠를 구성하는 영상들은, 상술한 바와 같이 각각 기설정된 각도 이상의 화각을 가지는 영상(예 : 360도 전방향 영상 또는 180도 영상)들로서 각각 서로 다른 가상공간 체험을 할 수 있도록 생성된 영상들일 수 있다. 즉, 상기 VR컨텐츠는 복수의 서로 다른 가상공간에 대응되는 영상들로 구성될 수 있으며, 제어부(180)는 사용자의 선택에 따른 어느 하나의 가상공간에 대응되는 영상으로부터 상기 가상공간을 형성할 수 있다(S500).
그리고 제어부(180)는 센싱부(140)의 감지 결과에 따라, 상기 360도 전방향 영상 중 사용자의 안면이 향하는 방향에 대응되는 일부의 영상을 디스플레이부(151) 상에 표시할 수 있다(S502). 그리고 제어부(180)는 다른 HMD(100)로부터 수신된 영상 관련 정보가 있는지 여부를 확인할 수 있다(S504). 상기 S504 단계에서 제어부(180)는 사용자의 선택에 따라 동일한 VR컨텐츠가 재생되고 있는 다른 HMD 중 어느 하나와 연결할 수 있으며, 연결된 HMD로부터 그 HMD에서 표시되고 있는 가상공간의 영상에 관련된 정보를 획득할 수 있다. 또는 제어부(180)는 동일한 VR컨텐츠가 재생되고 있는 다른 HMD의 사용자로부터 연결 요청이 수신되는 경우 그에 대한 응답으로 상기 다른 HMD와 연결을 수행할 수 있으며, 연결된 HMD로부터 그 HMD에서 표시되고 있는 가상공간의 영상에 관련된 정보를 획득할 수 있다. 이러한 사용자의 연결 요청은, 상기 도 3의 S304 단계에서 설명한 바와 동일하게, 사용자의 음성 신호 또는 기설정된 키나 제스처와 같은 입력에 따라 이루어질 수 있다.
그리고 상기 S504 단계의 판단 결과, 다른 HMD로부터 수신된 영상 관련 정보가 있는 경우라면, 제어부(180)는 수신된 영상 관련 정보에 대응되는 표시 영역을 디스플레이부(151) 상에 설정할 수 있다(S506). 그리고 이러한 표시 영역은 기설정된 영역 또는 사용자의 시선 방향 등 다양한 설정 기준에 따라 그 위치가 결정될 수 있다. 그리고 상기 표시 영역의 크기 역시, 디스플레이부(151) 상에 표시되는 표시 영역의 개수에 따라 결정될 수 있으며, 또는 사용자의 선택에 따라 그 크기가 결정될 수도 있다.
한편 상기 S506 단계에서 수신된 영상 관련 정보에 대응되는 표시 영역이 설정되면, 제어부(180)는 상기 다른 HMD로부터 수신된 영상 관련 정보에 대응되는 영상에 근거하여, 상기 표시 영역을 통해 표시할 영상을 생성할 수 있다(S508). 여기서 상기 영상 관련 정보는, 상기 도 3에서 설명한 바와 같이, 상기 다른 HMD로부터 감지되는 수평, 수직방향의 뷰앵글에 대한 정보일 수 있다. 이하 이처럼 수신된 뷰앵글 정보에 근거하여, 현재 생성된 표시 영역의 크기에 따른 영상을 생성하는 제어부(180)의 동작 과정을, 하기 도 5b를 참조하여 보다 자세하게 살펴보기로 한다.
한편 상기 S508 단계에서, 현재 생성된 표시 영역의 크기에 대응되는 영상이 생성되면, 제어부(180)는 생성된 영상을 상기 표시 영역에 표시할 수 있다(S510). 만약 복수의 다른 HMD로부터 복수의 영상 관련 정보가 수신된 경우라면, 제어부(180)는 상기 S510 단계에서, 상기 수신된 복수의 영상 관련 정보 각각으로부터 생성되는 영상들을, 각 HMD에 대응되는 표시 영역에 표시할 수 있다.
그리고 제어부(180)는 상기 각각의 표시 영역에 표시되는 영상들을, 사용자가 현재 시청하고 있는 VR컨텐츠의 영상과 구분되게 표시할 수도 있다. 예를 들어 제어부(180)는 상기 도 3에서 설명한 바와 같이, 기설정된 그래픽 객체 또는, 표시 영역 내부에 대응되는 영역과, 상기 표시 영역 외부의 영역을 서로 다른 밝기로 표시함으로써 상기 표시 영역이 구분되도록 할 수도 있다. 또는 제어부(180)는 암막화 처리를 통해 각 표시 영역을 제외한 디스플레이부(151) 상의 다른 영역을 기설정된 색상으로 처리하거나, 또는 블러 처리를 통해 상기 디스플레이부(151) 상의 다른 영역을 불투명하게 또는 흐리게 표시할 수도 있다.
한편 이처럼 적어도 하나의 표시 영역이 구분되게 표시되는 상태에서, 제어부(180)는 사용자가 다른 가상공간을 선택하였는지 여부를 체크할 수 있다(S512). 그리고 상기 S512 단계의 체크 결과 다른 가상공간이 선택되지 않은 경우라면, 제어부(180)는 다시 S502 단계로 진행하여 현재 선택된 가상공간의 영상 중 사용자의 안면이 향하는 방향의 영상을 디스플레이부(151) 상에 표시할 수 있다.
그러나 상기 S512 단계의 체크 결과, 다른 가상공간이 선택된 경우라면, 제어부(180)는 선택된 가상공간에 대응되는 영상으로부터, 새로운 가상공간을 형성할 수 있다(S514). 그리고 제어부(180)는 다시 S502 단계로 진행하여, 상기 새로 생성된 가상 공간으로부터 사용자의 안면이 향하는 방향에 대응되는 영상을 디스플레이부(151) 상에 표시할 수 있다. 그리고 상기 VR컨텐츠의 재생이 종료되기 전까지 상기 S504 단계 내지 상기 S512 단계에 이르는 과정을 반복하여 수행할 수 있다.
한편 도 5b는 본 발명의 제2 실시 예에 따라 다른 사용자의 HMD로부터 수신되는 정보에 따른 영상을 생성하는 동작 과정을 도시한 흐름도이다.
먼저 제어부(180)는 다른 HMD(제2HMD)가 연결되는 경우, 상기 제2HMD로부터, 상기 제2HMD에서 표시되는 영상에 대응되는 가상공간의 정보를 포함하는 영상 관련 정보를 획득할 수 있다(S550). 즉, 상술한 바와 같이 VR컨텐츠가 복수의 가상공간에 대응되는 복수의 영상으로 이루어지는 경우, 상기 제2HMD는 현재 디스플레이부 상에 표시되는 영상에 대응되는 가상공간의 정보와, 상기 제2HMD의 사용자 두부 전면이 향하고 있는 방향, 즉 뷰 앵글 정보를 포함하는 영상 관련 정보를 본 발명의 실시 예에 따른 HMD(100)로 전송할 수 있다. 이와 마찬가지로 본 발명의 실시 예에 따른 HMD(100) 역시, 현재 디스플레이부(151) 상에 표시되는 영상에 대응되는 가상공간의 정보와, 센싱부(140)의 감지 결과에 따른 뷰 앵글 정보를 포함하는 영상 관련 정보를 상기 제2HMD에 전송할 수 있음은 물론이다. 보다 바람직하게 상기 제2HMD 역시 본 발명의 실시 예에 따른 HMD 일 수 있다.
한편 제어부(180)는 S550 단계에서 획득된 영상 관련 정보로부터, 상기 제2HMD에서 표시되는 가상공간의 정보를 추출할 수 있다(S552). 그리고 제어부(180)는 VR컨텐츠를 구성하는 가상공간의 영상들 중, 상기 S552 단계에서 추출된 가상공간 정보에 대응되는 어느 하나의 영상을 선택할 수 있다(S554). 그리고 제어부(180)는 상기 S554 단계에서 선택된 가상공간 영상으로부터, 상기 영상 관련 정보에 포함된 뷰 앵글에 대응되는 일 지점의 좌표를 산출 및, 산출된 좌표를 중심으로 기설정된 크기의 영상을 추출할 수 있다(S556). 여기서 상기 기설정된 크기는, HMD(100)의 디스플레이부(151) 상에 표시되는 영상의 크기에 대응될 수 있다.
한편 상기 S556 단계를 통해, 수신된 영상 관련 정보에 대응되는 가상공간의 영상으로부터 기설정된 크기의 영상이 추출되면, 제어부(180)는 상기 제2HMD에 대응되는 표시 영역의 크기에 따라 상기 생성된 영상을 리사이징할 수 있다(S558). 그리고 리사이징된 영상을 상기 제2HMD에 대응되는 표시 영역에 표시할 수 있다. 따라서 비록 서로 다른 가상공간의 영상이 표시되는 경우라고 할지라도, 상기 서로 다른 가상공간이 동일한 VR컨텐츠에 포함되는 경우라면, 제어부(180)는 제2HMD에서 표시되고 있는 다른 가상공간의 영상을 디스플레이부(151) 상에 표시할 수 있다. 또한 이와 마찬가지로 상기 제2HMD 역시 상기 HMD(100)에서 표시되는 가상공간의 영상을 제2HMD의 디스플레이부 상에 표시할 수 있다. 따라서 상기 HMD(100)의 사용자 및 상기 제2HMD의 사용자는 각각 시청하고 있는 서로 다른 가상공간의 영상을 서로 공유할 수 있다.
한편 이처럼 표시 영역을 통해 제2HMD에서 표시되는 가상공간의 영상이 디스플레이부(151) 상에 표시되면, 제어부(180)는 상기 제2HMD와의 연결이 종료되었는지 여부를 체크할 수 있다(S560). 그리고 상기 제2HMD와의 연결이 종료된 경우라면, 제어부(180)는 상기 제2HMD에 대응되는 표시 영역의 설정을 해제할 수 있다(S562). 그러면 상기 제2HMD의 표시 영역은 더 이상 디스플레이부(151) 상에 표시되지 않을 수도 있다.
한편 상기 S560 단계의 체크 결과, 제2HMD와의 연결이 종료되지 않은 경우라면, 제어부(180)는 다시 상기 S550 단계로 진행하여 상기 제2HMD로부터 가상공간의 정보를 포함하는 영상 관련 정보를 획득할 수 있다. 그리고 상기 S552 단계 내지 S560 단계에 이르는 과정들을 다시 수행할 수 있다. 따라서 상기 제2HMD를 통해 표시되는 가상공간의 영상이 변경되거나 또는 제2HMD를 착용한 사용자의 안면이 향하는 방향이 변경되는 경우, 그에 따라 변경된 영상이 상기 제2HMD에 대응되는 표시 영역을 통해 디스플레이부(151) 상에 표시될 수 있다.
한편 상술한 바와 같이, VR컨텐츠가 복수의 서로 다른 가상공간에 대응되는 영상들로 이루어지는 경우, 상기 영상들에 대응되는 각 가상공간들은 서로 연관된 것일 수 있다. 예를 들어 상기 VR컨텐츠가 복수의 전시 공간을 포함하는 가상 전시관 컨텐츠인 경우, 상기 VR컨텐츠를 구성하는 복수의 가상공간은, 상기 가상 전시관을 구성하는 전시 공간 각각에 대응될 수 있다. 또한 각 가상공간에 대응되는 영상은, 상기 전시 공간 각각에 대응되는 영상일 수 있다.
한편 이처럼 서로 연관되는 복수의 가상공간을 포함하는 VR컨텐츠의 경우, 각 가상공간 사이의 연관 관계에 따라 상기 각 가상공간 사이의 연결관계에 대한 구조정보를 가질 수 있다. 그리고 상기 구조정보는 사용자가 VR컨텐츠를 재생할 때에, 사용자가 원하는 가상공간의 영상을 선택하기 위해 사용될 수 있으며, 상기 VR컨텐츠와 함께 상기 VR컨텐츠를 제공하는 외부서버로부터 제공될 수 있다.
한편 이처럼 VR컨텐츠를 구성하는 가상공간들의 구조 정보가 획득되면, 제어부(180)는 그 구조 정보에 따라 상기 VR컨텐츠를 구성하는 각 가상공간들을 맵(map) 정보의 형태로 디스플레이부(151) 상에 표시할 수 있다. 그리고 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 상기 맵정보를 이용하여 사용자가 현재 시청하고 있는 가상공간에 대응되는 위치를 표시할 수 있다. 예를 들어 제어부(180)는, 상기 사용자의 위치를 표시하기 위해 상기 도 5b의 S552 단계에서 획득되는 가상공간의 정보를 이용할 수 있다. 하기 도 5c는 이처럼 본 발명의 제2 실시 예에서, 제2HMD에서 전송된 영상 관련 정보로부터 획득된 가상공간 정보에 근거하여 상기 제2HMD 사용자의 위치를 표시하는 동작 과정을 도시한 흐름도이다.
도 5c를 참조하여 살펴보면 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 상기 도 5b의 S552 단계에서 제2HMD에서 전송된 영상 관련 정보로부터 가상공간의 정보가 추출되면, 현재 재생되는 VR컨텐츠에 대응되는 구조 정보에 근거하여, 상기 VR컨텐츠를 구성하는 가상 공간들에 대응되는 맵정보를 생성할 수 있다(S570). 그리고 상기 생성된 맵정보를 디스플레이부(151) 상의 기설정된 영역에 표시할 수 있다(S572).
여기서 상기 맵정보는 상기 VR컨텐츠를 구성하는 복수의 가상공간들 각각에 대응되는 그래픽 객체들을 포함할 수 있다. 그리고 상기 그래픽 객체들은 상기 가상공간들 사이의 연관 관계에 따라 서로 연결되도록 표시되거나, 상기 연관 관계에 따른 순서나 위치에 따라 상기 그래픽 객체들이 순차적으로 배열되도록 표시될 수 있다. 즉, 상술한 바와 같이 VR컨텐츠가 복수의 전시 공간을 포함하는 가상 전시관 컨텐츠인 경우, 제어부(180)는 상기 가상 전시관을 구성하는 복수의 전시 공간이 서로 연결된 상태에 따라, 각 전시 공간에 대응되는 그래픽 객체들이 서로 연결되도록 표시할 수 있다. 또는 상기 가상 전시관을 구성하는 복수의 전시 공간이 배치된 상태에 따라 각 전시 공간에 대응되는 그래픽 객체들이, 상기 맵정보가 표시되는 디스플레이부(151) 상의 영역에서 표시되는 위치를 결정할 수도 있다.
한편 이처럼 VR컨텐츠를 구성하는 가상공간에 각각 대응되는 그래픽 객체들을 포함하는 맵정보가 디스플레이부(151) 상에 표시되면, 제어부(180)는 상기 도 5의 S552 단계에서 추출된 가상공간 정보에 따라, 어느 하나의 가상공간에 대응되는 그래픽 객체 상의 일 지점을, 상기 연결된 제2HMD 사용자의 위치 정보로 표시할 수 있다(S574). 이에 따라 본 발명의 실시 예에 따른 제어부(180)는, 다른 HMD의 사용자가 시청하고 있는 가상공간의 영상에 따라, 복수의 가상공간으로 이루어지는 VR컨텐츠 내에서 상기 다른 HMD 사용자가 위치한 가상공간을 식별할 수 있다. 따라서 사용자는 상기 맵정보를 통해 표시되는 다른 HMD 사용자의 위치 정보에 따라, 상기 VR컨텐츠를 구성하는 가상공간 중 다른 가상공간을 선택할 수 있으며, 이에 따라 상기 다른 HMD 사용자가 시청하고 있는 가상공간으로 이동하여 상기 가상공간의 영상을 함께 체험할 수도 있다.
한편 상술한 설명에 따르면, 서로 다른 복수의 가상공간으로 이루어지는 VR컨텐츠의 경우, 각 사용자의 선택에 따라 사용자가 원하는 가상공간의 영상이 디스플레이부 상에 표시되도록 할 수 있다. 그러나 상기 도 1c에서 보이고 있는 바와 같이, 상기 복수의 가상공간으로 이루어지는 VR컨텐츠가 동일하게 재생되는 복수의 HMD가 서로 연결되는 경우, 특정 가상공간의 선택 및 가상공간의 변경이, 각 HMD에 설정된 권한에 따라 제한될 수도 있음은 물론이다. 즉 상기 가상공간의 선택 및 변경에 대한 권한에 따라 상기 복수의 HMD 중 어느 하나는 마스터(master)로 구분될 수 있으며, 나머지 HMD들은 슬레이브(slave)로 구분될 수 있다.
예를 들어 마스터 HMD는 상기 가상공간의 선택 및 변경에 대한 권한을 가지는 HMD일 수 있다. 따라서 상기 마스터 HMD는 진입할 가상공간을 자유롭게 선택 및 이동할 수 있다. 한편 슬레이브 HMD들은 현재 위치한 가상공간 내에서의 시선 이동은 자유로우나, 가상공간의 선택 및 이동은 제한될 수 있다. 이에 따라 상기 슬레이브 HMD들은 마스터 HMD로부터 선택된 가상공간으로 이동하여 상기 마스터 HMD로부터 선택된 가상공간의 영상을 시청할 수 있다.
예를 들어 상기 마스터 HMD의 사용자는, 관람자들을 가이드하는 큐레이터일 수 있다. 그리고 상기 슬레이브 HMD의 사용자는 VR컨텐츠를 구성하는 각 가상공간을 관람하는 관람자일 수 있다. 이러한 경우 상기 마스터 HMD는 마스터 HMD의 사용자로부터 입력되는 음성 정보를 상기 슬레이브 HMD의 사용자들에게 전송할 수 있으며, 이와 반대로 슬레이브 HMD의 사용자로부터 입력되는 음성 정보를 상기 마스터 HMD의 사용자에게 전송할 수도 있다. 그리고 상기 슬레이브 HMD들은 마스터 HMD를 착용한 사용자가 선택한 가상공간으로 이동할 수 있으며, 상기 마스터 HMD의 가상공간 이동에 따라 상기 슬레이브 HMD들에는 상기 마스터 HMD가 이동한 가상공간의 영상이 표시될 수 있다.
한편 상기 마스터 HMD는, 다양한 조건에 따라 다른 HMD로 마스터 권한을 이전할 수도 있음은 물론이다. 예를 들어 상기 마스터 권한, 즉 진입할 가상공간을 자유롭게 선택 및 이동할 수 있는 권한은 현재 마스터 HMD로 설정된 사용자의 선택에 따라 이루어질 수 있다. 이러한 경우 상기 마스터 권한을 이전받은 어느 하나의 슬레이브 HMD가 마스터 HMD로 설정될 수 있으며, 기존의 마스터 HMD는 슬레이브 HMD로 전환될 수 있다.
한편 이러한 마스터 권한의 이전은 사용자의 선택이 아니라 특정 경우에도 발생할 수 있음은 물론이다. 예를 들어 현재 마스터로 설정된 HMD가 다른 HMD들(슬레이브 HMD들)과 연결이 종료되는 경우, 상기 마스터 HMD의 권한은 상기 슬레이브 HMD들 중 어느 하나로 이전될 수도 있다.
한편 상술한 설명에서는 본 발명의 실시 예에 따른 HMD(100)가 VR컨텐츠만을 재생하는 경우를 예로 들어 설명하였으나, 본 발명의 실시 예에 따른 HMD(100)가 VR컨텐츠를 재생하는 것으로 한정되는 것이 아님은 물론이다. 예를 들어 본 발명의 실시 예에 따른 HMD(100)는 외부의 영상을 센싱할 수 있는 외부 카메라를 더 포함하는 경우, 상기 VR컨텐츠 뿐만 아니라 증강현실(Augmented Reality) 영상을 표시할 수도 있음은 물론이다. 여기서 증강현실 영상은, 상기 외부 카메라로부터 센싱되는 영상과, 상기 센싱된 영상에 관련된 가상 객체를 포함하는 영상일 수 있다. 즉, 상기 AR 영상은 상기 외부 카메라를 통해 센싱된 실제 영상에, 상기 실제 영상에 포함된 다양한 객체와 관련된 정보들을 가상의 객체로 표시하는 것으로, 실제 객체의 영상 뿐만 아니라 상기 객체에 관련된 다양한 정보를 사용자가 동시에 확인할 수 있도록 하기 위해 이용될 수 있다.
이하 본 발명의 실시 예에 따른 HMD(100)에서 AR 영상이 표시되는 경우의 예를 설명하기로 한다. 이하 상기 AR 영상이 표시되는 경우의 본 발명의 실시 예를, 상기 VR컨텐츠가 재생되는 경우의 예를 가정한 제1 및 제2 실시 예와 구분하기 위해, 본 발명의 제3 실시 예라고 칭하기로 한다. 도 6은 이러한 본 발명의 제3 실시 예에 따른 HMD에서 증강현실 영상을 표시하는 동작 과정을 도시한 흐름도이다.
도 6을 참조하여 살펴보면, 본 발명의 실시 예에 따른 제어부(180)는 HMD(100)의 전면 방향의 영상을 센싱하는 카메라로부터 센싱된 영상을 디스플레이부(151) 상에 프리뷰(preview) 영상의 형태로 표시할 수 있다. 그리고 제어부(180)는 현재 센싱된 영상으로부터, 현재 센싱된 영상에 관련된 정보가 수신되었는지 여부를 식별할 수 있다. 그리고 상기 센싱된 영상에 관련된 정보가 수신된 경우라면, 제어부(180)는 수신된 정보에 대응되는 AR 객체를 디스플레이부(151) 상에 표시할 수 있다(S600).
예를 들어 제어부(180)는 외부 기기로부터 특정 객체에 대한 정보가 수신되는 경우, 현재 카메라를 통해 센싱된 영상을 분석하여 상기 센싱된 영상에 포함된 각 객체를 구분할 수 있다. 그리고 분석 결과, 상기 센싱된 영상에, 상기 수신된 정보에 대응되는 객체가 포함되어 있지 않은 경우라면, 상기 AR 객체를 표시하지 않을 수 있다. 그러나 상기 센싱된 영상에 상기 수신된 정보에 대응되는 객체가 포함된 경우라면, 상기 수신된 정보에 대응되는 AR 객체를 생성 및, 생성된 AR 객체를 상기 센싱된 영상 중 대응되는 객체의 주변에 표시할 수 있다.
예를 들어 다양한 전시물들이 전시되는 전시관과 같은 장소인 경우, 각 전시물들에 대응되는 IOT(Internet Of Things) 통신 장치(예 : 비콘(beacon) 장치)가 구비될 수 있다. 이러한 경우 본 발명의 실시 예에 따른 HMD(100)는, 사용자가 특정 전시물이 전시된 방향을 바라보는 경우, 상기 HMD(100) 구비된 카메라를 통해, 사용자의 시선에 대응되는 전시물의 영상을 센싱할 수 있다. 그리고 센싱된 영상에 포함된 전시물에 관련된 정보를, 그 전시물에 대응되는 통신 장치로부터 수신할 수 있다. 그리고 수신된 정보를 AR 객체로서 디스플레이부(151) 상에 표시할 수 있다. 그리고 제어부(180)는 상기 AR 객체를 통해, 현재 디스플레이부(151) 상에 전시되는 전시물에 관련된 다양한 정보를 표시할 수 있다. 예를 들어 제어부(180)는 상기 전시물의 제작시대나, 전시물을 제작한 제작자의 정보, 또는 전시물에 관련된 역사 등에 대한 정보를 표시할 수 있다.
한편 상기 통신 장치로부터 수신되는 정보는, 상기 전시물에 대응되는 통신 장치가, 상기 전시물에 대해 수집한 정보를 포함할 수도 있다. 예를 들어 상기 통신 장치는, 상기 전시물의 근처에서 기설정된 시간 이상 체류하는 관람객을 상기 전시물을 관람한 관람객으로 판단할 수 있다. 그리고 상기 전시물을 관람한 관람객 중 그 체류 시간이 기설정된 시간 이상이거나 또는 기설정된 이격 거리보다 더 상기 전시물에 근접한 관람객을 상기 전시물에 대한 높은 관심을 보이는 관람객으로 판단할 수 있다. 그리고 상기 통신 장치는 상기 관람객들의 수 및/또는 상기 높은 관심을 가지는 관람객들의 수와 같이, 상기 전시물에 관련된 관람객들의 반응을 평가한 정보를 HMD(100)에 전송할 수도 있다. 그러면 제어부(180)는 이러한 정보 역시 상기 AR 객체를 통해 디스플레이부(151) 상에 표시할 수 있다.
한편 이처럼 특정 전시물의 영상 및, 그 전시물에 관련된 AR 객체가 디스플레이부(151) 상에 표시되는 상태에서, 제어부(180)는 다른 사용자의 HMD와 연결이 이루어졌는지 여부를 감지할 수 있다(S602). 예를 들어 제어부(180)는 상술한 제1 및 제2 실시 예와 유사하게, 기설정된 키의 입력이나 제스처 또는 사용자의 음성 신호에 근거하여 다른 사용자의 HMD와의 연결을 수행할 수 있다. 또는 다른 HMD의 사용자로부터 연결 요청이 수신되는 경우, 사용자의 선택에 따라 상기 연결 요청을 전송한 다른 사용자의 HMD와 연결을 수행할 수 있다. 한편 이처럼 HMD(100)와 상기 다른 HMD는 기설정된 AR 관련 컨텐츠, 예를 들어 전시관에서 제공되는 AR 관련 어플리케이션 등을 통해, 각 전시물에 관련된 정보들을 수신하고 이를 AR 객체 등으로 표시할 수 있다. 그리고 상기 기설정된 AR 관련 컨텐츠는 상기 전시관의 서버로부터 전송될 수 있다.
한편 여기서 상기 HMD(100)와 다른 HMD는 동일한 AR 관련 컨텐츠가 구동되는 HMD일 수 있다. 예를 들어 상기 HMD(100)와 다른 HMD가 동일한 전시관에 위치하는 경우 상기 HMD(100)와 다른 HMD는 같은 전시관 내에 위치한 통신 장치들로부터 전시물에 관련된 정보를 수신 및, 수신된 정보에 따라 AR 객체를 디스플레이부 상에 표시할 수 있다. 이러한 경우 상기 HMD(100)와 다른 HMD는 동일한 AR 관련 컨텐츠가 구동되는 HMD가 될 수 있다. 또는 상술한 바와 같이 동일한 서버로부터 제공되는 AR 관련 컨텐츠가 제공되는 HMD들의 경우, 동일한 AR 관련 컨텐츠가 구동되는 HMD일 수도 있다. 그리고 이처럼 동일한 AR 관련 컨텐츠가 구동되는 HMD들은, 상기 도 1c에서 보이고 있는 바와 같이 서로 연결될 수 있다.
한편 상기 S602 단계의 감지 결과, 다른 사용자의 HMD, 즉 제2HMD와 연결이 이루어진 경우라면, 제어부(180)는 연결된 제2HMD로부터 영상 관련 정보를 수신할 수 있다. 여기서 제2HMD로부터 수신되는 영상 관련 정보는 제2HMD에 구비된 카메라로부터 센싱되는 영상 및 상기 영상의 전시물에 관련된 AR 객체를 포함할 수 있다.
한편 제어부(180)는 수신된 영상 관련 정보에 대응되는 표시 영역을 설정할 수 있다(S604). 여기서 표시 영역은, 상기 본 발명의 제1 및 제2 실시 예에서 설명한 바와 유사하게 기설정된 영역 또는 사용자가 응시하는 디스플레이부(151) 상의 일 지점에 형성될 수 있다. 또한 표시 영역의 크기 역시 사용자의 선택 또는 기설정된 기준에 따라 결정될 수 있다.
한편 상기 S604 단계에서 표시 영역이 설정되면, 제어부(180)는 상기 표시 영역을 통해 표시될 영상을 생성할 수 있다(S606). 여기서 생성되는 영상은, 상기 영상 관련 정보로서 수신된 영상 및 그 영상의 전시물에 관련된 AR 객체를 포함하는 영상을 현재 설정된 표시 영역의 크기에 따라 리사이징한 영상일 수 있다. 그리고 상기 표시 영역을 통해 표시될 영상이 생성되면, 제어부(180)는 상기 생성된 영상을, 상기 S604 단계에서 설정된 표시 영역에 표시할 수 있다(S608).
그리고 상기 S608 단계에서 상기 제2HMD의 카메라에서 센싱된 영상 및 영상에 포함된 전시물의 AR 객체가 표시되면, 제어부(180)는 다시 S600 단계로 진행할 수 있다. 그리고 제어부(180)는 상기 표시 영역에 표시되는 영역외의 디스플레이부(151) 영역에, HMD(100)의 카메라로부터 센싱되는 영상을 표시 및, 관련된 AR정보가 있는 경우 그 AR정보를 표시할 수 있다. 그리고 상기 S602 단계에서 S608 단계에 이르는 과정을 다시 수행할 수 있다.
한편 상기 S602 단계에서 상기 제2HMD로부터 수신되는 영상 관련 정보에는, 상기 제2HMD의 위치에 관련된 정보를 포함할 수 있다. 예를 들어 HMD(100)와 상기 제2HMD가 같은 전시관에 있는 경우, 상술한 바와 같이 상기 HMD(100)와 제2HMD는 동일한 서버로부터 AR 관련 컨텐츠를 제공받을 수 있다. 이러한 경우 상기 AR 관련 컨텐츠는 상기 전시관의 구조에 대한 정보를 포함할 수 있다. 예를 들어 상기 전시관이, 서로 다른 종류의 전시물들을 전시하는 복수의 전시 공간으로 구성되는 경우, 상기 AR 관련 컨텐츠는 상기 전시관을 구성하는 각각의 전시 공간에 대한 정보를 포함할 수 있으며, 사용자의 선택에 따라 상기 각 전시 공간들에 대한 정보를 디스플레이부(151) 상에 표시할 수도 있다.
한편 이러한 경우, 서로 연결된 HMD들끼리는 서로의 위치 정보를 교환할 수 있음은 물론이다. 예를 들어 이러한 위치 정보는 각각의 HMD가 현재 위치하고 있는 전시 공간에 대한 정보일 수 있다. 이러한 경우 각 HMD는 현재 위치하고 있는 전시 공간에 대한 정보를 포함하는 영상 관련 정보를 전송할 수 있으며, 상기 영상 관련 정보를 수신한 HMD는 수신된 영상 관련 정보로부터 해당 HMD가 위치한 전시 공간의 정보를 추출할 수 있다. 그러면 제어부(180)는, 상기 AR 관련 컨텐츠에 포함된 전시관의 구조 정보에, 상기 추출된 전시 공간에 대응되는 HMD의 정보를 표시할 수 있으며, 이는 곧 특정 HMD가 현재 위치한 장소에 대한 정보가 될 수 있다. 따라서 상술한 본 발명의 제3 실시 예 역시, 본 발명의 제2 실시 예의 설명 중 도 5c에서 설명한 바와 마찬가지로, 전시관의 구조 정보를 표시하는 맵정보 상에 연결된 다른 HMD 사용자들의 위치를 표시할 수 있다.
한편 본 발명의 실시 예에 따른 HMD(100)는 상기 도 6의 S608 단계에서 설명한 바와 같이, 제2HMD의 카메라에 센싱된 영상에 포함된 전시물에 관련된 AR 객체가 있는 경우, 상기 AR 객체에 관련된 정보를 상기 제2HMD로부터 수신하여 표시할 수도 있다. 도 7은 이러한 경우에 본 발명의 실시 예에 따른 HMD(100)의 동작 과정을 도시한 흐름도이다.
도 7을 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 상기 도 6의 S608 단계에서, 상기 표시 영역에 표시된 영상 중 AR 객체가 포함되어 있는 경우, 상기 AR 객체에 대한 사용자의 입력을 감지할 수 있다(S700). 예를 들어 이러한 사용자의 입력은 사용자 입력부(132)에 구비된 기설정된 키의 입력이나, 또는 별도의 컨트롤러를 통해 감지되는 사용자의 제스처일 수 있다. 또는 사용자의 음성 명령이나, 기설정된 사용자의 두부 제스처일 수도 있다.
상기 S700 단계에서, 상기 표시 영역에 표시된 AR 객체에 대한 사용자의 입력이 감지되면, 제어부(180)는 현재 연결된 HMD, 즉 제2HMD로부터 상기 감지된 사용자의 입력에 대응되는 AR 객체에 대응되는 정보를 획득할 수 있다(S702). 예를 들어 제2HMD는 상기 제어부(180)의 요청에 따라 상기 AR 객체에 대응되는 정보를 수신할 수 있으며, 수신된 정보를 HMD(100)로 전송할 수 있다.
한편 상기 S702 단계에서, 상기 제2HMD로부터 상기 사용자의 입력에 대응되는 AR 객체에 대한 정보가 수신되면, 제어부(180)는 수신된 정보를 디스플레이부(151) 상에 표시할 수 있다. 예를 들어 제어부(180)는 상기 표시 영역의 일부에 상기 수신된 정보를 표시하거나, 또는 기설정된 디스플레이부(151) 상의 다른 영역에 상기 수신된 정보를 표시할 수도 있다. 또는 상기 표시 영역과 인접한 디스플레이부(151) 상의 영역에 상기 수신된 정보를 표시할 수도 있다.
한편 이상의 설명에서는 본 발명의 실시 예에 따른 HMD(100)의 동작 과정을 복수의 흐름도를 참조하여 자세히 살펴보았다.
이하의 설명에서는 이러한 본 발명의 실시 예에 따라, 서로 연결된 다른 HMD에서 표시되는 가상공간의 영상이, 디스플레이부 상의 일 영역에 표시되는 다양한 예들을 복수의 예시도를 참조하여 보다 자세하게 살펴보기로 한다.
도 8a 및 도 8b는 본 발명과 관련된 HMD(100)에서, 사용자의 선택 또는 다른 사용자의 요청에 따라, 상기 다른 사용자의 HMD에서 표시되는 영상이 디스플레이부 상에 표시되는 예를 도시한 예시도들이다.
먼저 도 8a는 동일한 VR컨텐츠를 재생하는 복수의 HMD 중, 제1HMD(100)의 사용자 요청에 따른 특정 HMD에서 표시되는 영상이, 상기 제1HMD(100)의 디스플레이부(151) 상에 표시되는 예를 보이고 있는 것이다.
예를 들어 특정 HMD에 대한 사용자의 요청은, 상술한 바와 같이 다양하게 이루어질 수 있다. 예를 들어 상기 사용자의 요청은 기설정된 키의 입력이나 또는 기설정된 사용자의 제스처에 따라 이루어질 수 있다. 그러나 이 뿐만 아니라, 도 8a의 첫 번째 도면에서 보이고 있는 바와 같이, 사용자의 음성 신호에 근거하여 이루어질 수도 있음은 물론이다.
이러한 경우 제어부(180)는 상기 다른 사용자의 HMD와의 연결을 요청하기 위한 사용자의 음성과, 그렇지 않은 음성을 구분하기 위하여, 미리 설정된 사용자의 제스처와 같은 사용자 입력이 있는 경우에 한하여, 마이크(131)를 통해 수신되는 사용자의 음성을 다른 사용자의 HMD와의 연결을 요청하기 위한 음성 신호로 식별할 수 있다. 즉, 제어부(180)는 기설정된 사용자의 입력이 있는 때에 사용자 음성 인식 모드로 동작 모드를 전환할 수 있으며, 음성 인식 동작 모드로 전환되면 사용자의 음성을 인식 및 그에 대응되는 특정 사용자의 HMD와의 연결을 수행할 수 있다.
이러한 경우 도 8a의 첫 번째 도면에서 보이고 있는 바와 같이, 사용자가 특정 HMD의 사용자 이름('TOM')을 호명하는 경우, 제어부(180)는 HMD(100)에 구비된 마이크(131)를 통해 상기 특정 HMD의 사용자 이름을 호명하는 음성 신호를 수신할 수 있다. 그러면 제어부(180)는 음성 인식 모듈을 통해 상기 수신된 음성 신호를 텍스트 정보로 인식할 수 있다.
그리고 제어부(180)는 메모리(170)에 기 저장된 정보로부터, 상기 사용자의 음성 신호로부터 인식된 텍스트 정보에 대응되는 HMD를 검색할 수 있다. 예를 들어 메모리(170)에는 HMD를 사용하는 각 사용자들이, HMD를 착용하기 전에 입력한 사용자 정보들이 저장될 수 있다. 제어부(180)는 상기 메모리(170)에 저장된 사용자 정보들 중, 상기 인식된 텍스트 정보에 대응되는 사용자가 착용한 HMD를 검출할 수 있다. 그리고 검출된 HMD에 무선 연결을 위한 신호를 전송할 수 있다. 그리고 전송된 신호에 대한 응답에 따라, 상기 검출된 HMD와 무선 연결을 수행할 수 있으며, 연결된 HMD에서 표시되는 영상에 관련된 정보를 수신할 수 있다.
한편 상기 사용자의 음성 신호, 즉 'TOM'이 착용한 HMD와 연결되면, 제어부(180)는 연결된 HMD로부터 영상 관련 정보를 수신할 수 있다. 여기서 수신되는 영상 관련 정보는, 상술한 바와 같이 상기 'TOM'의 HMD에서 감지되는 수평, 수직 방향의 뷰 앵글 정보일 수 있다. 즉, 상기 영상 관련 정보는, 상기 'TOM'이 착용한 HMD에 구비된 센서들로부터, 상기 'TOM'의 두부 전면, 즉 안면이 향하는 방향을 감지한 결과일 수 있다. 그러면 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 재생되는 VR컨텐츠로부터 상기 다른 사용자의 HMD로부터 감지되는, 상기 다른 사용자의 두부가 향하는 방향에 대응되는 일 영역의 영상을 디스플레이부(151) 상에 표시할 수 있다.
이러한 경우 상기 다른 사용자의 두부가 향하는 방향에 대응되는 일 영역의 영상은, 도 8a의 두 번째 도면에서 보이고 있는 바와 같이, 디스플레이부(151) 상에 기설정된 표시 영역(810)에 표시할 수 있다. 한편 이러한 경우 상기 VR컨텐츠는, 상술한 바와 같이 본 발명의 실시 예에 따른 HMD(100)와 상기 'TOM'이 착용한 HMD에서 동일하게 재생되는 것으로, 상기 표시 영역(810)에 표시되는 영상은 상기 'TOM'의 HMD에서 표시되는 영상과 동일한 영상일 수 있다.
한편, 상기 도 8a의 경우와는 반대로, 다른 사용자로부터 수신된 연결 요청에 따라, 상기 다른 사용자가 착용한 HMD와의 연결을 수행할 수도 있다. 도 8b는 이러한 경우의 예를 도시한 것이다.
먼저 도 8b의 첫 번째 도면을 참조하여 살펴보면, 도 8b의 첫 번째 도면은, 다른 사용자로부터 수신된 연결 요청이 있는 경우 이를 사용자에게 알리기 위한 알림 정보(850)가 디스플레이부(151) 상에 표시되는 예를 보이고 있는 것이다. 이러한 경우 상기 알림 정보(850)에는 도 8b의 첫 번째 도면에서 보이고 있는 바와 같이, 연결 요청을 전송한 사용자에 대한 정보('TOM')가 표시될 수 있으며, 상기 연결 요청을 수락할지 여부를 사용자에게 선택받기 위한 적어도 하나의 그래픽 객체가 포함될 수 있다.
이러한 상태에서, 제어부(180)는 상기 연결 요청의 수락 여부에 관련된 사용자의 입력을 감지할 수 있다. 예를 들어 이러한 사용자의 입력은 사용자 입력부(132)를 통해 감지되는 특정 키의 입력이나 특정 사용자의 제스처 일 수 있다. 예를 들어 제어부(180)는, 사용자가 사용자 입력부(132)가 구비된 컨트롤러를 쥔 손을 왼쪽 방향으로 스냅하는 경우, 이를 상기 연결 요청에 대한 수락으로 감지할 수 있다. 반면 사용자가 상기 컨트롤러를 쥔 손을 오른쪽 방향으로 스냅하는 경우, 이를 상기 연결 요청에 대한 거절로 감지할 수 있다. 도 8b의 첫 번째 도면은 제어부(180)가 이러한 사용자의 입력을, 상기 연결 요청에 대한 수락으로 감지한 예를 보이고 있는 것이다.
한편 도 8b의 첫 번째 도면에서 보이고 있는 바와 같이, 사용자가 다른 사용자로부터 수신된 연결 요청을 수락하는 경우, 제어부(180)는 연결된 다른 사용자의 HMD와 무선 연결을 수행할 수 있다. 그리고 연결된 다른 HMD로부터, 상기 다른 HMD에 표시되는 VR컨텐츠의 영상에 관련된 정보를 수신할 수 있다. 그리고 수신된 영상 관련 정보에 대응되는 VR컨텐츠의 일 영역의 영상을, 도 8b의 두 번째 도면에서 보이고 있는 바와 같이 상기 다른 HMD에 대응되는 표시 영역에 표시할 수 있다.
한편 상술한 설명에서는, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)가 연결된 다른 HMD로부터 영상 관련 정보를 수신하는 것만을 예로 들어 설명하였으나, 상기 다른 HMD와 마찬가지로 상기 HMD(100)의 디스플레이부(151)를 통해 표시되는 영상에 관련된 정보를, 연결된 다른 HMD에 전송할 수도 있음은 물론이다.
한편 도 9는 본 발명의 실시 예에 따른 HMD(100)에서, 복수의 다른 사용자의 HMD에 표시되는 영상들이 표시되는 예들을 도시한 예시도들이다.
먼저 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 현재 재생되는 VR컨텐츠에 포함된 가상공간의 영상을 표시할 수 있다. 즉, 제어부(180)는, 상기 가상공간의 영상 중에서, 센싱부(140)를 통해 감지되는 HMD(100) 전면 방향에 대응되는 일 영역의 영상을 디스플레이부(151) 상에 표시할 수 있다.
이러한 상태에서, 제어부(180)는 사용자의 요청 또는 다른 HMD의 사용자로부터 수신된 요청에 근거하여 적어도 하나의 다른 HMD와 연결될 수 있다. 그리고 연결된 HMD로부터 각 HMD에 현재 표시되는 가상공간 영상에 관련된 정보를 수신하고, 수신된 영상 관련 정보에 대응되는 영상들을 디스플레이부(151) 상에 표시할 수 있다. 도 9의 (a)는, 이처럼 본 발명의 실시 예에 따른 HMD(100)의 디스플레이부(151) 상에, 상기 HMD(100)에 연결된 복수의 다른 HMD에서 표시되는 영상들이 표시되는 예를 보이고 있는 것이다.
도 9의 (a)에서 보이고 있는 바와 같이, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는, 현재 연결된 각각의 HMD의 개수에 대응되는 표시 영역들(910, 912, 914, 916)을 생성할 수 있다. 이러한 경우 제어부(180)는 상기 표시 영역의 개수에 따라 각 표시 영역의 크기를 결정할 수 있다. 또는 미리 설정된 크기에 따라 각 표시 영역의 크기를 결정할 수도 있다.
한편 제어부(180)는 각 HMD에 대응되는 표시 영역에, 그 HMD에서 현재 표시되고 있는 영상에 대응되는 영상을 표시할 수 있다. 따라서 도 9의 (a)에서 보이고 있는 바와 같이, 본 발명의 실시 예에 따른 HMD(100)의 디스플레이부(151) 상에, 상기 HMD(100)와 연결된 복수의 HMD에서 표시되는 영상들이 각각 표시될 수 있다.
한편 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 연결된 다른 HMD로부터 영상 관련 정보를 수신할 수 있을 뿐만 아니라, 상기 연결된 다른 HMD에, 현재 디스플레이부(151) 상에 표시되는 영상에 관련된 정보를 전송할 수도 있음은 물론이다. 이러한 경우 전송되는 영상 관련 정보는, 상술한 바와 같이, 센싱부(140)의 센싱 결과 감지된 HMD(100)의 전면이 향하는 방향에 대한 정보, 예를 들어 수평, 수직 방향의 뷰 앵글과 같은 정보일 수 있다. 그러면 본 발명의 실시 예에 따른 HMD(100)로부터 전송된 영상 관련 정보를 수신한 다른 HMD 역시, 상기 수신된 영상 관련 정보에 근거하여 상기 디스플레이부(151) 상에 표시되는 영상에 대응되는 영상을 생성 및 표시할 수 있다. 따라서 본 발명은 같은 컨텐츠가 재생되는 복수의 HMD를 착용한 사용자들이 서로 간에 자신이 시청하고 있는 영상을 다른 사용자와 공유할 수 있도록 한다. 이에 따라 본 발명은 상기 사용자들이 동일한 컨텐츠를 통해 동일한 가상공간을 체험하는 듯한 공간감을 가질 수 있도록 한다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 상기 각 HMD에 대응되는 표시 영역들을 사용자가 임의로 그룹화하거나 또는 자동으로 그룹화할 수 있음을 언급한 바 있다. 도 9의 (b)는 이처럼 표시 영역들이 그룹화된 예를 보이고 있는 것이다.
예를 들어 제어부(180)는 다른 HMD가 연결될 때에, 사용자로부터 그 HMD에 대응되는 특정 그룹을 선택받을 수 있다. 그러면 제어부(180)는 해당 HMD에 대응되는 표시 영역을, 상기 선택된 특정 그룹에 대응되는 위치에 설정할 수 있다. 일 예로 제어부(180)는 다른 HMD가 연결되면, 그 HMD를 제1 그룹 또는 제2 그룹 중 어느 하나로 선택받을 수 있으며, 사용자가 선택한 그룹에 따라 디스플레이부(151) 상의 왼쪽 모서리에 인접하게 형성된 제1 그룹의 영역 또는 상기 디스플레이부(151) 상의 오른쪽 모서리에 인접하게 형성된 제2 그룹의 영역에 상기 HMD에 대응되는 표시 영역을 생성할 수 있다.
한편, 이처럼 사용자가 직접 표시 영역들을 그룹화하지 않는 경우에, 제어부(180)는 기설정된 기준에 따라 자동으로 각각의 표시 영역들을 그룹화할 수도 있다. 예를 들어 상기 기설정된 기준은, 현재 디스플레이부(151) 상에 표시되는 영상에 대응되는 가상공간 상의 좌표 정보가 될 수도 있다. 즉, 제어부(180)는 현재 사용자가 시청하고 있는 영상의 좌표를 기준으로, 다른 HMD로부터 수신된 영상 관련 정보에 대응되는 영상들을 그룹화할 수 있다. 도 9의 (b)는 이러한 예를 보이고 있는 것이다.
이러한 경우 그룹화의 기준이 되는 영상, 즉 현재 디스플레이부(151) 상에 표시되는 영상에 대응되는 기준표시영역(950)이 디스플레이부(151) 상에 표시될 수 있다. 그러면 제어부(180)는 상기 기준표시영역(950)에 표시되는 영상의 뷰앵글과, 다른 HMD로부터 수신된 영상 관련 정보들, 즉 뷰앵글의 정보를 비교할 수 있다.
예를 들어 제어부(180)는 현재 센싱부(140)에서 감지되는 HMD(100) 전면이 향하는 방향, 즉 뷰 앵글의 수직 성분(수직 방향의 뷰 앵글 정보)과, 다른 HMD로부터 수신된 영상 관련 정보에 포함된 뷰 앵글들의 수직 성분들을 비교하여, HMD(100)의 전면이 향하는 방향보다 더 높은 방향을 향하는 HMD로부터 수신된 영상 관련 정보와, HMD(100)의 전면이 향하는 방향보다 더 낮은 방향을 향하는 HMD로부터 수신된 영상 관련 정보를 구분할 수 있다. 그리고 상기 더 높은 방향을 향하는 HMD와, 상기 더 낮은 방향을 향하는 HMD를 서로 다른 그룹으로 구분할 수 있다.
따라서 본 발명의 실시 예에 따른 HMD(100) 및 연결된 다른 HMD들이 상기 도 2b의 (a)에서 보이고 있는 바와 같은 가상공간 영상을 표시하는 경우라면, 제어부(180)는 상기 더 높은 방향을 향하는 HMD를 제1 그룹으로 형성하고, 상기 더 낮은 방향을 향하는 HMD를 제2 그룹으로 형성할 수 있다. 그리고 상기 제1 그룹이 상기 기준 표시 영역(950)이 표시되는 디스플레이부(151) 상의 일 영역 왼쪽에 형성되는 경우, 상기 더 높은 방향을 향하는 HMD로부터 수신된 영상 관련 정보에 대응되는 영상(제3 영상 : 914)을 상기 기준 표시 영역(950)의 왼쪽에 표시할 수 있다. 반면 상기 더 낮은 방향을 향하는 HMD들로부터 수신된 영상 관련 정보들에 대응되는 영상들(제1 영상 : 910, 제2 영상 : 912, 제4 영상 : 914)을 상기 기준 표시 영역(950)의 오른쪽에 표시할 수 있다. 이러한 경우 도 9의 (b)에서 보이고 있는 바와 같이 같은 그룹에 속하는 영상들 중에서도, 그 뷰 앵글 정보를 비교한 결과에 따라 영상이 표시되는 위치가 결정될 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 HMD(100)는, 디스플레이부(151) 상에 표시되는 표시 영역들이 구분되도록 표시할 수 있음을 언급하였다. 도 10은 이처럼 본 발명의 실시 예에 따른 HMD에서, 복수의 다른 사용자의 HMD에 표시되는 영상들이 표시되는 다른 예들을 도시한 예시도들이다.
먼저 도 10의 (a)는 본 발명의 실시 예에 따른 HMD(100)에서, 표시 영역들이 표시되는 영역을 제외한 디스플레이부(151) 상의 다른 부분을 암막화 처리한 예를 보이고 있는 것이다. 이러한 경우 도 10의 (a)에서 보이고 있는 바와 같이, 표시 영역들(910, 912, 914, 916)을 제외한 디스플레이부(151) 상의 다른 영역은 상기 암막화 처리로 인해 더 이상 표시되지 않거나 또는 식별하기 어렵게 표시될 수도 있다. 여기서 상기 암막화 처리라는 것은, 기설정된 색(예를 들어 검정색)으로 디스플레이부(151) 상의 일정 영역을 표시하는 처리를 의미할 수 있다.
한편 이와는 다른 그래픽 처리를 통해, 상기 표시 영역들이 구분되도록 할 수도 있음은 물론이다. 예를 들어 도 10의 (b)에서 보이고 있는 바와 같이, 제어부(180)는 표시 영역(910, 912, 914, 916)들이 표시되는 영역을 제외한 디스플레이부(151) 상의 다른 부분을 블러(blur) 처리할 수도 있다. 이러한 경우 표시 영역들(910, 912, 914, 916)을 제외한 디스플레이부(151) 상의 다른 영역은 상기 블러 처리로 인해 흐리게 표시되어 식별하기 어렵게 표시될 수도 있다.
한편 도 11은 본 발명의 제2 실시 예에서 설명한 바와 같이, VR컨텐츠가 복수의 가상공간 영상으로 이루어지는 경우에, 본 발명의 실시 예에 관련된 HMD(100)에서 사용자의 선택에 따른 가상공간의 영상이 표시되는 예를 도시한 예시도이다.
먼저 도 11의 첫 번째 도면을 참조하여 살펴보면, 도11의 첫 번째 도면은 상술한 바와 같이 복수의 가상공간 영상으로 이루어지는 VR컨텐츠로부터 어느 하나의 가상공간 영상(1100)이 디스플레이부(151)를 통해 표시되는 예를 보이고 있는 것이다. 이러한 경우 제어부(180)는 상기 VR컨텐츠에 관련된 정보로부터, 상기 VR컨텐츠를 구성하는 가상공간들의 구조 정보를 획득할 수 있으며, 획득된 구조 정보를 이용하여, 현재 디스플레이부(151) 상에 표시되는 영상에 대응되는 가상공간을 구분되게 표시할 수 있다. 그리고 이를 도 11의 첫 번째 도면에서 보이고 있는 바와 같이, 맵정보(1120)로서 표시할 수 있다.
이러한 맵정보(120)는 도 11의 첫 번째 도면에서 보이고 있는 바와 같이, 상기 VR컨텐츠를 구성하는 가상공간들(1122, 1124, 1126)에 대한 정보를 포함할 수 있다. 그리고 현재 디스플레이부(151) 상에 표시되는 영상에 대응되는 가상공간이 제1 가상공간(1122)인 경우, 제어부(180)는 상기 제1 가상공간(1122)에 사용자가 위치하고 있음을 나타내기 위한 그래픽 객체('ME')를 상기 맵정보 상에 표시할 수 있다.
한편 상기 맵정보에는, 사용자의 위치 정보 뿐만 아니라, 현재 연결된 다른 HMD의 사용자에 대응되는 가상공간의 위치를 표시할 수도 있다. 즉, 제어부(180)는 동일한 VR컨텐츠가 재생되는 다른 HMD가 연결되면, 상술한 바와 같이 그 HMD에서 표시되는 영상에 대한 영상 관련 정보를 획득할 수 있다. 이러한 경우 상기 영상 관련 정보에는 각 HMD에서 표시되는 영상에 대응되는 가상공간의 정보가 포함될 수 있으며, 제어부(180)는 상기 가상공간의 정보에 근거하여 각 HMD의 사용자에 대응되는 가상공간의 위치를 표시할 수 있다. 여기서 상기 영상 관련 정보에 대응되는 영상은 사용자의 선택에 따라 얼마든지 표시되지 않을 수도 있음은 물론이다.
한편, 상기 각 HMD의 사용자의 위치는 각 사용자가 설정한 이름으로 표시될 수 있다. 즉 다른 HMD들의 사용자가 TOM, Jane으로 등록되고, 상기 TOM이 착용한 HMD가 제2 가상공간(1124)에 위치한 경우라면, 제어부(180)는 상기 맵정보(1120)에서 제2 가상공간(1124)의 일 지점에 TOM이 위치하고 있음을 나타내기 위한 그래픽 객체('TOM')를 표시할 수 있다. 그리고 이와 같은 방식으로 Jane이 착용한 HMD가 위치하는 가상공간 내의 일 지점에, Jane이 위치하고 있음을 나타내기 위한 그래픽 객체를 표시할 수 있다.
이러한 상태에서, 사용자는 특정 가상공간을 선택할 수도 있다. 이러한 가상공간의 선택은, 상기 맵정보(1120)를 통해 이루어질 수 있다. 예를 들어 제어부(180)는 상기 맵정보(1120)에 포함된 객체들(1122, 1124, 1126) 중 어느 하나가 사용자에 의해 선택되는 경우, 선택된 객체에 대응되는 어느 하나의 가상공간 영상을 디스플레이부(151) 상에 표시할 수 있다. 즉, 사용자가 제3 가상공간(1126)에 대응되는 맵정보(1120) 상의 일 지점을 선택하는 경우라면, 제어부(180)는 도 11의 두 번째 도면에서 보이고 있는 바와 같이, 제3 가상공간의 영상(1150)을 디스플레이부(151) 상에 표시할 수 있다.
이러한 경우 만약, 해당 가상공간 내에 다른 사용자가 위치하고 있는 경우라면, 그 사용자에 대응되는 아바타(Avatar)가 디스플레이부(151) 상에 표시될 수도 있음은 물론이다. 즉, 도 11의 두 번째 도면에서 보이고 있는 바와 같이, 사용자가 제3 가상공간(1126)으로 이동하는 경우라면, 제어부(180)는 기존에 제3 가상공간(1126)에 위치한 다른 사용자, 즉 Jane에 대응되는 아바타를 디스플레이부(151) 상에 표시할 수도 있다.
한편 도 12는 본 발명의 제3 실시 예에서 설명한 바와 같이, 본 발명의 실시 예에 따른 HMD가, AR 영상을 표시하는 경우의 예를 도시한 예시도이다.
먼저 도 12의 첫 번째 도면을 참조하여 살펴보면, 도 12의 첫 번째 도면은, 본 발명의 제3 실시 예에 따라, 사용자가 특정 전시물(1200)을 감상하고 있는 경우 이를 인지한 통신 장치(1210)가 사용자가 감사하고 있는 전시물에 관련된 정보를 전송하는 예를 보이고 있는 것이다. 예를 들어 상기 통신 장치(1210)는 사용자가 상기 전시물(1200)로부터 일정거리 내에서 기설정된 시간 이상 머무르는 것이 감지되는 경우, 사용자가 상기 전시물(1200)을 감상하는 것으로 판단할 수 있으며, 이에 따라 상기 전시물(1200)과 관련된 다양한 정보를 HMD(100)로 전송할 수 있다.
한편 본 발명의 실시 예에 따른 HMD(100)는 카메라로부터 센싱되는 상기 HMD(100) 전면의 영상을 디스플레이부(151) 상에 표시할 수 있다. 이에 따라 비록 HMD(100)가 사용자의 시야를 차단한다고 하여도, 사용자는 디스플레이부(151)에서 표시되는 영상을 통해 전방의 사물을 식별할 수 있다.
따라서 제어부(180)는 상기 도 12의 첫 번째 도면에서 보이고 있는 바와 같이 사용자가 특정 전시물(1200)이 위치한 방향을 바라보는 경우, 상기 전시물(1200)의 영상(1250)을 디스플레이부(151) 상에 표시할 수 있다. 이러한 경우 제어부(180)는 상기 통신 장치(1210)로부터 전송되는 정보를 수신할 수 있으며, 수신된 정보를 현재 디스플레이부(151) 상에 표시되는 전시물(1250)에 관련된 정보로서 디스플레이부(151) 상에 표시할 수 있다. 즉 상기 통신 장치(1210)로부터 수신된 정보는, AR정보(1260)의 형태로 디스플레이부(151) 상에 표시될 수 있다.
이처럼 본 발명의 실시 예에 따른 HMD(100)를 통해 AR 영상이 표시되는 경우에도 얼마든지 다른 HMD와 연결 및 상기 다른 HMD에서 표시되는 영상에 대응되는 영상이 디스플레이부(151) 상에 표시될 수 있다. 도 13은 본 발명의 실시 예에 따른 HMD가 AR 영상을 표시하는 경우에, 사용자의 선택에 따른 다른 사용자의 HMD에서 표시되는 AR 영상이 표시되는 예를 도시한 예시도이다.
먼저 도 13의 첫 번째 도면을 참조하여 살펴보면, 본 발명의 실시 예에 따른 HMD(100)의 제어부(180)는 HMD(100)의 전면이 향하는 방향으로부터 센싱되는 영상(1312)을 디스플레이부(151) 상에 표시할 수 있다. 그리고 상기 센싱된 영상에 특정 전시물의 영상(1314)이 포함된 경우, 상기 전시물에 대응되는 AR정보(1316)를 디스플레이부(151) 상에 표시할 수 있다.
이러한 상태에서, 제어부(180)는 HMD(100)와 연결된 다른 HMD의 위치에 관련된 정보를 맵정보(1300)를 통해 표시할 수 있다. 여기서 맵정보(1300)는 현재 사용자가 위치한 전시관을 구성하는 전시 공간들에 대한 정보를 포함할 수 있으며, 사용자의 현재 위치에 대응되는 전시 공간(1310)을 구분되게 표시할 수 있다. 예를 들어 사용자의 위치는, 상기 AR정보를 전송한 통신 장치에 의해 식별될 수 있다.
이와 마찬가지로, 상기 맵정보(1300) 상에는 다른 사용자가 위치한 전시 공간(1320)을 구분되게 표시할 수도 있다. 예를 들어 상기 다른 사용자의 HMD는 사용자에 의해, 본 발명의 실시 예에 따른 HMD(100)와 미리 연결된 것일 수 있다.
이처럼 연결된 다른 사용자의 HMD가 있는 경우, 제어부(180)는 사용자의 요청 또는 상기 다른 사용자로부터 수신된 요청에 따라, 상기 다른 사용자의 HMD에서 표시되는 영상을 디스플레이부(151) 상에 표시할 수 있다. 즉, 제어부(180)는 연결된 다른 사용자의 HMD의 카메라에서 센싱되는 영상을 수신할 수 있으며, 도 13의 첫 번째 도면에서 보이고 있는 바와 같이, 디스플레이부(151) 상의 일 영역에 생성된 표시 영역(1350)을 통해 상기 수신된 영상을 표시할 수도 있다.
한편 상기 표시 영역(1350)에는 상기 다른 사용자의 HMD의 카메라에서 센싱된 영상 뿐만 아니라, 상기 다른 사용자의 HMD에 수신되는 AR정보에 대응되는 AR 객체(1352)가 표시될 수 있다.
이처럼 다른 사용자의 HMD에서 표시되는 영상이 표시되는 영역에, AR 객체(1352)가 표시되는 경우, 제어부(180)는 상기 AR 객체(1352)에 대해 인가되는 사용자의 입력을 감지할 수 있다. 예를 들어 상기 사용자의 입력은 기설정된 키의 입력 또는 사용자의 음성 명령으로 이루어질 수 있다. 또는 상기 사용자의 입력은, 기설정된 사용자의 두부 제스처 또는 사용자 입력부(132)가 구비된 컨트롤러를 쥔 손의 제스처에 따라 인가될 수도 있다.
이처럼 상기 AR 객체(1352)에 대한 사용자의 입력이 인가되는 경우, 제어부(180)는 상기 AR 객체(1352)에 대한 정보를 상기 다른 사용자의 HMD에 요청할 수 있다. 그러면 상기 다른 사용자의 HMD는 수신된 요청에 대응되는 정보를 수신할 수 있으며, 수신된 정보를 HMD(100)로 전송할 수 있다. 그러면 제어부(180)는 도 13의 두 번째 도면에서 보이고 있는 바와 같이, 상기 다른 사용자의 HMD로부터 수신된 정보로부터 AR정보(1360)를 생성하고, 생성된 AR정보(1360)를 디스플레이부(151) 상에 표시할 수 있다. 이에 따라 본 발명은 사용자가 특정 전시물 주변에 위치하지 않은 경우라도, 또는 사용자가 위치하고 있는 다른 전시 공간에 전시된 전시물일지라도, 연결된 다른 사용자의 HMD를 경유하여, 상기 특정 전시물 또는 다른 전시 공간의 전시물에 관련된 AR정보를 수집 및 저장할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 상기 HMD(100)의 제어부(180)를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 같은 가상공간 영상을 재생하는 복수의 제2 HMD(Head Mounted Display) 중 적어도 하나와 연결되는 HMD에 있어서,
    상기 적어도 하나의 제2 HMD와 무선 연결을 수행하는 통신부;
    상기 HMD의 전면이 향하는 방향을 센싱하기 위한 센싱부;
    상기 가상공간 영상 중, 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부; 및,
    상기 HMD와 연결된 적어도 하나의 제2 HMD 각각에서 표시되는 상기 가상공간 영상 중 일부에 대응되는 영상들을, 상기 디스플레이부 상의 서로 다른 영역에 표시하는 제어부를 포함하며,
    상기 제어부는,
    상기 적어도 하나의 제2 HMD로부터 수신되는 정보에 근거하여 상기 적어도 하나의 제2 HMD를 착용한 착용자 각각의 두부 움직임을 감지하고, 감지된 각 착용자의 두부 움직임에 대응되는 상기 가상공간 영상 중 일부에 대응되는 영상들을 상기 디스플레이부 상의 서로 다른 영역에 표시하는 것을 특징으로 하는 HMD.
  2. 제1항에 있어서, 상기 제어부는,
    상기 적어도 하나의 제2 HMD 각각에서 표시되는 영상에 대응되는 영상들을, 상기 디스플레이부 상에 서로 다른 영역에 형성된 적어도 하나의 표시 영역에 각각 표시하며, 기 설정된 그래픽 객체 또는 그래픽 처리를 통해, 상기 디스플레이부 상에서 상기 표시 영역 내부의 영상이 구분되게 표시하는 것을 특징으로 하는 HMD.
  3. 제2항에 있어서, 상기 제어부는,
    상기 표시 영역 내부를 제외한 상기 디스플레이부 상의 다른 영역을 기 설정된 색상으로 표시하거나 또는 상기 디스플레이부 상의 다른 영역을 기 설정된 수준 이상 불투명하게 하거나 흐리게 표시하여 상기 표시 영역 내부의 영상이 구분되게 표시하는 것을 특징으로 하는 HMD.
  4. 제2항에 있어서, 상기 제어부는,
    상기 표시 영역 중 어느 하나에 대한 사용자의 선택이 있는 경우, 선택된 표시 영역에 표시되는 영상을 상기 디스플레이부 화면 전체를 통해 표시하는 것을 특징으로 하는 HMD.
  5. 제2항에 있어서, 상기 제어부는,
    사용자의 선택 또는 기 설정된 기준에 따라 상기 적어도 하나의 표시 영역을 적어도 하나의 그룹으로 그룹화하고, 서로 같은 그룹에 포함되는 표시 영역들은 서로 인접하게 표시하는 것을 특징으로 하는 HMD.
  6. 제5항에 있어서, 상기 제어부는,
    상기 HMD와 연결된 적어도 하나의 제2 HMD를 사용자의 선택에 따라 적어도 하나의 그룹으로 그룹화하고, 상기 적어도 하나의 제2 HMD가 그룹화된 결과에 따라, 상기 적어도하나의 제2 HMD에 각각 대응되는 표시 영역의 위치를 결정하는 것을 특징으로 하는 HMD.
  7. 제1항에 있어서, 상기 제어부는,
    상기 제2 HMD 중 적어도 하나에 대한 사용자의 연결 요청이 있는 경우 또는 상기 제2 HMD 중 적어도 하나로부터 수신되는 연결 요청에 근거하여 상기 제2 HMD 중 적어도 하나와 연결을 수행하는 것을 특징으로 하는 HMD.
  8. 제5항에 있어서, 상기 제어부는,
    상기 HMD가 음성 인식 모드로 동작하는 경우, 상기 복수의 제2 HMD를 착용한 착용자들 중 사용자의 음성 신호를 인식한 결과에 대응되는 특정 착용자를 검출하며, 검출된 착용자의 HMD와 연결을 수행하는 것을 특징으로 하는 HMD.
  9. 동일한 VR(Virtual Reality) 컨텐츠를 재생하며, 상기 VR 컨텐츠를 구성하는 복수의 가상공간 영상 중 어느 하나를 표시하는 복수의 제2 HMD(Head Mounted Display) 중, 적어도 하나와 연결되는 HMD에 있어서,
    상기 적어도 하나의 제2 HMD와 무선 연결을 수행하는 통신부;
    상기 HMD의 전면이 향하는 방향을 센싱하기 위한 센싱부;
    상기 VR 컨텐츠를 구성하는 가상공간 영상 중, 사용자로부터 선택된 어느 하나의 가상공간 영상으로부터 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 디스플레이부; 및,
    상기 HMD와 연결된 적어도 하나의 제2 HMD 각각에서 표시되는 가상공간 영상 중 일부에 대응되는 영상들을, 상기 디스플레이부 상의 서로 다른 영역에 표시하는 제어부를 포함하며,
    상기 제어부는,
    상기 적어도 하나의 제2 HMD 각각으로부터, 상기 제2 HMD에서 표시되는 가상공간 영상에 대한 정보 및, 상기 제2 HMD를 착용한 착용자의 두부 움직임을 감지한 결과를 수신하며, 상기 VR 컨텐츠를 구성하는 가상공간 영상들 중, 상기 각각의 제2 HMD로부터 수신된 정보들에 각각 대응되는 가상공간 영상들로부터, 상기 적어도 하나의 제2 HMD 착용자 각각의 두부 움직임에 대응되는 일 영역의 영상을 추출하고, 추출된 영상을 상기 디스플레이부 상에 형성된 적어도 하나의 표시 영역에 각각 표시하는 것을 특징으로 하는 HMD.
  10. 제9항에 있어서,
    상기 VR 컨텐츠는,
    상기 복수의 가상공간 영상 각각에 대응되는 가상공간들 사이의 연관관계를 나타내는 구조 정보를 더 포함하고,
    상기 제어부는,
    상기 구조 정보에 따라 상기 VR 컨텐츠를 구성하는 각 가상공간들을 맵 정보의 형태로 상기 디스플레이부 상의 일 영역에 표시하며, 상기 맵 정보 상에, 상기 디스플레이부 상에 현재 표시되는 가상공간 영상에 대응되는 특정 가상공간을 상기 HMD의 사용자가 위치하고 있는 가상공간으로 표시하는 것을 특징으로 하는 HMD.
  11. 제10항에 있어서, 상기 제어부는,
    상기 적어도 하나의 제2 HMD 각각으로부터 수신된 상기 제2 HMD에서 표시되는 가상공간 영상에 대한 정보에 근거하여, 상기 맵 정보 상에, 상기 제2 HMD 각각의 착용자가 위치하는 가상공간을 구분되게 표시하는 것을 특징으로 하는 HMD.
  12. 제10항에 있어서, 상기 제어부는,
    상기 맵 정보 상에 표시되는 각 가상공간들 중 어느 하나가 선택되면, 선택된 가상공간의 영상 중 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 것을 특징으로 하는 HMD.
  13. 제9항에 있어서,
    상기 HMD 및 상기 HMD와 연결되는 적어도 하나의 제2 HMD는,
    특정 가상공간 영상을 선택할 수 있는지 그렇지 않은지 여부에 따라 마스터(master) HMD와 슬레이브(slave) HMD로 구분되며,
    상기 제어부는,
    상기 HMD가 상기 마스터 HMD로 설정되면, 사용자로부터 선택된 특정 가상공간 영상의 일 영역을 상기 디스플레이부 상에 표시 및, 상기 적어도 하나의 제2 HMD가 상기 선택된 가상공간 영상의 일부를 표시하도록 상기 적어도 하나의 제2 HMD를 제어하며, 상기 HMD가 상기 슬레이브 HMD로 설정되면, 상기 적어도 하나의 제2 HMD 중 상기 마스터 HMD로 설정된 HMD의 제어에 따른 특정 가상공간 영상 중, 상기 HMD의 전면이 향하는 방향에 대응되는 일 영역의 영상을 표시하는 것을 특징으로 하는 HMD.
  14. 같은 AR(augmented) 관련 컨텐츠가 구동되는 복수의 제2 HMD(Head Mounted Display) 중 적어도 하나와 연결되는 HMD에 있어서,
    상기 적어도 하나의 제2 HMD와 무선 연결을 수행 및, 주변의 기 설정된 통신 장치로부터 상기 AR 관련 정보를 수신하는 통신부;
    상기 HMD의 전면이 향하는 방향의 영상을 센싱하는 카메라부;
    상기 카메라부에서 센싱된 영상 및, 상기 영상에 대응되는 AR 관련 정보를 표시하는 디스플레이부; 및,
    상기 HMD와 연결된 적어도 하나의 제2 HMD 각각의 카메라부에서 센싱되는 영상 및 상기 적어도 하나의 제2 HMD 각각에서 수신되는 AR 정보를 상기 디스플레이부 상의 일부에 표시하는 제어부를 포함하며,
    상기 AR 관련 컨텐츠는, 상기 HMD 및 상기 적어도 하나의 제2 HMD가 위치한 적어도 하나의 장소들을 포함하는 복수의 장소에 대한 맵 정보를 더 포함하며,
    상기 제어부는,
    상기 맵 정보 상에 포함된 복수의 장소 중, 상기 HMD 및 상기 HMD와 연결되는 적어도 하나의 제2 HMD들의 위치에 대응되는 특정 장소를, 다른 장소와 구분되게 표시하는 것을 특징으로 하는 HMD.
  15. 제14항에 있어서, 상기 제어부는,
    상기 디스플레이부 상의 일부에 표시되는 AR 정보에 대한 사용자의 선택이 있는 경우, 선택된 AR 정보를 전송한 어느 하나의 제2 HMD를 통해 상기 선택된 AR 정보에 대응되는 정보를 수신하고 수신된 정보를 표시하는 것을 특징으로 하는 HMD.
PCT/KR2016/009122 2016-08-10 2016-08-18 Hmd 및 그 hmd의 제어 방법 WO2018030567A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160102028A KR20180017736A (ko) 2016-08-10 2016-08-10 Hmd 및 그 hmd의 제어 방법
KR10-2016-0102028 2016-08-10

Publications (1)

Publication Number Publication Date
WO2018030567A1 true WO2018030567A1 (ko) 2018-02-15

Family

ID=61162364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009122 WO2018030567A1 (ko) 2016-08-10 2016-08-18 Hmd 및 그 hmd의 제어 방법

Country Status (2)

Country Link
KR (1) KR20180017736A (ko)
WO (1) WO2018030567A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7057197B2 (ja) * 2018-04-12 2022-04-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102508286B1 (ko) 2018-08-27 2023-03-09 삼성전자 주식회사 가상 현실에서 정보를 제공하는 전자 장치 및 방법
KR102203371B1 (ko) 2018-11-30 2021-01-15 삼성물산 주식회사 놀이공원에서 놀이기구를 가동하는 동안 이미지를 시각화하는 장치, 방법 및 이미지 시각화 장치를 관리하는 장치 및 방법
KR102330218B1 (ko) * 2018-12-26 2021-11-24 (주)소프트젠 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
US11080930B2 (en) * 2019-10-23 2021-08-03 Skonec Entertainment Co., Ltd. Virtual reality control system
US11380022B2 (en) 2020-10-22 2022-07-05 Sony Group Corporation Content modification in a shared session among multiple head-mounted display devices
JP7509128B2 (ja) * 2021-12-27 2024-07-02 株式会社リコー 情報処理装置、情報処理システム、利用者端末、プログラム、及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002368762A (ja) * 2001-06-06 2002-12-20 Olympus Optical Co Ltd ローカルネットワークシステム、ネットワークシステム及びテレビ会議システム並びに移動通信装置
KR20150001425A (ko) * 2013-06-27 2015-01-06 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20150099401A (ko) * 2014-01-24 2015-08-31 아바야 인코포레이티드 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어
KR20150133496A (ko) * 2014-05-20 2015-11-30 (주)에프엑스기어 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
JP2016126365A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 表示システム、表示装置、情報表示方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002368762A (ja) * 2001-06-06 2002-12-20 Olympus Optical Co Ltd ローカルネットワークシステム、ネットワークシステム及びテレビ会議システム並びに移動通信装置
KR20150001425A (ko) * 2013-06-27 2015-01-06 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20150099401A (ko) * 2014-01-24 2015-08-31 아바야 인코포레이티드 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제어
KR20150133496A (ko) * 2014-05-20 2015-11-30 (주)에프엑스기어 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
JP2016126365A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 表示システム、表示装置、情報表示方法、及び、プログラム

Also Published As

Publication number Publication date
KR20180017736A (ko) 2018-02-21

Similar Documents

Publication Publication Date Title
WO2018030567A1 (ko) Hmd 및 그 hmd의 제어 방법
WO2015156465A1 (en) Flexible glass display apparatus and method for controlling the same
WO2016190505A1 (ko) 글래스타입 단말기 및 이의 제어방법
WO2016171363A1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2018038439A1 (en) Image display apparatus and operating method thereof
WO2017086508A1 (ko) 이동 단말기 및 그 제어 방법
WO2020111594A1 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
WO2019027090A1 (ko) 이동 단말기 및 그 제어 방법
WO2018070624A2 (en) Mobile terminal and control method thereof
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2014073756A1 (en) Array camera, mobile terminal, and methods for operating the same
WO2017018603A1 (ko) 이동 단말기 및 이의 제어방법
WO2016039496A1 (ko) 이동단말기 및 그 제어방법
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2020190082A1 (ko) 이동 단말기를 이용한 내비게이션 서비스 제공 방법 및 이동 단말기
EP3632119A1 (en) Display apparatus and server, and control methods thereof
WO2015174611A1 (ko) 이동 단말기 및 그것의 제어 방법
WO2017022872A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법
WO2016114432A1 (ko) 영상 정보에 기초하여 음향을 처리하는 방법, 및 그에 따른 디바이스
WO2020045862A1 (ko) 가상 현실에서 정보를 제공하는 전자 장치 및 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2016027932A1 (en) Glass-type mobile terminal and control method thereof
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2017126709A1 (ko) 이동 단말기 및 그 제어 방법
WO2016024707A1 (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16912766

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05/06/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16912766

Country of ref document: EP

Kind code of ref document: A1