WO2018038337A1 - Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법 - Google Patents

Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법 Download PDF

Info

Publication number
WO2018038337A1
WO2018038337A1 PCT/KR2017/002378 KR2017002378W WO2018038337A1 WO 2018038337 A1 WO2018038337 A1 WO 2018038337A1 KR 2017002378 W KR2017002378 W KR 2017002378W WO 2018038337 A1 WO2018038337 A1 WO 2018038337A1
Authority
WO
WIPO (PCT)
Prior art keywords
client terminal
server
content
terminal
content data
Prior art date
Application number
PCT/KR2017/002378
Other languages
English (en)
French (fr)
Inventor
윤현정
Original Assignee
지스마트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지스마트 주식회사 filed Critical 지스마트 주식회사
Publication of WO2018038337A1 publication Critical patent/WO2018038337A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Definitions

  • the present invention enables the visitors to view the virtual reality content output through the large display board to interact with the HMD MOUNTED DISPLAY USER (INTERACTION) to increase the accessibility to the virtual reality content HMD user who can contribute to popularization
  • the present invention relates to a virtual reality content system capable of interacting between a (HEAD MOUNTED DISPLAY USER) and a plurality of ordinary people and a control method thereof.
  • the conventional virtual reality content for example, as the first-person game is released, the expensive equipment, such as HMD (HEAD MOUNTED DISPLAY) is required, there is a problem that the popularization is slow because the operation is difficult.
  • HMD HEAD MOUNTED DISPLAY
  • the present invention has been made to solve the conventional problems as described above, the object of the present invention is the interaction between the HMD user (HEAD MOUNTED DISPLAY USER) and a plurality of ordinary people (INTERACTION) is possible to create a virtual reality and real space It is to provide a virtual reality content system that can be connected and a control method thereof.
  • the present invention provides a virtual reality content system capable of interacting between the HMD user and a plurality of ordinary people who can contribute to the popularization of virtual reality content because the production and installation cost is low, and the operation is simple, and the control method thereof The purpose.
  • the present invention induces the viewers' interest by viewing and demonstrating the virtual reality content screen in an open space, thereby increasing the public's accessibility to the virtual reality content and contributing to popularization. It is an object of the present invention to provide a possible content system and a control method thereof.
  • the present invention includes the following examples in order to achieve the above object.
  • the first-person virtual reality content screen executed by the client terminal executing the virtual reality content and transmitting the content data according to the motion and operation command of the HMD user is selected as either the first person or the third person.
  • a server outputting the display and a plurality of visitor terminals requesting participation in the content of the client terminal and generating and transmitting content data including at least one of a motion detection and manipulation signal of the body to the server, wherein the server includes a visitor.
  • the content data of the terminal is fused to the content data of the client terminal and transmitted to the client terminal, and the content progress process according to the interaction between the visitor terminal and the client terminal received from the client terminal is displayed through the main display.
  • HMD type to output to one content execution screen Interaction between a plurality of the public can provide virtual reality systems available content.
  • the present invention can be progressed by the interaction between the HMD user (HEAD MOUNTED DISPLAY USER) and a plurality of visitors in the demonstration process of the virtual reality content can improve the accessibility by inducing the interest and participation of the visitors, This has the effect of creating a new business model.
  • HMD user HEAD MOUNTED DISPLAY USER
  • the present invention utilizes a low-cost, easy-to-operate device that allows multiple visitors to simultaneously access a new leisure culture that combines multi-party interaction, active experience in various fields, science and entertainment. It has the effect of making it experience.
  • FIG. 1 is a view for explaining an overview of a virtual reality content system and a control method capable of interacting between a HMD user and a plurality of ordinary people according to the present invention.
  • FIG. 2 is a block diagram illustrating a virtual reality content system capable of interacting between an HMD user and a plurality of members of the present invention.
  • FIG. 3 is a perspective view showing an example of a movable container of the present invention.
  • FIG. 4 is a diagram illustrating an example of a main display and a screen of the present invention.
  • FIG. 5 is a block diagram showing a fixed terminal of the present invention.
  • FIG. 6 is a block diagram illustrating a mobile terminal of the present invention.
  • FIG. 7 is a block diagram illustrating a server and a main display of the present invention.
  • FIG. 8 is a block diagram showing a setting unit of the present invention.
  • FIG. 9 is a flowchart illustrating a control method of a virtual reality content system capable of interacting between an HMD user and a plurality of members of the present invention.
  • step S110 in the present invention.
  • step S120 is a flowchart illustrating step S120 in the present invention.
  • step S200 is a flowchart illustrating a first embodiment of step S200 in the present invention.
  • step S200 is a flowchart illustrating a second embodiment of step S200 in the present invention.
  • step S200 is a flowchart illustrating a third embodiment of step S200 in the present invention.
  • FIG. 1 is a view for explaining an overview of a virtual reality content system capable of interacting between a HMD user and a plurality of ordinary people according to the present invention and a control method thereof, and FIG. A block diagram showing a virtual reality content system that can be operated.
  • the present invention transmits a client terminal 500 executing virtual reality content, a visitor terminal 200 operated by a visitor, and a client terminal 500 and a visitor terminal 200.
  • the main display 400 for outputting a content screen implemented by the interaction between the server 100 and the client terminal 500 and the visitor terminal 200, and the client terminal 500 and / or
  • the sub display 300 outputs a screen of the main display 400.
  • the present invention converts the screen of the first-person virtual reality content of the HMD user (HEAD MOUNTED DISPLAY USER) wearing the virtual reality equipment to the third person to output to the main display 400 installed in the public place, inducing viewers to participate To proceed with the HMD user (HEAD MOUNTED DISPLAY USER).
  • the viewers may view the screen of the virtual reality content executed by the HMD user by the client terminal 500, and the viewer terminal 200 (the fixed terminal 210 and / or which may sense a motion and / or an operation command).
  • the mobile terminal 220 enables the HMD user (HEAD MOUNTED DISPLAY USER) to participate in running virtual reality content (eg, 3D virtual reality game).
  • the main display 400 installed in the public place is preferably installed on the outer wall of the building 700 (see FIG. 4) constructed by the modular method.
  • the modular method is a technique generally known in that a plurality of prefabricated buildings 700 and the like are assembled to complete one building 700.
  • the prefabricated building 700 has been proposed in various structures, but in the present invention, the prefabricated container 70 will be described as an example.
  • the sub display 300 is installed in a plurality of rooms indoors.
  • the sub display 300 may be connected to each client terminal 500 and output the same screen as that of the client terminal 500.
  • the sub display 300 may output the same screen as the main display 400 for the viewers located in a plurality of rooms.
  • the visitor terminal 200 transmits an operation signal and / or a motion detection signal of the viewers who wish to participate in the content output from the main display 400 to the server 100 by wire or wireless communication.
  • the client terminal 500 corresponds to, for example, a terminal worn and / or operated by a HMD user (HEAD MOUNTED DISPLAY USER) as a device for virtual reality (eg, HEAD MOUNTED DISPLAY). Since the client terminal 500 corresponds to a known virtual reality equipment, a detailed description thereof will be omitted.
  • the server 100 maps the content data received from the plurality of visitor terminals 200 to the content executed in the client terminal 500, and transmits the content data to the client terminal 500, and the content received from the client terminal 500.
  • the screen is output to the main display 400 and / or the sub display 300 as a third person or first person screen.
  • the server 100 outputs the screen of the main display 400 as the third person screen if the game is one-to-many, and outputs the main display 400 as the first-person view if the game is one-to-one. can do.
  • the client terminal 500 determines that the visitor terminals 200 received from the server 100 determine a character's motion according to motion and / or manipulation, and a character's motion and reaction according to the motion and / or manipulation of the HMD user. The result can be transmitted to the server 100.
  • the content data of the client terminal 500 transmitted to the server 100 is different from the content screen and the character of the visitor terminal 200, the character of the client terminal 500, the motion between each character, and the motion between the characters. It may include.
  • the execution subject of the content and the subject determining the result according to the motion and / or manipulation of the visitor terminals 200 and the client terminal 500 may be selected from the client terminal 500 and the server 100. .
  • the client terminal 500 and the server 100 may determine whether to proceed with the content depending on whether or not the algorithm (for example, data mapping, result determination, and graphics) for processing the content is loaded.
  • the algorithm for example, data mapping, result determination, and graphics
  • the server 100 maps the content data of the visitor terminals 200 and the client terminal 500 to the result and determines the result to the main display 400. And / or output the screen to the sub display 300 and transmit the result to the client terminal 500.
  • the server 100 maps the content data of the visitor terminals 200 to the client terminal 500, and transmits the content data to the client terminal 500, and the determination result received from the client terminal 500 is determined.
  • the included content data is controlled to be output to the main display 400 and / or the sub display 300.
  • the visitor terminal 200 performs wired / wireless communication with the server 100 so that visitors who watch the content execution process of the client terminal 500 output to the main display 400 and / or the sub display 300 can directly participate in the game. It transmits the motion and / or operation signal of the viewers to the server (100).
  • the visitor terminal 200 may be selected from a fixed terminal 210 and a portable and / or wearable mobile terminal 220 fixed at a predetermined position or may be a combination of the fixed terminal 210 and the mobile terminal 220. Can be done.
  • the fixed terminal 210 generates game data by extracting the motion of the viewers through the image.
  • the detailed structure is mentioned later.
  • the mobile terminal 220 may be connected to at least one of an operation console for transmitting an operation signal by a visitor's operation, a sensor terminal equipped with a body, and a sensor for detecting motion, or a portable communication device (smartphone, PDA, tablet PC). This may be the case.
  • the fixed terminal 210 and the mobile terminal 220 may generate and / or select a desired character through a content screen provided from the server 100.
  • Such character-related image data may be stored in the server 100 or provided in the client terminal 500.
  • the main display 400, the fixed terminal 210 and the mobile terminal 220 has been described as being installed outdoors, but is not limited thereto. That is, in the present invention, the main display 400 may be composed of a large transparent electronic signboard in which a plurality of transparent electronic signs are combined at a designated location in the room, or may be implemented as a single large transparent electronic sign board. Similarly, the mobile terminal 220 and the fixed terminal 210 may also communicate with the server 100 within a set area of the main display 400 installed indoors.
  • Figure 3 is a perspective view showing an example of the prefabricated container of the present invention
  • Figure 4 is a view showing an example of the main display and the screen of the present invention.
  • the main display 400 according to the present invention is, for example, a prefabricated container 70 applied to a modular construction method in which a plurality of pieces are assembled to complete one building 700. Can be configured.
  • the transparent display board 411 may be configured as a light emitting plate mounted so that a plurality of light emitting devices emit light by a power source applied from a patterned wiring in the transparent electrode, and a plurality of cover plates adhered to the light emitting plate as a resin. . It is preferable that a plurality of cover plates are made of a pair of glass structures to enable insulation and noise shielding.
  • the main display 400 having a large size may be formed by a combination of the plurality of transparent display plates 411 to 414. Can be implemented.
  • Such a configuration of the main display 400 has been described as being located on the outdoor side for example, but may also be installed on the indoor side.
  • the sub display 300 outputs a screen of the client terminal 500 and / or the main display 400 inside the building 700 completed by assembling the prefabricated container 70 as described above.
  • the present invention serves to serve the screen of the client terminal 500 and / or the screen of the main display 400 located indoors of the modular building 700 completed by the plurality of prefabricated containers 70. It may be confirmed through the display 300.
  • the fixed terminal 210 will be described with reference to FIGS. 4 and 5.
  • FIG. 5 is a block diagram showing a fixed terminal of the present invention.
  • the fixed terminal 210 of the present invention is a terminal fixed to monitor an area set in front of the main display 400 as shown in FIG. 4.
  • the fixed terminal 210 includes a camera 212 for capturing an image of a set area, a motion detector 213 for extracting motion of an image captured by the camera 212, and an object of the captured image.
  • the object setting unit 214 for extracting and setting the control unit, the fixed control unit 211 for generating content data of the visitor terminal 200 including the motion detection signal, and the server 100 under the control of the fixed control unit 211.
  • a fixed communication unit 215 for transmitting the content data.
  • the camera 212 photographs the spectators A located in the area set in front of the main display 400 under the control of the fixed controller 211 and outputs the photographs to the motion detector 213.
  • the object setting unit 214 sets and extracts an object from an image captured by the camera 212 under the control of the fixed controller 211.
  • the motion detector 213 detects the motion of the object set by the object setting unit 214 and outputs the motion to the fixed controller 211.
  • the motion detector 213 compares the previous image frame with the current image frame in the image of the visitor A captured by the camera 212, and determines whether the object is set in the object setting unit 214. Can be determined.
  • the fixed controller 211 controls the object setting unit 214 to classify the object of the captured image and controls the motion detector 213 to detect the motion of the double set object. do.
  • the fixed controller 211 is a goalkeeper and the visitor A manipulates the character 500 'operated by the client terminal 500.
  • the character to say is set as the opponent's attacker. Therefore, when the visitor A is located at a position set in front of the character 500 'of the client terminal 500 output to the main display 400, the fixed terminal 210 moves and speeds of the visitor A's feet. Detects and generates content data.
  • the fixed terminal 210 detects the motion of the visitor A from the virtual reality content output on the main display 400, and calculates content data (eg, speed, direction, and position) to the server 100. Send.
  • content data eg, speed, direction, and position
  • the mobile terminal 220 is a terminal that is worn or portable on the body of the visitor A and transmits the content data by sensing the sensor and a sensor according to the manipulation to the server 100.
  • the mobile terminal 220 will be described with reference to FIGS. 4 and 6.
  • FIG. 6 is a block diagram illustrating a mobile terminal 220 of the present invention.
  • the mobile terminal 220 may provide a mobile communication unit 222 communicating with the server 100, a mobile sensor unit 223 detecting a visitor's motion, and an operation command through a plurality of key panels. And a mobile controller 221 for controlling the mobile operator 224 to output the mobile operator 222 to the mobile operator 224.
  • the mobile communication unit 222 communicates wirelessly with the server 100 and / or the fixed terminal 210. For example, the mobile communication unit 222 transmits the content data including the motion detection data of the visitor to the server 100 under the control of the mobile control unit 221.
  • the mobile sensor unit 223 detects a position and a motion of a body part (eg, an arm, a leg, a neck) of the visitor A and outputs the detected motion to the mobile controller 221.
  • a body part eg, an arm, a leg, a neck
  • the mobile manipulation unit 224 outputs a manipulation command by a viewer's manipulation as one of a joystick, a key panel, a mouse, and / or a touch screen.
  • the mobile terminal 220 may correspond to at least one of a game console, a wearable sensor, and a portable communication device (smartphone, PDA, tablet PC).
  • a game console a wearable sensor
  • a portable communication device smarttphone, PDA, tablet PC
  • the content data of the viewer is generated by the combination of the mobile terminal 220 and the fixed terminal 210 and transmitted to the server 100.
  • the fixed terminal 210 detects the gesture or position of the visitor through the captured image of the camera 212, and the mobile terminal 220 is worn on the body of the visitor A to sense the direction and speed. .
  • the server 100 generates content data corresponding to the position, direction, and speed of the viewer through the motion detection signals of the fixed terminal 210 and the mobile terminal 220 to map the content data of the client terminal 500. Play a mutual game.
  • the client terminal ( 500) motion data (eg, direction and speed) at the time of hitting the character can be generated.
  • the server 100 and the main display 400 will be described with reference to FIGS. 4, 7, and 8.
  • FIG. 7 is a block diagram showing a server and a main display of the present invention
  • FIG. 8 is a block diagram showing a setting unit of the server.
  • the server 100 of the present invention is a server communication unit 120 for communicating with the visitor terminal 200 (fixed terminal 210 and / or mobile terminal 220) and the client terminal 500 ),
  • the setting unit 130 for setting the number and priority of the accessible visitor terminal 200 and the client terminal 500, the content data of the client terminal 500 and the content data of the visitor terminal 200 are integrated.
  • a mapping unit 140 for mapping to one content screen, a database 150 storing content executed in the client terminal 500, an audio output unit 170 for outputting sound, and a main display 400. It includes a display driver 160 for driving control.
  • the server communication unit 120 communicates with the client terminal 500 and the visitor terminal 200 as wired and / or wireless.
  • the server communication unit 120 receives the content data of the client terminal 500 and the content data of the visitor terminal 200 under the control of the server control unit 110 and outputs the content data to the server control unit 110.
  • the setting unit 130 includes a limit setting module 131 for limiting connection of the visitor terminal 200, a main display 400, and a number of viewer terminals 200 that can be simultaneously connected.
  • the display control module 132 divides and controls the screen of the sub display 300, and the priority setting module 133 gives priority to the visitor terminal 200.
  • the limit setting module 131 limits the number of viewer terminals 200 that can be simultaneously connected according to the set connection condition. For example, the limit setting module 131 restricts the access of other visitor terminals 200 in addition to the seven visitor terminals 200 currently connected when the number of the maximum accessible visitor terminals 200 is seven.
  • the display control module 132 divides the screen of the main display 400 and / or the sub display 300 into at least two or more. For example, if the display control module 132 has two client terminals 500, the display terminal 200 divides the main display 400 into two screens, and the visitor terminal 200 connected to each client terminal 500 outputs a character. do.
  • the ranking setting module 133 sets the connection and / or execution priority of the visitor terminals 200. For example, in the case of a soccer game, if the character of the client terminal 500 is the goalkeeper, the visitor terminal 200 is set to 10 field players.
  • the order of shooting 10 characters is automatically set according to the priority of the ranking setting module 133.
  • the ranking setting module 133 may set priorities according to the access request time zone, for example, to the viewer terminals 200 waiting to be connected in addition to the character currently connected according to the restriction condition of the simultaneous connection.
  • the mapping unit 140 maps the content data of the visitor terminal 200 to the content data of the client terminal 500.
  • the mapping unit 140 maps the content data of the visitor terminals 200 to the content data including the motion and the position of the client terminal 500.
  • the content data mapped by the mapping unit 140 is transmitted to the client terminal 500.
  • the database 150 includes a limit setting condition, unique identification information of the client terminal 500 and the visitor terminal 200, execution information of content, identification information of registered client terminals 500, sound, and text. Guidance messages may be included. Alternatively, separate advertisement content may be stored.
  • the LED driver 160 drives the main display 400 by sequentially and / or collectively controlling the plurality of LEDs 411.
  • the main display 400 may include a plurality of electronic signs 411 to 414 and a plurality of controllers 421 to 424 for driving control of each of the electronic signs 411 to 414.
  • the electronic signs 411 to 414 correspond to the main display 400 and / or the sub display 300 forming one wall of the prefabricated container 70.
  • the server controller 110 When the server controller 110 receives the content data of the client terminal 500 and the visitor terminal 200 received through the server communication unit 120, the server controller 110 drives the mapping unit 140 to fuse both data and the client terminal 500. To send). In addition, the server controller 110 controls the signboard driver 160 to output the content screen received from the client terminal 500 through the main display 400.
  • the client terminal 500 outputs the first-person screen, and the screen output on the main display 400 is output as the third-person or first-person view.
  • the server controller 110 may selectively convert the screen of the main display 400 among first-person or third-person screens according to content contents.
  • the server controller 110 controls the limit setting module 131 and the rank setting module 133 when the setting unit 130 detects a restriction condition, and the visitor terminal 200 connected through the server communication unit 120. Restrict access
  • the server controller 110 may sequentially open or block a communication channel according to priorities set for each visited visitor terminal 200.
  • the server controller 110 may grant the priority to the waiting visitor terminals 200 according to the access request time, thereby allowing access sequentially.
  • the server controller 110 drives the display control module 132 according to the number of client terminals 500 requested to be connected through the server communication unit 120.
  • the display control module 132 drives the LED driver 160 to divide the screen according to the number of the client terminal 500.
  • the server controller 110 controls the sound output unit 170 to set the sound according to the screen of the main display 400, the sound according to the character-specific motion of the client terminal 500 and the visitor terminal 200,
  • the sound output unit 170 may be controlled to output a voice message sheet or the like stored in the database 150.
  • the present invention can provide a control method of a virtual reality content system capable of interacting between a HMD user (HEAD MOUNTED DISPLAY USER) and a plurality of ordinary people through the above configuration. This will be described with reference to FIGS. 9 to 14.
  • FIG. 9 is a flowchart illustrating a control method of a virtual reality content system capable of interacting between an HMD user and a plurality of members of the present invention.
  • the present invention is a step S100 of the visitor terminal 200 that detects the motion and / or manipulation of the visitor terminal 200 detected from the fixed terminal 210 and the mobile terminal 220, and the server 100.
  • Step S200 of mapping the content data received from the visitor terminals 200 and the client terminal 500 to the main display 400 and the sub display 300, and executing the selected content from the client terminal 500.
  • the HMD user wears its own client terminal 500 (for example, HMD) in step S310, and selects the content.
  • the content selection signal is transmitted to the server 100.
  • the HMD user HEAD MOUNTED DISPLAY USER operates the client terminal 500 to execute the content in step S320.
  • the client terminal 500 generates and transmits the content data which detects the operation and the motion of the HMD user (HEAD MOUNTED DISPLAY USER) to the server 100.
  • the server 100 outputs the content data received from the client terminal 500 to the main display 400 in step S200.
  • the server 100 may control to output the content data of the client terminal 500 by driving the sub display 300.
  • the main display 400 outputs the content screen of the client terminal 500 in step S410.
  • the content screen of step S410 is a screen obtained by converting the screen of the first-person view output from the client terminal 500 (for example, the HMD) to the third-person view.
  • the main display 400 may output the content screen of the client terminal 500 to attract the viewers.
  • the server 100 may output a voice message for inducing game participation with the client terminal 500 through the sound output unit 170.
  • the server 100 may output a text message to induce the visitor's participation through the main display 400.
  • step S100 the outdoor viewers check the content screen output through the main display 400, and move to the set area as shown in FIG. 4 to the fixed terminal 210 and / or the mobile terminal 220.
  • the game proceeds with the character 500 'of the client terminal 500 output to the main display 400 by using.
  • the server 100 maps the content data received from the client terminal 500 and the plurality of spectator terminals 200 in step S200 and outputs the same through the main display 400 and the sub display 300.
  • the step S100 includes a step S110 of detecting a visitor's manipulation and / or motion in the mobile terminal 220 and a step S120 of detecting a visitor's motion in the fixed terminal 210.
  • S110 is described with reference to FIG. 10 and S120 with reference to FIG. 11.
  • step S110 in the present invention.
  • step S110 is a step S111 in which the mobile terminal 220 is turned on, a step S112 for confirming a motion and / or input operation command of the viewer, and a motion and / or operation command detected in step S112. And converting the set format and transmitting the converted format to the server 100.
  • Step S111 is a step in which the mobile terminal 220 is turned on after being worn on the visitor's body or powered on by the visitor's manipulation.
  • the mobile terminal 220 may be selected from at least one of a wearable sensor that can be worn on the body and detects motion, a portable communication device such as a smartphone, a PDA, and a tablet PC, and a wireless communication terminal such as an operation console. Can be.
  • the motion of the visitor's body (for example, at least one of a hand, an arm, and a leg) is detected and wirelessly transmitted to the server 100.
  • the portable communication device is any one selected from, for example, a smartphone, a PDA, and a tablet PC.
  • the portable communication device receives and executes an application capable of inputting an operation command of content transmitted from the server 100 to execute the above-described client terminal 500. ) Can participate in the content.
  • the application installed in the portable communication device may be configured with a menu to input a participation command of content, generation and / or selection of a participating character, and an operation command for controlling the motion of the character.
  • the operation console inputs a command to control the motion through the mobile manipulation unit 224, and allows the character display to be generated and / or selected through the main display 400.
  • the mobile terminal 220 includes a sensor for detecting motion with at least one of a portable communication device, a wearable sensor, and an operation console, and at least one of a mobile operation unit 224 capable of inputting an operation command and selecting a menu. You can enter the detection and / or manipulation commands.
  • the mobile terminal 220 may generate and / or select its own character.
  • step S112 the mobile terminal 220 receives a motion and / or manipulation command of a visitor.
  • a visitor wearing a wearable sensor is a goalkeeper who protects a soccer goal, and if he is a player who scores a goal, he takes a motion to kick a soccer ball. . Therefore, the mobile sensor unit 223 detects this and outputs it to the mobile control unit 221.
  • the visitor using the operation console or the smartphone may input the shooting command by operating the mobile operation unit 224.
  • the mobile control unit 221 checks whether the motion detection or operation command is input from the mobile sensor unit 223 and / or the mobile operation unit 224.
  • step S113 the mobile control unit 221 transmits the content data including the motion detection signal and the operation command input from the mobile sensor unit 223 or the mobile operation unit 224 to the server 100.
  • the mobile controller 221 generates and transmits the content data including the motion detection signal and / or operation command of the mobile sensor and the unique identification information to the server 100.
  • the transmitted content data is mapped to the content data of the client terminal 500.
  • Step S120 is a process of generating content data in the fixed terminal 210, which will be described with reference to FIG.
  • step S120 is a flowchart showing the step S120.
  • the camera 212 is turned on in the fixed terminal 210 to photograph the viewers located in the area set in front of the main display 400.
  • the fixed control unit 211 photographs an area set by turning on the camera 212.
  • the fixed terminal 210 is turned on according to a command input from the control of the server 100 or a separate operation key panel.
  • the on or off operation of the fixed terminal 210 can be applied to a known technique in general, and a detailed description thereof has been omitted.
  • the fixed controller 211 outputs an image captured by the camera 212 to the object setting unit 214 to classify and set an object included in the captured image.
  • the object setting unit 214 may selectively set the motion detection target object for each content.
  • the object setting unit 214 sets the feet and legs of the body as a target object in the case of a soccer game, and sets the objects as hands, legs, neck, torso and head in the case of a fighting game.
  • the object setting unit 214 extracts a set object from the image photographed by the camera 212 under the control of the fixed controller 211 and sets a motion detection target object.
  • the motion detector 213 is driven under the control of the fixed controller 211 to detect the motion of the object set in the captured image.
  • the motion detector 213 detects the motion of the set object by comparing the frames in each image and outputs a detection signal to the fixed controller 211.
  • step S124 the fixed control unit 211 generates and transmits content data combining the motion detection signal of the motion detection unit 213 and the unique identification information to the server 100.
  • the fixed control unit 211 converts the set unique identification information and the motion detection signal of the motion detection unit 213 into data of a set format.
  • the fixed controller 211 controls the fixed communication unit 215 and transmits the converted data to the server 100.
  • the server 100 stores the content data generated by driving the client terminal 500 in steps S310 and S320 described above, and driving the mobile terminal 220 in steps S110 and / or S120, respectively.
  • the content screen of the first or third person view is output to the main display 400. Operation S200 will be described with reference to FIGS. 12 to 14.
  • step S200 is a flowchart illustrating a first embodiment of step S200 of the present invention.
  • step S200 includes step S211 of receiving a connection request signal from the client terminal 500 and step S212 of receiving and outputting content data of the client terminal 500 to the main display 400.
  • step S213 to determine whether the visitor terminal 200 participates S214 for forming a communication channel with the visitor terminals 200 that have been applied for participation, and content data and content received from the channel generated in step S214.
  • step S215 of mapping the screen to the main display 400 and the client terminal 500 and outputting the screen to the main display 400 are included.
  • the server controller 110 receives a connection signal of the client terminal 500 through the server communication unit 120.
  • the client terminal 500 executes the content selected by the operation of the HMD MOUNTED DISPLAY USER.
  • the client terminal 500 transmits a connection request signal to the server 100 including the unique identification information.
  • the server communication unit 120 receives the connection request signal from the client terminal 500 and outputs the server control unit 110.
  • the server controller 110 checks the unique identification information by receiving the access request signal of the client terminal 500 and checks whether the client terminal 500 is present. If the set client terminal 500 is correct, the server controller approves the connection.
  • the server controller 110 receives content data from the client terminal 500 and outputs a content screen to the main display 400.
  • the client terminal 500 executes the selected content and executes the data of the executed content (for example, background and character information, unique identification information for each content, character information, and motion of the HMD user (HEAD MOUNTED DISPLAY USER)). , Sound and text messages).
  • the server controller 110 outputs the display driver 160 to output the content data of the client terminal 500 received through the server communication unit 120 on the screen of the main display 400 and / or the sub display 300. Drive it.
  • the display board driver 160 selectively controls a plurality of display boards 411 to 414 constituting the main display 400 to output the selected content (eg, a game) screen on the client terminal 500.
  • each of the controllers 421 to 424 controls each of the electronic plates 411 to 414 to be connected to output a predetermined screen. That is, the main display 400 outputs the content screen of the client terminal 500 by the combination of the electronic display boards 411 to 414.
  • each of the light emitting plates 411 to 414 corresponds to a transparent light emitting plate on which a light emitting transparent plate (not shown) and a cover transparent plate (not shown) on which the light emitting devices are mounted are coupled by resin.
  • the server controller 110 determines whether the participation request signal is received from the visitor terminal 200.
  • the visitor terminal 200 that can request participation is preferably set the number and order.
  • the server controller 110 may control the signboard driver 160 and the sound output unit 170 to output a game participation guided voice and / or text message through the main display 400 and / or the sub display 300. Can be.
  • the visitor checks the message output through the main display 400 and requests participation in the game with the client terminal 500 using the fixed terminal 210 and / or the mobile terminal 220. Accordingly, the fixed terminal 210 and the mobile terminal 220 transmit the participation request signal including the unique identification information to the server 100, respectively.
  • step S214 the server 100 forms a communication channel with the visitor terminals 200 transmitting the participation request signal.
  • the server control unit 110 selectively forms a channel with the visitor terminals 200 corresponding to the restriction and priority conditions set by the setting unit 130 to receive content data including motion detection and operation signals. .
  • the visitor terminal 200 transmits the content data including the motion detection and / or manipulation signal through the above-described step S100.
  • step S215 the content data received from the visitor terminals 200 may be mapped to the content data of the client terminal 500 and output to the main display 400 and / or the sub display 300.
  • the mapping refers to a convergence of a motion or an operation between the client terminal 500 and the visitor terminal 200 and expressed on one content screen. That is, the server controller 110 controls the mapping unit 140 so that the client terminal 500 and the visitor terminal (the client terminal 500 and the visitor terminal) on the main display 400 according to the motion detection and manipulation commands of the client terminal 500 and the visitor terminal 200. Express the character of 200).
  • step S100 the fixed terminal 210 and / or the mobile terminal 220 detects a motion shot by a visitor and transmits it to the server 100.
  • the server 100 maps the shooting motion (direction and speed) of the viewer terminal 200 to the content screen and transmits the mapping motion to the client terminal 500. Then, the HMD user (HEAD MOUNTED DISPLAY USER) checks the direction and speed of the ball shot by the viewers through their display, and takes a motion to defend it.
  • the client terminal 500 detects the motion of the HMD user as described above and transmits the same to the server 100.
  • the server controller 110 maps the above-mentioned content data to determine the results of the shooting of the visitor terminal 200 and the defense of the client terminal 500.
  • the server controller 110 controls the signboard driver 160 to output content data mapped to the main display 400.
  • the server controller 110 outputs the result according to the motion of the client terminal 500 and the visitor terminal 200 to the main display 400 and / or the sub display 300.
  • the server controller 110 provides the same screen to the client terminal 500 through the server communication unit 120.
  • the present invention allows the public to view the content screen output through the main display 400 installed in an open place to the general public nearby, and visitors with the game HMD user (HEAD MOUNTED DISPLAY USER) wearing a virtual reality equipment You can proceed.
  • HMD user HEAD MOUNTED DISPLAY USER
  • HMD user HEAD MOUNTED DISPLAY USER
  • the general public can enjoy contents while communicating with the general public in an open space, not in an isolated space, so that it is possible to test new business models and diagnose and supplement problems through them.
  • the general public can experience the virtual reality content using the easy-to-operate spectator terminal 200, thereby making it easy to access the virtual reality content.
  • Such improved accessibility of the general public may be the first step to enable popularization of virtual reality contents.
  • a plurality of spectator terminals 200 may simultaneously participate in content or sequentially participate in accordance with a set priority. This will be described with reference to FIG. 13.
  • step S200 is a flowchart illustrating a second embodiment of step S200 in the present invention.
  • the second embodiment of step S200 is to selectively limit the visitor terminals 200 simultaneously connected for each content and set the priority. More specifically, a second embodiment of step S200 includes setting a condition for each content, step S221, counting participating terminals, step S222, determining whether the set condition corresponds to step S223, and requesting participation by set priority. And a step S224 of sequentially forming channels with the visitor terminals 200.
  • Step S221 is a step of setting and registering the condition for each content.
  • the administrator may set the number of visitor terminals 200 that can be connected to the client terminal 500 to one, and in the case of a dancing game, a plurality of games.
  • the server controller 110 drives the setting unit 130 to register it.
  • step S222 the server controller 110 counts the number of the visitor terminals 200 transmitting the participation request signal. For example, the server controller 110 counts the number of viewer terminals 200 requesting participation in step S213 of the first embodiment.
  • step S223 the server controller 110 determines whether the number of the visitor terminals 200 requested to participate corresponds to a setting condition. For example, when the simultaneous access restriction condition registered by the setting unit 130 is 2, the server control unit 110 transmits the participation request signal in the following order in addition to the first visitor terminal 200 that requested the access. It is determined whether or not (200).
  • Step S224 is a step of sequentially forming channels by assigning priorities in chronological order to the visitor terminals 200 corresponding to the set simultaneous access restriction conditions identified in step S223.
  • the server controller 110 restricts access of the visitor terminals 200 corresponding to the simultaneous access restriction condition registered by the limit setting module 131 of the setting unit 130. At this time, the server controller 110 forms a channel in the order in which the participation request signal is received, and drives the ranking setting module 133 to meet the simultaneous access restriction conditions except for the visitor terminals 200 in which the current channel is formed. Priority is given to the 200.
  • the ranking setting module 133 sequentially assigns priorities according to time at which the participation request signal is transmitted in addition to the currently connected visitor terminals 200.
  • the server controller 110 forms a channel sequentially with the waiting visitor terminals 200 according to the priority and approves participation of the next visitor terminals 200.
  • the third embodiment of step S200 is an embodiment in which a plurality of client terminals 500 are connected to implement a plurality of contents at the same time.
  • the third embodiment of step S200 includes step S231 of receiving a connection request signal from the client terminal 500, step S232 of determining whether the number of the client terminal 500 requested to be connected is two or more, and accessing the terminal.
  • step S231 the server controller 110 receives a connection request signal of the client terminal 500 from the server communication unit 120.
  • the client terminal 500 transmits a connection request signal to the server 100 through step S310 described above.
  • step S232 the server controller 110 checks the number of client terminals 500 that transmit a connection request signal.
  • the client terminal 500 may select two or more different contents or the same contents to transmit the access request signal to the server 100.
  • the limit setting module 131 may limit the number of client terminals 500 that can be simultaneously connected, and the rank setting module 133 is limited by the limit setting module 131 and is waiting for the client terminal 500. It is also possible to prioritize them.
  • a group channel for each client terminal 500 may be generated to group the visitor terminals 200 that may participate in content for each client terminal 500.
  • the server controller 110 may include a visitor terminal that transmits a participation request signal for content of the first client terminal when a connection request signal is received from the first client terminal 500 and the second client terminal 500.
  • the first group channel 200 to which communication is connected and the second terminal channel to which the visitor terminal 200 which transmits a participation request signal for content of the second client terminal 500 are connected to each other.
  • the server controller 110 controls the signboard driver 160 to divide the screen of the main display 400 to output a content screen for each client terminal 500.
  • the display driver 160 selectively drives each controller according to the number of split screens.
  • the electric sign driver 160 may include the first electric sign 411 and the second electric sign 412. ) May be divided into a first screen, a third electric sign 413, and a fourth electric sign 414 into a second screen. This may be achieved as the sign driver 160 selectively controls the first to fourth controllers 421 to 424.
  • the server controller 110 controls the mapping unit 140 to map the received content data for each channel group and output the same through the divided screen of the main display 400.
  • the mapping unit 140 maps the content data of the visitor terminals 200 received through the first channel group and transmits the content data to the first client terminal 500, and then in the first client terminal 500.
  • the received content data is checked and output to one of the screens divided in the main display 400.
  • mapping unit 140 maps the content data of the visitor terminals 200 received through the second channel group and transmits the content data to the second client terminal 500, and then the content received by the second client terminal 500.
  • the data is checked and output to one of the screens divided on the main display 400.
  • the sub display 300 may provide a divided screen for each client terminal 500 or output only a content screen for each client terminal 500. That is, the plurality of sub displays 300 may be installed in the interior of the building 700 in which the prefabricated containers 70 are stacked.
  • the plurality of sub displays 300 may be connected to the client terminal 500 to output a screen output from each client terminal 500, or any one of the screens divided from the main display 400 may be output as a full screen. Can be. In addition, the plurality of sub displays 300 may output a screen divided in the same manner as the main display 400.
  • the present invention enables the creation of various types of business models as the interaction between the HMD user located in an isolated place and a plurality of ordinary people in an open place is possible.
  • the present invention provides a terminal and a method for easy operation to the general public, so that virtual reality content can be enjoyed at a lower cost than in the related art, and thus accessibility can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템을 개시한다. 본 발명은 서버에 클라이언트 단말의 컨텐츠에 참여를 요청하고, 신체의 모션 감지 및 조작 신호중 적어도 하나가 포함된 컨텐츠 데이터를 생성하여 서버로 송신하는 복 수개의 관람객 단말을 포함하고, 서버는 관람객 단말의 컨텐츠 데이터를 상기 클라이언트 단말의 컨텐츠 데이터에 융합시켜 개방된 장소에 위치된 메인 디스플레이에 컨텐츠의 진행과정을 출력하기에 HMD 유저와 복수의 관람객들간의 상호작용이 가능함에 따라 현실과 가상의 공간이 융합된 새로운 비즈니스 모델을 창출할 수 있는 효과가 있다.

Description

HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
본 발명은 대형 전광판을 통하여 출력된 가상현실 컨텐츠를 관람하는 관람객들이 HMD 유저저(HEAD MOUNTED DISPLAY USER)와와 상호작용(INTERACTION)이 가능하여 가상현실 컨텐츠에 대한 접근성을 높여 대중화에 기여할 수 있는 HMD 유저(HEAD MOUNTED DISPLAY USER)와 복수의 일반인들간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법에 관한 것이다.
최근, IT 기술이 급속도록 발전하면서 영상기술과 각종 센서기술과 접목된 3D 가상현실에 대한 관심이 높아지고 있다.
이와 같은 3D 가상현실은 특히 영화나 게임과 같은 엔터테인먼트 분야에 접목을 위한 다양한 시도가 이루어지고 있으며, 컴퓨터를 기반으로 동작하는 가상 현실프로그램을 통해 사용자의 동작을 인식하고 특정 상황을 영상처리부를 통해 출력함으로 컨텐츠에 참여할 수 있도록 한다.
하지만, 기존 3D 가상현실 시스템의 경우 착용형 모니터를 비롯하여 각종 센서들이 유선연결을 통해 컴퓨터와 연결되었으며, 이는 각종 케이블로 인한 움직임의 제한과 더불어 컨텐츠에 대한 현실감 및 몰입도를 떨어뜨리는 요인으로 작용하였다. 특히 가상현실의 현실적 요구가 높아짐에 따라 출력되는 영상 및 음향의 품질이 높아지고, 음성, 위치, 동작을 감지하기 위한 센서의 수가 증가함에 따라 각종 유선 케이블의 사용도 증가하였으며, 하나의 가상현실을 복수의 인원이 참여하고자 할 경우 제한된 공간 내에서 사용자의 움직임을 심각하게 제한하게 되는 문제가 야기되었다.
따라서, 종래에는 상기와 같은 문제점을 해결하기 위한 기술이 다수 제안되었으나, 기본적으로 1인칭 시점의 컨텐츠임에 따라 현실과 고립된 공간의 매니아들을 양산하는 결과를 초래하게 되는 문제점이 있었다.
또한, 종래의 가상현실 컨텐츠는, 예를 들면, 1인칭 게임 위주로 출시됨에 따라 HMD(HEAD MOUNTED DISPLAY)와 같은 고가의 장비가 필요하고, 조작이 어렵기 때문에 대중화가 늦어지는 문제점이 있었다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 HMD 유저(HEAD MOUNTED DISPLAY USER)와 복수의 일반인들 간에 상호작용(INTERACTION)이 가능하여 가상현실과 실제 공간을 연결할 수 있는 가상현실 컨텐츠 시스템 및 그 제어방법을 제공함에 있다.
또한, 본 발명은 제작 및 설치 비용이 저렴하고, 조작이 간단하여 가상현실 컨텐츠의 대중화에 기여할 수 있는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 개방된 공간에서 가상현실 컨텐츠 화면의 관람 및 시연으로 관람객들의 관심을 유도하여 가상현실 컨텐츠에 대한 일반인들의 접근성을 높여 대중화에 기여할 수 있는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 컨텐츠 시스템 및 그 제어방법을 제공하는 것을 목적으로 한다.
본 발명은 상기와 같은 목적을 달성하기 위하여 하기와 같은 실시예를 포함한다.
본 발명의 바람직한 실시예는, 가상현실 컨텐츠를 실행하고, HMD 유저의 모션 및 조작명령에 따른 컨텐츠 데이터를 송신하는 클라이언트 단말에서 실행된 1인칭 가상현실 컨텐츠 화면을 1인칭과 3인칭중 어느 하나로 메인 디스플레이에 출력하는 서버와, 클라이언트 단말의 컨텐츠에 참여를 요청하고, 신체의 모션 감지 및 조작 신호중 적어도 하나가 포함된 컨텐츠 데이터를 생성하여 서버로 송신하는 복 수개의 관람객 단말을 포함하고, 서버는 관람객 단말의 컨텐츠 데이터를 클라이언트 단말의 컨텐츠 데이터에 융합시켜 클라이언트 단말로 송신하고, 클라이언트 단말로부터 수신된 관람객 단말과 클라이언트 단말과의 상호 작용에 따른 컨텐츠 진행과정을 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행 화면으로 출력하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템을 제공할 수 있다.
따라서, 본 발명은 가상현실 컨텐츠의 시연과정에서 HMD 유저(HEAD MOUNTED DISPLAY USER)와 복수의 관람객들간의 상호작용에 의해 컨텐츠가 진행될 수 있어 관람객들의 관심과 참여를 유도하여 접근성을 향상시킬 수 있고, 이를 통하여 새로운 비즈니스 모델을 창출할 수 있는 효과가 있다.
또한, 본 발명은 비용이 저렴하고, 조작이 간편한 디바이스를 활용하여 다수의 관람객들이 동시에 접속할 수 있기에 다자간의 상호작용과, 다양한 분야에서의 능동적 체험, 과학 및 오락적 기능이 융합된 새로운 레저문화를 경험할 수 있게 하는 효과가 있다.
도 1은 본 발명에 따른 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법의 개요를 설명하기 위한 도면이다.
도 2는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템을 도시한 블럭도이다.
도 3은 본 발명의 이동식 컨테이너의 일예를 도시한 사시도이다.
도 4는 본 발명의 메인 디스플레이 및 그 화면의 일예를 도시한 도면이다.
도 5는 본 발명의 고정단말을 도시한 블럭도이다.
도 6은 본 발명의 모바일 단말을 도시한 블럭도이다.
도 7은 본 발명의 서버 및 메인 디스플레이를 도시한 블럭도이다.
도 8은 본 발명의 설정부를 도시한 블럭도이다.
도 9는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법을 도시한 순서도이다.
도 10은 본 발명에서 S110 단계를 도시한 순서도이다.
도 11은 본 발명에서 S120 단계를 도시한 순서도이다.
도 12는 본 발명에서 S200 단계의 제1실시예를 도시한 순서도이다.
도 13은 본 발명에서 S200 단계의 제2실시예를 도시한 순서도이다.
도 14는 본 발명에서 S200 단계의 제3실시예를 도시한 순서도이다.
이하, 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 구현 예 및 실시 예를 들어 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현 예 및 실시 예에 한정되지 않는다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "..부", "..부재", "..수단"의 용어는 적어도 하나의 기능이나 동작을 처리하는 구성의 단위를 의미하며, 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다
이하에서는 본 발명에 따른 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 방법을 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법의 개요를 설명하기 위한 도면, 도 2는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템을 도시한 블럭도이다.
도 1 및 도 2을 참조하면, 본 발명은 가상현실 컨텐츠를 실행하는 클라이언트 단말(500)과, 관람객들이 조작하는 관람객 단말(200)과, 클라이언트 단말(500)과 관람객 단말(200)에서 송신된 컨텐츠 데이터를 상호 맵핑하는 서버(100)와, 클라이언트 단말(500)과 관람객 단말(200)간의 상호작용에 의하여 구현되는 컨텐츠 화면을 출력하는 메인 디스플레이(400)와, 클라이언트 단말(500) 및/또는 메인 디스플레이(400)의 화면을 출력하는 서브 디스플레이(300)를 포함한다.
본 발명은 가상현실 장비를 착용한 HMD 유저(HEAD MOUNTED DISPLAY USER)의 1인칭 가상현실 컨텐츠의 화면을 3인칭으로 변환하여 공개된 장소에 설치된 메인 디스플레이(400)에 출력하여, 관람객들의 참여를 유도하여 HMD 유저(HEAD MOUNTED DISPLAY USER)와 컨텐츠를 진행할 수 있다.
즉, 관람객들은 HMD 유저가 클라이언트 단말(500)로 실행시킨 가상현실 컨텐츠의 화면을 관람할 수 있고, 모션 및/또는 조작명령을 감지할 수 있는 관람객 단말(200)(고정단말(210) 및/또는 모바일 단말(220))을 이용하여 HMD 유저(HEAD MOUNTED DISPLAY USER)가 실행중인 가상현실 컨텐츠(예를 들면, 3D 가상현실 게임)에 참여할 수 있도록 한다.
또한, 공개된 장소에 설치된 메인 디스플레이(400)는 모듈러 방식에 의하여 시공된 건축물(700, 도 4 참조)의 외벽에 설치되는 것이 바람직하다. 모듈러 방식은 다 수개의 조립식 건축물(700)등이 조립되어 하나의 건축물(700)을 완성하는 방식으로 일반적으로 공지된 기술이다. 조립식 건축물(700)은 다양한 구조물이 제안되었으나, 본 발명에서는 조립식 컨테이너(70)를 일예로서 설명한다.
서브 디스플레이(300)는 복 수개로서 실내에 설치된다. 여기서, 서브 디스플레이(300)는 클라이언트 단말(500)별로 연결되어 클라이언트 단말(500)의 화면과 동일한 화면을 출력할 수 있다. 또는, 서브 디스플레이(300)는 복 수개로서 실내에 위치된 관람객들을 위하여 메인 디스플레이(400)와 동일한 화면을 출력할 수 있다.
관람객 단말(200)은 메인 디스플레이(400)에서 출력된 컨텐츠에 참여를 희망하는 관람객들의 조작신호 및/또는 모션감지신호를 유선 또는 무선 통신방식으로 서버(100)로 송신한다.
클라이언트 단말(500)은, 예를 들면, 가상현실(VIRTUAL REALITY)용 장비(예를 들면, HEAD MOUNTED DISPLAY)로 HMD 유저(HEAD MOUNTED DISPLAY USER)가 착용 및/또는 조작하는 단말에 해당 된다. 이와 같은 클라이언트 단말(500)은 공지된 가상현실 장비에 해당 되는 것임에 따라 구체적인 설명을 생략한다.
서버(100)는 클라이언트 단말(500)에서 실행되는 컨텐츠에 복 수개의 관람객 단말(200)들로부터 수신된 컨텐츠 데이터를 맵핑시켜 클라이언트 단말(500)에 송신하고, 클라이언트 단말(500)로부터 수신된 컨텐츠 화면을 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 3인칭 또는 1인칭 화면으로 출력한다.
예를 들면, 서버(100)는 1대 다수가 진행되는 게임이라면 메인 디스플레이(400)의 화면을 3인칭 화면으로서 출력하고, 1대1 게임이라면 메인 디스플레이(400) 역시 1인칭 시점의 화면으로 출력할 수 있다.
클라이언트 단말(500)은 서버(100)로부터 수신된 관람객 단말(200)들이 모션 및/또는 조작에 따른 캐릭터의 모션과, HMD 유저의 모션 및/또는 조작에 따른 캐릭터의 모션과 반응에 대하여 판정하고, 그 결과를 서버(100)로 송신할 수 있다.
이때 서버(100)로 송신되는 클라이언트 단말(500)의 컨텐츠 데이터는 컨텐츠 화면과 관람객 단말(200)들의 캐릭터와, 클라이언트 단말(500)의 캐릭터와, 각 캐릭터간의 모션과, 캐릭터간의 모션에 다른 결과를 포함할 수 있다.
여기서, 컨텐츠의 실행주체와, 관람객 단말(200)들과 클라이언트 단말(500)과의 모션 및/또는 조작에 따른 결과를 판정하는 주체는 클라이언트 단말(500)과 서버(100)중에서 선택될 수 있다.
즉, 클라이언트 단말(500)과 서버(100)는 컨텐츠를 진행하는 알고리즘(예를 들면, 데이터 맵핑, 결과판정, 그래픽)의 탑재 여부에 따라서 컨텐츠 진행 주체 여부가 결정될 수 있다.
예를 들면, 컨텐츠를 실행시키는 주체가 서버(100)일 경우에는 서버(100)에서 관람객 단말(200)들과 클라이언트 단말(500)의 컨텐츠 데이터를 맵핑시켜 그 결과까지 판정하여 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 그 화면을 출력하고, 결과를 클라이언트 단말(500)에 송신한다.
또는, 서버(100)는 클라이언트 단말(500)에서 컨텐츠를 실행하는 경우에 관람객 단말(200)들의 컨텐츠 데이터를 맵핑시켜 클라이언트 단말(500)에 송신하고, 클라이언트 단말(500)로부터 수신된 판정결과가 포함된 컨텐츠 데이터를 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력하도록 제어한다.
관람객 단말(200)은 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력된 클라이언트 단말(500)의 컨텐츠 실행과정을 관람하는 관람객들이 직접 게임에 참여할 수 있도록 서버(100)와 유무선 통신을 수행하여 관람객들의 모션 및/또는 조작신호를 서버(100)로 송신한다.
이를 위하여 관람객 단말(200)은 설정된 위치에서 고정된 고정단말(210)과 휴대 및/또는 착용 가능한 모바일 단말(220)중 어느 하나가 선택되거나 고정단말(210)과 모바일 단말(220)의 조합으로 이루어질 수 있다.
고정단말(210)은 영상을 통하여 관람객들의 모션을 추출하여 게임데이터를 생성한다. 구체적인 구성은 후술한다.
모바일 단말(220)은 관람객들의 조작에 의하여 조작신호를 송신하는 조작 콘솔, 신체에 착용되어 모션을 감지하는 센서가 구비된 센서 단말기 또는 휴대용 통신 디바이스(스마트폰, PDA, 태블릿 PC)중 적어도 하나에 해당될 수 있다.
여기서, 고정단말(210)과 모바일 단말(220)은 서버(100)에서 제공되는 컨텐츠 화면을 통하여 자신이 원하는 캐릭터를 생성 및/또는 선택함도 가능하다. 이와 같은 캐릭터관련 이미지 데이터는 서버(100)에서 저장되거나, 클라이언트 단말(500)에서 제공될 수 있다.
또한, 메인 디스플레이(400)와 고정단말(210) 및 모바일 단말(220)은 실외에 설치되는 것으로서 설명하였으나, 이에 한정되는 것이 아니다. 즉, 본 발명에서 메인 디스플레이(400)는 실내의 지정된 위치에서 복 수개의 투명전광판이 조합된 대형 투명전광판으로 구성되거나, 단일의 대형 투명전광판으로서 구현될 수 있다. 마찬가지로, 모바일 단말(220) 및 고정단말(210) 역시 실내에 설치된 메인 디스플레이(400)의 설정된 영역 내에서 서버(100)와 통신을 수행할 수 있다.
상술한 구성들의 설명은 도 3 내지 도 8을 참조하여 상세히 설명한다.
도 3은 본 발명의 조립식 컨테이너의 일예를 도시한 사시도, 도 4는 본 발명의 메인 디스플레이 및 그 화면의 일예를 도시한 도면이다.
도 3 및 도 4를 참조하면, 본 발명에 따른 메인 디스플레이(400)는, 예를 들면, 복 수개가 조립되어 하나의 건축물(700)을 완성하는 모듈러 시공방법에 적용되는 조립식 컨테이너(70)로 구성될 수 있다.
이중, 본 발명에서 적용된 조립식 컨테이너(70)는 상하좌우측 벽면중 적어도 하나가 투명전광판(411)으로서 구현된다. 여기서 투명전광판(411)은 복 수개의 발광소자가 투명전극에서 패턴형성된 배선으로부터 인가되는 전원에 의하여 발광되도록 실장되는 발광판과, 발광판에 레진으로서 접착되는 복 수개의 커버판으로서 구성될 수 있다. 이중 복 수개의 커버판은 페어글라스 구조로 이루어져 단열 및 소음차폐가 가능한 것이 바람직하다.
즉, 본 발명은 일측 벽면이 투명전광판(411)으로 이루어진 복 수개의 조립식 컨테이너(70)가 적층됨에 따라 복 수개의 투명전광판(411~414))의 조합으로 대형 사이즈의 메인 디스플레이(400)를 구현할 수 있다.
이와 같은 메인 디스플레이(400)의 구성은 예를 위하여 실외측에 위치되는 것으로 설명되었으나, 실내측에 설치됨도 가능하다.
서브 디스플레이(300)는 위와 같은 조립식 컨테이너(70)의 조립에 의해 완성된 건축물(700)의 내측에서 클라이언트 단말(500) 및/또는 메인 디스플레이(400)의 화면을 출력한다.
따라서, 본 발명은 복 수개의 조립식 컨테이너(70)에 의해 완성된 모듈러 건축물(700)의 실내에 위치된 클라이언트 단말(500)의 화면 및/또는 메인 디스플레이(400)의 화면을 실내에 위치된 서브 디스플레이(300)를 통하여 확인할 수 있다.
고정단말(210)은 도 4와 도 5를 참조하여 설명한다.
도 5는 본 발명의 고정단말을 도시한 블럭도이다.
도 5를 참조하면, 본 발명의 고정단말(210)은 도 4에 도시된 바와 같이, 메인 디스플레이(400)의 전방에서 설정된 영역을 감시하도록 고정된 단말이다. 보다 상세히 설명하자면, 고정단말(210)은 설정된 영역의 영상을 촬영하는 카메라(212)와, 카메라(212)에서 촬영된 영상의 모션을 추출하는 모션 감지부(213)와, 촬영된 영상의 객체를 추출 및 설정하는 객체 설정부(214)와, 모션감지 신호가 포함된 관람객 단말(200)의 컨텐츠 데이터를 생성하는 고정 제어부(211)와, 고정 제어부(211)의 제어에 의하여 서버(100)에 컨텐츠 데이터를 송신하는 고정 통신부(215)를 포함한다.
카메라(212)는 고정제어부(211)의 제어에 의해 메인 디스플레이(400)의 전방에 설정된 영역에 위치된 관람객(A)을 촬영하여 모션 감지부(213)로 출력한다.
객체 설정부(214)는 고정 제어부(211)의 제어에 의해 카메라(212)에서 촬영된 영상에서 객체를 설정 및 추출한다.
모션 감지부(213)는 객체 설정부(214)에서 설정된 객체의 모션을 감지하여 고정 제어부(211)에 출력한다. 여기서, 모션 감지부(213)는, 예를 들면, 카메라(212)에서 촬영된 관람객(A)의 영상에서 이전 영상 프레임과 현재 영상 프레임을 비교하여 객체 설정부(214)에서 설정된 객체의 모션여부를 판별할 수 있다.
고정 제어부(211)는 카메라(212)에서 영상이 촬영되면, 객체 설정부(214)를 제어하여 촬영된 영상의 객체를 분류하고, 이중 설정된 객체의 모션을 감지하도록 모션 감지부(213)를 제어한다.
예를 들면, 고정 제어부(211)는 서버(100)에서 선택된 컨텐츠가 축구일 경우(도 4 참조), 클라이언트 단말(500)에서 조작되는 캐릭터(500')가 골키퍼고, 관람객(A)이 조작하는 캐릭터가 상대방 공격수로 설정된다. 따라서, 관람객(A)은 메인 디스플레이(400)에 출력된 클라이언트 단말(500)의 캐릭터(500')의 전방에서 설정된 위치에 위치하면, 고정단말(210)은 관람객(A)의 발의 움직임과 속도를 감지하여 컨텐츠 데이터를 생성한다.
즉, 고정단말(210)은 메인 디스플레이(400)에 출력되는 가상현실 컨텐츠에서 관람객(A)의 모션을 감지하여 컨텐츠 데이터(예를 들면, 속도, 방향 및 위치)를 산출하여 서버(100)로 송신한다.
모바일 단말(220)은 관람객(A)의 신체에 착용되거나 또는 휴대 가능한 단말로서 관람객이 조작에 따른 신호와 센서의 감지에 의한 컨텐츠 데이터를 서버(100)로 송신한다. 모바일 단말(220)은 도 4와 도 6을 참조하여 설명한다.
도 6은 본 발명의 모바일 단말(220)을 도시한 블럭도이다.
도 6을 참조하면, 모바일 단말(220)은 서버(100)와 통신하는 모바일 통신부(222)와, 관람객의 모션을 감지하는 모바일 센서부(223)와, 다 수개의 키패널을 통한 조작 명령을 출력하는 모바일 조작부(224)와, 모바일 통신부(222) 내지 모바일 조작부(224)를 제어하는 모바일 제어부(221)를 포함한다.
모바일 통신부(222)는 서버(100) 및/또는 고정단말(210)과 무선으로 통신을 수행한다. 예를 들면, 모바일 통신부(222)는 모바일 제어부(221)의 제어에 의하여 관람객의 모션감지 데이터가 포함된 컨텐츠 데이터를 서버(100)에 송신한다.
모바일 센서부(223)는 관람객(A)의 신체 일부(예를 들면, 팔, 다리, 목)의 위치 및 모션(MOTION)을 감지하여 모바일 제어부(221)에 출력한다.
모바일 조작부(224)는 조이스틱, 키패널, 마우스 및/또는 터치스크린중 어느 하나로서 관람객의 조작에 의한 조작명령을 출력한다.
즉, 모바일 단말(220)은 게임 콘솔, 웨어러블 센서(WEARABLE SENSOR) 및 휴대용 통신 디바이스(스마트폰, PDA, 태블릿 PC)중 적어도 하나에 해당될 수 있다.
더욱 바람직하게로는 모바일 단말(220)과 고정단말(210)의 조합에 의하여 관람객의 컨텐츠 데이터를 생성하여 서버(100)로 송신하는 것이다. 예를 들면, 고정단말(210)은 카메라(212)의 촬영 영상을 통하여 관람객의 몸짓이나 위치등을 감지하고, 모바일 단말(220)은 관람객(A)의 신체에 착용되어 방향과 속도를 감지한다.
따라서, 서버(100)는 고정단말(210)과 모바일 단말(220)의 모션감지신호를 통하여 관람객의 위치와 방향, 속도에 일치되는 컨텐츠 데이터를 생성하여 클라이언트 단말(500)의 컨텐츠 데이터와 맵핑시켜 상호간의 게임을 진행한다.
구체적인 예를 들면, 격투 게임의 경우 카메라(212)에서 촬영된 영상을 통하여 관람객의 위치나 움직임으로서 회피 여부를 결정하고, 팔과 다리에 착용된 모바일 단말(220)의 센서 감지를 통하여 클라이언트 단말(500) 캐릭터에 대한 타격시의 모션 데이터(예를 들면, 방향과 속도)를 생성할 수 있다.
서버(100) 및 메인 디스플레이(400)는 도 4와 도 7 및 도 8을 참조하여 설명한다.
도 7은 본 발명의 서버 및 메인 디스플레이를 도시한 블럭도, 도 8을 서버의 설정부를 도시한 블럭도이다.
도 7과 도 8을 참조하면, 본 발명의 서버(100)는 관람객 단말(200)(고정단말(210) 및/또는 모바일 단말(220))과 클라이언트 단말(500)과 통신하는 서버 통신부(120)와, 접속 가능한 관람객 단말(200) 및 클라이언트 단말(500)의 숫자와 우선순위를 설정하는 설정부(130)와, 클라이언트 단말(500)의 컨텐츠 데이터와 관람객 단말(200)의 컨텐츠 데이터를 통합하여 하나의 컨텐츠 화면에 맵핑시키는 맵핑부(140)와, 클라이언트 단말(500)에서 실행되는 컨텐츠가 저장된 데이터베이스(150)와, 음향을 출력하는 음향출력부(170)와, 메인 디스플레이(400)를 구동제어하는 전광판 구동부(160)를 포함한다.
서버 통신부(120)는 유선 및/또는 무선으로서 클라이언트 단말(500) 및 관람객 단말(200)과 통신을 수행한다. 서버 통신부(120)는 서버 제어부(110)의 제어에 의하여 클라이언트 단말(500)의 컨텐츠 데이터와 관람객 단말(200)의 컨텐츠 데이터를 각각 수신하여 서버 제어부(110)로 출력한다.
설정부(130)는, 도 8을 참조하면, 동시 접속 가능한 관람객 단말(200)의 숫자가 설정되어 관람객 단말(200)의 접속을 제한하는 리미트 설정모듈(131)과, 메인 디스플레이(400) 및 서브디스플레이(300)의 화면을 분할 제어하는 표시 제어모듈(132)과, 관람객 단말(200)에 우선순위를 부여하는 순위 설정모듈(133)을 포함한다.
리미트 설정모듈(131)은 설정된 접속 조건에 따라 동시 접속 가능한 관람객 단말(200)의 숫자를 제한한다. 예를 들면, 리미트 설정모듈(131)은 최대 접속 가능한 관람객 단말(200)의 숫자가 7이면, 현재 접속중인 7개의 관람객 단말(200) 외에 다른 관람객 단말(200)의 접속을 제한한다.
표시 제어모듈(132)은 메인 디스플레이(400) 및/또는 서브디스플레이(300)의 화면을 적어도 2 이상으로 분할한다. 예를 들면, 표시 제어모듈(132)은 클라이언트 단말(500)이 2개라면, 메인 디스플레이(400) 화면을 2개로 분할하여 각 클라이언트 단말(500)별로 접속된 관람객 단말(200)이 캐릭터를 출력한다.
순위 설정모듈(133)은, 관람객 단말(200)들의 접속 및/또는 실행 우선순위를 설정한다. 예를 들면, 축구 게임 경우에 클라이언트 단말(500)의 캐릭터가 골키퍼라면, 관람객 단말(200)은 10명의 필드 플레이어로 설정된다.
이때, 축구공은 하나임에 따라 페널티킥 상황에서 10명의 필드 플레이어 캐릭터가 동시에 슛할 수 없기에 순위 설정모듈(133)의 우선순위에 따라 10개의 캐릭터가 자동으로 슛팅 순서가 설정된다.
또는, 순위 설정모듈(133)은 동시 접속의 제한 조건에 따라 현재 접속된 캐릭터외에 접속 대기중인 관람객 단말(200)들에, 예를 들면, 접속 요청 시간대에 따라 우선순위를 설정할 수 있다.
맵핑부(140)는 클라이언트 단말(500)의 컨텐츠 데이터에 관람객 단말(200)의 컨턴츠 데이터를 맵핑한다. 예를 들면, 맵핑부(140)는 클라이언트 단말(500)의 모션과 위치를 포함한 컨텐츠 데이터에 관람객 단말(200)들의 컨텐츠 데이터를 맵핑시킨다. 여기서 맵핑부(140)에 의해 맵핑된 컨텐츠 데이터는 클라이언트 단말(500)로 송신된다.
데이터베이스(150)는 리미트 설정조건과, 클라이언트 단말(500) 및 관람객 단말(200)의 고유 식별정보와, 컨텐츠의 실행정보와, 등록된 클라이언트 단말(500)들의 식별정보와, 음향 및 문자로 이루어진 안내 메세지가 포함될 수 있다. 또는 별도의 광고용 컨텐츠가 저장될 수 있다.
전광판 구동부(160)는 복 수개의 전광판(411)을 순차적 및/또는 일괄제어하여 메인 디스플레이(400)를 구동시킨다. 여기서 메인 디스플레이(400)는 복 수개의 전광판(411~414)과, 각 전광판(411~414)을 구동제어하는 복 수개의 컨트롤러(421~424)를 구비할 수 있다. 전광판(411~414)은 조립식 컨테이너(70)의 일벽면을 이루는 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 해당된다.
서버 제어부(110)는 서버 통신부(120)를 통하여 수신된 클라이언트 단말(500)과 관람객 단말(200)들의 컨텐츠 데이터가 수신되면, 맵핑부(140)를 구동시켜 양 데이터를 융합시키고 클라이언트 단말(500)에 송신한다. 그리고, 서버 제어부(110)는 클라이언트 단말(500)로부터 수신된 컨텐츠 화면을 메인 디스플레이(400)를 통하여 출력하도록 전광판 구동부(160)를 제어한다.
여기서, 클라이언트 단말(500)은 1인칭 화면을 출력하고, 메인 디스플레이(400)에 출력된 화면은 3인칭 또는 1인칭 시점의 화면으로서 출력된다. 또는 서버 제어부(110)는 컨텐츠 내용에 따라 메인 디스플레이(400)의 화면을 1인칭 또는 3인칭 화면중에서 선택적으로 변환될 수 있다.
또한, 서버 제어부(110)는 설정부(130)에서 제한 조건을 감지하면, 리미트 설정모듈(131)과 순위 설정모듈(133)을 제어하여 서버 통신부(120)를 통하여 접속요청되는 관람객 단말(200)들의 접속을 제한한다.
또는 서버 제어부(110)는 접속된 관람객 단말(200)들별로 설정된 우선순위에 따라서 순차적으로 통신 채널을 개방 또는 차단할 수 있다.
또한, 서버 제어부(110)는 대기중인 관람객 단말(200)들에게 접속 요청 시간에 따라서 우선순위를 부여하여 순차적으로 접속을 허여 할 수 있다.
또한, 서버 제어부(110)는 서버 통신부(120)를 통하여 접속 요청된 클라이언트 단말(500)의 숫자에 따라서 표시 제어모듈(132)을 구동시킨다. 표시 제어모듈(132)은 전광판 구동부(160)를 구동시켜 클라이언트 단말(500)의 숫자에 따라 화면을 분할하도록 한다.
또한, 서버 제어부(110)는 음향출력부(170)를 제어하여 메인 디스플레이(400)의 화면에 따라 설정된 음향과, 클라이언트 단말(500) 및 관람객 단말(200)들의 캐릭터별 모션에 따른 음향과, 데이터베이스(150)에 저장된 음성 메세지지등을 출력하도록 음향출력부(170)를 제어할 수 있다.
본 발명은 상기와 같은 구성을 통하여 HMD 유저(HEAD MOUNTED DISPLAY USER)와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법을 제공할 수 있다. 이는 도 9 내지 도 14를 참조하여 설명한다.
도 9는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법을 도시한 순서도이다.
도 9를 참조하면, 본 발명은 고정단말(210) 및 모바일 단말(220)로부터 감지된 관람객 단말(200)의 모션 및/또는 조작을 감지하는 관람객 단말(200)의 S100 단계와, 서버(100)에서 관람객 단말(200)들과 클라이언트 단말(500)로부터 수신된 컨텐츠 데이터를 맵핑시켜 메인 디스플레이(400)와 서브 디스플레이(300)에 출력하는 S200 단계와, 클라이언트 단말(500)에서 선택된 컨텐츠를 실행 및 모션을 감지하는 S310 단계 및 S320 단계와, 메인 디스플레이(400)에서 클라이언트 단말(500)의 컨텐츠 화면을 출력하는 S410 단계와, 클라이언트 단말(500)과 관람객 단말(200)들의 융합된 컨텐츠 화면을 출력하는 S420 단계를 포함한다.
먼저, HMD 유저(HEAD MOUNTED DISPLAY USER)는 S310 단계에서 자신의 클라이언트 단말(500)(예를 들면 HMD)을 착용하고, 컨텐츠를 선택한다. 이와 같은 컨텐츠 선택신호는 서버(100)로 송신된다. 또한, HMD 유저(HEAD MOUNTED DISPLAY USER)는 S320 단계에서 자신의 클라이언트 단말(500)을 조작하여 컨텐츠를 실행한다. 이때 클라이언트 단말(500)은 HMD 유저(HEAD MOUNTED DISPLAY USER)의 조작 및 모션을 감지한 컨텐츠 데이터를 생성하여 서버(100)로 송신한다.
따라서, 서버(100)는 S200 단계에서 클라이언트 단말(500)로부터 수신된 컨텐츠 데이터를 메인 디스플레이(400)에 출력한다. 또한, 서버(100)는 서브 디스플레이(300)를 구동시켜 클라이언트 단말(500)의 컨텐츠 데이터를 출력하도록 제어함도 가능하다.
메인 디스플레이(400)는 S410 단계에서 클라이언트 단말(500)의 컨텐츠 화면을 출력한다. 여기서, S410 단계의 컨텐츠 화면은 클라이언트 단말(500)(예를 들면, HMD)에서 출력된 1인칭 시점의 화면을 3인칭시점으로 변환시킨 화면이다.
그러므로, 메인 디스플레이(400)는 클라이언트 단말(500)의 컨텐츠 화면이 출력되어 관람객들의 관심을 끌 수 있다. 이때, 서버(100)는 음향출력부(170)를 통하여 클라이언트 단말(500)과의 게임 참여를 유도하는 음성 메세지를 출력할 수 있다. 또는 서버(100)는 메인 디스플레이(400)를 통하여 관람객의 참여를 유도하는 문자메세지를 출력함도 가능하다.
이때, S100 단계에서 실외측 관람객들은 메인 디스플레이(400)를 통하여 출력되는 컨텐츠 화면을 확인하고, 도 4에 도시된 바와 같이, 설정된 영역으로 이동하여 고정단말(210) 및/또는 모바일 단말(220)을 이용하여 메인 디스플레이(400)에 출력된 클라이언트 단말(500)의 캐릭터(500')와의 게임을 진행한다.
아울러, 서버(100)는 S200 단계에서 클라이언트 단말(500)과 복 수개의 관람객 단말(200)로부터 수신된 컨텐츠 데이터를 상호 맵핑하여 메인 디스플레이(400) 및 서브 디스플레이(300)를 통하여 출력시킨다.
이중, S100 단계는 모바일 단말(220)에서 관람객의 조작 및/또는 모션을 감지하는 S110 단계와, 고정단말(210)에서 관람객의 모션을 감지하는 S120 단계를 포함한다. S110 단계는 첨부된 도 10, S120 단계는 도 11을 참조하여 설명한다.
도 10은 본 발명에서 S110 단계를 도시한 순서도이다.
도 10을 참조하면, S110 단계는 모바일 단말(220)이 온 되는 S111 단계와, 관람객의 모션 및/또는 입력된 조작명령을 확인하는 S112 단계와, S112 단계에서 감지된 모션 및/또는 조작명령을 설정된 포맷을 변환하여 서버(100)에 송신하는 S113 단계를 포함한다.
S111 단계는 모바일 단말(220)이 관람객의 신체에 착용된 후 온 되거나 관람객의 조작에 의하여 전원이 온 되는 단계이다. 상술한 바와 같이, 모바일 단말(220)은 신체에 착용되어 모션 감지 가능한 웨어러블 센서와, 스마트폰과 PDA 및 태블릿PC와 같은 휴대용 통신 디바이스 및 조작 콘솔과 같은 무선통신이 가능한 단말중 적어도 하나가 선택될 수 있다.
웨어러블 센서의 경우는 관람객의 신체(예를 들면, 손, 팔, 다리중 적어도 하나)의 모션을 감지하여 무선으로 서버(100)에 송신한다.
휴대용 통신 디바이스는, 예를 들면, 스마트폰, PDA, 태블릿 PC중 선택된 어느 하나로서, 서버(100)에서 송신된 컨텐츠의 조작명령을 입력할 수 있는 어플리케이션을 수신 및 실행시켜 상술한 클라이언트 단말(500)의 컨텐츠에 참여할 수 있다.
여기서, 휴대용 통신 디바이스에 설치되는 어플리케이션은 컨텐츠의 참여 명령과, 참여 캐릭터의 생성 및/또는 선택과, 캐릭터의 모션을 제어할 수 있는 조작명령을 입력할 수 있도록 메뉴가 구성될 수 있다.
또한, 조작 콘솔은 모바일 조작부(224)를 통하여 모션을 제어하는 명령을 입력하고, 메인 디스플레이(400)를 통하여 자신의 캐릭터를 생성 및/또는 선택할 수 있도록 한다.
즉, 모바일 단말(220)은 휴대용 통신 디바이스, 웨어러블 센서 및 조작콘솔중 적어도 하나로 모션을 감지하는 센서와, 조작명령의 입력 및 메뉴의 선택이 가능한 모바일 조작부(224)중 적어도 하나가 구비되어 캐릭터 모션의 감지 및/또는 조작명령을 입력할 수 있다.
여기서 모바일 단말(220)은 자신의 캐릭터를 생성 및/또는 선택할 수 있는 것이 바람직하다.
S112 단계는 모바일 단말(220)에서 관람객의 모션을 감지 및/또는 조작 명령을 수신하는 단계이다.
도 4에 도시된 바를 예로 들어 설명하자면, 웨어러블 센서를 착용한 관람객은 클라이언트 단말(500)의 캐릭터가 축구 골문을 지키는 골키퍼이고, 자신이 골을 넣는 플레이어라면, 축구공을 차기 위한 모션을 취한다. 따라서, 모바일 센서부(223)는 이를 감지하여 모바일 제어부(221)로 출력한다.
또는, 조작 콘솔 또는 스마트폰을 이용하는 관람객은 모바일 조작부(224)를 조작하여 슈팅 명령을 입력한다.
따라서, 모바일 제어부(221)는 모바일 센서부(223) 및/또는 모바일 조작부(224)로부터 모션감지 또는 조작명령이 입력되는 지를 확인한다.
S113 단계는 모바일 제어부(221)가 모바일 센서부(223) 또는 모바일 조작부(224)로부터 입력된 모션감지신호와 조작명령이 포함된 컨텐츠 데이터를 서버(100)로 송신하는 단계이다.
여기서, 모바일 제어부(221)는 모바일 센서의 모션 감지신호 및/또는 조작명령과, 고유 식별정보를 포함하는 컨텐츠 데이터를 생성하여 서버(100)로 송신한다. 이때, 송신된 컨텐츠 데이터는 클라이언트 단말(500)의 컨텐츠 데이터에 맵핑된다.
S120 단계는 고정단말(210)에서 컨텐츠 데이터를 생성하는 과정이며, 이는 도 11을 참조하여 설명한다.
도 11은 S120 단계를 도시한 순서도이다.
도 11을 참조하면, 고정단말(210)에서 설정된 영역에 위치된 관람객을 촬영하는 S121 단계와, 촬영된 영상에서 객체를 분류 및 설정하는 S122 단계와, 설정된 객체의 모션을 감지하는 S123 단계와, S123 단계에서 감지된 모션 감지신호를 설정된 포맷의 데이터로 변환하여 서버(100)로 송신하는 S124 단계를 포함한다.
S121 단계는 고정단말(210)에서 카메라(212)가 온되어 메인 디스플레이(400) 전방에 설정된 영역내에 위치된 관람객을 촬영하는 단계이다. 여기서 고정 제어부(211)는 카메라(212)를 온하여 설정된 영역을 촬영한다. 이때, 고정단말(210)은 서버(100)의 제어 또는 별도의 조작 키패널에서 입력된 명령에 따라 온 된다. 이와 같은 고정단말(210)의 온 또는 오프 동작은 일반적으로 공지된 기술을 적용할 수 있어 그 상세한 설명을 생략하였다.
S122 단계는 고정 제어부(211)가 카메라(212)에서 촬영된 영상을 객체 설정부(214)로 출력하여 촬영된 영상에 포함된 객체의 분류 및 설정하는 단계이다. 여기서, 객체 설정부(214)는 컨텐츠별로 모션 감지 대상 객체를 선택적으로 설정할 수 있다. 예를 들면, 객체 설정부(214)는 축구 게임일 경우에 신체의 발과 다리를 대상 객체로 설정하고, 격투 게임경우에 손과, 다리, 목과, 몸통 및 머리로서 객체를 설정한다.
따라서, 객체 설정부(214)는 고정 제어부(211)의 제어에 의해 카메라(212)에서 촬영된 영상중 설정된 객체를 추출하여 모션 감지 대상 객체를 설정한다.
S123 단계는 고정 제어부(211)의 제어에 의하여 모션 감지부(213)가 구동되어 촬영된 영상에서 설정된 객체의 모션을 감지하는 단계이다. 모션 감지부(213)는 각 영상에서 프레임들을 비교하여 설정된 객체의 모션을 감지하여 고정 제어부(211)에 감지신호를 출력한다.
S124 단계는 고정 제어부(211)가 모션 감지부(213)의 모션감지신호와 고유 식별정보를 조합한 컨텐츠 데이터를 생성하여 서버(100)에 송신하는 단계이다. 고정 제어부(211)는 설정된 고유 식별정보와, 모션 감지부(213)의 모션 감지신호를 조합하여 설정된 포맷의 데이터로 변환시킨다. 그리고 고정제어부(211)는 고정 통신부(215)를 제어하여 변환된 데이터를 서버(100)로 송신한다.
서버(100)는 S200 단계에서 상술한 S310 단계 및 S320 단계에서의 클라이언트 단말(500)의 구동과, S110 단계 및/또는 S120 단계에서의 모바일 단말(220)의 구동에 의하여 각각 생성된 컨텐츠 데이터를 맵핑하여 메인 디스플레이(400)에 1인칭 또는 3인칭 시점의 컨텐츠 화면을 출력한다. S200 단계는 도 12 내지 도 14를 참조하여 설명한다.
도 12는 본 발명의 S200 단계의 제1실시예를 도시한 순서도이다.
도 12를 참조하면, S200 단계의 제1실시예는 클라이언트 단말(500)의 접속 요청신호를 수신하는 S211 단계와, 클라이언트 단말(500)의 컨텐츠 데이터를 수신하여 메인 디스플레이(400)에 출력하는 S212 단계와, 관람객 단말(200)의 참여 여부를 판단하는 S213 단계와, 참여신청된 관람객 단말(200)들과 통신 채널을 형성하는 S214 단계와, S214 단계에서 생성된 채널로부터 수신된 컨텐츠 데이터와 컨텐츠 화면을 맵핑하여 메인 디스플레이(400) 및 클라이언트 단말(500)에 송신하는 S215 단계와, 메인 디스플레이(400)에 출력하는 S216 단계를 포함한다.
S211 단계는 서버 제어부(110)가 서버 통신부(120)를 통하여 클라이언트 단말(500)의 접속 신호를 수신하는 단계이다. 클라이언트 단말(500)은 HMD 유저(HEAD MOUNTED DISPLAY USER)의 조작에 의하여 선택된 컨텐츠를 실행시킨다. 이때, 클라이언트 단말(500)은 고유 식별정보를 포함하여 서버(100)에 접속 요청신호를 송신한다.
따라서, 서버 통신부(120)는 클라이언트 단말(500)의 접속 요청신호를 수신하여 서버 제어부(110)를 출력한다. 서버 제어부(110)는 클라이언트 단말(500)의 접속요청신호를 수신하여 고유 식별정보를 확인하여 클라이언트 단말(500) 여부를 확인한다. 그리고 서버 제어부는 설정된 클라이언트 단말(500)이 맞으면 접속을 승인한다.
S212 단계는 서버 제어부(110)가 클라이언트 단말(500)로부터 컨텐츠 데이터를 수신하여 메인 디스플레이(400)에 컨텐츠 화면을 출력하는 단계이다. 클라이언트 단말(500)은 선택된 컨텐츠를 실행하고, 실행된 컨텐츠의 데이터(예를 들면, 배경 및 캐릭터 정보, 컨텐츠별 고유 식별정보와, 캐릭터 정보, HMD 유저(HEAD MOUNTED DISPLAY USER)의 모션(MOTION), 음향 및 문자 메세지)를 송신한다.
따라서, 서버 제어부(110)는 서버 통신부(120)를 통하여 수신된 클라이언트 단말(500)의 컨텐츠 데이터를 메인 디스플레이(400) 및/또는 서브 디스플레이(300)의 화면에 출력하도록 전광판 구동부(160)를 구동시킨다.
전광판 구동부(160)는 메인 디스플레이(400)를 이루는 복 수개의 전광판(411~414))을 선택적으로 제어하여 클라이언트 단말(500)에서 선택된 컨텐츠(예를 들면, 게임) 화면을 출력시킨다. 이때, 각각의 컨트롤러(421~424)는 연결되는 각 전광판(411~414)을 제어하여 소정의 화면을 출력한다. 즉, 메인 디스플레이(400)는 전광판(411~414)들의 조합에 의하여 클라이언트 단말(500)의 컨텐츠 화면을 출력한다. 여기서, 각 전광판(411~414)은 발광소자가 실장되는 발광투명판(도시되지 않음)과 커버투명판(도시되지 않음)이 레진에 의하여 결합된 투명전광판에 해당된다.
S213 단계는 서버 제어부(110)는 관람객 단말(200)로부터 참여 요청신호가 수신되는 지를 판단한다. 여기서, 참여 요청 가능한 관람객 단말(200)은 그 숫자와 순서가 설정됨이 바람직하다. 또한, 서버 제어부(110)는 전광판 구동부(160) 및 음향출력부(170)를 제어하여 메인 디스플레이(400) 및/또는 서브 디스플레이(300)를 통하여 게임 참여 유도 음성 및/또는 문자 메세지를 출력할 수 있다.
그러므로, 관람객들은 메인 디스플레이(400)를 통하여 출력된 메세지를 확인하여 고정단말(210) 및/또는 모바일 단말(220)을 이용하여 클라이언트 단말(500)과의 게임에 참여를 요청한다. 따라서, 고정단말(210)과 모바일 단말(220)은 각각 고유 식별정보를 포함한 참여 요청신호를 서버(100)로 송신한다.
S214 단계는 서버(100)가 참여 요청신호를 송신하는 관람객 단말(200)들과 통신 채널을 형성하는 단계이다. 여기서, 서버 제어부(110)는 설정부(130)에서 설정된 제한 조건 및 우선순위 조건에 해당되는 관람객 단말(200)들과 선택적으로 채널을 형성하여 모션 감지 및 조작신호가 포함된 컨텐츠 데이터를 수신한다. 이때, 관람객 단말(200)들은 상술한 S100 단계를 통하여 모션 감지 및/또는 조작신호가 포함된 컨텐츠 데이터를 송신한다.
S215 단계는 S214 단계에서 관람객 단말(200)들로부터 수신된 컨텐츠 데이터를 클라이언트 단말(500)의 컨텐츠 데이터와 맵핑하여 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력하는 단계이다.
여기서, 맵핑이란 클라이언트 단말(500)과 관람객 단말(200)들간의 모션이나 조작을 융합하여 하나의 컨텐츠 화면에 표현하는 것을 의미한다. 즉, 서버 제어부(110)는 맵핑부(140)를 제어하여 클라이언트 단말(500)과 관람객 단말(200)들의 모션 감지 및 조작명령에 따라 메인 디스플레이(400)에서 클라이언트 단말(500) 및 관람객 단말(200)들의 캐릭터를 표현한다.
예를 들면, 출력된 컨텐츠가 축구 게임이라면, S100 단계에서 고정단말(210) 및/또는 모바일 단말(220)은 관람객이 슛하는 모션을 감지하여 서버(100)로 송신한다.
서버(100)는 이와 같은 관람객 단말(200)의 슈팅 모션(방향과 속도)을 컨텐츠 화면에 맵핑(MAPPING)시켜 클라이언트 단말(500)로 송신한다. 그러면, HMD 유저(HEAD MOUNTED DISPLAY USER)는 자신의 디스플레이를 통하여 관람객이 슛한 공의 방향과 속도를 확인하고, 이를 방어하기 위한 모션을 취한다. 그리고 클라이언트 단말(500)은 위와 같은 HMD 유저의 모션을 감지하여 서버(100)로 송신한다.
따라서, 서버 제어부(110)는 위와 같은 양 컨텐츠 데이터를 맵핑(MAPPING) 하여 관람객 단말(200)의 슈팅과 클라이언트 단말(500)의 방어에 대한 결과를 판정한다.
S216 단계는 서버 제어부(110)가 전광판 구동부(160)를 제어하여 메인 디스플레이(400)에 맵핑된 컨텐츠 데이터를 출력하는 단계이다. 서버 제어부(110)는 S215 단계에서 클라이언트 단말(500)과 관람객 단말(200)의 모션에 따른 결과를 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력한다. 또한, 서버 제어부(110)는 서버 통신부(120)를 통하여 클라이언트 단말(500)에 동일한 화면을 제공한다.
즉, 본 발명은 개방된 장소에 설치된 메인 디스플레이(400)를 통하여 출력된 컨텐츠 화면을 근처의 일반인들에게 관람할 수 있도록 하고, 관람객들이 가상현실 장비를 착용한 HMD 유저(HEAD MOUNTED DISPLAY USER)와 게임을 진행할 수 있다.
따라서, HMD 유저(HEAD MOUNTED DISPLAY USER) 측은 고립된 공간이 아닌 개방된 공간에서 일반인들과 소통하면서 컨텐츠를 즐길 수 있어 새로운 비즈니스 모델에 대한 테스트와 이를 통한 문제점의 진단과 보완이 가능하다. 또한, 일반인들은 조작이 간편한 관람객 단말(200)을 이용하여 가상현실 컨텐츠를 체험할 수 있어 가상현실 컨텐츠에 대한 접근성이 용이하다. 이와 같은 일반인들의 접근성 향상은 가상현실 컨텐츠에 대한 대중화를 가능케 하는 단초가 될 수 있다.
아울러, 본 발명은 복 수의 관람객 단말(200)이 동시에 컨텐츠에 참여하거나 설정된 우선순위에 따라서 순차적으로 참여할 수 있다. 이는 도 13을 참조하여 설명한다.
도 13은 본 발명에서 S200 단계의 제2실시예를 도시한 순서도이다.
도 13을 참조하면, S200 단계의 제2실시예는 컨텐츠 별로 동시 접속되는 관람객 단말(200)들을 선택적으로 제한하고, 우선순위를 설정하는 것이다. 보다 상세히 설명하자면, S200 단계의 제2실시예는 컨텐츠별로 조건을 설정하는 S221 단계와, 참여 단말들을 카운팅하는 S222 단계와, 설정된 조건에 해당되는 지를 판단하는 S223 단계와, 설정된 우선순위별로 참여요청된 관람객 단말(200)들과 순차적으로 채널을 형성하는 S224 단계를 포함한다.
S221 단계는 컨텐츠별로 조건을 차등하여 설정등록하는 단계이다. 예를 들면, 관리자는 컨텐츠가 1대1 격투 게임일 경우에는 클라이언트 단말(500)에 접속 가능한 관람객 단말(200)의 숫자를 1개로 설정하고, 댄싱 게임일 경우에는 다 수로 설정할 수 있다. 이와 같은 설정 조건은 관리자가 키보드등의 조작장치를 이용하여 입력하면, 서버 제어부(110)가 설정부(130)를 구동시켜 등록시킨다.
S222 단계는 서버 제어부(110)가 참여 요청신호를 송신하는 관람객 단말(200)들의 숫자를 카운팅하는 단계이다. 예를 들면, 서버 제어부(110)는 상술한 제1실시예의 S213 단계에서 참여를 요청한 관람객 단말(200)들의 숫자를 카운팅한다.
S223 단계는 서버 제어부(110)가 참여 요청된 관람객 단말(200)들의 숫자가 설정 조건에 해당되는 지를 판단하는 단계이다. 예를 들면, 서버 제어부(110)는 설정부(130)에 의해 등록된 동시 접속 제한 조건이 2일 경우에는 가장 먼저 접속 요청한 관람객 단말(200)외에 그 다음 순서로 참여 요청신호를 송신한 관람객 단말(200)들의 여부를 판단한다.
S224 단계는 S223 단계에서 확인된 설정된 동시 접속 제한 조건에 해당되는 관람객 단말(200)들에 시간순으로 우선순위를 부여하여 순차적으로 채널을 형성하는 단계이다. 서버 제어부(110)는 설정부(130)의 리미트 설정모듈(131)에 의해 등록된 동시 접속 제한 조건에 해당되는 관람객 단말(200)들의 접속을 제한한다. 이때, 서버 제어부(110)는 참여 요청신호가 접수된 순서대로 채널을 형성하고, 순위 설정모듈(133)을 구동시켜 현재 채널이 형성된 관람객 단말(200)들을 제외한 동시 접속 제한조건에 해당되는 관람객 단말(200)들에 우선순위를 부여한다.
즉, 순위 설정모듈(133)은 현재 접속된 관람객 단말(200)들외에 참여 요청신호를 송신한 시간에 따라 순차적으로 우선순위를 부여한다. 그리고 서버 제어부(110)는 접속된 관람객 단말(200)들이 오프되면, 우선순위에 따라 대기중인 관람객 단말(200)들과 순차적으로 채널을 형성하여 다음 관람객 단말(200)들의 참여를 승인한다.
S200 단계의 제3실시예는 복 수개의 클라이언트 단말(500)들이 접속되어 복수개의 컨텐츠가 동시에 구현되는 실시예이다. 상세히 설명하자면, S200 단계의 제3실시예는 클라이언트 단말(500)의 접속 요청신호를 수신하는 S231 단계와, 접속 요청된 클라이언트 단말(500)의 숫자가 2 이상인지를 판단하는 S232 단계와, 접속 요청된 클라이언트 단말(500)별로 컨텐츠가 실행 가능한 관람객 단말(200)들의 그룹 채널을 형성하는 S233 단계와, 클라이언트 단말(500)의 숫자에 메인 디스플레이(400)의 화면을 분할하는 화면분할 단계와, 각 그룹 채널별로 데이터를 맵핑하여 메인 디스플레이(400)에 화면을 출력하는 S235 단계를 포함한다.
S231 단계는 서버 제어부(110)가 서버 통신부(120)로부터 클라이언트 단말(500)의 접속 요청신호를 수신하는 단계이다. 클라이언트 단말(500)은 앞서 설명들인 S310 단계를 통하여 서버(100)에 접속 요청신호를 송신한다.
S232 단계는 서버 제어부(110)가 접속 요청신호를 송신하는 클라이언트 단말(500)의 숫자를 확인하는 단계이다. 예를 들면, 클라이언트 단말(500)은 2 이상으로 각각 서로 다른 컨텐츠 또는 동일한 컨텐츠를 선택하여 서버(100)에 접속 요청신호를 송신할 수 있다.
이때 리미트 설정모듈(131)은 동시 접속 가능한 클라이언트 단말(500)의 숫자를 제한할 수 있고, 순위 설정모듈(133)은 리미트 설정모듈(131)에 의하여 접속이 제한되어 대기중인 클라이언트 단말(500)들에 우선순위를 부여함도 가능하다.
S233 단계는 클라이언트 단말(500)별로 컨텐츠를 참여할 수 있는 관람객 단말(200)들을 그룹화하도록 클라이언트 단말(500)별 그룹 채널을 생성하는 단계이다. 예를 들면, 서버 제어부(110)는 제1클라이언트 단말(500)과 제2클라이언트 단말(500)로부터 접속 요청신호가 수신되면, 제1클라이언트 단말의 컨텐츠에 대한 참여 요청신호를 송신하는 관람객 단말(200)들이 통신 연결되는 제1그룹채널과, 제2클라이언트 단말(500)의 컨텐츠에 대한 참여 요청신호를 송신하는 관람객 단말(200)들이 통신 연결되는 제2그룹채널을 생성한다.
S234 단계는 서버 제어부(110)가 전광판 구동부(160)를 제어하여 메인 디스플레이(400)의 화면을 분할하여 각 클라이언트 단말(500)별 컨텐츠 화면을 출력하는 단계이다. 전광판 구동부(160)는 분할 화면의 숫자에 따라서 각 컨트롤러를 선택적으로 구동시킨다. 예를 들면, 전광판 구동부(160)는 제1 내지 제4 전광판(411~414)으로 조합된 메인 디스플레이(400)를 2개의 화면으로 분할할 경우, 제1전광판(411)과 제2전광판(412)을 제1화면, 제3전광판(413)과 제4전광판(414)을 제2화면으로 분할할 수 있다. 이는 전광판 구동부(160)가 제1컨트롤러 내지 제4컨트롤러(421~424)를 선택적으로 제어함에 따라 달성될 수 있다.
S235 단계는 서버 제어부(110)가 맵핑부(140)를 제어하여 각 채널 그룹별로 수신된 컨텐츠 데이터를 맵핑하여 메인 디스플레이(400)의 분할된 화면을 통하여 출력하는 단계이다. 맵핑부(140)는, 예를 들면, 제1채널 그룹을 통하여 수신된 관람객 단말(200)들의 컨텐츠 데이터를 맵핑하여 제1클라이언트 단말(500)에 송신하고, 이후 제1클라이언트 단말(500)에서 수신된 컨텐츠 데이터를 확인하여 메인 디스플레이(400)에서 분할된 화면중 설정된 하나에 출력한다.
마찬가지로, 맵핑부(140)는 제2채널 그룹을 통하여 수신된 관람객 단말(200)들의 컨텐츠 데이터를 맵핑하여 제2클라이언트 단말(500)에 송신하고, 이후 제2클라이언트 단말(500)에서 수신된 컨텐츠 데이터를 확인하여 메인 디스플레이(400)에 분할된 화면중 설정된 하나에 출력한다.
이때, 서브 디스플레이(300)는 클라이언트 단말(500)별로 분할된 화면을 제공하거나 또는 각 클라이언트 단말(500)별 컨텐츠 화면만을 출력함도 가능하다. 즉, 서브 디스플레이(300)는 조립식 컨테이너(70)가 적층된 건축물(700)의 실내에 복 수개가 설치될 수 있다.
복 수개의 서브 디스플레이(300)는 클라이언트 단말(500)과 통신연결되어 각 클라이언트 단말(500)에서 출력되는 화면을 출력하거나, 메인 디스플레이(400)에서 분할된 화면중 어느 하나가 전체 화면으로서 출력될 수 있다. 또한, 복 수개의 서브 디스플레이(300)는 메인 디스플레이(400)와 동일하게 분할된 화면을 출력함도 가능하다.
이와 같이 본 발명은 고립된 장소에 위치된 HMD 유저와 개방된 장소의 복수의 일반인들간에 상호작용(INTERATION)이 가능함에 따라 다양한 형태의 비즈니스 모델의 창출될 수 있다. 또한, 본 발명은 일반인들에게 조작이 간편한 단말 및 그 방법을 제공함에 따라 종래에 비하여 저렴한 비용으로 가상현실 컨텐츠를 즐길 수 있어 접근성이 개선될 수 있다.

Claims (9)

  1. 가상현실 컨텐츠를 실행하고, HMD 유저의 모션 및 조작명령에 따른 컨텐츠 데이터를 송신하는 클라이언트 단말;
    상기 클라이언트 단말에서 실행된 1인칭 가상현실 컨텐츠 화면을 1인칭과 3인칭중 어느 하나로 메인 디스플레이에 출력하는 서버; 및
    상기 서버에 상기 클라이언트 단말의 컨텐츠에 참여를 요청하고, 신체의 모션 감지 및 조작 신호중 적어도 하나가 포함된 컨텐츠 데이터를 생성하여 상기 서버로 송신하는 복 수개의 관람객 단말;을 포함하고,
    상기 서버는 상기 관람객 단말의 컨텐츠 데이터를 상기 클라이언트 단말의 컨텐츠 데이터에 융합시켜 상기 클라이언트 단말로 송신하고, 상기 클라이언트 단말로부터 수신된 관람객 단말과 클라이언트 단말과의 상호 작용에 따른 컨텐츠 진행과정을 상기 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행 화면으로 출력하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
  2. 건축물의 벽면에 설치되는 메인 디스플레이;
    상기 건축물의 실내에 위치되어 가상현실 컨텐츠를 실행하고, HMD 유저의 모션 및 조작명령에 따른 컨텐츠 데이터를 송신하는 클라이언트 단말;
    상기 클라이언트 단말에서 실행된 1인칭 가상현실 컨텐츠 화면을 1인칭과 3인칭중 어느 하나로 상기 메인 디스플레이에 출력하는 서버; 및
    상기 서버에 상기 컨텐츠의 참여를 요청하고, 신체의 모션 감지 및 조작 신호중 적어도 하나가 포함된 컨텐츠 데이터를 생성하여 상기 서버로 송신하는 복 수개의 관람객 단말;을 포함하고,
    상기 서버는 상기 관람객 단말의 컨텐츠 데이터를 상기 클라이언트 단말의 컨텐츠 데이터에 융합시켜 상기 클라이언트 단말로 송신하고, 상기 클라이언트 단말로부터 수신된 관람객 단말과 클라이언트 단말과의 상호 작용에 따른 진행 상황을 상기 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행화면으로 출력하고,
    상기 건축물은 복 수개의 조립식 컨테이너가 조립된 모듈러 건축물인 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 복 수개의 조립식 컨테이너는 각각 투명전광판으로 일측 벽면을 이루고,
    상기 메인 디스플레이는 복 수개의 투명전광판으로 이루어진 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
  4. 제1항 또는 제2항에 있어서, 상기 관람객 단말은
    설정된 영역내에 위치된 사용자의 모션을 감지하는 고정단말; 및
    사용자의 신체 일부에 착용되는 모바일 단말;중 적어도 하나인 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
  5. 제1항 또는 제2항에 있어서, 상기 관람객 단말은
    스마트폰, 태블릿PC, PDA 및 조작 콘솔중 적어도 하나인 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
  6. 제1항 또는 제2항에 있어서, 상기 메인 디스플레이와 클라이언트 단말중 적어도 하나와 동일한 화면을 실시간 출력하는 복 수개의 서브 디스플레이를 더 포함하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
  7. 가상현실 컨텐츠를 선택하여 서버에 접속 요청을 송신하고, HMD 유저의 모션 및 조작명령을 포함하는 컨텐츠 데이터를 송신하는 클라이언트 단말의 a)단계;
    상기 a)단계에서 클라이언트 단말로부터 수신된 1인칭의 컨텐츠 실행 화면을 1인칭과 3인칭중 어느 하나로 메인 디스플레이에 출력시키는 서버의 b)단계;
    상기 b)단계 이후에 상기 서버로 참여 요청신호를 송신하고, 사용자의 모션 감지 및 조작 명령중 적어도 하나가 포함된 컨텐츠 데이터를 송신하는 관람객 단말의 c) 단계; 및
    상기 c)단계에서 복 수개의 관람객 단말들로부터 수신된 컨텐츠 데이터를 상기 b)단계에서 수신된 클라이언트 단말의 컨텐츠 데이터와 맵핑시켜 상기 클라이언트 단말과 상기 복수개의 관람객 단말간의 상호 작용에 따른 진행 상황을 상기 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행화면으로 실시간 출력하는 서버의 d)단계;를 포함하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법.
  8. 제7항에 있어서, 상기 c) 단계는
    전원이 온되면, 상기 서버에 참여 요청신호를 송신하는 c-1)단계;
    상기 c-1 단계 이후, 상기 서버로부터 참여 요청신호가 승인되면, 신체의 모션을 감지하는 모션감지신호와, 조작키와 마우스와 조이스틱 및 터치스크린중 적어도 하나에서 입력되는 조작명령중 적어도 하나를 감지하는 c-2)단계;
    상기 c-2)단계에서 감지된 모션감지신호와 조작명령중 적어도 하나와 고유 식별정보가 포함된 컨텐츠 데이터를 생성하여 상기 서버로 송신하는 c-3)단계를 포함하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법.
  9. 제7항에 있어서, 상기 c)단계는
    전원이 온되면, 설정된 영역내에 위치된 사용자의 영상을 촬영하는 c-1)단계;
    상기 c-1)단계에서 촬영된 영상에서 모션감지 대상 객체를 설정하는 c-2)단계;
    상기 c-1)단계에서 촬영된 영상중에서 상기 c-2)단계에서 설정된 객체의 모션을 감지하는 c-3)단계; 및
    상기 c-3)단계에서 감지된 객체의 모션 감지신호와 고유 식별정보가 포함된 컨텐츠 데이터를 상기 서버로 송신하는 c-4)단계를 포함하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법.
PCT/KR2017/002378 2016-08-25 2017-03-06 Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법 WO2018038337A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0108161 2016-08-25
KR1020160108161A KR101692267B1 (ko) 2016-08-25 2016-08-25 Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2018038337A1 true WO2018038337A1 (ko) 2018-03-01

Family

ID=57832063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/002378 WO2018038337A1 (ko) 2016-08-25 2017-03-06 Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR101692267B1 (ko)
WO (1) WO2018038337A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585977A (zh) * 2018-08-31 2021-03-30 多玩国株式会社 内容发布服务器、内容发布系统、内容发布方法及程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102516278B1 (ko) * 2022-06-08 2023-03-30 (주)이브이알스튜디오 미디어 패널에 대한 직관적인 컨트롤 환경을 제공하는 사용자 단말, 서버, 및 디스플레이 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100114819A (ko) * 2009-04-16 2010-10-26 한국전자통신연구원 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
KR20130029683A (ko) * 2011-09-15 2013-03-25 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
KR20130110907A (ko) * 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
KR20140007427A (ko) * 2011-03-10 2014-01-17 마이크로소프트 코포레이션 포토레프리젠터티브 뷰의 테마 기반 증강
JP2015162815A (ja) * 2014-02-27 2015-09-07 ブラザー工業株式会社 端末装置、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100911719B1 (ko) 2008-10-15 2009-08-10 (주) 전시나라 게임형 가상 현실체험 시뮬레이터
KR101414147B1 (ko) 2012-02-15 2014-07-01 (주)일렉콤 가상현실 사격 시뮬레이션 시스템
KR20150120755A (ko) 2014-04-18 2015-10-28 주식회사 한신정보기술 초광대역 무선통신을 이용한 3d 가상현실 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100114819A (ko) * 2009-04-16 2010-10-26 한국전자통신연구원 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
KR20140007427A (ko) * 2011-03-10 2014-01-17 마이크로소프트 코포레이션 포토레프리젠터티브 뷰의 테마 기반 증강
KR20130029683A (ko) * 2011-09-15 2013-03-25 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
KR20130110907A (ko) * 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
JP2015162815A (ja) * 2014-02-27 2015-09-07 ブラザー工業株式会社 端末装置、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585977A (zh) * 2018-08-31 2021-03-30 多玩国株式会社 内容发布服务器、内容发布系统、内容发布方法及程序
CN112585977B (zh) * 2018-08-31 2023-03-28 多玩国株式会社 内容发布服务器、内容发布系统、内容发布方法及存储介质

Also Published As

Publication number Publication date
KR101692267B1 (ko) 2017-01-04

Similar Documents

Publication Publication Date Title
WO2019124726A1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
US10751609B2 (en) Mapping arena movements into a 3-D virtual world
WO2016208930A1 (ko) 모바일 게임을 위한 자동 조준 시스템 및 방법
WO2016126110A1 (ko) 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
WO2013165144A1 (ko) 네트워크 대전을 제공하는 가상 골프 시뮬레이션 방법 및 장치
WO2016006832A1 (ko) 다트 게임 대전 모드를 제공하는 방법, 장치 및 컴퓨터-판독가능 매체
WO2011002226A2 (en) Virtual golf simulation apparatus and swing plate for the same
WO2017160057A1 (ko) 스크린 골프 시스템, 스크린 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2013089494A1 (ko) 가상 영상에 대한 촉감 제공 장치 및 방법
WO2013094820A1 (ko) 체감형 학습 장치 및 방법
WO2018038337A1 (ko) Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
WO2017160060A2 (ko) 가상 골프 시뮬레이션 장치, 가상 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2021015393A1 (ko) 자율주행장치 레이싱게임 제공방법과 레이싱장치 및 시스템
BG112225A (bg) Универсалнa електронна система за възстановяване позициите на топки при игри на маса като снукър, билярд, пул и други игри
WO2023074980A1 (ko) 동작 인식 기반 상호작용 방법 및 기록 매체
WO2016190676A1 (ko) 로봇, 스마트 블록 완구 및 이를 이용한 로봇 제어 시스템
KR20200008198A (ko) 인터랙티브 맵핑 기술을 융합한 다이나믹 에어하키
WO2016204335A1 (ko) 실감형 인터랙티브 콘텐츠에 기반한 운동시스템의 증강된 가상 운동공간 제공 장치 및 그 방법
WO2022080549A1 (ko) 이중 라이다 센서 구조의 모션 트래킹 장치
WO2012091511A2 (en) Virtual golf simulation apparatus and method allowing user-definition of golf ball
WO2018124397A1 (ko) 증강현실을 이용한 경로 안내 장치 및 이를 이용한 경로 안내 방법
WO2021145506A1 (ko) 모듈을 이용한 독자 참여형 전자책 시스템 및 동작 방법
KR102064402B1 (ko) 인터넷을 이용한 당구공 배치 확인 시스템 및 그 방법
WO2020213786A1 (ko) 신체 움직임 인식을 이용한 가상 인터렉티브 컨텐츠 실행 시스템
WO2020213784A1 (ko) 운동 유도를 위한 스포츠 인터렉티브 컨텐츠 실행 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843757

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843757

Country of ref document: EP

Kind code of ref document: A1