WO2021015347A1 - 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템 - Google Patents

가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템 Download PDF

Info

Publication number
WO2021015347A1
WO2021015347A1 PCT/KR2019/009284 KR2019009284W WO2021015347A1 WO 2021015347 A1 WO2021015347 A1 WO 2021015347A1 KR 2019009284 W KR2019009284 W KR 2019009284W WO 2021015347 A1 WO2021015347 A1 WO 2021015347A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
player
character
mobile device
related information
Prior art date
Application number
PCT/KR2019/009284
Other languages
English (en)
French (fr)
Inventor
박민지
Original Assignee
티팟스튜디오 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티팟스튜디오 주식회사 filed Critical 티팟스튜디오 주식회사
Publication of WO2021015347A1 publication Critical patent/WO2021015347A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking

Definitions

  • the present invention relates to a method and apparatus for providing mixed rendering content using virtual reality (VR) and augmented reality (AR). More specifically, the present invention relates to a method and apparatus for generating and providing VR and AR mixed rendering content based on information related to motion of a VR device player user and camera tracking information of a mobile device user.
  • VR virtual reality
  • AR augmented reality
  • VR players wearing HMD Head Mounted Display
  • VR players wearing HMD enjoy immersive games, but the rest of the observers watch the motion of the VR player or passively stare at the screen provided by the VR player's perspective to feel the immersion that is characteristic of a virtual reality environment. It is difficult.
  • the observer who observes the VR player playing the VR game can check the first person view of the user playing the VR through the screen, but there is a problem that the screen change is very fast and causes motion sickness.
  • a chroma key technique that synthesizes the background around the VR player can be used, but this requires expensive facilities, equipment, and foreign software.
  • creators who produce content using Internet broadcasting services such as YouTube and Twitch, not specialized broadcasting stations, are in a difficult situation to utilize such facilities and equipment. Therefore, contrary to the existing chroma key technique, a new technology that can infer the motion of a VR player in a virtual environment built in a mobile device easily possessed by users and render it is required.
  • An object of the present invention is to provide a method and apparatus for generating and providing VR and AR mixed rendering content based on motion-related information of a VR device player user and camera tracking information of a mobile device user.
  • an object of the present invention is to provide mixed rendering content in which a virtual reality character and a virtual reality environment are reconstructed in a mobile device by transmitting only essential motion information of a VR player, not a method of transmitting a VR image.
  • the present invention utilizes a computer for generating human body motion data connected to the HMD of a VR player and a mobile device of the observer, so that the motion data generation part, which is a task with a relatively high computational amount, is processed by the computer and can be quickly processed.
  • the aim is to provide seamless VR video content by performing only operations on a mobile device.
  • an object of the present invention is to provide a method and apparatus for easily synthesizing a VR player and a VR world and performing video streaming without the need for specialized computer graphics (CG) photographing equipment.
  • CG computer graphics
  • the present invention synthesizes the virtual reality and the VR player so that the VR player can be observed from the viewpoint of the observer rather than the viewpoint of the VR player, and the viewer can view it as a desired viewpoint through a mobile device through augmented reality (AR). It aims to provide VR video content that is present.
  • AR augmented reality
  • a system for providing mixed rendering content using virtual reality (VR) and augmented reality (AR) motion related information of a player using a virtual reality device.
  • a character body motion generating device configured to receive and estimate a body posture of the player based on the motion-related information;
  • a mobile device configured to generate image content by rendering a three-dimensional environment based on the motion-related information of the character and the camera tracking information of the observer received from the character body motion generating device.
  • the motion-related information of the player may include motion capture information acquired from a camera photographing the motion of the player's body and data of an IMU (Inertial Measurement Unit) sensor of the virtual reality device worn by the player. have.
  • IMU Inertial Measurement Unit
  • the apparatus for generating a human body motion of the character may be configured to perform a customizing operation to suit the human body structure of the character based on the estimated body posture of the player.
  • the mobile device may pre-receive at least one of a rendering environment and character model information from the character body motion generating device, and receive at least one of real-time changing character position, direction, and motion-related information in real time.
  • the mobile device may also be configured to record the motion of the player, and to generate video content by first generating the content recording the motion of the player, and then rendering the three-dimensional environment.
  • a motion of a player using a virtual reality device in a character body motion generating device Receiving relevant information; Estimating a body posture of the player based on the motion-related information by the character body motion generating apparatus; And generating video content by rendering a 3D environment based on the motion-related information of the character received from the character body motion generating device and the camera tracking information of the observer in a mobile device used by the observer.
  • the motion-related information of the player may include motion capture information obtained from a camera photographing the motion of the player's body and data of an IMU (Inertial Measurement Unit) sensor of the virtual reality device worn by the player. have.
  • IMU Inertial Measurement Unit
  • the method may further include performing, by the character body motion generating apparatus, performing a customizing operation to suit the body structure of the character based on the estimated body posture of the player.
  • the mobile device further comprises the step of recording the motion of the player, wherein the mobile device is configured to generate the video content by first creating the content recording the motion of the player, and then rendering the three-dimensional environment. Can be.
  • the present invention it is possible to provide a method and apparatus for generating and providing VR and AR mixed rendering content based on information related to motion of a VR device player user and camera tracking information of a mobile device user.
  • a VR image instead of transmitting a VR image, only essential motion information of a VR player is transmitted, and mixed rendering content in which a virtual reality character and a virtual reality environment are reconstructed in a mobile device can be provided.
  • the motion data generation part which is a task with a relatively high computational amount, is processed by the computer and can be processed quickly. It is possible to provide seamless VR video content by performing only possible operations on the mobile device.
  • the virtual reality and the VR player are synthesized so that the VR player can be observed from the viewer's point of view rather than the viewpoint of the VR player.
  • VR video content that can be viewed can be provided.
  • FIG. 1 is an exemplary view illustrating a configuration of a system for providing mixed rendering content using virtual reality and augmented reality according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a system for providing mixed rendering content according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method performed in a VR device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method performed by the apparatus for generating a motion of a human body according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method performed in a mobile device according to an embodiment of the present invention.
  • 6A and 6B are exemplary diagrams showing a screen of mixed rendering content generated according to an embodiment of the present invention.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and it does not mean that each component is formed of separate hardware or a single software component. That is, each constituent unit is described as being listed as a respective constituent unit for convenience of explanation, and at least two constituent units of each constituent unit are combined to form one constituent unit, or one constituent unit may be divided into a plurality of constituent units to perform a function. Integrated embodiments and separate embodiments of each of these components are also included in the scope of the present invention unless departing from the essence of the present invention.
  • FIG. 1 is an exemplary view illustrating a configuration of a system for providing mixed rendering content using virtual reality and augmented reality according to an embodiment of the present invention.
  • the VR player 10 experiencing a VR game or content includes a VR device 100 such as a head mounted display (HMD) that can be worn on the head and a motion controller 101 that can be held in both hands. It can be worn, and information on the human body motion and posture of the VR player can be obtained by receiving information related to the position and movement motion of both hands as well as the position and movement of the head of the VR player through such a VR wearable device.
  • the mobile device 200 of the observer 20 capable of photographing while observing the motion of the VR player 10 finds the camera position based on the camera image and sensor data, and uses AR technology through camera tracking. You can render a 3D environment.
  • a computer for generating human body motion data connected to the HMD 100 and the motion controller 101 of the VR player 10 may exist separately, and the motion data generation part, which is a task with a relatively high computational amount, is It is possible to provide seamless VR video content by performing only operations that are processed by a computer (PC) that is higher performance than the mobile device and can be processed faster by the mobile device 200.
  • PC computer
  • the character 270 created as an avatar of the VR player 10 in the mobile device 200 of the observer 20 is displayed on the virtual reality screen through the full body motion data of the VR player 10 and camera tracking information generated as described above. It may be synthesized, rendered, generated, and displayed, and the 3D virtual environment may change in real time according to the position and viewing angle of the observer's mobile device 200.
  • the immersion of the VR player is easily transmitted to the observer or game video creator by inferring the motion and posture of the player user in a virtual environment built in a mobile device and rendering it. I can.
  • the mixed rendering content providing system is a character body motion generating device for generating a character body motion by receiving motion data from the VR device 100 worn by the VR player and the VR device 100 ( 300), a mobile device for receiving full body motion data information from the character body motion generating device 300, rebuilding a virtual environment through camera tracking, and generating VR video content including a VR player character through real-time rendering It can be composed of 200.
  • the VR device 100 worn by a VR player who directly experiences VR games or contents includes a head mounted display (HMD) that can be worn on the head and a motion controller that can be held in both hands. Can, but is not limited to these.
  • the character body motion generating device 300 may reconstruct the player's whole body motion, and the reconstructed whole body motion-related information is transmitted to the mobile device ( 200), and the mobile device 200 may generate the final mixed rendering content through camera tracking technology by using an augmented reality mobile application or the like.
  • the VR device 100 may include a communication unit 110, a processing unit 120, a display unit 130, a sensor unit 140, and the like.
  • the communication unit 110 may be a module or part configured to transmit data through a network with the character body motion generating device 300, and the communication unit transmits data related to the motion and posture of the player wearing the VR device 100. It may be transmitted to an external device, for example, the character body motion generating device 300 through 110.
  • the network is a network connected by wire or wirelessly, and when the network is a wireless communication network, cellular communication or short-range communication may be included.
  • cellular communication is LTE (Long-Term Evolution), LTE-A (LTE Advanced), 5G (5th Generation), CDMA (Code Division Multiple Access), WCDMA (Wideband CDMA), UMTS (Universal Mobile Telecommunications System), WiBro It may include at least one of (Wireless Broadband), or Global System for Mobile Communications (GSM).
  • short-range communication may include at least one such as Wireless Fidelity (Wi-Fi), Bluetooth, Zigbee, or Near Field Communication (NFC).
  • Wi-Fi Wireless Fidelity
  • Bluetooth Zigbee
  • NFC Near Field Communication
  • the communication method is not limited thereto, and a wireless communication technology to be developed later will be included.
  • the processing unit 120 is responsible for processing various data related to the operation of the VR device 100 and displayed information.
  • the processing unit 120 may include a central processing unit (CPU), an application processor (AP), and the like.
  • a memory capable of storing commands or data related to at least one other component may be included therein, or necessary information may be accessed by communicating with a memory unit in the device or an external memory if necessary.
  • the display unit 130 displays (outputs) information processed by the VR device 100.
  • the display unit 130 may display execution screen information of an application program driven by the VR device 100, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information.
  • the display unit 130 may be configured as a three-dimensional display unit that displays a three-dimensional image.
  • Three-dimensional display methods such as stereoscopic method (glasses method), auto stereoscopic method (no glasses method), and projection method (holographic method) can be applied to the stereoscopic display unit, and various types of display technologies are not limited thereto. Can be utilized.
  • the sensor unit 140 is configured to measure motion-related data of the VR device 100, and may be, for example, an IMU (Inertial Measurement Unit) sensor built into an HMD or a motion controller.
  • IMU Inertial Measurement Unit
  • the sensor unit 140 may include a camera capable of photographing the player's human body motion to collect high-resolution human body motion data for the player user separately from the HMD 100 and the motion controller 101.
  • a camera capable of photographing the player's human body motion to collect high-resolution human body motion data for the player user separately from the HMD 100 and the motion controller 101.
  • Vicon Mocap It may include a high-resolution motion capture system such as System.
  • the user's motion and posture can be estimated by a separate computer such as the character human body motion generating device 300, and such data Can be used for machine learning.
  • the character body motion generating apparatus 300 may be configured to receive motion-related information of the player user from the VR device 100 and estimate the player's body posture based on the received motion-related information.
  • the character body motion generating apparatus 300 may be, for example, any one of a desktop computer, a laptop computer, a tablet computer, a notebook, a workstation, and a smart phone, It is not limited to these.
  • the communication unit 310 of the character human body motion generation device 300 is configured to receive high-resolution human body motion data and IMU sensor data from the VR device 100, etc., and, like the communication unit 110 of the VR device 100, various It may be a module or component supporting a wired or wireless network.
  • the character human body motion generation apparatus 300 may include a processing unit 320 configured to estimate a player's human body posture through machine learning, etc., and to perform a customization task of matching the estimated user's human body posture to the character's human body structure.
  • the processing unit 320 may include, for example, a central processing unit (CPU), an application processor (AP), etc., and includes a memory capable of storing instructions or data related to at least one other component, or a memory in the device. It can communicate with a secondary or external memory, if necessary, to access the necessary information.
  • the processing unit 320 may include a human body posture estimating unit 321 for estimating a body posture of a player user wearing the VR device 100.
  • the human body posture estimation unit 321 may perform a correlation learning algorithm between the IMU sensor information received by the VR device 100 and the high-resolution human body motion data. For example, a machine using artificial neural networks (ANN) Learning can be carried out.
  • ANN artificial neural networks
  • the calculation range of machine learning may be limited in consideration of the constraint condition of the VR game environment played through the VR device 100.
  • the human body posture estimating unit 321 may estimate a natural posture in consideration of temporal continuity, and perform learning while variously changing the number of sensor information.
  • the learning algorithm error rate target may be set to be less than 0.3 m of average error of major body parts.
  • the processing unit 320 may also include a character posture customization unit 322 configured to perform a character customization operation to be suitable for the human body structure of the character based on the player’s human body posture estimated through the human body posture estimation unit 321. .
  • the character posture customization unit 322 performs retargeting in accordance with the human body structure of the character being rendered on the estimated user's human body posture, thereby minimizing the physical inconsistency between the virtual environment in the VR game and the character motion. Play a role.
  • Real-time avatar motion retargeting through calculation time optimization may be implemented.
  • the retargeting processing time target may be set to 33 ms or less per frame.
  • the mobile device 200 is configured to generate mixed rendering content of a 3D environment through motion data received from the character body motion generating device 300 and camera tracking, for example, a smart phone, Tablet computer, desktop computer, laptop computer, notebook, workstation, PDA (Personal Digital Assistants), portable computer, wireless phone, mobile phone phone), e-book, portable multimedia player (PMP), portable game console, digital camera, television, wearable device, AI (artificial intelligence) speaker It may be, but is not limited to these, a portable device is preferred.
  • the mobile device 200 may include a communication unit 210, a camera unit 220, a sensor unit 230, a processing unit 240, a display unit 250, a 3D rendering unit 260, and the like. It may include all components that perform functions of mobile terminals such as phones and tablet computers.
  • the communication unit 210 may be a module or component configured to transmit data through a network with the character body motion generating device 300, wherein the network is a network connected by wire or wireless, and when the network is a wireless communication network, It may include cellular communication or short-range communication.
  • cellular communication is LTE (Long-Term Evolution), LTE-A (LTE Advanced), 5G (5th Generation), CDMA (Code Division Multiple Access), WCDMA (Wideband CDMA), UMTS (Universal Mobile Telecommunications System), WiBro It may include at least one of (Wireless Broadband), or Global System for Mobile Communications (GSM).
  • short-range communication may include at least one such as Wireless Fidelity (Wi-Fi), Bluetooth, Zigbee, or Near Field Communication (NFC).
  • Wi-Fi Wireless Fidelity
  • Bluetooth Zigbee
  • NFC Near Field Communication
  • the communication method is not limited thereto, and a wireless communication technology to be developed later will be included.
  • Motion-related data generated by the character body motion generating device 300 may be transmitted to a plurality of mobile devices 200 in real time, and the mobile device 200 accesses or accesses the character body motion generating device 300 at any time. It can be configured to be releasable. For example, for this purpose, a server using a websocket may be implemented to broadcast motion data to a plurality of mobile devices 200 in real time in the character body motion generating apparatus 300. In addition, for privacy protection, security functions can be provided so that only internal networks can access.
  • the camera unit 220 is configured to photograph a motion of a player user wearing the VR device 100 and to generate image data for performing camera tracking to implement an augmented reality (AR).
  • AR augmented reality
  • the sensor unit 230 may include an acceleration sensor and a gyroscope, and may track a camera position from motion data of the mobile device 200 obtained from the sensor unit 230 and implement camera tracking for AR.
  • the processing unit 240 is configured to generate image content by rendering a 3D environment based on the motion-related information of the character and the camera tracking information of the observer received from the character body motion generating apparatus 300, and the processing unit 240 is, for example, It may include a central processing unit (CPU), an application processor (AP), etc., and includes a memory that can store instructions or data related to at least one other component, or a memory unit in the device or an external memory if necessary. You can communicate with and access the information you need.
  • CPU central processing unit
  • AP application processor
  • the character human body motion generating device 300 transmits an image of the screen because it is highly likely that the image is interrupted or delayed in a general network environment.
  • the mobile device 200 may be configured to transmit only data of a small size capable of rendering a screen.
  • the mobile device 200 receives in advance at least one of information such as a rendering environment, a character model, and a character texture from the character body motion generating device, and receives at least one of the position, direction, and motion-related information of a character that changes in real time in real time. can do.
  • the motion data generation part which is a task with a relatively high computational amount, is processed by the computer (PC) of the character body motion generating device 300, which is higher than the mobile device 200, and only the movements that can be processed quickly are processed by the mobile device.
  • PC computer
  • seamless VR video content can be provided.
  • the processing unit 240 also implements an AR camera tracking technology, and can be largely divided into a camera automatic adjustment technology and a camera tracking technology for AR implementation.
  • the development of the camera auto-adjustment technology is a technology that automatically finds the initial position of the camera from an image captured by the mobile device 200, and after that, the camera can be tracked using AR technology.
  • the position of the camera may be estimated by tracking a user's posture from an image through machine learning and synchronizing this with motion data transmitted from the character body motion generating apparatus 300.
  • a machine learning method that can improve accuracy can be used instead of spending a lot of time.For example, a method such as random forest and deep learning can be used to achieve very high accuracy. You can estimate the location of the camera.
  • the image data obtained through the camera from the SLAM (Simultaneous Localization and Mapping) algorithm and the sensor data of the mobile device 200 are used to You can guess the movement. For example, by using the Euler method or the like from the movement of the mobile device 200 and the existing location of the mobile device 200, the current position and direction of the mobile device 200 may be obtained. In addition, it is possible to prevent the camera from moving too far from its actual position through periodic automatic camera adjustment.
  • SLAM Simultaneous Localization and Mapping
  • the display unit 250 is a component for visually providing VR content or mixed rendering content to a user.
  • the display unit 250 includes a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a micro LED, a micro electromechanical system (MEMS), micro electro mechanical systems) displays and electronic paper displays, but are not limited thereto.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • MEMS micro electromechanical system
  • micro electro mechanical systems micro electro mechanical systems
  • the 3D rendering unit 260 is configured to render a 3D environment from the motion data generated by the character body motion generating apparatus 300 and the position of the camera tracked by the mobile device 200.
  • the mixed rendering content screen is rendered so that rendering can be implemented in real time by adjusting the level of detail in consideration of the performance of the mobile device 200, and the network speed so that the user of the mobile device 200 does not feel uncomfortable. Should be fast enough.
  • the mobile device 200 may be configured to record the motion of the player through the camera unit 220.
  • the virtual reality is rendered on the mobile device 200, a corresponding image can be recorded and used as content, and at the same time, two video content can be created and utilized by recording the real world in which the VR player plays a game.
  • performing two recordings at the same time is a task that may burden the performance of the mobile device 200. Therefore, after first creating content that records the player's motions, it is necessary to create video content by rendering a 3D environment. Can be configured.
  • FIG. 3 is a flowchart illustrating a method performed in a VR device according to an embodiment of the present invention.
  • the VR game screen may be provided to the player user through the display screen of the HMD of the VR device 100.
  • the VR player user plays a game while viewing the display screen of the VR device 100 or experiences VR content. Accordingly, the user's posture change or motion operation is performed.
  • motion-related data of the player may be collected through the IMU sensor of the VR device 100.
  • An HMD of the VR device 100 or an IMU sensor built into the motion controller may be used. Through this, it is possible to measure and collect motion-related data of the player user.
  • the VR device 100 may include a motion capture camera capable of photographing the player's human body motion to collect high-resolution human body motion data for the player user separately from the HMD and the IMU sensor of the motion controller.
  • a human body motion photographing may be performed, and high-resolution motion capture information may be obtained (S330).
  • the motion-related information of the player collected as described above may be transmitted to the character body motion generating apparatus 300 (S340).
  • FIG. 4 is a flowchart illustrating a method performed by the apparatus for generating a motion of a human body according to an embodiment of the present invention.
  • the character body motion generating apparatus 300 may receive motion-related information of a player using the virtual reality device (S410).
  • the motion-related information may include, for example, high-resolution human body motion data and IMU sensor data.
  • the character body motion generating apparatus 300 may estimate the player's body posture based on motion-related information.
  • the body posture estimation unit 321 includes IMU sensor information received by the VR device 100 and high-resolution human body.
  • a correlation learning algorithm between motion data may be performed, for example, machine learning may be performed using artificial neural networks (ANNs).
  • ANNs artificial neural networks
  • the posture of the 3D virtual character may be customized to suit the human body structure of the character (S430).
  • the motion-related information of the character generated through this process may be transmitted to the mobile device 200 (S440).
  • FIG. 5 is a flowchart illustrating a method performed in a mobile device according to an embodiment of the present invention.
  • the mobile device 200 may receive character motion-related information from the character body motion generating device 300 (S510).
  • the mobile device 200 is a rendering environment, a character model, and a character from the character body motion generating device. At least one of information such as texture is received in advance, and at least one of information related to a position, direction, and motion of a character that changes in real time is received in real time, thereby minimizing the amount of real-time transmission.
  • the initial position of the camera is automatically found and estimated from the image captured by the mobile device 200, and the camera position is corrected.
  • the user's posture is tracked from the image through machine learning, and
  • the position of the camera may be estimated by synchronizing with motion data transmitted from the human body motion generating device 300.
  • camera tracking is performed through motion estimation of the mobile device (S530).
  • the mobile device 200 is performed using image data obtained through the camera and sensor data values of the mobile device 200. ) Can be estimated, and through this, the current position and direction of the mobile device 200 can be obtained.
  • Mixed rendering content of a 3D environment may be generated and displayed from motion data transmitted from the character body motion generating apparatus 300 and location information of the camera tracked by the mobile device 200 (S540). You can record and use it as VR content and share it.
  • 6A and 6B are exemplary diagrams showing a screen of mixed rendering content generated according to an embodiment of the present invention.
  • an observer that is, a mixed rendering content creation and provider, may use his mobile device 200 to photograph a VR player wearing the VR device 100, and at this time, the viewpoint of the observer rather than the viewpoint of the VR player.
  • Mixed rendering content obtained by combining the virtual reality and the VR player character 270 may be displayed on the mobile device 200 so that the VR player can be observed.
  • a VR player holds a motion controller 101 in hand in addition to a VR device 100 composed of an HMD, and a character 270 generated by estimating the player's posture and motion is a mobile device. It may be generated and displayed in real time on the screen of 200.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 의하면, 가상 현실(VR) 및 증강 현실(AR)을 이용한 혼합 렌더링 콘텐츠를 제공하기 위한 시스템에 있어서, 가상 현실 장치를 이용하는 플레이어의 모션(motion) 관련 정보를 수신하고, 모션 관련 정보에 기초하여 플레이어의 인체 자세를 추정하도록 구성된 캐릭터 인체 모션 생성 장치 및 캐릭터 인체 모션 생성 장치로부터 수신한 캐릭터의 모션 관련 정보 및 관찰자의 카메라 트래킹 정보에 기초하여 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성된 모바일 장치를 포함하는 혼합 렌더링 콘텐츠 제공 시스템을 제공할 수 있다.

Description

가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템
본 발명은 가상 현실(Virtual Reality, VR) 및 증강 현실(Augmented Reality, AR)을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명은 VR 장치 플레이어 사용자의 모션과 관련된 정보 및 모바일 기기 사용자의 카메라 트래킹(camera tracking) 정보에 기초하여 VR 및 AR 혼합 렌더링 콘텐츠를 생성 및 제공하기 위한 방법 및 장치에 관한 것이다.
VR 기기의 가정 보급률이 예상보다 낮아지면서, VR 체험관 또는 VR 카페를 통해 VR을 즐기는 사용자가 늘어났으며, 이로 인해 다수가 즐길 수 있는 VR 콘텐츠의 수요가 늘어나고 있다. HMD(Head Mounted Display)를 착용한 VR 플레이어는 몰입감 높은 게임을 즐기지만, 나머지 관찰자들은 VR 플레이어의 동작을 바라보거나 VR 플레이어 시점으로 제공되는 스크린을 수동적으로 응시하며 가상현실 환경의 특징인 몰입감을 느끼기 어렵다. 또한, VR 게임을 플레이하고 있는 VR 플레이어를 관찰하는 관찰자는 VR을 플레이하고 있는 사용자의 1인칭 시점을 스크린을 통해 확인할 수 있으나, 화면 전환이 매우 빠르고 멀미를 유발한다는 문제점이 있다.
VR 체험관에서 VR 플레이어가 아닌 관찰자들이 콘텐츠를 효과적으로 즐길 수 있기 위해서는 수동적인 화면 송출이 아닌 능동적으로 가상 세계를 탐험할 수 있는 수단을 제공해야 한다.
또한, 과거에 비해 동영상 콘텐츠가 폭발적으로 증가하고 있으며 글이나 이미지가 아닌 동영상 콘텐츠 제작 및 송출에 대한 수요가 커지고 있으며, 특히 1인 미디어의 증가로 특별한 실시간 영상 생성을 원하고 있으며 쉽게 독특한 방송 콘텐츠를 생성하고자 하는 수요가 계속 늘어나고 있다. 이와 같은 방송 콘텐츠의 주제로 게임 분야가 상당한 인기를 끌고 있으며, VR 게임의 대중화로 인해 VR 게임 관련 콘텐츠 제작 및 방송 시장은 크게 성장할 것으로 예상된다.
몰입감 높은 VR 게임 영상을 제공하기 위해서는 배경을 VR 플레이어 주변에 합성하는 크로마키 기법을 사용할 수 있으나, 이는 고비용의 시설과 장비와 외산 소프트웨어가 필요하다. 특히 전문 방송국이 아닌, 유튜브(YouTube)나 트위치(Twitch)와 같은 인터넷 방송 중계 서비스를 활용하여 콘텐츠를 제작하는 크리에이터(creator)는 이와 같은 시설과 장비를 활용하기 어려운 상황이다. 따라서, 기존 크로마키 기법과는 반대로, 사용자들이 쉽게 지니는 모바일 장비에 구축되어 있는 가상 환경에 VR 플레이어의 동작을 유추하여 렌더링할 수 있는 새로운 기술이 요구된다.
본 발명은 VR 장치 플레이어 사용자의 모션과 관련된 정보 및 모바일 장치 사용자의 카메라 트래킹(camera tracking) 정보에 기초하여 VR 및 AR 혼합 렌더링 콘텐츠를 생성 및 제공하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 VR 영상을 송출하는 방식이 아닌, VR 플레이어의 핵심적인 동작 정보만 전송하고 모바일 기기에서 가상 현실 캐릭터와 가상 현실 환경이 재구축된 혼합 렌더링 콘텐츠를 제공하는 것을 목적으로 한다.
또한, 본 발명은 VR 플레이어의 HMD와 연결된 인체 모션 데이터를 생성하기 위한 컴퓨터와 관찰자의 모바일 장치를 함께 활용하여, 연산량이 비교적 높은 작업인 모션 데이터 생성 부분은 컴퓨터에서 처리하고, 빠르게 처리할 수 있는 동작들만 모바일 장치에서 수행함으로써 끊김 없는 VR 영상 콘텐츠를 제공하는 것을 목적으로 한다.
또한, 본 발명은 전문적인 컴퓨터 그래픽(CG) 촬영 장비가 없이도 손쉽게 VR 플레이어와 VR 세계를 합성하고 영상 스트리밍을 진행할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 VR 플레이어의 시점이 아닌 관찰자의 시점에서 VR 플레이어를 관찰할 수 있도록 가상 현실과 VR 플레이어를 합성하고, 이를 증강 현실(AR)로 관찰자가 모바일 장치를 통해서 원하는 시점으로 바라볼 수 있는 VR 영상 콘텐츠를 제공하는 것을 목적으로 한다.
본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 가상 현실(VR) 및 증강 현실(AR)을 이용한 혼합 렌더링 콘텐츠를 제공하기 위한 시스템에 있어서, 가상 현실 장치를 이용하는 플레이어(player)의 모션(motion) 관련 정보를 수신하고, 상기 모션 관련 정보에 기초하여 상기 플레이어의 인체 자세를 추정하도록 구성된 캐릭터 인체 모션 생성 장치; 및 상기 캐릭터 인체 모션 생성 장치로부터 수신한 캐릭터의 모션 관련 정보 및 관찰자의 카메라 트래킹 정보에 기초하여 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성된 모바일 장치를 포함하는 혼합 렌더링 콘텐츠 제공 시스템을 제공할 수 있다.
여기서, 상기 플레이어의 모션(motion) 관련 정보는 상기 플레이어의 인체 모션을 촬영한 카메라로부터 획득한 모션 캡쳐 정보 및 상기 플레이어가 착용한 상기 가상 현실 장치의 IMU(Inertial Measurement Unit) 센서 데이터를 포함할 수 있다.
또한, 상기 캐릭터 인체 모션 생성 장치는 추정된 상기 플레이어의 인체 자세에 기초하여 캐릭터의 인체 구조에 적합하도록 맞춤화 작업을 수행하도록 구성될 수 있다.
또한, 상기 모바일 장치는 상기 캐릭터 인체 모션 생성 장치로부터 렌더링 환경 및 캐릭터 모델 정보 중 적어도 하나는 미리 수신하고, 실시간 변하는 캐릭터의 위치, 방향 및 모션 관련 정보 중 적어도 하나는 실시간으로 수신할 수 있다.
또한, 상기 모바일 장치는 또한 상기 플레이어의 동작을 녹화하도록 구성되고, 상기 플레이어의 동작을 녹화한 콘텐츠를 먼저 생성한 후에, 상기 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성될 수 있다.
본 발명의 다른 실시예에 따르면, 가상 현실(VR) 및 증강 현실(AR)을 이용한 혼합 렌더링 콘텐츠를 제공하기 위한 방법에 있어서, 캐릭터 인체 모션 생성 장치에서 가상 현실 장치를 이용하는 플레이어의 모션(motion) 관련 정보를 수신하는 단계; 상기 캐릭터 인체 모션 생성 장치에서 상기 모션 관련 정보에 기초하여 상기 플레이어의 인체 자세를 추정하는 단계; 및 관찰자가 사용하는 모바일 장치에서 상기 캐릭터 인체 모션 생성 장치로부터 수신한 캐릭터의 모션 관련 정보 및 상기 관찰자의 카메라 트래킹 정보에 기초하여 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하는 단계를 포함하는 혼합 렌더링 콘텐츠 제공 방법을 제공할 수 있다.
또한, 상기 플레이어의 모션(motion) 관련 정보는 상기 플레이어의 인체 모션을 촬영한 카메라로부터 획득한 모션 캡쳐 정보 및 상기 플레이어가 착용한 상기 가상 현실 장치의 IMU(Inertial Measurement Unit) 센서 데이터를 포함할 수 있다.
또한, 상기 캐릭터 인체 모션 생성 장치에서 상기 추정된 상기 플레이어의 인체 자세에 기초하여 캐릭터의 인체 구조에 적합하도록 맞춤화 작업을 수행하는 단계를 더 포함할 수 있다.
또한, 상기 모바일 장치에서 상기 캐릭터 인체 모션 생성 장치로부터 렌더링 환경 및 캐릭터 모델 정보 중 적어도 하나는 미리 수신하는 단계; 및 실시간 변하는 캐릭터의 위치, 방향 및 모션 관련 정보 중 적어도 하나는 실시간으로 수신하는 단계를 더 포함할 수 있다.
또한, 상기 모바일 장치에서 상기 플레이어의 동작을 녹화하는 단계를 더 포함하고, 상기 모바일 장치는 상기 플레이어의 동작을 녹화한 콘텐츠를 먼저 생성한 후에, 상기 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성될 수 있다.
본 발명에 의하면, VR 장치 플레이어 사용자의 모션과 관련된 정보 및 모바일 장치 사용자의 카메라 트래킹(camera tracking) 정보에 기초하여 VR 및 AR 혼합 렌더링 콘텐츠를 생성 및 제공하기 위한 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면, VR 영상을 송출하는 방식이 아닌, VR 플레이어의 핵심적인 동작 정보만 전송하고 모바일 기기에서 가상 현실 캐릭터와 가상 현실 환경이 재구축된 혼합 렌더링 콘텐츠를 제공할 수 있다.
또한, 본 발명에 의하면, VR 플레이어의 HMD와 연결된 인체 모션 데이터를 생성하기 위한 컴퓨터와 관찰자의 모바일 장치를 함께 활용하여, 연산량이 비교적 높은 작업인 모션 데이터 생성 부분은 컴퓨터에서 처리하고, 빠르게 처리할 수 있는 동작들만 모바일 장치에서 수행함으로써 끊김 없는 VR 영상 콘텐츠를 제공할 수 있다.
또한, 본 발명에 의하면, 전문적인 컴퓨터 그래픽(CG) 촬영 장비가 없이도 손쉽게 VR 플레이어와 VR 세계를 합성하고 영상 스트리밍을 진행할 수 있는 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면, VR 플레이어의 시점이 아닌 관찰자의 시점에서 VR 플레이어를 관찰할 수 있도록 가상 현실과 VR 플레이어를 합성하고, 이를 증강 현실(AR)로 관찰자가 모바일 장치를 통해서 원하는 시점으로 바라볼 수 있는 VR 영상 콘텐츠를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 시스템의 구성을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 혼합 렌더링 콘텐츠 제공 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 VR 장치에서 수행되는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 캐릭터 인체 모션 생성 장치에서 수행되는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 모바일 장치에서 수행되는 방법을 설명하기 위한 흐름도이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라 생성된 혼합 렌더링 콘텐츠의 화면을 보여주는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다(comprises)", "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 이와 같은 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 시스템의 구성을 설명하기 위한 예시도이다.
먼저, VR 게임 또는 콘텐츠를 체험하는 VR 플레이어(10)는 머리에 착용 가능한 HMD(Head Mounted Display)와 같은 VR 장치(100)와 양 손에 쥘 수 있는 모션 콘트롤러(motion controller)(101) 등을 착용할 수 있으며, 이와 같은 VR 웨어러블 장치를 통해 VR 플레이어의 머리 위치 및 움직임뿐만 아니라 양 손의 위치 및 움직임 모션과 관련된 정보를 수신함으로써, VR 플레이어의 인체 모션 및 자세에 대한 정보를 획득할 수 있다. 또한, VR 플레이어(10)의 동작을 관찰하면서 촬영가능한 관찰자(20)의 모바일 장치(200)는 카메라 이미지 및 센서 데이터 등에 기초하여 카메라 위치를 찾아내고, AR 기술로 카메라 트래킹(camera tracking)을 통해 3차원 환경을 렌더링할 수 있다.
도 1에는 도시되지 않았지만, VR 플레이어(10)의 HMD(100) 및 모션 콘트롤러(101)와 연결된 인체 모션 데이터를 생성하기 위한 컴퓨터가 별도로 존재할 수 있으며, 연산량이 비교적 높은 작업인 모션 데이터 생성 부분은 모바일 장치보다 고성능인 컴퓨터(PC)에서 처리하고, 빠르게 처리할 수 있는 동작들만 모바일 장치(200)에서 수행함으로써 끊김 없는 VR 영상 콘텐츠를 제공할 수 있다.
이와 같이 생성된 VR 플레이어(10)의 전신 모션 데이터와 카메라 트래킹 정보 등을 통해 관찰자(20)의 모바일 장치(200)에서 VR 플레이어(10)의 아바타로 생성된 캐릭터(270)가 가상 현실 화면에 합성되어 렌더링되어 생성 및 디스플레이될 수 있으며, 관찰자의 모바일 장치(200)의 위치 및 바라보는 각도에 따라 실시간으로 3차원 가상 환경이 변화할 수 있다. 이와 같은 혼합 렌더링 콘텐츠 제공 시스템에 의하면, 종래의 크로마키 기법과 달리 모바일 장치에 구축되어 있는 가상 환경에 플레이어 사용자의 동작 및 자세를 유추하여 렌더링함으로써 손쉽게 관찰자나 게임 영상 크리에이터에게 VR 플레이어의 몰입감이 전해질 수 있다.
도 2는 본 발명의 일 실시예에 따른 혼합 렌더링 콘텐츠 제공 시스템의 구성을 설명하기 위한 블록도이다. 본 발명의 일 실시예에 따른 혼합 렌더링 콘텐츠 제공 시스템은 VR 플레이어가 착용하는 VR 장치(100), VR 장치(100)로부터 모션 데이터 등을 수신하여 캐릭터 인체 모션을 생성하기 위한 캐릭터 인체 모션 생성 장치(300), 캐릭터 인체 모션 생성 장치(300)로부터 전신 모션 데이터 정보 등을 수신하고, 카메라 트래킹을 통해 가상 환경을 재구축하고 실시간 렌더링을 통해 VR 플레이어 캐릭터가 포함된 VR 영상 콘텐츠를 생성하기 위한 모바일 장치(200)로 구성될 수 있다.
먼저, VR 게임이나 콘텐츠를 직접 경험하는 VR 플레이어가 착용하는 VR 장치(100)는 머리에 쓰는 머리에 착용 가능한 HMD(Head Mounted Display)와 양 손에 쥘 수 있는 모션 콘트롤러(motion controller) 등을 포함할 수 있으며, 이들에 제한되지 않는다. VR 장치(100)에서 생성되는 동작 모션 관련 데이터 등으로부터 캐릭터 인체 모션 생성 장치(300)는 플레이어의 전신 동작을 재구성(reconstruct)할 수 있으며, 이와 같이 재구성된 전신 동작 관련 정보가 실시간으로 모바일 장치(200)에 전송되고, 모바일 장치(200)에서는 증강 현실 모바일 애플리케이션 등에 의해 카메라 트래킹 기술을 통해 최종 혼합 렌더링 콘텐츠가 생성될 수 있다.
VR 장치(100)는 통신부(110), 처리부(120), 디스플레이부(130), 센서부(140) 등을 포함할 수 있다. 먼저, 통신부(110)는 캐릭터 인체 모션 생성 장치(300)와 네트워크를 통해 데이터를 송신 가능하도록 구성된 모듈 또는 부품일 수 있으며, VR 장치(100)를 착용한 플레이어의 모션, 자세 등과 관련된 데이터를 통신부(110)를 통해 외부 장치, 예컨대 캐릭터 인체 모션 생성 장치(300)로 전송할 수 있다. 여기서, 네트워크는 유선 또는 무선으로 연결되는 네트워크로서, 네트워크가 무선 통신망일 경우, 셀룰러 통신 또는 근거리 통신을 포함할 수 있다. 예컨대, 셀룰러 통신은 LTE(Long-Term Evolution), LTE-A(LTE Advanced), 5G(5th Generation), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 포함할 수 있다. 또한, 근거리 통신은 Wi-Fi(Wireless Fidelity), 블루투스(Bluetooth), 지그비(Zigbee) 또는 NFC(Near Field Communication) 등 적어도 하나를 포함할 수 있다. 그러나, 통신 방법은 이에 한정되는 것은 아니며 차후 개발되는 무선 통신의 기술도 포함될 것이다.
처리부(120)는 VR 장치(100)의 동작 및 디스플레이되는 정보와 관련된 다양한 데이터 처리를 담당하며, 예컨대, 처리부(120)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 장치 내의 메모리부 또는 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.
디스플레이부(130)는 VR 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(130)는 VR 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. 또한, 상기 디스플레이부(130)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.
입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있으며, 이들에 제한받지 않는 다양한 형태의 디스플레이 기술이 활용될 수 있다.
센서부(140)는 VR 장치(100)의 모션 관련된 데이터를 측정할 수 있도록 구성되며, 예컨대 HMD나 모션 콘트롤러에 내장된 IMU(Inertial Measurement Unit) 센서일 수 있다.
또한, 센서부(140)는 HMD(100) 및 모션 콘트롤러(101)와 별도로 플레이어 사용자에 대한 고해상도 인체 모션 데이터를 수집하기 위해 플레이어의 인체 모션을 촬영할 수 있는 카메라를 포함할 수 있으며, 예컨대 Vicon Mocap System과 같은 고해상도 모션 캡쳐 시스템을 포함할 수 있다.
이와 같이, VR 장치(100)에서 생성된 고해상도 인체 모션 데이터와 IMU 센서 데이터 등에 기초하여 캐릭터 인체 모션 생성 장치(300)와 같은 별도 컴퓨터에서 사용자의 모션 및 자세 등을 추정할 수 있으며, 이와 같은 데이터를 수집하여 기계 학습에 활용할 수 있다.
캐릭터 인체 모션 생성 장치(300)는 VR 장치(100)로부터 플레이어 사용자의 모션 관련 정보 등을 수신하고, 수신한 모션 관련 정보 등에 기초하여 플레이어의 인체 자세를 추정하도록 구성될 수 있다. 캐릭터 인체 모션 생성 장치(300)는 예컨대, 데스크탑(desktop) 컴퓨터, 랩탑(laptop) 컴퓨터, 태블릿(tablet) 컴퓨터, 노트북, 워크스테이션(workstation), 스마트폰(smart phone) 중 어느 하나일 수 있으며, 이들에 제한되지 않는다.
캐릭터 인체 모션 생성 장치(300)의 통신부(310)는 VR 장치(100) 등으로부터 고해상도 인체 모션 데이터와 IMU 센서 데이터를 수신할 수 있도록 구성되고, VR 장치(100)의 통신부(110)와 마찬가지로 다양한 유선 또는 무선 네트워크를 지원하는 모듈 또는 부품일 수 있다.
캐릭터 인체 모션 생성 장치(300)는 기계 학습 등을 통해 플레이어의 인체 자세를 추정하고, 추정된 사용자의 인체 자세를 캐릭터의 인체 구조에 맞추는 맞춤화 작업 등을 수행하도록 구성된 처리부(320)를 포함할 수 있다. 처리부(320)는 예컨대 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 장치 내의 메모리부 또는 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.
처리부(320)는 VR 장치(100)를 착용한 플레이어 사용자의 인체 자세를 추정하기 위한 인체 자세 추정부(321)를 포함할 수 있다. 인체 자세 추정부(321)는 VR 장치(100)로 수신한 IMU 센서 정보와 고해상도 인체 모션 데이터 사이의 상관 관계 학습 알고리즘을 수행할 수 있으며, 예컨대 인공 신경망(Artificial Neural Networks, ANN)을 이용하여 기계 학습을 수행할 수 있다. 여기서, VR 장치(100)를 통해 플레이되는 VR 게임 환경의 제약 조건을 고려하여 기계 학습의 계산 범위를 제한할 수 있다.
또한, 인체 자세 추정부(321)는 시간적 연속성을 고려하여 자연스러운 자세를 추정하고, 센서 정보의 수를 다양하게 변화시키며 학습을 진행할 수 있다. 예컨대, 학습 알고리즘 오차율 목표는 주요 인체 부위 평균 오차 0.3m 미만으로 설정될 수 있다.
처리부(320)는 또한 인체 자세 추정부(321)를 통해 추정된 플레이어의 인체 자세에 기초하여 캐릭터의 인체 구조에 적합하도록 캐릭터 맞춤화 작업을 수행하도록 구성된 캐릭터 자세 맞춤화부(322)를 포함할 수 있다.
캐릭터 자세 맞춤화부(322)는 추정된 사용자의 인체 자세를 렌더링되는 캐릭터의 인체 구조에 맞추어 리타겟팅(retargeting) 작업을 수행하며, 이를 통해 VR 게임 속 가상 환경과 캐릭터 모션 사이의 물리적 불일치를 최소화하는 역할을 수행한다. 계산 시간 최적화를 통한 실시간 아바타 모션 리타겟팅을 구현할 수 있으며, 예컨대 리타겟팅 처리 시간 목표는 프레임당 33ms 이하로 설정될 수 있다.
마지막으로, 모바일 장치(200)는 캐릭터 인체 모션 생성 장치(300)로부터 수신한 모션 데이터들과 카메라 트래킹을 통해 3차원 환경의 혼합 렌더링 콘텐츠를 생성하도록 구성되며, 예컨대, 스마트폰(smart phone), 태블릿(tablet) 컴퓨터, 데스크탑(desktop) 컴퓨터, 랩탑(laptop) 컴퓨터, 노트북, 워크스테이션(workstation), PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 무선 전화기(wireless phone), 모바일 폰(mobile phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 디지털 카메라(digital camera), 텔레비전(television), 웨어러블 디바이스(wearable device), AI(인공지능) 스피커 중 어느 하나일 수 있으며, 이들에 제한되지 않으나 휴대성이 있는 장치가 선호된다.
모바일 장치(200)는 통신부(210), 카메라부(220), 센서부(230), 처리부(240), 디스플레이부(250) 및 3차원 렌더링부(260) 등을 포함할 수 있으며, 일반적인 스마트폰, 태블릿 컴퓨터와 같은 모바일 단말이 가지고 있는 기능들을 수행하는 구성 요소를 모두 포함할 수 있다.
통신부(210)는 캐릭터 인체 모션 생성 장치(300)와 네트워크를 통해 데이터를 송신 가능하도록 구성된 모듈 또는 부품일 수 있으며, 여기서, 네트워크는 유선 또는 무선으로 연결되는 네트워크로서, 네트워크가 무선 통신망일 경우, 셀룰러 통신 또는 근거리 통신을 포함할 수 있다. 예컨대, 셀룰러 통신은 LTE(Long-Term Evolution), LTE-A(LTE Advanced), 5G(5th Generation), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 포함할 수 있다. 또한, 근거리 통신은 Wi-Fi(Wireless Fidelity), 블루투스(Bluetooth), 지그비(Zigbee) 또는 NFC(Near Field Communication) 등 적어도 하나를 포함할 수 있다. 그러나, 통신 방법은 이에 한정되는 것은 아니며 차후 개발되는 무선 통신의 기술도 포함될 것이다.
캐릭터 인체 모션 생성 장치(300)에서 생성된 모션 관련 데이터들은 복수의 모바일 장치(200)에 실시간으로 전송될 수 있으며, 모바일 장치(200)는 언제라도 캐릭터 인체 모션 생성 장치(300)에 접속 또는 접속 해제가능하게 구성될 수 있다. 예컨대, 이를 위해 웹소켓(websocket)을 이용한 서버를 구현하여 캐릭터 인체 모션 생성 장치(300)에서 모션 데이터를 실시간으로 복수의 모바일 장치(200)에 브로드캐스트(broadcast)할 수 있다. 또한, 사생활 보호를 위해 내부 네트워크에서만 접근할 수 있도록 보안 기능을 함께 제공할 수 있다.
카메라부(220)는 VR 장치(100)를 착용한 플레이어 사용자의 동작 등을 촬영하고, 증강 현실(AR) 구현을 위해 카메라 트래킹을 수행하기 위한 영상 데이터를 생성하도록 구성된다.
센서부(230)는 가속도 센서 및 자이로스코프 등을 포함할 수 있고, 센서부(230)로부터 얻은 모바일 장치(200)의 움직임 데이터로부터 카메라 위치를 추적하고, AR을 위한 카메라 트래킹을 구현할 수 있다.
처리부(240)는 캐릭터 인체 모션 생성 장치(300)로부터 수신한 캐릭터의 모션 관련 정보 및 관찰자의 카메라 트래킹 정보에 기초하여 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성되며, 처리부(240)는 예컨대 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 장치 내의 메모리부 또는 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.
종래 기술과 같이 실시간으로 모바일 기기에 지속적으로 영상을 스트리밍하는 것을 일반적인 네트워크 환경에서 영상이 끊기거나 지연될 가능성이 높기 때문에, 이를 해결하기 위해 캐릭터 인체 모션 생성 장치(300)가 화면의 영상을 전송하는 대신 모바일 장치(200)에서 화면을 렌더링할 수 있는 작은 사이즈의 데이터만을 전송하도록 구성될 수 있다. 예컨대, 모바일 장치(200)는 캐릭터 인체 모션 생성 장치로부터 렌더링 환경, 캐릭터 모델, 캐릭터 텍스쳐 등 정보 중 적어도 하나는 미리 수신하고, 실시간 변하는 캐릭터의 위치, 방향 및 모션 관련 정보 중 적어도 하나는 실시간으로 수신할 수 있다. 이와 같은 구성을 통해 연산량이 비교적 높은 작업인 모션 데이터 생성 부분은 모바일 장치(200)보다 고성능인 캐릭터 인체 모션 생성 장치(300)의 컴퓨터(PC)에서 처리하고, 빠르게 처리할 수 있는 동작들만 모바일 장치(200)에서 수행함으로써 끊김 없는 VR 영상 콘텐츠를 제공할 수 있다.
처리부(240)는 또한 AR 카메라 트래킹 기술을 구현하며, 크게 카메라 자동 조정 기술 및 AR 구현을 위한 카메라 트래킹 기술로 구분될 수 있다. 카메라 자동 조정 기술 개발은 모바일 장치(200)에서 촬영한 이미지로부터 카메라의 초기 위치를 자동으로 찾아내는 기술이며, 이후로는 AR기술을 활용하여 카메라를 트래킹할 수 있다. 예컨대, 기계 학습을 통해 이미지로부터 사용자의 자세를 추적해내고, 이를 캐릭터 인체 모션 생성 장치(300)로부터 전달받은 모션 데이터와 동기화하여 카메라의 위치를 추정할 수 있다. 이때, 매 프레임마다 카메라 위치 추정 동작이 수행되는 것이 아니므로 시간을 많이 들이는 대신 정확도를 보다 높일 수 있는 기계 학습 방법을 사용할 수 있으며, 예컨대 랜덤 포레스트, 딥러닝등의 방식을 활용해 매우 높은 정확도로 카메라의 위치를 추정할 수 있다.
위의 카메라 자동 추적 및 조정 과정을 통해 VR 플레이어의 초기 위치를 보정하고 나면 예컨대 SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 카메라를 통해 얻은 이미지 데이터와 모바일 장치(200)의 센서 데이터를 이용하여 모바일 기기의 움직임을 추측해낼 수 있다. 예컨대, 모바일 장치(200)의 움직임과 모바일 장치(200)의 기존 위치로부터 오일러 방법 등을 이용하면 모바일 장치(200)의 현재 위치와 방향을 얻을 수 있다. 또한, 주기적으로 자동 카메라 조정을 통해 카메라가 실제 위치에서 너무 벗어나는 것을 방지할 수 있다.
디스플레이부(250)는 사용자에게 VR 콘텐츠 또는 혼합 렌더링 콘텐츠를 시각적으로 제공하기 위한 구성 요소이다. 예컨대, 디스플레이부(250)는 액정 디스플레이(LCD, liquid crystal display), 발광 다이오드(LED, light emitting diode) 디스플레이, 유기 발광 다이오드(OLED, organic LED) 디스플레이, 마이크로 LED, 마이크로 전자기계 시스템(MEMS, micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 이와 같은 디스플레이부는 터치 스크린(touch screen)의 형태로 구현될 수 있다.
마지막으로 3차원 렌더링부(260)는 캐릭터 인체 모션 생성 장치(300)에서 생성된 모션 데이터들과 모바일 장치(200)에서 트래킹 된 카메라의 위치로부터 3차원 환경을 렌더링하도록 구성된다. 모바일 장치(200)의 성능을 감안하여 디테일 레벨(Level of Detail)을 조절하여 실시간으로 렌더링이 구현될 수 있도록 혼합 렌더링 콘텐츠 화면을 렌더링하며, 모바일 장치(200)의 사용자가 위화감을 느끼지 않도록 네트워크 속도가 충분히 빨라야 한다.
또한, 모바일 장치(200)는 카메라부(220)를 통해 플레이어의 동작을 녹화하도록 구성될 수 있다. 가상 현실을 모바일 장치(200)에서 렌더링 할 때 해당 영상을 녹화하여 콘텐츠로써 활용할 수 있으며, 동시에 VR 플레이어가 게임을 하는 현실 세계를 녹화하여 두 개의 영상 콘텐츠를 생성하고 이를 활용할 수 있도록 구현할 수 있다. 여기서, 두 개의 녹화를 동시에 진행하는 것은 모바일 장치(200)의 성능에 부담이 될 수 있는 작업이므로, 플레이어의 동작을 녹화한 콘텐츠를 먼저 생성한 후에, 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 VR 장치에서 수행되는 방법을 설명하기 위한 흐름도이다.
VR 장치(100)의 HMD의 디스플레이 화면을 통해 플레이어 사용자에게 VR 게임 화면을 제공할 수 있다.(S310) VR 플레이어 사용자는 VR 장치(100)의 디스플레이 화면을 보면서 게임을 진행하거나, VR 콘텐츠를 체험하며 이에 따라 사용자의 자세 변화나 모션 동작 등이 수행된다.
이와 같은 사용자의 자세 및 모션 변화에 따라 VR 장치(100)의 IMU 센서를 통해 플레이어의 모션 관련 데이터를 수집할 수 있다.(S320) VR 장치(100)의 HMD나 모션 콘트롤러에 내장된 IMU 센서를 통해 플레이어 사용자의 모션 관련 데이터를 측정하고 수집할 수 있다.
또한, VR 장치(100)는 HMD 및 모션 콘트롤러의 IMU 센서와 별도로 플레이어 사용자에 대한 고해상도 인체 모션 데이터를 수집하기 위해 플레이어의 인체 모션을 촬영할 수 있는 모션 캡쳐 카메라를 포함할 수 있으며, 이를 통해 플레이어의 인체 모션 촬영을 수행하고, 고해상도 모션 캡쳐 정보를 획득할 수 있다.(S330)
이와 같이 수집된 플레이어의 모션 관련 정보를 캐릭터 인체 모션 생성 장치(300)로 전송할 수 있다.(S340)
도 4는 본 발명의 일 실시예에 따른 캐릭터 인체 모션 생성 장치에서 수행되는 방법을 설명하기 위한 흐름도이다.
캐릭터 인체 모션 생성 장치(300)는 가상 현실 장치를 이용하는 플레이어의 모션 관련 정보를 수신할 수 있다.(S410) 모션 관련 정보는 예컨대 고해상도 인체 모션 데이터와 IMU 센서 데이터를 포함할 수 있다.
캐릭터 인체 모션 생성 장치(300)는 모션 관련 정보에 기초하여 플레이어의 인체 자세를 추정할 수 있다.(S420) 인체 자세 추정부(321)는 VR 장치(100)로 수신한 IMU 센서 정보와 고해상도 인체 모션 데이터 사이의 상관 관계 학습 알고리즘을 수행할 수 있으며, 예컨대 인공 신경망(Artificial Neural Networks, ANN)을 이용하여 기계 학습을 수행할 수 있다.
인체 자세 추정 이후에 캐릭터의 인체 구조에 적합하도록 3차원 가상 캐릭터의 자세를 맞춤화할 수 있다.(S430)
이와 같은 과정을 통해 생성된 캐릭터의 모션 관련 정보를 모바일 장치(200)로 전송할 수 있다.(S440)
도 5는 본 발명의 일 실시예에 따른 모바일 장치에서 수행되는 방법을 설명하기 위한 흐름도이다.
먼저 모바일 장치(200)는 캐릭터 인체 모션 생성 장치(300)로부터 캐릭터 모션 관련 정보를 수신할 수 있다.(S510) 여기서, 모바일 장치(200)는 캐릭터 인체 모션 생성 장치로부터 렌더링 환경, 캐릭터 모델, 캐릭터 텍스쳐 등 정보 중 적어도 하나는 미리 수신하고, 실시간 변하는 캐릭터의 위치, 방향 및 모션 관련 정보 중 적어도 하나는 실시간으로 수신함으로써, 실시간 전송량을 최소화할 수 있다.
모바일 장치(200)에서 촬영한 이미지로부터 카메라의 초기 위치를 자동으로 찾아내어 추정하고, 카메라 위치 보정을 수행한다.(S520) 여기서, 기계 학습을 통해 이미지로부터 사용자의 자세를 추적해내고, 이를 캐릭터 인체 모션 생성 장치(300)로부터 전달받은 모션 데이터와 동기화하여 카메라의 위치를 추정할 수 있다.
다음으로, 플레이어의 초기 위치를 보정하고 나면 모바일 장치의 움직임 추정을 통해 카메라 트래킹을 수행한다.(S530) 카메라를 통해 얻은 이미지 데이터와 모바일 장치(200)의 센서 데이터 값을 이용하여 모바일 장치(200)의 움직임을 추정할 수 있으며, 이를 통해 모바일 장치(200)의 현재 위치 및 방향을 얻을 수 있게 된다.
캐릭터 인체 모션 생성 장치(300)로부터 전달받은 모션 데이터들과 모바일 장치(200)에서 트래킹된 카메라의 위치 정보로부터 3차원 환경의 혼합 렌더링 콘텐츠 생성 및 디스플레이할 수 있다.(S540) 이와 같이 렌더링되는 영상을 녹화하여 VR 콘텐츠로 활용하고 공유할 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라 생성된 혼합 렌더링 콘텐츠의 화면을 보여주는 예시도이다.
도 6a를 참조하면, 관찰자 즉 혼합 렌더링 콘텐츠 생성 및 제공자는 자신의 모바일 장치(200)를 이용하여 VR 장치(100)를 착용한 VR 플레이어를 촬영할 수 있으며, 이때 VR 플레이어의 시점이 아닌 관찰자의 시점에서 VR 플레이어를 관찰할 수 있도록 가상 현실과 VR 플레이어 캐릭터(270)를 합성한 혼합 렌더링 콘텐츠가 모바일 장치(200)에 디스플레이될 수 있다.
도 6b를 참조하면 VR 플레이어는 HMD로 구성된 VR 장치(100) 외에 모션 콘트롤러(101)를 손에 쥐고 동작을 취하고 있으며, 이와 같은 플레이어의 자세 및 모션을 추정하여 생성된 캐릭터(270)가 모바일 장치(200)의 화면에 실시간 생성되어 디스플레이될 수 있다.
이와 같은 본 발명의 실시예에 따른 시스템을 통해 전문적인 CG 촬영 장비가 없이도 손쉽게 VR 플레이어와 VR 세계를 합성하고 영상 스트리밍을 진행할 수 있으며, VR 혼합 렌더링 콘텐츠영상을 쉽게 SNS 등 매체를 통해 공유함으로써, VR 산업 저변 확대에 긍정적인 영향을 끼칠 수 있을 것이다.
이상 본 발명의 실시예에 따른 방법 및 장치를 구체적인 다양한 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시형태들을 조합, 치환하여 적시되지 않은 형상의 패턴을 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

Claims (10)

  1. 가상 현실(VR) 및 증강 현실(AR)을 이용한 혼합 렌더링 콘텐츠를 제공하기 위한 시스템에 있어서,
    가상 현실 장치를 이용하는 플레이어(player)의 모션(motion) 관련 정보를 수신하고, 상기 모션 관련 정보에 기초하여 상기 플레이어의 인체 자세를 추정하도록 구성된 캐릭터 인체 모션 생성 장치; 및
    상기 캐릭터 인체 모션 생성 장치로부터 수신한 캐릭터의 모션 관련 정보 및 관찰자의 카메라 트래킹 정보에 기초하여 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성된 모바일 장치
    를 포함하는 혼합 렌더링 콘텐츠 제공 시스템.
  2. 제1항에 있어서, 상기 플레이어의 모션(motion) 관련 정보는 상기 플레이어의 인체 모션을 촬영한 카메라로부터 획득한 모션 캡쳐 정보 및 상기 플레이어가 착용한 상기 가상 현실 장치의 IMU(Inertial Measurement Unit) 센서 데이터를 포함하는 것인, 혼합 렌더링 콘텐츠 제공 시스템.
  3. 제1항에 있어서, 상기 캐릭터 인체 모션 생성 장치는 추정된 상기 플레이어의 인체 자세에 기초하여 캐릭터의 인체 구조에 적합하도록 맞춤화 작업을 수행하도록 구성되는 것인, 혼합 렌더링 콘텐츠 제공 시스템.
  4. 제1항에 있어서, 상기 모바일 장치는 상기 캐릭터 인체 모션 생성 장치로부터 렌더링 환경 및 캐릭터 모델 정보 중 적어도 하나는 미리 수신하고, 실시간 변하는 캐릭터의 위치, 방향 및 모션 관련 정보 중 적어도 하나는 실시간으로 수신하는 것인, 혼합 렌더링 콘텐츠 제공 시스템.
  5. 제1항에 있어서, 상기 모바일 장치는 또한 상기 플레이어의 동작을 녹화하도록 구성되고, 상기 플레이어의 동작을 녹화한 콘텐츠를 먼저 생성한 후에, 상기 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성되는 것인, 혼합 렌더링 콘텐츠 제공 시스템.
  6. 가상 현실(VR) 및 증강 현실(AR)을 이용한 혼합 렌더링 콘텐츠를 제공하기 위한 방법에 있어서,
    캐릭터 인체 모션 생성 장치에서 가상 현실 장치를 이용하는 플레이어의 모션(motion) 관련 정보를 수신하는 단계;
    상기 캐릭터 인체 모션 생성 장치에서 상기 모션 관련 정보에 기초하여 상기 플레이어의 인체 자세를 추정하는 단계; 및
    관찰자가 사용하는 모바일 장치에서 상기 캐릭터 인체 모션 생성 장치로부터 수신한 캐릭터의 모션 관련 정보 및 상기 관찰자의 카메라 트래킹 정보에 기초하여 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하는 단계
    를 포함하는 혼합 렌더링 콘텐츠 제공 방법.
  7. 제6항에 있어서, 상기 플레이어의 모션(motion) 관련 정보는 상기 플레이어의 인체 모션을 촬영한 카메라로부터 획득한 모션 캡쳐 정보 및 상기 플레이어가 착용한 상기 가상 현실 장치의 IMU(Inertial Measurement Unit) 센서 데이터를 포함하는 것인, 혼합 렌더링 콘텐츠 제공 방법.
  8. 제6항에 있어서, 상기 캐릭터 인체 모션 생성 장치에서 상기 추정된 상기 플레이어의 인체 자세에 기초하여 캐릭터의 인체 구조에 적합하도록 맞춤화 작업을 수행하는 단계를 더 포함하는 혼합 렌더링 콘텐츠 제공 방법.
  9. 제6항에 있어서, 상기 모바일 장치에서 상기 캐릭터 인체 모션 생성 장치로부터 렌더링 환경 및 캐릭터 모델 정보 중 적어도 하나는 미리 수신하는 단계; 및 실시간 변하는 캐릭터의 위치, 방향 및 모션 관련 정보 중 적어도 하나는 실시간으로 수신하는 단계를 더 포함하는 혼합 렌더링 콘텐츠 제공 방법.
  10. 제6항에 있어서, 상기 모바일 장치에서 상기 플레이어의 동작을 녹화하는 단계를 더 포함하고, 상기 모바일 장치는 상기 플레이어의 동작을 녹화한 콘텐츠를 먼저 생성한 후에, 상기 3차원 환경을 렌더링함으로써 영상 콘텐츠를 생성하도록 구성되는 것인, 혼합 렌더링 콘텐츠 제공 방법.
PCT/KR2019/009284 2019-07-25 2019-07-25 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템 WO2021015347A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190090179A KR102149608B1 (ko) 2019-07-25 2019-07-25 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템
KR10-2019-0090179 2019-07-25

Publications (1)

Publication Number Publication Date
WO2021015347A1 true WO2021015347A1 (ko) 2021-01-28

Family

ID=72234273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/009284 WO2021015347A1 (ko) 2019-07-25 2019-07-25 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템

Country Status (2)

Country Link
KR (1) KR102149608B1 (ko)
WO (1) WO2021015347A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
KR20160005841A (ko) * 2014-07-07 2016-01-18 주식회사 마당 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
US9898872B2 (en) * 2013-01-11 2018-02-20 Disney Enterprises, Inc. Mobile tele-immersive gameplay
US20180253152A1 (en) * 2017-01-06 2018-09-06 Adtile Technologies Inc. Gesture-controlled augmented reality experience using a mobile communications device
KR101931784B1 (ko) * 2018-08-29 2018-12-21 주식회사 큐랩 복수의 사용자 대결 구도의 가상 피트니스 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016014768A (ja) * 2014-07-02 2016-01-28 セイコーエプソン株式会社 画像表示装置および画像表示装置の表示制御方法
KR20170060473A (ko) * 2015-11-24 2017-06-01 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR101824863B1 (ko) 2017-08-14 2018-02-02 (주)인테크 디자인 가상현실 멀티 스토리텔링 영상극장 다중미디어 스트리밍 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US9898872B2 (en) * 2013-01-11 2018-02-20 Disney Enterprises, Inc. Mobile tele-immersive gameplay
KR20160005841A (ko) * 2014-07-07 2016-01-18 주식회사 마당 모션인식과 증강현실을 기반으로 하는 실시간 반응형 인체학습시스템
US20180253152A1 (en) * 2017-01-06 2018-09-06 Adtile Technologies Inc. Gesture-controlled augmented reality experience using a mobile communications device
KR101931784B1 (ko) * 2018-08-29 2018-12-21 주식회사 큐랩 복수의 사용자 대결 구도의 가상 피트니스 시스템

Also Published As

Publication number Publication date
KR102149608B1 (ko) 2020-08-31

Similar Documents

Publication Publication Date Title
US10324522B2 (en) Methods and systems of a motion-capture body suit with wearable body-position sensors
US10049495B2 (en) System and method for providing virtual reality content
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
WO2019151793A1 (en) Apparatus and method for sharing a virtual reality environment
CN107924584A (zh) 增强现实
EP3560195A1 (en) System and method for depth map
WO2020262923A1 (en) System and method for generating a mixed reality experience
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
WO2017052008A1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
WO2017043795A1 (ko) 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
WO2018182190A1 (en) Use of earcons for roi identification in 360-degree video
Steptoe et al. Acting rehearsal in collaborative multimodal mixed reality environments
EP3496044A1 (en) Image display device and image display system
WO2017099500A1 (ko) 애니메이션 생성 방법 및 애니메이션 생성 장치
EP3759576A1 (en) A high-speed staggered binocular eye tracking systems
CN111298427A (zh) 一种在虚拟现实云游戏系统中降低画面抖动的方法
WO2019078580A2 (ko) 실감형 미디어를 전송하는 방법 및 장치
CN108325208A (zh) 应用于游戏领域的增强现实实现方法
WO2018159981A1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램
WO2021015347A1 (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템
WO2021015348A1 (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공을 위한 카메라 트래킹 방법 및 이를 이용한 시스템
CN116017014A (zh) 视频处理方法、装置、电子设备及存储介质
WO2019066591A1 (ko) 가상현실 영상 제공 방법 및 이를 이용한 프로그램
KR102148017B1 (ko) 콘텐츠 공유 기반의 서비스 제공 시스템에서의 콘텐츠 동기화 방법 및 이를 위한 사용자측 컴퓨팅 디바이스
US11158289B2 (en) Wearable device and method therein

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938660

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938660

Country of ref document: EP

Kind code of ref document: A1