WO2024136041A1 - 사용자 움직임 기록 기반의 영상 제작 장치 및 방법 - Google Patents

사용자 움직임 기록 기반의 영상 제작 장치 및 방법 Download PDF

Info

Publication number
WO2024136041A1
WO2024136041A1 PCT/KR2023/015382 KR2023015382W WO2024136041A1 WO 2024136041 A1 WO2024136041 A1 WO 2024136041A1 KR 2023015382 W KR2023015382 W KR 2023015382W WO 2024136041 A1 WO2024136041 A1 WO 2024136041A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
user
video
image
recording
Prior art date
Application number
PCT/KR2023/015382
Other languages
English (en)
French (fr)
Inventor
한장희
주재현
정광일
Original Assignee
(주)이머시브캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이머시브캐스트 filed Critical (주)이머시브캐스트
Publication of WO2024136041A1 publication Critical patent/WO2024136041A1/ko

Links

Images

Definitions

  • the present invention relates to video production technology, and more specifically, to an image production device and method based on user movement recording that can improve image quality by recording user movements in a virtual space and producing images based on them.
  • Virtual space refers to a virtual space created through computers, the Internet, etc., rather than the real world.
  • Virtual Reality (VR) refers to reality experienced in a virtual space.
  • VR technology allows users to indirectly experience situations that cannot be directly experienced in the real world due to spatial and physical constraints by constructing processed spaces and objects virtually on a computer and interacting with the five human senses such as sight, hearing, and touch. It is a technology that allows this.
  • VR-related development is mainly focused on content and VR implementation and manipulation technology, and is developing with a focus on realistic reproduction of 3D spatiality, real-time user-content interaction, and maximization of immersion.
  • An embodiment of the present invention seeks to provide an image production device and method based on user movement recording that can improve image quality by recording user movements in a virtual space and producing images based on them.
  • An embodiment of the present invention is an image production device and method based on user movement recording that records changes or movements of shared media and 3D objects, including user movements, in augmented or virtual space, and creates and distributes the records as images. We would like to provide.
  • One embodiment of the present invention is an image production device based on user movement records that can reproduce real space by transmitting movement records in virtual space to a server and producing various scenes combining movements through batching in the server; We would like to provide a method.
  • an image production device based on user movement recording includes a motion recording unit that records user movement in an augmented or virtual space; a movement record storage unit that stores movement records; and an image production unit that reproduces the virtual space, performs graphics rendering to generate a rendered background screen image, and synthesizes user-related 3D objects based on the movement records to produce an image.
  • the motion recording unit may record media including voice shared, changes or movements of 3D objects.
  • the video production unit includes a space playback module that reproduces a virtual space and generates a background image by operating a virtual camera in the virtual space; a rendering module that renders the background image to provide special effects including lighting and generates movement scenes by combining the rendered background image with a 3D object including a user avatar whose pose is determined based on the user's movement record; And it may include an encoding module that combines the motion scenes and encodes them into an image.
  • the space playback module can change the virtual space playback by changing the position and movement of the virtual camera to change the background to create a scene with a different background.
  • the encoding module can encode, store, and distribute 2D video, 3D video, and 360-degree video.
  • a user motion-based image production method includes a motion recording step of recording the user's motion in an augmented or virtual space; A movement record storage step of storing the movement record; An image production step of generating a background screen image through graphics rendering and synthesizing user-related 3D objects based on the movement records to produce an image; It includes a video distribution step in which the production results are encoded into 2D video, 3D video, and 360-degree video, stored, and then distributed.
  • the disclosed technology can have the following effects. However, since it does not mean that a specific embodiment must include all of the following effects or only the following effects, the scope of rights of the disclosed technology should not be understood as being limited thereby.
  • An image production device and method based on user movement recording can improve image quality by recording user movement in a virtual space and producing an image based on it.
  • An image production device and method based on user movement recording records the user's movement, shared media, changes or movements of 3D objects in augmented or virtual space, and creates and distributes the record as an image. You can.
  • An image production device and method based on user movement records reproduces real space by transmitting movement records in virtual space to a server and producing various scenes combining movements through batching in the server. can do.
  • FIG. 1 is a diagram illustrating an image production device based on user movement recording according to the present invention.
  • Figure 2 is a diagram explaining the functional configuration of an image production device based on user movement recording according to the present invention.
  • FIG. 3 is a diagram explaining the functional configuration of the image production unit in FIG. 2.
  • Figure 4 is a flowchart explaining the video production process based on user movement recording according to the present invention.
  • first and second are used to distinguish one component from another component, and the scope of rights should not be limited by these terms.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • identification codes e.g., a, b, c, etc.
  • the identification codes do not explain the order of each step, and each step clearly follows a specific order in context. Unless specified, events may occur differently from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the opposite order.
  • the present invention can be implemented as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.
  • FIG. 1 is a diagram illustrating an image production device based on user movement recording according to the present invention.
  • the image production device 100 based on user movement recording may include a first system 110, a second system 130, and a third system 150.
  • the first system 110 can collect and record the user's movement information and transmit the movement record to a cloud server through a network.
  • the first system 110 may correspond to a user device such as a PC, mobile device, or XR device, and may include a plurality of cameras without being limited thereto.
  • the first system 110 may collect body coordinates data regarding the user's body movements through a 6 DoF sensor.
  • the first system 110 may be attached to the user's body and used to track the user's movement information, and may be implemented in the form of a wearable device such as a body suit.
  • the first system 110 may correspond to VR/AR glasses (or HMD) worn on the user's head, and in this case, may be implemented including a GPS sensor and a 6 DoF sensor.
  • the first system 110 may include a plurality of cameras installed at various angles, and may track the user's movement information by photographing the user from various angles through the plurality of cameras.
  • the first system 110 may track the user's movements and record movement information.
  • the motion information may include head, hand, eye, and body position information according to the user's actions, and may include all shared media, such as sound, and changes or movements of 3D objects resulting from the user's actions.
  • the first system 110 may record user movement or movement on a user device entering an augmented or virtual space.
  • the first system 110 may transmit the motion recording to the second system 130 when the motion recording ends.
  • the first system 110 may be connected to the second system 130 through a network.
  • the network may include broadband, 5G, Wi-Fi, etc.
  • the second system 130 may be implemented as a cloud server capable of receiving and storing movement records transmitted from the first system 110 and producing and distributing images based on the movement records.
  • the second system 130 may include a database that stores movement records and produced videos.
  • the second system 130 may run a spatial reproduction and image production tool to produce a motion record into an image.
  • the second system 130 can produce high-quality images using graphics technology.
  • the second system 130 can create various scenes by applying effects such as the positions of multiple cameras and camera movement, and can also combine various movement scenes.
  • the second system 130 can perform operations such as graphics rendering and graphics and video signal synthesis using a high-performance GPU. For example, the second system 130 may determine the FOV related to the user's viewing direction and perform image rendering based on the FOV.
  • the second system 130 can perform encoding and store it.
  • the second system 130 can generate and store not only 2D images but also 3D images and 360-degree images.
  • the second system 130 can store the generated video and distribute it to the third system 150 over a network.
  • the third system 150 may correspond to a video playback device.
  • the third system 150 may be implemented as a PC, mobile device, XR device, etc.
  • the third system 1500 can connect to the second system 130, which is a cloud server, through a network to receive and play distributed videos. Accordingly, the third system 150 provides various high-quality real spaces in virtual space. It can be reproduced.
  • Figure 2 is a diagram explaining the functional configuration of an image production device based on user movement recording according to the present invention.
  • the image production device 100 based on user movement recording includes a movement recording unit 210, a movement recording storage unit 230, a spatial reproduction unit 250, an image production unit 270, and a control unit 290. It can be included.
  • the motion recorder 210 can generate and record data about the user's movements. More specifically, the motion recorder 210 may collect 3-axis gyro/acceleration information regarding the user's movement using a first gyro sensor (eg, 6 DoF sensor) installed on the user's body. Meanwhile, the motion recorder 210 may be implemented by further including various sensors as needed. For example, the movement recorder 210 is in the form of a wearable device that can be worn by the user and may include a GPS sensor, a motion sensor, etc.
  • a first gyro sensor eg, 6 DoF sensor
  • the motion recording unit 210 can measure the user's movement in an augmented or virtual space and record information about the movement.
  • the motion recorder 210 is attached to various body parts such as the user's head, hands, eyes, and body and can collect information about the movement of the user's corresponding parts.
  • the motion recorder 210 may measure body movement associated with the user's body through a first gyro sensor and generate body coordinate data related to the body movement based on the measured signal.
  • the motion recorder 210 may measure head movement associated with the user's head through a second gyro sensor (e.g., 6 DoF sensor) and generate head coordinate data related to the head movement based on the measured signal. there is.
  • the motion recorder 210 may determine the user's gaze direction based on head coordinate data.
  • the motion recorder 210 can simultaneously record shared media related to the user's movements. That is, the motion recorder 210 can collect and record information about the voice generated during the user's movement and the change or movement of a 3D object in a virtual space. For example, when a user sings on stage, information about the user's singing voice, microphone movement, etc. may be recorded along with information about the user's body movements.
  • the motion recorder 210 may record motion information by photographing the user's motion through a plurality of cameras. At this time, the motion recording unit 210 can record information about the shooting position and angle along with the captured image for each camera.
  • the motion record storage unit 230 may store movement records from the start of the user's motion recording in the motion recorder 210 to the end.
  • the motion recording storage unit 230 can optimize motion recording to minimize storage capacity.
  • the movement record storage unit 230 may upload and store the movement record on the cloud.
  • the video production unit 250 can produce the stored movement record into an video.
  • video production services involve a professional designer analyzing the designed project content using a professional program and producing a video based on work instructions using the user's photos and production tools.
  • the video production device 100 allows users to easily create various videos using a rendering tool when they save motion information.
  • the video production unit 250 can produce an video by combining the user's movement with the background screen through graphic work.
  • the image production unit 250 may produce at least one various image with a different background through ray tracing.
  • Ray tracing is a computationally intensive rendering technology that highly realistically simulates the lighting environment of scenes and target objects. For example, for a video of a user singing in an empty space, the video production unit 250 displays an object corresponding to information about the movement and shared media (voice) according to the user's singing behavior as the background of a specific space. By combining this, you can create a video of the user singing a song in a specific space.
  • the image production unit 250 may prepare 3D space playback according to the transmitted motion recording and image production method.
  • the video production unit 250 can change the spatial reproduction method by changing multiple cameras and locations.
  • the video production department 250 can use high-performance GPUs to maximize the effect of realism by maximizing the use of high-quality 3D objects prepared in advance and processing lighting, light, etc.
  • the video production unit 250 can encode video to produce and store various videos such as 2D video, 3D video, and 360-degree video, and distribute the produced video through a network.
  • the image production unit 250 may create a 3D object such as a user avatar based on the movement record.
  • An avatar is an animation character that takes the role of a user in online games, chatting, virtual spaces, etc., and can be said to be an object that the user has given their own appearance to.
  • the image production unit 250 may generate the user's own avatar by expressing the avatar selected by the user as a 3D image.
  • the video production unit 250 may provide movements of the user avatar based on movement records.
  • the video production unit 250 may create an video by combining a user avatar with a real image.
  • the video production unit 250 can apply special effects through image processing for each layer.
  • the video production unit 250 includes camera 1, camera 2,... , 3D images can be created for each motion information captured through the nth camera, etc., such as stitching that connects scenes, 3D object synthesis, and insertion of descriptive information tags.
  • the video production unit 250 stably links templates such as 2D video, 3D video, and 360-degree video through various tagging functions to enable three-dimensional delivery.
  • the video production unit 250 can diversify the results by changing the avatar, changing the camera position, changing the background, changing the viewpoint, etc.
  • the control unit 270 controls the overall operation of the user movement recording-based image production device 100 and manages the control flow or data flow between the motion recording unit 210, the movement recording storage unit 230, and the image production unit 250. can do.
  • FIG. 3 is a diagram explaining the functional configuration of the image production unit in FIG. 2.
  • the image production unit 250 may include a spatial reproduction module 310, a rendering module 330, an encoding module 350, a video storage module 370, and a control module 390. Meanwhile, the video production unit 250 may be implemented as a server corresponding to a computer or program that can produce and distribute videos based on movement records of the user device.
  • the space reproduction module 310 may correspond to a graphic tool that can reproduce virtual space.
  • the space reproduction module 310 can reproduce virtual space using a graphic tool.
  • the space reproduction module 310 can operate a virtual camera in virtual space using a graphic tool.
  • the virtual space may include real images created by shooting the real world through a camera, but is not limited to this and may include various images that serve as background screens.
  • the space playback module 310 can change the virtual space playback by changing the position and movement of the virtual camera to implement a variety of backgrounds.
  • the rendering module 330 can provide special effects to the background image through rendering and create one image by layer combining the rendered results and 3D objects based on movement records.
  • the rendering module 330 may perform rendering on a background layer that includes a background image that is not fixed to the user's viewpoint, that is, does not follow the user's gaze.
  • Rendering refers to the process of using a computer program to create an image from a model or a scene file that is a collection of them. Although rendering methods are technically very diverse, they are identical in that they create a two-dimensional picture from a three-dimensional rendering stored in a scene file following a graphics pipeline through a rendering device such as a graphics processing unit (GPU). In other words, rendering refers to converting an object in a three-dimensional space into a two-dimensional scene.
  • GPU graphics processing unit
  • the rendering module 330 can create scenes by combining 3D objects created based on movement records with the rendered results of the background layer and produce a video through a combination of the created scenes.
  • the 3D object may correspond to the user's physical image or the user's avatar, and the pose according to the movement record may be reflected.
  • the video production unit 250 may reflect shared media information, changes in other 3D objects, or movements in the motion record in the video production through a compositing operation in addition to motion information.
  • the rendering module 330 performs foveated rendering on the area that the user is interested in according to the user's gaze while recording the movement and processes it at high resolution, and processes parts other than the area at low resolution to resolve the area.
  • the quality of the produced video can be improved.
  • whether the user is looking can be determined based on whether the user's gaze direction changes. That is, the rendering module 330 may determine that the user is looking when the change rate in the gaze direction during a unit time continues for a specific time while being less than the standard change rate. there is.
  • the encoding module 350 may encode the produced video and store it in the video storage module 370.
  • the encoding module 350 can perform standard AVC (Advanced Video Coding) encoding, tile-based High Efficiency Video Coding encoding, and eliminates redundancy for stereoscopic images. Encoding can be performed.
  • the encoding module 350 can encode the entire 360-degree video around the user, and can encode it in 2D and 3D and simultaneously store it in the video storage module 370.
  • the video storage module 370 can store the video produced by the video production unit 250 in various formats such as 2D, 3D, and 360 degrees, and then distribute the stored video on the network.
  • the control module 390 controls the overall operation of the video production unit 250 and directs the control flow or data flow between the spatial reproduction module 310, rendering module 330, encoding module 350, and video storage module 370. It can be managed.
  • Figure 4 is a flowchart explaining the video production process based on user movement recording according to the present invention.
  • the image production device 100 based on user movement recording can record the user's movement in augmented or virtual space through the motion recording unit 210 (step S410).
  • the motion recording unit 210 may record shared media such as voice and changes or movements of other 3D objects in the process of recording the user's movements.
  • the image production device 100 based on user motion recording can optimize the motion recording through the motion recording storage unit 230 and store it in a form that minimizes storage capacity (step S430).
  • the movement record storage unit 230 may correspond to a storage space of a cloud server.
  • the image production device 100 based on user movement recording reproduces the virtual space through the image production unit 250, performs graphics rendering to generate a rendered background screen image, and creates a user-related 3D image based on the movement record.
  • Objects can be synthesized to produce an image (step S450).
  • the video production unit 250 can reproduce the virtual space and operate a virtual camera in the virtual space to change the space playback to change the background screen, provide special effects through rendering, and use the user's movement information stored as a movement record. It can be applied to user avatars, etc. and composited into background images to create various movement scenes.
  • the video production device 100 based on user movement recording encodes and stores the results produced through the video production unit 250 as 2D video, 3D video, 360-degree video, etc., and then transmits them to the user's video playback device through the network. It can be distributed (step S470).
  • encoding module 370 video storage module

Abstract

본 발명은 사용자 움직임 기반의 영상 제작 장치 및 방법에 관한 것으로, 상기 장치는 증강 또는 가상공간에서 사용자의 움직임을 기록하는 움직임 기록부; 움직임 기록을 저장하는 움직임 기록 저장부; 및 가상공간을 재생하고 그래픽 렌더링(Graphics rendering)을 수행하여 렌더링된 배경 화면 이미지를 생성하고 상기 움직임 기록에 기반한 사용자 연관 3D 객체를 합성하여 영상으로 제작하는 영상 제작부를 포함한다.

Description

사용자 움직임 기록 기반의 영상 제작 장치 및 방법
본 발명은 영상 제작 기술에 관한 것으로, 보다 상세하게는 가상공간에서의 사용자 움직임을 기록하고 이를 기반으로 영상 제작하여 영상 품질을 향상할 수 있는 사용자 움직임 기록 기반의 영상 제작 장치 및 방법에 관한 것이다.
가상공간은 현실세계가 아닌 컴퓨터, 인터넷 등으로 만들어진 가상의 공간을 의미한다. 가상현실(Virtual Reality; VR)은 가상공간에서 체험되는 현실을 가리킨다. VR 기술은 가공의 공간과 사물을 컴퓨터상에서 가상으로 구축하고 시각, 청각, 촉각 등 인간의 오감을 활용한 상호 작용을 통해 공간적, 물리적 제약에 의해 현실세계에서는 직접 경험하지 못하는 상황을 간접 체험할 수 있도록 하는 기술이다. 현재 VR 관련 개발은 콘텐츠와 VR 구현 및 조작기술 등이 주로 이루어지고 있으며 3차원 공간성의 실감나는 재현과 이용자-콘텐츠의 실시간 상호작용, 몰입감의 극대화를 중심으로 발전하고 있다.
그러나, 가상공간에서는 그래픽 제약으로 실제공간을 그대로 실시간 재현하는 데 어려움이 있다.
[선행기술문헌]
[특허문헌]
한국 등록특허공보 제10-0460081(2004.11.25)호
본 발명의 일 실시예는 가상공간에서의 사용자 움직임을 기록하고 이를 기반으로 영상 제작하여 영상 품질을 향상할 수 있는 사용자 움직임 기록 기반의 영상 제작 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 증강 또는 가상공간에서 사용자의 움직임을 비롯한 공유된 미디어, 3D 객체의 변화 또는 움직임을 기록하고 해당 기록을 영상으로 만들어 배포할 수 있는 사용자 움직임 기록 기반의 영상 제작 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 가상공간에서의 움직임 기록을 서버에 전송하고 서버에서 배칭(batching)으로 움직임이 결합된 다양한 장면을 연출하여 실제공간을 재현할 수 있는 사용자 움직임 기록 기반의 영상 제작 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 사용자 움직임 기록 기반의 영상 제작 장치는 증강 또는 가상공간에서 사용자의 움직임을 기록하는 움직임 기록부; 움직임 기록을 저장하는 움직임 기록 저장부; 및 가상공간을 재생하고 그래픽 렌더링(Graphics rendering)을 수행하여 렌더링된 배경 화면 이미지를 생성하고 상기 움직임 기록에 기반한 사용자 연관 3D 객체를 합성하여 영상으로 제작하는 영상 제작부를 포함한다.
상기 움직임 기록부는 상기 사용자의 움직임을 기록하는 과정에서 공유되는 음성을 포함한 미디어, 3D 객체의 변화 또는 움직임을 함께 기록할 수 있다.
상기 영상 제작부는 가상공간을 재생하고 상기 가상공간에서의 가상 카메라를 운용하여 배경 이미지를 생성하는 공간 재생 모듈; 상기 배경 이미지를 렌더링하여 조명을 포함한 특수효과를 제공하고 렌더링된 배경 이미지에 상기 사용자의 움직임 기록을 기초로 포즈가 결정되는 사용자 아바타를 포함하는 3D 객체를 합성하여 움직임 장면들을 생성하는 렌더링 모듈; 및 상기 움직임 장면들을 조합하여 영상으로 인코딩하는 인코딩 모듈을 포함할 수 있다.
상기 공간 재생 모듈은 상기 가상 카메라의 위치 및 움직임 변경을 통해 상기 가상공간 재생을 변경하여 배경을 바꿔 배경이 다른 장면 연출을 가능하도록 할 수 있다.
상기 인코딩 모듈은 2D 영상, 3D 영상, 360도 영상으로 인코딩하여 저장한 후 배포하도록 할 수 있다.
실시예들 중에서, 사용자 움직임 기반의 영상 제작 방법은 증강 또는 가상공간에서 사용자의 움직임을 기록하는 움직임 기록단계; 움직임 기록을 저장하는 움직임 기록 저장단계; 그래픽 렌더링(Graphics rendering)을 통해 배경 화면 이미지를 생성하고 상기 움직임 기록 기반의 사용자 연관 3D 객체를 합성하여 영상을 제작하는 영상 제작단계; 및 제작 결과물을 2D 영상, 3D 영상, 360도 영상으로 인코딩하여 저장 후 배포하는 동영상 배포단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 사용자 움직임 기록 기반의 영상 제작 장치 및 방법은 가상공간에서의 사용자 움직임을 기록하고 이를 기반으로 영상 제작하여 영상 품질을 향상할 수 있다.
본 발명의 일 실시예에 따른 사용자 움직임 기록 기반의 영상 제작 장치 및 방법은 증강 또는 가상공간에서 사용자의 움직임을 비롯한 공유된 미디어, 3D 객체의 변화 또는 움직임을 기록하고 해당 기록을 영상으로 만들어 배포할 수 있다.
본 발명의 일 실시예에 따른 사용자 움직임 기록 기반의 영상 제작 장치 및 방법은 가상공간에서의 움직임 기록을 서버에 전송하고 서버에서 배칭(batching)으로 움직임이 결합된 다양한 장면을 연출하여 실제공간을 재현할 수 있다.
도 1은 본 발명에 따른 사용자 움직임 기록 기반의 영상 제작 장치를 설명하는 도면이다.
도 2는 본 발명에 따른 사용자 움직임 기록 기반의 영상 제작 장치의 기능적 구성을 설명하는 도면이다.
도 3은 도 2에 있는 영상 제작부의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 사용자 움직임 기록 기반의 영상 제작 과정을 설명하는 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 사용자 움직임 기록 기반의 영상 제작 장치를 설명하는 도면이다.
도 1을 참조하면, 사용자 움직임 기록 기반의 영상 제작 장치(100)는 제1 시스템(110), 제2 시스템(130) 및 제3 시스템(150)을 포함할 수 있다.
제1 시스템(110)은 사용자의 움직임 정보를 수집하여 기록할 수 있고, 움직임 기록을 네트워크(Network)를 통해 클라우드 서버에 전송할 수 있다. 제1 시스템(110)은 PC, 모바일 기기(Mobile device), XR 기기 등의 사용자 기기에 해당할 수 있고, 이에 한정되지 않고 복수의 카메라를 포함할 수 있다.
일 실시예에서, 제1 시스템(110)은 6 DoF 센서를 통해 사용자의 바디 움직임에 관한 바디 좌표 데이터(Body Coordinates Data)를 수집할 수 있다. 여기에서, 제1 시스템(110)은 사용자 몸에 부착되어 사용자의 움직임 정보를 트래킹하는데 사용될 수 있으며, 바디 수트(Body Suite) 등의 웨어러블 디바이스 형태로 구현될 수 있다.
일 실시예에서, 제1 시스템(110)은 사용자가 머리에 착용하는 VR/AR 글래스(또는 HMD)에 해당할 수 있고, 이 경우에 GPS 센서와 6 DoF 센서를 포함하여 구현될 수 있다.
일 실시예에서, 제1 시스템(110)은 여러 각도에서 설치된 복수의 카메라를 포함할 수 있고, 복수의 카메라를 통해 여러 각도에서 사용자를 촬영하여 사용자의 움직임 정보를 트래킹할 수 있다.
제1 시스템(110)은 사용자의 움직임을 트래킹하여 움직임 정보를 기록할 수 있다. 여기에서, 움직임 정보에는 사용자의 행동에 따른 머리, 손, 눈, 몸 위치 정보가 포함될 수 있으며, 사용자의 행동에서 비롯한 공유된 미디어 즉, 소리, 3D 객체의 변화 또는 움직임이 모두 포함될 수 있다. 제1 시스템(110)은 증강 또는 가상공간에 진입하는 사용자기기에서 사용자 움직임 또는 이동을 기록할 수 있다. 제1 시스템(110)은 움직임 기록의 종료 시 움직임 기록을 제2 시스템(130)으로 전송할 수 있다. 제1 시스템(110)은 네트워크를 통해 제2 시스템(130)과 연결될 수 있다. 여기에서, 네트워크는 브로드밴드, 5G, 와이-파이 등이 포함될 수 있다.
제2 시스템(130)은 제1 시스템(110)으로부터 전송되는 움직임 기록을 수신하여 저장할 수 있고 움직임 기록을 기반으로 하여 영상을 제작하여 배포할 수 있는 클라우드 서버로 구현될 수 있다. 제2 시스템(130)은 움직임 기록을 저장하고 제작된 동영상을 저장하는 데이터베이스를 포함할 수 있다.
일 실시예에서, 제2 시스템(130)은 공간 재생 및 영상 제작 도구를 구동하여 움직임 기록을 영상으로 제작할 수 있다. 제2 시스템(130)은 그래픽 기술을 사용하여 고품질의 영상을 제작할 수 있다. 또한, 제2 시스템(130)은 여러 대의 카메라 위치와 카메라 이동 등의 효과를 적용하여 다양한 장면을 연출할 수 있고 다양한 움직임 장면들 간의 조합을 할 수도 있다. 제2 시스템(130)은 고성능 GPU를 활용하여 그래픽 렌더링, 그래픽과 비디오 신호 합성 등의 동작을 수행할 수 있다. 예를 들어, 제2 시스템(130)은 사용자 시선방향에 관한 FOV를 결정할 수 있고, FOV를 기초로 영상 렌더링을 수행할 수 있다.
이후, 제2 시스템(130)은 인코딩(Encoding)을 수행하여 저장할 수 있다. 이때, 제2 시스템(130)은 2D 영상뿐 아니라 3D 영상, 360도 영상도 생성하여 저장할 수 있다. 제2 시스템(130)은 생성된 동영상을 저장할 수 있고 제3 시스템(150)에 네트워크를 통해 배포할 수 있다.
제3 시스템(150)은 동영상 재생 기기에 해당할 수 있다. 예를 들어, 제3 시스템(150)은 PC, 모바일 기기, XR 기기 등으로 구현될 수 있다. 제3 시스템(1500은 네트워크를 통해 클라우드 서버인 제2 시스템(130)에 접속하여 배포되는 동영상을 수신하여 재생할 수 있다. 이에 따라, 제3 시스템(150)은 가상공간에서 고품질의 다양한 실제공간을 재현할 수 있다.
도 2는 본 발명에 따른 사용자 움직임 기록 기반의 영상 제작 장치의 기능적 구성을 설명하는 도면이다.
도 2를 참조하면, 사용자 움직임 기록 기반의 영상 제작 장치(100)는 움직임 기록부(210), 움직임 기록 저장부(230), 공간 재생부(250), 영상 제작부(270) 및 제어부(290)를 포함할 수 있다.
움직임 기록부(210)는 사용자의 움직임에 관한 데이터를 생성하여 기록할 수 있다. 보다 구체적으로, 움직임 기록부(210)는 사용자의 바디에 설치된 제1 자이로 센서(예를 들어, 6 DoF 센서)를 이용하여 사용자의 움직임에 관한 3축 자이로/가속도 정보를 수집할 수 있다. 한편, 움직임 기록부(210)는 필요에 따라 다양한 센서들을 더 포함하여 구현될 수 있다. 예를 들어, 움직임 기록부(210)는 사용자에 착용 가능한 웨어러블 디바이스 형태로, GPS 센서, 모션 센서 등을 포함할 수 있다.
움직임 기록부(210)는 증강 또는 가상공간에서의 사용자의 움직임을 측정하여 움직임에 관한 정보를 기록할 수 있다. 움직임 기록부(210)는 사용자의 머리, 손, 눈, 몸 등의 각종 신체 부위에 부착되어 사용자의 해당 부위의 움직임에 관한 정보를 수집할 수 있다. 일 실시예에서, 움직임 기록부(210)는 제1 자이로 센서를 통해 사용자의 바디와 연관된 바디 움직임을 측정하고 측정된 신호를 기초로 바디 움직임에 관한 바디 좌표 데이터를 생성할 수 있다. 또한, 움직임 기록부(210)는 제2 자이로 센서(예를 들어, 6 DoF 센서)를 통해 사용자의 헤드와 연관된 헤드 움직임을 측정하고 측정된 신호를 기초로 헤드 움직임에 관한 헤드 좌표 데이터를 생성할 수 있다. 또한, 움직임 기록부(210)는 헤드 좌표 데이터를 기초로 사용자의 시선방향을 결정할 수 있다.
또한, 움직임 기록부(210)는 사용자의 움직임에 연관된 공유 미디어를 동시 기록할 수 있다. 즉, 움직임 기록부(210)는 사용자의 움직임 과정에서 생성되는 음성 및 가상공간에서의 3D 객체 변화 또는 움직임에 관한 정보를 수집하여 기록할 수 있다. 예를 들어, 사용자가 무대에서 노래하는 경우 사용자의 노래소리, 마이크의 움직임 등에 관한 정보가 사용자의 신체 움직임에 관한 정보와 함께 기록될 수 있다.
또한, 움직임 기록부(210)는 복수의 카메라를 통해 사용자의 움직임을 촬영하여 움직임 정보를 기록할 수 있다. 이때, 움직임 기록부(210)는 카메라 별 촬영 영상과 함께 촬영 위치 및 각도에 관한 정보를 기록할 수 있다.
움직임 기록 저장부(230)는 움직임 기록부(210)의 사용자 움직임 기록 시작부터 종료까지 움직임 기록을 저장할 수 있다. 움직임 기록 저장부(230)는 움직임 기록을 최적화하여 저장 용량이 최소화되도록 할 수 있다. 예를 들어, 움직임 기록 저장부(230)는 움직임 기록을 클라우드 상에 업로드하여 저장할 수 있다.
영상 제작부(250)는 저장된 움직임 기록을 영상으로 제작할 수 있다.
일반적으로, 영상 제작 서비스는 전문 디자이너가 전문 프로그램을 사용하여 디자인된 프로젝트 콘텐츠를 분석, 사용자의 사진과 제작 툴을 통해 작업지시서 기반의 영상 제작을 수행한다. 본 발명에 따른 영상 제작 장치(100)는 사용자가 움직임 정보를 저장하면 렌더링 도구를 통해 손쉽게 다양한 동영상을 제작할 수 있도록 한다.
영상 제작부(250)는 그래픽 작업을 통해 배경 화면에 사용자 움직임을 결합하여 영상 제작할 수 있다. 일 실시예에서, 영상 제작부(250)는 레이 트레이싱(Ray Tracing)을 통해 배경을 달리 하면서 적어도 하나 이상의 다양한 영상을 제작할 수 있다. 레이 트레이싱은 장면과 대상이 되는 객체의 조명 환경을 매우 사실적으로 시뮬레이션하는 연산 집약적 렌더링 기술이다. 예를 들어, 영상 제작부(250)는 사용자가 빈 공간에서 노래를 부르는 영상에 대해 사용자의 노래를 부르는 행동에 따른 움직임 및 공유된 미디어(음성)에 관한 정보에 해당하는 객체를 특정 공간의 배경 화면에 결합하여 특정 공간에서 사용자가 노래를 부르는 영상으로 생성할 수 있다.
일 실시예에서, 영상 제작부(250)는 전송된 움직임 기록 및 영상 제작 방식에 따라 3D 공간 재생을 준비할 수 있다. 영상 제작부(250)는 여러 개의 카메라와 위치 변경을 통한 공간 재생 방식을 변경할 수 있다. 영상 제작부(250)는 고성능 GPU를 활용하여 미리 준비한 고품질 3D 객체를 최대한 사용하고 조명, 빛 등의 처리를 통해 현장감 효과를 극대화할 수 있다. 영상 제작부(250)는 영상을 인코딩하여 2D 영상, 3D 영상, 360도 영상 등 다양한 영상으로 제작하여 저장할 수 있고, 제작한 동영상을 네트워크를 통해 배포할 수 있다.
영상 제작부(250)는 움직임 기록을 기초로 사용자 아바타 등의 3D 객체를 생성할 수 있다. 아바타(avater)는 온라인 게임이나 채팅, 가상공간 등에서 사용자의 역할을 대신하는 애니메이션 캐릭터를 뜻하는 말로, 사용자가 스스로의 모습을 부여한 객체라고 할 수 있다. 일 실시예에서, 영상 제작부(250)는 사용자에 의해 선택된 아바타를 3D 이미지로 표현하여 사용자 자신의 아바타를 생성할 수 있다. 영상 제작부(250)는 움직임 기록을 기초로 사용자 아바타의 움직임을 제공할 수 있다. 영상 제작부(250)는 현실 이미지에 사용자 아바타를 합성하여 영상을 생성할 수 있다. 영상 제작부(250)는 레이어 별로 영상처리를 통해 특수효과를 적용할 수 있다.
일 실시예에서, 영상 제작부(250)는 1번 카메라, 2번 카메라, …, n번 카메라 등을 통해 촬영된 각각의 움직임 정보들에 대해 장면과 장면을 연결하는 스티칭(stitching), 3D 오브젝트 합성, 설명정보 태그 삽입 등의 3D 영상을 생성할 수 있다. 또한, 영상 제작부(250)는 다양한 태깅 기능을 통해 2D 영상, 3D 영상, 360도 영상 등 템블릿을 안정적으로 링크하여 입체적으로 전달할 수 있게 한다. 영상 제작부(250)는 아바타 변경, 카메라 위치 변경, 배경 변경, 시점 변경 등을 통해 결과물을 다양화할 수 있다.
제어부(270)는 사용자 움직임 기록 기반의 영상 제작 장치(100)의 전체적인 동작을 제어하고, 움직임 기록부(210), 움직임 기록 저장부(230) 및 영상 제작부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 도 2에 있는 영상 제작부의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 영상 제작부(250)는 공간 재생 모듈(310), 렌더링 모듈(330), 인코딩 모듈(350), 동영상 저장 모듈(370) 및 제어 모듈(390)을 포함할 수 있다. 한편, 영상 제작부(250)는 사용자 기기의 움직임 기록을 기반으로 영상을 제작하고 배포할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다.
공간 재생 모듈(310)은 가상공간을 재생할 수 있는 그래픽 툴에 해당할 수 있다. 공간 재생 모듈(310)은 그래픽 툴에 의해 가상공간을 재생할 수 있다. 공간 재생 모듈(310)은 그래픽 툴에 의해 가상공간에서의 가상 카메라를 운용할 수 있다. 여기에서, 가상공간은 카메라를 통해 현실 세계를 촬영하여 생성한 현실 이미지를 포함할 수 있고, 이에 한정되지 않고 배경 화면이 되는 다양한 이미지를 포함할 수 있다. 공간 재생 모듈(310)은 가상 카메라의 위치 및 움직임 변경을 통해 가상공간 재생을 변경하여 배경을 다양하게 구현할 수 있다.
렌더링 모듈(330)은 렌더링을 통해 배경 이미지에 특수효과를 제공할 수 있고 렌더링된 결과물과 움직임 기록에 기초한 3D 객체를 레이어 합성하여 하나의 이미지를 생성할 수 있다. 렌더링 모듈(330)은 사용자의 시점에 고정되지 않는 즉, 사용자의 시선을 따라다니지 않는 배경 이미지를 포함하는 배경 레이어에 대해 렌더링을 수행할 수 있다.
렌더링(rendering)은 컴퓨터 프로그램을 사용하여 모델 또는 이들을 모아놓은 장면인 씬 파일로부터 영상을 만들어내는 과정을 말한다. 렌더링 방식은 기술적으로 매우 다양하지만, 그래픽 처리 장치(GPU) 같은 렌더링 장치를 통한 그래픽스 파이프라인을 따라 씬 파일에 저장되어 있는 3차원 연출로부터 2차원의 그림을 만들어낸다는 점은 동일하다. 즉, 렌더링은 3차원 공간에 객체를 2차원 화면인 하나의 장면에 바꾸어 표현하는 것을 말한다.
렌더링 모듈(330)은 배경 레이어의 렌더링된 결과물에 움직임 기록을 기초로 생성한 3D 객체를 합성하여 장면들을 생성할 수 있고 생성된 장면들 간의 조합을 통해 동영상을 제작할 수 있다. 여기에서, 3D 객체는 사용자 실물 이미지 또는 사용자 아바타에 해당할 수 있고 움직임 기록에 따른 포즈가 반영될 수 있다. 영상 제작부(250)는 움직임 기록에 움직임 정보 이외에 공유된 미디어 정보, 다른 3D 객체의 변화 또는 움직임이 존재할 경우 합성 작업을 통해 동영상 제작에 반영할 수 있다.
일 실시예에서, 렌더링 모듈(330)은 움직임 기록 중 사용자의 시선에 따라 사용자가 관심있게 주시하는 영역에 대해서는 포비티드 렌더링을 수행하여 고해상도로 처리하고 해당 영역 이외의 부분에 대해서는 저해상도로 처리하여 해상도를 차별적으로 적용함으로써 제작 영상 품질을 향상시킬 수 있다. 여기에서, 사용자의 주시 여부는 사용자의 시선방향의 변화 여부를 기초로 결정할 수 있다. 즉, 렌더링 모듈(330)은 단위 시간 동안 시선방향의 변화율이 기준 변화율 미만인 상태에서 특정 시간동안 지속되는 시선방향의 변화율이 기준 변화율 미만인 상태에서 특정 시간동안 지속되는 경우에는 사용자가 주시하는 것으로 결정할 수 있다.
인코딩 모듈(350)은 제작된 영상을 인코딩하여 동영상 저장 모듈(370)에 저장할 수 있다. 인코딩 모듈(350)은 표준 AVC(Advanced Video Coding) 인코딩을 수행할 수 있고, 타일 기반의 고효율 비디오 코딩(High Efficiency Video Cdoing) 인코딩을 수행할 수 있으며, 입체 영상에 관한 리던던시(Redundancy)가 제거된 인코딩을 수행할 수 있다. 인코딩 모듈(350)은 사용자 주변의 360도 영상 전체를 인코딩할 수 있고 이때 2D 및 3D로 각각 인코딩하여 동영상 저장 모듈(370)에 동시에 저장할 수 있다.
동영상 저장 모듈(370)은 영상 제작부(250)에서 제작한 영상에 대해 2D, 3D 및 360도 등 다양한 형태로 저장한 후 저장된 동영상을 네트워크 상에 배포할 수 있다.
제어 모듈(390)은 영상 제작부(250)의 전체적인 동작을 제어하고, 공간 재생 모듈(310), 렌더링 모듈(330), 인코딩 모듈(350) 및 동영상 저장 모듈(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 사용자 움직임 기록 기반의 영상 제작 과정을 설명하는 순서도이다.
도 4를 참조하면, 사용자 움직임 기록 기반의 영상 제작 장치(100)는 움직임 기록부(210)를 통해 증강 또는 가상공간에서 사용자의 움직임을 기록할 수 있다(단계 S410). 움직임 기록부(210)는 사용자의 움직임을 기록하는 과정에서 공유되는 음성 등의 미디어, 기타 3D 객체의 변화 또는 움직임을 함께 기록할 수 있다.
또한, 사용자 움직임 기록 기반의 영상 제작 장치(100)는 움직임 기록 저장부(230)를 통해 움직임 기록을 최적화하여 저장 용량을 최소화하는 형태로 저장할 수 있다(단계 S430). 움직임 기록 저장부(230)는 클라우드 서버의 저장 공간에 해당할 수 있다.
또한, 사용자 움직임 기록 기반의 영상 제작 장치(100)는 영상 제작부(250)를 통해 가상공간을 재생하고 그래픽 렌더링(Graphics rendering)을 수행하여 렌더링된 배경 화면 이미지를 생성하고 움직임 기록에 기반한 사용자 연관 3D 객체를 합성하여 영상으로 제작할 수 있다(단계 S450). 영상 제작부(250)는 가상공간을 재생하고 가상공간에서의 가상 카메라를 운용하여 공간 재생을 변경시켜 배경화면을 바꿀 수 있고 렌더링을 통해 특수 효과를 제공할 수 있고 움직임 기록으로 저장된 사용자의 움직임 정보를 사용자 아바타 등에 적용하여 배경화면 이미지에 합성시켜 다양한 움직임 장면을 연출할 수 있다.
또한, 사용자 움직임 기록 기반의 영상 제작 장치(100)는 영상 제작부(250)를 통해 제작한 결과물을 2D 영상, 3D 영상, 360도 영상 등으로 인코딩하여 저장한 후 네트워크를 통해 사용자의 동영상 재생 기기에 배포할 수 있다(단계 S470).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100: 사용자 움직임 기록 기반의 영상 제작 장치
110: 제1 시스템 130: 제2 시스템
150: 제3 시스템
210: 움직임 기록부 230: 움직임 기록 저장부
250: 영상 제작부 270: 제어부
310: 공간 재생 모듈 330: 렌더링 모듈
350: 인코딩 모듈 370: 동영상 저장 모듈
390: 제어 모듈

Claims (6)

  1. 증강 또는 가상공간에서 사용자의 움직임을 기록하는 움직임 기록부;
    움직임 기록을 저장하는 움직임 기록 저장부; 및
    가상공간을 재생하고 그래픽 렌더링(Graphics rendering)을 수행하여 렌더링된 배경 화면 이미지를 생성하고 상기 움직임 기록에 기반한 사용자 연관 3D 객체를 합성하여 영상으로 제작하는 영상 제작부를 포함하는 사용자 움직임 기록 기반의 영상 제작 장치.
  2. 제1항에 있어서, 상기 움직임 기록부는
    상기 사용자의 움직임을 기록하는 과정에서 공유되는 음성을 포함한 미디어, 3D 객체의 변화 또는 움직임을 함께 기록하는 것을 특징으로 하는 사용자 움직임 기록 기반의 영상 제작 장치.
  3. 제1항에 있어서, 상기 영상 제작부는
    가상공간을 재생하고 상기 가상공간에서의 가상 카메라를 운용하여 배경 이미지를 생성하는 공간 재생 모듈;
    상기 배경 이미지를 렌더링하여 조명을 포함한 특수효과를 제공하고 렌더링된 배경 이미지에 상기 사용자의 움직임 기록을 기초로 포즈가 결정되는 사용자 아바타를 포함하는 3D 객체를 합성하여 움직임 장면들을 생성하는 렌더링 모듈; 및
    상기 움직임 장면들을 조합하여 영상으로 인코딩하는 인코딩 모듈을 포함하는 것을 특징으로 하는 사용자 움직임 기록 기반의 영상 제작 장치.
  4. 제3항에 있어서, 상기 공간 재생 모듈은
    상기 가상 카메라의 위치 및 움직임 변경을 통해 상기 가상공간 재생을 변경하여 배경을 바꿔 배경이 다른 장면 연출을 가능하도록 하는 것을 특징으로 하는 사용자 움직임 기록 기반의 영상 제작 장치.
  5. 제3항에 있어서, 상기 인코딩 모듈은
    2D 영상, 3D 영상, 360도 영상으로 인코딩하여 저장한 후 배포하도록 하는 것을 특징으로 하는 사용자 움직임 기록 기반의 영상 제작 장치.
  6. 증강 또는 가상공간에서 사용자의 움직임을 기록하는 움직임 기록단계;
    움직임 기록을 저장하는 움직임 기록 저장단계;
    그래픽 렌더링(Graphics rendering)을 통해 배경 화면 이미지를 생성하고 상기 움직임 기록 기반의 사용자 연관 3D 객체를 합성하여 영상을 제작하는 영상 제작단계; 및
    제작 결과물을 2D 영상, 3D 영상, 360도 영상으로 인코딩하여 저장 후 배포하는 동영상 배포단계를 포함하는 사용자 움직임 기록 기반의 영상 제작 방법.
PCT/KR2023/015382 2022-12-21 2023-10-06 사용자 움직임 기록 기반의 영상 제작 장치 및 방법 WO2024136041A1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2022-0180318 2022-12-21

Publications (1)

Publication Number Publication Date
WO2024136041A1 true WO2024136041A1 (ko) 2024-06-27

Family

ID=

Similar Documents

Publication Publication Date Title
JP7068562B2 (ja) 拡張現実データを記録するための手法
US8633933B2 (en) System and method of producing an animated performance utilizing multiple cameras
JP4059513B2 (ja) 没入型仮想環境において注視を伝達する方法およびシステム
US5999641A (en) System for manipulating digitized image objects in three dimensions
US20210092466A1 (en) Information processing apparatus, information processing method, and program
US7791608B2 (en) System and method of animating a character through a single person performance
JPH0822557A (ja) ユーザへビデオ画像を表示する装置及び方法
JP2021006977A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Bouville et al. Virtual reality rehearsals for acting with visual effects
WO2024136041A1 (ko) 사용자 움직임 기록 기반의 영상 제작 장치 및 방법
CN112153472A (zh) 一种画面特效的生成方法及装置、存储介质及电子设备
KR102474451B1 (ko) 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램
CN113516031B (zh) 一种vr教学系统及多媒体教室
KR20240098501A (ko) 사용자 움직임 기록 기반의 영상 제작 장치 및 방법
Leung et al. Creating a multiuser 3-D virtual environment
JP2021006886A (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
WO2017150847A2 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
US11910132B2 (en) Head tracking for video communications in a virtual environment
Chiday Developing a Kinect based Holoportation System
TW202312107A (zh) 對弈模型的構建方法和裝置
Lang et al. Interaction in architectural immersive applications using 3D video
Sendhil et al. SEEE DIGIBOOK ON ENGINEERING & TECHNOLOGY, VOL. 03, MAY 2022 ENGINEERING AND TECHNOLOGY
CN113992877A (zh) 一种基于虚拟视频拍摄方法及系统
CN112015263A (zh) 一种虚拟实景教学系统
Berlin VIRTUAL CONCERT HALL-AN IMMERSIVE EXPERIENCE AT THE KONZERTHAUS BERLIN