WO2023243785A1 - 가상 공연 생성 방법 및 가상 공연 생성 시스템 - Google Patents

가상 공연 생성 방법 및 가상 공연 생성 시스템 Download PDF

Info

Publication number
WO2023243785A1
WO2023243785A1 PCT/KR2022/018605 KR2022018605W WO2023243785A1 WO 2023243785 A1 WO2023243785 A1 WO 2023243785A1 KR 2022018605 W KR2022018605 W KR 2022018605W WO 2023243785 A1 WO2023243785 A1 WO 2023243785A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional skeleton
dimensional
virtual performance
information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/018605
Other languages
English (en)
French (fr)
Inventor
김지은
김민준
황태민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2023243785A1 publication Critical patent/WO2023243785A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • the present invention relates to a virtual performance generation method and a virtual performance generation system, which synthesizes data that captures the movement of an object in three dimensions through a plurality of cameras and a three-dimensional model of the object's appearance and clothing that has been built in advance.
  • a virtual performance creation method and virtual performance creation system that can digitize 3D live footage in real time and enable mobile filming by lightweighting the system through an edge device (hereinafter referred to as a '2D skeleton estimation device') It's about.
  • each of a plurality of cameras is equipped with an RGB sensor and a depth measurement sensor, and a volumetric ( There is a volumetric system.
  • RGB sensor and a depth measurement sensor
  • volumetric There is a volumetric system.
  • These systems can restore high-resolution 3D models, but because they require a large number of sensors, they are expensive to build and difficult to move.
  • the 3D image is created using the captured image substantially, the computational load on the server is very high, so there is a problem in creating 3D virtual performance content in real time.
  • Patent Document 1 Korean Patent Publication No. 10-2015-0105069
  • a communication terminal such as a PC capable of image processing extracts image information corresponding to the same shooting time from video information received from a plurality of cameras, and extracts the extracted image information into a virtual Aligning in a three-dimensional space, bending the right area of the central image information using the right image information, and bending the left area of the central image information using the left image information.
  • a single server such as a PC
  • the computational load on a single server is very high, making it difficult to create 3D virtual performance content in real time.
  • Patent Document 1 Korean Patent Publication No. 10-2015-0105069
  • the purpose of the present invention is to create a virtual performance that can realistically reproduce the movement and appearance of an object in 3D, reduce the weight of devices that must be moved to each performance location (filming location), and generate 3D virtual performance content in real time.
  • the purpose is to provide a creation method and a virtual performance creation system.
  • Another object of the present invention is to minimize the computational load on the server by using an edge device, which is a two-dimensional skeleton estimation device, so that there is no need to build a separate media server to process the video of the performance, thereby providing a low-cost system.
  • the goal is to provide a virtual performance creation method and a virtual performance creation system that can build and realize a lightweight system.
  • a virtual performance generation method includes the steps of a) photographing an object using a photo scanning device to create a three-dimensional model of the surface and clothing of the object. ; b) acquiring first dynamic information including an object image by photographing a performance of the object using the plurality of cameras of a 3D skeleton estimation device including a plurality of cameras and a server; c) using the server to obtain second dynamic information including a three-dimensional skeleton of the object based on the first dynamic information; and d) generating virtual performance content by synthesizing the second dynamic information and the 3D model in real time using a virtual performance creation server.
  • a virtual performance creation system includes a photo scanning device that photographs an object and generates a three-dimensional model of the surface and clothing of the object; A plurality of cameras that acquire first dynamic information including an image of the object by filming a performance of the object, and a server that acquires second dynamic information including a three-dimensional skeleton of the object based on the first dynamic information
  • a three-dimensional skeleton estimation device comprising: and a virtual performance creation server that generates virtual performance content by synthesizing the second dynamic information and the 3D model in real time.
  • the movement and appearance of an object can be realistically reproduced in 3D, devices that must be moved to each performance location (filming location) can be reduced in weight, and 3D virtual performance content can be created in real time.
  • FIG. 1 is a block diagram of a virtual performance creation system according to an embodiment of the present invention.
  • Figure 3b is a diagram showing a process performed by the 3D skeleton estimation device of the virtual performance creation system according to an embodiment of the present invention.
  • FIG. 3C is a diagram illustrating virtual performance content generated by a virtual performance creation server according to an embodiment of the present invention.
  • Figure 4 is a flowchart of a method for creating a virtual performance according to an embodiment of the present invention.
  • 5A to 5C are diagrams for explaining a synchronization process in the 3D skeleton estimation device of the virtual performance creation system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process in which color data is acquired in the 3D skeleton estimation device of the virtual performance creation system according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a process for determining color similarity between color data in the 3D skeleton estimation device of the virtual performance creation system according to an embodiment of the present invention.
  • Figure 8 is a diagram for explaining the 3D skeleton estimation process in the 3D skeleton estimation device of the virtual performance creation system according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a virtual performance creation system according to an embodiment of the present invention
  • FIG. 2 is a diagram showing a three-dimensional skeleton estimation device and a virtual performance creation server of the virtual performance creation system according to an embodiment of the present invention. am.
  • FIG. 3C is a diagram illustrating virtual performance content generated by a virtual performance creation server according to an embodiment of the present invention.
  • Figure 4 is a flowchart of a method for creating a virtual performance according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the process of acquiring color data in the 3D skeleton estimation device of the virtual performance generation system according to an embodiment of the present invention
  • FIG. 7 is a diagram illustrating the process of acquiring virtual performance according to an embodiment of the present invention. This diagram is intended to explain the process of determining color similarity between color data in the system's 3D skeleton estimation device.
  • Figure 8 is a diagram for explaining the 3D skeleton estimation process in the 3D skeleton estimation device of the virtual performance creation system according to an embodiment of the present invention.
  • FIG. 1 along with FIGS. 2 to 3C and 5A to 8, the virtual performance creation system 100 according to an embodiment of the present invention will be described as follows.
  • the virtual performance creation system 100 includes a photo scanning device 10, a 3D skeleton estimation device 20, and a virtual performance creation server (VPSV). Additionally, the virtual performance creation system 100 may further include one or more client terminals (CT1 to CTk).
  • CT1 to CTk client terminals
  • object (U) may include any object capable of movement, such as a person, animal, or robot.
  • Surface may refer to the surface of the externally visible object (U) itself. That is, when the object U is a human or animal, the surface may include skin, hair, and eyes.
  • Cosmetic may include, but is not limited to, the “clothes” worn by the object (U), including the hat, gloves and glasses worn by the object (U), and one of the tools used by the object (U). It may include more.
  • the photo scan device 10 may include a plurality of cameras C' and a control unit CO'. Additionally, the photo scan device 10 may further include one or more of a communication unit (CM') and a storage unit (ST').
  • CM' communication unit
  • ST' storage unit
  • performance may include “actions to show to the audience,” but is not limited thereto, and may include “daily movements of the object (U).”
  • the server SV acquires second dynamic information including a three-dimensional skeleton (S') of the object (U) based on the first dynamic information.
  • "Second dynamic information including a three-dimensional skeleton (S') of an object (U)” may mean "a plurality of three-dimensional skeletons (S') arranged sequentially in relation to an object (U)" You can.
  • the server control unit (SCO) may obtain the second dynamic information based on the two-dimensional skeleton information included in the third dynamic information received from each of the plurality of two-dimensional skeleton estimation devices (SE1 to SEn).
  • third dynamic information including two-dimensional skeleton information of the object (U) may mean “a plurality of two-dimensional skeleton information arranged sequentially according to time in relation to the object (U).” .
  • the server control unit (SCO) can determine whether the time stamp of the 2D skeleton information corresponds to the target time slot (TS1 to TS3). For example, this determination can be made by the server control unit (SCO) extracting and checking a plurality of two-dimensional skeleton information contained in a queue.
  • the server control unit (SCO) selects the two-dimensional skeleton (S1 to Sn) of the two-dimensional skeleton information to the target time slot (TS1 to TS3). It can be inserted into TS1 ⁇ TS3).
  • the server control unit (SCO) can completely delete the two-dimensional skeleton information by discarding the two-dimensional skeletons (S1 to Sn) when the time stamp of the two-dimensional skeleton information is before the target time slot (TS1 to TS3).
  • the server control unit (SCO) may insert the two-dimensional skeleton information into the queue when the time stamp of the two-dimensional skeleton information is after the target time slots (TS1 to TS3).
  • the server control unit (SCO) Based on the 2D skeleton (S1 to Sn), the 3D skeleton (S') of the target time slot (TS1 to TS3) can be estimated. For example, referring to FIG. 8, the server control unit (SCO) estimates a three-dimensional skeleton (S') based on a plurality of two-dimensional skeletons (S1 to Sn) using DLT (Direct Linear Transform) matrix operation. can do.
  • DLT Direct Linear Transform
  • the target time slot is the first time slot (TS1)
  • the server control unit (SCO) performs a synchronization process for the target time slot (TS1).
  • the server control unit (SCO) determines that the time stamp of the two-dimensional skeleton information corresponding to the first to fourth channels (X 1 to It can be confirmed that it corresponds to the target time slot (TS1).
  • the server control unit (SCO) inserts the two-dimensional skeletons (S1 to S4) of the two-dimensional skeleton information corresponding to the first to fourth channels (X 1 to X 4 ) into the target time slot (TS1).
  • the server control unit (SCO) determines that the number of two-dimensional skeletons (S1 to S4) inserted in the target time slot (TS1) is 2 or more, which is a predetermined number of 4, and Based on the two-dimensional skeletons (S1 to S4), estimation of the three-dimensional skeleton (S') of the target time slot (TS1) can be performed.
  • the target time slot is the second time slot (TS2)
  • the server control unit (SCO) performs a synchronization process for the target time slot (TS2).
  • the server control unit (SCO) determines the predetermined number of two-dimensional skeleton information included in the queue, and sets the time stamp of the two-dimensional skeleton information corresponding to the second channel (X 2 ) to the target time slot (TS2). It can be confirmed that it corresponds to .
  • the server control unit (SCO) inserts the two-dimensional skeleton (S2) of the two-dimensional skeleton information corresponding to the second channel (X 2 ) into the target time slot (TS2).
  • the server control unit (SCO) determines that the number of 2D skeletons (S2) inserted in the target time slot (TS2) is less than the predetermined number of 2, and sets the 3D skeleton (S2) in the target time slot (S2). ') can be stopped.
  • the target time slot is the third time slot (TS3)
  • the server control unit (SCO) performs a synchronization process for the target time slot (TS3).
  • the server control unit (SCO) determines the time stamp of the two-dimensional skeleton information corresponding to the first and second channels (X 1 , It can be confirmed that it corresponds to the target time slot (TS3).
  • the server control unit (SCO) inserts the two-dimensional skeletons (S1, S2) of the two-dimensional skeleton information corresponding to the first and second channels (X 1 and X 2 ) into the target time slot (TS3).
  • the server control unit (SCO) determines that the number of two-dimensional skeletons (S1, S2) inserted in the target time slot (TS3) is 2 or more, which is a predetermined number, and Based on the two-dimensional skeletons (S1, S2), the three-dimensional skeleton (S') of the target time slot (TS3) can be estimated.
  • the server control unit (SCO) may determine color similarity between color data (CD) of a plurality of two-dimensional skeleton information. For example, the server control unit (SCO) selects a similar two-dimensional skeleton whose color similarity between color data (CD) exceeds a predetermined similarity among a plurality of two-dimensional skeleton information whose time stamp corresponds to the target time slot (TS1 to TS3).
  • the two-dimensional skeleton (S1 to Sn) of the information can be inserted into the target time slot (TS1 to TS3).
  • the first color data (CD1) is color data based on the object image received from the first camera (C1)
  • the second color data (CD2) is color data based on the object image received from the second camera (C2).
  • the third color data (CD3) is color data based on the object image received from the third camera (C3).
  • the first color data (CD1) to the third color data (CD3) are respectively provided in the first to third two-dimensional skeleton information corresponding to the target time slots (TS1 to TS3 (same time slot)).
  • color similarity is determined by Mean Square Error (MSE), and it is assumed that the predetermined error is k.
  • MSE Mean Square Error
  • the predetermined error is k.
  • the color similarity may be expressed as the reciprocal of the mean square error
  • the predetermined similarity may be expressed as 1/k.
  • the server control unit (SCO) if the mean square error between the first color data (CD1) and the second color data (CD2) is less than a predetermined error k, the first color data (CD1) and the second color It is determined that the color similarity between data (CD2) exceeds a predetermined similarity. According to this determination, the server control unit (SCO) converts the first two-dimensional skeleton information including the first color data (CD1) and the second two-dimensional skeleton information including the second color data (CD2) into a pseudo-two-dimensional skeleton. Judging by the information, the two-dimensional skeletons (S1, S2) of this similar two-dimensional skeleton information can be inserted into the target time slots (TS1 to TS3).
  • TS1 to TS3 target time slots
  • server control unit may determine one of the similar 2D skeleton information as the standard 2D skeleton information.
  • the server control unit (SCO) determines the first 2D skeleton information as the standard 2D skeleton information.
  • the server control unit (SCO) determines the first color data (CD1) provided in the first two-dimensional skeleton information as reference color data, and determines the color between the first color data (CD1) and the third color data (CD3). Similarity can be judged. Referring to FIG. 7, if the mean square error between the first color data (CD1) and the third color data (CD3) is greater than or equal to a predetermined error k, the server control unit (SCO) It is determined that the color similarity between color data (CD3) is less than or equal to a predetermined similarity.
  • the server control unit (SCO) discards the two-dimensional skeleton (S3) of the third two-dimensional skeleton information provided with the third color data (CD3), thereby creating the third two-dimensional skeleton in the target time slots (TS1 to TS3).
  • the 2D skeleton of dimensional skeleton information may not be inserted.
  • the server storage unit may store a queue containing a plurality of two-dimensional skeleton information.
  • the server communication unit (SCM) may receive third dynamic information including 2D skeleton information from a plurality of 2D skeleton estimation devices (SE1 to SEn). Additionally, the server communication unit (SCM) may transmit second dynamic information including the 3D skeleton (S') to the virtual performance creation server (VPSV).
  • SE1 to SEn 2D skeleton estimation devices
  • VPSV virtual performance creation server
  • the plurality of two-dimensional skeleton estimation devices may each include a control unit (CO) and a communication unit (CM). Additionally, each of the plurality of two-dimensional skeleton estimation devices SE1 to SEn may further include a storage unit ST.
  • the control unit (ST) creates a two-dimensional skeleton (S1 to Sn) of the object (U) based on the object image included in the first dynamic information received from the corresponding camera (C1 to Cn) among the plurality of cameras (C1 to Cn). Third dynamic information including two-dimensional skeleton information can be obtained.
  • the control unit (CO) can estimate the two-dimensional skeleton (S1 to Sn) of the object (U) from the object image using deep learning-based artificial intelligence.
  • the control unit CO may generate color data CD regarding a plurality of feature points of the object U based on the object image.
  • color data (CD) regarding a plurality of feature points of the object (U) means “feature points corresponding to two or more of the shoulder, elbow, hand, waist, knee, and foot of the object (U). It may be “color data about.”
  • the two-dimensional skeleton information includes “two-dimensional skeletons (S1 to Sn) of the object (U).” Additionally, the two-dimensional skeleton information may further include one or more of a “time stamp” and “color data (CD) regarding a plurality of characteristic points of the object (U).” Additionally, it should be noted that the 2D skeleton information does not include the actual image of the object (U) and does not include the 3D skeleton (S').
  • time stamp may mean “the time when the cameras C1 to Cn acquired the object image for each object image.”
  • the cameras (C1 to Cn) generate time stamps, and the two-dimensional skeleton estimation devices (SE1 to SEn) receive these time stamps together with the corresponding object images, so that the two-dimensional skeleton information is Can include timestamp.
  • the time when the camera (C1 ⁇ Cn) acquired the object image and “the two-dimensional skeleton estimation device (SE1 ⁇ SEn) receives the object image from the camera (C1 ⁇ Cn)” If “one hour” makes little difference, “the time when the 2D skeleton estimation device (SE1 to SEn) received the object image from the camera (C1 to Cn)” may be used as a time stamp.
  • the communication unit (CM) may transmit the third dynamic information to the server (SV). Additionally, the communication unit (CM) may receive first dynamic information including an object image from the corresponding cameras (C1 to Cn).
  • the virtual performance creation server synthesizes the second dynamic information including the three-dimensional skeleton (S') of the object (U) and the three-dimensional model of the surface and clothing of the object (U) in real time to create virtual performance content. creates .
  • the virtual performance content may include a composite (A) between a plurality of 3D skeletons (S') and a 3D model acquired sequentially over time.
  • “Synthesizing the second dynamic information and the three-dimensional model in real time” may mean “synthesizing the second dynamic information and the three-dimensional model so that the actual performance of the object (U) can be converted into virtual performance content in real time.” You can.
  • a virtual performance creation server may be a web server.
  • the virtual performance creation server includes a control unit (SCO'). Additionally, the virtual performance creation server (VPSV) may further include a storage unit (SST') and a communication unit (SCM').
  • One or more client terminals may display virtual performance content received from a virtual performance creation server (VPSV).
  • VPSV virtual performance creation server
  • FIG. 4 along with FIGS. 1 to 3C and 5A to 8, a method for creating a virtual performance according to an embodiment of the present invention will be described as follows.
  • the three-dimensional skeleton estimation device 20 further includes a plurality of two-dimensional skeleton estimating devices (SE1 to SEn), and in step 230, using each of the plurality of two-dimensional skeleton estimating devices (SE1 to SEn)
  • SE1 to SEn uses each of the plurality of two-dimensional skeleton estimating devices (SE1 to SEn)
  • SE1 to SEn Obtaining third dynamic information including two-dimensional skeleton information having two-dimensional skeletons (S1 to Sn) of the object (U) based on the object image included in the first dynamic information, and a plurality of two-dimensional skeletons
  • a step of transmitting the third dynamic information to the server SV may be performed using each of the estimation devices SE1 to SEn.
  • step 230 after transmitting the third dynamic information to the server SV, obtaining second dynamic information based on two-dimensional skeleton information included in the third dynamic information using the server SV. can be further performed.
  • the server (SV) determines whether the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3).
  • the two-dimensional skeleton (S1 to Sn) of the two-dimensional skeleton information can be inserted into the target time slot (TS1 to TS3).
  • the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3).
  • the two-dimensional skeleton information further includes color data (CD) regarding a plurality of characteristic points of the object (U), and the step of acquiring the second dynamic information based on the two-dimensional skeleton information is performed by the server (SV) It may include determining color similarity between color data (CD) of a plurality of two-dimensional skeleton information using .
  • the server (SV) provides pseudo-2-dimensional skeleton information whose color similarity between color data (CD) exceeds a predetermined similarity among a plurality of 2-dimensional skeleton information whose timestamp corresponds to the target time slot (TS1 to TS3).
  • the two-dimensional skeleton (S1 to Sn) of can be inserted into the target time slot (TS1 to TS3).
  • step 240 the virtual performance creation server (VPSV) generates virtual performance content by synthesizing the second dynamic information and the 3D model in real time. Additionally, in step 240, a step of changing the shape of the 3D model based on the second dynamic information may be performed.
  • VPSV virtual performance creation server
  • the method for creating a virtual performance includes a) photographing an object (U) using a photo scanning device 10 to generate a three-dimensional model of the surface and costume of the object (U). Step 210; b) by filming the performance of the object (U) using the plurality of cameras (C1 to Cn) of the three-dimensional skeleton estimation device 20 including a plurality of cameras (C1 to Cn) and a server (SV) Obtaining first dynamic information including an image (220); c) using the server (SV) to obtain second dynamic information including a three-dimensional skeleton (S') of the object (U) based on the first dynamic information (230); and d) generating virtual performance content by synthesizing the second dynamic information and the 3D model in real time using a virtual performance creation server (VPSV) (240). Accordingly, the movement and appearance of the object (U) can be realistically reproduced in 3D, devices that must be moved to each performance location (filming location) can be reduced
  • the three-dimensional skeleton estimation device 20 further includes a plurality of two-dimensional skeleton estimation devices (SE1 to SEn), and step c) includes c1) each of the plurality of two-dimensional skeleton estimating devices (SE1 to SEn).
  • step c) includes c1) each of the plurality of two-dimensional skeleton estimating devices (SE1 to SEn).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 가상 공연 생성 방법은 a) 포토 스캔 장치를 사용하여 대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 단계; b) 복수의 카메라 및 서버를 포함하는 3차원 스켈레톤 추정 장치의 상기 복수의 카메라를 사용하여 상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 단계; c) 상기 서버를 사용하여 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 단계; 및 d) 가상 공연 생성 서버를 사용하여 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

가상 공연 생성 방법 및 가상 공연 생성 시스템
본 발명은 가상 공연 생성 방법 및 가상 공연 생성 시스템에 관한 것으로, 복수의 카메라를 통해 대상물에 대한 움직임을 3차원으로 캡쳐한 데이터와, 사전에 구축해 놓은 대상물의 외형 및 의상에 관한 3차원 모델 간의 합성을 통해 실시간으로 3차원 실사 디지털화할 수 있고, 엣지 장치(edge device; 이하, '2차원 스켈레톤 추정 장치'라고도 함)를 통해 시스템을 경량화함으로써 이동형 촬영이 가능한 가상 공연 생성 방법 및 가상 공연 생성 시스템에 관한 것이다.
최근, 확장 현실 서비스 및 비대면 공연을 실현하기 위해, 가상 공연 생성 방법 및 가상 공연 생성 시스템에 대한 수요가 증가하고 있다.
종래의 가상 공연 생성 시스템으로서, 중력 센서 또는 마커(marker)가 부착된 특수한 의상을 입은 대상물에 대한 움직임을 캡쳐하는 시스템이 있다. 이러한 시스템은 역동적/세부적인 움직임을 캡쳐할 수 있으나, 대상물의 외형 및 의상에 대한 움직임을 모사할 수 없는 문제점이 있다.
또한, 종래의 가상 공연 생성 시스템으로서, 복수의 카메라의 각각이 RGB 센서 및 깊이 측정 센서를 구비하고, RGB 센서로부터 얻어진 이미지와 깊이 측정 센서로부터 얻어진 이미지를 합성함으로써 대상물에 대한 실사화가 가능한 볼류메트릭(volumetric) 시스템이 있다. 이러한 시스템은 고해상도의 3차원 모델을 복원할 수 있으나, 다량의 센서가 필요하기 때문에 구축 비용이 높고, 이동이 곤란한 문제점이 있다. 또한, 촬영한 이미지를 실질적으로 그대로 이용하여 3차원 이미지를 생성하기 때문에, 서버에서의 연산 부하가 매우 높으므로 실시간으로 3차원 가상 공연 콘텐츠를 생성하는 데에 한계가 있는 문제점이 있다.
혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 종래기술인 특허문헌 1(한국공개특허공보 제10-2015-0105069호)이 개시되어 있다. 이러한 평면 영상 입체화 합성기법의 경우, 이미지 프로세싱이 가능한 PC와 같은 통신 단말(서버)은 복수의 카메라로부터 수신된 동영상 정보로부터 동일한 촬영 시간에 해당하는 이미지 정보들을 추출하는 단계, 추출된 이미지 정보들을 가상의 3차원 공간에 정렬시키는 단계, 및 우측 이미지 정보를 이용하여 중앙 이미지 정보의 우측 영역을 굴곡시키고, 좌측 이미지 정보를 이용하여 중앙 이미지 정보의 좌측 영역을 굴곡시키는 단계를 수행한다. 즉, PC와 같은 단일 서버가 카메라로부터 수신된 이미지를 실질적으로 그대로 이용하여 3차원 가상 공연 콘텐츠를 생성하기 때문에, 단일 서버에서의 연산 부하가 매우 높으므로 실시간으로 3차원 가상 공연 콘텐츠를 생성하는 데에 한계가 있는 문제점이 있다.
(특허문헌 1) 한국공개특허공보 제10-2015-0105069호
본 발명의 목적은, 대상물의 움직임 및 외형을 3차원으로 실사화하고, 공연 장소(촬영 장소)마다 이동해야 하는 장치를 경량화할 수 있으며, 실시간으로 3차원 가상 공연 콘텐츠를 생성할 수 있는 가상 공연 생성 방법 및 가상 공연 생성 시스템을 제공하는 데에 있다.
본 발명의 다른 목적은, 2차원 스켈레톤 추정 장치인 엣지 장치를 이용하여 서버에서의 연산 부하를 최소화함으로써, 공연을 촬영한 영상을 처리하기 위한 별도의 미디어 서버를 구축할 필요가 없으므로, 저비용으로 시스템을 구축하고 시스템의 경량화를 실현할 수 있는 가상 공연 생성 방법 및 가상 공연 생성 시스템을 제공하는 데에 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 실시예의 일 특징에 따르는 가상 공연 생성 방법은 a) 포토 스캔 장치를 사용하여 대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 단계; b) 복수의 카메라 및 서버를 포함하는 3차원 스켈레톤 추정 장치의 상기 복수의 카메라를 사용하여 상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 단계; c) 상기 서버를 사용하여 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 단계; 및 d) 가상 공연 생성 서버를 사용하여 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 일 특징에 따르는 가상 공연 생성 방법은, 상기 3차원 스켈레톤 추정 장치가 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 c) 단계는 c1) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 c2) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제3 동적 정보를 상기 서버로 송신하는 단계를 포함할 수 있다.
본 발명의 실시예의 일 특징에 따르는 가상 공연 생성 시스템은 대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 포토 스캔 장치; 상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 복수의 카메라, 및 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 서버를 포함하는 3차원 스켈레톤 추정 장치; 및 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 가상 공연 생성 서버를 포함하는 것을 특징으로 한다.
상기 일 특징에 따르는 가상 공연 생성 시스템은, 상기 3차원 스켈레톤 추정 장치가 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 복수의 2차원 스켈레톤 추정 장치는 각각 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 제어부, 및 상기 제3 동적 정보를 상기 서버로 송신하는 통신부를 포함할 수 있다.
본 발명의 가상 공연 생성 방법 및 가상 공연 생성 시스템을 사용하면 다음과 같은 효과가 달성된다.
1. 대상물의 움직임 및 외형을 3차원으로 실사화하고, 공연 장소(촬영 장소)마다 이동해야 하는 장치를 경량화할 수 있으며, 실시간으로 3차원 가상 공연 콘텐츠를 생성할 수 있다.
2. 2차원 스켈레톤 추정 장치인 엣지 장치를 이용하여 서버에서의 연산 부하를 최소화함으로써, 공연을 촬영한 영상을 처리하기 위한 별도의 미디어 서버를 구축할 필요가 없으므로, 저비용으로 시스템을 구축하고 시스템의 경량화를 실현할 수 있다.
이하, 본 발명에 따른 가상 공연 생성 방법 및 가상 공연 생성 시스템의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 블록도이다.
도 2는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치 및 가상 공연 생성 서버를 도시하는 도이다.
도 3a는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 포토 스캔 장치에 의해 수행되는 과정을 나타내는 도이다.
도 3b는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에 의해 수행되는 과정을 나타내는 도이다.
도 3c는 본 발명의 일 실시형태에 따른 가상 공연 생성 서버에 의해 생성된 가상 공연 콘텐츠를 나타내는 도이다.
도 4는 본 발명의 일 실시형태에 따른 가상 공연 생성 방법의 순서도이다.
도 5a 내지 도 5c는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 동기화 과정을 설명하기 위한 도이다.
도 6은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터가 획득되는 과정을 설명하기 위한 도이다.
도 7은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하기 위한 도이다.
도 8은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 3차원 스켈레톤 추정 과정을 설명하기 위한 도이다.
이하, 본 발명에 따른 가상 공연 생성 방법 및 가상 공연 생성 시스템의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 블록도이고, 도 2는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치 및 가상 공연 생성 서버를 도시하는 도이다.
도 3a는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 포토 스캔 장치에 의해 수행되는 과정을 나타내는 도이다. 도 3a의 좌측은 복수의 카메라(C')에 의해 정지된 대상물(U)의 이미지를 획득하는 과정을 보여주고, 도 3a의 중앙은 복수의 카메라(C')로부터 각각 수신된 이미지를 대상물(U)의 표면 및 의상에 관한 3차원 모델로 변환하는 과정을 보여주며, 도 3a의 우측은 최종적으로 생성된 3차원 모델을 보여준다.
도 3b는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에 의해 수행되는 과정을 나타내는 도이다. 도 3b의 좌측은 복수의 카메라(C1~Cn)에 의해 대상물(U)의 공연을 촬영함으로써 다시점(multi-view) 영상을 확보하는 과정을 보여주고, 도 3b의 우측은 다시점 영상으로부터 대상물(U)의 동적 영역을 획득하는 과정을 보여준다.
도 3c는 본 발명의 일 실시형태에 따른 가상 공연 생성 서버에 의해 생성된 가상 공연 콘텐츠를 나타내는 도이다.
도 4는 본 발명의 일 실시형태에 따른 가상 공연 생성 방법의 순서도이다.
도 5a 내지 도 5c는 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 동기화 과정을 설명하기 위한 도이다. 이와 관련하여, 도 5a는 제1 타임 슬롯(TS1)에 대한 동기화 과정을 설명하기 위한 도이고, 도 5b는 제2 타임 슬롯(TS2)에 대한 동기화 과정을 설명하기 위한 도이며, 도 5c는 제3 타임 슬롯(TS3)에 대한 동기화 과정을 설명하기 위한 도이다.
도 6은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터가 획득되는 과정을 설명하기 위한 도이고, 도 7은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하기 위한 도이다.
도 8은 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템의 3차원 스켈레톤 추정 장치에서의 3차원 스켈레톤 추정 과정을 설명하기 위한 도이다.
도 2 내지 도 3c 및 도 5a 내지 도 8과 함께 도 1을 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템(100)을 설명하면 다음과 같다.
가상 공연 생성 시스템(100)은 포토 스캔 장치(10), 3차원 스켈레톤 추정 장치(20), 및 가상 공연 생성 서버(VPSV)를 포함한다. 또한, 가상 공연 생성 시스템(100)은 하나 이상의 클라이언트 단말(CT1~CTk)을 더 포함할 수 있다.
포토 스캔 장치(10)는 대상물(U)을 촬영하여 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성한다.
본 명세서에서, “대상물(U)”은 사람, 동물, 또는 로봇과 같은 움직임이 가능한 임의의 대상을 포함할 수 있다. “표면”은 외부에 보이는 대상물(U) 자체의 표면을 의미할 수 있다. 즉, 대상물(U)이 사람 및 동물인 경우, 표면은 피부, 머리카락(털), 및 눈을 포함할 수 있다. “의상”은 대상물(U)이 입고 있는 “옷”을 포함할 수 있으나, 이에 제한되는 것은 아니며, 대상물(U)이 착용한 모자, 장갑 및 안경, 및 대상물(U)이 사용하는 도구 중 하나 이상을 포함할 수 있다.
포토 스캔 장치(10)는 복수의 카메라(C') 및 제어부(CO')를 포함할 수 있다. 또한, 포토 스캔 장치(10)는 통신부(CM') 및 저장부(ST') 중 하나 이상을 더 포함할 수 있다.
복수의 카메라(C')는 정지된 대상물(U)을 둘러싸도록 배치될 수 있다. 복수의 카메라(C')의 각각은 정지된 대상물(U)의 이미지를 획득할 수 있다. 제어부(CO')는 복수의 카메라(C')로부터 수신된 복수의 이미지에 근거하여 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성할 수 있다.
통신부(CM')는 3차원 모델을 가상 공연 생성 서버(VPSV)로 송신할 수 있다. 저장부(ST')는 복수의 카메라(C')로부터 수신된 복수의 이미지를 저장할 수 있다.
3차원 스켈레톤 추정 장치(20)는 복수의 카메라(C1~Cn) 및 서버(SV)를 포함한다. 또한, 3차원 스켈레톤 추정 장치(20)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)를 더 포함할 수 있다.
복수의 카메라(C1~Cn)는 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득한다. "대상물 이미지를 포함하는 제1 동적 정보"는 "시간에 따라 순차적으로 나열된 복수의 대상물 이미지"를 의미할 수 있다.
본 명세서에서, “공연”은 “관객에게 보여주기 위한 행위”를 포함할 수 있으나, 이에 한정되는 것은 아니며, “대상물(U)의 일상적 움직임”을 포함할 수 있음에 유의하여야 한다.
서버(SV)는 제1 동적 정보에 근거하여 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 획득한다. "대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보"는 "대상물(U)과 관련하여, 시간에 따라 순차적으로 나열된 복수의 3차원 스켈레톤(S')"을 의미할 수 있다.
서버(SV)는 서버 제어부(SCO)를 포함한. 또한, 서버(SV)는 서버 저장부(SST) 및 서버 통신부(SCM) 중 하나 이상을 더 포함할 수 있다. 예를 들어, 서버(SV)는 로컬 서버(local server)일 수 있다.
예를 들어, 서버 제어부(SCO)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 각각 수신된 제3 동적 정보에 포함된 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득할 수 있다. 본 명세서에서, "대상물(U)의 2차원 스켈레톤 정보를 포함하는 제3 동적 정보"는 "대상물(U)과 관련하여, 시간에 따라 순차적으로 나열된 복수의 2차원 스켈레톤 정보"를 의미할 수 있다.
서버 제어부(SCO)는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단할 수 있다. 예를 들어, 이러한 판단은 서버 제어부(SCO)가 큐(queue)에 포함되어 있는 복수의 2차원 스켈레톤 정보를 꺼내어 확인함으로써 행해질 수 있다.
본 명세서에서, "대상 타임 슬롯"은 "복수의 타임 슬롯(TS1~TS3) 중 동기화 과정이 수행되는 타임 슬롯"을 의미할 수 있다.
예를 들어, 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 이러한 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다. 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3) 전일 때, 이러한 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 버림으로써 완전히 삭제할 수 있다. 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3) 후일 때, 이러한 2차원 스켈레톤 정보를 큐에 삽입할 수 있다.
서버 제어부(SCO)는, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 2차원 스켈레톤(S1~Sn)의 개수가 미리 정해진 개수 이상일 때, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 복수의 2차원 스켈레톤(S1~Sn)에 근거하여 대상 타임 슬롯(TS1~TS3)의 3차원 스켈레톤(S')을 추정할 수 있다. 예를 들어, 도 8을 참조하면, 서버 제어부(SCO)는, DLT(Direct Linear Transform) 매트릭스 연산을 이용하여, 복수의 2차원 스켈레톤(S1~Sn)에 근거한 3차원 스켈레톤(S')을 추정할 수 있다.
도 5a 내지 도 5c를 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템(100)의 3차원 스켈레톤 추정 장치(20)에서의 동기화 과정의 일 예를 설명하면 다음과 같다.
먼저, 카메라(C1~Cn)의 개수(n), 2차원 스켈레톤 추정 장치(SE1~SEn)의 개수(n)에 해당되는 채널(X1~Xn)의 개수(n)가 4개라고 가정한다. 또한, 3차원 스켈레톤(S')을 추정할 수 있는 2차원 스켈레톤(S1~Sn)의 미리 정해진 개수가 2개라고 가정한다. 또한, 각각의 대상 타임 슬롯(TS1~TS3)에 대한 동기화 과정 동안, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대하여 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단한다고 가정한다.
도 4a를 참조하면, 대상 타임 슬롯은 제1 타임 슬롯(TS1)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS1)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제1 내지 제4 채널(X1~X4)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제1 내지 제4 채널(X1~X4)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~S4)을 대상 타임 슬롯(TS1)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS1)에 삽입되어 있는 2차원 스켈레톤(S1~S4)의 개수, 4개가 미리 정해진 개수인 2개 이상이라고 판단하고, 대상 타임 슬롯(TS1)에 삽입되어 있는 2차원 스켈레톤(S1~S4)에 근거하여 대상 타임 슬롯(TS1)의 3차원 스켈레톤(S')에 대한 추정을 수행할 수 있다.
도 4b를 참조하면, 대상 타임 슬롯은 제2 타임 슬롯(TS2)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS2)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제2 채널(X2)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS2)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제2 채널(X2)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S2)을 대상 타임 슬롯(TS2)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS2)에 삽입되어 있는 2차원 스켈레톤(S2)의 개수, 1개가 미리 정해진 개수인 2개 미만이라고 판단하고, 대상 타임 슬롯(S2)의 3차원 스켈레톤(S')에 대한 추정을 정지할 수 있다.
도 4c를 참조하면, 대상 타임 슬롯은 제3 타임 슬롯(TS3)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS3)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제1 및 제2 채널(X1, X2)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS3)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제1 및 제2 채널(X1, X2)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S1, S2)을 대상 타임 슬롯(TS3)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS3)에 삽입되어 있는 2차원 스켈레톤(S1, S2)의 개수, 2개가 미리 정해진 개수인 2개 이상이라고 판단하고, 대상 타임 슬롯(TS3)에 삽입되어 있는 2차원 스켈레톤(S1, S2)에 근거하여 대상 타임 슬롯(TS3)의 3차원 스켈레톤(S')에 대한 추정을 수행할 수 있다.
서버 제어부(SCO)는 복수의 2차원 스켈레톤 정보의 색상 데이터(CD) 간의 색상 유사도를 판단할 수 있다. 예를 들어, 서버 제어부(SCO)는 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는 복수의 2차원 스켈레톤 정보 중 색상 데이터(CD) 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다.
도 7을 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 시스템(100)의 3차원 스켈레톤 추정 장치(20)에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하면 다음과 같다.
먼저, 제1 색상 데이터(CD1)는 제1 카메라(C1)로부터 수신된 대상물 이미지에 근거한 색상 데이터이고, 제2 색상 데이터(CD2)는 제2 카메라(C2)로부터 수신된 대상물 이미지에 근거한 색상 데이터이며, 제3 색상 데이터(CD3)는 제3 카메라(C3)로부터 수신된 대상물 이미지에 근거한 색상 데이터라고 가정한다. 또한, 제1 색상 데이터(CD1) 내지 제3 색상 데이터(CD3)는 각각 대상 타임 슬롯(TS1~TS3; 동일한 타임 슬롯)에 대응하는 제1 내지 제3 2차원 스켈레톤 정보에 구비된다고 가정한다. 또한, 색상 유사도는 평균 제곱 오차(Mean Square Error; MSE)에 의해 판단하고, 미리 정해진 오차는 k라고 가정한다. 여기서, 색상 유사도는 평균 제곱 오차의 역수로 표시될 수 있고, 미리 정해진 유사도는 1/k로 표시될 수 있다.
예를 들어, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)와 제2 색상 데이터(CD2) 간의 평균 제곱 오차가 미리 정해진 오차 k보다 작으면, 제1 색상 데이터(CD1)와 제2 색상 데이터(CD2) 간의 색상 유사도가 미리 정해진 유사도를 초과한다고 판단한다. 이러한 판단에 따라, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)를 구비하는 제1 2차원 스켈레톤 정보 및 제2 색상 데이터(CD2)를 구비하는 제2 2차원 스켈레톤 정보를 유사 2차원 스켈레톤 정보로 판단하고, 이러한 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1, S2)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다.
또한, 서버 제어부(SCO)는, 유사 2차원 스켈레톤 정보 중 하나를 기준 2차원 스켈레톤 정보로 판단할 수 있다.
예를 들어, 서버 제어부(SCO)가 제1 2차원 스켈레톤 정보를 기준 2차원 스켈레톤 정보로 판단한다고 가정한다. 이러한 경우, 서버 제어부(SCO)는 제1 2차원 스켈레톤 정보에 구비되는 제1 색상 데이터(CD1)를 기준 색상 데이터로 판단하고, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 색상 유사도를 판단할 수 있다. 도 7을 참조하여, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 평균 제곱 오차가 미리 정해진 오차 k 이상이면, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 색상 유사도가 미리 정해진 유사도 이하라고 판단한다. 이러한 판단에 따라, 서버 제어부(SCO)는, 제3 색상 데이터(CD3)가 구비되는 제3 2차원 스켈레톤 정보의 2차원 스켈레톤(S3)을 버림으로써 대상 타임 슬롯(TS1~TS3)에 제3 2차원 스켈레톤 정보의 2차원 스켈레톤을 삽입하지 않을 수 있다.
서버 저장부(SST)는 복수의 2차원 스켈레톤 정보를 포함하는 큐를 저장할 수 있다.
서버 통신부(SCM)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 수신할 수 있다. 또한, 서버 통신부(SCM)는 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 가상 공연 생성 서버(VPSV)로 송신할 수 있다.
복수의 2차원 스켈레톤 추정 장치(SE1~SEn)는 각각 제어부(CO) 및 통신부(CM)를 포함할 수 있다. 또한, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)는 각각 저장부(ST)를 더 포함할 수 있다.
제어부(ST)는 복수의 카메라(C1~Cn) 중 대응되는 카메라(C1~Cn)로부터 수신된 제1 동적 정보에 포함된 대상물 이미지에 근거하여 대상물(U)의 2차원 스켈레톤(S1~Sn)을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득할 수 있다. 제어부(CO)는 딥 러닝(deep learning) 기반 인공 지능을 이용하여 대상물 이미지로부터 대상물(U)의 2차원 스켈레톤(S1~Sn)을 추정할 수 있다.
예를 들어, 도 6을 참조하면, 제어부(CO)는 대상물 이미지에 근거하여 대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)를 생성할 수 있다. 본 명세서에서, "대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)"는 "대상물(U)의 어깨, 팔꿈치, 손, 허리, 무릎, 및 발 중 2개 이상에 대응되는 특징 점에 관한 색상 데이터"일 수 있다.
본 명세서에서, 2차원 스켈레톤 정보는 "대상물(U)의 2차원 스켈레톤(S1~Sn)"을 구비한다. 또한, 2차원 스켈레톤 정보는 "타임 스탬프" 및 "대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)" 중 하나 이상을 더 구비할 수 있다. 또한, 2차원 스켈레톤 정보는 대상물(U)의 실제 이미지를 포함하지 않고, 3차원 스켈레톤(S')을 포함하지 않음에 유의하여야 한다.
본 명세서에서, "타임 스탬프"는 "각각의 대상물 이미지에 대하여 카메라(C1~Cn)가 대상물 이미지를 획득한 시간"을 의미할 수 있다. 이와 관련하여, 예를 들어, 카메라(C1~Cn)가 타임 스탬프를 생성하고, 2차원 스켈레톤 추정 장치(SE1~SEn)가 이러한 타임 스탬프를 대응되는 대상물 이미지와 함께 수신함으로써, 2차원 스켈레톤 정보는 타임 스탬프를 포함할 수 있다. 예를 들어, 각각의 대상물 이미지에 대하여, "카메라(C1~Cn)가 대상물 이미지를 획득한 시간"과 "2차원 스켈레톤 추정 장치(SE1~SEn)가 대상물 이미지를 카메라(C1~Cn)로부터 수신한 시간"이 거의 차이가 없다면, "2차원 스켈레톤 추정 장치(SE1~SEn)가 대상물 이미지를 카메라(C1~Cn)로부터 수신한 시간"이 타임 스탬프로 이용될 수도 있다.
통신부(CM)는 제3 동적 정보를 서버(SV)로 송신할 수 있다. 또한, 통신부(CM)는 대응되는 카메라로(C1~Cn)부터 대상물 이미지를 포함하는 제1 동적 정보를 수신할 수 있다.
저장부(ST)는 대응되는 카메라(C1~Cn)로부터 수신된 대상물 이미지를 저장할 수 있다.
가상 공연 생성 서버(VPSV)는 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보와, 대상물(U)의 표면 및 의상에 관한 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성한다. 즉, 가상 공연 콘텐츠는 시간에 따라 순차적으로 획득된 복수의 3차원 스켈레톤(S')과 3차원 모델 간의 합성물(A)을 포함할 수 있다. "제2 동적 정보와 3차원 모델을 실시간으로 합성함"은 "대상물(U)의 실제 공연이 실시간으로 가상 공연 콘텐츠로 변환될 수 있도록 제2 동적 정보와 3차원 모델을 합성함"을 의미할 수 있다. 예를 들어, 가상 공연 생성 서버(VPSV)는 웹 서버(web server)일 수 있다.
또한, 가상 공연 생성 서버(VPSV)는 제2 동적 정보에 근거하여 3차원 모델의 형태를 변화시킬 수 있다. 예를 들어, 가상 공연 생성 서버(VPSV)는, 제2 동적 정보에 포함된 3차원 스켈레톤(S')의 형태 및 이동 속도 중 하나 이상에 근거하여, 대상물(U)의 표면 및 의상에 관한 3차원 모델의 형태를 변화시킬 수 있다. 이에 따라, 대상물(U)의 표면 및 의상에 관한 3차원 모델은 대상물(U)의 움직임에 맞게 자연스럽게 실사화될 수 있다.
가상 공연 생성 서버(VPSV)는 제어부(SCO')를 포함한다. 또한, 가상 공연 생성 서버(VPSV)는 저장부(SST') 및 통신부(SCM')를 더 포함할 수 있다.
제어부(SCO')는 제2 동적 정보와 3차원 모델을 실시간으로 합성함으로써 가상 공연 콘텐츠를 생성할 수 있다. 또한, 제어부(SCO')는 제2 동적 정보에 근거하여 3차원 모델의 형태를 변화시킬 수 있다.
저장부(SST')는 대상물(U)의 표면 및 의상에 관한 3차원 모델을 미리 저장할 수 있다.
통신부(SCM')는 가상 공연 콘텐츠를 하나 이상의 클라이언트 단말(CT1~CTk)로 송신할 수 있다. 또한, 통신부(SCM')는 저장부(SST')에 미리 저장될 3차원 모델을 포토 스캔 장치(10)로부터 수신할 수 있다.
하나 이상의 클라이언트 단말(CT1~CTk)은 가상 공연 생성 서버(VPSV)로부터 수신된 가상 공연 콘텐츠를 표시할 수 있다.
도 1 내지 도 3c 및 도 5a 내지 도 8과 함께 도 4를 참조하여, 본 발명의 일 실시형태에 따른 가상 공연 생성 방법을 설명하면 다음과 같다.
단계 210에서, 포토 스캔 장치(10)는 대상물(U)을 촬영하여 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성한다.
단계 220에서, 복수의 카메라(C1~Cn) 및 서버(SV)를 포함하는 3차원 스켈레톤 추정 장치(20)의 복수의 카메라(C1~Cn)는 대상물(U)의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득한다.
단계 230에서, 서버(SV)는 제1 동적 정보에 근거하여 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 획득한다.
예를 들어, 3차원 스켈레톤 추정 장치(20)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)를 더 포함하고, 단계 230에서, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 제1 동적 정보에 포함된 대상물 이미지에 근거하여 대상물(U)의 2차원 스켈레톤(S1~Sn)을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 제3 동적 정보를 서버(SV)로 송신하는 단계가 수행될 수 있다.
또한, 단계 230에서, 제3 동적 정보를 서버(SV)로 송신하는 단계 후에, 서버(SV)를 사용하여 제3 동적 정보에 포함된 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득하는 단계가 더 수행될 수 있다.
예를 들어, 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득하는 단계는, 서버(SV)를 사용하여, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계를 포함할 수 있다.
예를 들어, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계 후에, 서버(SV)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다.
예를 들어, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계 후에, 서버(SV)를 사용하여, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입하는 단계, 및 서버(SV)를 사용하여, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 2차원 스켈레톤(S1~Sn)의 개수가 미리 정해진 개수 이상일 때, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 복수의 2차원 스켈레톤(S1~Sn)에 근거하여 대상 타임 슬롯(TS1~TS3)의 3차원 스켈레톤(S')을 추정하는 단계가 수행될 수 있다.
예를 들어, 2차원 스켈레톤 정보는 대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)를 더 구비하고, 2차원 스켈레톤 정보에 근거하여 제2 동적 정보를 획득하는 단계는 서버(SV)를 사용하여 복수의 2차원 스켈레톤 정보의 색상 데이터(CD) 간의 색상 유사도를 판단하는 단계를 포함할 수 있다. 예를 들어, 서버(SV)는 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는 복수의 2차원 스켈레톤 정보 중 색상 데이터(CD) 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다.
단계 240에서, 가상 공연 생성 서버(VPSV)는 제2 동적 정보와 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성한다. 또한, 단계 240에서, 제2 동적 정보에 근거하여 3차원 모델의 형태를 변화시키는 단계가 수행될 수 있다.
본 발명의 실시예의 일 특징에 따르면, 가상 공연 생성 방법은 a) 포토 스캔 장치(10)를 사용하여 대상물(U)을 촬영하여 상기 대상물(U)의 표면 및 의상에 관한 3차원 모델을 생성하는 단계(210); b) 복수의 카메라(C1~Cn) 및 서버(SV)를 포함하는 3차원 스켈레톤 추정 장치(20)의 상기 복수의 카메라(C1~Cn)를 사용하여 상기 대상물(U)의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 단계(220); c) 상기 서버(SV)를 사용하여 상기 제1 동적 정보에 근거하여 상기 대상물(U)의 3차원 스켈레톤(S')을 포함하는 제2 동적 정보를 획득하는 단계(230); 및 d) 가상 공연 생성 서버(VPSV)를 사용하여 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 단계(240)를 포함하는 것을 특징으로 한다. 이에 따라, 대상물(U)의 움직임 및 외형을 3차원으로 실사화하고, 공연 장소(촬영 장소)마다 이동해야 하는 장치를 경량화할 수 있으며, 실시간으로 3차원 가상 공연 콘텐츠를 생성할 수 있다.
또한, 상기 3차원 스켈레톤 추정 장치(20)가 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)를 더 포함하고, 상기 c) 단계는 c1) 상기 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물(U)의 2차원 스켈레톤(S1~Sn)을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 c2) 상기 복수의 2차원 스켈레톤 추정 장치(SE1~SEn) 각각을 사용하여 상기 제3 동적 정보를 상기 서버(SV)로 송신하는 단계를 포함할 수 있다. 이에 따라, 2차원 스켈레톤 추정 장치(SE1~SEn)인 엣지 장치를 이용하여 서버(SV)에서의 연산 부하를 최소화함으로써, 공연을 촬영한 영상을 처리하기 위한 별도의 미디어 서버를 구축할 필요가 없으므로, 저비용으로 시스템을 구축하고 시스템의 경량화를 실현할 수 있다.
본 발명은 첨부된 예시 도면의 바람직한 실시형태를 중심으로 도시하고 설명하였지만, 이에 한정하지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이하의 청구범위에 기재된 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 실시할 수 있음은 물론이다.

Claims (16)

  1. 가상 공연 생성 방법에 있어서,
    a) 포토 스캔 장치를 사용하여 대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 단계;
    b) 복수의 카메라 및 서버를 포함하는 3차원 스켈레톤 추정 장치의 상기 복수의 카메라를 사용하여 상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 단계;
    c) 상기 서버를 사용하여 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 단계; 및
    d) 가상 공연 생성 서버를 사용하여 상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 단계
    를 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  2. 제1항에 있어서, 상기 3차원 스켈레톤 추정 장치는 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 c) 단계는 c1) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 단계, 및 c2) 상기 복수의 2차원 스켈레톤 추정 장치 각각을 사용하여 상기 제3 동적 정보를 상기 서버로 송신하는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  3. 제2항에 있어서, 상기 c) 단계는, 상기 c2) 단계 후에, c3) 상기 서버를 사용하여 상기 제3 동적 정보에 포함된 상기 2차원 스켈레톤 정보에 근거하여 상기 제2 동적 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  4. 제3항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 상기 c3) 단계는 c4) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  5. 제3항에 있어서, 상기 2차원 스켈레톤 정보는 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 c3) 단계는 복수의 상기 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단하는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  6. 제4항에 있어서, 상기 c3) 단계는 상기 c4) 단계 후에, c5) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  7. 제4항에 있어서, 상기 c3) 단계는 상기 c4) 단계 후에, c5) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 단계, 및 c6) 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤의 개수가 미리 정해진 개수 이상일 때, 상기 대상 타임 슬롯에 삽입되어 있는 복수의 상기 2차원 스켈레톤에 근거하여 상기 대상 타임 슬롯의 3차원 스켈레톤을 추정하는 단계를 더 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  8. 제1항에 있어서, 상기 d) 단계는 상기 제2 동적 정보에 근거하여 상기 3차원 모델의 형태를 변화시키는 단계를 포함하는 것을 특징으로 하는 가상 공연 생성 방법.
  9. 가상 공연 생성 시스템에 있어서,
    대상물을 촬영하여 상기 대상물의 표면 및 의상에 관한 3차원 모델을 생성하는 포토 스캔 장치;
    상기 대상물의 공연을 촬영함으로써 대상물 이미지를 포함하는 제1 동적 정보를 획득하는 복수의 카메라, 및 상기 제1 동적 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 포함하는 제2 동적 정보를 획득하는 서버를 포함하는 3차원 스켈레톤 추정 장치; 및
    상기 제2 동적 정보와 상기 3차원 모델을 실시간으로 합성하여 가상 공연 콘텐츠를 생성하는 가상 공연 생성 서버
    를 포함하는 것을 특징으로 하는 가상 공연 생성 시스템.
  10. 제9항에 있어서, 상기 3차원 스켈레톤 추정 장치는 복수의 2차원 스켈레톤 추정 장치를 더 포함하고, 상기 복수의 2차원 스켈레톤 추정 장치는 각각 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 제1 동적 정보에 포함된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 포함하는 제3 동적 정보를 획득하는 제어부, 및 상기 제3 동적 정보를 상기 서버로 송신하는 통신부를 포함하는 것을 특징으로 하는 가상 공연 생성 시스템.
  11. 제10항에 있어서, 상기 서버는 상기 복수의 2차원 스켈레톤 추정 장치로부터 각각 수신된 상기 제3 동적 정보에 포함된 상기 2차원 스켈레톤 정보에 근거하여 상기 제2 동적 정보를 획득하는 서버 제어부를 포함하는 것을 특징으로 하는 가상 공연 생성 시스템.
  12. 제11항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 상기 서버 제어부는 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단하는 것을 특징으로 하는 가상 공연 생성 시스템.
  13. 제11항에 있어서, 상기 2차원 스켈레톤 정보는 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 서버 제어부는 복수의 상기 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단하는 것을 특징으로 하는 가상 공연 생성 시스템.
  14. 제12항에 있어서, 상기 서버 제어부는 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 것을 특징으로 하는 가상 공연 생성 시스템.
  15. 제14항에 있어서, 상기 서버 제어부는, 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤의 개수가 미리 정해진 개수 이상일 때, 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤에 근거하여 상기 대상 타임 슬롯의 3차원 스켈레톤을 추정하는 것을 특징으로 하는 가상 공연 생성 시스템.
  16. 제9항에 있어서, 상기 가상 공연 생성 서버는 상기 제2 동적 정보에 근거하여 상기 3차원 모델의 형태를 변화시키는 것을 특징으로 하는 가상 공연 생성 시스템.
PCT/KR2022/018605 2022-06-13 2022-11-23 가상 공연 생성 방법 및 가상 공연 생성 시스템 Ceased WO2023243785A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220071245A KR102483905B1 (ko) 2022-06-13 2022-06-13 가상 공연 생성 방법 및 가상 공연 생성 시스템
KR10-2022-0071245 2022-06-13

Publications (1)

Publication Number Publication Date
WO2023243785A1 true WO2023243785A1 (ko) 2023-12-21

Family

ID=84924461

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018605 Ceased WO2023243785A1 (ko) 2022-06-13 2022-11-23 가상 공연 생성 방법 및 가상 공연 생성 시스템

Country Status (2)

Country Link
KR (1) KR102483905B1 (ko)
WO (1) WO2023243785A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139297A1 (en) * 2017-11-07 2019-05-09 Microsoft Technology Licensing, Llc 3d skeletonization using truncated epipolar lines
KR20200016126A (ko) * 2018-08-06 2020-02-14 주식회사 포리버 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법
US20210019507A1 (en) * 2019-07-19 2021-01-21 Sri International Centimeter human skeleton pose estimation
WO2021099778A1 (en) * 2019-11-19 2021-05-27 Move Ai Ltd Real-time system for generating 4d spatio-temporal model of a real world environment
US20210390748A1 (en) * 2020-06-12 2021-12-16 Baidu Usa Llc Personalized speech-to-video with three-dimensional (3d) skeleton regularization and expressive body poses

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150105069A (ko) 2014-03-07 2015-09-16 장순철 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139297A1 (en) * 2017-11-07 2019-05-09 Microsoft Technology Licensing, Llc 3d skeletonization using truncated epipolar lines
KR20200016126A (ko) * 2018-08-06 2020-02-14 주식회사 포리버 증강 현실용 스켈레톤 매핑에 의한 모션 표현 방법
US20210019507A1 (en) * 2019-07-19 2021-01-21 Sri International Centimeter human skeleton pose estimation
WO2021099778A1 (en) * 2019-11-19 2021-05-27 Move Ai Ltd Real-time system for generating 4d spatio-temporal model of a real world environment
US20210390748A1 (en) * 2020-06-12 2021-12-16 Baidu Usa Llc Personalized speech-to-video with three-dimensional (3d) skeleton regularization and expressive body poses

Also Published As

Publication number Publication date
KR102483905B1 (ko) 2023-01-03

Similar Documents

Publication Publication Date Title
WO2018174535A1 (en) System and method for depth map
US10122998B2 (en) Real time sensor and method for synchronizing real time sensor data streams
WO2013015549A2 (ko) 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
WO2016107230A1 (zh) 一种3d场景中重现物体的系统和方法
WO2021241804A1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
WO2019143174A1 (ko) 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
WO2021256640A1 (ko) 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2018110978A1 (ko) 영상합성 시스템 및 영상합성방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2026049425A1 (ko) 단일 소실점 인식 기반의 카메라 칼리브레이션 방법
WO2012002601A1 (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
WO2011078430A1 (ko) 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
KR102483905B1 (ko) 가상 공연 생성 방법 및 가상 공연 생성 시스템
CN116866522B (zh) 一种远程监控方法
WO2023224169A1 (ko) 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2021015348A1 (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공을 위한 카메라 트래킹 방법 및 이를 이용한 시스템
WO2017204598A1 (ko) 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
WO2019103192A1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
WO2012169693A1 (ko) 영상처리방법 및 영상처리장치
JP2887272B2 (ja) 立体画像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946990

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22946990

Country of ref document: EP

Kind code of ref document: A1