WO2023075125A1 - 확장현실을 기반으로 하는 컨텐츠 제작 시스템 - Google Patents

확장현실을 기반으로 하는 컨텐츠 제작 시스템 Download PDF

Info

Publication number
WO2023075125A1
WO2023075125A1 PCT/KR2022/013258 KR2022013258W WO2023075125A1 WO 2023075125 A1 WO2023075125 A1 WO 2023075125A1 KR 2022013258 W KR2022013258 W KR 2022013258W WO 2023075125 A1 WO2023075125 A1 WO 2023075125A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
unit
video
wall
camera
Prior art date
Application number
PCT/KR2022/013258
Other languages
English (en)
French (fr)
Inventor
이승호
조성호
Original Assignee
주식회사 스페이스엘비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스페이스엘비스 filed Critical 주식회사 스페이스엘비스
Publication of WO2023075125A1 publication Critical patent/WO2023075125A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a content production system based on augmented reality. More specifically, it relates to an augmented reality-based content production system for producing augmented-reality-based content in an augmented reality-based studio.
  • the display and smartphone are interlinked to display the customer's desired wallpaper, and the customer takes a picture toward the background and takes a picture at the tourist spot where the customer is actually displayed on the display. Similar tourist destinations can be provided as you do.
  • An object of the present invention is to provide an augmented reality-based content production system for producing augmented-reality-based content in an augmented reality-based studio.
  • a content production system based on augmented reality includes a bottom portion in which an object including a person or object is located and a space in which content can be progressed is provided;
  • At least one wall part including a display on the side of the bottom part and outputting an image or video to the display;
  • a database in which a video to be output to a display configured in the wall unit is pre-stored, and a content video captured by the camera is stored;
  • control server capable of controlling and managing the floor, wall, camera, and database and including a tracking unit for tracking the location of the object in real time;
  • the control server includes a coordinate setting unit for setting coordinates of fixed positions of the floor, wall, and camera;
  • an angle application unit that calculates an angle of an image or video being output from the wall unit based on the coordinates calculated by the coordinate calculation unit, applies the calculated value, and transmits the calculated value to the wall unit;
  • the motion sensing unit is installed near the wall portion and the floor portion and senses motion and motion of the object; including,
  • Movement of the object and motion information sensed by the motion sensing unit may be transmitted to the control server.
  • the tracking unit controls movement or movement of the object appearing in the content video based on the content video captured by the camera.
  • a vector calculation unit that tracks and calculates a vector value for the movement or movement of the tracked object; can include
  • the vector value calculated by the vector calculation unit is transmitted to the angle application unit and the video or image previously output to the wall unit The angle can be changed in real time.
  • control server may include: a bottom region extraction unit extracting a region corresponding to the bottom portion from a video content captured by the camera; including,
  • the control server may apply the area extracted from the floor area extraction unit to an image or video previously output on the wall unit, extract the applied area, and synthesize the content video.
  • control server transmits a content video synthesized with respect to the area extracted by the bottom area extraction unit to an external platform, or Contents provider for transmitting to the outside through real-time streaming; can include
  • tracking is performed in real time on an object producing content inside a studio, and the display position and angle of an image or video being output on a display is determined according to the position of the object and the angle and distance of the camera. can be changed in real time. That is, an image or video displayed on a display can be output at an optimized angle in real time according to the positions of the camera and the object.
  • an augmented reality-based content video can be produced by integrating an image output to the wall unit and an image synthesized on the floor unit.
  • FIG. 1 is an exemplary view showing the overall configuration of a content production system based on augmented reality according to an embodiment of the present invention.
  • Figure 2 is a block diagram showing the components of the control server of the content creation system based on the augmented reality according to an embodiment of the present invention.
  • a bottom portion provided with a space where an object including a person or object is located to progress content
  • At least one wall part including a display on the side of the bottom part and outputting an image or video to the display;
  • a database in which a video to be output to a display configured in the wall unit is pre-stored, and a content video captured by the camera is stored;
  • control server capable of controlling and managing the floor, wall, camera, and database and including a tracking unit for tracking the location of the object in real time;
  • the control server includes a coordinate setting unit for setting coordinates of fixed positions of the floor, wall, and camera;
  • an angle application unit that calculates an angle of an image or video being output from the wall unit based on the coordinates calculated by the coordinate calculation unit, applies the calculated value, and transmits the calculated value to the wall unit; Including, content production system based on the augmented reality.
  • a content production system based on augmented reality may include a studio 10 , a camera 20 , and a control server 30 .
  • the studio 10 is a place where an object including a person or thing is located and a space in which content can be progressed is provided, and a bottom part 12 where an object can be located and one side of the bottom part 12 is configured. It may be configured to include the wall portion 11.
  • the bottom part 12 is similar to a chroma key so that a space for the object to proceed with the content is provided and another image or video can be synthesized in the area corresponding to the bottom part 12 to the content video taken by the camera in the future. It may be provided, or it may be provided in a single color suitable for synthesis.
  • At least one wall portion 11 is configured on one side of the bottom portion 12, and in the present invention, two bottom portions 12 are configured vertically from the bottom portion 12, so that images or videos can be output. It can be configured as a display.
  • an object in the studio 10, an object can proceed with content in a space secured through the wall portion 11 and the floor portion 12, and display images or videos necessary for the content through the wall portion 11 to display the content.
  • the quality of production can be improved.
  • content produced in the studio 10 may be photographed through the camera 20 and the recorded video may be stored in the database 38 .
  • the database 38 is built into the control server 30, stores images or videos to be output to the display installed on the wall unit 11, and additionally stores content videos taken through the camera 20. function can be performed.
  • the control server 30 is a server that controls and manages the studio 10, the camera 20, and the database 38, and in the future, a transmission module (not shown) for transmitting content videos to the outside is built in to transmit completed content videos. It can be streamed live or published on a separate platform.
  • This control server 30 may be configured to include a tracking unit 31.
  • the tracking unit 31 performs a function of tracking the location of an object located inside the studio 10 in real time, and tracking methods can be largely divided into two types.
  • the motion sensing unit 13 is installed inside the studio 10 (or near the wall and floor) to detect the motion of an object in real time, and to detect the motion of the object based on the detected motion and motion information. You can track in real time.
  • the above method may be used when a content video is posted on a separate platform, but is not limited thereto.
  • the tracking unit 31 may track the object in real time based on the vector value calculated through the vector calculator 32 .
  • the vector calculation unit 32 tracks the motion and movement of objects appearing in the content video based on the content video captured by the camera 20, and calculates a vector value for the movement or movement of the tracked object. function can be performed.
  • the vector value calculated by the vector calculation unit 32 is transmitted to the angle application unit 35 so that the angle of a video or image previously output to the wall unit 11 can be changed in real time.
  • the above method may be used when streaming content video in real time, but is not limited thereto.
  • the location coordinates of the object can be calculated through the coordinate calculation unit 34, and the floor portion 12 and the wall portion 11 ) and fixed position coordinates of the camera 20 may be set through the coordinate setting unit 33.
  • an angle application unit that calculates the angle of the image or video being output in the wall unit 11 based on the coordinates calculated by the coordinate calculation unit 34, applies the calculated value, and transmits the calculated value to the wall unit 11. (35) may be further included.
  • the wall unit 11 When the angle calculated by the angle application unit 35 is transmitted to the wall unit 11, the wall unit 11 outputs an image or video at the angle calculated by the angle application unit 35 to the camera 20.
  • the degree of completeness of the content can be improved.
  • control server 30 may further include a bottom region extraction unit 36 that extracts a region corresponding to the bottom portion 12 from the content video captured by the camera 20 .
  • the floor area extractor 36 extracts an area corresponding to the floor 12 from the content video taken by the camera 20, and additionally selects an image or video to be output on the display installed on the wall 11. And, by applying the area extracted from the bottom area extraction unit 36 to the selected image or video, the applied area can be separately extracted. Thereafter, the area corresponding to the bottom part 12 is synthesized from the content video taken by the camera 20 to the extracted area (image or video previously output on the wall part) to convert the content video into an extended reality (XR) based content. You can make it into a video.
  • XR extended reality
  • the content video completed in the above method can be transmitted to an external platform through the content providing unit 37 or externally transmitted through real-time streaming.
  • tracking is performed in real time for an object producing content inside the studio, and the display position and display position of the image or video being output on the display according to the position of the object and the angle and distance of the camera.
  • the angle can be changed in real time. That is, an image or video displayed on a display can be output at an optimized angle in real time according to the positions of the camera and the object.
  • an augmented reality-based content video can be produced by integrating an image output to the wall unit and an image synthesized on the floor unit.
  • Expanded reality-based content videos can be produced to conduct real-time live commerce broadcasting based on expanded reality, and videos can be posted on the platform and used for advertising purposes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Processing Or Creating Images (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)

Abstract

본 발명의 일실시 예에 따르면, 사람 또는 사물을 포함하는 객체가 위치하여 컨텐츠를 진행할 수 있는 공간이 마련되는 바닥부와, 상기 바닥부의 측면에 디스플레이를 포함하여 구성되며, 상기 디스플레이에 이미지 또는 동영상을 출력하는 하나 이상의 벽체부와, 상기 바닥부 및 벽체부에서 컨텐츠를 진행하는 객체를 촬영하는 카메라와, 상기 벽체부에 구성된 디스플레이에 출력할 동영상이 기 저장되고, 상기 카메라에서 촬영된 컨텐츠 동영상을 저장하는 데이터베이스와, 상기 바닥부, 벽체부, 카메라 및 데이터베이스를 제어관리가 가능하고, 상기 객체의 위치를 실시간으로 트래킹하는 트래킹부를 포함하는 제어서버를 포함한다.

Description

확장현실을 기반으로 하는 컨텐츠 제작 시스템
본 발명은 확장현실을 기반으로 하는 컨텐츠 제작 시스템에 관한 것이다. 더욱 상세하게는 확장현실 기반의 스튜디오에서 확장현실 기반의 컨텐츠를 제작하기 위한 확장현실을 기반으로 하는 컨텐츠 제작 시스템에 관한 것이다.
2019년 말 내지 2020년 초에 발병한 코로나-19로 인해 대다수의 사람들이 해외 또는 국내 관광을 가지 못하는 상황이 지속되고 있으며, 이에 따른 관광업계 수입이 코로나-19 발생 전과 비교하여 반 이상이 매출하락으로 이어지고 있다, 관광업계와 연계되어 있는 이송수단 및 숙박업 또한 지속적인 매출하락으로 일부 업계에서는 폐업이 가속화되고 있는 시점이며, 하락하고 있는 매출을 보안하기 위해 이송수단업계에서는 고객에게 포토존을 제공하고 있다.
또한, 고객에게 더욱 실감나는 포토존을 제공하기 위해 디스플레이 및 스마트폰을 상호 연동하여 고객이 원하는 배경화면을 표시하고, 고객이 배경화면을 향해 사진을 촬영하여 실제로 고객이 디스플레이에 표시되는 관광지에서 사진 촬영하는 것처럼 유사관광지를 제공할 수 있다.
그러나, 스마트폰 및 디스플레이 간의 거리 및 스마트폰에서 촬영하는 위치에 따라 촬영되는 이미지의 일부가 현실감을 하락시켜 스마트폰에서 촬영한 이미지가 무용지물이 되는 경우가 종종 있다.
본 발명의 목적은 확장현실 기반의 스튜디오에서 확장현실 기반의 컨텐츠를 제작하기 위한 확장현실을 기반으로 하는 컨텐츠 제작 시스템을 제공하는 데 있다.
상기 과제를 해결하기 위하여,
본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템은 사람 또는 사물을 포함하는 객체가 위치하여 컨텐츠를 진행할 수 있는 공간이 마련되는 바닥부;
상기 바닥부의 측면에 디스플레이를 포함하여 구성되며, 상기 디스플레이에 이미지 또는 동영상을 출력하는 하나 이상의 벽체부;
상기 바닥부 및 벽체부에서 컨텐츠를 진행하는 객체를 촬영하는 카메라;
상기 벽체부에 구성된 디스플레이에 출력할 동영상이 기 저장되고, 상기 카메라에서 촬영된 컨텐츠 동영상을 저장하는 데이터베이스;
상기 바닥부, 벽체부, 카메라 및 데이터베이스를 제어관리가 가능하고, 상기 객체의 위치를 실시간으로 트래킹하는 트래킹부를 포함하는 제어서버; 를 포함하고,
상기 제어서버는 상기 바닥부, 벽체부 및 카메라의 고정위치 좌표를 설정하는 좌표설정부;
상기 객체의 위치좌표를 산출하는 좌표산출부; 및
상기 좌표산출부에서 산출된 좌표를 기초로하여 상기 벽체부에서 출력중인 이미지 또는 동영상의 각도를 산출하고, 산출된 값을 적용하여 상기 벽체부에 전송하는 각도적용부; 를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템에 있어서, 상기 벽체부 및 바닥부의 인근에 설치되며, 상기 객체의 움직임 및 모션을 센싱하는 모션센싱부; 를 포함하고,
상기 모션센싱부에서 센싱한 상기 객체의 움직임 및 모션 정보를 상기 제어서버에 전송할 수 있다.
또한, 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템에 있어서, 상기 트래킹부는, 상기 카메라에서 촬영한 컨텐츠 동영상을 기초로하여 상기 컨텐츠 동영상에서 등장하는 상기 객체의 움직임 또는 이동을 추적하고, 추적한 객체의 이동 또는 움직임에 대한 벡터값을 산출하는 벡터산출부; 를 포함할 수 있다.
또한, 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템에 있어서, 상기 벡터산출부에서 산출된 벡터값을 상기 각도적용부에 전송하여 상기 벽체부에 기 출력하는 동영상 또는 이미지의 각도를 실시간으로 변경할 수 있다.
또한, 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템에 있어서, 상기 제어서버는, 상기 카메라에서 촬영한 컨텐츠 동영상에서 상기 바닥부에 해당하는 영역을 추출하는 바닥영역추출부; 를 포함하고,
상기 제어서버는 상기 벽체부에 기 출력된 이미지 또는 동영상에 상기 바닥영역추출부에서 추출한 영역을 적용하고, 적용된 영역을 추출하여 상기 컨텐츠 동영상에 합성할 수 있다.
또한, 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템에 있어서, 상기 제어서버는, 상기 바닥영역추출부에서 추출한 영역에 대하여 합성을 진행한 컨텐츠 동영상을 외부 플랫폼에 전송하거나, 실시간 스트리밍을 통해 외부로 송출하는 컨텐츠제공부; 를 포함할 수 있다.
본 발명의 일실시 예에 따르면, 스튜디오 내부에서 컨텐츠를 제작하는 객체에 대하여 실시간으로 트래킹을 실시하여, 객체의 위치와 카메라의 각도 및 거리에 따라 디스플레이에서 출력중인 이미지 또는 동영상의 표시위치와 각도를 실시간으로 변경할 수 있다. 즉, 카메라와 객체의 위치에 따라 디스플레이에 표시되는 이미지 또는 동영상을 실시간으로 최적화된 각도로 출력할 수 있다.
또한, 본 발명의 일실시 예에 따르면, 벽체부에 출력되는 영상과, 바닥부에 합성하는 영상을 일체화시켜 확장현실 기반의 컨텐츠 동영상을 제작할 수 있다.
도 1은 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템을 전체구성을 나타내 보인 예시도.
도 2는 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템의 제어서버의 구성요소를 나타내 보인 블록도.
사람 또는 사물을 포함하는 객체가 위치하여 컨텐츠를 진행할 수 있는 공간이 마련되는 바닥부;
상기 바닥부의 측면에 디스플레이를 포함하여 구성되며, 상기 디스플레이에 이미지 또는 동영상을 출력하는 하나 이상의 벽체부;
상기 바닥부 및 벽체부에서 컨텐츠를 진행하는 객체를 촬영하는 카메라;
상기 벽체부에 구성된 디스플레이에 출력할 동영상이 기 저장되고, 상기 카메라에서 촬영된 컨텐츠 동영상을 저장하는 데이터베이스;
상기 바닥부, 벽체부, 카메라 및 데이터베이스를 제어관리가 가능하고, 상기 객체의 위치를 실시간으로 트래킹하는 트래킹부를 포함하는 제어서버; 를 포함하고,
상기 제어서버는 상기 바닥부, 벽체부 및 카메라의 고정위치 좌표를 설정하는 좌표설정부;
상기 객체의 위치좌표를 산출하는 좌표산출부; 및
상기 좌표산출부에서 산출된 좌표를 기초로하여 상기 벽체부에서 출력중인 이미지 또는 동영상의 각도를 산출하고, 산출된 값을 적용하여 상기 벽체부에 전송하는 각도적용부; 를 포함하는, 확장현실을 기반으로 하는 컨텐츠 제작 시스템.
도 1에 도시된 바와 같이, 본 발명의 일실시 예에 따른 확장현실을 기반으로 하는 컨텐츠 제작 시스템은 스튜디오(10), 카메라(20), 제어서버(30)를 포함하여 구성될 수 있다.
스튜디오(10)는 사람 또는 사물을 포함하는 객체가 위치하여 컨텐츠를 진행할 수 있는 공간이 마련된 장소이며, 객체가 위치할 수 있는 바닥부(12)와, 바닥부(12)의 일 측에 구성되는 벽체부(11)를 포함하여 구성될 수 있다.
바닥부(12)는 객체가 컨텐츠를 진행할 공간이 마련되고, 향후 카메라를 통해 촬영된 컨텐츠 동영상에 바닥부(12)에 해당하는 영역에 또 다른 이미지나 동영상을 합성할 수 있도록 크로마키와 유사하게 구비되거나, 합성하기 좋은 단색으로 구비될 수 있다.
벽체부(11)는 바닥부(12)의 일 측에 하나 이상 구성되고, 본 발명에서는 2개의 바닥부(12)가 바닥부(12)로부터 수직되게 구성되며, 이미지 또는 동영상이 출력될 수 있도록 디스플레이로 구성될 수 있다.
즉, 스튜디오(10)는 벽체부(11) 및 바닥부(12)를 통해 확보된 공간내에서 객체가 컨텐츠를 진행할 수 있으며, 벽체부(11)를 통해 컨텐츠에 필요한 이미지 또는 동영상을 표시하여 컨텐츠 제작의 완성도를 높일 수 있다.
또한, 스튜디오(10)에서 제작된 컨텐츠는 카메라(20)를 통해 촬영하고, 촬영된 동영상은 데이터베이스(38)에 저장될 수 있다.
여기서, 데이터베이스(38)는 제어서버(30)에 내장되고, 벽체부(11)에 설치된 디스플레이에 출력할 이미지 또는 동영상이 기 저장되고, 추가로 카메라(20)를 통해 촬영된 컨텐츠 동영상을 저장하는 기능을 수행할 수 있다.
제어서버(30)는 스튜디오(10), 카메라(20) 및 데이터베이스(38)를 제어관리하는 서버이며, 향후, 컨텐츠 동영상을 외부로 송출하는 송출모듈(미도시)이 내장되어 완성된 컨텐츠 동영상을 실시간으로 스트리밍하거나 별도의 플랫폼에 게재할 수 있다.
이러한 제어서버(30)는 트래킹부(31)를 포함하여 구성될 수 있다.
트래킹부(31)는 스튜디오(10) 내부에 위치한 객체의 위치를 실시간으로 트래킹을 실시하는 기능을 수행하며, 트래킹하는 방법은 크게 2가지로 나뉠 수 있다.
첫째로, 스튜디오(10)의 내부(또는 벽체부 및 바닥부의 인근)에 모션센싱부(13)를 설치하여 객체의 움직임을 실시간으로 감지하고, 감지한 객체의 움직임 및 모션 정보를 기반으로 객체를 실시간으로 트래킹 할 수 있다. 상기한 방법은 컨텐츠 동영상을 별도의 플랫폼에 게재할 때 사용될 수 있으나, 이에 한정하는 것은 아니다.
두번째로, 트래킹부(31)는 벡터산출부(32)를 통해 산출한 벡터값을 기초로하여 객체를 실시간으로 트래킹할 수 있다. 구체적으로, 벡터산출부(32)는 카메라(20)에서 촬영한 컨텐츠 동영상을 기초로하여 컨텐츠 동영상에 등장하는 객체의 움직임 및 이동을 추적하고, 추적한 객체의 이동 또는 움직임에 대한 벡터값을 산출하는 기능을 수행할 수 있다.
벡터산출부(32)에서 산출된 벡터값은 각도적용부(35)에 전송하여 벽체부(11)에 기 출력하는 동영상 또는 이미지에 대한 각도를 실시간으로 변경할 수 있다. 상기한 방법은 컨텐츠 동영상을 실시간으로 스트리밍할 때 사용될 수 있으나, 이에 한정하는 것은 아니다.
상기한 두가지 방법중 적어도 어느 하나의 방법을 선택하여 취득한 객체에 대한 위치정보를 기반으로 객체의 위치좌표를 좌표산출부(34)를 통해 산출할 수 있고, 바닥부(12), 벽체부(11) 및 카메라(20)의 고정위치좌표를 좌표설정부(33)를 통해 설정할 수 있다.
이후, 좌표산출부(34)에서 산출된 좌표를 기초로하여 벽체부(11)에서 출력중인 이미지 또는 동영상의 각도를 산출하고, 산출된 값을 적용하여 벽체부(11)에 전송하는 각도적용부(35)를 더 포함하여 구성될 수 있다.
각도적용부(35)에서 산출된 각도를 기초로하여 벽체부(11)에 전송하면 벽체부(11)는 각도적용부(35)에서 산출된 각도로 이미지 또는 동영상을 출력하여 카메라(20)로 컨텐츠를 촬영할 때 컨텐츠 완성도를 높일 수 있다.
한편 제어서버(30)는 카메라(20)에서 촬영한 컨텐츠 동영상에서 바닥부(12)에 해당하는 영역을 추출하는 바닥영역추출부(36)를 더 포함할 수 있다.
바닥영역추출부(36)는 카메라(20)에서 촬영한 컨텐츠 동영상에서 바닥부(12)에 해당하는 영역을 추출하고, 추가로 벽체부(11)에 설치된 디스플레이에 기 출력되는 이미지 또는 동영상을 선정하고, 선정된 이미지 또는 동영상에 바닥영역추출부(36)에서 추출한 영역을 적용하여 적용된 영역을 별도로 추출할 수 있다. 이후, 추출된 영역(벽체부에 기 출력되는 이미지 또는 동영상)에 카메라(20)에서 촬영한 컨텐츠 동영상에서 바닥부(12)에 해당하는 영역을 합성하여 컨텐츠 동영상을 확장현실(XR)기반의 컨텐츠 동영상으로 제작할 수 있다.
상기한 방법으로 완성된 컨텐츠 동영상은 컨텐츠제공부(37)를 통해 외부 플랫폼에 전송하거나 실시간 스트리밍으로 외부 송출할 수 있다.
즉, 본 발명의 일실시 예에 따르면, 스튜디오 내부에서 컨텐츠를 제작하는 객체에 대하여 실시간으로 트래킹을 실시하여, 객체의 위치와 카메라의 각도 및 거리에 따라 디스플레이에서 출력중인 이미지 또는 동영상의 표시위치와 각도를 실시간으로 변경할 수 있다. 즉, 카메라와 객체의 위치에 따라 디스플레이에 표시되는 이미지 또는 동영상을 실시간으로 최적화된 각도로 출력할 수 있다.
또한, 본 발명의 일실시 예에 따르면, 벽체부에 출력되는 영상과, 바닥부에 합성하는 영상을 일체화시켜 확장현실 기반의 컨텐츠 동영상을 제작할 수 있다.
확장현실 기반의 컨텐츠 동영상을 제작하여 확장현실 기반의 실시간 라이브커머스 방송을 진행할 수 있고, 동영상을 플랫폼에 게재하여 광고 목적으로 사용될 수 있다.
10 - 스튜디오 11 - 벽체부
12 - 바닥부 13 - 모션센싱부
20 - 카메라 30 - 제어서버
31 - 트래킹부 32 - 벡터산출부
33 - 좌표설정부 34 - 좌표산출부
35 - 각도적용부 36 - 바닥영역추출부
37 - 컨텐츠제공부

Claims (6)

  1. 사람 또는 사물을 포함하는 객체가 위치하여 컨텐츠를 진행할 수 있는 공간이 마련되는 바닥부;
    상기 바닥부의 측면에 디스플레이를 포함하여 구성되며, 상기 디스플레이에 이미지 또는 동영상을 출력하는 하나 이상의 벽체부;
    상기 바닥부 및 벽체부에서 컨텐츠를 진행하는 객체를 촬영하는 카메라;
    상기 벽체부에 구성된 디스플레이에 출력할 동영상이 기 저장되고, 상기 카메라에서 촬영된 컨텐츠 동영상을 저장하는 데이터베이스;
    상기 바닥부, 벽체부, 카메라 및 데이터베이스를 제어관리가 가능하고, 상기 객체의 위치를 실시간으로 트래킹하는 트래킹부를 포함하는 제어서버; 를 포함하고,
    상기 제어서버는 상기 바닥부, 벽체부 및 카메라의 고정위치 좌표를 설정하는 좌표설정부;
    상기 객체의 위치좌표를 산출하는 좌표산출부; 및
    상기 좌표산출부에서 산출된 좌표를 기초로하여 상기 벽체부에서 출력중인 이미지 또는 동영상의 각도를 산출하고, 산출된 값을 적용하여 상기 벽체부에 전송하는 각도적용부; 를 포함하는, 확장현실을 기반으로 하는 컨텐츠 제작 시스템.
  2. 청구항 1에 있어서,
    상기 벽체부 및 바닥부의 인근에 설치되며, 상기 객체의 움직임 및 모션을 센싱하는 모션센싱부; 를 포함하고,
    상기 모션센싱부에서 센싱한 상기 객체의 움직임 및 모션 정보를 상기 제어서버에 전송하는, 확장현실을 기반으로 하는 컨텐츠 제작 시스템.
  3. 청구항 1에 있어서,
    상기 트래킹부는, 상기 카메라에서 촬영한 컨텐츠 동영상을 기초로하여 상기 컨텐츠 동영상에서 등장하는 상기 객체의 움직임 또는 이동을 추적하고, 추적한 객체의 이동 또는 움직임에 대한 벡터값을 산출하는 벡터산출부; 를 포함하는, 확장현실을 기반으로 하는 컨텐츠 제작 시스템.
  4. 청구항 3에 있어서,
    상기 벡터산출부에서 산출된 벡터값을 상기 각도적용부에 전송하여 상기 벽체부에 기 출력하는 동영상 또는 이미지의 각도를 실시간으로 변경하는, 확장현실을 기반으로 하는 컨텐츠 제작 시스템.
  5. 청구항 1에 있어서,
    상기 제어서버는, 상기 카메라에서 촬영한 컨텐츠 동영상에서 상기 바닥부에 해당하는 영역을 추출하는 바닥영역추출부; 를 포함하고,
    상기 제어서버는 상기 벽체부에 기 출력된 이미지 또는 동영상에 상기 바닥영역추출부에서 추출한 영역을 적용하고, 적용된 영역을 추출하여 상기 컨텐츠 동영상에 합성하는, 확장현실을 기반으로 하는 컨텐츠 제작 시스템.
  6. 청구항 1에 있어서,
    상기 제어서버는, 상기 바닥영역추출부에서 추출한 영역에 대하여 합성을 진행한 컨텐츠 동영상을 외부 플랫폼에 전송하거나, 실시간 스트리밍을 통해 외부로 송출하는 컨텐츠제공부; 를 포함하는, 확장현실을 기반으로 하는 컨텐츠 제작 시스템.
PCT/KR2022/013258 2021-10-28 2022-09-05 확장현실을 기반으로 하는 컨텐츠 제작 시스템 WO2023075125A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210145781A KR102514934B1 (ko) 2021-10-28 2021-10-28 확장현실을 기반으로 하는 컨텐츠 제작 시스템
KR10-2021-0145781 2021-10-28

Publications (1)

Publication Number Publication Date
WO2023075125A1 true WO2023075125A1 (ko) 2023-05-04

Family

ID=85800066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013258 WO2023075125A1 (ko) 2021-10-28 2022-09-05 확장현실을 기반으로 하는 컨텐츠 제작 시스템

Country Status (4)

Country Link
US (1) US20230140760A1 (ko)
KR (1) KR102514934B1 (ko)
CN (1) CN116051787A (ko)
WO (1) WO2023075125A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086371A (ja) * 1999-09-17 2001-03-30 Fuji Photo Film Co Ltd ビデオ画像の製作方法及び装置
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR101678994B1 (ko) * 2015-06-09 2016-11-24 주식회사 미디어프론트 인터렉티브 미디어 월 시스템 및 인터렉티브 미디어 월 시스템에서의 3차원 객체 디스플레이 방법
KR20180070431A (ko) * 2016-12-16 2018-06-26 경희대학교 산학협력단 증강 현실 구현 관리 방법 및 시스템
KR20190033705A (ko) * 2017-09-22 2019-04-01 고유철 증강현실 포토존 제공 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101497964B1 (ko) 2012-07-11 2015-03-03 전자부품연구원 관광 관련 ＩｏＴ 서비스 방법
US20200371472A1 (en) * 2019-05-21 2020-11-26 Light Field Lab, Inc. Light Field Display System Based Commercial System

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086371A (ja) * 1999-09-17 2001-03-30 Fuji Photo Film Co Ltd ビデオ画像の製作方法及び装置
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR101678994B1 (ko) * 2015-06-09 2016-11-24 주식회사 미디어프론트 인터렉티브 미디어 월 시스템 및 인터렉티브 미디어 월 시스템에서의 3차원 객체 디스플레이 방법
KR20180070431A (ko) * 2016-12-16 2018-06-26 경희대학교 산학협력단 증강 현실 구현 관리 방법 및 시스템
KR20190033705A (ko) * 2017-09-22 2019-04-01 고유철 증강현실 포토존 제공 시스템

Also Published As

Publication number Publication date
CN116051787A (zh) 2023-05-02
KR102514934B1 (ko) 2023-03-29
US20230140760A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
US5870136A (en) Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
US9384588B2 (en) Video playing method and system based on augmented reality technology and mobile terminal
WO2012144732A1 (en) Apparatus and method for compositing image in a portable terminal
EP1107052A1 (en) Method and apparatus for image projection, and apparatus for controlling image projection
TW201142745A (en) Information processing apparatus, information processing system, and information processing method
CN108307183A (zh) 虚拟场景可视化方法及系统
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2017160057A1 (ko) 스크린 골프 시스템, 스크린 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2023075125A1 (ko) 확장현실을 기반으로 하는 컨텐츠 제작 시스템
WO2017213335A1 (ko) 실시간 영상 합성 방법
JP2004348303A (ja) 物体検出装置及びプログラム
US20010031082A1 (en) Apparatus and method for image display
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制系统及方法
JP2023100805A (ja) 撮像装置、撮像方法及び撮像プログラム
CN115174941B (zh) 基于多路视频流的实时运动表现分析及实时数据共享方法
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
JP3331752B2 (ja) 画像合成装置
WO2020004695A1 (ko) Gpu를 이용해 모션캡쳐 영상의 실시간 병렬 렌더링을 수행하는 시스템
Teng et al. Mixed reality application: A framework of markerless assembly guidance system with HoloLens Glass
WO2022196941A1 (ko) 영상 강화 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
WO2023224169A1 (ko) 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법
US6377626B1 (en) Motion data preparation system
JPH0650983A (ja) 被検体部位の動作解析装置
WO2022145655A1 (ko) 증강현실시스템
JP7064456B2 (ja) 共有システム及び遠隔側装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887329

Country of ref document: EP

Kind code of ref document: A1