KR20230050854A - 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법 - Google Patents

3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법 Download PDF

Info

Publication number
KR20230050854A
KR20230050854A KR1020210134145A KR20210134145A KR20230050854A KR 20230050854 A KR20230050854 A KR 20230050854A KR 1020210134145 A KR1020210134145 A KR 1020210134145A KR 20210134145 A KR20210134145 A KR 20210134145A KR 20230050854 A KR20230050854 A KR 20230050854A
Authority
KR
South Korea
Prior art keywords
model
image
unit
content
light source
Prior art date
Application number
KR1020210134145A
Other languages
English (en)
Inventor
권재현
Original Assignee
(주) 올림플래닛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 올림플래닛 filed Critical (주) 올림플래닛
Priority to KR1020210134145A priority Critical patent/KR20230050854A/ko
Publication of KR20230050854A publication Critical patent/KR20230050854A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법에 관한 것으로, 상세하게는 입력된 2d(dimensional) 영상에 대한 배경 학습을 통해 상기 2d 영상에서 사용자 객체를 인식하고 추출하는 사용자 객체 추출부; 상기 추출된 사용자 객체에서 증강현실(ar) 표시를 인식하고, 상기 ar 표시 위에 컨텐츠 공급자 서버로부터 수신한 ar 가상 객체를 오버랩하여 ar 구현된 사용자 객체를 생성하는 증강현실 구현부; 상기 ar 구현된 사용자 객체와 상기 컨텐츠 공급자 서버로부터 수신한 2.5d 배경 모델, 상기 2.5d 배경 모델 생성을 위해 사용된 영상을 기초로 추정된 광원 및 3d 객체 모델을 시간에 따라 프레임별로 렌더링하는 영상 합성부; 및 상기 영상 합성부 내의 ar 구현된 사용자 객체, 2.5d 배경 모델, 3d 객체 모델, 추정 광원의 위치를 시간에 따라 조절하는 객체 조정부;를 포함하는 것을 특징으로 하는 클라이언트 서버의 3d 가상 스튜디오 플랫폼 장치에 관한 것이다.

Description

3Ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법{Personal-oriented multimedia studio platform for 3D contents authoring}
본 발명은 개인형 멀티미디어 스튜디오 플랫폼 장치에 관한 것으로, 보다 상세하게는, 퍼스널 컴퓨터(PC)나 가입자 단말장치(STB:Set-top Box)를 통해 다양한 형태의 멀티미디어를 개개인이 손쉽게 저작/편집/전송할 수 있도록 하는 개인형 멀티미디어 스튜디오 플랫폼 장치에 관한 것이다.
최근 인터넷의 새로운 경향은 소수의 공급자 중심의 멀티미디어 환경으로부터 다수 창작자 중심의 미디어 환경으로 넘어가 프로슈머(prosumer)의 중요성이 점차로 강조되고 있다.
종래의 멀티미디어 스튜디오 장치는 일반적으로 2D 기반의 동영상에 대한 저작/편집을 제공하거나 고가의 기계 장치를 이용한 3D 객체 생성과 사용자 객체 추출/편집 기능을 제공하고 있다.
또한, 이들이 제공하는 저작 장치를 이용하기 위해서는 고도의 전문성이 요구되고 고가의 소프트웨어/하드웨어 장치를 구매하는 등의 어려움이 있기 때문에, 일반 사용자들이 이들 장치를 이용하여 손쉽게 사용자 영상을 제작하는 것은 거의 불가능하다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 제안된 것으로, 3D(Dimensional) 영상의 획득을 위해 고가의 기계장치를 사용하는 대신에 일반 범용 카메라를 이용하여 3D 객체를 저작할 수 있는 기능을 제공하고, 증강 현실 구현과 자동적인 사용자 움직임 추출 기능을 통해 사용자와의 강건한 상호 작용성을 제공하고, 사용자가 원격지 서버로부터 컨텐츠 객체를 전송받을 수 있게 함으로써 다수의 사용자가 멀티미디어 객체를 공유할 수 있는 개인형 멀티미디어 컨텐츠를 생성할 수 있는 방법을 제공하는 것이다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 클라이언트 서버의 3D 가상 스튜디오 플랫폼 장치는, 입력된 2D 영상에 대한 배경 학습을 통해 상기 2D 영상에서 사용자 객체를 인식하고 추출하는 사용자 객체 추출부; 상기 추출된 사용자 객체에서 증강현실(AR) 표시를 인식하고, 상기 AR 표시 위에 컨텐츠 공급자 서버로부터 수신한 AR 가상 객체를 오버랩하여 AR 구현된 사용자 객체를 생성하는 증강현실 구현부; 상기 AR 구현된 사용자 객체와 상기 컨텐츠 공급자 서버로부터 수신한 2.5D 배경 모델, 상기 2.5D 배경 모델 생성을 위해 사용된 영상을 기초로 추정된 광원 및 3D 객체 모델을 시간에 따라 프레임별로 렌더링하는 영상 합성부; 및 상기 영상 합성부 내의 AR 구현된 사용자 객체, 2.5D 배경 모델, 3D 객체 모델, 추정 광원의 위치를 시간에 따라 조절하는 객체 조정부;를 포함할 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치는, 다시점 카메라로부터 획득된 다수의 다시점 영상들을 정합하고, 상기 정합에 의해 생성된 3D 점 데이터로부터 2.5D 배경 모델을 생성하는 2.5D 배경 모델 생성부; 2D 카메라로부터 획득된 다수의 2D 영상을 3D 영상으로 재구성하고, 상기 재구성된 3D 영상에 텍스쳐 매핑을 수행하여 3D 객체 모델을 생성하는 3D 객체 모델 생성부; 클라이언트가 증강현실을 구현할 수 있도록 가상 객체를 생성하는 3D 가상 객체 생성기; 및 상기 3D 점 데이터와 텍스쳐 값을 이용하여 상기 다시점 카메라가 획득한 다수의 영상들의 광원을 추정하는 광원 추정기;를 포함할 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 개인형 멀티미디어 스튜디오 플랫폼 장치는, 사용자에 의한 멀티미디어 컨텐츠 제작에 이용되는 2.5D 배경 모델, 3D 객체 모델, 상기 2.5D 배경 모델 생성을 위해 사용된 영상을 기초로 추정된 광원 및 사용자 인터렉티브 환경을 제공하는 증강현실(AR) 구현 모델의 컨텐츠 객체를 생성하는 3D 컨텐츠 저작 플랫폼; 및 상기 컨텐츠 객체를 입력받고, 2D 카메라로부터 획득한 2D 사용자 영상의 실시간 분할 영상과 상기 컨텐츠 객체의 합성을 통해 개인형 멀티미디어 컨텐츠를 생성 및 편집하는 3D 가상 스튜디오 플랫폼;을 포함할 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 3D 가상 스튜디오 플랫폼 장치의 개인형 멀티미디어 컨텐츠 생성 방법은, 입력된 2D 영상에 대한 배경 학습을 통해 상기 2D 영상에서 사용자 객체를 인식하고 추출하는 단계; 상기 추출된 사용자 객체에서 증강현실(AR) 표시를 인식하고, 상기 AR 표시 위에 컨텐츠 공급자 서버로부터 수신한 AR 가상 객체를 오버랩하여 AR 구현된 사용자 객체를 생성하는 단계; 상기 AR 구현된 사용자 객체와, 상기 컨텐츠 공급자 서버로부터 수신한 2.5D 배경 모델, 3D 객체 모델, 상기 2.5D 배경 모델 생성을 위해 사용된 영상을 기초로 추정된 광원의 위치를 시간에 따라 조절하는 객체 조정 단계; 및 상기 AR 구현된 사용자 객체와 2.5D 배경 모델, 추정 광원 및 3D 객체 모델을 상기 조절된 시간에 따라 프레임별로 렌더링하는 단계;를 포함할 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 3D 컨텐츠 저작 플랫폼 장치의 멀티미디어 컨텐츠 객체 생성 방법은, 다시점 카메라로부터 획득된 다수의 다시점 영상들을 정합하고, 상기 정합에 의해 생성된 3D 점 데이터로부터 2.5D 배경 모델을 생성하는 단계; 상기 3D 점 데이터와 텍스쳐 값을 이용하여 상기 다시점 카메라가 획득한 다수의 영상들의 광원을 추정하는 단계; 2D 카메라로부터 획득된 다수의 2D 영상을 3D 영상으로 재구성하고, 상기 재구성된 3D 영상에 텍스쳐 매핑을 수행하여 3D 객체 모델을 생성하는 단계; 및 클라이언트가 증강현실을 구현할 수 있도록 가상 객체를 생성하는 단계;를 포함할 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명은 3D 가상 스튜디오 플랫폼 장치의 개인형 멀티미디어 컨텐츠 생성 방법 및 3D 컨텐츠 저작 플랫폼 장치의 멀티미디어 컨텐츠 객체 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명은 기존의 MAYA, 3DMAX, Adobe Premiere와 같은 사용이 어렵고 고가인 멀티미디어 소프트웨어 생산/편집 장비를 굳이 사용하지 않고도 간단한 UCC(User Created Content: 사용자 제작 컨텐츠) 제작 환경을 만들어줌으로써 최근 멀티미디어 생산의 주체로 떠오르는 프로슈머(prosumer)를 양산하고, 이로부터 개인 미디어 산업을 더욱 발전시킴과 동시에 SOHO(Small Office Home Office) 등의 다양한 응용 분야에 적용토록 할 수 있다.
또한 본 발명은 서버/클라이언트 모델로 구현되기 때문에, 컨텐츠 공급자의 서버에 주요 컨텐츠 객체를 저장하여 다수의 사용자와 공유함으로써 컨텐츠 공급자가 직접 컨텐츠 객체를 제작하지 않아도 많은 사람들이 동시에 다양한 컨텐츠 객체를 사용하거나 소비할 수 있다.
뿐만 아니라 2D 멀티미디어 객체뿐 아니라 2.5D/3D 객체를 생성하고 창작할 수 있고, 자동적인 움직임 객체의 추출과 증강 현실 구현 등을 통한 사용자 상호작용을 가능하게 하고, 간편한 광원 추정을 통한 렌더링 기법을 적용하여 컨텐츠 창작에 있어 보다 실감 있는 영상을 만들어낼 수 있다.
이로써 본 발명에 의해 사용자는 저렴한 비용으로 다양한 종류의 소프트웨어 기반의 3D 컨텐츠를 이용하거나 생산할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 네트워크 상에서 개인형 멀티미디어 컨텐츠 생성을 위한 개인형 멀티미디어 스튜디오 플랫폼을 도시한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 도 1의 개인형 멀티미디어 스튜디오 플랫폼의 상세 구성을 도시한 블록도이다.
도 3은 도 1의 개인형 멀티미디어 스튜디오 플랫폼의 서버/클라이언트 멀티미디어 전송 플랫폼 간의 데이터 흐름을 도시한 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 3D 컨텐츠 저작 플랫폼의 내부 구성을 개략적으로 도시한 블록도이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 3D 가상 스튜디오 플랫폼의 내부 구성을 개략적으로 도시한 블록도이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 3D 컨텐츠 저작 플랫폼에서의 멀티미디어 컨텐츠 객체 생성 방법을 설명하는 흐름도이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 3D 가상 스튜디오 플랫폼에서의 멀티미디어 컨텐츠 생성 및 편집 방법을 설명하는 흐름도이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 네트워크 상에서 개인형 멀티미디어 컨텐츠 생성을 위한 개인형 멀티미디어 스튜디오 플랫폼을 도시한 도면이다.
도 1을 참조하면, 본 발명의 개인형 멀티미디어 스튜디오 플랫폼은 멀티미디어 컨텐츠 생성 장치로서, 3D 컨텐츠 저작 플랫폼(10), 3D 가상 스튜디오 플랫폼(20) 및 멀티미디어 전송 플랫폼(30, 40)을 포함한다.
3D 컨텐츠 저작 플랫폼(10)은 컨텐츠 공급자(Contents Provider) 서버에 구비되는, 멀티미디어 컨텐츠 객체 생성 장치이다. 3D 컨텐츠 저작 플랫폼(10)은 2D/3D 카메라 등을 통해 2.5D(Dimensional) 배경 모델, 추정 광원, 3D 객체 모델, 증강현실(AR) 구현 모델 등의 사용자에 의한 멀티미디어 컨텐츠 제작에 이용되는 컨텐츠 객체를 생성한다. 3D 컨텐츠 저작 플랫폼(10)은 생성된 컨텐츠 객체를 멀티미디어 전송 플랫폼(30)을 통해 3D 가상 스튜디오 플랫폼(20)으로 전송한다.
3D 가상 스튜디오 플랫폼(20)은 클라이언트(Client)의 댁내 장치(CPE: customer premises equipment)인 컴퓨터(PC)나 가입자 단말장치(STB:Set-top Box)에 구비되는, 멀티미디 컨텐츠 생성 및 편집 장치이다. 3D 가상 스튜디오 플랫폼(20)은 3D 컨텐츠 저작 플랫폼(10)으로부터 멀티미디어 전송 플랫폼(40)을 통해 수신한 2.5D 배경 모델, 3D 객체 모델, 추정 광원, AR 구현 모델을 2D 사용자 객체 추출 영상과 함께 합성하여 개인화된 멀티미디어 컨텐츠를 동적으로 생성하고 편집한다.
클라이언트 단말에는 3D 가상 스튜디오 플랫폼에서 3D 컨텐츠 저작 플랫폼으로의 원격 접속을 위한 가상 터미널 장치와 3D 가상 스튜디오 플랫폼에서 3D 컨텐츠 저작 플랫폼으로의 원격 접속을 통한 데이터 전송이 가능하도록 하기 위한 소프트웨어 프로그램이 탑재된다.
멀티미디어 전송 플랫폼(30)은 3D 가상 스튜디오 플랫폼(20)으로부터 데이터 전송 요구를 받은 경우, 3D 컨텐츠 저작 플랫폼(10) 단의 2.5D 배경 모델/3D 객체 모델/AR 가상 객체 모델/추정 광원 등을 전송해 주는 데이터 송신부이다.
멀티미디어 전송 플랫폼(40)은 3D 가상 스튜디오 플랫폼(20) 내의 영상 합성을 위해 사용될 2.5D 배경 모델/3D 객체 모델/AR 가상 객체 모델/추정 광원점 등을 3D 컨텐츠 저작 플랫폼(10)으로부터 수신하기 위한 데이터 수신부이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 도 1의 개인형 멀티미디어 스튜디오 플랫폼의 상세 구성을 도시한 블록도이고, 도 3은 도 1의 개인형 멀티미디어 스튜디오 플랫폼의 서버/클라이언트 멀티미디어 전송 플랫폼 간의 데이터 흐름을 도시한 도면이다.
도 2를 참조하면, 개인형 멀티미디어 스튜디오 플랫폼은 3D 컨텐츠 저작 플랫폼(100), 3D 가상 스튜디오 플랫폼(200) 및 서버/클라이언트 멀티미디어 전송 플랫폼(300, 400)을 포함한다.
3D 컨텐츠 저작 플랫폼(100)은 2.5D 배경 모델과 3D 객체 모델, 광원 추정점, 사용자 인터렉티브 환경을 제공하는 증강현실(AR: Augmented Reality) 구현 모델을 생성한다. 이를 위해, 3D 컨텐츠 저작 플랫폼(100)은 2.5D 배경 모델 생성기, 3D 객체 모델 생성기, 3D 가상 객체 생성기, 광원 추정기로 구성된 컨텐츠 객체 생성부를 주요 구성부로 포함한다.
3D 가상 스튜디오 플랫폼(200)은 상기 3D 컨텐츠 저작 플랫폼(100)으로부터 저작된 멀티미디어 컨텐츠 객체를 수신하고, 2D 카메라를 통해 입력된 사용자의 실시간 분할 영상과 수신한 멀티미디어 컨텐츠 객체의 합성을 통해 새로운 멀티미디어 컨텐츠를 실시간 생성하고 편집한다. 이를 위해, 3D 가상 스튜디오 플랫폼(200)은 사용자 객체 추출부, 증강 현실 구현부, 영상 합성부, 객체 조정부로 구성된 멀티미디어 컨텐츠 생성부를 주요 구성부로 포함한다.
3D 컨텐츠 저작 플랫폼(100) 및 3D 가상 스튜디오 플랫폼(200)의 내부 구성에 대한 상세한 설명은 후술하겠다.
서버/클라이언트 멀티미디어 전송 플랫폼(300, 400)은 3D 컨텐츠 저작 플랫폼(100)과 3D 가상 스튜디오 플랫폼(200)과의 객체 연동을 위한 서버 및 클라이언트 멀티미디어 데이터 전송 플랫폼이다.
도 3을 참조하면. 서버 멀티미디어 데이터 전송 플랫폼(300)은 3D 가상 스튜디오 플랫폼(200)으로부터 데이터 전송 요구를 받을 시에 3D 컨텐츠 저작 플랫폼(100) 단의 2.5D 배경 모델/3D 객체 모델/AR 가상 객체 모델/추정 광원점 등을 3D 가상 스튜디오 플랫폼(200)으로 전송해 주는 데이터 송신부를 포함한다.
클라이언트 멀티미디어 전송 플랫폼(400)은 3D 컨텐츠 저작 플랫폼(100)으로 데이터 전송 요청을 전달하고, 3D 가상 스튜디오 플랫폼(200) 내의 영상 합성을 위해 사용될 2.5D 배경 모델/3D 객체 모델/AR 가상 객체 모델/추정 광원 등을 3D 컨텐츠 저작 플랫폼(100)으로부터 수신하는 데이터 수신부를 포함한다.
도 4는 본 발명의 바람직한 일 실시예에 따른 3D 컨텐츠 저작 플랫폼의 내부 구성을 개략적으로 도시한 블록도이다.
도 4를 참조하면, 본 발명의 3D 컨텐츠 저작 플랫폼(100)은 주변 장치(120), 컨텐츠 객체 생성부(140) 및 저장 장치(160)를 포함한다.
주변 장치(120)는 장치/환경 설정부(121) 및 카메라 보정부(125)를 포함한다.
장치/환경 설정부(121)는 영상/음성 입력 장치의 설정 및 영상/음성 입력 장치의 각종 파라미터 값을 설정한다.
카메라 보정부(125)는 다시점 카메라 또는 2D 카메라에서 획득된 영상으로부터 카메라의 내외부 파라미터를 추정한다. 즉, 카메라 보정부(125)는 상이한 시각에 획득한 다시점 영상 간 또는 2D 영상 간의 특징점을 추출하고, 상기 추출된 특징점의 매칭을 통해 연속된 영상들 간의 호모그래피를 최적화하고, 상기 연속된 영상들에 대한 카메라 자세를 추정한다.
컨텐츠 객체 생성부(140)는 2.5D 배경 모델 생성기(141), 광원 추정기(143), 3D 객체 모델 생성기(145) 및 3D 가상 객체 생성기(147)을 포함한다.
2.5D 배경 모델 생성기(141)는 상기 카메라 보정부(125)로부터 입력된 카메라 파라미터를 이용하여 다시점 카메라, 예를 들어, 세시점 카메라(Triclops camera)로부터 취득된 다수의 영상들을 정합 및 병합하고, 정합된 3D 점 데이터로부터 2.5D 배경 모델을 생성한다. 즉, 2.5D 배경 모델 생성기(141)는 상이한 시각에 획득된 다시점 영상들로부터 복원한 영상의 데이터와 상기 다시점 카메라의 자세 추정 데이터를 투영에 의한 정합 및 병합을 수행하고, 상기 정합 및 병합에 의해 생성된 3D 점 데이터로부터 메쉬 모델(mesh model)을 생성하여 2.5D 배경 모델을 생성한다.
3D 객체 모델 생성기(143)는 상기 카메라 보정부(125)로부터 입력된 카메라 파라미터를 이용하여 2D 카메라로부터 취득된 다수의 영상들을 3D로 재구성하고, 이를 텍스쳐 매핑시켜 3D 객체를 생성한다. 즉, 3D 객체 모델 생성기(143)는 상이한 시각에 획득된 다수의 영상들로부터 복원한 영상의 데이터와 상기 2D 카메라의 자세 추정 데이터를 3D 영상으로 재구성하고, 상기 재구성된 3D 영상에 텍스쳐 매핑을 수행하여 3D 객체 모델을 생성한다. 상기 영상 복원을 위해 실루엣 기반 영상 복원 기법이 적용될 수 있다.
3D 가상 객체 생성기(145)는 증강 현실(AR) 구현시 보다 재미있는 사용자 상호작용을 위하여 다양한 객체를 생성한다.
광원 추정기(147)는 2.5D 배경 모델 생성기(141)로부터 얻은 3D 점 데이터와 텍스처 값으로부터 3차원 상의 광원 위치를 추적한다. 상기 텍스쳐 값은 상기 다시점 영상들로부터 획득된 컬러 데이터이다.
저장 장치(160)는 부호화부(161) 및 파일 저장부(165)를 포함한다.
부호화부(161)는 컨텐츠 객체 생성부(140)로부터 입력되는 2.5D 배경 모델, 추정 광원, 3D 객체 모델, AR 가상 객체 데이터를 압축한다.
파일 저장부(165)는 부호화부(161)로부터 입력되는 압축 영상을 저장하고, 3D 가상 스튜디오 플랫폼(200)으로부터 데이터 전송 요청이 있는 경우, 데이터 송신부(300)를 통해 해당하는 저장된 압축 영상을 3D 가상 스튜디오 플랫폼(200)으로 전송한다.
도 5는 본 발명의 바람직한 일 실시예에 따른 3D 가상 스튜디오 플랫폼의 내부 구성을 개략적으로 도시한 블록도이다.
도 5를 참조하면, 본 발명의 3D 가상 스튜디오 플랫폼(200)은 주변 장치(220), 멀티미디어 컨텐츠 생성부(240) 및 저장 장치(260)를 포함한다.
주변 장치(220)는 장치/환경 설정부(221), 복호화부(223) 및 파일 입력부(225)를 포함한다.
장치/환경 설정부(221)는 영상/음성 입력 장치의 설정 및 영상/음성 입력 장치의 각종 파라미터 값을 설정한다.
복호화부(223)는 원격지의 3D 컨텐츠 저작 플랫폼(100)으로부터 전송받은 압축 파일을 복호화하여 파일 입력부(2255)로 전송한다.
파일 입력부(225)는 원격지의 3D 컨텐츠 저작 플랫폼(100)에 2.5D 배경, 3D 객체 모델, 추정 광원, AR 가상 객체 등의 전송을 요구하고, 복호화부(223)를 통해 복호화된 이들 객체를 입력받아 멀티미디어 컨텐츠 생성부(240)로 전송한다.
멀티미디어 컨텐츠 생성부(240)는 사용자 객체 추출부(241), 증강 현실 구현부(243), 영상 합성부(245) 및 객체 조정부(247)를 포함한다.
사용자 객체 추출부(241)는 외부로부터 입력받은 2D 영상에 의한 배경 학습을 통해 실시간으로 사용자 객체를 인식하고 분할한다. 사용자 객체 추출부(241)는 2D 입력 영상에 대해 일정 시간 정적 배경을 학습시킨 후, 동적인 상기 사용자 객체를 추출하게 된다.
증강 현실 구현부(243)는 상기 추출된 사용자 객체에서 증강현실(AR) 구현을 위한 AR 표시(marker)를 인식한 후, 상기 파일 입력부(223)로부터 수신한 AR 가상 객체를 AR 표시 위에 위치시킴으로써 실사 영상에 가상의 객체를 덧씌워(overlap) 실제감 있는 가상 컨텐츠를 생성한다. 본 발명에서는 이렇게 생성된 컨텐츠를 AR 구현된 사용자 객체라 하고, 이는 카메라로부터 입력받은 2D 영상에 사용자 객체와 AR 표시가 동시에 나타나는 경우 AR 표시 위에 가상의 객체를 삽입하여 실사 사용자 영상과 AR 표시 위의 가상 영상이 겹쳐져 생성되는 하나의 멀티미디어 객체를 의미한다.
영상 합성부(245)는 증강 현실 구현부(243)로부터 받은 AR 구현된 사용자 객체와 파일 입력부(223)로부터 받은 2.5D 배경, 3D 객체 모델, 추정 광원을 가상 스튜디오 작업 공간에 모아 이를 시간에 따라 각 프레임별로 렌더링한다.
객체 조정부(247)는 영상 합성부(245)로부터 수신한 각 멀티미디어 컨텐츠 객체와 광원 위치를 작업 공간상에 배치하고 시간에 따라 그 위치를 조절하는 시간 스케줄링(time scheduling) 및 위치 선택(position selection) 기능을 수행한다. 즉, 객체 조정부(247)는 영상 합성부(245)로부터 수신한 각 멀티미디어 컨텐츠 객체와 광원 위치를 작업 공간상에 배치하고, 각각의 객체별로 현재 시점 t0에서의 특정 위치, 다음 시점 t1, t2,···, tn에서의 특정 위치를 각각 지정하고, 선형/비선형의 다양한 방법을 통해 각 시점 사이의 객체 위치를 지정한다.
저장 장치(260)는 부호화부(261) 및 파일 저장부(265)를 포함한다.
부호화부(261)는 영상 합성부(245)로부터 렌더링된 각 프레임을 부호화하여 하나의 압축된 2D 영상 스트림으로 생성한다.
파일 저장부(265)는 부호화부(261)로부터 수신한 영상을 저장한다.
도 6은 본 발명의 바람직한 일 실시예에 따른 3D 컨텐츠 저작 플랫폼에서의 멀티미디어 컨텐츠 객체 생성 방법을 설명하는 흐름도이다.
도 6을 참조하면, 먼저 장치/환경 설정부는 영상/음성의 입력 장치 등 3D 컨텐츠 저작 서버의 장치와 환경의 설정 값을 입력받아 장치와 환경 설정을 수행한다(S610).
컨텐츠 객체 생성부는 상기 설정 결과에 따라 획득된 다수의 영상에 대해 3D 컨텐츠 획득을 위한 컨텐츠 객체 모델을 생성한다. 객체 모델 생성 과정을 보다 구체적으로 살펴보면 다음과 같다.
3D 컨텐츠 저작 플랫폼은 AR 객체 생성 여부를 판단하고(S631), AR 객체를 생성하고자 하는 경우, 가상 객체 생성기는 가상 객체를 생성한다(S632).
다음으로 설정된 결과에 따라 다시점 카메라 및 범용 카메라(2D 카메라)로부터 다수의 영상을 획득한다(S633). 이때 카메라 보정부는 2.5D 배경 모델 생성을 위해 서로 다른 두 시점(time)에서 획득된 다시점 영상 간의 특징점의 추출과 매칭을 통해, 연속된 영상 간의 호모그래피(homography)를 최적화하고 연속된 영상들 사이의 카메라 자세를 추정하는 알고리즘을 수행한다. 또한 카메라 보정부는 3D 객체 모델 생성을 위해, 서로 다른 두 시점에서 획득된 영상 간의 특징점의 추출과 매칭을 통해, 연속된 영상 간의 호모그래피(homography)를 최적화하고 연속된 영상들 사이의 카메라 자세를 추정하는 알고리즘을 수행한다.
3D 컨텐츠 저작 플랫폼은 3D 모델 생성 여부를 판단하고(S634), 3D 모델을 생성하고자 하는 경우, 3D 객체 모델 생성기를 통해 3D 객체 모델을 생성한다(S635). 3D 객체 모델 생성기는 범용 카메라를 통해 획득된 다수의 영상에 대한 실루엣 기반 영상 복원 기법과 카메라 보정 알고리즘을 이용하여 획득된 데이터를 3D 모델로 재구성하고, 이에 텍스쳐를 매핑하여 3D 객체 모델을 생성한다.
2.5D 배경 모델을 생성하고자 하는 경우, 2.5D 배경 모델 생성기를 통해 2.5D 배경 모델을 생성하고, 광원을 추정한다(S636). 2.5D 배경 모델 생성기는 다시점 카메라를 통해 획득된 배경에 대한 컬러 및 깊이 데이터와 카메라 보정 알고리즘을 이용하여 획득된 데이터를 투영 기반 정합 및 병합하고, 정합 및 병합된 3D 데이터로부터 메쉬 모델을 생성하고, 이를 이용하여 2.5D 배경 모델을 생성한다. 또한, 광원 추정기는 이때의 3D 데이터 점과 컬러 데이터로부터 광원을 추정한다.
부호화부는 3D 객체 모델 생성기를 통해 생성된 3D 데이터와 컬러 정보 및 2.5D 배경 모델 생성기를 통해 생성된 3D 데이터와 컬러 정보, 광원 정보를MPEG4(Motion Picture Experts Group 4)의 압축 모델, MPEG2-TS(MPEG2-Transmission Streams)의 전송 모델 등으로 압축한 후(SS650), 파일 저장부는 압축된 파일을 저장한다(S660).
도 7은 본 발명의 바람직한 일 실시예에 따른 3D 가상 스튜디오 플랫폼에서의 멀티미디어 컨텐츠 생성 및 편집 방법을 설명하는 흐름도이다.
도 7을 참조하면, 먼저 3D 가상 스튜디오 플랫폼은 사용자와의 상호작용에 의한 컨텐츠 생성 여부를 판단한다(S710).
판단 결과 사용자와의 상호작용이 요청되는 경우, 장치/환경 설정부는 사용자로부터 영상/음성의 입력 장치, 영상 밝기, 음성 크기 등 3D 가상 스튜디오 플랫폼의 장치와 환경 설정 값을 입력받아 장치와 환경 설정을 수행한다(S720).
사용자 객체 추출부는 사용자의 카메라 입력을 통해 일정 시간 정적 배경을 학습한 후, 동적인 사용자 객체를 추출한다(S730). 사용자는 추출된 사용자 객체를 가상 스튜디오 작업 공간에 삽입한다.
AR 구현부는 추출된 실사 사용자 객체가 AR 가상 객체 삽입을 위한 AR 표시를 들고 있거나 몸에 부착하고 있을 시, 사용자가 이 AR 표시 위에 3D 컨텐츠 저작 플랫폼으로부터 전송받은 가상의 AR 객체를 삽입하면, 실제감 있는 가상 컨텐츠를 생성한다(S740). 이때 사용자는 3D 컨텐츠 저작 플랫폼으로부터 전송받은 2.5D 배경, 3D 객체 모델, 추정 광원도 가상 스튜디오 작업 공간에 불러온다.
객체 조정부는 각 객체의 초기 위치를 조정하고, 객체별로 시간에 따른 위치 스케쥴링한다(S750).
영상 합성부는 가상 스튜디오 작업 공간상의 각 객체를 시간에 따라 각 프레임별로 렌더링 작업을 수행한다(S760).
부호화부는 렌더링된 각 프레임을 하나의 압축된 2D 영상 스트림으로 만들고(S770), 파일 저장부는 영상 파일을 저장한다(S780).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
지금까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다.
그러므로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할

Claims (15)

  1. 입력된 2D(Dimensional) 영상에 대한 배경 학습을 통해 상기 2D 영상에서 사용자 객체를 인식하고 추출하는 사용자 객체 추출부;
    상기 추출된 사용자 객체에서 증강현실(AR) 표시를 인식하고, 상기 AR 표시 위에 컨텐츠 공급자 서버로부터 수신한 AR 가상 객체를 오버랩하여 AR 구현된 사용자 객체를 생성하는 증강현실 구현부;
    상기 AR 구현된 사용자 객체와 상기 컨텐츠 공급자 서버로부터 수신한 2.5D 배경 모델, 상기 2.5D 배경 모델 생성을 위해 사용된 영상을 기초로 추정된 광원 및 3D 객체 모델을 시간에 따라 프레임별로 렌더링하는 영상 합성부; 및
    상기 영상 합성부 내의 AR 구현된 사용자 객체, 2.5D 배경 모델, 3D 객체 모델, 추정 광원의 위치를 시간에 따라 조절하는 객체 조정부;를 포함하는 것을 특징으로 하는 클라이언트 서버의 3D 가상 스튜디오 플랫폼 장치.
  2. 제1항에 있어서,
    상기 사용자 객체 추출부는, 상기 2D 입력 영상에 대해 일정 시간 동안 정적 배경을 학습시킨 후, 동적인 사용자 객체를 추출하는 것을 특징으로 하는 클라이언트 서버의 3D 가상 스튜디오 플랫폼 장치.
  3. 제1항에 있어서,
    상기 객체 조정부는, 상기 영상 합성부 내의 AR 구현된 사용자 객체, 2.5D 배경 모델, 3D 객체 모델, 추정 광원의 초기 위치를 지정하고, 객체별로 시간에 따른 특정 시점의 위치를 조절하는 것을 특징으로 하는 클라이언트 서버의 3D 가상 스튜디오 플랫폼 장치.
  4. 제3항에 있어서,
    상기 객체 조정부는, 상기 특정 시점의 각 객체의 위치는 선형 또는 비선형 방법을 통해 지정되는 것을 특징으로 하는 클라이언트 서버의 3D 가상 스튜디오 플랫폼 장치.
  5. 제1항에 있어서,
    외부 영상 및 음성 입력 장치와 상기 영상 및 음성 입력 장치의 파라미터 값을 설정하는 장치/환경 설정부;
    상기 컨텐츠 공급자 서버로부터 수신한 AR 가상 객체, 2.5D 배경 모델, 추정 광원 및 3D 객체 모델을 복호화하는 복호화부; 및
    상기 복호화된 AR 가상 객체를 상기 증강현실 구현부로 출력하고, 상기 복호화된 2.5D 배경 모델, 추정 광원 및 3D 객체 모델을 상기 영상 합성부로 출력하는 파일 입력부;를 더 포함하는 것을 특징으로 하는 클라이언트 서버의 3D 가상 스튜디오 플랫폼 장치.
  6. 제1항에 있어서,
    상기 시간에 따라 렌더링되는 각 프레임을 부호화하여 2D 영상 스트림을 생성하는 부호화부; 및
    상기 생성된 2D 영상 스트림을 저장하는 파일 저장부;를 더 포함하는 것을 특징으로 하는 클라이언트 서버의 3D 가상 스튜디오 플랫폼 장치.
  7. 다시점 카메라로부터 획득된 다수의 다시점 영상들을 정합하고, 상기 정합에 의해 생성된 3D 점 데이터로부터 2.5D 배경 모델을 생성하는 2.5D 배경 모델 생성부;
    2D 카메라로부터 획득된 다수의 2D 영상을 3D 영상으로 재구성하고, 상기 재구성된 3D 영상에 텍스쳐 매핑을 수행하여 3D 객체 모델을 생성하는 3D 객체 모델 생성부;
    클라이언트가 증강현실을 구현할 수 있도록 가상 객체를 생성하는 3D 가상 객체 생성기; 및
    상기 3D 점 데이터와 텍스쳐 값을 이용하여 상기 다시점 카메라가 획득한 다수의 영상들의 광원을 추정하는 광원 추정기;를 포함하는 것을 특징으로 하는 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치.
  8. 제7항에 있어서,
    상기 2.5D 배경 모델 생성부는, 상이한 시각에 획득된 다시점 영상들로부터 복원한 영상의 데이터와 상기 다시점 영상들로부터 추정된 상기 다시점 카메라의 자세 추정 데이터를 투영에 의한 정합 및 병합을 수행하고, 상기 정합 및 병합에 의해 생성된 3D 점 데이터로부터 메쉬 모델을 생성하여 2.5D 배경 모델을 생성하는 것을 특징으로 하는 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치.
  9. 제7항에 있어서,
    상기 광원 추정에 이용되는 텍스쳐 값은 상기 다시점 영상들로부터 획득된 컬러 데이터를 포함하는 것을 특징으로 하는 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치.
  10. 제7항에 있어서,
    상기 3D 객체 모델 생성부는, 상이한 시각에 획득된 다수의 영상들로부터 복원한 영상의 데이터와 상기 다수의 영상들로부터 추정된 상기 2D 카메라의 자세 추정 데이터를 3D 영상으로 재구성하고, 상기 재구성된 3D 영상에 텍스쳐 매핑을 수행하여 3D 객체 모델을 생성하는 것을 특징으로 하는 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치.
  11. 제7항에 있어서,
    영상 및 음성 입력 장치와 상기 영상 및 음성 입력 장치의 파라미터를 설정하는 장치/환경 설정부; 및
    상기 다시점 영상 및 2D 영상으로부터 상기 다시점 카메라 및 상기 2D 카메라의 내외부 파라미터를 추정하는 카메라 보정부;를 더 포함하는 것을 특징으로 하는 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치.
  12. 제11항에 있어서,
    상기 카메라 보정부는, 상이한 시각에 획득한 상기 다시점 영상 간 또는 상기 2D 영상 간의 특징점을 추출하고, 상기 추출된 특징점의 매칭을 통해 연속된 영상들 간의 호모그래피를 최적화하고, 상기 연속된 영상들에 대한 카메라 자세를 추정하는 것을 특징으로 하는 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치.
  13. 제7항에 있어서,
    상기 2.5D 배경 모델, 추정 광원, 3D 객체 모델 및 AR 가상 객체 데이터를 부호화하여 압축 영상을 생성하는 부호화부; 및
    상기 압축 영상을 저장하는 파일 저장부;를 더 포함하는 것을 특징으로 하는 컨텐츠 공급자 서버의 3D 컨텐츠 저작 플랫폼 장치.
  14. 사용자에 의한 멀티미디어 컨텐츠 제작에 이용되는 2.5D 배경 모델, 3D 객체 모델, 상기 2.5D 배경 모델 생성을 위해 사용된 영상을 기초로 추정된 광원 및 사용자 인터렉티브 환경을 제공하는 증강현실(AR) 구현 모델의 컨텐츠 객체를 생성하는 3D 컨텐츠 저작 플랫폼; 및
    상기 컨텐츠 객체를 입력받고, 2D 카메라로부터 획득한 2D 사용자 영상의 실시간 분할 영상과 상기 컨텐츠 객체의 합성을 통해 개인형 멀티미디어 컨텐츠를 생성 및 편집하는 3D 가상 스튜디오 플랫폼;을 포함하는 것을 특징으로 하는 개인형 멀티미디어 스튜디오 플랫폼 장치.
  15. 입력된 2D(Dimensional) 영상에 대한 배경 학습을 통해 상기 2D 영상에서 사용자 객체를 인식하고 추출하는 단계;
    상기 추출된 사용자 객체에서 증강현실(AR) 표시를 인식하고, 상기 AR 표시 위에 컨텐츠 공급자 서버로부터 수신한 AR 가상 객체를 오버랩하여 AR 구현된 사용자 객체를 생성하는 단계;
    상기 AR 구현된 사용자 객체와, 상기 컨텐츠 공급자 서버로부터 수신한 2.5D 배경 모델, 3D 객체 모델, 상기 2.5D 배경 모델 생성을 위해 사용된 영상을 기초로 추정된 광원의 위치를 시간에 따라 조절하는 객체 조정 단계; 및
    상기 AR 구현된 사용자 객체와 2.5D 배경 모델, 추정 광원 및 3D 객체 모델을 상기 조절된 시간에 따라 프레임별로 렌더링하는 단계;를 포함하는 것을 특징으로 하는 3D 가상 스튜디오 플랫폼 장치의 개인형 멀티미디어 컨텐츠 생성 방법.
KR1020210134145A 2021-10-08 2021-10-08 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법 KR20230050854A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210134145A KR20230050854A (ko) 2021-10-08 2021-10-08 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210134145A KR20230050854A (ko) 2021-10-08 2021-10-08 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230050854A true KR20230050854A (ko) 2023-04-17

Family

ID=86128221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210134145A KR20230050854A (ko) 2021-10-08 2021-10-08 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230050854A (ko)

Similar Documents

Publication Publication Date Title
KR100918392B1 (ko) 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
Azevedo et al. Visual distortions in 360° videos
US11964200B2 (en) Method and apparatus for providing haptic feedback and interactivity based on user haptic space (HapSpace)
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
US8614737B2 (en) System and method for three-dimensional video capture workflow for dynamic rendering
JP6316910B2 (ja) シーン基準のメタデータ捕捉のための基準カード
CN110663068B (zh) 用于渲染全景场景的坐标映射
JP7217226B2 (ja) グローバルな回転における動き補償画像を符号化する方法、デバイス及びストリーム
US20200322586A1 (en) Method for 360 video processing based on multiple viewpoints and apparatus therefor
Schreer et al. Lessons learned during one year of commercial volumetric video production
KR20090065735A (ko) 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
JP2021506175A (ja) 複数のビューポイントに関するメタデータを送受信する方法及び装置
US20190208281A1 (en) User device pan and scan
CN113382275B (zh) 直播数据的生成方法、装置、存储介质及电子设备
KR20230050854A (ko) 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법
US7439976B2 (en) Visual communication signal
KR20130067855A (ko) 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법
EP2098988A1 (en) Method and device for processing a data stream and system comprising such device
Eisert et al. Volumetric video–acquisition, interaction, streaming and rendering
WO2008069474A1 (en) Personal-oriented multimedia studio platform apparatus and method for authorizing 3d content
CN115002470A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
US20200372685A1 (en) Content coding system and method
Cha et al. Client system for realistic broadcasting: A first prototype
US20190313151A1 (en) Streaming-technology based video data processing method and apparatus
KR102133735B1 (ko) 파노라마 크로마키 합성 시스템 및 방법