KR20110028232A - 동적 렌더링을 위한 3ｄ 영상 캡처 워크 플로에 관한 시스템 및 방법 - Google Patents

동적 렌더링을 위한 3ｄ 영상 캡처 워크 플로에 관한 시스템 및 방법 Download PDF

Info

Publication number
KR20110028232A
KR20110028232A KR1020100087878A KR20100087878A KR20110028232A KR 20110028232 A KR20110028232 A KR 20110028232A KR 1020100087878 A KR1020100087878 A KR 1020100087878A KR 20100087878 A KR20100087878 A KR 20100087878A KR 20110028232 A KR20110028232 A KR 20110028232A
Authority
KR
South Korea
Prior art keywords
image data
metadata
relative position
rendering
objects
Prior art date
Application number
KR1020100087878A
Other languages
English (en)
Other versions
KR101231160B1 (ko
Inventor
아누드 로버트
Original Assignee
디즈니엔터프라이지즈,인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디즈니엔터프라이지즈,인크. filed Critical 디즈니엔터프라이지즈,인크.
Publication of KR20110028232A publication Critical patent/KR20110028232A/ko
Application granted granted Critical
Publication of KR101231160B1 publication Critical patent/KR101231160B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동적 렌더링을 위한 3D 영상 캡처 워크 플로에 관한 시스템 및 방법이 제공된다. 본 발명은 복수 객체를 갖는 장면으로부터 2D 영상 데이터를 획득하는 단계, 장면에서 객체를 인식하는 단계, 복수 객체의 상대 위치를 획득하는 단계, 부호화된 2D 영상 데이터를 생성하기 위해서 2D 영상 데이터를 부호화하는 단계, 복수 객체의 상대 위치를 기반으로 하여 상대 위치 메타데이터를 생성하는 단계 및 상대 위치 메타데이터에서 작동을 위해 깊이 요소 메타데이터를 제공하는 단계를 포함하는 3D 영상 데이터를 생성하는 방법이 제공된다. 이러한 방식으로, 현재의 2D 워크 플로는 비용 효과가 높은 방식으로 활용될 수 있으며, 최종 수요자는 특별한 렌더링 환경 또는 개인적인 뷰 선호에 적합하게 하기 위해서 3D 깊이 요소 메타데이터를 조절할 수 있다.

Description

동적 렌더링을 위한 3Ｄ 영상 캡처 워크 플로에 관한 시스템 및 방법 {System And Method For Three-Dimensional Video Capture Workflow For Dynamic Rendering}
본 발명은 일반적으로 영상 캡처(capture)와 프리젠테이션(presentation)에 관한 것이다. 더욱 상세하게는 본 발명은 3D 영상에 관한 영상 캡처 그리고 프리젠테이션과 관련이 있다.
영화 산업, 비디오 게임 산업 및 일반 소비자로부터 3D 영상 프레젠테이션에 대한 관심의 부흥이 일고 있다. 점점 더, 영화 극장 그리고 텔레비전 방송은 소비자에게 향상된 몰입을 제공하기 위해서 3D 프레젠테이션을 제공하고 있다. 동시에, 산업계는 3D 캡처, 처리 및 프레젠테이션 표준이 정착되지 않아서, 결국 각 특정한 어플리케이션에 맞추어진 복합적이고 호환성이 없는 솔루션(Solution)이 되었다. 부가적으로, 3D의 영상 자료는 일반적으로 영화관, 공연 무대, 또는 텔레비전 세트와 같은 구체적인 목표로 하는 렌더링 환경으로 최적화되거나 부호화된다. 그 결과로, 3D 프레젠테이션을 위한 영상 자료를 제작하는 것은 종종 상당한 부가적인 비용 그리고 특정한 애플리케이션 및 구체적이고 근본적인 해법을 위한 3D 포스트-프로덕션 워크 플로(post-production workflows)를 보충하는 작업일정을 수반하게 된다. 더욱이 3D 효과를 사용자가 지정하는 것이 제한되고 현재의 시스템으로써 재생이 불가능하다. 이러한 요소들의 결합은 출시 계획을 늦추고 소비자가 3D 영상의 채택을 느리게 해서, 결과적으로 소비자가 그들 자신의 선호하는 페이스 및 뷰(viewing)로 3D 프레젠테이션 기술을 채택하는 것을 방해하고 있다. 결국, 소비자들이 그들 자신의 장치 및 그들 자신의 경험을 갈수록 더 제어하는 디지털 세계에서, 소비자가 그들의 좋아하는 것으로 3D 효과를 변화시킬 수 있게 하는 3D 해법은 존재하지 않는다.
따라서, 구체적인 최종 애플리케이션에 알맞도록 하는데 있어서의 고유의 제한을 피할 수 있는 3D 영상 캡처 워크 플로(work flow)를 제공함으로써 당해 기술에서의 결점 그리고 결핍을 극복하는 것이 필요하다.
본 발명은 청구항에서 더욱 완전하게 진술되는 바와 같이, 실질적으로 적어도 도면 중에 하나와 관련하여 보여지거나 및/또는 설명되는 것처럼 동적 렌더링을 위한 3D 영상 캡처 워크 플로에 관한 시스템 및 방법이 제공된다.
소비자들이 그들 자신의 장치 및 그들 자신의 경험을 갈수록 더 제어하는 디지털 세계에서, 소비자가 그들의 좋아하는 것으로 3D 효과를 변화시킬 수 있게 한다.
도 1은 동적 렌더링을 위한 3D 영상 캡처 워크 플로에 관한 시스템을 나타내고 있다.
도 2는 본 발명의 하나의 실시 예에 따른 3D 영상 데이터가 동적 렌더링을 위해 생성될 수 있는 단계를 설명하는 순서도를 보여주고 있다.
본 출원은 동적 렌더링을 위한 3D 영상 캡처 워크 플로에 관한 시스템 및 방법에 관한 것이다. 다음의 설명은 본 발명의 구현에 관련하는 구체적인 정보를 포함하고 있다. 본 발명은 본 출원에서 구체적으로 논의되었던 것과 다른 방법으로 구현될 수 있다는 것을 당업자에게 자명할 것이다. 더욱이, 본 발명의 몇 구체적인 상세 설명은 본 발명을 모호하지 않게 하기 위해서 언급되지 않았다. 본 출원에서 설명되지 않은 구체적인 세부사항은 일반적인 당 업자의 지식의 범위 이내에 있다. 본 출원에서의 도면 그리고 그것들에 동반된 상세한 설명은 단지 본 발명의 전형적인 실시 예를 나타낸다. 간결함을 유지하기 위해, 본 발명의 다른 실시 예, 그리고 본 발명의 원칙을 사용하는 실시 예는 본 발명의 출원에서 구체적으로 설명되지 않으며, 본 발명의 도면에 구체적으로 도시되지 않는다.
본 발명의 특징과 이점은 다음의 상세한 설명 그리고 첨부한 도면을 검토한 이후에 통상 당 업자에게 더 손쉽게 명백해질 것이다.
도 1은 본 발명의 실시 예에 따른 동적 렌더링에 대한 3D 영상 캡처 워크 플로에 관한 시스템을 나타내고 있다. 그림 1의 도표(100)는 장면(scene,110), 영상 캡처 시스템(Video Capture System,120), 후 처리 시스템(Post Processing System,130), 미디어 컨테이너(Media Container,150), 렌더링 시스템(Rendering System,160) 및 디스플레이(display,170)를 포함하고 있다. 장면(110)은 객체(115a 및 115b)를 포함하고 있다. 영상 캡처 시스템(120)은 2D 영상 데이터(2D Video Data,125) 그리고 3D 객체 데이터(3D Object Data,126)를 포함하고 있다. 후 처리 시스템(130)은 프로세서(Processor,135) 및 메모리(Memory,140)를 포함하고 있다. 메모리(140)는 부호화된 2D 영상 데이터(Encoded 2D Video Data,145), 객체 상대 위치 메타데이터(Object Relative Positions Metadata,146) 및 3D 깊이 요소 메타데이터(3D Depth Factor Metadata,147)를 포함하고 있다. 렌더링 시스템(160)은 3D 모델링 알고리즘(3D Modeling Algorithm,165)을 포함하고 있다.
장면(110)은 영상 캡처 시스템(120)에 의해 캡처 될 수 있는 3D 세계에서 산출된 필름 세트(Film Set) 또는 컴퓨터와 같은 실제 또는 가상 환경을 포함할 수 있다. 장면(110)은 도 1에서 객체(115a 및 115b)로 도시된 복수의 객체를 포함하고 있는데, 이것은 3D 처리를 위한 영상 캡처 시스템(120)에 의해 인식된다. 예를 들어, 객체(115a 및 115b)는 3D 효과로의 조작이 가능한 실제 또는 가상의 배우, 등장인물, 빌딩, 배경, 투사물, 풍경 및 다른 것들을 포함하고 있다. 2D 영상 데이터(125)를 캡처하는 것 이외에도, 영상 캡처 시스템(120)은 또한 3D 객체 데이터(126)와 같은 객체(115a 및 115b)의 위치를 얻을 수 있다. 예를 들어, 영상 캡처 시스템(120)은 3D 객체 데이터(126)에 대한 부가적인 2D 영상 데이터를 캡처하기 위하여 장면(110)과는 다른 뷰(View)를 갖는 다중 카메라를 사용할 수 있다. 영상 캡처 시스템(120)은 대안으로 녹화 측정을 사용하여 수동으로 입력된 값인 라디오 주파수 식별(FRID) 태그와 같은 위치 추적 시스템 또는 장면이 구별되고 인식 가능한 몇몇 창(pane)으로 표시되는 객체를 갖기 위해 설정되는 것과 같은 장면에서의 창 레퍼런스(reference)를 사용할 수 있다. 만약 장면(110)이 전적으로 컴퓨터에서 생성된다면, 그때 3D 객체 데이터(126)는 장면(110)을 만들기 위해 사용된 렌더링 데이터로부터 직접적으로 회수될 수 있다. 그래서, 수동으로 이든지 자동으로 이든지 사용된 특별한 방법에 상관없이 영상 캡처 시스템(120)은 장면(110) 내에서 객체(115a 및 115b)를 인식할 수 있고 3D 객체 데이터(126)를 생성할 수 있다.
후 처리 시스템(130)은 그때 영상 캡처 시스템(120)으로부터 2D 영상 데이터(125) 및 3D 객체 데이터(126)를 수신한다. 도 1에 도시된 바와 같이, 후 처리 시스템(130)의 프로세서(135)는 그 다음에 메모리(140)에서 부호화된 2D 영상 데이터(145), 객체 상대 위치 메타데이터(146) 및 3D 깊이 요소 메타데이터(147)를 생성할 수 있다. 부호화된 2D 영상 데이터(145)는 예를 들어 영상 압축 코덱을 적용함으로써 2D 영상 데이터(125)를 사용하여 생성될 수 있다. 2D 영상 데이터(125)는 또한, 부호화 이전에, 예를 들어 영상 인공물을 제거하기 위해 또는 부호화 작업이나 3D 작업에 더 적절하게 되도록 하기 위해 후 처리될 수 있다. 객체 상대 위치 메타데이터(146)는 3D 객체 데이터(126)에 의해 도출될 수 있는데, 3D 객체 데이터(126)에 의해 인식된 객체에 대한 상대 위치를 구체적으로 명시한다. 상대 위치는 2D 영상 데이터(125) 이내에서 나타내어지는 X-Y 평면으로부터의 Z치환 또는 디스플레이(170)에 의해 나타내어지는 기하X-Y 평면과 같은 장면(110)에서 레퍼런스 지점에 관련하여 구체적으로 명시될 수 있다. 상대 위치는 또한 고정된 좌표로부터의 벡터와 같은 글로벌 레퍼런스 지점 또는 심지어 장면(110) 이내의 다른 객체에 관련될 수 있다. 더욱이, 객체 상대 위치 메타데이터(146)가 예술적인 결과 또는 기록된 장면보다 다를 수 있는 외관을 달성하기 위해서 편집 그리고 후-생산 처리의 한 부분으로서 조정될 수 있기 때문에, 객체 상대 위치 메타데이터(146)는 반드시 오리지널로 캡처 된 실제 세계의 객체 위치에 일치할 필요가 없다. 예를 들면, 특별한 객체의 깊이는 더 극적인 외관을 제공하기 위해서 조절되거나 또는 과장 될 수 있다.
부가적으로, 깊이 요소 메타데이터(147)는 프로세서(135)에 의해 제공될 수 있는데, 이것은 3D 효과의 사용자 지정 및 스켈링(scaling)이 특별한 목표 환경에 적합하게 하는 것을 허용한다. 예를 들면, 3D 깊이 요소 메타데이터(147)는 포괄적 또는 개별적으로 객체 상대 위치 메타 데이터(146)에 있는 각 상대 위치 값에 3D 깊이 효과가 특정 렌더링 환경에 적절하게끔 크기 조정되도록 허용하는 특별한 스켈링 배율기를 제공한다. 예를 들면, 대규모의 공공 극장 애플리케이션에 있어서, 3D 깊이 요소 메타데이터(147)는 더 극적인 3D 효과를 제공하기 위해서 글로벌 2.0x 스켈링 효과를 구체적으로 명시할 수 있고, 반면에 홈 시어터 애플리케이션에 있어서 3D 깊이 요소 메타데이터(147)는 더 작은 홈 시어터 룸에 더 적당한 효과를 제공하기 위해서 글로벌 0.5x 스켈링 효과를 구체적으로 명시할 수 있으며, 블루-레이(Blu-ray) 애플리케이션에 있어서 3D 깊이 요소 메타데이터(147)는 디폴트 글로벌 1.0x 스켈링 효과를 구체적으로 명시할 수 있는데, 소비자, 기관 사용자 및 다른 블루-레이 사용자가 사용자의 선호를 기반으로 하여 글로벌 또는 개별적 객체에 대한 3D 효과를 조절할 수 있는 것을 허용한다. 3D 깊이 요소 메타데이터(147)는 또한 음의 스켈링 효과를 구체적으로 명시할 수 있는데, 이것은 어떤 특정한 애플리케이션에 바람직하다. 3D 깊이 요소 메타데이터(147)는 또한 장면(110)으로부터의 객체 부분집합의 상대 위치를 변환하는데 이용될 수 있다. 설명에 도움이 되는 실례로서, 만약 장면(110)이 자동차 추적을 묘사했다면, 스켈링 요소 2.0x는 장면에서 특정한 자동차에 적용될 수 있지만 스켈링 요소 1.0x는 장면에서 다른 자동차에 대해 유지할 수 있다.
일단, 프로세서(135)가 메모리(140)에 도시된 컴포넌트를 생성하면, 프로세서(135)는 그 다음에 배분을 위한 미디어 컨테이너(150)의 한 부분으로서 컴포넌트를 패키지 할 수 있다. 미디어 컨테이너(150)는 예를 들어 MPEG-4 또는 MPEG-21 다중 매체 구조 또는 부호화된 2D 영상 데이터(145)와 함께 메타데이터의 삽입을 허용하는 다른 유연한 패키지(pakage) 형식에 따른 패키지로 이루어질 수 있다. 도 1에서 도시한 바와 같이, 이 메타데이터는 객체 상대 위치 메타데이터(146) 및 3D 깊이 요소 메타데이터(147)를 포함할 수 있다. 미디어 컨테이너(150)에는 다중 3D 깊이 요소 메타데이터(147) "프로파일(profiles)"이 있을 수 있는데, 이 상이한 메타데이터 값은 다운스트림(downstream) 렌더링 시스템의 속성에 의존하여 사용될 수 있다. 위의 예를 계속하면, 3D 깊이 요소 메타데이터(147)는 자동차에 관한 다중 스켈링 요소, 즉 각 고려된 다운스트림 렌더링 장치 각각에 대한 스켈링 요소를 포함할 수 있다. 이러한 방식으로, 단일의 미디어 컨테이너(150)는 다중 배분 경로에 사용될 수 있고 3D 효과는 렌더링 될 때 사용하는 렌더링 시스템에 관하여 최적으로 선택된다는 것을 여전히 확신할 수 있다.
모든 3D 정보가 메타데이터로 나누어지기 때문에, 미디어 컨테이너(150)는 간단히 메타데이터를 무시하는 것에 의해 표준 2D 영상 컨테이너와 동일하게 다루어질 수 있다는 것을 유념하여야만 한다. 이러한 방식으로, 미디어 컨테이너(150)는 손쉽게 2D 워크 플로 하부구조로 통합될 수 있는데, 이것은 예를 들어 전문화되고 독점적인 워크 플로 처리 및 장비를 필요로 하는 좌·우 2D 이미지를 생성하는 현재의 3D 워크 플로와는 대조적이다. 미디어 컨테이너(150)는 그 다음에 3D 구비된 텔레비전 방송국, 3D 구비된 영화 극장, 3D 가능한 블루-레이 디스크 및 디지털 다운로드와 같은 다양한 배분 경로를 경유하여 배분될 수 있다. 논의된 바와 같이, 미디어 컨테이너(150)는 3D 정보가 표준 2D 영상 데이터와 분리되도록 구성되었기 때문에, 미디어 컨테이너(150)는 현재의 2D 배분 경로로 또한 손쉽게 통합될 수 있다.
일단, 미디어 컨테이너(150)가 예를 들어 3D 구비된 극장 영사 시스템, 3D 구비된 방송국, 또는 3D 가능한 블루-레이 재생기를 포함하고 있는 렌더링 시스템(160)에 도달하면, 이어서 미디어 컨테이너(150)는 해석되고 디스플레이(170)에서 표현될 수 있다. 예를 들면, 렌더링 시스템(160)이 단지 2D만 수용할 수 있다면, 부호화된 2D 영상 데이터(145)는 직접적으로 해독되고 평소대로 연속적인 프레임 스트림(frame stream)으로서 디스플레이(170)로 출력되어 소비자의 좌·우 양쪽 눈에 인식될 수 있다. 만약 렌더링 시스템(160)이 3D를 수용할 수 있으면, 그때 3D 깊이 요소 메타데이터(147)는 스켈링 및/또는 다른 3D효과를 위한 객체 상대 위치 메타데이터(146)의 임시 작업 복사본에 더 적용될 수 있고, 객체 상대 위치 메타데이터(146)에 의해 설명된 것처럼 부호화된 2D 영상 데이터(145)가 디스플레이(170)에 관해 해독된 이후에 실제로 렌더링 3D 객체가 이어진다. 객체 상대 위치 메타데이터(146)에 의해 설명되는 3D 객체를 표현하기 위해, 몇 개의 상이한 3D 렌더링 기술은 디스플레이(170)에서의 깊이의 인식을 제공하는데 유용하다. 이러한 3D 렌더링 기술, 또는 도 1에서의 3D 모델링 알고리즘(165)은 당해 기술로 잘 알려져 있으며 본질적으로 소비자의 좌·우 눈에 대한 2개의 상이한 이미지를 생성하고 나타내는 것과 관련이 있다. 예를 들면, 120헤르츠와 같은 높은 리프레시(refresh) 비율을 제공하는 디스플레이(170)를 사용하는 것에 의해서, 번갈아 일어나는 좌·우 이미지 스트림은 빠른 연속으로 보여질 수 있고, 폐쇄 유리와 같은 다양한 블록 메커니즘은 적절한 좌·우 이미지가 이것에 대응하는 소비자의 좌·우 눈에 보여질 수 있게 되는 것을 보증하는데 사용될 수 있다. 대안으로, 디스플레이(170)는 2개의 영사기 그리고 편광된 이미지를 적절하게 소비자의 좌·우 눈에 여과하기 위한 편광 유리에 대응하는 직교 또는 원형 편광 필터를 사용하는 3D 영사 시스템과 같이, 2개의 좌·우 이미지를 다른 극성을 갖지만 동일한 스크린에 동시에 영사할 수 있다. 이러한 것들은 오늘날 사용하는 3D 렌더링 기술의 단지 몇 개의 예일 뿐이고, 다른 3D 렌더링 기술이 또한 사용될 수 있다.
3D 모델링 알고리즘(165)은 따라서 위에서 논의한 좌·우 이미지 렌더링 기술을 사용하여 3D 영상을 표현하기 위해서 부호화된 2D 영상 데이터(145), 객체 상대 위치 메타데이터(146) 그리고 3D 깊이 요소 메타데이터(147)에 적용될 수 있다. 3D 모델링 알고리즘(165)은 또한 장면(110)으로부터 인식된 하나 또는 그 이상의 객체를 표현하기 위해서 객체 상대 위치 메타데이터(146) 그리고 3D 깊이 요소 메타데이터(147)에 적용될 수 있다. 이전에 언급한 바와 같이, 3D 깊이 요소 메타데이터(147)는 뷰 선호에 따라서 특별한 객체 또는 전체적으로 모든 객체들에 관한 3D 깊이 효과를 강화하거나 약화하기 위해서 최종 수요자에 의해 조절될 수 있다.
예를 들면, 만약 렌더링 시스템(160)이 블루-레이 재생기를 포함하고 있으면, 그때는 미디어 컨테이너(150)를 포함하고 있는 블루-레이 디스크에 제공되는 설정 및 구성 메뉴는 상이한 뷰 배열 그리고 선호에 적합하게 할 수 있게 하기 위하여, 3D 깊이 요소 메타데이터(147)의 조절을 허용할 수 있다. 예를 들면, 일부 소비자는 3D 효과가 어지럽거나 혼란을 유도한다는 것을 발견하게 되면 3D 깊이 요소 메타데이터(147)를 0으로 설정하도록 택해서, 효과적으로 3D 영상 효과를 표준 2D 영상으로 변환시킬 수 있다(이러한 경우에 영상 데이터(145)가 표현될 것임을 유념하여야 한다). 그 외 다른 소비자들은 3D 효과를 즐길 수도 있지만, 그들의 특별한 방 배치 또는 시각적 선호에 따라서 효과를 향상시키거나 감소시키기를 바랄 수도 있다. 이러한 경우에, 음부터 양의 스케일까지 3D 깊이 요소 메타데이터(147)의 연속적인 조정을 허용하는 "가상 3D 효과 노브(knob)"가 제공될 수 있다. 예를 들면, 상기 "3D 효과 노브"는 리모컨, 컴퓨터 마우스와 같은 렌더링 시스템(160)에 연결되어 있는 입력 장치 또는, 블루-레이 재생기 구성 스크린과 같은 렌더링 시스템(160)에 의해 제공되는 디스플레이(170)에 있는 구성 스크린을 조작할 수 있는 다른 장치 또는, 사용자가 조정할 수 있는 3D 깊이 요소를 제공하는 DVD 또는 블루-레이 디스크 형식 구성 메뉴와 같은 미디어 컨테이너(150)를 사용함으로써 소비자에 의해 제어될 수 있다.
미디어 컨테이너(150)의 재생 동안에, 3D 모델링 알고리즘(165)은 그래서 메타데이터 또는 객체 상대 위치 메타데이터(146) 그리고 3D 깊이 요소 메타데이터(147) 이내에서 나타나게 되는 영상의 3D 부분을 표현하기 위해서 미디어 데이터 컨테이너(150)에 실시간으로 적용된다. 프로세서 속도의 꾸준한 증가 및 이에 상대적인 낮은 비용으로, 실시간 3D 모델링 알고리즘은 렌더링 시스템(160)에서 이용할 수 있는 사용되지 않은 계산 사이클을 사용하거나 또는 전문화된 3D 렌더링 가속 하드웨어를 사용하는 것에 의하거나 현재의 2D 영상 해독 하드웨어 내에 3D 기능을 통합하는 것으로서 손쉽게 제공될 수 있다. 이러한 방식으로, 특별한 객체의 깊이 스켈링을 포함하고 객체 그림자에 대응하는 3D 표시 요소, 수평 또는 수직 시차와 연관된 요소 및 다른 요소는 디스플레이(170)에서 신속하게 자동으로 그리고 역동적으로 생성된다. 그러한 것으로서, 이전의 솔루션에서와 같은 각 특정한 바람직한 애플리케이션을 위한 개별적인 3D 워크 플로를 필요로 하는 것과는 대조적인 것처럼, 3D 깊이 요소 메타데이터(147)는 다양한 환경적 애플리케이션 그리고 사용자 선호도에 적용하기 위해 비용 효과가 높고 유연한 방식으로 조절될 수 있다.
도 2는 본 발명의 실시 예에 따른 3D 영상 데이터가 동적 렌더링을 위해 생성되는 단계를 설명해주는 순서도이다. 당 업자에게 명백한 상세내용 그리고 특성은 순서도(200)에서 생략되었다. 예를 들어, 한가지 단계는 하나 또는 그 이상의 하위 단계를 포함할 수 있고 당해 기술에서 알려진 특수 장비 또는 재료와 관련이 있을 수 있다. 순서도(200)에 표시된 (S210)에서 (S260)까지의 단계는 본 발명의 하나의 실시 예를 설명하는데 충분한 반면에, 본 발명의 다른 실시 예는 순서도(200)에 보여지는 단계와는 다른 단계를 활용할 수 있다.
도 2에 있는 순서도(200)에서의 단계(S210) 및 도 1의 도표를 참조하면, 순서도(200)의 단계(S210)는 객체(115a 및 115b)를 갖는 장면(110)으로부터의 2D 영상 데이터(125)를 획득하는 프로세서(135)를 포함하여 이루어진다. 예를 들면, 영상 캡처 시스템(120)은 장면(110)으로부터 2D 영상 데이터(125)를 캡처할 수 있는 전통적인 카메라를 포함할 수 있다. 후 처리 시스템(130)의 프로세서(135)는 그때 직접적인 데이터 접속을 사용하거나 또는 중간 데이터 전송 네트워크(도 1에서 생략됨)에 의해서 2D 영상 데이터를 검색할 수 있다.
도 2에서 순서도(200)의 단계(S220) 및 도 1의 도표(100)를 참조하면, 순서도(200)의 단계(S220)는 장면(110)에 있는 객체(115a 및 115b)를 인식하는 프로세서(135)를 포함하여 이루어진다. 이전에 논의된 바와 같이, 단계(S220)을 수행하기 위해서, 영상 캡처 시스템(120)은 예를 들어 가변 관찰위치, 위치-추적 시스템, 수동 데이터 입력, 창 레퍼런스 또는 자동 컴퓨터 생성 객체 인식을 사용할 수 있다. 단계(S220)의 결과는 3D 객체 데이터(126)에 저장될 수 있다.
도 2에서 순서도(200)에서의 단계(S230) 및 도 1의 도표(100)를 참조하면, 순서도(200)의 단계(S230)는 3D 객체 데이터(126)를 획득하는 프로세서(135)를 포함하여 이루어진다. 단계(S230)은 직접 데이터 접속 또는 네트워크를 사용하는 것에 의해서 단계(S210)과 같은 유사한 프로세서를 사용하여 달성될 수 있다.
도 2에서 순서도(200)에서의 단계(S240) 및 도 1의 도표(100)를 참조하면, 순서도(200)의 단계(S240)는 부호화된 2D 영상 데이터(145)를 생성하기 위해서 2D 영상 데이터(125)를 부호화하는 프로세서(135)를 포함하여 이루어진다. 이전에 논의된 바와 같이, 단계(S240) 이전에, 후-처리는 부호화 또는 3D 처리에 적합성을 향상시키기 위해서 2D 영상 데이터(125)에 적용될 수 있다. 단계(S240)는 예를 들어 2D 영상 데이터(125)의 데이터 크기를 줄이기 위해서 압축 코덱을 적용하는 것을 포함하여 이루어질 수 있다.
도 2에서 순서도(200)의 단계(S250) 및 도 1의 도표(100)를 참조하면, 순서도(200)의 단계(S250)는 3D 객체 데이터(126)의 상대 위치를 기반으로 하는 객체 상대 위치 메타데이터(145)를 생성하는 프로세서(135)를 포함하여 이루어진다. 이전에 논의된 바와 같이, 객체 상대 위치 메타데이터(146)는 2D 영상 데이터(125) 또는 디스플레이(170)에 의해 나타나게 되는 2D 평면과 같은 몇 개의 레퍼런스 지점과 관련되어 있는 3D 객체 데이터(126)로부터 도출될 수 있다.
도 2의 순서도(200)의 단계(S260) 및 도 1의 도표(100)를 참조하면, 순서도(200)의 단계(S260)는 객체 상대 위치 메타데이터(146)에서 구동하기 위한 깊이 요소 메타데이터(147)를 제공하는 프로세서(135)를 포함하여 이루어진다. 이전에 논의된 바와 같이, 3D 깊이 요소 메타데이터(147)는 공공 극장, 텔레비전 방송, 블루-레이 디스크 또는 홈 시어터와 같은 다양한 렌더링 환경에 대한 특별한 3D 깊이 스켈링 요소를 구체적으로 명시하는데 이용될 수 있다. 더욱이, 사용자 지정 3D 깊이 요소는 특별한 환경 또는 사용자 선호에 맞도록 하는데 이용될 수 있다. 도 1에서 보여지는 바와 같이, 3D 컴포넌트는 2D 영상 컴포넌트와 분리되기 때문에, 미디어 컨테이너(150)는 현재의 2D 후-처리 워크 플로 및 하부 구조에 사용될 수 있다. 단지 배분 사슬의 끝단 또는 렌더링 시스템(160)만이 디스플레이(170)에 3D 영상을 표현하기 위하여 실시간으로 3D 모델링 알고리즘(165)을 사용하여 미디어 컨테이너(150)를 해석하는 것을 필요로 한다. 모든 다른 중간 워크 플로 처리는 미디어 컨테이너(150)로부터의 여분의 3D 메타데이터를 간단히 무시할 수 있고 부호화된 2D 영상 데이터(145)를 전통적인 2D 영상 콘텐츠로서 다룰 수 있다. 이러한 방식으로, 3D 영상 콘텐츠는 비용 효과가 높고 유연한 방식으로 생산될 수 있고, 소비자는 3D 깊이 요소 메타데이터(147)를 간단히 조정함으로써 3D 프레젠테이션이 소비자 자신의 페이스와 선호에 어울리도록 채택할 수 있는 권한이 부여된다.
본 발명의 설명으로부터 다양한 기술들이 본 발명의 범위를 벗어남 없이 본 발명의 개념을 구현하기 위해 사용될 수 있다는 것은 명백하다. 더욱이, 본 발명은 특정한 실시 예에 구체적인 레퍼런스와 함께 설명되었지만, 당 업자는 본 발명의 개념과 범위에 벗어남 없이 형태 그리고 세부사항에 변경이 가능하다는 것을 인지하고 있을 것이다. 그러한 것으로서, 설명된 실시 예는 실례가 되지만 제한적이 아닌 것으로서 모든 점에 있어서 고려된 것이다. 본 발명은 여기에 설명된 특별한 실시 예에 제한되는 것이 아니라 본 발명의 범위를 벗어나지 않는 다양한 재배치, 수정 및 치환이 가능하다는 것을 알 수 있다.
110: 장면 115a,115b: 객체
120: 영상 캡처 시스템 125: 2D 영상데이터
126: 3D 영상데이터 130: 후 처리 시스템
135: 프로세서 140: 메모리
145: 부호화된 2D 영상데이터 146: 객체 상대 위치 메타데이터
147: 3D 깊이 요소 메타데이터 150: 미디어 컨테이너
160: 렌더링 시스템 165: 3D 모델링 알고리즘
170: 디스플레이

Claims (22)

  1. 3D 영상 데이터를 생성하는 방법에 있어서,
    복수 객체를 갖는 장면으로부터 2D 영상 데이터를 획득하는 단계;
    장면에 있는 객체를 인식하는 단계;
    복수 객체의 상대 위치를 획득하는 단계;
    부호화된 2D 영상 데이터를 생성하기 위해 2D 영상 데이터를 부호화하는 단계;
    복수 객체의 상대 위치를 기반으로 상대 위치 메타 데이터를 생성하는 단계;
    및
    상대 위치 메타데이터에서 작동을 위한 3D 깊이 요소 메타데이터를 제공하는 단계; 를 포함하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 복수 객체의 상대 위치를 획득하는 단계 이전에,
    장면의 상이한 뷰에 해당하는 부가적인 2D 영상 데이터를 획득하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  3. 제 1 항에 있어서,
    상기 2D 영상 데이터를 부호화하는 단계 이전에,
    후-처리된 2D 영상 데이터를 생성하기 위해서 2D 영상 데이터를 후-처리하는 한편, 상기 부호화는 부호화된 2D 영상 데이터를 생성하기 위해서 후-처리된 2D 영상 데이터를 사용하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  4. 제 1 항에 있어서,
    상기 인식 단계는 라디오 주파수 인식(RFID)태그, 수동 테이프 측정기, 장면에서 인식할 수 있는 창 레퍼런스, 또는 컴퓨터 렌더링으로부터 자동으로 생성되는 값 중에 어느 하나를 사용하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  5. 제 1 항에 있어서,
    3D 영상 데이터를 표현하기 위해서 3D 모델링 알고리즘을 부호화된 2D 영상 데이터, 상대 위치 메타데이터 및 3D 깊이 요소 메타 데이터에 적용하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  6. 제 5 항에 있어서,
    상기 3D 모델링 알고리즘을 적용하는 것은 3D 영상 데이터의 렌더링을 위한 좌·우 이미지를 계산하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  7. 제 1항에 있어서,
    하나 또는 그 이상의 복수 객체의 렌더링을 위해 3차원 모델링 알고리즘을 상대 위치 메타데이터 및 3D 깊이 요소에 적용하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  8. 제 1 항에 있어서,
    상기 3D 깊이 요소 메타데이터는 레퍼런스 지점에 대하여 하나 또는 그 이상의 인식된 복수 객체의 상대 위치에 변화를 주는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  9. 제 8 항에 있어서,
    상기 3D 깊이 요소 메타 데이터는 레퍼런스 지점에 대하여 양에서 음의 범위 이내인 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  10. 제 9 항에 있어서,
    상기 레퍼런스 지점은 렌더링 디스플레이의 기하 평면인 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  11. 제 1 항에 있어서,
    상기 상대 위치 메타데이터는 장면 내에 포함된 레퍼런스 지점을 사용하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  12. 제 1 항에 있어서,
    상기 상대 위치 메타데이터는 렌더링 디스플레이의 기하 평면에 해당하는 레퍼런스 지점을 사용하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  13. 제 1 항에 있어서,
    상기 상대 위치 메타데이터는 글로벌 레퍼런스 지점을 사용하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  14. 제 1 항에 있어서,
    상기 상대 위치 메타데이터는 복수 레퍼런스 지점을 사용하고, 각 복수 레퍼런스 지점은 하나 또는 그 이상의 복수 객체에 해당하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  15. 제 1 항에 있어서,
    상기 3D 깊이 요소 메타 데이터는 하나 또는 그 이상의 렌더링 환경에 제공되는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  16. 제 15 항에 있어서,
    상기 하나 또는 그 이상의 렌더링 환경은 홈 시어터 환경을 포함하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  17. 제 15 항에 있어서,
    상기 하나 또는 그 이상의 렌더링 환경은 공공 극장 렌더링을 포함하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  18. 제 15 항에 있어서,
    상기 하나 또는 그 이상의 렌더링 환경은 블루-레이 렌더링 시스템을 포함하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 방법.
  19. 3D 영상 데이터를 생성하는 시스템에 있어서,
    복수 객체를 갖는 장면으로부터 2D 영상 데이터를 획득하고;
    장면에 있는 객체를 인식하고;
    복수 객체의 상대 위치를 획득하고;
    부호화된 2D 영상 데이터를 생성하기 위해서 2D 영상 데이터를 부호화하고;
    복수 객체의 상대 위치를 기반으로 하여 상대 위치 메타데이터를 생성하고; 및
    상대 위치 메타데이터의 작동을 위한 3D 깊이 요소 메타데이터를 제공하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 3D 영상 데이터를 생성하는 시스템.
  20. 제 19 항에 있어서,
    상기 복수 객체의 상대 위치를 획득하기 이전에,
    프로세서는 장면의 상이한 뷰에 해당하는 부가적인 2D 영상 데이터를 획득하도록 더 구성되어 있는 것을 특징으로 하는 3D 영상 데이터를 생성하는 시스템.
  21. 제 19항에 있어서,
    상기 2D 영상 데이터를 부호화하기 이전에,
    프로세서는 후-처리된 2D 영상 데이터를 생성하기 위해서 2D 영상 데이터를 후-처리하도록 더 구성되는 한편, 상기 프로세서는 부호화된 2D 영상 데이터를 생성하기 위해서 후-처리된 2D 영상 데이터를 사용하여 부호화하도록 구성되어 있는 것을 특징으로 하는 3D 영상 데이터를 생성하는 시스템.
  22. 제 19 항의 있어서,
    상기 프로세서는 3D 영상 데이터를 표현하기 위하여 3D 모델링 알고리즘을 부호화된 2D 영상 데이터, 상대 위치 메타데이터 및 3D 깊이 요소 메타데이터에 적용하도록 더 구성되어 있는 것을 특징으로 하는 3D 영상 데이터를 생성하는 시스템.
KR1020100087878A 2009-09-11 2010-09-08 동적 렌더링을 위한 3ｄ 영상 캡처 워크 플로에 관한 시스템 및 방법 KR101231160B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/584,726 US8614737B2 (en) 2009-09-11 2009-09-11 System and method for three-dimensional video capture workflow for dynamic rendering
US12/584,726 2009-09-11

Publications (2)

Publication Number Publication Date
KR20110028232A true KR20110028232A (ko) 2011-03-17
KR101231160B1 KR101231160B1 (ko) 2013-02-07

Family

ID=42830297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100087878A KR101231160B1 (ko) 2009-09-11 2010-09-08 동적 렌더링을 위한 3ｄ 영상 캡처 워크 플로에 관한 시스템 및 방법

Country Status (4)

Country Link
US (1) US8614737B2 (ko)
EP (1) EP2309765A1 (ko)
JP (1) JP2011086283A (ko)
KR (1) KR101231160B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007414A1 (en) * 2012-07-06 2014-01-09 Lg Electronics Inc. Terminal for increasing visual comfort sensation of 3d object and control method thereof
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101631451B1 (ko) * 2009-11-16 2016-06-20 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2011072016A1 (en) * 2009-12-08 2011-06-16 Broadcom Corporation Method and system for handling multiple 3-d video formats
US20110199468A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C 3-dimensional display with preferences
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
EP2418857A1 (en) * 2010-08-12 2012-02-15 Thomson Licensing Stereoscopic menu control
EP2432232A1 (en) * 2010-09-19 2012-03-21 LG Electronics, Inc. Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
JP6001826B2 (ja) * 2011-05-18 2016-10-05 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
US9420259B2 (en) * 2011-05-24 2016-08-16 Comcast Cable Communications, Llc Dynamic distribution of three-dimensional content
US10445398B2 (en) * 2012-03-01 2019-10-15 Sony Corporation Asset management during production of media
US9317709B2 (en) 2012-06-26 2016-04-19 Google Inc. System and method for detecting and integrating with native applications enabled for web-based storage
US20140062999A1 (en) * 2012-09-05 2014-03-06 Shenzhen China Star Optoelectronics Technology Co., Ltd. Display system and display control method thereof
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
WO2014160934A1 (en) 2013-03-28 2014-10-02 Google Inc. System and method to store third-party metadata in a cloud storage system
CN104345686B (zh) * 2013-08-07 2016-12-28 中国科学院沈阳计算技术研究所有限公司 二维双向dexel毛坯建模方法及其加工仿真方法
CN105844694B (zh) * 2015-08-24 2019-04-26 鲸彩在线科技（大连）有限公司 一种游戏数据生成、上传方法及装置
CN105844684B (zh) * 2015-08-24 2018-09-04 鲸彩在线科技（大连）有限公司 一种游戏数据下载、重构方法及装置
CN105898280A (zh) * 2015-12-28 2016-08-24 乐视致新电子科技（天津）有限公司 立体片源的播放优化方法及装置
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
US20200275087A1 (en) * 2019-02-25 2020-08-27 Kazuhiro Asakura Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04188968A (ja) 1990-11-21 1992-07-07 Ricoh Co Ltd 電子スチルカメラ
KR100496513B1 (ko) 1995-12-22 2005-10-14 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 영상변환방법및영상변환시스템과,부호화방법및부호화시스템
US6208348B1 (en) 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
US6515659B1 (en) 1998-05-27 2003-02-04 In-Three, Inc. Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images
US7116324B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US7102633B2 (en) 1998-05-27 2006-09-05 In-Three, Inc. Method for conforming objects to a common depth perspective for converting two-dimensional images into three-dimensional images
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP4065488B2 (ja) 2001-12-14 2008-03-26 キヤノン株式会社 ３次元画像生成装置、３次元画像生成方法及び記憶媒体
KR100727513B1 (ko) 2002-12-16 2007-06-14 산요덴키가부시키가이샤 입체 영상 생성 장치 및 입체 영상 배신 방법
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
EP1829202B1 (en) 2004-12-16 2011-06-29 ST-Ericsson SA Direct conversion device with compensation means for a transmission path of a wireless communication equipment
US8885017B2 (en) * 2005-07-14 2014-11-11 3Ality Digital Systems, Llc Real-time process and technology using image processing to maintain and ensure viewer comfort during capture, live transmission, and post-production of stereoscopic 3D imagery
SG130962A1 (en) * 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
DE102005046762A1 (de) 2005-09-29 2007-04-05 Siemens Ag System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen
US7675520B2 (en) * 2005-12-09 2010-03-09 Digital Steamworks, Llc System, method and computer program for creating two dimensional (2D) or three dimensional (3D) computer animation from video
US20070146360A1 (en) * 2005-12-18 2007-06-28 Powerproduction Software System And Method For Generating 3D Scenes
US8244025B2 (en) * 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
US7893999B2 (en) * 2006-05-22 2011-02-22 Broadcom Corporation Simultaneous video and sub-frame metadata capture system
EP1887526A1 (en) * 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
WO2009034519A1 (en) 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal
WO2009083863A1 (en) 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
US8514222B2 (en) * 2008-08-13 2013-08-20 Autodesk, Inc. Device, system, and method of computer aided design (CAD)
US8395651B2 (en) * 2009-10-09 2013-03-12 Cisco Technology, Inc. System and method for providing a token in a video environment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007414A1 (en) * 2012-07-06 2014-01-09 Lg Electronics Inc. Terminal for increasing visual comfort sensation of 3d object and control method thereof
US9674501B2 (en) 2012-07-06 2017-06-06 Lg Electronics Inc. Terminal for increasing visual comfort sensation of 3D object and control method thereof
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
US11166005B2 (en) 2017-10-27 2021-11-02 Industry-University Cooperation Foundation Hanyang University Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters

Also Published As

Publication number Publication date
US8614737B2 (en) 2013-12-24
KR101231160B1 (ko) 2013-02-07
US20110063410A1 (en) 2011-03-17
EP2309765A1 (en) 2011-04-13
JP2011086283A (ja) 2011-04-28

Similar Documents

Publication Publication Date Title
KR101231160B1 (ko) 동적 렌더링을 위한 3ｄ 영상 캡처 워크 플로에 관한 시스템 및 방법
RU2546546C2 (ru) Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией
CN112585978B (zh) 生成用于在vr中显示的复合视频流
US10095953B2 (en) Depth modification for display applications
Isgro et al. Three-dimensional image processing in the future of immersive media
US20100033484A1 (en) Personal-oriented multimedia studio platform apparatus and method for authorization 3d content
JP6622388B2 (ja) ビデオ画像に関連付けられているオーディオ信号を処理する方法および装置
TWI735552B (zh) 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流
JP5851625B2 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
CN113243112B (zh) 流式传输体积视频和非体积视频
Schreer et al. Lessons learned during one year of commercial volumetric video production
CN105324993B (zh) 对多投影剧场中的内容的大小进行归一化的方法和装置以及计算机可读记录介质
Horiuchi et al. Interactive music video application for smartphones based on free-viewpoint video and audio rendering
Tseng et al. Automatically optimizing stereo camera system based on 3D cinematography principles
JP6091850B2 (ja) テレコミュニケーション装置及びテレコミュニケーション方法
Chen et al. Simplified carriage of MPEG immersive video in HEVC bitstream
Curcio et al. Multi-viewpoint and overlays in the MPEG OMAF standard
Cha et al. Client system for realistic broadcasting: A first prototype
Grau et al. 3D-TV R&D activities in europe
KR20220097888A (ko) 비트스트림에서 오디오 효과 메타데이터의 시그널링
JP2011119926A (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
EP3623908A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
Salahieh et al. Delivering object-based immersive video experiences
JP7395725B2 (ja) メディアリソースの再生およびテキストレンダリング方法、装置、機器および記憶媒体
WO2008069474A1 (en) Personal-oriented multimedia studio platform apparatus and method for authorizing 3d content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee