KR102527566B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR102527566B1
KR102527566B1 KR1020187012318A KR20187012318A KR102527566B1 KR 102527566 B1 KR102527566 B1 KR 102527566B1 KR 1020187012318 A KR1020187012318 A KR 1020187012318A KR 20187012318 A KR20187012318 A KR 20187012318A KR 102527566 B1 KR102527566 B1 KR 102527566B1
Authority
KR
South Korea
Prior art keywords
data
image data
viewpoint
dimensional
unit
Prior art date
Application number
KR1020187012318A
Other languages
English (en)
Other versions
KR20180081721A (ko
Inventor
준이치 다나카
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20180081721A publication Critical patent/KR20180081721A/ko
Application granted granted Critical
Publication of KR102527566B1 publication Critical patent/KR102527566B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시는 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 3차원 데이터를 고정밀도로 생성할 수 있도록 하는 화상 처리 장치 및 화상 처리 방법에 관한 것이다. 좌표 변환 데이터 생성부는, 제1 시점군의 2차원 화상 데이터와 제2 시점군의 2차원 화상 데이터에 기초하여, 제1 시점군의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 제2 시점군의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 생성한다. 메타데이터 부가부는, 제1 시점군의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터, 제2 시점군의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터, 및 좌표 변환 데이터 생성부에 의해 생성된 좌표 변환 데이터를 포함하는 좌표 변환 정보를 전송한다. 본 개시는, 예를 들어 합성 장치 등에 적용할 수 있다.

Description

화상 처리 장치 및 화상 처리 방법
본 개시는 화상 처리 장치 및 화상 처리 방법에 관한 것이며, 특히 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 3차원 데이터를 고정밀도로 생성할 수 있도록 한 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
멀티 뷰 스테레오 기술에 있어서, 복수의 카메라에 의해 촬상된 3차원 물체의 3차원 위치 정보와 2차원 화상 데이터를 포함하는 3차원 데이터를 기록, 부호화, 전송, 복호, 표시하는 전송 시스템이 고안되어 있다(예를 들어, 비특허문헌 1 참조). 3차원 데이터의 부호화 방식으로서는, MPEG(Moving Picture Experts Group phase) 방식 등이 있다(예를 들어, 비특허문헌 2 참조).
또한, 복수의 카메라에 의해 얻어진, 복수의 시점의 2차원 화상 데이터와, 각 화소의 피사체의 깊이 방향(촬상면에 수직인 방향)의 위치를 나타내는 뎁스로 이루어지는 뎁스 화상 데이터를 그대로 기록, 부호화, 전송, 복호, 표시하는 전송 시스템이 고안되어 있다. 2차원 화상 데이터와 뎁스 화상 데이터를 부호화하는 방식으로서는, MVCD(Multiview and depth video coding) 방식, AVC(Advanced Video Coding) 방식, HEVC(High Efficiency Video Coding) 방식 등이 있다.
Ming Chuang, Pat Sweeney, Don Gillett, Dennis Evseev, David Calabrese, Hugues Hoppe, Adam Kirk, Steve Sullivan, "High-Quality Streamable Free-Viewpoint Video, Alvaro Collet", Microsoft Corporation Marius Preda, "MPEG Graphics Compression Model" MPEG document: N9892, May 2008
그러나, 피사체의 3차원 정보를 3차원 데이터로서 전송하는 경우, 수신측에 있어서, 3차원 데이터를 처리하는 고기능의 처리부가 필요하게 된다.
또한, 피사체의 3차원 정보를 복수의 카메라에 의해 얻어진 2차원 화상 데이터와 뎁스 화상 데이터로 전송하는 경우, 수신측의 처리는 용이하게 되지만, 각 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 3차원 좌표계가 상이한 경우가 있다. 이 경우, 각 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 고정밀도로 3차원 데이터를 생성할 수는 없다.
본 개시는 이러한 상황을 감안하여 이루어진 것이며, 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 3차원 데이터를 고정밀도로 생성할 수 있도록 하는 것이다.
본 개시의 제1 측면의 화상 처리 장치는, 제1 시점의 2차원 화상 데이터와 제2 시점의 2차원 화상 데이터에 기초하여, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 생성하는 좌표 변환 데이터 생성부와, 상기 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터, 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터, 및 상기 좌표 변환 데이터 생성부에 의해 생성된 상기 좌표 변환 데이터를 포함하는 좌표 변환 정보를 전송하는 전송부를 구비하는 화상 처리 장치이다.
본 개시의 제1 측면의 화상 처리 방법은, 본 개시의 제1 측면의 화상 처리 장치에 대응한다.
본 개시의 제1 측면에 있어서는, 제1 시점의 2차원 화상 데이터와 제2 시점의 2차원 화상 데이터에 기초하여, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터가 생성되고, 상기 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터, 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터, 및 상기 좌표 변환 데이터를 포함하는 좌표 변환 정보가 전송된다.
본 개시의 제2 측면의 화상 처리 장치는, 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터와, 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터를 복호하는 복호부와, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 제1 카메라 파라미터, 및 상기 복호부에 의한 복호 결과 얻어지는 상기 제1 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제1의 3차원 위치 변환부와, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 포함하는 좌표 변환 정보에 기초하여, 상기 제1의 3차원 위치 변환부에 의한 변환 후의 상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환부를 구비하는 화상 처리 장치이다.
본 개시의 제2 측면의 화상 처리 방법 및 프로그램은, 본 개시의 제2 측면의 화상 처리 장치에 대응한다.
본 개시의 제2 측면에 있어서는, 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터와, 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터가 복호되고, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 제1 카메라 파라미터, 및 복호 결과 얻어지는 상기 제1 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치가, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환되고, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 포함하는 좌표 변환 정보에 기초하여, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치가, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환된다.
또한, 제1 측면 및 제2 측면의 화상 처리 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.
또한, 제1 측면 및 제2 측면의 화상 처리 장치를 실현하기 위해, 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여 제공할 수 있다.
본 개시의 제1 측면에 따르면, 화상 처리를 행할 수 있다. 또한, 본 개시의 제1 측면에 따르면, 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 3차원 데이터를 고정밀도로 생성할 수 있도록 화상 처리를 행할 수 있다.
본 개시의 제2 측면에 따르면, 화상 처리를 행할 수 있다. 또한, 본 개시의 제2 측면에 따르면, 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 3차원 데이터를 고정밀도로 생성할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 본 개시를 적용한 전송 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 2는, 도 1의 변환부의 구성예를 도시하는 블록도이다.
도 3은, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 예를 도시하는 도면이다.
도 4는, 카메라 관련 정보의 예를 도시하는 도면이다.
도 5는, 도 1의 촬상 장치와 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 6은, 도 1의 변환부의 제1 구성예를 도시하는 블록도이다.
도 7은, 도 1의 변환부의 제2 구성예를 도시하는 블록도이다.
도 8은, 도 1의 변환부의 제3 구성예를 도시하는 블록도이다.
도 9는, 도 1의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 10은, 본 개시를 적용한 전송 시스템의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 11은, 도 10의 촬상 장치의 구성예를 도시하는 블록도이다.
도 12는, 동기 어긋남 정보의 예를 도시하는 도면이다.
도 13은, 도 10의 부호화 장치의 구성예를 도시하는 블록도이다.
도 14는, 도 10의 촬상 장치와 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 15는, 도 10의 복호부의 구성예를 도시하는 블록도이다.
도 16은, 도 10의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 17은, 본 개시를 적용한 전송 시스템의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 18은, 도 17의 합성 장치의 구성예를 도시하는 블록도이다.
도 19는, 도 18의 합성 장치의 합성 처리를 설명하는 흐름도이다.
도 20은, 제4 실시 형태에 있어서의 합성 장치의 구성예를 도시하는 블록도이다.
도 21은, 좌표 변환 데이터를 생성하는 처리를 설명하는 도면이다.
도 22는, 좌표 변환 정보의 예를 도시하는 도면이다.
도 23은, 도 20의 합성 장치의 합성 처리를 설명하는 흐름도이다.
도 24는, 제4 실시 형태에 있어서의 변환부의 구성예를 도시하는 블록도이다.
도 25는, 제4 실시 형태에 있어서의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 26은, 제5 실시 형태에 있어서의 합성 장치의 구성예를 도시하는 블록도이다.
도 27은, 색 편차 보정 정보의 예를 도시하는 도면이다.
도 28은, 도 26의 합성 장치의 합성 처리를 설명하는 흐름도이다.
도 29는, 제5 실시 형태에 있어서의 변환부의 구성예를 도시하는 블록도이다.
도 30은, 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태: 전송 시스템(도 1 내지 도 9)
2. 제2 실시 형태: 전송 시스템(도 10 내지 도 16)
3. 제3 실시 형태: 전송 시스템(도 17 내지 도 19)
4. 제4 실시 형태: 전송 시스템(도 20 내지 도 25)
5. 제5 실시 형태: 전송 시스템(도 26 내지 도 29)
6. 제6 실시 형태: 컴퓨터(도 30)
<제1 실시 형태>
(전송 시스템의 제1 실시 형태의 구성예)
도 1은, 본 개시를 적용한 전송 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 1의 전송 시스템(10)은, 촬상 장치(11), 부호화 장치(12), 복호 장치(13) 및 표시 장치(14)에 의해 구성된다. 전송 시스템(10)은, 촬상 장치(11)에 의해 취득된 2차원 화상 데이터 등을 사용하여, 소정의 표시 화상 생성 방식으로 표시 화상 데이터를 생성하여 표시한다.
구체적으로는, 전송 시스템(10)의 촬상 장치(11)는, 예를 들어 멀티 카메라, 측거 측정기 및 화상 처리부에 의해 구성된다. 촬상 장치(11)의 멀티 카메라는, 복수(예를 들어, 8)의 카메라에 의해 구성되고, 각 카메라에서 적어도 일부가 동일한 피사체의 동화상의 2차원 화상 데이터를 촬상한다. 측거 측정기는, 예를 들어 각 카메라에 설치되고, 그 카메라와 동일한 시점의 뎁스 화상 데이터를 생성한다.
촬상 장치(11)의 화상 처리부(3차원 데이터 생성부)는, 각 카메라의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 각 카메라의 내부 파라미터 및 외부 파라미터를 사용하여, Visual Hull 등에 의한 모델링을 행하여 메쉬를 작성한다. 화상 처리부는, 작성된 메쉬를 구성하는 각 점(Vertex)의 3차원 위치와 각 점의 연결(Polygon)을 나타내는 기하 정보(Geometry)와, 그 메쉬의 2차원 화상 데이터를 피사체의 3차원 데이터로서 생성하고, 부호화 장치(12)에 공급한다.
복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터로부터 3차원 데이터를 생성하는 방법의 상세는, 예를 들어 Saied Moezzi, Li-Cheng Tai, Philippe Gerard, "Virtual View Generation for 3D Digital Video", University of California, San Diego나 Takeo Kanade and Peter Rander, P.J.Narayanan, "Virtualized Reality: Constructing Virtual Worlds from Real Scenes"에 기재되어 있다.
부호화 장치(12)는 변환부(21), 부호화부(22) 및 전송부(23)에 의해 구성된다.
부호화 장치(12)의 변환부(21)는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 가상 카메라의 내부 파라미터와 외부 파라미터를 카메라 파라미터로서 설정한다. 변환부(21)는, 카메라 파라미터에 기초하여, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 생성한다.
3차원 데이터로부터 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 생성하는 3DCG 기술의 상세는, 예를 들어 다니모토 마사유키, 「궁극의 영상 통신을 목표로 하여」 전자 정보 통신 학회 기술 연구 보고. CS, 통신 방식 110(323), 73-78, 2010-11-25 등에 기재되어 있다.
본 명세서에서는 2차원 화상 데이터와 뎁스 화상 데이터의 시점은 동일한 것으로 하지만, 2차원 화상 데이터와 뎁스 화상 데이터의 시점 및 시점의 수는 상이해도 된다. 또한, 2차원 화상 데이터와 뎁스 화상 데이터의 시점 및 시점의 수는, 촬상 장치(11)의 카메라의 시점과 동일해도 되고, 상이해도 된다.
변환부(21)는, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점으로부터는 보이지 않는 오클루전 영역의 3차원 데이터(이하, 오클루전 3차원 데이터라고 함)를 추출한다. 변환부(21)는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 오클루전 3차원 데이터, 그리고 각 시점의 카메라 파라미터 등의 가상 카메라에 관한 정보인 카메라 관련 정보를 포함하는 메타데이터를 부호화부(22)에 공급한다.
부호화부(22)는, 변환부(21)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 부호화한다. 부호화 방식으로서는 MVCD(Multiview and depth video coding) 방식, AVC 방식, HEVC 방식 등을 채용할 수 있다.
부호화 방식이 MVCD 방식인 경우, 모든 시점의 2차원 화상 데이터와 뎁스 화상 데이터는, 통합하여 부호화된다. 그 결과, 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터와 메타데이터를 포함하는 하나의 부호화 스트림이 생성된다. 이 경우, 메타데이터 중 카메라 파라미터는, 부호화 스트림의 reference displays information SEI에 배치된다. 또한, 메타데이터 중 뎁스 화상 데이터에 관한 정보는, Depth representation information SEI에 배치된다.
한편, 부호화 방식이 AVC 방식이나 HEVC 방식인 경우, 각 시점의 뎁스 화상 데이터와 2차원 화상 데이터는 별개로 부호화된다. 그 결과, 각 시점의 2차원 화상 데이터와 메타데이터를 포함하는 각 시점의 부호화 스트림과, 각 시점의 뎁스 화상 데이터의 부호화 데이터와 메타데이터를 포함하는 각 시점의 부호화 스트림이 생성된다. 이 경우, 메타데이터는, 예를 들어 각 부호화 스트림의 User unregistered SEI에 배치된다. 또한, 메타데이터에는, 부호화 스트림과 카메라 파라미터 등을 대응짓는 정보가 포함된다.
또한, 메타데이터에 부호화 스트림과 카메라 파라미터 등을 대응짓는 정보를 포함하지 않고, 부호화 스트림에, 그 부호화 스트림에 대응하는 메타데이터만을 포함하도록 해도 된다.
부호화부(22)는, 부호화 스트림을 전송부(23)에 공급한다. 전송부(23)는, 부호화부(22)로부터 공급되는 부호화 스트림을 복호 장치(13)에 전송한다. 또한, 본 명세서에서는 메타데이터가 부호화 스트림에 배치되어 전송되도록 하지만, 부호화 스트림과는 별도로 전송되도록 해도 된다.
복호 장치(13)는 수취부(31), 복호부(32) 및 변환부(33)에 의해 구성된다.
복호 장치(13)의 수취부(31)는, 전송부(23)로부터 전송되어 오는 부호화 스트림을 수취하고, 복호부(32)에 공급한다. 복호부(32)는, 수취부(31)로부터 공급되는 부호화 스트림을, 부호화부(22)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(32)는, 그 결과 얻어지는 복수의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 변환부(33)에 공급한다.
변환부(33)는, 복호부(32)로부터 공급되는 메타데이터와 복호 장치(13)의 표시 화상 생성 방식에 기초하여, 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터로부터, 소정의 시점의 2차원 화상 데이터, 또는 소정의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 선택한다. 변환부(33)는, 선택된 소정의 시점의 2차원 화상 데이터, 또는 소정의 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 표시 화상 데이터를 생성하고, 표시 장치(14)에 공급한다.
표시 장치(14)는, 2차원 헤드 마운트 디스플레이나 2차원 모니터, 3차원 헤드 마운트 디스플레이나 3차원 모니터 등에 의해 구성된다. 표시 장치(14)는, 변환부(33)로부터 공급되는 표시 화상 데이터에 기초하여, 표시 화상을 2차원 표시 또는 3차원 표시한다.
(변환부(21)의 구성예)
도 2는, 도 1의 변환부(21)의 구성예를 도시하는 블록도이다.
도 2의 변환부(21)는, 피사체 위치 결정부(51), 카메라 결정부(52), 2차원 데이터 생성부(53) 및 오클루전 결정부(54)에 의해 구성된다.
변환부(21)의 피사체 위치 결정부(51)는, 도 1의 촬상 장치(11)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 결정부(52)에 공급한다.
카메라 결정부(52)는, 피사체 위치 결정부(51)로부터 공급되는 피사체 위치 정보에 기초하여, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 카메라 파라미터를 결정하고, 2차원 데이터 생성부(53)와 오클루전 결정부(54)에 공급한다. 또한, 카메라 결정부(52)는, 각 시점의 카메라 파라미터 등으로부터 카메라 관련 정보를 생성하고, 메타데이터로서 도 1의 부호화부(22)에 공급한다.
2차원 데이터 생성부(53)는, 카메라 결정부(52)로부터 공급되는 복수의 시점의 카메라 파라미터에 기초하여, 시점마다, 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행한다.
구체적으로는, 각 화소의 2차원 위치에 대응하는 행렬 m'와 월드 좌표계의 3차원 좌표에 대응하는 행렬 M의 관계는, 카메라의 내부 파라미터 A와 외부 파라미터 R|t를 사용하여, 이하의 식 (1)에 의해 표현된다.
Figure 112018042623134-pct00001
식 (1)은, 보다 상세하게는 식 (2)로 표현된다.
Figure 112018042623134-pct00002
식 (2)에 있어서, (u, v)는 화상 상의 2차원 좌표이고, fx, fy는 초점 거리이다. 또한, Cx, Cy는 주점이고, r11 내지 r13, r21 내지 r23, r31 내지 r33 및 t1 내지 t3은 파라미터이고, (X, Y, Z)는 월드 좌표계의 3차원 좌표이다.
따라서, 2차원 데이터 생성부(53)는, 상술한 식 (1)이나 (2)에 의해, 카메라 파라미터를 사용하여, 각 화소의 2차원 좌표에 대응하는 3차원 좌표를 구한다.
그리고, 2차원 데이터 생성부(53)는, 시점마다, 3차원 데이터 중의 각 화소의 2차원 좌표에 대응하는 3차원 좌표의 2차원 화상 데이터를 각 화소의 2차원 화상 데이터로 함으로써, 각 화소의 2차원 좌표와 화상 데이터를 대응짓는 2차원 화상 데이터를 생성한다. 또한, 2차원 데이터 생성부(53)는, 시점마다, 각 화소의 2차원 좌표에 대응하는 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 각 화소의 2차원 좌표와 뎁스를 대응짓는 뎁스 화상 데이터를 생성한다. 뎁스는, 예를 들어 피사체의 깊이 방향의 위치 z의 역수 1/z이다. 2차원 데이터 생성부(53)는, 각 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화부(22)에 공급한다.
오클루전 결정부(54)는, 카메라 결정부(52)로부터 공급되는 카메라 파라미터에 기초하여, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터 오클루전 3차원 데이터를 추출하고, 메타데이터로서 부호화부(22)에 공급한다.
(소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 예)
도 3은, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 예를 도시하는 도면이다.
도 3의 A의 예에서는, 소정의 표시 화상 생성 방식이, 소정의 1시점의 표시 화상을 2차원 표시하는 소정 시점 표시 화상 생성 방식과, 하나의 임의의 시점인 자유 시점의 표시 화상을 2차원 표시하는 자유 시점 표시 화상 생성 방식이다. 이 경우, 도 3의 A에 도시하는 바와 같이, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점은, 예를 들어 동일 원 상에 등간격으로 존재하는 복수(도 3의 A의 예에서는 8)의 시점(71 내지 78)이며, 시점(71 내지 78)의 방향은, 그 원의 중심을 향하는 방향이다.
이상에 의해, 복호 장치(13)는, 시점(71 내지 78) 중 어느 시점의 2차원 화상 데이터를 표시 화상 데이터로서 선택하고, 표시 장치(14)에 공급함으로써, 그 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다.
또한, 복호 장치(13)는, 시점(71 내지 78)의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 3차원 데이터를 생성하고, 자유 시점에 대하여, 그 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행함으로써, 자유 시점의 2차원 화상 데이터를 표시 화상 데이터로서 생성할 수 있다. 따라서, 복호 장치(13)는, 생성된 표시 화상 데이터를 표시 장치(14)에 공급함으로써, 자유 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다.
도 3의 B의 예에서는, 소정의 표시 화상 생성 방식이, 소정 시점 표시 화상 생성 방식, 자유 시점 표시 화상 생성 방식, 2시점의 2차원 화상 데이터에 기초하여 표시 화상을 3차원 표시시키는 3차원 표시 화상 생성 방식, 및 2시점의 사이의 시점의 표시 화상을 2차원 표시시키는 보간 시점 표시 화상 생성 방식이다.
이 경우, 도 3의 B에 도시하는 바와 같이, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점은, 예를 들어 동일 원 상에 등간격으로 존재하는 복수(도 3의 B의 예에서는 10)의 시점(81 내지 90)이다. 시점(88)과 시점(89)은, 각각 시점(87), 시점(88)과 대략 수평 방향으로 배열된다. 시점(87)과 시점(89) 및 시점(88)과 시점(90)의 대략 수평 방향의 간격은, 예를 들어 인간의 좌우 눈의 간격에 대응한다. 시점(81 내지 90)의 방향은, 시점(81 내지 90)이 배치되는 원의 중심을 향하는 방향이다.
이상에 의해, 복호 장치(13)는, 도 3의 A의 경우와 마찬가지로, 시점(81 내지 90) 중 어느 시점의 표시 화상 또는 자유 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다. 또한, 복호 장치(13)는, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어의 2차원 화상 데이터를 표시 화상 데이터로서 선택하고, 표시 장치(14)에 공급함으로써, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어의 표시 화상을 표시 장치(14)에 3차원 표시시킬 수 있다.
또한, 복호 장치(13)는, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 그 페어 사이의 시점의 2차원 화상 데이터를 보간할 수 있다. 따라서, 복호 장치(13)는, 보간된 2차원 화상 데이터를 표시 화상 데이터로서 표시 장치(14)에 공급함으로써, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어 사이의 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다.
도 3의 A 및 도 3의 B의 예의 경우, 소정의 표시 화상 생성 방식의 수는 복수이다. 따라서, 복호 장치(13)는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 소정의 표시 화상 생성 방식 중 어느 것으로 표시 화상 데이터를 생성할 수 있다. 따라서, 부호화 장치(12)는, 스케일러빌리티를 갖는 부호화 스트림을 생성할 수 있다고 할 수 있다. 또한, 소정의 표시 화상 생성 방식의 수는 1개여도 된다.
또한, 카메라 결정부(52)는, 촬상 장치(11)의 카메라의 수가, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점보다 많은 경우, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 카메라 파라미터를 결정함으로써, 시점의 용장성을 없앨 수 있다.
예를 들어, 촬상 장치(11)의 카메라의 시점이 시점(71 내지 78)의 8시점이지만, 복수의 표시 화상 생성 방식에 대응하는 복수의 시점이 시점(71), 시점(73), 시점(75) 및 시점(77)의 4시점인 경우, 카메라 결정부(52)는, 그 4시점의 카메라 파라미터를 결정한다. 따라서, 시점(71 내지 78)의 모든 2차원 화상 데이터와 뎁스 화상 데이터가 부호화되는 경우에 비하여, 부호화 스트림에 있어서의 시점의 용장성을 없앨 수 있다.
복수의 표시 화상 생성 방식에 대응하는 복수의 시점의 위치는, 도 3의 A 및 도 3의 B의 예에 한정되지 않고, 임의의 위치로 하는 것이 가능하다. 또한, 각 시점의 카메라 파라미터는, 예를 들어 비교적 좁은 화각에 대응하는 카메라 파라미터로 할 수 있다. 이 경우, 표시 화상의 줌 시의 해상도를 향상시킬 수 있다.
또한, 본 명세서에서는, 소정의 표시 화상 생성 방식의 수가 복수인 경우라도, 소정의 표시 화상 생성 방식 모두에 대응하는 복수의 시점의 부호화 스트림이 생성되도록 하지만, 소정의 표시 화상 생성 방식마다, 대응하는 복수의 시점의 부호화 스트림이 생성되도록 해도 된다. 이 경우, 복호 장치(13)는, 자신의 표시 화상 생성 방식에 대응하는 부호화 스트림을 사용하여 표시 화상 데이터를 생성한다.
또한, 카메라 결정부(52)는, 복호 장치(13)로부터의 요구에 따라, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점을 결정하도록 해도 된다.
(카메라 관련 정보의 예)
도 4는, 카메라 관련 정보의 예를 도시하는 도면이다.
도 4의 예에서는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점이, 도 3의 B의 시점(81 내지 90)이다.
도 4에 도시하는 바와 같이, 카메라 관련 정보는, 각 시점의 카메라 ID에, 그 시점의 외부 파라미터 R|T, 내부 파라미터 A, isStereoFlag 및 스테레오 카메라 ID가 대응지어짐으로써 구성된다.
카메라 ID는, 시점에 고유한 ID이다. 도 4의 예에서는, 카메라 ID는, 시점(81 내지 90)에 대하여 0부터 순서대로 부여되어 있다. 또한, 도 4에서는, 카메라 ID가 i인 외부 파라미터 R|T를 Ri|Ti, 내부 파라미터 A를 Ai로 기재하고 있다.
isStereoFlag는, 대략 수평 방향으로 배열되는 다른 시점이 존재하는지 여부를 나타내는 플래그이며, 대략 수평 방향으로 배열되는 다른 시점이 존재하는 경우 1로 설정된다. 도 4의 예에서는, 카메라 ID가 6 내지 9인 시점(87 내지 90)에, 대략 수평 방향으로 배열되는 다른 시점이 존재하기 때문에, 도 4에 도시하는 바와 같이, 6 내지 9인 카메라 ID에 대응지어진 isStereoFlag는 1이 된다.
스테레오 카메라 ID는, 대략 수평 방향으로 배열되는 다른 시점의 카메라 ID이고, 대략 수평 방향으로 배열되는 2개의 시점을 특정하는 페어 정보이다. 도 4의 예에서는, 카메라 ID가 6인 시점(87)의 대략 수평 방향으로 배열되는 다른 시점(89)의 카메라 ID는 8이므로, 6인 카메라 ID에 대응지어진 스테레오 카메라 ID는 8이 된다.
마찬가지로, 카메라 ID가 7인 시점(88)의 대략 수평 방향으로 배열되는 다른 시점(90)의 카메라 ID는 9이므로, 7인 카메라 ID에 대응지어진 스테레오 카메라 ID는 9가 된다. 또한, 8인 카메라 ID에 대응지어진 스테레오 카메라 ID는 6이 되고, 9인 카메라 ID에 대응지어진 스테레오 카메라 ID는 7이 된다.
(촬상 장치와 부호화 장치의 처리의 설명)
도 5는, 도 1의 촬상 장치(11)와 부호화 장치(12)의 부호화 처리를 설명하는 흐름도이다.
도 5의 스텝 S11에 있어서, 촬상 장치(11)는, 멀티 카메라로 동화상의 2차원 화상 데이터를 촬상하고, 측거 측정기로 뎁스 화상 데이터를 생성한다. 스텝 S12에 있어서, 촬상 장치(11)는, 2차원 화상 데이터와 뎁스 화상 데이터를 사용하여 3차원 데이터를 생성하고, 부호화 장치(12)에 공급한다.
스텝 S13에 있어서, 부호화 장치(12)의 피사체 위치 결정부(51)(도 2)는, 촬상 장치(11)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 결정부(52)에 공급한다.
스텝 S14에 있어서, 카메라 결정부(52)는, 피사체 위치 결정부(51)로부터 공급되는 피사체 위치 정보에 기초하여, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 카메라 파라미터를 결정하고, 2차원 데이터 생성부(53)와 오클루전 결정부(54)에 공급한다. 또한, 카메라 결정부(52)는, 카메라 파라미터 등으로부터 도 4의 카메라 관련 정보를 생성하고, 메타데이터로서 도 1의 부호화부(22)에 공급한다.
스텝 S15에 있어서, 2차원 데이터 생성부(53)는, 카메라 결정부(52)로부터 공급되는 복수의 시점의 카메라 파라미터에 기초하여, 시점마다, 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행하여, 각 화소의 2차원 좌표에 대응하는 3차원 좌표를 구한다.
스텝 S16에 있어서, 2차원 데이터 생성부(53)는, 시점마다, 3차원 데이터 중 각 화소의 3차원 좌표의 2차원 화상 데이터를 각 화소의 2차원 화상 데이터로 함으로써, 2차원 화상 데이터를 생성한다. 또한, 2차원 데이터 생성부(53)는, 시점마다, 각 화소의 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 뎁스 화상 데이터를 생성한다. 2차원 데이터 생성부(53)는, 각 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화부(22)에 공급한다.
스텝 S17에 있어서, 오클루전 결정부(54)는, 카메라 결정부(52)로부터 공급되는 카메라 파라미터에 기초하여, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터 오클루전 3차원 데이터를 추출하고, 메타데이터로서 부호화부(22)에 공급한다.
스텝 S18에 있어서, 부호화부(22)는, 변환부(21)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 부호화하고, 그 결과 얻어지는 부호화 스트림을 전송부(23)에 공급한다.
스텝 S19에 있어서, 전송부(23)는, 부호화부(22)로부터 공급되는 부호화 스트림을 복호 장치(13)에 전송한다. 그리고, 처리는 종료된다.
(변환부(33)의 제1 구성예)
도 6은, 도 1의 변환부(33)의 제1 구성예를 도시하는 블록도이다.
도 6의 변환부(33)는, 도 1의 복호 장치(13)의 표시 화상 생성 방식이 소정 시점 표시 화상 생성 방식인 경우의 변환부(33)이며, 선택부(111)와 표시 제어부(112)에 의해 구성된다.
변환부(33)의 선택부(111)는, 도 1의 복호부(32)로부터 공급되는 카메라 관련 정보에 기초하여, 원하는 1시점의 카메라 ID를 인식한다. 선택부(111)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 오클루전 3차원 데이터 중의, 인식된 카메라 ID에 대응하는 1시점의 2차원 화상 데이터를 선택한다. 선택부(111)는, 선택된 1시점의 2차원 화상 데이터를 표시 제어부(112)에 공급한다.
표시 제어부(112)는, 선택부(111)로부터 공급되는 1시점의 2차원 화상 데이터를 표시 화상 데이터로서 표시 장치(14)에 공급함으로써, 표시 화상을 표시 장치(14)에 2차원 표시시킨다.
또한, 도시는 생략하지만, 복호 장치(13)의 표시 화상 생성 방식이 3차원 표시 화상 생성 방식인 경우의 변환부(33)의 구성은, 선택부(111)가, 카메라 관련 정보에 기초하여 대략 수평 방향으로 배열되는 2시점의 2차원 화상 데이터를 선택하는 점을 제외하고, 도 6의 구성과 동일하다.
즉, 이 경우, 선택부(111)는, 카메라 관련 정보 중 isStereoFlag가 1인 카메라 ID의 시점과, 그 카메라 ID에 대응하는 스테레오 카메라 ID의 시점의 2차원 화상 데이터를 선택한다. 그 결과, 표시 장치(14)에는, 선택된 2시점의 2차원 화상 데이터가 표시 화상 데이터로서 공급된다. 표시 장치(14)는, 표시 화상 데이터 중 1시점의 2차원 화상 데이터에 기초하여 좌안용 표시 화상을 표시하고, 다른 1시점의 2차원 화상 데이터에 기초하여 우안용 표시 화상을 표시함으로써, 표시 화상을 3차원 표시한다.
(변환부(33)의 제2 구성예)
도 7은, 도 1의 변환부(33)의 제2 구성예를 도시하는 블록도이다.
도 7의 변환부(33)는, 복호 장치(13)의 표시 화상 생성 방식이 보간 시점 표시 화상 생성 방식인 경우의 변환부(33)이며, 선택부(131), 보간부(132) 및 표시 제어부(133)에 의해 구성된다.
변환부(33)의 선택부(131)는, 도 1의 복호부(32)로부터 공급되는 카메라 관련 정보에 기초하여, 1인 isStereoFlag에 대응하는 카메라 ID 중 1개와, 그 1개에 대응하는 스테레오 카메라 ID를 인식한다. 선택부(131)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터 및 오클루전 3차원 데이터 중의, 인식된 2개의 카메라 ID에 대응하는 2시점의 2차원 화상 데이터와 뎁스 화상 데이터를 선택하고, 보간부(132)에 공급한다.
보간부(132)는, 선택부(131)로부터 공급되는 2시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 그 2시점의 사이의 위치를 시점으로 하는 2차원 화상 데이터를 보간한다. 이러한 보간 기술은, Depth Image Based Rendering이라고 불리며, 예를 들어 국제 공개 WO2014083752호 팸플릿에 기재되어 있다. 보간부(132)는, 보간된 1시점의 2차원 화상 데이터를 표시 제어부(133)에 공급한다.
표시 제어부(133)는, 보간부(132)로부터 공급되는 1시점의 2차원 화상 데이터를 표시 화상 데이터로서 표시 장치(14)에 공급함으로써, 표시 화상을 표시 장치(14)에 2차원 표시시킨다.
(변환부(33)의 제3 구성예)
도 8은, 도 1의 변환부(33)의 제3 구성예를 도시하는 블록도이다.
도 8의 변환부(33)는, 복호 장치(13)의 표시 화상 생성 방식이 자유 시점 표시 화상 생성 방식인 경우의 변환부(33)이다. 도 8의 변환부(33)는, 3차원 데이터 생성부(151), 피사체 위치 결정부(152), 카메라 위치 결정부(153), 2차원 데이터 생성부(154) 및 표시 제어부(155)에 의해 구성된다.
변환부(33)의 3차원 데이터 생성부(151)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 카메라 관련 정보에 포함되는 카메라 파라미터를 사용하여, 촬상 장치(11)와 마찬가지로, 피사체의 3차원 데이터를 생성한다. 3차원 데이터 생성부(151)는, 생성된 3차원 데이터를, 복호부(32)로부터 공급되는 오클루전 3차원 데이터를 사용하여 수정한다. 이에 의해, 2차원 화상 데이터와 뎁스 화상 데이터만으로는 생성할 수 없는 오클루전 영역을 포함하는 피사체의 전체 영역의 3차원 데이터를 생성할 수 있다. 3차원 데이터 생성부(151)는, 수정된 3차원 데이터를 피사체 위치 결정부(152)와 2차원 데이터 생성부(154)에 공급한다.
피사체 위치 결정부(152)는, 3차원 데이터 생성부(151)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 위치 결정부(153)에 공급한다.
카메라 위치 결정부(153)는, 피사체 위치 결정부(152)로부터 공급되는 피사체 위치 정보에 기초하여, 자유 시점의 카메라 파라미터를 결정하고, 카메라 파라미터를 2차원 데이터 생성부(154)에 공급한다.
2차원 데이터 생성부(154)는, 3차원 데이터 생성부(151)로부터 공급되는 3차원 데이터와, 카메라 위치 결정부(153)로부터 공급되는 자유 시점의 카메라 파라미터에 기초하여, 자유 시점 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성한다.
구체적으로는, 2차원 데이터 생성부(154)는, 자유 시점의 카메라 파라미터에 기초하여, 도 2의 2차원 데이터 생성부(53)와 마찬가지로, 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행하여, 각 화소의 2차원 좌표에 대응하는 3차원 좌표를 구한다. 그리고, 2차원 데이터 생성부(154)는, 3차원 데이터 중 각 화소의 2차원 좌표에 대응하는 3차원 좌표의 2차원 화상 데이터를, 각 화소의 표시 화상 데이터로서 생성한다.
또한, 2차원 데이터 생성부(154)는, 각 화소의 2차원 좌표에 대응하는 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 뎁스 화상 데이터를 생성한다. 2차원 데이터 생성부(154)는, 표시 화상 데이터와 뎁스 화상 데이터를 표시 제어부(155)에 공급한다.
표시 제어부(155)는, 2차원 데이터 생성부(154)로부터 공급되는 표시 화상 데이터와 뎁스 화상 데이터를 표시 장치(14)에 공급한다. 표시 장치(14)는, 예를 들어 표시 화상 데이터와 뎁스 화상 데이터를 Point Cloud로 하여, 표시 화상을 2차원 표시한다.
이상과 같이, 도 8의 변환부(33)는, 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터로부터 3차원 데이터를 생성하고, 새롭게 결정된 자유 시점의 카메라 파라미터에 기초하여, 그 3차원 데이터로부터, 2차원 화상 데이터와 뎁스 화상 데이터를 생성한다. 따라서, 변환부(33)는, 부호화 장치(12)로부터 전송되어 오는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 줌 배율을 변경하거나, 시점을 변경하거나 할 수 있다.
(복호 장치의 처리의 설명)
도 9는, 도 1의 변환부(33)의 구성이 도 8의 구성인 경우의 복호 장치(13)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 부호화 장치(12)로부터 부호화 스트림이 전송되어 왔을 때 개시된다.
도 9의 스텝 S31에 있어서, 복호 장치(13)의 수취부(31)는, 전송부(23)로부터 전송되어 오는 부호화 스트림을 수취하고, 복호부(32)에 공급한다.
스텝 S32에 있어서, 복호부(32)는, 수취부(31)로부터 공급되는 부호화 스트림을 복호한다. 복호부(32)는, 그 결과 얻어지는 복수의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 변환부(33)에 공급한다.
스텝 S33에 있어서, 변환부(33)의 3차원 데이터 생성부(151)(도 8)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 메타데이터에 포함되는 카메라 파라미터를 사용하여, 촬상 장치(11)와 마찬가지로, 피사체의 3차원 데이터를 생성한다.
스텝 S34에 있어서, 3차원 데이터 생성부(151)는, 복호부(32)로부터 공급되는 메타데이터에 포함되는 오클루전 3차원 데이터를 사용하여, 스텝 S33에서 생성된 3차원 데이터를 수정한다. 3차원 데이터 생성부(151)는, 수정된 3차원 데이터를 피사체 위치 결정부(152)에 공급한다.
스텝 S35에 있어서, 피사체 위치 결정부(152)는, 3차원 데이터 생성부(151)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 위치 결정부(153)에 공급한다.
스텝 S36에 있어서, 카메라 위치 결정부(153)는, 피사체 위치 결정부(152)로부터 공급되는 피사체 위치 정보에 기초하여, 자유 시점의 카메라 파라미터를 결정하고, 카메라 파라미터를 2차원 데이터 생성부(154)에 공급한다.
스텝 S37에 있어서, 2차원 데이터 생성부(154)는, 3차원 데이터와 자유 시점의 카메라 파라미터에 기초하여, 자유 시점 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성한다.
스텝 S38에 있어서, 2차원 데이터 생성부(154)는, 각 화소의 2차원 좌표에 대응하는 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 뎁스 화상 데이터를 생성한다. 2차원 데이터 생성부(154)는, 표시 화상 데이터와 뎁스 화상 데이터를 표시 제어부(155)에 공급한다.
스텝 S39에 있어서, 표시 제어부(155)는, 2차원 데이터 생성부(154)로부터 공급되는 표시 화상 데이터와 뎁스 화상 데이터를 표시 장치(14)에 공급한다.
이상과 같이, 전송 시스템(10)에서는, 촬상 장치(11)가, 촬상된 복수의 시점의 2차원 화상 데이터로부터 3차원 데이터를 생성하고, 부호화 장치(12)가, 그 3차원 데이터로부터 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 생성하여 부호화한다. 따라서, 부호화 장치(12)는, 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 복호 장치(13)가 취득할 수 있도록 부호화할 수 있다.
또한, 복호 장치(13)는, 부호화 장치(12)로부터 전송되어 오는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 스트림을 수취하여 복호한다. 따라서, 복호 장치(13)는, 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 취득할 수 있다.
또한, 소정의 표시 화상 생성 방식의 수가 복수인 경우, 복수의 표시 화상 생성 방식의 복호 장치에서, 부호화 장치(12)에서 생성된 부호화 스트림을 재생할 수 있다. 예를 들어, 표시 화상 생성 방식이 소정 시점 표시 화상 생성 방식인 저기능의 복호 장치와, 표시 화상 생성 방식이 자유 시점 화상 생성 방식인 고기능의 복호 장치의 양쪽에서, 자신의 능력에 따른 부호화 스트림의 재생을 행할 수 있다.
<제2 실시 형태>
(전송 시스템의 제2 실시 형태의 구성예)
도 10은, 본 개시를 적용한 전송 시스템의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 10에 도시하는 구성 중, 도 1의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 10의 전송 시스템(170)의 구성은, 촬상 장치(11), 부호화 장치(12) 및 복호 장치(13)가, 촬상 장치(171), 부호화 장치(172) 및 복호 장치(173)를 대신하는 점이, 도 1의 전송 시스템(10)의 구성과 상이하다. 전송 시스템(170)에서는, 촬상 장치(171)에 의해 취득된 2차원 화상 데이터와 뎁스 화상 데이터가 그대로 부호화되어 전송된다.
구체적으로는, 전송 시스템(170)의 촬상 장치(171)는, 멀티 카메라(181)와 화상 처리부(182)에 의해 구성된다. 촬상 장치(171)의 멀티 카메라(181)를 구성하는 복수의 카메라는, 각각 2차원 화상 데이터를 촬상한다. 멀티 카메라(181)는, 각 카메라에 의해 촬상된 2차원 화상 데이터를 화상 처리부(182)에 공급한다.
화상 처리부(182)는, 멀티 카메라(181)를 구성하는 복수의 카메라 중 하나의 카메라를 기준 카메라로 하고, 다른 카메라를 참조 카메라로 한다. 화상 처리부(182)는, 멀티 카메라(181)의 기준 카메라에 의해 촬상된 2차원 화상 데이터와 각 참조 카메라에 의해 촬상된 2차원 화상 데이터에 기초하여, 기준 카메라에 대한 각 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 검출한다. 또한, 화상 처리부(182)는, 기준 카메라의 동기 어긋남을 0으로서 검출한다. 화상 처리부(182)는, 검출된 각 카메라의 시점의 동기 어긋남을 나타내는 정보를 포함하는 동기 어긋남 정보와 카메라 관련 정보를 부호화 장치(172)에 공급한다.
또한, 화상 처리부(182)는, 각 카메라에 의해 촬상된 2차원 화상 데이터에 대하여 스테레오 매칭을 행함으로써, 각 카메라의 뎁스 화상 데이터를 생성하고, 부호화 장치(172)에 공급한다.
부호화 장치(172)는, 촬상 장치(171)로부터 공급되는 동기 어긋남 정보와 카메라 관련 정보를 메타데이터로 한다. 부호화 장치(172)는, 도 1의 부호화부(22)와 마찬가지로, 촬상 장치(171)로부터 공급되는 각 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 부호화하고, 부호화 스트림을 생성한다. 부호화 장치(172)(전송부)는, 생성된 부호화 스트림을 복호 장치(173)에 전송한다.
복호 장치(173)의 구성은, 복호부(32)와 변환부(33)가, 복호부(191)와 변환부(192)를 대신하는 점이, 도 1의 복호 장치(13)의 구성과 상이하다.
복호 장치(173)의 복호부(191)는, 수취부(31)로부터 공급되는 부호화 스트림을, 부호화 장치(172)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(191)는, 그 결과 얻어지는 메타데이터 중 동기 어긋남 정보에 기초하여, 기준 카메라와 각 참조 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시켜, 변환부(192)에 공급한다. 또한, 복호부(191)는, 메타데이터 중 카메라 관련 정보를 변환부(192)에 공급한다.
변환부(192)의 구성은, 3차원 데이터가 오클루전 3차원 데이터를 사용하여 보정되지 않는 점을 제외하고, 도 1의 변환부(33)의 구성과 동일하므로, 설명은 생략한다.
(촬상 장치의 구성예)
도 11은, 도 10의 촬상 장치(171)의 구성예를 도시하는 블록도이다.
도 11의 촬상 장치(171)의 멀티 카메라(181)는, N개(N은 복수)의 카메라(211-1 내지 211-N)에 의해 구성된다.
카메라(211-1 내지 211-N)는, 예를 들어 카메라(211-1 내지 211-N)의 시점이 소정의 표시 화상 생성 방식에 대응하는 시점이 되도록 배치된다. 카메라(211-1 내지 211-N)는, 각각 촬상을 행하고, 그 결과 얻어지는 동화상의 2차원 화상 데이터(촬상 화상 데이터)를 화상 처리부(182)에 공급한다. 이하에서는, 카메라(211-1 내지 211-N)를 특별히 구별할 필요가 없는 경우, 그것들을 통합하여 카메라(211)라고 한다.
화상 처리부(182)는 캘리브레이션부(221), 동기 어긋남 검출부(222) 및 뎁스 생성부(223)에 의해 구성된다.
화상 처리부(182)의 캘리브레이션부(221)는, 카메라(211)마다, 멀티 카메라(181)로부터 공급되는 2차원 화상 데이터에 대하여, 카메라 파라미터를 사용하여 캘리브레이션을 행한다. 캘리브레이션부(221)는, 캘리브레이션 후의 각 카메라(211)의 2차원 화상 데이터를 동기 어긋남 검출부(222)에 공급한다. 또한, 캘리브레이션부(221)는, 카메라 관련 정보를 도 10의 부호화 장치(172)에 공급한다.
동기 어긋남 검출부(222)는, 카메라(211-1 내지 211-N) 중 하나를 기준 카메라로 하고, 나머지를 참조 카메라로 한다. 동기 어긋남 검출부(222)는, 캘리브레이션부(221)로부터 공급되는 기준 카메라의 2차원 화상 데이터와 참조 카메라의 2차원 화상 데이터에 기초하여, 참조 카메라마다, 기준 카메라에 대한 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 msec 오더로 검출한다.
구체적으로는, 동기 어긋남 검출부(222)는, 기준 카메라의 2차원 화상 데이터와 참조 카메라의 2차원 화상 데이터로부터 플래시 광을 검출한다. 동기 어긋남 검출부(222)는, 플래시 광이 검출된 기준 카메라의 2차원 화상 데이터와 참조 카메라의 2차원 화상 데이터의 촬상 시각의 차분을, 참조 카메라의 2차원 화상 데이터의 동기 어긋남으로서 검출한다.
참조 카메라의 2차원 화상 데이터의 동기 어긋남은, 플래시 광을 검출하는 방법 이외의 방법에 의해, 2차원 화상 데이터를 사용하여 행해지도록 해도 된다. 또한, 카메라(211)가 2차원 화상 데이터와 함께 음성 데이터를 취득하는 경우에는, 기준 카메라에 대한 참조 카메라의 음성 데이터의 동기 어긋남을 검출함으로써, 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 검출하도록 해도 된다.
동기 어긋남 검출부(222)는, 기준 카메라의 2차원 화상 데이터의 동기 어긋남을 0으로서 검출한다. 동기 어긋남 검출부(222)는, 검출된 동기 어긋남의 동기 어긋남 정보를 부호화 장치(172)에 공급한다. 또한, 동기 어긋남 검출부(222)는, 캘리브레이션부(221)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터를 뎁스 생성부(223)에 공급한다.
뎁스 생성부(223)는, 동기 어긋남 검출부(222)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터에 대하여 스테레오 매칭을 행함으로써, 각 카메라(211)의 뎁스 화상 데이터를 생성한다. 뎁스 생성부(223)는, 각 카메라(211)의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화 장치(172)에 공급한다.
(동기 어긋남 정보의 예)
도 12는, 동기 어긋남 정보의 예를 도시하는 도면이다.
도 12의 예에서는, 카메라(211)의 시점이, 도 3의 B의 시점(81 내지 90)이다.
도 12에 도시하는 바와 같이, 동기 어긋남 정보는, 각 카메라(211)의 시점의 카메라 ID에, 그 카메라(211)의 num_units_in_tick, time_scale, Delta_num_units_in_tick 및 Delta_time_scale이 대응지어짐으로써 구성된다.
num_units_in_tick는, 프레임 간격이 time_scale로 정의되는 time_unit가 몇 개분인지를 나타내는 정보이다. time_scale은, 1초간의 time_unit의 수이다. 따라서, num_units_in_tick와 time_scale에 의해, 프레임 레이트를 나타낼 수 있다.
도 12의 예에서는, 카메라 ID가 0, 1, 4 및 5인 카메라(211)의 프레임 레이트는 60Hz(59.94Hz)이다. 따라서, 예를 들어 카메라 ID가 0, 1, 4 및 5인 카메라(211)의 num_units_in_tick는 1001이고, time_scale은 60000이다. 또한, 카메라 ID가 2, 3 및 6 내지 9인 카메라(211)의 프레임 레이트는 30Hz(29.97Hz)이다. 따라서, 예를 들어 카메라 ID가 2, 3 및 6 내지 9인 카메라(211)의 num_units_in_tick는 2002이고, time_scale은 60000이다.
Delta_num_units_in_tick는, 동기 어긋남이 Delta_time_scale로 정의되는 time_unit가 몇 개분인지를 나타내는 정보이다. Delta_time_scale은, 1초간의 time_unit의 수이다. 따라서, Delta_num_units_in_tick와 Delta_time_scale에 의해, 동기 어긋남을 나타낼 수 있다.
도 12의 예에서는, 카메라 ID가 0인 카메라(211)가 기준 카메라이다. 따라서, 0인 카메라 ID에 대응하는 Delta_num_units_in_tick는 0이다. 또한, 도 12의 예에서는, 카메라 ID가 3, 4, 7 및 9인 카메라(211)의 동기 어긋남은 0이다. 따라서, 3, 4, 7 및 9인 카메라 ID에 대응하는 Delta_num_units_in_tick도 0이다.
또한, 도 12의 예에서는, 카메라 ID가 1 및 5인 카메라(211)의 동기 어긋남은 1/30(1/29.97)초이다. 따라서, 예를 들어 1 및 5인 카메라 ID에 대응하는 Delta_num_units_in_tick는 2002이고, Delta_time_scale은 60000이다. 또한, 카메라 ID가 2, 6 및 8인 카메라(211)의 동기 어긋남은 1/15(1/14.985)초이다. 따라서, 예를 들어 2, 6 및 8인 카메라 ID에 대응하는 Delta_num_units_in_tick는 4004이고, Delta_time_scale은 60000이다.
또한, 동기 어긋남 정보에는, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일한지 여부를 나타내는 동기 어긋남 공통 플래그가 포함되도록 해도 된다.
이 경우, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일할 때, 동기 어긋남 정보는, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일함을 나타내는 동기 어긋남 공통 플래그, 각 카메라(211)의 동기 어긋남의 유무를 나타내는 동기 어긋남 플래그(동기 어긋남 유무 정보), 및 동기 어긋남이 발생한 모든 카메라(211)에 공통인 동기 어긋남을 나타내는 정보에 의해 구성된다.
한편, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일하지는 않을 때, 동기 어긋남 정보는, 도 12의 동기 어긋남 정보와, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일하지는 않음을 나타내는 동기 어긋남 공통 플래그에 의해 구성된다.
(부호화 장치의 구성예)
도 13은, 도 10의 부호화 장치(172)의 구성예를 도시하는 블록도이다.
도 13의 부호화 장치(172)는, AVC 방식 또는 HEVC 방식으로 부호화를 행하는 경우의 부호화 장치(172)이며, 2N개의 부호화부(241-1 내지 241-2N)와 전송부(242)를 구비한다.
부호화 장치(172)의 부호화부(241-1 내지 241-2N)는, 각각 촬상 장치(171)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터 또는 뎁스 화상 데이터를, AVC 방식 또는 HEVC 방식으로 부호화하고, 부호화 스트림을 생성한다.
부호화부(241-1 내지 241-2N)는, 촬상 장치(171)로부터 공급되는 카메라 관련 정보와 동기 어긋남 정보, 그리고 카메라 관련 정보 및 동기 어긋남 정보와 부호화 스트림을 대응짓는 정보를 메타데이터로 한다. 부호화부(241-1 내지 241-2N)는, 생성된 부호화 스트림의 User unregistered SEI에 메타데이터를 배치한다.
또한, 부호화부(241-1 내지 241-N)는, 부호화 스트림의 User unregistered SEI에, 그 부호화 스트림에 대응하는 메타데이터만을 배치할 수도 있다. 이 경우, 카메라 관련 정보 및 동기 어긋남 정보와 부호화 스트림을 대응짓는 정보는 메타데이터에 포함되지 않는다. 부호화부(241-1 내지 241-2N)는, 메타데이터가 배치된 부호화 스트림을 전송부(242)에 공급한다.
전송부(242)는, 부호화부(241-1 내지 241-2N)로부터 공급되는 부호화 스트림을 도 10의 복호 장치(173)에 전송한다.
(촬상 장치와 부호화 장치의 처리의 설명)
도 14는, 도 10의 촬상 장치(171)와 부호화 장치(172)의 부호화 처리를 설명하는 흐름도이다.
도 14의 스텝 S51에 있어서, 촬상 장치(171)의 카메라(211)(도 11)는, 촬상을 행하고, 그 결과 얻어지는 동화상의 2차원 화상 데이터를 화상 처리부(182)에 공급한다.
스텝 S52에 있어서, 화상 처리부(182)의 캘리브레이션부(221)는, 카메라(211)마다, 멀티 카메라(181)로부터 공급되는 2차원 화상 데이터에 대하여, 카메라 파라미터를 사용하여 캘리브레이션을 행한다. 캘리브레이션부(221)는, 캘리브레이션 후의 각 카메라(211)의 2차원 화상 데이터를 동기 어긋남 검출부(222)에 공급한다.
스텝 S53에 있어서, 캘리브레이션부(221)는, 카메라 관련 정보를 메타데이터로서 부호화 장치(172)에 공급한다.
스텝 S54에 있어서, 동기 어긋남 검출부(222)는, 참조 카메라마다, 캘리브레이션부(221)로부터 공급되는 기준 카메라와 참조 카메라의 2차원 화상 데이터에 기초하여, 기준 카메라에 대한 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 검출한다. 또한, 동기 어긋남 검출부(222)는, 기준 카메라의 2차원 화상 데이터의 동기 어긋남으로서 0을 검출한다.
스텝 S55에 있어서, 동기 어긋남 검출부(222)는, 검출된 동기 어긋남의 동기 어긋남 정보를 메타데이터로서 부호화 장치(172)에 공급한다. 또한, 동기 어긋남 검출부(222)는, 캘리브레이션부(221)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터를 뎁스 생성부(223)에 공급한다.
스텝 S56에 있어서, 뎁스 생성부(223)는, 동기 어긋남 검출부(222)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터에 대하여 스테레오 매칭을 행함으로써, 각 카메라(211)의 뎁스 화상 데이터를 생성한다.
스텝 S57에 있어서, 뎁스 생성부(223)는, 각 카메라(211)의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화 장치(172)에 공급한다.
스텝 S58에 있어서, 부호화 장치(172)는, 촬상 장치(171)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 부호화하고, 부호화 스트림을 생성한다.
스텝 S59에 있어서, 부호화 장치(172)는, 생성된 부호화 스트림을 복호 장치(173)에 전송한다. 그리고, 처리는 종료된다.
(복호부의 구성예)
도 15는, 도 10의 복호부(191)의 구성예를 도시하는 블록도이다.
도 15의 예에서는, 부호화 장치(172)의 구성이 도 13의 구성이며, 부호화 장치(172)로부터 전송되어 오는 부호화 스트림의 부호화 방식이 AVC 방식 또는 HEVC 방식이다. 도 15의 복호부(191)는, 2N개의 복호 처리부(261-1 내지 261-2N)와 출력부(262)에 의해 구성된다.
복호부(191)의 복호 처리부(261-1 내지 261-2N)는, 수취부(31)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터의 부호화 스트림을, 각각 AVC 방식 또는 HEVC 방식에 대응하는 방식으로 복호한다. 복호 처리부(261-1 내지 261-2N)는, 복호 결과 얻어지는 각 카메라(211)의 2차원 화상 데이터 또는 뎁스 화상 데이터와, 메타데이터를 구성하는 카메라 관련 정보 및 동기 어긋남 정보를 출력부(262)에 공급한다.
출력부(262)(동기 처리부)는, 복호 처리부(261-1 내지 261-2N)로부터 공급되는 동기 어긋남 정보에 기초하여, 참조 카메라마다, 기준 카메라와 참조 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시켜 도 10의 변환부(192)에 공급한다.
예를 들어, 동기 어긋남 정보에 포함되는 참조 카메라의 num_units_in_tick가 1001이고, Delta_num_units_in_tick가 2002이고, time_scale과 Delta_time_scale이 60000인 경우, 출력부(262)는, 참조 카메라의 2차원 화상 데이터와 뎁스 화상 데이터를 2프레임만큼 늦춰서 변환부(192)에 공급한다. 또한, 출력부(262)는, 복호 처리부(261-1 내지 261-2N)로부터 공급되는 카메라 관련 정보를 변환부(192)에 공급한다.
이상에 의해, 변환부(192)에 공급되는 각 카메라(211)의 2차원 화상 데이터와 뎁스 화상 데이터가 동기하기 때문에, 변환부(192)에 있어서의 3차원 데이터의 생성 정밀도가 향상된다.
(복호 장치의 처리의 설명)
도 16은, 도 10의 변환부(192)의 구성이, 3차원 데이터가 오클루전 3차원 데이터를 사용하여 보정되지 않는 점을 제외하고 도 8의 구성과 동일한 경우의 복호 장치(173)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 부호화 장치(172)로부터 부호화 스트림이 전송되어 왔을 때, 개시된다.
도 16의 스텝 S71에 있어서, 복호 장치(173)의 수취부(31)는, 부호화 장치(172)로부터 전송되어 오는 부호화 스트림을 수취하여, 복호부(191)에 공급한다.
스텝 S72에 있어서, 복호부(191)는, 수취부(31)로부터 공급되는 부호화 스트림을, 부호화 장치(172)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다.
스텝 S73에 있어서, 복호부(191)는, 복호 결과 얻어지는 메타데이터 중 동기 어긋남 정보에 기초하여, 참조 카메라마다, 기준 카메라와 참조 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시켜 변환부(192)에 공급한다. 또한, 출력부(262)는, 메타데이터 중 카메라 관련 정보를 변환부(192)에 공급한다.
스텝 S74에 있어서, 변환부(192)는, 복호부(191)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 카메라 관련 정보에 포함되는 카메라 파라미터를 사용하여, 촬상 장치(11)와 마찬가지로, 피사체의 3차원 데이터를 생성한다.
스텝 S75 내지 S79의 처리는, 도 9의 스텝 S35 내지 S39의 처리와 마찬가지이므로, 설명은 생략한다.
이상과 같이, 전송 시스템(170)에서는, 각 카메라(211)에서 취득된 2차원 화상 데이터 및 뎁스 화상 데이터를 그대로 부호화하여 전송하기 때문에, 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터의 동기가 취해지지 않은 경우가 있다.
그러나, 전송 시스템(170)에서는, 촬상 장치(171)가, 각 카메라의 2차원 화상 데이터의 동기 어긋남을 검출하고, 부호화 장치(172)가, 검출된 동기 어긋남의 동기 어긋남 정보를, 2차원 화상 데이터 및 뎁스 화상 데이터와 함께 전송한다. 따라서, 복호 장치(173)는, 동기 어긋남 정보에 기초하여, 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시킬 수 있다. 그 결과, 복호 장치(173)는, 동기가 취해진 N개의 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터를 사용하여, 3차원 데이터를 고정밀도로 생성할 수 있다.
<제3 실시 형태>
(전송 시스템의 제3 실시 형태의 구성예)
도 17은, 본 개시를 적용한 전송 시스템의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 17에 도시하는 구성 중, 도 1의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 17의 전송 시스템(280)의 구성은, 새롭게 촬상 장치(281), 부호화 장치(282) 및 합성 장치(283)가 설치되는 점, 복호 장치(13)가 복호 장치(284)를 대신하는 점, 및 부호화 장치(12)에서 생성되는 2차원 화상 데이터 및 뎁스 화상 데이터의 시점이, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점 중 일부인 점이, 도 1의 전송 시스템(10)의 구성과 상이하다.
전송 시스템(280)에서는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점 중 일부의 시점(이하, 제1 시점군이라고 함)의 부호화 스트림이 부호화 장치(12)에 의해 생성되고, 타부의 시점(이하, 제2 시점군이라고 함)의 부호화 스트림이 부호화 장치(282)에 의해 생성되어, 양쪽의 부호화 스트림이 합성(머지)된다.
구체적으로는, 전송 시스템(280)의 촬상 장치(281)는, 도 1의 촬상 장치(11)와 마찬가지로 구성되고, 적어도 일부가 촬상 장치(11)에 있어서의 피사체와 동일한 피사체를 촬상하고, 그 피사체의 3차원 데이터를 부호화 장치(282)에 공급한다.
부호화 장치(282)는, 변환부(21)와 마찬가지로 구성되는 변환부(291), 부호화부(22)와 마찬가지로 구성되는 부호화부(292), 및 전송부(23)와 마찬가지로 구성되는 전송부(293)에 의해 구성된다. 부호화 장치(282)는, 3차원 데이터로부터 제2 시점군의 2차원 화상 데이터와 뎁스 화상 데이터를 생성하고, 부호화하여 합성 장치(283)에 전송한다.
합성 장치(283)는, 부호화 장치(12)로부터 전송되어 오는 제1 시점군의 부호화 스트림(이하, 제1 부분 부호화 스트림)과 부호화 장치(282)로부터 전송되어 오는 제2 시점군의 부호화 스트림(이하, 제2 부분 부호화 스트림)을 수취한다. 합성 장치(283)는, 제1 부분 부호화 스트림에 대한 제2 부분 부호화 스트림의 동기 어긋남을 검출하고, 제2 부호화 스트림의 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를 생성한다.
시점군 동기 어긋남 정보는, 예를 들어 제2 시점군의 프레임 레이트를 나타내는 num_units_in_tick 및 time_scale과, 동기 어긋남을 나타내는 Delta_num_units_in_tick 및 Delta_time_scale에 의해 구성된다.
합성 장치(283)는, 제2 부분 부호화 스트림의 메타데이터에 시점군 동기 어긋남 정보를 포함한다. 합성 장치(283)는, 시점군 동기 어긋남 정보가 배치된 제2 부분 부호화 스트림과 제1 부분 부호화 스트림을 합성하고, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을 생성하여 복호 장치(284)에 전송한다.
복호 장치(284)의 구성은, 복호부(32)가 복호부(301)를 대신하는 점이, 도 1의 복호 장치(13)의 구성과 상이하다. 복호 장치(284)의 복호부(301)는, 동기 어긋남 정보가 시점군 동기 어긋남 정보를 대신하는 점, 및 카메라 관련 정보와 함께, 메타데이터 중 오클루전 3차원 데이터를 변환부(33)에 공급하는 점을 제외하고, 도 10의 복호부(191)와 마찬가지이므로, 설명은 생략한다.
(합성 장치의 구성예)
도 18은, 도 17의 합성 장치(283)의 구성예를 도시하는 블록도이다.
도 18의 합성 장치(283)는 복호부(321), 복호부(322), 동기 어긋남 검출부(323) 및 메타데이터 부가부(324)에 의해 구성된다.
합성 장치(283)의 복호부(321)는, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림을 수취한다. 복호부(321)는, 수취된 제1 부분 부호화 스트림을, 부호화부(22)에 있어서의 부호화 방식(도 18의 예에서는 MVCD)에 대응하는 방식으로 복호하고, 제1 시점군의 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 생성한다. 복호부(321)는, 생성된 제1 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
복호부(322)는, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을 수취한다. 복호부(322)는, 수취된 제2 부분 부호화 스트림을, 부호화부(292)에 있어서의 부호화 방식(도 18의 예에서는 MVCD)에 대응하는 방식으로 복호하고, 제2 시점군의 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 생성한다. 복호부(322)는, 생성된 제2 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
동기 어긋남 검출부(323)는, 복호부(321)와 복호부(322)로부터 공급되는 2차원 화상 데이터에 기초하여, 제1 시점군에 대한 제2 시점군의 2차원 화상 데이터의 동기 어긋남을 검출한다.
동기 어긋남의 검출 방법은, 제2 실시 형태에 있어서의 동기 어긋남의 검출 방법과 동일해도 되고, 상이해도 된다.
또한, 동기 어긋남의 검출에는, 2차원 화상 데이터뿐만 아니라, 카메라 파라미터와 뎁스 화상 데이터를 사용하도록 해도 된다. 이 경우, 예를 들어 동기 어긋남 검출부(323)는, 카메라 관련 정보에 포함되는 카메라 파라미터에 기초하여, 제1 시점군 중 하나의 시점과 제2 시점군 중 하나의 시점의 각 시각의 2차원 화상 데이터의 특징점의 2차원 위치를 3차원 위치로 변환한다. 동기 어긋남 검출부(323)는, 2개의 시점의 특징점의 3차원 위치의 차분이 최소가 될 때의 2차원 화상 데이터의 시각의 차분을, 제1 시점군에 대한 제2 시점군의 2차원 화상 데이터의 동기 어긋남으로서 검출한다.
동기 어긋남 검출부(323)는, 검출된 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를, 메타데이터 부가부(324)에 공급한다.
메타데이터 부가부(324)는, 동기 어긋남 검출부(323)로부터 공급되는 시점군 동기 어긋남 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다. 메타데이터 부가부(324)는, 시점군 동기 어긋남 정보가 메타데이터로서 치환된 제2 부분 부호화 스트림과, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림을 합성한다. 메타데이터 부가부(324)(전송부)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(합성 장치의 처리의 설명)
도 17의 촬상 장치(11)와 부호화 장치(12), 촬상 장치(281)와 부호화 장치(282)의 부호화 처리는, 도 5의 부호화 처리와 마찬가지이므로, 설명은 생략한다.
도 19는, 도 18의 합성 장치(283)의 합성 처리를 설명하는 흐름도이다.
도 19의 스텝 S91에 있어서, 합성 장치(283)의 복호부(321)는, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림을, 부호화부(22)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(321)는, 복호 결과 얻어지는 제1 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
스텝 S92에 있어서, 복호부(322)는, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을, 부호화부(292)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(322)는, 복호 결과 얻어지는 제2 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
스텝 S93에 있어서, 동기 어긋남 검출부(323)는, 복호부(321)와 복호부(322)로부터 공급되는 2차원 화상 데이터에 기초하여, 제1 시점군에 대한 제2 시점군의 2차원 화상 데이터의 동기 어긋남을 검출한다. 동기 어긋남 검출부(323)는, 검출된 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를 메타데이터 부가부(324)에 공급한다.
스텝 S94에 있어서, 메타데이터 부가부(324)는, 동기 어긋남 검출부(323)로부터 공급되는 시점군 동기 어긋남 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S95에 있어서, 메타데이터 부가부(324)는, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림과, 시점군 동기 어긋남 정보를 포함하는 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(324)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 공급하고, 처리를 종료한다.
복호 장치(284)의 복호 처리는, 동기 어긋남 정보가 시점군 동기 어긋남 정보를 대신하는 점, 및 스텝 S72의 처리에 의해 오클루전 3차원 데이터도 생성되고, 스텝 S74의 처리 후, 도 9의 스텝 S34와 마찬가지로 오클루전 3차원 데이터를 사용하여 3차원 데이터가 수정되는 점을 제외하고, 도 16의 복호 처리와 마찬가지이다.
이상과 같이, 전송 시스템(280)에서는, 부호화 장치(12)에 의해 생성된 제1 부분 부호화 스트림과, 부호화 장치(282)에 의해 생성된 제2 부분 부호화 스트림이 합성되어 복호 장치(284)에 전송된다. 따라서, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 제1 시점군과 제2 시점군의 부호화 스트림의 동기가 취해지지 않은 경우가 있다.
그러나, 전송 시스템(280)에서는, 합성 장치(283)가, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 일단 복호하고, 그 결과 얻어지는 제1 시점군과 제2 시점군의 2차원 화상 데이터의 동기 어긋남을 검출한다. 그리고, 합성 장치(283)는, 검출된 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를, 제1 부분 부호화 스트림 및 제2 부분 부호화 스트림과 함께 전송한다. 따라서, 복호 장치(284)는, 시점군 동기 어긋남 정보에 기초하여, 제1 시점군과 제2 시점군의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시킬 수 있다. 그 결과, 복호 장치(284)는, 동기가 취해진 제1 시점군과 제2 시점군의 2차원 화상 데이터와 뎁스 화상 데이터를 사용하여, 3차원 데이터를 고정밀도로 생성할 수 있다.
<제4 실시 형태>
(전송 시스템의 제4 실시 형태에 있어서의 합성 장치의 구성예)
본 개시를 적용한 전송 시스템의 제4 실시 형태의 구성은, 합성 장치(283)가 합성 장치(340)를 대신하고, 복호 장치(284)의 변환부(33)가 변환부(380)를 대신하는 점, 및 시점군 동기 어긋남 정보가 좌표 변환 정보를 대신하는 점을 제외하고, 도 17의 전송 시스템(280)의 구성과 동일하다. 따라서, 이하에서는 합성 장치(340)와 변환부(380)에 대해서만 설명한다.
도 20은, 합성 장치(340)의 구성예를 도시하는 블록도이다.
도 20에 도시하는 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 20의 합성 장치(340)의 구성은, 동기 어긋남 검출부(323), 메타데이터 부가부(324)가, 좌표 변환 데이터 생성부(341), 메타데이터 부가부(342)를 대신하는 점이, 도 18의 합성 장치(283)의 구성과 상이하다. 합성 장치(340)는, 각 시점의 2차원 화상 데이터의 동기 어긋남을 검출하는 것이 아니라, 제1 시점군의 3차원 좌표계인 제1의 3차원 좌표계를 제2 시점군의 3차원 좌표계인 제2의 3차원 좌표계로 변환하는 좌표 변환 데이터를 생성한다.
구체적으로는, 합성 장치(340)의 좌표 변환 데이터 생성부(341)는, 복호부(322)의 복호에 의해 생성된 제1 시점군의 2차원 화상 데이터에 기초하여, 제1 시점군의 시점마다, 특징점의 2차원 위치를 구한다.
또한, 좌표 변환 데이터 생성부(341)는, 복호부(321)의 복호에 의해 생성된 제2 시점군의 카메라 관련 정보에 포함되는 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 특징점의 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다.
좌표 변환 데이터 생성부(341)는, 제1 시점군의 시점마다, 특징점의 2차원 위치와 제2의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 좌표 변환 데이터를 생성한다. 좌표 변환 데이터 생성부(341)는, 제1 시점군의 각 시점의 좌표 변환 데이터를 포함하는 좌표 변환 정보를 메타데이터 부가부(342)에 공급한다.
메타데이터 부가부(342)는, 좌표 변환 데이터 생성부(341)로부터 공급되는 좌표 변환 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다. 또한, 메타데이터 부가부(342)는, 좌표 변환 정보가 메타데이터로서 배치된 제1 부분 부호화 스트림과, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(342)(전송부)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(좌표 변환 데이터의 생성 처리의 설명)
도 21은, 도 20의 좌표 변환 데이터 생성부(341)에 의한 좌표 변환 데이터를 생성하는 처리를 설명하는 도면이다.
도 21의 예에서는, 제1의 3차원 좌표계가, 서로가 수직으로 교차하는 축 xA 내지 zA를 좌표축으로 하는 좌표계이고, 제2의 3차원 좌표계가, 서로가 수직으로 교차하는 축 xB 내지 zB를 좌표축으로 하는, 제1의 3차원 좌표계와는 상이한 좌표계이다.
제1 시점군 중 하나의 시점의 가상 카메라(361)에 의해 촬상되는, 제1의 3차원 좌표계에 있어서의 3차원 위치가 P1인 특징점의 화상 상의 2차원 위치 PA는, 이하의 식 (3)으로 표시된다.
Figure 112018042623134-pct00003
RcamA|tcamA는, 제1 부분 부호화 스트림의 메타데이터 중의, 가상 카메라(361)의 제1의 3차원 좌표계에 있어서의 카메라 파라미터이다.
한편, 가상 카메라(361)에 의해 촬상되는, 제1의 3차원 좌표계에 있어서의 3차원 위치가 P1이고, 제2의 3차원 좌표계에 있어서의 3차원 위치가 P1'인 특징점의 화상 상의 2차원 위치 PB는, 이하의 식 (4)로 표시된다.
Figure 112018042623134-pct00004
RcamB|tcamB는, 가상 카메라(361)의 제2의 3차원 좌표계에 있어서의 카메라 파라미터이다.
식 (4)를 변형하면, 3차원 위치 P1'는, 이하의 식 (5)로 표시된다.
Figure 112018042623134-pct00005
2차원 위치 PA와 2차원 위치 PB는 동일하므로, 상술한 식 (5)의 2차원 위치 PB에 식 (3)의 우변을 대입하면, 식 (6)이 된다.
Figure 112018042623134-pct00006
식 (6)은, 제1의 3차원 좌표계에 있어서의 3차원 위치 P1을, 제2의 3차원 좌표계에 있어서의 3차원 위치 P1'로 변환하는 식이다. 따라서, 좌표 변환 데이터 생성부(341)는, 식 (6)에 있어서의, 카메라의 외부 파라미터와 동일한 표현 방법으로 표현되는 Rcon|tcon을, 좌표 변환 데이터로서 구한다.
구체적으로는, 좌표 변환 데이터 생성부(341)는, 제2 시점군의 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 특징점의 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다. 또한, 좌표 변환 데이터 생성부(341)는, 제1 시점군의 2차원 화상 데이터에 기초하여, 제1 시점군의 시점마다, 특징점의 2차원 위치를 구한다.
그리고, 좌표 변환 데이터 생성부(341)는, 제1 시점군의 시점마다, 특징점의 제2의 3차원 좌표계에 있어서의 3차원 위치를 P1'에 대입하고, 2차원 위치를 PA에 대입한 식 (4)에 의해, 가상 카메라(361)의 제2의 3차원 좌표계에 있어서의 외부 파라미터 RcamB|tcamB를 구한다.
이상의 처리는, 온라인 캘리브레이션이라고 불린다. 온라인 캘리브레이션의 상세는, 예를 들어 Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Technical Report MSR-TR-98-71, Microsoft Corporation, December 2. 1998 등에 기재되어 있다.
좌표 변환 데이터 생성부(341)는, 제1 시점군의 시점마다, 외부 파라미터 RcamB|tcamB와 외부 파라미터 RcamB|tcamB를 사용하여, 상술한 식 (6)에 의해 좌표 변환 데이터를 구한다.
(좌표 변환 정보의 예)
도 22는, 좌표 변환 정보의 예를 도시하는 도면이다.
도 22의 예에서는, 제1 시점군의 시점의 카메라 ID가 0 내지 3이다.
도 22에 도시하는 바와 같이, 좌표 변환 정보는, 제1 시점군의 각 시점의 카메라 ID에, 그 시점의 isCorrectionFlag와 좌표 변환 데이터가 대응지어짐으로써 구성된다.
isCorrectionFlag는, 대응하는 시점의 3차원 좌표계인 제1의 3차원 좌표계가, 기준이 되는 제2의 3차원 좌표계와 상이한지 여부를 나타내는 플래그이다. isCorrectionFlag는, 대응하는 시점의 3차원 좌표계인 제1의 3차원 좌표계가, 기준이 되는 제2의 3차원 좌표계와 상이한 것을 나타내는 경우 1이고, 상이하지 않은 것을 나타내는 경우 0이다.
제4 실시 형태에서는, 제1의 3차원 좌표계와 제2의 3차원 좌표계는 상이하므로, 모든 isCorrectionFlag는 1이다. 또한, 도 22에서는 카메라 ID가 i인 시점의 좌표 변환 데이터를 R|t(i)로 기재하고 있다.
또한, 좌표 변환 정보에는, 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일한지 여부를 나타내는 좌표 변환 공통 플래그가 포함되도록 해도 된다. 이 경우, 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일할 때, 좌표 변환 정보는, 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일함을 나타내는 좌표 변환 공통 플래그(좌표 변환 공통 정보)와, 제1 시점군의 모든 시점에 공통인 좌표 변환 데이터에 의해 구성된다. 좌표 변환 공통 플래그는, 예를 들어 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일한 경우 1이고, 상이한 경우 0이다.
(합성 장치의 처리의 설명)
도 23은, 도 20의 합성 장치(340)의 합성 처리를 설명하는 흐름도이다.
도 23의 스텝 S111 및 S112의 처리는, 도 19의 스텝 S91 및 S92의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S113에 있어서, 합성 장치(340)의 좌표 변환 데이터 생성부(341)는, 제2 시점군의 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터와, 제1 시점군의 2차원 화상 데이터에 기초하여, 제1 시점군의 각 시점의 좌표 변환 데이터를 생성한다. 좌표 변환 데이터 생성부(341)는, 제1 시점군의 각 시점의 좌표 변환 데이터를 포함하는 좌표 변환 정보를 메타데이터 부가부(342)에 공급한다.
스텝 S114에 있어서, 메타데이터 부가부(342)는, 좌표 변환 데이터 생성부(341)로부터 공급되는 좌표 변환 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S115에 있어서, 메타데이터 부가부(342)는, 좌표 변환 정보를 포함하는 제1 부분 부호화 스트림과, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(342)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다. 그리고, 처리는 종료된다.
(변환부의 구성예)
도 24는, 복호 장치(284)의 표시 화상 생성 방식이 자유 시점 표시 화상 생성 방식인 경우의 변환부(380)의 구성예를 도시하는 블록도이다.
도 24에 도시하는 구성 중, 도 8의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 24의 변환부(380)의 구성은, 3차원 데이터 생성부(151)가 3차원 데이터 생성부(381)를 대신하는 점이, 도 8의 변환부(33)의 구성과 상이하다.
3차원 데이터 생성부(381)는, 3차원 위치 변환부(391), 3차원 위치 변환부(392), 좌표 변환부(393) 및 데이터 생성부(394)에 의해 구성된다.
3차원 데이터 생성부(381)의 3차원 위치 변환부(391)(제1의 3차원 위치 변환부)는, 복호부(301)로부터 공급되는 제1 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 3차원 위치 변환부(391)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치와, 제1 시점군의 2차원 화상 데이터를 좌표 변환부(393)에 공급한다.
3차원 위치 변환부(392)(제2의 3차원 위치 변환부)는, 복호부(301)로부터 공급되는 제2 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 제2 시점군의 2차원 화상 데이터의 각 화소의 2차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 3차원 위치 변환부(392)는, 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와, 제2 시점군의 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
좌표 변환부(393)는, 복호부(301)로부터 공급되는 메타데이터 중 좌표 변환 정보에 기초하여, 3차원 위치 변환부(391)로부터 공급되는 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 좌표 변환부(393)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와, 제1 시점군의 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
데이터 생성부(394)는, 제1 시점군 및 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 제1 시점군 및 제2 시점군의 2차원 화상 데이터로부터, 피사체의 3차원 데이터를 생성한다.
데이터 생성부(394)는, 생성된 3차원 데이터를, 복호부(301)로부터 공급되는 메타데이터 중 오클루전 3차원 데이터를 사용하여 수정하고, 피사체 위치 결정부(152)와 2차원 데이터 생성부(154)에 공급한다.
(복호 장치의 처리의 설명)
도 25는, 제4 실시 형태에 있어서의 복호 장치(284)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 합성 장치(340)로부터 부호화 스트림이 전송되어 왔을 때 개시된다.
도 25의 스텝 S131에 있어서, 복호 장치(284)의 수취부(31)는, 합성 장치(283)로부터 전송되어 오는 부호화 스트림을 수취한다.
스텝 S132에 있어서, 복호부(301)는, 수취된 부호화 스트림을, 부호화부(22) 및 부호화부(292)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(301)는, 그 결과 얻어지는 제1 시점군과 제2 시점군의 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 변환부(380)(도 24)에 공급한다.
스텝 S133에 있어서, 변환부(380)의 3차원 위치 변환부(391)는, 제1 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치를 구한다. 3차원 위치 변환부(391)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치와 2차원 화상 데이터를 좌표 변환부(393)에 공급한다.
스텝 S134에 있어서, 3차원 위치 변환부(392)는, 제2 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 제2 시점의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다. 3차원 위치 변환부(392)는, 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
스텝 S135에 있어서, 좌표 변환부(393)는, 복호부(301)로부터 공급되는 메타데이터 중 좌표 변환 정보에 기초하여, 3차원 위치 변환부(391)로부터 공급되는 제1의 3차원 좌표계에 있어서의 3차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 좌표 변환부(393)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
스텝 S136에 있어서, 데이터 생성부(394)는, 제1 시점군 및 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 제1 시점군 및 제2 시점군의 2차원 화상 데이터로부터, 피사체의 3차원 데이터를 생성한다.
스텝 S137 내지 S142의 처리는, 도 9의 스텝 S34 내지 S39의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 합성 장치(283)는, 좌표 변환 정보를 제1 부분 부호화 스트림에 배치하는 것이 아니라, 제1 부분 부호화 스트림에 배치되는 제1의 3차원 좌표계에 있어서의 제1 시점군의 각 시점의 외부 파라미터 RcamA|tcamA를, 제2의 3차원 좌표계에 있어서의 각 시점의 외부 파라미터 RcamB|tcamB로 치환하도록 해도 된다. 이 경우, 3차원 데이터 생성부(381)에는, 좌표 변환부(393)가 설치되지 않고, 3차원 위치 변환부(391)는, 외부 파라미터 RcamA|tcamA 대신에 외부 파라미터 RcamB|tcamB를 사용하여, 직접, 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다.
제1 시점군의 모든 시점의 좌표 변환 데이터가 상이한 경우에는, 외부 파라미터 RcamA|tcamA를 외부 파라미터 RcamB|tcamB로 치환하는 편이 바람직하다. 좌표 변환 정보를 제1 부분 부호화 스트림에 배치하는 경우, 원래의 제1 부분 부호화 스트림을 수정할 필요가 없기 때문에, 외부 파라미터를 치환하는 경우에 비하여 처리가 용이하다.
또한, 제1 시점군의 각 시점의 좌표 변환 데이터는, 각 시점의 2차원 화상 데이터의 스케일(시점과 촬상면의 깊이 방향의 거리)이 동일하면 동일하다. 따라서, 이 경우에는 좌표 변환 데이터 생성부(341)는, 제1 시점군 중 하나의 시점의 좌표 변환 데이터만을, 제1 시점군의 각 시점에 공통인 좌표 변환 데이터로서 생성하도록 해도 된다.
이상과 같이, 제4 실시 형태에서는, 부호화 장치(12)에 의해 생성된 제1 부분 부호화 스트림과, 부호화 장치(282)에 의해 생성된 제2 부분 부호화 스트림이 합성되어 복호 장치(284)에 전송된다. 따라서, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림의 3차원 좌표계가 동일하지 않은 경우가 있다.
그러나, 제4 실시 형태에서는, 합성 장치(340)가, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 일단 복호하고, 복호 결과에 기초하여 좌표 변환 데이터를 생성한다. 그리고, 합성 장치(340)는, 생성된 좌표 변환 데이터를 포함하는 좌표 변환 정보를, 제1 부분 부호화 스트림 및 제2 부분 부호화 스트림과 함께 전송한다. 따라서, 변환부(380)는, 좌표 변환 정보에 기초하여, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환할 수 있다. 그 결과, 변환부(380)는, 제1 시점군과 제2 시점군의 2차원 화상 데이터의 각 화소의 동일한 제1의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 2차원 화상 데이터로부터 3차원 데이터를 고정밀도로 생성할 수 있다.
제2 내지 제4 실시 형태에 있어서, 2차원 화상 데이터와 뎁스 화상 데이터의 소정의 표시 화상 생성 방식에 대응하는 시점이 상이한 경우에는, 2차원 화상 데이터와 뎁스 화상 데이터 각각에 기초하여, 각각의 시점의 동기 어긋남의 검출 또는 좌표 변환 데이터의 생성이 행해진다.
<제5 실시 형태>
(전송 시스템의 제5 실시 형태에 있어서의 합성 장치의 구성예)
본 개시를 적용한 전송 시스템의 제5 실시 형태의 구성은, 합성 장치(283)가 합성 장치(400)를 대신하고, 복호 장치(284)의 변환부(33)가 변환부(420)를 대신하는 점, 및 시점군 동기 어긋남 정보가 색 편차 보정 정보를 대신하는 점을 제외하고, 도 17의 전송 시스템(280)의 구성과 동일하다. 따라서, 이하에서는 합성 장치(400)와 변환부(420)에 대해서만 설명한다.
도 26은, 합성 장치(400)의 구성예를 도시하는 블록도이다.
도 26에 도시하는 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 26의 합성 장치(400)의 구성은, 동기 어긋남 검출부(323), 메타데이터 부가부(324)가, 색 편차 보정 데이터 생성부(401), 메타데이터 부가부(402)를 대신하는 점이, 도 18의 합성 장치(283)의 구성과 상이하다. 합성 장치(400)는, 각 시점의 2차원 화상 데이터의 동기 어긋남을 검출하는 것이 아니라, 각 시점의 2차원 화상 데이터의 색 편차를 보정하는 색 편차 보정 데이터를 생성한다.
구체적으로는, 합성 장치(400)의 색 편차 보정 데이터 생성부(401)는, 제1 시점군과 제2 시점군의 시점 중 하나를 기준 시점으로 하고, 다른 시점을 참조 시점으로 한다. 색 편차 보정 데이터 생성부(401)는, 참조 시점마다, 복호부(321) 또는 복호부(322)의 복호에 의해 생성된 기준 시점과 참조 시점의 2차원 화상 데이터에 기초하여, 기준 시점에 대한 참조 시점의 2차원 화상 데이터의 색 편차를 보정하는 색 편차 보정 데이터를 생성한다.
구체적으로는, 참조 시점의 2차원 화상 데이터 중 특징점의 RGB값 (R, G, B)에 대하여 역 감마 보정이 행해진 RGB값 (R', G', B')는, 이하의 식 (7)에 의해 표시된다.
Figure 112018042623134-pct00007
γR, γG, γB는, 각각 R, G, B의 감마값이다.
또한, RGB값 (R', G', B')를, 기준 시점의 2차원 화상 데이터 중의, 참조 시점의 RGB값이 (R, G, B)인 특징점의 RGB값 (Rc, Gc, Bc)에 대하여 역 감마 보정을 행한 RGB값 (R", G", B")로 변환하는 식은, 이하의 식 (8)에 의해 표시된다.
Figure 112018042623134-pct00008
a11 내지 a13, a21 내지 a23 및 a31 내지 a33은 계수이다.
또한, RGB값 (Rc, Gc, Bc)는, RGB값 (R", G", B")에 대하여 감마 보정을 행한 값이므로, 이하의 식 (9)로 표시된다.
Figure 112018042623134-pct00009
이상에 의해, 색 편차 보정 데이터 생성부(401)는, 참조 시점의 2차원 화상 데이터로부터 특징점의 RGB값 (R, G, B)를 추출하고, 기준 시점의 2차원 화상 데이터로부터 특징점의 RGB값 (Rc, Gc, Bc)를 추출한다. 그리고, 색 편차 보정 데이터 생성부(401)는, 추출된 RGB값 (R, G, B)와 RGB값 (Rc, Gc, Bc)에 기초하여, RGB값 (R, G, B)를 RGB값 (Rc, Gc, Bc)로 변환할 때 필요로 되는 감마값 γR, γG, γB와, 계수 a11 내지 a13, a21 내지 a23 및 a31 내지 a33을 색 편차 보정 데이터로서 생성한다.
또한, 색 편차 보정 데이터 생성부(401)는, 기준 시점의 색 편차 보정 데이터로서, RGB값 (R, G, B)와 RGB값 (Rc, Gc, Bc)가 동일하게 되는 색 편차 보정 데이터를 생성한다. 색 편차 보정 데이터 생성부(401)는, 생성된 각 시점의 색 편차 보정 데이터를 포함하는 색 편차 보정 정보를 메타데이터 부가부(402)에 공급한다.
메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제1 시점군의 색 편차 보정 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다. 또한, 메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제2 시점군의 색 편차 보정 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다.
메타데이터 부가부(402)는, 색 편차 보정 정보가 메타데이터로서 배치된 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(402)(전송부)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(색 편차 보정 정보의 예)
도 27은, 색 편차 보정 정보의 예를 도시하는 도면이다.
도 27의 예에서는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 수가 9이다.
도 27에 도시하는 바와 같이, 색 편차 보정 정보는, 소정의 표시 화상 생성 방식에 대응하는 모든 시점의 각 카메라 ID에, 그 시점의 isCorrectionFlag와 색 편차 보정 데이터가 대응지어짐으로써 구성된다.
isCorrectionFlag는, 대응하는 시점과 기준 시점의 사이에서 색 편차가 발생하였는지 여부를 나타내는 플래그이다. isCorrectionFlag는, 대응하는 시점과 기준 시점의 사이에서 색 편차가 발생하였음을 나타내는 경우 1이고, 발생하지 않았음을 나타내는 경우 0이다.
도 27의 예에서는, 카메라 ID가 0인 시점이 기준 시점이며, 카메라 ID가 1, 2, 4 및 6 내지 9인 참조 시점과 기준 시점의 사이에서 색 편차가 발생하지 않았다. 따라서, 0 내지 2, 4 및 6 내지 9인 카메라 ID에 대응하는 isCorrectionFlag는 0이고, 이들 카메라 ID에 대응하여 색 편차 보정 데이터는 기술되지 않는다.
또한, 도 27의 예에서는, 카메라 ID가 3 및 5인 참조 시점과 기준 시점의 사이에서 색 편차가 발생하였다. 따라서, 3 및 5인 카메라 ID에 대응하는 isCorrectionFlag는 1이고, 이들 카메라 ID에 대응하여 색 편차 보정 데이터가 기술된다. 도 27에서는 카메라 ID가 i인 시점의 색 편차 보정 데이터를 P(i)로 기재하고 있다.
또한, 색 편차 보정 정보에는, 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일한지 여부를 나타내는 색 편차 공통 플래그가 포함되도록 해도 된다. 이 경우, 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일할 때, 색 편차 보정 정보는, 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일함을 나타내는 색 편차 공통 플래그(색 편차 공통 정보)와, 색 편차가 발생한 모든 시점에 공통인 색 편차 보정 데이터에 의해 구성된다. 색 편차 공통 플래그는, 예를 들어 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일한 경우 1이고, 상이한 경우 0이다.
(합성 장치의 처리의 설명)
도 28은, 도 26의 합성 장치(400)의 합성 처리를 설명하는 흐름도이다.
도 28의 스텝 S161 및 S162의 처리는, 도 19의 스텝 S91 및 S92의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S163에 있어서, 합성 장치(400)의 색 편차 보정 데이터 생성부(401)는, 참조 시점마다, 복호부(321) 또는 복호부(322)의 복호에 의해 생성된 기준 시점과 참조 시점의 2차원 화상 데이터에 기초하여, 각 참조 시점의 색 편차 보정 데이터를 생성한다. 또한, 색 편차 보정 데이터 생성부(401)는, 기준 시점의 색 편차 보정 데이터로서, RGB값 (R, G, B)와 RGB값 (Rc, Gc, Bc)가 동일하게 되는 색 편차 보정 데이터를 생성한다. 색 편차 보정 데이터 생성부(401)는, 생성된 각 시점의 색 편차 보정 데이터를 포함하는 색 편차 보정 정보를 메타데이터 부가부(402)에 공급한다.
스텝 S164에 있어서, 메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제1 시점군의 색 편차 보정 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S165에 있어서, 메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제2 시점군의 색 편차 보정 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S166에 있어서, 메타데이터 부가부(402)는, 색 편차 보정 정보가 메타데이터로서 배치된 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(402)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(변환부의 구성예)
도 29는, 변환부(420)의 구성예를 도시하는 블록도이다.
도 29에 도시하는 구성 중, 도 8의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 29의 변환부(420)의 구성은, 색 보정부(421)가 새롭게 설치되는 점이, 도 8의 변환부(33)의 구성과 상이하다.
변환부(420)의 색 보정부(421)는, 복호부(301)에 의한 복호 결과 얻어지는 색 편차 보정 정보에 기초하여, 상술한 식 (7) 내지 (9)에 의해, 제1 시점군과 제2 시점군의 2차원 화상 데이터의 색 보정을 행한다. 이에 의해, 모든 시점의 2차원 화상 데이터에 있어서 색과 RGB값의 관계가 동일하게 된다. 색 보정부(421)는, 색 보정 후의 제1 시점군과 제2 시점군의 2차원 화상 데이터와, 복호부(301)에 의한 복호 결과 얻어지는 제1 시점군과 제2 시점군의 뎁스 화상 데이터를 3차원 데이터 생성부(151)에 공급한다.
제5 실시 형태에 있어서의 복호 장치(284)의 복호 처리는, 스텝 S32와 스텝 S33의 사이에서, 색 보정부(421)에 의한 색 보정이 행해지는 점을 제외하고, 도 9의 복호 처리와 마찬가지이므로, 설명은 생략한다.
이상과 같이, 제5 실시 형태에서는, 상이한 카메라에 의해 촬상된 2차원 화상 데이터를 사용하여 생성된 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 합성하여 복호 장치(284)에 전송한다. 따라서, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림에 있어서 색 편차가 발생하는 경우가 있다.
그러나, 제5 실시 형태에서는, 합성 장치(340)가, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 일단 복호하고, 그 결과 얻어지는 각 시점의 2차원 화상 데이터의 색 편차 보정 데이터를 생성한다. 그리고, 합성 장치(340)는, 생성된 색 편차 보정 데이터의 색 편차 보정 정보를, 제1 부분 부호화 스트림 및 제2 부분 부호화 스트림과 함께 전송한다. 따라서, 변환부(420)는, 색 편차 보정 데이터에 기초하여, 제1 시점군과 제2 시점군의 각 시점의 2차원 화상 데이터의 색 편차를 보정할 수 있다. 그 결과, 변환부(420)는, 색 편차가 보정된 제1 시점군과 제2 시점군의 2차원 화상 데이터와 뎁스 화상 데이터를 사용하여 3차원 데이터를 생성함으로써, 3차원 데이터 중의 2차원 화상 데이터의 정밀도를 향상시킬 수 있다.
또한, 제5 실시 형태에서는, 합성 장치(400)가, 색 편차 보정 정보를 전송하므로, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림에 색 편차 보정 정보를 메타데이터로서 배치하기만 하면 된다. 따라서, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 복호하고, 색 편차를 보정하여 재부호화하는 경우에 비하여, 합성 장치(400)의 처리량을 삭감할 수 있다.
또한, 제5 실시 형태에 있어서, 시점 또는 시점군마다의 2차원 화상 데이터의, 중심부에 대한 주변부의 감광을 보정하는 게인을 포함하는 주변 감광 보정 정보가 메타데이터로서 제1 부분 부호화 스트림과 제2 부분 부호화 스트림에 배치되도록 해도 된다. 또한, 시점 또는 시점군마다의 Exif(Exchangeable image file format) 정보가 메타데이터로서 배치되도록 해도 된다.
<제6 실시 형태>
(본 개시를 적용한 컴퓨터의 설명)
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 30은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(600)에 있어서, CPU(Central Processing Unit)(601), ROM(Read Only Memory)(602), RAM(Random Access Memory)(603)은, 버스(604)에 의해 서로 접속되어 있다.
버스(604)에는, 입출력 인터페이스(605)가 더 접속되어 있다. 입출력 인터페이스(605)에는, 입력부(606), 출력부(607), 기억부(608), 통신부(609) 및 드라이브(610)가 접속되어 있다.
입력부(606)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(607)는 디스플레이, 스피커 등을 포함한다. 기억부(608)는 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(609)는 네트워크 인터페이스 등을 포함한다. 드라이브(610)는 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(611)를 구동한다.
이상과 같이 구성되는 컴퓨터(600)에서는, CPU(601)가, 예를 들어 기억부(608)에 기억되어 있는 프로그램을, 입출력 인터페이스(605) 및 버스(604)를 통하여, RAM(603)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(600)(CPU(601))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(611)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(600)에서는, 프로그램은, 리무버블 미디어(611)를 드라이브(610)에 장착함으로써, 입출력 인터페이스(605)를 통하여 기억부(608)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(609)에서 수신하고, 기억부(608)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(602)이나 기억부(608)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(600)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 중에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
본 개시는 이하와 같은 구성도 취할 수 있다.
(1) 제1 시점의 2차원 화상 데이터와 제2 시점의 2차원 화상 데이터에 기초하여, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 생성하는 좌표 변환 데이터 생성부와,
상기 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터, 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터, 및 상기 좌표 변환 데이터 생성부에 의해 생성된 상기 좌표 변환 데이터를 포함하는 좌표 변환 정보를 전송하는 전송부를 구비하는 화상 처리 장치.
(2) 상기 좌표 변환 데이터는, 카메라의 외부 파라미터와 동일한 표현 방법으로 표현되도록 구성된 상기 (1)에 기재된 화상 처리 장치.
(3) 상기 제1 시점의 수는 복수이고,
상기 좌표 변환 데이터 생성부는, 상기 제1 시점마다 상기 좌표 변환 데이터를 생성하도록 구성된 상기 (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 좌표 변환 정보는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일한지 여부를 나타내는 좌표 변환 공통 정보를 포함하도록 구성된 상기 (3)에 기재된 화상 처리 장치.
(5) 상기 전송부는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일한 경우, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일함을 나타내는 좌표 변환 공통 정보와, 모든 상기 제1 시점에 공통인 상기 좌표 변환 데이터를 포함하는 상기 좌표 변환 정보를 전송하도록 구성된 상기 (3)에 기재된 화상 처리 장치.
(6) 화상 처리 장치가,
제1 시점의 2차원 화상 데이터와 제2 시점의 2차원 화상 데이터에 기초하여, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 생성하는 좌표 변환 데이터 생성 스텝과,
상기 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터, 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터, 및 상기 좌표 변환 데이터 생성 스텝의 처리에 의해 생성된 상기 좌표 변환 데이터를 포함하는 좌표 변환 정보를 전송하는 전송 스텝
을 포함하는 화상 처리 방법.
(7) 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터와, 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터를 복호하는 복호부와,
상기 제1 시점의 제1의 3차원 좌표계에 있어서의 제1 카메라 파라미터, 및 상기 복호부에 의한 복호 결과 얻어지는 상기 제1 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제1의 3차원 위치 변환부와,
상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 포함하는 좌표 변환 정보에 기초하여, 상기 제1의 3차원 위치 변환부에 의한 변환 후의 상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환부
를 구비하는 화상 처리 장치.
(8) 상기 제2 시점의 상기 제2의 3차원 좌표계에 있어서의 제2 카메라 파라미터, 및 상기 복호부에 의한 복호 결과 얻어지는 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제2 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제2의 3차원 위치 변환부와,
상기 좌표 변환부에 의해 변환된 상기 3차원 위치와, 상기 제2의 3차원 위치 변환부에 의한 변환 후의 상기 3차원 위치에 기초하여, 상기 제1 시점의 2차원 화상 데이터와, 상기 제2 시점의 2차원 화상 데이터로부터, 피사체의 3차원 데이터를 생성하는 데이터 생성부
를 더 구비하는 상기 (7)에 기재된 화상 처리 장치.
(9) 상기 좌표 변환 데이터는, 카메라의 외부 파라미터와 동일한 표현 방법으로 표현되도록 구성된 상기 (7) 또는 (8)에 기재된 화상 처리 장치.
(10) 상기 제1 시점의 수는 복수이고,
상기 좌표 변환 데이터는, 상기 제1 시점마다 생성되도록 구성된 상기 (7) 내지 (9) 중 어느 하나에 기재된 화상 처리 장치.
(11) 상기 좌표 변환 정보는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일한지 여부를 나타내는 좌표 변환 공통 정보를 포함하도록 구성된 상기 (10)에 기재된 화상 처리 장치.
(12) 상기 좌표 변환 정보는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일함을 나타내는 좌표 변환 공통 정보와, 모든 상기 제1 시점에 공통인 상기 좌표 변환 데이터를 포함하도록 구성된 상기 (10)에 기재된 화상 처리 장치.
(13) 화상 처리 장치가,
제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터와, 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터를 복호하는 복호 스텝과,
상기 제1 시점의 제1의 3차원 좌표계에 있어서의 제1 카메라 파라미터, 및 상기 복호 스텝의 처리에 의한 복호 결과 얻어지는 상기 제1 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제1의 3차원 위치 변환 스텝과,
상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 포함하는 좌표 변환 정보에 기초하여, 상기 제1의 3차원 위치 변환 스텝의 처리에 의한 변환 후의 상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 스텝
을 포함하는 화상 처리 방법.
11: 촬상 장치
12: 부호화 장치
13: 복호 장치
22: 부호화부
23: 전송부
31: 수취부
32: 복호부
53: 2차원 데이터 생성부
151: 3차원 데이터 생성부
154: 2차원 데이터 생성부
171: 촬상 장치
172: 부호화 장치
173: 복호 장치
192: 변환부
211-1 내지 211-N: 카메라
222: 동기 어긋남 검출부
261-1 내지 261-2N: 복호 처리부
262: 출력부
282: 부호화 장치
283: 합성 장치
284: 복호 장치
292: 부호화부
301: 복호부
321, 322: 복호부
323: 동기 어긋남 검출부
324: 메타데이터 부가부
340: 합성 장치
341: 좌표 변환 데이터 생성부
342: 메타데이터 부가부
391, 392: 3차원 위치 변환부
393: 좌표 변환부
394: 데이터 생성부
400: 합성 장치
401: 색 편차 보정 데이터 생성부
402: 메타데이터 부가부
421: 색 보정부

Claims (13)

  1. 제1 시점의 2차원 화상 데이터와 제2 시점의 2차원 화상 데이터에 기초하여, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 생성하는 좌표 변환 데이터 생성부와,
    상기 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터, 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터, 및 상기 좌표 변환 데이터 생성부에 의해 생성된 상기 좌표 변환 데이터를 포함하는 좌표 변환 정보를 전송하는 전송부를 구비하고,
    상기 제1 시점의 수는 복수이고,
    상기 좌표 변환 데이터 생성부는, 상기 제1 시점마다 상기 좌표 변환 데이터를 생성하도록 구성되고,
    상기 좌표 변환 정보는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일한지 여부를 나타내는 좌표 변환 공통 정보를 포함하도록 구성된, 화상 처리 장치.
  2. 제1항에 있어서, 상기 좌표 변환 데이터는, 카메라의 외부 파라미터와 동일한 표현 방법으로 표현되도록 구성된, 화상 처리 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 전송부는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일한 경우, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일함을 나타내는 좌표 변환 공통 정보와, 모든 상기 제1 시점에 공통인 상기 좌표 변환 데이터를 포함하는 상기 좌표 변환 정보를 전송하도록 구성된, 화상 처리 장치.
  6. 화상 처리 장치가,
    제1 시점의 2차원 화상 데이터와 제2 시점의 2차원 화상 데이터에 기초하여, 상기 제1 시점의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 생성하는 좌표 변환 데이터 생성 스텝과,
    상기 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터, 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터, 및 상기 좌표 변환 데이터 생성 스텝의 처리에 의해 생성된 상기 좌표 변환 데이터를 포함하는 좌표 변환 정보를 전송하는 전송 스텝
    을 포함하고,
    상기 제1 시점의 수는 복수이고,
    상기 좌표 변환 데이터 생성 스텝에서는, 상기 제1 시점마다 상기 좌표 변환 데이터를 생성하고,
    상기 좌표 변환 정보는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일한지 여부를 나타내는 좌표 변환 공통 정보를 포함하도록 구성된, 화상 처리 방법.
  7. 제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터와, 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터를 복호하는 복호부와,
    상기 제1 시점의 제1의 3차원 좌표계에 있어서의 제1 카메라 파라미터, 및 상기 복호부에 의한 복호 결과 얻어지는 상기 제1 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제1의 3차원 위치 변환부와,
    상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 포함하는 좌표 변환 정보에 기초하여, 상기 제1의 3차원 위치 변환부에 의한 변환 후의 상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환부와,
    상기 제2 시점의 상기 제2의 3차원 좌표계에 있어서의 제2 카메라 파라미터, 및 상기 복호부에 의한 복호 결과 얻어지는 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제2 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제2의 3차원 위치 변환부와,
    상기 좌표 변환부에 의해 변환된 상기 3차원 위치와, 상기 제2의 3차원 위치 변환부에 의한 변환 후의 상기 3차원 위치에 기초하여, 상기 제1 시점의 2차원 화상 데이터와, 상기 제2 시점의 2차원 화상 데이터로부터, 피사체의 3차원 데이터를 생성하는 데이터 생성부
    를 구비하는, 화상 처리 장치.
  8. 삭제
  9. 제7항에 있어서, 상기 좌표 변환 데이터는, 카메라의 외부 파라미터와 동일한 표현 방법으로 표현되도록 구성된, 화상 처리 장치.
  10. 제7항에 있어서, 상기 제1 시점의 수는 복수이고,
    상기 좌표 변환 데이터는, 상기 제1 시점마다 생성되도록 구성된, 화상 처리 장치.
  11. 제10항에 있어서, 상기 좌표 변환 정보는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일한지 여부를 나타내는 좌표 변환 공통 정보를 포함하도록 구성된, 화상 처리 장치.
  12. 제10항에 있어서, 상기 좌표 변환 정보는, 모든 상기 제1 시점의 상기 좌표 변환 데이터가 동일함을 나타내는 좌표 변환 공통 정보와, 모든 상기 제1 시점에 공통인 상기 좌표 변환 데이터를 포함하도록 구성된, 화상 처리 장치.
  13. 화상 처리 장치가,
    제1 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터인 제1 부호화 데이터와, 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터인 제2 부호화 데이터를 복호하는 복호 스텝과,
    상기 제1 시점의 제1의 3차원 좌표계에 있어서의 제1 카메라 파라미터, 및 상기 복호 스텝의 처리에 의한 복호 결과 얻어지는 상기 제1 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제1의 3차원 위치 변환 스텝과,
    상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2 시점의 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 데이터를 포함하는 좌표 변환 정보에 기초하여, 상기 제1의 3차원 위치 변환 스텝의 처리에 의한 변환 후의 상기 제1의 3차원 좌표계에 있어서의 3차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 좌표 변환 스텝과,
    상기 제2 시점의 상기 제2의 3차원 좌표계에 있어서의 제2 카메라 파라미터, 및 상기 복호 스텝의 처리에 의한 복호 결과 얻어지는 상기 제2 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 상기 제2 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 상기 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환하는 제2의 3차원 위치 변환 스텝과,
    상기 좌표 변환 스텝에 의해 변환된 상기 3차원 위치와, 상기 제2의 3차원 위치 변환 스텝에 의한 변환 후의 상기 3차원 위치에 기초하여, 상기 제1 시점의 2차원 화상 데이터와, 상기 제2 시점의 2차원 화상 데이터로부터, 피사체의 3차원 데이터를 생성하는 데이터 생성 스텝
    을 포함하는, 화상 처리 방법.
KR1020187012318A 2015-11-11 2016-10-28 화상 처리 장치 및 화상 처리 방법 KR102527566B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2015-221235 2015-11-11
JP2015221235 2015-11-11
PCT/JP2016/082026 WO2017082078A1 (ja) 2015-11-11 2016-10-28 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
KR20180081721A KR20180081721A (ko) 2018-07-17
KR102527566B1 true KR102527566B1 (ko) 2023-05-03

Family

ID=58696032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187012318A KR102527566B1 (ko) 2015-11-11 2016-10-28 화상 처리 장치 및 화상 처리 방법

Country Status (6)

Country Link
US (1) US11290698B2 (ko)
EP (1) EP3376760A4 (ko)
JP (1) JP6984416B2 (ko)
KR (1) KR102527566B1 (ko)
CN (1) CN108243629B (ko)
WO (1) WO2017082078A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2746431C2 (ru) * 2016-09-29 2021-04-14 Конинклейке Филипс Н.В. Обработка изображения
GB2571306A (en) 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
WO2020013454A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
CN112997498A (zh) * 2018-11-13 2021-06-18 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
JP7511488B2 (ja) 2019-02-12 2024-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
EP3937499A4 (en) * 2019-03-05 2022-04-27 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE GENERATING METHOD AND IMAGE PROCESSING METHOD
KR20210155386A (ko) * 2019-05-14 2021-12-22 인텔 코포레이션 3DoF+/MIV 및 V-PCC에 대한 몰입형 비디오 코딩 기술
EP3798976B1 (en) * 2019-09-30 2023-11-01 Tata Consultancy Services Limited Method and system for determining dynamism in a scene by processing a depth image
CN111862185A (zh) * 2020-07-24 2020-10-30 唯羲科技有限公司 一种从图像中提取平面的方法
CN113850236B (zh) * 2021-11-29 2022-04-15 深圳市优必选科技股份有限公司 3d姿态估计方法、装置和计算机设备及存储介质
CN116764203A (zh) * 2022-03-11 2023-09-19 腾讯科技(成都)有限公司 一种虚拟场景的渲染方法、装置、设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3776595B2 (ja) 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
US6215496B1 (en) * 1998-07-23 2001-04-10 Microsoft Corporation Sprites with depth
JP4605716B2 (ja) 2006-07-14 2011-01-05 Ｋｄｄｉ株式会社 多視点画像圧縮符号化方法、装置及びプログラム
CN101483770B (zh) * 2008-01-08 2011-03-16 华为技术有限公司 一种编解码方法及装置
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
KR101260613B1 (ko) * 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
CN101695140B (zh) * 2009-10-14 2011-07-27 宁波大学 一种基于对象的立体/自由视点电视的虚拟图像绘制方法
ES2392229B1 (es) 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
CN107274475A (zh) * 2011-03-18 2017-10-20 索尼公司 图像处理设备、图像处理方法和计算机可读存储介质
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
WO2013133627A1 (ko) * 2012-03-06 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법
KR20130121058A (ko) * 2012-04-26 2013-11-05 한국전자통신연구원 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
KR101410273B1 (ko) * 2012-09-11 2014-06-20 한국과학기술원 증강현실 응용을 위한 환경 모델링 방법 및 장치
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
WO2014050830A1 (ja) * 2012-09-25 2014-04-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6073123B2 (ja) 2012-12-12 2017-02-01 日本放送協会 立体表示システム、立体像生成装置及び立体像生成プログラム
JP2014132722A (ja) 2013-01-07 2014-07-17 National Institute Of Information & Communication Technology 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
JP6182045B2 (ja) 2013-10-11 2017-08-16 キヤノン株式会社 画像処理装置およびその方法

Also Published As

Publication number Publication date
EP3376760A4 (en) 2019-04-03
CN108243629B (zh) 2020-09-08
JP6984416B2 (ja) 2021-12-22
US20180302603A1 (en) 2018-10-18
WO2017082078A1 (ja) 2017-05-18
EP3376760A1 (en) 2018-09-19
KR20180081721A (ko) 2018-07-17
JPWO2017082078A1 (ja) 2018-08-30
US11290698B2 (en) 2022-03-29
CN108243629A (zh) 2018-07-03

Similar Documents

Publication Publication Date Title
KR102516992B1 (ko) 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법
KR102527566B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6911765B2 (ja) 画像処理装置および画像処理方法
EP0843857A1 (en) Multi-viewpoint digital video encoding
JP7009996B2 (ja) 画像処理装置および画像処理方法
KR101233399B1 (ko) 다시점 깊이 영상 생성 방법 및 장치
JP2008034893A (ja) 多視点画像復号装置
JP6599634B2 (ja) 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant