KR102516992B1 - 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법 - Google Patents

부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법 Download PDF

Info

Publication number
KR102516992B1
KR102516992B1 KR1020187012316A KR20187012316A KR102516992B1 KR 102516992 B1 KR102516992 B1 KR 102516992B1 KR 1020187012316 A KR1020187012316 A KR 1020187012316A KR 20187012316 A KR20187012316 A KR 20187012316A KR 102516992 B1 KR102516992 B1 KR 102516992B1
Authority
KR
South Korea
Prior art keywords
image data
dimensional
unit
data
pixels
Prior art date
Application number
KR1020187012316A
Other languages
English (en)
Other versions
KR20180081720A (ko
Inventor
준이치 다나카
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20180081720A publication Critical patent/KR20180081720A/ko
Application granted granted Critical
Publication of KR102516992B1 publication Critical patent/KR102516992B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시는 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 취득할 수 있도록 하는 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법에 관한 것이다. 변환부는, 복수의 시점의 2차원 화상 데이터로부터 생성된 피사체의 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터를 생성한다. 부호화부는, 변환부에 의해 생성된 2차원 화상 데이터와 뎁스 화상 데이터를 부호화한다. 전송부는, 부호화부에 의해 부호화된 2차원 화상 데이터와 뎁스 화상 데이터를 전송한다. 본 개시는, 예를 들어 부호화 장치 등에 적용할 수 있다.

Description

부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법
본 개시는 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법에 관한 것이며, 특히 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 취득할 수 있도록 한 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법에 관한 것이다.
멀티 뷰 스테레오 기술에 있어서, 복수의 카메라에 의해 촬상된 3차원 물체의 3차원 위치 정보와 2차원 화상 데이터를 포함하는 3차원 데이터를 기록, 부호화, 전송, 복호, 표시하는 전송 시스템이 고안되어 있다(예를 들어, 비특허문헌 1 참조). 3차원 데이터의 부호화 방식으로서는, MPEG(Moving Picture Experts Group phase) 방식 등이 있다(예를 들어, 비특허문헌 2 참조).
또한, 복수의 카메라에 의해 얻어진, 복수의 시점의 2차원 화상 데이터와, 각 화소의 피사체의 깊이 방향(촬상면에 수직인 방향)의 위치를 나타내는 뎁스로 이루어지는 뎁스 화상 데이터를 그대로 기록, 부호화, 전송, 복호, 표시하는 전송 시스템이 고안되어 있다. 2차원 화상 데이터와 뎁스 화상 데이터를 부호화하는 방식으로서는, MVCD(Multiview and depth video coding) 방식, AVC(Advanced Video Coding) 방식, HEVC(High Efficiency Video Coding) 방식 등이 있다.
Ming Chuang, Pat Sweeney, Don Gillett, Dennis Evseev, David Calabrese, Hugues Hoppe, Adam Kirk, Steve Sullivan, "High-Quality Streamable Free-Viewpoint Video, Alvaro Collet", Microsoft Corporation Marius Preda, "MPEG Graphics Compression Model" MPEG document: N9892, May 2008
그러나, 피사체의 3차원 정보를 3차원 데이터로서 전송하는 경우, 수신측에 있어서, 3차원 데이터를 처리하는 고기능의 처리부가 필요하게 된다.
또한, 피사체의 3차원 정보를 복수의 카메라에 의해 얻어진 2차원 화상 데이터와 뎁스 화상 데이터로 전송하는 경우, 수신측의 처리는 용이하게 되지만, 복수의 카메라의 시점이 반드시 소정의 표시 화상 생성 방식에 적합한 시점이라고 할 수 없으며, 수신측에 있어서 시점의 과부족이 발생한다.
본 개시는 이러한 상황을 감안하여 이루어진 것이며, 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 취득할 수 있도록 하는 것이다.
본 개시의 제1 측면의 부호화 장치는, 복수의 제1 시점의 2차원 화상 데이터로부터 생성된 피사체의 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 제2 시점의 2차원 화상 데이터와 제3 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터를 생성하는 2차원 데이터 생성부와, 상기 2차원 데이터 생성부에 의해 생성된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 부호화하는 부호화부와, 상기 부호화부에 의해 부호화된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 전송하는 전송부를 구비하는 부호화 장치이다.
본 개시의 제1 측면의 부호화 방법은, 본 개시의 제1 측면의 부호화 장치에 대응한다.
본 개시의 제1 측면에 있어서는, 복수의 제1 시점의 2차원 화상 데이터로부터 생성된 피사체의 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 제2 시점의 2차원 화상 데이터와 제3 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터가 생성되고, 생성된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터가 부호화되고, 부호화된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터가 전송된다.
본 개시의 제2 측면의 복호 장치는, 소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점의 2차원 화상 데이터의 부호화 데이터와, 제2 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 복호하는 복호부와, 상기 복호부에 의한 복호 결과 얻어지는 상기 복수의 제1 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 사용하여, 피사체의 3차원 데이터를 생성하는 3차원 데이터 생성부와, 상기 3차원 데이터 생성부에 의해 생성된 상기 3차원 데이터에 기초하여, 상기 소정의 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성하는 2차원 데이터 생성부를 구비하는 복호 장치이다.
본 개시의 제2 측면의 복호 방법 및 프로그램은, 본 개시의 제2 측면의 복호 장치에 대응한다.
본 개시의 제2 측면에 있어서는, 소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점의 2차원 화상 데이터의 부호화 데이터와, 제2 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터가 복호되고, 복호 결과 얻어지는 상기 복수의 제1 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 사용하여, 피사체의 3차원 데이터가 생성되고, 생성된 상기 3차원 데이터에 기초하여, 상기 소정의 표시 화상 생성 방식으로 2차원 화상 데이터가 표시 화상 데이터로서 생성된다.
또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.
또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치를 실현하기 위해, 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여 제공할 수 있다.
본 개시의 제1 측면에 따르면, 부호화할 수 있다. 또한, 본 개시의 제1 측면에 따르면, 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 복호 장치가 취득할 수 있도록 부호화할 수 있다.
본 개시의 제2 측면에 따르면, 복호할 수 있다. 또한, 본 개시의 제2 측면에 따르면, 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 취득할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 본 개시를 적용한 전송 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 2는, 도 1의 변환부의 구성예를 도시하는 블록도이다.
도 3은, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 예를 도시하는 도면이다.
도 4는, 카메라 관련 정보의 예를 도시하는 도면이다.
도 5는, 도 1의 촬상 장치와 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 6은, 도 1의 변환부의 제1 구성예를 도시하는 블록도이다.
도 7은, 도 1의 변환부의 제2 구성예를 도시하는 블록도이다.
도 8은, 도 1의 변환부의 제3 구성예를 도시하는 블록도이다.
도 9는, 도 1의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 10은, 본 개시를 적용한 전송 시스템의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 11은, 도 10의 촬상 장치의 구성예를 도시하는 블록도이다.
도 12는, 동기 어긋남 정보의 예를 도시하는 도면이다.
도 13은, 도 10의 부호화 장치의 구성예를 도시하는 블록도이다.
도 14는, 도 10의 촬상 장치와 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 15는, 도 10의 복호부의 구성예를 도시하는 블록도이다.
도 16은, 도 10의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 17은, 본 개시를 적용한 전송 시스템의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 18은, 도 17의 합성 장치의 구성예를 도시하는 블록도이다.
도 19는, 도 18의 합성 장치의 합성 처리를 설명하는 흐름도이다.
도 20은, 제4 실시 형태에 있어서의 합성 장치의 구성예를 도시하는 블록도이다.
도 21은, 좌표 변환 데이터를 생성하는 처리를 설명하는 도면이다.
도 22는, 좌표 변환 정보의 예를 도시하는 도면이다.
도 23은, 도 20의 합성 장치의 합성 처리를 설명하는 흐름도이다.
도 24는, 제4 실시 형태에 있어서의 변환부의 구성예를 도시하는 블록도이다.
도 25는, 제4 실시 형태에 있어서의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 26은, 제5 실시 형태에 있어서의 합성 장치의 구성예를 도시하는 블록도이다.
도 27은, 색 편차 보정 정보의 예를 도시하는 도면이다.
도 28은, 도 26의 합성 장치의 합성 처리를 설명하는 흐름도이다.
도 29는, 제5 실시 형태에 있어서의 변환부의 구성예를 도시하는 블록도이다.
도 30은, 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태: 전송 시스템(도 1 내지 도 9)
2. 제2 실시 형태: 전송 시스템(도 10 내지 도 16)
3. 제3 실시 형태: 전송 시스템(도 17 내지 도 19)
4. 제4 실시 형태: 전송 시스템(도 20 내지 도 25)
5. 제5 실시 형태: 전송 시스템(도 26 내지 도 29)
6. 제6 실시 형태: 컴퓨터(도 30)
<제1 실시 형태>
(전송 시스템의 제1 실시 형태의 구성예)
도 1은, 본 개시를 적용한 전송 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 1의 전송 시스템(10)은, 촬상 장치(11), 부호화 장치(12), 복호 장치(13) 및 표시 장치(14)에 의해 구성된다. 전송 시스템(10)은, 촬상 장치(11)에 의해 취득된 2차원 화상 데이터 등을 사용하여, 소정의 표시 화상 생성 방식으로 표시 화상 데이터를 생성하여 표시한다.
구체적으로는, 전송 시스템(10)의 촬상 장치(11)는, 예를 들어 멀티 카메라, 측거 측정기 및 화상 처리부에 의해 구성된다. 촬상 장치(11)의 멀티 카메라는, 복수(예를 들어, 8)의 카메라에 의해 구성되고, 각 카메라에서 적어도 일부가 동일한 피사체의 동화상의 2차원 화상 데이터를 촬상한다. 측거 측정기는, 예를 들어 각 카메라에 설치되고, 그 카메라와 동일한 시점의 뎁스 화상 데이터를 생성한다.
촬상 장치(11)의 화상 처리부(3차원 데이터 생성부)는, 각 카메라의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 각 카메라의 내부 파라미터 및 외부 파라미터를 사용하여, Visual Hull 등에 의한 모델링을 행하여 메쉬를 작성한다. 화상 처리부는, 작성된 메쉬를 구성하는 각 점(Vertex)의 3차원 위치와 각 점의 연결(Polygon)을 나타내는 기하 정보(Geometry)와, 그 메쉬의 2차원 화상 데이터를 피사체의 3차원 데이터로서 생성하고, 부호화 장치(12)에 공급한다.
복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터로부터 3차원 데이터를 생성하는 방법의 상세는, 예를 들어 Saied Moezzi, Li-Cheng Tai, Philippe Gerard, "Virtual View Generation for 3D Digital Video", University of California, San Diego나 Takeo Kanade and Peter Rander, P.J.Narayanan, "Virtualized Reality: Constructing Virtual Worlds from Real Scenes"에 기재되어 있다.
부호화 장치(12)는 변환부(21), 부호화부(22) 및 전송부(23)에 의해 구성된다.
부호화 장치(12)의 변환부(21)는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 가상 카메라의 내부 파라미터와 외부 파라미터를 카메라 파라미터로서 설정한다. 변환부(21)는, 카메라 파라미터에 기초하여, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 생성한다.
3차원 데이터로부터 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 생성하는 3DCG 기술의 상세는, 예를 들어 다니모토 마사유키, 「궁극의 영상 통신을 목표로 하여」 전자 정보 통신 학회 기술 연구 보고. CS, 통신 방식 110(323), 73-78, 2010-11-25 등에 기재되어 있다.
본 명세서에서는 2차원 화상 데이터와 뎁스 화상 데이터의 시점은 동일한 것으로 하지만, 2차원 화상 데이터와 뎁스 화상 데이터의 시점 및 시점의 수는 상이해도 된다. 또한, 2차원 화상 데이터와 뎁스 화상 데이터의 시점 및 시점의 수는, 촬상 장치(11)의 카메라의 시점과 동일해도 되고, 상이해도 된다.
변환부(21)는, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점으로부터는 보이지 않는 오클루전 영역의 3차원 데이터(이하, 오클루전 3차원 데이터라고 함)를 추출한다. 변환부(21)는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 오클루전 3차원 데이터, 그리고 각 시점의 카메라 파라미터 등의 가상 카메라에 관한 정보인 카메라 관련 정보를 포함하는 메타데이터를 부호화부(22)에 공급한다.
부호화부(22)는, 변환부(21)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 부호화한다. 부호화 방식으로서는 MVCD(Multiview and depth video coding) 방식, AVC 방식, HEVC 방식 등을 채용할 수 있다.
부호화 방식이 MVCD 방식인 경우, 모든 시점의 2차원 화상 데이터와 뎁스 화상 데이터는, 통합하여 부호화된다. 그 결과, 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 데이터와 메타데이터를 포함하는 하나의 부호화 스트림이 생성된다. 이 경우, 메타데이터 중 카메라 파라미터는, 부호화 스트림의 reference displays information SEI에 배치된다. 또한, 메타데이터 중 뎁스 화상 데이터에 관한 정보는, Depth representation information SEI에 배치된다.
한편, 부호화 방식이 AVC 방식이나 HEVC 방식인 경우, 각 시점의 뎁스 화상 데이터와 2차원 화상 데이터는 별개로 부호화된다. 그 결과, 각 시점의 2차원 화상 데이터와 메타데이터를 포함하는 각 시점의 부호화 스트림과, 각 시점의 뎁스 화상 데이터의 부호화 데이터와 메타데이터를 포함하는 각 시점의 부호화 스트림이 생성된다. 이 경우, 메타데이터는, 예를 들어 각 부호화 스트림의 User unregistered SEI에 배치된다. 또한, 메타데이터에는, 부호화 스트림과 카메라 파라미터 등을 대응짓는 정보가 포함된다.
또한, 메타데이터에 부호화 스트림과 카메라 파라미터 등을 대응짓는 정보를 포함하지 않고, 부호화 스트림에, 그 부호화 스트림에 대응하는 메타데이터만을 포함하도록 해도 된다.
부호화부(22)는, 부호화 스트림을 전송부(23)에 공급한다. 전송부(23)는, 부호화부(22)로부터 공급되는 부호화 스트림을 복호 장치(13)에 전송한다. 또한, 본 명세서에서는 메타데이터가 부호화 스트림에 배치되어 전송되도록 하지만, 부호화 스트림과는 별도로 전송되도록 해도 된다.
복호 장치(13)는 수취부(31), 복호부(32) 및 변환부(33)에 의해 구성된다.
복호 장치(13)의 수취부(31)는, 전송부(23)로부터 전송되어 오는 부호화 스트림을 수취하고, 복호부(32)에 공급한다. 복호부(32)는, 수취부(31)로부터 공급되는 부호화 스트림을, 부호화부(22)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(32)는, 그 결과 얻어지는 복수의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 변환부(33)에 공급한다.
변환부(33)는, 복호부(32)로부터 공급되는 메타데이터와 복호 장치(13)의 표시 화상 생성 방식에 기초하여, 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터로부터, 소정의 시점의 2차원 화상 데이터, 또는 소정의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 선택한다. 변환부(33)는, 선택된 소정의 시점의 2차원 화상 데이터, 또는 소정의 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 표시 화상 데이터를 생성하고, 표시 장치(14)에 공급한다.
표시 장치(14)는, 2차원 헤드 마운트 디스플레이나 2차원 모니터, 3차원 헤드 마운트 디스플레이나 3차원 모니터 등에 의해 구성된다. 표시 장치(14)는, 변환부(33)로부터 공급되는 표시 화상 데이터에 기초하여, 표시 화상을 2차원 표시 또는 3차원 표시한다.
(변환부(21)의 구성예)
도 2는, 도 1의 변환부(21)의 구성예를 도시하는 블록도이다.
도 2의 변환부(21)는, 피사체 위치 결정부(51), 카메라 결정부(52), 2차원 데이터 생성부(53) 및 오클루전 결정부(54)에 의해 구성된다.
변환부(21)의 피사체 위치 결정부(51)는, 도 1의 촬상 장치(11)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 결정부(52)에 공급한다.
카메라 결정부(52)는, 피사체 위치 결정부(51)로부터 공급되는 피사체 위치 정보에 기초하여, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 카메라 파라미터를 결정하고, 2차원 데이터 생성부(53)와 오클루전 결정부(54)에 공급한다. 또한, 카메라 결정부(52)는, 각 시점의 카메라 파라미터 등으로부터 카메라 관련 정보를 생성하고, 메타데이터로서 도 1의 부호화부(22)에 공급한다.
2차원 데이터 생성부(53)는, 카메라 결정부(52)로부터 공급되는 복수의 시점의 카메라 파라미터에 기초하여, 시점마다, 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행한다.
구체적으로는, 각 화소의 2차원 위치에 대응하는 행렬 m'와 월드 좌표계의 3차원 좌표에 대응하는 행렬 M의 관계는, 카메라의 내부 파라미터 A와 외부 파라미터 R|t를 사용하여, 이하의 식 (1)에 의해 표현된다.
Figure 112018042622032-pct00001
식 (1)은, 보다 상세하게는 식 (2)로 표현된다.
Figure 112018042622032-pct00002
식 (2)에 있어서, (u, v)는 화상 상의 2차원 좌표이고, fx, fy는 초점 거리이다. 또한, Cx, Cy는 주점이고, r11 내지 r13, r21 내지 r23, r31 내지 r33 및 t1 내지 t3은 파라미터이고, (X, Y, Z)는 월드 좌표계의 3차원 좌표이다.
따라서, 2차원 데이터 생성부(53)는, 상술한 식 (1)이나 (2)에 의해, 카메라 파라미터를 사용하여, 각 화소의 2차원 좌표에 대응하는 3차원 좌표를 구한다.
그리고, 2차원 데이터 생성부(53)는, 시점마다, 3차원 데이터 중의 각 화소의 2차원 좌표에 대응하는 3차원 좌표의 2차원 화상 데이터를 각 화소의 2차원 화상 데이터로 함으로써, 각 화소의 2차원 좌표와 화상 데이터를 대응짓는 2차원 화상 데이터를 생성한다. 또한, 2차원 데이터 생성부(53)는, 시점마다, 각 화소의 2차원 좌표에 대응하는 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 각 화소의 2차원 좌표와 뎁스를 대응짓는 뎁스 화상 데이터를 생성한다. 뎁스는, 예를 들어 피사체의 깊이 방향의 위치 z의 역수 1/z이다. 2차원 데이터 생성부(53)는, 각 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화부(22)에 공급한다.
오클루전 결정부(54)는, 카메라 결정부(52)로부터 공급되는 카메라 파라미터에 기초하여, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터 오클루전 3차원 데이터를 추출하고, 메타데이터로서 부호화부(22)에 공급한다.
(소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 예)
도 3은, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 예를 도시하는 도면이다.
도 3의 A의 예에서는, 소정의 표시 화상 생성 방식이, 소정의 1시점의 표시 화상을 2차원 표시하는 소정 시점 표시 화상 생성 방식과, 하나의 임의의 시점인 자유 시점의 표시 화상을 2차원 표시하는 자유 시점 표시 화상 생성 방식이다. 이 경우, 도 3의 A에 도시하는 바와 같이, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점은, 예를 들어 동일 원 상에 등간격으로 존재하는 복수(도 3의 A의 예에서는 8)의 시점(71 내지 78)이며, 시점(71 내지 78)의 방향은, 그 원의 중심을 향하는 방향이다.
이상에 의해, 복호 장치(13)는, 시점(71 내지 78) 중 어느 시점의 2차원 화상 데이터를 표시 화상 데이터로서 선택하고, 표시 장치(14)에 공급함으로써, 그 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다.
또한, 복호 장치(13)는, 시점(71 내지 78)의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여 3차원 데이터를 생성하고, 자유 시점에 대하여, 그 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행함으로써, 자유 시점의 2차원 화상 데이터를 표시 화상 데이터로서 생성할 수 있다. 따라서, 복호 장치(13)는, 생성된 표시 화상 데이터를 표시 장치(14)에 공급함으로써, 자유 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다.
도 3의 B의 예에서는, 소정의 표시 화상 생성 방식이, 소정 시점 표시 화상 생성 방식, 자유 시점 표시 화상 생성 방식, 2시점의 2차원 화상 데이터에 기초하여 표시 화상을 3차원 표시시키는 3차원 표시 화상 생성 방식, 및 2시점의 사이의 시점의 표시 화상을 2차원 표시시키는 보간 시점 표시 화상 생성 방식이다.
이 경우, 도 3의 B에 도시하는 바와 같이, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점은, 예를 들어 동일 원 상에 등간격으로 존재하는 복수(도 3의 B의 예에서는 10)의 시점(81 내지 90)이다. 시점(88)과 시점(89)은, 각각 시점(87), 시점(88)과 대략 수평 방향으로 배열된다. 시점(87)과 시점(89) 및 시점(88)과 시점(90)의 대략 수평 방향의 간격은, 예를 들어 인간의 좌우 눈의 간격에 대응한다. 시점(81 내지 90)의 방향은, 시점(81 내지 90)이 배치되는 원의 중심을 향하는 방향이다.
이상에 의해, 복호 장치(13)는, 도 3의 A의 경우와 마찬가지로, 시점(81 내지 90) 중 어느 시점의 표시 화상 또는 자유 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다. 또한, 복호 장치(13)는, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어의 2차원 화상 데이터를 표시 화상 데이터로서 선택하고, 표시 장치(14)에 공급함으로써, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어의 표시 화상을 표시 장치(14)에 3차원 표시시킬 수 있다.
또한, 복호 장치(13)는, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 그 페어 사이의 시점의 2차원 화상 데이터를 보간할 수 있다. 따라서, 복호 장치(13)는, 보간된 2차원 화상 데이터를 표시 화상 데이터로서 표시 장치(14)에 공급함으로써, 시점(87)과 시점(89)의 페어 또는 시점(88)과 시점(90)의 페어 사이의 시점의 표시 화상을 표시 장치(14)에 2차원 표시시킬 수 있다.
도 3의 A 및 도 3의 B의 예의 경우, 소정의 표시 화상 생성 방식의 수는 복수이다. 따라서, 복호 장치(13)는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 소정의 표시 화상 생성 방식 중 어느 것으로 표시 화상 데이터를 생성할 수 있다. 따라서, 부호화 장치(12)는, 스케일러빌리티를 갖는 부호화 스트림을 생성할 수 있다고 할 수 있다. 또한, 소정의 표시 화상 생성 방식의 수는 1개여도 된다.
또한, 카메라 결정부(52)는, 촬상 장치(11)의 카메라의 수가, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점보다 많은 경우, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 카메라 파라미터를 결정함으로써, 시점의 용장성을 없앨 수 있다.
예를 들어, 촬상 장치(11)의 카메라의 시점이 시점(71 내지 78)의 8시점이지만, 복수의 표시 화상 생성 방식에 대응하는 복수의 시점이 시점(71), 시점(73), 시점(75) 및 시점(77)의 4시점인 경우, 카메라 결정부(52)는, 그 4시점의 카메라 파라미터를 결정한다. 따라서, 시점(71 내지 78)의 모든 2차원 화상 데이터와 뎁스 화상 데이터가 부호화되는 경우에 비하여, 부호화 스트림에 있어서의 시점의 용장성을 없앨 수 있다.
복수의 표시 화상 생성 방식에 대응하는 복수의 시점의 위치는, 도 3의 A 및 도 3의 B의 예에 한정되지 않고, 임의의 위치로 하는 것이 가능하다. 또한, 각 시점의 카메라 파라미터는, 예를 들어 비교적 좁은 화각에 대응하는 카메라 파라미터로 할 수 있다. 이 경우, 표시 화상의 줌 시의 해상도를 향상시킬 수 있다.
또한, 본 명세서에서는, 소정의 표시 화상 생성 방식의 수가 복수인 경우라도, 소정의 표시 화상 생성 방식 모두에 대응하는 복수의 시점의 부호화 스트림이 생성되도록 하지만, 소정의 표시 화상 생성 방식마다, 대응하는 복수의 시점의 부호화 스트림이 생성되도록 해도 된다. 이 경우, 복호 장치(13)는, 자신의 표시 화상 생성 방식에 대응하는 부호화 스트림을 사용하여 표시 화상 데이터를 생성한다.
또한, 카메라 결정부(52)는, 복호 장치(13)로부터의 요구에 따라, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점을 결정하도록 해도 된다.
(카메라 관련 정보의 예)
도 4는, 카메라 관련 정보의 예를 도시하는 도면이다.
도 4의 예에서는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점이, 도 3의 B의 시점(81 내지 90)이다.
도 4에 도시하는 바와 같이, 카메라 관련 정보는, 각 시점의 카메라 ID에, 그 시점의 외부 파라미터 R|T, 내부 파라미터 A, isStereoFlag 및 스테레오 카메라 ID가 대응지어짐으로써 구성된다.
카메라 ID는, 시점에 고유한 ID이다. 도 4의 예에서는, 카메라 ID는, 시점(81 내지 90)에 대하여 0부터 순서대로 부여되어 있다. 또한, 도 4에서는, 카메라 ID가 i인 외부 파라미터 R|T를 Ri|Ti, 내부 파라미터 A를 Ai로 기재하고 있다.
isStereoFlag는, 대략 수평 방향으로 배열되는 다른 시점이 존재하는지 여부를 나타내는 플래그이며, 대략 수평 방향으로 배열되는 다른 시점이 존재하는 경우 1로 설정된다. 도 4의 예에서는, 카메라 ID가 6 내지 9인 시점(87 내지 90)에, 대략 수평 방향으로 배열되는 다른 시점이 존재하기 때문에, 도 4에 도시하는 바와 같이, 6 내지 9인 카메라 ID에 대응지어진 isStereoFlag는 1이 된다.
스테레오 카메라 ID는, 대략 수평 방향으로 배열되는 다른 시점의 카메라 ID이고, 대략 수평 방향으로 배열되는 2개의 시점을 특정하는 페어 정보이다. 도 4의 예에서는, 카메라 ID가 6인 시점(87)의 대략 수평 방향으로 배열되는 다른 시점(89)의 카메라 ID는 8이므로, 6인 카메라 ID에 대응지어진 스테레오 카메라 ID는 8이 된다.
마찬가지로, 카메라 ID가 7인 시점(88)의 대략 수평 방향으로 배열되는 다른 시점(90)의 카메라 ID는 9이므로, 7인 카메라 ID에 대응지어진 스테레오 카메라 ID는 9가 된다. 또한, 8인 카메라 ID에 대응지어진 스테레오 카메라 ID는 6이 되고, 9인 카메라 ID에 대응지어진 스테레오 카메라 ID는 7이 된다.
(촬상 장치와 부호화 장치의 처리의 설명)
도 5는, 도 1의 촬상 장치(11)와 부호화 장치(12)의 부호화 처리를 설명하는 흐름도이다.
도 5의 스텝 S11에 있어서, 촬상 장치(11)는, 멀티 카메라로 동화상의 2차원 화상 데이터를 촬상하고, 측거 측정기로 뎁스 화상 데이터를 생성한다. 스텝 S12에 있어서, 촬상 장치(11)는, 2차원 화상 데이터와 뎁스 화상 데이터를 사용하여 3차원 데이터를 생성하고, 부호화 장치(12)에 공급한다.
스텝 S13에 있어서, 부호화 장치(12)의 피사체 위치 결정부(51)(도 2)는, 촬상 장치(11)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 결정부(52)에 공급한다.
스텝 S14에 있어서, 카메라 결정부(52)는, 피사체 위치 결정부(51)로부터 공급되는 피사체 위치 정보에 기초하여, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 카메라 파라미터를 결정하고, 2차원 데이터 생성부(53)와 오클루전 결정부(54)에 공급한다. 또한, 카메라 결정부(52)는, 카메라 파라미터 등으로부터 도 4의 카메라 관련 정보를 생성하고, 메타데이터로서 도 1의 부호화부(22)에 공급한다.
스텝 S15에 있어서, 2차원 데이터 생성부(53)는, 카메라 결정부(52)로부터 공급되는 복수의 시점의 카메라 파라미터에 기초하여, 시점마다, 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행하여, 각 화소의 2차원 좌표에 대응하는 3차원 좌표를 구한다.
스텝 S16에 있어서, 2차원 데이터 생성부(53)는, 시점마다, 3차원 데이터 중 각 화소의 3차원 좌표의 2차원 화상 데이터를 각 화소의 2차원 화상 데이터로 함으로써, 2차원 화상 데이터를 생성한다. 또한, 2차원 데이터 생성부(53)는, 시점마다, 각 화소의 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 뎁스 화상 데이터를 생성한다. 2차원 데이터 생성부(53)는, 각 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화부(22)에 공급한다.
스텝 S17에 있어서, 오클루전 결정부(54)는, 카메라 결정부(52)로부터 공급되는 카메라 파라미터에 기초하여, 촬상 장치(11)로부터 공급되는 3차원 데이터로부터 오클루전 3차원 데이터를 추출하고, 메타데이터로서 부호화부(22)에 공급한다.
스텝 S18에 있어서, 부호화부(22)는, 변환부(21)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 부호화하고, 그 결과 얻어지는 부호화 스트림을 전송부(23)에 공급한다.
스텝 S19에 있어서, 전송부(23)는, 부호화부(22)로부터 공급되는 부호화 스트림을 복호 장치(13)에 전송한다. 그리고, 처리는 종료된다.
(변환부(33)의 제1 구성예)
도 6은, 도 1의 변환부(33)의 제1 구성예를 도시하는 블록도이다.
도 6의 변환부(33)는, 도 1의 복호 장치(13)의 표시 화상 생성 방식이 소정 시점 표시 화상 생성 방식인 경우의 변환부(33)이며, 선택부(111)와 표시 제어부(112)에 의해 구성된다.
변환부(33)의 선택부(111)는, 도 1의 복호부(32)로부터 공급되는 카메라 관련 정보에 기초하여, 원하는 1시점의 카메라 ID를 인식한다. 선택부(111)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 오클루전 3차원 데이터 중의, 인식된 카메라 ID에 대응하는 1시점의 2차원 화상 데이터를 선택한다. 선택부(111)는, 선택된 1시점의 2차원 화상 데이터를 표시 제어부(112)에 공급한다.
표시 제어부(112)는, 선택부(111)로부터 공급되는 1시점의 2차원 화상 데이터를 표시 화상 데이터로서 표시 장치(14)에 공급함으로써, 표시 화상을 표시 장치(14)에 2차원 표시시킨다.
또한, 도시는 생략하지만, 복호 장치(13)의 표시 화상 생성 방식이 3차원 표시 화상 생성 방식인 경우의 변환부(33)의 구성은, 선택부(111)가, 카메라 관련 정보에 기초하여 대략 수평 방향으로 배열되는 2시점의 2차원 화상 데이터를 선택하는 점을 제외하고, 도 6의 구성과 동일하다.
즉, 이 경우, 선택부(111)는, 카메라 관련 정보 중 isStereoFlag가 1인 카메라 ID의 시점과, 그 카메라 ID에 대응하는 스테레오 카메라 ID의 시점의 2차원 화상 데이터를 선택한다. 그 결과, 표시 장치(14)에는, 선택된 2시점의 2차원 화상 데이터가 표시 화상 데이터로서 공급된다. 표시 장치(14)는, 표시 화상 데이터 중 1시점의 2차원 화상 데이터에 기초하여 좌안용 표시 화상을 표시하고, 다른 1시점의 2차원 화상 데이터에 기초하여 우안용 표시 화상을 표시함으로써, 표시 화상을 3차원 표시한다.
(변환부(33)의 제2 구성예)
도 7은, 도 1의 변환부(33)의 제2 구성예를 도시하는 블록도이다.
도 7의 변환부(33)는, 복호 장치(13)의 표시 화상 생성 방식이 보간 시점 표시 화상 생성 방식인 경우의 변환부(33)이며, 선택부(131), 보간부(132) 및 표시 제어부(133)에 의해 구성된다.
변환부(33)의 선택부(131)는, 도 1의 복호부(32)로부터 공급되는 카메라 관련 정보에 기초하여, 1인 isStereoFlag에 대응하는 카메라 ID 중 1개와, 그 1개에 대응하는 스테레오 카메라 ID를 인식한다. 선택부(131)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터 및 오클루전 3차원 데이터 중의, 인식된 2개의 카메라 ID에 대응하는 2시점의 2차원 화상 데이터와 뎁스 화상 데이터를 선택하고, 보간부(132)에 공급한다.
보간부(132)는, 선택부(131)로부터 공급되는 2시점의 2차원 화상 데이터와 뎁스 화상 데이터에 기초하여, 그 2시점의 사이의 위치를 시점으로 하는 2차원 화상 데이터를 보간한다. 이러한 보간 기술은, Depth Image Based Rendering이라고 불리며, 예를 들어 국제 공개 WO2014083752호 팸플릿에 기재되어 있다. 보간부(132)는, 보간된 1시점의 2차원 화상 데이터를 표시 제어부(133)에 공급한다.
표시 제어부(133)는, 보간부(132)로부터 공급되는 1시점의 2차원 화상 데이터를 표시 화상 데이터로서 표시 장치(14)에 공급함으로써, 표시 화상을 표시 장치(14)에 2차원 표시시킨다.
(변환부(33)의 제3 구성예)
도 8은, 도 1의 변환부(33)의 제3 구성예를 도시하는 블록도이다.
도 8의 변환부(33)는, 복호 장치(13)의 표시 화상 생성 방식이 자유 시점 표시 화상 생성 방식인 경우의 변환부(33)이다. 도 8의 변환부(33)는, 3차원 데이터 생성부(151), 피사체 위치 결정부(152), 카메라 위치 결정부(153), 2차원 데이터 생성부(154) 및 표시 제어부(155)에 의해 구성된다.
변환부(33)의 3차원 데이터 생성부(151)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 카메라 관련 정보에 포함되는 카메라 파라미터를 사용하여, 촬상 장치(11)와 마찬가지로, 피사체의 3차원 데이터를 생성한다. 3차원 데이터 생성부(151)는, 생성된 3차원 데이터를, 복호부(32)로부터 공급되는 오클루전 3차원 데이터를 사용하여 수정한다. 이에 의해, 2차원 화상 데이터와 뎁스 화상 데이터만으로는 생성할 수 없는 오클루전 영역을 포함하는 피사체의 전체 영역의 3차원 데이터를 생성할 수 있다. 3차원 데이터 생성부(151)는, 수정된 3차원 데이터를 피사체 위치 결정부(152)와 2차원 데이터 생성부(154)에 공급한다.
피사체 위치 결정부(152)는, 3차원 데이터 생성부(151)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 위치 결정부(153)에 공급한다.
카메라 위치 결정부(153)는, 피사체 위치 결정부(152)로부터 공급되는 피사체 위치 정보에 기초하여, 자유 시점의 카메라 파라미터를 결정하고, 카메라 파라미터를 2차원 데이터 생성부(154)에 공급한다.
2차원 데이터 생성부(154)는, 3차원 데이터 생성부(151)로부터 공급되는 3차원 데이터와, 카메라 위치 결정부(153)로부터 공급되는 자유 시점의 카메라 파라미터에 기초하여, 자유 시점 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성한다.
구체적으로는, 2차원 데이터 생성부(154)는, 자유 시점의 카메라 파라미터에 기초하여, 도 2의 2차원 데이터 생성부(53)와 마찬가지로, 3차원 데이터에 대응하는 3차원 물체의 투시 투영을 행하여, 각 화소의 2차원 좌표에 대응하는 3차원 좌표를 구한다. 그리고, 2차원 데이터 생성부(154)는, 3차원 데이터 중 각 화소의 2차원 좌표에 대응하는 3차원 좌표의 2차원 화상 데이터를, 각 화소의 표시 화상 데이터로서 생성한다.
또한, 2차원 데이터 생성부(154)는, 각 화소의 2차원 좌표에 대응하는 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 뎁스 화상 데이터를 생성한다. 2차원 데이터 생성부(154)는, 표시 화상 데이터와 뎁스 화상 데이터를 표시 제어부(155)에 공급한다.
표시 제어부(155)는, 2차원 데이터 생성부(154)로부터 공급되는 표시 화상 데이터와 뎁스 화상 데이터를 표시 장치(14)에 공급한다. 표시 장치(14)는, 예를 들어 표시 화상 데이터와 뎁스 화상 데이터를 Point Cloud로 하여, 표시 화상을 2차원 표시한다.
이상과 같이, 도 8의 변환부(33)는, 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터로부터 3차원 데이터를 생성하고, 새롭게 결정된 자유 시점의 카메라 파라미터에 기초하여, 그 3차원 데이터로부터, 2차원 화상 데이터와 뎁스 화상 데이터를 생성한다. 따라서, 변환부(33)는, 부호화 장치(12)로부터 전송되어 오는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 줌 배율을 변경하거나, 시점을 변경하거나 할 수 있다.
(복호 장치의 처리의 설명)
도 9는, 도 1의 변환부(33)의 구성이 도 8의 구성인 경우의 복호 장치(13)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 부호화 장치(12)로부터 부호화 스트림이 전송되어 왔을 때 개시된다.
도 9의 스텝 S31에 있어서, 복호 장치(13)의 수취부(31)는, 전송부(23)로부터 전송되어 오는 부호화 스트림을 수취하고, 복호부(32)에 공급한다.
스텝 S32에 있어서, 복호부(32)는, 수취부(31)로부터 공급되는 부호화 스트림을 복호한다. 복호부(32)는, 그 결과 얻어지는 복수의 시점의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 변환부(33)에 공급한다.
스텝 S33에 있어서, 변환부(33)의 3차원 데이터 생성부(151)(도 8)는, 복호부(32)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 메타데이터에 포함되는 카메라 파라미터를 사용하여, 촬상 장치(11)와 마찬가지로, 피사체의 3차원 데이터를 생성한다.
스텝 S34에 있어서, 3차원 데이터 생성부(151)는, 복호부(32)로부터 공급되는 메타데이터에 포함되는 오클루전 3차원 데이터를 사용하여, 스텝 S33에서 생성된 3차원 데이터를 수정한다. 3차원 데이터 생성부(151)는, 수정된 3차원 데이터를 피사체 위치 결정부(152)에 공급한다.
스텝 S35에 있어서, 피사체 위치 결정부(152)는, 3차원 데이터 생성부(151)로부터 공급되는 3차원 데이터에 대응하는 3차원 물체 중 피사체의 중심으로 하는 3차원 위치를 결정하고, 그 3차원 위치를 나타내는 피사체 위치 정보를 카메라 위치 결정부(153)에 공급한다.
스텝 S36에 있어서, 카메라 위치 결정부(153)는, 피사체 위치 결정부(152)로부터 공급되는 피사체 위치 정보에 기초하여, 자유 시점의 카메라 파라미터를 결정하고, 카메라 파라미터를 2차원 데이터 생성부(154)에 공급한다.
스텝 S37에 있어서, 2차원 데이터 생성부(154)는, 3차원 데이터와 자유 시점의 카메라 파라미터에 기초하여, 자유 시점 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성한다.
스텝 S38에 있어서, 2차원 데이터 생성부(154)는, 각 화소의 2차원 좌표에 대응하는 3차원 좌표에 기초하여 각 화소의 뎁스를 구하고, 뎁스 화상 데이터를 생성한다. 2차원 데이터 생성부(154)는, 표시 화상 데이터와 뎁스 화상 데이터를 표시 제어부(155)에 공급한다.
스텝 S39에 있어서, 표시 제어부(155)는, 2차원 데이터 생성부(154)로부터 공급되는 표시 화상 데이터와 뎁스 화상 데이터를 표시 장치(14)에 공급한다.
이상과 같이, 전송 시스템(10)에서는, 촬상 장치(11)가, 촬상된 복수의 시점의 2차원 화상 데이터로부터 3차원 데이터를 생성하고, 부호화 장치(12)가, 그 3차원 데이터로부터 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 생성하여 부호화한다. 따라서, 부호화 장치(12)는, 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 복호 장치(13)가 취득할 수 있도록 부호화할 수 있다.
또한, 복호 장치(13)는, 부호화 장치(12)로부터 전송되어 오는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 2차원 화상 데이터와 뎁스 화상 데이터의 부호화 스트림을 수취하여 복호한다. 따라서, 복호 장치(13)는, 촬상 시의 시점에 구애되지 않고 소정의 표시 화상 생성 방식에 대응하는 시점의 2차원 화상 데이터와 뎁스 화상 데이터를 취득할 수 있다.
또한, 소정의 표시 화상 생성 방식의 수가 복수인 경우, 복수의 표시 화상 생성 방식의 복호 장치에서, 부호화 장치(12)에서 생성된 부호화 스트림을 재생할 수 있다. 예를 들어, 표시 화상 생성 방식이 소정 시점 표시 화상 생성 방식인 저기능의 복호 장치와, 표시 화상 생성 방식이 자유 시점 화상 생성 방식인 고기능의 복호 장치의 양쪽에서, 자신의 능력에 따른 부호화 스트림의 재생을 행할 수 있다.
<제2 실시 형태>
(전송 시스템의 제2 실시 형태의 구성예)
도 10은, 본 개시를 적용한 전송 시스템의 제2 실시 형태의 구성예를 도시하는 블록도이다.
도 10에 도시하는 구성 중, 도 1의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 10의 전송 시스템(170)의 구성은, 촬상 장치(11), 부호화 장치(12) 및 복호 장치(13)가, 촬상 장치(171), 부호화 장치(172) 및 복호 장치(173)를 대신하는 점이, 도 1의 전송 시스템(10)의 구성과 상이하다. 전송 시스템(170)에서는, 촬상 장치(171)에 의해 취득된 2차원 화상 데이터와 뎁스 화상 데이터가 그대로 부호화되어 전송된다.
구체적으로는, 전송 시스템(170)의 촬상 장치(171)는, 멀티 카메라(181)와 화상 처리부(182)에 의해 구성된다. 촬상 장치(171)의 멀티 카메라(181)를 구성하는 복수의 카메라는, 각각 2차원 화상 데이터를 촬상한다. 멀티 카메라(181)는, 각 카메라에 의해 촬상된 2차원 화상 데이터를 화상 처리부(182)에 공급한다.
화상 처리부(182)는, 멀티 카메라(181)를 구성하는 복수의 카메라 중 하나의 카메라를 기준 카메라로 하고, 다른 카메라를 참조 카메라로 한다. 화상 처리부(182)는, 멀티 카메라(181)의 기준 카메라에 의해 촬상된 2차원 화상 데이터와 각 참조 카메라에 의해 촬상된 2차원 화상 데이터에 기초하여, 기준 카메라에 대한 각 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 검출한다. 또한, 화상 처리부(182)는, 기준 카메라의 동기 어긋남을 0으로서 검출한다. 화상 처리부(182)는, 검출된 각 카메라의 시점의 동기 어긋남을 나타내는 정보를 포함하는 동기 어긋남 정보와 카메라 관련 정보를 부호화 장치(172)에 공급한다.
또한, 화상 처리부(182)는, 각 카메라에 의해 촬상된 2차원 화상 데이터에 대하여 스테레오 매칭을 행함으로써, 각 카메라의 뎁스 화상 데이터를 생성하고, 부호화 장치(172)에 공급한다.
부호화 장치(172)는, 촬상 장치(171)로부터 공급되는 동기 어긋남 정보와 카메라 관련 정보를 메타데이터로 한다. 부호화 장치(172)는, 도 1의 부호화부(22)와 마찬가지로, 촬상 장치(171)로부터 공급되는 각 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 부호화하고, 부호화 스트림을 생성한다. 부호화 장치(172)(전송부)는, 생성된 부호화 스트림을 복호 장치(173)에 전송한다.
복호 장치(173)의 구성은, 복호부(32)와 변환부(33)가, 복호부(191)와 변환부(192)를 대신하는 점이, 도 1의 복호 장치(13)의 구성과 상이하다.
복호 장치(173)의 복호부(191)는, 수취부(31)로부터 공급되는 부호화 스트림을, 부호화 장치(172)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(191)는, 그 결과 얻어지는 메타데이터 중 동기 어긋남 정보에 기초하여, 기준 카메라와 각 참조 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시켜, 변환부(192)에 공급한다. 또한, 복호부(191)는, 메타데이터 중 카메라 관련 정보를 변환부(192)에 공급한다.
변환부(192)의 구성은, 3차원 데이터가 오클루전 3차원 데이터를 사용하여 보정되지 않는 점을 제외하고, 도 1의 변환부(33)의 구성과 동일하므로, 설명은 생략한다.
(촬상 장치의 구성예)
도 11은, 도 10의 촬상 장치(171)의 구성예를 도시하는 블록도이다.
도 11의 촬상 장치(171)의 멀티 카메라(181)는, N개(N은 복수)의 카메라(211-1 내지 211-N)에 의해 구성된다.
카메라(211-1 내지 211-N)는, 예를 들어 카메라(211-1 내지 211-N)의 시점이 소정의 표시 화상 생성 방식에 대응하는 시점이 되도록 배치된다. 카메라(211-1 내지 211-N)는, 각각 촬상을 행하고, 그 결과 얻어지는 동화상의 2차원 화상 데이터(촬상 화상 데이터)를 화상 처리부(182)에 공급한다. 이하에서는, 카메라(211-1 내지 211-N)를 특별히 구별할 필요가 없는 경우, 그것들을 통합하여 카메라(211)라고 한다.
화상 처리부(182)는 캘리브레이션부(221), 동기 어긋남 검출부(222) 및 뎁스 생성부(223)에 의해 구성된다.
화상 처리부(182)의 캘리브레이션부(221)는, 카메라(211)마다, 멀티 카메라(181)로부터 공급되는 2차원 화상 데이터에 대하여, 카메라 파라미터를 사용하여 캘리브레이션을 행한다. 캘리브레이션부(221)는, 캘리브레이션 후의 각 카메라(211)의 2차원 화상 데이터를 동기 어긋남 검출부(222)에 공급한다. 또한, 캘리브레이션부(221)는, 카메라 관련 정보를 도 10의 부호화 장치(172)에 공급한다.
동기 어긋남 검출부(222)는, 카메라(211-1 내지 211-N) 중 하나를 기준 카메라로 하고, 나머지를 참조 카메라로 한다. 동기 어긋남 검출부(222)는, 캘리브레이션부(221)로부터 공급되는 기준 카메라의 2차원 화상 데이터와 참조 카메라의 2차원 화상 데이터에 기초하여, 참조 카메라마다, 기준 카메라에 대한 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 msec 오더로 검출한다.
구체적으로는, 동기 어긋남 검출부(222)는, 기준 카메라의 2차원 화상 데이터와 참조 카메라의 2차원 화상 데이터로부터 플래시 광을 검출한다. 동기 어긋남 검출부(222)는, 플래시 광이 검출된 기준 카메라의 2차원 화상 데이터와 참조 카메라의 2차원 화상 데이터의 촬상 시각의 차분을, 참조 카메라의 2차원 화상 데이터의 동기 어긋남으로서 검출한다.
참조 카메라의 2차원 화상 데이터의 동기 어긋남은, 플래시 광을 검출하는 방법 이외의 방법에 의해, 2차원 화상 데이터를 사용하여 행해지도록 해도 된다. 또한, 카메라(211)가 2차원 화상 데이터와 함께 음성 데이터를 취득하는 경우에는, 기준 카메라에 대한 참조 카메라의 음성 데이터의 동기 어긋남을 검출함으로써, 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 검출하도록 해도 된다.
동기 어긋남 검출부(222)는, 기준 카메라의 2차원 화상 데이터의 동기 어긋남을 0으로서 검출한다. 동기 어긋남 검출부(222)는, 검출된 동기 어긋남의 동기 어긋남 정보를 부호화 장치(172)에 공급한다. 또한, 동기 어긋남 검출부(222)는, 캘리브레이션부(221)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터를 뎁스 생성부(223)에 공급한다.
뎁스 생성부(223)는, 동기 어긋남 검출부(222)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터에 대하여 스테레오 매칭을 행함으로써, 각 카메라(211)의 뎁스 화상 데이터를 생성한다. 뎁스 생성부(223)는, 각 카메라(211)의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화 장치(172)에 공급한다.
(동기 어긋남 정보의 예)
도 12는, 동기 어긋남 정보의 예를 도시하는 도면이다.
도 12의 예에서는, 카메라(211)의 시점이, 도 3의 B의 시점(81 내지 90)이다.
도 12에 도시하는 바와 같이, 동기 어긋남 정보는, 각 카메라(211)의 시점의 카메라 ID에, 그 카메라(211)의 num_units_in_tick, time_scale, Delta_num_units_in_tick 및 Delta_time_scale이 대응지어짐으로써 구성된다.
num_units_in_tick는, 프레임 간격이 time_scale로 정의되는 time_unit가 몇 개분인지를 나타내는 정보이다. time_scale은, 1초간의 time_unit의 수이다. 따라서, num_units_in_tick와 time_scale에 의해, 프레임 레이트를 나타낼 수 있다.
도 12의 예에서는, 카메라 ID가 0, 1, 4 및 5인 카메라(211)의 프레임 레이트는 60Hz(59.94Hz)이다. 따라서, 예를 들어 카메라 ID가 0, 1, 4 및 5인 카메라(211)의 num_units_in_tick는 1001이고, time_scale은 60000이다. 또한, 카메라 ID가 2, 3 및 6 내지 9인 카메라(211)의 프레임 레이트는 30Hz(29.97Hz)이다. 따라서, 예를 들어 카메라 ID가 2, 3 및 6 내지 9인 카메라(211)의 num_units_in_tick는 2002이고, time_scale은 60000이다.
Delta_num_units_in_tick는, 동기 어긋남이 Delta_time_scale로 정의되는 time_unit가 몇 개분인지를 나타내는 정보이다. Delta_time_scale은, 1초간의 time_unit의 수이다. 따라서, Delta_num_units_in_tick와 Delta_time_scale에 의해, 동기 어긋남을 나타낼 수 있다.
도 12의 예에서는, 카메라 ID가 0인 카메라(211)가 기준 카메라이다. 따라서, 0인 카메라 ID에 대응하는 Delta_num_units_in_tick는 0이다. 또한, 도 12의 예에서는, 카메라 ID가 3, 4, 7 및 9인 카메라(211)의 동기 어긋남은 0이다. 따라서, 3, 4, 7 및 9인 카메라 ID에 대응하는 Delta_num_units_in_tick도 0이다.
또한, 도 12의 예에서는, 카메라 ID가 1 및 5인 카메라(211)의 동기 어긋남은 1/30(1/29.97)초이다. 따라서, 예를 들어 1 및 5인 카메라 ID에 대응하는 Delta_num_units_in_tick는 2002이고, Delta_time_scale은 60000이다. 또한, 카메라 ID가 2, 6 및 8인 카메라(211)의 동기 어긋남은 1/15(1/14.985)초이다. 따라서, 예를 들어 2, 6 및 8인 카메라 ID에 대응하는 Delta_num_units_in_tick는 4004이고, Delta_time_scale은 60000이다.
또한, 동기 어긋남 정보에는, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일한지 여부를 나타내는 동기 어긋남 공통 플래그가 포함되도록 해도 된다.
이 경우, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일할 때, 동기 어긋남 정보는, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일함을 나타내는 동기 어긋남 공통 플래그, 각 카메라(211)의 동기 어긋남의 유무를 나타내는 동기 어긋남 플래그(동기 어긋남 유무 정보), 및 동기 어긋남이 발생한 모든 카메라(211)에 공통인 동기 어긋남을 나타내는 정보에 의해 구성된다.
한편, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일하지는 않을 때, 동기 어긋남 정보는, 도 12의 동기 어긋남 정보와, 동기 어긋남이 발생한 모든 카메라(211)의 동기 어긋남이 동일하지는 않음을 나타내는 동기 어긋남 공통 플래그에 의해 구성된다.
(부호화 장치의 구성예)
도 13은, 도 10의 부호화 장치(172)의 구성예를 도시하는 블록도이다.
도 13의 부호화 장치(172)는, AVC 방식 또는 HEVC 방식으로 부호화를 행하는 경우의 부호화 장치(172)이며, 2N개의 부호화부(241-1 내지 241-2N)와 전송부(242)를 구비한다.
부호화 장치(172)의 부호화부(241-1 내지 241-2N)는, 각각 촬상 장치(171)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터 또는 뎁스 화상 데이터를, AVC 방식 또는 HEVC 방식으로 부호화하고, 부호화 스트림을 생성한다.
부호화부(241-1 내지 241-2N)는, 촬상 장치(171)로부터 공급되는 카메라 관련 정보와 동기 어긋남 정보, 그리고 카메라 관련 정보 및 동기 어긋남 정보와 부호화 스트림을 대응짓는 정보를 메타데이터로 한다. 부호화부(241-1 내지 241-2N)는, 생성된 부호화 스트림의 User unregistered SEI에 메타데이터를 배치한다.
또한, 부호화부(241-1 내지 241-N)는, 부호화 스트림의 User unregistered SEI에, 그 부호화 스트림에 대응하는 메타데이터만을 배치할 수도 있다. 이 경우, 카메라 관련 정보 및 동기 어긋남 정보와 부호화 스트림을 대응짓는 정보는 메타데이터에 포함되지 않는다. 부호화부(241-1 내지 241-2N)는, 메타데이터가 배치된 부호화 스트림을 전송부(242)에 공급한다.
전송부(242)는, 부호화부(241-1 내지 241-2N)로부터 공급되는 부호화 스트림을 도 10의 복호 장치(173)에 전송한다.
(촬상 장치와 부호화 장치의 처리의 설명)
도 14는, 도 10의 촬상 장치(171)와 부호화 장치(172)의 부호화 처리를 설명하는 흐름도이다.
도 14의 스텝 S51에 있어서, 촬상 장치(171)의 카메라(211)(도 11)는, 촬상을 행하고, 그 결과 얻어지는 동화상의 2차원 화상 데이터를 화상 처리부(182)에 공급한다.
스텝 S52에 있어서, 화상 처리부(182)의 캘리브레이션부(221)는, 카메라(211)마다, 멀티 카메라(181)로부터 공급되는 2차원 화상 데이터에 대하여, 카메라 파라미터를 사용하여 캘리브레이션을 행한다. 캘리브레이션부(221)는, 캘리브레이션 후의 각 카메라(211)의 2차원 화상 데이터를 동기 어긋남 검출부(222)에 공급한다.
스텝 S53에 있어서, 캘리브레이션부(221)는, 카메라 관련 정보를 메타데이터로서 부호화 장치(172)에 공급한다.
스텝 S54에 있어서, 동기 어긋남 검출부(222)는, 참조 카메라마다, 캘리브레이션부(221)로부터 공급되는 기준 카메라와 참조 카메라의 2차원 화상 데이터에 기초하여, 기준 카메라에 대한 참조 카메라의 2차원 화상 데이터의 동기 어긋남을 검출한다. 또한, 동기 어긋남 검출부(222)는, 기준 카메라의 2차원 화상 데이터의 동기 어긋남으로서 0을 검출한다.
스텝 S55에 있어서, 동기 어긋남 검출부(222)는, 검출된 동기 어긋남의 동기 어긋남 정보를 메타데이터로서 부호화 장치(172)에 공급한다. 또한, 동기 어긋남 검출부(222)는, 캘리브레이션부(221)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터를 뎁스 생성부(223)에 공급한다.
스텝 S56에 있어서, 뎁스 생성부(223)는, 동기 어긋남 검출부(222)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터에 대하여 스테레오 매칭을 행함으로써, 각 카메라(211)의 뎁스 화상 데이터를 생성한다.
스텝 S57에 있어서, 뎁스 생성부(223)는, 각 카메라(211)의 2차원 화상 데이터와 뎁스 화상 데이터를 부호화 장치(172)에 공급한다.
스텝 S58에 있어서, 부호화 장치(172)는, 촬상 장치(171)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터, 그리고 메타데이터를 부호화하고, 부호화 스트림을 생성한다.
스텝 S59에 있어서, 부호화 장치(172)는, 생성된 부호화 스트림을 복호 장치(173)에 전송한다. 그리고, 처리는 종료된다.
(복호부의 구성예)
도 15는, 도 10의 복호부(191)의 구성예를 도시하는 블록도이다.
도 15의 예에서는, 부호화 장치(172)의 구성이 도 13의 구성이며, 부호화 장치(172)로부터 전송되어 오는 부호화 스트림의 부호화 방식이 AVC 방식 또는 HEVC 방식이다. 도 15의 복호부(191)는, 2N개의 복호 처리부(261-1 내지 261-2N)와 출력부(262)에 의해 구성된다.
복호부(191)의 복호 처리부(261-1 내지 261-2N)는, 수취부(31)로부터 공급되는 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터의 부호화 스트림을, 각각 AVC 방식 또는 HEVC 방식에 대응하는 방식으로 복호한다. 복호 처리부(261-1 내지 261-2N)는, 복호 결과 얻어지는 각 카메라(211)의 2차원 화상 데이터 또는 뎁스 화상 데이터와, 메타데이터를 구성하는 카메라 관련 정보 및 동기 어긋남 정보를 출력부(262)에 공급한다.
출력부(262)(동기 처리부)는, 복호 처리부(261-1 내지 261-2N)로부터 공급되는 동기 어긋남 정보에 기초하여, 참조 카메라마다, 기준 카메라와 참조 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시켜 도 10의 변환부(192)에 공급한다.
예를 들어, 동기 어긋남 정보에 포함되는 참조 카메라의 num_units_in_tick가 1001이고, Delta_num_units_in_tick가 2002이고, time_scale과 Delta_time_scale이 60000인 경우, 출력부(262)는, 참조 카메라의 2차원 화상 데이터와 뎁스 화상 데이터를 2프레임만큼 늦춰서 변환부(192)에 공급한다. 또한, 출력부(262)는, 복호 처리부(261-1 내지 261-2N)로부터 공급되는 카메라 관련 정보를 변환부(192)에 공급한다.
이상에 의해, 변환부(192)에 공급되는 각 카메라(211)의 2차원 화상 데이터와 뎁스 화상 데이터가 동기하기 때문에, 변환부(192)에 있어서의 3차원 데이터의 생성 정밀도가 향상된다.
(복호 장치의 처리의 설명)
도 16은, 도 10의 변환부(192)의 구성이, 3차원 데이터가 오클루전 3차원 데이터를 사용하여 보정되지 않는 점을 제외하고 도 8의 구성과 동일한 경우의 복호 장치(173)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 부호화 장치(172)로부터 부호화 스트림이 전송되어 왔을 때, 개시된다.
도 16의 스텝 S71에 있어서, 복호 장치(173)의 수취부(31)는, 부호화 장치(172)로부터 전송되어 오는 부호화 스트림을 수취하여, 복호부(191)에 공급한다.
스텝 S72에 있어서, 복호부(191)는, 수취부(31)로부터 공급되는 부호화 스트림을, 부호화 장치(172)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다.
스텝 S73에 있어서, 복호부(191)는, 복호 결과 얻어지는 메타데이터 중 동기 어긋남 정보에 기초하여, 참조 카메라마다, 기준 카메라와 참조 카메라의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시켜 변환부(192)에 공급한다. 또한, 출력부(262)는, 메타데이터 중 카메라 관련 정보를 변환부(192)에 공급한다.
스텝 S74에 있어서, 변환부(192)는, 복호부(191)로부터 공급되는 2차원 화상 데이터, 뎁스 화상 데이터, 및 카메라 관련 정보에 포함되는 카메라 파라미터를 사용하여, 촬상 장치(11)와 마찬가지로, 피사체의 3차원 데이터를 생성한다.
스텝 S75 내지 S79의 처리는, 도 9의 스텝 S35 내지 S39의 처리와 마찬가지이므로, 설명은 생략한다.
이상과 같이, 전송 시스템(170)에서는, 각 카메라(211)에서 취득된 2차원 화상 데이터 및 뎁스 화상 데이터를 그대로 부호화하여 전송하기 때문에, 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터의 동기가 취해지지 않은 경우가 있다.
그러나, 전송 시스템(170)에서는, 촬상 장치(171)가, 각 카메라의 2차원 화상 데이터의 동기 어긋남을 검출하고, 부호화 장치(172)가, 검출된 동기 어긋남의 동기 어긋남 정보를, 2차원 화상 데이터 및 뎁스 화상 데이터와 함께 전송한다. 따라서, 복호 장치(173)는, 동기 어긋남 정보에 기초하여, 각 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시킬 수 있다. 그 결과, 복호 장치(173)는, 동기가 취해진 N개의 카메라(211)의 2차원 화상 데이터 및 뎁스 화상 데이터를 사용하여, 3차원 데이터를 고정밀도로 생성할 수 있다.
<제3 실시 형태>
(전송 시스템의 제3 실시 형태의 구성예)
도 17은, 본 개시를 적용한 전송 시스템의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 17에 도시하는 구성 중, 도 1의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 17의 전송 시스템(280)의 구성은, 새롭게 촬상 장치(281), 부호화 장치(282) 및 합성 장치(283)가 설치되는 점, 복호 장치(13)가 복호 장치(284)를 대신하는 점, 및 부호화 장치(12)에서 생성되는 2차원 화상 데이터 및 뎁스 화상 데이터의 시점이, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점 중 일부인 점이, 도 1의 전송 시스템(10)의 구성과 상이하다.
전송 시스템(280)에서는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점 중 일부의 시점(이하, 제1 시점군이라고 함)의 부호화 스트림이 부호화 장치(12)에 의해 생성되고, 타부의 시점(이하, 제2 시점군이라고 함)의 부호화 스트림이 부호화 장치(282)에 의해 생성되어, 양쪽의 부호화 스트림이 합성(머지)된다.
구체적으로는, 전송 시스템(280)의 촬상 장치(281)는, 도 1의 촬상 장치(11)와 마찬가지로 구성되고, 적어도 일부가 촬상 장치(11)에 있어서의 피사체와 동일한 피사체를 촬상하고, 그 피사체의 3차원 데이터를 부호화 장치(282)에 공급한다.
부호화 장치(282)는, 변환부(21)와 마찬가지로 구성되는 변환부(291), 부호화부(22)와 마찬가지로 구성되는 부호화부(292), 및 전송부(23)와 마찬가지로 구성되는 전송부(293)에 의해 구성된다. 부호화 장치(282)는, 3차원 데이터로부터 제2 시점군의 2차원 화상 데이터와 뎁스 화상 데이터를 생성하고, 부호화하여 합성 장치(283)에 전송한다.
합성 장치(283)는, 부호화 장치(12)로부터 전송되어 오는 제1 시점군의 부호화 스트림(이하, 제1 부분 부호화 스트림)과 부호화 장치(282)로부터 전송되어 오는 제2 시점군의 부호화 스트림(이하, 제2 부분 부호화 스트림)을 수취한다. 합성 장치(283)는, 제1 부분 부호화 스트림에 대한 제2 부분 부호화 스트림의 동기 어긋남을 검출하고, 제2 부호화 스트림의 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를 생성한다.
시점군 동기 어긋남 정보는, 예를 들어 제2 시점군의 프레임 레이트를 나타내는 num_units_in_tick 및 time_scale과, 동기 어긋남을 나타내는 Delta_num_units_in_tick 및 Delta_time_scale에 의해 구성된다.
합성 장치(283)는, 제2 부분 부호화 스트림의 메타데이터에 시점군 동기 어긋남 정보를 포함한다. 합성 장치(283)는, 시점군 동기 어긋남 정보가 배치된 제2 부분 부호화 스트림과 제1 부분 부호화 스트림을 합성하고, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을 생성하여 복호 장치(284)에 전송한다.
복호 장치(284)의 구성은, 복호부(32)가 복호부(301)를 대신하는 점이, 도 1의 복호 장치(13)의 구성과 상이하다. 복호 장치(284)의 복호부(301)는, 동기 어긋남 정보가 시점군 동기 어긋남 정보를 대신하는 점, 및 카메라 관련 정보와 함께, 메타데이터 중 오클루전 3차원 데이터를 변환부(33)에 공급하는 점을 제외하고, 도 10의 복호부(191)와 마찬가지이므로, 설명은 생략한다.
(합성 장치의 구성예)
도 18은, 도 17의 합성 장치(283)의 구성예를 도시하는 블록도이다.
도 18의 합성 장치(283)는 복호부(321), 복호부(322), 동기 어긋남 검출부(323) 및 메타데이터 부가부(324)에 의해 구성된다.
합성 장치(283)의 복호부(321)는, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림을 수취한다. 복호부(321)는, 수취된 제1 부분 부호화 스트림을, 부호화부(22)에 있어서의 부호화 방식(도 18의 예에서는 MVCD)에 대응하는 방식으로 복호하고, 제1 시점군의 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 생성한다. 복호부(321)는, 생성된 제1 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
복호부(322)는, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을 수취한다. 복호부(322)는, 수취된 제2 부분 부호화 스트림을, 부호화부(292)에 있어서의 부호화 방식(도 18의 예에서는 MVCD)에 대응하는 방식으로 복호하고, 제2 시점군의 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 생성한다. 복호부(322)는, 생성된 제2 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
동기 어긋남 검출부(323)는, 복호부(321)와 복호부(322)로부터 공급되는 2차원 화상 데이터에 기초하여, 제1 시점군에 대한 제2 시점군의 2차원 화상 데이터의 동기 어긋남을 검출한다.
동기 어긋남의 검출 방법은, 제2 실시 형태에 있어서의 동기 어긋남의 검출 방법과 동일해도 되고, 상이해도 된다.
또한, 동기 어긋남의 검출에는, 2차원 화상 데이터뿐만 아니라, 카메라 파라미터와 뎁스 화상 데이터를 사용하도록 해도 된다. 이 경우, 예를 들어 동기 어긋남 검출부(323)는, 카메라 관련 정보에 포함되는 카메라 파라미터에 기초하여, 제1 시점군 중 하나의 시점과 제2 시점군 중 하나의 시점의 각 시각의 2차원 화상 데이터의 특징점의 2차원 위치를 3차원 위치로 변환한다. 동기 어긋남 검출부(323)는, 2개의 시점의 특징점의 3차원 위치의 차분이 최소가 될 때의 2차원 화상 데이터의 시각의 차분을, 제1 시점군에 대한 제2 시점군의 2차원 화상 데이터의 동기 어긋남으로서 검출한다.
동기 어긋남 검출부(323)는, 검출된 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를, 메타데이터 부가부(324)에 공급한다.
메타데이터 부가부(324)는, 동기 어긋남 검출부(323)로부터 공급되는 시점군 동기 어긋남 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다. 메타데이터 부가부(324)는, 시점군 동기 어긋남 정보가 메타데이터로서 치환된 제2 부분 부호화 스트림과, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림을 합성한다. 메타데이터 부가부(324)(전송부)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(합성 장치의 처리의 설명)
도 17의 촬상 장치(11)와 부호화 장치(12), 촬상 장치(281)와 부호화 장치(282)의 부호화 처리는, 도 5의 부호화 처리와 마찬가지이므로, 설명은 생략한다.
도 19는, 도 18의 합성 장치(283)의 합성 처리를 설명하는 흐름도이다.
도 19의 스텝 S91에 있어서, 합성 장치(283)의 복호부(321)는, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림을, 부호화부(22)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(321)는, 복호 결과 얻어지는 제1 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
스텝 S92에 있어서, 복호부(322)는, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을, 부호화부(292)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(322)는, 복호 결과 얻어지는 제2 시점군 중 하나의 시점의 2차원 화상 데이터를 동기 어긋남 검출부(323)에 공급한다.
스텝 S93에 있어서, 동기 어긋남 검출부(323)는, 복호부(321)와 복호부(322)로부터 공급되는 2차원 화상 데이터에 기초하여, 제1 시점군에 대한 제2 시점군의 2차원 화상 데이터의 동기 어긋남을 검출한다. 동기 어긋남 검출부(323)는, 검출된 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를 메타데이터 부가부(324)에 공급한다.
스텝 S94에 있어서, 메타데이터 부가부(324)는, 동기 어긋남 검출부(323)로부터 공급되는 시점군 동기 어긋남 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S95에 있어서, 메타데이터 부가부(324)는, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림과, 시점군 동기 어긋남 정보를 포함하는 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(324)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 공급하고, 처리를 종료한다.
복호 장치(284)의 복호 처리는, 동기 어긋남 정보가 시점군 동기 어긋남 정보를 대신하는 점, 및 스텝 S72의 처리에 의해 오클루전 3차원 데이터도 생성되고, 스텝 S74의 처리 후, 도 9의 스텝 S34와 마찬가지로 오클루전 3차원 데이터를 사용하여 3차원 데이터가 수정되는 점을 제외하고, 도 16의 복호 처리와 마찬가지이다.
이상과 같이, 전송 시스템(280)에서는, 부호화 장치(12)에 의해 생성된 제1 부분 부호화 스트림과, 부호화 장치(282)에 의해 생성된 제2 부분 부호화 스트림이 합성되어 복호 장치(284)에 전송된다. 따라서, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 제1 시점군과 제2 시점군의 부호화 스트림의 동기가 취해지지 않은 경우가 있다.
그러나, 전송 시스템(280)에서는, 합성 장치(283)가, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 일단 복호하고, 그 결과 얻어지는 제1 시점군과 제2 시점군의 2차원 화상 데이터의 동기 어긋남을 검출한다. 그리고, 합성 장치(283)는, 검출된 동기 어긋남을 나타내는 시점군 동기 어긋남 정보를, 제1 부분 부호화 스트림 및 제2 부분 부호화 스트림과 함께 전송한다. 따라서, 복호 장치(284)는, 시점군 동기 어긋남 정보에 기초하여, 제1 시점군과 제2 시점군의 2차원 화상 데이터 및 뎁스 화상 데이터를 동기시킬 수 있다. 그 결과, 복호 장치(284)는, 동기가 취해진 제1 시점군과 제2 시점군의 2차원 화상 데이터와 뎁스 화상 데이터를 사용하여, 3차원 데이터를 고정밀도로 생성할 수 있다.
<제4 실시 형태>
(전송 시스템의 제4 실시 형태에 있어서의 합성 장치의 구성예)
본 개시를 적용한 전송 시스템의 제4 실시 형태의 구성은, 합성 장치(283)가 합성 장치(340)를 대신하고, 복호 장치(284)의 변환부(33)가 변환부(380)를 대신하는 점, 및 시점군 동기 어긋남 정보가 좌표 변환 정보를 대신하는 점을 제외하고, 도 17의 전송 시스템(280)의 구성과 동일하다. 따라서, 이하에서는 합성 장치(340)와 변환부(380)에 대해서만 설명한다.
도 20은, 합성 장치(340)의 구성예를 도시하는 블록도이다.
도 20에 도시하는 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 20의 합성 장치(340)의 구성은, 동기 어긋남 검출부(323), 메타데이터 부가부(324)가, 좌표 변환 데이터 생성부(341), 메타데이터 부가부(342)를 대신하는 점이, 도 18의 합성 장치(283)의 구성과 상이하다. 합성 장치(340)는, 각 시점의 2차원 화상 데이터의 동기 어긋남을 검출하는 것이 아니라, 제1 시점군의 3차원 좌표계인 제1의 3차원 좌표계를 제2 시점군의 3차원 좌표계인 제2의 3차원 좌표계로 변환하는 좌표 변환 데이터를 생성한다.
구체적으로는, 합성 장치(340)의 좌표 변환 데이터 생성부(341)는, 복호부(322)의 복호에 의해 생성된 제1 시점군의 2차원 화상 데이터에 기초하여, 제1 시점군의 시점마다, 특징점의 2차원 위치를 구한다.
또한, 좌표 변환 데이터 생성부(341)는, 복호부(321)의 복호에 의해 생성된 제2 시점군의 카메라 관련 정보에 포함되는 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 특징점의 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다.
좌표 변환 데이터 생성부(341)는, 제1 시점군의 시점마다, 특징점의 2차원 위치와 제2의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 좌표 변환 데이터를 생성한다. 좌표 변환 데이터 생성부(341)는, 제1 시점군의 각 시점의 좌표 변환 데이터를 포함하는 좌표 변환 정보를 메타데이터 부가부(342)에 공급한다.
메타데이터 부가부(342)는, 좌표 변환 데이터 생성부(341)로부터 공급되는 좌표 변환 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다. 또한, 메타데이터 부가부(342)는, 좌표 변환 정보가 메타데이터로서 배치된 제1 부분 부호화 스트림과, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(342)(전송부)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(좌표 변환 데이터의 생성 처리의 설명)
도 21은, 도 20의 좌표 변환 데이터 생성부(341)에 의한 좌표 변환 데이터를 생성하는 처리를 설명하는 도면이다.
도 21의 예에서는, 제1의 3차원 좌표계가, 서로가 수직으로 교차하는 축 xA 내지 zA를 좌표축으로 하는 좌표계이고, 제2의 3차원 좌표계가, 서로가 수직으로 교차하는 축 xB 내지 zB를 좌표축으로 하는, 제1의 3차원 좌표계와는 상이한 좌표계이다.
제1 시점군 중 하나의 시점의 가상 카메라(361)에 의해 촬상되는, 제1의 3차원 좌표계에 있어서의 3차원 위치가 P1인 특징점의 화상 상의 2차원 위치 PA는, 이하의 식 (3)으로 표시된다.
Figure 112018042622032-pct00003
RcamA|tcamA는, 제1 부분 부호화 스트림의 메타데이터 중의, 가상 카메라(361)의 제1의 3차원 좌표계에 있어서의 카메라 파라미터이다.
한편, 가상 카메라(361)에 의해 촬상되는, 제1의 3차원 좌표계에 있어서의 3차원 위치가 P1이고, 제2의 3차원 좌표계에 있어서의 3차원 위치가 P1'인 특징점의 화상 상의 2차원 위치 PB는, 이하의 식 (4)로 표시된다.
Figure 112018042622032-pct00004
RcamB|tcamB는, 가상 카메라(361)의 제2의 3차원 좌표계에 있어서의 카메라 파라미터이다.
식 (4)를 변형하면, 3차원 위치 P1'는, 이하의 식 (5)로 표시된다.
Figure 112018042622032-pct00005
2차원 위치 PA와 2차원 위치 PB는 동일하므로, 상술한 식 (5)의 2차원 위치 PB에 식 (3)의 우변을 대입하면, 식 (6)이 된다.
Figure 112018042622032-pct00006
식 (6)은, 제1의 3차원 좌표계에 있어서의 3차원 위치 P1을, 제2의 3차원 좌표계에 있어서의 3차원 위치 P1'로 변환하는 식이다. 따라서, 좌표 변환 데이터 생성부(341)는, 식 (6)에 있어서의, 카메라의 외부 파라미터와 동일한 표현 방법으로 표현되는 Rcon|tcon을, 좌표 변환 데이터로서 구한다.
구체적으로는, 좌표 변환 데이터 생성부(341)는, 제2 시점군의 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 특징점의 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다. 또한, 좌표 변환 데이터 생성부(341)는, 제1 시점군의 2차원 화상 데이터에 기초하여, 제1 시점군의 시점마다, 특징점의 2차원 위치를 구한다.
그리고, 좌표 변환 데이터 생성부(341)는, 제1 시점군의 시점마다, 특징점의 제2의 3차원 좌표계에 있어서의 3차원 위치를 P1'에 대입하고, 2차원 위치를 PA에 대입한 식 (4)에 의해, 가상 카메라(361)의 제2의 3차원 좌표계에 있어서의 외부 파라미터 RcamB|tcamB를 구한다.
이상의 처리는, 온라인 캘리브레이션이라고 불린다. 온라인 캘리브레이션의 상세는, 예를 들어 Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Technical Report MSR-TR-98-71, Microsoft Corporation, December 2. 1998 등에 기재되어 있다.
좌표 변환 데이터 생성부(341)는, 제1 시점군의 시점마다, 외부 파라미터 RcamB|tcamB와 외부 파라미터 RcamB|tcamB를 사용하여, 상술한 식 (6)에 의해 좌표 변환 데이터를 구한다.
(좌표 변환 정보의 예)
도 22는, 좌표 변환 정보의 예를 도시하는 도면이다.
도 22의 예에서는, 제1 시점군의 시점의 카메라 ID가 0 내지 3이다.
도 22에 도시하는 바와 같이, 좌표 변환 정보는, 제1 시점군의 각 시점의 카메라 ID에, 그 시점의 isCorrectionFlag와 좌표 변환 데이터가 대응지어짐으로써 구성된다.
isCorrectionFlag는, 대응하는 시점의 3차원 좌표계인 제1의 3차원 좌표계가, 기준이 되는 제2의 3차원 좌표계와 상이한지 여부를 나타내는 플래그이다. isCorrectionFlag는, 대응하는 시점의 3차원 좌표계인 제1의 3차원 좌표계가, 기준이 되는 제2의 3차원 좌표계와 상이한 것을 나타내는 경우 1이고, 상이하지 않은 것을 나타내는 경우 0이다.
제4 실시 형태에서는, 제1의 3차원 좌표계와 제2의 3차원 좌표계는 상이하므로, 모든 isCorrectionFlag는 1이다. 또한, 도 22에서는 카메라 ID가 i인 시점의 좌표 변환 데이터를 R|t(i)로 기재하고 있다.
또한, 좌표 변환 정보에는, 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일한지 여부를 나타내는 좌표 변환 공통 플래그가 포함되도록 해도 된다. 이 경우, 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일할 때, 좌표 변환 정보는, 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일함을 나타내는 좌표 변환 공통 플래그(좌표 변환 공통 정보)와, 제1 시점군의 모든 시점에 공통인 좌표 변환 데이터에 의해 구성된다. 좌표 변환 공통 플래그는, 예를 들어 제1 시점군의 모든 시점의 좌표 변환 데이터가 동일한 경우 1이고, 상이한 경우 0이다.
(합성 장치의 처리의 설명)
도 23은, 도 20의 합성 장치(340)의 합성 처리를 설명하는 흐름도이다.
도 23의 스텝 S111 및 S112의 처리는, 도 19의 스텝 S91 및 S92의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S113에 있어서, 합성 장치(340)의 좌표 변환 데이터 생성부(341)는, 제2 시점군의 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터와, 제1 시점군의 2차원 화상 데이터에 기초하여, 제1 시점군의 각 시점의 좌표 변환 데이터를 생성한다. 좌표 변환 데이터 생성부(341)는, 제1 시점군의 각 시점의 좌표 변환 데이터를 포함하는 좌표 변환 정보를 메타데이터 부가부(342)에 공급한다.
스텝 S114에 있어서, 메타데이터 부가부(342)는, 좌표 변환 데이터 생성부(341)로부터 공급되는 좌표 변환 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S115에 있어서, 메타데이터 부가부(342)는, 좌표 변환 정보를 포함하는 제1 부분 부호화 스트림과, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(342)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다. 그리고, 처리는 종료된다.
(변환부의 구성예)
도 24는, 복호 장치(284)의 표시 화상 생성 방식이 자유 시점 표시 화상 생성 방식인 경우의 변환부(380)의 구성예를 도시하는 블록도이다.
도 24에 도시하는 구성 중, 도 8의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 24의 변환부(380)의 구성은, 3차원 데이터 생성부(151)가 3차원 데이터 생성부(381)를 대신하는 점이, 도 8의 변환부(33)의 구성과 상이하다.
3차원 데이터 생성부(381)는, 3차원 위치 변환부(391), 3차원 위치 변환부(392), 좌표 변환부(393) 및 데이터 생성부(394)에 의해 구성된다.
3차원 데이터 생성부(381)의 3차원 위치 변환부(391)(제1의 3차원 위치 변환부)는, 복호부(301)로부터 공급되는 제1 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 제1 시점의 2차원 화상 데이터의 각 화소의 2차원 위치를, 제1의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 3차원 위치 변환부(391)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치와, 제1 시점군의 2차원 화상 데이터를 좌표 변환부(393)에 공급한다.
3차원 위치 변환부(392)(제2의 3차원 위치 변환부)는, 복호부(301)로부터 공급되는 제2 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 상술한 식 (1)에 의해, 제2 시점군의 2차원 화상 데이터의 각 화소의 2차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 3차원 위치 변환부(392)는, 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와, 제2 시점군의 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
좌표 변환부(393)는, 복호부(301)로부터 공급되는 메타데이터 중 좌표 변환 정보에 기초하여, 3차원 위치 변환부(391)로부터 공급되는 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 좌표 변환부(393)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와, 제1 시점군의 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
데이터 생성부(394)는, 제1 시점군 및 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 제1 시점군 및 제2 시점군의 2차원 화상 데이터로부터, 피사체의 3차원 데이터를 생성한다.
데이터 생성부(394)는, 생성된 3차원 데이터를, 복호부(301)로부터 공급되는 메타데이터 중 오클루전 3차원 데이터를 사용하여 수정하고, 피사체 위치 결정부(152)와 2차원 데이터 생성부(154)에 공급한다.
(복호 장치의 처리의 설명)
도 25는, 제4 실시 형태에 있어서의 복호 장치(284)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 합성 장치(340)로부터 부호화 스트림이 전송되어 왔을 때 개시된다.
도 25의 스텝 S131에 있어서, 복호 장치(284)의 수취부(31)는, 합성 장치(283)로부터 전송되어 오는 부호화 스트림을 수취한다.
스텝 S132에 있어서, 복호부(301)는, 수취된 부호화 스트림을, 부호화부(22) 및 부호화부(292)에 있어서의 부호화 방식에 대응하는 방식으로 복호한다. 복호부(301)는, 그 결과 얻어지는 제1 시점군과 제2 시점군의 2차원 화상 데이터, 뎁스 화상 데이터 및 메타데이터를 변환부(380)(도 24)에 공급한다.
스텝 S133에 있어서, 변환부(380)의 3차원 위치 변환부(391)는, 제1 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치를 구한다. 3차원 위치 변환부(391)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치와 2차원 화상 데이터를 좌표 변환부(393)에 공급한다.
스텝 S134에 있어서, 3차원 위치 변환부(392)는, 제2 시점군의 메타데이터 중 카메라 파라미터, 2차원 화상 데이터 및 뎁스 화상 데이터에 기초하여, 제2 시점의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다. 3차원 위치 변환부(392)는, 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
스텝 S135에 있어서, 좌표 변환부(393)는, 복호부(301)로부터 공급되는 메타데이터 중 좌표 변환 정보에 기초하여, 3차원 위치 변환부(391)로부터 공급되는 제1의 3차원 좌표계에 있어서의 3차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환한다. 좌표 변환부(393)는, 제1 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치와 2차원 화상 데이터를 데이터 생성부(394)에 공급한다.
스텝 S136에 있어서, 데이터 생성부(394)는, 제1 시점군 및 제2 시점군의 2차원 화상 데이터의 각 화소의 제2의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 제1 시점군 및 제2 시점군의 2차원 화상 데이터로부터, 피사체의 3차원 데이터를 생성한다.
스텝 S137 내지 S142의 처리는, 도 9의 스텝 S34 내지 S39의 처리와 마찬가지이므로, 설명은 생략한다.
또한, 합성 장치(283)는, 좌표 변환 정보를 제1 부분 부호화 스트림에 배치하는 것이 아니라, 제1 부분 부호화 스트림에 배치되는 제1의 3차원 좌표계에 있어서의 제1 시점군의 각 시점의 외부 파라미터 RcamA|tcamA를, 제2의 3차원 좌표계에 있어서의 각 시점의 외부 파라미터 RcamB|tcamB로 치환하도록 해도 된다. 이 경우, 3차원 데이터 생성부(381)에는, 좌표 변환부(393)가 설치되지 않고, 3차원 위치 변환부(391)는, 외부 파라미터 RcamA|tcamA 대신에 외부 파라미터 RcamB|tcamB를 사용하여, 직접, 제2의 3차원 좌표계에 있어서의 3차원 위치를 구한다.
제1 시점군의 모든 시점의 좌표 변환 데이터가 상이한 경우에는, 외부 파라미터 RcamA|tcamA를 외부 파라미터 RcamB|tcamB로 치환하는 편이 바람직하다. 좌표 변환 정보를 제1 부분 부호화 스트림에 배치하는 경우, 원래의 제1 부분 부호화 스트림을 수정할 필요가 없기 때문에, 외부 파라미터를 치환하는 경우에 비하여 처리가 용이하다.
또한, 제1 시점군의 각 시점의 좌표 변환 데이터는, 각 시점의 2차원 화상 데이터의 스케일(시점과 촬상면의 깊이 방향의 거리)이 동일하면 동일하다. 따라서, 이 경우에는 좌표 변환 데이터 생성부(341)는, 제1 시점군 중 하나의 시점의 좌표 변환 데이터만을, 제1 시점군의 각 시점에 공통인 좌표 변환 데이터로서 생성하도록 해도 된다.
이상과 같이, 제4 실시 형태에서는, 부호화 장치(12)에 의해 생성된 제1 부분 부호화 스트림과, 부호화 장치(282)에 의해 생성된 제2 부분 부호화 스트림이 합성되어 복호 장치(284)에 전송된다. 따라서, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림의 3차원 좌표계가 동일하지 않은 경우가 있다.
그러나, 제4 실시 형태에서는, 합성 장치(340)가, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 일단 복호하고, 복호 결과에 기초하여 좌표 변환 데이터를 생성한다. 그리고, 합성 장치(340)는, 생성된 좌표 변환 데이터를 포함하는 좌표 변환 정보를, 제1 부분 부호화 스트림 및 제2 부분 부호화 스트림과 함께 전송한다. 따라서, 변환부(380)는, 좌표 변환 정보에 기초하여, 제1 시점군의 2차원 화상 데이터의 각 화소의 제1의 3차원 좌표계에 있어서의 3차원 위치를, 제2의 3차원 좌표계에 있어서의 3차원 위치로 변환할 수 있다. 그 결과, 변환부(380)는, 제1 시점군과 제2 시점군의 2차원 화상 데이터의 각 화소의 동일한 제1의 3차원 좌표계에 있어서의 3차원 위치에 기초하여, 2차원 화상 데이터로부터 3차원 데이터를 고정밀도로 생성할 수 있다.
제2 내지 제4 실시 형태에 있어서, 2차원 화상 데이터와 뎁스 화상 데이터의 소정의 표시 화상 생성 방식에 대응하는 시점이 상이한 경우에는, 2차원 화상 데이터와 뎁스 화상 데이터 각각에 기초하여, 각각의 시점의 동기 어긋남의 검출 또는 좌표 변환 데이터의 생성이 행해진다.
<제5 실시 형태>
(전송 시스템의 제5 실시 형태에 있어서의 합성 장치의 구성예)
본 개시를 적용한 전송 시스템의 제5 실시 형태의 구성은, 합성 장치(283)가 합성 장치(400)를 대신하고, 복호 장치(284)의 변환부(33)가 변환부(420)를 대신하는 점, 및 시점군 동기 어긋남 정보가 색 편차 보정 정보를 대신하는 점을 제외하고, 도 17의 전송 시스템(280)의 구성과 동일하다. 따라서, 이하에서는 합성 장치(400)와 변환부(420)에 대해서만 설명한다.
도 26은, 합성 장치(400)의 구성예를 도시하는 블록도이다.
도 26에 도시하는 구성 중, 도 18의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 26의 합성 장치(400)의 구성은, 동기 어긋남 검출부(323), 메타데이터 부가부(324)가, 색 편차 보정 데이터 생성부(401), 메타데이터 부가부(402)를 대신하는 점이, 도 18의 합성 장치(283)의 구성과 상이하다. 합성 장치(400)는, 각 시점의 2차원 화상 데이터의 동기 어긋남을 검출하는 것이 아니라, 각 시점의 2차원 화상 데이터의 색 편차를 보정하는 색 편차 보정 데이터를 생성한다.
구체적으로는, 합성 장치(400)의 색 편차 보정 데이터 생성부(401)는, 제1 시점군과 제2 시점군의 시점 중 하나를 기준 시점으로 하고, 다른 시점을 참조 시점으로 한다. 색 편차 보정 데이터 생성부(401)는, 참조 시점마다, 복호부(321) 또는 복호부(322)의 복호에 의해 생성된 기준 시점과 참조 시점의 2차원 화상 데이터에 기초하여, 기준 시점에 대한 참조 시점의 2차원 화상 데이터의 색 편차를 보정하는 색 편차 보정 데이터를 생성한다.
구체적으로는, 참조 시점의 2차원 화상 데이터 중 특징점의 RGB값 (R, G, B)에 대하여 역 감마 보정이 행해진 RGB값 (R', G', B')는, 이하의 식 (7)에 의해 표시된다.
Figure 112018042622032-pct00007
γR, γG, γB는, 각각 R, G, B의 감마값이다.
또한, RGB값 (R', G', B')를, 기준 시점의 2차원 화상 데이터 중의, 참조 시점의 RGB값이 (R, G, B)인 특징점의 RGB값 (Rc, Gc, Bc)에 대하여 역 감마 보정을 행한 RGB값 (R", G", B")로 변환하는 식은, 이하의 식 (8)에 의해 표시된다.
Figure 112018042622032-pct00008
a11 내지 a13, a21 내지 a23 및 a31 내지 a33은 계수이다.
또한, RGB값 (Rc, Gc, Bc)는, RGB값 (R", G", B")에 대하여 감마 보정을 행한 값이므로, 이하의 식 (9)로 표시된다.
Figure 112018042622032-pct00009
이상에 의해, 색 편차 보정 데이터 생성부(401)는, 참조 시점의 2차원 화상 데이터로부터 특징점의 RGB값 (R, G, B)를 추출하고, 기준 시점의 2차원 화상 데이터로부터 특징점의 RGB값 (Rc, Gc, Bc)를 추출한다. 그리고, 색 편차 보정 데이터 생성부(401)는, 추출된 RGB값 (R, G, B)와 RGB값 (Rc, Gc, Bc)에 기초하여, RGB값 (R, G, B)를 RGB값 (Rc, Gc, Bc)로 변환할 때 필요로 되는 감마값 γR, γG, γB와, 계수 a11 내지 a13, a21 내지 a23 및 a31 내지 a33을 색 편차 보정 데이터로서 생성한다.
또한, 색 편차 보정 데이터 생성부(401)는, 기준 시점의 색 편차 보정 데이터로서, RGB값 (R, G, B)와 RGB값 (Rc, Gc, Bc)가 동일하게 되는 색 편차 보정 데이터를 생성한다. 색 편차 보정 데이터 생성부(401)는, 생성된 각 시점의 색 편차 보정 데이터를 포함하는 색 편차 보정 정보를 메타데이터 부가부(402)에 공급한다.
메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제1 시점군의 색 편차 보정 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다. 또한, 메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제2 시점군의 색 편차 보정 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다.
메타데이터 부가부(402)는, 색 편차 보정 정보가 메타데이터로서 배치된 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(402)(전송부)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(색 편차 보정 정보의 예)
도 27은, 색 편차 보정 정보의 예를 도시하는 도면이다.
도 27의 예에서는, 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 수가 9이다.
도 27에 도시하는 바와 같이, 색 편차 보정 정보는, 소정의 표시 화상 생성 방식에 대응하는 모든 시점의 각 카메라 ID에, 그 시점의 isCorrectionFlag와 색 편차 보정 데이터가 대응지어짐으로써 구성된다.
isCorrectionFlag는, 대응하는 시점과 기준 시점의 사이에서 색 편차가 발생하였는지 여부를 나타내는 플래그이다. isCorrectionFlag는, 대응하는 시점과 기준 시점의 사이에서 색 편차가 발생하였음을 나타내는 경우 1이고, 발생하지 않았음을 나타내는 경우 0이다.
도 27의 예에서는, 카메라 ID가 0인 시점이 기준 시점이며, 카메라 ID가 1, 2, 4 및 6 내지 9인 참조 시점과 기준 시점의 사이에서 색 편차가 발생하지 않았다. 따라서, 0 내지 2, 4 및 6 내지 9인 카메라 ID에 대응하는 isCorrectionFlag는 0이고, 이들 카메라 ID에 대응하여 색 편차 보정 데이터는 기술되지 않는다.
또한, 도 27의 예에서는, 카메라 ID가 3 및 5인 참조 시점과 기준 시점의 사이에서 색 편차가 발생하였다. 따라서, 3 및 5인 카메라 ID에 대응하는 isCorrectionFlag는 1이고, 이들 카메라 ID에 대응하여 색 편차 보정 데이터가 기술된다. 도 27에서는 카메라 ID가 i인 시점의 색 편차 보정 데이터를 P(i)로 기재하고 있다.
또한, 색 편차 보정 정보에는, 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일한지 여부를 나타내는 색 편차 공통 플래그가 포함되도록 해도 된다. 이 경우, 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일할 때, 색 편차 보정 정보는, 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일함을 나타내는 색 편차 공통 플래그(색 편차 공통 정보)와, 색 편차가 발생한 모든 시점에 공통인 색 편차 보정 데이터에 의해 구성된다. 색 편차 공통 플래그는, 예를 들어 색 편차가 발생한 모든 시점의 색 편차 보정 데이터가 동일한 경우 1이고, 상이한 경우 0이다.
(합성 장치의 처리의 설명)
도 28은, 도 26의 합성 장치(400)의 합성 처리를 설명하는 흐름도이다.
도 28의 스텝 S161 및 S162의 처리는, 도 19의 스텝 S91 및 S92의 처리와 마찬가지이므로, 설명은 생략한다.
스텝 S163에 있어서, 합성 장치(400)의 색 편차 보정 데이터 생성부(401)는, 참조 시점마다, 복호부(321) 또는 복호부(322)의 복호에 의해 생성된 기준 시점과 참조 시점의 2차원 화상 데이터에 기초하여, 각 참조 시점의 색 편차 보정 데이터를 생성한다. 또한, 색 편차 보정 데이터 생성부(401)는, 기준 시점의 색 편차 보정 데이터로서, RGB값 (R, G, B)와 RGB값 (Rc, Gc, Bc)가 동일하게 되는 색 편차 보정 데이터를 생성한다. 색 편차 보정 데이터 생성부(401)는, 생성된 각 시점의 색 편차 보정 데이터를 포함하는 색 편차 보정 정보를 메타데이터 부가부(402)에 공급한다.
스텝 S164에 있어서, 메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제1 시점군의 색 편차 보정 정보를, 부호화 장치(12)로부터 전송되어 오는 제1 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S165에 있어서, 메타데이터 부가부(402)는, 색 편차 보정 데이터 생성부(401)로부터 공급되는 색 편차 보정 정보 중 제2 시점군의 색 편차 보정 정보를, 부호화 장치(282)로부터 전송되어 오는 제2 부분 부호화 스트림에 메타데이터로서 배치한다.
스텝 S166에 있어서, 메타데이터 부가부(402)는, 색 편차 보정 정보가 메타데이터로서 배치된 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 합성한다. 메타데이터 부가부(402)는, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림을, 복호 장치(284)에 전송한다.
(변환부의 구성예)
도 29는, 변환부(420)의 구성예를 도시하는 블록도이다.
도 29에 도시하는 구성 중, 도 8의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 29의 변환부(420)의 구성은, 색 보정부(421)가 새롭게 설치되는 점이, 도 8의 변환부(33)의 구성과 상이하다.
변환부(420)의 색 보정부(421)는, 복호부(301)에 의한 복호 결과 얻어지는 색 편차 보정 정보에 기초하여, 상술한 식 (7) 내지 (9)에 의해, 제1 시점군과 제2 시점군의 2차원 화상 데이터의 색 보정을 행한다. 이에 의해, 모든 시점의 2차원 화상 데이터에 있어서 색과 RGB값의 관계가 동일하게 된다. 색 보정부(421)는, 색 보정 후의 제1 시점군과 제2 시점군의 2차원 화상 데이터와, 복호부(301)에 의한 복호 결과 얻어지는 제1 시점군과 제2 시점군의 뎁스 화상 데이터를 3차원 데이터 생성부(151)에 공급한다.
제5 실시 형태에 있어서의 복호 장치(284)의 복호 처리는, 스텝 S32와 스텝 S33의 사이에서, 색 보정부(421)에 의한 색 보정이 행해지는 점을 제외하고, 도 9의 복호 처리와 마찬가지이므로, 설명은 생략한다.
이상과 같이, 제5 실시 형태에서는, 상이한 카메라에 의해 촬상된 2차원 화상 데이터를 사용하여 생성된 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 합성하여 복호 장치(284)에 전송한다. 따라서, 합성 결과 얻어지는 소정의 표시 화상 생성 방식에 대응하는 복수의 시점의 부호화 스트림에 있어서 색 편차가 발생하는 경우가 있다.
그러나, 제5 실시 형태에서는, 합성 장치(340)가, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 일단 복호하고, 그 결과 얻어지는 각 시점의 2차원 화상 데이터의 색 편차 보정 데이터를 생성한다. 그리고, 합성 장치(340)는, 생성된 색 편차 보정 데이터의 색 편차 보정 정보를, 제1 부분 부호화 스트림 및 제2 부분 부호화 스트림과 함께 전송한다. 따라서, 변환부(420)는, 색 편차 보정 데이터에 기초하여, 제1 시점군과 제2 시점군의 각 시점의 2차원 화상 데이터의 색 편차를 보정할 수 있다. 그 결과, 변환부(420)는, 색 편차가 보정된 제1 시점군과 제2 시점군의 2차원 화상 데이터와 뎁스 화상 데이터를 사용하여 3차원 데이터를 생성함으로써, 3차원 데이터 중의 2차원 화상 데이터의 정밀도를 향상시킬 수 있다.
또한, 제5 실시 형태에서는, 합성 장치(400)가, 색 편차 보정 정보를 전송하므로, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림에 색 편차 보정 정보를 메타데이터로서 배치하기만 하면 된다. 따라서, 제1 부분 부호화 스트림과 제2 부분 부호화 스트림을 복호하고, 색 편차를 보정하여 재부호화하는 경우에 비하여, 합성 장치(400)의 처리량을 삭감할 수 있다.
또한, 제5 실시 형태에 있어서, 시점 또는 시점군마다의 2차원 화상 데이터의, 중심부에 대한 주변부의 감광을 보정하는 게인을 포함하는 주변 감광 보정 정보가 메타데이터로서 제1 부분 부호화 스트림과 제2 부분 부호화 스트림에 배치되도록 해도 된다. 또한, 시점 또는 시점군마다의 Exif(Exchangeable image file format) 정보가 메타데이터로서 배치되도록 해도 된다.
<제6 실시 형태>
(본 개시를 적용한 컴퓨터의 설명)
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 30은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(600)에 있어서, CPU(Central Processing Unit)(601), ROM(Read Only Memory)(602), RAM(Random Access Memory)(603)은, 버스(604)에 의해 서로 접속되어 있다.
버스(604)에는, 입출력 인터페이스(605)가 더 접속되어 있다. 입출력 인터페이스(605)에는, 입력부(606), 출력부(607), 기억부(608), 통신부(609) 및 드라이브(610)가 접속되어 있다.
입력부(606)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(607)는 디스플레이, 스피커 등을 포함한다. 기억부(608)는 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(609)는 네트워크 인터페이스 등을 포함한다. 드라이브(610)는 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(611)를 구동한다.
이상과 같이 구성되는 컴퓨터(600)에서는, CPU(601)가, 예를 들어 기억부(608)에 기억되어 있는 프로그램을, 입출력 인터페이스(605) 및 버스(604)를 통하여, RAM(603)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(600)(CPU(601))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(611)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(600)에서는, 프로그램은, 리무버블 미디어(611)를 드라이브(610)에 장착함으로써, 입출력 인터페이스(605)를 통하여 기억부(608)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(609)에서 수신하고, 기억부(608)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(602)이나 기억부(608)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(600)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 중에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
본 개시는 이하와 같은 구성도 취할 수 있다.
(1) 복수의 제1 시점의 2차원 화상 데이터로부터 생성된 피사체의 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 제2 시점의 2차원 화상 데이터와 제3 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터를 생성하는 2차원 데이터 생성부와,
상기 2차원 데이터 생성부에 의해 생성된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 부호화하는 부호화부와,
상기 부호화부에 의해 부호화된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 전송하는 전송부
를 구비하는, 부호화 장치.
(2) 상기 복수의 제1 시점과 상기 복수의 제2 시점은 상이하도록 구성된 상기 (1)에 기재된 부호화 장치.
(3) 상기 복수의 제2 시점은, 동일 원 상에 등간격으로 존재하도록 구성된 상기 (1) 또는 (2)에 기재된 부호화 장치.
(4) 상기 복수의 제2 시점 중 적어도 2개의 시점은, 대략 수평 방향으로 배열되도록 구성된 상기 (1) 또는 (2)에 기재된 부호화 장치.
(5) 상기 전송부는, 상기 복수의 제2 시점 중 수평 방향으로 배열되는 2개의 시점을 특정하는 정보를 전송하도록 구성된 상기 (4)에 기재된 부호화 장치.
(6) 상기 전송부는, 상기 복수의 제2 시점의 2차원 화상 데이터에 있어서의 오클루전 영역의 상기 3차원 데이터를 전송하도록 구성된 상기 (1) 내지 (5) 중 어느 하나에 기재된 부호화 장치.
(7) 상기 2차원 데이터 생성부는, 상기 복수의 제2 시점의 카메라 파라미터에 기초하여, 상기 3차원 데이터로부터 상기 복수의 제2 시점의 2차원 화상 데이터를 생성하고, 상기 제3 시점의 카메라 파라미터에 기초하여, 상기 뎁스 화상 데이터를 생성하고,
상기 전송부는, 상기 복수의 제2 시점 및 상기 제3 시점의 상기 카메라 파라미터를 전송하도록 구성된 상기 (1) 내지 (6) 중 어느 하나에 기재된 부호화 장치.
(8) 상기 소정의 표시 화상 생성 방식의 수는 복수이도록 구성된 상기 (1) 내지 (7) 중 어느 하나에 기재된 부호화 장치.
(9) 상기 복수의 제2 시점과 상기 제3 시점은 동일하도록 구성된 상기 (1) 내지 (8) 중 어느 하나에 기재된 부호화 장치.
(10) 부호화 장치가,
복수의 제1 시점의 2차원 화상 데이터로부터 생성된 피사체의 3차원 데이터로부터, 소정의 표시 화상 생성 방식에 대응하는 복수의 제2 시점의 2차원 화상 데이터와 제3 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터를 생성하는 2차원 데이터 생성 스텝과,
상기 2차원 데이터 생성 스텝의 처리에 의해 생성된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 부호화하는 부호화 스텝과,
상기 부호화 스텝의 처리에 의해 부호화된 상기 복수의 제2 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 전송하는 전송 스텝
을 포함하는 부호화 방법.
(11) 소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점의 2차원 화상 데이터의 부호화 데이터와, 제2 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 복호하는 복호부와,
상기 복호부에 의한 복호 결과 얻어지는 상기 복수의 제1 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 사용하여, 피사체의 3차원 데이터를 생성하는 3차원 데이터 생성부와,
상기 3차원 데이터 생성부에 의해 생성된 상기 3차원 데이터에 기초하여, 상기 소정의 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성하는 2차원 데이터 생성부를 구비하는 복호 장치.
(12) 상기 복수의 제1 시점은, 동일 원 상에 등간격으로 존재하도록 구성된 상기 (11)에 기재된 복호 장치.
(13) 상기 복수의 제1 시점 중 적어도 2개의 시점은, 대략 수평 방향으로 배열되도록 구성된 상기 (11)에 기재된 복호 장치.
(14) 상기 복수의 제1 시점 중 수평 방향으로 배열되는 2개의 시점을 특정하는 정보를 수취하는 수취부를 더 구비하는, 상기 (13)에 기재된 복호 장치.
(15) 상기 복수의 제1 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터는, 복수의 제3 시점의 2차원 화상 데이터로부터 생성된 피사체의 3차원 데이터로부터 생성되도록 구성된 상기 (11) 내지 (14) 중 어느 하나에 기재된 복호 장치.
(16) 상기 3차원 데이터 생성부는, 상기 복수의 제1 시점의 2차원 화상 데이터, 상기 뎁스 화상 데이터, 및 상기 복수의 제1 시점의 2차원 화상 데이터에 있어서의 오클루전 영역의 3차원 데이터를 사용하여, 상기 피사체의 3차원 데이터를 생성하도록 구성된 상기 (15)에 기재된 복호 장치.
(17) 상기 3차원 데이터 생성부는, 상기 복수의 제1 시점 및 상기 제2 시점의 카메라 파라미터에 기초하여, 상기 피사체의 3차원 데이터를 생성하도록 구성된 상기 (11) 내지 (16) 중 어느 하나에 기재된 복호 장치.
(18) 상기 소정의 표시 화상 생성 방식의 수는 복수이도록 구성된 상기 (11) 내지 (17) 중 어느 하나에 기재된 복호 장치.
(19) 상기 복수의 제1 시점과 상기 제2 시점은 동일하도록 구성된 상기 (11) 내지 (18) 중 어느 하나에 기재된 복호 장치.
(20) 복호 장치가,
소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점의 2차원 화상 데이터의 부호화 데이터와, 제2 시점에 대한 각 화소의 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 복호하는 복호 스텝과,
상기 복호 스텝의 처리에 의한 복호 결과 얻어지는 상기 복수의 제1 시점의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 사용하여, 피사체의 3차원 데이터를 생성하는 3차원 데이터 생성 스텝과,
상기 3차원 데이터 생성 스텝의 처리에 의해 생성된 상기 3차원 데이터에 기초하여, 상기 소정의 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성하는 2차원 데이터 생성 스텝
을 포함하는 복호 방법.
11: 촬상 장치
12: 부호화 장치
13: 복호 장치
22: 부호화부
23: 전송부
31: 수취부
32: 복호부
53: 2차원 데이터 생성부
151: 3차원 데이터 생성부
154: 2차원 데이터 생성부
171: 촬상 장치
172: 부호화 장치
173: 복호 장치
192: 변환부
211-1 내지 211-N: 카메라
222: 동기 어긋남 검출부
261-1 내지 261-2N: 복호 처리부
262: 출력부
282: 부호화 장치
283: 합성 장치
284: 복호 장치
292: 부호화부
301: 복호부
321, 322: 복호부
323: 동기 어긋남 검출부
324: 메타데이터 부가부
340: 합성 장치
341: 좌표 변환 데이터 생성부
342: 메타데이터 부가부
391, 392: 3차원 위치 변환부
393: 좌표 변환부
394: 데이터 생성부
400: 합성 장치
401: 색 편차 보정 데이터 생성부
402: 메타데이터 부가부
421: 색 보정부

Claims (25)

  1. 부호화 장치로서,
    소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점들에 대한 피사체의 3차원 모델로부터, 상기 3차원 모델 중에서의 화소들 각각의 3차원 좌표들의 2차원 화상 데이터를 변환시킴으로써, 상기 3차원 모델 중에서의 상기 화소들의 2차원 화상 데이터를 생성하고 - 상기 3차원 좌표들은 상기 3차원 모델 중에서의 상기 화소들의 2차원 좌표들에 대응함 -,
    상기 피사체의 3차원 모델로부터, 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터를 생성하도록 구성된
    2차원 데이터 생성부;
    상기 2차원 데이터 생성부에 의해 생성된 상기 화소들의 2차원 화상 데이터 및 상기 뎁스 화상 데이터를 부호화하도록 구성된 부호화부; 및
    상기 부호화부에 의해 부호화된 상기 복수의 제1 시점들의 2차원 화상 데이터 및 상기 뎁스 화상 데이터를 전송하도록 구성된 전송부
    를 구비하고,
    상기 2차원 데이터 생성부, 상기 부호화부 및 상기 전송부는 각각 적어도 하나의 프로세서를 통해 구현되는, 부호화 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 복수의 제1 시점들은 동일 원 상에 등간격으로 존재하는, 부호화 장치.
  4. 제1항에 있어서, 상기 복수의 제1 시점들 중 적어도 2개의 시점은, 실질적으로 수평 방향으로 배열되는, 부호화 장치.
  5. 제4항에 있어서, 상기 전송부는 또한, 상기 복수의 제1 시점들 중 수평 방향으로 배열되는 2개의 시점을 특정하는 정보를 전송하도록 구성되는, 부호화 장치.
  6. 제1항에 있어서, 상기 전송부는 또한, 상기 복수의 제1 시점들의 2차원 화상 데이터 중에서의 오클루전 영역의 상기 3차원 모델을 전송하도록 구성되는, 부호화 장치.
  7. 제1항에 있어서, 상기 2차원 데이터 생성부는 또한,
    상기 복수의 제1 시점들의 카메라 파라미터에 기초하여, 상기 3차원 모델로부터 상기 복수의 제1 시점들의 2차원 화상 데이터를 생성하고,
    상기 제2 시점의 카메라 파라미터에 기초하여, 상기 뎁스 화상 데이터를 생성하도록 구성되고,
    상기 전송부는 또한, 상기 복수의 제1 시점들 및 상기 제2 시점의 카메라 파라미터들을 전송하도록 구성되는, 부호화 장치.
  8. 제1항에 있어서, 상기 소정의 표시 화상 생성 방식의 수는 복수인, 부호화 장치.
  9. 제1항에 있어서, 상기 복수의 제1 시점들은 상기 제2 시점과 동일한, 부호화 장치.
  10. 부호화 장치에 의한 부호화 방법으로서,
    소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점들에 대한 피사체의 3차원 모델로부터, 상기 3차원 모델 중에서의 화소들 각각의 3차원 좌표들의 2차원 화상 데이터를 변환시킴으로써, 상기 3차원 모델 중에서의 상기 화소들의 2차원 화상 데이터를 생성하는 단계 - 상기 3차원 좌표들은 상기 3차원 모델 중에서의 상기 화소들의 2차원 좌표들에 대응함 -;
    상기 피사체의 3차원 모델로부터, 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터를 생성하는 단계;
    상기 화소들의 2차원 화상 데이터 및 생성된 뎁스 화상 데이터를 부호화하는 단계; 및
    상기 복수의 제1 시점들의 2차원 화상 데이터 및 부호화된 뎁스 화상 데이터를 전송하는 단계
    를 포함하는, 부호화 방법.
  11. 복호 장치로서,
    피사체의 3차원 모델로부터 생성된, 소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점들에 대한 상기 피사체의 3차원 모델 중에서의 화소들의 2차원 화상 데이터의 부호화 데이터, 및 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 수취하도록 구성된 수취부 - 상기 화소들의 2차원 화상 데이터는 상기 3차원 모델 중에서의 상기 화소들 각각의 3차원 좌표들의 2차원 화상 데이터를 변환시킴으로써 생성되고, 상기 3차원 좌표들은 상기 3차원 모델 중에서의 상기 화소들의 2차원 좌표들에 대응함 -;
    상기 화소들의 2차원 화상 데이터의 부호화 데이터, 및 상기 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 복호하도록 구성된 복호부;
    상기 복호부에 의한 복호 결과 얻어지는 상기 화소들의 2차원 화상 데이터 및 상기 뎁스 화상 데이터를 사용하여, 상기 피사체의 또다른 3차원 모델을 생성하도록 구성된 3차원 모델 생성부; 및
    상기 3차원 모델 생성부에 의해 생성된 상기 또다른 3차원 모델에 기초하여, 소정의 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성하도록 구성된 2차원 데이터 생성부
    를 구비하고,
    상기 수취부, 상기 복호부, 상기 3차원 모델 생성부 및 상기 2차원 데이터 생성부는 각각 적어도 하나의 프로세서를 통해 구현되는, 복호 장치.
  12. 제11항에 있어서, 상기 복수의 제1 시점들은 동일 원 상에 등간격으로 존재하는, 복호 장치.
  13. 제11항에 있어서, 상기 복수의 제1 시점들 중 적어도 2개의 시점은 실질적으로 수평 방향으로 배열되는, 복호 장치.
  14. 제13항에 있어서, 상기 수취부는 또한, 상기 복수의 제1 시점들 중 수평 방향으로 배열되는 2개의 시점을 특정하는 정보를 수취하도록 구성되는, 복호 장치.
  15. 제11항에 있어서, 상기 복수의 제1 시점들의 2차원 화상 데이터 및 상기 뎁스 화상 데이터는, 복수의 제3 시점들의 2차원 화상 데이터로부터 생성된 피사체의 3차원 모델로부터 생성되는, 복호 장치.
  16. 제15항에 있어서, 상기 3차원 모델 생성부는 또한, 상기 복수의 제1 시점들의 2차원 화상 데이터, 상기 뎁스 화상 데이터, 및 상기 복수의 제1 시점들의 2차원 화상 데이터 중에서의 오클루전 영역의 3차원 데이터를 사용하여, 상기 피사체의 상기 또다른 3차원 모델을 생성하도록 구성되는, 복호 장치.
  17. 제11항에 있어서, 상기 3차원 모델 생성부는 또한, 상기 복수의 제1 시점들 및 상기 제2 시점의 카메라 파라미터들에 기초하여, 상기 피사체의 상기 또다른 3차원 모델을 생성하도록 구성되는, 복호 장치.
  18. 제11항에 있어서, 상기 소정의 표시 화상 생성 방식의 수는 복수인, 복호 장치.
  19. 제11항에 있어서, 상기 복수의 제1 시점들은 상기 제2 시점과 동일한, 복호 장치.
  20. 복호 장치에 의한 복호 방법으로서,
    피사체의 3차원 모델로부터 생성된, 소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점들에 대한 상기 피사체의 3차원 모델 중에서의 화소들의 2차원 화상 데이터의 부호화 데이터, 및 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 수취하는 단계 - 상기 화소들의 2차원 화상 데이터는 상기 3차원 모델 중에서의 상기 화소들 각각의 3차원 좌표들의 2차원 화상 데이터를 변환시킴으로써 생성되고, 상기 3차원 좌표들은 상기 3차원 모델 중에서의 상기 화소들의 2차원 좌표들에 대응함 -;
    상기 화소들의 2차원 화상 데이터의 부호화 데이터, 및 상기 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 복호하는 단계;
    복호 결과 얻어지는 상기 화소들의 2차원 화상 데이터 및 상기 뎁스 화상 데이터를 사용하여, 상기 피사체의 또다른 3차원 모델을 생성하는 단계; 및
    상기 또다른 3차원 모델에 기초하여, 소정의 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성하는 단계
    를 포함하는, 복호 방법.
  21. 제1항에 있어서,
    상기 3차원 모델은, 메쉬를 구성하는 점(point)들의 3차원 위치들 및 상기 점들의 연결(link)들의 기하 정보, 및 상기 메쉬의 2차원 화상 데이터를 포함하는, 부호화 장치.
  22. 제21항에 있어서,
    상기 메쉬는 상기 피사체의 2차원 화상 데이터를 촬상하도록 구성된 촬상 장치의 시점들의 2차원 데이터 및 깊이 화상 데이터를 모델링함으로써 생성되는, 부호화 장치.
  23. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 부호화 방법을 실행하게 하는 프로그램이 내장되어 있는 비일시적 컴퓨터-판독가능 기록 매체로서, 상기 부호화 방법은,
    소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점들에 대한 피사체의 3차원 모델로부터, 상기 3차원 모델 중에서의 화소들 각각의 3차원 좌표들의 2차원 화상 데이터를 변환시킴으로써, 상기 3차원 모델 중에서의 상기 화소들의 2차원 화상 데이터를 생성하는 단계 - 상기 3차원 좌표들은 상기 3차원 모델 중에서의 상기 화소들의 2차원 좌표들에 대응함 -;
    상기 피사체의 3차원 모델로부터, 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터를 생성하는 단계;
    상기 화소들의 2차원 화상 데이터 및 생성된 뎁스 화상 데이터를 부호화하는 단계; 및
    상기 복수의 제1 시점들의 2차원 화상 데이터 및 부호화된 뎁스 화상 데이터를 전송하는 단계
    를 포함하는, 비일시적 컴퓨터-판독가능 기록 매체.
  24. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 복호 방법을 실행하게 하는 프로그램이 내장되어 있는 비일시적 컴퓨터-판독가능 기록 매체로서, 상기 복호 방법은,
    피사체의 3차원 모델로부터 생성된, 소정의 표시 화상 생성 방식에 대응하는 복수의 제1 시점들에 대한 상기 피사체의 3차원 모델 중에서의 화소들의 2차원 화상 데이터의 부호화 데이터, 및 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 수취하는 단계 - 상기 화소들의 2차원 화상 데이터는 상기 3차원 모델 중에서의 상기 화소들 각각의 3차원 좌표들의 2차원 화상 데이터를 변환시킴으로써 생성되고, 상기 3차원 좌표들은 상기 3차원 모델 중에서의 상기 화소들의 2차원 좌표들에 대응함 -;
    상기 화소들의 2차원 화상 데이터의 부호화 데이터, 및 상기 제2 시점에 대한 상기 화소들 각각의 상기 피사체의 깊이 방향의 위치를 나타내는 뎁스 화상 데이터의 부호화 데이터를 복호하는 단계;
    복호 결과 얻어지는 상기 화소들의 2차원 화상 데이터와 상기 뎁스 화상 데이터를 사용하여, 상기 피사체의 또다른 3차원 모델을 생성하는 스텝; 및
    상기 또다른 3차원 모델에 기초하여, 소정의 표시 화상 생성 방식으로 2차원 화상 데이터를 표시 화상 데이터로서 생성하는 단계
    를 포함하는, 비일시적 컴퓨터-판독가능 기록 매체.
  25. 제1항에 있어서,
    상기 2차원 데이터 생성부는 또한, 상기 화소들의 2차원 좌표들에 대응하는 3차원 좌표들에 기초하여 상기 뎁스 화상 데이터를 생성하도록 구성되는, 부호화 장치.
KR1020187012316A 2015-11-11 2016-10-28 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법 KR102516992B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015221233 2015-11-11
JPJP-P-2015-221233 2015-11-11
PCT/JP2016/082024 WO2017082076A1 (ja) 2015-11-11 2016-10-28 符号化装置および符号化方法、復号装置および復号方法

Publications (2)

Publication Number Publication Date
KR20180081720A KR20180081720A (ko) 2018-07-17
KR102516992B1 true KR102516992B1 (ko) 2023-04-04

Family

ID=58695131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187012316A KR102516992B1 (ko) 2015-11-11 2016-10-28 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법

Country Status (14)

Country Link
US (1) US11716487B2 (ko)
EP (1) EP3343914A4 (ko)
JP (3) JP6384744B2 (ko)
KR (1) KR102516992B1 (ko)
CN (2) CN108353157B (ko)
AU (2) AU2016352648A1 (ko)
BR (1) BR112018009070A8 (ko)
CA (1) CA3004241A1 (ko)
MX (1) MX2018005501A (ko)
PH (1) PH12018500977A1 (ko)
RU (1) RU2721678C2 (ko)
SG (1) SG11201803682RA (ko)
WO (1) WO2017082076A1 (ko)
ZA (1) ZA201802193B (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
US20210134049A1 (en) * 2017-08-08 2021-05-06 Sony Corporation Image processing apparatus and method
JP7119425B2 (ja) 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法
CN108769643A (zh) * 2018-06-15 2018-11-06 深圳超多维科技有限公司 视频拍摄方法、装置及系统
JP7310816B2 (ja) * 2018-07-06 2023-07-19 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
CN110876050B (zh) * 2018-08-31 2021-08-20 盎锐（上海）信息科技有限公司 基于3d摄像机的数据处理装置及方法
JP2020086700A (ja) 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
JP2020095465A (ja) 2018-12-12 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2022028091A (ja) 2018-12-19 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
WO2020137584A1 (ja) 2018-12-25 2020-07-02 ソニー株式会社 映像再生装置、再生方法、およびプログラム
CN111669570B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
US20200288108A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, terminal, capturing system and device for setting capturing devices
US11842453B2 (en) 2019-06-28 2023-12-12 Sony Group Corporation Information processing device, information processing method, and program
WO2021022266A2 (en) * 2019-10-07 2021-02-04 Futurewei Technologies, Inc. Video-based point cloud compression (v-pcc) timing information
CN114556433A (zh) 2019-10-21 2022-05-27 索尼集团公司 信息处理装置、3d数据生成方法及程序
CN112788325B (zh) * 2019-11-06 2023-06-02 Oppo广东移动通信有限公司 一种图像处理方法、编码装置、解码装置及存储介质
JP2021099430A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
KR102242710B1 (ko) * 2019-12-31 2021-04-22 서울과학기술대학교 산학협력단 반자유 시점 영상을 제공하는 장치
US20230068731A1 (en) 2020-03-17 2023-03-02 Sony Group Corporation Image processing device and moving image data generation method
WO2022024780A1 (ja) * 2020-07-30 2022-02-03 ソニーグループ株式会社 情報処理装置、情報処理方法、映像配信方法及び情報処理システム
CN114926605B (zh) * 2022-07-19 2022-09-30 北京飞渡科技有限公司 一种三维模型的抽壳方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US8244025B2 (en) * 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
JP5406182B2 (ja) * 2007-06-26 2014-02-05 コーニンクレッカ フィリップス エヌ ヴェ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
CN101472190B (zh) * 2007-12-28 2013-01-23 华为终端有限公司 多视角摄像及图像处理装置、系统
CN102017628B (zh) * 2008-04-25 2013-10-09 汤姆逊许可证公司 深度信号的编码
JP5035195B2 (ja) * 2008-09-25 2012-09-26 Ｋｄｄｉ株式会社 画像生成装置及びプログラム
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
JP2010157821A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム
JP2010157823A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
JP4821846B2 (ja) * 2008-12-26 2011-11-24 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム
US20110298895A1 (en) * 2009-02-19 2011-12-08 Dong Tian 3d video formats
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
JP2012023488A (ja) 2010-07-13 2012-02-02 Ntt Docomo Inc 画像処理装置、画像処理方法、表示装置及びプログラム
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
US9635345B2 (en) * 2011-01-24 2017-04-25 Intel Corporation Method and system for acquisition, representation, compression, and transmission of three-dimensional data
CN102724520A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 视频处理方法和系统
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
JP2013211777A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
KR102126532B1 (ko) * 2013-09-30 2020-06-24 엘지디스플레이 주식회사 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
WO2016018392A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US20170004647A1 (en) * 2015-06-30 2017-01-05 Microsoft Technology Licensing, Llc Rendering graphics data on demand

Also Published As

Publication number Publication date
RU2018116473A3 (ko) 2019-11-05
CN113286137A (zh) 2021-08-20
SG11201803682RA (en) 2018-06-28
CN108353157B (zh) 2021-06-08
JP2021072639A (ja) 2021-05-06
AU2021203450A1 (en) 2021-06-24
US20180302647A1 (en) 2018-10-18
EP3343914A4 (en) 2019-04-10
BR112018009070A2 (pt) 2018-10-30
JP7143905B2 (ja) 2022-09-29
ZA201802193B (en) 2020-08-26
JP6872131B2 (ja) 2021-05-19
RU2018116473A (ru) 2019-11-05
EP3343914A1 (en) 2018-07-04
BR112018009070A8 (pt) 2019-02-26
RU2721678C2 (ru) 2020-05-21
MX2018005501A (es) 2018-08-01
WO2017082076A1 (ja) 2017-05-18
PH12018500977A1 (en) 2019-01-28
CA3004241A1 (en) 2017-05-18
AU2021203450B2 (en) 2022-11-24
AU2016352648A1 (en) 2018-05-10
JP2018182755A (ja) 2018-11-15
CN108353157A (zh) 2018-07-31
JP6384744B2 (ja) 2018-09-05
US11716487B2 (en) 2023-08-01
KR20180081720A (ko) 2018-07-17
JPWO2017082076A1 (ja) 2018-07-26
CN113286137B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
KR102516992B1 (ko) 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법
KR102527566B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6911765B2 (ja) 画像処理装置および画像処理方法
US20110304618A1 (en) Calculating disparity for three-dimensional images
JP7009996B2 (ja) 画像処理装置および画像処理方法
KR101233399B1 (ko) 다시점 깊이 영상 생성 방법 및 장치
JP2008034893A (ja) 多視点画像復号装置
JP6599634B2 (ja) 多視点画像符号化装置、多視点画像復号装置、補助情報生成装置、画像復元装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant