KR20140057269A - 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법 - Google Patents

부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법 Download PDF

Info

Publication number
KR20140057269A
KR20140057269A KR1020147003885A KR20147003885A KR20140057269A KR 20140057269 A KR20140057269 A KR 20140057269A KR 1020147003885 A KR1020147003885 A KR 1020147003885A KR 20147003885 A KR20147003885 A KR 20147003885A KR 20140057269 A KR20140057269 A KR 20140057269A
Authority
KR
South Korea
Prior art keywords
unit
image
parallax
reference time
information
Prior art date
Application number
KR1020147003885A
Other languages
English (en)
Inventor
요시토모 다카하시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140057269A publication Critical patent/KR20140057269A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 기술은, 시차 화상에 관한 정보를 이용하여 시차 화상의 부호화 효율을 개선할 수 있도록 하는 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법에 관한 것이다. 보정부는, 기준 시점의 시차 화상에 관한 정보를 이용하여 기준 시점의 시차 화상의 예측 화상을 보정한다. 연산부는, 보정된 예측 화상을 이용하여 기준 시점의 시차 화상을 부호화한다. 부호화된 기준 시점의 시차 화상과 기준 시점의 시차 화상에 관한 정보는 전송된다. 본 기술은, 예를 들어 시차 화상의 부호화 장치에 적용할 수 있다.

Description

부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법{ENCODING DEVICE, ENCODING METHOD, DECODING DEVICE, AND DECODING METHOD}
본 기술은, 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법에 관한 것으로, 특히, 시차 화상에 관한 정보를 이용하여 시차 화상의 부호화 효율을 개선할 수 있도록 한 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법에 관한 것이다.
최근 들어, 3D 화상이 주목받고 있으며, 다시점의 3D 화상의 생성에 이용되는 시차 화상의 부호화 방법이 제안되어 있다(예를 들어, 비특허문헌 1 참조). 또한, 시차 화상이란, 그 시차 화상에 대응하는 시점의 컬러 화상의 각 화소와, 그 화소에 대응하는, 기점이 되는 시점의 컬러 화상의 화소의 화면상의 위치의 수평 방향의 거리를 나타내는 시차값을 포함하는 화상이다.
또한, 현재, AVC(Advanced Video Coding) 방식보다 부호화 효율을 더 향상시키는 것을 목적으로 하여, HEVC(High Efficiency Video Coding)라 불리는 부호화 방식의 표준화가 진행되고 있으며, 2011년 8월 현재, Draft로서, 비특허문헌 2가 발행되어 있다.
"Call for Proposals on 3D Video Coding Technology", ISO/IEC JTC1/SC29/WG11, MPEG2011/N12036, Geneva, Switzerland, March 2011 Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, "WD3: Working Draft3 of High-Efficiency Video Coding", JCTVC-E603_d5(version5), 2011년 5월 20일
그러나, 시차 화상에 관한 정보를 이용하여 시차 화상의 부호화 효율을 향상시키는 부호화 방법은 고안되지 않았다.
본 기술은, 이러한 상황을 감안하여 이루어진 것으로, 시차 화상에 관한 정보를 이용하여 시차 화상의 부호화 효율을 개선할 수 있도록 하는 것이다.
본 기술의 제1 측면의 부호화 장치는, 기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정부와, 상기 보정부에 의해 보정된 상기 예측 화상을 이용하여, 상기 기준 시점의 시차 화상을 부호화하는 부호화부와, 상기 부호화부에 의해 부호화된 상기 기준 시점의 시차 화상과 상기 기준 시점의 시차 화상에 관한 정보를 전송하는 전송부를 구비하는 부호화 장치이다.
본 기술의 제1 측면의 부호화 방법은, 본 기술의 제1 측면의 부호화 장치에 대응한다.
본 기술의 제1 측면에 있어서는, 기준 시점의 시차 화상에 관한 정보를 이용하여, 기준 시점의 시차 화상의 예측 화상이 보정되고, 보정된 상기 예측 화상을 이용하여, 상기 기준 시점의 시차 화상이 부호화되고, 부호화된 상기 기준 시점의 시차 화상과 상기 기준 시점의 시차 화상에 관한 정보가 전송된다.
본 기술의 제2 측면의 복호 장치는, 기준 시점의 시차 화상에 관한 정보를 이용하여 보정된 상기 기준 시점의 시차 화상의 예측 화상을 이용하여 부호화된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 시차 화상에 관한 정보를 수취하는 수취부와, 상기 수취부에 의해 수취된 상기 기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정부와, 상기 보정부에 의해 보정된 상기 예측 화상을 이용하여, 상기 수취부에 의해 수취된, 부호화된 상기 기준 시점의 시차 화상을 복호하는 복호부를 구비하는 복호 장치이다.
본 기술의 제2 측면의 복호 방법은, 본 기술의 제2 측면의 복호 장치에 대응한다.
본 기술의 제2 측면에 있어서는, 기준 시점의 시차 화상에 관한 정보를 이용하여 보정된 상기 기준 시점의 시차 화상의 예측 화상을 이용하여 부호화된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 시차 화상에 관한 정보가 수취되고, 수취된 상기 기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상이 보정되고, 보정된 상기 예측 화상을 이용하여, 부호화된 상기 기준 시점의 시차 화상이 복호된다.
또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.
또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치를 실현하기 위해서, 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여 제공할 수 있다.
본 기술의 제1 측면에 의하면, 시차 화상에 관한 정보를 이용하여 시차 화상의 부호화 효율을 개선할 수 있다.
또한, 본 기술의 제2 측면에 의하면, 시차 화상에 관한 정보를 이용하여 부호화함으로써 부호화 효율이 개선된 시차 화상의 부호화 데이터를 복호할 수 있다.
도 1은 본 기술을 적용한 부호화 장치의 제1 실시 형태의 구성예를 나타내는 블록도이다.
도 2는 시점 생성용 정보의 시차 최대값과 시차 최소값을 설명하는 도면이다.
도 3은 시점 생성용 정보의 시차 정밀도 파라미터를 설명하는 도면이다.
도 4는 시점 생성용 정보의 카메라 간 거리를 설명하는 도면이다.
도 5는 도 1의 다시점 화상 부호화부의 구성예를 나타내는 블록도이다.
도 6은 부호화부의 구성예를 나타내는 블록도이다.
도 7은 부호화 비트 스트림의 구성예를 나타내는 도면이다.
도 8은 도 7의 PPS의 신택스(syntex)의 예를 나타내는 도면이다.
도 9는 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.
도 10은 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.
도 11은 도 1의 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 12는 도 11의 다시점 부호화 처리의 상세를 설명하는 흐름도이다.
도 13은 도 12의 시차 화상 부호화 처리의 상세를 설명하는 흐름도이다.
도 14는 도 12의 시차 화상 부호화 처리의 상세를 설명하는 흐름도이다.
도 15는 본 기술을 적용한 복호 장치의 제1 실시 형태의 구성예를 나타내는 블록도이다.
도 16은 도 15의 다시점 화상 복호부의 구성예를 나타내는 블록도이다.
도 17은 복호부의 구성예를 나타내는 블록도이다.
도 18은 도 15의 복호 장치(150)의 복호 처리를 설명하는 흐름도이다.
도 19는 도 18의 다시점 복호 처리의 상세를 설명하는 흐름도이다.
도 20은 도 16의 시차 화상 복호 처리의 상세를 설명하는 흐름도이다.
도 21은 예측 화상의 보정에 이용되는 정보의 전송 방법을 설명하는 도면이다.
도 22는 제2 전송 방법에 있어서의 부호화 비트 스트림의 구성예를 나타내는 도면이다.
도 23은 제3 전송 방법에 있어서의 부호화 비트 스트림의 구성예를 나타내는 도면이다.
도 24는 컴퓨터의 일 실시 형태의 구성예를 나타내는 도면이다.
도 25는 본 기술을 적용한 텔레비전 장치의 개략 구성예를 나타내는 도면이다.
도 26은 본 기술을 적용한 휴대 전화기의 개략 구성예를 나타내는 도면이다.
도 27은 본 기술을 적용한 기록 재생 장치의 개략 구성예를 나타내는 도면이다.
도 28은 본 기술을 적용한 촬상 장치의 개략 구성예를 나타내는 도면이다.
<제1 실시 형태>
[부호화 장치의 제1 실시 형태의 구성예]
도 1은, 본 기술을 적용한 부호화 장치의 제1 실시 형태의 구성예를 나타내는 블록도이다.
도 1의 부호화 장치(50)는 다시점 컬러 화상 촬상부(51), 다시점 컬러 화상 보정부(52), 다시점 시차 화상 보정부(53), 시점 생성용 정보 생성부(54) 및 다시점 화상 부호화부(55)에 의해 구성된다.
부호화 장치(50)는 소정의 시점의 시차 화상을, 시차 화상에 관한 정보를 이용하여 부호화한다.
구체적으로는, 부호화 장치(50)의 다시점 컬러 화상 촬상부(51)는 다시점의 컬러 화상을 촬상하고, 다시점 컬러 화상으로서 다시점 컬러 화상 보정부(52)에 공급한다. 또한, 다시점 컬러 화상 촬상부(51)는 외부 파라미터, 시차 최대값 및 시차 최소값(상세는 후술함)을 생성한다. 다시점 컬러 화상 촬상부(51)는 외부 파라미터, 시차 최대값 및 시차 최소값을 시점 생성용 정보 생성부(54)에 공급함과 함께, 시차 최대값과 시차 최소값을 다시점 시차 화상 생성부(53)에 공급한다.
또한, 외부 파라미터는, 다시점 컬러 화상 촬상부(51)의 수평 방향의 위치를 정의하는 파라미터이다. 또한, 시차 최대값과 시차 최소값은, 각각, 다시점 시차 화상에 있어서 취할 수 있는 세계 좌표 상의 시차값의 최대값, 최소값이다.
다시점 컬러 화상 보정부(52)는 다시점 컬러 화상 촬상부(51)로부터 공급되는 다시점 컬러 화상에 대하여 색 보정, 휘도 보정, 왜곡 보정 등을 행한다. 이에 의해, 보정 후의 다시점 컬러 화상에 있어서의 다시점 컬러 화상 촬상부(51)의 수평 방향(X 방향)의 초점 거리는, 전체 시점에서 공통으로 된다. 다시점 컬러 화상 보정부(52)는 보정 후의 다시점 컬러 화상을 다시점 보정 컬러 화상으로서 다시점 시차 화상 생성부(53)와 다시점 화상 부호화부(55)에 공급한다.
다시점 시차 화상 생성부(53)는 다시점 컬러 화상 촬상부(51)로부터 공급되는 시차 최대값과 시차 최소값에 기초하여, 다시점 컬러 화상 보정부(52)로부터 공급되는 다시점 보정 컬러 화상으로부터, 다시점의 시차 화상을 생성한다. 구체적으로는, 다시점 시차 화상 생성부(53)는 다시점의 각 시점(기준 시점)에 대하여, 다시점 보정 컬러 화상으로부터 각 화소의 시차값을 구하고, 그 시차값을 시차 최대값과 시차 최소값에 기초하여 정규화한다. 그리고, 다시점 시차 화상 생성부(53)는 다시점의 각 시점에 대하여, 정규화된 각 화소의 시차값을 시차 화상의 각 화소의 화소값으로 하는 시차 화상을 생성한다.
또한, 다시점 시차 화상 생성부(53)는 생성된 다시점의 시차 화상을 다시점 시차 화상으로서 다시점 화상 부호화부(55)에 공급한다. 또한, 다시점 시차 화상 생성부(53)는 다시점 시차 화상의 화소값의 정밀도를 나타내는 시차 정밀도 파라미터를 생성하고, 시점 생성용 정보 생성부(54)에 공급한다.
시점 생성용 정보 생성부(54)는 다시점의 보정 컬러 화상과 시차 화상을 이용하여, 그 다시점 이외의 시점의 컬러 화상을 생성할 때 이용되는 시점 생성용 정보(시점 생성 정보)를 생성한다. 구체적으로는, 시점 생성용 정보 생성부(54)는 다시점 컬러 화상 촬상부(51)로부터 공급되는 외부 파라미터에 기초하여, 카메라 간 거리를 구한다. 카메라 간 거리란, 다시점 시차 화상의 시점마다, 그 시점의 컬러 화상을 촬상할 때의 다시점 컬러 화상 촬상부(51)의 수평 방향의 위치와, 그 컬러 화상과 시차 화상에 대응하는 시차를 갖는 컬러 화상을 촬상할 때의 다시점 컬러 화상 촬상부(51)의 수평 방향의 위치의 거리이다.
시점 생성용 정보 생성부(54)는 다시점 컬러 화상 촬상부(51)로부터의 시차 최대값과 시차 최소값, 카메라 간 거리 및 다시점 시차 화상 생성부(53)로부터의 시차 정밀도 파라미터를 시점 생성용 정보로 한다. 시점 생성용 정보 생성부(54)는 생성된 시점 생성용 정보를 다시점 화상 부호화부(55)에 공급한다.
다시점 화상 부호화부(55)는 다시점 컬러 화상 보정부(52)로부터 공급되는 다시점 보정 컬러 화상을 HEVC 방식으로 부호화한다. 또한, 다시점 화상 부호화부(55)는 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 최대값, 시차 최소값 및 카메라 간 거리를 시차에 관한 정보로서 이용하여, 다시점 시차 화상 생성부(53)로부터 공급되는 다시점 시차 화상을, HEVC 방식에 준한 방식으로 부호화한다.
또한, 다시점 화상 부호화부(55)는 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 최대값, 시차 최소값 및 카메라 간 거리를 차분 부호화하고, 다시점 시차 화상을 부호화할 때 이용하는 부호화에 관한 정보(부호화 파라미터)에 포함한다. 그리고, 다시점 화상 부호화부(55)는 부호화된 다시점 보정 컬러 화상 및 다시점 시차 화상, 차분 부호화된 시차 최대값, 시차 최소값 및 카메라 간 거리를 포함하는 부호화에 관한 정보, 시점 생성용 정보 생성부(54)로부터의 시차 정밀도 파라미터 등을 포함하는 비트 스트림을, 부호화 비트 스트림으로서 전송한다.
이상과 같이, 다시점 화상 부호화부(55)는 시차 최대값, 시차 최소값 및 카메라 간 거리를 차분 부호화하여 전송하므로, 시점 생성용 정보의 부호량을 삭감할 수 있다. 쾌적한 3D 화상을 제공하기 위해서, 시차 최대값, 시차 최소값 및 카메라 간 거리는 픽처 간에서 크게 변화시키지 않을 가능성이 높기 때문에, 차분 부호화를 행하는 것은 부호량의 삭감에 있어서 유효하다.
또한, 부호화 장치(50)에서는, 다시점 시차 화상이, 다시점 보정 컬러 화상으로 생성되었지만, 다시점 컬러 화상의 촬상 시에, 시차값을 검출하는 센서에 의해 생성되어도 된다.
[시점 생성용 정보의 설명]
도 2는, 시점 생성용 정보의 시차 최대값과 시차 최소값을 설명하는 도면이다.
또한, 도 2에 있어서, 횡축은, 정규화 전의 시차값이며, 종축은, 시차 화상의 화소값이다.
도 2에 도시한 바와 같이, 다시점 시차 화상 생성부(53)는 각 화소의 시차값을, 시차 최소값 Dmin과 시차 최대값 Dmax를 이용하여, 예를 들어 0 내지 255의 값으로 정규화한다. 그리고, 다시점 시차 화상 생성부(53)는 0 내지 255 중 어느 하나의 값인 정규화 후의 각 화소의 시차값을 화소값으로서, 시차 화상을 생성한다.
즉, 시차 화상의 각 화소의 화소값 I는, 그 화소의 정규화 전의 시차값, 시차 최소값 Dmin 및 시차 최대값 Dmax는, 이하의 수학식 1로 표현된다.
Figure pct00001
따라서, 후술하는 복호 장치에서는, 이하의 수학식 2에 의해, 시차 화상의 각 화소의 화소값 I로부터, 시차 최소값 Dmin과 시차 최대값 Dmax를 이용하여, 정규화 전의 시차값 d를 복원할 필요가 있다.
Figure pct00002
따라서, 시차 최소값 Dmin과 시차 최대값 Dmax가, 복호 장치로 전송된다.
도 3은, 시점 생성용 정보의 시차 정밀도 파라미터를 설명하는 도면이다.
도 3의 상단에 도시한 바와 같이, 정규화 후의 시차값 1당 정규화 전의 시차값이 0.5인 경우, 시차 정밀도 파라미터는, 시차값의 정밀도 0.5를 나타내는 것으로 된다. 또한, 도 3의 하단에 도시한 바와 같이, 정규화 후의 시차값 1당 정규화 전의 시차값이 1인 경우, 시차 정밀도 파라미터는, 시차값의 정밀도 1.0을 나타내는 것으로 된다.
도 3의 예에서는, 1번째의 시점인 시점 #1의 정규화 전의 시차값이 1.0이며, 2번째의 시점인 시점 #2의 정규화 전의 시차값이 0.5이다. 따라서, 시점 #1의 정규화 후의 시차값은, 시차값의 정밀도가 0.5이어도 1.0이어도, 1.0이다. 한편, 시점 #2의 시차값은, 시차값의 정밀도가 0.5인 경우 0.5이며, 시차값의 정밀도가 1.0인 경우 0이다.
도 4는, 시점 생성용 정보의 카메라 간 거리를 설명하는 도면이다.
도 4에 도시한 바와 같이, 시점 #1의, 시점 #2를 기점으로 하는 시차 화상의 카메라 간 거리는, 시점 #1의 외부 파라미터가 나타내는 위치와, 시점 #2의 외부 파라미터가 나타내는 위치의 거리이다.
[다시점 화상 부호화부의 구성예]
도 5는, 도 1의 다시점 화상 부호화부(55)의 구성예를 나타내는 블록도이다.
도 5의 다시점 화상 부호화부(55)는 슬라이스 부호화부(61), 슬라이스 헤더 부호화부(62), PPS 부호화부(63) 및 SPS 부호화부(64)에 의해 구성된다.
다시점 화상 부호화부(55)의 슬라이스 부호화부(61)는 다시점 컬러 화상 보정부(52)로부터 공급되는 다시점 보정 컬러 화상에 대하여, HEVC 방식으로 슬라이스 단위의 부호화를 행한다. 또한, 슬라이스 부호화부(61)는 도 1의 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 최대값, 시차 최소값 및 카메라 간 거리를 시차에 관한 정보로서 이용하여, 다시점 시차 화상 생성부(53)로부터의 다시점 시차 화상에 대하여 HEVC 방식에 준한 방식에 의해 슬라이스 단위의 부호화를 행한다. 슬라이스 부호화부(61)는 부호화의 결과 얻어지는 슬라이스 단위의 부호화 데이터 등을 슬라이스 헤더 부호화부(62)에 공급한다.
슬라이스 헤더 부호화부(62)는 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 최대값, 시차 최소값 및 카메라 간 거리를, 현재의 처리 대상인 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리로 하고, 유지한다.
또한, 슬라이스 헤더 부호화부(62)는 현재의 처리 대상인 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리가, 각각, 그 슬라이스보다 부호화 순으로 하나 앞의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리와 일치하는지 여부를, 동일한 PPS가 부가되는 단위(이하에서는, 동일 PPS 단위라고 함)로 판정한다.
그리고, 동일 PPS 단위를 구성하는 모든 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리가, 부호화 순으로 하나 앞의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리와 일치한다고 판정된 경우, 슬라이스 헤더 부호화부(62)는 그 동일 PPS 단위를 구성하는 각 슬라이스의 부호화 데이터의 슬라이스 헤더로서, 그 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리 이외의 부호화에 관한 정보를 부가하고, PPS 부호화부(63)에 공급한다. 또한, 슬라이스 헤더 부호화부(62)는 시차 최대값, 시차 최소값 및 카메라 간 거리의 차분 부호화 결과의 전송이 없음을 나타내는 전송 플래그를 PPS 부호화부(63)에 공급한다.
한편, 동일 PPS 단위를 구성하는 적어도 하나의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리가, 부호화 순으로 하나 앞의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리와 일치하지 않는다고 판정된 경우, 슬라이스 헤더 부호화부(62)는 인트라 타입(intra-type)의 슬라이스의 부호화 데이터에는, 슬라이스 헤더로서, 그 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리를 포함하는 부호화에 관한 정보를 부가하고, PPS 부호화부(63)에 공급한다.
또한, 슬라이스 헤더 부호화부(62)는 인터 타입(inter-type)의 슬라이스에 대해서는, 그 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리를 차분 부호화한다. 구체적으로는, 슬라이스 헤더 부호화부(62)는 인터 타입의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리로부터, 그 슬라이스보다 부호화 순으로 하나 앞의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리를, 각각 감산하고, 차분 부호화 결과로 한다. 그리고, 슬라이스 헤더 부호화부(62)는 인터 타입의 슬라이스의 부호화 데이터에, 슬라이스 헤더로서 시차 최대값, 시차 최소값 및 카메라 간 거리의 차분 부호화 결과를 포함하는 부호화에 관한 정보를 부가하고, PPS 부호화부(63)에 공급한다.
또한, 이 경우, 슬라이스 헤더 부호화부(62)는 시차 최대값, 시차 최소값 및 카메라 간 거리의 차분 부호화 결과의 전송이 있음을 나타내는 전송 플래그를 PPS 부호화부(63)에 공급한다.
PPS 부호화부(63)는 슬라이스 헤더 부호화부(62)로부터 공급되는 전송 플래그와, 도 1의 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 정밀도 파라미터를 포함하는 PPS를 생성한다. PPS 부호화부(63)는 동일 PPS 단위로, 슬라이스 헤더 부호화부(62)로부터 공급되는 슬라이스 헤더가 부가된 슬라이스 단위의 부호화 데이터에 PPS를 부가하고, SPS 부호화부(64)에 공급한다.
SPS 부호화부(64)는 SPS를 생성한다. 그리고, SPS 부호화부(64)는 시퀀스 단위로, PPS 부호화부(63)로부터 공급되는 PPS가 부가된 부호화 데이터에 SPS를 부가한다. SPS 부호화부(64)는 전송부로서 기능하고, 그 결과 얻어지는 비트 스트림을 부호화 비트 스트림으로서 전송한다.
[슬라이스 부호화부의 구성예]
도 6은, 도 5의 슬라이스 부호화부(61) 중 임의의 1 시점의 시차 화상을 부호화하는 부호화부의 구성예를 나타내는 블록도이다. 즉, 슬라이스 부호화부(61) 중 다시점 시차 화상을 부호화하는 부호화부는, 시점수만큼의 도 6의 부호화부(120)에 의해 구성된다.
도 6의 부호화부(120)는 A/D 변환부(121), 화면 재배열 버퍼(122), 연산부(123), 직교 변환부(124), 양자화부(125), 가역 부호화부(126), 축적 버퍼(127), 역양자화부(128), 역직교 변환부(129), 가산부(130), 디블록(deblock) 필터(131), 프레임 메모리(132), 화면 내 예측부(133), 움직임 예측·보상부(134), 보정부(135), 선택부(136) 및 레이트 제어부(137)에 의해 구성된다.
부호화부(120)의 A/D 변환부(121)는 도 1의 다시점 시차 화상 생성부(53)로부터 공급되는 소정의 시점의 프레임 단위의 다중화 화상을 A/D 변환하고, 화면 재배열 버퍼(122)로 출력하여 기억시킨다. 화면 재배열 버퍼(122)는 기억한 표시의 순서의 프레임 단위의 시차 화상을, GOP(Group of Picture) 구조에 따라서, 부호화를 위한 순서로 재배열, 연산부(123), 화면 내 예측부(133) 및 움직임 예측·보상부(134)로 출력한다.
연산부(123)는 부호화부로서 기능하고, 선택부(136)로부터 공급되는 예측 화상과, 화면 재배열 버퍼(122)로부터 출력된 부호화 대상의 시차 화상의 차분을 연산함으로써, 부호화 대상의 시차 화상을 부호화한다. 구체적으로는, 연산부(123)는 화면 재배열 버퍼(122)로부터 출력된 부호화 대상의 시차 화상으로부터, 선택부(136)로부터 공급되는 예측 화상을 감산한다. 연산부(123)는 감산의 결과 얻어지는 화상을, 잔차 정보로서 직교 변환부(124)로 출력한다. 또한, 선택부(136)로부터 예측 화상이 공급되지 않는 경우, 연산부(123)는 화면 재배열 버퍼(122)로부터 판독된 시차 화상을 그대로 잔차 정보로서 직교 변환부(124)로 출력한다.
직교 변환부(124)는 연산부(123)로부터의 잔차 정보에 대하여 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시하고, 그 결과 얻어지는 계수를 양자화부(125)에 공급한다.
양자화부(125)는 직교 변환부(124)로부터 공급되는 계수를 양자화한다. 양자화된 계수는, 가역 부호화부(126)에 입력된다.
가역 부호화부(126)는 양자화부(125)로부터 공급되는 양자화된 계수에 대하여 가변장 부호화(예를 들어, CAVLC(Context-Adaptive Variable Length Coding) 등), 산술 부호화(예를 들어, CABAC(Context-Adaptive Binary Arithmetic Coding) 등) 등의 가역 부호화를 행한다. 가역 부호화부(126)는 가역 부호화의 결과 얻어지는 부호화 데이터를 축적 버퍼(127)에 공급하고, 축적시킨다.
축적 버퍼(127)는 가역 부호화부(126)로부터 공급되는 부호화 데이터를, 일시적으로 기억하고, 슬라이스 단위로 슬라이스 헤더 부호화부(62)에 공급한다.
또한, 양자화부(125)로부터 출력된, 양자화된 계수는, 역양자화부(128)에도 입력되고, 역양자화된 후, 역직교 변환부(129)에 공급된다.
역직교 변환부(129)는 역양자화부(128)로부터 공급되는 계수에 대하여 역이산 코사인 변환, 역 카루넨 루베 변환 등의 역직교 변환을 실시하고, 그 결과 얻어지는 잔차 정보를 가산부(130)에 공급한다.
가산부(130)는 역직교 변환부(129)로부터 공급되는 복호 대상의 시차 화상으로서의 잔차 정보와, 선택부(136)로부터 공급되는 예측 화상을 가산하여, 국부적으로 복호된 시차 화상을 얻는다. 또한, 선택부(136)로부터 예측 화상이 공급되지 않는 경우, 가산부(130)는 역직교 변환부(129)로부터 공급되는 잔차 정보를 국부적으로 복호된 시차 화상으로 한다. 가산부(130)는 국부적으로 복호된 시차 화상을 디블록 필터(131)에 공급함과 함께, 참조 화상으로서 화면 내 예측부(133)에 공급한다.
디블록 필터(131)는 가산부(130)로부터 공급되는 국부적으로 복호된 시차 화상을 필터링함으로써, 블록 왜곡을 제거한다. 디블록 필터(131)는 그 결과 얻어지는 시차 화상을 프레임 메모리(132)에 공급하고, 축적시킨다. 프레임 메모리(132)에 축적된 시차 화상은, 참조 화상으로서 움직임 예측·보상부(134)로 출력된다.
화면 내 예측부(133)는 가산부(130)로부터 공급된 참조 화상을 이용하여, 후보가 되는 모든 인트라 예측 모드의 화면 내 예측을 행하고, 예측 화상을 생성한다.
또한, 화면 내 예측부(133)는 후보가 되는 모든 인트라 예측 모드에 대하여 비용 함수값(상세는 후술함)을 산출한다. 그리고, 화면 내 예측부(133)는 비용 함수값이 최소가 되는 인트라 예측 모드를 최적 인트라 예측 모드로 결정한다. 화면 내 예측부(133)는 최적 인트라 예측 모드에서 생성된 예측 화상, 및 대응하는 비용 함수값을, 선택부(136)에 공급한다. 화면 내 예측부(133)는 선택부(136)로부터 최적 인트라 예측 모드에서 생성된 예측 화상의 선택이 통지된 경우, 최적 인트라 예측 모드 등을 나타내는 화면 내 예측 정보를 도 5의 슬라이스 헤더 부호화부(62)에 공급한다. 이 화면 내 예측 정보는, 부호화에 관한 정보로서 슬라이스 헤더에 포함된다.
또한, 비용 함수값은, RD(Rate Distortion) 비용이라고도 하며, 예를 들어H.264/AVC 방식에 있어서의 참조 소프트웨어인 JM(Joint Model)으로 정해져 있는 바와 같은, High Complexity 모드이거나, Low Complexity 모드 중 어느 하나의 방법에 기초하여 산출된다.
구체적으로는, 비용 함수값의 산출 방법으로서 High Complexity 모드가 채용되는 경우, 후보가 되는 모든 예측 모드에 대하여 임시로 가역 부호화까지가 행해지고, 다음의 수학식 3으로 표현되는 비용 함수값이 각 예측 모드에 대하여 산출된다.
Figure pct00003
D는, 원 화상과 복호 화상의 차분(왜곡), R은, 직교 변환의 계수까지 포함한 발생 부호량, λ는, 양자화 파라미터 QP의 함수로서 부여되는 라그랑제 승수이다.
한편, 비용 함수값의 산출 방법으로서 Low Complexity 모드가 채용되는 경우, 후보가 되는 모든 예측 모드에 대하여 복호 화상의 생성, 및 예측 모드를 나타내는 정보 등의 헤더 비트의 산출이 행해지고, 다음의 수학식 4로 표현되는 비용 함수가 각 예측 모드에 대하여 산출된다.
Figure pct00004
D는, 원 화상과 복호 화상의 차분(왜곡), Header_Bit는, 예측 모드에 대한 헤더 비트, QPtoQuant는, 양자화 파라미터 QP의 함수로서 부여되는 함수이다.
Low Complexity 모드에서는, 모든 예측 모드에 대하여 복호 화상을 생성하기만 하면 되며, 가역 부호화를 행할 필요가 없기 때문에, 연산량이 적어도 된다. 또한, 여기에서는, 비용 함수값의 산출 방법으로서 High Complexity 모드가 채용되는 것으로 한다.
움직임 예측·보상부(134)는 화면 재배열 버퍼(122)로부터 공급되는 시차 화상과, 프레임 메모리(132)로부터 공급되는 참조 화상에 기초하여, 후보가 되는 모든 인터 예측 모드의 움직임 예측 처리를 행하고, 움직임 벡터를 생성한다. 구체적으로는, 움직임 예측·보상부(134)는 인터 예측 모드마다, 참조 화상과, 화면 재배열 버퍼(122)로부터 공급되는 시차 화상의 매칭을 행하고, 움직임 벡터를 생성한다.
또한, 인터 예측 모드란, 인터 예측의 대상으로 하는 블록의 크기, 예측 방향 및 참조 인덱스를 나타내는 정보이다. 예측 방향에는, 인터 예측의 대상으로 하는 시차 화상보다도 표시 시각이 이른 참조 화상을 이용한 전 방향의 예측(L0 예측), 인터 예측의 대상으로 하는 시차 화상보다도 표시 시각이 늦은 참조 화상을 이용한 후 방향의 예측(L1 예측) 및 인터 예측의 대상으로 하는 시차 화상보다도 표시 시각이 이른 참조 화상과 늦은 참조 화상을 이용한 양 방향의 예측(Bi-prediction)이 있다. 또한, 참조 인덱스란, 참조 화상을 특정하기 위한 번호이며, 예를 들어 인터 예측의 대상으로 하는 시차 화상에 가까운 화상의 참조 인덱스일수록 번호가 작다.
또한, 움직임 예측·보상부(134)는 예측 화상 생성부로서 기능하고, 인터 예측 모드마다, 생성된 움직임 벡터에 기초하여, 프레임 메모리(132)로부터 참조 화상을 판독함으로써, 움직임 보상 처리를 행한다. 움직임 예측·보상부(134)는 그 결과 생성되는 예측 화상을 보정부(135)에 공급한다.
보정부(135)는 도 1의 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 최대값, 시차 최소값 및 카메라 간 거리를 시차 화상에 관한 정보로서 이용하여, 예측 화상을 보정할 때 사용하는 보정 계수를 생성(설정)한다. 보정부(135)는 움직임 예측·보상부(134)로부터 공급되는 각 인터 예측 모드의 예측 화상을, 보정 계수를 사용하여 보정한다.
여기서, 부호화 대상의 시차 화상의 피사체의 깊이 방향의 위치 Zc와 예측 화상의 피사체의 깊이 방향의 위치 Zp는, 이하의 수학식 5로 표현된다.
Figure pct00005
또한, 수학식 5에 있어서, Lc, Lp는, 각각, 부호화 대상의 시차 화상의 카메라 간 거리, 예측 화상의 카메라 간 거리이다. f는, 부호화 대상의 시차 화상과 예측 화상에 공통인 초점거리이다. 또한, dc, dp는, 각각, 부호화 대상의 시차 화상의 정규화 전의 시차값의 절댓값, 예측 화상의 정규화 전의 시차값의 절댓값이다.
또한, 부호화 대상의 시차 화상의 시차값 Ic와 예측 화상의 시차값 Ip는, 정규화 전의 시차값의 절댓값 dc, dp를 이용하여, 이하의 수학식 6으로 표현된다.
Figure pct00006
또한, 수학식 6에 있어서, Dc min, Dp min은, 각각, 부호화 대상의 시차 화상의 시차 최소값, 예측 화상의 시차 최소값이다. Dc max, Dp max는, 각각, 부호화 대상의 시차 화상의 시차 최대값, 예측 화상의 시차 최대값이다.
따라서, 부호화 대상의 시차 화상의 피사체의 깊이 방향의 위치 Zc와 예측 화상의 피사체의 깊이 방향의 위치 Zp가 동일하여도, 카메라 간 거리 Lc와 Lp, 시차 최소값 Dc min, Dp min 및 시차 최대값 Dc max, Dp max 중 적어도 하나가 상이하면, 시차값 Ic와 시차값 Ip는 서로 달라져 버린다.
그렇기 때문에, 보정부(135)는 위치 Zc와 위치 ZP가 동일한 경우에 시차값 Ic와 시차값 IP가 동일해지도록 예측 화상을 보정하는 보정 계수를 생성한다.
구체적으로는, 위치 Zc와 위치 Zp가 동일한 경우, 전술한 수학식 5에 의해, 이하의 수학식 7이 성립된다.
Figure pct00007
또한, 수학식 7을 변형하면, 이하의 수학식 8이 된다.
Figure pct00008
그리고, 전술한 수학식 6을 이용하여, 수학식 8의 정규화 전의 시차값의 절댓값 dc, dp를 시차값 Ic와 시차값 Ip로 치환하면, 이하의 수학식 9로 된다.
Figure pct00009
이에 의해, 시차값 Ic는, 시차값 Ip를 이용하여 이하의 수학식 10으로 표현된다.
Figure pct00010
따라서, 보정부(135)는 수학식 10의 a와 b를 보정 계수로서 생성한다. 그리고, 보정부(135)는 보정 계수 a, b와 시차값 Ip를 이용하여, 수학식 10에 있어서의 시차값 Ic를 보정 후의 예측 화상의 시차값으로서 구한다.
또한, 보정부(135)는 보정 후의 예측 화상을 이용하여, 각 인터 예측 모드에 대하여 비용 함수값을 산출하고, 비용 함수값이 최소가 되는 인터 예측 모드를 최적 인터 예측 모드로 결정한다. 그리고, 보정부(135)는 최적 인터 예측 모드에서 생성된 예측 화상과 비용 함수값을 선택부(136)에 공급한다.
또한, 보정부(135)는 선택부(136)로부터 최적 인터 예측 모드에서 생성된 예측 화상의 선택이 통지된 경우, 움직임 정보를 슬라이스 헤더 부호화부(62)로 출력한다. 이 움직임 정보는, 최적 인터 예측 모드, 예측 벡터 인덱스, 현재의 움직임 벡터로부터 예측 벡터 인덱스가 나타내는 움직임 벡터를 감산한 차분인 움직임 벡터 잔차 등에 의해 구성된다. 또한, 예측 벡터 인덱스란, 복호 완료의 시차 화상의 예측 화상의 생성에 이용된 후보가 되는 움직임 벡터 중 1개의 움직임 벡터를 특정하는 정보이다. 움직임 정보는, 부호화에 관한 정보로서 슬라이스 헤더에 포함된다.
선택부(136)는 화면 내 예측부(133) 및 보정부(135)로부터 공급되는 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드 중 어느 하나를, 최적 예측 모드로 결정한다. 그리고, 선택부(136)는 최적 예측 모드의 예측 화상을, 연산부(123) 및 가산부(130)에 공급한다. 또한, 선택부(136)는 최적 예측 모드의 예측 화상의 선택을 화면 내 예측부(133) 또는 보정부(135)에 통지한다.
레이트 제어부(137)는 축적 버퍼(127)에 축적된 부호화 데이터에 기초하여, 오버플로우 혹은 언더플로우가 발생하지 않도록, 양자화부(125)의 양자화 동작의 레이트를 제어한다.
[부호화 비트 스트림의 구성예]
도 7은, 부호화 비트 스트림의 구성예를 나타내는 도면이다.
또한, 도 7에서는, 설명의 편의상, 다시점 시차 화상의 슬라이스의 부호화 데이터만을 기재하고 있지만, 실제로는, 부호화 비트 스트림에는, 다시점 컬러 화상의 슬라이스의 부호화 데이터도 배치된다. 이것은, 후술하는 도 22 및 도 23에 있어서도 마찬가지이다.
도 7의 예에서는, 0번째의 PPS인 PPS#0의 동일 PPS 단위를 구성하는 1개의 인트라 타입의 슬라이스와 2개의 인터 타입의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리가, 각각, 부호화 순으로 하나 앞의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리와 일치하지 않는다. 따라서, PPS#0에는, 전송이 있음을 나타내는 전송 플래그 「1」이 포함된다. 또한, 도 7의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 슬라이스의 시차 정밀도가 0.5이며, PPS#0에는, 시차 정밀도 파라미터로서 시차 정밀도 0.5를 나타내는 「1」이 포함된다.
또한, 도 7의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 인트라 타입의 슬라이스의 시차 최소값이 10이고, 시차 최대값이 50이며, 카메라 간 거리가 100이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 시차 최소값 「10」, 시차 최대값 「50」 및 카메라 간 거리 「100」이 포함된다.
또한, 도 7의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 1번째의 인터 타입의 슬라이스의 시차 최소값이 9이고, 시차 최대값이 48이며, 카메라 간 거리가 105이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 그 슬라이스의 시차 최소값 「9」로부터, 부호화 순으로 하나 앞의 인트라 타입의 슬라이스의 시차 최소값 「10」을 감산한 차분 「-1」이, 시차 최소값의 차분 부호화 결과로서 포함된다. 마찬가지로, 시차 최대값의 차분 「-2」가 시차 최대값의 차분 부호화 결과로서 포함되고, 카메라 간 거리의 차분 「5」가 카메라 간 거리의 차분 부호화 결과로서 포함된다.
또한, 도 7의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 2번째의 인터 타입의 슬라이스의 시차 최소값이 7이고, 시차 최대값이 47이며, 카메라 간 거리가 110이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 그 슬라이스의 시차 최소값 「7」로부터, 부호화 순으로 하나 앞의 1번째의 인터 타입의 슬라이스의 시차 최소값 「9」를 감산한 차분 「-2」가, 시차 최소값의 차분 부호화 결과로서 포함된다. 마찬가지로, 시차 최대값의 차분 「-1」이 시차 최대값의 차분 부호화 결과로서 포함되고, 카메라 간 거리의 차분 「5」가 카메라 간 거리의 차분 부호화 결과로서 포함된다.
또한, 도 7의 예에서는, 1번째의 PPS인 PPS#1의 동일 PPS 단위를 구성하는 1개의 인트라 타입의 슬라이스와 2개의 인터 타입의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리가, 각각, 부호화 순으로 하나 앞의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리와 일치한다. 즉, PPS#1의 동일 PPS 단위를 구성하는 1개의 인트라 타입의 슬라이스와 2개의 인터 타입의 슬라이스의 시차 최소값, 시차 최대값, 카메라 간 거리는, 각각, PPS#0의 동일 PPS 단위를 구성하는 2번째의 인터 타입의 슬라이스와 동일한 「7」, 「47」, 「110」이다. 따라서, PPS#1에는, 전송이 없음을 나타내는 전송 플래그 「0」이 포함된다. 또한, 도 7의 예에서는, PPS#1의 동일 PPS 단위를 구성하는 슬라이스의 시차 정밀도가 0.5이며, PPS#1에는, 시차 정밀도 파라미터로서 시차 정밀도 0.5를 나타내는 「1」이 포함된다.
[PPS의 신택스의 예]
도 8은, 도 7의 PPS의 신택스의 예를 나타내는 도면이다.
도 8에 도시한 바와 같이, PPS에는, 시차 정밀도 파라미터(disparity_precision)와 전송 플래그(disparity_pic_same_flag)가 포함된다. 시차 정밀도 파라미터는, 예를 들어 시차 정밀도 1을 나타내는 경우 「0」이며, 시차 정밀도 0.25를 나타내는 경우 「2」이다. 또한, 전술한 바와 같이, 시차 정밀도 파라미터는, 시차 정밀도 0.5를 나타내는 경우 「1」이다. 또한, 전송 플래그는, 전술한 바와 같이, 전송이 있음을 나타내는 경우 「1」이며, 전송이 없음을 나타내는 경우 「0」이다.
[슬라이스 헤더의 신택스의 예]
도 9 및 도 10은, 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.
도 10에 도시한 바와 같이, 전송 플래그가 1이며, 슬라이스의 타입이 인트라 타입인 경우, 슬라이스 헤더에는, 시차 최소값(minimum_disparity), 시차 최대값(maximum_disparity) 및 카메라 간 거리(translation_x)가 포함된다.
한편, 전송 플래그가 1이며, 슬라이스의 타입이 인터 타입인 경우, 슬라이스 헤더에는, 시차 최소값의 차분 부호화 결과(delta_minimum_disparity), 시차 최대값의 차분 부호화 결과(delta_maximum_disparity) 및 카메라 간 거리의 차분 부호화 결과(delta_translation_x)가 포함된다.
[부호화 장치의 처리의 설명]
도 11은, 도 1의 부호화 장치(50)의 부호화 처리를 설명하는 흐름도이다.
도 11의 스텝 S111에 있어서, 부호화 장치(50)의 다시점 컬러 화상 촬상부(51)는 다시점의 컬러 화상을 촬상하고, 다시점 컬러 화상으로서 다시점 컬러 화상 보정부(52)에 공급한다.
스텝 S112에 있어서, 다시점 컬러 화상 촬상부(51)는 시차 최대값, 시차 최소값 및 외부 파라미터를 생성한다. 다시점 컬러 화상 촬상부(51)는 시차 최대값, 시차 최소값 및 외부 파라미터를 시점 생성용 정보 생성부(54)에 공급함과 함께, 시차 최대값과 시차 최소값을 다시점 시차 화상 생성부(53)에 공급한다.
스텝 S113에 있어서, 다시점 컬러 화상 보정부(52)는 다시점 컬러 화상 촬상부(51)로부터 공급되는 다시점 컬러 화상에 대하여 색 보정, 휘도 보정, 왜곡 보정 등을 행한다. 이에 의해, 보정 후의 다시점 컬러 화상에 있어서의 다시점 컬러 화상 촬상부(51)의 수평 방향(X 방향)의 초점 거리는, 전체 시점에서 공통으로 된다. 다시점 컬러 화상 보정부(52)는 보정 후의 다시점 컬러 화상을 다시점 보정 컬러 화상으로서 다시점 시차 화상 생성부(53)와 다시점 화상 부호화부(55)에 공급한다.
스텝 S114에 있어서, 다시점 시차 화상 생성부(53)는 다시점 컬러 화상 촬상부(51)로부터 공급되는 시차 최대값과 시차 최소값에 기초하여, 다시점 컬러 화상 보정부(52)로부터 공급되는 다시점 보정 컬러 화상으로부터, 다시점의 시차 화상을 생성한다. 그리고, 다시점 시차 화상 생성부(53)는 생성된 다시점의 시차 화상을 다시점 시차 화상으로서 다시점 화상 부호화부(55)에 공급한다.
스텝 S115에 있어서, 다시점 시차 화상 생성부(53)는 시차 정밀도 파라미터를 생성하고, 시점 생성용 정보 생성부(54)에 공급한다.
스텝 S116에 있어서, 시점 생성용 정보 생성부(54)는 다시점 컬러 화상 촬상부(51)로부터 공급되는 외부 파라미터에 기초하여, 카메라 간 거리를 구한다.
스텝 S117에 있어서, 시점 생성용 정보 생성부(54)는 다시점 컬러 화상 촬상부(51)로부터의 시차 최대값 및 시차 최소값, 카메라 간 거리와 다시점 시차 화상 생성부(53)로부터의 시차 정밀도 파라미터를 시점 생성용 정보로서 생성한다. 시점 생성용 정보 생성부(54)는 생성된 시점 생성용 정보를 다시점 화상 부호화부(55)에 공급한다.
스텝 S118에 있어서, 다시점 화상 부호화부(55)는 다시점 컬러 화상 보정부(52)로부터의 다시점 보정 컬러 화상과 다시점 시차 화상 생성부(53)로부터의 다시점 시차 화상을 부호화하는 다시점 부호화 처리를 행한다. 이 다시점 부호화 처리의 상세에 대해서는, 후술하는 도 12를 참조하여 설명한다.
스텝 S119에 있어서, 다시점 화상 부호화부(55)는 다시점 부호화 처리의 결과 얻어지는 부호화 비트 스트림을 전송하고, 처리를 종료한다.
도 12는, 도 11의 스텝 S118의 다시점 부호화 처리를 설명하는 흐름도이다.
도 12의 스텝 S131에 있어서, 다시점 화상 부호화부(55)의 슬라이스 부호화부(61)(도 5)는 다시점 컬러 화상 보정부(52)로부터의 다시점 보정 컬러 화상과, 다시점 시차 화상 생성부(53)로부터의 다시점 시차 화상을, 슬라이스 단위로 부호화한다. 구체적으로는, 슬라이스 부호화부(61)는 다시점 보정 컬러 화상을 HEVC 방식으로 부호화하는 컬러 화상 부호화 처리를 슬라이스 단위로 행한다. 또한, 슬라이스 부호화부(61)는 도 1의 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 최대값, 시차 최소값 및 카메라 간 거리를 이용하여, 다시점 시차 화상을 HEVC 방식에 준한 방식으로 부호화하는 시차 화상 부호화 처리를 슬라이스 단위로 행한다. 이 시차 화상 부호화 처리의 상세는, 후술하는 도 13 및 도 14를 참조하여 설명한다. 슬라이스 부호화부(61)는 부호화의 결과 얻어지는 슬라이스 단위의 부호화 데이터를 슬라이스 헤더 부호화부(62)에 공급한다.
스텝 S132에 있어서, 슬라이스 헤더 부호화부(62)는 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 카메라 간 거리, 시차 최대값 및 시차 최소값을, 현재의 처리 대상인 슬라이스의 카메라 간 거리, 시차 최대값 및 시차 최소값으로 하고, 유지한다.
스텝 S133에 있어서, 슬라이스 헤더 부호화부(62)는 동일 PPS 단위를 구성하는 모든 슬라이스의 카메라 간 거리, 시차 최대값 및 시차 최소값이, 각각, 그 슬라이스로부터 부호화 순으로 하나 앞의 슬라이스의 카메라 간 거리, 시차 최대값 및 시차 최소값과 일치하는지 여부를 판정한다.
스텝 S133에서 카메라 간 거리, 시차 최대값 및 시차 최소값이 일치한다고 판정된 경우, 스텝 S134에 있어서, 슬라이스 헤더 부호화부(62)는 카메라 간 거리, 시차 최대값 및 시차 최소값의 차분 부호화 결과의 전송이 없음을 나타내는 전송 플래그를 생성하고, PPS 부호화부(63)에 공급한다.
스텝 S135에 있어서, 슬라이스 헤더 부호화부(62)는 스텝 S133의 처리 대상인 동일 PPS 단위를 구성하는 각 슬라이스의 부호화 데이터에, 슬라이스 헤더로서, 그 슬라이스의 카메라 간 거리, 시차 최대값 및 시차 최소값 이외의 부호화에 관한 정보를 부가한다. 또한, 이 부호화에 관한 정보에는, 슬라이스 부호화부(61)로부터 공급되는 화면 내 예측 정보 또는 움직임 정보가 포함된다. 그리고, 슬라이스 헤더 부호화부(62)는 그 결과 얻어지는 동일 PPS 단위를 구성하는 각 슬라이스의 부호화 데이터를 PPS 부호화부(63)에 공급하고, 처리를 스텝 S140으로 진행시킨다.
한편, 스텝 S133에서 카메라 간 거리, 시차 최대값 및 시차 최소값이 일치하지 않는다고 판정된 경우, 스텝 S136에 있어서, 슬라이스 헤더 부호화부(62)는 카메라 간 거리, 시차 최대값 및 시차 최소값의 차분 부호화 결과의 전송이 있음을 나타내는 전송 플래그를 PPS 부호화부(63)에 공급한다. 또한, 후술하는 스텝 S137 내지 S139의 처리는, 스텝 S133의 처리 대상인 동일 PPS 단위를 구성하는 슬라이스마다 행해진다.
스텝 S137에 있어서, 슬라이스 헤더 부호화부(62)는 스텝 S133의 처리 대상인 동일 PPS 단위를 구성하는 슬라이스의 타입이 인트라 타입인지 여부를 판정한다. 스텝 S137에서 슬라이스의 타입이 인트라 타입이라고 판정된 경우, 스텝 S138에 있어서, 슬라이스 헤더 부호화부(62)는 그 슬라이스의 부호화 데이터에, 슬라이스 헤더로서, 그 슬라이스의 카메라 간 거리, 시차 최대값 및 시차 최소값을 포함하는 부호화에 관한 정보를 부가한다. 또한, 이 부호화에 관한 정보에는, 슬라이스 부호화부(61)로부터 공급되는 화면 내 예측 정보 또는 움직임 정보도 포함된다. 그리고, 슬라이스 헤더 부호화부(62)는 그 결과 얻어지는 슬라이스 단위의 부호화 데이터를 PPS 부호화부(63)에 공급하고, 처리를 스텝 S140으로 진행시킨다.
한편, 스텝 S137에서 슬라이스의 타입이 인트라 타입이 아니라고 판정된 경우, 즉 슬라이스의 타입이 인터 타입인 경우, 처리는 스텝 S139로 진행된다. 스텝 S139에 있어서, 슬라이스 헤더 부호화부(62)는 그 슬라이스의 카메라 간 거리, 시차 최대값 및 시차 최소값을 차분 부호화하고, 그 슬라이스의 부호화 데이터에, 차분 부호화 결과를 포함하는 부호화에 관한 정보를 슬라이스 헤더로서 부가한다. 또한, 이 부호화에 관한 정보에는, 슬라이스 부호화부(61)로부터 공급되는 화면 내 예측 정보 또는 움직임 정보도 포함된다. 그리고, 슬라이스 헤더 부호화부(62)는 그 결과 얻어지는 슬라이스 단위의 부호화 데이터를 PPS 부호화부(63)에 공급하고, 처리를 스텝 S140으로 진행시킨다.
스텝 S140에 있어서, PPS 부호화부(63)는 슬라이스 헤더 부호화부(62)로부터 공급되는 전송 플래그와, 도 1의 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 정밀도 파라미터를 포함하는 PPS를 생성한다.
스텝 S141에 있어서, PPS 부호화부(63)는 동일 PPS 단위로, 슬라이스 헤더 부호화부(62)로부터 공급되는 슬라이스 헤더가 부가된 슬라이스 단위의 부호화 데이터에 PPS를 부가하고, SPS 부호화부(64)에 공급한다.
스텝 S142에 있어서, SPS 부호화부(64)는 SPS를 생성한다.
스텝 S143에 있어서, SPS 부호화부(64)는 시퀀스 단위로, PPS 부호화부(63)로부터 공급되는 PPS가 부가된 부호화 데이터에 SPS를 부가하고, 부호화 비트 스트림을 생성한다. 그리고, 처리는 도 11의 스텝 S118로 되돌아가서, 스텝 S119로 진행된다.
도 13 및 도 14는, 도 5의 슬라이스 부호화부(61)의 시차 화상 부호화 처리의 상세를 설명하는 흐름도이다. 이 시차 화상 부호화 처리는, 시점마다 행해진다.
도 13의 스텝 S160에 있어서, 부호화부(120)의 A/D 변환부(121)는 다시점 시차 화상 생성부(53)로부터 입력된 소정의 시점의 프레임 단위의 시차 화상을 A/D 변환하고, 화면 재배열 버퍼(122)로 출력하여 기억시킨다.
스텝 S161에 있어서, 화면 재배열 버퍼(122)는 기억한 표시 순서의 프레임의 시차 화상을, GOP 구조에 따라서, 부호화를 위한 순서로 재배열한다. 화면 재배열 버퍼(122)는 재배열 후의 프레임 단위의 시차 화상을, 연산부(123), 화면 내 예측부(133) 및 움직임 예측·보상부(134)에 공급한다.
스텝 S162에 있어서, 화면 내 예측부(133)는 가산부(130)로부터 공급되는 참조 화상을 이용하여, 후보가 되는 모든 인트라 예측 모드의 화면 내 예측 처리를 행한다. 이때, 화면 내 예측부(133)는 후보가 되는 모든 인트라 예측 모드에 대하여 비용 함수값을 산출한다. 그리고, 화면 내 예측부(133)는 비용 함수값이 최소가 되는 인트라 예측 모드를 최적 인트라 예측 모드로 결정한다. 화면 내 예측부(133)는 최적 인트라 예측 모드에서 생성된 예측 화상, 및 대응하는 비용 함수값을, 선택부(136)에 공급한다.
스텝 S163에 있어서, 움직임 예측·보상부(134)는 화면 재배열 버퍼(122)로부터 공급되는 시차 화상과, 프레임 메모리(132)로부터 공급되는 참조 화상에 기초하여, 움직임 예측·보상 처리를 행한다.
구체적으로는, 움직임 예측·보상부(134)는 화면 재배열 버퍼(122)로부터 공급되는 시차 화상과, 프레임 메모리(132)로부터 공급되는 참조 화상에 기초하여, 후보가 되는 모든 인터 예측 모드의 움직임 예측 처리를 행하고, 움직임 벡터를 생성한다. 또한, 움직임 예측·보상부(134)는 인터 예측 모드마다, 생성된 움직임 벡터에 기초하여, 프레임 메모리(132)로부터 참조 화상을 판독함으로써, 움직임 보상 처리를 행한다. 움직임 예측·보상부(134)는 그 결과 생성되는 예측 화상을 보정부(135)에 공급한다.
스텝 S164에 있어서, 보정부(135)는 도 1의 시점 생성용 정보 생성부(54)로부터 공급되는 시점 생성용 정보 중 시차 최대값, 시차 최소값 및 카메라 간 거리에 기초하여, 보정 계수를 산출한다.
스텝 S165에 있어서, 보정부(135)는 움직임 예측·보상부(134)로부터 공급되는 각 인터 예측 모드의 예측 화상을, 보정 계수를 사용하여 보정한다.
스텝 S166에 있어서, 보정부(135)는 보정 후의 예측 화상을 이용하여, 각 인터 예측 모드에 대하여 비용 함수값을 산출하고, 비용 함수값이 최소가 되는 인터 예측 모드를 최적 인터 예측 모드로 결정한다. 그리고, 보정부(135)는 최적 인터 예측 모드에서 생성된 예측 화상과 비용 함수값을 선택부(136)에 공급한다.
스텝 S167에 있어서, 선택부(136)는 화면 내 예측부(133) 및 보정부(135)로부터 공급되는 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드 중 비용 함수값이 최소가 되는 쪽을, 최적 예측 모드로 결정한다. 그리고, 선택부(136)는 최적 예측 모드의 예측 화상을, 연산부(123) 및 가산부(130)에 공급한다.
스텝 S168에 있어서, 선택부(136)는 최적 예측 모드가 최적 인터 예측 모드 인지 여부를 판정한다. 스텝 S168에서 최적 예측 모드가 최적 인터 예측 모드라고 판정된 경우, 선택부(136)는 최적 인터 예측 모드에서 생성된 예측 화상의 선택을 보정부(135)에 통지한다.
그리고, 스텝 S169에 있어서, 보정부(135)는 움직임 정보를 슬라이스 헤더 부호화부(62)(도 5)로 출력하고, 처리를 스텝 S171로 진행시킨다.
한편, 스텝 S168에서 최적 예측 모드가 최적 인터 예측 모드가 아니라고 판정된 경우, 즉 최적 예측 모드가 최적 인트라 예측 모드인 경우, 선택부(136)는 최적 인트라 예측 모드에서 생성된 예측 화상의 선택을 화면 내 예측부(133)에 통지한다.
그리고, 스텝 S170에 있어서, 화면 내 예측부(133)는 화면 내 예측 정보를 슬라이스 헤더 부호화부(62)로 출력하고, 처리를 스텝 S171로 진행시킨다.
스텝 S171에 있어서, 연산부(123)는 화면 재배열 버퍼(122)로부터 공급되는 시차 화상으로부터, 선택부(136)로부터 공급되는 예측 화상을 감산한다. 연산부(123)는 감산의 결과 얻어지는 화상을, 잔차 정보로서 직교 변환부(124)로 출력한다.
스텝 S172에 있어서, 직교 변환부(124)는 연산부(123)로부터의 잔차 정보에 대하여 직교 변환을 실시하고, 그 결과 얻어지는 계수를 양자화부(125)에 공급한다.
스텝 S173에 있어서, 양자화부(125)는 직교 변환부(124)로부터 공급되는 계수를 양자화한다. 양자화된 계수는, 가역 부호화부(126)와 역양자화부(128)에 입력된다.
스텝 S174에 있어서, 가역 부호화부(126)는 양자화부(125)로부터 공급되는 양자화된 계수를 가역 부호화한다.
도 14의 스텝 S175에 있어서, 가역 부호화부(126)는 가역 부호화 처리의 결과 얻어지는 부호화 데이터를 축적 버퍼(127)에 공급하고, 축적시킨다.
스텝 S176에 있어서, 축적 버퍼(127)는 축적되어 있는 부호화 데이터를 슬라이스 헤더 부호화부(62)로 출력한다.
스텝 S177에 있어서, 역양자화부(128)는 양자화부(125)로부터 공급되는 양자화된 계수를 역양자화한다.
스텝 S178에 있어서, 역직교 변환부(129)는 역양자화부(128)로부터 공급되는 계수에 대하여 역직교 변환을 실시하고, 그 결과 얻어지는 잔차 정보를 가산부(130)에 공급한다.
스텝 S179에 있어서, 가산부(130)는 역직교 변환부(129)로부터 공급되는 잔차 정보와, 선택부(136)로부터 공급되는 예측 화상을 가산하고, 국부적으로 복호된 시차 화상을 얻는다. 가산부(130)는 얻어진 시차 화상을 디블록 필터(131)에 공급함과 함께, 참조 화상으로서 화면 내 예측부(133)에 공급한다.
스텝 S180에 있어서, 디블록 필터(131)는 가산부(130)로부터 공급되는 국부적으로 복호된 시차 화상에 대하여 필터링을 행함으로써, 블록 왜곡을 제거한다.
스텝 S181에 있어서, 디블록 필터(131)는 필터링 후의 시차 화상을 프레임 메모리(132)에 공급하고, 축적시킨다. 프레임 메모리(132)에 축적된 시차 화상은, 참조 화상으로서 움직임 예측·보상부(134)로 출력된다. 그리고, 처리는 종료된다.
또한, 도 13 및 도 14의 스텝 S162 내지 S181의 처리는, 예를 들어 계층 구조를 갖는 코딩 유닛 단위로 행해진다. 또한, 도 13 및 도 14의 시차 화상 부호화 처리에서는, 설명을 간단화하기 위해서, 항상, 화면 내 예측 처리와 움직임 보상 처리가 행해지도록 하였지만, 실제로는, 픽처 타입 등에 의해 어느 한쪽만이 행해지는 경우도 있다.
이상과 같이, 부호화 장치(50)는 시차 화상에 관한 정보를 이용하여 예측 화상을 보정하고, 보정 후의 예측 화상을 이용하여 시차 화상을 부호화한다. 보다 상세하게는, 부호화 장치(50)는 시차 화상에 관한 정보로서 카메라 간 거리, 시차 최대값 및 시차 최소값을 이용하여, 예측 화상과 시차 화상의 사이에서, 깊이 방향의 피사체의 위치가 동일한 경우에 시차값이 동일해지도록 예측 화상을 보정하고, 보정 후의 예측 화상을 이용하여 시차 화상을 부호화한다. 따라서, 시차 화상에 관한 정보에 의해 발생하는 예측 화상과 시차 화상의 차분이 삭감되어, 부호화 효율이 향상된다. 특히, 시차 화상에 관한 정보가 픽처마다 변화할 때, 부호화 효율이 향상된다.
또한, 부호화 장치(50)는 예측 화상의 보정에 이용되는 정보로서, 보정 계수 바로 그 자체가 아니라, 보정 계수의 산출에 이용되는 카메라 간 거리, 시차 최대값 및 시차 최소값을 전송한다. 여기서, 카메라 간 거리, 시차 최대값 및 시차 최소값은, 시점 생성용 정보의 일부이다. 따라서, 카메라 간 거리, 시차 최대값 및 시차 최소값을, 예측 화상의 보정에 이용되는 정보 및 시점 생성용 정보의 일부로서 공유시킬 수 있다. 그 결과, 부호화 비트 스트림의 정보량을 삭감할 수 있다.
[복호 장치의 제1 실시 형태의 구성예]
도 15는, 도 1의 부호화 장치(50)로부터 전송되는 부호화 비트 스트림을 복호하는, 본 기술을 적용한 복호 장치의 제1 실시 형태의 구성예를 나타내는 블록도이다.
도 15의 복호 장치(150)는 다시점 화상 복호부(151), 시점 합성부(152) 및 다시점 화상 표시부(153)에 의해 구성된다. 복호 장치(150)는 부호화 장치(50)로부터 전송되어 오는 부호화 비트 스트림을 복호하고, 그 결과 얻어지는 다시점 컬러 화상, 다시점 시차 화상 및 시점 생성용 정보를 이용하여 표시 시점의 컬러 화상을 생성하여 표시한다.
구체적으로는, 복호 장치(150)의 다시점 화상 복호부(151)는 도 1의 부호화 장치(50)로부터 전송되어 오는 부호화 비트 스트림을 수취한다. 다시점 화상 복호부(151)는 수취된 부호화 비트 스트림에 포함되는 PPS로부터 시차 정밀도 파라미터와 전송 플래그를 추출한다. 또한, 다시점 화상 복호부(151)는 전송 플래그에 따라서, 부호화 비트 스트림의 슬라이스 헤더로부터 카메라 간 거리, 시차 최대값 및 시차 최소값을 추출한다. 다시점 화상 복호부(151)는 시차 정밀도 파라미터, 카메라 간 거리, 시차 최대값 및 시차 최소값을 포함하는 시점 생성용 정보를 생성하고, 시점 합성부(152)에 공급한다.
또한, 다시점 화상 복호부(151)는 부호화 비트 스트림에 포함되는 슬라이스 단위의 다시점 보정 컬러 화상의 부호화 데이터를, 도 1의 다시점 화상 부호화부(55)의 부호화 방식에 대응하는 방식으로 복호하고, 다시점 보정 컬러 화상을 생성한다. 또한, 다시점 화상 복호부(151)는 복호부로서 기능한다. 다시점 화상 복호부(151)는 카메라 간 거리, 시차 최대값 및 시차 최소값을 이용하여, 부호화 비트 스트림에 포함되는 다시점 시차 화상의 부호화 데이터를, 다시점 화상 부호화부(55)의 부호화 방식에 대응하는 방식으로 복호하고, 다시점 시차 화상을 생성한다. 다시점 화상 복호부(151)는 생성된 다시점 보정 컬러 화상 및 다시점 시차 화상을 시점 합성부(152)에 공급한다.
시점 합성부(152)는 다시점 화상 복호부(151)로부터의 시점 생성용 정보를 이용하여, 다시점 화상 복호부(151)로부터의 다시점 시차 화상에 대하여 다시점 화상 표시부(153)에 대응하는 시점수의 표시 시점으로의 와핑(warping) 처리를 행한다. 구체적으로는, 시점 합성부(152)는 시점 생성용 정보에 포함되는 카메라 간 거리, 시차 최대값 및 시차 최소값 등에 기초하여, 시차 정밀도 파라미터에 대응하는 정밀도로, 다시점 시차 화상에 대하여 표시 시점으로의 와핑 처리를 행한다. 또한, 와핑 처리란, 어떤 시점의 화상으로부터 서로 다른 시점의 화상으로 기하 변환하는 처리이다. 또한, 표시 시점에는, 다시점 컬러 화상에 대응하는 시점 이외의 시점이 포함된다.
또한, 시점 합성부(152)는 와핑 처리의 결과 얻어지는 표시 시점의 시차 화상을 이용하여, 다시점 화상 복호부(151)로부터 공급되는 다시점 보정 컬러 화상에 대하여 표시 시점으로의 와핑 처리를 행한다. 시점 합성부(152)는 그 결과 얻어지는 표시 시점의 컬러 화상을, 다시점 합성 컬러 화상으로서 다시점 화상 표시부(153)에 공급한다.
다시점 화상 표시부(153)는 시점 합성부(152)로부터 공급되는 다시점 합성 컬러 화상을, 시점마다 시인 가능한 각도가 서로 다르게 표시한다. 시청자는, 임의의 2 시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고도 복수의 시점으로부터 3D 화상을 볼 수 있다.
이상과 같이, 시점 합성부(152)는 시차 정밀도 파라미터에 기초하여, 시점 정밀도 파라미터에 대응하는 정밀도로, 다시점 시차 화상에 대한 표시 시점으로의 와핑 처리를 행하므로, 시점 합성부(152)는 쓸데없이 고정밀도의 와핑 처리를 행할 필요가 없다.
또한, 시점 합성부(152)는 카메라 간 거리에 기초하여, 다시점 시차 화상에 대한 표시 시점으로의 와핑 처리를 행하므로, 와핑 처리 후의 다시점 시차 화상의 시차값에 대응하는 시차가 적정한 범위가 아닌 경우, 카메라 간 거리에 기초하여, 시차값을 적정한 범위의 시차에 대응하는 값으로 수정할 수 있다.
[다시점 화상 복호부의 구성예]
도 16은, 도 15의 다시점 화상 복호부(151)의 구성예를 나타내는 블록도이다.
도 16의 다시점 화상 복호부(151)는 SPS 복호부(171), PPS 복호부(172), 슬라이스 헤더 복호부(173) 및 슬라이스 복호부(174)에 의해 구성된다.
다시점 화상 복호부(151)의 SPS 복호부(171)는 수취부로서 기능하고, 도 1의 부호화 장치(50)로부터 전송되어 오는 부호화 비트 스트림을 수취하고, 그 부호화 비트 스트림 중 SPS를 추출한다. SPS 복호부(171)는 추출된 SPS와 SPS 이외의 부호화 비트 스트림을 PPS 복호부(172)에 공급한다.
PPS 복호부(172)는 SPS 복호부(171)로부터 공급되는 SPS 이외의 부호화 비트 스트림으로부터 PPS를 추출한다. PPS 복호부(172)는 추출된 PPS, SPS 및 SPS와 PPS 이외의 부호화 비트 스트림을 슬라이스 헤더 복호부(173)에 공급한다.
슬라이스 헤더 복호부(173)는 PPS 복호부(172)로부터 공급되는 SPS와 PPS 이외의 부호화 비트 스트림으로부터 슬라이스 헤더를 추출한다. 슬라이스 헤더 복호부(173)는 PPS 복호부(172)로부터의 PPS에 포함되는 전송 플래그가 전송이 있음을 나타내는 「1」인 경우, 슬라이스 헤더에 포함되는 카메라 간 거리, 시차 최대값 및 시차 최소값을 유지하거나, 또는 카메라 간 거리, 시차 최대값 및 시차 최소값의 차분 부호화 결과에 기초하여 유지되고 있는 카메라 간 거리, 시차 최대값 및 시차 최소값을 갱신한다. 슬라이스 헤더 복호부(173)는 유지되고 있는 카메라 간 거리, 시차 최대값 및 시차 최소값과 PPS에 포함되는 시차 정밀도 파라미터로부터 시점 생성용 정보를 생성하고, 시점 합성부(152)에 공급한다.
또한, 슬라이스 헤더 복호부(173)는 SPS, PPS 및 슬라이스 헤더의 카메라 간 거리, 시차 최대값 및 시차 최소값에 관한 정보 이외에도 SPS, PPS 및 슬라이스 헤더 이외의 부호화 비트 스트림인 슬라이스 단위의 부호화 데이터를, 슬라이스 복호부(174)에 공급한다. 또한, 슬라이스 헤더 복호부(173)는 카메라 간 거리, 시차 최대값 및 시차 최소값을 슬라이스 복호부(174)에 공급한다.
슬라이스 복호부(174)는 슬라이스 헤더 복호부(173)로부터 공급되는 SPS, PPS 및 슬라이스 헤더의 카메라 간 거리, 시차 최대값 및 시차 최소값에 관한 정보 이외에 기초하여, 슬라이스 부호화부(61)(도 5)에 있어서의 부호화 방식에 대응하는 방식으로, 슬라이스 단위의 다중화 컬러 화상의 부호화 데이터를 복호한다. 또한, 슬라이스 복호부(174)는 SPS, PPS, 슬라이스 헤더의 카메라 간 거리, 시차 최대값 및 시차 최소값 관한 정보 이외에도 카메라 간 거리, 시차 최대값 및 시차 최소값에 기초하여, 슬라이스 부호화부(61)에 있어서의 부호화 방식에 대응하는 방식으로, 슬라이스 단위의 다중화 시차 화상의 부호화 데이터를 복호한다. 슬라이스 헤더 복호부(173)는 복호의 결과 얻어지는 다시점 보정 컬러 화상과 다시점 시차 화상을, 도 15의 시점 합성부(152)에 공급한다.
[슬라이스 복호부의 구성예]
도 17은, 도 16의 슬라이스 복호부(174) 중 임의의 1 시점의 시차 화상을 복호하는 복호부의 구성예를 나타내는 블록도이다. 즉, 슬라이스 복호부(174) 중 다시점 시차 화상을 복호하는 복호부는, 시점수만큼의 도 17의 복호부(250)에 의해 구성된다.
도 17의 복호부(250)는 축적 버퍼(251), 가역 복호부(252), 역양자화부(253), 역직교 변환부(254), 가산부(255), 디블록 필터(256), 화면 재배열 버퍼(257), D/A 변환부(258), 프레임 메모리(259), 화면 내 예측부(260), 움직임 벡터 생성부(261), 움직임 보상부(262), 보정부(263) 및 스위치(264)에 의해 구성된다.
복호부(250)의 축적 버퍼(251)는 도 16의 슬라이스 헤더 복호부(173)로부터 슬라이스 단위의 소정의 시점의 시차 화상의 부호화 데이터를 수취하고, 축적한다. 축적 버퍼(251)는 축적되어 있는 부호화 데이터를 가역 복호부(252)에 공급한다.
가역 복호부(252)는 축적 버퍼(251)로부터의 부호화 데이터에 대하여 가변 길이 복호나, 산술 복호 등의 가역 복호를 실시함으로써, 양자화된 계수를 얻는 다. 가역 복호부(252)는 양자화된 계수를 역양자화부(253)에 공급한다.
역양자화부(253), 역직교 변환부(254), 가산부(255), 디블록 필터(256), 프레임 메모리(259), 화면 내 예측부(260), 움직임 보상부(262) 및 보정부(263)는 도 6의 역양자화부(128), 역직교 변환부(129), 가산부(130), 디블록 필터(131), 프레임 메모리(132), 화면 내 예측부(133), 움직임 예측·보상부(134) 및 보정부(135)와 각각 마찬가지의 처리를 행하고, 이에 의해, 소정의 시점의 시차 화상이 복호된다.
구체적으로는, 역양자화부(253)는 가역 복호부(252)로부터의 양자화된 계수를 역양자화하고, 그 결과 얻어지는 계수를 역직교 변환부(254)에 공급한다.
역직교 변환부(254)는 역양자화부(253)로부터의 계수에 대하여 역이산 코사인 변환, 역 카루넨 루베 변환 등의 역직교 변환을 실시하고, 그 결과 얻어지는 잔차 정보를 가산부(255)에 공급한다.
가산부(255)는 복호부로서 기능하고, 역직교 변환부(254)로부터 공급되는 복호 대상의 시차 화상으로서의 잔차 정보와, 스위치(264)로부터 공급되는 예측 화상을 가산함으로써, 복호 대상의 시차 화상을 복호한다. 가산부(255)는 그 결과 얻어지는 시차 화상을 디블록 필터(256)에 공급함과 함께, 참조 화상으로서 화면 내 예측부(260)에 공급한다. 또한, 스위치(264)로부터 예측 화상이 공급되지 않는 경우, 가산부(255)는 역직교 변환부(254)로부터 공급되는 잔차 정보인 시차 화상을 디블록 필터(256)에 공급함과 함께, 참조 화상으로서 화면 내 예측부(260)에 공급한다.
디블록 필터(256)는 가산부(255)로부터 공급되는 시차 화상을 필터링함으로써, 블록 왜곡을 제거한다. 디블록 필터(256)는 그 결과 얻어지는 시차 화상을 프레임 메모리(259)에 공급하고, 축적시킴과 함께, 화면 재배열 버퍼(257)에 공급한다. 프레임 메모리(259)에 축적된 시차 화상은, 참조 화상으로서 움직임 보상부(262)에 공급된다.
화면 재배열 버퍼(257)는 디블록 필터(256)로부터 공급되는 시차 화상을 프레임 단위로 기억한다. 화면 재배열 버퍼(257)는 기억한 부호화를 위한 순서의 프레임 단위의 시차 화상을, 원래 표시의 순서대로 재배열, D/A 변환부(258)에 공급한다.
D/A 변환부(258)는 화면 재배열 버퍼(257)로부터 공급되는 프레임 단위의 시차 화상을 D/A 변환하고, 소정의 시점의 시차 화상으로서 시점 합성부(152)(도 15)에 공급한다.
화면 내 예측부(260)는 가산부(255)로부터 공급되는 참조 화상을 이용하여, 슬라이스 헤더 복호부(173)(도 16)로부터 공급되는 화면 내 예측 정보가 나타내는 최적 인트라 예측 모드의 화면 내 예측을 행하고, 예측 화상을 생성한다. 그리고, 화면 내 예측부(260)는 예측 화상을 스위치(264)에 공급한다.
움직임 벡터 생성부(261)는 유지되고 있는 움직임 벡터 중, 슬라이스 헤더 복호부(173)로부터 공급되는 움직임 정보에 포함되는 예측 벡터 인덱스가 나타내는 움직임 벡터와, 움직임 벡터 잔차를 가산하고, 움직임 벡터를 복원한다. 움직임 벡터 생성부(261)는 복원된 움직임 벡터를 유지한다. 또한, 움직임 벡터 생성부(261)는 복원된 움직임 벡터와, 움직임 정보에 포함되는 최적 인터 예측 모드 등을 움직임 보상부(262)에 공급한다.
움직임 보상부(262)는 예측 화상 생성부로서 기능하고, 움직임 벡터 생성부(261)로부터 공급되는 움직임 벡터와 최적 인터 예측 모드에 기초하여, 프레임 메모리(259)로부터 참조 화상을 판독함으로써, 움직임 보상 처리를 행한다. 움직임 보상부(262)는 그 결과 생성되는 예측 화상을 보정부(263)에 공급한다.
보정부(263)는 도 6의 보정부(135)와 마찬가지로, 도 16의 슬라이스 헤더 복호부(173)로부터 공급되는 시차 최대값, 시차 최소값 및 카메라 간 거리에 기초하여, 예측 화상을 보정할 때 사용하는 보정 계수를 생성한다. 또한, 보정부(263)는 보정부(135)와 마찬가지로, 움직임 보상부(262)로부터 공급되는 최적 인터 예측 모드의 예측 화상을, 보정 계수를 사용하여 보정한다. 보정부(263)는 보정 후의 예측 화상을 스위치(264)에 공급한다.
스위치(264)는 화면 내 예측부(260)로부터 예측 화상이 공급된 경우, 그 예측 화상을 가산부(255)에 공급하고, 움직임 보상부(262)로부터 예측 화상이 공급된 경우, 그 예측 화상을 가산부(255)에 공급한다.
[복호 장치의 처리의 설명]
도 18은, 도 15의 복호 장치(150)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 1의 부호화 장치(50)로부터 부호화 비트 스트림이 전송되어 왔을 때, 개시된다.
도 18의 스텝 S201에 있어서, 복호 장치(150)의 다시점 화상 복호부(151)는 도 1의 부호화 장치(50)로부터 전송되어 오는 부호화 비트 스트림을 수취한다.
스텝 S202에 있어서, 다시점 화상 복호부(151)는 수취된 부호화 비트 스트림을 복호하는 다시점 복호 처리를 행한다. 이 다시점 복호 처리의 상세는, 후술하는 도 19를 참조하여 설명한다.
스텝 S203에 있어서, 시점 합성부(152)는 컬러 화상 생성부로서 기능하고, 다시점 화상 복호부(151)로부터 공급되는 시점 생성용 정보, 다시점 보정 컬러 화상 및 다시점 시차 화상을 이용하여, 다시점 합성 컬러 화상을 생성한다.
스텝 S204에 있어서, 다시점 화상 표시부(153)는 시점 합성부(152)로부터 공급되는 다시점 합성 컬러 화상을, 시점마다 시인 가능한 각도가 서로 다르게 표시하고, 처리를 종료한다.
도 19는, 도 18의 스텝 S202의 다시점 복호 처리의 상세를 설명하는 흐름도이다.
도 19의 스텝 S221에 있어서, 다시점 화상 복호부(151)의 SPS 복호부(171)(도 16)는 수취된 부호화 비트 스트림 중 SPS를 추출한다. SPS 복호부(171)는 추출된 SPS와 SPS 이외의 부호화 비트 스트림을 PPS 복호부(172)에 공급한다.
스텝 S222에 있어서, PPS 복호부(172)는 SPS 복호부(171)로부터 공급되는 SPS 이외의 부호화 비트 스트림으로부터 PPS를 추출한다. PPS 복호부(172)는 추출된 PPS, SPS 및 SPS와 PPS 이외의 부호화 비트 스트림을 슬라이스 헤더 복호부(173)에 공급한다.
스텝 S223에 있어서, 슬라이스 헤더 복호부(173)는 PPS 복호부(172)로부터 공급되는 PPS에 포함되는 시차 정밀도 파라미터를 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급한다.
스텝 S224에 있어서, 슬라이스 헤더 복호부(173)는 PPS 복호부(172)로부터의 PPS에 포함되는 전송 플래그가 전송이 있음을 나타내는 「1」인지 여부를 판정한다. 또한, 이후의 스텝 S225 내지 S234의 처리는, 슬라이스 단위로 행해진다.
스텝 S224에서 전송 플래그가 전송이 있음을 나타내는 「1」이라고 판정된 경우, 처리는 스텝 S225로 진행된다. 스텝 S225에 있어서, 슬라이스 헤더 복호부(173)는 PPS 복호부(172)로부터 공급되는 SPS와 PPS 이외의 부호화 비트 스트림으로부터, 시차 최대값, 시차 최소값 및 카메라 간 거리, 또는 시차 최대값, 시차 최소값 및 카메라 간 거리의 차분 부호화 결과를 포함하는 슬라이스 헤더를 추출한다.
스텝 S226에 있어서, 슬라이스 헤더 복호부(173)는 슬라이스의 타입이 인트라 타입인지 여부를 판정한다. 스텝 S226에서 슬라이스의 타입이 인트라 타입이라고 판정된 경우, 처리는 스텝 S227로 진행된다.
스텝 S227에 있어서, 슬라이스 헤더 복호부(173)는 스텝 S225에서 추출된 슬라이스 헤더에 포함되는 시차 최소값을 유지하고, 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급한다.
스텝 S228에 있어서, 슬라이스 헤더 복호부(173)는 스텝 S225에서 추출된 슬라이스 헤더에 포함되는 시차 최대값을 유지하고, 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급한다.
스텝 S229에 있어서, 슬라이스 헤더 복호부(173)는 스텝 S225에서 추출된 슬라이스 헤더에 포함되는 카메라 간 거리를 유지하고, 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급한다. 그리고, 처리는 스텝 S235로 진행된다.
한편, 스텝 S226에서 슬라이스의 타입이 인트라 타입이 아니라고 판정된 경우, 즉 슬라이스의 타입이 인터 타입인 경우, 처리는 스텝 S230으로 진행된다.
스텝 S230에 있어서, 슬라이스 헤더 복호부(173)는 스텝 S225에서 추출된 슬라이스 헤더에 포함되는 시차 최소값의 차분 부호화 결과를, 유지되고 있는 시차 최소값에 가산한다. 슬라이스 헤더 복호부(173)는 가산에 의해 복원된 시차 최소값을 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급한다.
스텝 S231에 있어서, 슬라이스 헤더 복호부(173)는 스텝 S225에서 추출된 슬라이스 헤더에 포함되는 시차 최대값의 차분 부호화 결과를, 유지되고 있는 시차 최대값에 가산한다. 슬라이스 헤더 복호부(173)는 가산에 의해 복원된 시차 최대값을 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급한다.
스텝 S232에 있어서, 슬라이스 헤더 복호부(173)는 스텝 S225에서 추출된 슬라이스 헤더에 포함되는 카메라 간 거리의 차분 부호화 결과를, 유지되고 있는 카메라 간 거리에 가산한다. 슬라이스 헤더 복호부(173)는 가산에 의해 복원된 카메라 간 거리를 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급한다. 그리고, 처리는 스텝 S235로 진행된다.
한편, 스텝 S224에서 전송 플래그가 전송이 있음을 나타내는 「1」이 아니라고 판정된 경우, 즉 전송 플래그가 전송이 없음을 나타내는 「0」인 경우, 처리는 스텝 S233으로 진행된다.
스텝 S233에 있어서, 슬라이스 헤더 복호부(173)는 PPS 복호부(172)로부터 공급되는 SPS와 PPS 이외의 부호화 비트 스트림으로부터, 시차 최대값, 시차 최소값 및 카메라 간 거리, 및 시차 최대값, 시차 최소값 및 카메라 간 거리의 차분 부호화 결과를 포함하지 않는 슬라이스 헤더를 추출한다.
스텝 S234에 있어서, 슬라이스 헤더 복호부(173)는 유지되고 있는 시차 최대값, 시차 최소값 및 카메라 간 거리, 즉 부호화 순으로 하나 앞의 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리를, 처리 대상인 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리로 함으로써, 처리 대상인 슬라이스의 시차 최대값, 시차 최소값 및 카메라 간 거리를 복원한다. 그리고, 슬라이스 헤더 복호부(173)는 복원된 시차 최대값, 시차 최소값 및 카메라 간 거리를, 시점 생성용 정보의 일부로서 시점 합성부(152)에 공급하고, 처리를 스텝 S235로 진행시킨다.
스텝 S235에 있어서, 슬라이스 복호부(174)는 슬라이스 부호화부(61)(도 5)에 있어서의 부호화 방식에 대응하는 방식에 의해, 슬라이스 단위의 부호화 데이터를 복호한다. 구체적으로는, 슬라이스 복호부(174)는 슬라이스 헤더 복호부(173)로부터의 SPS, PPS 및 카메라 간 거리, 시차 최대값 및 시차 최소값에 관한 정보 이외의 슬라이스 헤더에 기초하여, 슬라이스 부호화부(61)에 있어서의 부호화 방식에 대응하는 방식으로, 슬라이스 단위의 다시점 컬러 화상의 부호화 데이터를 복호한다. 또한, 슬라이스 복호부(174)는 슬라이스 헤더 복호부(173)로부터의 SPS, PPS, 카메라 간 거리, 시차 최대값 및 시차 최소값에 관한 정보 이외의 슬라이스 헤더와, 카메라 간 거리, 시차 최대값 및 시차 최소값에 기초하여, 슬라이스 부호화부(61)에 있어서의 부호화 방식에 대응하는 방식에 의해, 슬라이스 단위의 다시점 보정 화상의 부호화 데이터를 복호하는 시차 화상 복호 처리를 행한다. 이 시차 화상 복호 처리의 상세는, 후술하는 도 20을 참조하여 설명한다. 슬라이스 헤더 복호부(173)는 복호의 결과 얻어지는 다시점 보정 컬러 화상과 다시점 시차 화상을, 도 15의 시점 합성부(152)에 공급한다.
도 20은, 도 16의 슬라이스 복호부(174)의 시차 화상 복호 처리의 상세를 설명하는 흐름도이다. 이 시차 화상 복호 처리는, 시점마다 행해진다.
도 20의 스텝 S261에 있어서, 복호부(250)의 축적 버퍼(251)는 도 16의 슬라이스 헤더 복호부(173)로부터 소정의 시점의 시차 화상의 슬라이스 단위의 부호화 데이터를 수취하고, 축적한다. 축적 버퍼(251)는 축적되어 있는 부호화 데이터를 가역 복호부(252)에 공급한다.
스텝 S262에 있어서, 가역 복호부(252)는 축적 버퍼(251)로부터 공급되는 부호화 데이터를 가역 복호하고, 그 결과 얻어지는 양자화된 계수를 역양자화부(253)에 공급한다.
스텝 S263에 있어서, 역양자화부(253)는 가역 복호부(252)로부터의 양자화된 계수를 역양자화하고, 그 결과 얻어지는 계수를 역직교 변환부(254)에 공급한다.
스텝 S264에 있어서, 역직교 변환부(254)는 역양자화부(253)로부터의 계수에 대하여 역직교 변환을 실시하고, 그 결과 얻어지는 잔차 정보를 가산부(255)에 공급한다.
스텝 S265에 있어서, 움직임 벡터 생성부(261)는 도 16의 슬라이스 헤더 복호부(173)로부터 움직임 정보가 공급되었는지 여부를 판정한다. 스텝 S265에서 움직임 정보가 공급되었다고 판정된 경우, 처리는 스텝 S266으로 진행된다.
스텝 S266에 있어서, 움직임 벡터 생성부(261)는 움직임 정보와 유지하고 있는 움직임 벡터에 기초하여 움직임 벡터를 복원하고, 유지한다. 움직임 벡터 생성부(261)는 복원된 움직임 벡터와, 움직임 정보에 포함되는 최적 인터 예측 모드 등을 움직임 보상부(262)에 공급한다.
스텝 S267에 있어서, 움직임 보상부(262)는 움직임 벡터 생성부(261)로부터 공급되는 움직임 벡터와 최적 인터 예측 모드에 기초하여, 프레임 메모리(259)로부터 참조 화상을 판독함으로써 움직임 보상 처리를 행한다. 움직임 보상부(262)는 움직임 보상 처리의 결과 생성되는 예측 화상을 보정부(263)에 공급한다.
스텝 S268에 있어서, 보정부(263)는 도 6의 보정부(135)와 마찬가지로, 도 16의 슬라이스 헤더 복호부(173)로부터 공급되는 시차 최대값, 시차 최소값 및 카메라 간 거리에 기초하여, 보정 계수를 산출한다.
스텝 S269에 있어서, 보정부(263)는 보정부(135)와 마찬가지로, 움직임 보상부(262)로부터 공급되는 최적 인터 예측 모드의 예측 화상을, 보정 계수를 사용하여 보정한다. 보정부(263)는 보정 후의 예측 화상을, 스위치(264)를 통하여 가산부(255)에 공급하고, 처리를 스텝 S271로 진행시킨다.
한편, 스텝 S265에서 움직임 정보가 공급되고 있지 않다고 판정된 경우, 즉 화면 내 예측 정보가 슬라이스 헤더 복호부(173)로부터 화면 내 예측부(260)에 공급된 경우, 처리는 스텝 S270으로 진행된다.
스텝 S270에 있어서, 화면 내 예측부(260)는 가산부(255)로부터 공급되는 참조 화상을 이용하여, 슬라이스 헤더 복호부(173)로부터 공급되는 화면 내 예측 정보가 나타내는 최적 인트라 예측 모드의 화면 내 예측 처리를 행한다. 화면 내 예측부(260)는 그 결과 생성되는 예측 화상을, 스위치(264)를 통하여 가산부(255)에 공급하고, 처리를 스텝 S271로 진행시킨다.
스텝 S271에 있어서, 가산부(255)는 역직교 변환부(254)로부터 공급되는 잔차 정보와, 스위치(264)로부터 공급되는 예측 화상을 가산한다. 가산부(255)는 그 결과 얻어지는 시차 화상을 디블록 필터(256)에 공급함과 함께, 참조 화상으로서 화면 내 예측부(260)에 공급한다.
스텝 S272에 있어서, 디블록 필터(256)는 가산부(255)로부터 공급되는 시차 화상에 대하여 필터링을 행하고, 블록 왜곡을 제거한다.
스텝 S273에 있어서, 디블록 필터(256)는 필터링 후의 시차 화상을 프레임 메모리(259)에 공급하고, 축적시킴과 함께, 화면 재배열 버퍼(257)에 공급한다. 프레임 메모리(259)에 축적된 시차 화상은, 참조 화상으로서 움직임 보상부(262)에 공급된다.
스텝 S274에 있어서, 화면 재배열 버퍼(257)는 디블록 필터(256)로부터 공급되는 시차 화상을 프레임 단위로 기억하고, 기억한 부호화를 위한 순서의 프레임 단위의 시차 화상을, 원래 표시의 순서대로 재배열, D/A 변환부(258)에 공급한다.
스텝 S275에 있어서, D/A 변환부(258)는 화면 재배열 버퍼(257)로부터 공급되는 프레임 단위의 시차 화상을 D/A 변환하고, 소정의 시점의 시차 화상으로서 도 15의 시점 합성부(152)에 공급한다.
이상과 같이, 복호 장치(150)는 시차 화상에 관한 정보를 이용하여 보정된 예측 화상을 이용하여 부호화함으로써 부호화 효율이 향상된 시차 화상의 부호화 데이터와, 그 시차 화상에 관한 정보를 포함하는 부호화 비트 스트림을 수취한다. 그리고, 복호 장치(150)는 시차 화상에 관한 정보를 이용하여 예측 화상을 보정하고, 보정 후의 예측 화상을 이용하여 시차 화상의 부호화 데이터를 복호한다.
보다 상세하게는, 복호 장치(150)는 시차 화상에 관한 정보로서 카메라 간 거리, 시차 최대값 및 시차 최소값을 이용하여 보정된 예측 화상을 이용하여 부호화된 부호화 데이터와, 카메라 간 거리, 시차 최대값 및 시차 최소값을 수취한다. 그리고, 복호 장치(150)는 카메라 간 거리, 시차 최대값 및 시차 최소값을 이용하여 예측 화상을 보정하고, 보정 후의 예측 화상을 이용하여 시차 화상의 부호화 데이터를 복호한다. 이에 의해, 복호 장치(150)는 시차 화상에 관한 정보를 이용하여 보정된 예측 화상을 이용하여 부호화함으로써 부호화 효율이 향상된 시차 화상의 부호화 데이터를 복호할 수 있다.
또한, 부호화 장치(50)는 예측 화상의 보정에 이용되는 정보로서, 시차 최대값, 시차 최소값 및 카메라 간 거리를 슬라이스 헤더에 포함시켜 전송하였지만, 전송 방법은, 이에 한정되지 않는다.
[예측 화상의 보정에 이용되는 정보의 전송 방법의 설명]
도 21은, 예측 화상의 보정에 이용되는 정보의 전송 방법을 설명하는 도면이다.
도 21의 제1 전송 방법은, 전술한 바와 같이, 예측 화상의 보정에 이용되는 정보로서, 시차 최대값, 시차 최소값 및 카메라 간 거리를 슬라이스 헤더에 포함시켜 전송하는 방법이다. 이 경우, 예측 화상의 보정에 이용되는 정보와 시점 생성용 정보를 공유시켜서, 부호화 비트 스트림의 정보량을 삭감할 수 있다. 그러나, 복호 장치(150)에 있어서, 시차 최대값, 시차 최소값 및 카메라 간 거리를 이용하여 보정 계수를 산출할 필요가 있으며, 복호 장치(150)의 처리 부하는 후술하는 제2 전송 방법에 비하여 크다.
한편, 도 21의 제2 전송 방법은, 예측 화상의 보정에 이용되는 정보로서 보정 계수 바로 그 자체를 슬라이스 헤더에 포함시켜 전송하는 방법이다. 이 경우, 시차 최대값, 시차 최소값 및 카메라 간 거리는, 예측 화상의 보정에 이용되지 않기 때문에, 시점 생성용 정보의 일부로서, 예를 들어 부호화 시에 참조할 필요가 없는 SEI(Supplemental Enhancement Information)에 포함시켜 전송된다. 제2 전송 방법에서는, 보정 계수가 전송되므로, 복호 장치(150)에 있어서 보정 계수를 산출할 필요가 없으며, 복호 장치(150)의 처리 부하는 제1 전송 방법에 비하여 작다. 그러나, 보정 계수가 새롭게 전송되므로, 부호화 비트 스트림의 정보량은 많아진다.
또한, 전술한 설명에서는, 예측 화상은, 시차 최대값, 시차 최소값 및 카메라 간 거리를 이용하여 보정되었지만, 다른 시차에 관한 정보(예를 들어, 다시점 컬러 화상 촬상부(51)의 깊이 방향의 촬상 위치를 나타내는 촬상 위치 정보 등)도 이용하여 보정되도록 할 수도 있다.
이 경우, 도 21의 제3 전송 방법에 의해, 예측 화상의 보정에 이용되는 정보로서, 시차 최대값, 시차 최소값, 카메라 간 거리 및 다른 시차에 관한 정보를 이용하여 생성된 보정 계수인 추가 보정 계수가 슬라이스 헤더에 포함되어 전송된다. 이와 같이, 시차 최대값, 시차 최소값 및 카메라 간 거리 이외의 시차에 관한 정보도 이용하여 예측 화상이 보정되는 경우, 시차에 관한 정보에 의한 예측 화상과 시차 화상의 차분을 보다 삭감하여, 부호화 효율을 향상시킬 수 있다. 그러나, 추가 보정 계수가 새롭게 전송되므로, 제1 전송 방법에 비하여 부호화 비트 스트림의 정보량은 많아진다. 또한, 시차 최대값, 시차 최소값 및 카메라 간 거리를 이용하여 보정 계수를 산출할 필요가 있으므로, 제2 전송 방법에 비하여 복호 장치(150)의 처리 부하는 크다.
도 22는, 제2 전송 방법으로 예측 화상의 보정에 이용되는 정보를 전송하는 경우의 부호화 비트 스트림의 구성예를 나타내는 도면이다.
도 22의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 1개의 인트라 타입의 슬라이스와 2개의 인터 타입의 슬라이스의 보정 계수가, 각각, 부호화 순으로 하나 앞의 슬라이스의 보정 계수와 일치하지 않는다. 따라서, PPS#0에는, 전송이 있음을 나타내는 전송 플래그 「1」이 포함된다. 또한, 여기에서는, 전송 플래그는, 보정 계수의 전송 유무를 나타내는 플래그이다.
또한, 도 22의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 인트라 타입의 슬라이스의 보정 계수 a가 1이며, 보정 계수 b가 0이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 보정 계수 a 「1」과 보정 계수 b 「0」이 포함된다.
또한, 도 22의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 1번째의 인터 타입의 슬라이스의 보정 계수 a가 3이며, 보정 계수 b가 2이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 그 슬라이스의 보정 계수 a 「3」으로부터, 부호화 순으로 하나 앞의 인트라 타입의 슬라이스의 보정 계수 a 「1」을 감산한 차분 「+2」가, 보정 계수의 차분 부호화 결과로서 포함된다. 마찬가지로, 보정 계수 b의 차분 「+2」가 보정 계수 b의 차분 부호화 결과로서 포함된다.
또한, 도 22의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 2번째의 인터 타입의 슬라이스의 보정 계수 a가 0이며, 보정 계수 b가 -1이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 그 슬라이스의 보정 계수 a 「0」으로부터, 부호화 순으로 하나 앞의 1번째의 인터 타입의 슬라이스의 보정 계수 a 「3」을 감산한 차분 「-3」이, 보정 계수의 차분 부호화 결과로서 포함된다. 마찬가지로, 보정 계수 b의 차분 「-3」이 보정 계수 b의 차분 부호화 결과로서 포함된다.
또한, 도 22의 예에서는, PPS#1의 동일 PPS 단위를 구성하는 1개의 인트라 타입의 슬라이스와 2개의 인터 타입의 슬라이스의 보정 계수가, 각각, 부호화 순으로 하나 앞의 슬라이스의 보정 계수와 일치한다. 따라서, PPS#1에는, 전송이 없음을 나타내는 전송 플래그 「0」이 포함된다.
도 23은, 제3 전송 방법에서 예측 화상의 보정에 이용되는 정보를 전송하는 경우의 부호화 비트 스트림의 구성예를 나타내는 도면이다.
도 23의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 1개의 인트라 타입의 슬라이스와 2개의 인터 타입의 슬라이스의 시차 최소값, 시차 최대값, 카메라 간 거리 및 추가 보정 계수가, 각각 부호화 순으로 하나 앞의 슬라이스의 시차 최소값, 시차 최대값, 카메라 간 거리 및 추가 보정 계수와 일치하지 않는다. 따라서, PPS#0에는, 전송이 있음을 나타내는 전송 플래그 「1」이 포함된다. 또한, 여기에서는, 전송 플래그는, 시차 최소값, 시차 최대값, 카메라 간 거리 및 추가 보정 계수의 전송의 유무를 나타내는 플래그이다.
또한, 도 23의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 슬라이스의 시차 최소값, 시차 최대값 및 카메라 간 거리는, 도 7의 경우와 마찬가지이며, 각 슬라이스의 슬라이스 헤더에 포함되는 시차 최소값, 시차 최대값 및 카메라 간 거리에 관한 정보는 도 7과 마찬가지이므로, 설명은 생략한다.
또한, 도 23의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 인트라 타입의 슬라이스의 추가 보정 계수는 5이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 추가 보정 계수 「5」가 포함된다.
또한, 도 23의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 1번째의 인터 타입의 슬라이스의 추가 보정 계수가 7이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 그 슬라이스의 추가 보정 계수 「7」로부터, 부호화 순으로 하나 앞의 인트라 타입의 슬라이스의 추가 보정 계수 「5」를 감산한 차분 「+2」가, 추가 보정 계수의 차분 부호화 결과로서 포함된다.
또한, 도 23의 예에서는, PPS#0의 동일 PPS 단위를 구성하는 2번째의 인터 타입의 슬라이스의 추가 보정 계수가 8이다. 따라서, 그 슬라이스의 슬라이스 헤더에는, 그 슬라이스의 추가 보정 계수 「8」로부터, 부호화 순으로 하나 앞의 1번째의 인터 타입의 슬라이스의 추가 보정 계수 「7」을 감산한 차분 「+1」이, 추가 보정 계수의 차분 부호화 결과로서 포함된다.
또한, 도 23의 예에서는, PPS#1의 동일 PPS 단위를 구성하는 1개의 인트라 타입의 슬라이스와 2개의 인터 타입의 슬라이스의 시차 최소값, 시차 최대값, 카메라 간 거리 및 추가 보정 계수가, 각각 부호화 순으로 하나 앞의 슬라이스의 시차 최소값, 시차 최대값, 카메라 간 거리 및 추가 보정 계수와 일치한다. 따라서, PPS#1에는, 전송이 없음을 나타내는 전송 플래그 「0」이 포함된다.
부호화 장치(50)는 도 21의 제1 내지 제3 전송 방법 중 어느 하나의 방법에 의해, 예측 화상의 보정에 이용되는 정보를 전송하도록 하여도 된다. 또한, 부호화 장치(50)는 전송 방법으로서 채용한, 제1 내지 제3 전송 방법 중 1개의 전송 방법을 식별하는 식별 정보(예를 들어, 플래그, ID 등)를 부호화 비트 스트림에 포함시켜 전송하도록 하여도 된다. 또한, 도 21의 제1 내지 제3 전송 방법은, 부호화 비트 스트림을 이용하는 어플리케이션에 따라서, 부호화 비트 스트림의 데이터량과 복호의 처리 부하의 밸런스를 고려하여 적절히 선택하는 것이 가능하다.
또한, 본 실시 형태에서는, 예측 화상의 보정에 이용되는 정보는, 부호화에 관한 정보로서 슬라이스 헤더에 배치되었지만, 예측 화상의 보정에 이용되는 정보의 배치 영역은, 부호화 시에 참조되는 영역이면, 슬라이스 헤더에 한정되지 않는 다. 예를 들어, 예측 화상의 보정에 이용되는 정보는, PPS의 NAL 유닛 등의 기존의 NAL(Network Abstraction Layer) 유닛이나, HEVC 규격으로 제안되어 있는 APS(Adaptation Parameter Set)의 NAL 유닛 등이 새로운 NAL 유닛에 배치되도록 할 수 있다.
예를 들어, 보정 계수나 추가 보정 계수가 복수의 픽처 간에서 공통인 경우, 그 복수의 픽처에 적응 가능한 NAL 유닛(예를 들어, PPS의 NAL 유닛 등)에, 그 공통의 값을 배치시킴으로써, 전송 효율을 향상시킬 수 있다. 즉, 이 경우, 복수의 픽처 간에서 공통의 보정 계수나 추가 보정 계수를 전송하면 되므로, 슬라이스 헤더에 배치시키는 경우와 같이, 슬라이스마다 보정 계수나 추가 보정 계수를 전송할 필요가 없다.
따라서, 예를 들어 컬러 화상이, 플래시나 페이드 효과를 갖는 컬러 화상인 경우, 시차 최소값, 시차 최대값, 카메라 간 거리 등의 파라미터가 변화하지 않는 경향이 있기 때문에, 보정 계수나 추가 보정 계수는 PPS의 NAL 유닛 등에 배치시켜서, 전송 효율을 향상시킨다.
보정 계수나 추가 보정 계수는, 예를 들어 픽처마다 서로 다른 경우, 슬라이스 헤더에 배치시키고, 복수의 픽처 간에서 공통인 경우, 슬라이스 헤더보다도 위쪽의 레이어(예를 들어, PPS의 NAL 유닛 등)에 배치할 수 있다.
또한, 시차 화상은, 그 시차 화상에 대응하는 시점의 컬러 화상의 각 화소의 피사체의 깊이 방향의 위치를 나타내는 심도(depth)값을 포함하는 화상이어도 된다. 이 경우, 시차 최대값과 시차 최소값은, 각각 다시점 시차 화상에 있어서 취할 수 있는 깊이 방향의 위치의 세계 좌표값인 최대값, 최소값이다.
또한, 본 기술은, HEVC 방식 이외의 AVC, MVC(Multiview Video Coding) 등의 부호화 방식에도 적용할 수 있다.
<제2 실시 형태>
[본 기술을 적용한 컴퓨터의 설명]
다음으로, 전술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
따라서, 도 24는, 전술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 나타내고 있다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 기억부(808)나 ROM(802: Read Only Memory)에 미리 기록해 둘 수 있다.
또한, 프로그램은, 리무버블 미디어(811)에 저장(기록)해 둘 수 있다. 이러한 리무버블 미디어(811)는 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 미디어(811)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
또한, 프로그램은, 전술한 바와 같은 리무버블 미디어(811)로부터 드라이브(810)를 통하여 컴퓨터에 인스톨하는 외에, 통신망이나 방송망을 통하여, 컴퓨터에 다운로드하고, 내장된 기억부(808)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용의 인공 위성을 통하여, 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여, 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는, CPU(801: Central Processing Unit)를 내장하고 있으며, CPU(801)에는, 버스(804)를 통하여, 입출력 인터페이스(805)가 접속되어 있다.
CPU(801)는, 입출력 인터페이스(805)를 통하여, 유저에 의해, 입력부(806)가 조작 등 됨으로써 명령이 입력되면, 그에 따라서, ROM(802)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(801)는, 기억부(808)에 저장된 프로그램을, RAM(803: Random Access Memory)에 로드하여 실행한다.
이에 의해, CPU(801)는, 전술한 흐름도에 따른 처리, 혹은 전술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(801)는, 그 처리 결과를, 필요에 따라서, 예를 들어 입출력 인터페이스(805)를 통하여, 출력부(807)로부터 출력, 혹은 통신부(809)로부터 송신, 나아가서는 기억부(808)에 기록 등을 시킨다.
또한, 입력부(806)는 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(807)는 LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라서 행하는 처리는, 반드시 흐름도로서 기재된 순서를 따라서 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라서 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 원격의 컴퓨터에 전송되어 실행되는 것이어도 된다.
본 기술은, 위성 방송, 케이블 TV(텔레비전), 인터넷 및 휴대 전화기 등의 네트워크 미디어를 통하여 통신할 때, 혹은 광, 자기 디스크 및 플래시 메모리와 같은 기억 미디어 상에서 처리할 때 이용되는 부호화 장치 및 복호 장치에 적용할 수 있다.
또한, 전술한 부호화 장치 및 복호 장치는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대하여 설명한다.
<제3 실시 형태>
[텔레비전 장치의 구성예]
도 25는, 본 기술을 적용한 텔레비전 장치의 개략 구성을 예시하고 있다. 텔레비전 장치(900)는 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스부(909)를 갖고 있다. 또한, 텔레비전 장치(900)는 제어부(910), 유저 인터페이스부(911) 등을 갖고 있다.
튜너(902)는 안테나(901)에 의해 수신된 방송파 신호로부터 원하는 채널을 선국하여 복조를 행하고, 얻어진 부호화 비트 스트림을 디멀티플렉서(903)로 출력한다.
디멀티플렉서(903)는 부호화 비트 스트림으로부터 시청 대상인 프로그램의 영상이나 음성의 패킷을 추출하고, 추출한 패킷의 데이터를 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는 EPG(Electronic Program Guide) 등의 데이터의 패킷을 제어부(910)에 공급한다. 또한, 스크램블이 행해지고 있는 경우, 디멀티플렉서 등에서 스크램블의 해제를 행한다.
디코더(904)는 패킷의 복호화 처리를 행하고, 복호 처리화에 의해 생성된 영상 데이터를 영상 신호 처리부(905), 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는 영상 데이터에 대하여 노이즈 제거나 유저 설정에 따른 영상 처리 등을 행한다. 영상 신호 처리부(905)는 표시부(906)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통하여 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성한다. 또한, 영상 신호 처리부(905)는 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 그것을 프로그램의 영상 데이터에 중첩한다. 영상 신호 처리부(905)는 이와 같이 하여 생성한 영상 데이터에 기초하여 구동 신호를 생성하여 표시부(906)를 구동한다.
표시부(906)는 영상 신호 처리부(905)로부터의 구동 신호에 기초하여 표시 디바이스(예를 들어 액정 표시 소자 등)를 구동하고, 프로그램의 영상 등을 표시시킨다.
음성 신호 처리부(907)는 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 처리 후의 음성 데이터의 D/A 변환 처리나 증폭 처리를 행하여 스피커(908)에 공급함으로써 음성 출력을 행한다.
외부 인터페이스부(909)는 외부 기기나 네트워크와 접속하기 위한 인터페이스이며, 영상 데이터나 음성 데이터 등의 데이터 송수신을 행한다.
제어부(910)에는 유저 인터페이스부(911)가 접속되어 있다. 유저 인터페이스부(911)는 조작 스위치나 리모트 컨트롤 신호 수신부 등에 의해 구성되어 있으며, 유저 조작에 따른 조작 신호를 제어부(910)에 공급한다.
제어부(910)는 CPU(Central Processing Unit)나 메모리 등을 이용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터, EPG 데이터, 네트워크를 통하여 취득된 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 텔레비전 장치(900)의 기동 시 등의 소정 타이밍에서 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 텔레비전 장치(900)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.
또한, 텔레비전 장치(900)에서는, 튜너(902), 디멀티플렉서(903), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스부(909) 등과 제어부(910)를 접속하기 위해 버스(912)가 설치되어 있다.
이와 같이 구성된 텔레비전 장치에서는, 디코더(904)에 본원의 복호 장치(복호 방법)의 기능이 설치된다. 이로 인해, 시차 화상에 관한 정보를 이용하여 부호화함으로써 부호화 효율이 개선된 시차 화상의 부호화 데이터를 복호할 수 있다.
<제4 실시 형태>
[휴대 전화기의 구성예]
도 26은, 본 기술을 적용한 휴대 전화기의 개략 구성을 예시하고 있다. 휴대 전화기(920)는 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931)를 갖고 있다. 이들은, 버스(933)를 통하여 서로 접속되어 있다.
또한, 통신부(922)에는 안테나(921)가 접속되어 있으며, 음성 코덱(923)에는, 스피커(924)와 마이크로폰(925)이 접속되어 있다. 또한 제어부(931)에는, 조작부(932)가 접속되어 있다.
휴대 전화기(920)는 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.
음성 통화 모드에 있어서, 마이크로폰(925)에 의해 생성된 음성 신호는, 음성 코덱(923)에 의해 음성 데이터로의 변환이나 데이터 압축이 행해져서 통신부(922)에 공급된다. 통신부(922)는 음성 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 송신 신호를 생성한다. 또한, 통신부(922)는 송신 신호를 안테나(921)에 공급하여 기지국(도시생략)으로 송신한다. 또한, 통신부(922)는 안테나(921)에 의해 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 얻어진 음성 데이터를 음성 코덱(923)에 공급한다. 음성 코덱(923)은 음성 데이터의 데이터 신장이나 아날로그 음성 신호로의 변환을 행하고 스피커(924)로 출력한다.
또한, 데이터 통신 모드에 있어서, 메일 송신을 행하는 경우, 제어부(931)는 조작부(932)의 조작에 의해 입력된 문자 데이터를 접수하고, 입력된 문자를 표시부(930)에 표시한다. 또한, 제어부(931)는 조작부(932)에 있어서의 유저 지시 등에 기초하여 메일 데이터를 생성하여 통신부(922)에 공급한다. 통신부(922)는 메일 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는 안테나(921)에 의해 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 메일 데이터를 복원한다. 이 메일 데이터를, 표시부(930)에 공급하여, 메일 내용의 표시를 행한다.
또한, 휴대 전화기(920)는 수신한 메일 데이터를, 기록 재생부(929)에 의해 기억 매체에 기억시키는 것도 가능하다. 기억 매체는, 재기입 가능한 임의의 기억 매체이다. 예를 들어, 기억 매체는, RAM이나 내장형 플래시 메모리 등의 반도체 메모리, 하드디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이다.
데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 카메라부(926)에 의해 생성된 화상 데이터를, 화상 처리부(927)에 공급한다. 화상 처리부(927)는 화상 데이터의 부호화 처리를 행하고, 부호화 데이터를 생성한다.
다중 분리부(928)는 화상 처리부(927)에 의해 생성된 부호화 데이터와, 음성 코덱(923)으로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여 통신부(922)에 공급한다. 통신부(922)는 다중화 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는 안테나(921)에 의해 수신한 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 다중화 데이터를 복원한다. 이 다중화 데이터를 다중 분리부(928)에 공급한다. 다중 분리부(928)는 다중화 데이터의 분리를 행하고, 부호화 데이터를 화상 처리부(927), 음성 데이터를 음성 코덱(923)에 공급한다. 화상 처리부(927)는 부호화 데이터의 복호화 처리를 행하고, 화상 데이터를 생성한다. 이 화상 데이터를 표시부(930)에 공급하여, 수신한 화상의 표시를 행한다. 음성 코덱(923)은 음성 데이터를 아날로그 음성 신호로 변환하여 스피커(924)에 공급하고, 수신한 음성을 출력한다.
이와 같이 구성된 휴대 전화 장치에서는, 화상 처리부(927)에 본원의 부호화 장치 및 복호 장치(부호화 방법 및 복호 방법)의 기능이 설치된다. 이로 인해, 시차 화상에 관한 정보를 이용하여 시차 화상의 부호화 효율을 개선할 수 있다. 또한, 시차 화상에 관한 정보를 이용하여 부호화함으로써 부호화 효율이 개선된 시차 화상의 부호화 데이터를 복호할 수 있다.
<제5 실시 형태>
[기록 재생 장치의 구성예]
도 27은, 본 기술을 적용한 기록 재생 장치의 개략 구성을 예시하고 있다. 기록 재생 장치(940)는 예를 들어 수신한 방송 프로그램의 오디오 데이터와 비디오 데이터를, 기록 매체에 기록하여, 그 기록된 데이터를 유저의 지시에 따른 타이밍으로 유저에게 제공한다. 또한, 기록 재생 장치(940)는 예를 들어 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 기록 매체에 기록시킬 수도 있다. 또한, 기록 재생 장치(940)는 기록 매체에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 출력함으로써, 모니터 장치 등에 있어서 화상 표시나 음성 출력을 행할 수 있도록 한다.
기록 재생 장치(940)는 튜너(941), 외부 인터페이스부(942), 인코더(943), HDD(Hard Disk Drive)부(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)부(948), 제어부(949), 유저 인터페이스부(950)를 갖고 있다.
튜너(941)는 안테나(도시생략)에 의해 수신된 방송 신호로부터 원하는 채널을 선국한다. 튜너(941)는 원하는 채널의 수신 신호를 복조하여 얻어진 부호화 비트 스트림을 셀렉터(946)로 출력한다.
외부 인터페이스부(942)는 IEEE1394 인터페이스, 네트워크 인터페이스부, USB 인터페이스, 플래시 메모리 인터페이스 등의 적어도 어느 하나로 구성되어 있다. 외부 인터페이스부(942)는 외부 기기나 네트워크, 메모리 카드 등과 접속하기 위한 인터페이스이며, 기록하는 영상 데이터나 음성 데이터 등의 데이터 수신을 행한다.
인코더(943)는 외부 인터페이스부(942)로부터 공급된 영상 데이터나 음성 데이터가 부호화되지 않았을 때 소정의 방식으로 부호화를 행하고, 부호화 비트 스트림을 셀렉터(946)로 출력한다.
HDD부(944)는 영상이나 음성 등의 콘텐츠 데이터, 각종 프로그램이나 그 밖의 데이터 등을 내장된 하드디스크에 기록하고, 또한 재생 시 등에 그들을 이 하드디스크로부터 판독한다.
디스크 드라이브(945)는 장착되어 있는 광 디스크에 대한 신호의 기록 및 재생을 행한다. 광 디스크, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등)나 Blu-ray 디스크 등이다.
셀렉터(946)는 영상이나 음성의 기록 시에는, 튜너(941) 또는 인코더(943) 중 어느 하나의 부호화 비트 스트림을 선택하여, HDD부(944)나 디스크 드라이브(945) 중 어느 하나에 공급한다. 또한, 셀렉터(946)는 영상이나 음성의 재생 시에, HDD부(944) 또는 디스크 드라이브(945)로부터 출력된 부호화 비트 스트림을 디코더(947)에 공급한다.
디코더(947)는 부호화 비트 스트림의 복호화 처리를 행한다. 디코더(947)는 복호 처리화를 행함으로써 생성된 영상 데이터를 OSD부(948)에 공급한다. 또한, 디코더(947)는 복호 처리화를 행함으로써 생성된 음성 데이터를 출력한다.
OSD부(948)는 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 그것을 디코더(947)로부터 출력된 영상 데이터에 중첩하여 출력한다.
제어부(949)에는, 유저 인터페이스부(950)가 접속되어 있다. 유저 인터페이스부(950)는 조작 스위치나 리모트 컨트롤 신호 수신부 등으로 구성되어 있으며, 유저 조작에 따른 조작 신호를 제어부(949)에 공급한다.
제어부(949)는 CPU나 메모리 등을 이용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다. 메모리에 기억되어 있는 프로그램은, 기록 재생 장치(940)의 기동시 등의 소정 타이밍으로 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 기록 재생 장치(940)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.
이와 같이 구성된 기록 재생 장치에서는, 디코더(947)에 본원의 복호 장치(복호 방법)의 기능이 설치된다. 이로 인해, 시차 화상에 관한 정보를 이용하여 부호화함으로써 부호화 효율이 개선된 시차 화상의 부호화 데이터를 복호할 수 있다.
<제6 실시 형태>
[촬상 장치의 구성예]
도 28은, 본 기술을 적용한 촬상 장치의 개략 구성을 예시하고 있다. 촬상 장치(960)는 피사체를 촬상하고, 피사체의 화상을 표시부에 표시시키거나, 그것을 화상 데이터로서, 기록 매체에 기록한다.
촬상 장치(960)는 광학 블록(961), 촬상부(962), 카메라 신호 처리부(963), 화상 데이터 처리부(964), 표시부(965), 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970)를 갖고 있다. 또한, 제어부(970)에는, 유저 인터페이스부(971)가 접속되어 있다. 또한, 화상 데이터 처리부(964)나 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970) 등은, 버스(972)를 통하여 접속되어 있다.
광학 블록(961)은 포커스 렌즈나 교축 기구 등을 이용하여 구성되어 있다. 광학 블록(961)은 피사체의 광학상을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는 CCD 또는 CMOS 이미지 센서를 이용하여 구성되어 있으며, 광전 변환에 의해 광학상에 따른 전기 신호를 생성하여 카메라 신호 처리부(963)에 공급한다.
카메라 신호 처리부(963)는 촬상부(962)로부터 공급된 전기 신호에 대하여 니 보정이나 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 카메라 신호 처리부(963)는 카메라 신호 처리 후의 화상 데이터를 화상 데이터 처리부(964)에 공급한다.
화상 데이터 처리부(964)는 카메라 신호 처리부(963)로부터 공급된 화상 데이터의 부호화 처리를 행한다. 화상 데이터 처리부(964)는 부호화 처리를 행함으로써 생성된 부호화 데이터를 외부 인터페이스부(966)나 미디어 드라이브(968)에 공급한다. 또한, 화상 데이터 처리부(964)는 외부 인터페이스부(966)나 미디어 드라이브(968)로부터 공급된 부호화 데이터의 복호화 처리를 행한다. 화상 데이터 처리부(964)는 복호화 처리를 행함으로써 생성된 화상 데이터를 표시부(965)에 공급한다. 또한, 화상 데이터 처리부(964)는 카메라 신호 처리부(963)로부터 공급된 화상 데이터를 표시부(965)에 공급하는 처리나, OSD부(969)로부터 취득한 표시용 데이터를, 화상 데이터에 중첩시켜서 표시부(965)에 공급한다.
OSD부(969)는 기호, 문자 또는 도형을 포함하는 메뉴 화면이나 아이콘 등의 표시용 데이터를 생성하여 화상 데이터 처리부(964)로 출력한다.
외부 인터페이스부(966)는 예를 들어 USB 입출력 단자 등으로 구성되며, 화상의 인쇄를 행하는 경우에, 프린터와 접속된다. 또한, 외부 인터페이스부(966)에는, 필요에 따라서 드라이브가 접속되고, 자기 디스크, 광 디스크 등의 리무버블 미디어가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라서, 인스톨된다. 또한, 외부 인터페이스부(966)는 LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 제어부(970)는 예를 들어 유저 인터페이스부(971)로부터의 지시에 따라서, 메모리부(967)로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스부(966)로부터, 네트워크를 통하여 접속되는 다른 장치에 공급시킬 수 있다. 또한, 제어부(970)는 네트워크를 통하여 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스부(966)를 통하여 취득하고, 그것을 화상 데이터 처리부(964)에 공급하거나 할 수 있다.
미디어 드라이브(968)로 구동되는 기록 미디어로서는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어가 이용된다. 또한, 기록 미디어는, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 되고, 디스크이어도 되며, 메모리 카드이어도 된다. 물론, 비접촉 IC 카드 등이어도 된다.
또한, 미디어 드라이브(968)와 기록 미디어를 일체화되고, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 하여도 된다.
제어부(970)는 CPU나 메모리 등을 이용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 촬상 장치(960)의 기동 시 등의 소정 타이밍으로 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 촬상 장치(960)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.
이와 같이 구성된 촬상 장치에서는, 화상 데이터 처리부(964)에 본원의 부호화 장치 및 복호 장치(부호화 방법 및 복호 방법)의 기능이 설치된다. 이로 인해, 시차 화상에 관한 정보를 이용하여 시차 화상의 부호화 효율을 개선할 수 있다. 또한, 시차 화상에 관한 정보를 이용하여 부호화함으로써 부호화 효율이 개선된 시차 화상의 부호화 데이터를 복호할 수 있다.
본 기술의 실시 형태는, 전술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.
[1]
기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정부와,
상기 보정부에 의해 보정된 상기 예측 화상을 이용하여, 상기 기준 시점의 시차 화상을 부호화하는 부호화부와,
상기 부호화부에 의해 부호화된 상기 기준 시점의 시차 화상과 상기 기준 시점의 시차 화상에 관한 정보를 전송하는 전송부
를 구비하는 부호화 장치.
[2]
상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상과 상기 기준 시점의 시차 화상을 이용하여 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성할 때 이용하는 정보인 시점 생성 정보를 포함하고,
상기 전송부는, 상기 시점 생성 정보를, 상기 기준 시점의 시차 화상을 부호화할 때 이용하는 부호화 파라미터로서 전송하는 상기 [1]에 기재된 부호화 장치.
[3]
상기 보정부는, 상기 시점 생성 정보에 기초하여 상기 예측 화상을 보정할 때 사용하는 보정 계수를 이용하여, 상기 예측 화상을 보정하고,
상기 전송부는, 상기 보정 계수를, 상기 부호화 파라미터로서 전송하는 상기 [2]에 기재된 부호화 장치.
[4]
상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상을 촬상하는 촬상부의 깊이 방향의 촬상 위치를 나타내는 촬상 위치 정보를 포함하고,
상기 보정부는, 상기 촬상 위치 정보에 기초하여 상기 예측 화상을 보정할 때 사용하는 보정 계수와 상기 시점 생성 정보를 이용하여 상기 예측 화상을 보정하고,
상기 전송부는, 상기 보정 계수를, 상기 부호화 파라미터로서 전송하는 상기 [2]에 기재된 부호화 장치.
[5]
상기 보정부는, 상기 보정 계수를 설정하는 상기 [3] 또는 [4]에 기재된 부호화 장치.
[6]
상기 부호화부는, 상기 기준 시점의 시차 화상을, 계층 구조를 갖는 단위로 부호화하는 상기 [1] 내지 [5] 중 어느 하나에 기재된 부호화 장치.
[7]
상기 기준 시점의 시차 화상의 예측 화상을 생성하는 예측 화상 생성부를 더 구비하는 상기 [1] 내지 [6] 중 어느 하나에 기재된 부호화 장치.
[8]
부호화 장치가,
기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정 스텝과,
상기 보정 스텝의 처리에 의해 보정된 상기 예측 화상을 이용하여, 상기 기준 시점의 시차 화상을 부호화하는 부호화 스텝과,
상기 부호화 스텝의 처리에 의해 부호화된 상기 기준 시점의 시차 화상과 상기 기준 시점의 시차 화상에 관한 정보를 전송하는 전송 스텝
을 포함하는 부호화 방법.
[9]
기준 시점의 시차 화상에 관한 정보를 이용하여 보정된 상기 기준 시점의 시차 화상의 예측 화상을 이용하여 부호화된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 시차 화상에 관한 정보를 수취하는 수취부와,
상기 수취부에 의해 수취된 상기 기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정부와,
상기 보정부에 의해 보정된 상기 예측 화상을 이용하여, 상기 수취부에 의해 수취된, 부호화된 상기 기준 시점의 시차 화상을 복호하는 복호부
를 구비하는 복호 장치.
[10]
상기 복호부에 의해 복호된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 컬러 화상을 이용하여, 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성하는 컬러 화상 생성부
를 더 구비하고,
상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상과 상기 기준 시점의 시차 화상을 이용하여 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성할 때 이용하는 정보인 시점 생성 정보를 포함하고,
상기 수취부는, 부호화된 상기 기준 시점의 시차 화상을 복호할 때 사용하는 부호화 파라미터로서 전송되는 상기 시점 생성 정보를 수취하고,
상기 컬러 화상 생성부는, 상기 복호부에 의해 복호된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 컬러 화상과, 상기 수취부에 의해 수취된 상기 시점 생성 정보를 이용하여, 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성하는 상기 [9]에 기재된 복호 장치.
[11]
상기 수취부는, 상기 부호화 파라미터로서 전송되는 부호화 시에 상기 예측 화상의 보정에 사용된 보정 계수를 수취하고,
상기 보정 계수는, 상기 시점 생성 정보에 기초하여 생성되고,
상기 보정부는, 상기 수취부에 의해 수취된 상기 보정 계수를 사용하여, 상기 예측 화상을 보정하는 상기 [10]에 기재된 복호 장치.
[12]
상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상을 촬상하는 촬상부의 깊이 방향의 촬상 위치를 나타내는 촬상 위치 정보를 포함하고,
상기 수취부는, 상기 부호화 파라미터로서 전송되는 부호화 시에 상기 예측 화상의 보정에 사용된 보정 계수를 수취하고,
상기 보정부는, 상기 수취부에 의해 수취된 상기 보정 계수와 상기 시점 생성 정보를 이용하여, 상기 예측 화상을 보정하는 상기 [10]에 기재된 복호 장치.
[13]
상기 보정 계수는, 상기 시점 생성 정보에 기초하여 설정되는 상기 [12]에 기재된 복호 장치.
[14]
상기 기준 시점의 시차 화상은, 계층 구조를 갖는 단위로 부호화되는 상기 [9] 내지 [13] 중 어느 하나에 기재된 복호 장치.
[15]
상기 기준 시점의 시차 화상의 예측 화상을 생성하는 예측 화상 생성부를 더 구비하는 상기 [9] 내지 [14] 중 어느 하나에 기재된 복호 장치.
[16]
복호 장치가,
기준 시점의 시차 화상에 관한 정보를 이용하여 보정된 상기 기준 시점의 시차 화상의 예측 화상을 이용하여 부호화된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 시차 화상에 관한 정보를 수취하는 수취 스텝과,
상기 수취 스텝의 처리에 의해 수취된 상기 기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정 스텝과,
상기 보정 스텝의 처리에 의해 보정된 상기 예측 화상을 이용하여, 상기 수취 스텝의 처리에 의해 수취된, 부호화된 상기 기준 시점의 시차 화상을 복호하는 복호 스텝
을 포함하는 복호 방법.
50: 부호화 장치
64: SPS 부호화부
123: 연산부
134: 움직임 예측·보상부
135: 보정부
150: 복호 장치
152: 시점 합성부
171: SPS 복호부
255: 가산부
262: 움직임 보상부
263: 보정부

Claims (20)

  1. 부호화 장치로서,
    기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정부와,
    상기 보정부에 의해 보정된 상기 예측 화상을 이용하여, 상기 기준 시점의 시차 화상을 부호화하는 부호화부와,
    상기 부호화부에 의해 부호화된 상기 기준 시점의 시차 화상과 상기 기준 시점의 시차 화상에 관한 정보를 전송하는 전송부
    를 구비하는, 부호화 장치.
  2. 제1항에 있어서,
    상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상과 상기 기준 시점의 시차 화상을 이용하여 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성할 때 이용하는 정보인 시점 생성 정보를 포함하고,
    상기 전송부는, 상기 시점 생성 정보를, 상기 기준 시점의 시차 화상을 부호화할 때 사용하는 부호화 파라미터로서 전송하는, 부호화 장치.
  3. 제2항에 있어서,
    상기 보정부는, 상기 시점 생성 정보에 기초하여 상기 예측 화상을 보정할 때 사용하는 보정 계수를 이용하여, 상기 예측 화상을 보정하고,
    상기 전송부는, 상기 보정 계수를, 상기 부호화 파라미터로서 전송하는, 부호화 장치.
  4. 제3항에 있어서,
    상기 전송부는, 시차 최대값과, 시차 최소값과, 카메라 간 거리를, 부호화할 때 또는 복호할 때 참조하지 않는 정보로서 전송하는, 부호화 장치.
  5. 제4항에 있어서,
    상기 전송부는, 상기 시차 최대값과, 상기 시차 최소값과, 상기 카메라 간 거리를, SEI(Supplemental Enhancement Information)로서 전송하는, 부호화 장치.
  6. 제2항에 있어서,
    상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상을 촬상하는 촬상부의 깊이 방향의 촬상 위치를 나타내는 촬상 위치 정보를 포함하고,
    상기 보정부는, 상기 촬상 위치 정보에 기초하여 상기 예측 화상을 보정할 때 사용하는 보정 계수와 상기 시점 생성 정보를 이용하여 상기 예측 화상을 보정하고,
    상기 전송부는, 상기 보정 계수를, 상기 부호화 파라미터로서 전송하는, 부호화 장치.
  7. 제6항에 있어서,
    상기 보정부는 상기 보정 계수를 설정하는, 부호화 장치.
  8. 제7항에 있어서,
    상기 부호화부는, 상기 기준 시점의 시차 화상을, 계층 구조를 갖는 단위로 부호화하는, 부호화 장치.
  9. 제1항에 있어서,
    상기 기준 시점의 시차 화상의 예측 화상을 생성하는 예측 화상 생성부를 더 구비하는, 부호화 장치.
  10. 부호화 방법으로서,
    부호화 장치가,
    기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정 스텝과,
    상기 보정 스텝의 처리에 의해 보정된 상기 예측 화상을 이용하여, 상기 기준 시점의 시차 화상을 부호화하는 부호화 스텝과,
    상기 부호화 스텝의 처리에 의해 부호화된 상기 기준 시점의 시차 화상과 상기 기준 시점의 시차 화상에 관한 정보를 전송하는 전송 스텝
    을 포함하는, 부호화 방법.
  11. 복호 장치로서,
    기준 시점의 시차 화상에 관한 정보를 이용하여 보정된 상기 기준 시점의 시차 화상의 예측 화상을 이용하여 부호화된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 시차 화상에 관한 정보를 수취하는 수취부와,
    상기 수취부에 의해 수취된 상기 기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정부와,
    상기 보정부에 의해 보정된 상기 예측 화상을 이용하여, 상기 수취부에 의해 수취된, 부호화된 상기 기준 시점의 시차 화상을 복호하는 복호부
    를 구비하는, 복호 장치.
  12. 제11항에 있어서,
    상기 복호부에 의해 복호된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 컬러 화상을 이용하여, 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성하는 컬러 화상 생성부
    를 더 구비하고,
    상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상과 상기 기준 시점의 시차 화상을 이용하여 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성할 때 이용하는 정보인 시점 생성 정보를 포함하고,
    상기 수취부는, 부호화된 상기 기준 시점의 시차 화상을 복호할 때 사용하는 부호화 파라미터로서 전송되는 상기 시점 생성 정보를 수취하고,
    상기 컬러 화상 생성부는, 상기 복호부에 의해 복호된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 컬러 화상과, 상기 수취부에 의해 수취된 상기 시점 생성 정보를 이용하여, 상기 기준 시점과 서로 다른 시점의 컬러 화상을 생성하는, 복호 장치.
  13. 제12항에 있어서,
    상기 수취부는, 상기 부호화 파라미터로서 전송되는 부호화 시에 상기 예측 화상의 보정에 사용된 보정 계수를 수취하고,
    상기 보정 계수는, 상기 시점 생성 정보에 기초하여 생성되고,
    상기 보정부는, 상기 수취부에 의해 수취된 상기 보정 계수를 사용하여, 상기 예측 화상을 보정하는, 복호 장치.
  14. 제13항에 있어서,
    상기 수취부는, 시차 최대값과, 시차 최소값과, 카메라 간 거리를, 부호화할 때 또는 복호할 때 참조하지 않는 정보로서 수취하는, 복호 장치.
  15. 제14항에 있어서,
    상기 수취부는, 상기 시차 최대값과, 상기 시차 최소값과, 상기 카메라 간 거리를, SEI(Supplemental Enhancement Information)로서 수취하는, 복호 장치.
  16. 제12항에 있어서,
    상기 기준 시점의 시차 화상에 관한 정보는, 상기 기준 시점의 컬러 화상을 촬상하는 촬상부의 깊이 방향의 촬상 위치를 나타내는 촬상 위치 정보를 포함하고,
    상기 수취부는, 상기 부호화 파라미터로서 전송되는 부호화 시에 상기 예측 화상의 보정에 사용된 보정 계수를 수취하고,
    상기 보정부는, 상기 수취부에 의해 수취된 상기 보정 계수와 상기 시점 생성 정보를 이용하여, 상기 예측 화상을 보정하는, 복호 장치.
  17. 제16항에 있어서,
    상기 보정 계수는 상기 시점 생성 정보에 기초하여 설정되는, 복호 장치.
  18. 제17항에 있어서,
    상기 기준 시점의 시차 화상은 계층 구조를 갖는 단위로 부호화되는, 복호 장치.
  19. 제11항에 있어서,
    상기 기준 시점의 시차 화상의 예측 화상을 생성하는 예측 화상 생성부를 더 구비하는, 복호 장치.
  20. 복호 방법으로서,
    복호 장치가,
    기준 시점의 시차 화상에 관한 정보를 이용하여 보정된 상기 기준 시점의 시차 화상의 예측 화상을 이용하여 부호화된 상기 기준 시점의 시차 화상과, 상기 기준 시점의 시차 화상에 관한 정보를 수취하는 수취 스텝과,
    상기 수취 스텝의 처리에 의해 수취된 상기 기준 시점의 시차 화상에 관한 정보를 이용하여, 상기 기준 시점의 시차 화상의 예측 화상을 보정하는 보정 스텝과,
    상기 보정 스텝의 처리에 의해 보정된 상기 예측 화상을 이용하여, 상기 수취 스텝의 처리에 의해 수취된, 부호화된 상기 기준 시점의 시차 화상을 복호하는 복호 스텝
    을 포함하는, 복호 방법.
KR1020147003885A 2011-08-31 2012-08-21 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법 KR20140057269A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2011-188995 2011-08-31
JP2011188995 2011-08-31
JPJP-P-2011-253173 2011-11-18
JP2011253173 2011-11-18
PCT/JP2012/071028 WO2013031573A1 (ja) 2011-08-31 2012-08-21 符号化装置および符号化方法、復号装置および復号方法

Publications (1)

Publication Number Publication Date
KR20140057269A true KR20140057269A (ko) 2014-05-12

Family

ID=47756067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147003885A KR20140057269A (ko) 2011-08-31 2012-08-21 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법

Country Status (11)

Country Link
US (1) US9900595B2 (ko)
EP (1) EP2753080A4 (ko)
KR (1) KR20140057269A (ko)
CN (1) CN103748883B (ko)
AU (1) AU2012303085A1 (ko)
BR (1) BR112014004062A2 (ko)
CA (1) CA2842150A1 (ko)
MX (2) MX338738B (ko)
RU (2) RU2016120771A (ko)
WO (1) WO2013031573A1 (ko)
ZA (1) ZA201400565B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012232423A1 (en) 2011-03-18 2013-09-05 Sony Corporation Image processing device and image processing method
WO2012128242A1 (ja) * 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
BR122015001004B1 (pt) 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
WO2015037473A1 (ja) * 2013-09-11 2015-03-19 ソニー株式会社 画像処理装置および方法
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058031A (ja) 2000-08-08 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、並びに、画像復号化方法及び装置
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
JP2007166381A (ja) * 2005-12-15 2007-06-28 Univ Of Tokyo 多視点画像の圧縮符号化方法及び復号化方法
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR101031624B1 (ko) * 2006-09-20 2011-04-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체
ATE523861T1 (de) 2006-10-04 2011-09-15 Koninkl Philips Electronics Nv Bildverbesserung
CN101222639B (zh) * 2007-01-09 2010-04-21 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
JP4706068B2 (ja) 2007-04-13 2011-06-22 国立大学法人名古屋大学 画像情報処理方法及び画像情報処理システム
JP4952657B2 (ja) 2007-07-19 2012-06-13 株式会社Ｊｖｃケンウッド 擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法
US8964844B2 (en) * 2007-08-15 2015-02-24 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
EP2232875A2 (en) 2008-01-11 2010-09-29 Thomson Licensing Video and depth coding
WO2009092454A1 (en) 2008-01-21 2009-07-30 Telefonaktiebolaget Lm Ericsson (Publ) Prediction-based image processing
BRPI0907748A2 (pt) 2008-02-05 2015-07-21 Thomson Licensing Métodos e aparelhos para segmentação implícita de blocos em codificação e decodificação de vídeo
EP2329653B1 (en) 2008-08-20 2014-10-29 Thomson Licensing Refined depth map
KR101697598B1 (ko) 2008-10-27 2017-02-01 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
US9113196B2 (en) 2008-11-10 2015-08-18 Lg Electronics Inc. Method and device for processing a video signal using inter-view prediction
US8760495B2 (en) 2008-11-18 2014-06-24 Lg Electronics Inc. Method and apparatus for processing video signal
CN102257824B (zh) 2008-12-18 2015-04-22 Lg电子株式会社 3d图像信号处理方法和用于实现该方法的图像显示器
JP4821846B2 (ja) 2008-12-26 2011-11-24 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム
WO2010079921A2 (ko) 2009-01-12 2010-07-15 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치
US10257493B2 (en) 2009-01-20 2019-04-09 Koninklijke Philips N.V. Transferring of 3D image data
EP2384004A4 (en) 2009-01-29 2012-08-01 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNALS USING INTRA MODE CONTOUR CODING
BRPI1008226A2 (pt) * 2009-02-12 2019-09-24 Nippon Telegraph & Telephone método de codificação de imagem como múltiplas vistas, método de decodificação de imagem com múltiplas vistas, dispositivo de codificação de imagem com múltiplas vistas,dispositivo de codificação de imagem com múltiplas vistas,programa de codificação de imagem como múltiplas vistas, programa de codificação de imagem como múltiplas vistas.
JP5290864B2 (ja) 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
RU2554465C2 (ru) 2009-07-27 2015-06-27 Конинклейке Филипс Электроникс Н.В. Комбинирование 3d видео и вспомогательных данных
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
JP2011061486A (ja) 2009-09-10 2011-03-24 Kyocera Corp 弾性表面波素子
BR112012008988B1 (pt) 2009-10-14 2022-07-12 Dolby International Ab Método, meio legível não transitório e aparelho para processamento de mapa de profundidade
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
JP5505154B2 (ja) 2010-07-16 2014-05-28 ソニー株式会社 画像処理装置と画像処理方法
JP2012023652A (ja) 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
PT2604036T (pt) 2010-08-11 2018-06-12 Ge Video Compression Llc Codec de sinal multivisualização
JP6108309B2 (ja) 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
US9979961B2 (en) 2011-03-18 2018-05-22 Sony Corporation Image processing device and image processing method
AU2012232423A1 (en) 2011-03-18 2013-09-05 Sony Corporation Image processing device and image processing method
US20140085418A1 (en) 2011-05-16 2014-03-27 Sony Corporation Image processing device and image processing method
CN103597833A (zh) 2011-06-22 2014-02-19 索尼公司 图像处理装置以及方法
BR122015001004B1 (pt) 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
JP2013034171A (ja) 2011-06-30 2013-02-14 Sony Corp 画像処理装置および方法
US9191646B2 (en) 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JPWO2013031575A1 (ja) 2011-08-31 2015-03-23 ソニー株式会社 画像処理装置および画像処理方法
CN104601976A (zh) 2012-01-31 2015-05-06 索尼公司 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
MX2014002066A (es) 2014-09-25
AU2012303085A1 (en) 2014-01-30
RU2016120771A (ru) 2018-11-14
MX338738B (es) 2016-04-29
ZA201400565B (en) 2014-08-27
EP2753080A4 (en) 2015-04-29
RU2597256C2 (ru) 2016-09-10
MX358407B (es) 2018-08-20
CA2842150A1 (en) 2013-03-07
US20140198847A1 (en) 2014-07-17
CN103748883B (zh) 2017-12-15
CN103748883A (zh) 2014-04-23
RU2014106532A (ru) 2015-08-27
US9900595B2 (en) 2018-02-20
WO2013031573A1 (ja) 2013-03-07
EP2753080A1 (en) 2014-07-09
BR112014004062A2 (pt) 2017-03-07

Similar Documents

Publication Publication Date Title
JP6580648B2 (ja) 画像処理装置および記録媒体
US20200252648A1 (en) Image processing device and method
US9350972B2 (en) Encoding device and encoding method, and decoding device and decoding method
WO2013031575A1 (ja) 画像処理装置および画像処理方法
US8810628B2 (en) Image processing apparatus and image processing method
WO2013115024A1 (ja) 画像処理装置および画像処理方法
US20130329008A1 (en) Encoding apparatus, encoding method, decoding apparatus, and decoding method
US20130259131A1 (en) Image processing apparatus and method
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
CN107920243B (zh) 解码装置和编码装置
WO2013031574A1 (ja) 画像処理装置および方法
KR20140057269A (ko) 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법
US20140036032A1 (en) Image processing device, image processing method, and program
KR102197557B1 (ko) 화상 처리 장치 및 방법
TWI545935B (zh) Encoding apparatus and an encoding method, a decoding apparatus and decoding method
WO2013154029A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2013157439A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination