KR20140123051A - 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법 - Google Patents

Abstract

본 기술은, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량을 삭감할 수 있도록 하는 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것이다. DPS 부호화부는, 뎁스 화상에 관한 정보인 뎁스 화상 정보를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 DPS로서 설정한다. 슬라이스 부호화부는, 뎁스 화상을 부호화하여, 부호화 데이터를 생성한다. 또한, 슬라이스 부호화부는, DPS와 부호화 데이터를 포함하는 부호화 스트림을 전송한다. 본 기술은, 예를 들어 다시점의 화상 부호화 장치에 적용할 수 있다.

Description

부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법{ENCODING DEVICE AND ENCODING METHOD, AND DECODING DEVICE AND DECODING METHOD}

본 기술은, 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것으로, 특히, 뎁스 화상(depth image)에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량을 삭감할 수 있도록 한 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것이다.

최근 들어, 3D 화상이 주목받고 있다. 이 3D 화상의 시청 방식으로서는, 2시점의 화상 중 한쪽 화상 표시 시에 좌안용의 셔터가 개방되고, 다른 쪽 화상 표시 시에 우안용의 셔터가 개방되는 안경을 장착하여, 교대로 표시되는 2시점의 화상을 보는 방식(이하, 안경 방식이라고 함)이 일반적이다.

그러나, 이러한 안경 방식에서는, 시청자는, 3D 화상의 표시 장치와는 별도로 안경을 구입할 필요가 있고, 시청자의 구매 의욕은 저하된다. 또한, 시청자는, 시청 시에 안경을 장착할 필요가 있으므로, 번거롭다. 따라서, 안경을 장착하지 않고 3D 화상을 시청 가능한 시청 방식(이하, 무안경 방식이라고 함)의 수요가 높아지고 있다.

무안경 방식에서는, 3시점 이상의 시점의 화상이, 시점마다 시인 가능한 각도가 상이하도록 표시되고, 시청자가, 임의의 2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 3D 화상을 볼 수 있다.

무안경 방식의 3D 화상 표시 방법으로서는, 소정의 시점 컬러 화상과 뎁스 화상을 취득하고, 그 컬러 화상과 뎁스 화상을 사용하여 소정의 시점 이외의 시점을 포함하는 다시점의 컬러 화상을 생성하고, 표시하는 방법이 고안되고 있다. 또한, 다시점이란, 3시점 이상의 시점이다.

또한, 다시점의 컬러 화상과 뎁스 화상을 부호화하는 방법으로서, 컬러 화상과 뎁스 화상을 따로따로 부호화하는 방법이 제안되고 있다(예를 들어, 특허문헌1 참조).

"Draft Call for Proposals on 3D Video Coding Technology", INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11CODING OF MOVING PICTURES AND AUDIO, MPEG2010/N11679 Guangzhou, China, October 2010

그러나, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량을 삭감하는 것은 생각되지 않았다.

본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량을 삭감할 수 있도록 하는 것이다.

본 기술의 제1 측면의 부호화 장치는, 뎁스 화상에 관한 정보인 뎁스 화상 정보를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트로서 설정하는 설정부와, 상기 뎁스 화상을 부호화하여, 부호화 데이터를 생성하는 부호화부와, 상기 설정부에 의해 설정된 상기 파라미터 세트와 상기 부호화부에 의해 생성된 상기 부호화 데이터를 포함하는 부호화 스트림을 전송하는 전송부를 구비하는 부호화 장치이다.

본 기술의 제1 측면의 부호화 방법은, 본 기술의 제1 측면의 부호화 장치에 대응한다.

본 기술의 제1 측면에 있어서는, 뎁스 화상에 관한 정보인 뎁스 화상 정보가 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트로서 설정되고, 상기 뎁스 화상이 부호화되어 부호화 데이터가 생성되고, 상기 파라미터 세트와 상기 부호화 데이터를 포함하는 부호화 스트림이 전송된다.

본 기술의 제2 측면의 복호 장치는, 뎁스 화상에 관한 정보인 뎁스 화상 정보가 설정된 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트와, 상기 뎁스 화상의 부호화 데이터를 포함하는 부호화 스트림으로부터, 상기 파라미터 세트와 상기 부호화 데이터를 취득하는 취득부와, 상기 취득부에 의해 취득된 상기 파라미터 세트로부터 상기 뎁스 화상 정보를 파스(parse)하는 파스 처리부와, 상기 취득부에 의해 취득된 상기 부호화 데이터를 복호하는 복호부를 구비하는 복호 장치이다.

본 기술의 제2 측면의 복호 방법은, 본 기술의 제2 측면의 복호 장치에 대응한다.

본 기술의 제2 측면에 있어서는, 뎁스 화상에 관한 정보인 뎁스 화상 정보가 설정된 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트와, 상기 뎁스 화상의 부호화 데이터를 포함하는 부호화 스트림으로부터, 상기 파라미터 세트와 상기 부호화 데이터가 취득되고, 상기 파라미터 세트로부터 상기 뎁스 화상 정보가 파스되고, 상기 부호화 데이터가 복호된다.

또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.

또한, 제1 측면의 부호화 장치 및 제2 측면의 복호 장치를 실현하기 위해서 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통해 전송함으로써, 또는, 기록 매체에 기록하여 제공할 수 있다.

본 기술의 제1 측면에 의하면, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량을 삭감할 수 있다.

또한, 본 기술의 제2 측면에 의하면, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량이 삭감된 부호화 스트림을 복호할 수 있다.

도 1은, 시차와 깊이에 대하여 설명하는 도면이다.
도 2는, 본 기술을 적용한 부호화 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 3은, 도 2의 다시점 화상 부호화부의 구성예를 도시하는 블록도이다.
도 4는, 부호화 스트림의 구성예를 도시하는 도면이다.
도 5는, DPS의 신택스의 예를 나타내는 도면이다.
도 6은, 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.
도 7은, 도 2의 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 8은, 도 7의 다시점 부호화 처리의 상세를 설명하는 흐름도이다.
도 9는, 도 8의 DPS 생성 처리의 상세를 설명하는 흐름도이다.
도 10은, 본 기술을 적용한 복호 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 11은, 도 10의 다시점 화상 복호부의 구성예를 도시하는 블록도이다.
도 12는, 도 10의 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 13은, 도 12의 다시점 복호 처리의 상세를 설명하는 흐름도이다.
도 14는, 도 13의 생성 처리의 상세를 설명하는 흐름도이다.
도 15는, 확장 SPS의 신택스의 예를 나타내는 도면이다.
도 16은, 확장 SPS의 신택스의 다른 예를 나타내는 도면이다.
도 17은, 확장 slice_layer의 정의를 설명하는 도면이다.
도 18은, 확장 slice_layer의 신택스의 예를 나타내는 도면이다.
도 19는, 확장 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.
도 20은, 확장 슬라이스 헤더의 신택스의 다른 예를 나타내는 도면이다.
도 21은, NAL 유닛의 신택스의 예를 나타내는 도면이다.
도 22는, slice_layer의 신택스의 예를 나타내는 도면이다.
도 23은, 부호화 스트림의 다른 구성예를 도시하는 도면이다.
도 24는, 컴퓨터의 일 실시 형태의 구성예를 도시하는 도면이다.
도 25는, 본 기술을 적용한 텔레비전 장치의 개략 구성예를 도시하는 도면이다.
도 26은, 본 기술을 적용한 휴대 전화기의 개략 구성예를 도시하는 도면이다.
도 27은, 본 기술을 적용한 기록 재생 장치의 개략 구성예를 도시하는 도면이다.
도 28은, 본 기술을 적용한 촬상 장치의 개략 구성예를 도시하는 도면이다.

<본 명세서에서의 뎁스 화상(시차 관련 화상)의 설명>

도 1은, 시차와 깊이에 대하여 설명하는 도면이다.

도 1에 도시한 바와 같이, 피사체(M)의 컬러 화상이, 위치C1에 배치된 카메라c1과 위치C2에 배치된 카메라c2에 의해 촬영될 경우, 피사체(M)의, 카메라c1(카메라c2)으로부터의 깊이 방향의 거리인 깊이(Z)는, 이하의 식(a)로 정의된다.

...(a)

또한, L은, 위치C1과 위치C2의 수평 방향 거리(이하, 카메라간 거리라고 함)이다. 또한, d는, 카메라c1로 촬영된 컬러 화상 상의 피사체(M)의 위치의, 컬러 화상의 중심으로부터의 수평 방향의 거리u1에서, 카메라c2로 촬영된 컬러 화상 상의 피사체(M)의 위치의, 컬러 화상의 중심으로부터의 수평 방향의 거리u2를 감산한 값, 즉 시차이다. 또한, f는 카메라c1의 초점 거리이며, 식(a)에서는, 카메라c1과 카메라c2의 초점 거리는 동일한 것으로 하고 있다.

식(a)에 나타낸 바와 같이, 시차(d)와 깊이(Z)는 일의로 변환 가능하다. 따라서, 본 명세서에서는, 카메라c1과 카메라c2에 의해 촬영된 2시점의 컬러 화상의 시차(d)를 나타내는 화상과 깊이(Z)를 나타내는 화상을 총칭하여 뎁스 화상이라고 한다.

또한, 뎁스 화상은, 시차(d) 또는 깊이(Z)를 나타내는 화상이면 되고, 뎁스 화상의 화소값으로서는, 시차(d) 또는 깊이(Z) 자체가 아니라, 시차(d)를 정규화한 값, 깊이(Z)의 역수(1/Z)를 정규화한 값 등을 채용할 수 있다.

시차(d)를 8bit(0 내지 255))로 정규화한 값I는, 이하의 식(b)에 의해 구할 수 있다. 또한, 시차(d)의 정규화 비트수는 8bit에 한정되지 않고, 10bit, 12bit 등 다른 비트수로 하는 것도 가능하다.

...(b)

또한, 식(b)에 있어서, D_max는 시차(d)의 최대값이며, D_min은 시차(d)의 최소값이다. 최대값(D_max)과 최소값(D_min)은, 1화면 단위로 설정되어도 되고, 복수 화면 단위로 설정되어도 된다.

또한, 깊이(Z)의 역수(1/Z)를 8bit(0 내지 255)로 정규화한 값y는, 이하의 식(c)에 의해 구할 수 있다. 또한, 깊이(Z)의 역수(1/Z)의 정규화 비트수는 8bit에 한정되지 않고, 10bit, 12bit 등 다른 비트수로 하는 것도 가능하다.

...(c)

또한, 식(c)에 있어서, Z_far는 깊이(Z)의 최대값이며, Z_near는 깊이(Z)의 최소값이다. 최대값(Z_far)과 최소값(Z_near)은, 1화면 단위로 설정되어도 되고, 복수 화면 단위로 설정되어도 된다.

이와 같이, 본 명세서에서는, 시차(d)와 깊이(Z)는 일의로 변환 가능한 것을 고려하여, 시차(d)를 정규화한 값I를 화소값으로 하는 화상과, 깊이(Z)의 역수(1/Z)를 정규화한 값y를 화소값으로 하는 화상을 총칭하여 뎁스 화상이라고 한다. 여기에서는, 뎁스 화상의 컬러 포맷은 YUV420 또는 YUV400인 것으로 하지만, 다른 컬러 포맷으로 하는 것도 가능하다.

또한, 뎁스 화상의 화소값으로서가 아니라, 값I 또는 값y의 정보 자체에 착안할 경우에는, 값I 또는 값y를 뎁스 정보(시차 관련값)라 한다. 또한, 값I 또는 값y를 매핑한 것을 뎁스 맵이라 한다.

<일 실시 형태>

<부호화 장치의 일 실시 형태의 구성예>

도 2는, 본 기술을 적용한 부호화 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.

도 2의 부호화 장치(50)는, 다시점 컬러 화상 촬상부(51), 다시점 컬러 화상 보정부(52), 다시점 뎁스 화상 생성부(53), 뎁스 화상 정보 생성부(54) 및 다시점 화상 부호화부(55)에 의해 구성된다. 부호화 장치(50)는, 뎁스 화상에 관한 정보인 뎁스 화상 정보(부호화 파라미터)를 전송한다.

구체적으로는, 부호화 장치(50)의 다시점 컬러 화상 촬상부(51)는, 다시점의 컬러 화상을 촬상하고, 다시점 컬러 화상으로서 다시점 컬러 화상 보정부(52)에 공급한다. 또한, 다시점 컬러 화상 촬상부(51)는, 각 시점의 외부 파라미터, 뎁스 최대값(시차 관련 최대값) 및 뎁스 최소값(시차 관련 최소값)(상세한 것은 후술함)을 생성한다. 다시점 컬러 화상 촬상부(51)는, 외부 파라미터, 뎁스 최대값 및 뎁스 최소값을 뎁스 화상 정보 생성부(54)에 공급함과 함께, 뎁스 최대값과 뎁스 최소값을 다시점 뎁스 화상 생성부(53)에 공급한다.

또한, 외부 파라미터는, 다시점 컬러 화상 촬상부(11)의 수평 방향 위치를 정의하는 파라미터이다. 또한, 뎁스 최대값이란, 다시점 뎁스 화상 생성부(53)에 의해 생성되는 뎁스 화상이 깊이(Z)를 나타내는 화상인 경우, 깊이(Z)의 최대값(Z_far)이며, 시차(d)를 나타내는 화상인 경우, 시차(d)의 최대값(D_max)이다. 또한, 뎁스 최소값이란, 다시점 뎁스 화상 생성부(53)에 의해 생성되는 뎁스 화상이 깊이(Z)를 나타내는 화상인 경우, 깊이(Z)의 최소값(Z_near)이며, 시차(d)를 나타내는 화상인 경우, 시차(d)의 최소값(D_min)이다.

다시점 컬러 화상 보정부(52)는, 다시점 컬러 화상 촬상부(51)로부터 공급되는 다시점 컬러 화상에 대하여 색 보정, 휘도 보정, 왜곡 보정 등을 행한다. 이에 의해, 보정 후의 다시점 컬러 화상에서의 다시점 컬러 화상 촬상부(51)의 수평 방향(X방향)의 초점 거리는, 전체 시점에서 공통이 된다. 다시점 컬러 화상 보정부(52)는, 보정 후의 다시점 컬러 화상을 다시점 보정 컬러 화상으로서 다시점 뎁스 화상 생성부(53)과 다시점 화상 부호화부(55)에 공급한다.

다시점 뎁스 화상 생성부(53)는, 다시점 컬러 화상 촬상부(51)로부터 공급되는 뎁스 최대값과 뎁스 최소값에 기초하여, 다시점 컬러 화상 보정부(52)로부터 공급되는 다시점 보정 컬러 화상으로부터 다시점의 뎁스 화상을 생성한다. 구체적으로는, 다시점 뎁스 화상 생성부(53)는, 다시점의 각 시점에 대해서, 다시점 보정 컬러 화상으로부터 각 화소의 시차 관련값을 구하고, 그 시차 관련값을 뎁스 최대값과 뎁스 최소값에 기초하여 정규화한다. 그리고, 다시점 뎁스 화상 생성부(53)는, 다시점의 각 시점에 대해서, 정규화된 각 화소의 시차 관련값을 뎁스 화상의 각 화소의 화소값으로 하는 뎁스 화상을 생성한다.

또한, 다시점 뎁스 화상 생성부(53)는, 생성된 다시점의 뎁스 화상을 다시점 뎁스 화상으로서 다시점 화상 부호화부(55)에 공급한다.

뎁스 화상 정보 생성부(54)는, 각 시점의 뎁스 화상 정보를 생성한다. 구체적으로는, 뎁스 화상 정보 생성부(54)는, 다시점 컬러 화상 촬상부(51)로부터 공급되는 각 시점의 외부 파라미터에 기초하여 각 시점의 카메라간 거리를 구한다. 카메라간 거리란, 다시점 뎁스 화상에 대응하는 각 시점의 컬러 화상을 촬상할 때의 다시점 컬러 화상 촬상부(51)의 수평 방향 위치와, 그 컬러 화상과 뎁스 화상에 대응하는 시차를 갖는 컬러 화상을 촬상할 때의 다시점 컬러 화상 촬상부(51)의 수평 방향 위치 거리이다.

뎁스 화상 정보 생성부(54)는, 다시점 컬러 화상 촬상부(51)로부터의 각 시점의 뎁스 최대값 및 뎁스 최소값, 및 각 시점의 카메라간 거리를 각 시점의 뎁스 화상 정보로 한다. 뎁스 화상 정보 생성부(54)는, 각 시점의 뎁스 화상 정보를 다시점 화상 부호화부(55)에 공급한다.

다시점 화상 부호화부(55)는, 다시점 컬러 화상 보정부(52)로부터의 다시점 보정 컬러 화상과 다시점 뎁스 화상 생성부(53)로부터의 다시점 뎁스 화상을 HEVC(High Efficiency Video Coding) 방식에 준한 방식으로 부호화한다. 또한, HEVC 방식에 대해서는, 2011년 8월 현재, Draft로서, Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, GaryJ.Sullivian, "WD3: Working Draft3 of High-Efficiency Video Coding", JCTVC-E603_d5(version5), 2011년 5월 20일이 발행되어 있다.

또한, 다시점 화상 부호화부(55)는, 뎁스 화상 정보 생성부(54)로부터 공급되는 각 시점의 뎁스 화상 정보를 시점마다 차분 부호화하여, 차분 부호화 결과를 포함하는 NAL(Network Abstraction Layer) 유닛인 DPS(Depth Parameter Set)(DRPS) 등을 생성한다. 그리고, 다시점 화상 부호화부(55)는, 부호화된 다시점 보정 컬러 화상 및 다시점 뎁스 화상, DPS 등으로 이루어지는 비트 스트림을, 부호화 스트림(부호화 비트 스트림)으로서 전송한다.

이상과 같이, 다시점 화상 부호화부(55)는, 뎁스 화상 정보를 차분 부호화하여 전송하므로, 뎁스 화상 정보의 부호량을 삭감할 수 있다. 쾌적한 3D 화상을 제공하기 위해서, 뎁스 화상 정보는 픽처 사이에서 크게 변화시키지 않을 가능성이 크므로, 차분 부호화를 행하는 것은 부호량의 삭감에 있어서 유효하다.

또한, 다시점 화상 부호화부(55)는, 뎁스 화상 정보를 DPS에 포함시켜서 전송하므로, 슬라이스 헤더에 포함시켜서 전송하는 경우와 같이 동일한 뎁스 화상 정보가 중복되어 전송되는 사태를 방지할 수 있다. 그 결과, 뎁스 화상 정보의 부호량을 보다 삭감할 수 있다.

<다시점 화상 부호화부의 구성예>

도 3은, 도 2의 다시점 화상 부호화부(55)의 구성예를 도시하는 블록도이다.

도 3의 다시점 화상 부호화부(55)는, SPS 부호화부(61), PPS 부호화부(62), DPS 부호화부(63), 슬라이스 헤더 부호화부(64) 및 슬라이스 부호화부(65)에 의해 구성된다.

다시점 화상 부호화부(55)의 SPS 부호화부(61)는, 시퀀스 단위로 SPS를 생성하고, PPS 부호화부(62)에 공급한다. PPS 부호화부(62)는, 픽처 단위로 PPS를 생성하고, SPS 부호화부(61)로부터 공급되는 SPS에 부가하여 슬라이스 헤더 부호화부(64)에 공급한다.

DPS 부호화부(63)는, 도 2의 뎁스 화상 정보 생성부(54)로부터 공급되는 각 시점의 뎁스 화상 정보에 기초하여, 각 시점의 뎁스 화상의 슬라이스마다 뎁스 화상 정보를 차분 부호화한다. 구체적으로는, DPS 부호화부(63)는, 처리 대상의 슬라이스 타입이 인트라 타입인 경우, 그 슬라이스의 뎁스 화상 정보를 그대로 차분 부호화 결과로 한다. 한편, 처리 대상의 슬라이스 타입이 인터 타입인 경우, DPS 부호화부(63)는, 그 슬라이스의 뎁스 화상 정보와, 그 슬라이스보다 1개 전의 슬라이스의 뎁스 화상 정보의 차분을, 차분 부호화 결과로 한다.

또한, DPS 부호화부(63)는, 설정부로서 기능하고, 뎁스 화상 정보의 차분 부호화 결과를 포함하는 DPS가 아직 생성되어 있지 않은 경우, 그 차분 부호화 결과를 DPS 내에 설정한다. 또한, DPS 부호화부(63)는, 그 DPS에 DPS를 일의적으로 식별하는 ID(식별 번호)인 DPS_id(인덱스 식별자)를 부여하고, DPS 내에 설정한다. 그리고, DPS 부호화부(63)는, 뎁스 화상 정보의 차분 부호화 결과와 DPS_id가 설정된 DPS를 슬라이스 헤더 부호화부(64)에 공급한다.

한편, DPS 부호화부(63)는, 뎁스 화상 정보의 차분 부호화 결과를 포함하는 DPS가 이미 생성되어 있는 경우, 그 DPS의 DPS_id를 슬라이스 헤더 부호화부(64)에 공급한다.

슬라이스 헤더 부호화부(64)는, 설정부로서 기능하고, DPS 부호화부(63)로부터 공급되는 DPS의 DPS_id 또는 DPS_id를, 대응하는 시점의 뎁스 화상의 슬라이스 슬라이스 헤더 내에 설정한다. 또한, 슬라이스 헤더 부호화부(64)는, 다시점 컬러 화상의 슬라이스 헤더를 생성한다. 슬라이스 헤더 부호화부(64)는, DPS 부호화부(63)로부터 공급되는 DPS와 다시점 뎁스 화상 및 다시점 컬러 화상의 슬라이스 헤더를, PPS 부호화부(62)로부터 공급되는 SPS가 부가된 PPS에 또한 부가하고, 슬라이스 부호화부(65)에 공급한다.

슬라이스 부호화부(65)는, 부호화부로서 기능하고, 다시점 컬러 화상 보정부(52)로부터의 다시점 보정 컬러 화상과 다시점 뎁스 화상 생성부(53)로부터의 다시점 뎁스 화상을, 슬라이스 단위로 HEVC 방식에 준한 방식으로 부호화한다. 이 때, 슬라이스 부호화부(65)는, 슬라이스 헤더 부호화부(64)로부터 공급되는 슬라이스 헤더에 포함되는 DPS_id의 DPS에 포함되는 뎁스 화상 정보를 사용한다.

슬라이스 부호화부(65)는, 슬라이스 헤더 부호화부(64)로부터 공급되는 SPS, PPS 및 DPS가 부가된 슬라이스 헤더에, 부호화의 결과 얻어지는 슬라이스 단위의 부호화 데이터를 부가하여 부호화 스트림을 생성한다. 슬라이스 부호화부(65)는, 전송부로서 기능하고, 부호화 스트림을 전송한다.

<부호화 스트림의 구성예>

도 4는, 부호화 스트림의 구성예를 도시하는 도면이다.

도 4에서는, 설명의 편의상, 다시점 뎁스 화상의 슬라이스 부호화 데이터만을 기재하고 있지만, 실제로는, 부호화 스트림에는 다시점 컬러 화상의 슬라이스 부호화 데이터도 배치된다.

도 4에 도시한 바와 같이, 부호화 스트림에는, 시퀀스 단위의 SPS, 픽처 단위의 PPS, 슬라이스 단위의 DPS, 슬라이스 헤더가 부가된 슬라이스 단위의 부호화 데이터가 순서대로 배치된다.

도 4의 예에서는, 0번째의 PPS인 PPS#0에 대응하는 픽처의 슬라이스 중 인트라 타입의 슬라이스 뎁스 최소값이 10이고, 뎁스 최대값이 50이며, 카메라간 거리가 100이다. 따라서, 그 슬라이스의 뎁스 화상 정보의 차분 부호화 결과로서, 뎁스 최소값 「10」, 뎁스 최대값 「50」 및 카메라간 거리 「100」 자체가 생성된다. 그리고, 이 차분 부호화 결과를 포함하는 DPS는 아직 생성되어 있지 않으므로, 이 차분 부호화 결과를 포함하는 DPS가 부호화 스트림에 설정되고, DPS_id로서, 예를 들어 0이 부여된다. 그리고, DPS_id로서의 0이 슬라이스 헤더에 포함된다.

또한, 도 4의 예에서는, PPS#0에 대응하는 픽처의 슬라이스 중 첫번째의 인터 타입의 슬라이스 뎁스 최소값이 9이고, 뎁스 최대값이 48이며, 카메라간 거리가 105이다. 따라서, 그 슬라이스의 뎁스 화상 정보의 차분 부호화 결과로서, 그 슬라이스의 뎁스 최소값 「9」에서, 부호화순으로 1개 전의 인트라 타입의 슬라이스 뎁스 최소값 「10」을 감산한 차분 「-1」이 생성된다. 마찬가지로, 뎁스 최대값의 차분 「-2」와 카메라간 거리의 차분 「5」가, 뎁스 화상 정보의 차분 부호화 결과로서 생성된다.

그리고, 이 차분 부호화 결과를 포함하는 DPS는 아직 생성되어 있지 않으므로, 이 차분 부호화 결과를 포함하는 DPS가 부호화 스트림에 설정되고, DPS_id로서, 예를 들어 1이 부여된다. 그리고, DPS_id로서의 1이 슬라이스 헤더에 포함된다.

또한, 도 4의 예에서는, PPS#0에 대응하는 픽처의 슬라이스 중 두번째의 인터 타입의 슬라이스 뎁스 최소값이 7이고, 뎁스 최대값이 47이며, 카메라간 거리가 110이다. 따라서, 그 슬라이스의 뎁스 화상 정보의 차분 부호화 결과로서, 그 슬라이스의 뎁스 최소값 「7」에서, 부호화순으로 1개 전의 첫번째의 인터 타입의 슬라이스 뎁스 최소값 「9」를 감산한 차분 「-2」가 생성된다. 마찬가지로, 뎁스 최대값의 차분 「-1」과 카메라간 거리의 차분 「5」가 뎁스 화상 정보의 차분 부호화 결과로서 생성된다.

그리고, 이 차분 부호화 결과를 포함하는 DPS는 아직 생성되어 있지 않으므로, 이 차분 부호화 결과를 포함하는 DPS가 부호화 스트림에 설정되고, DPS_id로서, 예를 들어 2가 부여된다. 그리고, DPS_id로서의 2가 슬라이스 헤더에 포함된다.

또한, 도 4의 예에서는, 첫번째의 PPS인 PPS#1에 대응하는 픽처에 3개의 인터 타입의 슬라이스 뎁스 화상 정보의 차분 부호화 결과는, PPS#0에 대응하는 픽처의 슬라이스 중 두번째의 인터 타입의 슬라이스의 뎁스 화상 정보의 차분 부호화 결과와 동일하다. 따라서, 이 3개의 인터 타입의 슬라이스에 대하여 DPS는 설정되지 않고, 그 슬라이스의 슬라이스 헤더에 DPS_id로서의 2가 포함된다.

<DPS의 신택스의 예>

도 5는, DPS의 신택스의 예를 나타내는 도면이다.

도 5의 제2행째에 나타낸 바와 같이, DPS에는, 그 DPS에 부여된 DPS_id(depth_parameter_set_id)가 포함된다. 또한, 제14행째에 나타낸 바와 같이, DPS에는 뎁스 최대값 및 뎁스 최소값(depth_ranges)이 포함된다. 또한, 제17행째에 나타낸 바와 같이, DPS에는 카메라간 거리(vsp_param)가 포함된다.

<슬라이스 헤더의 신택스의 예>

도 6은, 슬라이스 헤더의 신택스의 예를 나타내는 도면이다.

도 6의 제3행째 내지 제7행째에 나타낸 바와 같이, 슬라이스 헤더가 부가되는 슬라이스 단위의 부호화 데이터의 NAL 유닛의 타입(nal_unit_type)이, 3DVC(3차원 영상 부호화) 방식으로 부호화된 것을 나타내는 21인 경우, 즉 슬라이스 헤더가 뎁스 화상의 슬라이스 헤더인 경우, 슬라이스의 타입(slice_type)이 인터 타입일 때에는, 슬라이스 헤더에는, 뎁스 화상에 대하여 가중치 예측을 행할지 여부를 나타내는 플래그가 포함된다.

구체적으로는, 슬라이스의 타입(slice_type)이 P일 때(slice_type==P), 슬라이스 헤더에는, 전방 또는 후방 방향의 가중치 예측을 행할지 여부를 나타내는 플래그 depth_weighted_pred_flag가 포함된다. 한편, 슬라이스의 타입(slice_type)이 B일(slice_type==B) 때, 슬라이스 헤더에는, 전방 및 후방 방향의 가중치 예측을 행할지 여부를 나타내는 플래그 depth_weighted_bipred_flag가 포함된다.

또한, 제8행째 내지 제10행째에 나타낸 바와 같이, 가중치 예측을 행할 경우, 슬라이스 헤더에는, DPS_id(depth_parameter_set_id)가 포함된다. 구체적으로는, 슬라이스의 타입(slice_type)이 P이고, 플래그 depth_weighted_pred_flag가 1인 경우, 또는, 슬라이스의 타입(slice_type)이 B이고, 플래그 depth_weighted_bipred_flag가 1인 경우, DPS_id(depth_parameter_set_id)가 포함된다.

또한, 도시는 생략하고 있지만, 슬라이스의 부호화 데이터의 NAL 유닛의 타입(nal_unit_type)이 값21인 경우, 슬라이스의 타입(slice_type)이 I일 때에 대해서도 DPS_id가 포함되게 된다.

도 6의 신택스는, 제3행째 내지 제10행째의 NAL 유닛의 타입(nal_unit_type)이 21인 경우의 기술을 제외하고, 기존의 슬라이스 헤더의 신택스와 동일하다. 즉, 뎁스 화상의 슬라이스 헤더 내의 플래그 depth_weighted_pred_flag 또는 플래그 depth_weighted_bipred_flag, DPS_id 이외의 정보는, 컬러 화상의 슬라이스 헤더 내의 정보와 동일하다. 따라서, 기존의 부호화 스트림과의 사이에서 완전히 호환성을 유지할 수 있다.

또한, 슬라이스 헤더에 플래그 depth_weighted_pred_flag와 플래그 depth_weighted_bipred_flag를 포함시킬 수 있으므로, 슬라이스 단위로, 플래그 depth_weighted_pred_flag와 플래그 depth_weighted_bipred_flag를 설정할 수 있다.

<부호화 장치의 처리 설명>

도 7은, 도 2의 부호화 장치(50)의 부호화 처리를 설명하는 흐름도이다.

도 7의 스텝 S10에 있어서, 부호화 장치(50)의 다시점 컬러 화상 촬상부(51)는, 다시점의 컬러 화상을 촬상하고, 다시점 컬러 화상으로서 다시점 컬러 화상 보정부(52)에 공급한다.

스텝 S11에 있어서, 다시점 컬러 화상 촬상부(51)는, 각 시점의 외부 파라미터, 뎁스 최대값 및 뎁스 최소값을 생성한다. 다시점 컬러 화상 촬상부(51)는, 외부 파라미터, 뎁스 최대값 및 뎁스 최소값을 뎁스 화상 정보 생성부(54)에 공급함과 함께, 뎁스 최대값과 뎁스 최소값을 다시점 뎁스 화상 생성부(53)에 공급한다.

스텝 S12에 있어서, 다시점 컬러 화상 보정부(52)는, 다시점 컬러 화상 촬상부(51)로부터 공급되는 다시점 컬러 화상에 대하여 색 보정, 휘도 보정, 왜곡 보정 등을 행한다. 다시점 컬러 화상 보정부(52)는, 보정 후의 다시점 컬러 화상을 다시점 보정 컬러 화상으로서 다시점 뎁스 화상 생성부(53)와 다시점 화상 부호화부(55)에 공급한다.

스텝 S13에 있어서, 다시점 뎁스 화상 생성부(53)는, 다시점 컬러 화상 촬상부(51)로부터 공급되는 뎁스 최대값과 뎁스 최소값에 기초하여, 다시점 컬러 화상 보정부(52)로부터 공급되는 다시점 보정 컬러 화상으로부터 다시점의 뎁스 화상을 생성한다. 그리고, 다시점 뎁스 화상 생성부(53)는, 생성된 다시점의 뎁스 화상을 다시점 뎁스 화상으로서 다시점 화상 부호화부(55)에 공급한다.

스텝 S14에 있어서, 뎁스 화상 정보 생성부(54)는, 각 시점의 뎁스 화상 정보를 생성하고, 다시점 화상 부호화부(55)에 공급한다.

스텝 S15에 있어서, 다시점 화상 부호화부(55)는, 다시점 보정 컬러 화상 및 다시점 뎁스 화상을 HEVC 방식에 준한 방식으로 부호화하는 다시점 부호화 처리를 행한다. 이 다시점 부호화 처리의 상세한 것은, 후술하는 도 8을 참조하여 설명한다.

스텝 S16에 있어서, 다시점 화상 부호화부(55)는, 스텝 S15의 결과 생성되는 부호화 스트림을 전송하고, 처리를 종료한다.

도 8은, 도 7의 스텝 S15의 다시점 부호화 처리의 상세를 설명하는 흐름도이다.

도 8의 스텝 S31에 있어서, 다시점 화상 부호화부(55)의 SPS 부호화부(61)(도 3)는, 시퀀스 단위의 SPS를 생성하고, PPS 부호화부(62)에 공급한다.

스텝 S32에 있어서, PPS 부호화부(62)는, 픽처 단위의 PPS를 생성하고, SPS 부호화부(61)로부터 공급되는 SPS에 부가하여 슬라이스 헤더 부호화부(64)에 공급한다. 이후의 스텝 S33 내지 S37의 처리는, 각 시점의 슬라이스 단위로 행해진다.

스텝 S33에 있어서, DPS 부호화부(63)는, 처리 대상의 시점의 슬라이스(이하, 대상 시점 슬라이스라고 함)의 DPS를 생성하는 DPS 생성 처리를 행한다. 이 DPS 생성 처리의 상세한 것은, 후술하는 도 9를 참조하여 설명한다.

스텝 S34에 있어서, 슬라이스 헤더 부호화부(64)는, DPS 부호화부(63)로부터 공급되는 DPS의 DPS_id 또는 DPS_id를 포함하는 대상 시점 슬라이스의 뎁스 화상의 슬라이스 헤더를 생성한다.

스텝 S35에 있어서, 슬라이스 헤더 부호화부(64)는, 대상 시점 슬라이스의 보정 컬러 화상의 슬라이스 헤더를 생성한다. 그리고, 슬라이스 헤더 부호화부(64)는, DPS와 다시점 뎁스 화상 및 다시점 컬러 화상의 슬라이스 헤더를, PPS 부호화부(62)로부터 공급되는 SPS가 부가된 PPS에 또한 부가하고, 슬라이스 부호화부(65)에 공급한다.

스텝 S36에 있어서, 슬라이스 부호화부(65)는, 슬라이스 헤더 부호화부(64)로부터 공급되는 대상 시점 슬라이스의 뎁스 화상의 슬라이스 헤더에 포함되는 DPS_id의 DPS에 포함되는 뎁스 화상 정보를 사용하여, 다시점 뎁스 화상 생성부(53)로부터 공급되는 대상 시점 슬라이스의 뎁스 화상을, HEVC 방식에 준한 3DVC 방식으로 부호화한다.

스텝 S37에 있어서, 슬라이스 부호화부(65)는, 다시점 뎁스 화상 생성부(53)로부터 공급되는 대상 시점 슬라이스의 보정 컬러 화상을, HEVC 방식에 준한 방식으로 부호화한다. 슬라이스 부호화부(65)는, 슬라이스 헤더 부호화부(64)로부터 공급되는 SPS, PPS 및 DPS가 부가된 슬라이스 헤더에, 스텝 S36 및 S37의 부호화 결과 얻어지는 슬라이스 단위의 부호화 데이터를 부가하여 부호화 스트림을 생성한다. 그리고, 처리는, 도 7의 스텝 S15로 복귀하고, 스텝 S16으로 진행된다.

도 9는, 도 8의 스텝 S33의 DPS 생성 처리의 상세를 설명하는 흐름도이다.

도 9의 스텝 S51에 있어서, DPS 부호화부(63)는, 대상 시점 슬라이스의 타입이 인트라 타입인지 여부를 판정한다. 스텝 S51에서 대상 시점 슬라이스의 타입이 인트라 타입이라고 판정된 경우, 처리는 스텝 S52로 진행된다.

스텝 S52에 있어서, DPS 부호화부(63)는, 도 2의 뎁스 화상 정보 생성부(54)로부터 공급되는 대상 시점 슬라이스의 뎁스 화상 정보를 포함하는 DPS가 이미 생성되어 있는지 여부를 판정한다.

스텝 S52에서 DPS가 이미 생성되어 있지 않다고 판정된 경우, 스텝 S53에 있어서, DPS 부호화부(63)는, 대상 시점 슬라이스의 뎁스 화상 정보를 차분 부호화 결과로서 포함하는 DPS를 생성하고, 처리가 스텝 S57로 진행된다.

한편, 스텝 S51에서 대상 시점 슬라이스의 타입이 인트라 타입이 아니라고 판정된 경우, 즉 대상 시점 슬라이스의 타입이 인터 타입인 경우, 처리는 스텝 S54로 진행된다.

스텝 S54에 있어서, DPS 부호화부(63)는, 대상 시점 슬라이스의 뎁스 화상 정보와, 대상 시점 슬라이스의 부호화순으로 1개 전의 동일 시점의 슬라이스 뎁스 화상 정보의 차분을 차분 부호화 결과로서 구함으로써, 차분 부호화를 행한다.

스텝 S55에 있어서, DPS 부호화부(63)는, 스텝 S54에서 구해진 차분 부호화 결과를 포함하는 DPS가 이미 생성되어 있는지 여부를 판정한다. 스텝 S55에서 DPS가 이미 생성되어 있지 않다고 판정된 경우, 스텝 S56에 있어서, DPS 부호화부(63)는, 스텝 S54에서 구해진 차분 부호화 결과를 포함하는 DPS를 생성하고, 처리가 스텝 S57로 진행된다.

스텝 S57에 있어서, DPS 부호화부(63)는, 스텝 S53 또는 스텝 S56에서 생성된 DPS에 DPS_id를 부여하고, DPS에 포함시킨다. DPS 부호화부(63)는, DPS_id를 포함하는 DPS를 유지한다. 유지된 DPS는, 스텝 S52 및 스텝 S55의 판정 시에 사용된다.

스텝 S58에 있어서, DPS 부호화부(63)는, DPS_id를 포함하는 DPS를 슬라이스 헤더 부호화부(64)에 출력한다. 그리고, 처리는 도 8의 스텝 S33으로 복귀되고, 스텝 S34로 진행된다.

한편, 스텝 S52에서 DPS가 이미 생성되어 있다고 판정된 경우, 스텝 S59에 있어서, DPS 부호화부(63)는, 그 DPS의 DPS_id를 스텝 S57에서 유지된 DPS로부터 검출하고, 슬라이스 헤더 부호화부(64)에 출력한다. 그리고, 처리는 도 8의 스텝 S33으로 복귀되고, 스텝 S34로 진행된다.

또한, 스텝 S55에서 DPS가 이미 생성되어 있다고 판정된 경우, 스텝 S60에 있어서, DPS 부호화부(63)는, 그 DPS의 DPS_id를 스텝 S57에서 유지된 DPS로부터 검출하고, 슬라이스 헤더 부호화부(64)에 출력한다. 그리고, 처리는 도 8의 스텝 S33으로 복귀되고, 스텝 S34로 진행된다.

이상과 같이, 부호화 장치(50)는, 뎁스 화상 정보를 DPS 내에 설정하고, 부호화 스트림에 포함시켜서 전송하므로, 슬라이스간에서 뎁스 화상 정보를 공유할 수 있다. 그 결과, 뎁스 화상 정보를 슬라이스 헤더 등에 포함시켜서 전송하는 경우에 비하여, 뎁스 화상 정보의 용장성이 저하되어 부호량을 삭감할 수 있다.

또한, 부호화 장치(50)는, SPS나 PPS라는 기존의 파라미터 세트와는 상이한 DPS에 뎁스 화상 정보를 설정하여 부호화 스트림을 생성하므로, 기존의 부호화 스트림과 호환성을 갖는 부호화 스트림을 생성할 수 있다.

또한, 부호화 장치(50)가, DPS_id를 DPS의 설정순으로 부여할 경우, 복호측에서, DPS에 포함되는 DPS_id에 기초하여 전송중에 DPS가 손실된 것을 검출할 수 있다. 따라서, 이 경우, 부호화 장치(50)는 에러 내성이 높은 전송을 행할 수 있다.

또한, 부호화 장치(50)에서는, 다시점 뎁스 화상이 다시점 보정 컬러 화상으로부터 생성되었지만, 다시점 컬러 화상의 촬상 시에 시차(d)나 깊이(Z)를 검출하는 센서에 의해 생성되어도 된다.

<복호 장치의 일 실시 형태의 구성예>

도 10은, 도 2의 부호화 장치(50)로부터 전송되는 부호화 스트림을 복호하는, 본 기술을 적용한 복호 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.

도 10의 복호 장치(80)는, 다시점 화상 복호부(81), 시점 합성부(82) 및 다시점 화상 표시부(83)에 의해 구성된다.

복호 장치(80)의 다시점 화상 복호부(81)는, 도 2의 부호화 장치(50)로부터 전송되어 오는 부호화 스트림을 수취한다. 다시점 화상 복호부(81)는, 수취된 부호화 스트림으로부터 SPS, PPS, DPS, 슬라이스 헤더, 슬라이스 단위의 부호화 데이터 등을 추출한다. 그리고, 다시점 화상 복호부(81)는, 시점마다 슬라이스 헤더에 포함되는 DPS_id로 특정되는 DPS를 사용하여, 그 슬라이스 헤더에 대응하는 슬라이스의 뎁스 화상의 부호화 데이터를, 도 2의 다시점 화상 부호화부(55)의 부호화 방식에 대응하는 방식으로 복호하고, 뎁스 화상을 생성한다. 또한, 다시점 화상 복호부(81)는, 다시점 컬러 화상의 슬라이스 단위의 부호화 데이터를, 다시점 화상 부호화부(55)의 부호화 방식에 대응하는 방식으로 복호하고, 다시점 보정 컬러 화상을 생성한다. 다시점 화상 복호부(81)는, 생성된 다시점 보정 컬러 화상 및 다시점 뎁스 화상을 시점 합성부(82)에 공급한다.

시점 합성부(82)는, 다시점 화상 복호부(81)로부터의 다시점 뎁스 화상에 대하여 다시점 화상 표시부(83)에 대응하는 시점수의 시점(이하, 표시 시점이라고 함)에의 와핑 처리(상세한 것은 후술함)를 행한다. 이 때, 뎁스 화상 정보가 사용되도록 해도 된다.

또한, 와핑 처리이란, 어떤 시점의 화상으로부터 다른 시점의 화상으로 기하 변환하는 처리이다. 또한, 표시 시점에는, 다시점 컬러 화상에 대응하는 시점 이외의 시점이 포함된다.

또한, 시점 합성부(82)는, 와핑 처리의 결과 얻어지는 표시 시점의 뎁스 화상을 사용하여, 다시점 화상 복호부(81)로부터 공급되는 다시점 보정 컬러 화상에 대하여 표시 시점에의 와핑 처리를 행한다. 이 때, 뎁스 화상 정보가 사용되도록 해도 된다. 시점 합성부(82)는, 와핑 처리의 결과 얻어지는 표시 시점의 컬러 화상을, 다시점 합성 컬러 화상으로서 다시점 화상 표시부(83)에 공급한다.

다시점 화상 표시부(83)는, 시점 합성부(82)로부터 공급되는 다시점 합성 컬러 화상을, 시점마다 시인 가능한 각도가 상이하도록 표시한다. 시청자는, 임의의2시점의 각 화상을 좌우의 각 눈으로 봄으로써, 안경을 장착하지 않고 복수의 시점으로부터 3D 화상을 볼 수 있다.

<다시점 화상 복호부의 구성예>

도 11은, 도 10의 다시점 화상 복호부(81)의 구성예를 도시하는 블록도이다.

도 11의 다시점 화상 복호부(81)는, SPS 복호부(101), PPS 복호부(102), DPS 복호부(103), 슬라이스 헤더 복호부(104) 및 슬라이스 복호부(105)에 의해 구성된다.

다시점 화상 복호부(81)의 SPS 복호부(101)는, 도 2의 부호화 장치(50)로부터 전송되어 오는 부호화 스트림을 수취한다. SPS 복호부(101)는, 그 부호화 스트림으로부터 SPS를 추출한다. SPS 복호부(101)는, 추출된 SPS와 부호화 스트림을 PPS 복호부(102)와 DPS 복호부(103)에 공급한다.

PPS 복호부(102)는, SPS 복호부(101)로부터 공급되는 부호화 스트림으로부터 PPS를 추출한다. PPS 복호부(102)는, 추출된 PPS와, SPS 복호부(101)로부터 공급되는 부호화 스트림을 슬라이스 헤더 복호부(104)에 공급한다. DPS 복호부(103)는, 취득부로서 기능하고, SPS 복호부(101)로부터 공급되는 부호화 스트림으로부터 DPS를 취득한다. 또한, DPS 복호부(103)는, 파스 처리부로서 기능하고, DPS로부터 뎁스 화상 정보를 파스(추출)하고, 유지한다. 이 뎁스 화상 정보는, 필요에 따라 시점 합성부(82)에 공급된다.

슬라이스 헤더 복호부(104)는, PPS 복호부(102)로부터 공급되는 부호화 스트림으로부터 슬라이스 헤더를 추출한다. 슬라이스 헤더 복호부(104)는, 슬라이스 헤더에 포함되는 DPS_id로 특정되는 DPS의 뎁스 화상 정보를, DPS 복호부(103)로부터 판독한다. 슬라이스 헤더 복호부(104)는, SPS, PPS, 슬라이스 헤더, DPS 및 부호화 스트림을 슬라이스 복호부(105)에 공급한다.

슬라이스 복호부(105)는, 취득부로서 기능하고, 슬라이스 헤더 복호부(104)로부터 공급되는 부호화 스트림으로부터 슬라이스 단위의 부호화 데이터를 취득한다. 또한, 슬라이스 복호부(105)는, 생성부로서 기능하고, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 차분 부호화 결과를, 그 DPS에 대응하는 슬라이스의 슬라이스 타입에 기초하여 복호한다.

구체적으로는, 슬라이스 복호부(105)는, DPS에 대응하는 슬라이스의 슬라이스 타입이 인트라 타입인 경우, 그 DPS에 포함되는 차분 부호화 결과를 그대로 복호 결과로 함으로써 복호를 행한다. 한편, DPS에 대응하는 슬라이스의 슬라이스 타입이 인터 타입인 경우, 슬라이스 복호부(105)는, 그 DPS에 포함되는 차분 부호화 결과와, 유지하고 있는 부호화순으로 1개 전의 슬라이스의 뎁스 화상 정보를 가산하고, 그 결과 얻어지는 가산값을 복호 결과로 한다. 슬라이스 복호부(105)는, 복호 결과를 뎁스 화상 정보로서 유지한다.

또한, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 SPS, PPS 및 슬라이스 헤더, 및 뎁스 화상 정보에 기초하여, 슬라이스 부호화부(65)(도 3)에서의 부호화 방식에 대응하는 방식으로, 슬라이스 단위의 부호화 데이터를 복호한다. 슬라이스 헤더 복호부(104)는, 복호의 결과 얻어지는 다시점 보정 컬러 화상과 다시점 뎁스 화상을, 도 10의 시점 합성부(82)에 공급한다.

<복호 장치의 처리 설명>

도 12는, 도 10의 복호 장치(80)의 복호 처리를 설명하는 흐름도이다. 이 복호 처리는, 예를 들어 도 2의 부호화 장치(50)로부터 부호화 스트림이 전송되어 왔을 때, 개시된다.

도 12의 스텝 S61에 있어서, 복호 장치(80)의 다시점 화상 복호부(81)는, 도 2의 부호화 장치(50)로부터 전송되어 오는 부호화 스트림을 수취한다.

스텝 S62에 있어서, 다시점 화상 복호부(81)는, 수취된 부호화 스트림을 복호하는 다시점 복호 처리를 행한다. 이 다시점 복호 처리의 상세한 것은, 후술하는 도 13을 참조하여 설명한다.

스텝 S63에 있어서, 시점 합성부(82)는, 다시점 화상 복호부(81)로부터 공급되는 다시점 보정 컬러 화상과 다시점 뎁스 화상을 사용하여 다시점 합성 컬러 화상을 생성한다.

스텝 S64에 있어서, 다시점 화상 표시부(83)는, 시점 합성부(82)로부터 공급되는 다시점 합성 컬러 화상을, 시점마다 시인 가능한 각도가 상이하도록 표시하고, 처리를 종료한다.

도 13은, 도 12의 스텝 S62의 다시점 복호 처리의 상세를 설명하는 흐름도이다.

도 13의 스텝 S71에 있어서, 다시점 화상 복호부(81)의 SPS 복호부(101)는, 수취된 부호화 스트림으로부터 SPS를 추출한다. SPS 복호부(101)는, 추출된 SPS와 부호화 스트림을 PPS 복호부(102)와 DPS 복호부(103)에 공급한다.

스텝 S72에 있어서, PPS 복호부(102)는, SPS 복호부(101)로부터 공급되는 부호화 스트림으로부터 PPS를 추출한다. PPS 복호부(102)는, 추출된 PPS와, SPS 복호부(101)로부터 공급되는 SPS 및 부호화 스트림을 슬라이스 헤더 복호부(104)에 공급한다.

스텝 S73에 있어서, DPS 복호부(103)는, SPS 복호부(101)로부터 공급되는 부호화 스트림으로부터 DPS를 추출하고, DPS로부터 뎁스 화상 정보를 파스하고, 유지한다. 이후의 스텝 S74 내지 S77의 처리는, 각 시점의 슬라이스 단위로 행해진다. 스텝 S74에 있어서, 슬라이스 헤더 복호부(104)는, PPS 복호부(102)로부터 공급되는 부호화 스트림으로부터 대상 시점 슬라이스의 슬라이스 헤더를 추출한다.

스텝 S75에 있어서, 슬라이스 헤더 복호부(104)는, 스텝 S74에서 추출된 슬라이스 헤더에 포함되는 DPS_id로 특정되는 DPS의 뎁스 화상 정보를, DPS 복호부(103)로부터 판독한다. 슬라이스 헤더 복호부(104)는, SPS 및 PPS, 대상 시점 슬라이스의 슬라이스 헤더 및 DPS, 및 부호화 스트림을 슬라이스 복호부(105)에 공급한다.

스텝 S76에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 차분 부호화 결과를 복호하고, 뎁스 화상 정보를 생성하는 생성 처리를 행한다. 이 생성 처리의 상세한 것은, 후술하는 도 14를 참조하여 설명한다.

스텝 S77에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 부호화 스트림으로부터, 대상 시점 슬라이스의 부호화 데이터를 추출한다.

스텝 S78에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 SPS, PPS 및 슬라이스 헤더, 및, 뎁스 화상 정보에 기초하여, 슬라이스 부호화부(65)(도 3)에서의 부호화 방식에 대응하는 방식으로 대상 시점 슬라이스의 부호화 데이터를 복호한다. 슬라이스 복호부(105)는, 복호의 결과 얻어지는 보정 컬러 화상과 뎁스 화상을, 도 10의 시점 합성부(82)에 공급한다. 그리고, 처리는, 도 12의 스텝 S62로 복귀되고, 스텝 S63으로 진행된다.

도 14는, 도 13의 스텝 S76의 생성 처리의 상세를 설명하는 흐름도이다.

스텝 S91에 있어서, 슬라이스 복호부(105)는, 대상 시점 슬라이스의 타입이 인트라 타입인지 여부를 판정한다. 스텝 S91에서 대상 시점 슬라이스의 타입이 인트라 타입이라고 판정된 경우, 처리는 스텝 S92로 진행된다.

스텝 S92에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 뎁스 최소값의 차분 부호화 결과를, 복호 결과의 뎁스 화상 정보의 뎁스 최소값으로 함과 동시에 유지한다.

스텝 S93에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 뎁스 최대값의 차분 부호화 결과를, 복호 결과의 뎁스 화상 정보의 뎁스 최대값으로 함과 동시에 유지한다.

스텝 S94에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 카메라간 거리의 차분 부호화 결과를, 복호 결과의 뎁스 화상 정보의 카메라간 거리로 함과 동시에 유지한다. 그리고, 처리는 도 13의 스텝 S76으로 복귀되고, 스텝 S77로 진행된다.

한편, 스텝 S91에서 대상 시점 슬라이스의 타입이 인트라 타입이 아니라고 판정된 경우, 즉 대상 시점 슬라이스의 타입이 인터 타입인 경우, 처리는 스텝 S95로 진행된다.

스텝 S95에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 뎁스 최소값의 차분 부호화 결과를, 유지되어 있는 부호화순으로 1개 전의 슬라이스의 뎁스 최소값에 가산함으로써 복호한다. 슬라이스 복호부(105)는, 복호의 결과 얻어지는 뎁스 화상 정보의 뎁스 최소값을 유지한다.

스텝 S96에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 뎁스 최대값의 차분 부호화 결과를, 유지되어 있는 부호화순으로 1개 전의 슬라이스의 뎁스 최대값에 가산함으로써 복호한다. 슬라이스 복호부(105)는, 복호의 결과 얻어지는 뎁스 화상 정보의 뎁스 최대값을 유지한다.

스텝 S97에 있어서, 슬라이스 복호부(105)는, 슬라이스 헤더 복호부(104)로부터 공급되는 DPS에 포함되는 카메라간 거리의 차분 부호화 결과를, 유지되어 있는 부호화순으로 1개 전의 슬라이스의 카메라간 거리에 가산함으로써 복호한다. 슬라이스 복호부(105)는, 복호의 결과 얻어지는 뎁스 화상 정보의 카메라간 거리를 유지한다. 그리고, 처리는 도 13의 스텝 S76으로 복귀되고, 스텝 S77로 진행된다.

이상과 같이, 복호 장치(80)는, 뎁스 화상 정보가 DPS 내에 설정됨으로써 부호량이 삭감된 부호화 스트림을 복호할 수 있다. 또한, 뎁스 화상 정보가 부호화 스트림에 포함되므로, 복호 장치(80)는, 뎁스 화상 정보를 부호화 시에 사용한 부호화 스트림을 복호하는 것이 가능해진다.

또한, SPS나 PPS라는 기존의 파라미터 세트와는 상이한 DPS에 뎁스 화상 정보를 포함할 수 있으므로, 와핑 처리 등의 포스트 처리 시에 뎁스 화상 정보를 용이하게 사용할 수 있다. 또한, DPS는 슬라이스 단위의 부호화 데이터보다 전에 통합하여 배치되므로, 시점 합성부(82)는 복호 전에 뎁스 화상 정보를 통합하여 취득할 수 있다.

또한, 뎁스 화상 정보는, 다시점 뎁스 화상의 부호화나 복호에 사용되지 않아도 된다.

또한, 상술한 실시 형태에서는, 슬라이스 헤더에 DPS_id가 포함되도록 했지만, 예를 들어 뎁스 화상 정보가 시퀀스 단위(GOP(group of pictures) 단위)로 설정될 경우, 기존의 SPS를 확장하고, 확장된 SPS(이하, 확장 SPS라고 함)에 DPS_id를 포함하도록 해도 된다.

이 경우, 확장 SPS의 신택스는, 예를 들어 도 15에 나타낸 바와 같이 된다. 즉, 확장 SPS는, 제2행째에 나타낸 바와 같이, DPS가 존재하고 있는 것을 식별하는 플래그 depth_range_present_flag(식별 정보)를 포함하고, 제3행째에 나타낸 바와 같이, 플래그 depth_range_present_flag가 1인 경우에 DPS_id(depth_parameter_set_id)를 포함한다.

또한, 이 경우, 도 16의 제5행째 및 제6행째에 나타낸 바와 같이, 플래그 depth_weighted_pred_flag와 플래그 depth_weighted_bipred_flag를 시퀀스 단위로 설정하고, 확장 SPS에 포함하도록 할 수도 있다.

또한, 기존의 SPS가 아니라, 기존의 슬라이스 헤더를 확장하고, 확장된 슬라이스 헤더(이하, 확장 슬라이스 헤더라고 함)에 DPS_id를 포함하도록 할 수도 있다.

이 경우, 예를 들어 slice_layer가 확장되고, 도 17에 나타낸 바와 같이, NAL 유닛의 타입(nal_unit_type)이 21인 NAL 유닛, 즉 3DVC 방식으로 부호화된 부호화 데이터의 NAL 유닛의 slice_layer로서, 확장된 slice_layer(slice_layer_3dvc_extension_rbsp)(이하, 확장 slice_layer라고 함)가 정의된다. 또한, 도 17에 나타낸 바와 같이, DPS의 NAL 유닛의 타입(nal_unit_type)은, SPS나 PPS 등의 기존의 NAL 유닛과는 상이한 16이다.

또한, 도 18에 나타낸 바와 같이, 확장 slice_layer(slice_layer_3dvc_extension_rbsp)의 부호화 데이터가, 확장 슬라이스 헤더(slice_header_3dvc_extension)와 슬라이스 단위의 부호화 데이터(slice_data)에 의해 구성되는 것이 정의된다.

확장 슬라이스 헤더(slice_header_3dvc_extension)의 신택스는, 예를 들어 도 19에 나타낸 바와 같이 된다. 즉, 도 19의 제2 내지 제4행째에 나타낸 바와 같이, 확장 슬라이스 헤더(slice_header_3dvc_extension)는, 기존의 슬라이스 헤더(slice_header)뿐만 아니라, 플래그 depth_weighted_pred_flag 또는 depth_weighted_bipred_flag가 1인 경우에 DPS_id(depth_parameter_set_id)도 포함한다.

또한, 확장 슬라이스 헤더(slice_header_3dvc_extension)에는, 도 20에 나타낸 바와 같이, 플래그 depth_weighted_pred_flag 또는 depth_weighted_bipred_flag가 포함되도록 해도 된다.

도 19 또는 도 20에 나타낸 바와 같이, 확장 슬라이스 헤더에는, 기존의 슬라이스 헤더도 포함되므로, 기존의 부호화 스트림 사이에서 완전히 호환성을 유지할 수 있다.

또한, 도 17 및 도 18에 나타낸 바와 같이 slice_layer를 확장하는 것이 아니라, 기존의 slice_layer로 확장 슬라이스 헤더(slice_header_3dvc_extension)를 정의하는 것도 가능하다.

이 경우, 도 21의 제15행째 및 제16행째에 나타낸 바와 같이, NAL 유닛에는, NAL 유닛의 타입(nal_unit_type)이 21인 경우, 3DVC 방식용의 NAL 유닛인지 여부를 나타내는 플래그 3dvc_extension_flag가 포함된다.

또한, 도 22의 제6행째 내지 제8행째에 나타낸 바와 같이, 플래그 3dvc_extension_flag가 3DVC 방식용의 NAL 유닛인 것을 나타내는 1인 경우, slice_layer의 부호화 데이터는, 확장 슬라이스 헤더(slice_header_3dvc_extension)와 슬라이스 단위의 부호화 데이터(slice_data)에 의해 구성되는 것이 정의된다.

또한, 상술한 실시 형태에서는, 도 4에 도시한 바와 같이, DPS를 슬라이스간에서 공유하고, 슬라이스 헤더에, 대응하는 슬라이스의 DPS의 DPS_id를 포함하도록 했지만, 도 23에 도시한 바와 같이, 슬라이스마다 DPS를 설정하고, 각 슬라이스의 부호화 데이터에 DPS를 부가하도록 해도 된다. 이 경우, DPS에는 DPS_id가 부여되지 않고, 슬라이스 헤더에는 DPS_id가 포함되지 않는다.

<본 기술을 적용한 컴퓨터의 설명>

이어서, 상술한 일련의 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행할 경우에는, 그 소프트웨어를 구성하는 프로그램이 범용의 컴퓨터 등에 인스톨된다.

따라서, 도 24는, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 도시하고 있다.

프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 기억부(808)나 ROM(Read Only Memory)(802)에 미리 기록해 둘 수 있다.

또한, 프로그램은 리무버블 미디어(811)에 저장해 둘 수 있다. 이러한 리무버블 미디어(811)는, 소위 패키지 소프트 웨어로서 제공할 수 있다. 여기서, 리무버블 미디어(811)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.

또한, 프로그램은, 상술한 바와 같은 리무버블 미디어(811)로부터 드라이브(810)를 거쳐서 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통하여 컴퓨터에 다운로드하고, 내장된 기억부(808)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터 디지털 위성 방송용의 인공 위성을 통하여 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라는 네트워크를 통하여 컴퓨터에 유선으로 전송할 수 있다.

컴퓨터는, CPU(Central Processing Unit)(801)를 내장하고 있고, CPU(801)에는, 버스(804)를 통해 입출력 인터페이스(805)가 접속되어 있다.

CPU(801)는, 입출력 인터페이스(805)를 통해, 유저에 의해, 입력부(806)가 조작됨으로써 명령이 입력되면, 그것에 따라 ROM(802)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(801)는, 기억부(808)에 저장된 프로그램을 RAM(Random Access Memory)(803)에 로드하여 실행한다.

이에 의해, CPU(801)는, 상술한 흐름도에 따른 처리, 또는 상술한 블록도의 구성에 의해 행하여지는 처리를 행한다. 그리고, CPU(801)는, 그 처리 결과를, 필요에 따라, 예를 들어 입출력 인터페이스(805)를 거쳐서 출력부(807)로부터 출력, 또는, 통신부(809)로부터 송신, 나아가, 기억부(808)에 기록시킨다.

또한, 입력부(806)는 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(807)는 LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.

여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라서 행하는 처리는, 반드시 흐름도로서 기재된 순서를 따라 시계열로 행하여질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라서 행하는 처리는, 병렬적 또는 개별로 실행되는 처리(예를 들어, 병렬 처리 또는 오브젝트에 의한 처리)도 포함한다.

또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은, 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 된다.

본 기술은, 위성 방송, 케이블 ＴＶ(텔레비전), 인터넷 및 휴대 전화기 등의 네트워크 미디어를 통하여 통신할 때, 또는, 광, 자기 디스크 및 플래시 메모리와 같은 기억 미디어 상에서 처리할 때에 사용되는 부호화 장치나 복호 장치에 적용할 수 있다.

또한, 상술한 부호화 장치나 복호 장치는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대하여 설명한다.

<텔레비전 장치의 구성예>

도 25는, 본 기술을 적용한 텔레비전 장치의 개략 구성을 예시하고 있다. 텔레비전 장치(900)는, 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스부(909)를 갖고 있다. 또한, 텔레비전 장치(900)는, 제어부(910), 유저 인터페이스부(911) 등을 갖고 있다.

튜너(902)는, 안테나(901)로 수신된 방송파 신호로부터 원하는 채널을 선국하여 복조를 행하고, 얻어진 부호화 스트림을 디멀티플렉서(903)에 출력한다.

디멀티플렉서(903)는, 부호화 스트림으로부터 시청 대상인 프로그램의 영상이나 음성의 패킷을 추출하여, 추출한 패킷의 데이터를 디코더(904)에 출력한다. 또한, 디멀티플렉서(903)는, EPG(Electronic Program Guide) 등의 데이터의 패킷을 제어부(910)에 공급한다. 또한, 스크램블이 행해지고 있는 경우, 디멀티플렉서 등으로 스크램블의 해제를 행한다.

디코더(904)는, 패킷의 복호화 처리를 행하고, 복호 처리화에 의해 생성된 영상 데이터를 영상 신호 처리부(905), 음성 데이터를 음성 신호 처리부(907)에 출력한다.

영상 신호 처리부(905)는, 영상 데이터에 대하여 노이즈 제거나 유저 설정에 따른 영상 처리 등을 행한다. 영상 신호 처리부(905)는, 표시부(906)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통하여 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성한다. 또한, 영상 신호 처리부(905)는, 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 그것을 프로그램의 영상 데이터에 중첩시킨다. 영상 신호 처리부(905)는, 이와 같이 하여 생성한 영상 데이터에 기초하여 구동 신호를 생성하여 표시부(906)를 구동한다.

표시부(906)는, 영상 신호 처리부(905)로부터의 구동 신호에 기초하여 표시 디바이스(예를 들어, 액정 표시 소자 등)를 구동하여 프로그램의 영상 등을 표시시킨다.

음성 신호 처리부(907)는, 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 처리 후의 음성 데이터의 D/A 변환 처리나 증폭 처리를 행하여 스피커(908)에 공급함으로써 음성 출력을 행한다.

외부 인터페이스부(909)는, 외부 기기나 네트워크와 접속하기 위한 인터페이스이며, 영상 데이터나 음성 데이터 등의 데이터 송수신을 행한다.

제어부(910)에는 유저 인터페이스부(911)가 접속되어 있다. 유저 인터페이스부(911)는, 조작 스위치나 리모트 컨트롤 신호 수신부 등으로 구성되어 있고, 유저 조작에 따른 조작 신호를 제어부(910)에 공급한다.

제어부(910)는, CPU(Central Processing Unit)나 메모리 등을 사용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터, EPG 데이터, 네트워크를 통하여 취득된 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 텔레비전 장치(900)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 텔레비전 장치(900)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.

또한, 텔레비전 장치(900)에서는, 튜너(902), 디멀티플렉서(903), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스부(909) 등과 제어부(910)를 접속하기 위하여 버스(912)가 설치되어 있다.

이와 같이 구성된 텔레비전 장치에서는, 디코더(904)에 본원의 복호 장치(복호 방법)의 기능이 설치되어 있다. 이로 인해, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량이 삭감된 부호화 스트림을 복호할 수 있다.

<휴대 전화기의 구성예>

도 26은, 본 기술을 적용한 휴대 전화기의 개략 구성을 예시하고 있다. 휴대 전화기(920)는, 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931)를 갖고 있다. 이들은, 버스(933)를 통해 서로 접속되어 있다.

또한, 통신부(922)에는 안테나(921)가 접속되어 있고, 음성 코덱(923)에는 스피커(924)와 마이크로폰(925)이 접속되어 있다. 또한, 제어부(931)에는 조작부(932)가 접속되어 있다.

휴대 전화기(920)는, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.

음성 통화 모드에서, 마이크로폰(925)으로 생성된 음성 신호는, 음성 코덱(923)으로 음성 데이터로의 변환이나 데이터 압축이 행하여져서 통신부(922)에 공급된다. 통신부(922)는, 음성 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 송신 신호를 생성한다. 또한, 통신부(922)는, 송신 신호를 안테나(921)에 공급하여 도시하지 않은 기지국에 송신한다. 또한, 통신부(922)는, 안테나(921)로 수신된 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 얻어진 음성 데이터를 음성 코덱(923)에 공급한다. 음성 코덱(923)은, 음성 데이터의 데이터 신장이나 아날로그 음성 신호로의 변환을 행하여 스피커(924)에 출력한다.

또한, 데이터 통신 모드에서, 메일 송신을 행할 경우, 제어부(931)는, 조작부(932)의 조작에 의해 입력된 문자 데이터를 접수하여, 입력된 문자를 표시부(930)에 표시한다. 또한, 제어부(931)는, 조작부(932)에서의 유저 지시 등에 기초하여 메일 데이터를 생성하여 통신부(922)에 공급한다. 통신부(922)는, 메일 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는, 안테나(921)로 수신된 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 메일 데이터를 복원한다. 이 메일 데이터를 표시부(930)에 공급하여 메일 내용의 표시를 행한다.

또한, 휴대 전화기(920)는, 수신한 메일 데이터를 기록 재생부(929)에서 기억 매체에 기억시키는 것도 가능하다. 기억 매체는, 재기입 가능한 임의의 기억 매체이다. 예를 들어, 기억 매체는, RAM이나 내장형 플래시 메모리 등의 반도체 메모리, 하드 디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이다.

데이터 통신 모드에서 화상 데이터를 송신할 경우, 카메라부(926)에서 생성된 화상 데이터를 화상 처리부(927)에 공급한다. 화상 처리부(927)는, 화상 데이터의 부호화 처리를 행하고, 부호화 데이터를 생성한다.

다중 분리부(928)는, 화상 처리부(927)에서 생성된 부호화 데이터와, 음성 코덱(923)으로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여 통신부(922)에 공급한다. 통신부(922)는, 다중화 데이터의 변조 처리나 주파수 변환 처리 등을 행하고, 얻어진 송신 신호를 안테나(921)로부터 송신한다. 또한, 통신부(922)는, 안테나(921)로 수신된 수신 신호의 증폭이나 주파수 변환 처리 및 복조 처리 등을 행하고, 다중화 데이터를 복원한다. 이 다중화 데이터를 다중 분리부(928)에 공급한다. 다중 분리부(928)는, 다중화 데이터의 분리를 행하고, 부호화 데이터를 화상 처리부(927), 음성 데이터를 음성 코덱(923)에 공급한다. 화상 처리부(927)는, 부호화 데이터의 복호화 처리를 행하고, 화상 데이터를 생성한다. 이 화상 데이터를 표시부(930)에 공급하여, 수신한 화상의 표시를 행한다. 음성 코덱(923)은, 음성 데이터를 아날로그 음성 신호로 변환하여 스피커(924)에 공급하여, 수신한 음성을 출력한다.

이와 같이 구성된 휴대 전화 장치에서는, 화상 처리부(927)에 본원의 부호화 장치(부호화 방법) 및 복호 장치(복호 방법)의 기능이 설치되어 있다. 이로 인해, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량을 삭감할 수 있다. 또한, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량이 삭감된 부호화 스트림을 복호할 수 있다.

<기록 재생 장치의 구성예>

도 27은, 본 기술을 적용한 기록 재생 장치의 개략 구성을 예시하고 있다. 기록 재생 장치(940)는, 예를 들어 수신한 방송 프로그램의 오디오 데이터와 비디오 데이터를 기록 매체에 기록하여, 그 기록된 데이터를 유저의 지시에 따른 타이밍에 유저에 제공한다. 또한, 기록 재생 장치(940)는, 예를 들어 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그것들을 기록 매체에 기록시킬 수도 있다. 또한, 기록 재생 장치(940)는, 기록 매체에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 출력함으로써, 모니터 장치 등에서 화상 표시나 음성 출력을 행할 수 있도록 한다.

기록 재생 장치(940)는, 튜너(941), 외부 인터페이스부(942), 인코더(943), HDD(Hard Disk Drive)부(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)부(948), 제어부(949), 유저 인터페이스부(950)를 갖고 있다.

튜너(941)는, 도시하지 않은 안테나로 수신된 방송 신호로부터 원하는 채널을 선국한다. 튜너(941)는, 원하는 채널의 수신 신호를 복조하여 얻어진 부호화 비트 스트림을 셀렉터(946)에 출력한다.

외부 인터페이스부(942)는, IEEE1394 인터페이스, 네트워크 인터페이스부, USB 인터페이스, 플래시 메모리 인터페이스 등의 적어도 어느 하나로 구성되어 있다. 외부 인터페이스부(942)는, 외부 기기나 네트워크, 메모리 카드 등과 접속하기 위한 인터페이스이며, 기록하는 영상 데이터나 음성 데이터 등의 데이터 수신을 행한다.

인코더(943)는, 외부 인터페이스부(942)로부터 공급된 영상 데이터나 음성 데이터가 부호화되어 있지 않을 때, 소정의 방식으로 부호화를 행하고, 부호화 비트 스트림을 셀렉터(946)에 출력한다.

HDD부(944)는, 영상이나 음성 등의 콘텐츠 데이터, 각종 프로그램이나 그 밖의 데이터 등을 내장 하드 디스크에 기록하고, 또한 재생 시 등에 그것들을 상기 하드 디스크로부터 판독한다.

디스크 드라이브(945)는, 장착되어 있는 광 디스크에 대한 신호의 기록 및 재생을 행한다. 광 디스크, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등)나 Blu-ray 디스크 등이다.

셀렉터(946)는, 영상이나 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터의 어느 한쪽의 부호화 비트 스트림을 선택하여, HDD부(944)나 디스크 드라이브(945) 중 어느 하나에 공급한다. 또한, 셀렉터(946)는, 영상이나 음성의 재생 시에, HDD부(944) 또는 디스크 드라이브(945)로부터 출력된 부호화 비트 스트림을 디코더(947)에 공급한다.

디코더(947)는, 부호화 비트 스트림의 복호화 처리를 행한다. 디코더(947)는, 복호 처리화를 행함으로써 생성된 영상 데이터를 OSD부(948)에 공급한다. 또한, 디코더(947)는, 복호 처리화를 행함으로써 생성된 음성 데이터를 출력한다.

OSD부(948)는, 항목의 선택 등의 메뉴 화면 등을 표시하기 위한 영상 데이터를 생성하고, 그것을 디코더(947)로부터 출력된 영상 데이터에 중첩시켜서 출력한다.

제어부(949)에는, 유저 인터페이스부(950)가 접속되어 있다. 유저 인터페이스부(950)는, 조작 스위치나 리모트 컨트롤 신호 수신부 등으로 구성되어 있고, 유저 조작에 따른 조작 신호를 제어부(949)에 공급한다.

제어부(949)는, CPU나 메모리 등을 사용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다. 메모리에 기억되어 있는 프로그램은, 기록 재생 장치(940)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 기록 재생 장치(940)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.

이와 같이 구성된 기록 재생 장치에서는, 디코더(947)에 본원의 복호 장치(복호 방법)의 기능이 설치되어 있다. 이로 인해, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량이 삭감된 부호화 스트림을 복호할 수 있다.

<촬상 장치의 구성예>

도 28은, 본 기술을 적용한 촬상 장치의 개략 구성을 예시하고 있다. 촬상 장치(960)는, 피사체를 촬상하고, 피사체의 화상을 표시부에 표시시키거나, 그것을 화상 데이터로서 기록 매체에 기록한다.

촬상 장치(960)는, 광학 블록(961), 촬상부(962), 카메라 신호 처리부(963), 화상 데이터 처리부(964), 표시부(965), 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970)를 갖고 있다. 또한, 제어부(970)에는 유저 인터페이스부(971)가 접속되어 있다. 또한, 화상 데이터 처리부(964)나 외부 인터페이스부(966), 메모리부(967), 미디어 드라이브(968), OSD부(969), 제어부(970) 등은 버스(972)를 통해 접속되어 있다.

광학 블록(961)은, 포커스 렌즈나 교축 기구 등을 사용하여 구성되어 있다. 광학 블록(961)은, 피사체의 광학상을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는, CCD 또는 CMOS 이미지 센서를 사용하여 구성되어 있고, 광전 변환에 의해 광학상에 따른 전기 신호를 생성하여 카메라 신호 처리부(963)에 공급한다.

카메라 신호 처리부(963)는, 촬상부(962)로부터 공급된 전기 신호에 대하여 니 보정이나 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 카메라 신호 처리부(963)는, 카메라 신호 처리 후의 화상 데이터를 화상 데이터 처리부(964)에 공급한다.

화상 데이터 처리부(964)는, 카메라 신호 처리부(963)로부터 공급된 화상 데이터의 부호화 처리를 행한다. 화상 데이터 처리부(964)는, 부호화 처리를 행함으로써 생성된 부호화 데이터를 외부 인터페이스부(966)나 미디어 드라이브(968)에 공급한다. 또한, 화상 데이터 처리부(964)는, 외부 인터페이스부(966)나 미디어 드라이브(968)로부터 공급된 부호화 데이터의 복호화 처리를 행한다. 화상 데이터 처리부(964)는, 복호화 처리를 행함으로써 생성된 화상 데이터를 표시부(965)에 공급한다. 또한, 화상 데이터 처리부(964)는, 카메라 신호 처리부(963)로부터 공급된 화상 데이터를 표시부(965)에 공급하는 처리나, OSD부(969)로부터 취득한 표시용 데이터를, 화상 데이터에 중첩시켜서 표시부(965)에 공급한다.

OSD부(969)는, 기호, 문자 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를 생성하여 화상 데이터 처리부(964)에 출력한다.

외부 인터페이스부(966)는, 예를 들어 USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행할 경우, 프린터와 접속된다. 또한, 외부 인터페이스부(966)에는, 필요에 따라 드라이브가 접속되고, 자기 디스크, 광 디스크 등의 리무버블 미디어가 적절히 장착되고, 그것들로부터 판독된 컴퓨터 프로그램이 필요에 따라 인스톨된다. 또한, 외부 인터페이스부(966)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 제어부(970)는, 예를 들어 유저 인터페이스부(971)로부터의 지시에 따라 메모리부(967)로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스부(966)로부터 네트워크를 통하여 접속되는 다른 장치에 공급시킬 수 있다. 또한, 제어부(970)는, 네트워크를 통하여 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스부(966)를 통하여 취득하고, 그것을 화상 데이터 처리부(964)에 공급하거나 할 수 있다.

미디어 드라이브(968)로 구동되는 기록 미디어로서는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의 판독 기입 가능한 임의의 리무버블 미디어가 사용된다. 또한, 기록 미디어는, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 되고, 디스크이어도 되고, 메모리 카드이어도 된다. 물론, 비접촉 IC 카드 등이어도 된다.

또한, 미디어 드라이브(968)와 기록 미디어를 일체화하고, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 된다.

제어부(970)는, CPU나 메모리 등을 사용하여 구성되어 있다. 메모리는, CPU에 의해 실행되는 프로그램이나 CPU가 처리를 행하는 데 있어서 필요한 각종 데이터 등을 기억한다. 메모리에 기억되어 있는 프로그램은, 촬상 장치(960)의 기동 시 등의 소정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 촬상 장치(960)가 유저 조작에 따른 동작이 되도록 각 부를 제어한다.

이와 같이 구성된 촬상 장치에서는, 화상 데이터 처리부(964)에 본원의 부호화 장치(부호화 방법) 및 복호 장치(복호 방법)의 기능이 설치되어 있다. 이로 인해, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량을 삭감할 수 있다. 또한, 뎁스 화상에 관한 정보를 부호화 스트림에 포함시킬 때에 부호화 스트림의 부호량이 삭감된 부호화 스트림을 복호할 수 있다.

본 기술의 실시 형태는, 상술한 실시 형태에 한정되지 않고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.

(1)

뎁스 화상에 관한 정보인 뎁스 화상 정보를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트로서 설정하는 설정부와,

상기 뎁스 화상을 부호화하여, 부호화 데이터를 생성하는 부호화부와,

상기 설정부에 의해 설정된 상기 파라미터 세트와 상기 부호화부에 의해 생성된 상기 부호화 데이터를 포함하는 부호화 스트림을 전송하는 전송부를 구비하는 부호화 장치.

(2)

상기 설정부는, 상기 파라미터 세트에 상기 파라미터 세트를 일의적으로 식별하는 ID를 설정하고,

상기 전송부는, 상기 뎁스 화상에 대응하는 상기 ID를 포함하는 상기 부호화 스트림을 전송하는 상기 (1)에 기재된 부호화 장치.

(3)

상기 설정부는, 슬라이스 단위의 상기 뎁스 화상에 대응하는 상기 ID를, 그 뎁스 화상의 슬라이스 헤더에 설정하고,

상기 전송부는, 상기 설정부에 의해 설정된 상기 슬라이스 헤더를 포함하는 상기 부호화 스트림을 전송하는 상기 (2)에 기재된 부호화 장치.

(4)

상기 설정부는, 상기 뎁스 화상 정보를 차분 부호화하고, 상기 뎁스 화상 정보의 차분 부호화 결과를 상기 파라미터 세트로서 설정하는 상기 (1) 내지 (3) 중 어느 하나에 기재된 부호화 장치.

(5)

상기 부호화부는, 상기 뎁스 화상 정보를 사용하여 상기 뎁스 화상을 부호화하는 상기 (1) 내지 (4) 중 어느 하나에 기재된 부호화 장치.

(6)

상기 뎁스 화상 정보는, 상기 뎁스 화상의 화소값의 최대값 및 최소값과, 상기 뎁스 화상을 촬영하는 카메라간의 거리를 포함하는 상기 (1) 내지 (5) 중 어느 하나에 기재된 부호화 장치.

(7)

상기 파라미터 세트에는, 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 NAL(Network Abstraction Layer) 유닛 타입이 설정되는 상기 (1) 내지 (6) 중 어느 하나에 기재된 부호화 장치.

(8)

상기 설정부는, 상기 뎁스 화상 정보가 존재하는 것을 식별하는 식별 정보를 설정하고,

상기 전송부는, 상기 설정부에 의해 설정된 상기 식별 정보를 포함하는 상기 부호화 스트림을 전송하는 상기 (1) 내지 (7) 중 어느 하나에 기재된 부호화 장치.

(9)

부호화 장치가,

뎁스 화상에 관한 정보인 뎁스 화상 정보를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트로서 설정하는 설정 스텝과,

상기 뎁스 화상을 부호화하여, 부호화 데이터를 생성하는 부호화 스텝과,

상기 설정 스텝의 처리에 의해 설정된 상기 파라미터 세트와 상기 부호화 스텝의 처리에 의해 생성된 상기 부호화 데이터를 포함하는 부호화 스트림을 전송하는 전송 스텝을 포함하는 부호화 방법.

(10)

뎁스 화상에 관한 정보인 뎁스 화상 정보가 설정된 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트와, 상기 뎁스 화상의 부호화 데이터를 포함하는 부호화 스트림으로부터, 상기 파라미터 세트와 상기 부호화 데이터를 취득하는 취득부와,

상기 취득부에 의해 취득된 상기 파라미터 세트로부터 상기 뎁스 화상 정보를 파스하는 파스 처리부와,

상기 취득부에 의해 취득된 상기 부호화 데이터를 복호하는 복호부를 구비하는 복호 장치.

(11)

상기 파라미터 세트에는, 상기 파라미터 세트를 일의적으로 식별하는 ID가 설정되어 있고,

상기 부호화 스트림은, 상기 뎁스 화상에 대응하는 상기 ID를 포함하는 상기 (10)에 기재된 복호 장치.

(12)

상기 부호화 스트림은, 슬라이스 단위의 상기 뎁스 화상에 대응하는 상기 ID가 설정된 슬라이스 헤더를 포함하는 상기 (11)에 기재된 복호 장치.

(13)

상기 뎁스 화상 정보의 차분 부호화 결과를 복호하여 상기 뎁스 화상 정보를 생성하는 생성부를 더 구비하고,

상기 부호화 스트림은, 상기 뎁스 화상 정보의 차분 부호화 결과가 설정된 상기 파라미터 세트를 포함하고,

상기 생성부는, 상기 파라미터 세트로서 설정된 상기 뎁스 화상 정보의 차분 부호화 결과를 복호하여 상기 뎁스 화상 정보를 생성하는 상기 (10) 내지 (12) 중 어느 하나에 기재된 복호 장치.

(14)

상기 복호부는, 상기 파스 처리부에 의해 파스된 상기 뎁스 화상 정보를 사용하여 상기 부호화 데이터를 복호하는 상기 (10) 내지 (13) 중 어느 하나에 기재된 복호 장치.

(15)

상기 뎁스 화상 정보는, 상기 뎁스 화상의 화소값의 최대값 및 최소값과, 상기 뎁스 화상을 촬영하는 카메라간의 거리를 포함하는 상기 (10) 내지 (14) 중 어느 하나에 기재된 복호 장치.

(16)

상기 파라미터 세트에는, 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 NAL(Network Abstraction Layer) 유닛 타입이 설정되는 상기 (10) 내지 (15) 중 어느 하나에 기재된 복호 장치.

(17)

상기 부호화 스트림은, 상기 뎁스 화상 정보가 존재하는 것을 식별하는 식별 정보를 포함하는 상기 (10) 내지 (16) 중 어느 하나에 기재된 복호 장치.

(18)

복호 장치가,

뎁스 화상에 관한 정보인 뎁스 화상 정보가 설정된 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트와, 상기 뎁스 화상의 부호화 데이터를 포함하는 부호화 스트림으로부터, 상기 파라미터 세트와 상기 부호화 데이터를 취득하는 취득 스텝과,

상기 취득 스텝의 처리에 의해 취득된 상기 파라미터 세트로부터 상기 뎁스 화상 정보를 파스하는 파스 처리 스텝과,

상기 취득 스텝의 처리에 의해 취득된 상기 부호화 데이터를 복호하는 복호 스텝을 포함하는 복호 방법.

50 : 부호화 장치
51 : 다시점 컬러 화상 촬상부
52 : 다시점 컬러 화상 보정부
53 : 다시점 뎁스 화상 생성부
54 : 뎁스 화상 정보 생성부
55 : 다시점 화상 부호화부
61 : SPS 부호화부
62 : PPS 부호화부
63 : DPS 부호화부
64 : 슬라이스 헤더 부호화부
65 : 슬라이스 부호화부
80 : 복호 장치
81 : 다시점 화상 복호부
82 : 시점 합성부
101 : SPS 복호부
102 : PPS 복호부
103: DPS 복호부
104 : 슬라이스 헤더 복호부
105 : 슬라이스 복호부

Claims (18)

1. 부호화 장치로서,
   뎁스 화상(depth image)에 관한 정보인 뎁스 화상 정보를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트로서 설정하는 설정부와,
   상기 뎁스 화상을 부호화하여, 부호화 데이터를 생성하는 부호화부와,
   상기 설정부에 의해 설정된 상기 파라미터 세트와 상기 부호화부에 의해 생성된 상기 부호화 데이터를 포함하는 부호화 스트림을 전송하는 전송부를 구비하는, 부호화 장치.
2. 제1항에 있어서,
   상기 설정부는, 상기 파라미터 세트에, 상기 파라미터 세트를 일의적으로 식별하는 ID를 설정하고,
   상기 전송부는, 상기 뎁스 화상에 대응하는 상기 ID를 포함하는 상기 부호화 스트림을 전송하는, 부호화 장치.
3. 제2항에 있어서,
   상기 설정부는, 슬라이스 단위의 상기 뎁스 화상에 대응하는 상기 ID를, 그 뎁스 화상의 슬라이스 헤더에 설정하고,
   상기 전송부는, 상기 설정부에 의해 설정된 상기 슬라이스 헤더를 포함하는 상기 부호화 스트림을 전송하는, 부호화 장치.
4. 제1항에 있어서, 상기 설정부는, 상기 뎁스 화상 정보를 차분 부호화하고, 상기 뎁스 화상 정보의 차분 부호화 결과를 상기 파라미터 세트로서 설정하는, 부호화 장치.
5. 제1항에 있어서, 상기 부호화부는, 상기 뎁스 화상 정보를 사용하여 상기 뎁스 화상을 부호화하는, 부호화 장치.
6. 제1항에 있어서, 상기 뎁스 화상 정보는, 상기 뎁스 화상의 화소값의 최대값 및 최소값과, 상기 뎁스 화상을 촬영하는 카메라간의 거리를 포함하는, 부호화 장치.
7. 제1항에 있어서, 상기 파라미터 세트에는, 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 NAL(Network Abstraction Layer) 유닛 타입이 설정되는, 부호화 장치.
8. 제1항에 있어서,
   상기 설정부는, 상기 뎁스 화상 정보가 존재하는 것을 식별하는 식별 정보를 설정하고,
   상기 전송부는, 상기 설정부에 의해 설정된 상기 식별 정보를 포함하는 상기 부호화 스트림을 전송하는, 부호화 장치.
9. 부호화 장치가,
   뎁스 화상에 관한 정보인 뎁스 화상 정보를 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트로서 설정하는 설정 스텝과,
   상기 뎁스 화상을 부호화하여, 부호화 데이터를 생성하는 부호화 스텝과,
   상기 설정 스텝의 처리에 의해 설정된 상기 파라미터 세트와 상기 부호화 스텝의 처리에 의해 생성된 상기 부호화 데이터를 포함하는 부호화 스트림을 전송하는 전송 스텝을 포함하는, 부호화 방법.
10. 복호 장치로서,
    뎁스 화상에 관한 정보인 뎁스 화상 정보가 설정된 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트와, 상기 뎁스 화상의 부호화 데이터를 포함하는 부호화 스트림으로부터, 상기 파라미터 세트와 상기 부호화 데이터를 취득하는 취득부와,
    상기 취득부에 의해 취득된 상기 파라미터 세트로부터 상기 뎁스 화상 정보를 파스(parse)하는 파스 처리부와,
    상기 취득부에 의해 취득된 상기 부호화 데이터를 복호하는 복호부를 구비하는, 복호 장치.
11. 제10항에 있어서,
    상기 파라미터 세트에는, 상기 파라미터 세트를 일의적으로 식별하는 ID가 설정되어 있고,
    상기 부호화 스트림은, 상기 뎁스 화상에 대응하는 상기 ID를 포함하는, 복호 장치.
12. 제11항에 있어서, 상기 부호화 스트림은, 슬라이스 단위의 상기 뎁스 화상에 대응하는 상기 ID가 설정된 슬라이스 헤더를 포함하는, 복호 장치.
13. 제10항에 있어서,
    상기 뎁스 화상 정보의 차분 부호화 결과를 복호하여 상기 뎁스 화상 정보를 생성하는 생성부를 더 구비하고,
    상기 부호화 스트림은, 상기 뎁스 화상 정보의 차분 부호화 결과가 설정된 상기 파라미터 세트를 포함하고,
    상기 생성부는, 상기 파라미터 세트로서 설정된 상기 뎁스 화상 정보의 차분 부호화 결과를 복호하여 상기 뎁스 화상 정보를 생성하는, 복호 장치.
14. 제10항에 있어서, 상기 복호부는, 상기 파스 처리부에 의해 파스된 상기 뎁스 화상 정보를 사용하여 상기 부호화 데이터를 복호하는, 복호 장치.
15. 제10항에 있어서, 상기 뎁스 화상 정보는, 상기 뎁스 화상의 화소값의 최대값 및 최소값과, 상기 뎁스 화상을 촬영하는 카메라간의 거리를 포함하는, 복호 장치.
16. 제10항에 있어서, 상기 파라미터 세트에는, 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 NAL(Network Abstraction Layer) 유닛 타입이 설정되는, 복호 장치.
17. 제10항에 있어서, 상기 부호화 스트림은, 상기 뎁스 화상 정보가 존재하는 것을 식별하는 식별 정보를 포함하는, 복호 장치.
18. 복호 장치가,
    뎁스 화상에 관한 정보인 뎁스 화상 정보가 설정된 시퀀스 파라미터 세트 및 픽처 파라미터 세트와는 상이한 파라미터 세트와, 상기 뎁스 화상의 부호화 데이터를 포함하는 부호화 스트림으로부터, 상기 파라미터 세트와 상기 부호화 데이터를 취득하는 취득 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 파라미터 세트로부터 상기 뎁스 화상 정보를 파스하는 파스 처리 스텝과,
    상기 취득 스텝의 처리에 의해 취득된 상기 부호화 데이터를 복호하는 복호 스텝을 포함하는, 복호 방법.

Images