KR101737595B1 - 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램 - Google Patents

Abstract

복수의 다른 시점의 화상으로 이루어지는 다시점 화상을 부호화·복호할 때에, 처리 대상 화상과는 다른 시점에 대한 참조 화상과, 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 부호화·복호를 행하는 화상 부호화·복호 장치로서, 처리 대상 화상을 분할한 처리 대상 영역에 대해, 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정부와, 참조 뎁스 영역에서의 뎁스 정보를 처리 대상 영역에 대한 뎁스 정보로 하여 참조 화상으로부터 처리 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측부를 가진다.

Description

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램{Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program}

본 발명은 다시점 화상을 부호화 및 복호하는 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램에 관한 것이다.

본원은 2012년 12월 27일에 일본 출원된 특원 2012-284616호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

종래부터 복수의 카메라로 동일한 피사체와 배경을 촬영한 복수의 화상으로 이루어지는 다시점 화상(Multiview images: 멀티뷰 이미지)이 알려져 있다. 이 복수의 카메라로 촬영한 동화상을 다시점 동화상(또는 다시점 영상)이라고 한다. 이하의 설명에서는 하나의 카메라로 촬영된 화상(동화상)을 "2차원 화상(동화상)"이라고 부르고, 동일한 피사체와 배경을 위치나 방향(이하, 시점이라고 부름)이 다른 복수의 카메라로 촬영한 2차원 화상(2차원 동화상) 군을 "다시점 화상(다시점 동화상)"이라고 부른다.

2차원 동화상은 시간 방향에 관해 강한 상관이 있고, 그 상관을 이용함으로써 부호화 효율을 높일 수 있다. 한편, 다시점 화상이나 다시점 동화상에서는, 각 카메라가 동기되어 있는 경우, 각 카메라 영상의 같은 시각에 대응하는 프레임(화상)은 완전히 같은 상태의 피사체와 배경을 다른 위치로부터 촬영한 것이므로, 카메라 간(같은 시각의 다른 2차원 화상 간)에 강한 상관이 있다. 다시점 화상이나 다시점 동화상의 부호화에서는, 이 상관을 이용함으로써 부호화 효율을 높일 수 있다.

여기서, 2차원 동화상의 부호화 기술에 관한 종래기술을 설명한다. 국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래 대부분의 2차원 동화상 부호화 방식에서는, 움직임 보상 예측, 직교변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 행한다. 예를 들어, H.264에서는 과거 혹은 미래의 복수 매의 프레임과의 시간 상관을 이용한 부호화가 가능하다.

H.264에서 사용되고 있는 움직임 보상 예측 기술의 상세에 대해서는 예를 들어 비특허문헌 1에 기재되어 있다. H.264에서 사용되고 있는 움직임 보상 예측 기술의 개요를 설명한다. H.264의 움직임 보상 예측은 부호화 대상 프레임을 다양한 크기의 블록으로 분할하고, 각 블록에서 다른 움직임 벡터와 다른 참조 프레임을 가지는 것을 허가하고 있다. 각 블록에서 다른 움직임 벡터를 사용함으로써, 피사체마다 다른 움직임을 보상한 정밀도 높은 예측을 실현하고 있다. 한편, 각 블록에서 다른 참조 프레임을 사용함으로써, 시간 변화에 따라 생기는 오클루전(occlusion)을 고려한 정밀도 높은 예측을 실현하고 있다.

다음에, 종래의 다시점 화상이나 다시점 동화상의 부호화 방식에 대해 설명한다. 다시점 화상의 부호화 방법과 다시점 동화상의 부호화 방법의 차이는, 다시점 동화상에는 카메라 간의 상관에 덧붙여 시간 방향의 상관이 동시에 존재한다는 것이다. 그러나, 어느 쪽의 경우에서도 동일한 방법으로 카메라 간의 상관을 이용할 수 있다. 그 때문에, 여기서는 다시점 동화상의 부호화에서 이용되는 방법에 대해 설명한다.

다시점 동화상의 부호화에 대해서는, 카메라 간의 상관을 이용하기 위해 움직임 보상 예측을 같은 시각의 다른 카메라로 촬영된 화상에 적용한 "시차 보상 예측"에 의해 고효율로 다시점 동화상을 부호화하는 방식이 종래부터 존재한다. 여기서, 시차란 다른 위치에 배치된 카메라의 화상 평면상에서 피사체 상의 같은 부분이 존재하는 위치의 차이이다. 도 15는 카메라 간에 생기는 시차를 나타내는 개념도이다. 도 15에 도시된 개념도에서는, 광축이 평행한 카메라의 화상 평면을 수직으로 내려다 본 것으로 되어 있다. 이와 같이, 다른 카메라의 화상 평면상에서 피사체 상의 같은 부분이 투영되는 위치는 일반적으로 대응점이라고 불린다.

시차 보상 예측에서는, 이 대응 관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로부터 예측하여 그 예측 잔차와 대응 관계를 나타내는 시차 정보를 부호화한다. 시차는 대상으로 하는 카메라 쌍이나 위치마다 변화하기 때문에, 시차 보상 예측을 행하는 영역마다 시차 정보를 부호화하는 것이 필요하다. 실제로 H.264의 다시점 동화상 부호화 방식에서는, 시차 보상 예측을 이용하는 블록마다 시차 정보를 나타내는 벡터를 부호화하고 있다.

시차 정보에 의해 주어지는 대응 관계는, 카메라 파라미터를 이용함으로써 에피폴라(epipolar) 기하 구속에 기초하여 2차원 벡터가 아니라 피사체의 3차원 위치를 나타내는 1차원량으로 나타낼 수 있다. 피사체의 3차원 위치를 나타내는 정보로서는 다양한 표현이 존재하지만, 기준이 되는 카메라에서부터 피사체에 이르기까지의 거리나 카메라의 화상 평면과 평행이 아닌 축 상의 좌표값을 이용하는 경우가 많다. 또, 거리가 아니라 거리의 역수를 이용하는 경우도 있다. 또한, 거리의 역수는 시차에 비례하는 정보가 되기 때문에, 기준이 되는 카메라를 2대 설정하고 이들 카메라로 촬영된 화상 간에서의 시차량으로서 표현하는 경우도 있다. 어떠한 표현을 이용하였다고 해도 본질적인 차이는 없기 때문에, 이하에서는 표현에 의한 구별을 하지 않고 이들 3차원 위치를 나타내는 정보를 뎁스(depth)라고 표현한다.

도 16은 에피폴라 기하 구속의 개념도이다. 에피폴라 기하 구속에 의하면, 어떤 카메라의 화상 상의 점에 대응하는 다른 카메라의 화상 상의 점은 에피폴라 선이라는 직선상에 구속된다. 이때, 그의 화소에 대한 뎁스가 얻어진 경우, 대응점은 에피폴라 선 상에 특유의 형태로 정해진다. 예를 들어, 도 16에 도시된 바와 같이 제1 카메라 화상에서 m의 위치에 투영된 피사체에 대한 제2 카메라 화상에서의 대응점은 실 공간에서의 피사체 위치가 M'인 경우에는 에피폴라 선 상의 위치 m'에 투영되고, 실 공간에서의 피사체 위치가 M"인 경우에는 에피폴라 선 상의 위치 m"에 투영된다.

비특허문헌 2에서는, 이 성질을 이용하여 참조 프레임에 대한 뎁스맵(거리 화상)에 의해 주어지는 각 피사체의 3차원 정보에 따라 참조 프레임으로부터 부호화 대상 프레임에 대한 예측 화상을 합성함으로써, 정밀도 높은 예측 화상을 생성하여 효율적인 다시점 동화상의 부호화를 실현하고 있다. 또, 이 뎁스에 기초하여 생성되는 예측 화상은 시점 합성 화상, 시점 보간 화상 또는 시차 보상 화상이라고 불린다.

또, 특허문헌 1에서는, 처음에 참조 프레임에 대한 뎁스맵을 부호화 대상 프레임에 대한 뎁스맵으로 변환하고, 그 변환된 뎁스맵을 이용하여 대응점을 구함으로써 필요한 영역에 대해서만 시점 합성 화상을 생성하는 것을 가능하게 하고 있다. 이에 따라, 부호화 대상 또는 복호 대상이 되는 프레임의 영역마다 예측 화상을 생성하는 방법을 전환하면서 화상 또는 동화상을 부호화 또는 복호하는 경우에 있어서, 시점 합성 화상을 생성하기 위한 처리량이나 시점 합성 화상을 일시적으로 축적하기 위한 메모리량의 삭감을 실현하고 있다.

특허문헌 1: 일본공개특허 2010-21844호 공보

비특허문헌 1: ITU-T Recommendation H.264(03/2009), "Advanced video coding for generic audiovisual services", March, 2009. 비특허문헌 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.

특허문헌 1에 기재된 방법에 의하면, 부호화 대상 프레임에 대해 뎁스가 얻어지기 때문에, 부호화 대상 프레임의 화소로부터 참조 프레임 상의 대응하는 화소를 구하는 것이 가능하게 된다. 이에 의해, 부호화 대상 프레임의 지정된 영역에 대해서만 시점 합성 화상을 생성함으로써, 부호화 대상 프레임의 일부 영역에만 시점 합성 화상을 필요로 하는 경우에는, 항상 1프레임분의 시점 합성 화상을 생성하는 경우에 비해 처리량이나 요구되는 메모리의 양을 삭감할 수 있다.

그러나, 부호화 대상 프레임 전체에 대해 시점 합성 화상이 필요한 경우는, 참조 프레임에 대한 뎁스맵으로부터 부호화 대상 프레임에 대한 뎁스맵을 합성할 필요가 있기 때문에, 참조 프레임에 대한 뎁스맵으로부터 직접 시점 합성 화상을 생성하는 경우보다 그 처리량이 증가하는 문제가 있다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 처리 대상 프레임의 시점 합성 화상을 생성할 때에 시점 합성 화상의 품질 저하를 억제하면서 적은 연산량으로 시점 합성 화상을 생성하는 것이 가능한 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램을 제공하는 것을 목적으로 한다.

본 발명은, 복수의 다른 시점의 화상으로 이루어지는 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 복호 대상 화상과는 다른 시점에 대한 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 장치로서, 상기 복호 대상 화상을 분할한 복호 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정부와, 상기 참조 뎁스 영역에서의 뎁스 정보를 상기 복호 대상 영역에 대한 뎁스 정보로 하여 상기 참조 화상으로부터 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측부를 구비한다.

본 발명의 화상 복호 장치는, 상기 복호 대상 영역에 대해 참조 뎁스맵에 대한 시차 벡터인 뎁스 참조 시차 벡터를 설정하는 뎁스 참조 시차 벡터 설정부를 더 가져도 되고, 상기 참조 뎁스 설정부에서는 상기 뎁스 참조 시차 벡터에 의해 나타나는 영역을 상기 참조 뎁스 영역으로서 설정해도 된다.

본 발명의 화상 복호 장치에 있어서, 상기 뎁스 참조 시차 벡터 설정부에서는, 상기 복호 대상 영역에 인접하는 영역을 복호할 때에 사용한 시차 벡터를 이용하여 상기 뎁스 참조 시차 벡터를 설정해도 된다.

본 발명의 화상 복호 장치에 있어서, 상기 뎁스 참조 시차 벡터 설정부에서는, 상기 복호 대상 영역과 동일한 위치의 상기 참조 뎁스맵 상의 영역에 대한 뎁스 정보를 이용하여 상기 뎁스 참조 시차 벡터를 설정해도 된다.

본 발명의 화상 복호 장치에 있어서, 상기 시점간 예측부에서는, 상기 복호 대상 영역을 분할한 예측 영역마다 대응하는 상기 참조 뎁스 영역 내의 뎁스 정보를 이용하여 대표 뎁스를 설정해도 되고, 그 대표 뎁스와 상기 참조 화상으로부터 시점 합성 화상을 생성함으로써, 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성해도 된다.

본 발명의 화상 복호 장치에 있어서, 상기 시점간 예측부에서는, 상기 복호 대상 영역을 분할한 예측 영역마다 대응하는 상기 참조 뎁스 영역 내의 뎁스 정보를 이용하여 상기 참조 화상에 대한 시차 벡터인 화상 참조 시차 벡터를 설정해도 되고, 그 화상 참조 시차 벡터와 상기 참조 화상을 이용하여 시차 보상 화상을 생성함으로써, 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성해도 된다.

본 발명의 화상 복호 장치는, 상기 화상 참조 시차 벡터를 축적하는 화상 참조 시차 벡터 축적부와, 상기 축적된 화상 참조 시차 벡터를 이용하여 상기 복호 대상 영역에 인접하는 영역에 대한 예측 시차 정보를 생성하는 시차 예측부를 더 가져도 된다.

본 발명의 화상 복호 장치에 있어서, 상기 시차 예측부에서는 상기 복호 대상 영역에 인접하는 영역에 대한 뎁스 참조 시차 벡터를 생성해도 된다.

본 발명의 화상 복호 장치에 있어서, 상기 화상 참조 시차 벡터를 보정하는 벡터인 보정 시차 벡터를 설정하는 보정 시차 벡터부를 더 가져도 되고, 상기 시점간 예측부에서는 상기 화상 참조 시차 벡터를 상기 보정 시차 벡터로 보정한 벡터와 상기 참조 화상을 이용하여 시차 보상 화상을 생성함으로써 상기 시점간 예측 화상을 생성해도 된다.

본 발명의 화상 복호 장치에 있어서, 상기 보정 시차 벡터 설정부에서는 상기 복호 대상 영역에 대해 하나의 벡터를 상기 보정 시차 벡터로서 설정해도 된다.

본 발명의 화상 복호 장치는, 상기 참조 뎁스 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역 내의 영역 분할을 설정하는 예측 영역 분할 설정부를 더 가져도 되고, 상기 시점간 예측부에서는 상기 영역 분할에 따라 얻어지는 영역을 상기 예측 영역으로 해도 된다.

본 발명은, 복수의 다른 시점의 화상으로 이루어지는 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 복호 대상 화상과는 다른 시점에 대한 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서, 상기 복호 대상 화상을 분할한 복호 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정 단계와, 상기 참조 뎁스 영역에서의 뎁스 정보를 상기 복호 대상 영역에 대한 뎁스 정보로 하여 상기 참조 화상으로부터 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측 단계를 가진다.

본 발명은, 복수의 다른 시점의 화상으로 이루어지는 다시점 화상을 부호화할 때에, 부호화 대상 화상과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서, 상기 부호화 대상 화상을 분할한 부호화 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정부와, 상기 참조 뎁스 영역에서의 뎁스 정보를 상기 부호화 대상 영역에 대한 뎁스 정보로 하여 상기 참조 화상으로부터 상기 부호화 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측부를 구비한다.

본 발명은, 복수의 다른 시점의 화상으로 이루어지는 다시점 화상을 부호화할 때에, 부호화 대상 화상과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서, 상기 부호화 대상 화상을 분할한 부호화 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정 단계와, 상기 참조 뎁스 영역에서의 뎁스 정보를 상기 부호화 대상 영역에 대한 뎁스 정보로 하여 상기 참조 화상으로부터 상기 부호화 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측 단계를 가진다.

본 발명은, 컴퓨터에 상기 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램이다.

본 발명은, 컴퓨터에 상기 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램이다.

본 발명에 의하면, 처리 대상 프레임 이외에 대한 뎁스맵을 이용하여 처리 대상 프레임의 시점 합성 화상을 생성할 때에, 처리 대상 프레임 이외에 대한 뎁스맵을 직접 참조하여 이용함으로써 처리 대상 프레임에 대해 뎁스맵을 생성하는 처리를 생략하고 적은 연산량으로 시점 합성 화상을 생성할 수 있다는 효과를 얻을 수 있다.

도 1은 본 발명의 일 실시형태에서의 화상 부호화 장치를 나타내는 블록도이다.
도 2는 도 1에 도시된 화상 부호화 장치의 동작을 나타내는 흐름도이다.
도 3은 도 2에 도시된 블록(blk)에 대한 시점 합성 화상을 생성하는 처리(단계 S14)의 상세한 처리 동작을 나타내는 흐름도이다.
도 4는 도 1에 도시된 화상 부호화 장치의 변형예를 나타내는 블록도이다.
도 5는 도 1에 도시된 화상 부호화 장치의 동작의 변형예를 나타내는 흐름도이다.
도 6은 도 1에 도시된 화상 부호화 장치의 다른 변형예를 나타내는 블록도이다.
도 7은 본 발명의 일 실시형태에서의 화상 복호 장치를 나타내는 블록도이다.
도 8은 도 7에 도시된 화상 복호 장치의 동작을 나타내는 흐름도이다.
도 9는 도 7에 도시된 화상 복호 장치의 변형예를 나타내는 블록도이다.
도 10은 도 7에 도시된 화상 복호 장치의 동작의 변형예를 나타내는 흐름도이다.
도 11은 도 7에 도시된 화상 복호 장치의 동작의 다른 변형예를 나타내는 흐름도이다.
도 12는 도 7에 도시된 화상 복호 장치의 다른 변형예를 나타내는 블록도이다.
도 13은 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.
도 14는 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.
도 15는 카메라 간에 생기는 시차를 나타내는 개념도이다.
도 16은 에피폴라 기하 구속을 나타내는 개념도이다.

이하, 도면을 참조하여 본 발명의 실시형태에 의한 화상 부호화 장치 및 화상 복호 장치를 설명한다. 이하의 설명에서는, 제1 카메라(카메라 A라고 함), 제2 카메라(카메라 B라고 함)의 2대의 카메라로 촬영된 다시점 화상을 부호화하는 경우를 상정하고, 카메라 A의 화상을 참조 화상으로 하여 카메라 B의 화상을 부호화 또는 복호하는 것으로서 설명한다.

또, 뎁스 정보로부터 시차를 얻기 위해 필요한 정보는 별도로 주어지는 것으로 한다. 구체적으로 카메라 A와 카메라 B의 위치 관계를 나타내는 외부 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 내부 파라미터이지만, 이들 이외의 형태이어도 뎁스 정보로부터 시차가 얻어지는 것이면 다른 정보가 주어져도 된다. 이들 카메라 파라미터에 관한 자세한 설명은 예를 들어 문헌「Olivier Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」에 기재되어 있다. 이 문헌에는 복수의 카메라의 위치 관계를 나타내는 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 파라미터에 관한 설명이 기재되어 있다.

이하의 설명에서는, 화상이나 영상 프레임, 뎁스맵에 대해 기호[]로 끼워진 위치를 특정 가능한 정보(좌표값 혹은 좌표값에 대응 가능한 인덱스)를 부가함으로써, 그 위치의 화소에 의해 샘플링된 화상 신호나 이에 대한 뎁스를 나타내는 것으로 한다. 또한, 좌표값이나 블록에 대응 가능한 인덱스값과 벡터의 가산에 의해, 그 좌표나 블록을 벡터의 분만큼 벗어나게 한 위치의 좌표값이나 블록을 나타내는 것으로 한다.

도 1은 본 실시형태에서의 화상 부호화 장치의 구성을 나타내는 블록도이다. 화상 부호화 장치(100)는, 도 1에 도시된 바와 같이 부호화 대상 화상 입력부(101), 부호화 대상 화상 메모리(102), 참조 화상 입력부(103), 참조 화상 메모리(104), 참조 뎁스맵 입력부(105), 참조 뎁스맵 메모리(106), 시차 벡터 설정부(107), 시점 합성 화상 생성부(108) 및 화상 부호화부(109)를 구비하고 있다.

부호화 대상 화상 입력부(101)는, 부호화 대상이 되는 화상을 입력한다. 이하에서는, 이 부호화 대상이 되는 화상을 부호화 대상 화상이라고 부른다. 여기서는 카메라 B의 화상을 입력하는 것으로 한다. 또한, 부호화 대상 화상을 촬영한 카메라(여기서는 카메라 B)를 부호화 대상 카메라라고 부른다.

부호화 대상 화상 메모리(102)는, 입력한 부호화 대상 화상을 기억한다. 참조 화상 입력부(103)는, 시점 합성 화상(시차 보상 화상)을 생성할 때에 참조하는 화상을 입력한다. 이하에서는, 여기서 입력된 화상을 참조 화상이라고 부른다. 여기서는 카메라 A의 화상을 입력하는 것으로 한다.

참조 화상 메모리(104)는, 입력된 참조 화상을 기억한다. 이하에서는, 참조 화상을 촬영한 카메라(여기서는 카메라 A)를 참조 카메라라고 부른다.

참조 뎁스맵 입력부(105)는, 시점 합성 화상을 생성할 때에 참조하는 뎁스맵을 입력한다. 여기서는 참조 화상에 대한 뎁스맵을 입력하는 것으로 하지만, 다른 카메라에 대한 뎁스맵이라도 상관없다. 이하에서는 이 뎁스맵을 참조 뎁스맵이라고 부른다.

뎁스맵이란 대응하는 화상의 각 화소에 비치는 피사체의 3차원 위치를 나타내는 것이다. 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이면 어떠한 정보라도 좋다. 예를 들어, 카메라에서부터 피사체에 이르기까지의 거리나 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예를 들어 카메라 B)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 시차량이 얻어지면 상관없기 때문에, 뎁스맵이 아니라 시차량을 직접 표현한 시차 맵을 이용해도 상관없다. 또, 여기서는 뎁스맵으로서 화상 형태로 주어지는 것으로 하고 있지만, 마찬가지의 정보가 얻어진다면 화상 형태가 아니어도 상관없다. 참조 뎁스맵 메모리(106)는, 입력된 참조 뎁스맵을 기억한다. 이하에서는 참조 뎁스맵에 대응하는 카메라(여기서는 카메라 A)를 참조 뎁스 카메라라고 부른다.

시차 벡터 설정부(107)는, 부호화 대상 프레임 또는 부호화 대상 프레임을 분할한 블록마다 참조 뎁스맵에 대한 시차 벡터를 설정한다. 시점 합성 화상 생성부(108)(시점간 예측부)는, 참조 뎁스맵을 이용하여 부호화 대상 화상의 화소와 참조 화상의 화소의 대응 관계를 구하고, 부호화 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 부호화부(109)는, 시점 합성 화상을 이용하여 부호화 대상 화상에 대해 예측 부호화를 행하여 부호 데이터인 비트스트림을 출력한다.

다음에, 도 2를 참조하여 도 1에 도시된 화상 부호화 장치(100)의 동작을 설명한다. 도 2는, 도 1에 도시된 화상 부호화 장치(100)의 동작을 나타내는 흐름도이다. 부호화 대상 화상 입력부(101)는 부호화 대상 화상을 입력하고, 부호화 대상 화상 메모리(102)에 기억한다(단계 S11). 다음에, 참조 화상 입력부(103)는 참조 화상을 입력하고, 참조 화상 메모리(104)에 기억한다. 이와 병행하여 참조 뎁스맵 입력부(105)는 참조 뎁스맵을 입력하고, 참조 뎁스맵 메모리(106)에 기억한다(단계 S12).

단계 S12에서 입력되는 참조 화상, 참조 뎁스맵은 이미 부호화 완료한 것을 복호한 것 등 복호 측에서 얻어지는 것과 동일한 것으로 한다. 이는 복호 장치에서 얻어지는 것과 완전히 동일한 정보를 이용함으로써, 드리프트(drift) 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음 발생을 허용하는 경우에는, 부호화 전의 것 등 부호화 측에서만 얻어지는 것이 입력되어도 된다. 참조 뎁스맵에 관해서는, 이미 부호화 완료한 것을 복호한 것 이외에 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등도 복호 측에서 동일한 것이 얻어지는 것으로서 이용할 수 있다.

다음에, 화상 부호화 장치(100)는 부호화 대상 화상을 분할한 블록마다 시점 합성 화상을 만들면서 부호화 대상 화상을 부호화한다. 즉, 부호화 대상 화상의 블록의 인덱스를 나타내는 변수(blk)를 0으로 초기화한 후(단계 S13), blk를 1씩 가산하면서(단계 S16) blk가 numBlks가 될 때까지(단계 S17) 이하의 처리(단계 S14, 단계 S15)를 반복한다. 또, numBlks는 부호화 대상 화상 중의 부호화 처리를 행하는 단위 블록의 개수를 나타낸다.

부호화 대상 화상의 블록마다 행해지는 처리에서는, 우선, 시차 벡터 설정부(107) 및 시점 합성 화상 생성부(108)에서 블록(blk)에 대한 시점 합성 화상을 생성한다(단계 S14). 여기서의 처리는 나중에 자세하게 설명한다.

다음에, 시점 합성 화상을 얻은 후에, 화상 부호화부(109)는 시점 합성 화상을 예측 화상으로 하여 부호화 대상 화상을 예측 부호화하여 출력한다(단계 S15). 부호화 결과 얻어지는 비트스트림이 화상 부호화 장치(100)의 출력이 된다. 또, 복호 측에서 올바르게 복호 가능하다면, 부호화에는 어떠한 방법을 이용해도 된다.

MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화에서는, 블록마다 부호화 대상 화상과 예측 화상의 차분 신호를 생성하고, 차분 화상에 대해 DCT(discrete cosine transform) 등의 주파수 변환을 실시하고, 그 결과 얻어진 값에 대해 양자화, 2치화, 엔트로피 부호화의 처리를 순서대로 적용함으로써 부호화를 행한다.

본 실시형태에서는, 모든 블록에 있어서 시점 합성 화상을 예측 화상으로서 이용하였지만, 블록마다 다른 방법으로 생성된 화상을 예측 화상으로서 이용해도 상관없다. 그 경우, 어느 방법으로 생성된 화상을 예측 화상으로서 이용하였는지를 복호 측에서 판별할 수 있을 필요가 있다. 예를 들어, H.264와 같이 예측 화상을 생성하는 방법(모드나 벡터 정보 등)을 나타낸 정보를 부호화하여 비트스트림에 포함시킴으로써, 복호 측에서 판단할 수 있도록 해도 상관없다.

다음에, 도 3을 참조하여 도 1에 도시된 시차 벡터 설정부(107) 및 시점 합성 화상 생성부(108)의 처리 동작을 설명한다. 도 3은, 도 2에 도시된 부호화 대상 화상을 분할한 블록(blk)(부호화 대상 영역)에 대한 시점 합성 화상을 생성하는 처리(단계 S14)의 상세한 처리 동작을 나타내는 흐름도이다. 우선, 시차 벡터 설정부(107)(참조 뎁스 영역 설정부)는, 블록(blk)에 대해 대응하는 참조 뎁스맵 상의 블록(참조 뎁스 영역)을 나타내기 위한 시차 벡터(dv)(뎁스 참조 시차 벡터)를 설정한다(단계 S1401, 참조 뎁스 영역 설정 단계 및 뎁스 참조 시차 벡터 설정 단계). 어떠한 방법을 이용하여 시차 벡터를 설정해도 상관없지만, 복호 측에서 동일한 시차 벡터가 얻어질 필요가 있다.

시차 벡터(dv)는, 예를 들어 블록(blk)과 동일한 위치의 참조 뎁스맵의 뎁스값으로부터 구할 수 있다. 구체적으로 시차 벡터(dv)는, 블록(blk)과 동일한 위치의 참조 뎁스맵의 블록 내에 존재하는 뎁스값의 최대값, 최소값, 중앙값, 평균값 등을 이용할 수 있다. 또한, 시차 벡터는 블록(blk)과 동일한 위치의 참조 뎁스맵 상의 블록 내의 모든 화소에 대한 뎁스값이 아니라, 중앙이나 네(4) 정점에 위치하는 화소 등 특정의 화소에 대한 뎁스값만을 이용하여 구해도 상관없다.

또한, 다른 방법으로서는 참조 뎁스맵 상을 탐색함으로써 임의의 벡터를 시차 벡터로서 설정하고, 설정한 시차 벡터를 부호화함으로써 복호측에 통지해도 상관없다. 이 경우, 도 4에 도시된 바와 같이, 화상 부호화 장치(100)는 시차 벡터 부호화부(110)와 다중화부(111)를 더 구비하면 좋다. 도 4는, 도 1에 도시된 화상 부호화 장치(100)의 변형예를 나타내는 블록도이다. 시차 벡터 부호화부(110)는 시차 벡터 설정부(107)가 설정한 시차 벡터를 부호화하고, 다중화부(111)는 시차 벡터의 비트스트림과 부호화 대상 화상의 비트스트림을 다중화하여 출력한다.

또, 블록마다 시차 벡터를 설정하여 부호화하는 것이 아니라, 프레임이나 슬라이스 등의 큰 단위마다 글로벌한 시차 벡터를 설정하여 그 프레임이나 슬라이스 내의 블록에서는 동일한 시차 벡터로서 설정된 글로벌 시차 벡터를 이용해도 상관없다. 이 경우, 도 5에 도시된 바와 같이, 블록마다 행해지는 처리 전에(단계 S13 전에) 참조 뎁스맵에 대한 시차 벡터를 설정하고(단계 S18), 도 3에 도시된 단계 S1401을 스킵하면 된다. 도 5는, 도 2에 도시된 동작의 변형예를 나타내는 흐름도이다.

글로벌 시차 벡터는 다양한 방법을 이용하여 설정할 수 있다. 예를 들어, 글로벌 시차 벡터를 설정하는 영역 전체를 하나의 블록으로 간주하여 블록 매칭을 행함으로써 벡터를 구해도 상관없다. 또한, 글로벌 시차 벡터를 설정하는 영역 전체를 복수의 블록으로 분할하여 블록마다 블록 매칭을 행함으로써 얻어진 복수의 벡터로부터 가장 근접한 벡터를 선택함으로써 하나의 글로벌 시차 벡터를 구해도 상관없다. 또한, 설정한 영역과 동일한 위치의 참조 뎁스맵 상의 영역에 대한 뎁스값을 해석함으로써 하나의 뎁스값을 구하고, 그 뎁스값에 대응하는 시차 벡터를 글로벌 시차 벡터로 해도 상관없다.

또 다른 방법으로서는, 블록(blk)을 부호화할 때까지 부호화된 블록에 있어서 부호화된 벡터 정보로부터 블록(blk)에 대한 시차 벡터를 설정해도 상관없다. 구체적으로 블록(blk)에 공간적 또는 시간적으로 인접하는 블록이나 프레임 등을 부호화할 때에 시차 보상 예측을 이용한 경우, 그 블록에는 어떠한 시차 벡터가 부호화되어 있다. 따라서, 미리 정해진 방법에 따라 이들 시차 벡터로부터 블록(blk)에서의 시차 벡터를 구해도 상관없다.

미리 정해진 방법으로서 인접 블록에서의 시차 벡터로부터 메디안(median) 예측을 행하는 방법이나, 특정 블록에서의 시차 벡터를 그대로 이용하는 방법이 있다. 이 경우, 도 6에 도시된 바와 같이, 화상 부호화 장치(100)는 벡터 정보 메모리(112)를 더 구비하도록 하면 좋다. 도 6은, 도 1에 도시된 화상 부호화 장치(100)의 변형예를 나타내는 블록도이다. 벡터 정보 메모리(112)는, 화상 부호화부(109)에서 예측 화상을 생성할 때에 이용한 벡터 정보를 축적한다. 축적된 벡터 정보는, 시차 벡터 설정부(107)에서 다른 블록(blk)에 대한 시차 벡터를 설정할 때에 이용된다.

또한, 이 방법을 전술한 시차 벡터를 부호화함으로써 임의의 벡터를 시차 벡터로 하는 방법과 조합해도 상관없다. 예를 들어, 설정된 임의의 벡터와 블록(blk)을 부호화할 때까지 부호화된 블록에 있어서 부호화된 벡터 정보로부터 추정한 벡터의 차분 벡터를 생성하고, 그 차분 벡터를 부호화해도 상관없다.

도 3으로 되돌아가, 블록(blk)에 대한 시차 벡터를 설정하면, 다음에 블록(blk)을 분할한 서브 블록마다 시점 합성 화상을 생성한다. 즉, 서브 블록의 인덱스를 나타내는 변수(sblk)를 0으로 초기화한 후(단계 S1402), sblk를 1씩 가산하면서(단계 S1406) sblk가 numSBlks가 될 때까지(단계 S1407) 이하의 처리(단계 S1403~S1405)를 반복한다.

여기서, numSBlks는 블록(blk) 내의 서브 블록의 개수를 나타낸다.

또, 서브 블록의 크기나 형상은 다양한 것을 이용할 수 있지만, 복호 측에서 동일한 서브 블록 분할이 얻어질 필요가 있다. 서브 블록의 크기는 예를 들어 세로×가로로 2화소×2화소, 4화소×4화소, 8화소×8화소 등 미리 정해진 분할을 이용해도 상관없다. 또, 미리 정해진 분할로서는 1화소×1화소(즉, 화소마다)나 블록(blk)과 동일한 크기(즉, 분할을 행하지 않음)를 이용해도 상관없다.

복호 측과 동일한 서브 블록 분할을 이용하는 다른 방법으로서, 서브 블록 분할 방법을 부호화함으로써 복호측에 통지해도 상관없다. 이 경우, 서브 블록 분할 방법에 대한 비트스트림은 부호화 대상 화상의 비트스트림과 다중화되어 화상 부호화 장치(100)가 출력하는 비트스트림의 일부가 된다. 또, 서브 블록 분할 방법을 선택하는 경우는, 하나의 서브 블록에 포함되는 화소가 참조 화상에 대해 가능한 한 동일한 시차를 가지고, 가능한 한 적은 수의 서브 블록으로 분할하는 것과 같은 방법을 선택함으로써, 후술하는 시점 합성 화상의 생성 처리에 의해 고품질의 예측 화상을 적은 처리량으로 생성하는 것이 가능하게 된다. 또, 이 경우, 복호 측에서는 비트스트림으로부터 서브 블록 분할을 나타내는 정보를 복호하고, 복호된 정보에 기초한 방법에 따라 서브 블록 분할을 행한다.

또 다른 방법으로서, 단계 S1401에서 설정된 시차 벡터(dv)에 의해 나타나는 참조 뎁스맵 상의 블록(blk+dv)에 대한 뎁스로부터 서브 블록 분할(부호화 대상 영역 내의 영역 분할)을 결정해도 상관없다(예측 영역 분할 설정 단계). 예를 들어, 참조 뎁스맵의 블록(blk+dv)의 뎁스를 클러스터링(clustering)함으로써 서브 블록 분할을 구할 수 있다. 또한, 클러스터링을 행하는 것이 아니라, 미리 정해진 분할의 종류 중에서 가장 올바르게 뎁스가 분류되는 분할을 선택하도록 해도 상관없다.

서브 블록마다 행해지는 처리에서는, 우선, 참조 뎁스맵을 이용하여 서브 블록(sblk)에 대해 하나의 뎁스값을 결정한다(단계 S1403). 구체적으로 단계 S1401에서 설정된 시차 벡터(dv)에 의해 나타나는 참조 뎁스맵 상의 블록(sblk+dv) 내의 화소에 대한 뎁스로부터 하나의 뎁스값을 결정한다.

블록 내의 화소에 대한 뎁스로부터 하나의 뎁스를 결정하는 방법에는 다양한 방법을 이용할 수 있다. 단, 복호 측과 동일한 방법을 이용하는 것이 필요하다. 예를 들어, 블록 내의 화소에 대한 뎁스값의 평균값·최대값·최소값·중앙값 중 어느 하나를 이용해도 상관없다. 또한, 블록의 네(4) 정점의 화소에 대한 뎁스값의 평균값·최대값·최소값·중앙값 중 어느 하나를 이용해도 상관없다. 나아가 블록의 특정 장소(좌상이나 중앙 등)에서의 뎁스값을 이용해도 상관없다.

또 시차 벡터(dv)가 소수 화소로 주어진 경우, 블록 내의 어떤 장소에 대한 뎁스값을 이용할 때에 그 위치의 뎁스값이 참조 뎁스맵에는 존재하지 않게 된다. 그 경우, 대응하는 소수 화소 위치에 대한 뎁스값을 보간하여 구한 후에 이용해도 상관없고, 정수 화소 위치로 라운딩(rounding)함으로써 정수 화소 위치에 대한 뎁스값을 이용해도 상관없다.

서브 블록(sblk)에 대해 뎁스값이 얻어지면, 다음에 그 뎁스값으로부터 참조 화상에 대한 시차 벡터(sdv)(화상 참조 시차 벡터)를 구한다(단계 S1404). 뎁스값에서 시차 벡터로의 변환은 주어진 카메라 파라미터 등의 정의에 따라 행한다. 또, 서브 블록에 대한 좌표값이 필요한 경우는 서브 블록의 좌상 등 특정 위치의 화소 위치나 서브 블록의 중앙 위치를 이용할 수 있다. 또한, 카메라 배치가 1차원 평행인 경우, 서브 블록 위치에 관계없이 시차의 방향은 카메라의 배치에 의존하고, 시차량은 뎁스값에 의존하기 때문에, 미리 작성한 룩업 테이블을 참조함으로써 뎁스값으로부터 시차 벡터를 구할 수 있다.

다음에, 얻어진 시차 벡터(sdv)와 참조 화상을 이용하여 서브 블록(sblk)에 대한 시차 보상 화상(시점간 예측 화상)을 생성한다(단계 S1405, 시점간 예측 단계). 여기서의 처리는, 주어진 벡터와 참조 화상을 이용하는 것만으로 종래의 시차 보상 예측이나 움직임 보상 예측과 동일한 방법을 이용할 수 있다.

또, 단계 S1404와 단계 S1405에서 실현되는 처리는, 서브 블록(blk)에 대해 하나의 뎁스값이 주어졌을 때에 시점 합성 화상을 생성하는 처리의 일례이다. 여기서는, 서브 블록에 대해 주어진 하나의 뎁스값으로부터 시점 합성 화상을 생성할 수 있으면 다른 방법을 이용해도 상관없다. 예를 들어, 서브 블록이 하나의 뎁스 평면에 속한다고 가정함으로써 참조 화상 상의 대응 영역(서브 블록과 동일한 형상이나 크기일 필요는 없음)을 동정(同定; identification)하고, 그 대응 영역에 대한 참조 화상을 워핑(warping)함으로써 시점 합성 화상을 생성해도 상관없다.

또한, 카메라의 투영 모델을 모델화, 다시점 화상의 평행화(rectification), 뎁스 등의 오차가 존재하기 때문에, 뎁스로부터 카메라 파라미터에 기초하여 구한 시차 벡터에는 오차가 포함된다. 이를 보상하기 위해, 시차 벡터(sdv)에 대해 참조 화상 상에서의 보정 벡터(cmv)를 이용해도 상관없다. 그 경우, 단계 S1405에서는 벡터(sdv+cmv)를 시차 벡터로 하여 시차 보상 화상을 생성한다. 또, 어떠한 벡터를 보정 벡터로 해도 상관없지만, 효율적인 보정 벡터의 설정에는 부호화 대상 영역에서의 시차 보상 화상과 부호화 대상 화상의 오차나 부호화 대상 영역에서의 레이트 왜곡 비용의 최소화를 이용할 수 있다.

보정 벡터는 복호 측에서 동일한 것이 얻어지면 임의의 벡터를 이용해도 상관없다.

예를 들어, 임의의 벡터를 설정하고, 그 벡터를 부호화함으로써 복호 측에 통지해도 상관없다. 부호화하여 전송하는 경우는, 블록(blk)마다 하나의 보정 벡터를 설정함으로써 그 부호화에서 필요한 부호량을 억제할 수 있다.

또, 보정 벡터가 부호화되어 있는 경우는, 복호 측에서는 비트스트림으로부터 적절한 타이밍(서브 블록마다나 블록마다)에 벡터를 복호하고, 복호한 벡터를 보정 벡터로서 사용한다.

블록이나 서브 블록마다 사용한 카메라간 예측 화상에 관한 정보를 축적하는 경우, 뎁스를 이용한 시점 합성 화상을 참조하였음을 나타내는 정보를 축적해도 상관없고, 실제로 카메라간 예측 화상을 생성할 때에 사용한 정보(화상 참조 시차 벡터)를 축적해도 상관없다(화상 참조 시차 벡터 축적 단계). 또, 축적된 정보는 다른 블록이나 다른 프레임을 부호화 또는 복호할 때에 참조된다. 예를 들어, 어떤 블록에 대한 벡터 정보(시차 보상 예측에 이용하는 벡터 등)를 부호화 또는 복호할 때에, 그 블록 주변의 이미 부호화 완료 블록에 축적되어 있는 벡터 정보로부터 예측 벡터 정보를 생성하여 예측 벡터 정보와의 차분만 부호화 또는 복호해도 상관없다. 다른 예로서는, 어떤 블록에 대한 시차 벡터(dv)를 그 블록 주변의 이미 부호화 또는 복호 완료 블록에 축적되어 있는 벡터 정보를 이용하여 설정해도 상관없다.

뎁스를 이용한 시점 합성 화상을 참조하였음을 나타내는 정보로서는 대응하는 예측 모드 정보를 축적해도 상관없고, 예측 모드로서는 프레임간 예측 모드에 대응하는 정보를 축적하고, 그때의 참조 프레임으로서 시점 합성 화상에 대응하는 참조 프레임 정보를 축적해도 상관없다. 또한, 벡터 정보로서 시차 벡터(dv)를 축적해도 상관없고, 시차 벡터(dv)와 보정 벡터(cmv)를 축적해도 상관없다.

실제로 카메라간 예측 화상을 생성할 때에 사용한 정보로서는, 예측 모드로서는 프레임간 예측 모드에 대응하는 정보를 축적하고, 그때의 참조 프레임으로서 참조 화상을 축적해도 상관없다. 또한, 벡터 정보로서는 서브 블록마다 참조 화상에 대한 시차 벡터(sdv) 또는 보정된 참조 화상에 대한 시차 벡터(sdv+cmv)를 축적해도 상관없다. 또, 워핑 등을 이용한 경우 등 서브 블록 내에서 2개 이상의 벡터가 사용되고 있는 경우가 있다. 그 경우는 모든 벡터를 축적해도 상관없고, 미리 정해진 방법으로 서브 블록마다 하나의 벡터를 선택하여 축적해도 상관없다. 하나의 벡터를 선택하는 방법으로서는, 예를 들어 시차량이 최대인 벡터로 하는 방법이나 서브 블록의 특정 위치(좌상 등)에서의 벡터로 하는 방법 등이 있다.

다음에, 화상 복호 장치에 대해 설명한다. 도 7은, 본 실시형태에서의 화상 복호 장치의 구성을 나타내는 블록도이다. 화상 복호 장치(200)는, 도 7에 도시된 바와 같이 비트스트림 입력부(201), 비트스트림 메모리(202), 참조 화상 입력부(203), 참조 화상 메모리(204), 참조 뎁스맵 입력부(205), 참조 뎁스맵 메모리(206), 시차 벡터 설정부(207), 시점 합성 화상 생성부(208) 및 화상 복호부(209)를 구비하고 있다.

비트스트림 입력부(201)는, 복호 대상이 되는 화상을 부호화한 부호 데이터의 비트스트림을 입력한다. 이하에서는, 이 복호 대상이 되는 화상을 복호 대상 화상이라고 부른다. 여기서는 카메라 B의 화상을 가리킨다. 또한, 이하에서는 복호 대상 화상을 촬영한 카메라(여기서는 카메라 B)를 복호 대상 카메라라고 부른다.

비트스트림 메모리(202)는, 입력한 복호 대상 화상에 대한 비트스트림을 기억한다. 참조 화상 입력부(203)는, 시점 합성 화상(시차 보상 화상)을 생성할 때에 참조하는 화상을 입력한다. 이하에서는, 여기서 입력된 화상을 참조 화상이라고 부른다. 여기서는 카메라 A의 화상이 입력되는 것으로 한다. 참조 화상 메모리(204)는, 입력한 참조 화상을 기억한다. 이하에서는, 참조 화상을 촬영한 카메라(여기서는 카메라 A)를 참조 카메라라고 부른다.

참조 뎁스맵 입력부(205)는, 시점 합성 화상을 생성할 때에 참조하는 뎁스맵을 입력한다. 여기서는 참조 화상에 대한 뎁스맵을 입력하는 것으로 하지만, 다른 카메라에 대한 뎁스맵이라도 상관없다. 이하에서는 이 뎁스맵을 참조 뎁스맵이라고 부른다.

뎁스맵이란 대응하는 화상의 각 화소에 비치는 피사체의 3차원 위치를 나타내는 것이다. 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이면 어떠한 정보라도 좋다. 예를 들어, 카메라에서부터 피사체에 이르기까지의 거리나 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예를 들어 카메라 B)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 시차량이 얻어지면 상관없기 때문에, 뎁스맵이 아니라 시차량을 직접 표현한 시차 맵을 이용해도 상관없다.

또, 여기서는 뎁스맵으로서 화상 형태로 주어지는 것으로 하고 있지만, 마찬가지의 정보가 얻어진다면 화상 형태가 아니어도 상관없다. 참조 뎁스맵 메모리(206)는, 입력된 참조 뎁스맵을 기억한다. 이하에서는 참조 뎁스맵에 대응하는 카메라(여기서는 카메라 A)를 참조 뎁스 카메라라고 부른다.

시차 벡터 설정부(207)는, 복호 대상 화상 또는 복호 대상 화상을 분할한 블록마다 참조 뎁스맵에 대한 시차 벡터를 설정한다. 시점 합성 화상 생성부(208)(시점간 예측부)는, 참조 뎁스맵을 이용하여 복호 대상 화상의 화소와 참조 화상의 화소의 대응 관계를 구하고, 복호 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 복호부(209)는, 시점 합성 화상을 이용하여 비트스트림으로부터 복호 대상 화상을 복호하여 복호 화상을 출력한다.

다음에, 도 8을 참조하여 도 7에 도시된 화상 복호 장치(200)의 동작을 설명한다. 도 8은, 도 7에 도시된 화상 복호 장치(200)의 동작을 나타내는 흐름도이다.

비트스트림 입력부(201)는 복호 대상 화상을 부호화한 비트스트림을 입력하고, 비트스트림 메모리(202)에 기억한다(단계 S21). 이와 병행하여 참조 화상 입력부(203)는 참조 화상을 입력하고, 참조 화상 메모리(204)에 기억한다. 또한, 참조 뎁스맵 입력부(205)는 참조 뎁스맵을 입력하고, 참조 뎁스맵 메모리(206)에 기억한다(단계 S22).

단계 S22에서 입력되는 참조 화상과 참조 뎁스맵은 부호화 측에서 사용된 것과 동일한 것으로 한다. 이는 화상 부호화 장치(100)에서 사용한 것과 완전히 동일한 정보를 이용함으로써, 드리프트 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음 발생을 허용하는 경우에는, 부호화시에 사용된 것과 다른 것이 입력되어도 된다. 참조 뎁스맵에 관해서는, 별도로 복호한 것 이외에 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등을 이용할 수도 있다.

다음에, 화상 복호 장치(200)는 복호 대상 화상을 분할한 블록마다 시점 합성 화상을 만들면서 비트스트림으로부터 복호 대상 화상을 복호한다. 즉, 복호 대상 화상의 블록의 인덱스를 나타내는 변수(blk)를 0으로 초기화한 후(단계 S23), blk를 1씩 가산하면서(단계 S26) blk가 numBlks가 될 때까지(단계 S27) 이하의 처리(단계 S24, 단계 S25)를 반복한다. 또, numBlks는 복호 대상 화상 중의 복호 처리를 행하는 단위 블록의 개수를 나타낸다.

복호 대상 화상의 블록마다 행해지는 처리에서는, 우선, 시차 벡터 설정부(207)(참조 뎁스 영역 설정부) 및 시점 합성 화상 생성부(208)(시점간 예측부)에서 블록(blk)에 대한 시점 합성 화상을 생성한다(단계 S24). 여기서의 처리는 전술한 도 2에 도시된 단계 S14(도 3에 도시된 단계 S1401~S1407)와 동일하므로 상세한 설명을 생략한다. 예측 영역 분할 설정부로서의 시점 합성 화상 생성부(208)에 의한 서브 블록 분할(부호화 대상 영역 내의 영역 분할), 서브 블록마다 행해지는 처리에 대해서도 마찬가지이다.

다음에, 시점 합성 화상이 얻어졌다면, 화상 복호부(209)는 시점 합성 화상을 예측 화상으로서 이용하면서 비트스트림으로부터 복호 대상 화상을 복호하여 출력한다(단계 S25). 이 결과 얻어지는 복호 화상이 화상 복호 장치(200)의 출력이 된다. 또, 비트스트림을 올바르게 복호할 수 있다면, 복호에는 어떠한 방법을 이용해도 된다. 일반적으로 부호화시에 이용된 방법에 대응하는 방법이 이용된다.

MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화로 부호화되어 있는 경우는, 블록마다 엔트로피 복호, 역2치화, 역양자화 등을 실시한 후, IDCT 등 역주파수 변환을 실시하여 예측 잔차 신호를 얻은 후, 예측 화상을 가하여 화소값 범위에서 클리핑(cipping)함으로써 복호를 행한다.

본 실시형태에서는, 모든 블록에 있어서 시점 합성 화상을 예측 화상으로서 이용하였지만, 블록마다 다른 방법으로 생성된 화상을 예측 화상으로서 이용해도 상관없다. 그 경우, 어느 방법으로 생성된 화상을 예측 화상으로서 이용하였는지를 판별하여 적절한 예측 화상을 사용할 필요가 있다. 예를 들어, H.264와 같이 예측 화상을 생성하는 방법(모드나 벡터 정보 등)을 나타낸 정보가 부호화되어 비트스트림에 포함되어 있는 경우, 그 정보를 복호함으로써 적절한 예측 화상을 선택하여 복호를 행해도 상관없다.

또, 도 8에 도시된 단계 S24의 상세 처리는 도 3에 도시된 처리 동작과 동등하지만, 시차 벡터(dv)를 설정하는 단계 S1401에서는 부호화 측과 동일한 처리를 행할 필요가 있다. 그 하나의 방법으로서 시차 벡터(dv)가 비트스트림에 다중화되어 있는 경우가 있다. 이 경우, 도 9에 도시된 바와 같이, 화상 복호 장치(200)는 비트스트림 분리부(210)와 시차 벡터 복호부(211)(뎁스 참조 시차 벡터 설정부)를 더 구비하면 좋다. 도 9는, 도 7에 도시된 화상 복호 장치(200)의 변형예를 나타내는 블록도이다.

비트스트림 분리부(210)는, 입력된 비트스트림을 시차 벡터(dv)에 대한 비트스트림과 복호 대상 화상에 대한 비트스트림으로 분리한다. 또한, 시차 벡터 복호부(211)에서는 분리된 비트스트림으로부터 시차 벡터(dv)를 복호하고, 복호된 시차 벡터가 시점 합성 화상 생성부(208)에서 사용된다. 즉, 도 10에 도시된 바와 같이 블록(blk)마다 시차 벡터를 복호한 후에(단계 S28), 시점 합성 화상의 생성(단계 S24) 및 복호 대상 화상의 복호(단계 S25)를 행한다. 도 10은, 도 8에 도시된 동작의 변형예를 나타내는 흐름도이다.

또, 블록마다 시차 벡터를 복호하는 것이 아니라, 프레임이나 슬라이스 등의 큰 단위마다 글로벌한 시차 벡터를 복호하여 그 프레임이나 슬라이스 내의 블록에서는 동일한 시차 벡터로서 복호된 글로벌 시차 벡터를 이용해도 상관없다. 이 경우, 도 11에 도시된 바와 같이, 블록마다 행해지는 처리 전에 참조 뎁스맵에 대한 시차 벡터를 복호한다(단계 S29). 도 11은, 도 8에 도시된 동작의 변형예를 나타내는 흐름도이다.

다른 방법으로서는, 블록(blk)을 복호할 때까지 복호된 블록에 있어서 복호된 벡터 정보로부터 블록(blk)에 대한 시차 벡터를 설정해도 상관없다.

구체적으로 블록(blk)에 공간적 또는 시간적으로 인접하는 블록이나 프레임 등을 복호할 때에 시차 보상 예측을 이용한 경우, 그 블록에는 어떠한 시차 벡터가 복호되어 있다. 따라서, 미리 정해진 방법에 따라 이들 시차 벡터로부터 블록(blk)에서의 시차 벡터를 구해도 상관없다.

미리 정해진 방법으로서 인접 블록에서의 시차 벡터로부터 메디안 예측을 행하는 방법이나, 특정 블록에서의 시차 벡터를 그대로 이용하는 방법이 있다. 이 경우, 도 12에 도시된 바와 같이, 화상 복호 장치(200)는 벡터 정보 메모리(212)(화상 참조 시차 벡터 축적부)를 더 구비하면 좋다. 도 12는, 도 7에 도시된 화상 복호 장치(200)의 변형예를 나타내는 블록도이다. 벡터 정보 메모리(212)는, 화상 복호부(209)에서 예측 화상을 생성할 때에 이용한 벡터 정보를 축적한다. 축적된 벡터 정보는, 시차 벡터 설정부(207)에서 다른 블록(blk)에 대한 시차 벡터를 설정할 때에 이용된다.

또한, 이 방법을 전술한 시차 벡터를 복호함으로써 임의의 벡터를 시차 벡터로 하는 방법과 조합해도 상관없다. 예를 들어, 블록(blk)을 복호할 때까지 복호된 블록에 있어서 복호된 벡터 정보로부터 추정한 벡터에 대해, 비트스트림으로부터 복호된 벡터를 가산하여 시차 벡터(dv)로 해도 상관없다. 또, 전술한 바와 같이 블록(blk)과 동일한 위치의 참조 뎁스맵의 뎁스값으로부터 시차 벡터(dv)를 구해도 상관없다.

전술한 설명에서는 1프레임 중의 모든 화소를 부호화 및 복호하는 처리를 설명하였지만, 일부 화소에만 적용하고 그 밖의 화소에서는 H.264/AVC 등에서 이용되는 화면내 예측 부호화나 움직임 보상 예측 부호화 등을 이용하여 부호화 또는 복호를 행해도 된다. 그 경우에는, 화소마다 어느 방법을 이용하여 예측하였는지를 나타내는 정보를 부호화 및 복호할 필요가 있다. 또한, 화소마다가 아니라 블록마다 다른 예측 방식을 이용하여 부호화 또는 복호를 행해도 된다. 또, 일부 화소나 블록에 대해서만 시점 합성 화상을 이용한 예측을 행하는 경우는, 그 화소에 대해서만 시점 합성 화상을 생성하는 처리(도 2에 도시된 단계 S14, 도 8에 도시된 단계 S24, S28)를 행하도록 함으로써 시점 합성 처리에 드는 연산량을 삭감하는 것이 가능하게 된다.

또한, 전술한 설명에서는 1프레임을 부호화 및 복호하는 처리를 설명하였지만, 복수 프레임 반복함으로써 동화상 부호화에도 적용할 수 있다. 또한, 동화상의 일부 프레임이나 일부 블록에만 적용할 수도 있다. 나아가 전술한 설명에서는 화상 부호화 장치 및 화상 복호 장치의 구성 및 처리 동작을 설명하였지만, 이들 화상 부호화 장치 및 화상 복호 장치의 각 부의 동작에 대응한 처리 동작에 의해 본 발명의 화상 부호화 방법 및 화상 복호 방법을 실현할 수 있다.

나아가 전술한 설명에서는, 참조 뎁스맵이 부호화 대상 카메라 또는 복호 대상 카메라와는 다른 카메라로 촬영된 화상에 대한 뎁스맵이라고 하여 설명을 하였지만, 부호화 대상 화상 또는 복호 대상 화상과는 다른 시각에 부호화 대상 카메라 또는 복호 대상 카메라에 의해 촬영된 화상에 대한 뎁스맵을 참조 뎁스맵으로서 이용할 수 있다. 그 경우, 단계 S1401, 단계 S18, 단계 S28, 단계 S29에서는 시차 벡터가 아니라 움직임 벡터를 설정 또는 복호한다.

도 13은, 전술한 화상 부호화 장치(100)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.

도 13에 도시된 시스템은 프로그램을 실행하는 CPU(50), 메모리(51), 부호화 대상 화상 입력부(52), 참조 화상 입력부(53), 참조 뎁스맵 입력부(54), 프로그램 기억 장치(55), 비트스트림 출력부(56)가 버스로 접속된 구성으로 되어 있다.

RAM 등의 메모리(51)는, CPU(50)가 액세스하는 프로그램이나 데이터를 저장한다. 부호화 대상 화상 입력부(52)는, 카메라 등으로부터의 부호화 대상의 화상 신호를 입력한다. 이 부호화 대상 화상 입력부(52)는, 화상 신호를 기억하는 디스크 장치 등의 기억부라도 좋다. 참조 화상 입력부(53)는, 카메라 등으로부터의 참조 대상의 화상 신호를 입력한다. 이 참조 화상 입력부(53)는, 화상 신호를 기억하는 디스크 장치 등의 기억부라도 좋다. 참조 뎁스맵 입력부(54)는, 뎁스 카메라 등으로부터의 부호화 대상 화상을 촬영한 카메라와는 다른 위치나 방향의 카메라에 대한 뎁스맵을 입력한다. 이 참조 뎁스맵 입력부(54)는, 뎁스맵을 기억하는 디스크 장치 등의 기억부라도 좋다. 프로그램 기억 장치(55)는, 화상 부호화 처리를 CPU(50)에 실행시키는 소프트웨어 프로그램인 화상 부호화 프로그램(551)을 저장한다. 비트스트림 출력부(56)는, CPU(50)가 메모리(51)에 로드된 화상 부호화 프로그램(551)을 실행함으로써 생성된 비트스트림을 예를 들어 네트워크를 통해 출력한다. 이 비트스트림 출력부(56)는, 비트스트림을 기억하는 디스크 장치 등의 기억부라도 좋다.

도 14는, 전술한 화상 복호 장치(200)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.

도 14에 도시된 시스템은 프로그램을 실행하는 CPU(60), 메모리(61), 비트스트림 입력부(62), 참조 화상 입력부(63), 참조 뎁스맵 입력부(64), 프로그램 기억 장치(65), 복호 대상 화상 출력부(66)가 버스로 접속된 구성으로 되어 있다.

RAM 등의 메모리(51)는, CPU(60)가 액세스하는 프로그램이나 데이터를 저장한다. 비트스트림 입력부(62)는, 화상 부호화 장치가 본 수법에 의해 부호화한 비트스트림을 입력한다. 이 비트스트림 입력부(62)는, 화상 신호를 기억하는 디스크 장치 등의 기억부라도 좋다. 참조 화상 입력부(63)는, 카메라 등으로부터의 참조 대상의 화상 신호를 입력한다. 이 참조 화상 입력부(63)는, 화상 신호를 기억하는 디스크 장치 등의 기억부라도 좋다. 참조 뎁스맵 입력부(64)는, 뎁스 카메라 등으로부터의 복호 대상을 촬영한 카메라와는 다른 위치나 방향의 카메라에 대한 뎁스맵을 입력한다. 이 참조 뎁스맵 입력부(64)는, 뎁스 정보를 기억하는 디스크 장치 등의 기억부라도 좋다. 프로그램 기억 장치(65)는, 화상 복호 처리를 CPU(60)에 실행시키는 소프트웨어 프로그램인 화상 복호 프로그램(651)을 저장한다. 복호 대상 화상 출력부(66)는, CPU(60)가 메모리(61)에 로드된 화상 복호 프로그램(651)을 실행함으로써, 비트스트림을 복호하여 얻어진 복호 대상 화상을 재생 장치 등에 출력한다. 이 복호 대상 화상 출력부(66)는, 화상 신호를 기억하는 디스크 장치 등의 기억부라도 좋다.

또한, 도 1에 도시된 화상 부호화 장치(100) 및 도 7에 도시된 화상 복호 장치(200)에서의 각 처리부의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 화상 부호화 처리와 화상 복호 처리를 행해도 된다. 또, 여기서 말하는 「컴퓨터 시스템」이란, OS나 주변기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 시스템」은 홈페이지 제공 환경(혹은 표시 환경)을 구비한 WWW 시스템도 포함하는 것으로 한다. 또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 포터블 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다.

또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다. 또, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 행해도 된다.

부호화(복호) 대상 화상을 촬영한 카메라와는 다른 위치로부터 촬영된 화상에 대한 뎁스맵을 이용하여 부호화(복호) 대상 화상에 대해 시차 보상 예측을 행할 때에, 높은 부호화 효율을 적은 연산량으로 달성하는 것이 불가결한 용도에 적용할 수 있다.

101 부호화 대상 화상 입력부
102 부호화 대상 화상 메모리
103 참조 화상 입력부
104 참조 화상 메모리
105 참조 뎁스맵 입력부
106 참조 뎁스맵 메모리
107 시차 벡터 설정부
108 시점 합성 화상 생성부
109 화상 부호화부
110 시차 벡터 부호화부
111 다중화부
112 벡터 정보 메모리
201 비트스트림 입력부
202 비트스트림 메모리
203 참조 화상 입력부
204 참조 화상 메모리
205 참조 뎁스맵 입력부
206 참조 뎁스맵 메모리
207 시차 벡터 설정부
208 시점 합성 화상 생성부
209 화상 복호부
210 비트스트림 분리부
211 시차 벡터 복호부
212 벡터 정보 메모리

Claims (21)

1. 복수의 다른 시점의 화상으로 이루어지는 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 복호 대상 화상과는 다른 시점에 대한 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 장치로서,
   상기 복호 대상 화상을 분할한 복호 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정부;
   상기 참조 뎁스 영역에서의 뎁스 정보를 상기 복호 대상 영역에 대한 뎁스 정보로서 이용함으로써 상기 참조 화상으로부터 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측부;
   를 구비하는, 화상 복호 장치.
2. 청구항 1에 있어서,
   상기 복호 대상 영역에 대해, 참조 뎁스맵에 대한 시차 벡터인 뎁스 참조 시차 벡터를 설정하는 뎁스 참조 시차 벡터 설정부;
   를 더 가지며,
   상기 참조 뎁스 설정부에서는, 상기 뎁스 참조 시차 벡터에 의해 나타나는 영역을 상기 참조 뎁스 영역으로서 설정하는, 화상 복호 장치.
3. 청구항 2에 있어서,
   상기 뎁스 참조 시차 벡터 설정부에서는, 상기 복호 대상 영역에 인접하는 영역을 복호할 때에 사용한 시차 벡터를 이용하여 상기 뎁스 참조 시차 벡터를 설정하는, 화상 복호 장치.
4. 청구항 2에 있어서,
   상기 뎁스 참조 시차 벡터 설정부에서는, 상기 복호 대상 영역과 동일한 위치의 상기 참조 뎁스맵 상의 영역에 대한 뎁스 정보를 이용하여 상기 뎁스 참조 시차 벡터를 설정하는, 화상 복호 장치.
5. 청구항 1 내지 4 중 어느 한 항에 있어서,
   상기 시점간 예측부에서는, 상기 복호 대상 영역을 분할한 예측 영역마다 대응하는 상기 참조 뎁스 영역 내의 뎁스 정보를 이용하여 대표 뎁스를 설정하고, 그 대표 뎁스와 상기 참조 화상으로부터 시점 합성 화상을 생성함으로써, 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성하는, 화상 복호 장치.
6. 청구항 1 내지 4 중 어느 한 항에 있어서,
   상기 시점간 예측부에서는, 상기 복호 대상 영역을 분할한 예측 영역마다 대응하는 상기 참조 뎁스 영역 내의 뎁스 정보를 이용하여 상기 참조 화상에 대한 시차 벡터인 화상 참조 시차 벡터를 설정하고, 그 화상 참조 시차 벡터와 상기 참조 화상을 이용하여 시차 보상 화상을 생성함으로써, 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성하는, 화상 복호 장치.
7. 청구항 6에 있어서,
   상기 화상 참조 시차 벡터를 축적하는 화상 참조 시차 벡터 축적부;
   상기 축적된 화상 참조 시차 벡터를 이용하여 상기 복호 대상 영역에 인접하는 영역에 대한 예측 시차 정보를 생성하는 시차 예측부;
   를 더 가지는, 화상 복호 장치.
8. 청구항 7에 있어서,
   상기 시차 예측부에서는, 상기 복호 대상 영역에 인접하는 영역에 대한 뎁스 참조 시차 벡터를 생성하는, 화상 복호 장치.
9. 청구항 6에 있어서,
   상기 화상 참조 시차 벡터를 보정하는 벡터인 보정 시차 벡터를 설정하는 보정 시차 벡터부;
   를 더 가지며,
   상기 시점간 예측부에서는, 상기 화상 참조 시차 벡터를 상기 보정 시차 벡터로 보정한 벡터와 상기 참조 화상을 이용하여 시차 보상 화상을 생성함으로써 상기 시점간 예측 화상을 생성하는, 화상 복호 장치.
10. 청구항 9에 있어서,
    상기 보정 시차 벡터 설정부에서는, 상기 복호 대상 영역에 대해 하나의 벡터를 상기 보정 시차 벡터로서 설정하는, 화상 복호 장치.
11. 청구항 5에 있어서,
    상기 참조 뎁스 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역 내의 영역 분할을 설정하는 예측 영역 분할 설정부;
    를 더 가지며,
    상기 시점간 예측부에서는, 상기 영역 분할에 따라 얻어지는 영역을 상기 예측 영역으로 하는, 화상 복호 장치.
12. 복수의 다른 시점의 화상으로 이루어지는 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 복호 대상 화상과는 다른 시점에 대한 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서,
    상기 복호 대상 화상을 분할한 복호 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정 단계;
    상기 참조 뎁스 영역에서의 뎁스 정보를 상기 복호 대상 영역에 대한 뎁스 정보로서 이용함으로써 상기 참조 화상으로부터 상기 복호 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측 단계;
    를 가지는, 화상 복호 방법.
13. 복수의 다른 시점의 화상으로 이루어지는 다시점 화상을 부호화할 때에, 부호화 대상 화상과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서,
    상기 부호화 대상 화상을 분할한 부호화 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정부;
    상기 참조 뎁스 영역에서의 뎁스 정보를 상기 부호화 대상 영역에 대한 뎁스 정보로서 이용함으로써 상기 참조 화상으로부터 상기 부호화 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측부;
    를 구비하는, 화상 부호화 장치.
14. 복수의 다른 시점의 화상으로 이루어지는 다시점 화상을 부호화할 때에, 부호화 대상 화상과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체에 대한 뎁스맵인 참조 뎁스맵을 이용하여 다른 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서,
    상기 부호화 대상 화상을 분할한 부호화 대상 영역에 대해, 상기 참조 뎁스맵 상에서의 대응 영역인 참조 뎁스 영역을 설정하는 참조 뎁스 영역 설정 단계;
    상기 참조 뎁스 영역에서의 뎁스 정보를 상기 부호화 대상 영역에 대한 뎁스 정보로서 이용함으로써 상기 참조 화상으로부터 상기 부호화 대상 영역에 대한 시점간 예측 화상을 생성하는 시점간 예측 단계;
    를 가지는, 화상 부호화 방법.
15. 컴퓨터에 청구항 12에 기재된 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
16. 컴퓨터에 청구항 14에 기재된 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
17. 청구항 6에 있어서,
    상기 참조 뎁스 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역 내의 영역 분할을 설정하는 예측 영역 분할 설정부;
    를 더 가지며,
    상기 시점간 예측부에서는, 상기 영역 분할에 따라 얻어지는 영역을 상기 예측 영역으로 하는, 화상 복호 장치.
18. 청구항 7에 있어서,
    상기 참조 뎁스 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역 내의 영역 분할을 설정하는 예측 영역 분할 설정부;
    를 더 가지며,
    상기 시점간 예측부에서는, 상기 영역 분할에 따라 얻어지는 영역을 상기 예측 영역으로 하는, 화상 복호 장치.
19. 청구항 8에 있어서,
    상기 참조 뎁스 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역 내의 영역 분할을 설정하는 예측 영역 분할 설정부;
    를 더 가지며,
    상기 시점간 예측부에서는, 상기 영역 분할에 따라 얻어지는 영역을 상기 예측 영역으로 하는, 화상 복호 장치.
20. 청구항 9에 있어서,
    상기 참조 뎁스 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역 내의 영역 분할을 설정하는 예측 영역 분할 설정부;
    를 더 가지며,
    상기 시점간 예측부에서는, 상기 영역 분할에 따라 얻어지는 영역을 상기 예측 영역으로 하는, 화상 복호 장치.
21. 청구항 10에 있어서,
    상기 참조 뎁스 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역 내의 영역 분할을 설정하는 예측 영역 분할 설정부;
    를 더 가지며,
    상기 시점간 예측부에서는, 상기 영역 분할에 따라 얻어지는 영역을 상기 예측 영역으로 하는, 화상 복호 장치.

Images