KR20150046154A - 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체 - Google Patents

Abstract

화상 부호화 방법은, 참조 뎁스맵을 대상 화상에 촬영된 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 단계와, 피사체의 전후관계에 의해 발생하는 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 오클루전 영역의 뎁스값을 생성하는 단계와, 오클루전 영역의 뎁스값을 생성한 후의 가상 뎁스맵과 참조 화상으로부터 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 단계를 가진다.

Description

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체{Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium}

본 발명은 다시점 화상을 부호화 및 복호하는 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체에 관한 것이다.

본원은 2012년 9월 25일에 일본 출원된 특원 2012-211155호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

종래부터 복수의 카메라로 동일한 피사체와 배경을 촬영한 복수의 화상으로 이루어지는 다시점 화상이 알려져 있다. 이 복수의 카메라로 촬영한 동화상을 다시점 동화상(또는 다시점 영상)이라고 한다. 이하의 설명에서는 하나의 카메라로 촬영된 화상(동화상)을 "2차원 화상(동화상)"이라고 부르고, 동일한 피사체와 배경을 위치나 방향(이하, 시점이라고 부름)이 다른 복수의 카메라로 촬영한 2차원 화상(2차원 동화상) 군을 "다시점 화상(다시점 동화상)"이라고 부른다.

2차원 동화상은 시간 방향에 관해 강한 상관이 있고, 그 상관을 이용함으로써 부호화 효율을 높일 수 있다. 한편, 다시점 화상이나 다시점 동화상에서는, 각 카메라가 동기되어 있는 경우, 각 카메라 영상의 같은 시각에 대응하는 프레임(화상)은 완전히 같은 상태의 피사체와 배경을 다른 위치로부터 촬영한 것이므로, 카메라 간에 강한 상관이 있다. 다시점 화상이나 다시점 동화상의 부호화에서는, 이 상관을 이용함으로써 부호화 효율을 높일 수 있다.

여기서, 2차원 동화상의 부호화 기술에 관한 종래기술을 설명한다. 국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래 대부분의 2차원 동화상 부호화 방식에서는, 움직임 보상 예측, 직교변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 행한다. 예를 들어, H.264에서는 과거 혹은 미래의 복수 매의 프레임과의 시간 상관을 이용한 부호화가 가능하다.

H.264에서 사용되고 있는 움직임 보상 예측 기술의 상세에 대해서는 예를 들어 비특허문헌 1에 기재되어 있다. H.264에서 사용되고 있는 움직임 보상 예측 기술의 개요를 설명한다. H.264의 움직임 보상 예측은 부호화 대상 프레임을 다양한 크기의 블록으로 분할하고, 각 블록에서 다른 움직임 벡터와 다른 참조 프레임을 가지는 것을 허가하고 있다. 각 블록에서 다른 움직임 벡터를 사용함으로써, 피사체마다 다른 움직임을 보상한 정밀도 높은 예측을 실현하고 있다. 한편, 각 블록에서 다른 참조 프레임을 사용함으로써, 시간 변화에 따라 생기는 오클루전(occlusion)을 고려한 정밀도 높은 예측을 실현하고 있다.

다음에, 종래의 다시점 화상이나 다시점 동화상의 부호화 방식에 대해 설명한다. 다시점 화상의 부호화 방법과 다시점 동화상의 부호화 방법의 차이는, 다시점 동화상에는 카메라 간의 상관에 덧붙여 시간 방향의 상관이 동시에 존재한다는 것이다. 그러나, 카메라 간의 상관을 이용하는 방법은 어느 쪽의 경우에서도 동일한 방법을 이용할 수 있다. 그 때문에, 여기서는 다시점 동화상의 부호화에서 이용되는 방법에 대해 설명한다.

다시점 동화상의 부호화에 대해서는, 카메라 간의 상관을 이용하기 위해 움직임 보상 예측을 같은 시각의 다른 카메라로 촬영된 화상에 적용한 "시차 보상 예측"에 의해 고효율로 다시점 동화상을 부호화하는 방식이 종래부터 존재한다. 여기서, 시차란 다른 위치에 배치된 카메라의 화상 평면상에서 피사체 상의 같은 부분이 존재하는 위치의 차이이다. 도 21은 카메라 간에 생기는 시차를 나타내는 개념도이다. 도 21에 도시된 개념도에서는, 광축이 평행한 카메라의 화상 평면을 수직으로 내려다 본 것으로 되어 있다. 이와 같이, 다른 카메라의 화상 평면상에서 피사체 상의 같은 부분이 투영되는 위치는 일반적으로 대응점이라고 불린다.

시차 보상 예측에서는, 이 대응 관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로부터 예측하여 그 예측 잔차와 대응 관계를 나타내는 시차 정보를 부호화한다. 시차는 대상으로 하는 카메라 쌍이나 위치마다 변화하기 때문에, 시차 보상 예측을 행하는 영역마다 시차 정보를 부호화하는 것이 필요하다. 실제로 H.264의 다시점 부호화 방식에서는, 시차 보상 예측을 이용하는 블록마다 시차 정보를 나타내는 벡터를 부호화하고 있다.

시차 정보에 의해 주어지는 대응 관계는, 카메라 파라미터를 이용함으로써 에피폴라(epipolar) 기하 구속에 기초하여 2차원 벡터가 아니라 피사체의 3차원 위치를 나타내는 1차원량으로 나타낼 수 있다. 피사체의 3차원 위치를 나타내는 정보로서는 다양한 표현이 존재하지만, 기준이 되는 카메라에서부터 피사체에 이르기까지의 거리나 카메라의 화상 평면과 평행이 아닌 축 상의 좌표값을 이용하는 경우가 많다. 또, 거리가 아니라 거리의 역수를 이용하는 경우도 있다. 또한, 거리의 역수는 시차에 비례하는 정보가 되기 때문에, 기준이 되는 카메라를 2개 설정하고 이들 카메라로 촬영된 화상 간에서의 시차량으로서 표현하는 경우도 있다. 어떠한 표현을 이용하였다고 해도 그의 물리적인 의미에 본질적인 차이는 없기 때문에, 이하에서는 표현에 의한 구별을 하지 않고 이들 3차원 위치를 나타내는 정보를 뎁스(depth)라고 표현한다.

도 22는 에피폴라 기하 구속의 개념도이다. 에피폴라 기하 구속에 의하면, 어떤 카메라의 화상 상의 점에 대응하는 다른 카메라의 화상 상의 점은 에피폴라 선이라는 직선상에 구속된다. 이때, 그의 화소에 대한 뎁스가 얻어진 경우, 대응점은 에피폴라 선 상에 특유의 형태로 정해진다. 예를 들어, 도 22에 도시된 바와 같이 제1 카메라 화상에서 m의 위치에 투영된 피사체에 대한 제2 카메라 화상에서의 대응점은 실 공간에서의 피사체 위치가 M'인 경우에는 에피폴라 선 상의 위치 m'에 투영되고, 실 공간에서의 피사체 위치가 M"인 경우에는 에피폴라 선 상의 위치 m"에 투영된다.

비특허문헌 2에서는, 이 성질을 이용하여 참조 프레임에 대한 뎁스맵(거리 화상)에 의해 주어지는 각 피사체의 3차원 정보에 따라 참조 프레임으로부터 부호화 대상 프레임에 대한 예측 화상을 합성함으로써, 정밀도 높은 예측 화상을 생성하여 효율적인 다시점 동화상의 부호화를 실현하고 있다. 또, 이 뎁스에 기초하여 생성되는 예측 화상은 시점 합성 화상, 시점 보간 화상 또는 시차 보상 화상이라고 불린다.

또, 특허문헌 1에서는, 처음에 참조 프레임에 대한 뎁스맵(참조 뎁스맵)을 부호화 대상 프레임에 대한 뎁스맵(가상 뎁스맵)으로 변환하고, 그 변환된 뎁스맵(가상 뎁스맵)을 이용하여 대응점을 구함으로써 필요한 영역에 대해서만 시점 합성 화상을 생성하는 것을 가능하게 하고 있다. 이에 따라, 부호화 대상 또는 복호 대상이 되는 프레임의 영역마다 예측 화상을 생성하는 방법을 전환하면서 화상 또는 동화상을 부호화 또는 복호하는 경우에 있어서, 시점 합성 화상을 생성하기 위한 처리량이나 시점 합성 화상을 일시적으로 축적하기 위한 메모리량의 삭감을 실현하고 있다.

특허문헌 1: 일본공개특허 2010-21844호 공보

비특허문헌 1: ITU-T Recommendation H.264(03/2009), "Advanced video coding for generic audiovisual services", March, 2009. 비특허문헌 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006. 비특허문헌 3: Y.Mori, N.Fukushima, T.Fuji, and M.Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp.229-232, May 2008.

특허문헌 1에 기재된 방법에 의하면, 부호화 대상 프레임에 대해 뎁스가 얻어지기 때문에, 부호화 대상 프레임의 화소로부터 참조 프레임 상의 대응하는 화소를 구하는 것이 가능하게 된다. 이에 의해, 부호화 대상 프레임의 지정된 영역에 대해서만 시점 합성 화상을 생성함으로써, 항상 1프레임분의 시점 합성 화상을 생성하는 경우에 비해 처리량이나 요구되는 메모리의 양을 삭감할 수 있다.

그러나, 참조 프레임에 대한 뎁스맵(참조 뎁스맵)으로부터 부호화 대상 프레임에 대한 뎁스맵(가상 뎁스맵)을 합성하는 방법에서는, 도 11에 도시된 바와 같이 부호화 대상 프레임을 촬영한 시점에서는 관측 가능하지만, 참조 프레임을 촬영한 시점에서는 관측 불가능한 부호화 대상 프레임 상의 영역(이하, 오클루전 영역(OCC)이라고 부름)에 대해서는 뎁스 정보가 얻어지지 않는다는 문제가 있다. 도 11은, 오클루전 영역(OCC)이 발생하는 상황을 나타내는 설명도이다. 이는, 참조 프레임에 대한 뎁스맵 상에 대응하는 뎁스 정보가 존재하지 않기 때문이다. 뎁스 정보가 얻어지지 않는 결과, 시점 합성 화상을 생성할 수 없는 상황이 발생한다.

특허문헌 1에서는, 변환하여 얻어진 부호화 대상 프레임에 대한 뎁스맵(가상 뎁스맵)에 대해 실 공간에서의 연속성을 가정한 보정을 함으로써, 오클루전 영역(OCC)에 대해서도 뎁스 정보를 생성하는 방법도 제공하고 있다. 이 경우, 오클루전 영역(OCC)은 주변 오브젝트에 의해 차폐되었던 영역이 되기 때문에, 실 공간에서의 연속성을 가정한 보정에서는, 오클루전 영역 주변의 배경 오브젝트(OBJ-B)의 뎁스 또는 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)를 매끄럽게 연결하는 뎁스가 오클루전 영역(OCC)의 뎁스로서 주어진다.

도 13은, 오클루전 영역(OCC)에 대해 그 주변의 배경 오브젝트(OBJ-B)의 뎁스가 주어진 경우(즉, 배경 오브젝트의 연속성을 가정하여 오클루전 영역(OCC)에 뎁스가 주어진 경우)의 뎁스맵을 나타낸다. 이 경우, 부호화 대상 프레임의 오클루전 영역(OCC)에서의 뎁스값으로서 배경 오브젝트(OBJ-B)의 뎁스값이 주어진다. 따라서, 생성된 가상 뎁스맵을 이용하여 시점 합성 화상을 생성하면, 도 19에 도시된 바와 같이 참조 프레임에서는 오클루전 때문에 배경 오브젝트(OBJ-B)가 전경 오브젝트(OBJ-F)에 차폐되어 있기 때문에, 오클루전 영역(OCC) 상의 화소는 참조 프레임 상의 전경 오브젝트(OBJ-F) 상의 화소와 대응화 되어 시점 합성 화상의 품질이 저하된다. 도 19는, 오클루전 영역(OCC)에서 배경 오브젝트의 연속성을 가정한 경우에, 오클루전 영역(OCC)을 포함하는 부호화 대상 프레임에 생성되는 시점 합성 화상을 나타내는 설명도이다.

한편, 도 14는 오클루전 영역(OCC)에 대해 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)를 매끄럽게 연결하는 뎁스가 주어진 경우(즉, 피사체의 연속성을 가정하여 오클루전 영역(OCC)에 뎁스가 주어진 경우)의 뎁스맵을 나타낸다. 이 경우, 부호화 대상 프레임의 오클루전 영역(OCC)에서의 뎁스값으로서, 시점으로부터 가까운 것을 나타내는 뎁스값에서부터 시점으로부터 먼 것을 나타내는 뎁스값에 이르기까지 연속적으로 변화하는 뎁스값이 주어진다. 이러한 가상 뎁스맵을 이용하여 시점 합성 화상을 생성하면, 도 20에 도시된 바와 같이 오클루전 영역(OCC) 상의 화소는 참조 프레임 상의 전경 오브젝트(OBJ-F)의 화소와 배경 오브젝트(OBJ-B)의 화소의 사이에 대응화 된다. 도 20은, 오클루전 영역(OCC)에 대해 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)를 매끄럽게 연결하는 뎁스를 부여한 상황에 있어서, 오클루전 영역(OCC)을 포함하는 부호화 대상 프레임에 생성되는 시점 합성 화상을 나타내는 설명도이다. 이때의 오클루전 영역(OCC)의 화소값은 전경 오브젝트(OBJ-F)의 화소와 배경 오브젝트(OBJ-B)의 화소를 보간함으로써 얻어진다. 즉, 오클루전 영역(OCC)의 화소는 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)가 섞인 값을 가지게 되고 현실에서는 기본적으로 발생하지 않는 상황이기 때문에, 시점 합성 화상의 품질은 저하된다.

이러한 오클루전 영역에 대해서는, 비특허문헌 3에 대표되는 바와 같이 오클루전 영역의 주변 영역에서 얻어지는 시점 합성 화상을 이용하여 인페인트(inpaint) 처리를 행함으로써, 시점 합성 화상을 생성하는 것이 가능하다. 그러나, 인페인트 처리를 행하기 위해서는 오클루전 영역의 주변 영역에 대해서도 시점 합성 화상을 생성할 필요가 있기 때문에, 부호화 대상 프레임의 지정된 영역에 대해서만 시점 합성 화상을 생성하여 처리량이나 일시 메모리의 양을 삭감할 수 있다는 특허문헌 1의 효과가 얻어지지 않게 된다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 참조 프레임에 대해 뎁스맵을 이용하여 부호화 처리 또는 복호 처리 대상의 프레임의 시점 합성 화상을 생성할 때에, 시점 합성 화상의 품질 저하를 억제하면서 높은 부호화 효율과 메모리 용량 및 연산량 삭감을 실현하는 것이 가능한 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체를 제공하는 것을 목적으로 한다.

본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서, 상기 참조 뎁스맵을 상기 부호화 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환 단계와, 상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성 단계와, 상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.

본 발명의 화상 부호화 방법에서는, 상기 오클루전 영역 뎁스 생성 단계에서는, 상기 참조 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

본 발명의 화상 부호화 방법에서는, 상기 오클루전 영역에 대응하는 상기 참조 뎁스맵 상의 화소 경계를 결정하는 오클루전 발생 화소 경계 결정 단계를 더 가져도 되고, 상기 오클루전 영역 뎁스 생성 단계에서는, 상기 오클루전 발생 화소 경계에 인접하는 상기 참조 뎁스맵의 화소 세트마다 상기 참조 뎁스맵 상에서 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소의 위치에 있어서, 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에서부터 상기 시점으로부터 먼 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에 이르기까지 상기 피사체가 연속적으로 존재한다고 가정하여 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

본 발명의 화상 부호화 방법에서는, 상기 오클루전 영역을 상기 참조 뎁스맵 상에서 차폐하는 영역에 대한 상기 가상 뎁스맵 상의 피사체 영역을 결정하는 피사체 영역 결정 단계와, 상기 피사체 영역을 상기 오클루전 영역의 방향으로 화소를 신장하는 피사체 영역 신장 단계를 더 가져도 되고, 상기 오클루전 영역 뎁스 생성 단계에서는, 상기 신장하여 생성된 화소와 상기 오클루전 영역에 인접하여 상기 피사체 영역과는 반대방향에 존재하는 화소의 사이에서 뎁스값을 매끄럽게 보간함으로써 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

본 발명의 화상 부호화 방법에서는, 상기 뎁스맵 변환 단계에서는 상기 참조 뎁스맵의 참조 화소마다 상기 가상 뎁스맵 상의 대응 화소를 구하고, 상기 참조 화소에 대한 뎁스와 동일한 3차원 위치를 나타내는 뎁스를 상기 대응 화소에 할당함으로써 가상 뎁스맵으로의 변환을 행하도록 해도 된다.

또한, 본 발명은, 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료된 참조 화상과 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서, 상기 참조 뎁스맵을 상기 복호 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환 단계와, 상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성 단계와, 상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.

본 발명의 화상 복호 방법에서는, 상기 오클루전 영역 뎁스 생성 단계에서는, 상기 참조 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

본 발명의 화상 복호 방법에서는, 상기 오클루전 영역에 대응하는 상기 참조 뎁스맵 상의 화소 경계를 결정하는 오클루전 발생 화소 경계 결정 단계를 더 가져도 되고, 상기 오클루전 영역 뎁스 생성 단계에서는, 상기 오클루전 발생 화소 경계에 인접하는 상기 참조 뎁스맵의 화소 세트마다 상기 참조 뎁스맵 상에서 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소의 위치에 있어서, 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에서부터 상기 시점으로부터 먼 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에 이르기까지 상기 피사체가 연속적으로 존재한다고 가정하여, 그 가정된 피사체의 뎁스를 상기 복호 대상 화상 상의 뎁스로 변환함으로써 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

본 발명의 화상 복호 방법에서는, 상기 오클루전 영역을 상기 참조 뎁스맵 상에서 차폐하는 영역에 대한 상기 가상 뎁스맵 상의 피사체 영역을 결정하는 피사체 영역 결정 단계와, 상기 피사체 영역을 상기 오클루전 영역의 방향으로 화소를 신장하는 피사체 영역 신장 단계를 더 가져도 되고, 상기 오클루전 영역 뎁스 생성 단계에서는, 상기 신장하여 생성된 화소와 상기 오클루전 영역에 인접하여 상기 피사체 영역과는 반대방향에 존재하는 화소의 사이에서 뎁스값을 매끄럽게 보간함으로써 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

본 발명의 화상 복호 방법에서는, 상기 뎁스맵 변환 단계에서는 상기 참조 뎁스맵의 참조 화소마다 상기 가상 뎁스맵 상의 대응 화소를 구하고, 상기 참조 화소에 대한 뎁스와 동일한 3차원 위치를 나타내는 뎁스를 상기 대응 화소에 할당함으로써 가상 뎁스맵으로의 변환을 행하도록 해도 된다.

본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서, 상기 참조 뎁스맵을 상기 부호화 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환부와, 상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성부와, 상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.

본 발명의 화상 부호화 장치에서는, 상기 오클루전 영역 뎁스 생성부는, 상기 참조 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

또, 본 발명은, 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료된 참조 화상과 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 장치로서, 상기 참조 뎁스맵을 상기 복호 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환부와, 상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성부와, 상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.

본 발명의 화상 복호 장치에서는, 상기 오클루전 영역 뎁스 생성부는, 상기 참조 카메라 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하도록 해도 된다.

본 발명은, 컴퓨터에 상기 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램이다.

본 발명은, 컴퓨터에 상기 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램이다.

본 발명은, 상기 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체이다.

본 발명은, 상기 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체이다.

본 발명에 의하면, 참조 프레임에 대해 뎁스맵을 이용하여 부호화 처리 또는 복호 처리 대상의 프레임의 시점 합성 화상을 생성할 때에, 시점 합성 화상의 품질 저하를 억제하면서 높은 부호화 효율과 메모리 용량 및 연산량 삭감을 실현할 수 있다는 효과가 얻어진다.

도 1은 본 발명의 일 실시형태에서의 화상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 화상 부호화 장치의 동작을 나타내는 흐름도이다.
도 3은 도 1에 도시된 화상 부호화 장치에서의 부호화 대상 화상을 부호화하는 동작의 다른 예를 나타내는 흐름도이다.
도 4는 도 2, 도 3에 도시된 참조 카메라 뎁스맵 변환 처리의 처리 동작을 나타내는 흐름도이다.
도 5는 도 1에 도시된 뎁스맵 변환부에서의 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하는 동작을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시형태에서의 화상 복호 장치의 구성을 나타내는 블록도이다.
도 7은 도 6에 도시된 화상 복호 장치의 동작을 나타내는 흐름도이다.
도 8은 도 6에 도시된 화상 복호 장치에서의 복호 대상 화상을 복호하는 동작의 다른 예를 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예의 화상 부호화 장치의 구성의 다른 예를 나타내는 블록도이다.
도 10은 본 발명의 일 실시예의 화상 복호 장치의 구성의 다른 예를 나타내는 블록도이다.
도 11은 부호화 대상 프레임에서 발생하는 오클루전 영역을 나타내는 설명도이다.
도 12는 본 발명의 일 실시예에서의 오클루전 영역에 대한 뎁스를 생성하는 동작을 나타내는 설명도이다.
도 13은 배경 오브젝트의 연속성을 가정하여, 오클루전 영역을 포함하는 부호화 대상 영역의 가상 뎁스맵을 작성하는 종래의 처리를 나타내는 단면도이다.
도 14는 전경 오브젝트와 배경 오브젝트의 연속성을 가정하여, 오클루전 영역을 포함하는 부호화 대상 영역의 가상 뎁스맵을 작성하는 종래의 처리의 다른 예를 나타내는 단면도이다.
도 15는 전경 오브젝트의 연속성을 가정하여, 오클루전 영역을 포함하는 부호화 대상 영역의 가상 뎁스맵을 작성하는 본 발명의 일 실시예의 처리를 나타내는 단면도이다.
도 16은 전경 오브젝트를 신장시킨 후에 피사체의 연속성을 가정하여, 오클루전 영역을 포함하는 부호화 대상 영역의 가상 뎁스맵을 작성하는 본 발명의 다른 실시예의 처리를 나타내는 단면도이다.
도 17은 도 15에 도시된 가상 뎁스맵을 이용하여 작성되는, 오클루전 영역을 포함하는 부호화 대상 영역의 시차 보상 화상을 생성하는 본 발명의 일 실시예의 처리를 나타내는 단면도이다.
도 18은 도 16에 도시된 가상 뎁스맵을 이용하여 작성되는, 오클루전 영역을 포함하는 부호화 대상 영역의 시차 보상 화상을 생성하는 본 발명의 다른 실시예의 처리를 나타내는 단면도이다.
도 19는 도 13에 도시된 가상 뎁스맵을 이용하여 작성되는, 오클루전 영역을 포함하는 부호화 대상 영역의 시차 보상 화상을 생성하는 종래의 처리를 나타내는 단면도이다.
도 20은 도 14에 도시된 가상 뎁스맵을 이용하여 작성되는, 오클루전 영역을 포함하는 부호화 대상 영역의 시차 보상 화상을 생성하는 종래의 처리의 다른 예를 나타내는 단면도이다.
도 21은 카메라(시점) 간에 생기는 시차를 나타내는 단면도이다.
도 22는 에피폴라 기하 구속을 설명하기 위한 개념도이다.

이하, 도면을 참조하여 본 발명의 실시형태에 의한 화상 부호화 장치 및 화상 복호 장치를 설명한다. 이하의 설명에서는, 제1 카메라(카메라 A라고 함), 제2 카메라(카메라 B라고 함)의 2대의 카메라로 촬영된 다시점 화상을 부호화하는 경우를 상정하고, 카메라 A의 화상을 참조 화상으로 하여 카메라 B의 화상을 부호화 또는 복호하는 것으로서 설명한다.

또, 뎁스 정보로부터 시차를 얻기 위해 필요한 정보는 별도로 주어지는 것으로 한다. 구체적으로 카메라 A와 카메라 B의 위치 관계를 나타내는 외부 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 내부 파라미터이지만, 이들 이외의 형태이어도 뎁스 정보로부터 시차가 얻어지는 것이면 다른 정보가 주어지어도 된다. 이들 카메라 파라미터에 관한 자세한 설명은 예를 들어 문헌「Olivier Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」에 기재되어 있다. 이 문헌에는 복수의 카메라의 위치 관계를 나타내는 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 파라미터에 관한 설명이 기재되어 있다.

이하의 설명에서는, 화상이나 영상 프레임, 뎁스맵에 대해 기호[]로 끼워진 위치를 특정 가능한 정보(좌표값 혹은 좌표값에 대응 가능한 인덱스)를 부가함으로써, 그 위치의 화소에 의해 샘플링된 화상 신호나 이에 대한 뎁스를 나타내는 것으로 한다. 또한, 뎁스는 카메라로부터 떨어질수록(시차가 작을수록) 작은 값을 가지는 정보라고 한다. 뎁스의 대소와 카메라로부터의 거리의 관계가 반대로 정의되어 있는 경우는, 뎁스에 대한 값의 크기의 기술을 적절히 바꿀 필요가 있다.

도 1은, 본 실시형태에서의 화상 부호화 장치의 구성을 나타내는 블록도이다. 화상 부호화 장치(100)는, 도 1에 도시된 바와 같이 부호화 대상 화상 입력부(101), 부호화 대상 화상 메모리(102), 참조 카메라 화상 입력부(103), 참조 카메라 화상 메모리(104), 참조 카메라 뎁스맵 입력부(105), 뎁스맵 변환부(106), 가상 뎁스맵 메모리(107), 시점 합성 화상 생성부(108) 및 화상 부호화부(109)를 구비하고 있다.

부호화 대상 화상 입력부(101)는, 부호화 대상이 되는 화상을 입력한다. 이하에서는, 이 부호화 대상이 되는 화상을 부호화 대상 화상이라고 부른다. 여기서는 카메라 B의 화상을 입력하는 것으로 한다. 또한, 부호화 대상 화상을 촬영한 카메라(여기서는 카메라 B)를 부호화 대상 카메라라고 부른다. 부호화 대상 화상 메모리(102)는, 입력한 부호화 대상 화상을 기억한다. 참조 카메라 화상 입력부(103)는, 시점 합성 화상(시차 보상 화상)을 생성할 때에 참조 화상이 되는 화상을 입력한다. 여기서는 카메라 A의 화상을 입력하는 것으로 한다. 참조 카메라 화상 메모리(104)는, 입력된 참조 화상을 기억한다.

참조 카메라 뎁스맵 입력부(105)는, 참조 화상에 대한 뎁스맵을 입력한다.

이하에서는, 이 참조 화상에 대한 뎁스맵을 참조 카메라 뎁스맵 또는 참조 뎁스맵이라고 부른다. 또, 뎁스맵이란 대응하는 화상의 각 화소에 비치는 피사체의 3차원 위치를 나타내는 것이다. 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이면 어떠한 정보라도 좋다. 예를 들어, 카메라에서부터 피사체에 이르기까지의 거리나 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예를 들어 카메라 B)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 뎁스맵으로서 화상 형태로 주어지는 것으로 하고 있지만, 마찬가지의 정보가 얻어진다면 화상 형태가 아니어도 상관없다. 이하에서는, 참조 카메라 뎁스맵에 대응하는 카메라를 참조 카메라라고 부른다.

뎁스맵 변환부(106)는, 참조 카메라 뎁스맵(참조 뎁스맵)을 이용하여 부호화 대상 화상에 대한 뎁스맵을 생성한다. 이 부호화 대상 화상에 대해 생성된 뎁스맵을 가상 뎁스맵이라고 부른다. 가상 뎁스맵 메모리(107)는, 생성된 가상 뎁스맵을 기억한다.

시점 합성 화상 생성부(108)는, 가상 뎁스맵 메모리(107)로부터 얻어지는 가상 뎁스맵을 이용하여 부호화 대상 화상의 화소와 참조 카메라 화상의 화소의 대응 관계를 구하고, 부호화 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 부호화부(109)는, 시점 합성 화상을 이용하여 부호화 대상 화상에 대해 예측 부호화를 행하여 부호 데이터인 비트 스트림을 출력한다.

다음에, 도 2를 참조하여 도 1에 도시된 화상 부호화 장치(100)의 동작을 설명한다. 도 2는, 도 1에 도시된 화상 부호화 장치(100)의 동작을 나타내는 흐름도이다. 우선, 부호화 대상 화상 입력부(101)는 부호화 대상 화상을 입력하고, 부호화 대상 화상 메모리(102)에 기억한다(단계 S1). 다음에, 참조 카메라 화상 입력부(103)는 참조 카메라 화상을 입력하고, 참조 카메라 화상 메모리(104)에 기억한다. 이와 병행하여 참조 카메라 뎁스맵 입력부(105)는 참조 카메라 뎁스맵을 입력하고, 뎁스맵 변환부(106)에 출력한다(단계 S2).

또, 단계 S2에서 입력되는 참조 카메라 화상, 참조 카메라 뎁스맵은 이미 부호화 완료한 것을 복호한 것 등 복호 측에서 얻어지는 것과 동일한 것으로 한다. 이는 복호 장치에서 얻어지는 것과 완전히 동일한 정보를 이용함으로써, 드리프트(drift) 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음의 발생을 허용하는 경우에는, 부호화 전의 것 등 부호화 측에서만 얻어지는 것이 입력되어도 된다. 참조 카메라 뎁스맵에 관해서는, 이미 부호화 완료한 것을 복호한 것 이외에 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등도 복호 측에서 동일한 것이 얻어지는 것으로서 이용할 수 있다.

다음에, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하고, 가상 뎁스맵 메모리(107)에 기억한다(단계 S3). 여기서의 처리의 상세에 대해서는 후술한다.

다음에, 시점 합성 화상 생성부(108)는, 참조 카메라 화상 메모리(104)에 기억되어 있는 참조 카메라 화상과, 가상 뎁스맵 메모리(107)에 기억되어 있는 가상 뎁스맵으로부터 부호화 대상 화상에 대한 시점 합성 화상을 생성하고, 화상 부호화부(109)에 출력한다(단계 S4). 여기서의 처리는, 부호화 대상 화상에 대한 뎁스맵과, 부호화 대상 카메라와는 다른 카메라로 촬영된 화상을 이용하여 부호화 대상 카메라의 화상을 합성하는 방법이면 어떠한 방법을 이용해도 상관없다.

예를 들어, 우선, 부호화 대상 화상의 하나의 화소를 선택하고, 가상 뎁스맵 상에서 대응하는 화소의 뎁스값을 이용하여 참조 카메라 화상 상의 대응점을 구한다. 다음에, 그 대응점의 화소값을 구한다. 그리고, 얻어진 화소값을 선택한 부호화 대상 화상의 화소와 동일한 위치의 시점 합성 화상의 화소값으로서 할당한다. 이 처리를 부호화 대상 화상의 모든 화소에 대해 행함으로써, 1프레임분의 시점 합성 화상이 얻어진다. 또, 참조 카메라 화상 상의 대응점이 프레임 밖이 된 경우는 화소값이 없다고 해도 상관없고, 미리 정해진 화소값을 할당해도 상관없고, 가장 가까운 프레임 내의 화소의 화소값이나 에피폴라 직선 상에서 가장 가까운 프레임 내의 화소의 화소값을 할당해도 상관없다. 단, 어떻게 결정할지는 복호측과 동일하게 할 필요가 있다. 나아가 1프레임분의 시점 합성 화상이 얻어진 후에 로우 패스 필터 등의 필터를 걸어도 상관없다.

다음에, 시점 합성 화상이 얻어진 후에, 화상 부호화부(109)는 시점 합성 화상을 예측 화상으로 하여 부호화 대상 화상을 예측 부호화하여 출력한다(단계 S5). 부호화 결과 얻어지는 비트 스트림이 화상 부호화 장치(100)의 출력이 된다. 또, 복호 측에서 올바르게 복호 가능하다면, 부호화에는 어떠한 방법을 이용해도 된다.

MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화에서는, 화상을 미리 정해진 크기의 블록으로 분할하여 블록마다 부호화 대상 화상과 예측 화상의 차분 신호를 생성하고, 차분 화상에 대해 DCT(discrete cosine transform) 등의 주파수 변환을 실시하고, 그 결과 얻어진 값에 대해 양자화, 2치화, 엔트로피 부호화의 처리를 순서대로 적용함으로써 부호화를 행한다.

또, 예측 부호화 처리를 블록마다 행하는 경우, 시점 합성 화상의 생성 처리(단계 S4)와 부호화 대상 화상의 부호화 처리(단계 S5)를 블록마다 교대로 반복함으로써, 부호화 대상 화상을 부호화해도 된다. 그 경우의 처리 동작을 도 3을 참조하여 설명한다. 도 3은, 시점 합성 화상의 생성 처리와 부호화 대상 화상의 부호화 처리를 블록마다 교대로 반복함으로써, 부호화 대상 화상을 부호화하는 동작을 나타내는 흐름도이다. 도 3에서, 도 2에 도시된 처리 동작과 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 간단히 행한다. 도 3에 도시된 처리 동작에서는, 예측 부호화 처리를 행하는 단위가 되는 블록의 인덱스를 blk라고 하고, 부호화 대상 화상 중의 블록수를 numBlks로 나타내고 있다.

우선, 부호화 대상 화상 입력부(101)는 부호화 대상 화상을 입력하고, 부호화 대상 화상 메모리(102)에 기억한다(단계 S1). 다음에, 참조 카메라 화상 입력부(103)는 참조 카메라 화상을 입력하고, 참조 카메라 화상 메모리(104)에 기억한다. 이와 병행하여 참조 카메라 뎁스맵 입력부(105)는 참조 카메라 뎁스맵을 입력하고, 뎁스맵 변환부(106)에 출력한다(단계 S2).

다음에, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵 입력부(105)로부터 출력하는 참조 카메라 뎁스맵에 기초하여 가상 뎁스맵을 생성하고, 가상 뎁스맵 메모리(107)에 기억한다(단계 S3). 그리고, 시점 합성 화상 생성부(108)는 변수 blk에 0을 대입한다(단계 S6).

다음에, 시점 합성 화상 생성부(108)는, 참조 카메라 화상 메모리(104)에 기억되어 있는 참조 카메라 화상과, 가상 뎁스맵 메모리(107)에 기억되어 있는 가상 뎁스맵으로부터 블록(blk)에 대한 시점 합성 화상을 생성하고, 화상 부호화부(109)에 출력한다(단계 S4a). 이어서, 시점 합성 화상을 얻은 후에, 화상 부호화부(109)는 시점 합성 화상을 예측 화상으로 하여 블록(blk)에 대한 부호화 대상 화상을 예측 부호화하여 출력한다(단계 S5a). 그리고, 시점 합성 화상 생성부(108)는, 변수 blk를 인크리먼트(increment)하여(blk←blk+1, 단계 S7) blk<numBlks를 만족하는지를 판정한다(단계 S8). 이 판정 결과, blk<numBlks를 만족하면 단계 S4a로 되돌아가 처리를 반복하고, blk=numBlks를 만족한 시점에서 처리를 종료한다.

다음에, 도 4를 참조하여 도 1에 도시된 뎁스맵 변환부(106)의 처리 동작을 설명한다.

도 4는, 도 2, 도 3에 도시된 참조 카메라 뎁스맵 변환 처리(단계 S3)의 처리 동작을 나타내는 흐름도이다. 이 처리에서는, 3가지 단계에 의해 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성한다. 각 단계에서는, 가상 뎁스맵의 다른 영역에 대해 뎁스값을 생성한다.

우선, 뎁스맵 변환부(106)는, 부호화 대상 화상과 참조 카메라 뎁스맵 양자 모두에 비치는 영역에 대한 가상 뎁스맵을 생성한다(단계 S21). 이 영역은 참조 카메라 뎁스맵에 포함되어 있는 뎁스 정보로서, 가상 뎁스맵에도 존재해야 할 정보가 되기 때문에, 참조 카메라 뎁스맵을 변환함으로써 구하는 가상 뎁스맵이 얻어진다. 어떠한 처리를 이용해도 상관없지만, 예를 들어 비특허문헌 3에 기재된 방법을 이용해도 상관없다.

다른 방법으로서는, 참조 카메라 뎁스맵으로부터 각 화소의 3차원 위치가 얻어지기 때문에, 피사체 공간의 3차원 모델을 복원하고, 복원된 모델을 부호화 대상 카메라로부터 관측하였을 때의 뎁스를 구함으로써, 이 영역에 대한 가상 뎁스맵을 생성할 수도 있다. 또 다른 방법으로서는, 참조 카메라 뎁스맵의 화소마다 그 화소의 뎁스값을 이용하여 가상 뎁스맵 상의 대응점을 구하고, 그 대응점으로 변환한 뎁스값을 할당함으로써 생성할 수 있다. 여기서, 변환한 뎁스값이란, 참조 카메라 뎁스맵에 대한 뎁스값을 가상 뎁스맵에 대한 뎁스값으로 변환한 것이다. 뎁스값을 표현하는 좌표계로서 참조 카메라 뎁스맵과 가상 뎁스맵에서 공통의 좌표계를 이용하는 경우는, 변환하지 않고 참조 카메라 뎁스맵의 뎁스값을 사용하게 된다.

또, 대응점은 반드시 가상 뎁스맵의 정수 화소 위치로서 얻어지는 것은 아니기 때문에, 참조 카메라 뎁스맵 상에서 인접하는 화소와의 가상 뎁스맵 상에서의 연속성을 가정함으로써, 가상 뎁스맵의 각 화소에 대한 뎁스값을 보간하여 생성할 필요가 있다. 단, 참조 카메라 뎁스맵 상에서 인접하는 화소에 대해, 그 뎁스값의 변화가 미리 정해진 범위 내인 경우에서만 연속성을 가정한다. 이는, 뎁스값이 크게 다른 화소에는 다른 피사체가 찍혀 있다고 생각되어 실 공간에서의 피사체의 연속성을 가정할 수 없기 때문이다. 또한, 얻어진 대응점으로부터 하나 또는 복수의 정수 화소 위치를 구하고, 그 화소에 대해 변환한 뎁스값을 할당해도 상관없다. 이 경우, 뎁스값의 보간을 행할 필요가 없어지고 연산량을 삭감할 수 있다.

또한, 피사체의 전후관계에 따라 참조 카메라 화상의 일부 영역이 참조 카메라 화상의 다른 영역에 의해 차폐되고, 부호화 대상 화상에는 비치지 않는 영역이 존재하기 때문에, 이 방법을 이용하는 경우는 전후관계를 고려하면서 대응점에 뎁스값을 할당할 필요가 있다.

단, 부호화 대상 카메라와 참조 카메라의 광축이 동일 평면상에 존재하는 경우, 부호화 대상 카메라와 참조 카메라의 위치관계에 따라 참조 카메라 뎁스맵의 화소를 처리하는 순서를 결정하고, 그 결정된 순서에 따라 처리를 행함으로써, 전후관계를 고려하지 않고 얻어진 대응점에 대해 항상 덮어쓰기 처리를 행함으로써 가상 뎁스맵을 생성할 수 있다. 구체적으로 부호화 대상 카메라가 참조 카메라보다 오른쪽에 존재하는 경우, 참조 카메라 뎁스맵의 화소를 각 행에서 왼쪽에서 오른쪽으로 스캔하는 순서로 처리하고, 부호화 대상 카메라가 참조 카메라보다 왼쪽에 존재하는 경우, 참조 카메라 뎁스맵의 화소를 각 행에서 오른쪽에서 왼쪽으로 스캔하는 순서로 처리함으로써, 전후관계를 고려할 필요가 없어진다. 또, 전후관계를 고려할 필요가 없어짐으로써 연산량을 삭감할 수 있다.

단계 S21이 종료된 시점에서, 뎁스값이 얻어지지 않은 가상 뎁스맵의 영역은 참조 카메라 뎁스맵에서 비치지 않는 영역이 된다. 도 11은, 오클루전 영역(OCC)이 발생하는 상황을 나타내는 설명도이다. 도 11에 도시된 바와 같이, 이 영역에는 피사체의 전후관계에 의해 비치지 않는 영역(오클루전 영역(OCC))과, 참조 카메라 뎁스맵의 프레임 밖에 대응하기 위해 비치지 않는 영역(프레임 밖 영역(OUT))의 2종류 영역이 존재한다. 그래서, 뎁스맵 변환부(106)는 오클루전 영역(OCC)에 대해 뎁스를 생성한다(단계 S22).

오클루전 영역(OCC)에 대한 뎁스를 생성하는 제1 방법은, 오클루전 영역(OCC) 주변의 전경 오브젝트(OBJ-F)와 동일한 뎁스값을 할당하는 방법이다. 오클루전 영역(OCC)에 포함되는 화소마다 할당하는 뎁스값을 구해도 상관없고, 오클루전 영역(OCC)의 라인마다나 오클루전 영역(OCC) 전체 등 복수 화소에 대해 하나의 뎁스값을 구해도 상관없다. 또, 오클루전 영역(OCC)의 라인마다 구하는 경우는 에피폴라 직선이 일치하는 화소의 라인마다 구해도 상관없다.

구체적인 처리로서는, 동일한 뎁스값을 할당하는 화소의 집합마다, 우선, 오클루전 영역(OCC)의 화소군을, 참조 카메라 뎁스맵 상에서 차폐하는 전경 오브젝트(OBJ-F)가 존재하는 가상 뎁스맵 상의 하나 이상의 화소를 결정한다. 다음에, 결정한 전경 오브젝트(OBJ-F)의 화소가 가지는 뎁스값으로부터 할당하는 뎁스값을 결정한다. 복수의 화소가 얻어진 경우는, 이들 화소에 대한 뎁스값의 평균값, 중앙값, 최대값, 가장 많이 나타난 값 중 어느 하나에 의해 하나의 뎁스값을 결정한다. 마지막으로, 결정한 뎁스값을 그 동일한 뎁스를 할당하는 화소의 집합에 포함되는 모든 화소에 할당한다.

또, 동일한 뎁스를 할당하는 화소의 집합마다 전경 오브젝트(OBJ-F)가 존재하는 화소를 결정할 때에, 부호화 대상 카메라와 참조 카메라의 위치 관계로부터 오클루전 영역(OCC)을 참조 카메라 뎁스맵 상에서 차폐하는 피사체가 존재하는 가상 뎁스맵 상의 방향을 결정하고, 그 방향에 대해서만 탐색을 행함으로써, 전경 오브젝트(OBJ-F)가 존재하는 화소를 결정하는 데에 필요한 처리를 삭감해도 상관없다.

나아가 라인마다 하나의 뎁스값을 할당한 경우에, 전경 오브젝트(OBJ-F)로부터 먼 오클루전 영역(OCC)에 있어서 복수 라인에 걸쳐 동일한 뎁스값이 되도록 뎁스값이 매끄럽게 변화하도록 수정해도 상관없다. 그때, 전경 오브젝트(OBJ-F)로부터 가까운 화소로부터 먼 화소로 뎁스값은 단조롭게 증가 또는 감소하도록 변화시키는 것으로 한다.

오클루전 영역(OCC)에 대한 뎁스를 생성하는 제2 방법은, 오클루전 영역(OCC) 주변의 배경 오브젝트(OBJ-B)에 대한 참조 뎁스맵 상의 화소에 대해 대응 관계가 얻어지는 뎁스값을 할당하는 방법이다. 구체적인 처리로서는, 우선, 오클루전 영역(OCC) 주변의 배경 오브젝트(OBJ-B)에 대한 하나 이상의 화소를 선택하고, 그 오클루전 영역(OCC)에 대한 배경 오브젝트 뎁스값으로서 결정한다. 복수의 화소를 선택한 경우는, 이들 화소에 대한 뎁스값의 평균값, 중앙값, 최소값, 가장 많이 나타난 값 중 어느 하나에 의해 하나의 배경 오브젝트 뎁스값을 결정한다.

배경 오브젝트 뎁스값이 얻어졌다면, 오클루전 영역(OCC)의 화소마다 배경 오브젝트 뎁스값보다 크고 참조 카메라 뎁스맵 상의 배경 오브젝트(OBJ-B)에 대응하는 영역과 대응 관계가 얻어지는 뎁스값 중에서 최소의 뎁스값을 구하여 가상 뎁스맵의 뎁스값으로서 할당한다.

여기서, 도 12를 참조하여 오클루전 영역(OCC)에 대한 뎁스를 생성하는 제2 방법의 다른 실현 방법을 설명한다. 도 12는, 오클루전 영역(OCC)에 대한 뎁스를 생성하는 동작을 나타내는 설명도이다.

우선, 참조 카메라 뎁스맵 상의 전경 오브젝트(OBJ-F)에 대한 화소와 배경 오브젝트(OBJ-B)에 대한 화소의 경계로서, 가상 뎁스맵에서 오클루전 영역(OCC)이 발생하는 경계(B)를 구한다(S12-1). 다음에, 얻어진 경계에 인접하는 전경 오브젝트(OBJ-F)의 화소를 1화소(E)만큼 인접하는 배경 오브젝트(OBJ-B)의 방향으로 신장한다(S12-2). 이때, 신장하여 얻어진 화소는, 원래의 배경 오브젝트(OBJ-B)의 화소에 대한 뎁스값과 인접하는 전경 오브젝트(OBJ-F)의 화소에 대한 뎁스값의 2개의 뎁스값을 가진다.

다음에, 그 화소(E)에서 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)가 연속되어 있다고 가정 A 하여(S12-3) 가상 뎁스맵을 생성한다(S12-4). 즉, 참조 카메라 뎁스맵 상의 화소(E) 위치에 있어서, 참조 카메라로부터 가까운 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에서부터 참조 카메라로부터 먼 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에 이르기까지 피사체가 연속적으로 존재한다고 가정하여, 가정된 피사체의 뎁스를 부호화 대상 화상 상의 뎁스로 변환함으로써, 오클루전 영역(OCC)의 화소에 대한 뎁스값을 결정한다.

여기서의 마지막 처리는, 신장하여 얻어진 화소에 대한 가상 뎁스맵 상의 대응점을 뎁스값을 변화시키면서 복수 회(回) 구하는 것에 상당한다. 또, 신장하여 얻어진 화소에 대해, 원래의 배경 오브젝트(OBJ-B)의 화소에 대한 뎁스값을 이용하여 얻어지는 대응점과, 인접하는 전경 오브젝트(OBJ-F)의 화소에 대한 뎁스값을 이용하여 얻어지는 대응점을 구하여 그 대응점 간에 선형 보간을 행함으로써, 오클루전 영역(OCC)의 화소에 대한 뎁스값을 구해도 상관없다.

일반적으로 오클루전 영역(OCC)에 대한 뎁스값의 할당에서는, 오클루전 영역(OCC)은 전경 오브젝트(OBJ-F)에 의해 차폐되는 영역이기 때문에, 이러한 실 공간에서의 구조를 고려하여 도 13에 도시된 바와 같이 배경 오브젝트(OBJ-B)의 연속성을 가정하여 주변의 배경 오브젝트(OBJ-B)에 대한 뎁스값을 할당한다.

도 13은, 배경 오브젝트(OBJ-B)의 연속성을 가정하여 오클루전 영역(OCC) 주변의 배경 오브젝트(OBJ-B)에 대한 뎁스값을 할당하는 동작을 나타내는 설명도이다. 또한, 도 14에 도시된 바와 같이, 참조 카메라에서의 피사체의 연속성을 고려하여 주변 영역의 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)의 사이를 보간한 뎁스값을 할당하는 경우도 있다.

도 14는, 주변 영역의 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)의 사이를 보간한 뎁스값을 할당하는 동작을 나타내는 설명도이다.

그러나, 전술한 오클루전 영역(OCC)에 대한 뎁스를 생성하는 제1 방법은, 도 15에 도시된 바와 같이 실 공간에서의 구조를 무시하고 전경 오브젝트(OBJ-F)의 연속성을 가정한 처리가 된다. 도 15는, 전경 오브젝트(OBJ-F)의 연속성을 가정한 처리 동작을 나타내는 설명도이다.

도 15에서, 부호화 대상 프레임의 가상 뎁스맵은 오클루전 영역(OCC)에 뎁스값으로서 전경 오브젝트(OBJ-F)의 뎁스값이 주어짐으로써 작성된다.

또한, 제2 방법도, 도 16에 도시된 바와 같이 오브젝트의 형상을 변화시키는 처리가 된다. 도 16은, 오브젝트의 형상을 변화시키는 처리 동작을 나타내는 설명도이다.

도 16에서, 부호화 대상 프레임의 가상 뎁스맵은 오클루전 영역(OCC)에 뎁스값으로서 전경 오브젝트(OBJ-F)를 도 12의 S12-2에 도시된 바와 같이 신장시킨 후에, S12-4에 도시된 바와 같은 연속성이 가정된 피사체의 뎁스값이 주어짐으로써 작성된다. 즉, 도 16의 오클루전 영역(OCC)에는, 뎁스값으로서 시점으로부터 가까운 것을 나타내는 뎁스값부터 먼 것을 나타내는 뎁스값까지 도 16의 우측 방향으로 연속적으로 변화하는 뎁스값이 주어진다.

이들 가정에서는, 참조 카메라에 대해 주어진 참조 카메라 뎁스맵과 모순되게 된다. 실제로 이러한 가정을 한 경우, 도 15 및 도 16에서 점선의 타원으로 둘러싼 화소에서 뎁스값의 모순(I1 및 I2)이 각각 발생하는 것을 확인할 수 있다. 도 15의 경우에서는, 참조 카메라 뎁스맵에서는 배경 오브젝트(OBJ-B)의 뎁스값이 존재해야 할 위치에, 가정한 피사체 공간에서는 전경 오브젝트(OBJ-F)의 뎁스값이 존재한다. 도 16의 경우에서는, 참조 카메라 뎁스맵에서는 배경 오브젝트(OBJ-B)의 뎁스값이 존재해야 할 위치에, 가정한 피사체 공간에서는 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)를 연결하는 오브젝트의 뎁스값이 존재한다.

따라서, 이 방법에서는 참조 카메라 뎁스맵 상의 오클루전 영역(OCC)에 대해 모순이 없는 뎁스값을 생성할 수 없다. 그러나, 이와 같이 생성된 도 15 및 도 16에 도시된 가상 뎁스맵을 이용하여 부호화 대상 화상의 화소마다 대응점을 구하여 시점 합성 화상을 합성한 경우, 각각 도 17 및 도 18에 도시된 바와 같이 오클루전 영역(OCC)의 화소에는 배경 오브젝트(OBJ-B)의 화소값이 할당되게 된다.

한편, 종래의 방법으로 모순이 생기지 않는 가상 뎁스맵을 생성한 경우는, 도 19 및 도 20에 도시된 바와 같이, 오클루전 영역(OCC)의 화소에 전경 오브젝트(OBJ-F)의 화소값이 할당되거나, 전경 오브젝트(OBJ-F)와 배경 오브젝트(OBJ-B)의 중간에 대응하기 때문에, 그 양자로부터 보간한 화소값이 할당되게 된다. 도 19 및 도 20은, 전경 오브젝트(OBJ-F)의 화소값이나 보간한 화소값이 할당되는 것을 나타내는 설명도이다. 오클루전 영역(OCC)은 전경 오브젝트(OBJ-F)에 의해 차폐되는 영역인 것으로부터, 배경 오브젝트(OBJ-B)가 존재한다고 상정되기 때문에, 전술한 수법이 종래 수법보다 품질이 높은 시점 합성 화상을 생성할 수 있게 된다.

또, 종래 수법으로 생성된 가상 뎁스맵을 이용하여 시점 합성 화상을 생성할 때에, 부호화 대상 화상의 화소에 대한 가상 뎁스맵의 뎁스값과 참조 카메라 화상 상의 대응점에 대한 참조 카메라 뎁스맵의 뎁스값을 비교하여, 전경 오브젝트(OBJ-F)에 의한 차폐가 발생하는지 여부(이들 뎁스값의 차이가 작은지 여부)를 판정하여 차폐가 발생하지 않는(뎁스값의 차이가 작은) 경우에만 참조 카메라 화상으로부터 화소값을 생성하는 것으로 함으로써, 잘못된 시점 합성 화상이 생성되는 것을 막는 것은 가능하다.

그러나, 이러한 방법에서는 차폐 발생의 유무를 체크하는 것에 의한 연산량 증가가 발생한다. 나아가 차폐가 발생한 화소에 대해서는, 시점 합성 화상을 생성할 수 없거나 화상 복원(인페인팅) 등의 수법에 따라 추가적인 연산량을 걸어 시점 합성 화상을 생성할 필요가 있다. 따라서, 전술한 수법을 이용하여 가상 뎁스맵을 생성함으로써, 적은 연산량으로 고품질의 시점 합성 화상을 생성할 수 있다는 효과가 얻어진다.

도 4로 되돌아가, 오클루전 영역(OCC)에 대한 뎁스의 생성이 종료되면, 뎁스맵 변환부(106)는 프레임 밖 영역(OUT)에 대한 뎁스를 생성한다(단계 S23). 또, 연속되는 프레임 밖 영역(OUT)에 대해 하나의 뎁스값을 할당해도 상관없고, 라인마다 하나의 뎁스값을 할당해도 상관없다. 구체적으로 뎁스값을 결정하는 프레임 밖 영역(OUT)에 인접하는 화소의 뎁스값의 최소값이나, 그 최소값보다 더 작은 값의 임의의 뎁스값을 할당하는 방법이 있다.

또, 프레임 밖 영역(OUT)에 대해서는 시점 합성 화상을 생성하지 않는 것이면, 프레임 밖 영역(OUT)에 대해서는 뎁스를 생성하지 않아도 상관없다. 단, 그 경우는 시점 합성 화상을 생성하는 단계(단계 S4 또는 단계 S4a)에서, 유효한 뎁스값이 주어지지 않는 화소에 대해 대응점을 구하지 않고, 화소값을 할당하지 않거나 디폴트의 화소값을 할당하는 것과 같은 시점 합성 화상의 생성 방법을 이용할 필요가 있다.

다음에, 도 5를 참조하여 카메라 배치가 1차원 평행인 경우에 뎁스맵 변환부(106)의 구체적인 동작의 일례를 설명한다. 또, 카메라 배치가 1차원 평행이란, 카메라의 이론 투영면이 동일 평면상에 존재하고 광축이 서로 평행한 상태이다. 또한, 여기서 카메라는 수평방향으로 이웃하여 설치되어 있고, 참조 카메라가 부호화 대상 카메라의 좌측에 존재한다고 하자. 이때, 화상 평면상의 수평 라인 상의 화소에 대한 에피폴라 직선은 동일한 높이에 존재하는 수평한 라인 형상이 된다. 이 때문에, 시차는 항상 수평방향으로만 존재하게 된다. 나아가 투영면이 동일 평면상에 존재하기 때문에, 뎁스를 광축 방향의 좌표축에 대한 좌표값으로서 표현하는 경우, 카메라 간에 뎁스의 정의축이 일치하게 된다.

도 5는, 뎁스맵 변환부(106)가 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하는 동작을 나타내는 흐름도이다. 도 5에서는, 참조 카메라 뎁스맵을 RDepth, 가상 뎁스맵을 VDepth라고 표기하고 있다. 카메라 배치가 1차원 평행이기 때문에, 라인마다 참조 카메라 뎁스맵을 변환하여 가상 뎁스맵을 생성한다. 즉, 참조 카메라 뎁스맵의 라인을 나타내는 인덱스를 h, 참조 카메라 뎁스맵의 라인 수를 Height라고 하면, 뎁스맵 변환부(106)는 h를 0으로 초기화한 후(단계 S31), h를 1씩 가산하면서(단계 S45) h가 Height가 될 때까지(단계 S46) 이하의 처리(단계 S32~단계 S44)를 반복한다.

라인마다 행하는 처리에서는, 우선, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵의 뎁스를 와핑(warping)한다(단계 S32~단계 S42). 그 후, 프레임 밖 영역(OUT)에 대한 뎁스를 생성함으로써(단계 S43~S44), 1라인분의 가상 뎁스맵을 생성한다.

참조 카메라 뎁스맵의 뎁스를 와핑하는 처리는, 참조 카메라 뎁스맵의 화소마다 행해진다. 즉, 수평방향의 화소 위치를 나타내는 인덱스를 w, 1라인의 총화소수를 Width라고 하면, 뎁스맵 변환부(106)는 w를 0에서, 직전 화소의 뎁스를 와핑한 가상 뎁스맵 상의 화소 위치 lastW를 -1에서 초기화한 후(단계 S32), w를 1씩 가산하면서(단계 S41) w가 Width가 될 때까지(단계 S42) 이하의 처리(단계 S33~단계 S40)를 반복한다.

참조 카메라 뎁스맵의 화소마다 행해지는 처리에서는, 우선, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵의 값으로부터 화소(h, w)의 가상 뎁스맵에 대한 시차(dv)를 구한다(단계 S33). 여기서의 처리는 뎁스의 정의에 따라 다르다.

또, 시차(dv)는 시차의 방향을 가진 벡터량으로 하고, 참조 카메라 뎁스맵의 화소(h, w)가 가상 뎁스맵 상의 화소(h, w+dv)와 대응하는 것을 나타내는 것으로 한다.

다음에, 시차(dv)가 얻어지면, 뎁스맵 변환부(106)는 가상 뎁스맵 상의 대응 화소가 프레임 내에 존재하는지 여부를 체크한다(단계 S34). 여기서는, 카메라의 위치 관계에 의한 제약으로부터 w+dv가 음인지 여부를 체크한다. w+dv가 음인 경우, 대응 화소가 존재하지 않기 때문에, 참조 카메라 뎁스맵의 화소(h, w)에 대한 뎁스는 와핑하지 않고 화소(h, w)에 대한 처리를 종료한다.

w+dv가 0 이상인 경우, 뎁스맵 변환부(106)는 가상 뎁스맵의 대응 화소(h, w+dv)에 참조 카메라 뎁스맵의 화소(h, w)에 대한 뎁스를 와핑한다(단계 S35). 다음에, 뎁스맵 변환부(106)는 직전 화소의 뎁스를 와핑한 위치와 이번에 와핑을 행한 위치의 위치 관계를 체크한다(단계 S36). 구체적으로 직전 화소와 이번 화소의 참조 카메라 뎁스맵 상에서의 좌우 순서가 가상 뎁스맵 상에서도 동일한지 여부를 판정한다. 위치 관계가 반전되어 있는 경우는, 직전에 처리한 화소보다 이번에 처리한 화소가 카메라에 가까운 피사체가 찍혔다고 판단되어 특별한 처리를 행하지 않고 lastW를 w+dv로 갱신하여(단계 S40) 화소(h, w)에 대한 처리를 종료한다.

한편, 위치 관계가 반전되지 않은 경우, 뎁스맵 변환부(106)는 직전 화소의 뎁스를 와핑한 위치 lastW와 이번에 와핑을 행한 위치 w+dv의 사이에 존재하는 가상 뎁스맵의 화소에 대한 뎁스를 생성한다. 그리고, 직전 화소의 뎁스를 와핑한 위치와 이번에 와핑을 행한 위치의 사이에 존재하는 가상 뎁스맵의 화소에 대한 뎁스를 생성하는 처리에서는, 우선, 뎁스맵 변환부(106)는 직전 화소와 이번에 와핑을 행한 화소에 동일한 피사체가 찍혔는지 여부를 체크한다(단계 S37). 어떠한 방법을 이용하여 판정을 행해도 상관없지만, 여기서는 피사체의 실 공간에서의 연속성으로부터 동일 피사체에 대한 뎁스의 변화는 작다고 가정한 판정을 행한다.

구체적으로, 직전 화소의 뎁스를 와핑한 위치와 이번에 와핑을 행한 위치의 차이로부터 얻어지는 시차의 차이가 미리 정해진 문턱값보다 작은지 여부를 판정한다.

다음에, 위치의 차이가 문턱값보다 작은 경우, 뎁스맵 변환부(106)는 2개의 화소에는 동일한 피사체가 찍혔다고 판단하고, 직전 화소의 뎁스를 와핑한 위치 lastW와 이번에 와핑을 행한 위치 w+dv의 사이에 존재하는 가상 뎁스맵의 화소에 대한 뎁스를 피사체의 연속성을 가정하여 보간한다(단계 S38). 뎁스의 보간에는 어떠한 방법을 이용해도 상관없지만, 예를 들어 lastW의 뎁스와 w+dv의 뎁스를 선형 보간함으로써 행해도 상관없고, lastW의 뎁스 또는 w+dv의 뎁스 중 어느 한쪽과 동일한 뎁스를 할당함으로써 행해도 상관없다.

한편, 위치의 차이가 문턱값 이상인 경우, 뎁스맵 변환부(106)는 2개의 화소에는 다른 피사체가 찍혔다고 판단한다. 또, 그 위치 관계로부터 이번에 처리한 화소보다 직전에 처리한 화소가 카메라에 가까운 피사체가 찍혔다고 판단할 수 있다. 즉, 2개의 화소 사이는 오클루전 영역(OCC)이며, 다음에, 이 오클루전 영역(OCC)에 대해 뎁스를 생성한다(단계 S39). 오클루전 영역(OCC)에 대한 뎁스의 생성 방법은 전술한 바와 같이 복수의 방법이 존재한다. 전술한 제1 방법, 즉 오클루전 영역(OCC) 주변의 전경 오브젝트(OBJ-F)의 뎁스값을 할당하는 경우는, 직전에 처리한 화소의 뎁스 VDepth[h, lastW]를 할당한다. 한편, 전술한 제2 방법, 즉 전경 오브젝트(OBJ-F)를 신장시켜 배경과 연속적으로 뎁스를 할당하는 경우는, VDepth[h, lastW]를 VDepth[h, lastW+1]에 복사하고, (h, lastW+1)에서 (h, w+dv)의 사이에 존재하는 가상 뎁스맵의 화소에 대해서는 VDepth[h, lastW+1]와 VDepth[h, w+dv]의 뎁스를 선형 보간함으로써 생성한다.

다음에, 직전 화소의 뎁스를 와핑한 위치와 이번에 와핑을 행한 위치의 사이에 존재하는 가상 뎁스맵의 화소에 대한 뎁스의 생성이 종료되면, 뎁스맵 변환부(106)는 lastW를 w+dv로 갱신하여(단계 S40) 화소(h, w)에 대한 처리를 종료한다.

다음에, 프레임 밖 영역(OUT)에 대한 뎁스의 생성 처리에서는, 우선, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵의 와핑 결과를 확인하여 프레임 밖 영역(OUT)이 존재하는지 여부를 판정한다(단계 S43). 프레임 밖 영역(OUT)이 존재하지 않는 경우는, 아무것도 하지 않고 종료한다. 한편, 프레임 밖 영역(OUT)이 존재하는 경우, 뎁스맵 변환부(106)는 프레임 밖 영역(OUT)에 대한 뎁스를 생성한다(단계 S44). 어떠한 방법을 이용해도 상관없지만, 예를 들어 프레임 밖 영역(OUT)의 모든 화소에 대해 마지막으로 와핑한 뎁스 VDepth[h, lastW]를 할당해도 상관없다.

도 5에 도시된 처리 동작은, 참조 카메라가 부호화 대상 카메라의 좌측에 설치되어 있는 경우의 처리이지만, 참조 카메라와 부호화 대상 카메라의 위치 관계가 반대인 경우는 처리하는 화소의 순서나 화소 위치의 판정 조건을 반대로 하면 된다. 구체적으로 단계 S32에서는 w는 Width-1에서, lastW는 Width에서 초기화하고, 단계 S41에서는 w를 1씩 감산하여 w가 0 미만이 될 때까지(단계 S42) 전술한 처리(단계 S33~단계 S40)를 반복한다. 또한, 단계 S34의 판정 조건은 w+dv>=Width, 단계 S36의 판정 조건은 lastW>w+dv, 단계 S37의 판정 조건은 lastW-w-dv>th가 된다.

또한, 도 5에 도시된 처리 동작은 카메라 배치가 1차원 평행인 경우의 처리인데, 카메라 배치가 1차원 컨버전스(convergence)인 경우도 뎁스의 정의에 따라서는 동일한 처리 동작을 적용하는 것이 가능하다. 구체적으로 뎁스를 표현하는 좌표축이 참조 카메라 뎁스맵과 가상 뎁스맵에서 동일한 경우에 동일한 처리 동작을 적용하는 것이 가능하다. 또한, 뎁스의 정의축이 다른 경우는 참조 카메라 뎁스맵의 값을 직접 가상 뎁스맵에 할당하는 것이 아니고, 참조 카메라 뎁스맵의 뎁스에 의해 나타나는 3차원 위치를 뎁스의 정의축에 따라 변환한 후에 가상 뎁스맵에 할당하는 것만으로 기본적으로 동일한 처리 동작을 적용할 수 있다.

다음에, 화상 복호 장치에 대해 설명한다. 도 6은, 본 실시형태에서의 화상 복호 장치의 구성을 나타내는 블록도이다. 화상 복호 장치(200)는, 도 6에 도시된 바와 같이 부호 데이터 입력부(201), 부호 데이터 메모리(202), 참조 카메라 화상 입력부(203), 참조 카메라 화상 메모리(204), 참조 카메라 뎁스맵 입력부(205), 뎁스맵 변환부(206), 가상 뎁스맵 메모리(207), 시점 합성 화상 생성부(208) 및 화상 복호부(209)를 구비하고 있다.

부호 데이터 입력부(201)는, 복호 대상이 되는 화상의 부호 데이터를 입력한다. 이하에서는, 이 복호 대상이 되는 화상을 복호 대상 화상이라고 부른다. 여기서는 카메라 B의 화상을 가리킨다. 또한, 이하에서는 복호 대상 화상을 촬영한 카메라(여기서는 카메라 B)를 복호 대상 카메라라고 부른다. 부호 데이터 메모리(202)는, 입력한 복호 대상 화상인 부호 데이터를 기억한다. 참조 카메라 화상 입력부(203)는, 시점 합성 화상(시차 보상 화상)을 생성할 때에 참조 화상이 되는 화상을 입력한다. 여기서는 카메라 A의 화상을 입력한다. 참조 카메라 화상 메모리(204)는, 입력한 참조 화상을 기억한다.

참조 카메라 뎁스맵 입력부(205)는, 참조 화상에 대한 뎁스맵을 입력한다.

이하에서는, 이 참조 화상에 대한 뎁스맵을 참조 카메라 뎁스맵이라고 부른다. 또, 뎁스맵이란 대응하는 화상의 각 화소에 비치는 피사체의 3차원 위치를 나타내는 것이다. 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이면 어떠한 정보라도 좋다. 예를 들어, 카메라에서부터 피사체에 이르기까지의 거리나 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예를 들어 카메라 B)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 뎁스맵으로서 화상 형태로 주어지는 것으로 하고 있지만, 마찬가지의 정보가 얻어진다면 화상 형태가 아니어도 상관없다. 이하에서는, 참조 카메라 뎁스맵에 대응하는 카메라를 참조 카메라라고 부른다.

뎁스맵 변환부(206)는, 참조 카메라 뎁스맵을 이용하여 복호 대상 화상에 대한 뎁스맵을 생성한다. 이하에서는, 이 복호 대상 화상에 대해 생성된 뎁스맵을 가상 뎁스맵이라고 부른다. 가상 뎁스맵 메모리(207)는, 생성한 가상 뎁스맵을 기억한다. 시점 합성 화상 생성부(208)는, 가상 뎁스맵으로부터 얻어지는 복호 대상 화상의 화소와 참조 카메라 화상의 화소의 대응 관계를 이용하여 복호 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 복호부(209)는, 시점 합성 화상을 이용하여 부호 데이터로부터 복호 대상 화상을 복호하여 복호 화상을 출력한다.

다음에, 도 7을 참조하여 도 6에 도시된 화상 복호 장치(200)의 동작을 설명한다. 도 7은, 도 6에 도시된 화상 복호 장치(200)의 동작을 나타내는 흐름도이다. 우선, 부호 데이터 입력부(201)는 복호 대상 화상의 부호 데이터를 입력하고, 부호 데이터 메모리(202)에 기억한다(단계 S51). 이와 병행하여 참조 카메라 화상 입력부(203)는 참조 화상을 입력하고, 참조 카메라 화상 메모리(204)에 기억한다. 또한, 참조 카메라 뎁스맵 입력부(205)는 참조 카메라 뎁스맵을 입력하고, 뎁스맵 변환부(206)에 출력한다(단계 S52).

또, 단계 S52에서 입력되는 참조 카메라 화상, 참조 카메라 뎁스맵은 부호화 측에서 사용된 것과 동일한 것으로 한다. 이는 부호화 장치에서 사용한 것과 완전히 같은 정보를 이용함으로써, 드리프트 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음 발생을 허용하는 경우에는 부호화 시에 사용된 것과 다른 것이 입력되어도 된다. 참조 카메라 뎁스맵에 관해서는, 별도로 복호한 것 이외에 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등을 이용하는 경우도 있다.

다음에, 뎁스맵 변환부(206)는 참조 카메라 뎁스맵을 변환하여 가상 뎁스맵을 생성하고, 가상 뎁스맵 메모리(207)에 기억한다(단계 S53). 여기서의 처리는 부호화 대상 화상과 복호 대상 화상 등 부호화와 복호가 다를 뿐이고, 도 2에 도시된 단계 S3과 동일하다.

다음에, 가상 뎁스맵을 얻은 후, 시점 합성 화상 생성부(208)는 참조 카메라 화상 메모리(204)에 기억된 참조 카메라 화상과, 가상 뎁스맵 메모리(207)에 기억된 가상 뎁스맵으로부터 복호 대상 화상에 대한 시점 합성 화상을 생성하고, 화상 복호부(209)에 출력한다(단계 S54). 여기서의 처리는 부호화 대상 화상과 복호 대상 화상 등 부호화와 복호가 다를 뿐이고, 도 2에 도시된 단계 S4와 동일하다.

다음에, 시점 합성 화상을 얻은 후, 화상 복호부(209)는 시점 합성 화상을 예측 화상으로서 이용하면서 부호 데이터로부터 복호 대상 화상을 복호하여 복호 화상을 출력한다(단계 S55). 이 복호 결과 얻어지는 복호 화상이 화상 복호 장치(200)의 출력이 된다. 또, 부호 데이터(비트 스트림)를 올바르게 복호할 수 있다면, 복호에는 어떠한 방법을 이용해도 된다. 일반적으로 부호화 시에 이용된 방법에 대응하는 방법이 이용된다.

MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화로 부호화되어 있는 경우는, 화상을 미리 정해진 크기의 블록으로 분할하여 블록마다 엔트로피 복호, 역2치화, 역양자화 등을 실시한 후, IDCT 등 역주파수 변환을 실시하여 예측 잔차 신호를 얻은 후, 예측 화상을 가하여 화소값 범위에서 클리핑(cipping )함으로써 복호를 행한다.

또, 복호 처리를 블록마다 행하는 경우, 시점 합성 화상의 생성 처리와 복호 대상 화상의 복호 처리를 블록마다 교대로 반복함으로써 복호 대상 화상을 복호해도 된다. 그 경우의 처리 동작을 도 8을 참조하여 설명한다. 도 8은, 시점 합성 화상의 생성 처리와 복호 대상 화상의 복호 처리를 블록마다 교대로 반복함으로써, 복호 대상 화상을 복호하는 동작을 나타내는 흐름도이다. 도 8에서, 도 7에 도시된 처리 동작과 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 간단히 행한다. 도 8에 도시된 처리 동작에서는 복호 처리를 행하는 단위가 되는 블록의 인덱스를 blk라고 하고, 복호 대상 화상 중의 블록 수를 numBlks로 나타내고 있다.

우선, 부호 데이터 입력부(201)는 복호 대상 화상의 부호 데이터를 입력하고, 부호 데이터 메모리(202)에 기억한다(단계 S51). 이와 병행하여 참조 카메라 화상 입력부(203)는 참조 화상을 입력하고, 참조 카메라 화상 메모리(204)에 기억한다. 또한, 참조 카메라 뎁스맵 입력부(205)는 참조 카메라 뎁스맵을 입력하고, 뎁스맵 변환부(206)에 출력한다(단계 S52).

다음에, 뎁스맵 변환부(206)는 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하고, 가상 뎁스맵 메모리(207)에 기억한다(단계 S53). 그리고, 시점 합성 화상 생성부(208)는 변수 blk에 0을 대입한다(단계 S56).

다음에, 시점 합성 화상 생성부(208)는 참조 카메라 화상과 가상 뎁스맵으로부터 블록(blk)에 대한 시점 합성 화상을 생성하고, 화상 복호부(209)에 출력한다(단계 S54a). 이어서, 화상 복호부(209)는, 시점 합성 화상을 예측 화상으로서 이용하면서 부호 데이터로부터 블록(blk)에 대한 복호 대상 화상을 복호하여 출력한다(단계 S55a). 그리고, 시점 합성 화상 생성부(208)는, 변수 blk를 인크리먼트하여(blk←blk+1, 단계 S57) blk<numBlks를 만족하는지를 판정한다(단계 S58). 이 판정 결과, blk<numBlks를 만족하면 단계 S54a로 되돌아가 처리를 반복하고, blk=numBlks를 만족한 시점에서 처리를 종료한다.

이와 같이, 참조 프레임에 대한 뎁스맵으로부터 처리 대상 프레임에 대한 뎁스맵을 생성할 때에, 실 공간에서의 기하 제약이 아니라 오클루전 영역(OCC)에서 생성되는 시점 합성 화상의 품질을 고려함으로써, 지정된 영역만에 대한 시점 합성 화상의 생성과 고품질의 시점 합성 화상의 생성의 양립을 실현하여 다시점 화상의 효율적이고 경량인 화상 부호화를 실현할 수 있다. 이에 의해, 참조 프레임에 대해 뎁스맵을 이용하여 처리 대상 프레임(부호화 대상 프레임 또는 복호 대상 프레임)의 시점 합성 화상을 생성할 때에, 시점 합성 화상의 품질을 저하시키지 않고 블록마다 시점 합성 화상을 생성함으로써, 높은 부호화 효율과 메모리 용량 및 연산량 삭감을 양립하는 것이 가능하게 된다.

전술한 설명에서는, 1프레임 중의 모든 화소를 부호화 및 복호하는 처리를 설명하였지만, 일부 화소에만 적용하고, 그 밖의 화소에서는 H.264/AVC 등에서 이용되는 화면 내 예측 부호화나 움직임 보상 예측 부호화 등을 이용하여 부호화 또는 복호를 행해도 된다. 그 경우에는, 화소마다 어느 방법을 이용하여 예측하였는지를 나타내는 정보를 부호화 및 복호할 필요가 있다. 또한, 화소마다가 아니라 블록마다 다른 예측 방식을 이용하여 부호화 또는 복호를 행해도 된다. 또, 일부 화소나 블록에 대해서만 시점 합성 화상을 이용한 예측을 행하는 경우는, 그 화소에 대해서만 시점 합성 화상을 생성하는 처리(단계 S4, S7, S54 및 S54a)를 행하도록 함으로써, 시점 합성 처리에 드는 연산량을 삭감하는 것이 가능하게 된다.

또한, 전술한 설명에서는, 1프레임을 부호화 및 복호하는 처리를 설명하였지만, 복수 프레임 반복함으로써 동화상 부호화에도 적용할 수 있다. 또한, 동화상의 일부 프레임이나 일부 블록에만 적용할 수도 있다. 나아가 전술한 설명에서는 화상 부호화 장치 및 화상 복호 장치의 구성 및 처리 동작을 설명하였지만, 이들 화상 부호화 장치 및 화상 복호 장치의 각 부의 동작에 대응한 처리 동작에 의해 본 발명의 화상 부호화 방법 및 화상 복호 방법을 실현할 수 있다.

도 9는, 전술한 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다. 도 9에 도시된 시스템은 CPU(50), RAM 등의 메모리(51), 부호화 대상 화상 입력부(52), 참조 카메라 화상 입력부(53), 참조 카메라 뎁스맵 입력부(54), 프로그램 기억 장치(55), 다중화 부호 데이터 출력부(56)가 버스로 접속된 구성으로 되어 있다.

CPU(50)는, 프로그램을 실행한다. RAM 등의 메모리(51)는, CPU(50)가 액세스하는 프로그램이나 데이터를 저장한다. 부호화 대상 화상 입력부(52)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)는, 카메라 등으로부터의 부호화 대상의 화상 신호를 입력한다. 참조 카메라 화상 입력부(53)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)는, 카메라 등으로부터의 참조 대상의 화상 신호를 입력한다. 참조 카메라 뎁스맵 입력부(54)(디스크 장치 등에 의한 뎁스맵을 기억하는 기억부로도 됨)는, 뎁스 카메라 등으로부터의 부호화 대상 화상을 촬영한 카메라와는 다른 위치나 방향의 카메라에 대한 뎁스맵을 입력한다. 프로그램 기억 장치(55)는, 제1 실시형태로서 설명한 화상 부호화 처리를 CPU(50)에 실행시키는 소프트웨어 프로그램인 화상 부호화 프로그램(551)을 저장한다. 다중화 부호 데이터 출력부(56)(디스크 장치 등에 의한 다중화 부호 데이터를 기억하는 기억부로도 됨)는, CPU(50)가 메모리(51)에 로드된 화상 부호화 프로그램(551)을 실행함으로써 생성된 부호 데이터를 예를 들어 네트워크를 통해 출력한다.

도 10은, 전술한 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다. 도 10에 도시된 시스템은 CPU(60), RAM 등의 메모리(51), 부호 데이터 입력부(62), 참조 카메라 화상 입력부(63), 참조 카메라 뎁스맵 입력부(64), 프로그램 기억 장치(65), 복호 대상 화상 출력부(66)가 버스로 접속된 구성으로 되어 있다.

CPU(60)는, 프로그램을 실행한다. RAM 등의 메모리(51)는, CPU(60)가 액세스하는 프로그램이나 데이터를 저장한다. 부호 데이터 입력부(62)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)는, 화상 부호화 장치가 본 수법에 의해 부호화한 부호 데이터를 입력한다. 참조 카메라 화상 입력부(63)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)는, 카메라 등으로부터의 참조 대상의 화상 신호를 입력한다. 참조 카메라 뎁스맵 입력부(64)(디스크 장치 등에 의한 뎁스 정보를 기억하는 기억부로도 됨)는, 뎁스 카메라 등으로부터의 복호 대상을 촬영한 카메라와는 다른 위치나 방향의 카메라에 대한 뎁스맵을 입력한다. 프로그램 기억 장치(65)는, 제2 실시형태로서 설명한 화상 복호 처리를 CPU(60)에 실행시키는 소프트웨어 프로그램인 화상 복호 프로그램(651)을 저장한다. 복호 대상 화상 출력부(66)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)는, CPU(60)가 메모리(61)에 로드된 화상 복호 프로그램(651)을 실행함으로써, 부호 데이터를 복호하여 얻어진 복호 대상 화상을 재생 장치 등에 출력한다.

또한, 도 1에 도시된 화상 부호화 장치, 도 6에 도시된 화상 복호 장치에서의 각 처리부의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 화상 부호화 처리와 화상 복호 처리를 행해도 된다. 또, 여기서 말하는 「컴퓨터 시스템」이란, OS나 주변기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 시스템」은 홈페이지 제공 환경(혹은 표시 환경)을 구비한 WWW 시스템도 포함하는 것으로 한다. 또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM, CD-ROM 등의 포터블 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또, 「컴퓨터 판독 가능한 기록매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이 일정 시간 프로그램을 보유하고 있는 것도 포함하는 것으로 한다.

또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송 매체를 통해 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템으로 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는, 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 가지는 매체를 말한다. 또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다. 또, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 행해도 된다.

참조 프레임에 대한 피사체의 3차원 위치를 나타내는 뎁스맵을 이용하여 부호화(복호) 대상 화상에 대해 시차 보상 예측을 행할 때에, 높은 부호화 효율을 적은 연산량으로 달성하는 것이 불가결한 용도에 적용할 수 있다.

100…화상 부호화 장치
101…부호화 대상 화상 입력부
102…부호화 대상 화상 메모리
103…참조 카메라 화상 입력부
104…참조 카메라 화상 메모리
105…참조 카메라 뎁스맵 입력부
106…뎁스맵 변환부
107…가상 뎁스맵 메모리
108…시점 합성 화상 생성부
109…화상 부호화부
200…화상 복호 장치
201…부호 데이터 입력부
202…부호 데이터 메모리
203…참조 카메라 화상 입력부
204…참조 카메라 화상 메모리
205…참조 카메라 뎁스맵 입력부
206…뎁스맵 변환부
207…가상 뎁스맵 메모리
208…시점 합성 화상 생성부
209…화상 복호부

Claims (18)

1. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서,
   상기 참조 뎁스맵을 상기 부호화 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환 단계;
   상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성 단계; 및
   상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;
   를 가지는, 화상 부호화 방법.
2. 청구항 1에 있어서,
   상기 오클루전 영역 뎁스 생성 단계에서는, 상기 참조 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하는, 화상 부호화 방법.
3. 청구항 1에 있어서,
   상기 오클루전 영역에 대응하는 상기 참조 뎁스맵 상의 화소 경계를 결정하는 오클루전 발생 화소 경계 결정 단계;
   를 더 가지며,
   상기 오클루전 영역 뎁스 생성 단계에서는, 상기 오클루전 발생 화소 경계에 인접하는 상기 참조 뎁스맵의 화소 세트마다 상기 참조 뎁스맵 상에서 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소의 위치에 있어서, 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에서부터 상기 시점으로부터 먼 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에 이르기까지 상기 피사체가 연속적으로 존재한다고 가정하여, 그 가정된 피사체의 뎁스를 상기 부호화 대상 화상 상의 뎁스로 변환함으로써, 상기 오클루전 영역의 뎁스값을 생성하는, 화상 부호화 방법.
4. 청구항 1에 있어서,
   상기 오클루전 영역을 상기 참조 뎁스맵 상에서 차폐하는 영역에 대한 상기 가상 뎁스맵 상의 피사체 영역을 결정하는 피사체 영역 결정 단계; 및
   상기 피사체 영역을 상기 오클루전 영역의 방향으로 화소를 신장하는 피사체 영역 신장 단계;
   를 더 가지며,
   상기 오클루전 영역 뎁스 생성 단계에서는, 상기 신장하여 생성된 화소와 상기 오클루전 영역에 인접하여 상기 피사체 영역과는 반대방향에 존재하는 화소의 사이에서 뎁스값을 매끄럽게 보간함으로써 상기 오클루전 영역의 뎁스값을 생성하는, 화상 부호화 방법.
5. 청구항 1 내지 4 중 어느 한 항에 있어서,
   상기 뎁스맵 변환 단계에서는, 상기 참조 뎁스맵의 참조 화소마다 상기 가상 뎁스맵 상의 대응 화소를 구하고, 상기 참조 화소에 대한 뎁스와 동일한 3차원 위치를 나타내는 뎁스를 상기 대응 화소에 할당함으로써 가상 뎁스맵으로의 변환을 행하는, 화상 부호화 방법.
6. 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료된 참조 화상과 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서,
   상기 참조 뎁스맵을 상기 복호 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환 단계;
   상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성 단계; 및
   상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;
   를 가지는, 화상 복호 방법.
7. 청구항 6에 있어서,
   상기 오클루전 영역 뎁스 생성 단계에서는, 상기 참조 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하는, 화상 복호 방법.
8. 청구항 6에 있어서,
   상기 오클루전 영역에 대응하는 상기 참조 뎁스맵 상의 화소 경계를 결정하는 오클루전 발생 화소 경계 결정 단계;
   를 더 가지며,
   상기 오클루전 영역 뎁스 생성 단계에서는, 상기 오클루전 발생 화소 경계에 인접하는 상기 참조 뎁스맵의 화소 세트마다 상기 참조 뎁스맵 상에서 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소의 위치에 있어서, 상기 시점으로부터 가까운 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에서부터 상기 시점으로부터 먼 것을 나타내는 뎁스값을 가지는 화소와 동일한 뎁스값에 이르기까지 상기 피사체가 연속적으로 존재한다고 가정하여, 그 가정된 피사체의 뎁스를 상기 복호 대상 화상 상의 뎁스로 변환함으로써, 상기 오클루전 영역의 뎁스값을 생성하는, 화상 복호 방법.
9. 청구항 6에 있어서,
   상기 오클루전 영역을 상기 참조 뎁스맵 상에서 차폐하는 영역에 대한 상기 가상 뎁스맵 상의 피사체 영역을 결정하는 피사체 영역 결정 단계; 및
   상기 피사체 영역을 상기 오클루전 영역의 방향으로 화소를 신장하는 피사체 영역 신장 단계;
   를 더 가지며,
   상기 오클루전 영역 뎁스 생성 단계에서는, 상기 신장하여 생성된 화소와 상기 오클루전 영역에 인접하여 상기 피사체 영역과는 반대방향에 존재하는 화소의 사이에서 뎁스값을 매끄럽게 보간함으로써 상기 오클루전 영역의 뎁스값을 생성하는, 화상 복호 방법.
10. 청구항 6 내지 9 중 어느 한 항에 있어서,
    상기 뎁스맵 변환 단계에서는, 상기 참조 뎁스맵의 참조 화소마다 상기 가상 뎁스맵 상의 대응 화소를 구하고, 상기 참조 화소에 대한 뎁스와 동일한 3차원 위치를 나타내는 뎁스를 상기 대응 화소에 할당함으로써 가상 뎁스맵으로의 변환을 행하는, 화상 복호 방법.
11. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서,
    상기 참조 뎁스맵을 상기 부호화 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환부;
    상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성부; 및
    상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;
    를 구비하는, 화상 부호화 장치.
12. 청구항 11에 있어서,
    상기 오클루전 영역 뎁스 생성부는, 상기 참조 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하는, 화상 부호화 장치.
13. 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료된 참조 화상과 상기 참조 화상 중의 피사체의 뎁스맵인 참조 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 장치로서,
    상기 참조 뎁스맵을 상기 복호 대상 화상 중의 피사체의 뎁스맵인 가상 뎁스맵으로 변환하는 뎁스맵 변환부;
    상기 피사체의 전후관계에 의해 발생하는 상기 참조 뎁스맵 내에 뎁스값이 존재하지 않는 오클루전 영역에 대해, 상기 참조 화상에서 차폐되어 있는 피사체와 동일한 피사체 상의 영역에 대해 대응 관계가 얻어지는 뎁스값을 할당함으로써 상기 오클루전 영역의 뎁스값을 생성하는 오클루전 영역 뎁스 생성부; 및
    상기 오클루전 영역의 뎁스값을 생성한 후의 상기 가상 뎁스맵과 상기 참조 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;
    를 구비하는, 화상 복호 장치.
14. 청구항 13에 있어서,
    상기 오클루전 영역 뎁스 생성부는, 상기 참조 뎁스맵 상에서 상기 오클루전 영역을 차폐하는 피사체의 연속성을 가정함으로써 상기 오클루전 영역의 뎁스값을 생성하는, 화상 복호 장치.
15. 컴퓨터에 청구항 1 내지 5 중 어느 한 항에 기재된 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램.
16. 컴퓨터에 청구항 6 내지 10 중 어느 한 항에 기재된 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램.
17. 청구항 15에 기재된 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
18. 청구항 16에 기재된 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.

Images