KR20150034205A - 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체 - Google Patents

Abstract

처리 대상 프레임의 시점 합성 화상을 생성할 때에, 시점 합성 화상의 품질을 현저히 저하시키지 않고 적은 연산량으로 시점 합성 화상을 생성하는 것이 가능한 화상 부호화·화상 복호 방법을 제공한다. 복수 시점의 화상인 다시점 화상을 부호화·복호할 때에, 대상 화상의 시점과는 다른 시점에 대한 참조 시점 화상과, 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화·복호를 행하는 화상 부호화·복호 방법으로서, 대상 화상보다 해상도가 낮고, 대상 화상 내의 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성 단계와, 가상 뎁스맵과 참조 시점 화상으로부터 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.

Description

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체{Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium}

본 발명은 다시점 화상을 부호화 및 복호하는 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체에 관한 것이다.

본원은 2012년 9월 25일에 일본 출원된 특원 2012-211154호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

종래부터 복수의 카메라로 동일한 피사체와 배경을 촬영한 복수의 화상으로 이루어지는 다시점 화상이 알려져 있다. 이 복수의 카메라로 촬영한 동화상을 다시점 동화상(또는 다시점 영상)이라고 한다. 이하의 설명에서는 하나의 카메라로 촬영된 화상(동화상)을 "2차원 화상(동화상)"이라고 부르고, 동일한 피사체와 배경을 위치나 방향(이하, 시점이라고 부름)이 다른 복수의 카메라로 촬영한 2차원 화상(2차원 동화상) 군을 "다시점 화상(다시점 동화상)"이라고 부른다.

2차원 동화상은 시간 방향에 관해 강한 상관이 있고, 그 상관을 이용함으로써 부호화 효율을 높일 수 있다. 한편, 다시점 화상이나 다시점 동화상에서는, 각 카메라가 동기되어 있는 경우, 각 카메라 영상의 같은 시각에 대응하는 프레임(화상)은 완전히 같은 상태의 피사체와 배경을 다른 위치로부터 촬영한 것이므로, 카메라 간에 강한 상관이 있다. 다시점 화상이나 다시점 동화상의 부호화에서는, 이 상관을 이용함으로써 부호화 효율을 높일 수 있다.

여기서, 2차원 동화상의 부호화 기술에 관한 종래기술을 설명한다. 국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래 대부분의 2차원 동화상 부호화 방식에서는, 움직임 보상 예측, 직교변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 행한다. 예를 들어, H.264에서는 과거 혹은 미래의 복수 매의 프레임과의 시간 상관을 이용한 부호화가 가능하다.

H.264에서 사용되고 있는 움직임 보상 예측 기술의 상세에 대해서는 예를 들어 비특허문헌 1에 기재되어 있다. H.264에서 사용되고 있는 움직임 보상 예측 기술의 개요를 설명한다. H.264의 움직임 보상 예측은 부호화 대상 프레임을 다양한 크기의 블록으로 분할하고, 각 블록에서 다른 움직임 벡터와 다른 참조 프레임을 가지는 것을 허가하고 있다. 각 블록에서 다른 움직임 벡터를 사용함으로써, 피사체마다 다른 움직임을 보상한 정밀도 높은 예측을 실현하고 있다. 한편, 각 블록에서 다른 참조 프레임을 사용함으로써, 시간 변화에 따라 생기는 오클루전을 고려한 정밀도 높은 예측을 실현하고 있다.

다음에, 종래의 다시점 화상이나 다시점 동화상의 부호화 방식에 대해 설명한다. 다시점 화상의 부호화 방법과 다시점 동화상의 부호화 방법의 차이는, 다시점 동화상에는 카메라 간의 상관에 덧붙여 시간 방향의 상관이 동시에 존재한다는 것이다. 그러나, 카메라 간의 상관을 이용하는 방법은 어느 쪽의 경우에서도 동일한 방법을 이용할 수 있다. 그 때문에, 여기서는 다시점 동화상의 부호화에서 이용되는 방법에 대해 설명한다.

다시점 동화상의 부호화에 대해서는, 카메라 간의 상관을 이용하기 위해 움직임 보상 예측을 같은 시각의 다른 카메라로 촬영된 화상에 적용한 "시차 보상 예측"에 의해 고효율로 다시점 동화상을 부호화하는 방식이 종래부터 존재한다. 여기서, 시차란 다른 위치에 배치된 카메라의 화상 평면상에서 피사체 상의 같은 부분이 존재하는 위치의 차이이다. 도 13은 카메라 간에 생기는 시차를 나타내는 개념도이다. 도 13에 도시된 개념도에서는, 광축이 평행한 카메라의 화상 평면을 수직으로 내려다 본 것으로 되어 있다. 이와 같이, 다른 카메라의 화상 평면상에서 피사체 상의 같은 부분이 투영되는 위치는 일반적으로 대응점이라고 불린다.

시차 보상 예측에서는, 이 대응 관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로부터 예측하여 그 예측 잔차와 대응 관계를 나타내는 시차 정보를 부호화한다. 시차는 대상으로 하는 카메라 쌍이나 위치마다 변화하기 때문에, 시차 보상 예측을 행하는 영역마다 시차 정보를 부호화하는 것이 필요하다. 실제로 H.264의 다시점 부호화 방식에서는, 시차 보상 예측을 이용하는 블록마다 시차 정보를 나타내는 벡터를 부호화하고 있다.

시차 정보에 의해 주어지는 대응 관계는, 카메라 파라미터를 이용함으로써 에피폴라(epipolar) 기하 구속에 기초하여 2차원 벡터가 아니라 피사체의 3차원 위치를 나타내는 1차원량으로 나타낼 수 있다. 피사체의 3차원 위치를 나타내는 정보로서는 다양한 표현이 존재하지만, 기준이 되는 카메라부터 피사체까지의 거리나 카메라의 화상 평면과 평행이 아닌 축 상의 좌표값을 이용하는 경우가 많다. 또, 거리가 아니라 거리의 역수를 이용하는 경우도 있다. 또한, 거리의 역수는 시차에 비례하는 정보가 되기 때문에, 기준이 되는 카메라를 2개 설정하고 이들 카메라로 촬영된 화상 간에서의 시차량으로서 피사체의 3차원 위치를 표현하는 경우도 있다. 어떠한 표현을 이용하였다고 해도 그의 물리적인 의미에 본질적인 차이는 없기 때문에, 이하에서는 표현에 의한 구별을 하지 않고 이들 3차원 위치를 나타내는 정보를 뎁스(depth)라고 표현한다.

도 14는 에피폴라 기하 구속의 개념도이다. 에피폴라 기하 구속에 의하면, 어떤 카메라의 화상 상의 점에 대응하는 다른 카메라의 화상 상의 점은 에피폴라 선이라는 직선상에 구속된다. 이때, 그의 화소에 대한 뎁스가 얻어진 경우, 대응점은 에피폴라 선 상에 특유의 형태로 정해진다. 예를 들어, 도 14에 도시된 바와 같이 제1 카메라 화상에서 m의 위치에 투영된 피사체에 대한 제2 카메라 화상에서의 대응점은 실 공간에서의 피사체 위치가 M'인 경우에는 에피폴라 선 상의 위치 m'에 투영되고, 실 공간에서의 피사체 위치가 M"인 경우에는 에피폴라 선 상의 위치 m"에 투영된다.

비특허문헌 2에서는, 이 성질을 이용하여 참조 프레임에 대한 뎁스맵(거리 화상)에 의해 주어지는 각 피사체의 3차원 정보에 따라 참조 프레임으로부터 부호화 대상 프레임에 대한 예측 화상을 합성함으로써, 정밀도 높은 예측 화상을 생성하여 효율적인 다시점 동화상의 부호화를 실현하고 있다. 또, 이 뎁스에 기초하여 생성되는 예측 화상은 시점 합성 화상, 시점 보간 화상 또는 시차 보상 화상이라고 불린다.

또, 특허문헌 1에서는, 처음에 참조 프레임에 대한 뎁스맵을 부호화 대상 프레임에 대한 뎁스맵으로 변환하고, 그 변환된 뎁스맵을 이용하여 대응점을 구함으로써 필요한 영역에 대해서만 시점 합성 화상을 생성하는 것을 가능하게 하고 있다. 이에 따라, 부호화 대상 또는 복호 대상이 되는 프레임의 영역마다 예측 화상을 생성하는 방법을 전환하면서 화상 또는 동화상을 부호화 또는 복호하는 경우에 있어서, 시점 합성 화상을 생성하기 위한 처리량이나 시점 합성 화상을 일시적으로 축적하기 위한 메모리량의 삭감을 실현하고 있다.

특허문헌 1: 일본공개특허 2010-21844호 공보

비특허문헌 1: ITU-T Recommendation H.264(03/2009), "Advanced video coding for generic audiovisual services", March, 2009. 비특허문헌 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D 와핑 with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.

특허문헌 1에 기재된 방법에 의하면, 부호화 대상 프레임에 대해 뎁스가 얻어지기 때문에, 부호화 대상 프레임의 화소로부터 참조 프레임 상의 대응하는 화소를 구하는 것이 가능하게 된다. 이에 의해, 부호화 대상 프레임의 지정된 영역에 대해서만 시점 합성 화상을 생성함으로써, 부호화 대상 프레임의 일부 영역에만 시점 합성 화상이 필요한 경우에는, 항상 1프레임분의 시점 합성 화상을 생성하는 경우에 비해 처리량이나 요구되는 메모리의 양을 삭감할 수 있다.

그러나, 부호화 대상 프레임 전체에 대해 시점 합성 화상이 필요한 경우는, 참조 프레임에 대한 뎁스맵으로부터 부호화 대상 프레임에 대한 뎁스맵을 합성할 필요가 있기 때문에, 참조 프레임에 대한 뎁스맵으로부터 직접 시점 합성 화상을 생성하는 경우보다 그 처리량이 증가하는 문제가 있다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 처리 대상 프레임의 시점 합성 화상을 생성할 때에, 시점 합성 화상의 품질을 현저히 저하시키지 않고 적은 연산량으로 시점 합성 화상을 생성하는 것이 가능한 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체를 제공하는 것을 목적으로 한다.

본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서, 상기 부호화 대상 화상보다 해상도가 낮고, 상기 부호화 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성 단계와, 상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.

바람직하게는, 본 발명의 화상 부호화 방법은, 상기 참조 시점 뎁스맵으로부터 상기 부호화 대상 화상과 동일한 해상도의 동일 해상도 뎁스맵을 생성하는 동일 해상도 뎁스맵 생성 단계를 더 가지며, 상기 가상 뎁스맵 생성 단계에서는 상기 동일 해상도 뎁스맵을 축소함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 부호화 방법에서의 상기 가상 뎁스맵 생성 단계에서는, 상기 가상 뎁스맵의 화소마다 상기 동일 해상도 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 부호화 방법은, 상기 참조 시점 뎁스맵을 축소함으로써 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성 단계를 더 가지며, 상기 가상 뎁스맵 생성 단계에서는 상기 축소 뎁스맵으로부터 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 부호화 방법에서의 상기 축소 뎁스맵 생성 단계에서는, 상기 참조 시점 뎁스맵을 세로방향 또는 가로방향 중 어느 한쪽에 대해서만 축소한다.

바람직하게는, 본 발명의 화상 부호화 방법에서의 상기 축소 뎁스맵 생성 단계에서는, 상기 축소 뎁스맵의 화소마다 상기 참조 시점 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 부호화 방법은, 상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택 단계를 더 가지며, 상기 가상 뎁스맵 생성 단계에서는 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 부호화 방법은, 상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 참조 시점 뎁스맵을 부분 영역으로 분할하는 영역 분할 단계를 더 가지며, 상기 샘플 화소 선택 단계에서는 상기 부분 영역마다 상기 샘플 화소를 선택한다.

바람직하게는, 본 발명의 화상 부호화 방법에서의 상기 영역 분할 단계에서는, 상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 부분 영역의 형상을 결정한다.

바람직하게는, 본 발명의 화상 부호화 방법에서의 상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소, 또는 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소 중 어느 한쪽을 상기 샘플 화소로서 선택한다.

바람직하게는, 본 발명의 화상 부호화 방법에서의 상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소와 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소를 상기 샘플 화소로서 선택한다.

본 발명은, 복수 시점의 화상인 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 상기 복호 대상 화상의 시점과는 다른 시점에 대한 복호 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서, 상기 복호 대상 화상보다 해상도가 낮고, 상기 복호 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성 단계와, 상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.

바람직하게는, 본 발명의 화상 복호 방법은, 상기 참조 시점 뎁스맵으로부터 상기 복호 대상 화상과 동일한 해상도의 동일 해상도 뎁스맵을 생성하는 동일 해상도 뎁스맵 생성 단계를 더 가지며, 상기 가상 뎁스맵 생성 단계에서는 상기 동일 해상도 뎁스맵을 축소함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 복호 방법에서의 상기 가상 뎁스맵 생성 단계에서는, 상기 가상 뎁스맵의 화소마다 상기 동일 해상도 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 복호 방법은, 상기 참조 시점 뎁스맵을 축소함으로써 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성 단계를 더 가지며, 상기 가상 뎁스맵 생성 단계에서는 상기 축소 뎁스맵으로부터 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 복호 방법에서의 상기 축소 뎁스맵 생성 단계에서는, 상기 참조 시점 뎁스맵을 세로방향 또는 가로방향 중 어느 한쪽에 대해서만 축소한다.

바람직하게는, 본 발명의 화상 복호 방법에서의 상기 축소 뎁스맵 생성 단계에서는, 상기 축소 뎁스맵의 화소마다 상기 참조 시점 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 복호 방법은, 상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택 단계를 더 가지며, 상기 가상 뎁스맵 생성 단계에서는 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 복호 방법은, 상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 참조 시점 뎁스맵을 부분 영역으로 분할하는 영역 분할 단계를 더 가지며, 상기 샘플 화소 선택 단계에서는 상기 부분 영역마다 샘플 화소를 선택한다.

바람직하게는, 본 발명의 화상 복호 방법에서의 상기 영역 분할 단계에서는, 상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 부분 영역의 형상을 결정한다.

바람직하게는, 본 발명의 화상 복호 방법에서의 상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소, 또는 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소 중 어느 한쪽을 상기 샘플 화소로서 선택한다.

바람직하게는, 본 발명의 화상 복호 방법에서의 상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소와 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소를 상기 샘플 화소로서 선택한다.

본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서, 상기 부호화 대상 화상보다 해상도가 낮고, 상기 부호화 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성부와, 상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.

바람직하게는, 본 발명의 화상 부호화 장치는, 상기 참조 시점 뎁스맵을 축소함으로써 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성부를 더 구비하고, 상기 가상 뎁스맵 생성부는 상기 축소 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 부호화 장치는, 상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택부를 더 구비하고, 상기 가상 뎁스맵 생성부는 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성한다.

본 발명은, 복수 시점의 화상인 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 상기 복호 대상 화상의 시점과는 다른 시점에 대한 복호 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 장치로서, 상기 복호 대상 화상보다 해상도가 낮고, 상기 복호 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성부와, 상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.

바람직하게는, 본 발명의 화상 복호 장치는, 상기 참조 시점 뎁스맵을 축소함으로써 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성부를 더 구비하고, 상기 가상 뎁스맵 생성부는 상기 축소 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성한다.

바람직하게는, 본 발명의 화상 복호 장치는, 상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택부를 더 구비하고, 상기 가상 뎁스맵 생성부는 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성한다.

본 발명은, 컴퓨터에 상기 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램이다.

본 발명은, 컴퓨터에 상기 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램이다.

본 발명은, 상기 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체이다.

본 발명은, 상기 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체이다.

본 발명에 의하면, 처리 대상 프레임의 시점 합성 화상을 생성할 때에 시점 합성 화상의 품질을 현저히 저하시키지 않고 적은 연산량으로 시점 합성 화상을 생성할 수 있는 효과가 얻어진다.

도 1은 본 발명의 일 실시형태에서의 화상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 화상 부호화 장치(100)의 동작을 나타내는 흐름도이다.
도 3은 시점 합성 화상의 생성 처리와 부호화 대상 화상의 부호화 처리를 블록마다 교대로 반복함으로써, 부호화 대상 화상을 부호화하는 동작을 나타내는 흐름도이다.
도 4는 도 2, 도 3에 도시된 참조 카메라 뎁스맵을 변환하는 처리(단계 S3)의 처리 동작을 나타내는 흐름도이다.
도 5는 도 2, 도 3에 도시된 참조 카메라 뎁스맵을 변환하는 처리(단계 S3)의 처리 동작을 나타내는 흐름도이다.
도 6은 도 2, 도 3에 도시된 참조 카메라 뎁스맵을 변환하는 처리(단계 S3)의 처리 동작을 나타내는 흐름도이다.
도 7은 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하는 동작을 나타내는 흐름도이다.
도 8은 본 발명의 일 실시형태에서의 화상 복호 장치의 구성을 나타내는 블록도이다.
도 9는 도 8에 도시된 화상 복호 장치(200)의 동작을 나타내는 흐름도이다.
도 10은 시점 합성 화상의 생성 처리와 복호 대상 화상의 복호 처리를 블록마다 교대로 반복함으로써, 복호 대상 화상을 복호하는 동작을 나타내는 흐름도이다.
도 11은 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.
도 12는 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.
도 13은 카메라 간에 생기는 시차를 나타내는 개념도이다.
도 14는 에피폴라 기하 구속의 개념도이다.

이하, 도면을 참조하여 본 발명의 실시형태에 의한 화상 부호화 장치 및 화상 복호 장치를 설명한다. 이하의 설명에서는, 제1 카메라(카메라 A라고 함), 제2 카메라(카메라 B라고 함)의 2개의 카메라로 촬영된 다시점 화상을 부호화하는 경우를 상정하고, 카메라 A의 화상을 참조 화상으로 하여 카메라 B의 화상을 부호화 또는 복호하는 것으로서 설명한다. 또, 뎁스 정보로부터 시차를 얻기 위해 필요한 정보는 별도로 주어져 있는 것으로 한다. 구체적으로 이 정보는 카메라 A와 카메라 B의 위치 관계를 나타내는 외부 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 내부 파라미터이지만, 이들 이외의 형태이어도 뎁스 정보로부터 시차가 얻어지는 것이면 다른 정보가 주어져 있어도 된다. 이들 카메라 파라미터에 관한 자세한 설명은 예를 들어 참고문헌 1「Olivier Faugeras, "Three-Dimensional Computer Vision", pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」에 기재되어 있다. 이 문헌에는 복수의 카메라의 위치 관계를 나타내는 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 파라미터에 관한 설명이 기재되어 있다.

이하의 설명에서는, 화상이나 영상 프레임, 뎁스맵에 대해 기호[]로 끼워진 위치를 특정 가능한 정보(좌표값 혹은 좌표값에 대응 가능한 인덱스)를 부가함으로써, 그 위치의 화소에 의해 샘플링된 화상 신호나 이에 대한 뎁스를 나타내는 것으로 한다. 또한, 뎁스는 카메라로부터 떨어질수록(시차가 작을수록) 작은 값을 가지는 정보라고 한다. 뎁스의 대소와 카메라로부터의 거리의 관계가 반대로 정의되어 있는 경우는, 뎁스에 대한 값의 크기의 기술을 적절히 바꿀 필요가 있다.

도 1은, 본 실시형태에서의 화상 부호화 장치의 구성을 나타내는 블록도이다. 화상 부호화 장치(100)는, 도 1에 도시된 바와 같이 부호화 대상 화상 입력부(101), 부호화 대상 화상 메모리(102), 참조 카메라 화상 입력부(103), 참조 카메라 화상 메모리(104), 참조 카메라 뎁스맵 입력부(105), 뎁스맵 변환부(106), 가상 뎁스맵 메모리(107), 시점 합성 화상 생성부(108) 및 화상 부호화부(109)를 구비하고 있다.

부호화 대상 화상 입력부(101)는, 부호화 대상이 되는 화상을 입력한다. 이하에서는, 이 부호화 대상이 되는 화상을 부호화 대상 화상이라고 부른다. 여기서는 카메라 B의 화상을 입력하는 것으로 한다. 또한, 부호화 대상 화상을 촬영한 카메라(여기서는 카메라 B)를 부호화 대상 카메라라고 부른다. 부호화 대상 화상 메모리(102)는, 입력한 부호화 대상 화상을 기억한다. 참조 카메라 화상 입력부(103)는, 시점 합성 화상(시차 보상 화상)을 생성할 때에 참조 화상이 되는 참조 카메라 화상을 입력한다. 여기서는 카메라 A의 화상을 입력하는 것으로 한다. 참조 카메라 화상 메모리(104)는, 입력된 참조 카메라 화상을 기억한다.

참조 카메라 뎁스맵 입력부(105)는, 참조 카메라 화상에 대한 뎁스맵을 입력한다. 이하에서는, 이 참조 카메라 화상에 대한 뎁스맵을 참조 카메라 뎁스맵이라고 부른다. 또, 뎁스맵이란 대응하는 화상의 각 화소에 비치는 피사체의 3차원 위치를 나타내는 것이다. 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이면 어떠한 정보라도 좋다. 예를 들어, 카메라부터 피사체까지의 거리나 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예를 들어 카메라 B)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 뎁스맵이 화상 형태로 주어지는 것으로 하고 있지만, 마찬가지의 정보가 얻어진다면 화상 형태가 아니어도 상관없다. 이하에서는, 참조 카메라 뎁스맵에 대응하는 카메라를 참조 카메라라고 부른다.

뎁스맵 변환부(106)는, 참조 카메라 뎁스맵을 이용하여 부호화 대상 화상에 촬영된 피사체의 뎁스맵으로서, 부호화 대상 화상보다 낮은 해상도의 뎁스맵을 생성한다. 즉, 생성되는 뎁스맵은 부호화 대상 카메라와 동일한 위치나 방향에서 해상도가 낮은 카메라로 촬영된 화상에 대한 뎁스맵이라고 생각하는 것도 가능하다. 이하에서는, 여기서 생성된 뎁스맵을 가상 뎁스맵이라고 부른다. 가상 뎁스맵 메모리(107)는, 생성된 가상 뎁스맵을 기억한다.

시점 합성 화상 생성부(108)는, 가상 뎁스맵으로부터 얻어지는 부호화 대상 화상의 화소와 참조 카메라 화상의 화소의 대응 관계를 이용하여 부호화 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 부호화부(109)는, 시점 합성 화상을 이용하여 부호화 대상 화상에 대해 예측 부호화를 행하여 부호 데이터인 비트 스트림을 출력한다.

다음에, 도 2를 참조하여 도 1에 도시된 화상 부호화 장치(100)의 동작을 설명한다. 도 2는, 도 1에 도시된 화상 부호화 장치(100)의 동작을 나타내는 흐름도이다. 우선, 부호화 대상 화상 입력부(101)는 부호화 대상 화상을 입력하고, 입력된 부호화 대상 화상을 부호화 대상 화상 메모리(102)에 기억한다(단계 S1). 다음에, 참조 카메라 화상 입력부(103)는 참조 카메라 화상을 입력하고, 입력된 참조 카메라 화상을 참조 카메라 화상 메모리(104)에 기억한다. 이와 병행하여 참조 카메라 뎁스맵 입력부(105)는 참조 카메라 뎁스맵을 입력하고, 입력된 참조 카메라 뎁스맵을 뎁스맵 변환부(106)에 출력한다(단계 S2).

또, 단계 S2에서 입력되는 참조 카메라 화상, 참조 카메라 뎁스맵은 이미 부호화 완료한 것을 복호한 것 등 복호 측에서 얻어지는 것과 동일한 것으로 한다. 이는 복호 장치에서 얻어지는 것과 완전히 동일한 정보를 이용함으로써, 드리프트(drift) 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음의 발생을 허용하는 경우에는, 부호화 전의 것 등 부호화 측에서만 얻어지는 것이 입력되어도 된다. 참조 카메라 뎁스맵에 관해서는, 이미 부호화 완료한 것을 복호한 것 이외에 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등도 복호 측에서 동일한 것이 얻어지는 것으로서 이용할 수 있다.

다음에, 뎁스맵 변환부(106)는, 참조 카메라 뎁스맵 입력부(105)로부터 출력하는 참조 카메라 뎁스맵에 기초하여 가상 뎁스맵을 생성하고, 생성된 가상 뎁스맵을 가상 뎁스맵 메모리(107)에 기억한다(단계 S3). 또, 가상 뎁스맵의 해상도는 복호측과 동일하면 어떠한 해상도를 설정해도 상관없다. 예를 들어, 부호화 대상 화상에 대해 미리 정해진 축소율의 해상도를 설정해도 상관없다. 여기서의 처리의 상세에 대해서는 후술한다.

다음에, 시점 합성 화상 생성부(108)는, 참조 카메라 화상 메모리(104)에 기억되어 있는 참조 카메라 화상과, 가상 뎁스맵 메모리(107)에 기억되어 있는 가상 뎁스맵으로부터 부호화 대상 화상에 대한 시점 합성 화상을 생성하고, 생성된 시점 합성 화상을 화상 부호화부(109)에 출력한다(단계 S4). 여기서의 처리는, 부호화 대상 화상보다 낮은 해상도의 부호화 대상 카메라에 대한 뎁스맵과, 부호화 대상 카메라와는 다른 카메라로 촬영된 화상을 이용하여 부호화 대상 카메라의 화상을 합성하는 방법이면 어떠한 방법을 이용해도 상관없다.

예를 들어, 우선, 가상 뎁스맵의 하나의 화소를 선택하고, 부호화 대상 화상 상에서 대응하는 영역을 구하고, 뎁스값으로부터 참조 카메라 화상 상에서의 대응 영역을 구한다. 다음에, 그 대응 영역에서의 화상의 화소값을 구한다. 그리고, 얻어진 화소값을 부호화 대상 화상 상에서 동정된 영역의 시점 합성 화상의 화소값으로서 할당한다. 이 처리를 가상 뎁스맵의 모든 화소에 대해 행함으로써, 1프레임분의 시점 합성 화상이 얻어진다. 또, 참조 카메라 화상 상의 대응점이 프레임 밖이 된 경우는 화소값이 없다고 해도 상관없고, 미리 정해진 화소값을 할당해도 상관없고, 가장 가까운 프레임 내의 화소의 화소값이나 에피폴라 직선 상에서 가장 가까운 프레임 내의 화소의 화소값을 할당해도 상관없다. 단, 어떻게 화소값을 결정할지는 복호측과 동일하게 할 필요가 있다. 나아가 1프레임분의 시점 합성 화상이 얻어진 후에 로우 패스 필터 등의 필터를 걸어도 상관없다.

다음에, 시점 합성 화상을 얻은 후에, 화상 부호화부(109)는 시점 합성 화상을 예측 화상으로 하여 부호화 대상 화상을 예측 부호화하여 부호화 결과를 출력한다(단계 S5). 부호화 결과 얻어지는 비트 스트림이 화상 부호화 장치(100)의 출력이 된다. 또, 복호 측에서 올바르게 복호 가능하다면, 부호화에는 어떠한 방법을 이용해도 된다.

MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화에서는, 화상을 미리 정해진 크기의 블록으로 분할하여 블록마다 부호화 대상 화상과 예측 화상의 차분 신호를 생성하고, 차분 화상에 대해 DCT(Discrete Cosine Transform) 등의 주파수 변환을 실시하고, 그 결과 얻어진 값에 대해 양자화, 2치화, 엔트로피 부호화의 처리를 순서대로 적용함으로써 부호화를 행한다.

또, 예측 부호화 처리를 블록마다 행하는 경우, 시점 합성 화상의 생성 처리(단계 S4)와 부호화 대상 화상의 부호화 처리(단계 S5)를 블록마다 교대로 반복함으로써, 부호화 대상 화상을 부호화해도 된다. 그 경우의 처리 동작을 도 3을 참조하여 설명한다. 도 3은, 시점 합성 화상의 생성 처리와 부호화 대상 화상의 부호화 처리를 블록마다 교대로 반복함으로써, 부호화 대상 화상을 부호화하는 동작을 나타내는 흐름도이다. 도 3에서, 도 2에 도시된 처리 동작과 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 간단히 행한다. 도 3에 도시된 처리 동작에서는, 예측 부호화 처리를 행하는 단위가 되는 블록의 인덱스를 blk라고 하고, 부호화 대상 화상 중의 블록수를 numBlks로 나타내고 있다.

우선, 부호화 대상 화상 입력부(101)는 부호화 대상 화상을 입력하고, 입력된 부호화 대상 화상을 부호화 대상 화상 메모리(102)에 기억한다(단계 S1). 다음에, 참조 카메라 화상 입력부(103)는 참조 카메라 화상을 입력하고, 입력된 참조 카메라 화상을 참조 카메라 화상 메모리(104)에 기억한다. 이와 병행하여 참조 카메라 뎁스맵 입력부(105)는 참조 카메라 뎁스맵을 입력하고, 입력된 참조 카메라 뎁스맵을 뎁스맵 변환부(106)에 출력한다(단계 S2).

다음에, 뎁스맵 변환부(106)는, 참조 카메라 뎁스맵 입력부(105)로부터 출력하는 참조 카메라 뎁스맵에 기초하여 가상 뎁스맵을 생성하고, 생성된 가상 뎁스맵을 가상 뎁스맵 메모리(107)에 기억한다(단계 S3). 그리고, 시점 합성 화상 생성부(108)는 변수 blk에 0을 대입한다(단계 S6).

다음에, 시점 합성 화상 생성부(108)는, 참조 카메라 화상 메모리(104)에 기억되어 있는 참조 카메라 화상과, 가상 뎁스맵 메모리(107)에 기억되어 있는 가상 뎁스맵으로부터 블록(blk)에 대한 시점 합성 화상을 생성하고, 생성된 시점 합성 화상을 화상 부호화부(109)에 출력한다(단계 S4a). 이어서, 시점 합성 화상을 얻은 후에, 화상 부호화부(109)는 시점 합성 화상을 예측 화상으로 하여 블록(blk)에 대한 부호화 대상 화상을 예측 부호화하여 부호화 결과를 출력한다(단계 S5a). 그리고, 시점 합성 화상 생성부(108)는, 변수 blk를 인크리먼트하여(blk←blk+1, 단계 S7) blk<numBlks를 만족하는지를 판정한다(단계 S8). 이 판정 결과, blk<numBlks를 만족하면 단계 S4a로 되돌아가 처리를 반복하고, blk=numBlks를 만족한 시점에서 처리를 종료한다.

다음에, 도 4~도 6을 참조하여 도 1에 도시된 뎁스맵 변환부(106)의 처리 동작을 설명한다. 도 4~도 6은, 도 2, 도 3에 도시된 참조 카메라 뎁스맵을 변환하는 처리(단계 S3)의 처리 동작을 나타내는 흐름도이다. 여기서는, 참조 뎁스맵으로부터 가상 뎁스맵을 생성하는 방법으로서 3가지의 다른 방법에 대해 설명한다. 어느 방법을 이용해도 상관없지만, 복호 측과 동일한 방법을 이용할 필요가 있다. 또, 프레임 등 일정한 크기마다 사용하는 방법을 변경하는 경우는, 사용한 방법을 나타내는 정보를 부호화하여 복호 측에 통지해도 상관없다.

처음에, 도 4를 참조하여 제1 방법에 의한 처리 동작을 설명한다. 우선, 뎁스맵 변환부(106)는, 참조 카메라 뎁스맵으로부터 부호화 대상 화상에 대한 뎁스맵을 합성한다(단계 S21). 즉, 여기서 얻어지는 뎁스맵의 해상도는 부호화 대상 화상과 동일하다. 여기서의 처리에는 복호 측에서 실행 가능한 방법이면 어떠한 방법을 이용해도 상관없지만, 예를 들어 참고문헌 2「Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View Generation with 3D 와핑 Using Depth Information for FTV", In Proceedings of 3DTV-CON2008, pp.229-232, May 2008.」에 기재된 방법을 이용해도 상관없다.

다른 방법으로서는, 참조 카메라 뎁스맵으로부터 각 화소의 3차원 위치가 얻어지기 때문에, 피사체 공간의 3차원 모델을 복원하고, 복원된 모델을 부호화 대상 카메라로부터 관측하였을 때의 뎁스를 구함으로써, 이 영역(부호화 대상 화상)에 대한 가상 뎁스맵을 생성하도록 해도 된다. 또 다른 방법으로서는, 참조 카메라 뎁스맵의 화소마다 그 화소의 뎁스값을 이용하여 가상 뎁스맵 상의 대응점을 구하고, 그 대응점으로 변환한 뎁스값을 할당함으로써 가상 뎁스맵을 생성하도록 해도 된다. 여기서, 변환한 뎁스값이란, 참조 카메라 뎁스맵에 대한 뎁스값을 가상 뎁스맵에 대한 뎁스값으로 변환한 것이다. 뎁스값을 표현하는 좌표계로서 참조 카메라 뎁스맵과 가상 뎁스맵에서 공통의 좌표계를 이용하는 경우는, 변환하지 않고 참조 카메라 뎁스맵의 뎁스값을 사용하게 된다.

또, 대응점은 반드시 가상 뎁스맵의 정수 화소 위치로서 얻어지는 것은 아니기 때문에, 참조 카메라 뎁스맵 상에서 인접하는 화소에 각각 대응한 가상 뎁스맵 상의 위치의 사이에서의 연속성을 가정함으로써, 가상 뎁스맵의 각 화소에 대한 뎁스값을 보간하여 대응점을 생성할 필요가 있다. 단, 참조 카메라 뎁스맵 상에서 인접하는 화소에 대해, 그 뎁스값의 변화가 미리 정해진 범위 내인 경우에서만 연속성을 가정한다. 이는, 뎁스값이 크게 다른 화소에는 다른 피사체가 찍혀 있다고 생각되어 실 공간에서의 피사체의 연속성을 가정할 수 없기 때문이다. 또한, 얻어진 대응점으로부터 하나 또는 복수의 정수 화소 위치를 구하고, 그 정수 화소 위치에 있는 화소에 대해 변환한 뎁스값을 할당해도 상관없다. 이 경우, 뎁스값의 보간을 행할 필요가 없어지고 연산량을 삭감할 수 있다.

또한, 피사체의 전후관계에 따라 참조 카메라 화상의 일부 영역에 비치는 피사체가 참조 카메라 화상의 다른 영역에 비치는 피사체에 의해 차폐되고, 부호화 대상 화상에는 비치지 않는 피사체가 존재하는 참조 카메라 화상 상의 영역이 존재하기 때문에, 이 방법을 이용하는 경우는 전후관계를 고려하면서 대응점에 뎁스값을 할당할 필요가 있다. 단, 부호화 대상 카메라와 참조 카메라의 광축이 동일 평면 상에 존재하는 경우, 부호화 대상 카메라와 참조 카메라의 위치관계에 따라 참조 카메라 뎁스맵의 화소를 처리하는 순서를 결정하고, 그 결정된 순서에 따라 처리를 행함으로써, 전후관계를 고려하지 않고 얻어진 대응점에 대해 항상 덮어쓰기 처리를 행함으로써 가상 뎁스맵을 생성할 수 있다. 구체적으로 부호화 대상 카메라가 참조 카메라보다 오른쪽에 존재하는 경우, 참조 카메라 뎁스맵의 화소를 각 행에서 왼쪽에서 오른쪽으로 스캔하는 순서로 처리하고, 부호화 대상 카메라가 참조 카메라보다 왼쪽에 존재하는 경우, 참조 카메라 뎁스맵의 화소를 각 행에서 오른쪽에서 왼쪽으로 스캔하는 순서로 처리함으로써, 전후관계를 고려할 필요가 없어진다. 또, 전후관계를 고려할 필요가 없어짐으로써 연산량을 삭감할 수 있다.

또, 어떤 카메라로 촬영된 화상에 대한 뎁스맵으로부터 다른 카메라로 촬영된 화상에 대한 뎁스맵을 합성하는 경우, 그 둘 다에 공통으로 비치는 영역에 대해서만 유효한 뎁스가 얻어진다. 유효한 뎁스가 얻어지지 않은 영역에 대해서는, 특허문헌 1에 기재된 방법 등을 이용하여 추정한 뎁스값을 할당해도 상관없고, 유효한 값이 없는 채로 해도 상관없다.

다음에, 부호화 대상 화상에 대한 뎁스맵의 합성이 종료되면, 뎁스맵 변환부(106)는 합성하여 얻어진 뎁스맵을 축소함으로써 목표로 하는 해상도의 가상 뎁스맵을 생성한다(단계 S22). 복호 측에서 동일한 방법이 사용 가능하면, 뎁스맵을 축소하는 방법으로서 어떠한 방법을 이용해도 상관없다. 예를 들어, 가상 뎁스맵의 화소마다 합성하여 얻어진 뎁스맵에서 대응하는 복수의 화소를 설정하고, 이들 화소에 대한 뎁스값의 평균값이나 중간값, 최빈값 등을 구하여 가상 뎁스맵의 뎁스값으로 하는 방법이 있다. 또, 단순히 평균값을 구하지 않고, 화소 간의 거리에 따라 무게를 계산하고, 그 무게를 이용하여 평균값이나 중간값 등을 구해도 상관없다. 또, 단계 S21에서 유효한 값이 없는 채로 있던 영역에 대해서는 그 화소의 값은 평균값 등의 계산에서 고려하지 않는다.

다른 방법으로서는, 가상 뎁스맵의 화소마다 합성하여 얻어진 뎁스맵에서 대응하는 복수의 화소를 설정하고, 이들 화소에 대한 뎁스값 중에서 가장 카메라에 가까운 것을 나타내는 뎁스를 선택하는 방법이 있다. 이에 의해, 주관적으로 보다 중요한 바로 앞에 존재하는 피사체에 대한 예측 효율이 향상되기 때문에, 적은 부호량으로 주관적으로 뛰어난 부호화를 실현하는 것이 가능하게 된다.

또, 단계 S21에서 일부 영역에 대해 유효한 뎁스가 얻어지지 않는 채로 한 경우, 마지막으로 생성된 가상 뎁스맵에서 유효한 뎁스가 얻어지지 않은 영역에 대해 특허문헌 1에 기재된 방법 등을 이용하여 추정한 뎁스값을 할당해도 상관없다.

다음에, 도 5를 참조하여 제2 방법에 의한 처리 동작을 설명한다. 우선, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵을 축소한다(단계 S31). 복호 측에서 동일한 처리를 실행 가능하면, 어떠한 방법을 이용하여 축소를 행해도 상관없다. 예를 들어, 전술한 단계 S22와 마찬가지의 방법을 이용하여 축소를 행해도 상관없다. 또, 축소 후의 해상도는 복호 측이 동일한 해상도로 축소 가능하면 어떠한 해상도로 축소해도 상관없다. 예를 들어, 미리 정해진 축소율의 해상도로 변환해도 상관없고, 가상 뎁스맵과 동일해도 상관없다. 단, 축소 후의 뎁스맵의 해상도는 가상 뎁스맵의 해상도와 같거나 그것보다 높은 것으로 한다.

또한, 가로세로 중 어느 한쪽에 대해서만 축소를 행해도 상관없다. 가로세로 중 어느 쪽에 축소를 행할지를 결정하는 방법은 어떠한 방법을 이용해도 상관없다. 예를 들어, 미리 정해 두어도 상관없고, 부호화 대상 카메라와 참조 카메라의 위치관계에 따라 결정해도 상관없다. 부호화 대상 카메라와 참조 카메라의 위치관계에 따라 결정하는 방법으로서는, 시차가 발생하는 방향과 가능한 한 다른 방향을 축소를 행하는 방향으로 하는 방법이 있다. 즉, 부호화 대상 카메라와 참조 카메라가 좌우 평행하게 나열되어 있는 경우, 세로방향에 대해서만 축소를 행한다. 이와 같이 결정함으로써, 다음 단계에서 높은 정밀도의 시차를 이용한 처리가 가능하게 되고 고품질의 가상 뎁스맵을 생성하는 것이 가능하게 된다.

다음에, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵의 축소가 종료되면, 축소된 뎁스맵으로부터 가상 뎁스맵을 합성한다(단계 S32). 여기서의 처리는 뎁스맵의 해상도가 다른 점을 제외하고 단계 S21과 같다. 또, 축소하여 얻어진 뎁스맵의 해상도가 가상 뎁스맵의 해상도와 다를 때에, 축소하여 얻어진 뎁스맵의 화소마다 가상 뎁스맵 상의 대응 화소를 구하면, 축소하여 얻어진 뎁스맵의 복수의 화소가 가상 뎁스맵의 1화소와 대응 관계를 가지게 된다. 이 때, 소수 화소 정밀도에서의 오차가 가장 작은 화소의 뎁스값을 할당함으로써, 보다 고품질의 가상 뎁스맵을 생성 가능하게 된다. 또한, 그 복수의 화소군 중에서 가장 카메라에 가까운 것을 나타내는 뎁스값을 선택함으로써, 주관적으로 보다 중요한 바로 앞에 존재하는 피사체에 대한 예측 효율을 향상시켜도 상관없다.

이와 같이, 가상 뎁스맵을 합성할 때에 이용하는 뎁스맵의 화소수를 삭감함으로써, 합성시에 필요한 대응점이나 3차원 모델의 계산에 필요한 연산량을 삭감하는 것이 가능하게 된다.

다음에, 도 6을 참조하여 제3 방법에 의한 처리 동작을 설명한다. 제3 방법에서는, 우선, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵의 화소 중에서 복수의 샘플 화소를 설정한다(단계 S41). 샘플 화소의 선택 방법은, 복호 측이 동일한 선택을 실현 가능하면 어떠한 방법을 이용해도 상관없다. 예를 들어, 참조 카메라 뎁스맵의 해상도와 가상 뎁스맵의 해상도 비에 따라 참조 카메라 뎁스맵을 복수의 영역으로 분할하고, 영역마다 일정한 규칙에 따라 샘플 화소를 선택해도 상관없다. 일정한 규칙이란, 예를 들어 영역 내의 특정 위치에 존재하는 화소나, 카메라로부터 가장 먼 것을 나타내는 뎁스를 가지는 화소나, 카메라로부터 가장 가까운 것을 나타내는 뎁스를 가지는 화소 등을 선택하는 것이다. 또, 영역마다 복수의 화소를 선택해도 상관없다. 즉, 영역 내의 네 모퉁이에 존재하는 4개의 화소나, 카메라로부터 가장 먼 것을 나타내는 뎁스를 가지는 화소와 카메라로부터 가장 가까운 것을 나타내는 뎁스를 가지는 화소의 2개의 화소, 카메라로부터 가까운 것을 나타내는 뎁스를 가지는 화소를 순서대로 3개 등 복수의 화소를 샘플 화소로 해도 상관없다.

또, 영역 분할 방법으로서는, 참조 카메라 뎁스맵의 해상도와 가상 뎁스맵의 해상도 비에 덧붙여 부호화 대상 카메라와 참조 카메라의 위치관계를 이용해도 상관없다. 예를 들어, 시차가 발생하는 방향과 가능한 한 다른 방향으로만 해상도 비에 따라 복수 화소의 폭을 설정하고, 다른 한쪽(시차가 발생하는 방향)에는 1화소분의 폭을 설정하는 방법이 있다. 또한, 가상 뎁스맵의 해상도 이상의 샘플 화소를 선택함으로써, 다음 단계에서 유효한 뎁스가 얻어지지 않는 화소의 수를 줄이고 고품질의 가상 뎁스맵을 생성하는 것이 가능하게 된다.

다음에, 뎁스맵 변환부(106)는 샘플 화소의 설정이 종료되면, 참조 카메라 뎁스맵의 샘플 화소만을 이용하여 가상 뎁스맵을 합성한다(단계 S42). 여기서의 처리는 일부 화소를 이용하여 합성을 행하는 점을 제외하고 단계 S32와 같다.

이와 같이, 가상 뎁스맵을 합성할 때에 이용하는 참조 카메라 뎁스맵의 화소를 제한함으로써, 합성시에 필요한 대응점이나 3차원 모델의 계산에 필요한 연산량을 삭감하는 것이 가능하게 된다. 또한, 제2 방법과 달리 참조 카메라 뎁스맵을 축소하는 데에 필요한 연산이나 일시 메모리를 삭감하는 것이 가능하다.

또한, 이상 설명한 3가지 방법과는 다른 방법으로서 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 직접 생성해도 상관없다. 이 경우의 처리는, 제2 방법에서 축소율을 1배로 한 경우나, 제3 방법에서 참조 카메라 뎁스맵의 모든 화소를 샘플 화소로서 설정한 경우에 동일하다.

여기서, 도 7을 참조하여 카메라 배치가 1차원 평행인 경우에 뎁스맵 변환부(106)의 구체적인 동작의 일례를 설명한다. 또, 카메라 배치가 1차원 평행이란, 카메라의 이론 투영면이 동일 평면 상에 존재하고 광축이 서로 평행한 상태이다. 또한, 여기서 카메라는 수평방향으로 이웃하여 설치되어 있고, 참조 카메라가 부호화 대상 카메라의 좌측에 존재한다고 하자. 이 때, 화상 평면 상의 수평 라인 상의 화소에 대한 에피폴라 직선은 동일한 높이에 존재하는 수평한 라인 형상이 된다. 이 때문에, 시차는 항상 수평방향으로만 존재하게 된다. 나아가 투영면이 동일 평면 상에 존재하기 때문에, 뎁스를 광축 방향의 좌표축에 대한 좌표값으로서 표현하는 경우, 카메라 간에 뎁스의 정의축이 일치하게 된다.

도 7은, 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하는 동작을 나타내는 흐름도이다. 도 7에서는 참조 카메라 뎁스맵을 RDepth, 가상 뎁스맵을 VDepth라고 표기하고 있다. 카메라 배치가 1차원 평행이기 때문에, 라인마다 참조 카메라 뎁스맵을 변환하여 가상 뎁스맵을 생성한다. 즉, 가상 뎁스맵의 라인을 나타내는 인덱스를 h, 가상 뎁스맵의 라인수를 Height라고 하면, 뎁스맵 변환부(106)는 h를 0으로 초기화한 후(단계 S51), h에 1씩 가산하면서(단계 S65) h가 Height가 될 때까지(단계 S66) 이하의 처리(단계 S52~단계 S64)를 반복한다.

라인마다 행하는 처리에서는, 우선, 뎁스맵 변환부(106)는 참조 카메라 뎁스맵으로부터 1라인분의 가상 뎁스맵을 합성한다(단계 S52~단계 S62). 그 후, 그 라인 상에서 참조 카메라 뎁스맵으로부터 뎁스를 생성할 수 없는 영역이 존재하는지를 판정하고(단계 S63), 이러한 영역이 존재하는 경우는 뎁스를 생성한다(단계 S64). 어떠한 방법을 이용해도 상관없지만, 예를 들어 뎁스가 생성되지 않은 영역 내의 모든 화소에 대해, 그 라인 상에 생성된 뎁스 중에서 가장 오른쪽에 존재하는 뎁스(VDepth[last])를 할당해도 상관없다.

참조 카메라 뎁스맵으로부터 1라인분의 가상 뎁스맵을 합성하는 처리에서는, 우선, 뎁스맵 변환부(106)는 가상 뎁스맵의 라인(h)에 대응하는 샘플 화소 집합(S)을 결정한다(단계 S52). 이 때, 카메라 배치가 1차원 평행이기 때문에, 참조 카메라 뎁스맵과 가상 뎁스맵의 라인수 비가 N:1인 경우, 샘플 화소 집합은 참조 카메라 뎁스맵의 라인 N×h로부터 라인{N×(h+1)-1} 중에서 선택하게 된다.

샘플 화소 집합의 결정에는 어떠한 방법을 이용해도 상관없다. 예를 들어, 화소열(세로방향의 화소 집합)마다 가장 카메라에 가까운 것을 나타내는 뎁스값을 가지는 화소를 샘플 화소로서 선택해도 상관없다. 또한, 1열마다가 아니라 복수열마다 하나의 화소를 샘플 화소로서 선택해도 상관없다. 이 때의 열의 폭은, 참조 카메라 뎁스맵과 가상 뎁스맵의 열수 비에 기초하여 결정해도 상관없다. 샘플 화소 집합이 결정되면, 직전에 처리한 샘플 화소를 와핑한 가상 뎁스맵 상의 화소 위치(last)를 (h, -1)로 초기화한다(단계 S53).

다음에, 뎁스맵 변환부(106)는 샘플 화소 집합이 결정되면, 샘플 화소 집합에 포함되는 화소마다 참조 카메라 뎁스맵의 뎁스를 와핑하는 처리를 반복한다. 즉, 샘플 화소 집합으로부터 처리한 샘플 화소를 제거하면서(단계 S61) 샘플 화소 집합이 빈 집합이 될 때까지(단계 S62) 이하의 처리(단계 S54~단계 S60)를 반복한다.

샘플 화소 집합이 빈 집합이 될 때까지 반복되는 처리에서는, 뎁스맵 변환부(106)가 샘플 화소 집합 중에서 참조 카메라 뎁스맵 상에서 가장 왼쪽에 위치하는 화소(p)를 처리하는 샘플 화소로서 선택한다(단계 S54). 다음에, 뎁스맵 변환부(106)는, 샘플 화소(p)에 대한 참조 카메라 뎁스맵의 값으로부터 샘플 화소(p)가 가상 뎁스맵 상에서 대응하는 점(cp)을 구한다(단계 S55). 대응점(cp)이 얻어지면, 뎁스맵 변환부(106)는 그 대응점이 가상 뎁스맵의 프레임 내에 존재하는지 여부를 체크한다(단계 S56). 대응점이 프레임 밖이 되는 경우, 뎁스맵 변환부(106)는 아무것도 하지 않고 샘플 화소(p)에 대한 처리를 종료한다.

한편, 대응점(cp)이 가상 뎁스맵의 프레임 내인 경우, 뎁스맵 변환부(106)는 대응점(cp)에 대한 가상 카메라 뎁스맵의 화소에 참조 카메라 뎁스맵의 화소(p)에 대한 뎁스를 할당한다(단계 S57). 다음에, 뎁스맵 변환부(106)는, 직전 샘플 화소의 뎁스를 할당한 위치(last)와 이번 샘플 화소의 뎁스를 할당한 위치(cp)의 사이에 다른 화소가 존재하는지 여부를 판정한다(단계 S58). 이러한 화소가 존재하는 경우, 뎁스맵 변환부(106)는 화소(last)와 화소(cp)의 사이에 존재하는 화소에 뎁스를 생성한다(단계 S59). 어떠한 처리를 이용하여 뎁스를 생성해도 상관없다. 예를 들어, 화소(last)와 화소(cp)의 뎁스를 선형 보간해도 상관없다.

다음에, 화소(last)와 화소(cp)의 사이의 뎁스 생성이 종료되면, 또는 화소(last)와 화소(cp)의 사이에 다른 화소가 존재하지 않는 경우, 뎁스맵 변환부(106)는 last를 cp로 갱신하여(단계 S60) 샘플 화소(p)에 대한 처리를 종료한다.

도 7에 도시된 처리 동작은, 참조 카메라가 부호화 대상 카메라의 좌측에 설치되어 있는 경우의 처리이지만, 참조 카메라와 부호화 대상 카메라의 위치관계가 반대인 경우는 처리하는 화소의 순서나 화소 위치의 판정 조건을 반대로 하면 된다. 구체적으로 단계 S53에서는 last를 (h, Width)로 초기화하고, 단계 S54에서는 참조 카메라 뎁스맵 상에서 가장 오른쪽에 위치하는 샘플 화소 집합 중의 화소(p)를 처리하는 샘플 화소로서 선택하고, 단계 S63에서는 last보다 좌측에 화소가 존재하는지 여부를 판정하고, 단계 S64에서는 last보다 좌측의 뎁스를 생성한다. 또, Width는 가상 뎁스맵의 가로방향 화소수이다.

또한, 도 7에 도시된 처리 동작은 카메라 배치가 1차원 평행인 경우의 처리인데, 카메라 배치가 1차원 컨버전스인 경우도 뎁스의 정의에 따라서는 동일한 처리 흐름을 적용하는 것이 가능하다. 구체적으로 뎁스를 표현하는 좌표축이 참조 카메라 뎁스맵과 가상 뎁스맵에서 동일한 경우에 동일한 처리 흐름을 적용하는 것이 가능하다. 또한, 뎁스의 정의축이 다른 경우는 참조 카메라 뎁스맵의 값을 직접 가상 뎁스맵에 할당하는 것이 아니고, 참조 카메라 뎁스맵의 뎁스에 의해 나타나는 3차원 위치를 뎁스의 정의축에 따라 변환한 후에, 변환에 의해 얻어진 3차원 위치를 가상 뎁스맵에 할당하는 것만으로 기본적으로 동일한 흐름을 적용할 수 있다.

다음에, 화상 복호 장치에 대해 설명한다. 도 8은, 본 실시형태에서의 화상 복호 장치의 구성을 나타내는 블록도이다. 화상 복호 장치(200)는, 도 8에 도시된 바와 같이 부호 데이터 입력부(201), 부호 데이터 메모리(202), 참조 카메라 화상 입력부(203), 참조 카메라 화상 메모리(204), 참조 카메라 뎁스맵 입력부(205), 뎁스맵 변환부(206), 가상 뎁스맵 메모리(207), 시점 합성 화상 생성부(208) 및 화상 복호부(209)를 구비하고 있다.

부호 데이터 입력부(201)는, 복호 대상이 되는 화상의 부호 데이터를 입력한다. 이하에서는, 이 복호 대상이 되는 화상을 복호 대상 화상이라고 부른다. 여기서는, 복호 대상 화상은 카메라 B의 화상을 가리킨다. 또한, 이하에서는 복호 대상 화상을 촬영한 카메라(여기서는 카메라 B)를 복호 대상 카메라라고 부른다. 부호 데이터 메모리(202)는, 입력한 복호 대상 화상인 부호 데이터를 기억한다. 참조 카메라 화상 입력부(203)는, 시점 합성 화상(시차 보상 화상)을 생성할 때에 참조 화상이 되는 참조 카메라 화상을 입력한다. 여기서는 카메라 A의 화상이 입력된다. 참조 카메라 화상 메모리(204)는, 입력한 참조 카메라 화상을 기억한다.

참조 카메라 뎁스맵 입력부(205)는, 참조 카메라 화상에 대한 뎁스맵을 입력한다. 이하에서는, 이 참조 카메라 화상에 대한 뎁스맵을 참조 카메라 뎁스맵이라고 부른다. 또, 뎁스맵이란 대응하는 화상의 각 화소에 비치는 피사체의 3차원 위치를 나타내는 것이다. 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이면 어떠한 정보라도 좋다. 예를 들어, 카메라부터 피사체까지의 거리나 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예를 들어 카메라 B)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 뎁스맵이 화상 형태로 주어지는 것으로 하고 있지만, 마찬가지의 정보가 얻어진다면 화상 형태가 아니어도 상관없다. 이하에서는, 참조 카메라 뎁스맵에 대응하는 카메라를 참조 카메라라고 부른다.

뎁스맵 변환부(206)는, 참조 카메라 뎁스맵을 이용하여 복호 대상 화상에 촬영된 피사체의 뎁스맵으로서, 복호 대상 화상보다 낮은 해상도의 뎁스맵을 생성한다. 즉, 생성되는 뎁스맵은 복호 대상 카메라와 동일한 위치나 방향에서 해상도가 낮은 카메라로 촬영된 화상에 대한 뎁스맵이라고 생각하는 것도 가능하다. 이하에서는, 여기서 생성된 뎁스맵을 가상 뎁스맵이라고 부른다. 가상 뎁스맵 메모리(207)는, 생성한 가상 뎁스맵을 기억한다. 시점 합성 화상 생성부(208)는, 가상 뎁스맵으로부터 얻어지는 복호 대상 화상의 화소와 참조 카메라 화상의 화소의 대응관계를 이용하여 복호 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 복호부(209)는, 시점 합성 화상을 이용하여 부호 데이터로부터 복호 대상 화상을 복호하여 복호 화상을 출력한다.

다음에, 도 9를 참조하여 도 8에 도시된 화상 복호 장치(200)의 동작을 설명한다. 도 9는, 도 8에 도시된 화상 복호 장치(200)의 동작을 나타내는 흐름도이다. 우선, 부호 데이터 입력부(201)는 복호 대상 화상의 부호 데이터를 입력하고, 입력된 부호 데이터를 부호 데이터 메모리(202)에 기억한다(단계 S71). 이와 병행하여 참조 카메라 화상 입력부(203)는 참조 카메라 화상을 입력하고, 입력된 참조 카메라 화상을 참조 카메라 화상 메모리(204)에 기억한다. 또한, 참조 카메라 뎁스맵 입력부(205)는 참조 카메라 뎁스맵을 입력하고, 입력된 참조 카메라 뎁스맵을 뎁스맵 변환부(206)에 출력한다(단계 S72).

또, 단계 S72에서 입력되는 참조 카메라 화상, 참조 카메라 뎁스맵은 부호화 측에서 사용된 것과 동일한 것으로 한다. 이는 부호화 장치에서 사용한 것과 완전히 같은 정보를 이용함으로써, 드리프트 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음 발생을 허용하는 경우에는 부호화 시에 사용된 것과 다른 것이 입력되어도 된다. 참조 카메라 뎁스맵에 관해서는, 별도로 복호한 것 이외에 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등을 이용하는 경우도 있다.

다음에, 뎁스맵 변환부(206)는 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하고, 생성된 가상 뎁스맵을 가상 뎁스맵 메모리(207)에 기억한다(단계 S73). 여기서의 처리는, 부호화 대상 화상과 복호 대상 화상 등 부호화와 복호가 다른 점을 제외하고 도 2에 도시된 단계 S3과 동일하다.

다음에, 가상 뎁스맵이 얻어졌다면, 시점 합성 화상 생성부(208)는 참조 카메라 화상과 가상 뎁스맵으로부터 복호 대상 화상에 대한 시점 합성 화상을 생성하고, 생성된 시점 합성 화상을 화상 복호부(209)에 출력한다(단계 S74). 여기서의 처리는, 부호화 대상 화상과 복호 대상 화상 등 부호화와 복호가 다른 점을 제외하고 도 2에 도시된 단계 S4와 동일하다.

다음에, 시점 합성 화상이 얻어졌다면, 화상 복호부(209)는 시점 합성 화상을 예측 화상으로서 이용하면서 부호 데이터로부터 복호 대상 화상을 복호하여 복호 결과를 출력한다(단계 S75). 복호 결과 얻어지는 복호 화상이 화상 복호 장치(200)의 출력이 된다. 또, 부호 데이터(비트 스트림)를 올바르게 복호할 수 있다면, 복호에는 어떠한 방법을 이용해도 된다. 일반적으로 부호화시에 이용된 방법에 대응하는 방법이 이용된다.

MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화로 부호화되어 있는 경우는, 화상을 미리 정해진 크기의 블록으로 분할하여 블록마다 엔트로피 복호, 역2치화, 역양자화 등을 실시한 후, IDCT(Inverse Discrete Cosine Transform) 등 역주파수 변환을 실시하여 예측 잔차 신호를 얻은 후, 예측 잔차 신호에 대해 예측 화상을 가하여 얻어진 결과를 화소값 범위에서 클리핑함으로써 복호를 행한다.

또, 복호 처리를 블록마다 행하는 경우, 시점 합성 화상의 생성 처리(단계 S74)와 복호 대상 화상의 복호 처리(단계 S75)를 블록마다 교대로 반복함으로써 복호 대상 화상을 복호해도 된다. 그 경우의 처리 동작을 도 10을 참조하여 설명한다. 도 10은, 시점 합성 화상의 생성 처리와 복호 대상 화상의 복호 처리를 블록마다 교대로 반복함으로써, 복호 대상 화상을 복호하는 동작을 나타내는 흐름도이다. 도 10에서, 도 9에 도시된 처리 동작과 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 간단히 행한다. 도 10에 도시된 처리 동작에서는 복호 처리를 행하는 단위가 되는 블록의 인덱스를 blk라고 하고, 복호 대상 화상 중의 블록수를 numBlks로 나타내고 있다.

우선, 부호 데이터 입력부(201)는 복호 대상 화상의 부호 데이터를 입력하고, 입력된 부호 데이터를 부호 데이터 메모리(202)에 기억한다(단계 S71). 이와 병행하여 참조 카메라 화상 입력부(203)는 참조 카메라 화상을 입력하고, 입력된 참조 카메라 화상을 참조 카메라 화상 메모리(204)에 기억한다. 또한, 참조 카메라 뎁스맵 입력부(205)는 참조 카메라 뎁스맵을 입력하고, 입력된 참조 카메라 뎁스맵을 뎁스맵 변환부(206)에 출력한다(단계 S72).

다음에, 뎁스맵 변환부(206)는 참조 카메라 뎁스맵으로부터 가상 뎁스맵을 생성하고, 생성된 가상 뎁스맵을 가상 뎁스맵 메모리(207)에 기억한다(단계 S73). 그리고, 시점 합성 화상 생성부(208)는 변수(blk)에 0을 대입한다(단계 S76).

다음에, 시점 합성 화상 생성부(208)는 참조 카메라 화상과 가상 뎁스맵으로부터 블록(blk)에 대한 시점 합성 화상을 생성하고, 생성된 시점 합성 화상을 화상 복호부(209)에 출력한다(단계 S74a). 이어서, 화상 복호부(209)는, 시점 합성 화상을 예측 화상으로서 이용하면서 부호 데이터로부터 블록(blk)에 대한 복호 대상 화상을 복호하여 복호 결과를 출력한다(단계 S75a). 그리고, 시점 합성 화상 생성부(208)는, 변수(blk)를 인크리먼트하여(blk←blk+1, 단계 S77) blk<numBlks를 만족하는지를 판정한다(단계 S78). 이 판정 결과, blk<numBlks를 만족하면 단계 S74a로 되돌아가 처리를 반복하고, blk=numBlks를 만족한 시점에서 처리를 종료한다.

이와 같이, 참조 프레임에 대한 뎁스맵으로부터 처리 대상 프레임에 대한 해상도가 작은 뎁스맵을 생성함으로써, 지정된 영역에 대한 시점 합성 화상의 생성을 적은 연산량 및 소비 메모리로 실현하여 다시점 화상의 효율적이고 경량인 화상 부호화를 실현할 수 있다. 이에 의해, 참조 프레임에 대한 뎁스맵을 이용하여 처리 대상 프레임(부호화 대상 프레임 또는 복호 대상 프레임)의 시점 합성 화상을 생성할 때에, 시점 합성 화상의 품질을 현저히 저하시키지 않고 적은 연산량으로 블록마다 시점 합성 화상을 생성하는 것이 가능하게 된다.

상술한 설명에서는, 1프레임 중의 모든 화소를 부호화 및 복호하는 처리를 설명하였지만, 일부 화소에만 본 발명의 실시형태의 처리를 적용하고, 그 밖의 화소에서는 H.264/AVC 등에서 이용되는 화면 내 예측 부호화나 움직임 보상 예측 부호화 등을 이용하여 부호화 또는 복호를 행해도 된다. 그 경우에는, 화소마다 어느 방법을 이용하여 예측하였는지를 나타내는 정보를 부호화 및 복호할 필요가 있다. 또한, 화소마다가 아니라 블록마다 다른 예측 방식을 이용하여 부호화 또는 복호를 행해도 된다. 또, 일부 화소나 블록에 대해서만 시점 합성 화상을 이용한 예측을 행하는 경우는, 그 화소에 대해서만 시점 합성 화상을 생성하는 처리(단계 S4, S4a, S74 및 S74a)를 행하도록 함으로써, 시점 합성 화상의 생성 처리에 드는 연산량을 삭감하는 것이 가능하게 된다.

또한, 상술한 설명에서는, 1프레임을 부호화 및 복호하는 처리를 설명하였지만, 복수 프레임에 대해 처리를 반복함으로써 본 발명의 실시형태를 동화상 부호화에도 적용할 수 있다. 또한, 동화상의 일부 프레임이나 일부 블록에만 본 발명의 실시형태를 적용할 수도 있다. 나아가 상술한 설명에서는 화상 부호화 장치 및 화상 복호 장치의 구성 및 처리 동작을 설명하였지만, 이들 화상 부호화 장치 및 화상 복호 장치의 각 부의 동작에 대응한 처리 동작에 의해 본 발명의 화상 부호화 방법 및 화상 복호 방법을 실현할 수 있다.

도 11은, 전술한 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다. 도 11에 도시된 시스템은, 프로그램을 실행하는 CPU(Central Processing Unit)(50)와, CPU(50)가 액세스하는 프로그램이나 데이터가 저장되는 RAM(Random Access Memory) 등의 메모리(51)와, 카메라 등으로부터의 부호화 대상의 화상 신호를 입력하는 부호화 대상 화상 입력부(52)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)와, 카메라 등으로부터의 참조 대상의 화상 신호를 입력하는 참조 카메라 화상 입력부(53)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)와, 뎁스 카메라 등으로부터의 부호화 대상 화상을 촬영한 카메라와는 다른 위치나 방향의 카메라에 대한 뎁스맵을 입력하는 참조 카메라 뎁스맵 입력부(54)(디스크 장치 등에 의한 뎁스맵을 기억하는 기억부로도 됨)와, 상술한 화상 부호화 처리를 CPU(50)에 실행시키는 소프트웨어 프로그램인 화상 부호화 프로그램(551)이 저장된 프로그램 기억 장치(55)와, CPU(50)가 메모리(51)에 로드된 화상 부호화 프로그램(551)을 실행함으로써 생성된 부호 데이터를 예를 들어 네트워크를 통해 출력하는 부호 데이터 출력부(56)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부로도 됨)가 버스로 접속된 구성으로 되어 있다.

도 12는, 전술한 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다. 도 12에 도시된 시스템은, 프로그램을 실행하는 CPU(60)와, CPU(60)가 액세스하는 프로그램이나 데이터가 저장되는 RAM 등의 메모리(61)와, 화상 부호화 장치가 본 수법에 의해 부호화한 부호 데이터를 입력하는 부호 데이터 입력부(62)(디스크 장치 등에 의한 부호 데이터를 기억하는 기억부로도 됨)와, 카메라 등으로부터의 참조 대상의 화상 신호를 입력하는 참조 카메라 화상 입력부(63)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)와, 뎁스 카메라 등으로부터의 복호 대상을 촬영한 카메라와는 다른 위치나 방향의 카메라에 대한 뎁스맵을 입력하는 참조 카메라 뎁스맵 입력부(64)(디스크 장치 등에 의한 뎁스 정보를 기억하는 기억부로도 됨)와, 상술한 화상 복호 처리를 CPU(60)에 실행시키는 소프트웨어 프로그램인 화상 복호 프로그램(651)이 저장된 프로그램 기억 장치(65)와, CPU(60)가 메모리(61)에 로드된 화상 복호 프로그램(651)을 실행함으로써, 부호 데이터를 복호하여 얻어진 복호 대상 화상을 재생 장치 등에 출력하는 복호 대상 화상 출력부(66)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)가 버스로 접속된 구성으로 되어 있다.

또한, 도 1에 도시된 화상 부호화 장치 및 도 8에 도시된 화상 복호 장치에서의 각 처리부의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 화상 부호화 처리와 화상 복호 처리를 행해도 된다. 또, 여기서 말하는 「컴퓨터 시스템」이란, OS(Operating System)나 주변기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 시스템」은 홈페이지 제공 환경(혹은 표시 환경)을 구비한 WWW(World Wide Web) 시스템도 포함하는 것으로 한다. 또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM(Read Only Memory), CD(Compact Disc) - ROM 등의 포터블 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또, 「컴퓨터 판독 가능한 기록매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이 일정 시간 프로그램을 보유하고 있는 것도 포함하는 것으로 한다.

또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송 매체를 통해 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템으로 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는, 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 가지는 매체를 말한다. 또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다. 또, 상기 프로그램은 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 행해도 된다.

본 발명은, 참조 프레임에 대한 피사체의 3차원 위치를 나타내는 뎁스맵을 이용하여 부호화(복호) 대상 화상에 대해 시차 보상 예측을 행할 때에, 높은 부호화 효율을 적은 연산량으로 달성하는 것이 불가결한 용도에 적용할 수 있다.

100…화상 부호화 장치, 101…부호화 대상 화상 입력부, 102…부호화 대상 화상 메모리, 103…참조 카메라 화상 입력부, 104…참조 카메라 화상 메모리, 105…참조 카메라 뎁스맵 입력부, 106…뎁스맵 변환부, 107…가상 뎁스맵 메모리, 108…시점 합성 화상 생성부, 109…화상 부호화부, 200…화상 복호 장치, 201…부호 데이터 입력부, 202…부호 데이터 메모리, 203…참조 카메라 화상 입력부, 204…참조 카메라 화상 메모리, 205…참조 카메라 뎁스맵 입력부, 206…뎁스맵 변환부, 207…가상 뎁스맵 메모리, 208…시점 합성 화상 생성부, 209…화상 복호부

Claims (32)

1. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서,
   상기 부호화 대상 화상보다 해상도가 낮고, 상기 부호화 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성 단계;
   상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;
   를 가지는 화상 부호화 방법.
2. 청구항 1에 있어서,
   상기 참조 시점 뎁스맵으로부터 상기 부호화 대상 화상과 동일한 해상도의 동일 해상도 뎁스맵을 생성하는 동일 해상도 뎁스맵 생성 단계를 더 가지며,
   상기 가상 뎁스맵 생성 단계에서는, 상기 동일 해상도 뎁스맵을 축소함으로써 상기 가상 뎁스맵을 생성하는 화상 부호화 방법.
3. 청구항 2에 있어서,
   상기 가상 뎁스맵 생성 단계에서는, 상기 가상 뎁스맵의 화소마다 상기 동일 해상도 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성하는 화상 부호화 방법.
4. 청구항 1에 있어서,
   상기 참조 시점 뎁스맵을 축소함으로써, 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성 단계를 더 가지며,
   상기 가상 뎁스맵 생성 단계에서는, 상기 축소 뎁스맵으로부터 상기 가상 뎁스맵을 생성하는 화상 부호화 방법.
5. 청구항 4에 있어서,
   상기 축소 뎁스맵 생성 단계에서는, 상기 참조 시점 뎁스맵을 세로방향 또는 가로방향 중 어느 한쪽에 대해서만 축소하는 화상 부호화 방법.
6. 청구항 4 또는 청구항 5에 있어서,
   상기 축소 뎁스맵 생성 단계에서는, 상기 축소 뎁스맵의 화소마다 상기 참조 시점 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성하는 화상 부호화 방법.
7. 청구항 1에 있어서,
   상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택 단계를 더 가지며,
   상기 가상 뎁스맵 생성 단계에서는, 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성하는 화상 부호화 방법.
8. 청구항 7에 있어서,
   상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 참조 시점 뎁스맵을 부분 영역으로 분할하는 영역 분할 단계를 더 가지며,
   상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 상기 샘플 화소를 선택하는 화상 부호화 방법.
9. 청구항 8에 있어서,
   상기 영역 분할 단계에서는, 상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 부분 영역의 형상을 결정하는 화상 부호화 방법.
10. 청구항 8 또는 청구항 9에 있어서,
    상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소, 또는 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소 중 어느 한쪽을 상기 샘플 화소로서 선택하는 화상 부호화 방법.
11. 청구항 8 또는 청구항 9에 있어서,
    상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소와 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소를 상기 샘플 화소로서 선택하는 화상 부호화 방법.
12. 복수 시점의 화상인 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 상기 복호 대상 화상의 시점과는 다른 시점에 대한 복호 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서,
    상기 복호 대상 화상보다 해상도가 낮고, 상기 복호 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성 단계;
    상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;
    를 가지는 화상 복호 방법.
13. 청구항 12에 있어서,
    상기 참조 시점 뎁스맵으로부터 상기 복호 대상 화상과 동일한 해상도의 동일 해상도 뎁스맵을 생성하는 동일 해상도 뎁스맵 생성 단계를 더 가지며,
    상기 가상 뎁스맵 생성 단계에서는, 상기 동일 해상도 뎁스맵을 축소함으로써 상기 가상 뎁스맵을 생성하는 화상 복호 방법.
14. 청구항 13에 있어서,
    상기 가상 뎁스맵 생성 단계에서는, 상기 가상 뎁스맵의 화소마다 상기 동일 해상도 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성하는 화상 복호 방법.
15. 청구항 12에 있어서,
    상기 참조 시점 뎁스맵을 축소함으로써, 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성 단계를 더 가지며,
    상기 가상 뎁스맵 생성 단계에서는, 상기 축소 뎁스맵으로부터 상기 가상 뎁스맵을 생성하는 화상 복호 방법.
16. 청구항 15에 있어서,
    상기 축소 뎁스맵 생성 단계에서는, 상기 참조 시점 뎁스맵을 세로방향 또는 가로방향 중 어느 한쪽에 대해서만 축소하는 화상 복호 방법.
17. 청구항 15 또는 청구항 16에 있어서,
    상기 축소 뎁스맵 생성 단계에서는, 상기 축소 뎁스맵의 화소마다 상기 참조 시점 뎁스맵에서 대응하는 복수의 화소에 대한 뎁스 중에서 가장 시점에 가까운 것을 나타내는 뎁스를 선택함으로써 상기 가상 뎁스맵을 생성하는 화상 복호 방법.
18. 청구항 12에 있어서,
    상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택 단계를 더 가지며,
    상기 가상 뎁스맵 생성 단계에서는, 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성하는 화상 복호 방법.
19. 청구항 18에 있어서,
    상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 참조 시점 뎁스맵을 부분 영역으로 분할하는 영역 분할 단계를 더 가지며,
    상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 샘플 화소를 선택하는 화상 복호 방법.
20. 청구항 19에 있어서,
    상기 영역 분할 단계에서는, 상기 참조 시점 뎁스맵과 상기 가상 뎁스맵의 해상도 비에 따라 상기 부분 영역의 형상을 결정하는 화상 복호 방법.
21. 청구항 19 또는 청구항 20에 있어서,
    상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소, 또는 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소 중 어느 한쪽을 상기 샘플 화소로서 선택하는 화상 복호 방법.
22. 청구항 19 또는 청구항 20에 있어서,
    상기 샘플 화소 선택 단계에서는, 상기 부분 영역마다 가장 시점에 가까운 것을 나타내는 뎁스를 가지는 화소와 가장 시점에서 먼 것을 나타내는 뎁스를 가지는 화소를 상기 샘플 화소로서 선택하는 화상 복호 방법.
23. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서,
    상기 부호화 대상 화상보다 해상도가 낮고, 상기 부호화 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성부;
    상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 부호화 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;
    를 구비하는 화상 부호화 장치.
24. 청구항 23에 있어서,
    상기 참조 시점 뎁스맵을 축소함으로써, 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성부를 더 구비하고,
    상기 가상 뎁스맵 생성부는, 상기 축소 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성하는 화상 부호화 장치.
25. 청구항 23에 있어서,
    상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택부를 더 구비하고,
    상기 가상 뎁스맵 생성부는, 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성하는 화상 부호화 장치.
26. 복수 시점의 화상인 다시점 화상의 부호 데이터로부터 복호 대상 화상을 복호할 때에, 상기 복호 대상 화상의 시점과는 다른 시점에 대한 복호 완료된 참조 시점 화상과, 상기 참조 시점 화상 내의 피사체의 뎁스맵인 참조 시점 뎁스맵을 이용하여 시점 간에서 화상을 예측하면서 복호를 행하는 화상 복호 장치로서,
    상기 복호 대상 화상보다 해상도가 낮고, 상기 복호 대상 화상 내의 상기 피사체의 뎁스맵인 가상 뎁스맵을 생성하는 가상 뎁스맵 생성부;
    상기 가상 뎁스맵과 상기 참조 시점 화상으로부터 상기 복호 대상 화상에 대한 시차 보상 화상을 생성함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;
    를 구비하는 화상 복호 장치.
27. 청구항 26에 있어서,
    상기 참조 시점 뎁스맵을 축소함으로써, 상기 참조 시점 화상 내의 상기 피사체의 축소 뎁스맵을 생성하는 축소 뎁스맵 생성부를 더 구비하고,
    상기 가상 뎁스맵 생성부는, 상기 축소 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성하는 화상 복호 장치.
28. 청구항 26에 있어서,
    상기 참조 시점 뎁스맵의 화소로부터 일부의 샘플 화소를 선택하는 샘플 화소 선택부를 더 구비하고,
    상기 가상 뎁스맵 생성부는, 상기 샘플 화소에 대응하는 상기 참조 시점 뎁스맵을 변환함으로써 상기 가상 뎁스맵을 생성하는 화상 복호 장치.
29. 컴퓨터에 청구항 1 내지 11 중 어느 한 항에 기재된 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램.
30. 컴퓨터에 청구항 12 내지 22 중 어느 한 항에 기재된 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램.
31. 청구항 29에 기재된 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
32. 청구항 30에 기재된 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.

Images