KR20160045864A

KR20160045864A - 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램

Info

Publication number: KR20160045864A
Application number: KR1020167007560A
Authority: KR
Inventors: 신야 시미즈; 시오리 스기모토; 아키라 고지마
Original assignee: 니폰 덴신 덴와 가부시끼가이샤
Priority date: 2013-10-17
Filing date: 2014-10-15
Publication date: 2016-04-27
Also published as: JPWO2015056712A1; WO2015056712A1; US20170055000A2; US20160255370A1; CN105612748B; KR101750421B1; CN105612748A; US10911779B2

Abstract

복수의 다른 시점의 동화상으로 이루어진 다시점 동화상을 예측하면서 부호화/복호하는 동화상 부호화/복호 장치는, 부호화/복호 대상 영역에 대해, 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정부; 부호화/복호 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할부; 예측 영역마다 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성부; 참조 시점에 대한 시차 벡터에 기초하여 참조 시점 움직임 정보로부터 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성부; 및 예측 영역에서의 움직임 정보를 이용하여 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성부;를 구비한다.

Description

동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램{Moving image encoding method, moving image decoding method, moving image encoding device, moving image decoding device, moving image encoding program, and moving image decoding program}

본 발명은 다시점 동화상을 부호화 및 복호하는 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램에 관한 것이다.

본원은 2013년 10월 17일자로 일본에 출원된 특원 2013-216526호를 기초로 우선권을 주장하고, 그 내용을 여기에 원용한다.

종래로부터 복수의 카메라에서 동일한 피사체와 배경을 촬영한 복수의 화상으로 이루어진 다시점 화상(Multiview images：멀티뷰 이미지)이 알려져 있다. 이 복수의 카메라로 촬영한 동화상을 다시점 동화상(또는 다시점 영상)이라고 한다. 이하의 설명에서는 하나의 카메라로 촬영된 화상(동화상)을 "2차원 화상(2차원 동화상)"이라고 하고, 동일한 피사체와 배경을 위치나 방향(이하, 시점이라 함)이 다른 복수의 카메라로 촬영한 2차원 화상(2차원 동화상)군을 "다시점 화상(다시점 동화상)"이라고 한다.

2차원 동화상은 시간 방향에 대해 강한 상관이 있고, 그 상관을 이용함으로써 부호화 효율을 높일 수 있다. 한편, 다시점 화상이나 다시점 동화상에서는 각 카메라가 동기되어 있는 경우, 각 카메라 영상의 동일한 시각에 대응되는 프레임(화상)은 완전히 동일한 상태의 피사체와 배경을 다른 위치로부터 촬영한 것이므로, 카메라간(동일 시각의 다른 2차원 화상간)에 강한 상관이 있다. 다시점 화상이나 다시점 동화상의 부호화에서는 이 상관을 이용함으로써 부호화 효율을 높일 수 있다.

여기서, 2차원 동화상의 부호화 기술에 대한 종래 기술을 설명한다. 국제 부호화 표준인 H.264, MPEG－2, MPEG－4를 비롯한 종래의 많은 2차원 동화상 부호화 방식에서는 움직임 보상 예측, 직교 변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율 부호화를 수행한다. 예컨대, H.264에서는 부호화 대상 프레임과 과거 혹은 미래의 복수매의 프레임과의 시간 상관을 이용한 부호화가 가능하다.

H.264에서 사용되고 있는 움직임 보상 예측 기술의 상세는, 예컨대 비특허 문헌 1에 기재되어 있다. H.264에서 사용되고 있는 움직임 보상 예측 기술의 개요를 설명한다. H.264의 움직임 보상 예측은 부호화 대상 프레임을 다양한 사이즈의 블록으로 분할하고, 각 블록에서 다른 움직임 벡터와 다른 참조 프레임을 갖는 것을 허가하고 있다. 각 블록에서 다른 움직임 벡터를 사용함으로써, 피사체마다 다른 움직임을 보상한 고정밀도의 예측을 실현하고 있다. 한편, 각 블록에서 다른 참조 프레임을 사용함으로써, 시간 변화에 따라 발생하는 오클루젼(occlusion)을 고려한 고정밀도의 예측을 실현하고 있다.

이어서, 종래의 다시점 화상이나 다시점 동화상의 부호화 방식에 대해 설명한다. 다시점 화상의 부호화 방법과 다시점 동화상의 부호화 방법의 차이는 다시점 동화상에는 카메라간의 상관에 더하여, 시간 방향의 상관이 동시에 존재하는 것이다. 그러나, 어떠한 경우라도 동일한 방법으로 카메라간의 상관을 이용할 수 있다. 그 때문에, 여기서는 다시점 동화상의 부호화에서 이용되는 방법에 대해 설명한다.

다시점 동화상의 부호화에 대해서는 카메라간의 상관을 이용하기 때문에, 움직임 보상 예측을 동일 시각의 다른 카메라로 촬영된 화상에 적용한 "시차 보상 예측"에 의해 고효율로 다시점 동화상을 부호화하는 방식이 종래부터 존재한다. 여기서, 시차란, 다른 위치에 배치된 카메라의 화상 평면상에서, 피사체 상의 동일 부분이 존재하는 위치의 차이이다. 도 8은 카메라(제1 카메라와 제2 카메라)간에 발생하는 시차를 나타내는 개념도이다. 도 8에 도시한 개념도는 광축이 평행한 카메라의 화상 평면을 수직으로 내려다본 것이다. 이와 같이, 다른 카메라의 화상 평면상에서 피사체 상의 동일 부분이 투영되는 위치는 일반적으로 대응점이라 불린다.

시차 보상 예측에서는 이 대응 관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로부터 예측하고, 그 예측 잔차와 대응 관계를 나타내는 시차 정보를 부호화한다. 시차는 대상으로 하는 카메라쌍이나 위치마다 변화되기 때문에, 시차 보상 예측을 수행하는 영역마다 시차 정보의 부호화가 필요하다. 실제로, H.264의 다시점 동화상 부호화 방식에서는 시차 보상 예측을 이용하는 블록마다 시차 정보를 나타내는 벡터를 부호화하고 있다.

시차 정보에 의해 주어지는 대응 관계는 카메라 파라미터를 이용함으로써, 에피폴라 기하(epipolar geometry) 구속에 따라, 2차원 벡터가 아닌, 피사체의 3차원 위치를 나타내는 1차원량으로 나타낼 수 있다. 피사체의 3차원 위치를 나타내는 정보로는 다양한 표현이 존재하나, 기준이 되는 카메라에서부터 피사체에 이르기까지의 거리나, 카메라의 화상 평면과 평행하지 않은 축 상의 좌표값을 이용하는 경우가 많다. 또한, 거리가 아닌 거리의 역수를 이용하는 경우도 있다. 또한, 거리의 역수는 시차에 비례하는 정보가 되기 때문에, 기준이 되는 카메라를 2개 설정하고, 그러한 카메라로 촬영된 화상간에서의 시차량으로서 3차원 위치를 표현하는 경우도 있다. 어떠한 표현을 이용하였다고 하더라도 본질적인 차이는 없기 때문에, 이하에서는 표현에 의한 구별을 하지 않으며, 그러한 3차원 위치를 나타내는 정보를 뎁스(depth)로 표현한다.

도 9는 에피폴라 기하 구속의 개념도이다. 에피폴라 기하 구속에 의하면, 어떤 카메라의 화상 상의 점에 대응되는 다른 카메라의 화상 상의 점은 에피폴라선(epipolar line)이라는 직선상에 구속된다. 이때, 그 화소에 대한 뎁스가 얻어진 경우, 대응점은 에피폴라선 상에 유일하게 정해진다. 예컨대, 도 9에 도시한 바와 같이, 제1 카메라 화상에 대해 m의 위치에 투영된 피사체에 대한 제2 카메라 화상에서의 대응점은 실공간에서의 피사체의 위치가 M'인 경우에는 에피폴라선 상의 위치 m＇에 투영되고, 실공간에서의 피사체의 위치가 M"인 경우에는 에피폴라선 상의 위치 m"에 투영된다.

비특허 문헌 2에서는 이러한 성질을 이용하여 참조 프레임에 대한 뎁스맵(거리 화상)에 의해 주어지는 각 피사체의 3차원 정보에 따라, 참조 프레임으로부터 부호화 대상 프레임에 대한 합성 화상을 생성하고, 생성된 합성 화상을 영역마다의 예측 화상 후보로 함으로써, 고정밀도의 예측을 실현하고, 효율적인 다시점 동화상의 부호화를 실현하고 있다. 또한, 이 뎁스에 기초하여 생성되는 합성 화상은 시점 합성 화상, 시점 보간 화상, 또는 시차 보상 화상이라고 불린다.

[비특허 문헌 1] ITU-T Recommendation H.264(03/2009), "Advanced video coding for generic audiovisual services", March, 2009. [비특허 문헌 2] S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive appearance compensated view synthesis prediction for Multiview Video Coding", 2009 16th IEEE International Conference on Image Processing(ICIP), pp. 2949-2952, 7-10 Nov. 2009.

비특허 문헌 2에 기재된 방법에 의하면, 뎁스맵으로부터 얻어진 피사체의 3차원 정보를 이용하여 고정밀도의 시차 보상을 행한 시점 합성 화상에 의해, 고효율 예측이 실현 가능하다. 또한, 영역마다 기존의 예측과 시점 합성 화상에 의한 예측을 선택함으로써, 뎁스맵의 품질이나 오클루젼의 영향을 받아 부분적으로는 정밀도가 낮은 시점 합성 화상이 생성되는 경우에도, 영역마다 시점 합성 화상을 예측 화상으로 할지 여부를 선택함으로써, 부호량의 증가를 막을 수 있다.

그러나, 비특허 문헌 2에 기재된 방법에서는 뎁스맵에 의해 표현되는 3차원 정보의 정밀도가 낮은 경우, 일반적인 시차 벡터를 이용한 시차 보상 예측에 비해 낮은 정밀도로 밖에 시차를 보상할 수 없으므로, 고효율 예측을 실현할 수 없게 되는 문제가 있다.

본 발명은 이러한 사정에 비추어 이루어진 것으로, 뎁스맵에 의해 표현되는 시차량의 정밀도가 낮은 경우라도, 고정밀도의 예측을 실현하고, 고효율의 부호화를 실현할 수 있는 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 실시 형태는, 복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 1 프레임을 부호화할 때, 부호화 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 부호화 대상 화상을 분할한 영역인 부호화 대상 영역마다 부호화를 수행하는 동화상 부호화 장치로서, 상기 부호화 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정부; 상기 부호화 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할부; 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성부; 상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성부; 및 상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성부;를 구비하는 동화상 부호화 장치이다.

본 발명의 동화상 부호화 장치에 있어서, 상기 시차 벡터 생성부는 또한 상기 부호화 대상 영역에 대해 상기 뎁스맵에 대한 시차 벡터를 생성하고, 상기 대응 영역 설정부는 상기 뎁스맵에 대한 상기 시차 벡터에 의해 나타나는 영역을 상기 대응 영역으로서 설정할 수도 있다.

본 발명의 동화상 부호화 장치에 있어서, 상기 시차 벡터 생성부는 상기 부호화 대상 영역에 인접한 영역의 부호화시에 사용한 시차 벡터를 이용하여 상기 뎁스맵에 대한 상기 시차 벡터를 설정할 수도 있다.

본 발명의 동화상 부호화 장치에 있어서, 상기 영역 분할부는 상기 대응 영역 내의 뎁스 정보에 기초하여 상기 부호화 대상 영역에 대한 영역 분할을 설정할 수도 있다.

본 발명의 동화상 부호화 장치에 있어서, 상기 시차 벡터 생성부는 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 상기 영역에서의 상기 뎁스 정보로부터 대표 뎁스를 설정하고, 그 대표 뎁스에 기초하여 상기 참조 시점에 대한 상기 시차 벡터를 설정할 수도 있다.

본 발명의 동화상 부호화 장치에 있어서, 상기 움직임 정보 생성부는 상기 예측 영역에 대해 미리 정해진 화소의 위치와 상기 참조 시점에 대한 상기 시차 벡터를 이용하여 상기 참조 시점에서의 대응 위치를 구하고, 상기 참조 시점 움직임 정보 중 그 대응 위치를 포함하는 영역에 대해 주어진 움직임 정보를 상기 예측 영역에서의 상기 움직임 정보로 할 수도 있다.

본 발명의 동화상 부호화 장치에 있어서, 상기 부호화 대상 화상에 대해 부호화 대상 시점에서의 상기 부호화 대상 화상과는 다른 이미 부호화가 완료된 1 프레임을 참조 화상으로서 설정하는 참조 화상 설정부를 더 구비하고, 상기 움직임 정보 생성부는 상기 참조 시점 움직임 정보로부터 얻어진 움직임 정보를 상기 부호화 대상 화상과 상기 참조 화상과의 시간 간격에 맞추어 스케일링(scaling)함으로써 상기 예측 영역에서의 상기 움직임 정보를 생성할 수도 있다.

본 발명의 동화상 부호화 장치에 있어서, 상기 예측 화상 생성부는 상기 예측 영역에서의 상기 움직임 정보를 이용하여 생성한 제1 예측 화상과, 상기 참조 시점에 대한 상기 시차 벡터와 상기 참조 시점 화상을 이용하여 생성한 제2 예측 화상을 이용하여 상기 예측 영역에 대한 상기 예측 화상을 생성할 수도 있다.

본 발명의 일 실시 형태는, 복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 부호 데이터로부터 복호 대상 화상을 복호할 때, 상기 복호 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 복호 대상 화상을 분할한 영역인 복호 대상 영역마다 복호를 수행하는 동화상 복호 장치로서, 상기 복호 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정부; 상기 복호 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할부; 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성부; 상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성부; 및 상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성부;를 구비하는 동화상 복호 장치이다.

본 발명의 동화상 복호 장치에 있어서, 상기 시차 벡터 생성부는 또한 상기 복호 대상 영역에 대해 상기 뎁스맵에 대한 시차 벡터를 생성하고, 상기 대응 영역 설정부는 상기 뎁스맵에 대한 상기 시차 벡터에 의해 나타나는 영역을 상기 대응 영역으로서 설정할 수도 있다.

본 발명의 동화상 복호 장치에 있어서, 상기 시차 벡터 생성부는 상기 복호 대상 영역에 인접한 영역을 복호할 때 사용한 시차 벡터를 이용하여 상기 뎁스맵에 대한 상기 시차 벡터를 설정할 수도 있다.

본 발명의 동화상 복호 장치에 있어서, 상기 영역 분할부는 상기 대응 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역에 대한 영역 분할을 설정할 수도 있다.

본 발명의 동화상 복호 장치에 있어서, 상기 시차 벡터 생성부는 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 상기 영역에서의 상기 뎁스 정보로부터 대표 뎁스를 설정하고, 그 대표 뎁스에 기초하여 상기 참조 시점에 대한 상기 시차 벡터를 설정할 수도 있다.

본 발명의 동화상 복호 장치에 있어서, 상기 움직임 정보 생성부는 상기 예측 영역에 대해 미리 정해진 화소의 위치와 상기 참조 시점에 대한 상기 시차 벡터를 이용하여 상기 참조 시점에서의 대응 위치를 구하고, 상기 참조 시점 움직임 정보 중 그 대응 위치를 포함하는 영역에 대해 주어진 움직임 정보를 상기 예측 영역에서의 상기 움직임 정보로 할 수도 있다.

본 발명의 동화상 복호 장치에 있어서, 상기 복호 대상 화상에 대해 복호 대상 시점에서의 상기 복호 대상 화상과는 다른 이미 복호가 완료된 1 프레임을 참조 화상으로서 설정하는 참조 화상 설정부를 더 구비하고, 상기 움직임 정보 생성부는 상기 참조 시점 움직임 정보로부터 얻어진 움직임 정보를 상기 복호 대상 화상과 상기 참조 화상과의 시간 간격에 맞추어 스케일링함으로써 상기 예측 영역에서의 상기 움직임 정보를 생성할 수도 있다.

본 발명의 동화상 복호 장치에 있어서, 상기 예측 화상 생성부는 상기 예측 영역에서의 상기 움직임 정보를 이용하여 생성한 제1 예측 화상과, 상기 참조 시점에 대한 상기 시차 벡터와 상기 참조 시점 화상을 이용하여 생성한 제2 예측 화상을 이용하여 상기 예측 영역에 대한 상기 예측 화상을 생성할 수도 있다.

본 발명의 일 실시 형태는, 복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 1 프레임을 부호화할 때, 부호화 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 부호화 대상 화상을 분할한 영역인 부호화 대상 영역마다 부호화를 수행하는 동화상 부호화 방법으로서, 상기 부호화 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정 스텝; 상기 부호화 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할 스텝; 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성 스텝; 상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성 스텝; 및 상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성 스텝;을 갖는 동화상 부호화 방법이다.

본 발명의 일 실시 형태는, 복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 부호 데이터로부터 복호 대상 화상을 복호할 때, 상기 복호 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 복호 대상 화상을 분할한 영역인 복호 대상 영역마다 복호를 수행하는 동화상 복호 방법으로서, 상기 복호 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정 스텝; 상기 복호 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할 스텝; 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성 스텝; 상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성 스텝; 및 상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성 스텝;을 갖는 동화상 복호 방법이다.

본 발명의 일 실시 형태는, 컴퓨터에 상기 동화상 부호화 방법을 실행시키기 위한 동화상 부호화 프로그램이다.

본 발명의 일 실시 형태는, 컴퓨터에 상기 동화상 복호 방법을 실행시키기 위한 동화상 복호 프로그램이다.

본 발명에 의하면, 뎁스맵에 의해 표현되는 시차의 정밀도가 낮은 경우에도 소수 화소 정밀도의 예측을 실현할 수 있고, 적은 부호량으로 다시점 동화상을 부호화할 수 있는 효과를 얻을 수 있다.

도 1은 본 발명의 일 실시 형태에 있어서의 동화상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시한 동화상 부호화 장치(100)의 동작을 나타내는 흐름도이다.
도 3은 도 1에 도시한 움직임 정보 생성부(105)에 있어서의 움직임 정보를 생성하는 동작(스텝 S104)의 상세 처리 동작을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시 형태에 있어서의 동화상 복호 장치의 구성을 나타내는 블록도이다.
도 5는 도 4에 도시한 동화상 복호 장치(200)의 동작을 나타내는 흐름도이다.
도 6은 도 1에 도시한 동화상 부호화 장치(100)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.
도 7은 도 4에 도시한 동화상 복호 장치(200)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다.
도 8은 카메라 사이에서 발생하는 시차를 나타내는 개념도이다.
도 9는 에피폴라 기하 구속의 개념도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 의한 동화상 부호화 장치 및 동화상 복호 장치를 설명한다. 이하의 설명에서는, 제1 카메라(카메라 A라 함), 제2 카메라(카메라 B라 함)의 2대의 카메라로 촬영된 다시점 동화상을 부호화하는 경우를 상정하고, 카메라 A를 참조 시점으로 하여 카메라 B의 동화상 1 프레임을 부호화 또는 복호하는 것으로 설명한다. 또한, 뎁스 정보로부터 시차를 얻기 위해 필요한 정보는 별도로 주어지는 것으로 한다. 구체적으로 이 정보는 카메라 A와 카메라 B의 위치 관계를 나타내는 외부 파라미터나, 카메라에 의한 화상 평면으로의 투영 정보를 나타내는 내부 파라미터지만, 그 이외의 형태라도 뎁스 정보로부터 시차를 얻을 수 있는 것이라면, 다른 정보가 주어져도 무방하다. 이러한 카메라 파라미터에 대한 자세한 설명은, 예컨대, 참고 문헌「0livier Faugeras, "Three-Dimensional Computer Vision", pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」에 기재되어 있다. 이 참고 문헌에는 복수의 카메라의 위치 관계를 나타내는 파라미터나, 카메라에 의한 화상 평면으로의 투영 정보를 나타내는 파라미터에 대한 설명이 기재되어 있다.

이하의 설명에서는, 화상이나 영상 프레임, 뎁스맵에 대해 기호［］에 의해 개재된 위치를 특정할 수 있는 정보(좌표값 또는 좌표값에 대응 가능한 인덱스 등)를 부가함으로써, 그 위치의 화소에 의해 샘플링된 화상 신호나, 그에 대한 뎁스를 나타내는 것으로 한다. 또한, 좌표값이나 블록에 대응 가능한 인덱스값과 벡터의 가산에 의해 그 좌표나 블록을 벡터량 만큼 벗어난 위치의 좌표값이나 블록을 나타내는 것으로 한다.

도 1은 본 실시 형태에서의 동화상 부호화 장치의 구성을 나타내는 블록도이다. 동화상 부호화 장치(100)는 도 1에 도시한 바와 같이, 부호화 대상 화상 입력부(101), 부호화 대상 화상 메모리(102), 참조 시점 움직임 정보 입력부(103), 뎁스맵 입력부(104), 움직임 정보 생성부(105), 시점 합성 화상 생성부(106), 화상 부호화부(107), 화상 복호부(108) 및 참조 화상 메모리(109)를 구비하고 있다.

부호화 대상 화상 입력부(101)는 부호화 대상이 되는 화상을 입력한다. 이하에서는 이 부호화 대상이 되는 화상을 부호화 대상 화상이라 한다. 여기서는 카메라 B의 동화상을 1 프레임씩 입력하는 것으로 한다. 또한, 부호화 대상 화상을 촬영한 시점(여기서는 카메라 B)을 부호화 대상 시점으로 한다. 부호화 대상 화상 메모리(102)는 입력한 부호화 대상 화상을 기억한다. 참조 시점 움직임 정보 입력부(103)는 참조 시점의 동화상에 대한 움직임 정보(움직임 벡터 등)를 입력한다. 이하에서는 여기서 입력된 움직임 정보를 참조 시점 움직임 정보라고 한다. 여기서는 카메라 A의 움직임 정보를 입력하는 것으로 한다.

뎁스맵 입력부(104)는 시점 합성 화상 생성시에 참조하는 뎁스맵을 입력한다. 여기서는 부호화 대상 화상에 대한 뎁스맵을 입력하는 것으로 하지만, 참조 시점 등 다른 시점에 대한 뎁스맵일 수도 있다. 또한, 뎁스맵과는 대응되는 화상의 각 화소에 찍힌 피사체의 3차원 위치를 나타내는 것이다. 뎁스맵은 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이라면, 어떠한 정보라도 무방하다. 예컨대, 카메라에서부터 피사체에 이르기까지의 거리나, 화상 평면과는 평행이 아닌 축에 대한 좌표값, 다른 카메라(예컨대, 카메라 A)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 시차량이 얻어지기만 하면 되므로, 뎁스맵이 아닌, 시차량을 직접 표현한 시차 맵을 이용할 수도 있다. 또한, 여기서는 뎁스맵이 화상의 형태로 주어지는 것으로 하고 있지만, 동일한 정보가 얻어지는 것이라면, 화상의 형태가 아니어도 무방하다.

움직임 정보 생성부(105)는 참조 시점 움직임 정보와 뎁스맵을 이용하여 부호화 대상 화상에 대한 움직임 정보를 생성한다. 시점 합성 화상 생성부(106)는 생성된 움직임 정보에 기초하여 참조 화상으로부터 부호화 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 부호화부(107)는 시점 합성 화상을 이용하면서, 부호화 대상 화상을 예측 부호화한다. 화상 복호부(108)는 부호화 대상 화상의 비트스트림을 복호한다. 참조 화상 메모리(109)는 부호화 대상 화상의 비트스트림을 복호하였을 때 얻어지는 화상을 축적한다.

이어서, 도 2를 참조하여, 도 1에 도시한 동화상 부호화 장치(100)의 동작을 설명한다. 도 2는 도 1에 도시한 동화상 부호화 장치(100)의 동작을 나타내는 흐름도이다. 우선, 부호화 대상 화상 입력부(101)는 부호화 대상 화상(Org)을 입력하고, 입력된 부호화 대상 화상(Org)을 부호화 대상 화상 메모리(102)에 기억한다(스텝 S101). 이어서, 참조 시점 움직임 정보 입력부(103)는 참조 시점 움직임 정보를 입력하고, 입력된 참조 시점 움직임 정보를 움직임 정보 생성부(105)로 출력하고, 뎁스맵 입력부(104)는 뎁스맵을 입력하며, 입력된 뎁스맵을 움직임 정보 생성부(105)로 출력한다(스텝 S102).

또한, 스텝 S102에서 입력되는 참조 시점 움직임 정보와 뎁스맵은 이미 부호화가 완료된 것을 복호한 것 등 복호측에서 얻어진 것과 동일한 것으로 한다. 이는 복호 장치에서 얻어진 것과 완전히 동일한 정보를 이용함으로써, 드리프트(drift) 등의 부호화 노이즈의 발생을 억제하기 위함이다. 단, 그러한 부호화 노이즈의 발생을 허용하는 경우에는, 부호화 이전의 것 등 부호화 측에서만 얻어지는 것이 입력될 수도 있다. 뎁스맵에 대하여는 이미 부호화가 완료된 것을 복호한 것 이외에, 복수의 카메라에 대해 복호된 다시점 동화상에 대해 스테레오 매칭(stereo matching) 등을 적용하여 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등도 복호 측에서 동일한 것이 얻어지는 것으로 하여 이용할 수 있다.

참조 시점 움직임 정보는 참조 시점에 대한 화상의 부호화시에 사용된 움직임 정보를 이용할 수도 있고, 참조 시점에 대해 별도로 부호화된 것을 이용할 수도 있다. 또한, 참조 시점에 대한 동화상을 복호하고, 그로부터 추정하여 얻어진 움직임 정보를 이용할 수도 있다.

부호화 대상 화상, 참조 시점 움직임 정보, 뎁스맵의 입력이 종료되면, 부호화 대상 화상을 미리 정해진 크기의 영역으로 분할하고, 분할한 영역마다 부호화 대상 화상의 영상 신호를 부호화한다(스텝 S103∼S109). 즉, 부호화 대상 영역 인덱스를 blk, 1 프레임 중의 총 부호화 대상 영역수를 numBlks로 나타내면, blk를 0으로 초기화하고(스텝 S103), 그 후, blk에 1을 가산하면서(스텝 S108), blk가 numBlks가 될 때까지(스텝 S109), 이하의 처리(스텝 S104∼S107)를 반복한다. 일반적인 부호화에서는 16화소×16화소의 매크로블록이라 불리는 처리 단위 블록으로 분할하지만, 복호 측과 동일하다면 기타 크기의 블록으로 분할할 수도 있다.

부호화 대상 영역마다 반복되는 처리에 있어서, 먼저 움직임 정보 생성부(105)는 부호화 대상 영역(blk)에서의 움직임 정보를 생성한다(스텝 S104). 여기서의 처리는 상세히 후술한다. 부호화 대상 영역(blk)에 대한 움직임 정보가 얻어지면, 시점 합성 화상 생성부(106)는 그 움직임 정보에 따라 참조 화상 메모리(109)에 축적된 화상으로부터 부호화 대상 영역(blk)에 대한 시점 합성 화상(Syn)을 생성한다(스텝 S105). 구체적으로 시점 합성 화상 생성부(106)는 부호화 대상 영역(blk)에 포함되는 화소(p)마다 다음 수식으로 표시된 바와 같이, 움직임 정보에 의해 나타나는 참조 화상 상의 대응점의 화소값을 구함으로써 시점 합성 화상(Syn)을 생성한다.

Syn［p］=Dec_Ref _(p)［p＋mｖ(p)]

mｖ(p)와 Ref(p)는 화소(p)에 대한 움직임 정보가 나타내는 움직임 벡터와 그 시간 간격을 나타내고, Dec_T는 부호화 대상 화상에 대해 시간 간격(T)의 참조 화상 메모리(109)에 축적되어 있는 화상(참조 화상)을 나타낸다. 또한, 대응점 p＋mｖ(p)가 정수 화소 위치가 아닌 경우, 가장 가까운 정수 화소 위치의 화소값을 대응점의 화소값으로 할 수도 있고, 대응점 주변의 정수 화소군에 대해 필터 처리를 실시함으로써 대응점에서의 화소값을 생성할 수도 있다. 단, 복호 측에서의 처리와 동일한 방법으로 대응점의 화소값을 생성하는 것으로 한다.

화소(p)에 대한 움직임 정보가 2개 이상 존재하는 경우, 그 평균값에 의해 시점 합성 화상을 생성할 수도 있다. 즉, 화소(p)에 대한 움직임 정보의 수를 N(p)로 나타내고, 움직임 정보의 인덱스를 n으로 하면, 시점 합성 화상은 하기 수학식 1로 표현된다.

또한, 이 수학식 1에서는 제산에 있어서의 정수로의 반올림을 고려하지 않았지만, 사사오입(四捨五入)을 행하도록 오프셋을 더할 수도 있다. 구체적으로 N(p)/2를 더한 후, N(p)로 제산을 수행한다. 또한, 움직임 정보가 3개 이상 존재하는 경우, 평균값이 아닌 중앙값으로 예측을 수행할 수도 있다. 단, 복호 측에서의 처리와 동일한 처리를 수행할 필요가 있다. 여기서는 화소마다 시점 합성 화상을 생성하는 것으로 하였지만, 소영역(subregion)마다 동일한 움직임 정보를 갖는 경우에는 그 소영역마다 처리를 수행할 수도 있다.

이어서, 시점 합성 화상이 얻어지면, 화상 부호화부(107)는 시점 합성 화상을 예측 화상으로 하면서, 부호화 대상 영역(blk)에서의 부호화 대상 화상의 영상 신호(화소값)를 부호화한다(스텝 S106). 부호화 결과 얻어진 비트스트림이 동화상 부호화 장치(100)의 출력이 된다. 또한, 부호화 방법에는 어떠한 방법이라도 이용 가능하다. MPEG－2나 H.264/AVC 등의 일반적인 부호화에서는 블록(blk)의 영상 신호와 예측 화상과의 차분 신호에 대해 DCT(Discrete Cosine Transform) 등의 주파수 변환, 양자화, 2치화(binarization), 엔트로피 부호화를 차례로 실시함으로써 부호화를 수행한다.

이어서, 화상 복호부(108)는 비트스트림과 시점 합성 화상을 이용하여 블록(blk)에 대한 영상 신호를 복호하고, 복호 결과인 복호 화상 Dec［blk］를 참조 화상 메모리(109)에 축적한다(스텝 S107). 여기서는 부호화시에 이용한 수법에 대응되는 수법을 이용한다. 예컨대, MPEG－2나 H.264/AVC 등의 일반적인 부호화라면, 부호 데이터에 대해 엔트로피 복호, 역2치화, 역양자화, IDCT(Inverse Discrete Cosine Transform) 등의 주파수 역변환을 순차적으로 실시하고, 얻어진 2차원 신호에 대해 예측 화상을 부가하고, 마지막으로 화소값의 치역으로 클리핑(clipping)을 수행함으로써 영상 신호를 복호한다. 또한, 부호화 측에서의 처리가 로스레스(lossless)되기 직전의 데이터와 예측 화상을 수취하고, 간략화한 처리에 의해 복호를 수행할 수도 있다. 즉, 전술한 예라면 부호화시에 양자화 처리를 가한 후의 값과 예측 화상을 수취하고, 그 양자화 후의 값에 역양자화, 주파수 역변환을 차례로 실시하여 얻어진 2차원 신호에 대해 예측 화상을 부가하고, 화소값의 치역으로 클리핑을 수행함으로써 영상 신호를 복호할 수도 있다.

이어서, 도 3을 참조하여, 도 1에 도시한 움직임 정보 생성부(105)가 부호화 대상 영역(blk)에서의 움직임 정보를 생성하는 처리(도 2에 도시한 스텝 S104)에 대해 상세히 설명한다. 움직임 정보를 생성하는 처리에 있어서, 먼저 움직임 정보 생성부(105)는 부호화 대상 영역(blk)에 대한 뎁스맵 상의 영역(부호화 대상 영역에 대한 뎁스맵 상에서의 대응 영역)을 설정한다(스텝 S1401). 여기서는 부호화 대상 화상에 대한 뎁스맵이 입력되고 있으므로, 부호화 대상 영역(blk)과 동일한 위치의 뎁스맵을 설정하게 된다. 또한, 부호화 대상 화상과 뎁스맵의 해상도가 다른 경우는 해상도비(resolution ratio)에 따라 스케일링한 영역을 설정한다.

부호화 대상 시점과 다른 시점의 하나를 뎁스 시점으로 할 때, 뎁스 시점에 대한 뎁스맵을 이용하는 경우는 부호화 대상 영역(blk)에서의 부호화 대상 시점과 뎁스 시점의 시차 DV(뎁스맵에 대한 시차 벡터)를 구하고, blk＋DV에서의 뎁스맵을 설정한다. 또한, 부호화 대상 화상과 뎁스맵의 해상도가 다른 경우, 해상도비에 따라 위치 및 크기의 스케일링을 수행한다.

부호화 대상 영역(blk)에서의 부호화 대상 시점과 뎁스 시점의 시차 DV가 복호측과 동일한 방법이라면 어떠한 방법을 이용해서라도 구할 수 있다. 예컨대, 부호화 대상 영역(blk)의 주변 영역을 부호화할 때 사용된 시차 벡터나, 부호화 대상 화상 전체나 부호화 대상 영역을 포함한 부분 화상에 대해 설정된 글로벌 시차 벡터, 부호화 대상 영역에 대해 별도로 설정하여 부호화되는 시차 벡터 등을 이용할 수 있다. 또한, 부호화 대상 영역(blk)과는 다른 영역이나 과거에 부호화된 화상에서 사용한 시차 벡터를 축적해 두고, 축적된 시차 벡터를 이용할 수도 있다. 또한 부호화 대상 시점에 대해 과거에 부호화된 뎁스맵의 부호화 대상 영역과 동일 위치의 뎁스값을 변환하여 얻어지는 시차 벡터를 이용할 수도 있다.

이어서, 움직임 정보 생성부(105)는 부호화 대상 영역(blk)의 분할 방법을 결정한다(스텝 S1402). 분할 방법으로서 미리 정해진 방법으로 분할해도 되고, 설정된 뎁스맵을 해석하여 분할 방법을 결정할 수도 있다. 단, 복호측과 동일한 방법으로 분할 방법을 설정한다.

미리 정해진 방법으로는, 고정된 블록 사이즈로 분할을 설정하는 방법이 있다. 예컨대, 4화소×4화소의 블록이나 8화소×8화소의 블록으로 분할하는 방법 등이 있다. 또한, 부호화 대상 영역(blk)의 크기에 따라 분할 사이즈를 결정하는 방법도 있다. 예컨대, 부호화 대상 영역의 사이즈가 2N×2M인 경우는 (N/2)×(M/2)의 블록이나 MAX(N/2,4)×MAX(M/2,4)의 블록으로 분할하는 방법이 있다. 또한, MAX(a, b)는 a와 b의 최대값을 나타내는 것으로 한다. 또한, 부호화 대상 영역의 사이즈가 16화소×16화소 보다 큰 경우에는 8화소×8화소의 블록으로 분할하고, 부호화 대상 영역의 사이즈가 16화소×16화소 이하인 경우에는 4화소×4화소의 블록 사이즈로 하는 등의 방법도 있다.

뎁스맵을 해석하여 분할 방법을 결정하는 방법으로는, 예컨대, 뎁스값을 바탕으로 클러스터링한 결과를 이용하는 방법이나, 생성한 분할마다의 뎁스값의 분산치가 문턱값 이하가 되도록 쿼드트리(quadtree) 표현으로 재귀적으로 분할하는 방법이 있다. 생성한 분할마다의 뎁스값의 분산치 대신에, 부호화 대상 영역에 대한 뎁스맵 상에서의 대응 영역의 4정점에서의 뎁스값을 비교함으로써 분할 방법을 결정할 수도 있다.

이어서, 부호화 대상 영역(blk)의 분할 방법이 결정되면, 그 분할 방법에 따라 생성되는 서브 영역(예측 영역)마다 움직임 정보를 생성한다(스텝 S1403∼S1409). 즉, 서브 영역 인덱스를 sblk, 부호화 대상 영역(blk) 내의 서브 영역수를 numSBlks_blk로 나타내면, sblk를 0으로 초기화하고(스텝 S1403), 그 후, sblk에 1을 가산하면서(스텝 S1408), sblk가 numSBlks_blk가 될 때까지(스텝 S1409), 이하의 처리(스텝 S1404∼S1407)를 반복한다.

서브 영역마다 반복되는 처리에 있어서, 먼저 움직임 정보 생성부(105)는 서브 영역(sblk)에 대해 설정된 뎁스맵(대응 영역 내의 예측 영역에 대응되는 영역에서의 뎁스 정보)으로부터 대표 뎁스값을 결정한다(스텝 S1404). 어떠한 방법을 이용하여 대표 뎁스값을 결정해도 무방하나, 복호측과 동일한 방법을 이용할 필요가 있다. 예컨대, 서브 영역(sblk)에 대한 뎁스맵의 평균값이나 중앙값, 최대값, 최소값 등을 이용하는 방법이 있다. 또한, 서브 영역(sblk)에 대한 뎁스맵의 모든 화소가 아닌, 일부 화소에 대한 뎁스값의 평균값이나 중앙값, 최대값, 최소값 등을 이용할 수도 있다. 일부 화소로는 4정점이나 4정점과 중앙 등을 이용할 수도 있다. 또한, 서브 영역(sblk)에 대해 좌상이나 중앙 등 미리 정해진 위치에 대한 뎁스값을 이용하는 방법도 있다.

대표 뎁스값이 얻어지면, 움직임 정보 생성부(105)는 부호화 대상 시점과 참조 시점의 위치 관계에 관한 정보를 이용하여 대표 뎁스값으로부터 시차 벡터(dv_sblk)(참조 시점에 대한 시차 벡터)를 구한다(스텝 S1405). 구체적으로 카메라 파라미터를 이용한 역투영 및 재투영에 의해 시차 벡터(dv_sblk)를 구하는 방법이나, 호모그래피 행렬(homography matrix)을 이용한 변환에 의해 시차 벡터(dv_sblk)를 구하는 방법, 미리 작성된 뎁스값에 대한 시차 벡터의 룩업 테이블(lookup table)을 참조하여 시차 벡터(dv_sblk)를 구하는 방법 등이 있다.

시차 벡터가 얻어지면, 움직임 정보 생성부(105)는 참조 시점에서 대응되는 위치를 구한다(스텝 S1406). 구체적으로 서브 영역(sblk)을 대표하는 점(P_sblk)(예측 영역에 대해 미리 정해진 화소의 위치)에, 시차 벡터(dv_sblk)를 더함으로써 대응 위치를 구한다. 서브 영역을 대표하는 점으로는 서브 영역에 대해 좌상이나 중앙 등 미리 정해진 위치를 이용할 수 있다. 또한, 어느 위치를 대표하는 점으로 할지는 복호측과 동일할 필요가 있다.

이어서, 움직임 정보 생성부(105)는 참조 시점에서의 대응 점(P_sblk＋dv_sblk)을 포함하는 영역에 대해 축적되어 있는 참조 시점 움직임 정보를 서브 영역(sblk)에 대한 움직임 정보(예측 영역에서의 움직임 정보)로서 설정한다(스텝 S1407). 또한, 대응점(P_sblk＋dv_sblk)을 포함하는 영역에 대해 움직임 정보가 축적되지 않은 경우, 움직임 정보 없음의 정보를 설정할 수도 있고, 제로 벡터 등 디폴트의 움직임 정보를 설정할 수도 있으며, 대응 점(P_sblk＋dv_sblk)에 가장 가까운 움직임 정보를 축적하고 있는 영역을 동정(同定)하고, 그 영역에서 축적되어 있는 움직임 정보를 설정할 수도 있다. 단, 복호측과 동일한 규칙으로 움직임 정보를 설정한다.

상술한 설명에서는 참조 시점 움직임 정보를 그대로 움직임 정보로서 설정하였지만, 시간 간격을 미리 설정하고, 움직임 정보를 그 미리 정해진 시간 간격과 참조 시점 움직임 정보에서의 시간 간격에 따라 스케일링하고, 참조 시점 움직임 정보에서의 시간 간격을 그 미리 정해진 시간 간격으로 치환하여 얻어지는 움직임 정보를 설정할 수도 있다. 이와 같이 함으로써, 다른 영역에 대해 생성되는 움직임 정보가 모두 동일한 시간 간격을 갖게 되고, 시점 합성 화상 생성시의 참조 화상을 통일하고(부호화 대상 시점에서의 부호화 대상 화상과는 다른 이미 부호화가 완료된 1 프레임을 참조 화상으로서 설정하고), 액세스하는 메모리 공간을 한정하는 것이 가능해진다. 또한, 액세스할 메모리 공간이 한정됨으로써, 캐시 히트(cache hit)의 발생 및 처리 속도의 향상이 가능해진다.

본 실시 형태에서는 서브 영역마다 참조 시점 움직임 정보로부터 생성되는 움직임 정보만을 이용하여 시점 합성 화상(제1 예측 화상)을 생성하였지만, 움직임 정보에 더하여, 서브 영역마다 얻어지는 시차 벡터(dv_sblk)를 이용할 수도 있다. 예컨대, 참조 시점에 대한 복호 화상을 DecIV로 하면, 다음 수식에서 시점 합성 화상을 생성(제1 예측 화상과 제2 예측 화상의 정수로 반올림된 평균값을 구함으로써, 예측 영역에 대한 예측 화상을 생성)할 수도 있다.

Syn[p]=(Dec_Ref(p)[p+mv(p)]+DecIV[p+dv(p)]+1)/2

또한, dv(p)는 화소(p)를 포함하는 서브 영역에 대한 시차 벡터를 나타낸다.

또한, 서브 영역 또는 화소마다 움직임 정보와 시차 벡터 중 어느 하나를 선택하면서, 시점 합성 화상을 생성할 수도 있다. 또한 움직임 정보와 시차 벡터 중 어느 하나 또는 양측 모두를 선택하게 할 수도 있다. 또한, 복호측과 동일한 방법이라면, 선택에는 어떠한 방법을 이용할 수도 있다. 예컨대, 스텝 S1406에서 구한 대응점에 대해 스텝 S1407에서 설정한 참조 시점 움직임 정보가 존재하지 않는 경우나, 참조 시점에 대한 동화상의 부호화시에 그 대응점을 포함하는 영역에서는 움직임 보상 예측 이외의 예측을 이용한 경우, 시차 벡터를 이용하여 시점 합성 화상을 생성하고, 그 이외의 경우에는 움직임 정보를 이용하여 시점 합성 화상을 생성하는 방법이 있다.

다른 방법으로는 참조 시점에 대한 동화상의 대응점을 포함하는 영역에서 부호화되어 있던 움직임 보상 예측 잔차의 양이 미리 정해진 문턱값보다 큰 경우에는 시차 벡터를 이용하여 시점 합성 화상을 생성하고, 이 움직임 보상 예측 잔차의 양이 문턱값 이하인 경우에는 움직임 정보를 이용하여 시점 합성 화상을 생성하는 방법도 있다.

또 다른 방법으로는 참조 시점에서 시간 간격(T)의 복호 화상(DecIV_T)을 이용하여 움직임 정보 및 시차 벡터 중 어느 것을 선택할지를 결정하는 방법도 있다. 예컨대, 참조 시점에서의 부호화가 완료된 동화상을 이용하여, 영역(sblk＋dv_sblk)에 있어서, sblk에 대해 생성한 움직임 정보를 이용하여 움직임 보상 예측을 실시하였을 때의 예측 잔차를 생성하여 이용할 수도 있다. 구체적으로는 생성된 예측 잔차의 양이 미리 정해진 문턱값보다 큰 경우에는 시차 벡터를 이용하여 시점 합성 화상을 생성하고, 그 양이 문턱값 이하인 경우에는 움직임 정보를 이용하여 시점 합성 화상을 생성한다. 또한, 이때 이용하는 예측 잔차(ResIVMC)는 다음의 수식으로 표현된다.

ResIVMC = DecIV[sblk+dv_sblk] - DecIV_Ref ₍ _sblk ₎[sblk+dv_sblk+mv(sblk)]

DecIV_T를 이용한 다른 방법으로서, ResIVMC에 더하여, 다음의 예측 잔차(ResPastIV)를 생성하여 이용하는 방법도 있다. 구체적으로는 ｜ResIVMC｜와 ｜ResPastIV｜를 비교하여 ｜ResIVMC｜가 작은 경우에는 움직임 정보를 이용하여 시점 합성 화상을 생성하고, ｜ResPastIV｜가 작은 경우에는 시차 벡터를 이용하여 시점 합성 화상을 생성한다. 양자가 동일한 경우에는 어느 하나를 이용할 수도 있고, 양측 모두를 이용할 수도 있다.

ResPastIV = Dec_Ref ₍ _sblk ₎[sblk+mv(sblk)]-DecIV_Ref ₍ _sblk ₎[sblk+dv_sblk+mv(sblk)]

또한, 문턱값을 설정하고, ｜ResIVMC｜와 ｜ResPastIV｜를 각각 설정한 문턱값과 비교하고, 문턱값보다 작은 것에 대응되는 정보만을 이용하여 시점 합성 화상을 생성하는 것으로 할 수도 있다. 이때, 양측 모두 문턱값보다 커진 경우에는 전술한 룰(rule)에 따라 더 작은 값을 갖는 잔차에 대응되는 정보만을 이용할 수도 있고, 양측 모두를 이용할 수도 있다.

또한, 참조 시점에서의 시간 간격(T)의 복호 화상(DecIV_T)을 이용하는 경우, 다음 수식에 따라 시점 합성 화상 또는 그 후보를 생성할 수도 있다.

Syn[p]=Dec_Ref(p)[p+mv(p)]+w0×(DecIV[p+dv(p)]-DecIV_Ref(p)[p+dv(p)+mv(p)])

Syn[p]=DecIV[p+dv(p)]+w1×(Dec_Ref _(p)[p+mv(p)]-DecIV_Ref _(p)[p+dv(p)+mv(p)])

여기서, w0 및 w1은 별도로 정해진 가중 계수(weighting factor)이고, 복호측과 동일한 값이라면 어떻게 결정해도 무방하다. 예컨대, 미리 정한 값을 사용할 수도 있다. 상기 수식에 따라 생성된 화상을 시점 합성 화상의 후보로서 이용하는 경우, 전술한 참조 시점 움직임 정보로부터 생성되는 움직임 정보만을 이용하여 생성한 시점 합성 화상 대신에, 그리고 서브 영역마다 얻어지는 시차 벡터만을 이용하여 생성한 시점 합성 화상 대신에, 상기 수식에 따라 생성된 화상을 이용할 수도 있고, 상기 수식에 따라 생성된 화상을 다른 후보로서 선택 사항에 부가할 수도 있다.

이어서, 본 실시 형태에서의 동화상 복호 장치에 대해 설명한다. 도 4는 본 실시 형태에서의 동화상 복호 장치의 구성을 나타내는 블록도이다. 동화상 복호 장치(200)는 도 4에 도시한 바와 같이, 비트스트림 입력부(201), 비트스트림 메모리(202), 참조 시점 움직임 정보 입력부(203), 뎁스맵 입력부(204), 움직임 정보 생성부(205), 시점 합성 화상 생성부(206), 화상 복호부(207) 및 참조 화상 메모리(208)를 구비하고 있다.

비트스트림 입력부(201)는 복호 대상이 되는 동화상의 비트스트림을 입력한다. 이하에서는 이 복호 대상이 되는 동화상의 1 프레임을 복호 대상 화상이라고 한다. 여기서 복호 대상 화상은 카메라 B의 동화상의 1 프레임을 가리킨다. 또한, 이하에서는 복호 대상 화상을 촬영한 시점(여기서는 카메라 B)을 복호 대상 시점이라고 한다. 비트스트림 메모리(202)는 입력한 복호 대상 화상에 대한 비트스트림을 기억한다. 참조 시점 움직임 정보 입력부(203)는 참조 시점의 동화상에 대한 움직임 정보(움직임 벡터 등)를 입력한다. 이하에서는 여기서 입력된 움직임 정보를 참조 시점 움직임 정보라고 한다. 여기서는 카메라 A의 움직임 정보가 입력되는 것으로 한다.

뎁스맵 입력부(204)는 시점 합성 화상 생성시에 참조하는 뎁스맵을 입력한다. 여기서는 복호 대상 화상에 대한 뎁스맵을 입력하는 것으로 하지만, 참조 시점 등 다른 시점에 대한 뎁스맵일 수도 있다. 또한, 뎁스맵과는 대응되는 화상의 각 화소에 찍힌 피사체의 3차원 위치를 나타내는 것이다. 뎁스맵은 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치를 얻을 수 있는 것이라면, 어떠한 정보라도 이용 가능하다. 예컨대, 카메라에서부터 피사체에 이르기까지의 거리나, 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예컨대 카메라 A)에 대한 시차량을 이용할 수 있다. 또한, 여기서는 시차량을 얻기만 하면 되므로, 뎁스맵이 아닌 시차량을 직접 표현한 시차맵을 이용할 수도 있다. 또한, 여기서는 뎁스맵이 화상의 형태로 주어지는 것으로 하고 있지만, 동일한 정보가 얻어지는 것이라면, 화상의 형태가 아니어도 무방하다.

움직임 정보 생성부(205)는 참조 시점 움직임 정보와 뎁스맵을 이용하여 복호 대상 화상에 대한 움직임 정보를 생성한다. 시점 합성 화상 생성부(206)는 생성된 움직임 정보에 기초하여 참조 화상으로부터 복호 대상 화상에 대한 시점 합성 화상을 생성한다. 화상 복호부(207)는 시점 합성 화상을 이용하면서, 비트스트림으로부터 복호 대상 화상을 복호하여 출력한다. 참조 화상 메모리(208)는 얻어진 복호 대상 화상을 이후의 복호를 위해 축적한다.

이어서, 도 5를 참조하여, 도 4에 도시한 동화상 복호 장치(200)의 동작을 설명한다. 도 5는 도 4에 도시한 동화상 복호 장치(200)의 동작을 나타내는 흐름도이다. 먼저, 비트스트림 입력부(201)는 복호 대상 화상을 부호화한 비트스트림을 입력하고, 입력된 비트스트림을 비트스트림 메모리(202)에 기억한다(스텝 S201). 이어서, 참조 시점 움직임 정보 입력부(203)는 참조 시점 움직임 정보를 입력하고, 입력된 참조 시점 움직임 정보를 움직임 정보 생성부(205)로 출력하며, 뎁스맵 입력부(204)는 뎁스맵을 입력하고, 입력된 뎁스맵을 움직임 정보 생성부(205)로 출력한다(스텝 S202).

또한, 스텝 S202에서 입력되는 참조 시점 움직임 정보와 뎁스맵은 부호화측에서 사용된 것과 동일한 것으로 한다. 이는 동화상 부호화 장치에서 얻어지는 것과 완전히 동일한 정보를 이용함으로써, 드리프트 등의 부호화 노이즈의 발생을 억제하기 때문이다. 단, 그러한 부호화 노이즈의 발생을 허용하는 경우에는 부호화시에 사용된 것과 다른 것이 입력되어도 무방하다. 뎁스맵에 대하여는 따로 복호한 것 이외에, 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭(stereo matching) 등을 적용하여 추정한 뎁스맵이나, 복호된 시차 벡터나 움직임 벡터 등을 이용하여 추정되는 뎁스맵 등을 이용하기도 한다.

참조 시점 움직임 정보는 참조 시점에 대한 화상 복호시에 사용된 움직임 정보를 이용할 수도 있고, 참조 시점에 대해 별도로 부호화된 것일 수도 있다. 또한, 참조 시점에 대한 동화상을 복호하고, 그로부터 추정하여 얻어진 움직임 정보를 이용할 수도 있다.

비트스트림, 참조 시점 움직임 정보, 뎁스맵의 입력이 종료되면, 복호 대상 화상을 미리 정해진 크기의 영역으로 분할하고, 분할한 영역마다 복호 대상 화상의 영상 신호를 비트스트림으로부터 복호한다(스텝 S203∼S208). 즉, 복호 대상 영역 인덱스를 blk, 1 프레임 중의 총 복호 대상 영역수를 numBlks로 표시하면, blk를 0으로 초기화하고(스텝 S203), 그 후, blk에 1을 가산하면서(스텝 S207), blk가 numBlks가 될 때까지(스텝 S208), 이하의 처리(스텝 S204∼S206)를 반복한다. 일반적인 복호에서는 16화소×16화소의 매크로블록이라 불리는 처리 단위 블록으로 분할하지만, 부호화측과 같다면 기타 크기의 블록으로 분할할 수도 있다.

복호 대상 영역마다 반복되는 처리에 있어서, 먼저 움직임 정보 생성부(205)는 복호 대상 영역(blk)에서의 움직임 정보를 생성한다(스텝 S204). 여기서의 처리는 전술한 스텝 S104와 동일하다. 복호 대상 영역(blk)에 대한 움직임 정보가 얻어지면, 시점 합성 화상 생성부(206)는 그 움직임 정보에 따라, 참조 화상 메모리(208)에 축적된 화상으로부터 복호 대상 영역(blk)에 대한 시점 합성 화상(Syn)을 생성한다(스텝 S205). 여기서의 처리는 전술한 스텝 S105와 동일하다.

이어서, 시점 합성 화상이 얻어지면, 화상 복호부(207)는 시점 합성 화상을 예측 화상으로서 이용하여 비트스트림으로부터 복호 대상 화상을 복호한다(스텝 S206). 얻어진 복호 대상 화상은 참조 화상 메모리(208)에 축적됨과 동시에, 동화상 복호 장치(200)의 출력이 된다.

복호 대상 화상의 복호에는 부호화시에 이용된 방법에 대응되는 방법을 이용한다. 예컨대, MPEG－2나 H.264/AVC 등의 일반적인 부호화가 이용되는 경우, 부호 데이터에 대해 엔트로피 복호, 역2치화, 역양자화, IDCT(Inverse Discrete Cosine Transform) 등의 주파수 역변환을 순차적으로 실시하고, 얻어진 2차원 신호에 대해 예측 화상을 부가하고, 마지막으로 화소값의 치역으로 클리핑을 수행함으로써 영상 신호를 복호한다.

전술한 설명에서는 부호화 대상 화상 또는 복호 대상 화상을 분할한 영역마다 움직임 정보의 생성 및 시점 합성 화상의 생성을 실시하였지만, 움직임 정보 또는 움직임 정보와 시점 합성 화상의 양측 모두를 부호화 대상 화상 또는 복호 대상 화상의 전체에 대해 생성할 수도 있다. 움직임 정보를 화상 전체에 대해 생성하는 경우, 생성된 움직임 정보를 버퍼링(buffering)하는 메모리가 필요하다. 또한, 움직임 정보와 시점 합성 화상의 양측 모두를 화상 전체에 대해 생성하는 경우, 생성된 시점 합성 화상을 축적하기 위한 메모리가 필요하다.

또한, 전술한 설명에서는 화상 전체를 부호화/복호하는 처리로서 본 방법의 처리를 설명하였지만, 화상의 일부분에만 처리를 적용하는 것도 가능하다. 이 경우, 처리의 적용 여부를 판단하고, 적용 여부를 나타내는 플래그(flag)를 부호화 또는 복호할 수도 있고, 어떤 다른 수단으로 적용 여부를 지정할 수도 있다. 예컨대, 영역마다의 예측 화상을 생성하는 방법을 나타내는 모드의 하나로서 적용 여부를 표현하는 방법을 이용할 수도 있다.

이와 같이, 뎁스맵으로부터 구한 시차를 이용하여 시점 합성 화상을 생성할 때, 화소값을 시점간에서 직접 예측하는 것이 아니라, 움직임 벡터를 시점간에서 예측한 후, 화소값은 시간 방향으로 예측함으로써, 뎁스맵에 의해 표현되는 시차의 정밀도가 낮은 경우에도, 소수 화소 정밀도의 예측이 실현 가능해져, 적은 부호량으로 다시점 동화상을 부호화할 수 있다.

도 6은 전술한 동화상 부호화 장치(100)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다. 도 6에 도시한 시스템은 프로그램을 실행하는 CPU(Central Processing Unit)(50), CPU(50)가 액세스하는 프로그램이나 데이터가 격납되는 RAM(Random Access Memory) 등의 메모리(51), 카메라 등으로부터의 부호화 대상 화상 신호를 입력하는 부호화 대상 화상 입력부(52)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부일 수도 있음), 메모리 등으로부터 참조 시점의 움직임 정보를 입력하는 참조 시점 움직임 정보 입력부(53)(디스크 장치 등에 의한 움직임 정보를 기억하는 기억부일 수도 있음), 뎁스 카메라 등으로부터의 부호화 대상 화상을 촬영한 시점에 대한 뎁스맵을 입력하는 뎁스맵 입력부(54)(디스크 장치 등에 의한 뎁스맵을 기억하는 기억부일 수도 있음), 동화상 부호화 처리를 CPU(50)에 실행시키는 소프트웨어 프로그램인 화상 부호화 프로그램(551)이 격납된 프로그램 기억 장치(55), 및 CPU(50)가 메모리(51)에 로드된 화상 부호화 프로그램(551)을 실행함으로써 생성된 비트스트림을, 예컨대 네트워크를 통해 출력하는 비트스트림 출력부(56)(디스크 장치 등에 의한 비트스트림을 기억하는 기억부일 수도 있음)가 버스로 접속된 구성으로 되어 있다.

도 7은 전술한 동화상 복호 장치(200)를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성을 나타내는 블록도이다. 도 7에 도시한 시스템은 프로그램을 실행하는 CPU(60), CPU(60)가 액세스하는 프로그램이나 데이터가 격납되는 RAM 등의 메모리(51), 동화상 부호화 장치가 본 방법에 의해 부호화한 비트스트림을 입력하는 비트스트림 입력부(62)(디스크 장치 등에 의한 비트스트림을 기억하는 기억부일 수도 있음), 메모리 등으로부터의 참조 시점의 움직임 정보를 입력하는 참조 시점 움직임 정보 입력부(63)(디스크 장치 등에 의한 움직임 정보를 기억하는 기억부일 수도 있음), 뎁스 카메라 등으로부터의 복호 대상을 촬영한 시점에 대한 뎁스맵을 입력하는 뎁스맵 입력부(64)(디스크 장치 등에 의한 뎁스 정보를 기억하는 기억부일 수도 있음), 화상 복호 처리를 CPU(60)에 실행시키는 소프트웨어 프로그램인 화상 복호 프로그램(651)이 격납된 프로그램 기억 장치(65), 및 CPU(60)가 메모리(61)에 로드된 화상 복호 프로그램(651)을 실행함으로써, 비트스트림을 복호하여 얻어진 복호 대상 화상을 재생 장치 등에 출력하는 복호 대상 화상 출력부(66)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부일 수도 있음)가 버스로 접속된 구성으로 되어 있다.

전술한 실시 형태에 있어서의 동화상 부호화 장치(100) 및 동화상 복호 장치(200)를 컴퓨터로 실현 가능하게 할 수도 있다. 그 경우, 이 기능을 실현하기 위한 프로그램을 컴퓨터로 독출 가능한 기록 매체에 기록하고, 이 기록 매체에 기록된 프로그램을 컴퓨터 시스템에 독취하여 실행함으로써, 동화상 부호화 장치(100) 및 동화상 복호 장치(200)를 실현할 수도 있다. 또한, 여기서 말하는 "컴퓨터 시스템"이란, OS(Operating System)나 주변 기기 등의 하드웨어를 포함하는 것으로 한다. 또한, "컴퓨터 독출 가능한 기록 매체"란, 플렉시블 디스크, 광자기 디스크, ROM(Read Only Memory), CD(Compact Disc)－ROM 등의 이동식 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또한 "컴퓨터 독출 가능한 기록 매체"란, 인터넷 등의 네트워크나 전화 회선 등의 통신회선을 통해 프로그램을 송신하는 경우의 통신선과 마찬가지로, 단시간 동안, 동적으로 프로그램을 유지하는 것, 그 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리와 같이 일정 시간 프로그램을 유지하는 것도 포함할 수 있다. 또한 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것일 수도 있고, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현될 수 있는 것일 수도 있다. 또한, 동화상 부호화 장치(100) 및 동화상 복호 장치(200)는 PLD(Programmable Logic Device)나 FPGA(Field Programmable Gate Array) 등의 하드웨어를 이용하여 실현되는 것일 수도 있다.

이상, 도면을 참조하여 본 발명의 실시 형태를 설명하였지만, 상기 실시 형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시 형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성 요소의 추가, 생략, 치환, 기타 변경을 실시할 수도 있다.

[산업상의 이용 가능성]

본 발명은, 예컨대, 부호화(복호) 대상 화상을 촬영한 시점과는 다른 시점으로부터 촬영된 화상과 그 화상 중의 피사체에 대한 뎁스맵을 이용하여 부호화(복호) 대상 화상에 대해 시점 합성 예측을 실시할 때, 그 뎁스맵이 고정밀도의 시차 정보를 표현하지 않아도, 높은 부호화 효율을 달성하는 용도에 적용할 수 있다.

100 동화상 부호화 장치
101 부호화 대상 화상 입력부
102 부호화 대상 화상 메모리
103 참조 시점 움직임 정보 입력부
104 뎁스맵 입력부
105 움직임 정보 생성부
106 시점 합성 화상 생성부
107 화상 부호화부
108 화상 복호부
109 참조 화상 메모리
200 동화상 복호 장치
201 비트스트림 입력부
202 비트스트림 메모리
203 참조 시점 움직임 정보 입력부
204 뎁스맵 입력부
205 움직임 정보 생성부
206 시점 합성 화상 생성부
207 화상 복호부
208 참조 화상 메모리

Claims

복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 1 프레임을 부호화할 때, 부호화 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 부호화 대상 화상을 분할한 영역인 부호화 대상 영역마다 부호화를 수행하는 동화상 부호화 장치로서,
상기 부호화 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정부;
상기 부호화 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할부;
상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성부;
상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성부; 및
상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성부;를 구비하는 동화상 부호화 장치.
청구항 1에 있어서,
상기 시차 벡터 생성부는 또한 상기 부호화 대상 영역에 대해 상기 뎁스맵에 대한 시차 벡터를 생성하고,
상기 대응 영역 설정부는 상기 뎁스맵에 대한 상기 시차 벡터에 의해 나타나는 영역을 상기 대응 영역으로서 설정하는 동화상 부호화 장치.
청구항 2에 있어서,
상기 시차 벡터 생성부는 상기 부호화 대상 영역에 인접한 영역의 부호화시에 사용한 시차 벡터를 이용하여 상기 뎁스맵에 대한 상기 시차 벡터를 설정하는 동화상 부호화 장치.
청구항 1 내지 3 중 어느 한 항에 있어서,
상기 영역 분할부는 상기 대응 영역 내의 뎁스 정보에 기초하여 상기 부호화 대상 영역에 대한 영역 분할을 설정하는 동화상 부호화 장치.
청구항 1 내지 4 중 어느 한 항에 있어서,
상기 시차 벡터 생성부는 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 상기 영역에서의 상기 뎁스 정보로부터 대표 뎁스를 설정하고, 그 대표 뎁스에 따라 상기 참조 시점에 대한 상기 시차 벡터를 설정하는 동화상 부호화 장치.
청구항 1 내지 5 중 어느 한 항에 있어서,
상기 움직임 정보 생성부는 상기 예측 영역에 대해 미리 정해진 화소의 위치와 상기 참조 시점에 대한 상기 시차 벡터를 이용하여 상기 참조 시점에서의 대응 위치를 구하고, 상기 참조 시점 움직임 정보 중 그 대응 위치를 포함하는 영역에 대해 주어진 움직임 정보를 상기 예측 영역에서의 상기 움직임 정보로 하는 동화상 부호화 장치.
청구항 1 내지 6 중 어느 한 항에 있어서,
상기 부호화 대상 화상에 대해 부호화 대상 시점에서의 상기 부호화 대상 화상과는 다른 이미 부호화가 완료된 1 프레임을 참조 화상으로서 설정하는 참조 화상 설정부를 더 구비하고,
상기 움직임 정보 생성부는 상기 참조 시점 움직임 정보로부터 얻어진 움직임 정보를 상기 부호화 대상 화상과 상기 참조 화상과의 시간 간격에 맞추어 스케일링함으로써 상기 예측 영역에서의 상기 움직임 정보를 생성하는 동화상 부호화 장치.
청구항 1 내지 7 중 어느 한 항에 있어서,
상기 예측 화상 생성부는 상기 예측 영역에서의 상기 움직임 정보를 이용하여 생성한 제1 예측 화상과, 상기 참조 시점에 대한 상기 시차 벡터와 상기 참조 시점 화상을 이용하여 생성한 제2 예측 화상을 이용하여 상기 예측 영역에 대한 상기 예측 화상을 생성하는 동화상 부호화 장치.
복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 부호 데이터로부터 복호 대상 화상을 복호할 때, 상기 복호 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 복호 대상 화상을 분할한 영역인 복호 대상 영역마다 복호를 수행하는 동화상 복호 장치로서,
상기 복호 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정부;
상기 복호 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할부;
상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성부;
상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성부; 및
상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성부;를 구비하는 동화상 복호 장치.
청구항 9에 있어서,
상기 시차 벡터 생성부는 또한 상기 복호 대상 영역에 대해 상기 뎁스맵에 대한 시차 벡터를 생성하고,
상기 대응 영역 설정부는 상기 뎁스맵에 대한 상기 시차 벡터에 의해 나타나는 영역을 상기 대응 영역으로서 설정하는 동화상 복호 장치.
청구항 10에 있어서,
상기 시차 벡터 생성부는 상기 복호 대상 영역에 인접한 영역을 복호할 때 사용한 시차 벡터를 이용하여 상기 뎁스맵에 대한 상기 시차 벡터를 설정하는 동화상 복호 장치.
청구항 9 내지 11 중 어느 한 항에 있어서,
상기 영역 분할부는 상기 대응 영역 내의 뎁스 정보에 기초하여 상기 복호 대상 영역에 대한 영역 분할을 설정하는 동화상 복호 장치.
청구항 9 내지 12 중 어느 한 항에 있어서,
상기 시차 벡터 생성부는 상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 상기 영역에서의 상기 뎁스 정보로부터 대표 뎁스를 설정하고, 그 대표 뎁스에 기초하여 상기 참조 시점에 대한 상기 시차 벡터를 설정하는 동화상 복호 장치.
청구항 9 내지 13 중 어느 한 항에 있어서,
상기 움직임 정보 생성부는 상기 예측 영역에 대해 미리 정해진 화소의 위치와 상기 참조 시점에 대한 상기 시차 벡터를 이용하여 상기 참조 시점에서의 대응 위치를 구하고, 상기 참조 시점 움직임 정보 중 그 대응 위치를 포함하는 영역에 대해 주어진 움직임 정보를 상기 예측 영역에서의 상기 움직임 정보로 하는 동화상 복호 장치.
청구항 9 내지 14 중 어느 한 항에 있어서,
상기 복호 대상 화상에 대해 복호 대상 시점에서의 상기 복호 대상 화상과는 다른 이미 복호가 완료된 1 프레임을 참조 화상으로서 설정하는 참조 화상 설정부를 더 구비하고,
상기 움직임 정보 생성부는 상기 참조 시점 움직임 정보로부터 얻어진 움직임 정보를 상기 복호 대상 화상과 상기 참조 화상과의 시간 간격에 맞추어 스케일링함으로써 상기 예측 영역에서의 상기 움직임 정보를 생성하는 동화상 복호 장치.
청구항 9 내지 15 중 어느 한 항에 있어서,
상기 예측 화상 생성부는 상기 예측 영역에서의 상기 움직임 정보를 이용하여 생성한 제1 예측 화상과, 상기 참조 시점에 대한 상기 시차 벡터와 상기 참조 시점 화상을 이용하여 생성한 제2 예측 화상을 이용하여 상기 예측 영역에 대한 상기 예측 화상을 생성하는 동화상 복호 장치.
복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 1 프레임을 부호화할 때, 부호화 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 부호화 대상 화상을 분할한 영역인 부호화 대상 영역마다 부호화를 수행하는 동화상 부호화 방법으로서,
상기 부호화 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정 스텝;
상기 부호화 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할 스텝;
상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성 스텝;
상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성 스텝; 및
상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성 스텝;을 갖는 동화상 부호화 방법.
복수의 다른 시점의 동화상으로 이루어진 다시점 동화상의 부호 데이터로부터 복호 대상 화상을 복호할 때, 상기 복호 대상 화상과는 다른 참조 시점에 대한 참조 시점 화상의 움직임 정보인 참조 시점 움직임 정보와, 상기 다시점 동화상 중의 피사체에 대한 뎁스맵을 이용하여 다른 시점간에서 예측하면서, 상기 복호 대상 화상을 분할한 영역인 복호 대상 영역마다 복호를 수행하는 동화상 복호 방법으로서,
상기 복호 대상 영역에 대해 상기 뎁스맵 상에서의 대응 영역을 설정하는 대응 영역 설정 스텝;
상기 복호 대상 영역의 분할 영역인 예측 영역을 설정하는 영역 분할 스텝;
상기 예측 영역마다 상기 대응 영역 내의 그 예측 영역에 대응되는 영역에서의 뎁스 정보를 이용하여 상기 참조 시점에 대한 시차 벡터를 생성하는 시차 벡터 생성 스텝;
상기 참조 시점에 대한 상기 시차 벡터에 기초하여 상기 참조 시점 움직임 정보로부터 상기 예측 영역에서의 움직임 정보를 생성하는 움직임 정보 생성 스텝; 및
상기 예측 영역에서의 상기 움직임 정보를 이용하여 상기 예측 영역에 대한 예측 화상을 생성하는 예측 화상 생성 스텝;을 갖는 동화상 복호 방법.
컴퓨터에, 청구항 17에 기재된 동화상 부호화 방법을 실행시키기 위한 동화상 부호화 프로그램.
컴퓨터에, 청구항 18에 기재된 동화상 복호 방법을 실행시키기 위한 동화상 복호 프로그램.