KR101623062B1 - 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램 - Google Patents

Abstract

처리 화상을 얻을 수 없는 상황에서도 고정밀도로 움직임 벡터를 추정하고 영상 신호 예측에서 카메라 간 상관 및 시간 상관을 동시에 이용하여 효율적인 다시점 영상 부호화를 실현한다. 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 처리 카메라와 같은 설정에 따라 처리 화상이 촬영된 시각에서의 시점 합성 화상이 생성된다. 처리 화상을 사용하지 않고 처리 화상상의 처리 영역에 해당하는 시점 합성 화상상의 화상 신호를 사용하여 처리 카메라로 촬영된 참조 화상에서의 대응 영역을 탐색함으로써 움직임 벡터가 추정된다.

Description

움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램{Motion vector estimation method, multiview image encoding method, multiview image decoding method, motion vector estimation device, multiview image encoding device, multiview image decoding device, motion vector estimation program, multiview image encoding program and multiview image decoding program}

본 발명은 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램에 관한 것이다.

본원은 2010년 2월 23일에 일본에 출원된 일본특원2010-037434호에 대해 우선권을 주장하고 그 내용을 여기에 원용한다.

다시점(多視點) 동화상(다시점 영상)이란, 복수의 카메라로 같은 피사체와 배경을 촬영하여 얻어지는 동화상군이다. 일반적인 동화상 부호화에서는, 동화상의 다른 시간의 프레임 간에 존재하는 높은 상관을 이용한 움직임 보상 예측을 사용하여 효율적인 부호화를 실현한다. 움직임 보상 예측은, H.264로 대표되는 최근 동화상 부호화 방식의 국제 표준 규격으로 채용되어 있는 수법이다. 즉, 움직임 보상 예측은 부호화 대상 프레임과 이미 부호화된 참조 프레임 사이에서 피사체의 움직임을 보상하여 화상을 생성하고, 해당 생성한 화상과 부호화 대상 프레임 사이에 프레임 간 차분을 취하여 그 차분 신호만을 부호화하는 방법이다.

다시점 동화상 부호화에서는, 다른 시간의 프레임 사이뿐만 아니라 다른 시점(視點)의 프레임 간에도 높은 상관이 존재한다. 따라서 움직임이 아닌 시점 간의 시차(視差)를 보상하여 생성한 화상(프레임)과 부호화 대상 프레임 사이에서 프레임 간 차분을 취하여 차분 신호만을 부호화하는 시차 보상 예측이라고 불리는 수법이 사용된다. 시차 보상 예측은 H.264 Annex.H로서 국제 표준 규격으로 채용되어 있다(H.264의 상세에 대해서는, 예를 들면 비특허문헌 1 참조).

여기에서 사용되는 시차란, 다른 위치에 배치된 카메라의 화상 평면 상에서 피사체가 투영되는 위치의 차이다. 시차 보상 예측에서는, 이것을 이차원 벡터로 표현하여 부호화한다. 도 20에 도시한 바와 같이, 시차가 카메라와 피사체의 카메라로부터의 위치(깊이(depth))에 의존하여 발생하는 정보이므로 이 원리를 이용한 시점 합성 예측(시점 보간 예측)이라고 불리는 방식이 존재한다.

시점 합성 예측(시점 보간 예측)은, 카메라나 피사체의 삼차원적인 위치 관계에 따라 이미 처리가 종료되어 복호 결과가 얻어진 다시점 영상의 일부분을 사용하여 부호화 또는 복호 처리를 하는 다른 시점에 대한 프레임을 합성(보간)함으로써 얻어진 화상을 예측 화상으로서 사용하는 방식이다(예를 들면, 비특허문헌 2 참조).

피사체의 삼차원적인 위치를 표현하기 위해 카메라에서 피사체까지의 거리(깊이)를 화소마다 표현한 깊이 지도(거리 화상, 시차 화상, 차이 지도(disparity map)라고 불리기도 한다)가 사용되는 경우가 많다. 깊이 지도 이외에는 피사체의 다각형(polygon) 정보나 피사체 공간의 복셀 정보를 사용할 수도 있다.

아울러 깊이 지도를 취득하는 방법에는, 크게 분류하여 적외선 펄스 등을 사용하여 측정함으로써 깊이 지도를 생성하는 방법과, 다시점 영상상에서 같은 피사체가 찍혀 있는 점에서 삼각 측량의 원리를 사용하여 깊이를 추정한 후에 깊이 지도를 생성하는 방법이 있다. 어느 방법으로 얻어진 깊이 지도를 사용할지는 시점 합성 예측시에 큰 문제는 아니다. 또 깊이 지도를 얻을 수 있다면 어디에서 추정하는지도 큰 문제는 아니다.

단, 예측 부호화할 경우에는, 일반적으로 부호화측에서 사용한 깊이 지도와 복호측에서 사용한 깊이 지도가 일치하지 않는 경우에는 드리프트(drift)라고 불리는 부호화 왜곡이 발생하게 된다. 따라서 부호화측에서 사용한 깊이 지도를 복호측에 전송하거나, 부호화측과 복호측에서 완전히 동일한 데이터와 수법을 사용하여 깊이 지도를 추정하는 방법이 사용된다.

<선행기술문헌>

(비특허문헌 1)비특허문헌 1: Rec. ITU-T H.264 "Advanced video coding for generic audiovisual services," March 2009.

(비특허문헌 2)비특허문헌 2: S. Shimizu, M. Kitahara, H. Kimata, K. Kamikura, and Y. Yashima, "View Scalable Multiview Video Coding Using 3-D Warping with Depth Map," IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1485-1495, November, 2007.

상술한 종래 기술에서는, 시차 보상 예측이나 시점 합성 예측을 사용함으로써 카메라 간의 영상 신호의 리던던시(redundancy)를 없앨 수 있다. 따라서 각각의 카메라로 촬영한 영상을 독립적으로 부호화하는 경우에 비해 다시점 영상을 고효율로 압축 부호화할 수 있다.

그러나 다시점 영상에서는, 카메라 간 상관과 시간 상관 모두가 동시에 존재한다. 따라서 시차 보상 예측이나 시점 합성 예측만을 사용한 경우에는 시간 상관을 이용하여 시간적인 리던던시를 제거할 수 없기 때문에 효율적인 부호화를 실현할 수 없다.

비특허문헌 1에서는, 블록마다 움직임 보상 예측과 시차 보상 예측의 적응 선택을 도입함으로써 카메라 간 상관과 시간 상관 모두를 이용하려고 한다. 이 방법을 사용함으로써 어느 한쪽의 상관만 사용하는 경우에 비해 효율적인 부호화를 실현할 수 있다.

그러나 블록마다 어느 한쪽을 선택하는 것은 블록마다 보다 강한 상관을 나타낸 것을 이용하는 것으로서, 보다 많은 리던던시를 삭감하는 것만으로도 카메라 간 및 다른 시각에 촬영된 프레임 간에 동시에 존재하는 리던던시까지 삭감 가능한 것은 아니다.

이 과제에 대한 해결책으로서, 움직임 보상 예측 등의 시간 상관을 이용한 수법에 의해 생성된 예측 화상과, 시차 보상 예측이나 시점 합성 예측 등의 카메라 간 상관을 이용한 수법에 의해 생성된 예측 영상과의 가중 평균(weighted average)을 사용하는 방법을 용이하게 유추할 수 있다. 이 수법을 사용함으로써 어느 정도의 부호화 효율 개선 효과를 얻을 수 있다.

그러나 가중 평균을 사용하여 예측 화상을 생성하는 것은, 시간 상관과 카메라 간 상관과의 사이에 그 상관을 이용하는 비율을 분배하는 것에 불과하다. 즉, 2개의 상관을 동시에 이용하는 것이 아니라 어느 쪽 상관을 이용할지를 보다 유연하게 하는 것에 불과하므로 동시에 존재하는 리던던시를 삭감하는 것은 아니다.

본 발명은 이와 같은 사정을 고려하여 이루어진 것으로서, 그 목적은, 처리 화상을 얻을 수 없는 상황에서도 고정밀도로 움직임 벡터를 추정할 수 있고, 영상 신호 예측에서 시간 상관을 이용함으로써 2개의 상관을 동시에 이용하여 효율적인 다시점 영상 부호화를 실현할 수 있는 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램을 제공하는 데 있다.

상술한 과제를 해결하기 위해 본 발명의 제1 관점은, 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 같은 설정에 따라 상기 처리 화상이 촬영된 시각에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 단계와, 움직임 벡터를 추정해야 할 대상의 시각에 촬영된 처리 화상을 사용하지 않고 상기 처리 화상상의 처리 영역에 해당하는 상기 시점 합성 화상상의 화상 신호를 사용하여 상기 처리 카메라로 촬영된 참조 화상에서의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 대응 영역 추정 단계를 포함하는 움직임 벡터 추정 방법이다.

본 발명의 제1 관점에서, 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 단계를 더 포함하고, 상기 대응 영역 추정 단계는, 상기 신뢰도에 기초하여 상기 대응 영역을 탐색할 때의 매칭 코스트에 가중치를 부여하도록 해도 좋다.

또 상술한 과제를 해결하기 위해 본 발명의 제2 관점은, 다시점 영상의 예측 부호화를 행하는 다시점 영상 부호화 방법으로서, 상기 다시점 영상의 어느 한 부호화 대상 시점과는 다른 참조 시점에서 부호화 대상 프레임과 같은 시각에 촬영된 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 단계와, 상기 시점 합성 화상의 각 부호화 단위 블록에 대해 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 움직임 벡터 추정 단계와, 상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 부호화 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 단계와, 상기 부호화 대상 프레임과 상기 움직임 보상 예측 화상과의 차분 신호를 부호화하는 잔차 부호화 단계를 포함하는 다시점 영상 부호화 방법이다.

본 발명의 제2 관점에서, 상기 시점 합성 화상의 각 화소에 대해서 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 단계를 더 포함하고, 상기 움직임 벡터 추정 단계는, 상기 신뢰도에 기초하여 상기 대응 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.

본 발명의 제2 관점에서, 상기 부호화 대상 프레임의 각 부호화 단위 블록에 대해 상기 참조 프레임 사이에서 대응 영역을 탐색함으로써 최적의 움직임 벡터를 생성하는 움직임 탐색 단계와, 상기 움직임 벡터와 상기 최적의 움직임 벡터와의 차(差)벡터를 부호화하는 차벡터 부호화 단계를 더 포함하고, 상기 움직임 보상 예측 화상 생성 단계는 상기 최적의 움직임 벡터와 상기 참조 프레임을 사용하여 상기 움직임 보상 예측 화상을 생성하도록 해도 좋다.

본 발명의 제2 관점에서, 상기 움직임 벡터와, 부호화 대상 영역에 인접한 영역에서 사용된 최적의 움직임 벡터군을 사용하여 예측 벡터를 생성하는 예측 벡터 생성 단계를 더 포함하고, 상기 차벡터 부호화 단계는 상기 예측 벡터와 상기 최적의 움직임 벡터의 차벡터를 부호화하도록 해도 좋다.

또 상술한 과제를 해결하기 위해 본 발명의 제3 관점은, 다시점 영상의 어느 한 시점에 대한 영상의 부호화 데이터를 복호하는 다시점 영상 복호 방법으로서, 복호 대상 시점과는 다른 참조 시점에서 복호 대상 프레임과 같은 시각에 촬영된 참조 시점 프레임으로부터 상기 복호 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 단계와, 상기 시점 합성 화상의 각 복호 단위 블록에 대해 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 움직임 벡터 추정 단계와, 상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 복호 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 단계와, 상기 움직임 보상 예측 화상을 예측 신호로서 사용하여 예측 부호화된 상기 복호 대상 프레임을 상기 부호화 데이터로부터 복호하는 화상 복호 단계를 포함한 다시점 영상 복호 방법이다.

본 발명의 제3 관점에서, 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 단계를 더 포함하고, 상기 움직임 벡터 추정 단계는 상기 신뢰도에 기초하여 상기 대응 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.

본 발명의 제3 관점에서, 상기 움직임 벡터를 예측 벡터로서 사용하여 예측 부호화된 최적의 움직임 벡터를 상기 부호화 데이터로부터 복호하는 벡터 복호 단계를 더 포함하고, 상기 움직임 보상 예측 화상 생성 단계는 상기 최적의 움직임 벡터와 상기 참조 프레임을 사용하여 상기 움직임 보상 예측 화상을 생성하도록 해도 좋다.

본 발명의 제3 관점에서, 상기 움직임 벡터와, 복호 대상 영역에 인접한 영역에서 사용된 최적의 움직임 벡터군을 사용하여 추정 예측 벡터를 생성하는 예측 벡터 생성 단계를 더 포함하고, 상기 벡터 복호 단계는 상기 추정 예측 벡터를 상기 예측 벡터로서 사용하여 상기 최적의 움직임 벡터를 복호하도록 해도 좋다.

또 상술한 과제를 해결하기 위해 본 발명의 제4 관점은, 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 같은 설정에 따라 상기 처리 화상이 촬영된 시각에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 수단과, 움직임 벡터를 추정해야 할 대상의 시각에 촬영된 처리 화상을 사용하지 않고 상기 처리 화상상의 처리 영역에 해당하는 상기 시점 합성 화상상의 화상 신호를 사용하여 상기 처리 카메라로 촬영된 참조 화상에서의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 대응 영역 추정 수단을 구비한 움직임 벡터 추정 장치이다.

본 발명의 제4 관점에서, 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 수단을 더 구비하고, 상기 대응 영역 추정 수단은 상기 신뢰도에 기초하여 상기 대응 영역을 탐색할 때의 매칭 코스트에 가중치를 부여하도록 해도 좋다.

또 상술한 과제를 해결하기 위해 본 발명의 제5 관점은, 다시점 영상의 예측 부호화를 행하는 다시점 영상 부호화 장치로서, 상기 다시점 영상의 어느 한 부호화 대상 시점과는 다른 참조 시점에서 부호화 대상 프레임과 같은 시각에 촬영된 이미 부호화된 참조 시점 프레임으로부터 상기 부호화 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 수단과, 상기 시점 합성 화상의 각 부호화 단위 블록에 대해 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 움직임 벡터 추정 수단과, 상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 부호화 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과, 상기 부호화 대상 프레임과 상기 움직임 보상 예측 화상과의 차분 신호를 부호화하는 잔차 부호화 수단을 구비한 다시점 영상 부호화 장치이다.

본 발명의 제5 관점에서, 상기 시점 합성 화상의 각 화소에 대해서 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 수단을 더 포함하고, 상기 움직임 벡터 추정 수단은, 상기 신뢰도에 기초하여 상기 대응 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.

또 상술한 과제를 해결하기 위해 본 발명의 제6 관점은, 다시점 영상의 어느 한 시점에 대한 영상의 부호화 데이터를 복호하는 다시점 영상 복호 장치로서, 복호 대상 시점과는 다른 참조 시점에서 복호 대상 프레임과 같은 시각에 촬영된 참조 시점 프레임으로부터 상기 복호 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 수단과, 상기 시점 합성 화상의 각 복호 단위 블록에 대해 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 움직임 벡터 추정 수단과, 상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 복호 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단과, 상기 움직임 보상 예측 화상을 예측 신호로서 사용하여 예측 부호화된 상기 복호 대상 프레임을 상기 부호화 데이터로부터 복호하는 화상 복호 수단을 구비한 다시점 영상 복호 장치이다.

본 발명의 제6 관점에서 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 수단을 더 포함하고, 상기 움직임 벡터 추정 수단은 상기 신뢰도에 기초하여 상기 대응 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.

또 상술한 과제를 해결하기 위해 본 발명의 제7 관점은, 움직임 벡터 추정 장치의 컴퓨터에, 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 같은 설정에 따라 상기 처리 화상이 촬영된 시점 합성 화상을 생성하는 시점 합성 화상 생성 기능, 움직임 벡터를 추정해야 할 대상의 시각에 촬영된 처리 화상을 사용하지 않고 상기 처리 화상상의 처리 영역에 해당하는 상기 시점 합성 화상상의 화상 신호를 사용하여 상기 처리 카메라로 촬영된 참조 화상에서의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 대응 영역 추정 기능을 실행시키는 움직임 벡터 추정 프로그램이다.

또 상술한 과제를 해결하기 위해 본 발명의 제8 관점은, 다시점 영상의 예측 부호화를 행하는 다시점 영상 부호화 장치의 컴퓨터에, 상기 다시점 영상의 어느 한 부호화 대상 시점과는 다른 참조 시점에서 부호화 대상 프레임과 같은 시각에 촬영된 이미 부호화된 참조 시점 프레임으로부터 상기 부호화 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 기능, 상기 시점 합성 화상의 각 부호화 단위 블록에 대해 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 움직임 벡터 추정 기능, 상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 부호화 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 기능, 상기 부호화 대상 프레임과 상기 움직임 보상 예측 화상과의 차분 신호를 부호화하는 잔차 부호화 기능을 실행시키는 다시점 영상 부호화 프로그램이다.

또 상술한 과제를 해결하기 위해 본 발명의 제9 관점은, 다시점 영상의 어느 한 시점에 대한 영상의 부호화 데이터를 복호하는 다시점 영상 복호 장치의 컴퓨터에, 복호 대상 시점과는 다른 참조 시점에서 복호 대상 프레임과 같은 시각에 촬영된 참조 시점 프레임으로부터 상기 복호 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 기능, 상기 시점 합성 화상의 각 복호 단위 블록에 대해 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 움직임 벡터 추정 기능, 상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 복호 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 기능, 상기 움직임 보상 예측 화상을 예측 신호로서 사용하여 예측 부호화된 상기 복호 대상 프레임을 상기 부호화 데이터로부터 복호하는 화상 복호 기능을 실행시키는 다시점 영상 복호 프로그램이다.

또 본 발명의 제10 관점은, 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 같은 설정에 따라 상기 처리 화상이 촬영된 시각에서의 제1 시점 합성 화상과, 상기 처리 화상과의 사이에 움직임 벡터를 구하는 대상의 상기 처리 카메라로 촬영된 참조 화상이 촬영된 시각에서의 제2 시점 합성 화상을 생성하는 시점 합성 화상 생성 단계와, 상기 처리 카메라로 촬영된 화상을 사용하지 않고 상기 처리 화상상의 처리 영역에 해당하는 상기 제1 시점 합성 화상상의 화상 신호를 사용하여 상기 참조 화상에 대한 상기 제2 시점 합성 화상에서의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 대응 영역 추정 단계를 포함하는 움직임 벡터 추정 방법이다.

또 본 발명의 제11 관점은, 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 같은 설정에 따라 상기 처리 화상이 촬영된 시각에서의 제1 시점 합성 화상과, 상기 처리 화상과의 사이에서 움직임 벡터를 구하는 대상의 상기 처리 카메라로 촬영된 참조 화상이 촬영된 시각에서의 제2 시점 합성 화상을 생성하는 시점 합성 화상 생성 수단과, 상기 처리 카메라로 촬영된 화상을 사용하지 않고 상기 처리 화상상의 처리 영역에 해당하는 상기 제1 시점 합성 화상의 화상 신호를 사용하여 상기 참조 화상에 대한 상기 제2 시점 합성 화상에서의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 대응 영역 추정 수단을 구비한 움직임 벡터 추정 장치이다.

또 본 발명의 제12 관점은, 움직임 벡터 추정 장치의 컴퓨터에, 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 같은 설정에 따라 상기 처리 화상이 촬영된 시각에서의 제1 시점 합성 화상과, 상기 처리 화상과의 사이에서 움직임 벡터를 구하는 대상의 상기 처리 카메라로 촬영된 참조 화상이 촬영된 시각에서의 제2 시점 합성 화상을 생성하는 시점 합성 화상 생성 기능, 상기 처리 카메라로 촬영된 화상을 사용하지 않고 상기 처리 화상상의 처리 영역에 해당하는 상기 제1 시점 합성 화상상의 화상 신호를 사용하여 상기 참조 화상에 대한 상기 제2 시점 합성 화상에서의 대응 영역을 탐색함으로써 움직임 벡터를 추정하는 대응 영역 추정 기능을 실행시키는 움직임 벡터 추정 프로그램이다.

본 발명에 의하면, 처리 화상을 얻을 수 없는 상황에서도 고정밀도로 움직임 벡터를 추정할 수 있고 영상 신호 예측시에 시간 상관을 이용함으로써 2개의 상관(즉, 카메라 간 상관 및 시간 상관)을 동시에 이용하여 효율적인 다시점 영상 부호화를 실현할 수 있다.

도 1은 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다.
도 2는 본 제1 실시형태에 의한 다시점 영상 부호화 장치의 동작을 설명하는 흐름도이다.
도 3은 본 발명의 제2 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다.
도 4는 본 제2 실시형태에 의한 다시점 영상 부호화 장치의 동작을 설명하는 흐름도이다.
도 5는 본 발명의 제3 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다.
도 6은 본 제3 실시형태에 의한 다시점 영상 복호 장치의 동작을 설명하는 흐름도이다.
도 7은 본 발명의 제4 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다.
도 8은 본 제4 실시형태에 의한 다시점 영상 복호 장치의 동작을 설명하는 흐름도이다.
도 9는 본 발명의 제5 실시형태에 의한 움직임 벡터 추정 장치의 구성을 도시한 블록도이다.
도 10은 본 제5 실시형태에 의한 움직임 벡터 추정 장치의 동작을 설명하는 흐름도이다.
도 11은 본 제5 실시형태에 의한 움직임 벡터 추정 장치의 다른 구성예를 도시한 블록도이다.
도 12는 본 발명의 제6 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다.
도 13은 본 제6 실시형태에 의한 다시점 영상 부호화 장치의 동작을 설명하는 흐름도이다.
도 14는 본 발명의 제7 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다.
도 15는 본 제7 실시형태에 의한 다시점 영상 부호화 장치의 동작을 설명하는 흐름도이다.
도 16은 본 발명의 제8 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다.
도 17은 본 제8 실시형태에 의한 다시점 영상 복호 장치의 동작을 설명하는 흐름도이다.
도 18은 본 발명의 제9 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다.
도 19는 본 제9 실시형태에 의한 다시점 영상 복호 장치의 동작을 설명하는 흐름도이다.
도 20은 카메라에서 피사체까지의 거리(깊이)와 시차의 관계를 도시한 개념도이다.

이하, 본 발명의 일실시형태를 도면을 참조하여 설명하기로 한다.

종래 기술에서는, 부호화 대상의 입력 화상의 화상 신호를 사용하여 참조 화상상의 대응 영역을 구함으로써 움직임 보상 예측을 실현하였다. 이 경우, 복호측에서는 입력 화상을 얻을 수 없기 때문에 대응 영역을 가리키는 움직임 벡터 정보를 부호화할 필요가 있다. 본 발명의 실시형태에서는 다른 카메라로 촬영된 영상을 사용하여 부호화 대상 화상에 대응하는 합성 화상을 생성하고(후술하는 단계Sa2), 그 합성 화상의 화상 신호를 사용하여 참조 화상상의 대응 영역을 구한다(후술하는 단계Sa5). 이 합성 화상은 복호측에서 같은 것을 생성할 수 있기 때문에 부호화측과 같은 탐색을 복호측에서 함으로써 움직임 벡터를 얻을 수 있다. 그 결과, 본 발명의 실시형태는 움직임 보상 예측을 함에도 불구하고 움직임 벡터를 부호화할 필요가 없어 그 만큼의 부호량을 삭감할 수 있다는 효과가 얻어진다.

아울러 이하의 설명에서는 기호[]로 끼워진 위치를 특정할 수 있는 정보(좌표치, 좌표치에 대응시킬 수 있는 인덱스, 영역, 영역에 대응시킬 수 있는 인덱스)를 영상(프레임)에 부가함으로써 그 위치의 화소나 그 영역에 대한 영상 신호를 나타내는 것으로 한다.

A. 제1 실시형태

*우선 본 발명의 제1 실시형태에 대해서 설명하기로 한다.

도 1은 본 발명의 제1 실시형태에 관한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다. 도 1에 도시한 바와 같이 다시점 영상 부호화 장치(100)는, 부호화 대상 프레임 입력부(101), 부호화 대상 화상 메모리(102), 참조 시점 프레임 입력부(103), 참조 시점 화상 메모리(104), 시점 합성부(105), 시점 합성 화상 메모리(106), 신뢰도 설정부(107), 대응 영역 탐색부(108), 움직임 보상 예측부(109), 예측 잔차(residual) 부호화부(110), 예측 잔차 복호부(111), 복호 화상 메모리(112), 예측 잔차 산출부(113) 및 복호 화상 산출부(114)를 구비하고 있다.

부호화 대상 프레임 입력부(101)는 부호화 대상이 되는 영상 프레임(부호화 대상 프레임)을 입력한다. 부호화 대상 화상 메모리(102)는 입력된 부호화 대상 프레임을 축적한다. 참조 시점 프레임 입력부(103)는 부호화 대상 프레임과는 다른 시점(참조 시점)에 대한 영상 프레임(참조 시점 프레임)을 입력한다. 참조 시점 화상 메모리(104)는 입력된 참조 시점 프레임을 축적한다. 시점 합성부(105)는 참조 시점 프레임을 사용하여 부호화 대상 프레임에 대한 시점 합성 화상을 생성한다.

시점 합성 화상 메모리(106)는 생성된 시점 합성 화상을 축적한다. 신뢰도 설정부(107)는 생성된 시점 합성 화상의 화소별 신뢰도를 설정한다. 대응 영역 탐색부(108)는 시점 합성 화상의 부호화 단위 블록마다 움직임 보상 예측 참조 프레임이 되어 부호화 대상 프레임과 같은 시점에서 촬영되고 이미 부호화된 프레임에서의 대응 블록을 나타내는 움직임 벡터를 신뢰도를 사용하면서 탐색한다. 즉, 대응 영역 탐색을 할 때의 매칭 코스트에 신뢰도에 기초하여 가중치(weight)를 부여함으로써 시점 합성시의 오차에 휘둘리지 않고 고정밀도로 합성 가능한 화소를 중시하여 고정밀도의 움직임 벡터 추정을 실현한다.

움직임 보상 예측부(109)는 결정한 대응 블록에 따라 참조 프레임을 사용하여 움직임 보상 예측 화상을 생성한다. 예측 잔차 산출부(113)는 부호화 대상 프레임과 움직임 보상 예측 화상의 차(예측 잔차 신호)를 산출한다. 예측 잔차 부호화부(110)는 예측 잔차 신호를 부호화한다. 예측 잔차 복호부(111)는 예측 잔차 신호의 부호화 데이터를 복호한다. 복호 화상 산출부(114)는 복호된 예측 잔차 신호와 움직임 보상 예측 화상을 합하여 부호화 대상 프레임의 복호 화상을 산출한다. 복호 화상 메모리(112)는 복호 화상을 축적한다.

도 2는 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치(100)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제1 실시형태에 의한 다시점 영상 부호화 장치(100)가 실행하는 처리에 대해서 상세히 설명하기로 한다.

우선 부호화 대상 프레임 입력부(101)에서 부호화 대상 프레임Org가 입력되어 부호화 대상 화상 메모리(102)에 저장된다(단계Sa1). 또 참조 시점 프레임 입력부(103)에서 부호화 대상 프레임Org와 같은 시각에 참조 시점에서 촬영된 참조 시점 프레임Ref_n이 입력되어(n=1,2,…,N), 참조 시점 화상 메모리(104)에 축적된다(단계Sa1). 여기에서 입력되는 참조 시점 프레임은 이미 부호화된 화상을 복호한 것으로 한다. 이것은, 복호 장치에서 얻어지는 정보와 같은 정보를 사용함으로써 드리프트 등의 부호화 노이즈의 발생을 억제하기 위함이다. 단, 이들 부호화 노이즈의 발생을 허용할 경우에는 부호화 전의 오리지널의 것이 입력되어도 좋다. 아울러 n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다.

다음으로 시점 합성부(105)에서 참조 시점 프레임의 정보로부터 부호화 대상 프레임과 같은 시각에 같은 시점에서 촬영된 화상을 합성하고, 생성된 시점 합성 화상Syn을 시점 합성 화상 메모리(106)에 축적한다(단계Sa2). 이 시점 합성 화상의 생성법에는 어떠한 방법을 사용해도 좋다. 예를 들면 참조 시점 프레임의 영상 정보 이외에 참조 시점 프레임에 대한 깊이 정보가 주어진다면 비특허문헌 2나 비특허문헌 3(Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV," Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.) 등에 기재되어 있는 수법을 사용할 수 있다.

또 부호화 대상 프레임에 대한 깊이 정보가 얻어진 경우에는 비특허문헌 4(S. Yea and A. Vetro, "View Synthesis Prediction for Rate-Overhead Reduction in FTV," Proceedings of 3DTV-CON2008, pp. 145-148, May 2008.) 등에 기재되어 있는 수법을 사용하는 것도 가능하다.

깊이 정보를 전혀 얻을 수 없는 경우에는 비특허문헌 5(J. Sun, N. Zheng, and H. Shum, "Stereo Matching Using Belief Propagation," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 7, pp. 787-800, July 2003.) 등에 기재된 스테레오법이나 깊이 추정법이라고 불리는 수법을 사용하여 참조 시점 프레임 또는 부호화 대상 프레임에 대한 깊이 정보를 작성한 후에 전술한 바와 같은 수법을 적용하여 시점 합성 화상을 생성할 수 있다(비특허문헌 6: S. Shimizu, Y. Tonomura, H. Kimata, and Y. Ohtani, "Improved View Interpolation Prediction for Side Information in Multiview Distributed Video Coding," Proceedings of ICDSC2009, August 2009.).

깊이 정보를 명확히 생성하지는 않고 참조 시점 프레임으로부터 시점 합성 화상을 직접 생성하는 방법도 있다(비특허문헌 7: K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1436-1449, November, 2007.).

*아울러 이들 수법을 사용하려면 기본적으로 카메라의 위치 관계나 카메라에 의한 투영 프로세스를 나타내는 카메라 파라미터가 필요하다. 이러한 카메라 파라미터도 참조 시점 프레임으로부터 추정할 수도 있다. 아울러 깊이 정보나 카메라 파라미터 등을 복호측에서 추정하지 않는 경우 부호화 장치 내에서 사용한 그들 정보를 별도로 부호화하여 전송할 필요가 있다.

다음으로, 신뢰도 설정부(107)에서 시점 합성 화상의 각 화소에 대해 그 화소에 대한 합성을 어느 정도의 확실성으로 실현할 수 있었는지를 나타내는 신뢰도ρ를 생성한다(단계Sa3). 본 제1 실시형태에서는, 신뢰도ρ는 0∼1까지의 실수로 하는데, 0이상이면서 큰 값이 신뢰도가 더욱 높다는 정의의 것이라면 어떻게 신뢰도를 표현해도 좋다. 예를 들면 1이상의 8비트 정수로 신뢰도를 표현해도 좋다.

신뢰도ρ는 상술한 바와 같이 합성이 어느 정도 정확하게 이루어졌는지를 나타낼 수 있다면 어떠한 것이어도 상관없다. 예를 들면 가장 간단한 것으로서는, 시점 합성 화상의 각 화소가 대응하는 참조 시점 프레임상의 화소의 화소치의 분산치를 사용하는 방법이 있다. 대응 화소간에 화소치가 가까울수록 같은 피사체를 동정(同定)하여 올바르게 시점 합성할 수 있었다는 것을 나타내기 때문에 분산이 적을수록 신뢰도가 높은 것을 나타낸다. 즉, 신뢰도는 분산의 역수를 사용하여 표현된다. 시점 합성 화상Syn[p]를 합성할 때 사용한 각 참조 시점 프레임의 화소를 Ref_n[p_n]으로 표시한다면, 다음 수식(1)이나 수식(2)를 사용하여 신뢰도를 표현할 수 있다.

[수식 1]

[수식 2]

분산의 최소치가 0이므로 함수max를 사용하여 신뢰도를 정의할 필요가 있다. 아울러 max는 주어진 집합에 대한 최대치를 되돌리는 함수이다. 또 기타 함수는 다음 수식(3)으로 표현되는 것이다.

[수식 3]

분산 이외에도, 다음의 수식(4)로 표시되는, 대응하는 참조 시점 프레임의 화소의 최대치와 최소치와의 차(diff(p))를 사용하는 방법도 있다. 또 분수의 역수가 아닌, 다음 수식(4)'와 같이 지수 함수를 사용한 신뢰도를 정의해도 좋다. 아울러 함수(f)는 상술한 var1, var2, diff 어느 것이어도 상관없다. 이 경우 함수(f)의 치역(値域)에 0이 포함되어도 신뢰도를 정의할 수 있다.

[수식 4]

이들 방법은 단순하지만 폐쇄(occlusion)의 발생을 고려하지 않기 때문에 항상 최적의 신뢰도를 얻을 수 있다고는 볼 수 없다. 그래서 폐쇄의 발생을 고려하여 참조 시점 프레임을 대응 화소의 화소치에 의해 클러스터링하고, 가장 큰 클러스터에 속하는 참조 시점 프레임의 대응 화소의 화소치에 대해 분산치나 최대치와 최소치와의 차를 계산해서 사용해도 좋다.

또 다른 방법으로서는, 시점 간의 대응점에서의 오차가 정규 분포나 라플라스 분포에 따른다고 가정하고 분포 평균치나 분산치를 파라미터로 하여 상기 수식(4)의 diff 등으로 구해지는 각 화소의 오차량에 대응하는 확률의 값을 사용하여 신뢰도를 정의해도 좋다. 그때에 분포의 모델이나 그 평균치나 분산치는 미리 정해진 것을 사용해도 좋고, 사용한 모델의 정보를 부호화하여 전송해도 좋다. 일반적으로 피사체가 완전 확산 반사된다면 이론적으로 분포 평균치는 0이라고 생각할 수 있기 때문에 모델을 간략화해도 좋다.

또 시점 합성 화상을 생성했을 때의 대응점이 얻어지는 깊이 부근에서 대응 화소의 화소치의 오차량이 최소라고 가정하면, 깊이를 미소하게 변화시켰을 때의 오차량 변화로부터 오차 분포 모델을 추정하고, 그 오차 분포 모델 그 자체나 그 오차 분포 모델과 시점 합성 화상 생성시의 참조 시점 프레임상의 대응 화소의 화소치에 기초한 값을 사용하여 신뢰도를 정의하는 방법을 사용해도 좋다.

오차 분포 모델만을 사용한 정의로서는, 오차의 발생 확률이 그 오차 분포에 따를 때에 오차가 일정 범위 내에 들어가는 확률을 신뢰도로 하는 방법이 있다. 오차 분포 모델과 시점 합성 화상 생성시의 참조 시점 프레임상의 대응 화소의 화소치를 사용한 정의로서는, 오차의 발생 확률이 추정한 오차 분포에 따른 경우에 시점 합성 화상 생성시의 참조 시점 프레임상의 대응 화소의 화소치로 표시되는 상황이 발생하는 확률을 신뢰도로 하는 방법이 있다.

또 다른 방법으로서, 시점 합성을 할 때에 필요한 시차(깊이)를 추정할 때에 Belief Propagation이라고 불리는 수법(상술한 비특허문헌 5)을 사용했을 때에 얻어지는, 시차(깊이)에 대한 확률의 값을 신뢰도로 해도 상관없다. Belief Propagation 이외에도 시점 합성 화상의 각 화소에 대해서 해답의 확실성을 내부적으로 계산하는 깊이 추정 알고리즘이라면 그 정보를 신뢰도로서 사용할 수 있다.

시점 합성 화상 생성시에 대응점 탐색이나 스테레오법, 깊이 추정을 할 경우에는 대응점의 정보나 깊이 정보를 구하는 처리 일부가 신뢰도 계산 일부와 동일해지는 경우가 있다. 그와 같은 경우에는 시점 합성 화상 생성과 신뢰도 계산을 동시에 행함으로써 연산량을 삭감할 수 있다.

신뢰도ρ의 계산이 종료되면 부호화 대상 프레임을 블록으로 분할하고 그 영역마다 대응점 탐색이나 예측 화상 생성을 하면서 부호화 대상 프레임의 영상 신호를 부호화한다(단계Sa4∼Sa12). 즉, 부호화 대상 블록 인덱스를 blk, 총부호화 대상 블록수를 numBlks로 표시한다면 blk를 0으로 초기화한 후(단계Sa4), blk에 1을 가산하면서(단계Sa11) blk가 numBlks가 될 때까지(단계Sa12) 이하의 처리(단계Sa5∼Sa10)을 반복한다.

아울러 상기 시점 합성 화상의 생성이나 신뢰도ρ의 계산을 부호화 대상 블록마다 할 수 있다면 그 처리도 부호화 대상 블록마다 반복하는 처리의 일부로서 행할 수 있다. 예를 들면 부호화 대상 블록에 대한 깊이 정보가 주어지는 경우가 해당된다.

부호화 대상 블록마다 반복되는 처리에서는, 우선 대응 영역 탐색부(108)에서 시점 합성 화상을 사용하여 블록 blk에 대응하는 참조 프레임상의 대응 블록을 찾아낸다(단계Sa5). 여기에서 참조 프레임이란, 이미 부호화 처리가 종료된 데이터를 복호하여 얻어지는 로컬 디코딩 화상이다. 이 로컬 디코딩 화상의 데이터는, 복호 화상 메모리(112)에 축적되는 데이터이다.

아울러 로컬 디코딩 화상을 사용하는 것은, 복호측에서 같은 타이밍으로 취득 가능한 데이터와 같은 것을 사용함으로써 드리프트라고 불리는 부호화 왜곡의 발생을 방지하기 위함이다. 그와 같은 부호화 왜곡의 발생을 허용한다면 로컬 디코딩 화상이 아닌, 부호화 대상 프레임보다 먼저 부호화된 입력 프레임을 사용해도 좋다. 아울러 본 제1 실시형태에서는 부호화 대상 프레임과 같은 카메라로 촬영되고 부호화 대상 프레임과는 다른 시각에 촬영된 화상을 사용한다. 그러나 부호화 대상 프레임과는 다른 카메라로 촬영된 프레임이라도 부호화 대상 프레임보다 먼저 처리된 프레임이라면 어떠한 프레임을 사용해도 좋다.

대상 블록을 구하는 처리는, 시점 합성 화상Syn[blk]를 템플릿으로 하여 적합도를 최대화 또는 괴리도를 최소화하는 대응 블록을, 복호 화상 메모리(112)에 축적되어 있는 로컬 디코딩 화상상에서 구하는 처리이다. 본 제1 실시형태에서는 괴리도를 나타내는 매칭 코스트를 이용하는 것으로 한다. 괴리도를 나타내는 매칭 코스트의 구체예로서는 다음 수식(5)나 수식(6)이 있다.

[수식 5]

[수식 6]

여기에서 vec는, 대응 블록 간의 벡터이고, t는, 복호 화상 메모리(112)에 축적되어 있는 로컬 디코딩 화상Dec의 하나를 나타내는 인덱스치로 한다. 이들 이외에 시점 합성 화상과 로컬 디코딩 화상 간의 차분치를 DCT(Discrete Cosine Transform: 이산 코사인 변환)이나 아다마르(Hadamard) 변환 등을 사용하여 변환한 값을 사용한 방법이 있다. 그 변환을 행렬A로 표시하면 다음 수식(7)이나 수식(8)로 표시할 수 있다. 아울러 ||X||는 X의 놈(Norm)을 나타낸다.

[수식 7]

[수식 8]

즉, 이러한 매칭 코스트를 최소화하는 블록을 구하는 처리는 다음 수식(9)로 표시되는 (best_vec,best_t)의 조를 구하게 된다. 여기에서 argmin은, 부여된 함수를 최소화하는 파라미터를 구하는 처리를 나타낸다. 도출하는 파라미터의 집합은 argmin의 하부에서 주어지는 집합이다.

[수식 9]

*

탐색하는 프레임수, 탐색 범위 및 탐색 순서나 중단을 결정하는 방법에는 임의의 방법을 사용해도 좋다. 단, 정확하게 복호하기 위해서는 복호측에 사용하는 것과 같은 것을 사용할 필요가 있다. 아울러 탐색 범위나 중단 방법은 연산 코스트에 큰 영향을 준다. 보다 적은 탐색 범위에서 높은 매칭 정밀도를 내기 위한 하나의 방법으로서, 탐색 중심을 적절하게 설정하는 방법이 있다. 하나의 예로서는, 참조 시점 프레임상의 대응 영역에서 사용된 움직임 벡터로 표시되는 대응점을 탐색 중심으로 하는 방법이 있다.

*또 복호측의 탐색에 관한 연산 코스트를 삭감하는 방법으로서, 탐색하는 대상의 프레임을 한정하는 방법이 있다. 사전에 탐색 대상의 프레임 결정법을 정해도 좋다. 예를 들면, 바로 직전에 부호화가 종료된 프레임을 탐색 대상으로 하는 방법이 이에 해당한다. 또 다른 방법으로서, 어떤 프레임을 대상으로 할지를 나타내는 정보를 부호화하여 복호측에 통지하는 방법도 있다. 이 경우 복호측은 탐색 대상 프레임을 나타내는 인덱스치 등의 정보를 복호하고 그것을 토대로 탐색 대상 프레임을 결정하는 기구를 가질 필요가 있다.

대응 블록이 결정되면 움직임 보상 예측부(109)에서 블록blk에 대한 예측 화상Pred를 생성한다(단계Sa6). 가장 단순한 방법은, 대응하는 블록의 화소치를 예측 화상으로 하는 방법으로서, 수식(10)으로 표시된다.

[수식 10]

다른 방법으로서는, 오버랩MC(MC: 움직임 보상)나 디블로킹(deblocking) 필터라고 불리는 수법을 사용하여 인접 블록과의 연속성을 고려하여 예측 화상을 생성한다. 이 경우 블록마다 예측 화상을 생성할 수 없기 때문에 블록마다 대응 영역 탐색을 반복한 후 예측 화상을 생성하고, 그 후에 잔차 생성 및 부호화 등의 처리를 재차 블록마다 반복한다.

블록blk에 대한 예측 화상의 생성이 완료되면 부호화 대상 프레임Org와 예측 화상Pred의 차분으로 표시되는 잔차 신호Res를 예측 잔차 산출부(113)에서 생성하고, 그 잔차 신호를 예측 잔차 부호화부(110)에서 부호화한다(단계Sa7). 부호화의 결과 출력되는 부호화 데이터는 다시점 영상 부호화 장치(100)의 출력이 됨과 동시에 예측 잔차 복호부(111)에 보내진다. 예측 잔차의 부호화에는 어떠한 방법을 써도 좋다. 예를 들면 비특허문헌 1에 기재된 H.264에서는 DCT 등의 주파수 변환, 양자화, 2치화(binarization), 엔트로피 부호화를 순서대로 실시함으로써 부호화를 행한다.

예측 잔차 복호부(111)에서는, 입력된 부호화 데이터를 복호하여 복호 예측 잔차DecRes를 얻는다(단계Sa8). 아울러 복호에는, 부호화에서 사용된 수법으로 얻어지는 부호화 데이터를 복호하기 위한 방법이 사용된다. H.264의 경우라면 엔트로피 복호, 역2치화, 역양자화, IDCT(Inverse Discrete Cosine Transform: 역이산 코사인 변환) 등의 역주파수 변환 순서대로 처리함으로써 복호 예측 잔차를 얻는다. 복호 화상 산출부(114)는, 수식(11)에서 나타난 바와 같이 얻어진 복호 예측 잔차DecRes에 예측 신호Pred를 가산하여 로컬 디코딩 화상Dec_cur[blk]를 생성한다(단계Sa9). 생성된 로컬 디코딩 화상은 장래의 예측에 사용하기 위해 복호 화상 메모리(112)에 축적한다(단계Sa10).

[수식 11]

본 제1 실시형태에서는 단계Sa5의 대응 블록 탐색에서 하나의 대응 블록을 결정했다. 그러나 미리 정해진 방법으로 복수의 블록을 선택하고 단계Sa6에서 움직임 보상 예측 신호를 생성할 때에 복수의 블록에 대해 평균치나 중앙치 등 미리 정해진 처리를 함으로써 예측 신호를 생성할 수도 있다. 블록의 수를 사전에 정하는 방법으로서는, 직접 개수를 지정하는 방법과, 매칭 코스트에 관한 조건을 결정하고 그 조건을 충족시키는 블록을 전부 선택하는 방법과, 그 양자를 조합한 방법을 생각할 수 있다.

양자를 조합한 방법이란, 예를 들면 매칭 코스트가 문턱값 미만인 것으로서, 그 값이 작은 것부터 순서대로 미리 정해진 개수까지의 것을 선택하는 방법이 있다. 또 개수를 사전에 정하지 않는 경우에 그 개수를 나타내는 정보를 부호화하여 복호측에 전하는 방법도 생각할 수 있다. 복수의 후보로부터 예측 신호를 생성하는 방법에 대해서도 사전에 하나로 정해도 좋고 어떤 방법을 사용할지를 나타내는 정보를 부호화하여 전달해도 좋다.

또 본 제1 실시형태에서는 탐색 대상의 프레임에 부호화 대상 프레임과 같은 시각의 프레임을 포함시키지 않았으나, 이미 복호 완료된 영역을 탐색 대상으로 해도 상관없다.

상술한 제1 실시형태에 의하면, 시점 합성 예측이나 시점 보간 예측과 동일한 방법에 의해 처리 화상에 대응하는 시점 합성 화상을 생성하고, 그 시점 합성 화상을 사용하여 참조 화상과의 대응점을 탐색함으로써 움직임 벡터를 추정한다. 이로써 처리 화상을 얻을 수 없는 상황에도 고정밀도로 움직임 벡터를 추정할 수 있다.

아울러 처리 화상이 존재하지 않는 상황에서 움직임 벡터를 추정하는 종래 방식에는, 피사체가 등속 직선 운동을 한다고 가정하여 처리 화상 이외의 복수의 시각의 다른 프레임 간에 구한 움직임 벡터로부터 처리 화상의 움직임 벡터를 추정하는 방법이 있다(비특허문헌 8: J. Ascenso, C. Brites, and F. Pereira, "Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding," In the 5th EURASIP Conference on Speech and Image Processing, Multimedia Communications and Services, July 2005.). 아울러 이 개념은 비특허문헌 1에 기재된 H.264에서 시간 다이렉트 모드로서 사용되었다.

프레임 간의 시간 간격이 매우 짧은 경우나, 피사체가 규칙적인 움직임을 하고 있는 경우 등에는 이와 같은 피사체의 움직임을 가정한 방법으로도 어느 정도의 정밀도로 움직임 벡터 추정을 할 수 있다. 그러나 일반적으로 피사체의 움직임은 비선형으로서 모델화하기 어렵기 때문에 이와 같은 수법으로는 고정밀도로 움직임 벡터를 추정할 수 없다.

또 피사체의 움직임을 가정하지 않고 움직임 벡터의 공간적인 연속성을 사용하여 움직임 벡터를 추정하는 방법도 있다. 비특허문헌 9(S. Kamp, M. Evertz, and M. Wien, "Decoder side motion vector derivation for inter frame video coding," ICIP 2008, pp. 1120-1123, October 2008.)에는, 처리 영역의 인접 영역에서는 처리 화상이 얻어지는 경우에 그 인접 영역의 대응 영역을 구함으로써 처리 영역의 움직임 벡터를 추정하는 방법이 기재되어 있다.

움직임은 피사체에 의존하는 것으로서, 인접한 영역에는 같은 피사체가 찍혀 있는 경우가 많기 때문에 이 수법을 사용함으로써 어느 정도의 정밀도로 움직임 벡터를 추정할 수 있다. 그러나 인접 영역의 화상이 필요할 뿐만 아니라 인접 영역에 같은 피사체가 찍히지 않는 경우에는 올바른 움직임 벡터를 추정할 수 없다. 또 같은 피사체라 해도 다른 움직임을 가지고 있는 경우도 있기 때문에 한정된 상황 이외에는 고정밀도의 움직임 벡터 추정을 실현할 수 없다.

이와 같은 종래 수법과는 달리 본 실시형태의 수법으로는, 움직임을 구하고자 하는 영역의 영상 신호를 시점 간 상관을 이용하여 합성하고, 그 합성 결과를 사용하여 대응 영역 탐색을 한다. 따라서 움직임에 대해 시간적인 규칙성이나 공간적인 유사성을 가정할 필요가 없어 어떠한 영상에 대해서도 고정밀도의 움직임 벡터 추정을 할 수 있게 된다.

또 상술한 제1 실시형태에 의하면, 시점 합성 화상의 화소마다 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하고, 그 신뢰도에 기초하여 화소마다 매칭 코스트를 가중치 부여한다. 카메라 간 상관을 이용하여 합성하는 시점 합성 화상에 오차가 발생하는 경우가 있다. 그와 같은 오차가 포함되는 템플릿을 사용하여 대응 영역 탐색을 한 경우 그 오차의 영향을 받아 움직임 벡터의 추정 정밀도가 저하된다. 그래서 본 제1 실시형태에서는 시점 합성 화상의 화소마다 합성 화상의 확실성을 나타내는 신뢰도를 설정하고, 그 신뢰도에 기초하여 화소마다 매칭 코스트를 가중치 부여한다. 그렇게 함으로써 시점 합성시의 오차에 휘둘리지 않고 고정밀도로 합성 가능한 화소를 중시하여 고정밀도의 움직임 벡터 추정이 가능해진다.

신뢰도를 설정하기 위해 필요한 합성의 확실성을 나타내는 정보로서는, 어느 화소를 합성할 때에 사용한 참조 카메라 영상(참조 카메라로 촬영한 영상)상의 대응 화소군에 대한 화소치의 분산이나 차분치를 사용할 수 있다. 또 시점 합성을 할 때에 필요한 시차나 깊이를 추정할 때에 Belief Propagation이라고 불리는 수법(비특허문헌 5)을 사용한 경우, 각 화소에 대해 시차나 깊이의 확률 분포가 얻어지기 때문에 그 정보를 사용해도 좋다. 또 Belief Propagation을 사용하지 않는 경우에도 깊이치를 변화시켰을 때의 참조 카메라 영상상의 대응 화소군의 화소치의 오차량이나 분산치의 변화를 정규 분포나 라플라스 분포로 모델화하고, 그 분산치에 기초하여 신뢰도를 설정하는 방법이 있다.

B.제2 실시형태

다음으로, 본 발명의 제2 실시형태에 대해서 설명하기로 한다.

도 3은 본 제2 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다. 도 3에 도시한 바와 같이 다시점 영상 부호화 장치(200)는, 부호화 대상 프레임 입력부(201), 부호화 대상 화상 메모리(202), 참조 시점 프레임 입력부(203), 시점 합성부(204), 시점 합성 화상 메모리(205), 움직임 추정부(206), 움직임 보상 예측부(207), 화상 부호화부(208), 화상 복호부(209), 복호 화상 메모리(210), 대응 영역 탐색부(211), 예측 벡터 생성부(212), 벡터 정보 부호화부(213) 및 움직임 벡터 메모리(214)를 구비하고 있다.

부호화 대상 프레임 입력부(201)는 부호화 대상이 되는 영상 프레임을 입력한다. 부호화 대상 화상 메모리(202)는 입력된 부호화 대상 프레임을 축적한다. 참조 시점 프레임 입력부(203)는 부호화 대상 프레임과는 다른 시점에 대한 영상 프레임을 입력한다. 시점 합성부(204)는 입력된 참조 시점 프레임을 사용하여 부호화 대상 프레임에 대한 시점 합성 화상을 생성한다.

시점 합성 화상 메모리(205)는 생성된 시점 합성 화상을 축적한다. 움직임 추정부(206)는 부호화 대상 프레임의 부호화 단위 블록마다 부호화 대상 프레임과 참조 프레임 간의 움직임을 추정한다. 움직임 보상 예측부(207)는 움직임 추정 결과에 기초하여 움직임 보상 예측 화상을 생성한다. 화상 부호화부(208)는 움직임 보상 예측 화상을 받고 부호화 대상 프레임을 예측 부호화하여 부호화 데이터를 출력한다. 화상 복호부(209)는 움직임 보상 예측 화상과 부호화 데이터를 받고 부호화 대상 프레임을 복호하는 복호 화상을 출력한다.

복호 화상 메모리(210)는 부호화 대상 프레임의 복호 화상을 축적한다. 대응 영역 탐색부(211)는 시점 합성 화상의 부호화 단위 블록마다 움직임 보상 예측 참조 프레임에서의 대응 블록을 나타내는 추정 벡터를 탐색한다. 예측 벡터 생성부(212)는 부호화 대상 블록의 인접 블록에서 움직임 보상에 사용된 움직임 벡터와 추정 벡터로부터, 부호화 대상 블록의 움직임 벡터에 대한 예측 벡터를 생성한다. 벡터 정보 부호화부(213)는 생성된 예측 벡터를 사용하여 움직임 벡터를 예측 부호화한다. 움직임 벡터 메모리(214)는 움직임 벡터를 축적한다.

도 4는 본 제2 실시형태에 의한 다시점 영상 부호화 장치(200)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제2 실시형태에 의한 다시점 영상 부호화 장치(200)가 실행하는 처리에 대해서 상세히 설명한다.

우선 부호화 대상 프레임 입력부(201)에서 부호화 대상 프레임Org가 입력되어 부호화 대상 화상 메모리(202)에 저장된다(단계Sb1). 또 참조 시점 프레임 입력부(203)에서 부호화 대상 프레임Org와 같은 시각에 참조 시점에서 촬영된 참조 시점 프레임Ref_n(n=1,2,…, N)이 입력된다(단계Sb1). 여기에서 입력되는 참조 시점 프레임은 이미 부호화된 화상을 복호한 것으로 한다. 이것은, 복호 장치에서 얻어지는 정보와 같은 정보를 사용함으로써 드리프트 등 부호화 노이즈의 발생을 억제하기 위함이다. 단, 이들 부호화 노이즈의 발생을 허용할 경우에는 부호화 전의 오리지널의 것이 입력되어도 좋다. 아울러 n은, 참조 시점을 가리키는 인덱스이고, N은, 여기에서 이용 가능한 참조 시점의 수이다.

다음으로, 시점 합성부(204)에서 참조 시점 프레임을 사용하여 부호화 대상 프레임과 같은 시각에 같은 시점에서 촬영된 화상을 합성하고, 생성된 시점 합성 화상Syn을 시점 합성 화상 메모리(205)에 축적한다(단계Sb2). 여기에서 행해지는 처리는 제1 실시형태의 단계Sa2와 동일한 것이다.

부호화 대상 프레임에 대한 시점 합성 화상이 생성되면, 부호화 대상 프레임을 블록으로 분할하고 그 영역마다 대응점 탐색이나 예측 화상 생성을 하면서 부호화 대상 프레임의 영상 신호를 부호화한다(단계Sb3∼Sb14). 즉, 부호화 대상 블록 인덱스를 blk, 총부호화 대상 블록수를 numBlks로 표시한다면, blk를 0으로 초기화한 후(단계Sb3), blk에 1을 가산하면서(단계Sb13), blk가 numBlks가 될 때까지(단계Sb14) 이하의 처리(단계Sb4∼Sb12)를 반복한다. 아울러 시점 합성 화상의 생성을 부호화 대상 블록마다 수행할 수 있다면 그들 처리도 부호화 대상 블록마다 반복하는 처리의 일부로서 수행할 수 있다. 예를 들면 부호화 대상 블록에 대한 깊이 정보가 주어지는 경우가 해당한다.

부호화 대상 블록마다 반복되는 처리에서는, 우선 움직임 추정부(206)에서 부호화 대상 블록Org[blk]에 대응하는 참조 프레임상의 블록을 찾아낸다(단계Sb4). 이 처리는 움직임 예측이라고 불리며 임의의 방법을 사용할 수 있다. 대응 블록을 표시하기 위해 사용되는 블록blk와의 변위를 나타내는 2차원 벡터를 움직임 벡터라고 부르고, 본 제2 실시형태에서는 mv로 표시한다. 움직임 벡터mv는 다음 블록의 처리에 사용하기 위해 움직임 벡터 메모리(214)에 축적된다.

움직임 추정이 종료되면 움직임 보상 예측부(207)에서 부호화 대상 블록Org[blk]에 대한 움직임 보상 예측 신호Pred[blk]를 다음 수식(12)에 나타나는 바와 같이 생성한다(단계Sb5).

[수식 12]

아울러 ref는, 참조 프레임을 나타내는 인덱스이다. 또 본 제2 실시형태에서는 참조 프레임을 1장만 사용하는 예측 방법의 예를 나타내었지만, H.264 등에 사용되는 쌍예측 등과 같이 복수의 참조 프레임을 사용한 방식으로 확장하는 것도 가능하다. 2개의 참조 프레임을 사용할 경우에는 각각의 참조 프레임에 대해 움직임 추정을 하고 그 평균치로 예측 신호를 생성한다.

움직임 보상 예측 신호가 얻어지면, 화상 부호화부(208)에서 움직임 보상 예측 신호Pred[blk]를 사용하여 부호화 대상 블록Org[blk]를 예측 부호화한다. 구체적으로는, 부호화 대상 블록Org와 움직임 보상 예측 신호Pred의 차분으로 표시되는 잔차 신호Res를 구해 부호화한다(단계Sb6). 잔차 신호의 부호화에는 어떠한 방법을 사용해도 좋다. 예를 들면 비특허문헌 1에 기재된 H.264에서는 DCT 등의 주파수 변환, 양자화, 2치화, 엔트로피 부호화를 순서대로 실시함으로써 부호화를 행한다. 이 부호화 결과의 데이터는 본 제2 실시형태에 의한 다시점 영상 부호화 장치(200)의 출력 일부가 된다.

부호화 결과의 데이터는, 그 후의 프레임을 부호화할 때의 예측에 사용하기 위해 화상 복호부(209)에 복호된다. 복호는, 우선 부호화된 예측 잔차 신호를 복호하고(단계Sb7), 얻어진 복호 예측 잔차 신호DecRes에 움직임 보상 예측 신호Pred를 더함으로써 로컬 디코딩 화상Dec_cur[blk]를 생성한다(단계Sb8). 얻어진 로컬 디코딩 화상은 복호 화상 메모리(210)에 축적된다(단계Sb9). 아울러 복호에는, 부호화에서 사용된 수법으로 얻어지는 부호화 데이터를 복호하기 위한 방법이 사용된다. H.264의 경우라면 엔트로피 복호, 역2치화, 역양자화, IDCT 등의 역주파수 변환의 순서대로 처리함으로써 복호 예측 잔차 신호를 얻는다.

다음으로, 단계Sb4의 움직임 추정으로 구해지고 단계Sb5의 움직임 보상 예측에 사용된 움직임 벡터mv의 부호화를 행한다. 따라서 우선, 대응 영역 탐색부(211)에서 시점 합성 화상Syn[blk]에 대응하는 참조 프레임상의 대응 블록을 찾아낸다(단계Sb10). 그 대응 블록을 표시하기 위한 블록blk와의 변위를 나타내는 2차원 벡터를, 본 제2 실시형태에서는 추정 벡터vec라고 부른다. 여기에서의 처리는, 제1 실시형태의 단계Sa5와 같다. 단, 본 제2 실시형태는 신뢰도ρ를 사용하지 않는 예를 나타내기 때문에 ρ는 전부 1이며 ρ의 곱셈은 생략할 수 있다. 물론 제1 실시형태와 같이 신뢰도를 설정하여 사용해도 좋다.

추정 벡터vec가 얻어지면, 예측 벡터 생성부(212)에서 움직임 벡터 메모리(214)에 축적되어 있는 부호화 대상 블록의 인접 블록에 사용된 움직임 벡터와 추정 벡터를 사용하여 부호화 대상 블록의 움직임 벡터mv에 대한 예측 벡터pmv를 생성한다(단계Sb11).

인접 영역에서 실제로 사용된 최적의 움직임 벡터는, 시점 합성 화상을 사용하여 추정된 움직임 벡터(즉, 추정 벡터)보다, 그 인접 영역에서는 고정밀도의 벡터이다. 따라서 공간적인 유사성이 있는 경우에는 그들 벡터를 사용하여 예측 벡터를 생성함으로써 부호화가 필요한 차벡터의 양을 줄일 수 있다. 그러나 인접 영역과 공간적인 유사성이 없는 경우에는 반대로 차벡터의 양을 늘리는 결과가 되는 경우가 있다. 그래서 본 실시형태에서는 시점 합성 화상을 사용하여 추정한 움직임 벡터를 사용하여 공간적인 유사성이 있는지 여부를 판단하고 공간적인 유사성이 있다고 판단되는 경우에는 인접 영역의 최적 벡터군을 사용한 예측 벡터를 생성하고, 그렇지 않은 경우에는 시점 합성 화상을 사용하여 추정한 움직임 벡터를 사용한다. 그렇게 함으로써 항상 부호화하는 차벡터의 양을 줄여 효율적인 다시점 영상 부호화를 달성한다.

시점 합성 화상을 사용하여 추정된 움직임 벡터와, 인접 영역에서 사용된 최적의 움직임 벡터군으로부터 예측 벡터를 생성하는 방법으로서는, 벡터 성분마다 평균치나 중앙치를 취하는 방법을 사용할 수 있다. 또 인접 영역에서 사용된 최적의 움직임 벡터군 중에서 시점 합성 화상을 사용하여 추정된 움직임 벡터와의 차가 가장 적은 벡터를 예측 벡터로 하는 방법도 있다.

또 다른 예측 벡터 생성 방법으로서, 인접 영역에서 사용된 최적의 움직임 벡터군만을 대상으로 하여 벡터 성분마다 평균치나 중앙치를 취해 벡터를 생성하고, 그 벡터와 시점 합성 화상을 사용하여 추정된 움직임 벡터를 비교하여 그 차가 별도로 정해진 문턱값 이상이면, 시점 합성 화상을 사용하여 추정된 움직임 벡터를 예측 벡터로 하고, 그 차가 문턱값 미만이면 생성된 벡터를 예측 벡터로 하는 방법도 있다. 반대로 그 차가 문턱값 이상인 경우에 생성된 벡터를 예측 벡터로 하고, 그 차가 문턱값 미만인 경우에 시점 합성 화상을 사용하여 추정된 움직임 벡터를 예측 벡터로 하는 방법도 있다. 이 2개의 방법은 시점 합성 화상을 어느 정도의 정밀도로 생성할 수 있었는지에 의존하는 것이다. 따라서 시점 합성 화상을 고정밀도로 할 수 있었던 경우에는 전자의 알고리즘으로 예측 벡터를 결정하고, 그렇지 않은 경우에 후자의 알고리즘으로 예측 벡터를 결정하는 방법을 사용해도 좋다.

즉, 예측 벡터의 생성에는, 복호측에 사용하는 방법과 동일하다면 여러가지 방법을 쓸 수 있다. 예를 들면 인접 블록의 움직임 벡터는 사용하지 않고 추정 벡터vec를 예측 벡터pmv로 해도 상관없고, 추정 벡터vec에 가장 가까운 인접 블록의 움직임 벡터를 예측 벡터pmv로 해도 상관없다. 또 추정 벡터와 인접 블록의 움직임 벡터의 중앙치나 평균치를 성분마다 취해 예측 벡터pmv를 생성해도 좋다. 또 다른 방법으로서는, 인접 블록의 움직임 벡터의 중앙치나 평균치로 벡터pmv'를 생성하고, 벡터pmv'와 추정 벡터vec의 차에 따라 예측 벡터pmv를 결정하는 방법도 있다.

예측 벡터의 생성이 종료되면 움직임 벡터mv를 벡터 정보 부호화부(213)에서 예측 부호화한다(단계Sb12). 즉, 움직임 벡터mv와 예측 벡터pmv의 차로 표시되는 예측 잔차벡터를 부호화한다. 부호화 결과는 다시점 영상 부호화 장치(200)의 출력 중 하나가 된다.

본 제2 실시형태에서는, 참조 프레임에 관하여는 사전에 정해져 있는데, H.264와 동일하게 사용한 참조 프레임을 나타내는 정보를 부호화함으로써 복호측과 참조 프레임의 선택을 일치시킨다. 그러나 단계Sb10을 단계Sb4보다 먼저 행하여 복수의 후보 중에서 매칭 코스트를 최소로 하는 복호 완료 프레임을 결정하고, 결정된 프레임을 참조 프레임으로서 사용해도 좋다. 또 H.264와 동일하게 사용한 참조 프레임을 나타내는 정보를 부호화할 때에도 매칭 코스트를 최소로 하는 프레임을 나타내는 정보의 부호량이 적어지도록 부호 테이블을 전환함으로써 부호량을 삭감할 수도 있다.

상술한 제2 실시형태에 의하면, 카메라 간 상관을 이용한 시점 합성에 의해 얻어진 부호화 대상 시점의 화상을 사용하여 시간 상관을 이용하기 위한 움직임 벡터를 예측한다. 이로써 움직임 보상 예측에 필요한 움직임 벡터의 부호량을 삭감할 수 있기 때문에 효율적인 다시점 영상 부호화를 실현할 수 있게 된다. 아울러 본 실시형태에 의하면, 움직임 벡터 생성에서 카메라 간 상관을 이용하고, 영상 신호 예측에서 시간 상관을 이용하기 때문에 2개의 상관을 동시에 이용할 수 있게 된다.

그런데, 카메라 간 상관을 이용하여 합성하는 시점 합성 화상에 오차가 발생하는 경우가 있다. 그와 같은 오차가 포함되는 템플릿을 사용하여 대응 영역 탐색을 한 경우 그 오차의 영향을 받아 움직임 벡터의 추정 정밀도가 저하된다. 그래서 본 제2 실시형태에서 시점 합성 화상의 화소마다 합성 화상의 확실성을 나타내는 신뢰도를 설정하고, 그 신뢰도에 기초하여 화소마다 매칭 코스트를 가중치 부여하는 방법이 있다. 그렇게 함으로써 시점 합성시의 오차에 휘둘리지 않고 고정밀도로 합성 가능한 화소를 중시하여 적절하게 움직임 벡터를 예측할 수 있게 된다.

또 시점 합성 화상을 고정밀도로 생성할 수 있는 경우, 제1 실시형태에 의해 움직임 보상 예측에 필요한 움직임 벡터를 생성할 수 있다. 그러나 시점 합성 화상을 항상 고정밀도로 생성할 수 있다고는 볼 수 없다. 따라서 에러를 포함한 시점 합성 화상을 사용한 대응 영역 탐색으로는, 부호화 효율의 관점에서 최적의 움직임 벡터를 서브 픽셀 정밀도로 발견할 수 있다고는 볼 수 없다. 그리고 적절한 움직임 벡터를 설정할 수 없는 경우, 움직임 보상 예측 결과를 토대로 부호화해야 하는 잔차의 양이 늘어나 효율적인 압축 부호화를 실현할 수 없게 된다. 한편, 부호화 대상 프레임을 사용한 대응 영역 탐색으로는, 항상 부호화 효율의 관점에서 최적의 대응 영역을 임의의 정밀도로 발견할 수 있다. 그래서 부호화 대상 프레임을 사용한 대응 영역 탐색으로 발견된 최적의 움직임 벡터를 사용하여 예측 화상을 생성하고 최적의 움직임 벡터를 부호화할 때에 시점 합성 화상을 사용하여 일정 레벨의 정밀도로 추정할 수 있었던 움직임 벡터와의 차분을 사용하여 부호화한다. 그렇게 함으로써 부호화해야 할 잔차의 양의 증가를 방지하면서 최적의 움직임 벡터의 부호화에 필요한 부호량도 삭감할 수 있게 된다. 즉, 본 발명의 제2 실시형태에 의하면 시점 합성 화상에 오차가 발생하는 경우에도 적절한 움직임 벡터를 사용한 움직임 보상 예측을 하면서 움직임 벡터의 부호량을 삭감할 수 있게 된다. 따라서 보다 탄탄하게 효율적인 압축 부호화를 실현할 수 있게 된다.

아울러 움직임 탐색 단계(단계Sb4)에서는, 대응 영역 간의 화소치 차이를 매칭 코스트로서 사용해도 좋고, 차벡터 부호화에 필요한 부호량과, 부호화 대상이 되는 움직임 보상 예측 잔차의 양을 통합하여 평가할 수 있는 레이트 왜곡 코스트를 사용하여 대응 영역 탐색을 해도 좋다. 일반적으로 후자의 코스트 함수를 사용한 쪽이 다시점 영상 부호화의 부호화 효율은 높아진다. 단, 레이트 왜곡 코스트를 사용할 경우에는 본 제2 실시형태의 단계Sb4보다 전에 단계Sb10과 단계Sb11을 행할 필요가 있다. 이 2개의 단계는 단계Sb4∼Sb9의 처리와는 독립적이기 때문에 순서를 바꿔도 좋다.

아울러 비특허문헌 1에서는, 움직임 벡터를 부호화할 때에 공간적인 유사성을 이용하여 인접 영역에서의 움직임 벡터로부터 추정한 예측 벡터와 움직임 벡터와의 차분으로 부호화를 함으로써 효율적인 부호화를 실현하였다. 그러나 인접 영역과 다른 피사체가 처리 중의 블록에 찍혀 있는 경우 등에는 공간적인 유사성을 가정하여 생성한 예측 벡터와 움직임 벡터와의 차는 커져 효율적인 부호화를 실현할 수 없다. 본 실시형태에서는 처리 중인 블록에 대한 영상 신호를 카메라 간의 예측에 의해 얻고, 그것을 토대로 추정한 벡터를 예측 벡터로서 이용한다. 그렇게 함으로써 공간적인 유사성이 없는 경우에도 움직임 벡터에 보다 가까운 예측 벡터를 생성할 수 있다.

C. 제3 실시형태

다음으로, 본 발명의 제3 실시형태에 대해서 설명하기로 한다.

도 5는 본 제3 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다. 도 5에 도시한 바와 같이, 다시점 영상 복호 장치(300)는, 부호화 데이터 입력부(301), 부호화 데이터 메모리(302), 참조 시점 프레임 입력부(303), 참조 시점 화상 메모리(304), 시점 합성부(305), 시점 합성 화상 메모리(306), 신뢰도 설정부(307), 대응 영역 탐색부(308), 움직임 보상 예측부(309), 예측 잔차 복호부(310), 복호 화상 메모리(311) 및 복호 화상 산출부(312)를 구비하고 있다.

부호화 데이터 입력부(301)는 복호 대상이 되는 영상 프레임의 부호화 데이터를 입력한다. 부호화 데이터 메모리(302)는 입력된 부호화 데이터를 축적한다. 참조 시점 프레임 입력부(303)는 복호 대상 프레임이 촬영된 시점(복호 대상 시점)과는 다른 시점(참조 시점)에 대한 영상 프레임(참조 시점 프레임)을 입력한다. 참조 시점 화상 메모리(304)는 입력된 참조 시점 프레임을 축적한다.

시점 합성부(305)는 참조 시점 프레임을 사용하여 복호 대상 프레임에 대한 시점 합성 화상을 생성한다. 시점 합성 화상 메모리(306)는 생성된 시점 합성 화상을 축적한다. 신뢰도 설정부(307)는 생성된 시점 합성 화상의 화소별 신뢰도를 설정한다. 대응 영역 탐색부(308)는 시점 합성 화상의 부호화 단위 블록마다 움직임 보상 예측 참조 프레임이 되어 복호 대상 프레임과 같은 시점에서 촬영되고, 이미 복호 완료된 프레임에서의 대응 블록을 나타내는 움직임 벡터를 신뢰도를 사용하면서 탐색한다.

움직임 보상 예측부(309)는 결정한 대응 블록에 따라 참조 프레임을 사용하여 움직임 보상 예측 화상을 생성한다. 예측 잔차 복호부(310)는 부호화 데이터로부터 예측 잔차 신호를 복호한다. 복호 화상 산출부(312)는 복호된 예측 잔차 신호와 움직임 보상 예측 화상을 합하여 복호 대상 프레임의 복호 화상을 산출한다. 복호 화상 메모리(311)는 복호 화상을 축적한다.

도 6은 본 제3 실시형태에 의한 다시점 영상 복호 장치(300)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제3 실시형태에 의한 다시점 영상 복호 장치(300)가 실행하는 처리에 대해서 상세히 설명한다.

우선 부호화 데이터 입력부(301)에서 복호 대상 프레임의 부호화 데이터가 입력되어 부호화 데이터 메모리(302)에 저장된다(단계Sc1). 또 참조 시점 프레임 입력부(303)에서 복호 대상 프레임과 같은 시각에 참조 시점에서 촬영된 참조 시점 프레임Ref_n이 입력되어(n=1,2,…, N) 참조 시점 화상 메모리(304)에 축적된다(단계Sc1). n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다.

다음으로, 시점 합성부(305)에서 참조 시점 프레임의 정보로부터 복호 대상 프레임과 같은 시각에 같은 시점에서 촬영된 화상을 합성하고, 생성된 시점 합성 화상Syn을 시점 합성 화상 메모리(306)에 축적한다(단계Sc2). 여기에서의 처리는, 제1 실시형태의 단계Sa2와 같다. 그리고 신뢰도 설정부(307)에서 시점 합성 화상의 각 화소에 대해 그 화소에 대한 합성을 어느 정도의 확실성으로 실현할 수 있었는지를 나타내는 신뢰도ρ를 생성한다(단계Sc3). 여기에서의 처리는 제1 실시형태의 단계Sa3와 동일하다.

제1 실시형태와 마찬가지로 시점 합성 화상 생성시에 대응점 탐색이나 스테레오법, 깊이 추정을 할 경우에는 대응점의 정보나 깊이 정보를 구하는 처리 일부가 신뢰도 계산 일부와 동일해지는 경우가 있다. 그와 같은 경우에는 시점 합성 화상 생성과 신뢰도 계산을 동시에 행함으로써 연산량을 삭감할 수 있다.

신뢰도의 계산이 종료되면 미리 정해진 블록마다 대응점 탐색이나 예측 화상 생성을 하면서 복호 대상 프레임의 영상 신호를 복호한다(단계Sc4∼Sc10). 즉, 복호 대상 블록 인덱스를 blk, 총복호 대상 블록수를 numBlks로 표시한다면, blk를 0으로 초기화한 후(단계Sc4), blk에 1을 가산하면서(단계Sc9) blk가 numBlks가 될 때까지(단계Sc10) 이하의 처리(단계Sc5∼Sc8)을 반복한다.

*아울러 상기 시점 합성 화상의 생성이나 신뢰도의 계산을 복호 대상 블록마다 수행할 수 있다면, 그 처리도 복호 대상 블록마다 반복하는 처리의 일부로서 수행할 수 있다. 예를 들면 복호 대상 블록에 대한 깊이 정보가 주어지는 경우가 해당된다.

복호 대상 블록마다 반복되는 처리로는, 우선 대응 영역 탐색부(308)에서 시점 합성 화상을 사용하여 블록blk에 대응하는 참조 프레임상의 대응 블록을 찾아낸다(단계Sc5). 이 처리는 제1 실시형태의 단계Sa5와 동일하며 매칭 코스트 및 탐색 범위 등은 부호화측에서 사용한 것과 같은 것을 사용한다. 아울러 참조 프레임이란, 이미 복호 처리가 종료되어 얻어진 디코딩 화상이다. 이 데이터는, 복호 화상 메모리(311)에 축적되는 데이터이다.

*아울러 본 제3 실시형태에서는, 복호 대상 프레임과 같은 카메라로 촬영되고 복호 대상 프레임과는 다른 시각에 촬영된 화상을 사용한다. 그러나 복호 대상 프레임과는 다른 카메라로 촬영된 프레임이라도 복호 대상 프레임보다 먼저 처리된 프레임이라면 어떠한 프레임을 사용해도 좋다.

대응 블록이 결정되면, 제1 실시형태의 단계Sa6와 같은 방법으로 움직임 보상 예측부(309)에서 블록blk에 대한 예측 화상Pred를 생성한다(단계Sc6). 그리고 예측 잔차 복호부(310)에서, 입력된 부호화 데이터로부터 예측 잔차를 복호하는 복호 예측 잔차DecRes를 얻는다(단계Sc7). 이 처리는 제1 실시형태의 단계Sa8과 동일하며, 부호화측에서 예측 잔차를 부호화할 때 사용한 방법의 역처리로 복호를 행한다.

그리고 제1 실시형태의 단계Sa9와 마찬가지로 복호 화상 산출부(312)는 얻어진 복호 예측 잔차DecRes에 예측 신호Pred를 가산하여 블록blk에 대한 디코딩 화상Dec_cur[blk]를 생성한다(단계Sc8). 생성된 디코딩 화상은 다시점 영상 복호 장치(300)의 출력이 됨과 동시에 이후의 프레임에서 예측에 사용하기 위해 복호 화상 메모리(311)에 축적한다.

D. 제4 실시형태

다음으로, 본 발명의 제4 실시형태에 대해서 설명하기로 한다.

도 7은 본 제4 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다. 도 7에서 다시점 영상 복호 장치(400)는, 부호화 데이터 입력부(401), 부호화 데이터 메모리(402), 참조 시점 프레임 입력부(403), 시점 합성부(404), 시점 합성 화상 메모리(405), 대응 영역 탐색부(406), 예측 벡터 생성부(407), 움직임 벡터 복호부(408), 움직임 벡터 메모리(409), 움직임 보상 예측부(410), 화상 복호부(411) 및 복호 화상 메모리(412)를 구비하고 있다.

부호화 데이터 입력부(401)는 복호 대상이 되는 영상 프레임의 부호화 데이터를 입력한다. 부호화 데이터 메모리(402)는 입력된 부호화 데이터를 축적한다. 참조 시점 프레임 입력부(403)는 복호 대상 프레임과는 다른 시점에 대한 영상 프레임을 입력한다. 시점 합성부(404)는 입력된 참조 시점 프레임을 사용하여 복호 대상 프레임에 대한 시점 합성 화상을 생성한다.

시점 합성 화상 메모리(405)는 생성된 시점 합성 화상을 축적한다. 대응 영역 탐색부(406)는 시점 합성 화상의 복호 단위 블록마다 움직임 보상 예측 참조 프레임에서의 대응 블록을 나타내는 추정 벡터를 탐색한다. 예측 벡터 생성부(407)는 복호 대상 블록의 인접 블록에서 움직임 보상에 사용된 움직임 벡터와 추정 벡터로부터 복호 대상 블록의 움직임 벡터에 대한 예측 벡터를 생성한다.

움직임 벡터 복호부(408)는 생성된 예측 벡터를 사용하여 예측 부호화된 움직임 벡터를 부호화 데이터로부터 복호한다. 움직임 벡터 메모리(409)는 움직임 벡터를 축적한다. 움직임 보상 예측부(410)는 복호된 움직임 벡터에 기초하여 움직임 보상 예측 화상을 생성한다. 화상 복호부(411)는 움직임 보상 예측 화상을 받아 예측 부호화된 복호 대상 프레임을 복호하고 복호 화상을 출력한다. 복호 화상 메모리(412)는 복호 화상을 축적한다.

도 8은 본 제4 실시형태에 의한 다시점 영상 복호 장치(400)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제4 실시형태에 의한 다시점 영상 복호 장치(400)가 실행하는 처리에 대해서 상세히 설명한다.

우선 부호화 데이터 입력부(401)에서 복호 대상 프레임의 부호화 데이터가 입력되어 부호화 데이터 메모리(402)에 저장된다(단계Sd1). 또 참조 시점 프레임 입력부(403)에서 복호 대상 프레임과 같은 시각에 참조 시점에서 촬영된 참조 시점 프레임Ref_n(n=1,2,…, N)이 입력된다(단계Sd1). n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다. 아울러 부호화 데이터에는 영상 신호의 예측 잔차와 영상 예측에 사용한 움직임 벡터의 예측 잔차의 적어도 2종류의 데이터가 포함되어 있다.

*다음으로, 시점 합성부(404)에서 참조 시점 프레임을 사용하여 복호 대상 프레임과 같은 시각에 같은 시점에서 촬영된 화상을 합성하고, 생성된 시점 합성 화상Syn을 시점 합성 화상 메모리(405)에 축적한다(단계Sd2). 여기에서 행해지는 처리는 제2 실시형태의 단계Sb2와 동일한 것이다.

복호 대상 프레임에 대한 시점 합성 화상이 생성되면, 미리 정해진 블록마다 대응점 탐색이나 예측 화상 생성을 하면서 복호 대상 프레임의 영상 신호 및 움직임 벡터를 복호한다(단계Sd3∼Sd11). 즉, 복호 대상 블록 인덱스를 blk, 총복호 대상 블록수를 numBlks로 표시한다면, blk를 0으로 초기화한 후(단계Sd3), blk에 1을 가산하면서(단계Sd10) blk가 numBlks가 될 때까지(단계Sd11) 이하의 처리(단계Sd4∼Sd9)를 반복한다. 아울러 시점 합성 화상의 생성을 복호 대상 블록마다 할 수 있다면, 그 처리도 복호 대상 블록마다 반복하는 처리의 일부로서 수행할 수 있다. 예를 들면 복호 대상 프레임에 대한 깊이 정보가 주어져 있는 경우가 해당된다.

복호 대상 블록마다 반복되는 처리로는, 우선 대응 영역 탐색부(406)에서 시점 합성 화상Syn[blk]에 대응하는 참조 프레임상의 대응 블록을 찾아낸다(단계Sd4). 그 대응 블록을 나타내기 위한 블록blk와의 변위를 나타내는 2차원 벡터를, 본 제4 실시형태에서는 추정 벡터vec라고 부른다. 여기에서의 처리는 제2 실시형태의 단계Sb10과 같다. 단, 본 제4 실시형태는 신뢰도를 사용하지 않는 예를 나타내고 있다. 제3 실시형태와 같이 신뢰도를 설정하여 사용해도 좋다.

추정 벡터vec가 얻어지면, 예측 벡터 생성부(407)에서 움직임 벡터 메모리(409)에 축적되어 있는 복호 대상 블록의 인접 블록에 사용된 움직임 벡터와 추정 벡터를 사용하여 복호 대상 블록의 움직임 벡터mv에 대한 예측 벡터pmv를 생성한다(단계Sd5). 여기에서의 처리는 제2 실시형태의 단계Sb11와 같다.

예측 벡터의 생성이 종료되면, 움직임 벡터 복호부(408)에서 복호 대상 블록blk에서의 움직임 벡터mv를 부호화 데이터로부터 복호한다(단계Sd6). 움직임 벡터mv는 예측 벡터pmv를 사용하여 예측 부호화되어 있고, 부호화 데이터로부터 예측 잔차 벡터dmv를 복호하고 예측 잔차 벡터dmv에 예측 벡터pmv를 더함으로써 움직임 벡터mv를 얻는다. 복호된 움직임 벡터mv는 움직임 보상 예측부(410)에 보내짐과 동시에 움직임 벡터 메모리(409)에 축적하여 이후의 복호 대상 블록의 움직임 벡터를 복호할 때에 이용된다.

복호 대상 블록에 대한 움직임 벡터가 얻어지면, 움직임 보상 예측부(410)에서 복호 대상 블록에 대한 움직임 보상 예측 신호Pred[blk]를 생성한다(단계Sd7). 이 처리는 제2 실시형태의 단계Sb5와 같다.

움직임 보상 예측 신호가 얻어지면, 화상 복호부(411)에서 예측 부호화된 복호 대상 프레임을 복호한다. 구체적으로는 부호화 데이터로부터 예측 잔차 신호DecRes를 복호하고(단계Sd8), 얻어진 복호 예측 잔차DecRes에 움직임 보상 예측 신호Pred를 가산하여 블록blk에 대한 디코딩 화상Dec_cur[blk]를 생성한다(단계Sd9). 생성된 디코딩 화상은 다시점 영상 복호 장치(400)의 출력이 됨과 동시에 이후의 프레임에서 예측에 사용하기 위해 복호 화상 메모리(412)에 축적한다.

상술한 제1 내지 제4 실시형태에서는, 시점 합성 화상이나 참조 프레임을 그대로 사용하는데, 시점 합성 화상이나 참조 프레임에 필름 그레인이나 부호화 왜곡 등의 노이즈가 발생하는 경우 그 영향을 받아 대응 영역 탐색 정밀도가 저하될 가능성이 있다. 이 노이즈는 고주파 성분이라고 가정할 수 있기 때문에 대응 영역 탐색에 사용하는 프레임(시점 합성 화상이나 참조 프레임)에 대해 로 패스 필터(low pass filter)를 가한(applied) 후 탐색함으로써 그 영향을 줄일 수 있다. 또 다른 방법으로서, 움직임 벡터가 공간적으로 상관을 갖는 것을 이용하여 블록마다 추정한 움직임 벡터에 대해 평균치 필터나 메디안(median) 필터를 가함으로써 노이즈에 의해 잘못된 움직임 벡터가 추정되는 것을 방지할 수 있다.

E. 제5 실시형태

다음으로, 본 발명의 제5 실시형태에 대해서 설명하기로 한다.

도 9는 본 제5 실시형태에 의한 움직임 벡터 추정 장치의 구성을 도시한 블록도이다. 도 9에 도시한 바와 같이 움직임 벡터 추정 장치(500)는, 참조 시점 영상 입력부(501), 카메라 정보 입력부(502), 시점 합성부(503), 로 패스 필터부(504), 대응 영역 탐색부(505) 및 움직임 벡터 평활화부(smoothing unit, 506)를 구비하고 있다.

참조 시점 영상 입력부(501)는 움직임 벡터를 구하는 프레임을 촬영한 처리 대상 시점과는 다른 시점(참조 시점)으로 촬영된 영상 프레임을 입력한다. 카메라 정보 입력부(502)는 처리 대상 시점 및 참조 시점의 카메라의 초점 거리 등을 나타내는 내부 파라미터나, 위치나 방향을 가리키는 외부 파라미터를 입력한다.

시점 합성부(503)는 참조 시점 영상을 사용하여 처리 대상 시점에 대한 시점 합성 영상을 생성한다. 로 패스 필터부(504)는 로 패스 필터를 가하여 시점 합성 영상에 포함되는 노이즈를 줄인다. 대응 영역 탐색부(505)는 시점 합성 영상이 있는 프레임의 움직임 추정 단위 블록마다, 시점 합성 영상의 다른 프레임에서의 대응 블록을 나타내는 움직임 벡터를 탐색한다. 움직임 벡터 평활화부(506)는 움직임 벡터의 공간 상관이 높아지도록 움직임 벡터를 공간적으로 평활화한다.

도 10은 본 제5 실시형태에 의한 움직임 벡터 추정 장치(500)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제5 실시형태에 의한 움직임 벡터 추정 장치(500)가 실행하는 처리에 대해서 상세히 설명한다.

우선 참조 시점 화상 입력부(501)에서 참조 시점에서 촬영된 참조 시점 프레임Ref(n,t)가 입력되어 시점 합성부(503)에 보내진다(n=1,2,…,N, t=T1,T2)(단계Se1). 또 카메라 정보 입력부(502)에서 처리 대상 시점과 참조 시점의 카메라의 초점 거리 등을 나타내는 내부 파라미터 및 위치나 방향을 가리키는 외부 파라미터가 입력되어 시점 합성부(503)에 보내진다(단계Se1). n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다. t는 프레임의 촬영 시각을 가리키는 인덱스로서, 본 실시형태에서는 시각T2의 프레임의 블록마다 시각T1의 프레임의 블록과의 사이의 움직임 벡터를 추정하는 예를 설명한다.

다음으로, 시점 합성부(503)에서 참조 시점 프레임과 카메라 정보를 사용하여 처리 대상 시점에서 촬영된 화상을 촬영 시각마다 합성한다(단계Se2). 여기에서의 처리는, 제1 실시형태의 단계Sa2와 같다. 단, 여기에서는 시각T1과 T2 각각의 프레임에 대한 시점 합성 화상Syn_t를 합성한다.

시점 합성 화상Syn_t의 합성이 종료되면, 시점 합성 화상에 대해 로 패스 필터부(504)에 로 패스 필터가 가해져 노이즈가 줄어든 시점 합성 화상LPFSyn_t가 생성된다(단계Se3). 아울러 로 패스 필터에는 어떠한 것을 사용해도 좋지만, 대표적인 것으로서 평균치 필터가 있다. 평균치 필터는 어느 한 화소의 화소 신호를 인접한 화소의 화상 신호의 평균치로 바꾸는 필터이다.

로 패스 필터 처리가 종료되면, 대응 영역 탐색부(505)에서 움직임 벡터를 추정하는 대상의 시점 합성 화상LPFSyn_T2를 블록으로 분할하고 그 영역마다 대응 영역 탐색을 하여 움직임 벡터를 생성한다(단계Se4∼Se7). 즉, 움직임 추정 단위 블록 인덱스를 blk, 총움직임 추정 단위 블록수를 numBlks로 표시한다면, blk를 0으로 초기화한 후(단계Se4) blk에 1을 가산하면서(단계Se6) blk가 numBlks가 될 때까지(단계Se7) 시점 합성 화상LPFSyn_T2[blk]에 대응하는 블록을 시점 합성 화상LPFSyn_T1상에서 탐색하는 처리(단계Se5)를 반복한다.

대응 영역 탐색 처리(단계Se5)는, 사용하는 프레임이 다를 뿐 제1 실시형태의 단계Sa5와 같다. 즉, 수식(5)∼(8)에서 Syn을 LPFSyn_T2로, Dec_t를 LPFSyn_T1으로 치환한 매칭 코스트를 사용하여 수식(9)로 표시되는 (best_vec, best_t)의 조를 구하는 처리이다. 단, 본 실시형태에서는 t의 탐색 범위는 T1뿐이므로 best_t는 T1이 된다.

모든 블록에서 움직임 벡터가 얻어지면, 움직임 벡터 평활화부(506)에서 얻어진 움직임 벡터 집합{MV_blk}를 공간 상관이 높아지도록 평활화한다(단계Se8). 평활화된 벡터의 집합이 움직임 벡터 추정 장치(500)의 출력이 된다.

움직임 벡터의 평활화에는 어떠한 방법을 써도 좋지만, 예를 들면 평균치 필터를 가하는 방법이 있다. 여기에서 말하는 평균치 필터 처리는, 블록blk의 움직임 벡터를, 그 블록blk에 인접한 블록의 움직임 벡터의 평균치로 표시되는 벡터로 하는 처리이다. 아울러 여기에서의 움직임 벡터는 2차원 정보이므로 각각의 차원에서 평균치를 구하는 처리를 한다. 다른 구체예로서는 벡터 메디안 필터를 가하는 방법이 있다. 벡터 메디안 필터에서는 블록blk에 대해 우선 주변의 블록의 움직임 벡터의 집합X={MV_k}를 생성한다. 그리고 블록blk에 대한 평활화된 벡터를 다음 수식(13)에서 얻어지는 MV'_blk라고 한다.

[수식 13]

아울러 ∥v∥는 v의 놈(Norm)을 나타낸다. 놈에는 어떠한 것을 사용해도 좋지만, 대표적인 놈(Norm)으로서 L1놈과 L2놈이 있다. L1놈은 v의 각 성분의 절대값의 합이고, L2놈은 v의 각 성분의 제곱의 합이다. wi는 가중치이며 어떻게 설정해도 좋다. 예를 들면 다음 수식(14)에 의해 정해지는 값을 사용해도 좋다.

[수식 14]

아울러 제5 실시형태에서는 시점 합성 화상의 신뢰도를 계산하지 않았지만, 제1 실시형태와 같이 시점 합성 화상의 신뢰도를 계산하여 사용해도 좋다. 도 11은 이 경우에서의 움직임 벡터 추정 장치(500a)의 구성을 도시한 블록도이다. 움직임 벡터 추정 장치(500a)는 도 9에 도시한 움직임 벡터 추정 장치(500)가 구비한 구성 요소에 추가하여 신뢰도 설정부(507)을 구비하고 있다. 신뢰도 설정부(507)의 구성은 예를 들면 도 1에 도시한 신뢰도 설정부(107)의 구성과 동일하다. 단, 움직임 벡터 추정 장치(500a)에서는 프레임(화상)이 아닌 영상이 입력되는 점이 움직임 벡터 추정 장치(500)와 다르다. 또 제5 실시형태에서는 대응 영역을 탐색하는 프레임도 시점 합성 화상이므로 탐색 공간이 되는 시점 합성 화상에 대해서도 신뢰도를 계산하여 사용해도 좋다. 또한 각각의 화상에 대해 신뢰도를 계산하여 동시에 사용해도 좋다. 신뢰도를 동시에 사용할 경우 수식(5)∼(8)에 대응하는 매칭 코스트를 계산하기 위한 수식은 다음 수식(15)∼(18)가 된다. 아울러 ξ는 탐색 공간이 되는 시점 대상 화상에 대한 신뢰도이다.

[수식 15]

[수식 16]

[수식 17]

*[수식 18]

F.제6 실시형태

다음으로, 본 발명의 제6 실시형태에 대해서 설명하기로 한다.

도 12는 본 제6 실시형태에 관한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다. 도 12에 도시한 바와 같이 다시점 영상 부호화 장치(600)는 부호화 대상 프레임 입력부(601), 부호화 대상 화상 메모리(602), 참조 시점 프레임 입력부(603), 참조 시점 화상 메모리(604), 시점 합성부(605), 로 패스 필터부(606), 시점 합성 화상 메모리(607), 신뢰도 설정부(608), 대응 영역 탐색부(609), 움직임 벡터 평활화부(610), 움직임 보상 예측부(611), 화상 부호화부(612), 화상 복호부(613) 및 복호 화상 메모리(614)를 구비하고 있다.

부호화 대상 프레임 입력부(601)는 부호화 대상이 되는 영상 프레임을 입력한다. 부호화 대상 화상 메모리(602)는 입력된 부호화 대상 프레임을 축적한다. 참조 시점 프레임 입력부(603)는 부호화 대상 프레임과는 다른 시점에 대한 영상 프레임을 입력한다. 참조 시점 화상 메모리(604)는 입력된 참조 시점 프레임을 축적한다. 시점 합성부(605)는 참조 시점 프레임을 사용하여 부호화 대상 프레임과 참조 프레임에 대한 시점 합성 화상을 생성한다.

로 패스 필터부(606)는 로 패스 필터를 가해 시점 합성 영상에 포함되는 노이즈를 줄인다. 시점 합성 화상 메모리(607)는 로 패스 필터 처리된 시점 합성 화상을 축적한다. 신뢰도 설정부(608)는 생성된 시점 합성 화상의 화소별 신뢰도를 설정한다. 대응 영역 탐색부(609)는 시점 합성 화상의 부호화 단위 블록마다 움직임 보상 예측 참조 프레임이 되어 부호화 대상 프레임과 같은 시점에서 촬영되고, 이미 부호화된 프레임상의 대응 블록을 나타내는 움직임 벡터를, 참조 프레임에 대해 생성되어 로 패스 필터 처리된 시점 합성 화상과 신뢰도를 사용하면서 탐색한다. 즉, 대응 영역 탐색을 할 때의 매칭 코스트에 신뢰도에 기초하여 가중치를 부여함으로써 시점 합성시의 오차에 휘둘리지 않고 고정밀도로 합성 가능한 화소를 중시하여 고정밀도의 움직임 벡터 추정을 실현한다. 움직임 벡터 평활화부(610)는 움직임 벡터의 공간 상관이 높아지도록 움직임 벡터를 공간적으로 평활화한다.

움직임 보상 예측부(611)는 결정한 대응 블록에 따라서 참조 프레임을 사용하여 움직임 보상 예측 화상을 생성한다. 화상 부호화부(612)는 움직임 보상 예측 화상을 받아 부호화 대상 프레임을 예측 부호화하고 부호화 데이터를 출력한다. 화상 복호부(613)는 움직임 보상 예측 화상과 부호화 데이터를 받아 부호화 대상 프레임을 복호하는 복호 화상을 출력한다. 복호 화상 메모리(614)는 부호화 대상 프레임의 복호 화상을 축적한다.

도 13은 본 제6 실시형태에 의한 다시점 영상 부호화 장치(600)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제6 실시형태에 의한 다시점 영상 부호화 장치(600)가 실행하는 처리에 대해서 상세히 설명한다.

우선 부호화 대상 프레임 입력부(601)에서 부호화 대상 프레임Org가 입력되어 부호화 대상 화상 메모리(602)에 저장된다(단계Sf1). 또 참조 시점 프레임 입력부(603)에서 참조 시점에서 촬영된 참조 시점 프레임Ref(n,t)가 입력되어(n=1,2,…,N) 참조 시점 화상 메모리(604)에 축적된다(단계Sf1). 여기에서 입력되는 참조 시점 프레임은 이미 부호화된 화상을 복호한 것으로 한다. 이것은, 복호 장치에서 얻어지는 정보와 같은 정보를 사용함으로써 드리프트 등의 부호화 노이즈 발생을 억제하기 위함이다. 단, 이러한 부호화 노이즈의 발생을 허용할 경우에는 부호화 전의 오리지널의 것이 입력되어도 좋다. 아울러 n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다. t는 프레임의 촬영 시각을 가리키는 인덱스로서, 부호화 대상 프레임Org의 촬영 시각(T)과 참조 프레임의 촬영 시각(T1,T2,…,Tm) 중 어느 하나를 나타낸다. 여기에서 m은 참조 프레임의 매수를 나타낸다.

다음으로, 시점 합성부(605)에서 참조 시점 프레임의 정보를 사용하여 부호화 대상 프레임과 같은 시점에서 촬영된 화상을 촬영 시각마다 합성한다(단계Sf2). 여기에서의 처리는 제1 실시형태의 단계Sa2와 같다. 단, 여기에서는 시각T,T1,T2,…,Tm 각각의 프레임에 대한 시점 합성 화상Syn_t를 합성한다.

시점 합성 화상Syn_t의 합성이 종료되면, 로 패스 필터부(606)에서 시점 합성 화상에 로 패스 필터가 가해져 노이즈가 줄어든 시점 합성 화상LPFSyn_t가 생성되어 시점 합성 화상 메모리(607)에 축적된다(단계Sf3). 아울러 로 패스 필터에는 어떠한 것을 사용해도 좋지만, 대표적인 것으로서 평균치 필터가 있다. 평균치 필터는 어느 한 화소의 출력 화소 신호를 인접한 화소의 입력 화상 신호의 평균치로 하는 필터이다.

다음으로, 신뢰도 설정부(608)에서 시점 합성 화상의 각 화소에 대해 그 화소에 대한 합성을 어느 정도의 확실성으로 실현할 수 있었는지를 나타내는 신뢰도ρ를 생성한다(단계Sf4). 여기에서의 처리는 제1 실시형태의 단계Sa3과 같다.

제1 실시형태와 마찬가지로, 시점 합성 화상 생성시에 대응점 탐색이나 스테레오법, 깊이 추정을 할 경우에는, 대응점의 정보나 깊이 정보를 구하는 처리 일부가 신뢰도 계산 일부와 동일해지는 경우가 있다. 그와 같은 경우에는 시점 합성 화상 생성과 신뢰도 계산을 동시에 수행함으로써 연산량을 삭감할 수 있다.

신뢰도의 계산이 종료되면 부호화 대상 프레임을 블록으로 분할하고 그 영역마다 대응 영역 탐색부(609)에서 대응 영역 탐색을 한다(단계Sf5). 이하에서는 분할한 블록의 인덱스를 blk로 표시한다. 대응 영역 탐색 처리(단계Sf5)는 사용하는 프레임이 다를 뿐 제1 실시형태의 단계Sa5와 같다. 즉, 수식(5)∼(8)에서 Syn을 LPFSyn_T로 치환하고 Dec를 LPFSyn으로 치환한 매칭 코스트를 사용하여 수식(9)로 표시되는 (best_vec,best_t)의 조를 구하는 처리이다. 단, 본 실시형태에서는 t의 탐색 범위는 T1∼Tm이다.

모든 블록에서 움직임 벡터가 얻어지면, 움직임 벡터 평활화부(610)에서 얻어진 움직임 벡터 집합{MV_blk}를 공간 상관이 높아지도록 평활화한다(단계Sf6). 여기에서의 처리는 제5 실시형태의 단계Se8과 동일하다. 단, 복수의 참조 프레임이 존재하는 경우 선택된 참조 프레임에 의해 움직임 벡터가 표현하고 있는 피사체의 운동이 생긴 시간이나 시간 방향이 다르다. 운동의 시간 방향은 부호화 대상 프레임을 기점으로 하여 과거의 운동인지 미래의 운동인지를 의미한다. 따라서 평균치 처리나 메디안 처리를 할 때에 참조 프레임이 같은 움직임 벡터만을 사용하여 계산할 필요가 있다. 즉, 평균치 필터 처리의 경우에는 인접한 블록의 움직임 벡터로, 또한 참조 프레임이 같은 움직임 벡터만을 사용하여 평균치를 계산한다. 벡터 메디안 필터의 예에서는, 움직임 벡터의 집합X를 주변 블록의 움직임 벡터로, 움직임 벡터mv_blk와 동일한 참조 프레임을 사용하고 있는 벡터의 집합으로 정의할 필요가 있다.

움직임 벡터의 평활화가 종료되면, 얻어진 움직임 벡터에 따라 움직임 보상 예측부(611)에서 움직임 보상 예측 신호Pred를 생성한다(단계Sf7). 여기에서의 처리는 제1 실시형태의 단계Sa6과 같다. 아울러 여기에서는 모든 블록에 대해 움직임 벡터가 얻어지기 때문에 프레임 전체의 움직임 보상 예측 신호를 생성한다.

움직임 보상 예측 신호가 얻어지면, 화상 부호화부(612)에서 움직임 보상 예측 신호Pred를 사용하여 부호화 대상 프레임Org를 예측 부호화한다. 구체적으로는, 부호화 대상 프레임Org와 움직임 보상 예측 신호Pred의 차분으로 표시되는 잔차 신호Res를 구해 부호화한다(단계Sf8). 잔차 신호의 부호화에는 어떠한 방법을 써도 좋다. 예를 들면, 비특허문헌 1에 기재된 H.264에서는 DCT 등의 주파수 변환, 양자화, 2치화, 엔트로피 부호화를 순서대로 실시함으로써 부호화를 행한다. 이 부호화 결과의 데이터는 본 제6 실시형태에 의한 다시점 영상 부호화 장치(600)의 출력이 된다.

부호화 결과의 데이터는 그 후의 프레임을 부호화할 때의 예측에 사용하기 위해 화상 복호부(613)에서 복호된다. 복호는, 우선 부호화된 예측 잔차 신호를 복호하고(단계Sf9), 얻어진 복호 예측 잔차 신호DecRes에 움직임 보상 예측 신호Pred를 더함으로써 로컬 디코딩 화상Dec_cur를 생성한다(단계Sf10). 얻어진 로컬 디코딩 화상은 복호 화상 메모리(614)에 축적된다. 아울러 복호에는 부호화에서 사용된 수법으로 얻어지는 부호화 데이터를 복호하기 위한 방법이 사용된다. H.264의 경우라면 엔트로피 복호, 역2치화, 역양자화, IDCT 등의 역주파수 변환 순서대로 처리를 실시함으로써 복호 예측 잔차 신호를 얻는다.

아울러 부호화 처리나 복호 처리는 프레임 전체에서 수행해도 좋고, H.264와 같이 블록마다 수행해도 좋다. 이러한 처리를 블록마다 할 경우에는 단계Sf7, 단계Sf8, 단계Sf9, 단계Sf10을 블록마다 반복하여 수행함으로써 움직임 보상 예측 신호를 축적하기 위한 일시 메모리의 양을 삭감할 수 있다.

본 실시형태는 상술한 제1 내지 제4 실시형태와 달리 참조 프레임상의 대응 영역을 구하기 위해 참조 프레임 그 자체를 사용하지 않고, 그 참조 프레임에 대해 생성된 시점 합성 화상을 사용하여 대응 영역을 구한다. 시점 합성 처리를 고정밀도로 할 수 있는 경우에는, 시점 합성 화상Syn과 디코딩 화상Dec는 거의 같다고 생각되기 때문에 시점 합성 화상Syn을 사용한 경우에도 본 실시형태의 효과가 동일하게 얻어진다.

이 경우에는, 참조 프레임과 같은 시각에 촬영된 참조 시점 프레임을 입력하고 참조 프레임에 대한 시점 합성 화상을 생성하여 축적할 필요가 있다. 본 실시형태에 의한 부호화 및 복호 처리가 연속하여 복수의 프레임에 적응되는 경우, 복호 화상 메모리에 처리 완료 프레임이 축적되어 있는 동안에 시점 합성 화상 메모리에 시점 합성 화상을 계속 축적함으로써 참조 프레임에 대한 시점 합성 화상을 부호화 대상 프레임마다 합성하는 것을 방지할 수 있다.

아울러 참조 프레임에 대한 시점 합성 화상을 사용할 경우, 대응 영역 탐색에서 복호 화상 메모리에 축적된 처리 완료 프레임을 필요로 하지 않기 때문에 대응 영역 탐색 처리는 부호화 처리나 복호 처리와 동기하여 수행할 필요는 없다. 그 결과, 병렬 연산 등이 가능해져 전체의 연산 시간을 삭감할 수 있는 효과가 얻어진다.

G.제7 실시형태

다음으로, 본 발명의 제7 실시형태에 대해서 설명한다.

도 14는 본 제7 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다. 도 7에 도시한 바와 같이 다시점 영상 부호화 장치(700)는 부호화 대상 프레임 입력부(701), 부호화 대상 화상 메모리(702), 움직임 추정부(703), 움직임 보상 예측부(704), 화상 부호화부(705), 화상 복호부(706), 복호 화상 메모리(707), 참조 시점 프레임 입력부(708), 시점 합성부(709), 로 패스 필터부(710), 시점 합성 화상 메모리(711), 대응 영역 탐색부(712), 벡터 평활화부(713), 예측 벡터 생성부(714), 벡터 정보 부호화부(715) 및 움직임 벡터 메모리(716)를 구비하고 있다.

부호화 대상 프레임 입력부(701)는 부호화 대상이 되는 영상 프레임을 입력한다. 부호화 대상 화상 메모리(702)는 입력된 부호화 대상 프레임을 축적한다. 움직임 추정부(703)는 부호화 대상 프레임의 부호화 단위 블록마다 부호화 대상 프레임과 참조 프레임 간의 움직임을 추정한다. 움직임 보상 예측부(704)는 움직임 추정 결과에 기초하여 움직임 보상 예측 화상을 생성한다. 화상 부호화부(705)는 움직임 보상 예측 화상을 받아 부호화 대상 프레임을 예측 부호화하여 부호화 데이터를 출력한다. 화상 복호부(706)는 움직임 보상 예측 화상과 부호화 데이터를 받아 부호화 대상 프레임을 복호하는 복호 화상을 출력한다. 복호 화상 메모리(707)는 부호화 대상 프레임의 복호 화상을 축적한다.

참조 시점 프레임 입력부(708)는 부호화 대상 프레임과는 다른 시점에 대한 영상 프레임을 입력한다. 시점 합성부(709)는 참조 시점 프레임을 사용하여 부호화 대상 프레임과 참조 프레임에 대한 시점 합성 화상을 생성한다. 로 패스 필터부(710)는 로 패스 필터를 가해 시점 합성 영상에 포함되는 노이즈를 줄인다. 시점 합성 화상 메모리(711)는 로 패스 필터 처리된 시점 합성 화상을 축적한다.

대응 영역 탐색부(712)는 시점 합성 화상의 부호화 단위 블록마다 움직임 보상 예측 참조 프레임이 되고, 부호화 대상 프레임과 같은 시점에서 촬영되어 이미 부호화된 프레임상의 대응 블록을 나타내는 벡터를, 참조 프레임에 대해 생성되어 로 패스 필터 처리된 시점 합성 화상을 사용하면서 탐색한다. 벡터 평활화부(713)는 얻어진 벡터의 공간 상관이 높아지도록 벡터를 공간적으로 평활화하여 추정 벡터를 생성한다.

예측 벡터 생성부(714)는 인접 블록에서 움직임 보상에 사용된 움직임 벡터와 추정 벡터로부터 부호화 대상 블록의 움직임 벡터에 대한 예측 벡터를 생성한다. 벡터 정보 부호화부(715)는 생성된 예측 벡터를 사용하여 움직임 벡터를 예측 부호화한다. 움직임 벡터 메모리(716)는 움직임 벡터를 축적한다.

도 15는 본 제7 실시형태에 의한 다시점 영상 부호화 장치(700)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제7 실시형태에 의한 다시점 영상 부호화 장치(700)가 실행하는 처리에 대해서 상세히 설명한다.

우선 부호화 대상 프레임 입력부(701)로부터 부호화 대상 프레임Org가 입력되어 부호화 대상 화상 메모리(702)에 저장된다(단계Sg1). 다음으로, 부호화 대상 프레임을 블록으로 분할하고 그 영역마다 움직임 보상 예측을 하면서 부호화 대상 프레임의 영상 신호를 부호화한다(단계Sg2∼Sg5). 이하에서는 부호화 대상 블록 인덱스를 blk로 표시한다.

부호화 처리에서, 우선 움직임 추정부(703)에서 블록blk마다 부호화 대상 블록Org[blk]에 대응하는 참조 프레임상의 블록을 찾아낸다(단계Sg2). 이 처리는 움직임 예측이라고 불리며 제2 실시형태의 단계Sb4와 같다. 대응 블록을 표시하기 위해 사용되는 블록blk와의 변위를 나타내는 2차원 벡터를 움직임 벡터라고 부르고, 본 제7 실시형태에서는 mv로 표시한다. 움직임 벡터mv는 다음 블록의 처리에 사용하기 위해 움직임 벡터 메모리(716)에 축적된다. 아울러 H.264와 같이 블록마다 참조 프레임을 선택할 경우 선택된 참조 프레임을 나타내는 정보도 움직임 벡터 메모리(716)에 축적된다.

움직임 추정이 종료되면, 움직임 보상 예측부(704)에서 부호화 대상 프레임Org에 대한 움직임 보상 예측 신호Pred를 생성한다(단계Sg3). 여기에서의 처리는 제2 실시형태의 단계Sb5와 같다. 움직임 보상 예측 신호가 얻어지면, 화상 부호화부(705)에서 움직임 보상 예측 신호Pred를 사용하여 부호화 대상 프레임을 예측 부호화한다(단계Sg4). 여기에서의 처리는 제2 실시형태의 단계Sb6과 같다. 이 부호화 결과의 데이터는 본 제7 실시형태에 의한 다시점 영상 부호화 장치(700)의 출력의 일부가 된다. 부호화 결과의 데이터는 그 후의 프레임을 부호화할 때의 예측에 사용하기 위해 화상 복호부(706)에서 복호된다(단계Sg5). 여기에서의 처리는 제2 실시형태의 단계Sb7과 단계Sb8의 처리와 동일하다. 복호된 로컬 디코딩 화상Dec_cur은 복호 화상 메모리(707)에 축적된다.

아울러 도 15에 도시한 흐름도에서는 단계Sg3∼Sg5의 처리를 프레임 단위로 하는 예로 도시하였으나, 블록마다 단계Sg3∼Sg5를 반복하도록 실시해도 좋다. 그 경우 움직임 보상 예측 신호는 블록 단위로 유지하면 되기 때문에 일시적으로 사용하는 메모리량을 삭감할 수 있다.

부호화 대상 프레임의 화상 신호의 부호화가 종료되면 그 부호화를 행할 때에 사용한 움직임 보상 예측 신호를 생성하기 위한 움직임 벡터mv의 부호화를 행한다. 따라서 우선, 참조 시점 프레임 입력부(708)로부터 참조 시점에서 촬영된 참조 시점 프레임Ref(n,t)를 입력한다(n=1,2,…,N)(단계Sg6). 여기에서 입력되는 참조 시점 프레임은 이미 부호화된 화상을 복호한 것으로 한다. 이것은, 복호 장치에서 얻어지는 정보와 같은 정보를 사용함으로써 드리프트 등 부호화 노이즈의 발생을 억제하기 위함이다. 단, 이러한 부호화 노이즈의 발생을 허용할 경우에는 부호화 전의 오리지널의 것이 입력되어도 좋다. 아울러 n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다. t는 프레임의 촬영 시각을 가리키는 인덱스로서, 부호화 대상 프레임Org의 촬영 시각(T)과 참조 프레임의 촬영 시각(T1,T2,…,Tm) 중 어느 하나를 나타낸다. 여기에서 m은 참조 프레임의 매수를 나타낸다.

다음으로, 시점 합성부(709)에서 참조 시점 프레임의 정보를 사용하여 부호화 대상 프레임과 같은 시점에서 촬영된 화상을 촬영 시각마다 합성한다(단계Sg7). 여기에서의 처리는 제6 실시형태의 단계Sf2와 동일하다.

시점 합성 화상Syn_t의 합성이 종료되면, 로 패스 필터부(710)에서 시점 합성 화상에 로 패스 필터가 가해져 노이즈가 줄어든 시점 합성 화상LPFSyn_t가 생성되어 시점 합성 화상 메모리(711)에 축적된다(단계Sg8). 여기에서의 처리는 제6 실시형태의 단계Sf3와 동일하다.

로 패스 필터 처리가 종료되면, 부호화 대상 프레임에 대해 생성된 시점 합성 화상LPFSyn_T를 블록으로 분할하고, 그 영역마다 대응 영역 탐색부(712)에서 대응 영역 탐색을 한다(단계Sg9). 아울러 시점 합성 화상LPFSyn_T를 블록으로 분할할 때에는 단계Sg3에서 움직임 보상 예측을 하는 블록과 같은 블록 위치와 사이즈로 분할한다. 여기에서의 처리는 분할된 블록마다 수식(5)∼(8)에서 Syn을 LPFSyn_T로 치환하고, Dec를 LPFSyn으로 치환한 매칭 코스트를 사용하여 수식(9)를 충족하는 (best_vec,best_t)의 조를 구하는 처리이다. 단, 본 실시형태에서는 t로서 T1∼Tm의 각각에 대해 best_vec를 구한다. 즉 블록마다 best_vec의 집합이 얻어진다. 아울러 본 실시형태는 시점 합성 신뢰도를 사용하지 않지만, 제6 실시형태에서 나타낸 바와 같이 신뢰도를 계산하여 사용해도 좋다.

모든 블록에서 벡터가 얻어지면, 움직임 벡터 평활화부(713)에서, 얻어진 벡터 집합{MV_blk}를 공간 상관이 높아지도록 평활화함으로써 추정 벡터의 집합{vec(blk,t)}를 생성한다(단계Sg10). 여기에서의 처리는 제5 실시형태의 단계Se8과 같다. 아울러 평활화 처리는 참조 프레임의 촬영 시각마다 행해진다.

추정 벡터의 집합이 얻어지면, 예측 벡터 생성부(714)에서 블록마다 움직임 벡터 메모리(716)에 축적되어 있는 처리 블록의 인접 블록에 사용된 움직임 벡터와, 처리 블록의 추정 벡터를 사용하여 부호화 대상 블록의 움직임 벡터mv에 대한 예측 벡터pmv를 생성한다(단계Sg11). 아울러 여기에서의 처리는 제2 실시형태의 단계Sb11와 같다. 단, 본 실시형태에서는 복수의 참조 프레임으로부터 블록마다 최적의 프레임을 선택하여 움직임 벡터를 생성하기 때문에 각 벡터의 참조 프레임을 고려한 예측 벡터 생성법을 사용해도 좋다.

벡터의 참조 프레임을 고려한 예측 벡터 생성법으로서는 다음의 방법을 써도 좋다. 우선, 처리 블록의 움직임 벡터의 참조 프레임과, 처리 블록의 인접 블록에 사용된 움직임 벡터의 참조 프레임을 비교하여 인접 블록에서 사용된 움직임 벡터 중 참조 프레임이 처리 블록의 움직임 벡터의 참조 프레임과 일치한 움직임 벡터를 예측 벡터 후보로서 설정한다. 예측 벡터 후보가 발견되지 않은 경우에는 처리 블록에서 참조 프레임이 일치하는 추정 벡터를 예측 벡터로 한다. 예측 벡터 후보가 발견된 경우에는, 그 중에서 처리 블록에서 참조 프레임이 일치하는 추정 벡터에 가장 가까운 벡터를 예측 벡터로 한다. 그때 처리 블록에서 참조 프레임이 일치하는 추정 벡터와 일정 이상 떨어진 벡터는 제외해도 좋다. 아울러 제외 처리에 의해 예측 벡터 후보가 없어진 경우에는 처리 블록에서 참조 프레임이 일치하는 추정 벡터를 예측 벡터로 한다.

또 벡터의 참조 프레임을 고려한 예측 벡터 생성법으로서 다음의 방법을 사용해도 좋다. 우선, 처리 블록의 주변 블록에서 참조 프레임이 같은 블록으로 이루어진 집합을 정의한다. 이 집합이 공집합인 경우 처리 블록에서 참조 프레임이 일치하는 추정 벡터를 예측 벡터로 한다. 이 집합이 공집합이 아닌 경우 집합에 포함되는 블록마다 그 블록에서 참조 프레임이 일치하는 추정 벡터와, 처리 블록에서 참조 프레임이 일치하는 추정 벡터와의 유사도를 계산한다. 그리고 가장 높은 유사도를 가진 블록의 움직임 벡터를 예측 벡터로 한다. 아울러 모든 블록에 대해 유사도가 일정 미만인 경우에는 처리 블록에서 참조 프레임이 일치하는 추정 벡터를 예측 벡터로 해도 상관없다. 또 일정 이상 유사도의 블록이 여러 개 존재할 경우에는 그들 블록에 대한 움직임 벡터의 평균 벡터를 예측 벡터로 해도 상관없다.

예측 벡터의 생성이 종료되면, 블록마다 움직임 벡터mv를 벡터 정보 부호화부(715)에서 예측 부호화한다(단계Sg12). 여기에서의 처리는 제2 실시형태의 단계Sb12와 같다. 부호화 결과는 다시점 영상 부호화 장치(700)의 출력 중 하나가 된다.

도 15에 도시한 흐름도에서는 단계Sg11과 단계Sg12를 프레임 단위로 수행하는 예로 도시하였다. 이 경우, 단계Sg11에서 예측 벡터를 생성할 때에 단계Sg12에서의 부호화 순서를 고려하여 인접 블록으로서 부호화 완료된 블록만을 사용하도록 제한해야 한다. 이것은 복호시에 복호 전의 정보가 필요하게 되어 복호할 수 없게 되는 것을 방지하기 위함이다. 아울러 단계Sg11과 단계Sg12는 블록마다 번갈아 실시해도 좋다. 그 경우 부호화 순서를 고려하지 않고 부호화된 인접 영역을 동정(同定)할 수 있게 된다. 또 예측 벡터를 블록 단위로 유지하면 되므로 일시적으로 사용하는 메모리량을 삭감할 수 있게 된다.

또 본 실시형태에서는, 단계Sg9에서 참조 프레임마다 벡터를 생성했다. 그러나 처리 블록에 대한 움직임 벡터의 참조 프레임에 대해서만 벡터를 생성하도록 해도 좋고, 처리 블록 또는 처리 블록의 주변 블록 중 어느 하나에 대한 움직임 벡터의 참조 프레임에 대해서만 벡터를 생성하도록 해도 좋다. 이와 같이 함으로써 단계Sg9의 연산 코스트를 삭감할 수 있다. 단, 이 경우 단계Sg10에서의 벡터 평활화는, 제6 실시형태의 단계Sf6과 마찬가지로 참조 프레임이 같은 움직임 벡터만을 사용하여 처리할 필요가 있다.

H.제8 실시형태

다음으로, 본 발명의 제8 실시형태에 대해서 설명하기로 한다.

도 16은 본 제8 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다. 도 16에 도시한 바와 같이 다시점 영상 복호 장치(800)는 부호화 데이터 입력부(801), 부호화 데이터 메모리(802), 참조 시점 프레임 입력부(803), 참조 시점 화상 메모리(804), 시점 합성부(805), 로 패스 필터부(806), 시점 합성 화상 메모리(807), 신뢰도 설정부(808), 대응 영역 탐색부(809), 움직임 벡터 평활화부(810), 움직임 보상 예측부(811), 화상 복호부(812) 및 복호 화상 메모리(813)를 구비하고 있다.

부호화 데이터 입력부(801)는 복호 대상이 되는 영상 프레임의 부호화 데이터를 입력한다. 부호화 데이터 메모리(802)는 입력된 부호화 데이터를 축적한다. 참조 시점 프레임 입력부(803)는 복호 대상 프레임과는 다른 시점에 대한 영상 프레임을 입력한다. 참조 시점 화상 메모리(804)는 입력된 참조 시점 프레임을 축적한다. 시점 합성부(805)는 참조 시점 프레임을 사용하여 복호 대상 프레임과 참조 프레임에 대한 시점 합성 화상을 생성한다.

로 패스 필터부(806)는 로 패스 필터를 가해 시점 합성 영상에 포함되는 노이즈를 줄인다. 시점 합성 화상 메모리(807)는 로 패스 필터 처리된 시점 합성 화상을 축적한다. 신뢰도 설정부(808)는 생성된 시점 합성 화상의 화소별 신뢰도를 설정한다. 대응 영역 탐색부(809)는 시점 합성 화상의 복호 단위 블록마다 움직임 보상 예측 참조 프레임이 되어, 복호 대상 프레임과 같은 시점에서 촬영되고 이미 복호 완료된 프레임상의 대응 블록을 나타내는 움직임 벡터를, 참조 프레임에 대해 생성되어 로 패스 필터 처리된 시점 합성 화상과 신뢰도를 사용하면서 탐색한다. 즉, 대응 영역 탐색을 할 때의 매칭 코스트에 신뢰도에 기초하여 가중치를 부여함으로써 시점 합성시의 오차에 휘둘리지 않고 고정밀도로 합성 가능한 화소를 중시하여 고정밀도의 움직임 벡터 추정을 실현한다. 움직임 벡터 평활화부(810)는 움직임 벡터의 공간 상관이 높아지도록 움직임 벡터를 공간적으로 평활화한다.

움직임 보상 예측부(811)는 결정한 대응 블록에 따라서 참조 프레임을 사용하여 움직임 보상 예측 화상을 생성한다. 화상 복호부(812)는 움직임 보상 예측 화상과 부호화 데이터를 받아 복호 대상 프레임을 복호하여 복호 화상을 출력한다. 복호 화상 메모리(813)는 복호 대상 프레임의 복호 화상을 축적한다.

도 17은 본 제8 실시형태에 의한 다시점 영상 복호 장치(800)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라서 제8 실시형태에 의한 다시점 영상 복호 장치(800)가 실행하는 처리에 대해서 상세히 설명하기로 한다.

우선 부호화 데이터 입력부(801)로부터 복호 대상 프레임의 부호화 데이터가 입력되어 부호화 데이터 메모리(802)에 저장된다(단계Sh1). 또 참조 시점 프레임 입력부(803)로부터 참조 시점에서 촬영된 참조 시점 프레임Ref(n,t)가 입력되어(n=1,2,…,N) 참조 시점 화상 메모리(804)에 축적된다(단계Sh1). n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다. t는 프레임의 촬영 시각을 가리키는 인덱스로서, 복호 대상 프레임Dec_cur의 촬영 시각(T)과 참조 프레임의 촬영 시각(T1,T2,…,Tm) 중 어느 하나를 나타낸다. 여기에서 m은 참조 프레임의 매수를 나타낸다.

다음으로, 시점 합성부(805)에서 참조 시점 프레임의 정보를 사용하여 복호 대상 프레임과 같은 시점에서 촬영된 화상을 촬영 시각마다 합성한다(단계Sh2). 여기에서의 처리는 제6 실시형태의 단계Sf2와 같다. 즉, 여기에서는 시각T,T1,T2,…,Tm 각각의 프레임에 대한 시점 합성 화상Syn_t를 합성한다.

시점 합성 화상(Syn_t)의 합성이 종료되면, 로 패스 필터부(806)에서 시점 합성 화상에 로 패스 필터를 가하고 노이즈가 줄어든 시점 합성 화상LPFSyn_t를 시점 합성 화상 메모리(807)에 축적한다(단계Sh3). 여기에서의 처리는 제6 실시형태의 단계Sf3와 같다. 아울러 로 패스 필터에는 어떠한 것을 사용해도 좋지만, 대표적인 것으로서 평균치 필터가 있다. 평균치 필터는 어느 한 화소의 출력 화소 신호를 인접한 화소의 입력 화상 신호의 평균치로 하는 필터이다.

다음으로, 신뢰도 설정부(808)에서 시점 합성 화상의 각 화소에 대해 그 화소에 대한 합성을 어느 정도의 확실성으로 실현할 수 있었는지를 나타내는 신뢰도ρ를 생성한다(단계Sh4). 여기에서의 처리는 제6 실시형태의 단계Sf4와 같다.

제6 실시형태와 마찬가지로, 시점 합성 화상 생성시에 대응점 탐색이나 스테레오법, 깊이 추정을 할 경우에는 대응점의 정보나 깊이 정보를 구하는 처리 일부가 신뢰도 계산 일부와 동일해지는 경우가 있다. 그와 같은 경우에는 시점 합성 화상 생성과 신뢰도 계산을 동시에 행함으로써 연산량을 삭감할 수 있다.

신뢰도의 계산이 종료되면 미리 정해진 블록마다 대응 영역 탐색부(809)에서 대응 영역 탐색을 한다(단계Sh5). 이하에서는 블록의 인덱스를 blk로 표시한다. 여기에서의 처리는 제6 실시형태의 단계Sf5와 같다.

모든 블록에서 움직임 벡터가 얻어지면, 움직임 벡터 평활화부(810)에서 얻어진 움직임 벡터 집합{MV_blk}를 공간 상관이 높아지도록 평활화한다(단계Sh6). 여기에서의 처리는 제6 실시형태의 단계Sf6과 같다.

움직임 벡터의 평활화가 종료되면, 얻어진 움직임 벡터에 따라 움직임 보상 예측부(811)에서 움직임 보상 예측 신호Pred를 생성한다(단계Sh7). 여기에서의 처리는 제6 실시형태의 단계Sf7와 같다.

움직임 보상 예측 신호가 얻어지면, 화상 복호부(812)에서 움직임 보상 예측 신호Pred를 사용하여 입력된 부호화 데이터로부터 복호 대상 프레임(디코딩 화상)Dec_cur을 복호한다(단계Sh8). 여기에서의 처리는 제6 실시형태의 단계Sf9와 단계Sf10을 합한 것과 동일하며, 부호화에 사용한 방법으로 행해지는 처리의 역처리로 복호를 행한다. 생성된 디코딩 화상은, 다시점 영상 복호 장치(800)의 출력이 됨과 동시에 이후의 프레임에서 예측에 사용하기 위해 복호 화상 메모리(813)에 축적한다.

아울러 복호 처리는 프레임 전체에서 수행해도 좋고 H.264와 같이 블록마다 수행해도 상관없다. 복호 처리를 블록마다 할 경우에는 단계Sh7과 단계Sh8을 블록마다 번갈아 행함으로써 움직임 보상 예측 신호를 축적하기 위한 일시 메모리의 양을 삭감할 수 있다.

I.제9 실시형태

다음으로, 본 발명의 제9 실시형태에 대해서 설명하기로 한다.

도 18은 본 제9 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다. 도 9에서, 다시점 영상 복호 장치(900)는 부호화 데이터 입력부(901), 부호화 데이터 메모리(902), 참조 시점 프레임 입력부(903), 시점 합성부(904), 로 패스 필터부(905), 시점 합성 화상 메모리(906), 대응 영역 탐색부(907), 벡터 평활화부(908), 예측 벡터 생성부(909), 움직임 벡터 복호부(910), 움직임 벡터 메모리(911), 움직임 보상 예측부(912), 화상 복호부(913) 및 복호 화상 메모리(914)를 구비하고 있다.

부호화 데이터 입력부(901)는 복호 대상이 되는 영상 프레임의 부호화 데이터를 입력한다. 부호화 데이터 메모리(902)는 입력된 부호화 데이터를 축적한다. 참조 시점 프레임 입력부(903)는 복호 대상 프레임과는 다른 참조 시점에 대한 영상 프레임을 입력한다. 시점 합성부(904)는 참조 시점 프레임을 사용하여 복호 대상 프레임과 참조 프레임에 대한 시점 합성 화상을 생성한다. 로 패스 필터부(905)는 로 패스 필터를 가해 시점 합성 영상에 포함되는 노이즈를 줄인다. 시점 합성 화상 메모리(906)는 로 패스 필터 처리된 시점 합성 화상을 축적한다.

대응 영역 탐색부(907)는 시점 합성 화상의 복호 단위 블록마다 움직임 보상 예측 참조 프레임이 되어, 복호 대상 프레임과 같은 시점에서 촬영되고 이미 복호 완료된 프레임상의 대응 블록을 나타내는 벡터를, 참조 프레임에 대해 생성되어 로 패스 필터 처리된 시점 합성 화상을 사용하면서 탐색한다. 벡터 평활화부(908)는 얻어진 벡터의 공간 상관이 높아지도록 벡터를 공간적으로 평활화하여 추정 벡터를 생성한다.

예측 벡터 생성부(909)는 복호 대상 블록의 인접 블록에서 움직임 보상에 사용된 움직임 벡터와 추정 벡터로부터 복호 대상 블록의 움직임 벡터에 대한 예측 벡터를 생성한다. 움직임 벡터 복호부(910)는 생성된 예측 벡터를 사용하여 예측 부호화된 움직임 벡터를 부호화 데이터로부터 복호한다. 움직임 벡터 메모리(911)는 복호된 움직임 벡터를 축적한다. 움직임 보상 예측부(912)는 복호된 움직임 벡터에 기초하여 움직임 보상 예측 화상을 생성한다. 화상 복호부(913)는 움직임 보상 예측 화상을 받아 예측 부호화된 복호 대상 프레임을 복호하고 복호 화상을 출력한다. 복호 화상 메모리(914)는 복호 화상을 축적한다.

도 19는 본 제9 실시형태에 의한 다시점 영상 복호 장치(900)의 동작을 설명하는 흐름도이다. 이 흐름도에 따라 제9 실시형태에 의한 다시점 영상 복호 장치(900)가 실행하는 처리에 대해서 상세히 설명한다.

*우선 부호화 데이터 입력부(901)로부터 복호 대상 프레임의 부호화 데이터가 입력되어 부호화 데이터 메모리(902)에 저장된다(단계Si1). 또 참조 시점 프레임 입력부(903)로부터 참조 시점에서 촬영된 참조 시점 프레임Ref(n,t)를 입력한다(n=1,2,…,N)(단계Si1). n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다. t는 프레임의 촬영 시각을 가리키는 인덱스로서, 복호 대상 프레임Dec_cur의 촬영 시각(T)과 참조 프레임의 촬영 시각(T1,T2,…,Tm) 중 어느 하나를 나타낸다. 여기에서 m은 참조 프레임의 매수를 나타낸다. 아울러 부호화 데이터에는, 영상 신호의 예측 잔차와 영상 예측에 사용한 움직임 벡터의 예측 잔차의 적어도 2종류의 데이터가 포함되어 있다.

다음으로, 시점 합성부(904)에서 참조 시점 프레임의 정보를 사용하여 복호 대상 프레임과 같은 시점에서 촬영된 화상을 촬영 시각마다 합성한다(단계Si2). 여기에서의 처리는 제7 실시형태의 단계Sg7와 같다.

시점 합성 화상Syn_t의 합성이 종료되면, 로 패스 필터부(905)에서 시점 합성 화상에 로 패스 필터가 가해져 노이즈가 줄어든 시점 합성 화상LPFSyn_t가 생성되고 시점 합성 화상 메모리(906)에 축적된다(단계Si3). 여기에서의 처리는 제7 실시형태의 단계Sg8와 같다.

로 패스 필터 처리가 종료되면, 복호 대상 프레임에 대해 생성된 시점 합성 화상LPFSyn_T를 블록으로 분할하고, 그 영역마다 대응 영역 탐색부(907)에서 대응 영역 탐색을 한다(단계Si4). 여기에서의 처리는 제7 실시형태의 단계Sg9와 같다. 아울러 본 실시형태는 시점 합성의 신뢰도를 사용하지 않는데, 제6 실시형태에서 나타낸 바와 같이 신뢰도를 계산하여 사용해도 좋다.

모든 블록에서 벡터가 얻어지면, 움직임 벡터 평활화부(908)에서 얻어진 벡터 집합{MV_blk}를 공간 상관이 높아지도록 평활화함으로써 추정 벡터의 집합{vec(blk,t)}를 생성한다(단계Si5). 여기에서의 처리는 제7 실시형태의 단계Sg10과 같다. 아울러 평활화 처리는 참조 프레임의 촬영 시각마다 행해진다.

추정 벡터의 집합이 얻어지면 미리 정해진 블록마다 복호 대상 프레임의 영상 신호 및 움직임 벡터를 복호한다(단계Si6∼Si13). 즉, 복호 대상 블록 인덱스를 blk, 총복호 대상 블록수를 numBlks로 표시한다면, blk를 0으로 초기화한 후(단계Si6) blk에 1을 가산하면서(단계Si12) blk가 numBlks가 될 때까지(단계Si13) 이하의 처리(단계Si7∼Si11)를 반복한다.

복호 대상 블록마다 반복되는 처리로는, 우선 예측 벡터 생성부(909)에서 움직임 벡터 메모리(911)에 축적되어 있는 복호 대상 블록의 인접 블록에 사용된 움직임 벡터와 추정 벡터를 사용하여 복호 대상 블록의 움직임 벡터mv에 대한 예측 벡터pmv를 생성한다(단계Si7). 여기에서의 처리는 제7 실시형태의 단계Sg11와 같다. 단, 본 실시형태에서는 프레임 전체가 아닌 블록blk에 대해서만 예측 벡터를 생성한다. 예측 벡터의 생성에는 부호화시에 행해진 방법과 같은 방법을 사용한다.

예측 벡터의 생성이 종료되면, 움직임 벡터 복호부(910)에서 복호 대상 블록blk에서의 움직임 벡터mv를 부호화 데이터로부터 복호한다(단계Si8). 움직임 벡터mv는 예측 벡터pmv를 사용하여 예측 부호화되어 있고, 부호화 데이터로부터 예측 잔차 벡터dmv를 복호하고 예측 잔차 벡터dmv에 예측 벡터pmv를 더함으로써 움직임 벡터mv를 얻는다. 복호된 움직임 벡터mv는 움직임 보상 예측부(912)에 보내짐과 동시에 움직임 벡터 메모리(911)에 축적하고, 이후의 복호 대상 블록의 움직임 벡터를 복호할 때에 이용된다.

복호 대상 블록에 대한 움직임 벡터가 얻어지면, 움직임 보상 예측부(912)에서 복호 대상 블록에 대한 움직임 보상 예측 신호Pred[blk]를 생성한다(단계Si9). 이 처리는 제7 실시형태의 단계Sg3과 같다.

움직임 보상 예측 신호가 얻어지면, 화상 복호부(913)에서 예측 부호화된 복호 대상 프레임을 복호한다. 구체적으로는, 부호화 데이터로부터 예측 잔차 신호DecRes를 복호하고(단계Si10), 얻어진 복호 예측 잔차DecRes에 움직임 보상 예측 신호Pred를 가산하여 블록blk에 대한 디코딩 화상Dec_cur[blk]를 생성한다(단계Si11). 생성된 디코딩 화상은 다시점 영상 복호 장치(900)의 출력이 됨과 동시에 이후의 프레임에서 예측에 사용하기 위해 복호 화상 메모리(914)에 축적한다.

상술한 제5 내지 제9 실시형태에서는, 시점 합성 화상에 대한 로 패스 필터 처리 및 움직임 벡터 평활화 처리에 의해 참조 시점 프레임에서의 필름 그레인(film grain)이나 부호화 왜곡 및 시점 합성에서의 합성 왜곡 등의 노이즈에 의해 대응 영역 탐색의 정밀도가 저하되는 것을 방지한다. 그러나 이러한 노이즈의 양이 적은 경우에는 로 패스 필터 처리나 움직임 벡터 평활화 처리를 하지 않아도 대응 영역을 고정밀도로 구할 수 있다. 그와 같은 경우 상술한 제5 내지 제9 실시형태의 로 패스 필터 처리나 움직임 벡터 평활화 처리를 생략함으로써 전체(total) 연산량을 삭감할 수 있다.

상술한 제1 내지 제4 실시형태 및 제6 내지 제9 실시형태에서는, 부호화 단위 블록이나 복호 단위 블록이 움직임 보상 예측 블록과 같은 크기인 경우로 설명하였다. 그러나 H.264와 같이 부호화 단위 블록이나 복호 단위 블록과 움직임 보상 예측 블록이 다른 사이즈인 경우로 확장하는 것도 용이하게 유추 가능하다.

상술한 제1 내지 제9 실시형태에서는 움직임 보상 예측에 대해서 설명하였으나, 본 발명의 사상은 모든 프레임 간 예측에 적용할 수 있다. 즉, 참조 프레임이 다른 카메라로 촬영된 프레임이라면 대응 영역 탐색으로는 시차를 추정하게 된다. 또 참조 프레임이 다른 카메라로 다른 시각에 촬영된 프레임이라면 움직임과 시차 모두가 포함된 벡터를 추정하게 된다. 또한 프랙탈(fractal) 부호화와 같이 프레임내에서 참조 영역을 결정할 경우에도 적응 가능하다.

또 상술한 제1 내지 제4 실시형태 및 제6 내지 제9 실시형태에서는, 프레임 간 예측을 사용하여 모든 블록을 부호화한다고 기재하였으나, H.264 등과 같이 블록마다 다른 예측 방식을 사용하여 부호화해도 좋다. 그 경우, 본 발명은 프레임 간 예측을 사용하는 블록에 대해서만 적용된다. 프레임 간 예측을 하는 블록에 대해서도 종래의 방식을 사용할지, 본 발명의 방식을 사용할지를 전환하면서 부호화할 수도 있다. 그 경우에는 어느 방식을 사용했는지를 나타내는 정보를 어느 한 방법으로 복호측에 전달할 필요가 있다.

이상 설명한 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있다. 또 그 프로그램을 컴퓨터 독해 가능한 기록 매체에 기록하여 제공하는 것도 가능하고, 네트워크를 통해 제공하는 것도 가능하다.

또 상술한 실시형태에서는 다시점 영상 부호화 장치 및 다시점 영상 복호 장치를 중심으로 설명하였으나, 이들 다시점 영상 부호화 장치 및 다시점 영상 복호 장치의 각 부의 동작에 대응한 단계에 의해 본 발명의 다시점 영상 부호화 방법 및 다시점 영상 복호 방법을 실현할 수 있다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였으나, 상기 실시형태는 본 발명의 예시에 불과하며 본 발명이 상기 실시형태로 한정되지 않는다는 것은 분명하다. 따라서 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 구성 요소의 추가, 생략, 치환, 기타 변경을 해도 좋다.

<산업상 이용 가능성>

본 발명은 예를 들면 다시점 동화상의 부호화 및 복호에 이용된다. 본 발명에 의하면 처리 화상을 얻을 수 없는 상황에서도 고정밀도로 움직임 벡터를 추정할 수 있다. 또 영상 신호 예측에서 시간 상관을 이용함으로써 카메라 간 상관과 시간 상관을 동시에 이용하여 효율적인 다시점 영상 부호화를 실현할 수 있다.

100, 200 다시점 영상 부호화 장치
101, 201 부호화 대상 프레임 입력부
102, 202 부호화 대상 화상 메모리
103, 203 참조 시점 프레임 입력부
104 참조 시점 화상 메모리
105, 204 시점 합성부
106, 205 시점 합성 화상 메모리
107 신뢰도 설정부
108, 211 대응 영역 탐색부
109, 207 움직임 보상 예측부
110 예측 잔차 부호화부
111 예측 잔차 복호부
112, 210 복호 화상 메모리
113 예측 잔차 산출부
114 복호 화상 산출부
206 움직임 추정부
208 화상 부호화부
209 화상 복호부
212 예측 벡터 생성부
213 벡터 정보 부호화부
214 움직임 벡터 메모리
300, 400 다시점 영상 복호 장치
301, 401 부호화 데이터 입력부
302, 402 부호화 데이터 메모리
303, 403 참조 시점 프레임 입력부
304 참조 시점 화상 메모리
305, 404 시점 합성부
306, 405 시점 합성 화상 메모리
307 신뢰도 설정부
308, 406 대응 영역 탐색부
309, 410 움직임 보상 예측부
310 예측 잔차 복호부
311, 412 복호 화상 메모리
312 복호 화상 산출부
407 예측 벡터 생성부
408 움직임 벡터 복호부
409 움직임 벡터 메모리
411 화상 복호부
500, 500a 움직임 벡터 추정 장치
600, 700 다시점 영상 부호화 장치
800, 900 다시점 영상 복호 장치

Claims (6)

1. 다시점(多視點) 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 같은 설정에 따라 상기 처리 화상이 촬영된 시각에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 단계,
   움직임 벡터를 추정해야 할 대상의 시각에 촬영된 처리 화상을 사용하지 않고, 상기 처리 화상상의 처리 영역에 해당하는 상기 시점 합성 화상상의 화상 신호를 사용하여, 상기 시점 합성 화상상의 상기 화상 신호와의 적합도를 최대화 또는 괴리도를 최소화하도록, 상기 처리 카메라로 촬영된 참조 화상에서의 대응 영역을 탐색함으로써, 움직임 벡터를 추정하는 대응 영역 추정 단계,
   를 포함하고,
   상기 대응 영역 추정 단계에서는, 상기 대응 영역의 탐색에 있어서, 상기 참조 카메라 영상 상의 대응 영역에 사용되고 있는 움직임 벡터로 표시되는 대응점을 탐색 중심으로 설정하는, 움직임 벡터 추정 방법.
2. 다시점 영상의 예측 부호화를 하는 다시점 영상 부호화 방법으로서,
   상기 다시점 영상의 어느 한 부호화 대상 시점과는 다른 참조 시점에서, 부호화 대상 프레임과 같은 시각에 촬영된 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 단계,
   상기 시점 합성 화상의 각 부호화 단위 블록에 대해, 상기 시점 합성 화상의 각 부호화 단위 블록과의 적합도를 최대화 또는 괴리도를 최소화하도록, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 대응 영역을 탐색함으로써, 움직임 벡터를 추정하는 움직임 벡터 추정 단계,
   상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 부호화 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 단계,
   상기 부호화 대상 프레임과 상기 움직임 보상 예측 화상과의 차분 신호를 부호화하는 잔차 부호화 단계,
   를 포함하고,
   상기 움직임 벡터 추정 단계에서는, 상기 대응 영역의 탐색에 있어서, 상기 참조 시점 프레임 상의 대응 영역에 사용되고 있는 움직임 벡터로 표시되는 대응점을 탐색 중심으로 설정하는, 다시점 영상 부호화 방법.
3. 다시점 영상의 어느 한 시점에 대한 영상의 부호화 데이터를 복호하는 다시점 영상 복호 방법으로서,
   복호 대상 시점과는 다른 참조 시점에서 복호 대상 프레임과 같은 시각에 촬영된 참조 시점 프레임으로부터, 상기 복호 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 단계,
   상기 시점 합성 화상의 각 복호 단위 블록에 대해, 상기 시점 합성 화상의 각 복호 단위 블록과의 적합도를 최대화 또는 괴리도를 최소화하도록, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 대응 영역을 탐색함으로써, 움직임 벡터를 추정하는 움직임 벡터 추정 단계,
   상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 복호 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 단계,
   상기 움직임 보상 예측 화상을 예측 신호로서 사용하여 예측 부호화된 상기 복호 대상 프레임을 상기 부호화 데이터로부터 복호하는 화상 복호 단계,
   를 포함하고,
   상기 움직임 벡터 추정 단계에서는, 상기 대응 영역의 탐색에 있어서, 상기 참조 시점 프레임 상의 대응 영역에 사용되고 있는 움직임 벡터로 표시되는 대응점을 탐색 중심으로 설정하는, 다시점 영상 복호 방법.
4. 다시점 영상에 포함되는 처리 화상을 촬영한 처리 카메라와는 다른 카메라로 촬영된 참조 카메라 영상으로부터, 상기 처리 카메라와 동일한 설정에 따라 상기 처리 화상이 촬영된 시각에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 수단,
   움직임 벡터를 추정해야 할 대상의 시각에 촬영된 처리 화상을 사용하지 않고, 상기 처리 화상상의 처리 영역에 해당하는 상기 시점 합성 화상상의 화상 신호를 사용하여, 상기 시점 합성 화상상의 상기 화상 신호와의 적합도를 최대화 또는 괴리도를 최소화하도록, 상기 처리 카메라로 촬영된 참조 화상에서의 대응 영역을 탐색함으로써, 움직임 벡터를 추정하는 대응 영역 추정 수단,
   을 구비하고,
   상기 대응 영역 추정 수단은, 상기 대응 영역의 탐색에 있어서, 상기 참조 카메라 영상 상의 대응 영역에 사용되고 있는 움직임 벡터로 표시되는 대응점을 탐색 중심으로 설정하는, 움직임 벡터 추정 장치.
5. 다시점 영상의 예측 부호화를 행하는 다시점 영상 부호화 장치로서,
   상기 다시점 영상의 어느 한 부호화 대상 시점과는 다른 참조 시점에서 부호화 대상 프레임과 같은 시각에 촬영된 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 수단,
   상기 시점 합성 화상의 각 부호화 단위 블록에 대해, 상기 시점 합성 화상의 각 부호화 단위 블록과의 적합도를 최대화 또는 괴리도를 최소화하도록, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 대응 영역을 탐색함으로써, 움직임 벡터를 추정하는 움직임 벡터 추정 수단,
   상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 부호화 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단,
   상기 부호화 대상 프레임과 상기 움직임 보상 예측 화상과의 차분 신호를 부호화하는 잔차 부호화 수단,
   을 구비하고,
   상기 움직임 벡터 추정 수단은, 상기 대응 영역의 탐색에 있어서, 상기 참조 시점 프레임 상의 대응 영역에 사용되고 있는 움직임 벡터로 표시되는 대응점을 탐색 중심으로 설정하는, 다시점 영상 부호화 장치.
6. 다시점 영상의 어느 한 시점에 대한 영상의 부호화 데이터를 복호하는 다시점 영상 복호 장치로서,
   복호 대상 시점과는 다른 참조 시점에서 복호 대상 프레임과 같은 시각에 촬영된 참조 시점 프레임으로부터, 상기 복호 대상 시점에서의 시점 합성 화상을 생성하는 시점 합성 화상 생성 수단,
   상기 시점 합성 화상의 각 복호 단위 블록에 대해, 상기 시점 합성 화상의 각 복호 단위 블록과의 적합도를 최대화 또는 괴리도를 최소화하도록, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 대응 영역을 탐색함으로써, 움직임 벡터를 추정하는 움직임 벡터 추정 수단,
   상기 추정된 움직임 벡터와 상기 참조 프레임을 사용하여 상기 복호 대상 프레임에 대한 움직임 보상 예측 화상을 생성하는 움직임 보상 예측 화상 생성 수단,
   상기 움직임 보상 예측 화상을 예측 신호로서 사용하여 예측 부호화된 상기 복호 대상 프레임을 상기 부호화 데이터로부터 복호하는 화상 복호 수단,
   을 구비하고,
   상기 움직임 벡터 추정 수단은, 상기 대응 영역의 탐색에 있어서, 상기 참조 시점 프레임 상의 대응 영역에 사용되고 있는 움직임 벡터로 표시되는 대응점을 탐색 중심으로 설정하는, 다시점 영상 복호 장치.

Images