KR20110119709A - 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램 - Google Patents

Abstract

본 발명의 다시점 화상 부호화/복호 장치는, 우선 처리 대상 영역에 촬영되어 있는 피사체의 뎁스 정보를 구한다. 다음에, 처리 대상 영역에 인접하는 이미 부호화(복호) 완료한 영역에서 처리 대상 영역과 같은 피사체가 촬영되어 있는 화소군을 뎁스 정보로부터 구하여 샘플 화소군을 설정한다. 이어서, 샘플 화소군에 포함되는 화소와 처리 대상 영역에 포함되는 화소에 대해 시점 합성 화상을 생성한다. 이어서, 샘플 화소군에서의 시점 합성 화상 및 복호 화상으로부터 휘도나 색의 미스매치를 보정하는 보정 파라미터를 추정한다. 이어서, 추정된 보정 파라미터를 이용하여 처리 대상 영역에 대해 생성된 시점 합성 화상을 보정함으로써 예측 화상을 생성한다.

Description

다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램{Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program}

본 발명은 어떤 피사체를 촬영하는 복수의 카메라에 의해 촬영된 화상을 부호화하는 다시점 화상 부호화 방법 및 그 장치, 그 다시점 화상 부호화 방법에 의해 부호화된 부호 데이터를 복호하는 다시점 화상 복호 방법 및 그 장치, 그 다시점 화상 부호화 방법의 실현에 이용되는 다시점 화상 부호화 프로그램, 그 다시점 화상 복호 방법의 실현에 이용되는 다시점 화상 복호 프로그램에 관한 것이다.

본원은 2009년 2월 23일에 일본 출원된 특원 2009-38786호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

다시점 화상이란 복수의 카메라로 같은 피사체와 배경을 촬영한 복수의 화상이고, 다시점 동화상(다시점 영상)이란 그 동화상이다.

일반적인 동화상 부호화나 다시점 동화상 부호화에 이용되는 기술로서 움직임 보상 예측과 시차 보상 예측이 제안되어 있다.

움직임 보상 예측은 H.264에 대표되는 최근의 동화상 부호화 방식의 국제 표준에도 채용되어 있는 수법으로, 부호화 대상 프레임을 이미 부호화 완료한 참조 프레임과의 사이에서 피사체의 움직임을 보상하여 화상 신호의 프레임간 차분을 취하고, 그 차분 신호만을 부호화한다(비특허문헌 1 참조).

한편, 시차 보상 예측은 참조 프레임으로서 다른 카메라로 촬영된 프레임을 이용함으로써 피사체의 시차를 보상하여 화상 신호의 프레임간 차분을 취하면서 부호화한다(비특허문헌 2 참조).

여기서 이용되는 시차란, 다른 위치에 배치된 카메라의 화상 평면 상에서 피사체 상의 같은 위치가 투영되는 위치의 차이다. 시차 보상 예측에서는 이를 이차원 벡터로 표현하여 부호화를 행하고 있다. 도 9에 도시된 바와 같이, 시차가 카메라의 위치와 피사체의 카메라로부터의 거리(뎁스)(Depth)에 의존하여 발생하는 정보이기 때문에, 이 원리를 이용한 시점 합성 예측(시점 보간 예측)이라고 불리는 방식이 존재한다.

시점 합성 예측(시점 보간 예측)에서는, 부호화측 또는 복호측에서 얻어진 다시점 영상에 대해 카메라의 위치 정보와 삼각측량의 원리를 이용하여 피사체의 뎁스를 추정하고, 그 추정된 뎁스 정보를 이용하여 부호화 대상 프레임을 합성(보간)하여 예측 화상으로 하는 방식이다(특허문헌 1, 비특허문헌 3 참조). 또, 부호화측에서 뎁스를 추정하는 경우에는 사용한 뎁스를 부호화할 필요가 있다.

이들 다른 카메라로 촬영한 화상을 이용한 예측에서는, 카메라의 촬상 소자의 응답에 개체 차이가 있거나 카메라마다 게인 콘트롤이나 감마 보정이 행해져 있거나 카메라마다 피사계 심도나 조리개 등의 설정이 다르거나 신에 방향 의존의 조명 효과가 있거나 하면 부호화 효율이 열화된다. 이 이유는 부호화 대상 프레임과 참조 프레임에서 피사체의 휘도나 색이 같다는 전제로 예측을 하고 있기 때문이다.

이러한 피사체의 휘도나 색의 변화에 대응하기 위해 검토된 방식으로서, 휘도 보상이나 색 보정이라고 불리는 것이 있다. 이 방식에서는 참조 프레임의 휘도나 색을 보정한 것을 예측에 사용하는 프레임으로 함으로써 부호화하는 예측 잔차를 작게 억제한다.

H.264에서는 1차 함수를 이용하여 보정하는 Weighted Prediction이 채용되어 있고(비특허문헌 1 참조), 비특허문헌 3에서는 색 테이블을 이용하여 보정하는 방식이 제안되어 있다.

특허문헌 1: 특개 2007-036800호 공보, "영상 부호화 방법, 영상 복호 방법, 영상 부호화 프로그램, 영상 복호 프로그램 및 그들의 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체"

비특허문헌 1: ITU-T Rec. H.264/ISO/IEC 11496-10, "Advanced video coding for generic audiovisual services", Final Committee Draft, Document JVT-E022d7, September 2002.(pp.10-13, pp.62-73) 비특허문헌 2: Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding(3DAV)", document M10976 MPEG Redmond Meeting, July, 2004. 비특허문헌 3: K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto, S.Shimizu, K.Kamikura, and Y.Yashima, "Multiview Video Coding Using View Interpolation and Color Correction", IEEE Transactions on Circuits and System for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007.

상기 휘도 보상이나 색 보정을 이용한 부호화의 경우, 다음 2가지의 문제가 존재한다.

첫번째의 문제는 휘도 보상·색 보정 파라미터 등을 부가하는 것에 의한 부호량의 증가이다. 통상의 시차 보상 예측이나 시점 합성(보간) 예측에서는 부호화할 필요가 없었던 휘도 보상·색 보정 파라미터 등을 부호화할 필요가 생기기 때문에, 부호화 효율이 저하된다.

두번째의 문제는 보정의 정밀도이다. 통상의 동화상 부호화에서의 페이드나 플래시의 경우, 화면 전체가 똑같이 변화하기 때문에 단일의 보정 파라미터에서 충분한 휘도 보상이나 색 보정 등을 행하는 것이 가능하다. 그러나, 피사체가 완전한 확산 반사체가 아닌 것이나, 카메라마다 피사계 심도나 포커스가 완전히 일치하지 않는 것에 의한 미스매치(휘도나 색의 불일치)는 신이 아니라 피사체에 의존하는 미스매치이다. 그 때문에, 단일의 보정 파라미터에 의한 보정에서는 피사체에 따라서는 미스매치를 확대시켜 버리는 경우가 있다.

이 문제에 대해, 피사체마다의 미스매치에 대응하기 위해 복수의 보정 파라미터를 이용하는 방법도 생각할 수 있다. 그러나, 이 방법을 이용하면, 복수의 보정 파라미터를 부호화하는 부호량뿐만 아니라 화상 영역마다 어느 보정 파라미터를 이용하는지를 나타내는 정보를 부호화할 필요가 생기기 때문에, 더욱 부호량의 증대를 초래하게 되어 첫번째의 문제를 해결할 수 없다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 카메라 간에 국소적인 휘도나 색의 미스매치를 동반하는 다시점 화상(다시점의 정지화상이나 동화상)에서도 고능률의 부호화를 실현하면서 그 실현에 있어서 필요하게 되는 부호량의 삭감을 실현하는 새로운 다시점 화상 부호화 및 복호 기술을 제공하는 것을 목적으로 한다.

〔1〕본 발명의 기본적인 기술 사상

전술한 과제를 해결하기 위해, 본 발명에서는 부호화/복호 대상 프레임을 분할하여 영역마다 다시점 화상의 부호화/복호를 행하는 경우에 있어서 이하의 수단을 강구한다.

우선, 처리 대상 영역에 촬영되어 있는 피사체의 뎁스 정보를 구한다. 다음에, 처리 대상 영역에 인접하는 이미 부호화(복호) 완료한 영역에서 처리 대상 영역과 같은 피사체가 촬영되어 있는 화소군을 뎁스 정보로부터 구하여 샘플 화소군으로 한다. 이어서, 이 샘플 화소군에 포함되는 화소에 대해 시점 합성 화상을 생성함과 동시에, 처리 대상 영역에 포함되는 화소에 대해 시점 합성 화상을 생성한다. 이어서, 샘플 화소군에서의 시점 합성 화상 및 복호 화상으로부터 휘도나 색의 미스매치를 보정하는 보정 파라미터를 추정한다. 이어서, 추정된 보정 파라미터를 이용하여 처리 대상 영역에 대해 생성된 시점 합성 화상을 보정함으로써, 처리 대상 영역에서의 화상 신호의 부호화(복호)에 사용하는 예측 화상을 생성한다.

부호화 대상 프레임과 참조 프레임을 비교하여 보정 파라미터를 산출하는 종래 방법의 경우는, 부호화 대상 프레임은 복호측에서는 입수 불가능하기 때문에 보정 파라미터를 부호화할 필요가 있다.

한편, 본 발명에서는 부호화/복호 대상 프레임의 이미 부호화/복호 완료한 영역의 화상 신호와 참조 프레임을 이용하여 생성되는 시점 합성 화상의 정보를 비교하여 보정 파라미터를 산출하고 있다. 이들은 복호측에서 입수 가능한 것이기 때문에, 보정 파라미터를 부호화할 필요가 없다. 즉, 본 발명에 의해 부호량 증가의 문제를 해결하는 것이 가능하다.

또한, 부호화 처리는 입력 신호를 가능한 한 충실하게 변환하는 처리이기 때문에, 부호화 대상의 화상 신호와 부호화/복호 완료한 화상 신호는 거의 같은 것으로 간주하는 것이 가능하다. 즉, 본 발명에 의해 산출되는 보정 파라미터는 시점 합성 화상을 부호화 대상 프레임에 접근하여 부호화해야 할 예측 차분을 충분히 작게 할 수 있다.

또한, 본 발명에서는 처리 대상 영역에 촬영되어 있는 피사체와 같은 피사체가 촬영되어 있는 인접 영역의 정보를 이용하여 보정 파라미터의 추정을 한다. 이에 의해, 피사체에 의존한 휘도나 색의 보정을 하는 것이 가능하게 된다. 또, 이 피사체의 판정에는 시점 합성 화상을 생성할 때에 필요하게 되는 뎁스 정보를 이용하기 때문에, 별도 정보를 부호화하여 전송할 필요는 없다.

상기 다시점 화상 부호화/복호에 있어서, 처리 대상 영역에서의 뎁스 정보의 분산을 구하여 미리 정해진 문턱값과의 비교를 행함으로써, 처리 대상 영역에 복수의 피사체가 촬영되어 있는지를 판정하여 복수의 피사체가 촬영되어 있는 경우에는 피사체마다 뎁스 정보 및 샘플 화소군을 정하여 보정 파라미터를 추정한다. 또, 처리 대상 영역에 일정 화소 미만만 존재하는 피사체는 다른 피사체와 동시에 처리함으로써 연산량의 증가를 막는 것도 가능하다.

또, 상기 다시점 화상 부호화/복호 방법에 있어서, 샘플 화소군의 화소수에 기초하여 복수 존재하는 보정 모델(보정 파라미터수)을 변경한다.

〔2〕본 발명의 구성

다음에, 본 발명의 다시점 화상 부호화 장치 및 다시점 화상 복호 장치의 구성에 대해 설명한다.

[2-1]본 발명의 다시점 화상 부호화 장치의 구성

본 발명의 다시점 화상 부호화 장치는, 제1 카메라로 촬영된 피사체의 입력 화상을 복수의 부호화 대상 영역에 분할하고, 상기 입력 화상에 대한 뎁스 정보와 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 이미 부호화 완료한 화상으로부터 합성된 시점 합성 화상을 이용하여 상기 부호화 대상 영역마다 예측 부호화를 행함으로써 다시점 화상(다시점의 정지화상이나 동화상)을 부호화하는 장치로서, (1)상기 부호화 대상 영역에서 촬영된 피사체에 대한 대표 뎁스 정보를 설정하는 대표 뎁스 설정부, (2)상기 부호화 대상 영역에 인접하는 이미 부호화 완료한 영역에서의 뎁스 정보와 대표 뎁스 정보에 기초하여, 상기 부호화 대상 영역 내와 같은 피사체가 촬영되어 있는 화소군을 구하여 샘플 화소군으로서 설정하는 샘플 화소군 설정부, (3)샘플 화소군에 대한 상기 시점 합성 화상 및 상기 샘플 화소군에 대해 이미 복호된 복호 화상에 기초하여, 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부, (4)상기 보정 파라미터를 이용하여 상기 부호화 대상 영역에 대한 상기 시점 합성 화상을 보정하여 보정 시점 합성 화상을 생성하는 시점 합성 화상 보정부, (5)상기 보정 시점 합성 화상을 이용하여 상기 부호화 대상 영역의 화상 신호를 부호화하여 부호 데이터를 생성하는 화상 부호화부, (6)상기 부호 데이터를 복호하여 상기 부호화 대상 영역에서의 복호 화상을 생성하는 화상 복호부를 구비한다.

본 발명의 실시형태에 의한 다시점 화상 부호화 장치는, (7)상기 부호화 대상 영역에서의 화소를 해당 화소의 뎁스 정보를 기준으로 하여 그룹핑하는 피사체 판정부를 더 구비해도 된다. 이 경우에, 대표 뎁스 설정부는 피사체 판정부에서 구해진 그룹마다 대표 뎁스 정보를 설정하고, 샘플 화소군 설정부는 피사체 판정부에서 구해진 그룹마다 샘플 화소군을 설정하며, 보정 파라미터 추정부는 피사체 판정부에서 구해진 그룹마다 보정 파라미터를 추정하고, 시점 합성 화상 보정부는 피사체 판정부에서 구해진 그룹마다 시점 합성 화상을 보정하도록 해도 된다.

또한, 본 발명의 실시형태에 의한 다시점 화상 부호화 장치는, (8)샘플 화소군의 화소수에 따라 상기 부호화 대상 영역에 대한 상기 시점 합성 화상을 보정하는 보정 모델을 선택하는 보정 모델 선택부를 더 구비해도 된다. 이 경우에, 보정 파라미터 추정부는 보정 모델 선택부에서 선택된 보정 모델에서의 보정 파라미터를 추정하고, 시점 합성 화상 보정부는 보정 모델 선택부에서 선택된 보정 모델을 이용하여 시점 합성 화상을 보정한다.

이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 다시점 화상 부호화 방법은 컴퓨터 프로그램에서도 실현할 수 있다. 이 컴퓨터 프로그램은 적당한 컴퓨터 판독 가능한 기록 매체에 기록하여 제공되거나 네트워크를 개재하여 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단 상에서 동작함으로써 본 발명을 실현할 수 있다.

[2-2]본 발명의 다시점 화상 복호 장치의 구성

본 발명의 다시점 화상 복호 장치는, 제1 카메라로 촬영된 피사체의 화상을 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 화상을 이용하여 부호화한 복호 대상 화상의 부호 데이터를 상기 복호 대상 화상에 대한 뎁스 정보와 상기 제2 카메라로 촬영된 이미 복호 완료한 상기 피사체의 화상으로부터 합성된 시점 합성 화상을 이용하여 상기 복호 대상 화상을 분할한 복수의 복호 대상 영역마다 복호를 행함으로써 다시점 화상(다시점의 정지화상이나 동화상)의 부호 데이터를 복호하는 장치로서, (1)상기 복호 대상 영역에서 촬영된 피사체에 대한 대표 뎁스 정보를 설정하는 대표 뎁스 설정부, (2)상기 복호 대상 영역에 인접하는 이미 복호 완료한 영역에서의 뎁스 정보와 상기 대표 뎁스 정보에 기초하여, 상기 복호 대상 영역 내와 같은 피사체가 촬영되어 있는 화소군을 구하여 샘플 화소군으로서 설정하는 샘플 화소군 설정부, (3)샘플 화소군에 대한 상기 시점 합성 화상 및 상기 샘플 화소군에 대해 이미 복호된 복호 화상에 기초하여, 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부, (4)상기 보정 파라미터를 이용하여 상기 복호 대상 영역에 대한 상기 시점 합성 화상을 보정하여 보정 시점 합성 화상을 생성하는 시점 합성 화상 보정부, (5)상기 보정 시점 합성 화상을 이용하여 상기 복호 대상 영역의 화상 신호를 복호하는 화상 복호부를 구비한다.

본 발명의 실시형태에 의한 다시점 화상 복호 장치는, (6)상기 복호 대상 영역에서의 화소를 해당 화소의 뎁스 정보를 기준으로 하여 그룹핑하는 피사체 판정부를 더 구비해도 된다. 이 경우에, 대표 뎁스 설치부는 피사체 판정부에서 구해진 그룹마다 대표 뎁스 정보를 설정하고, 샘플 화소군 설정부는 피사체 판정부에서 구해진 그룹마다 샘플 화소군을 설정하며, 보정 파라미터 추정부는 피사체 판정부에서 구해진 그룹마다 보정 파라미터를 추정하고, 시점 합성 화상 보정부는 피사체 판정부에서 구해진 그룹마다 시점 합성 화상을 보정하도록 해도 된다.

또한, 본 발명의 실시형태에 의한 다시점 화상 복호 장치는, (7)샘플 화소군의 화소수에 따라 상기 복호 대상 영역에 대한 상기 시점 합성 화상을 보정하는 보정 모델을 선택하는 보정 모델 선택부를 구비해도 된다. 이 경우에, 보정 파라미터 추정부는 보정 모델 선택부에서 선택된 보정 모델에서의 보정 파라미터를 추정하고, 시점 합성 화상 보정부는 보정 모델 선택부에서 선택된 보정 모델을 이용하여 시점 합성 화상을 보정한다.

이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 다시점 화상 복호 방법은 컴퓨터 프로그램에서도 실현할 수 있다. 이 컴퓨터 프로그램은 적당한 컴퓨터 판독 가능한 기록 매체에 기록하여 제공되거나 네트워크를 개재하여 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단 상에서 동작함으로써 본 발명을 실현할 수 있다.

본 발명에 의하면, 카메라 간에 휘도나 색의 미스매치가 피사체에 따라 국소적으로 생겨 있는 경우에서도 이 미스매치에 대처하기 위한 보정 파라미터를 피사체에 따라 국소적으로 구하도록 하고 있기 때문에 예측 차분을 작게 할 수 있다. 따라서, 효율적인 다시점 화상이나 다시점 동화상의 부호화 및 복호를 실현할 수 있다.

게다가, 본 발명에 의하면, 이와 같이 하여 구하는 보정 파라미터를 별도 부호화/복호할 필요가 없기 때문에, 다시점 화상이나 다시점 동화상의 부호화 및 복호에 있어서의 부호량을 대폭적으로 삭감할 수 있다.

도 1은 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치를 도시하는 블록도이다.
도 2는 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치가 실행하는 처리를 나타내는 흐름도이다.
도 3은 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치가 실행하는 처리의 상세를 나타내는 흐름도이다.
도 4는 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치가 실행하는 처리를 나타내는 흐름도이다.
도 5는 본 발명의 제2 실시형태에 의한 다시점 영상 복호 장치를 도시하는 블록도이다.
도 6은 본 발명의 제2 실시형태에 의한 다시점 영상 복호 장치가 실행하는 처리를 나타내는 흐름도이다.
도 7은 본 발명의 제2 실시형태에 의한 다시점 영상 복호 장치가 실행하는 처리의 상세를 나타내는 흐름도이다.
도 8은 본 발명의 제1 및 제2 실시형태에서의 보정 파라미터 생성부를 도시하는 블록도이다.
도 9는 시차 보상 예측 방식을 나타내는 도면이다.

이하, 본 발명의 실시형태를 나타내는 도면을 참조하여 본 발명을 상세하게 설명한다.

또, 이하의 설명에서는 영상(프레임)이나 뎁스 정보에 위치를 특정 가능한 정보(기호[]로 사이에 둔 정보로서, 좌표값 또는 좌표값에 대응시킬 수 있는 인덱스)를 부가함으로써, 그 위치의 화소에 촬영된 피사체의 화상 신호나 뎁스 정보(화소마다 정의됨)를 나타낸다.

[1]본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치

도 1에 본 발명의 제1 실시형태에 관한 다시점 영상 부호화 장치(100)의 장치 구성을 도시한다.

도 1에 도시된 바와 같이, 본 실시형태의 다시점 영상 부호화 장치(100)에 있어서, 부호화 대상 화상 입력부(101)는 제1 카메라로 촬영된 피사체의 화상(프레임)을 부호화 대상으로서 입력한다. 부호화 대상 화상 메모리(102)는, 부호화 대상 화상 입력부(101)로부터 입력된 부호화 대상 프레임을 축적한다. 축적된 부호화 대상 프레임은 화상 부호화부(109)에 공급된다.

시점 합성 화상 입력부(103)는, 제1 카메라와는 다른 위치에 배치된 다른 제2 카메라로 동일한 피사체를 촬영하여 얻어진 화상의 부호화 완료한 프레임을 이용하여 생성된 부호화 대상 프레임에 대한 시점 합성 화상을 입력한다. 시점 합성 화상 메모리(104)는, 시점 합성 화상 입력부(103)로부터 입력된 시점 합성 화상을 축적한다. 축적된 시점 합성 화상은 보정 파라미터 생성부(107) 및 시점 합성 화상 보정부(108)에 공급된다.

뎁스 정보 입력부(105)는 부호화 대상 프레임에 대한 뎁스 정보를 입력한다. 뎁스 정보 메모리(106)는 뎁스 정보 입력부(105)로부터 입력된 뎁스 정보를 축적한다. 축적된 뎁스 정보는 보정 파라미터 생성부(107)에 공급된다.

보정 파라미터 생성부(107)는, 부호화 대상 영역의 주변 영역에서의 시점 합성 화상, 뎁스 정보 및 복호 화상과 부호화 대상 영역에서의 뎁스 정보를 이용하여 보정 파라미터를 추정한다. 시점 합성 화상 보정부(108)는 추정된 보정 파라미터를 이용하여 부호화 대상 영역의 시점 합성 화상을 보정한다.

화상 부호화부(109)는, 보정된 시점 합성 화상을 예측 신호로서 사용하면서 부호화 대상 영역의 화상 신호를 부호화한다. 화상 부호화부(109)는 부호화된 화상 신호를 복호한다. 복호 화상 메모리(111)는 화상 부호화부(109)에 의해 복호된 화상을 축적한다. 복호 화상 메모리(111)에 축적된 복호 화상은 보정 파라미터 생성부(107)에 공급된다.

보정 파라미터 생성부(107)는, 도 8에 도시된 바와 같이 뎁스 정보 메모리(106)로부터의 뎁스 정보가 공급되는 피사체 판정부(107a), 이 피사체 판정부(107a)의 하류에 차례대로 접속된 대표 뎁스 설정부(107b) 및 샘플 화소군 설정부(107c)를 가진다. 샘플 화소군 설정부(107c)에는, 그 하류에 보정 모델 선택부(107d) 및 보정 파라미터 추정부(107e)가 차례대로 접속된다. 보정 파라미터 추정부(107e)에는 복호 화상 메모리(111)로부터의 복호 화상 및 시점 합성 화상 메모리(104)로부터의 시점 합성 화상이 공급되고, 공급된 복호 화상 및 시점 합성 화상을 이용하여 추정한 보정 파라미터를 시점 합성 화상 보정부(108)에 공급한다.

도 2에 이와 같이 구성되는 본 실시형태의 다시점 영상 부호화 장치(100)가 실행하는 처리의 흐름을 나타낸다.

이 처리의 흐름에 따라, 본 실시형태의 다시점 영상 부호화 장치(100)가 실행하는 처리에 대해 상세하게 설명한다.

우선, 부호화 대상 화상 입력부(101)에 의해 부호화 대상 프레임(Org)이 입력되어 부호화 대상 화상 메모리(102)에 저장된다. 시점 합성 화상 입력부(103)에 의해 부호화 대상 프레임(Org)에 대한 시점 합성 화상(Synth)이 입력되어 시점 합성 화상 메모리(104)에 저장된다. 뎁스 정보 입력부(105)에 의해 부호화 대상 프레임(Org)에 대한 뎁스 정보(Depth)가 입력되어 뎁스 정보 메모리(106)에 저장된다[A1].

여기서 입력되는 시점 합성 화상과 뎁스 정보는 복호 장치에서 얻어지는 것과 같은 것이다. 이는 복호 장치에서 얻어지는 정보와 같은 정보를 이용함으로써 드리프트 등의 부호화 잡음의 발생을 억제하기 위해서이다. 단, 이들 부호화 잡음의 발생을 허용하는 경우는 부호화 전의 오리지널의 것이 입력되어도 상관없다.

또, 뎁스 정보는 다시점 영상 부호화 장치(100)의 외부로부터 주어지는 것으로 하고 있는데, 비특허문헌 3에 기재된 바와 같이 이미 부호화 완료한 다른 카메라의 프레임으로부터 추정하여 구하는 것도 가능하다. 따라서, 반드시 송신측에서 수신측으로 전송될 필요는 없다. 또한, 시점 합성 화상은 이미 부호화 완료한 제2 카메라의 프레임과 뎁스 정보를 이용하여 생성된다.

다음에, 부호화 대상 프레임을 복수의 부호화 대상 영역으로 분할하고, 그 영역마다 시점 합성 화상을 보정하면서 화상 부호화부(109)에서 부호화 대상 프레임의 화상 신호를 부호화한다[A2-A15].

즉, 부호화 처리 블록의 인덱스를 blk, 총 부호화 처리 블록 수를 numBlks로 나타낸다고 하면, blk를 0으로 초기화한 후[A2], blk에 1을 가산하면서[A14] blk가 numBlks가 될 때까지[A15] 이하의 단계[A3-A13]를 반복한다.

부호화 처리 블록마다 반복되는 처리에서는, 부호화 장치(100)는 우선 블록(blk)(부호화 대상 영역)의 주변의 부호화 완료한 영역의 화소의 집합(N_blk)을 구한[A3].

주변 영역으로서는 블록(blk)에 인접하는 부호화 처리 블록이나 인접 화소 등 여러 가지의 단위의 것을 이용하는 것이 가능하다. 어떠한 정의의 주변 영역을 사용해도 상관없지만, 복호측에서 사용하는 정의와 같은 것을 사용할 필요가 있다.

다음에, 보정 파라미터 생성부(107)의 피사체 판정부(107a)는, 화소마다 주어진 뎁스 정보를 기준으로 하여 블록(blk) 내의 화소의 그룹핑을 행한다[피사체 판정 단계(A4)].

이 결과의 각 그룹의 인덱스를 obj, 그룹 수를 numObjs라고 나타내고, 그룹(obj)에 속하는 화소를 C_obj라고 나타내기로 한다.

그룹핑에는 어떠한 방법을 이용해도 상관없지만, 복호측에서 사용하는 방법과 같은 것을 사용할 필요가 있다. 가장 간단한 그룹핑 방법으로서는, 블록(blk) 내의 화소의 뎁스 정보의 분산을 구하여 그 값이 문턱값 이하이면 전체적으로 하나의 그룹으로 하고, 문턱값보다 큰 경우는 뎁스 값의 평균을 경계로 하여 2개의 그룹으로 분할하는 방법이 있다. 이 경우, 모든 그룹에 포함되는 화소의 뎁스 정보의 분산이 어떤 문턱값 이하가 되면 그룹핑을 종료한다.

보다 복잡한 그룹핑 방법으로서는, 처음에는 각 화소가 하나의 그룹을 이루고 있는 것으로 하고, 어떤 2개의 그룹을 융합했을 때에 그룹 내의 화소가 갖는 뎁스 정보의 분산의 증가가 가장 적은 것을 차례대로 융합해 가는 방법이 있다. 이 경우, 어떤 2개의 그룹을 융합해도 어떤 문턱값을 넘는 분산을 갖는 그룹이 발생하여 버리는 경우에 그룹핑을 종료한다.

또, 그룹 수가 증가하면 연산량이 증가하기 때문에, 미리 그룹의 최대수를 정의해 두어도 된다. 그룹 수가 그 최대값이 되면 그룹핑을 종료하거나, 미리 1그룹에 포함되는 화소의 최소수를 정의해 두고 작은 그룹을 생성하지 않도록 하거나 함으로써 그룹 수의 증대를 막을 수 있다. 블록 크기가 일반적인 화상 부호화의 단위 블록 크기의 16×16화소인 경우, 일반적으로 다수의 피사체가 같은 블록에 촬영되는 경우는 드물다. 따라서, 최대 그룹 수는 2에서도 정밀도가 높은 그룹핑을 행하는 것이 가능하다.

그룹핑이 종료되면, 각 그룹의 화소마다 시점 합성 화상을 보정함으로써 예측 화상(Pred)을 생성한다[A5-A11].

즉, 그룹 인덱스(obj)를 0으로 초기화한 후[A5], obj에 1을 가산하면서[A10] obj가 numObjs가 될 때까지[A11] 보정 파라미터 생성부(107)에서 시점 합성 화상을 보정하기 위한 보정 파라미터를 추정하는 단계[A6-A8]를 행한다. 이 처리와 함께, 시점 합성 화상 보정부(108)에서 추정된 보정 파라미터를 이용하여 그룹(obj)에 포함되는 화소에 대한 시점 합성 화상을 보정하여 예측 화상을 생성하는 단계[A9]를 반복한다.

보정 파라미터의 추정 처리에서는, 우선 뎁스 정보를 기초로 블록(blk)(부호화 대상 영역)의 주변의 부호화 완료한 영역의 화소의 집합(N_blk)에 포함되는, 그룹(obj)과 같은 피사체가 촬영되어 있는 화소의 집합(N_{blk , obj})(샘플 화소군)을 구한다[대표 뎁스 설정 단계 및 샘플 화소군 설정 단계(A6)].

구체적인 처리로서는, 우선 대표 뎁스 설정부(107b)에서 그룹(obj)의 대표 뎁스 값(D_obj)을 구한다(대표 뎁스 설정 단계). 대표 뎁스 값(D_obj)을 구하는 방법으로서는, 그룹(obj) 내의 화소(C_obj)에 대한 뎁스 정보를 이용하여 하나의 뎁스 정보를 구하는 것이 가능하면 어떠한 방법을 이용할 수 있다. 단, 복호측과 같은 처리로 구할 필요가 있다. 예를 들면, 평균값이나 중앙값 등을 사용할 수 있다. 평균값을 이용하는 경우의 대표 뎁스 값(D_obj)은 다음 식(1)으로 나타낼 수 있다. 또, ∥∥은 그 집합의 화소수를 나타낸다.

또, 피사체 판정 단계 A4에서 뎁스 정보를 기준으로 하여 화소의 그룹핑을 행할 때에, 그룹의 대표가 되는 화소나 그룹을 나타내는 뎁스 정보를 결정하면서 화소의 그룹핑을 행하는 수법이 존재한다. 그러한 수법을 이용하는 경우, 그 때의 그룹의 대표로서 이용된 화소가 갖는 뎁스 정보나 그룹을 나타내는 뎁스 정보를 대표 뎁스 값으로 해도 상관없다. 이 경우, 대표 뎁스 설정 단계의 처리는 피사체 판정 단계 A4에서 동시에 행해진다. 그룹의 대표 결정과 그룹핑을 동시에 행하는 수법으로서 대표적인 것으로 Affinity Propagation이라고 불리는 수법이 있다. 이 수법은 B.J.Frey and D.Dueck, "Clustering by Passing Messages Between Data Points", Science 2007, Vol.315(5814): pp.972-976에 기재되어 있다.

이와 같이 하여 대표 뎁스 값(D_obj)을 구하면, 이어서 샘플 화소군 설정부(107c)에서 집합(N_blk)에 포함되는 그룹(obj)과 같은 피사체가 촬영되어 있는 화소의 집합(N_{blk , obj})(샘플 화소군)을 구한다(샘플 화소군 설정 단계). 집합(N_{blk , obj})은 다음 식(2)에 나타나는 바와 같이, 그 화소에 대한 뎁스 값과 대표 뎁스 값의 차분 절대값이 미리 주어진 문턱값(thSameObj) 미만으로 함으로써 정의할 수 있다.

집합(N_{blk , obj})이 구해진 후, 그 집합의 화소수에 따라 보정 모델 선택부(107d)에서 미리 준비되어 있는 보정 모델 중에서 사용할 것을 선택한다[보정 모델 선택 단계(A7)].

몇 개의 보정 모델을 준비해도 상관없지만, 복호측에서도 같은 보정 모델을 준비하고 같은 판단 기준에 따라 사용할 보정 모델을 선택해야 한다. 또한, 보정 모델이 하나만 준비되어 있는 경우는 이 단계를 생략할 수 있다.

후술하는 단계 A9에서 실행하게 되는 시점 합성 화상을 보정하여 예측 화상을 생성하는 처리는, 시점 합성 화상을 입력으로서 예측 화상을 출력하는 함수로서 표현하는 것이 가능하다. 보정 모델이란 이 때에 이용하는 함수의 모델을 가리킨다. 예를 들면, 오프셋에 의한 보정, 1차 함수를 이용한 보정, 탭 길이(k)의 이차원 선형 필터 처리 등이 있다. 보정 대상의 화소를 p라고 하면, 이들은 각각 이하의 식(3)~식(5)으로 나타내는 것이 가능하다.

...식(4)

...식(5)

오프셋에 의한 보정이나 1차 함수를 이용한 보정은 선형 필터 처리에 의한 보정의 특수한 예이다. 또, 보정 처리는 선형 처리일 필요는 없고, 보정 파라미터 추정이 가능하면 비선형 필터를 사용해도 상관없다. 비선형의 보정 방법의 예로서는 감마 보정이 있다. 감마 보정은 다음 식(6)으로 나타낼 수 있다.

이들 보정 모델의 예에서는 각각 offset, (α,β), ({F_{i ,j}},o), (γ,a,b)가 보정 파라미터가 된다. 즉, 보정 모델에 따라 보정 파라미터의 수가 변화한다.

보정 파라미터의 수가 많을수록 정밀도가 높은 보정을 하는 것이 가능한데, 이들 보정 파라미터를 결정하기 위해서는 최저에서도 보정 파라미터와 같은 수만큼의 샘플이 필요하게 된다. 후술하는 바와 같이, 이 샘플이 상기 집합(N_{blk , obj})에 포함되는 샘플 화소의 시점 합성 화상 및 복호 화상이 되기 때문에, 집합(N_{blk , obj})의 화소수에 따라 보정 모델을 결정함으로써 정밀도 높게 보정을 하는 것이 가능하게 된다. 또, 보정 파라미터 추정에는 가능한 한 많은 샘플을 이용한 쪽이 추정된 보정 파라미터의 강건성이 향상된다. 따라서, 충분한 강건성을 유지할 수 있도록 보정 모델의 선택을 하는 것이 바람직하다.

하나의 보정 모델을 선택한 후, 보정 파라미터 추정부(107e)에서 집합(N_{blk , obj})에 포함되는 화소에 대한 시점 합성 화상(Synth) 및 복호 화상(Dec)을 샘플로 하여 그 보정 모델에 포함되는 보정 파라미터의 추정을 행한다[보정 파라미터 추정 단계(A8)].

여기서 행해지는 보정 파라미터의 추정에서는, 집합(N_{blk , obj})에 포함되는 화소의 보정 전의 값을 시점 합성 화상으로 하고 이상적인 보정 후의 값을 복호 화상으로 했을 때에, 실제로 보정 모델에서 보정했을 때의 값과 이상값의 오차가 가능한 한 작아지도록 구한다.

예를 들면, 보정이 선형 처리라고 하면, 최소 제곱법을 이용하여 보정 파라미터를 결정할 수 있다. 즉, 보정을 함수(M)로 나타낸다고 하면, 다음 식(7)으로 나타나는 보정 파라미터의 2차 함수로 나타나는 값을 최소화하면 된다.

즉, 각 보정 파라미터에 관한 식(7)의 편미분값이 0이 되는 연립 방정식을 품으로써 보정 파라미터를 구할 수 있다.

보정 파라미터를 추정할 수 있으면, 시점 합성 화상 보정부(108)에서 블록(blk)의 그룹(obj)에 대한 시점 합성 화상(Synth)을 보정 파라미터에 따라 보정함으로써, 블록(blk)의 그룹(obj)에 대한 예측 화상(Pred)을 생성한다[시점 합성 화상 보정 단계(A9)].

이 예측 화상(Pred)의 생성 처리는 구체적으로 도 3의 처리 흐름에 도시된 바와 같이 화소마다 행해진다. 여기서, 도 3의 처리 흐름에 있어서, pix는 화소의 식별 정보를 나타내고, numPix_{blk , obj}는 블록(blk)의 그룹(obj) 내의 화소수를 나타낸다.

예를 들면, 오프셋 값을 이용한 보정을 하는 경우에는 전술한 식(3)에 따라 예측 화상(Pred)이 생성된다.

이 예측 화상(Pred)의 생성에 대해, 보정 방법(보정 모델)으로서 오프셋 값을 이용한 식(3)의 보정을 하는 예에 대해 설명한다. 도 4에 도시된 바와 같이, 보정 파라미터 추정 단계 A8에서 주변의 부호화 완료한 영역에 존재하는 같은 피사체에 대한 시점 합성 화상의 화소값을 In으로 하고, 그 피사체의 복호 화상의 화소값을 Out로 한 경우의 offset를 추정함으로써 화소값 변환식이 되는 보정 모델을 결정한다. 다음에, 단계 A9에서 그 결정한 화소값 변환식의 In에 블록(blk)의 그룹(obj)에 대한 시점 합성 화상의 화소값을 대입함으로써, 블록(blk)의 그룹(obj)에 대한 예측 화상을 보정하도록 처리한다.

블록(blk)에 대한 예측 화상의 생성이 종료되면, 화상 부호화부(109)에서 단계 A9에서 생성한 예측 화상(Pred)을 예측 신호로 하면서 블록(blk)에 대한 부호화 대상 프레임(Org)의 부호화를 행한다[화상 부호화 단계(A12)].

이 부호화 단계 A12에서는 어떠한 부호화 방법을 이용해도 상관없지만, H.264 등 일반적인 부호화 수법에서는 Org와 Pred의 차분에 대해 DCT·양자화·2치화·엔트로피 부호화를 실시함으로써 부호화를 행한다.

부호화 결과의 비트 스트림은 다시점 영상 부호화 장치(100)의 출력이 된다. 또한, 부호화 결과의 비트 스트림은 블록마다 화상 복호부(110)에서 복호되고, 복호 결과인 바의 복호 화상(Dec)이 다른 블록에서의 보정 파라미터 추정을 위해 복호 화상 메모리(111)에 저장된다[화상 복호 단계(A13)].

이와 같이 하여 도 1과 같이 구성되는 다시점 영상 부호화 장치(100)는, 카메라 간에 휘도나 색의 미스매치가 피사체에 따라 국소적으로 생겨 있는 경우에서도 다시점 영상을 고능률로 부호화할 수 있도록 하기 위해 이 미스매치에 대처하기 위한 보정 파라미터를 피사체에 따라 국소적으로 구한다. 또한, 이 다시점 영상 부호화 장치(100)는 부호량의 증가를 회피하기 위해 그 보정 파라미터를 별도 부호화/복호할 필요가 없는 형태로 구하도록 하면서 그 다시점 영상의 부호화를 실행한다.

본 실시형태에서는 시점 합성 화상을 반드시 사용하여 블록(blk)의 화상 신호를 부호화하는 경우를 설명하였지만, 본 실시형태에서 설명한 시점 합성 화상을 이용한 영상 예측을 복수 존재하는 예측화 모드의 하나로서 사용하는 것도 가능하다.

[2]본 발명의 제2 실시형태에 의한 다시점 영상 복호 장치

도 5에 본 발명의 제2 실시형태에 관한 다시점 영상 복호 장치(200)의 장치 구성을 도시한다.

도 5에 도시된 바와 같이, 본 실시형태의 다시점 영상 복호 장치(200)에 있어서, 부호 데이터 입력부(201)는 제1 카메라로 촬영된 피사체의 화상(프레임)의 부호 데이터를 복호 대상으로서 입력한다. 부호 데이터 메모리(202)는 부호 데이터 입력부(201)로부터 입력된 부호 데이터를 축적한다. 축적된 부호 데이터는 화상 복호부(209)에 공급된다.

시점 합성 화상 입력부(203)는, 제1 카메라와는 다른 위치에 배치된 제2 카메라로 동일한 피사체를 촬영하여 얻어진 화상의 복호 완료한 프레임을 이용하여 생성된 복호 대상 프레임에 대한 시점 합성 화상을 입력한다. 시점 합성 화상 메모리(204)는 시점 합성 화상 입력부(203)로부터 입력된 시점 합성 화상을 축적한다. 축적된 시점 합성 화상은 보정 파라미터 생성부(207) 및 시점 합성 화상 보정부(208)에 공급된다.

뎁스 정보 입력부(205)는 복호 대상 프레임에 대한 뎁스 정보를 입력한다. 뎁스 정보 메모리(206)는 뎁스 정보 입력부(205)로부터 입력된 뎁스 정보를 축적한다. 축적된 뎁스 정보는 보정 파라미터 생성부(207)에 공급된다.

보정 파라미터 생성부(207)는 복호 대상 영역의 주변 영역에서의 시점 합성 화상, 뎁스 정보 및 복호 화상과 복호 대상 영역에서의 뎁스 정보를 이용하여 보정 파라미터를 추정한다. 시점 합성 화상 보정부(208)는 추정된 보정 파라미터를 이용하여 복호 대상 영역의 시점 합성 화상을 보정한다.

화상 복호부(209)는, 보정된 시점 합성 화상을 예측 신호로서 사용하면서 복호 대상 영역의 화상 신호를 복호한다. (10)복호 화상 메모리(210)는 화상 복호부(209)에서 복호된 화상을 축적한다.

보정 파라미터 생성부(207)는, 도 8에 도시된 바와 같이 뎁스 정보 메모리(206)로부터의 뎁스 정보가 공급되는 피사체 판정부(207a), 이 피사체 판정부(207a)의 하류에 차례대로 접속된 대표 뎁스 설정부(207b) 및 샘플 화소군 설정부(207c)를 가진다. 샘플 화소군 설정부(207c)에는, 그 하류에 보정 모델 선택부(207d) 및 보정 파라미터 추정부(207e)가 차례대로 접속된다. 보정 파라미터 추정부(207e)에는 복호 화상 메모리(210)로부터의 복호 화상 및 시점 합성 화상 메모리(204)로부터의 시점 합성 화상이 공급되고, 공급된 복호 화상 및 시점 합성 화상을 이용하여 추정한 보정 파라미터를 시점 합성 화상 보정부(208)에 공급한다.

도 6에 이와 같이 구성되는 제2 실시형태의 다시점 영상 복호 장치(200)가 실행하는 처리의 흐름을 나타낸다.

이 처리 흐름에 따라, 본 실시형태의 다시점 영상 복호 장치(200)가 실행하는 처리에 대해 상세하게 설명한다.

우선, 부호 데이터 입력부(201)에 의해 복호 대상 프레임의 부호 데이터가 입력되어 부호 데이터 메모리(202)에 저장된다. 시점 합성 화상 입력부(203)에 의해 복호 대상 프레임에 대한 시점 합성 화상(Synth)이 입력되어 시점 합성 화상 메모리(204)에 저장된다. 뎁스 정보 입력부(205)에 의해 복호 대상 프레임에 대한 뎁스 정보(Depth)가 입력되어 뎁스 정보 메모리(206)에 저장된다[B1].

여기서 입력되는 시점 합성 화상과 뎁스 정보는 부호화 장치에서 얻어지는 것과 같은 것이다. 이는 부호화 장치에서 얻어지는 정보와 같은 정보를 이용함으로써 드리프트 등의 부호화 잡음의 발생을 억제하기 위해서이다. 단, 이들 부호화 잡음의 발생을 허용하는 경우는 부호화 장치와 다른 것이 입력되어도 상관없다.

또, 뎁스 정보는 다시점 영상 복호 장치(200)의 외부로부터 주어지는 것으로 하고 있는데, 비특허문헌 3에 기재된 바와 같이 이미 복호 완료한 다른 카메라의 프레임으로부터 추정하여 구하는 것도 가능하다. 따라서, 반드시 송신측에서 수신측으로 전송될 필요는 없다. 또한, 시점 합성 화상은 이미 복호 완료한 제2 카메라의 프레임과 뎁스 정보를 이용하여 생성된다.

다음에, 복호 대상 프레임을 복수의 복호 대상 영역으로 분할하고, 그 영역마다 시점 합성 화상을 보정하면서 화상 복호부(209)에서 복호 대상 프레임의 화상 신호를 복호한다[B2-B14].

즉, 복호 처리 블록의 인덱스를 blk, 총 복호 처리 블록 수를 numBlks로 나타낸다고 하면, blk를 0으로 초기화한 후[B2], blk에 1을 가산하면서[B13] blk가 numBlks가 될 때까지[B14] 이하의 단계[B3-B12]를 반복한다.

복호 처리 블록마다 반복되는 처리에서는, 복호 장치(200)는 우선 블록(blk)(복호 대상 영역)의 주변의 복호 완료한 영역의 화소의 집합(N_blk)을 구한다[B3].

주변 영역으로서는 블록(blk)에 인접하는 복호 처리 블록이나 인접 화소 등 여러 가지 단위의 것을 이용하는 것이 가능하다. 어떠한 정의의 주변 영역을 사용해도 상관없지만, 부호화측에서 사용하는 정의와 같은 것을 사용할 필요가 있다.

다음에, 보정 파라미터 생성부(207)의 피사체 판정부(207a)는 화소마다 주어진 뎁스 정보를 기준으로 하여 블록(blk) 내의 화소의 그룹핑을 행한다[피사체 판정 단계(B4)].

이 결과의 각 그룹의 인덱스를 obj, 그룹 수를 numObjs라고 나타내고, 그룹(obj)에 속하는 화소를 C_obj라고 나타내기로 한다. 여기서의 처리는 제1 실시형태의 피사체 판정 단계 A4와 같다.

그룹핑이 종료되면, 각 그룹의 화소마다 시점 합성 화상을 보정함으로써 예측 화상(Pred)을 생성한다[B5-B11].

즉, 그룹 인덱스(obj)를 0으로 초기화한 후[B5], obj에 1을 가산하면서[B10] obj가 numObjs가 될 때까지[B11] 보정 파라미터 생성부(207)에서 시점 합성 화상을 보정하기 위한 보정 파라미터를 추정하는 단계[B6-B8]를 행한다. 이 처리와 함께, 시점 합성 화상 보정부(208)에서 추정된 보정 파라미터를 이용하여 그룹(obj)에 포함되는 화소에 대한 시점 합성 화상을 보정하여 예측 화상을 생성하는 단계[B9]를 반복한다.

이 단계 B9에서의 처리는 제1 실시형태의 단계 A9와 같고, 도 7의 처리 흐름에 도시된 바와 같이 화소마다 행해진다. 여기서, 도 7의 처리 흐름에 있어서 pix는 화소의 식별 정보를 나타내고, numPix_{blk , obj}는 블록(blk)의 그룹(obj) 내의 화소수를 나타낸다. 대표 뎁스 설정부(207b), 샘플 화소군 설정부(207c), 보정 모델 선택부(207d) 및 보정 파라미터 추정부(207e)에 의해 행해지는 보정 파라미터의 추정 단계[B6-B8]는 제1 실시형태에서의 단계 A6-A8과 같다.

블록(blk)에 대한 예측 화상의 생성이 종료되면, 화상 복호부(209)에서 단계 B9에서 생성한 예측 화상(Pred)을 예측 신호로 하면서 블록(blk)에 대한 복호 대상 화상(Dec)을 복호한다[B12].

여기서 행해지는 복호 처리는 부호 데이터를 생성할 때에 이용된 방법에 대응하는 것을 사용할 필요가 있다. 예를 들면, H.264를 이용하여 부호화되어 있는 경우, 엔트로피 복호, 다치화, 역양자화, 역DCT를 행하여 복호된 잔차 신호에 대해 예측 신호를 서로 합함으로써 복호 처리가 행해진다.

복호 결과의 복호 화상은 다시점 복호 장치(200)의 출력이 됨과 동시에, 다른 블록에서의 보정 파라미터 추정을 위해 복호 화상 메모리(210)에 저장된다.

이와 같이 하여 도 5와 같이 구성되는 다시점 영상 복호 장치(200)는, 도 1에 도시된 다시점 영상 부호화 장치(100)가 생성한 다시점 영상 복호의 부호 데이터를 복호한다.

본 실시형태에서는, 시점 합성 화상을 반드시 사용하여 블록(blk)이 부호화되어 있는 것으로서 설명을 하였다. 시점 합성 화상을 사용하는 예측 모드가 복수 존재하는 예측 모드의 하나로서 사용되어 부호 데이터를 복호하는 경우에서도, 그 예측 모드가 사용되고 있는 경우에만 전술한 처리 흐름에 따라 화상을 복호하고, 그 이외의 예측 모드가 사용되고 있는 경우는 그 예측 모드(그 이외의 예측 모드)에 따른 종래의 복호 방법을 이용함으로써 화상을 복호하는 것이 가능하다.

상기 설명을 한 제1 및 제2 실시형태에서는 모든 블록에서 보정을 하도록 하고 있는데, 블록마다 1비트의 플래그 정보를 부호화함으로써 보정을 할지 여부를 선택하는 구성을 취할 수도 있다.

또한, 1비트의 플래그 정보를 부호화하지 않고 보정 파라미터의 신뢰도를 측정하며, 그 신뢰도에 따라 보정을 할지 여부를 선택하는 방법도 있다.

구체적으로 단계 A8 및 단계 B8에서 보정 파라미터를 구한 후에, 이하의 식(8)~식(10)에 나타내는 바와 같은 보정의 확실함과 유효성을 표현하는 값을 구해도 된다. 보정 파라미터 생성부(107 및 207)는, 그 값이 미리 주어진 문턱값보다도 큰 경우에만 단계 A9 및 단계 B9에서 시점 합성 화상을 보정한 것을 예측 화상으로 하고, 그 이외의 경우는 시점 합성 화상을 그대로 예측 화상으로 한다.

...식(9)

...식(10)

식(8)의 제1항은 복호 화상(Dec)과 시점 합성 화상(Synth)의 차분 절대값 합을 나타내고, 제2항은 복호 화상(Dec)과 예측 화상(Pred)의 차분 절대값 합을 나타낸다. 즉, 식(8)은 보정함으로써 참값과 예측값의 차분 절대값 합이 어느 정도 삭감되었는지를 나타낸다. 또한, 식(9)의 제1항은 복호 화상(Dec)과 시점 합성 화상(Synth)의 차분 제곱 합을 나타내고, 제2항은 복호 화상(Dec)과 예측 화상(Pred)의 차분 제곱 합을 나타낸다. 즉, 식(9)는 보정함으로써 참값과 예측값의 차분 제곱 합이 어느 정도 삭감되었는지를 나타낸다. 또한, 식(10)은 보정 모델이 얻어져 있는 샘플에 대해 어느 정도 확실한지를 나타낸다. 여기서, 어떤 값이나 처리 대상 블록이 아니라 주변 영역의 값을 이용하여 구해지기 때문에, 전체에서 이용하는 문턱값만을 부호화하여 복호측에 통지하는 것만으로 된다.

또, 본 실시형태에서는 하나의 카메라의 1프레임을 부호화 또는 복호하는 처리를 설명하였지만, 이 처리를 프레임마다 반복함으로써 다시점 영상의 부호화 또는 복호를 실현하는 것이 가능하다. 또, 카메라마다 반복함으로써 복수의 카메라의 다시점 영상의 부호화 또는 복호를 실현하는 것이 가능하다.

이상 설명한 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록 매체에 기록하여 제공하는 것도 가능하며 네트워크를 통해 제공하는 것도 가능하다.

또한, 이상의 실시형태에서는 다시점 영상 부호화 장치 및 다시점 영상 복호 장치를 중심으로 설명하였지만, 이 다시점 영상 부호화 장치의 각 부의 동작에 대응한 단계에 의해 본 발명의 다시점 영상 부호화 방법을 실현할 수 있다. 마찬가지로 이 다시점 영상 복호 장치의 각 부의 동작에 대응한 단계에 의해 본 발명의 다시점 영상 복호 방법을 실현할 수 있다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 범위를 벗어나지 않는 범위에서 구성 요소의 추가, 생략, 치환, 그 밖의 변경을 행해도 된다.

본 발명은 다시점 화상의 부호화 수법에 적용할 수 있다. 본 발명을 적용함으로써, 카메라 간에 휘도나 색의 미스매치가 피사체에 따라 국소적으로 생겨 있는 경우에서도 효율적인 다시점 화상이나 다시점 동화상의 부호화 및 복호를 실현할 수 있게 됨과 동시에 그 실현에 있어서의 부호량을 대폭으로 삭감할 수 있다.

100 다시점 영상 부호화 장치
101 부호화 대상 화상 입력부
102 부호화 대상 화상 메모리
103 시점 합성 화상 입력부
104 시점 합성 화상 메모리
105 뎁스 정보 입력부
106 뎁스 정보 메모리
107 보정 파라미터 생성부
108 시점 합성 화상 보정부
109 화상 부호화부
110 화상 복호부
111 복호 화상 메모리
200 다시점 영상 복호 장치
201 부호 데이터 입력부
202 부호 데이터 메모리
203 시점 합성 화상 입력부
204 시점 합성 화상 메모리
205 뎁스 정보 입력부
206 뎁스 정보 메모리
207 보정 파라미터 생성부
208 시점 합성 화상 보정부
209 화상 복호부
210 복호 화상 메모리

Claims (10)

1. 제1 카메라로 촬영된 피사체의 입력 화상을 복수의 부호화 대상 영역으로 분할하고, 상기 입력 화상에 대한 뎁스 (depth) 정보와 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 이미 부호화 완료한 화상으로부터 합성된 시점 합성 화상을 이용하여 상기 부호화 대상 영역마다 예측 부호화를 행하는 다시점 화상 부호화 방법으로서,
   상기 부호화 대상 영역에서 촬영된 피사체에 대한 대표 뎁스 정보를 설정하는 대표 뎁스 설정 단계;
   상기 부호화 대상 영역에 인접하는 이미 부호화 완료한 영역에서의 뎁스 정보와 상기 대표 뎁스 정보에 기초하여, 상기 부호화 대상 영역 내와 같은 피사체가 촬영되어 있는 화소군을 구하여 샘플 화소군으로서 설정하는 샘플 화소군 설정 단계;
   상기 샘플 화소군에 대한 상기 시점 합성 화상 및 상기 샘플 화소군에 대해 이미 복호된 복호 화상에 기초하여, 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계;
   상기 보정 파라미터를 이용하여 상기 부호화 대상 영역에 대한 상기 시점 합성 화상을 보정하여 보정 시점 합성 화상을 생성하는 시점 합성 화상 보정 단계;
   상기 보정 시점 합성 화상을 이용하여 상기 부호화 대상 영역의 화상 신호를 부호화하여 부호 데이터를 생성하는 화상 부호화 단계;
   상기 부호 데이터를 복호하여 상기 부호화 대상 영역에서의 복호 화상을 생성하는 화상 복호 단계;를 가지는 다시점 화상 부호화 방법.
2. 제1항에 있어서,
   상기 부호화 대상 영역에서의 화소를 해당 화소의 뎁스 정보를 기준으로 하여 그룹핑 (grouping) 하는 피사체 판정 단계를 가지고,
   상기 대표 뎁스 설정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 대표 뎁스 정보를 설정하며,
   상기 샘플 화소군 설정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 샘플 화소군을 설정하고,
   상기 보정 파라미터 추정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 보정 파라미터를 추정하며,
   상기 시점 합성 화상 보정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 시점 합성 화상을 보정하는 다시점 화상 부호화 방법.
3. 제1항 또는 제2항에 있어서,
   상기 샘플 화소군의 화소수에 따라 상기 부호화 대상 영역에 대한 상기 시점 합성 화상을 보정하는 보정 모델을 선택하는 보정 모델 선택 단계를 구비하고,
   상기 보정 파라미터 추정 단계에서는 상기 보정 모델 선택 단계에서 선택된 상기 보정 모델에서의 보정 파라미터를 추정하며,
   상기 시점 합성 화상 보정 단계에서는 상기 보정 모델 선택 단계에서 선택된 상기 보정 모델을 이용하여 시점 합성 화상을 보정하는 다시점 화상 부호화 방법.
4. 제1 카메라로 촬영된 피사체의 화상을 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 화상을 이용하여 부호화한 복호 대상 화상의 부호 데이터를 상기 복호 대상 화상에 대한 뎁스 정보와 상기 제2 카메라로 촬영된 이미 복호 완료한 상기 피사체의 화상으로부터 합성된 시점 합성 화상을 이용하여 상기 복호 대상 화상을 분할한 복수의 복호 대상 영역마다 복호를 행하는 다시점 화상 복호 방법으로서,
   상기 복호 대상 영역에서 촬영된 피사체에 대한 대표 뎁스 정보를 설정하는 대표 뎁스 설정 단계;
   상기 복호 대상 영역에 인접하는 이미 복호 완료한 영역에서의 뎁스 정보와 상기 대표 뎁스 정보에 기초하여, 상기 복호 대상 영역 내와 같은 피사체가 촬영되어 있는 화소군을 구하여 샘플 화소군으로서 설정하는 샘플 화소군 설정 단계;
   상기 샘플 화소군에 대한 상기 시점 합성 화상 및 상기 샘플 화소군에 대해 이미 복호된 복호 화상에 기초하여, 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계;
   상기 보정 파라미터를 이용하여 상기 복호 대상 영역에 대한 상기 시점 합성 화상을 보정하여 보정 시점 합성 화상을 생성하는 시점 합성 화상 보정 단계;
   상기 보정 시점 합성 화상을 이용하여 상기 복호 대상 영역의 화상 신호를 복호하는 화상 복호 단계;를 가지는 다시점 화상 복호 방법.
5. 제4항에 있어서,
   상기 복호 대상 영역에서의 화소를 해당 화소의 뎁스 정보를 기준으로 하여 그룹핑하는 피사체 판정 단계를 가지고,
   상기 대표 뎁스 설정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 대표 뎁스 정보를 설정하며,
   상기 샘플 화소군 설정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 샘플 화소군을 설정하고,
   상기 보정 파라미터 추정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 보정 파라미터를 추정하며,
   상기 시점 합성 화상 보정 단계에서는 상기 피사체 판정 단계에서 구해진 그룹마다 시점 합성 화상을 보정하는 다시점 화상 복호 방법.
6. 제4항 또는 제5항에 있어서,
   상기 샘플 화소군의 화소수에 따라 상기 복호 대상 영역에 대한 상기 시점 합성 화상을 보정하는 보정 모델을 선택하는 보정 모델 선택 단계를 구비하고,
   상기 보정 파라미터 추정 단계에서는 상기 보정 모델 선택 단계에서 선택된 상기 보정 모델에서의 보정 파라미터를 추정하며,
   상기 시점 합성 화상 보정 단계에서는 상기 보정 모델 선택 단계에서 선택된 상기 보정 모델을 이용하여 시점 합성 화상을 보정하는 다시점 화상 복호 방법.
7. 제1 카메라로 촬영된 피사체의 입력 화상을 복수의 부호화 대상 영역으로 분할하고, 상기 입력 화상에 대한 뎁스 정보와 이미 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 부호화 완료한 화상으로부터 합성된 시점 합성 화상을 이용하여 상기 부호화 대상 영역마다 예측 부호화를 행하는 다시점 화상 부호화 장치로서,
   상기 부호화 대상 영역에서 촬영된 피사체에 대한 대표 뎁스 정보를 설정하는 대표 뎁스 설정부;
   상기 부호화 대상 영역에 인접하는 이미 부호화 완료한 영역에서의 뎁스 정보와 상기 대표 뎁스 정보에 기초하여, 상기 부호화 대상 영역 내와 같은 피사체가 촬영되어 있는 화소군을 구하여 샘플 화소군으로서 설정하는 샘플 화소군 설정부;
   상기 샘플 화소군에 대한 상기 시점 합성 화상 및 상기 샘플 화소군에 대해 이미 복호된 복호 화상에 기초하여, 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부;
   상기 보정 파라미터를 이용하여 상기 부호화 대상 영역에 대한 상기 시점 합성 화상을 보정하여 보정 시점 합성 화상을 생성하는 시점 합성 화상 보정부;
   상기 보정 시점 합성 화상을 이용하여 상기 부호화 대상 영역의 화상 신호를 부호화하여 부호 데이터를 생성하는 화상 부호화부;
   상기 부호 데이터를 복호하여 상기 부호화 대상 영역에서의 복호 화상을 생성하는 화상 복호부;를 가지는 다시점 화상 부호화 장치.
8. 제1 카메라로 촬영된 피사체의 화상을 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 화상을 이용하여 부호화한 복호 대상 화상의 부호 데이터를 상기 복호 대상 화상에 대한 뎁스 정보와 상기 제2 카메라로 촬영된 이미 복호 완료한 상기 피사체의 화상으로부터 합성된 시점 합성 화상을 이용하여 상기 복호 대상 화상을 분할한 복수의 복호 대상 영역마다 복호를 행하는 다시점 화상 복호 장치로서,
   상기 복호 대상 영역에서 촬영된 피사체에 대한 대표 뎁스 정보를 설정하는 대표 뎁스 설정부;
   상기 복호 대상 영역에 인접하는 이미 복호 완료한 영역에서의 뎁스 정보와 상기 대표 뎁스 정보에 기초하여, 상기 복호 대상 영역 내와 같은 피사체가 촬영되어 있는 화소군을 구하여 샘플 화소군으로서 설정하는 샘플 화소군 설정부;
   상기 샘플 화소군에 대한 상기 시점 합성 화상 및 상기 샘플 화소군에 대해 이미 복호된 복호 화상에 기초하여, 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부;
   상기 보정 파라미터를 이용하여 상기 복호 대상 영역에 대한 상기 시점 합성 화상을 보정하여 보정 시점 합성 화상을 생성하는 시점 합성 화상 보정부;
   상기 보정 시점 합성 화상을 이용하여 상기 복호 대상 영역의 화상 신호를 복호하는 화상 복호부;를 가지는 다시점 화상 복호 장치.
9. 제1항 내지 제3항 중 어느 한 항에 기재된 다시점 화상 부호화 방법을 컴퓨터에 실행시키기 위한 다시점 화상 부호화 프로그램.
10. 제4항 내지 제6항 중 어느 한 항에 기재된 다시점 화상 복호 방법을 컴퓨터에 실행시키기 위한 다시점 화상 복호 프로그램.

Images