KR20110114614A - 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램 - Google Patents

Abstract

본 발명에 의한 다시점 화상 부호화/복호는, 부호화/복호 대상 프레임을 분할하여 영역마다 부호화/복호를 행할 경우에 우선 처리 대상 영역뿐만 아니라 그 처리 대상 영역에 인접한 이미 부호화/복호 완료된 영역에서도 동일한 예측 방법으로 예측 화상을 생성한다. 다음으로 인접 영역에서의 예측 화상과 복호 화상으로부터 휘도나 색의 미스매치를 보정하는 보정 파라미터를 추정한다. 이 때 추정하는 보정 파라미터는 복호측에서도 구할 수 있기 때문에 부호화할 필요가 없다. 그리고 추정한 보정 파라미터를 사용하여 처리 대상 영역에 대해 생성한 예측 화상을 보정함으로써 실제로 사용하는 보정 예측 화상을 생성한다.

Description

다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램{Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program}

본 발명은 어느 피사체를 촬영하는 복수의 카메라에 의해 촬영된 화상을 부호화하는 다시점 화상 부호화 방법 및 그 장치와, 그 다시점 화상 부호화 방법에 의해 부호화된 부호 데이터를 복호하는 다시점 화상 복호 방법 및 그 장치와, 그 다시점 화상 부호화 방법의 실현에 사용되는 다시점 화상 부호화 프로그램과, 그 다시점 화상 복호 방법의 실현에 사용되는 다시점 화상 복호 프로그램에 관한 것이다.

본원은 2009년 2월 12일에 일본에 출원된 일본특원2009-29249호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

다시점 화상이란, 복수의 카메라로 같은 피사체와 배경을 촬영한 복수의 화상이고, 다시점 동화상(다시점 영상)이란, 그 동화상이다.

일반적인 동화상 부호화나 다시점 동화상 부호화에 사용되는 기술로서, 움직임 보상 예측과 시차 보상 예측이 제안되었다.

움직임 보상 예측은, H.264로 대표되는 최근의 동화상 부호화 방식의 국제 표준에도 채용되어 있는 수법으로서, 부호화 대상 프레임을 이미 부호화 완료된 참조 프레임과의 사이에서 피사체의 움직임을 보상하여 화상 신호의 프레임간 차분을 취하고, 그 차분 신호만을 부호화한다(비특허문헌 1 참조).

한편 시차 보상 예측은, 참조 프레임으로서 다른 카메라로 촬영된 프레임을 사용함으로써 피사체의 시차를 보상하여 화상 신호의 프레임간 차분을 취하면서 부호화한다(비특허문헌 2 참조).

여기에서 사용되는 시차란, 다른 위치에 배치된 카메라의 화상 평면상에서 피사체상의 같은 위치가 투영되는 위치의 차이다. 시차 보상 예측에서는, 이것을 이차원 벡터로 표현하여 부호화를 한다. 도 8에 도시한 것처럼, 시차가 카메라와 피사체의 카메라로부터의 거리(깊이)에 의존하여 발생하는 정보이기 때문에 이 원리를 이용한 시점 합성 예측(시점 보간 예측)이라고 불리는 방식이 존재한다.

시점 합성 예측(시점 보간 예측)에서는, 부호화측 또는 복호측에서 얻어진 다시점 영상에 대해 카메라의 위치 정보와 삼각 측량의 원리를 사용하여 피사체의 깊이(depth)를 추정하고, 그 추정된 깊이를 사용하여 부호화 대상 프레임을 합성(보간)하여 예측 화상으로 하는 방식이다(특허문헌 1, 비특허문헌 3 참조). 아울러 부호화측에서 깊이를 추정할 경우에는 사용한 깊이를 부호화할 필요가 있다.

시차 보상 예측이나 시점 합성 예측에서는, 카메라의 촬영 소자의 응답에 개체차가 있거나, 카메라마다 게인 콘트롤이나 감마 보정이 행해지거나, 카메라마다 피사체 심도나 조리개 등의 설정이 다르거나, 씬에 방향 의존의 조명 효과가 있으면 부호화 효율이 열화된다. 그 이유는 부호화 대상 프레임과 참조 프레임에서 피사체의 휘도나 색이 같다는 전제로 예측을 하기 때문이다.

이러한 피사체의 휘도나 색의 변화에 대응하기 위해 검토된 방식으로서, 휘도 보상이나 색보정이라고 불리는 것이 있다. 이 방식에서는 참조 프레임의 휘도나 색을 보정한 것을 예측에 사용하는 프레임으로 함으로써 부호화하는 예측 잔차를 줄인다.

H.264에서는 1차 함수를 사용하여 보정하는 Weighted Prediction이 채용되어 있으며(비특허문헌 1 참조), 비특허문헌 3에서는 색테이블을 사용하여 보정하는 방식이 제안되었다.

특허문헌 1: 일본특개2007-036800호 공보, "영상 부호화 방법, 영상 복호 방법, 영상 부호화 프로그램, 영상 복호 프로그램 및 그들의 프로그램을 기록한 컴퓨터 독취 가능한 기록 매체"

비특허문헌 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Advanced video coding for generic audiovisual services", Final Committee Draft, Document JVT-E022d7 September 2002.(pp.10-13, pp.62-73) 비특허문헌 2: Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding(3DAV)" cument M10976 MPEG Redmond Meeting, July, 2004. 비특허문헌 3: K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto, S.Shimizu, K.Kamikura, and Y.Yashima, "Multiview Video Coding Using View Interpolation and Color Correction" IEEE Transactions on Circuits and System for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007.

상기 휘도 보상이나 색보정을 사용한 부호화의 경우 다음 2가지 문제가 존재한다.

첫번째 문제는, 휘도 보상·색보정 파라미터를 부가함에 따른 부호량의 증가이다. 통상의 시차 보상 예측이나 시점 합성(보간) 예측에서는 부호화할 필요가 없었던 휘도 보상·색보정 파라미터를 부호화할 필요가 생기기 때문에 부호화 효율이 저하된다.

두번째 문제는, 국소적인 미스매치에 대한 대응 능력의 결여이다. 여기에서 미스매치란, 부호화 대상 프레임과 참조 프레임이나 시점 합성 화상과의 사이에 존재하는 휘도나 색의 불일치를 말한다.

통상의 동화상 부호화에서의 페이드나 플래시의 경우, 화면 전체가 동일하게 변화되기 때문에 단일의 보정 파라미터로 충분한 휘도 보상이나 색보정을 할 수 있다. 그러나 피사체가 완전 확산 반사체가 아니거나, 카메라마다 피사계 심도나 초점이 완전히 일치하지 않음에 따른 미스매치는 씬이 아닌, 피사체에 의존하는 미스매치로서 국소적인 것이다. 따라서 단일의 보정 파라미터에 의한 휘도 보상이나 색보정으로는 예측 차분을 충분히 줄일 수 없다.

이 문제에 대해 국소적인 변화에 대응하기 위해 복수의 보정 파라미터를 사용하는 방법도 생각할 수 있다. 그러나 이 방법을 쓰면 복수의 보정 파라미터를 부호화하는 부호량뿐만 아니라 화상 영역마다 어떤 보정 파라미터를 사용하는지를 나타내는 정보를 부호화할 필요가 생기기 때문에 부호량의 증대를 더욱 초래하게 되어 첫번째 문제를 해결할 수 없다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 카메라간에 국소적인 휘도나 색의 미스매치를 동반하는 다시점 화상(다시점의 정지 화상이나 동화상)에서도 고능률의 부호화를 실현하고, 또한 그 실현에 필요한 부호량의 삭감을 실현하는 새로운 다시점 화상 부호화 및 복호 기술을 제공하는 것을 목적으로 한다.

[1]본 발명의 기본적인 기술 사상

전술한 과제를 해결하기 위해 본 발명에서는, 부호화/복호 대상 프레임을 분할하여 영역마다 부호화/복호를 행하는 경우에 이하의 수단을 강구한다.

우선 처리 대상 영역뿐만 아니라 그 처리 대상 영역에 인접한 이미 부호화/복호 완료된 영역에서도 동일한 예측 방법으로 예측 화상을 생성한다. 다음으로 인접 영역에서의 예측 화상과 복호 화상으로부터 휘도나 색의 미스매치를 보정하는 보정 파라미터를 추정한다. 다음으로 추정한 보정 파라미터를 사용하여 처리 대상 영역에 대해 생성한 예측 화상을 보정함으로써 실제로 사용하는 보정 예측 화상을 생성한다.

부호화 대상 프레임과 참조 프레임을 비교하여 보정 파라미터를 산출하는 종래의 방법의 경우에는, 부호화 대상 프레임은 복호측에서는 입수 불가능하므로 보정 파라미터를 부호화할 필요가 있다.

한편 본 발명에서는, 인접 영역에서의 예측 화상과 복호 화상으로부터 보정 파라미터를 추정함으로써 부호화/복호 완료 프레임과 참조 프레임(예측 화상의 생성원이 된 프레임)을 비교하여 보정 파라미터를 산출한다. 어느 쪽 프레임이든 복호측에서 입수 가능한 것이므로 보정 파라미터를 부호화할 필요가 없다. 즉, 본 발명에 의해 부호량 증가 문제를 해결할 수 있다.

또 부호화 처리는 입력 신호를 가능한 한 충실하게 변환하는 처리이므로 부호화 대상 프레임과 부호화/복호 완료 프레임은 거의 같은 것으로 간주할 수 있다. 즉, 본 발명에 의해 산출되는 보정 파라미터는 예측 화상을 부호화 대상 프레임에 접근시켜 부호화하는 예측 차분을 충분히 줄일 수 있다.

또 본 발명에서는 보정 파라미터를 처리 대상 영역마다 인접 영역의 정보를 사용하여 추정한다. 이로써 국소적인 휘도나 색의 미스매치에 따른 보정을 할 수 있게 된다.

상기 다시점 화상 부호화/복호에서, 추정한 보정 파라미터를 사용하여 인접 영역의 예측 화상을 보정하고, 그 결과와 인접 영역의 부호화/복호 완료 화상을 비교함으로써 보정 파라미터의 신뢰도를 산출할 수 있다. 그 신뢰도가 문턱값을 초과하지 않는 경우(신뢰도가 낮은 경우)에는 보정 파라미터에 의한 보정을 하지 않고 처리 대상 영역에 대해서 생성한 예측 화상을 그대로 보정 예측 화상으로 해도 좋다. 아울러 신뢰도로서는, 보정한 예측 화상과 부호화/복호 완료 화상의 차분의 최대치나 분산치 등이 커질수록 신뢰도가 낮은 값을 나타내게 되는 함수(역수 등과 같은 함수)에 의해 산출되는 값을 사용할 수 있다.

또 보정 파라미터를 추정할 때 인접 영역에서의 예측 화상과 부호화/복호 완료 화상과의 화소별 차분을 구하고, 그 차분치에 따라 인접 영역의 화소를 클러스터링하고 가장 요소수가 많은 클러스터에 속한 화소만을 사용하여 보정 파라미터를 도출하는 방법을사용할 수도 있다.

[2]본 발명의 구성

다음으로 본 발명의 다시점 화상 부호화 장치 및 다시점 화상 복호 장치의 구성에 대해서 설명하기로 한다.

[2-1]본 발명의 다시점 화상 부호화 장치의 구성

본 발명의 다시점 화상 부호화 장치는, 제1 카메라로 촬영된 피사체의 입력 화상을 복수의 부호화 대상 영역으로 분할하여 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 이미 부호화 완료된 화상을 사용하여 부호화 대상 영역마다 예측 부호화를 행함으로써 다시점 화상(다시점의 정지 화상이나 동화상)을 부호화하는 장치로서, (1)상기 입력 화상에서 부호화 대상 영역에 인접한 이미 복호 완료된 영역을 샘플 영역으로서 설정하는 샘플 영역 설정부와, (2)부호화 대상 영역과 샘플 영역에 속한 화소에 대해서, 상기 제2 카메라로 촬영된 상기 부호화 완료된 화상으로부터 예측 화상을 생성하는 예측 화상 생성부와, (3)샘플 영역에 대한 예측 화상 및 상기 샘플 영역에 대해서 이미 복호된 복호 화상에 기초하여 휘도나 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부와, (4)보정 파라미터를 사용하여 부호화 대상 영역에 대한 예측 화상을 보정하여 제1 보정 예측 화상을 생성하는 예측 화상 보정부와, (5)제1 보정 예측 화상을 사용하여 부호화 대상 영역의 화상 신호를 부호화하여 부호 데이터를 생성하는 화상 부호화부와, (6)이 부호 데이터를 복호하여 부호화 대상 영역에서의 복호 화상을 생성하는 화상 복호부를 포함한다.

본 발명의 실시형태에 의한 다시점 화상 부호화 장치는 또한 (7)추정된 보정 파라미터를 사용하여 샘플 영역에 대한 예측 화상을 보정하여 제2 보정 예측 화상을 생성하는 샘플 화상 보정부와, (8)이 제2 보정 예측 화상 및 복호 화상에 기초하여 추정된 보정 파라미터를 평가하는 보정 파라미터 평가부를 포함해도 좋다. 이 경우에는 예측 화상 보정부는 추정된 보정 파라미터의 평가치와 사전에 정해진 문턱값을 비교함으로써 추정된 보정 파라미터의 신뢰도가 높다고 판단한 경우에는 추정된 보정 파라미터를 사용하여 부호화 대상 영역에 대한 예측 화상을 보정하여 상기 제1 보정 예측 화상을 생성하고, 이 보정 파라미터의 신뢰도가 낮다고 판단한 경우에는 부호화 대상 영역에 대한 예측 화상을 제1 예측 화상으로 하도록 해도 좋다.

또 본 발명의 실시형태에 의한 다시점 화상 부호화 장치는 또한 (9)샘플 영역에 속한 화소를, 예측 화상과 복호 화상과의 차분치를 사용하여 클러스터링하는 샘플 화소 분류부와, (10)클러스팅으로 얻어진 클러스터 중 가장 요소수가 많은 클러스터에 속한 화소를 샘플 영역으로서 재설정하여 수정된 샘플 영역을 설정하는 샘플 영역 수정부를 포함해도 좋다. 이 경우에는 보정 파라미터 추정부는 수정된 샘플 영역에 속한 화소만을 사용하여 보정 파라미터를 추정하도록 해도 좋다.

이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 다시점 화상 부호화 방법은 컴퓨터 프로그램에서도 실현할 수 있다. 이 컴퓨터 프로그램은 적당한 컴퓨터 독취 가능한 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현한다.

[2-2]본 발명의 다시점 화상 복호 장치의 구성

본 발명의 다시점 화상 복호 장치는, 제1 카메라로 촬영된 피사체의 화상을 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 화상을 사용하여 부호화한 복호 대상 화상의 부호 데이터를, 상기 제2 카메라로 촬영된 이미 복호 완료된 상기 피사체의 화상을 사용하여 상기 복호 대상 화상을 분할한 복수의 복호 대상 영역마다 복호를 행하는 장치로서, (1)상기 복호 대상 화상에서 복호 대상 영역에 인접한 이미 복호 완료된 영역을 샘플 영역으로서 설정하는 샘플 영역 설정부와, (2)복호 대상 영역과 설정된 샘플 영역에 속한 화소에 대해서, 상기 제2 카메라로 촬영된 상기 부호화 완료된 화상으로부터 예측 화상을 생성하는 예측 화상 생성부와, (3)설정된 샘플 영역에 대한 예측 화상 및 상기 샘플 영역에 대해서 이미 복호된 복호 화상에 기초하여 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부와, (4)이 보정 파라미터를 사용하여 복호 대상 영역에 대한 예측 화상을 보정하여 제1 보정 예측 화상을 생성하는 예측 화상 보정부와, (5)이 제1 보정 예측 화상을 사용하여 복호 대상 영역의 화상 신호를 부호 데이터로부터 복호하는 화상 복호부를 포함한다.

본 발명의 실시형태에 의한 다시점 화상 복호 장치는 또한 (6)추정된 보정 파라미터를 사용하여 샘플 영역에 대한 상기 예측 화상을 보정하여 제2 보정 예측 화상을 생성하는 샘플 화상 보정부와, (7)이 제2 보정 예측 화상 및 상기 복호 화상에 기초하여 추정된 보정 파라미터를 평가하는 보정 파라미터 평가부를 포함해도 좋다. 이 경우에는 예측 화상 보정부는 상기 보정 파라미터의 평가치와 사전에 정해진 문턱값을 비교함으로써 상기 보정 파라미터의 신뢰도가 높다고 판단한 경우에는 이 보정 파라미터를 사용하여 복호 대상 영역에 대한 상기 예측 화상을 보정하여 상기 제1 보정 예측 화상을 생성하고, 상기 보정 파라미터의 신뢰도가 낮다고 판단한 경우에는 복호 대상 영역에 대한 상기 예측 화상을 상기 제1 예측 화상으로 하도록 해도 좋다.

또 본 발명의 실시형태에 의한 다시점 화상 복호 장치는 또한 (8)샘플 영역에 속한 화소를 상기 예측 화상과 상기 복호 화상과의 차분치를 사용하여 클러스터링하는 샘플 화소 분류부와, (9)클러스팅으로 얻어진 클러스터 중 가장 요소수가 많은 클러스터에 속한 화소를 샘플 영역으로서 재설정하여 수정된 샘플 영역을 설정하는 샘플 영역 수정부를 포함해도 좋다. 이 경우에는 보정 파라미터 추정부는 수정된 샘플 영역에 속한 화소만을 사용하여 상기 보정 파라미터를 추정하도록 해도 좋다.

이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 다시점 화상 복호 방법은 컴퓨터 프로그램에서도 실현할 수 있는 것이며, 이 컴퓨터 프로그램은 적절한 컴퓨터 독취 가능한 기록 매체에 기록하여 제공되거나 네트워크를 통해 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현한다.

본 발명에 의하면, 카메라간에 휘도나 색의 미스매치가 국소적으로 생기는 경우에도 이 미스매치에 대처하기 위한 보정 파라미터를 국소적으로 구하도록 함으로써 예측 차분을 줄일 수 있게 된다. 따라서 효율적인 다시점 화상이나 다시점 동화상의 부호화 및 복호를 실현할 수 있다.

게다가 본 발명에 의하면, 그와 같이 구하는 보정 파라미터를 별도 부호화/복호할 필요가 없기 때문에 다시점 화상이나 다시점 동화상의 부호화 및 복호시의 부호량을 대폭 삭감할 수 있다.

도 1은, 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치를 도시한 블럭도이다.
도 2는, 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치가 실행하는 처리를 도시한 흐름도이다.
도 3은, 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치가 실행하는 처리의 상세를 도시한 흐름도이다.
도 4는, 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치가 실행하는 처리를 도시한 흐름도이다.
도 5는, 본 발명의 제2 실시형태에 의한 다시점 영상 복호 장치를 도시한 블럭도이다.
도 6은, 본 발명의 제2 실시형태에 의한 다시점 영상 복호 장치가 실행하는 처리를 도시한 흐름도이다.
도 7은, 본 발명의 제2 실시형태에 의한 다시점 영상 복호 장치가 실행하는 처리의 상세를 도시한 흐름도이다.
도 8은, 시차 보상 예측 방식을 도시한 도면이다.

이하, 본 발명의 실시형태를 도시한 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

아울러 이하의 설명에서는 영상(프레임)에 위치 특정이 가능한 정보(기호[]로 끼워진 정보로서, 좌표치 또는 좌표치에 대응시킬 수 있는 인덱스)를 부가함으로써 그 위치의 화소에 의해 샘플링된 영상 신호를 나타낸다.

[1]본 발명의 제1 실시형태예에 의한 다시점 영상 부호화 장치

도 1에, 본 발명의 제1 실시형태에 관한 다시점 영상 부호화 장치(100)의 장치 구성을 도시한다.

도 1에 도시한 것처럼 실시형태예 1의 다시점 영상 부호화 장치(100)는, 부호화 대상 화상 입력부(101)과, 부호화 대상 화상 메모리(102)와, 참조 카메라 화상 입력부(103)와, 참조 카메라 화상 메모리(104)와, 예측 화상 생성부(105)와, 보정 파라미터 추정부(106)와, 예측 화상 보정부(107)와, 화상 부호화부(108)와, 화상 복호부(109)와, 복호 화상 메모리(110)를 포함한다.

부호화 대상 화상 입력부(101)는, 제1 카메라로 촬영된 피사체의 화상의 프레임을 부호화 대상으로서 입력한다. 부호화 대상 화상 메모리(102)는 입력된 부호화 대상 프레임을 축적한다. 참조 카메라 화상 입력부(103)는 제1 카메라와는 다른 제2 카메라로 동일 피사체를 촬영하여 얻어진 화상의 프레임을 참조 프레임으로서 입력한다. 참조 카메라 화상 메모리(104)는 입력된 참조 프레임을 축적한다. 예측 화상 생성부(105)는 참조 프레임을 사용하여 부호화 대상 프레임의 예측 화상을 생성한다. 보정 파라미터 추정부(106)는 부호화 대상 영역의 주변 영역에서의 예측 화상 및 복호 화상에 기초하여 보정 파라미터를 추정한다. 예측 화상 보정부(107)는 추정된 보정 파라미터를 사용하여 부호화 대상 영역의 예측 화상을 보정한다. 화상 부호화부(108)는 보정된 예측 화상을 예측 신호로서 사용하면서 부호화 대상 영역의 화상 신호를 부호화한다. 화상 복호부(109)는 부호화된 화상 신호를 복호한다. 복호 화상 메모리(110)는 복호된 화상을 축적한다.

도 2에, 이와 같이 구성되는 본 실시형태의 다시점 영상 부호화 장치(100)가 실행하는 처리 흐름을 도시한다.

다음으로 이 처리 흐름에 따라 본 실시형태의 다시점 영상 부호화 장치(100)가 실행하는 처리에 대해서 상세히 설명하기로 한다.

우선, 부호화 대상 화상 입력부(101)에 의해 부호화 대상 프레임Org가 입력되어 부호화 대상 화상 메모리(102)에 저장된다. 참조 카메라 화상 입력부(103)에 의해 참조 프레임Ref가 입력되어 참조 카메라 화상 메모리(104)에 저장된다[A1].

입력되는 참조 프레임은 이미 부호화 완료된 화상을 복호한 화상 프레임이다. 이것은, 복호 장치에서 얻어지는 정보와 같은 정보를 사용함으로써 드리프트 등의 부호화 노이즈의 발생을 억제하기 위함이다. 단, 이들 부호화 노이즈의 발생을 허용할 경우에는 부호화전의 오리지날이 입력되어도 좋다. 아울러 참조 프레임이 복수 존재할 경우에는 여기에서 복수의 참조 프레임이 입력된다.

다음으로 부호화 장치(100)는 부호화 대상 프레임을 복수의 부호화 대상 영역으로 분할하고 그 부호화 대상 영역마다 예측 화상을 생성·보정하면서 화상 부호화부(108)에서 부호화 대상 프레임의 화상 신호를 부호화한다[A2-A9].

즉, 부호화 처리 블럭의 인덱스를 blk, 총부호화 처리 블럭수를 numBlks로 표시한다고 하면, blk를 0으로 초기화한 후[A2], blk에 1을 가산하면서[A8], blk가 numBlks가 될 때까지[A9], 이하의 처리[A3-A7]를 반복한다.

부호화 처리 블럭마다 반복되는 처리에서는, 부호화 장치(100)는 우선 예측 화상 생성부(105)에서 참조 프레임을 사용하면서 동일한 생성 수법을 사용하여 블럭blk(부호화 대상 영역)와 그 주변의 부호화 완료 영역(샘플 영역)에 대한 예측 화상Pred를 생성한[A3].

여기에서 주변 영역으로서는 블럭blk에 인접한 부호화 처리 블럭이나 인접 화소 등 다양한 단위의 것을 사용할 수 있다. 어떠한 정의의 주변 영역을 사용해도 좋지만, 복호측에서 사용하는 정의와 같은 것을 사용할 필요가 있다. 본 실시형태예에서는 블럭blk 주변의 부호화 완료 영역에 포함되는 화소의 집합을 N_blk로 표시하고, 블럭blk에 포함되는 화소의 집합을 C_blk로 표시한다.

예측 화상의 생성 방법으로서는, 참조 프레임Ref를 사용하는 것이라면 어떠한 것을 사용해도 좋지만, 블럭blk와 그 주변 영역에서는 같은 방법으로 예측 화상Pred를 생성한다. 예를 들면 시차 벡터를 사용한 시차 보상 예측을 사용할 경우에는 단일의 시차 벡터dv를 사용하여 다음 식(1)과 같이 예측 화상Pred를 생성한다.

∀p∈C_blk∪N_blk,Pred[p]= Ref[p+dv] …식(1)

또 시점 합성(보간) 예측을 사용할 경우에는 참조 프레임Ref를 사용하여 부호화 대상 카메라의 화상 전체를 합성(보간)한 시점 합성(보간) 화상Synth에 대해 다음 식(2)와 같이 예측 화상Pred를 생성한다.

∀p∈C_blk∪N_blk,Pred[p]= Synth[p] …식(2)

다음으로 주변 영역에서의 예측 화상과 복호 화상Dec를 사용하여 보정 파라미터 추정부(106)에서 보정 파라미터를 구한다[A4].

보정 방법이나 보정 파라미터 추정으로서는 어떠한 방법을 써도 좋지만 복호측에서 사용되는 것과 같은 방법을 쓸 필요가 있다.

보정 방법으로서, 예를 들면 오프셋에 의한 보정, 1차 함수를 사용한 보정, 탭길이k의 이차원 선형 필터 처리 등이 있다. 보정 대상의 화소를 p로 하고, 보정 전의 값을 In, 보정 후의 값을 Out으로 하면, 이들은 각각 이하의 식(3)∼식(5)로 표시할 수 있다.

[수식 1]

…식(3)

…식(4)

…식(5)

오프셋에 의한 보정이나 1차 함수를 사용한 보정은 선형 필터 처리에 의한 보정의 특수한 예이다. 아울러 보정 처리는 선형 처리일 필요는 없으며 보정 파라미터 추정이 가능하다면 비선형 필터를 사용해도 좋다. 비선형의 보정 방법의 예로서는 감마 보정이 있다. 감마 보정은 다음 식(6)으로 표시할 수 있다.

[수식 2]

…식(6)

이들 보정 모델의 예에서는, 각각 오프셋, (α,β), ({F_{i ,j}},o),(γ,a,b)가 보정 파라미터가 된다.

주변 영역에서는 보정 전의 값이 예측 화상이고, 이상적인 보정 후의 값이 복호 화상이 된다. 따라서 그들의 차가 작아지도록 보정 파라미터를 구하면 고정밀도의 보정을 할 수 있다.

예를 들면 오프셋치에 의한 보정으로는, 다음 식(7)을 사용하여 오프셋을 구할 수 있다. 아울러 ∥∥는 그 집합의 요소수를 나타낸다.

[수식 3]

…식(7)

또 1차 함수에 의한 보정을 할 경우에는 제곱 오차를 최소화하는 보정 파라미터를 도출하는 방법으로서 최소 제곱법을 사용하여 구할 수 있다. 그 경우의 보정 파라미터(α,β)는 다음 식(8)로 표시된다.

[수식 4]

…식(8)

이들 보정 파라미터는 휘도나 색차 신호마다 구해도 좋고, RGB 등의 색채널마다 구해도 좋다. 또 예를 들면 R채널의 0∼127과 128∼255에서 다른 보정 파라미터를 사용한 보정을 하는 것처럼, 각 채널을 세분화하여 일정 레인지마다 다른 보정을 할 수도 있다.

보정 파라미터를 추정할 수 있으면, 예측 화상 보정부(107)에서 블럭blk에 대한 예측 화상Pred를 보정 파라미터에 따라 보정하여 보정 예측 화상CPred를 생성한다[A5].

이 보정 예측 화상CPred의 생성 처리는, 구체적으로는 도 3의 처리 흐름으로 도시한 것처럼 화소마다 행해진다. 도 3의 처리 흐름에서 pix는 화소의 식별 정보를 나타내고, numPixblk는 블럭blk내의 화소수를 나타낸다.

예를 들면, 오프셋치를 사용한 보정을 할 경우에는 다음 식(9)에 따라 CPred가 생성된다.

∀p∈Cblk,CPred[p]= Pred[p]+offset …식(9)

보정 방법(보정 모델)으로서, 오프셋치를 사용한 식(3)의 보정을 하는 경우를 예로 설명하기로 한다. 도 4에 도시한 것처럼 처리A4에서 주변 부호화 완료 영역의 예측 화상의 화소치를 In으로 하고, 주변 부호화 완료 영역의 복호 화상의 화소치를 Out으로 한 경우의 오프셋을 추정함으로써 화소치 변환식이 되는 보정 모델이 결정된다. 다음으로, 처리A5에서 그 결정한 화소치 변환식의 In에 블럭blk의 예측 화상의 화소치를 대입함으로써 블럭blk의 예측 화상이 보정된다.

블럭blk의 예측 화상에 대한 보정이 완료되면 화상 부호화부(108)에서 블럭blk에 대한 부호화 대상 프레임Org를, 보정 예측 화상CPred를 예측 신호로 하면서 부호화를 행한다[A6].

어떠한 부호화 방법을 써도 좋지만, H.264 등 일반적인 부호화 수법에서는, Org와 CPred와의 차분에 대해 DCT·양자화·2치화·엔트로피 부호화를 실시함으로써 부호화를 행한다.

부호화 결과의 비트 스트림은 다시점 영상 부호화 장치(100)의 출력이 된다. 이와 함께 블럭마다 화상 복호부(109)에서 복호되고 복호 결과인 복호 화상Dec가 다른 블럭에서의 보정 파라미터 추정을 위해 복호 화상 메모리(110)에 저장된다[A7].

이와 같이 하여 본 실시형태의 다시점 영상 부호화 장치(100)는 카메라 사이에서 국소적인 휘도나 색의 미스매치를 동반하는 다시점 영상을 고능률적으로 부호화할 수 있도록 하기 위해 이 미스매치에 대처하기 위한 보정 파라미터를 국소적으로 구한다. 또한 부호량의 증가를 막기 위해 그 보정 파라미터를 별도 부호화/복호할 필요가 없는 형태로 구하도록 하면서 그 다시점 영상의 부호화를 실행한다.

본 실시형태예에서는 예측 모드가 하나밖에 없는 경우로 설명을 하였으나 복수 존재하는 예측화 모드 중 부호화 효율이 가장 좋아지는 것을 하나 선택하여 부호화를 행하는 다시점 영상 부호화 장치(100)의 경우에도 본 발명을 이용할 수 있다.

구체적으로는, 각 예측 모드에 대해 처리A3-A6을 행하고 부호화 효율을 비교하여 최종적으로 가장 부호화 효율이 높은 예측 모드에 대한 부호화 결과를 다시점 영상 부호화 장치(100)의 출력으로 함과 동시에 화상 복호부(109)에 보낸다. 이 때 화상 부호화부(108)에서 예측 화상 생성부(105)에 어떠한 예측 모드를 사용하는지를 전달하는 제어 신호가 보내진다. 도 1의 점선은 이 제어 신호를 나타내고 있다.

[2]본 발명의 제2 실시형태예에 의한 다시점 영상 복호 장치

다음으로 본 발명의 제2 실시형태예에 대해서 설명하기로 한다.

도 5에, 본 발명의 실시형태예 2에 관한 다시점 영상 복호 장치(200)의 장치 구성을 도시한다.

도 5에 도시한 것처럼 본 실시형태의 다시점 영상 복호 장치(200)는 부호 데이터 입력부(201)와, 부호 데이터 메모리(202)와, 참조 카메라 화상 입력부(203)와, 참조 카메라 화상 메모리(204)와, 예측 화상 생성부(205)와, 보정 파라미터 추정부(206)와, 예측 화상 보정부(207)와, 화상 복호부(208)와, 복호 화상 메모리(209)를 포함한다. 부호 데이터 입력부(201)는 제1 카메라에 의해 촬영된 피사체의 화상 프레임의 부호 데이터를 복호 대상으로서 입력한다. 부호 데이터 메모리(202)는 입력된 부호 데이터를 축적한다. 참조 카메라 화상 입력부(203)는, 참조 프레임이 되는 제1 카메라와는 다른 제2 카메라에 의해 촬영된 동일 피사체의 화상 프레임을 입력한다. 참조 카메라 화상 메모리(204)는 입력된 참조 프레임을 축적한다. 예측 화상 생성부(205)는 참조 프레임을 사용하여 복호 대상 프레임의 예측 화상을 생성한다. 보정 파라미터 추정부(206)는 복호 대상 영역의 주변 영역에서의 예측 화상 및 복호 화상에 기초하여 보정 파라미터를 추정한다. 예측 화상 보정부(207)는 추정된 보정 파라미터를 사용하여 복호 대상 영역의 예측 화상을 보정한다. 화상 복호부(208)는 보정된 예측 화상을 예측 신호로서 사용하면서 복호 대상 영역의 부호 데이터를 복호한다. 복호 화상 메모리(209)는 복호된 화상을 축적한다.

도 6에, 이와 같이 구성되는 제2 실시형태의 다시점 영상 복호 장치(200)가 실행하는 처리 흐름을 도시한다.

다음으로 이 처리 흐름에 따라 다시점 영상 복호 장치(200)가 실행하는 처리에 대해서 상세히 설명하기로 한다.

우선 부호 데이터 입력부(201)에 의해 부호 데이터가 입력되어 부호 데이터 메모리(202)에 저장된다. 참조 카메라 화상 입력부(203)에 의해 참조 프레임Ref가 입력되어 참조 카메라 화상 메모리(204)에 저장된다[B1]. 참조 프레임Ref는 그 참조 프레임Ref를 촬영한 카메라에 대응시켜 설치되는 다시점 영상 복호 장치(200)에 의해 이미 복호되어 있다.

아울러 참조 프레임이 복수 존재하는 경우에는 여기에서 복수의 참조 프레임이 입력된다.

다음으로 복호 장치(200)는 복호 대상 프레임을 복수의 복호 대상 영역에 분할하고, 그 복호 대상 영역마다 예측 화상을 생성·보정하면서 화상 복호부(208)에서 복호 대상 프레임의 화상 신호를 복호한다[B2-B8].

즉, 복호 처리 블럭의 인덱스를 blk, 총복호 처리 블럭수를 numBlks로 표시한다고 하면, 복호 장치(200)는 blk를 0으로 초기화한 후[B2], blk에 1을 가산하면서[B7], blk가 numBlks가 될 때까지[B8], 이하의 처리[B3-B6]를 반복한다.

복호 처리 블럭마다 반복되는 처리에서는, 복호 장치(200)는 우선 예측 화상 생성부(205)에서 참조 프레임을 사용하면서 동일한 생성 수법을 사용하여 블럭blk(복호 대상 영역)와 그 주변의 복호 완료 영역(샘플 영역)에 대한 예측 화상Pred를 생성한다[B3].

여기에서의 처리는 실시형태예 1의 처리A3와 동일하다. 처리A3와 마찬가지로 주변 영역으로서는 블럭blk에 인접한 복호 처리 블럭이나 인접 화소 등 여러가지 단위의 것을 사용할 수 있다. 어떠한 정의 주변 영역을 사용해도 상관 없지만, 부호화측에서 사용된 정의와 동일한 것을 사용할 필요가 있다. 본 실시형태예에서는 블럭blk 주변의 복호 완료 영역에 포함되는 화소의 집합을 N_blk로 표시하고, 블럭_blk에 포함되는 화소의 집합을 Cblk로 표시한다.

아울러 여기에서 행해지는 예측 화상(제1 및 제2 카메라간의 예측 화상)의 생성 수법으로서는, 부호화측에서 사용된 것과 동일한 방법을 쓸 필요가 있다. 복수의 예측 모드 중 하나를 선택하여 부호화가 행해지는 경우 부호 데이터에 어떤 예측 모드가 사용되었지를 나타내는 정보가 포함되어 있다. 따라서 예측 화상 생성부(205)에서는 그 제어 신호를 받아 지정된 예측 방법으로 블럭blk와 주변 영역의 예측 화상을 생성한다. 도 5의 점선은 이 제어 신호를 나타내고 있다.

다음으로, 주변 영역에서의 예측 화상과 복호 화상Dec를 사용하여 보정 파라미터 추정부(206)에서 보정 파라미터를 구한다[B4].

보정 방법이나 보정 파라미터 추정에는 어떠한 방법을 써도 좋지만, 부호화측에서 사용된 것과 같은 방법을 쓸 필요가 있다. 여기에서의 처리는 실시형태예 1의 처리A4와 동일하다.

보정 파라미터를 추정할 수 있으면 예측 화상 보정부(207)에서 블럭blk에 대한 예측 화상Pred를 보정 파라미터에 따라 보정하여 보정 예측 화상CPred를 생성한다[B5].

여기에서의 처리는 실시형태예 1의 처리A5와 같고, 도 7의 처리 흐름으로 도시한 것처럼 화소마다 행해진다. 여기에서 도 7의 처리 흐름에서 pix는 화소의 식별 정보를 나타내고, numPixblk는 블럭blk내의 화소수를 나타낸다.

블럭blk의 예측 화상에 대한 보정이 완료되면, 화상 복호부(208)에서 블럭blk에 대한 부호 데이터를, 보정 예측 화상CPred를 예측 신호로 하면서 복호하여 블럭blk에 대한 복호 화상Dec[blk]를 얻는다[B6].

여기에서 행해지는 복호 처리는 부호 데이터를 생성할 때 사용된 방법에 대응하는 것을 사용할 필요가 있다. 예를 들면 H.264를 사용하여 부호화되어 있는 경우 엔트로피 복호, 다치화, 역양자화, 역DCT를 행하여 복호된 잔차 신호에 대해 예측 신호를 합함으로써 복호 처리가 행해진다.

복호 결과의 복호 화상은 다시점 영상 복호 장치(200)의 출력이 됨과 동시에 다른 블럭에서의 보정 파라미터 추정을 위해 복호 화상 메모리(209)에 저장된다.

이와 같이 하여 도 5와 같이 구성되는 다시점 영상 복호 장치(200)는, 도 1과 같이 구성되는 다시점 영상 부호화 장치(100)가 생성한 다시점 영상 복호의 부호 데이터를 복호하도록 처리한다.

상기 설명을 한 실시형태예 1 및 실시형태예 2에서는, 모든 블럭에서 보정을 하도록 하였는데, 블록마다 1비트의 플래그 정보를 부호화함으로써 보정을 할지 여부를 선택하는 구성을 채용할 수도 있다.

또 1비트의 플래그 정보를 부호화하지 않고 보정 파라미터의 신뢰도를 측정하고, 그 신뢰도에 따라 보정을 할지 여부를 선택하는 방법도 있다.

구체적으로는 처리A4 및 처리B4에서 보정 파라미터를 구한 후에 이하의 식(10)∼식(12)에 나타내는 보정의 확실함과 유효성을 표현하는 값을 구한다. 그 값이 사전에 주어진 문턱값보다 큰 경우에만 처리A5 및 처리B5에서 블럭blk의 예측 화상을 보정한다.

[수식 5]

…식(10)

…식(11)

…식(12)

여기에서 식(10)의 제1 항은 복호 화상Dec와 보정 전의 예측 화상Pred와의 차분 절대값 합을 나타내고, 제2 항은 복호 화상Dec와 보정 예측 화상CPred와의 차분 절대값 합을 나타낸다. 이로부터 식(10)은 보정함으로써 진치(眞値)와 예측치와의 차분 절대값 합이 어느 정도 삭감되었지를 나타낸다. 또 식(11)의 제1 항은 복호 화상Dec와 보정 전의 예측 화상Pred와의 차분 제곱합을 나타내고, 제2 항은 복호 화상Dec와 보정 예측 화상CPred와의 차분 제곱합을 나타낸다. 이로부터 식(11)은 보정함으로써 진치와 예측치와의 차분 제곱합이 어느 정도 삭감되었지를 나타낸다. 또 식(12)는 보정 모델이 얻어진 샘플에 대해 어느 정도 확실한지를 나타내는 값이다.

이들 식(10)∼식(12)에 나타내는 값은, 어떤 값도 처리 대상 블록이 아닌 주변 영역의 값을 사용하여 구해지기 때문에 전체에서 사용되는 문턱값만을 부호화하여 복호측에 통지하기만 하면 된다.

보다 강건한(robust) 보정 파라미터를 구하기 위해 제1 실시형태 및 제2 실시형태에서의 주변 영역의 설정에서 주변 영역에서의 화소 중 어긋남치를 포함하는 것을 보정 파라미터 추정시의 샘플에서 빼는 처리를 할 수 있다.

예를 들면, 주변 영역에서의 각 화소를 복호 화상과 예측 화상과의 차분을 척도로 하여 클러스터링하고, 가장 요소수가 많은 클러스터에 속한 화소만을 보정 파라미터 추정에 사용하는 주변 화소 집합Nblk의 요소로 한다.

가장 간단한 클러스터링 방법으로서는, 복호 화상과 예측 화상과의 차분치의 분산이 어느 문턱값 이하라면 전체적으로 하나의 클러스터로 하고, 문턱값보다 큰 경우에는 차분치의 평균을 경계로 하여 2개의 클러스터로 분할하는 방법이 있다. 이 경우 모든 클러스터에 포함되는 화소의 복호 화상과 예측 화상과의 차분치의 분산이 어느 문턱값 이하가 되면 클러스팅을 종료한다.

보다 복잡한 클러스터링 방법으로서는, 처음에는 각 화소에서 하나의 클러스터로 하고 어느 2개의 클러스터를 융합했을 때에 클러스터내 화소의 복호 화상과 예측 화상과의 차분치의 분산 증가가 가장 적은 것을 순서대로 융합하는 방법이 있다. 이 경우 어느 2개의 클러스터를 융합하더라도 어느 문턱값을 초과하는 분산을 포함하는 클러스터가 발생할 경우에 클러스팅을 종료한다.

아울러 본 실시형태예에서는 하나의 카메라의 1프레임을 부호화 또는 복호하는 처리를 설명하였으나, 이 처리를 프레임마다 반복함으로써 다시점 영상의 부호화 또는 복호를 실현할 수 있다. 또한 카메라마다 반복함으로써 복수의 카메라의 다시점 영상의 부호화 또는 복호를 실현할 수 있다.

이상 설명한 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있다. 그 프로그램은 컴퓨터 독취 가능한 기록 매체에 기록하여 제공할 수도 있고, 네트워크를 통해 제공할 수도 있다.

또 이상의 실시형태에서는 다시점 영상 부호화 장치 및 다시점 영상 복호 장치를 중심으로 설명하였으나, 이 다시점 영상 부호화 장치의 각 부의 동작에 대응한 단계에 의해 본 실시형태의 다시점 영상 부호화 방법을 실현할 수 있다. 또 이 다시점 영상 복호 장치의 각 부의 동작에 대응한 단계에 의해 본 실시형태의 다시점 영상 복호 방법을 실현할 수 있다.

이상, 도면을 참조하여 본 발명의 실시형태를 설명하였으나, 상기 실시형태는 본 발명의 예시에 불과하며 본 발명이 상기 실시형태로 한정되지 않는다는 것은 명백하다.

따라서 본 발명을 벗어나지 않는 범위에서 구성 요소의 추가, 생략, 치환, 기타 변경을 해도 좋다.

<산업상 이용 가능성>

본 발명은 다시점 화상의 부호화 수법에 적용할 수 있는 것으로서, 본 발명을 적용함으로써 카메라간에 휘도나 색의 미스매치가 국소적으로 생기는 경우에도 효율적인 다시점 화상이나 다시점 동화상의 부호화 및 복호를 실현할 수 있다. 또 그 실현시의 부호량을 대폭 삭감할 수 있다.

100 다시점 영상 부호화 장치
101 부호화 대상 화상 입력부
102 부호화 대상 화상 메모리
103 참조 카메라 화상 입력부
104 참조 카메라 화상 메모리
105 예측 화상 생성부
106 보정 파라미터 추정부
107 예측 화상 보정부
108 화상 부호화부
109 화상 복호부
110 복호 화상 메모리
200 다시점 영상 복호 장치
201 부호 데이터 입력부
202 부호 데이터 메모리
203 참조 카메라 화상 입력부
204 참조 카메라 화상 메모리
205 예측 화상 생성부
206 보정 파라미터 추정부
207 예측 화상 보정부
208 화상 복호부
209 복호 화상 메모리

Claims (10)

1. 제1 카메라로 촬영된 피사체의 입력 화상을 복수의 부호화 대상 영역으로 분할하여 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 이미 부호화 완료된 화상을 사용하여 상기 부호화 대상 영역마다 예측 부호화를 행하는 다시점 화상 부호화 방법으로서,
   상기 입력 화상에서 상기 부호화 대상 영역에 인접한 이미 복호 완료된 영역을 샘플 영역으로서 설정하는 샘플 영역 설정 단계,
   상기 부호화 대상 영역과 상기 샘플 영역에 속한 화소에 대해서, 상기 제2 카메라로 촬영된 상기 부호화 완료된 화상으로부터 예측 화상을 생성하는 예측 화상 생성 단계,
   상기 샘플 영역에 대한 예측 화상 및 상기 샘플 영역에 대해서 이미 복호된 복호 화상에 기초하여 휘도나 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계,
   상기 보정 파라미터를 사용하여 상기 부호화 대상 영역에 대한 상기 예측 화상을 보정하여 제1 보정 예측 화상을 생성하는 예측 화상 보정 단계,
   상기 제1 보정 예측 화상을 사용하여 상기 부호화 대상 영역의 화상 신호를 부호화하여 부호 데이터를 생성하는 화상 부호화 단계,
   상기 부호 데이터를 복호하여 상기 부호화 대상 영역의 복호 화상을 생성하는 화상 복호 단계를 포함하는, 다시점 화상 부호화 방법.
2. 제1항에 있어서,
   상기 보정 파라미터를 사용하여 상기 샘플 영역에 대한 상기 예측 화상을 보정하여 제2 보정 예측 화상을 생성하는 샘플 화상 보정 단계,
   상기 제2 보정 예측 화상 및 상기 복호 화상에 기초하여 상기 보정 파라미터를 평가하는 보정 파라미터 평가 단계를 포함하고,
   상기 예측 화상 보정 단계에서는, 상기 보정 파라미터의 평가치와 사전에 정해진 문턱값을 비교함으로써 상기 보정 파라미터의 신뢰도가 높다고 판단한 경우에는 상기 보정 파라미터를 사용하여 상기 부호화 대상 영역에 대한 상기 예측 화상을 보정하여 상기 제1 보정 예측 화상을 생성하고, 상기 보정 파라미터의 신뢰도가 낮다고 판단한 경우에는 상기 부호화 대상 영역에 대한 상기 예측 화상을 상기 제1 예측 화상으로 하는, 다시점 화상 부호화 방법.
3. 제1항에 있어서,
   상기 샘플 영역에 속한 화소를 상기 예측 화상과 상기 복호 화상과의 차분치를 사용하여 클러스터링하는 샘플 화소 분류 단계,
   상기 클러스팅으로 얻어진 클러스터 중 가장 요소수가 많은 클러스터에 속한 화소를 상기 샘플 영역으로서 설정하여 수정된 샘플 영역을 설정하는 샘플 영역 수정 단계를 포함하고,
   상기 보정 파라미터 추정 단계에서는 상기 수정된 샘플 영역에 속한 화소만을 사용하여 상기 보정 파라미터를 추정하는, 다시점 화상 부호화 방법.
4. 제1 카메라로 촬영된 피사체의 화상을 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 화상을 사용하여 부호화한 복호 대상 화상의 부호 데이터를, 상기 제2 카메라로 촬영된 이미 복호 완료된 상기 피사체의 화상을 사용하여 상기 복호 대상 화상을 분할한 복수의 복호 대상 영역마다 복호를 행하는 다시점 화상 복호 방법으로서,
   상기 복호 대상 화상에서 상기 복호 대상 영역에 인접한 이미 복호 완료된 영역을 샘플 영역으로서 설정하는 샘플 영역 설정 단계,
   상기 복호 대상 영역과 상기 샘플 영역에 속한 화소에 대해서 상기 제2 카메라로 촬영된 상기 부호화 완료된 화상으로부터 예측 화상을 생성하는 예측 화상 생성 단계,
   상기 샘플 영역에 대한 상기 예측 화상 및 상기 샘플 영역에 대해서 이미 복호된 복호 화상에 기초하여 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계,
   상기 보정 파라미터를 사용하여 상기 복호 대상 영역에 대한 상기 예측 화상을 보정하여 제1 보정 예측 화상을 생성하는 예측 화상 보정 단계,
   상기 제1 보정 예측 화상을 사용하여 상기 복호 대상 영역의 화상 신호를 상기 부호 데이터로부터 복호하는 화상 복호 단계를 포함하는, 다시점 화상 복호 방법.
5. 제4항에 있어서,
   상기 보정 파라미터를 사용하여 상기 샘플 영역에 대한 상기 예측 화상을 보정하여 제2 보정 예측 화상을 생성하는 샘플 화상 보정 단계,
   상기 제2 보정 예측 화상 및 상기 복호 화상에 기초하여 상기 보정 파라미터를 평가하는 보정 파라미터 평가 단계를 포함하고,
   상기 예측 화상 보정 단계에서는, 상기 보정 파라미터의 평가치와 사전에 정해진 문턱값을 비교함으로써 상기 보정 파라미터의 신뢰도가 높다고 판단한 경우에는 상기 보정 파라미터를 사용하여 상기 복호 대상 영역에 대한 상기 예측 화상을 보정하여 상기 제1 보정 예측 화상을 생성하고, 상기 보정 파라미터의 신뢰도가 낮다고 판단한 경우에는 상기 복호 대상 영역에 대한 상기 예측 화상을 상기 제1 예측 화상으로 하는, 다시점 화상 복호 방법.
6. 제4항에 있어서,
   상기 샘플 영역에 속한 화소를, 상기 예측 화상과 상기 복호 화상과의 차분치를 사용하여 클러스터링하는 샘플 화소 분류 단계,
   상기 클러스팅으로 얻어진 클러스터 중 가장 요소수가 많은 클러스터에 속한 화소를 샘플 영역으로서 재설정하여 수정된 샘플 영역을 설정하는 샘플 영역 수정 단계를 포함하고,
   상기 보정 파라미터 추정 단계에서는 상기 수정된 샘플 영역에 속한 화소만을 사용하여 상기 보정 파라미터를 추정하는, 다시점 화상 복호 방법.
7. 제1 카메라로 촬영된 피사체의 입력 화상을 복수의 부호화 대상 영역으로 분할하여 상기 제1 카메라와는 다른 위치에 배치된 제2 카메라로 촬영된 상기 피사체의 이미 부호화 완료된 화상을 사용하여 상기 부호화 대상 영역마다 예측 부호화를 행하는 다시점 화상 부호화 장치로서,
   상기 입력 화상에서 상기 부호화 대상 영역에 인접한 이미 복호 완료된 영역을 샘플 영역으로서 설정하는 샘플 영역 설정부,
   상기 부호화 대상 영역과 상기 샘플 영역에 속한 화소에 대해서, 상기 제2 카메라로 촬영된 상기 부호화 완료된 화상으로부터 예측 화상을 생성하는 예측 화상 생성부,
   상기 샘플 영역에 대한 상기 예측 화상 및 상기 샘플 영역에 대해서 이미 복호된 복호 화상에 기초하여 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부,
   상기 보정 파라미터를 사용하여 상기 부호화 대상 영역에 대한 상기 예측 화상을 보정하여 보정 예측 화상을 생성하는 예측 화상 보정부,
   상기 보정 예측 화상을 사용하여 상기 부호화 대상 영역의 화상 신호를 부호화하여 부호 데이터를 생성하는 화상 부호화부,
   상기 부호 데이터를 복호하여 상기 부호화 대상 영역의 복호 화상을 생성하는 화상 복호부,
   를 포함하는 다시점 화상 부호화 장치.
8. 제1 카메라로 촬영된 피사체의 화상을 상기 제1 카메라와 다른 제2 카메라로 촬영된 상기 피사체의 화상을 사용하여 부호화한 복호 대상 화상의 부호 데이터를, 상기 제2 카메라로 촬영된 이미 복호 완료된 상기 피사체의 화상을 사용하여 상기 복호 대상 화상을 분할한 복수의 복호 대상 영역마다 복호를 행하는 다시점 화상 복호 장치로서,
   상기 복호 대상 화상에서 상기 복호 대상 영역에 인접한 이미 복호 완료된 영역을 샘플 영역으로서 설정하는 샘플 영역 설정부,
   상기 복호 대상 영역과 상기 샘플 영역에 속한 화소에 대해서 상기 제2 카메라로 촬영된 상기 부호화 완료된 화상으로부터 예측 화상을 생성하는 예측 화상 생성부,
   상기 샘플 영역에 대한 상기 예측 화상 및 상기 샘플 영역에 대해서 이미 복호된 복호 화상에 기초하여 휘도 및 색의 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정부,
   상기 보정 파라미터를 사용하여 상기 복호 대상 영역에 대한 상기 예측 화상을 보정하여 보정 예측 화상을 생성하는 예측 화상 보정부,
   상기 보정 예측 화상을 사용하여 상기 복호 대상 영역의 화상 신호를 부호 데이터로부터 복호하는 화상 복호부,
   를 포함하는 다시점 화상 복호 장치.
9. 제1항 내지 제3항 중 어느 한 항에 기재된 다시점 화상 부호화 방법을 컴퓨터에 실행시키기 위한 다시점 화상 부호화 프로그램.
10. 제4항 내지 제6항 중 어느 한 항에 기재된 다시점 화상 복호 방법을 컴퓨터에 실행시키기 위한 다시점 화상 복호 프로그램.

Images