KR20090091174A - 영상 부호화 방법 및 복호방법, 그들의 장치, 그들의 프로그램과 프로그램을 기록한 기억매체 - Google Patents

Abstract

이미 부호화 완료한 참조 카메라 화상과, 그 참조 카메라 화상에 대한 부호화 대상 카메라 화상과의 시차 정보를 이용하여 카메라 간의 영상 예측을 행함으로써 시차 보상 화상을 만들고, 부호화 대상 카메라 화상과 그 시차 보상 화상의 차분 화상을 부호화하는 영상 부호화 방법으로서, 차분 화상의 소정 구분 단위마다 같은 위치의 시차 보상 화상의 유무 상태, 즉 시차 보상 화상의 화소값이 유효한 값인지 여부에 따라, 이미 부호화 완료한 카메라 화상과 시차 보상 화상의 차분 화상을 복호한 복호 차분 화상군, 이미 부호화 완료한 카메라 화상을 복호한 복호 카메라 화상군의 어느 하나를 참조 대상으로서 설정한다.

Description

영상 부호화 방법 및 복호방법, 그들의 장치, 그들의 프로그램과 프로그램을 기록한 기억매체{Video encoding method, decoding method, device thereof, program thereof, and storage medium containing the program}

본 발명은 다시점 동영상의 부호화 및 복호 기술에 관한 것이다.

본원은 2006년 12월 28일에 출원된 특원 2006-353628호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

다시점 동영상(다시점 영상)이란, 복수의 카메라로 같은 피사체와 배경을 촬영한 복수의 동영상이다. 이하에서는, 하나의 카메라로 촬영된 동영상을 “2차원 동영상”이라 부르고, 같은 피사체와 배경을 촬영한 2차원 동영상군을 다시점 동영상이라 부른다.

다시점 동영상에 포함되는 각 카메라의 2차원 동영상은, 시간방향에 관하여 강한 상관이 있다. 한편, 각 카메라가 동기되어 있었던 경우, 같은 시간에 대응한 각 카메라의 영상은 완전히 같은 상태의 피사체와 배경을 다른 위치에서 촬영한 것이므로, 카메라 간에 강한 상관이 있다. 동영상의 부호화에 있어서는, 이러한 상관을 이용함으로써 부호화 효율을 높이고 있다.

우선, 2차원 동영상의 부호화 기술에 관한 종래기술을 설명한다.

국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래의 많은 2차원 동영상 부호화 방식에서는 움직임 보상, 직교 변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 행한다. 예를 들어 H.264에서는, 과거 혹은 미래의 복수매의 프레임과의 시간 상관을 이용한 부호화가 가능하다.

H.264에서 사용되고 있는 움직임 보상 기술의 상세에 대해서는 하기 비특허문헌 1에 기재되어 있는데, 이하에서 개요를 설명한다.

H.264의 움직임 보상은, 부호화 대상 프레임을 다양한 크기의 블록으로 분할하고, 각 블록에서 다른 움직임 벡터를 가진 것을 가능하게 하며, 국소적인 영상 변화에 대해서도 높은 부호화 효율을 달성하고 있다.

또한, 참조 화상의 후보로서 과거 또는 미래의 이미 부호화 완료한 복수매의 프레임을 준비하고, 각 블록에서 다른 참조 프레임을 가진 것을 가능하게 한다. 이에 의해, 시간 변화에 따라 오클루전(occlusion)이 생기는 영상에 대해서도 높은 부호화 효율을 달성하고 있다.

다음에, 종래의 다시점 동영상의 부호화 방식에 대해 설명한다. 다시점 동영상의 부호화에 대해서는, 움직임 보상을 같은 시각의 다른 카메라의 화상에 적용한 “시차 보상"에 의해 고효율로 다시점 동영상을 부호화하는 방식이 종래부터 존재한다. 여기서, 시차란, 다른 위치에 배치된 카메라의 화상 평면 상에서 피사체 상의 같은 위치가 투영되는 위치의 차이다.

이 카메라 간에 생기는 시차의 개념도를 도 7에 나타낸다. 이 개념도에서는, 광축이 평행한 카메라(A, B)의 화상 평면을 수직으로 내려다본 것으로 되어 있다. 이와 같이, 다른 카메라의 화상 평면 상에서 피사체 상의 같은 위치가 투영되는 위치는 일반적으로 대응점이라고 불린다. 시차 보상에 의한 부호화에서는, 이 대응관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임에서 예측하여 그 예측 잔차와 대응관계를 나타내는 시차 정보를 부호화한다.

다시점 동영상의 각 프레임에는 시간방향의 용장성(冗長性)과 카메라 간의 용장성이 동시에 존재하기 때문에, 동시에 양쪽의 용장성을 제거하는 방법으로서 하기에 나타내는 비특허문헌 2나 특허문헌 1(다시점 화상 부호화 장치)의 기법이 있다.

이러한 기법으로는, 원화상과 시차 보상 화상의 차분 화상을 시간방향으로 예측하여 그 차분 화상의 움직임 보상 잔차를 부호화하고 있다.

이 방법에 의하면, 카메라 간의 용장성을 제거하는 시차 보상에서는 제거할 수 없었던 시간방향의 용장성을 움직임 보상에 의해 제거할 수 있기 때문에, 최종적으로 부호화하는 예측 잔차가 작아지고 높은 부호화 효율을 달성하는 것이 가능하다.

비특허문헌 1: ITU-T Rec.H.264/ISO/IEC 11496-10, “Editor's Proposed Draft Text Modifications for Joint Video Specification(ITU-T Rec.H.264/ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp.10-13, and 62-68, September 2002.

비특허문헌 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, “Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.

특허문헌 1: 일본특허공개 평10-191393호 공보

차분 화상을 움직임 보상하여 부호화를 행하는 종래의 다시점 동영상의 부호화 방법에 의하면, 시간방향과 카메라 간의 용장성을 동시에 가지는 부분의 예측 잔차를 작게 할 수 있기 때문에 효율적으로 부호화하는 것이 가능하다.

그러나, 도 8과 같이 피사체 간에 오클루전이 생기는 경우, 같은 피사체이어도 카메라 간의 용장성이 존재하는지 여부가 시각에 따라 변화하는 경우가 있다.

또, 도 8은 시각 a와 시각 b에 각각 카메라(A)와 카메라(B)에서 촬영된 화상에서의 피사체 간의 오클루전의 예를 나타낸다.

도 9는 오클루전이 있는 경우의 시차 보상 잔차 화상의 예를 나타낸다.

비특허문헌 2의 방법에 의하면, 시차 보상의 참조 프레임의 각 화소에 대해 다른 프레임과의 대응점을 나타내는 시차 정보가 주어지기 때문에, 도 8의 경우에 카메라(B)의 화상을 카메라(A)의 영상으로부터 시차 보상한 경우의 차분 화상은 도 9와 같이 된다.

도 9에서 색의 농도는 차분 신호의 크기를 나타내고, 흰색에 가까울수록 차분이 적은 것을 나타낸다.

참조 프레임, 즉 카메라(A)의 화상의 각 화소가 카메라(B)의 화상의 어디에 대응하는지를 나타내는 시차 정보를 이용하기 때문에, 카메라(B)의 화상에는 존재하지만 카메라(A)의 화상에는 존재하지 않는 부분에서는 시차 보상이 행해지지 않는다. 따라서, 대응점을 취할 수 있는 부분에서는 화상이 희게 보이고, 도 9 중의 점선으로 둘러싸인 R의 대응점을 취할 수 없는 부분에서는 원화상이 그대로 차분 신호로서 남아 있다.

단, 카메라 감도의 차이나 반사 등의 영향에 의해 대응점을 취할 수 있는 영역에서도 완전히 차분 신호가 제로가 되는 것은 아니다. 도면 중의 R과 같은 부분에서는 도면 중의 시각 a 등 다른 시각의 차분 화상에서 움직임 보상을 행해도 예측 잔차를 줄일 수 없는 것은 명백하다.

이 문제에 대처하기 위한 단순한 방법으로서 블록마다 다른 프레임을 참조한다는 기능을 이용하는 방법을 들 수 있다. 즉, 참조 프레임으로서 차분 화상의 복호 화상뿐만 아니라, 그 차분 화상에 시차 보상 화상을 더한 최종적인 카메라 화상의 복호 화상을 이용 가능하게 하여 블록마다 어느 쪽을 참조할지 절환하는 방법이다.

이렇게 함으로써, 원래의 카메라 화상 그대로인 도면 중의 R의 영역에서도 카메라 화상의 복호 화상에서 움직임 보상함으로써 예측 잔차를 줄일 수 있다.

그러나, 이 방법에서는 블록마다 참조 프레임을 나타내기 위한 정보를 부호화할 필요가 있기 때문에 부호량의 증대를 초래한다.

또한, 하나의 블록 중에서 오클루전이 있는 부분과 없는 부분이 혼재하는 경우에는 대처할 수 없다는 문제도 있다.

한편, 특허문헌 1의 방법에서는 부호화 대상 프레임을 부호화함에 있어서 차분 화상을 움직임 보상하여 프레임 전체를 부호화하는 것이 아니고, 블록마다 차분 화상을 움직임 보상할지 시차 보상만을 행할지 움직임 보상만을 행할지를 선택 가능하게 한다.

이에 의해, 상기와 같은 카메라 간에 오클루전이 생기는 부분에서도 시간방향으로 용장성이 있으면 예측 잔차를 효율적으로 줄일 수 있다.

그러나, 이 경우 블록마다 어떤 예측 방법을 이용했는지를 나타내는 정보를 부호화할 필요가 있기 때문에, 예측 잔차를 줄일 수는 있어도 대량의 부가정보를 부호화할 필요가 생기기 때문에 높은 부호화 효율을 달성할 수 없다.

또한, 블록마다 하나의 예측 방법만 선택할 수 있기 때문에, 하나의 블록 중에서 부분마다 오클루전의 유무가 다른 경우에는 대처할 수 없다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 예측을 위한 부가정보의 부호량을 늘리지 않고 적절한 예측을 실현함으로써 높은 부호화 효율을 달성할 수 있도록 하는 새로운 영상 부호화 및 복호 기술의 제공을 목적으로 한다.

상기 과제를 해결하기 위해, 본 발명은, 이미 부호화 완료한 참조 카메라 화상과, 그 참조 카메라 화상에 대한 부호화 대상 카메라 화상과의 시차 정보를 이용하여 카메라 간의 영상 예측을 행함으로써 시차 보상 화상을 만들고, 부호화 대상 카메라 화상과 그 시차 보상 화상의 차분 화상을 부호화하는 영상 부호화 방법으로서, 차분 화상의 소정 구분 단위(예를 들면, 화소)마다 같은 위치의 시차 보상 화상의 유무 상태, 즉 시차 보상 화상의 대응하는 화소값이 유효한 값인지 여부에 따라,

(i)이미 부호화 완료한 카메라 화상과 시차 보상 화상의 차분 화상을 복호한 복호 차분 화상군(이미 부호화된 다른 시각의 복호 차분 화상이나, 해당 부호화 대상 카메라 화상에 관한 차분 화상의 이미 부호화된 부분의 복호 차분 화상을 포함하는 복호 차분 화상의 집합),

(ii)이미 부호화 완료한 카메라 화상을 복호한 복호 카메라 화상군(각 복호 차분 화상(다른 시각의 복호 차분 화상을 포함함)과 대응하는 시차 보상 화상의 합으로 나타나는 복호 카메라 화상의 집합)

의 어느 하나를 참조 대상으로서 설정하는 단계를 가지는 방법을 제공한다.

이에 의하면, 모드나 참조 화상의 절환에 관한 새로운 정보를 부가하지 않고 원하는 구분 단위로 적절한 참조 화상을 이용한 예측 부호화를 실현할 수 있다. 즉, 부가정보의 부호량을 늘리지 않고 부호화해야 할 잔차 성분을 줄일 수 있기 때문에 높은 부호화 효율의 달성이 가능하다.

이 기법은 시차 정보가 시차 벡터의 형식으로 주어져도, 카메라부터 피사체까지의 거리 등의 기하 정보를 이용하여 나타나도 화상 간의 대응관계가 얻어지는 것이면 어떠한 형식으로 주어져도 된다.

차분 화상이 설정된 참조 대상을 이용하여 부호화할 때에는, 하나의 부호화 처리 블록에서 하나의 예측 방식을 이용하여 부호화를 행해도 된다.

참조 대상이 다른 경우, 통상의 예측 부호화에서는 최적의 예측 방법이 다르다고 생각된다. 그 때문에, 하나의 부호화 처리 블록 내에 참조 대상이 다른 화소 또는 영역이 혼재하는 경우, 참조 대상마다 예측 방식을 선택하여 복수의 예측 방식을 나타내는 부가정보가 부호화된다.

그러나, 상기와 같이 하나의 부호화 처리 블록에서는 하나의 예측 방식을 이용하여 부호화를 행하도록 하면 부호화 처리 블록마다 하나의 예측 방식을 나타내는 정보를 부호화하는 것만으로 되기 때문에, 전체적으로 필요한 부호량을 삭감할 수 있다. 이 경우, 예측 효율의 저하가 걱정되지만, 상기 도 9와 같은 경우를 생각하면, 그 경계 부분에서도 같은 방법(이 경우, 같은 움직임 벡터를 이용한 움직임 보상)으로 영상 예측을 행해도 예측 효율은 크게 저하되지 않는다고 생각된다.

또한, 예측 효율과 부가 정보의 부호량의 균형을 감안하여 블록마다 하나의 예측 방법을 이용할지, 참조 대상마다 다른 예측 방법을 이용할지를 정해도 된다. 이와 같이 예측 효율과 부가 정보의 부호량의 균형을 감안함으로써, 보다 유연하고 높은 부호화 효율의 부호화를 달성할 수 있다.

그 경우, 복호측에서는 부호화 데이터로부터 예측 방법을 절환했는지를 알고 적절히 영상을 복호할 수 있다.

본 발명에 의하면, 시차 보상에 의한 차분 화상을 예측 부호화할 때에 새로운 부가 정보를 이용하지 않고 적절한 참조 화상을 화소 단위로 절환하여 이용함으로써, 부가 정보의 부호량을 늘리지 않고 부호화 대상의 잔차 삭감을 실현하며, 다시점 동영상 전체적으로 고효율의 영상 부호화를 실현할 수 있다.

도 1은 본 발명의 영상 부호화 장치의 일실시형태를 나타내는 도면이다.

도 2는 실시예에서의 영상 부호화 흐름도이다.

도 3은 실시예에서의 예측 모드 결정에 관한 상세 흐름도이다.

도 4는 본 발명의 영상 복호 장치의 일실시형태를 나타내는 도면이다.

도 5는 실시예에서의 영상 복호 흐름도이다.

도 6은 실시예에서의 차분 화상의 부호화 데이터 복호에 관한 상세 흐름도이다.

도 7은 카메라 간에 생기는 시차의 개념도이다.

도 8은 피사체 간에 오클루전이 생기는 예를 나타내는 도면이다.

도 9는 오클루전이 생기는 경우의 시차 보상 잔차 화상의 예를 나타내는 도면이다.

<부호의 설명>

100: 영상 부호화 장치

101: 화상 입력부

102: 참조 화상 입력부

103: 시차 정보 입력부

104: 시차 보상 화상 생성부

105: 차분 영상 예측 부호화부

106: 참조 화상 설정부

107: 복호 카메라 화상 메모리

108: 복호 차분 화상 메모리

109: 참조 절환 스위치

110: 차분 영상 복호부

200: 영상 복호 장치

201: 부호화 데이터 입력부

202: 참조 화상 입력부

203: 시차 정보 입력부

204: 시차 보상 화상 생성부

205: 참조 화상 설정부

206: 복호 카메라 화상 메모리

207: 복호 차분 화상 메모리

208: 참조 절환 스위치

209: 차분 영상 복호부

본 발명의 실시형태를 설명하기에 앞서서 본 발명의 개요를 설명한다.

종래기술에서는 다시점 부호화에 있어서 어떤 화상을 선택했는지를 부호화하여 보낼 필요가 있었던 것에 대해, 본 발명에서는 어떤 화상을 선택했는지를 다른 정보로부터 복호하는 것이 가능하게 되는 특징이 있다. 이에 의해, 본 발명은 종래기술의 경우와 같은 부가 정보량이면 예측 화상의 화질이 향상된다.

다시점 영상을 부호화함에 있어서 어떤 카메라의 영상을 다른 카메라로부터 시차 보상 합성된 영상과의 차분을 취하고, 그 차분 영상의 시간 상관을 고려하면서 부호화하는 경우, 종래기술에서는 도 9의 R과 같은 오클루전 부분을 효율적으로 부호화할 수 없는 문제가 있었다.

본 발명에 의하면, 도 9의 R과 같은 부분에서는 시차 보상 합성된 영상과의 차분 영상이 아니라 원래의 영상의 디코드 화상을 이용하여 예측 부호화함으로써 효율적으로 부호화를 행할 수 있게 된다.

또한, 오클루전 부분을 효율적으로 부호화할 수 없는 문제를 해결하기 위해 쉽게 생각해낸 방법으로서 H.264에 채용되어 있는 멀티 프레임 참조 기술을 이용하고, 블록마다 다른 참조 화상을 이용하여 예측 부호화를 행하는 방법을 생각할 수 있다.

그러나, 그 경우, 블록마다 참조 화상을 지정하는 정보를 부호화하기 때문에 부호량의 증대를 초래할 뿐만 아니라, 블록 단위로만 참조 화상을 절환할 수 있기 때문에 블록 내에서 오클루전의 유무가 있는 경우에 대처할 수 없는 문제가 있다.

그러나, 본 발명에서는 시차 보상 합성했을 때의 정보를 이용하여 참조 화상을 절환하기 때문에, 새로운 정보를 부호화할 필요가 없다. 또한, 그 정보로부터 화소 단위로 오클루전의 유무가 얻어지기 때문에, 화소 단위로 참조 화상을 절환하는 것이 가능하게 된다.

이상의 것을 실현하기 위해, 본 발명에서는 다른 카메라로 촬영된 화상으로부터 부호화 대상의 시차 보상 화상(Syn)을 생성할 수 있는지 여부를 나타내는 Ref정보를 생성하고, 이 Ref정보를 이용하여 참조 화상을 절환한다.

시차 보상 화상(Syn)을 생성할 수 있다는 것은, 다른 카메라에서도 같은 피사체가 찍혀 있다는 것이기 때문에 오클루전이 발생하지 않음을 나타낸다.

또한, 시차 보상 화상(Syn)을 생성할 수 없다는 것은, 다른 카메라에는 같은 피사체가 찍히지 않기 때문에 오클루전이 발생하는 것을 나타낸다.

즉, 시차 보상 화상(Syn)을 생성할 수 있는지 여부의 정보를 이용하여 참조 화상을 절환함으로써, 도 9의 R과 같은 오클루전 부분에서 적절한 예측을 할 수 없는 문제를 해결할 수 있다.

복수의 참조 화상 후보에서 부호화에 사용하는 참조 화상을 선택하는 기존 방법으로서 H.264에서 사용되고 있는 멀티 프레임 참조 기술이 있다. 이 종래 방법에서는 어떤 화상을 선택했는지를 나타내는 정보를 부호화하여 전송할 필요가 있었다.

그러나, 본 발명에서는 참조 화상을 선택하는 정보를 종래 방법을 이용하는 경우에도 전송할 필요가 있었던 시차 보상 화상 생성에 사용되는 정보로부터 생성함으로써, 참조 화상을 절환하기 위한 정보를 별도 전송할 필요가 없어 부호량을 삭감할 수 있다.

또, 후술하는 실시형태에서는 시차 보상 화상 생성에 사용되는 정보에서 생성하는 참조 화상을 선택하는 정보를 Ref정보로 나타내고, 부호화측·복호측에서 같은 것을 생성할 수 있다(예를 들면, 부호화측은 도 2의 단계 A6에서 생성, 복호측은 도 5의 단계 C4에서 생성).

또, H.264의 멀티 프레임 참조 기술 등의 종래 방법을 이용한 경우, 화소 단위로 참조 화상을 선택하면 부호화할 예측 오차 신호에 필요한 부호량을 작게 할 수 있지만, 화소마다 참조 화상을 절환하기 위한 정보를 부호화할 필요가 있어 결과적으로 부호량 증대를 초래하였다. 즉, 전체의 부호량을 억제하기 위해서는 블록 단위로만 참조 화상을 절환할 수 있었다.

그러나, 본 발명에서는 상술한 바와 같이 참조 화상을 절환하기 위한 정보는 별도 전송되는 것이 아니기 때문에, 이 정보를 화소에 대응시켜 생성함으로써 부호량을 늘리지 않고 참조 화상을 화소마다 절환하는 것이 가능하게 된다. 그 결과, 예측 오차 신호에 필요한 부호량을 삭감할 수 있다.

이하, 실시형태에 따라 본 발명을 상세하게 설명한다.

여기서, 이하에 설명하는 실시형태에서는 2개의 카메라로 촬영된 다시점 동영상을 부호화하는 경우를 상정하고, 카메라(A)의 영상을 참조 화상으로서 카메라(B)의 영상을 부호화하는 방법에 대해 설명한다.

도 1에 본 발명의 영상 부호화 장치(100)의 일실시형태를 나타낸다.

이 영상 부호화 장치(100)는, 부호화 대상 화상인 카메라(B)의 카메라 촬영 화상을 입력하는 화상 입력부(101), 참조 영상인 카메라(A)의 복호 화상을 입력하는 참조 화상 입력부(102), 참조 화상 상의 각 화소가 부호화 대상 화상 상에서 어느 위치에 대응하는지를 나타내는 시차 정보를 입력하는 시차 정보 입력부(103), 참조 화상과 시차 정보로부터 카메라(B)의 위치의 시차 보상 화상을 생성하는 시차 보상 화상 생성부(104), 부호화 대상 화상과 시차 보상 화상의 차분 화상을 예측 부호화하는 차분 영상 예측 부호화부(105), 시차 보상 화상의 상태에 따라 화소마다 참조 화상군을 설정하는 참조 화상 설정부(106), 참조 화상군의 하나인 카메라(B)에 의해 촬영된 화상의 복호 화상을 저장하는 복호 카메라 화상 메모리(107), 다른 하나의 참조 화상군인 부호화된 차분 화상의 복호 화상을 저장하는 복호 차분 화상 메모리(108), 참조 화상군의 설정 정보에 기초하여 참조 화상 메모리를 절환하는 참조 절환 스위치(109), 부호화된 차분 화상을 복호하는 차분 영상 복호부(110)를 구비한다.

도 2, 도 3에 이와 같이 구성되는 영상 부호화 장치(100)가 실행하는 처리 흐름을 나타낸다. 이러한 처리 흐름에 따라, 이와 같이 구성되는 본 발명의 영상 부호화 장치(100)가 실행하는 처리에 대해 상세하게 설명한다.

영상 부호화 장치(100)에서는, 부호화 처리 전체의 개요를 나타내는 도 2의 처리 흐름에 나타내는 바와 같이 화상 입력부(101)에 의해 카메라(B)의 화상이 입력된다[단계 A1].

또, 여기서 입력된 카메라(B)의 화상과 표시시각(즉, 촬영시각)이 같은 카메라(A)의 복호 화상이 참조 화상 입력부(102)에 의해 입력되고, 그 시각의 화상 간의 시차 정보가 시차 정보 입력부(103)에 의해 입력되는 것으로 한다.

이하에서는, 이 입력된 카메라(B)의 화상을 부호화 대상 카메라 화상으로, 카메라(A)의 복호 화상을 참조 카메라 화상으로 나타낸다.

참조 화상 입력부(102)에 의해 입력된 참조 카메라 화상과 시차 정보 입력부(103)에 의해 입력된 시차 정보를 이용하여 시차 보상 화상이 시차 보상 화상 생성부(104)에서 생성된다[단계 A2].

이 시차 보상 화상 생성은, 참조 카메라 화상의 각 화소의 화소값을 시차 보상 화상 상의 대응 화소에서의 화소값으로 하도록 행해진다.

그 때에, 참조 카메라 화상 상의 복수의 점이 시차 보상 화상 상의 동일점에 대응하는 경우는, 피사체의 전후관계를 카메라의 위치관계와 시차로부터 판단하여 가장 카메라에 가까운 피사체의 점의 화소값을 이용하도록 한다. 예를 들면, 카메라의 광축이 평행하다면 시차가 클수록 카메라에 가까운 점으로 판단할 수 있다.

또한, 시차 정보가 참조 카메라 화상의 각 화소의 부호화 대상 카메라 화상 상에서의 대응점을 나타내기 때문에, 참조 카메라 화상에는 비치지 않는 부분에 대해 시차 보상 화상이 존재하지 않게 된다.

이와 같이 하여 구해진 시차 보상 화상을 이용하여 부호화 처리 블록마다 부호화 대상 카메라 화상의 부호화를 행한다[단계 A3-A13].

이 흐름에서는, 블록의 인덱스를 blk로 나타내고, 하나의 화상에 대한 총 블록수를 maxBlk로 나타낸다. 즉, 인덱스(blk)를 0으로 초기화한 후[단계 A3], 이하의 처리[단계 A4-A11]를 인덱스(blk)에 1을 가산하면서[단계 A12] 인덱스(blk)가 총 블록수(maxBlk)가 될 때까지[단계 A13] 반복하여 실행하게 된다.

우선, 블록(blk)의 부호화 대상 카메라 화상을 Org, 시차 보상 화상을 Syn으로 한다[단계 A4]. 그리고, 블록(blk)에 포함되는 픽셀마다 양자의 차분(Org-Syn)을 계산하여 차분 화상(Sub)으로 한다[단계 A5].

또, 여기서 시차 보상 화상이 없는 픽셀 부분에 대해서는 Syn의 화소값을 O으로 하여 차분 화상을 산출한다.

다음에, 참조 화상 설정부(106)에서 블록(blk)의 픽셀마다 차분 화상을 예측 부호화할 때의 참조처를 나타내는 정보(Ref)를 다음과 같이 설정한다[단계 A6].

∀pix∈{O, 1, …, maxPix-1}

Ref[pix]=0(Syn[pix]에 시차 보상 화상이 없는 경우)

Ref[pix]=1(Syn[pix]에 시차 보상 화상이 있는 경우)

여기서, pix는 블록(blk)에 포함되는 픽셀의 인덱스, maxPix는 블록(blk)에 포함되는 총 픽셀수를 나타낸다. 또한, 블록의 단위 정보에 [pix]를 부가하여 표기함으로써, 그 정보의 픽셀 인덱스(pix)의 위치의 화소의 정보를 나타낸다.

또, Syn에 시차 보상 화상이 있는지 여부를 판정하여 Ref를 생성하는 방법에는 임의의 방법을 이용해도 되지만, 예를 들면 이하와 같은 방법으로 실현해도 된다.

우선, 시차 보상 화상(Syn)을 생성하기 전에 각 화소의 화소값의 초기값으로서 절대로 취할 수 없는 값(예를 들면, -1)을 설정해 두고, 「참조 카메라 화상의 각 화소의 화소값」을 「시차 보상 화상 상의 대응 화소에서의 화소값」으로서 겹쳐씀으로써 시차 보상 화상(Syn)을 생성한다. 그리고, 화소에 대응지어진 Syn이 「-1」이라면 Ref를 「0」으로 하고, Syn이 「-1」이외라면 Ref를 「1」로 하여 Ref를 생성한다. 이와 같이 함으로써 목적의 Ref를 Syn에서 일의적으로 생성할 수 있다.

이 경우, 상기 단계 A5의 차분 화상(Sub)의 산출에서는 Syn이 「-1」인 부분에 대해 화소값을 O으로 간주하여 Org의 값을 Sub의 값으로 하는 계산을 한다.

또는, 차분 화상(Sub)을 산출하기 전에, 상기 방법 등에 의해 Ref를 생성하고 Syn이 「-1」인 부분을 「O」으로 치환하고 나서 Org-Syn을 계산하여 차분 화상(Sub)을 산출해도 된다.

또, 여기서는 설명의 형편상 시차 보상 화상이 없기 때문에 화소값을 0으로 간주한 부분을 포함한 Syn의 전체를 시차 보상 화상이라고 한다.

이 Ref를 이용하면서 차분 화상(Sub)을 예측 부호화할 때에, 레이트 왜곡 비용이 최소가 되는 예측 모드를 구하여 PMODE라고 한다[단계 A7].

여기서 레이트 왜곡 비용(cost)은 어떤 예측 모드일 때의 예측 오차의 절대값 합을 sad로 하고, 그 예측 모드를 나타내는 정보를 부호화하기 위한 부호량의 예측량을 bin으로 나타낸 경우에 다음의 수학식으로 구해진다. 단, λ은 라그랑주의 미정 승수를 나타내고, 미리 설정된 값을 이용하는 것으로 한다.

cost=sad+λ·bin

이렇게 하여 구해진 PMODE를 이용하여 실제로 블록(blk)의 차분 화상(Sub)을 예측 부호화한다[단계 A8].

이러한 예측 모드의 결정이나 실제의 부호화는 차분 영상 예측 부호화부(105)에서 행해진다. 부호화 결과에는 영상의 부호화 데이터 이외에 PMODE 등 부호화에 필요한 정보의 부호화 데이터도 포함된다.

부호화 결과는 영상 부호화 장치(100)의 출력이 됨과 동시에 차분 영상 복호부(11O)에서 복호된다[단계 A9].

여기서 복호된 블록(blk)의 차분 화상(Sub)의 복호 화상을 Dec로 한다. Dec는 다른 블록을 부호화할 때의 프레임 내 예측이나, 다른 시각의 프레임을 부호화할 때의 프레임간 예측을 위해 복호 차분 화상 메모리(108)에 저장한다[단계 A10].

또한, Dec와 Syn의 합에 의해 블록(blk)의 복호 카메라 화상을 생성하고 복 호 카메라 화상 메모리(107)에 저장한다[단계 A11].

이상이 블록마다 반복하여 행해지는 처리이다.

도 3에 차분 영상 예측 부호화부(105)에서 행해지는 예측 모드 결정 처리[단계 A7]의 상세한 처리 흐름을 나타낸다.

이 흐름에서는, 예측 모드마다 다음의 수학식으로 나타나는 레이트 왜곡 비용(cost)을 계산하고 그 값이 최소가 되는 모드를 결정한다.

cost=SAD+λ·code(pmode)

여기서, SAD는 예측 화상과 원화상의 화소마다의 차분 절대값 합을 나타내고, pmode는 예측 모드 인덱스를 나타내며, code(α)는 주어진 예측 모드(α)에 대해 그 정보를 나타내기 위해 필요한 부호량의 예측값을 부여하는 함수를 나타낸다.

처리 흐름에 의해 나타나는 바와 같이, 예측 모드 인덱스(pmode)를 O으로 초기화한 후[단계 B1], pmode를 1씩 가산하면서[단계 B17] pmode가 maxPmode로 나타나는 예측 모드 수가 될 때까지[단계 B18] 이하의 처리[단계 B2-B16]를 반복함으로써, 비용이 최소가 되는 예측 모드를 구한다.

이하의 처리에서 각 예측 모드에 대해 레이트 왜곡 비용을 이용하여 평가를 하는 것인데, 그 평가값으로서 절대로 취할 수 없는 최대값을 maxCost로 나타낸다. 더 반복하여 평가를 하기 위해, 하기에 나타내는 각 조건에서 가장 좋았던 평가값을 minCost, minCost1, minCost2로 나타내고, 그 때의 예측 모드 인덱스를 best_mode, best_mode1, best_mode2로 나타내기로 한다.

여기서, 변수의 minCost와 best_mode는 블록 내의 모든 화소를 예측한 경우 의 가장 좋았던 평가값과 예측 모드 인덱스를 나타내고, minCost1과 best_mode1은 대응하는 Ref의 값이 0인 화소만을 예측한 경우의 가장 좋았던 평가값과 예측 모드 인덱스를 나타내며, minCost2와 best_mode2는 대응하는 Ref의 값이 1인 화소만을 예측한 경우의 가장 좋았던 평가값과 예측 모드 인덱스를 나타낸다.

minCost, minCost1, minCost2를 전부 maxCost로 초기화한 후[단계 B1], 예측 모드(pmode)에 대한 예측 화상을 화소마다 생성한다[단계 B2-B8].

예측 화상의 생성은, 블록 내의 화소의 인덱스(pix)를 O으로 초기화한 후[단계 B2], pix를 1씩 가산하면서[단계 B7] pix가 maxPix로 나타나는 블록 내의 픽셀수가 될 때까지[단계 B8] 다음의 처리[단계 B3-B6]를 반복함으로써 행해진다.

우선, Ref[pix]에 따라 대응 화소에서 시차 보상 화상이 있는지 여부를 판정한다[단계 B3].

시차 보상 화상이 존재하지 않는 경우, 참조 절환 스위치(109)를 조작하여 차분 영상 예측 부호화부(105)가 복호 카메라 화상 메모리(107)를 참조하도록 세트한다[단계 B4]. 한편, 시차 보상 화상이 존재하는 경우에는 복호 차분 화상 메모리(108)를 참조하도록 세트한다[단계 B5].

세트된 참조 화상을 이용하여 예측 모드(pmode)로 그 화소에 대한 예측값(Pred[pix])을 계산한다[단계 B6].

블록 내의 모든 화소에 대해 예측 화상의 생성이 완료된 후, 다음의 식에 따라 3종류의 원화상과의 차분 절대값 합을 계산한다[단계 B9].

SAD1=

Σ｜Sub[pix]-Pred[pix]｜·(1-Ref[pix])

SAD2=

Σ｜Sub[pix]-Pred[pix]｜·Ref[pix]

SAD=SAD1+SAD2

여기서, SAD1은 시차 보상 화상이 없는 화소의 차분 절대값 합을 나타내고, SAD2는 시차 보상 화상이 있는 화소의 차분 절대값 합을 나타내며, SAD는 블록 내의 모든 화소의 차분 절대값 합을 나타낸다. Σ는 pix가 O부터 maxPix-1까지의 총합을 나타낸다. 상기 식에서는 적산을 이용하지만, SAD1과 SAD2의 계산에 이용되는 화소는 배타적이므로 단순한 조건 분기로 상기 차분 절대값 합의 계산을 실현해도 된다.

이 SAD, SAD 1, SAD 2와 pmode를 이용하여 전술한 식에 따라 레이트 왜곡 비용(cost, cost 1, cost 2)을 계산한다[단계 B10].

그리고 지금까지 계산된 가장 좋은 레이트 왜곡 비용과 비교하여[단계 B11, B13, B15] 예측 모드(pmode)을 이용한 것이 비용을 줄일 수 있다면, 최고 예측 모드를 나타내는 변수와 최량 비용 값을 갱신한다[단계 B12, B14, B16].

모든 예측 모드에 대해 평가가 끝난 후에, 시차 보상이 있는 화소와 없는 화소에서 다른 예측 모드를 이용할지 동일한 예측 모드를 이용할지를 판정한다[단계 B19-B21].

우선, best_mode, best_mode1, best_mode2가 전부 같은지를 조사한다[단계 B19].

만약 전부 같은 경우, 블록 내에서 하나의 모드를 사용하면 되는 것을 나타내기 때문에, 예측 부호화를 행할 때의 예측 모드(PMODE)로서 best_mode를 저장하여 종료한다[단계 B22].

하나라도 다른 모드를 나타내는 경우에는, minCost1과 minCost2와 OHCost의 합과 minCost를 비교한다[단계 B20].

전자는 블록 내에서 다른 모드를 사용하는 경우의 비용을 나타낸다. 여기서, OHCost는 예측 모드를 2개 부호화하는 것에 의한 오버헤드 비용을 나타낸다.

만약 전자 쪽이 좋은 비용이 되는 경우에는, best_mode1과 best_mode2의 집합을 PMODE에 저장하여 종료한다[단계 B21].

후자가 좋은 비용인 경우에는 PMODE에 best_mode를 저장하여 종료한다[단계 B22].

본 실시예에서는, 블록 내에서 하나의 예측 모드를 이용할지 2개의 예측 모드를 이용할지를 선택한다.

항상 하나의 예측 모드를 이용하기로 해도 되고, 그 경우에는 단계 B10에서 cost만을 계산하고, 단계 B13-B16과 단계 B19-B22의 처리를 생략하며, best_mode 대신에 PMODE를 이용할 수 있다.

또한, 항상 2개의 예측 모드를 이용하는 것도 가능하고, 그 경우에는 단계 B9의 SAD의 계산과 단계 B10의 Cost의 계산과 단계 B11-B12, B19-B20, B22의 처리가 불필요하고, 단계 B18이 YES인 경우에는 단계 B21로 진행함으로써 실현된다.

본 실시예에서의 예측 모드란, 어떻게 화소값을 예측하는지를 나타내는 것이 다.

예측 방법에는 같은 프레임의 이미 부호화·복호 완료한 주변 블록으로부터 화소값을 예측하는 프레임 내 예측과, 이미 부호화·복호 완료한 다른 프레임으로부터 화소값을 예측하는 프레임간 예측이 존재하고, 상기 예측 모드는 양쪽의 예측법을 포함한다. 프레임간 예측에 필요한 움직임 벡터도 예측 모드에 포함된다. 또한, 이미 부호화·복호 완료한 것으로부터 화소값을 예측할 수 있는 방법이면 어떠한 방법으로도 예측 모드에 포함시킬 수 있다.

도 4에 본 발명의 영상 복호 장치(200)의 일실시형태를 나타낸다.

이 영상 복호 장치(200)는, 부호화 데이터를 입력하는 부호화 데이터 입력부(201), 카메라(A)의 복호 화상을 입력하는 참조 화상 입력부(202), 카메라(A)의 복호 화상 상의 각 화소가 복호 대상이 되어 있는 화상 상에서 어느 위치에 대응하는지를 나타내는 시차 정보를 입력하는 시차 정보 입력부(203), 카메라(B)의 위치의 시차 보상 화상을 생성하는 시차 보상 화상 생성부(204), 시차 보상 화상의 상태에 따라 화소마다 참조 화상군을 설정하는 참조 화상 설정부(205), 참조 화상군의 하나인, 복호된 카메라(B)에 의해 촬영된 화상을 저장하는 복호 카메라 화상 메모리(206), 다른 하나의 참조 화상군인, 차분 화상의 복호 화상을 저장하는 복호 차분 화상 메모리(207), 참조 화상군의 설정 정보에 기초하여 참조 화상 메모리를 절환하는 참조 절환 스위치(208), 입력된 부호화 데이터를 복호하는 차분 영상 복호부(209)를 구비한다.

도 5, 도 6에 이와 같이 구성되는 영상 복호 장치(200)가 실행하는 처리 흐 름을 나타낸다. 이는 카메라(B)의 부호화 데이터를 1프레임 복호하는 흐름을 나타낸다. 이하에서 흐름을 상세하게 설명한다.

또, 복호하는 프레임과 같은 시각의 카메라(A)의 프레임이 앞서서 복호되어 있고, 시차 정보가 더 얻어지는 것으로 한다.

우선, 부호화 데이터 입력부(201)에 카메라(B)의 부호화 데이터가 입력된다[단계 C1]. 또한, 여기서 입력된 카메라(B)의 화상과 표시시각이 같은 카메라(A)의 복호 화상이 참조 화상 입력부(202)에 의해 입력되어 있는 것으로 한다.

다음에, 카메라(A)의 복호 화상과 시차 정보를 이용하여 시차 보상 화상 생성부(204)에서 시차 보상 화상이 생성된다[단계 C2]. 여기서의 처리는 이미 설명한 도 2의 단계 A2에서 행해지는 처리와 같다.

이 시차 보상 화상을 이용하면서 블록마다 입력된 부호화 데이터를 복호하고, 카메라(B)의 복호 화상을 얻는다[단계 C3-C9].

이 처리에서는 블록의 인덱스를 blk로 나타내고, 하나의 화상에 대한 총 블록수를 maxBlk로 나타내면, 인덱스(blk)를 0으로 초기화한 후[단계 C3], 인덱스(blk)에 1을 가산하면서[단계 C8] 인덱스(blk)가 총 블록수(maxBlk)가 될 때까지[단계 C9] 이하의 처리[단계 C4-C7]를 반복하여 실행하게 된다.

우선, 참조 화상 설정부(205)에서 블록(blk)의 픽셀마다 차분 화상을 예측 부호화할 때에 사용된 참조처를 나타내는 정보(Ref)를 전술한 단계 A6의 처리와 같은 방법으로 생성한다[단계 C4].

그리고, 이 정보를 사용하면서 입력된 부호화 데이터를 차분 영상 복호 부(209)에서 복호하여 차분 화상의 복호값(Dec)을 얻는다[단계 C5].

복호값(Dec)은 그대로 다른 시각의 프레임이나 다른 블록을 복호할 때에 이용하기 때문에, 복호 차분 화상 메모리(207)에 저장된다[단계 C6].

또한, 블록(blk)에서의 시차 보상 화상(Syn)과 Dec의 합을 화소마다 구함으로써 카메라(B)에서 촬영된 화상의 복호 화상을 얻는다.

이 복호 화상은 영상 복호 장치(200)의 출력이 됨과 동시에 복호 카메라 화상 메모리(206)에 저장된다[단계 C7].

도 6에 차분 영상 복호부(209)에서 행해지는 블록마다의 차분 화상의 복호 처리[단계 C5]의 상세한 처리 흐름을 나타낸다.

우선, 부호화 데이터로부터 예측 모드 정보를 복호하여 pmode[0]으로 한다[단계 D1]. 이 때, 부호화 데이터에 다른 예측 모드 정보가 포함되어 있다면[단계 D2], 그것을 복호하여 pmode[1]로 한다[단계 D3]. 포함되어 있지 않다면[단계 D2], pmode[1]에 pmode[0]과 같은 값을 설정한다[단계 D4].

다음에, 부호화 데이터에 포함되어 있는 화소마다의 예측 잔차를 복호하여 Dres라고 한다[단계 D5].

이후의 처리는 블록에 포함되는 화소마다 행해진다. 즉, 픽셀 인덱스(pix)를 0으로 초기화한 후[단계 D6], pix에 1을 가산하면서[단계 D12] pix가 블록 내의 픽셀수(maxPix)가 될 때까지[단계 D13] 이하의 처리[단계 D7-D11]를 반복하여 실행한다.

화소마다 행해지는 처리에서는, 우선 Ref[pix]의 값에 따라[단계 D7] 참조 절환 스위치(208)를 조작하여 복호 카메라 화상 메모리(206)를 참조 버퍼에 세트하거나[단계 D8], 복호 차분 화상 메모리(207)를 참조 버퍼에 세트한다[단계 D9].

다음에, 화소(pix)의 값(Pred)을 예측 모드(pmode[Ref[pix]])로 예측한다[단계 D10].

그리고, 차분 화상의 복호값(Dec[pix])을 Dres[pix]와 Pred의 합으로부터 얻는다[단계 D11].

본 실시예에서는, 참조 카메라 화상 상의 각 화소가 같은 시각의 카메라(B)의 화상 상에서 어느 위치에 대응하는지를 나타내는 시차 정보가 영상 부호화 장치(100)나 영상 복호 장치(200)의 외부에서 구해지고 부호화/전송/복호되는 것으로 한다.

그러나, 영상 부호화 장치(100)의 내부에서 시차 정보를 구하여 부호화하고 차분 화상의 부호화 데이터와 함께 출력해도 된다. 마찬가지로, 영상 복호 장치(200)의 내부에서 시차 정보의 부호화 데이터를 받아 복호하여 이용해도 된다.

또한, 직접 참조 카메라 화상 상의 각 화소가 같은 시각의 카메라(B)의 화상 상에서 어느 위치에 대응하는지를 나타내는 정보는 아니지만, 어떠한 변환을 실시함으로써 상기 대응관계가 얻어지는 것이 입력되고, 영상 부호화 장치(100)와 영상 복호 장치(200)의 내부에서 입력된 정보를 상기 대응관계를 나타내는 시차 정보로 변환해도 된다.

그러한 정보의 일례로서 피사체의 삼차원 정보와 카메라 파라미터로 구성되는 정보가 있다. 삼차원 정보는 피사체의 각 부분의 삼차원 좌표이거나, 피사체부 터 카메라까지의 거리를 나타내는 것이다.

또한, 실시형태에서는 참조 대상으로서의 화상군의 절환을 부호화 대상 카메라 화상의 각 화소마다 가능하게 하지만, 복수 화소를 포함하는 소정의 구분 단위마다 행하도록 해도 된다. 예를 들면 소정 크기의 블록마다 절환 가능하게 하는 경우, 블록 내의 다수의 화소에 대해 적절한 참조 대상을 선택하거나, 시차 보상 화상의 화소값이 무효인 화소가 하나라도 포함되는 경우에는 복호 카메라 화상군을 선택하도록 할 수 있다. 적절한 구분 단위로의 선택을 함으로써 처리시간을 단축할 수 있는 효과가 있다.

이상의 영상 부호화 및 영상 복호의 처리는 하드웨어나 펌웨어에 의해 실현할 수 있음과 동시에 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하여 제공하는 것도, 네트워크를 통해 제공하는 것도 가능하다.

본 발명에 의하면, 시차 보상에 의한 차분 화상을 예측 부호화할 때에 새로운 부가 정보를 이용하지 않고 적절한 참조 화상을 화소 단위로 절환하여 이용함으로써, 부가 정보의 부호량을 늘리지 않고 부호화 대상의 잔차 삭감을 실현하며, 다시점 동영상 전체적으로 고효율의 영상 부호화를 실현할 수 있다.

Claims (16)

1. 시차 보상을 이용하여 다시점 동영상을 부호화하는 영상 부호화 방법에 있어서,

   이미 부호화 완료한 카메라 화상을 복호한 참조 카메라 화상과, 그 참조 카메라 화상에 대한 부호화 대상 카메라 화상과의 시차 정보로부터 상기 부호화 대상 카메라 화상에 대한 시차 보상 화상을 생성하는 단계;

   상기 시차 보상 화상의 상태에 따라 상기 부호화 대상 카메라 화상의 소정 구분 단위마다 참조 대상으로 하는 참조 화상군을 나타내는 참조 대상 정보를 설정하는 단계;

   상기 설정된 참조 대상 정보에 기초하여 상기 부호화 대상 카메라 화상의 상기 소정 구분 단위마다 이미 부호화 완료한 카메라 화상과 시차 보상 화상의 차분 화상을 복호한 복호 차분 화상군 및 이미 부호화 완료한 카메라 화상을 복호한 복호 카메라 화상군 중 어느 하나를 참조 대상으로서 선택하는 단계;

   상기 참조 대상으로서 선택된 화상군에 포함되는 참조 화상을 참조하여 상기 부호화 대상 카메라 화상과 상기 시차 보상 화상의 차분 화상을 예측 부호화하는 단계;

   상기 부호화한 차분 화상을 복호한 복호 차분 화상을 상기 복호 차분 화상군의 하나로서 기억하는 단계; 및

   상기 복호 차분 화상을 기초로 이미 부호화 완료한 카메라 화상을 복호한 복 호 카메라 화상을 상기 복호 카메라 화상군의 하나로서 기억하는 단계;를 가지는 것을 특징으로 하는 영상 부호화 방법.
2. 제1항에 있어서,

   상기 차분 화상을 예측 부호화하는 단계에서는, 상기 차분 화상에서의 복수 화소로 이루어진 각 부호화 처리 블록에 대해 미리 정해진 복수의 각 예측 방식을 이용한 경우의 부호화의 비용을 각각 산출하고, 하나의 부호화 처리 블록 내에서는 부호화의 비용이 최소가 되는 하나의 예측 방식을 이용하여 영상 예측을 행하는 것을 특징으로 하는 영상 부호화 방법.
3. 제1항에 있어서,

   상기 차분 화상을 예측 부호화하는 단계에서는, 상기 차분 화상에서의 복수 화소로 이루어진 각 부호화 처리 블록에 대해 참조 화상이 다른 화소군마다 미리 정해진 복수의 각 예측방식을 이용한 경우의 부호화의 비용을 각각 산출하고, 하나의 부호화 처리 블록 내에서 하나의 예측 방식을 이용하여 영상 예측을 행할지, 하나의 부호화 처리 블록 내에서 복수의 예측 방식을 이용하여 영상 예측을 행할지를 상기 산출한 부호화의 비용에 따라 선택하면서 부호화를 행하는 것을 특징으로 하는 영상 부호화 방법.
4. 제1항에 있어서,

   상기 소정 구분 단위는 화소인 것을 특징으로 하는 영상 부호화 방법.
5. 시차 보상을 이용하여 다시점 동영상을 복호하는 영상 복호 방법에 있어서,

   이미 복호 완료한 참조 카메라 화상과, 그 참조 카메라 화상에 대한 복호 대상 카메라 화상과의 시차 정보로부터 상기 복호 대상 카메라 화상에 대한 시차 보상 화상을 생성하는 단계;

   상기 시차 보상 화상의 상태에 따라 상기 복호 대상 카메라 화상의 소정 구분 단위마다 참조 대상으로 하는 참조 화상군을 나타내는 참조 대상 정보를 설정하는 단계;

   상기 설정된 참조 대상 정보에 기초하여 상기 복호 대상 카메라 화상의 상기 소정 구분 단위마다 이미 복호 완료한 카메라 화상과 시차 보상 화상의 복호 차분 화상군 및 이미 복호 완료한 복호 카메라 화상군 중 어느 하나를 참조 대상으로서 선택하는 단계;

   입력한 부호화 데이터를 복호한 각 화소마다의 예측 잔차를 기초로 상기 참조 대상으로서 선택된 화상군에 포함되는 참조 화상을 참조하여 상기 복호 대상 카메라 화상과 상기 시차 보상 화상의 차분 화상을 복호하는 단계;

   상기 복호한 차분 화상을 상기 복호 차분 화상군의 하나로서 기억하는 단계; 및

   상기 복호한 차분 화상과 상기 시차 보상 화상을 서로 더하여 다시점 동영상의 복호 카메라 화상으로서 출력함과 동시에, 그 복호 카메라 화상을 상기 복호 카 메라 화상군의 하나로서 기억하는 단계;를 가지는 것을 특징으로 하는 영상 복호 방법.
6. 제5항에 있어서,

   상기 차분 화상을 복호하는 단계에서는, 상기 복호 대상 카메라 화상에서의 복수 화소로 이루어진 각 복호 처리 블록에 대해 하나의 복호 처리 블록 내에서는 지정된 하나의 예측 방식을 이용하여 영상을 복호하는 것을 특징으로 하는 영상 복호 방법.
7. 제5항에 있어서,

   상기 차분 화상을 복호하는 단계에서는, 상기 복호 대상 카메라 화상에서의 복수 화소로 이루어진 각 복호 처리 블록에 대해 하나의 복호 처리 블록 내에서는 지정된 하나의 예측 방식을 이용할지, 지정된 복수의 예측 방식을 이용할지를 절환하면서 영상을 복호하는 것을 특징으로 하는 영상 복호 방법.
8. 제5항에 있어서,

   상기 소정 구분 단위는 화소인 것을 특징으로 하는 영상 복호 방법.
9. 시차 보상을 이용하여 다시점 동영상을 부호화하는 영상 부호화 장치에 있어서,

   이미 부호화 완료한 카메라 화상을 복호한 참조 카메라 화상과, 그 참조 카메라 화상에 대한 부호화 대상 카메라 화상과의 시차 정보로부터 상기 부호화 대상 카메라 화상에 대한 시차 보상 화상을 생성하는 수단;

   상기 시차 보상 화상의 상태에 따라 상기 부호화 대상 카메라 화상의 소정 구분 단위마다 참조 대상으로 하는 참조 화상군을 나타내는 참조 대상 정보를 설정하는 수단;

   상기 설정된 참조 대상 정보에 기초하여 상기 부호화 대상 카메라 화상의 상기 소정 구분 단위마다 이미 부호화 완료한 카메라 화상과 시차 보상 화상의 차분 화상을 복호한 복호 차분 화상군 및 이미 부호화 완료한 카메라 화상을 복호한 복호 카메라 화상군 중 어느 하나를 참조 대상으로서 선택하는 수단;

   상기 참조 대상으로서 선택된 화상군에 포함되는 참조 화상을 참조하여 상기 부호화 대상 카메라 화상과 상기 시차 보상 화상의 차분 화상을 예측 부호화하는 수단;

   상기 부호화한 차분 화상을 복호한 복호 차분 화상을 상기 복호 차분 화상군의 하나로서 기억하는 수단; 및

   상기 복호 차분 화상을 기초로 이미 부호화 완료한 카메라 화상을 복호한 복호 카메라 화상을 상기 복호 카메라 화상군의 하나로서 기억하는 수단;을 구비하는 것을 특징으로 하는 영상 부호화 장치.
10. 제9항에 있어서,

    상기 소정 구분 단위는 화소인 것을 특징으로 하는 영상 부호화 장치.
11. 시차 보상을 이용하여 다시점 동영상을 복호하는 영상 복호 장치에 있어서,

    이미 복호 완료한 참조 카메라 화상과, 그 참조 카메라 화상에 대한 복호 대상 카메라 화상과의 시차 정보로부터 상기 복호 대상 카메라 화상에 대한 시차 보상 화상을 생성하는 수단;

    상기 시차 보상 화상의 상태에 따라 상기 복호 대상 카메라 화상의 소정 구분 단위마다 참조 대상으로 하는 참조 화상군을 나타내는 참조 대상 정보를 설정하는 수단;

    상기 설정된 참조 대상 정보에 기초하여 상기 복호 대상 카메라 화상의 상기 소정 구분 단위마다 이미 복호 완료한 카메라 화상과 시차 보상 화상의 복호 차분 화상군 및 이미 복호 완료한 복호 카메라 화상군 중 어느 하나를 참조 대상으로서 선택하는 수단;

    입력한 부호화 데이터를 복호한 각 화소마다의 예측 잔차를 기초로 상기 참조 대상으로서 선택된 화상군에 포함되는 참조 화상을 참조하여 상기 복호 대상 카메라 화상과 상기 시차 보상 화상의 차분 화상을 복호하는 수단;

    상기 복호한 차분 화상을 상기 복호 차분 화상군의 하나로서 기억하는 수단; 및

    상기 복호한 차분 화상과 상기 시차 보상 화상을 서로 더하여 다시점 동영상의 복호 카메라 화상으로서 출력함과 동시에, 그 복호 카메라 화상을 상기 복호 카 메라 화상군의 하나로서 기억하는 수단;을 구비하는 것을 특징으로 하는 영상 복호 장치.
12. 제11항에 있어서,

    상기 소정 구분 단위는 화소인 것을 특징으로 하는 영상 복호 장치.
13. 제1항에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램.
14. 제5항에 기재된 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 복호 프로그램.
15. 제1항에 기재된 영상 부호화 방법을 컴퓨터에 실행시키기 위한 영상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
16. 제5항에 기재된 영상 복호 방법을 컴퓨터에 실행시키기 위한 영상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.

Images