KR20090067176A

KR20090067176A - 예측 참조 정보 생성방법, 동영상 부호화 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체

Info

Publication number: KR20090067176A
Application number: KR20097007723A
Authority: KR
Inventors: 신야 시미즈; 가즈토 가미쿠라; 요시유키 야시마; 히데아키 기마타
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2006-10-30
Filing date: 2007-10-23
Publication date: 2009-06-24
Also published as: WO2008053746A1; CN101529918B; CA2665781C; US8355438B2; KR101023263B1; CN101529918A; TW200829036A; BRPI0717639A2; US20100118939A1; JP4999859B2; EP2079242A1; RU2434361C2; TW201233192A; EP2079242A4; RU2009114363A; US20130101038A1; CA2665781A1; JPWO2008053746A1; US8675735B2; TWI376158B

Abstract

분할된 영역마다 시간적 또는 공간적인 프레임간 예측 부호화 방식을 적용하여, 처리 대상 영역의 참조 프레임과 그 참조 프레임에서의 처리 대상 영역의 예측 대상 위치를 나타내는 참조 정보에 기초하여 처리 대상 영역의 예측 화상을 생성하여 동영상을 처리할 때에, 그 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 방법. 처리 대상 영역에 인접하는 이미 처리 완료한 인접 영역을 처리했을 때의 참조 정보를 처리 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정하고, 해당 예측 데이터에 의해 지시되는 참조 영역을 처리했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하며, 이에 의해 상기 예측 참조 정보 예측 데이터를 변경하고, 하나 또는 복수 존재하는 상기 변경한 예측 참조 정보 예측 데이터를 이용하여 상기 예측 참조 정보를 생성한다.

동영상, 예측 부호화

Description

예측 참조 정보 생성방법, 동영상 부호화 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체{Predictive reference information generation method, dynamic image encoding and decoding method, device thereof, program thereof, and storage medium containing the program}

본 발명은, 화상을 영역 분할하고, 영역마다 시간적 또는 공간적인 프레임간 예측 부호화 방식을 적용하여, 처리 대상 영역의 참조 프레임과 그 참조 프레임에서의 처리 대상 영역의 예측 대상 위치를 나타내는 참조 정보에 기초하여 처리 대상 영역의 예측 화상을 생성하여 동영상을 처리할 때에 이용되어 그 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 예측 참조 정보 생성방법 및 그 장치, 그 예측 참조 정보 생성방법을 이용하는 동영상 부호화 방법 및 그 장치, 그 동영상 부호화 방법에 의해 생성된 부호화 데이터를 복호하는 동영상 복호방법 및 그 장치, 그 예측 참조 정보 생성방법의 실현에 이용되는 예측 참조 정보 생성 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체, 그 동영상 부호화 방법의 실현에 이용되는 동영상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체, 그 동영상 복호방법의 실현에 이용되는 동영상 복호 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에 관한 것이다.

본원은 2006년 10월 30일에 출원된 특원 2006-293929호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

다시점 동영상(다시점 영상)이란, 복수의 카메라로 같은 피사체와 배경을 촬영한 복수의 동영상이다. 이하에서는, 하나의 카메라로 촬영된 동영상을 "2차원 동영상"이라 부르고, 같은 피사체와 배경을 촬영한 2차원 동영상군을 "다시점 동영상"이라 부른다.

다시점 동영상에 포함되는 각 카메라의 2차원 동영상은, 시간방향에 관하여 강한 상관이 있다. 한편, 각 카메라가 동기되어 있었던 경우, 같은 시각에 촬영한 각 카메라의 영상은 완전히 같은 상태의 피사체와 배경을 다른 위치에서 촬영한 것이므로, 카메라 간에 강한 상관이 있다. 동영상의 부호화에 있어서는, 이러한 상관을 이용함으로써 부호화 효율을 높이고 있다.

우선, 2차원 동영상의 부호화 기술에 관한 종래기술을 설명한다.

국제 표준 동영상 부호화 규격인 MPEG-2나 H.264 등을 비롯한 종래의 많은 2차원 동영상 부호화 방식에서는, 프레임간 예측 부호화라고 불리는 방법에 의해 시간방향의 상관을 이용하여 높은 부호화 효율을 실현하고 있다.

2차원 동영상 부호화에서의 프레임간 예측 부호화에서 이용하는 방법은, 시간에 의한 영상의 변화, 즉 움직임을 이용한 것이기 때문에, 일반적으로 움직임 보상이라고 불린다. 이하에서는, 그 예에 따라 시간방향의 프레임간 예측 부호화를 움직임 보상이라고 부른다. 또, 프레임이란 동영상을 구성하는 어떤 시각에 촬영된 1장의 화상을 나타낸다.

일반적인 2차원 동영상 부호화에서의 각 프레임의 부호화 모드에는, 프레임간의 상관을 사용하지 않고 부호화하는 I프레임, 과거에 부호화한 1장의 프레임에서 움직임 보상을 하면서 부호화하는 P프레임, 과거에 부호화한 2장의 프레임에서 움직임 보상을 하면서 부호화하는 B프레임이 있다.

또, 영상 예측의 효율을 향상시키기 위해, 영상 부호화 방식 H.263과 H.264에서는, 참조 화상 메모리에 2프레임 이상의 복수의 프레임분의 복호 화상을 축적해 두고, 그 메모리에서 참조 화상을 선택하여 예측할 수 있다.

참조 화상은 블록마다 선택할 수 있고, 참조 화상을 지정하는 참조 화상 지정정보를 부호화함으로써 복호처리를 가능하게 하고 있다.

움직임 보상에서는, 참조 화상 지정정보 이외에 참조 화상 내의 어느 위치를 이용하여 부호화 대상 블록을 예측하는지를 나타내기 위한 벡터가 부호화된다. 이 벡터는 움직임 벡터라고 불린다.

움직임 벡터의 부호화에 있어서, MPEG-4나 H.264에서는 부호화 대상 블록의 인접 블록의 움직임 벡터에서 예측 벡터를 생성하고, 부호화 대상 블록의 움직임 보상에서 이용하는 움직임 벡터와 이 예측 벡터의 차분 벡터만을 부호화한다. 이 방법에 의하면, 인접 블록간에 움직임의 연속성이 있는 경우에 움직임 벡터를 부호화 효율적으로 부호화할 수 있다.

H.264에서의 예측 벡터의 생성순서의 상세에 대해서는 하기에 나타내는 비특허문헌 1에 기재되어 있는데, 이하에서 개요를 설명한다.

H.264에서는, 도 20a에 나타내는 바와 같이, 부호화 대상 블록의 좌측 블록 (도면 중의 a), 상측 블록(도면 중의 b), 우상측 블록(도면 중의 c)에서 이용한 움직임 벡터(mv_a, mv_b, mv_c)에서 수평성분 및 수직성분을 개별로 중앙값을 취하여 구한다.

H.264에서는, 가변 블록 사이즈 움직임 보상을 채용하고 있기 때문에, 부호화 대상 블록과 주변 블록의 움직임 보상 블록 사이즈가 동일하지 않은 경우가 있는데, 그 경우는 도 20b와 같이, 블록(a)은 좌측에 인접하는 블록 중 가장 위의 블록으로 하고, 블록(b)은 상측에 인접하는 블록 중 가장 좌측의 블록으로 하며, 블록(c)은 우상측에 존재하는 가장 가까운 블록으로 한다.

예외로서 부호화 대상 블록의 사이즈가 8×16화소인 경우는, 도 20c에 나타내는 바와 같이, 중앙값 대신에 좌측 블록은 블록(a)을, 우측 블록은 블록(c)을 예측에 이용하고, 부호화 대상 블록의 사이즈가 16×8화소인 경우는, 도 20d에 나타내는 바와 같이, 중앙값 대신에 하측 블록은 블록(a)을, 상측 블록은 블록(b)을 예측에 이용한다.

또한, 상술한 바와 같이, H.264에서는, 과거에 부호화한 복수의 프레임 중에서 블록마다 참조 프레임을 선택하고, 그 참조 프레임을 이용하여 움직임 보상을 한다.

일반적으로 피사체의 움직임은 참조 프레임에 따라 변화하기 때문에, 부호화 대상 블록의 참조 프레임과 다른 참조 프레임을 이용하여 움직임 보상을 하는 경우의 움직임 벡터보다, 같은 참조 프레임을 이용하여 움직임 보상을 하는 경우의 움직임 벡터가 부호화 대상 블록에서 이용하는 움직임 벡터에 가까운 벡터라고 생각 된다.

그 때문에, H.264에서 블록(a, b, c) 중 부호화 대상 블록과 참조 프레임이 같은 블록이 하나만 있는 경우는, 중앙값 대신에 그 블록의 움직임 벡터를 예측 벡터로서 이용함으로써, 보다 신뢰도가 높은 예측 벡터를 생성하고 있다.

물체가 등속 직선운동을 하는 경우 등 복수의 프레임간에 움직임의 연속성이 있는 경우에, 움직임 벡터를 부호화 효율적으로 부호화하는 방법으로서, 부호화 순서로 직전의 프레임의 움직임 벡터를 축적해 두고, 그 움직임 벡터 정보를 시간간격에 따라 스케일링하여 움직임 벡터를 산출하는 방법이 있다.

이 시간간격을 알기 위한 정보에는 각 프레임의 출력 시각이 이용된다.

일반적으로, 이 시간정보는 촬영 화상의 입력순과 인코드순이 다른 경우 등에 영상을 촬영시각 순서대로 복호할 때에 필요하기 때문에, 프레임마다 부호화된다. 즉, 인코더에서는 입력순에 따라 붙여진 입력 화상의 시각정보를 설정하여 각 프레임을 부호화하고, 디코더에서는 각 프레임의 복호 화상을 설정되어 있던 시각정보에 따라 지정된 순으로 출력한다.

복수의 프레임 간에 존재하는 움직임의 연속성을 이용하여 움직임 벡터를 부호화 효율적으로 부호화하는 방법으로서, H.264에서 시간 다이렉트 모드라고 불리는 것이 있다.

예를 들면, 도 21에 나타내는 프레임(A, B, C)에 대해 프레임(A, C, B)의 순으로 부호화하고, 프레임(C)이 프레임(A)을 참조 프레임으로서 움직임 보상을 하면서 부호화되어 있다고 한다. 이러한 상황에서, 시간 다이렉트 모드에서는 프레 임(B)이 있는 블록의 움직임 벡터는 다음과 같이 구해진다.

우선, 부호화 대상 블록과 같은 위치의 프레임(C) 상의 블록에서 사용되고 있는 움직임 벡터(mv)를 찾아낸다.

다음에, 하기의 식에 따라 프레임(A)을 참조 프레임으로 했을 때의 움직임 벡터(fmv)와 프레임(C)을 참조 프레임으로 했을 때의 움직임 벡터(bmv)를 계산한다.

fmv=(mv×T_AB)/T_AC

bmv=(mv×T_BC)/T_BC

여기서, T_AB, T_BC, T_AC는 각각 프레임(A)과 프레임(B) 사이의 시간간격, 프레임(B)과 프레임(C) 사이의 시간간격, 프레임(A)과 프레임(C) 사이의 시간간격을 나타낸다.

H.264에서는, 시간 다이렉트 모드는 블록마다 참조 프레임을 2장 이용하는 B프레임(Bi-predictive Frame: 쌍 예측 프레임)에서만 이용하는 것이 가능하다.

하기에 나타내는 비특허문헌 2에서는, 이를 응용함으로써 블록마다 1장의 참조 프레임만을 사용하는 P프레임에서도 움직임 벡터를 효율적으로 부호화하는 방법이 제안되어 있다.

인접 블록 간의 움직임의 연속성과 복수의 프레임 간의 움직임의 연속성의 양쪽을 가정하여 움직임 벡터를 효율적으로 부호화하는 방법으로서, 하기에 나타내는 비특허문헌 3에 기재되어 있는 방법이 있다.

도 22a 내지 도 22d에 그 개요를 나타낸다. 이 수법에서는, H.264나 MPEG-4와 같이 부호화 대상 블록의 주변 블록의 움직임 벡터를 이용하여 예측 벡터를 생성하고, 실제의 움직임 보상에서 이용하는 움직임 벡터와 예측 벡터의 차분 벡터만을 부호화한다(도 22a 참조).

H.264 등과 다른 점은, 주변 블록의 움직임 벡터를 그대로 사용하는 것이 아니라, 이하의 식을 이용하여 움직임 벡터를 시간간격에 따라 스케일링하고 나서 이용하는 점이다.

mv_k'=mv_k×T_ct/T_ck

여기서, mv_k는 원래의 움직임 벡터, mv_k'는 스케일링된 움직임 벡터, T_ct는 부호화 대상 프레임과 부호화 대상 블록이 참조하고자 하는 프레임 사이의 시간간격, T_ck는 부호화 대상 프레임과 그 주변 블록이 참조하는 프레임 사이의 시간간격을 나타낸다(도 22b 내지 도 22d 참조).

다음에, 종래의 다시점 동영상의 부호화 방식에 대해 설명한다.

일반적인 다시점 동영상의 부호화에서는, 카메라 간의 상관을 이용하기 위해, 같은 시각에 다른 카메라로 촬영된 프레임 간에 움직임 보상을 적용한 "시차보상"을 이용함으로써 높은 부호화 효율을 실현하고 있다.

이 수법이 사용되고 있는 예로서는 MPEG-2 Multiview profile나 비특허문헌 4에 기재되는 방법 등이 있다.

비특허문헌 4의 방법에서는, 블록마다 움직임 보상과 시차 보상 중 어느 하 나를 선택하여 부호화를 하고 있다. 블록마다 부호화 효율이 높은 것을 선택함으로써, 시간방향의 상관과 카메라 간의 상관의 양쪽을 이용할 수 있고, 어느 하나만 사용하는 경우에 비해 높은 부호화 효율을 달성하고 있다.

시차 보상에서는 예측 잔차 이외에 시차 벡터가 부호화된다. 시차 벡터란, 프레임 간의 시간변화인 움직임 벡터에 대응하는 것으로, 다른 위치에 배치된 카메라로 촬영된 화상 평면 상에서 피사체 상의 같은 위치가 투영되어 있는 위치의 차를 나타낸다.

도 23에 이 카메라 간에 생기는 시차 벡터의 개념도를 나타낸다. 이 개념도에서는 광축이 평행한 카메라의 화상 평면을 수직으로 내려다본 것으로 되어 있다.

시차 벡터의 부호화에 있어서는, 움직임 벡터의 부호화와 같이 부호화 대상 블록의 인접 블록의 시차 벡터에서 예측 벡터를 생성하고, 부호화 대상 블록의 시차 보상에서 이용하는 시차 벡터와 이 예측 벡터의 차분 벡터만을 부호화하는 방법을 이용할 수 있다. 이 방법에 의하면, 인접 블록 간에 시차의 연속성이 있는 경우에 시차 벡터를 부호화 효율적으로 부호화할 수 있다.

비특허문헌 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification(ITU-T Rec.H.264/ISO/IEC 14496-10 AVC), Draft 7”, Final Committee Draft, Document JVT-E022, pp.63-64, and 117-121, September 2002.

비특허문헌 2: Alexis Michael Tourapis, "Direct Prediction for Predictive(P) and Bidirectionally Predictive(B) frames in Video Coding," JVT- C128, Joint Video Team(JVT) of ISO/IEC MPEG&ITU-T VCEG Meeting, pp.1-11, May, 2002.

비특허문헌 3: 가토 사다아츠, boon chongseng, "시간적 움직임 벡터 정규화를 이용한 복수의 예측 참조 화상의 부호화에서의 움직임 벡터 예측", PCSJ2004 화상 부호화 심포지움 자료 19th, P-2.18, Nov. 2004.

비특허문헌 4: Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding(3DAV)", document M10976 MPEG Redmond Meeting, July, 2004.

부호화 대상 블록에서 실제로 이용하는 움직임 벡터나 시차 벡터를 인접 블록에서 사용된 움직임 벡터나 시차 벡터를 이용하여 생성한 예측 벡터와의 차분으로 부호화한다는 종래의 방법은, 실공간 상에서 피사체는 연속하여 존재하고, 피사체의 움직임은 같은 피사체 내에서 크게는 변화하지 않을 확률이 높다는 사실에 기초하기 때문에, 부호화 대상 블록에서 이용하는 움직임 벡터나 시차 벡터를 보다 적은 부호량으로 부호화하는 것이 가능하다.

그러나, 부호화 대상 블록의 화상을 예측하는 데에 최적인 참조 프레임이 인접 블록에서 사용되지 않는 경우, 실제로 이용하는 움직임 벡터와 예측 벡터의 차는 커지고 부호량을 충분히 삭감할 수 없다.

특히, 블록마다 움직임 보상과 시차 보상을 적응적으로 선택하여 부호화를 하는 경우, 움직임 벡터와 시차 벡터에서는 성질이 크게 다르기 때문에, 움직임 벡터에서 시차 벡터의 예측 벡터를 생성하거나, 시차 벡터에서 움직임 벡터의 예측 벡터를 생성하는 것은 불가능하고, 프레임간 예측을 위한 정보를 효율적으로 부호화할 수 없다.

움직임 벡터에 관해서는, 비특허문헌 1에 기재된 시간 다이렉트 모드나 비특허문헌 2나 비특허문헌 3에 기재되어 있는 방법을 이용함으로써, 부호화 대상 블록의 화상을 예측하는 데에 최적인 시각의 참조 프레임이 인접 블록에서 사용되지 않는 경우에서도 효율적인 움직임 벡터를 생성할 수 있다.

그러나, 이러한 방법은 프레임간의 움직임의 연속성을 가정하고 있기 때문에, 피사체가 수 프레임에 걸쳐 카메라에 대해 등속 직선운동에 가까운 움직임을 하지 않으면, 효율적인 예측 벡터를 생성할 수 없다.

시차 벡터에 관해서도, 부호화 대상 블록을 예측하는 데에 최적인 카메라로 촬영된 참조 프레임이 인접 블록에서 사용되지 않는 경우에, 효율적인 시차 벡터를 생성하기 위한 방법으로서 시간간격 대신에 카메라 간격을 이용하여 인접 블록에서 사용된 시차 벡터를 스케일링하여 사용하는 방법이 쉽게 유추 가능하다.

그러나, 이 방법에서는, 카메라의 방향이 평행(광축이 평행)한 경우에는 적절한 예측 벡터를 생성할 수 있지만, 그 이외의 경우에는 적절한 예측 벡터를 생성할 수 없기 때문에, 효율적인 부호화를 실현할 수 없다.

또한, 당연하지만, 이러한 시간간격이나 카메라 간격을 이용하여 이미 부호화 완료한 움직임 벡터나 시차 벡터를 스케일링하여 이용하는 방법을 이용했어도, 블록마다 움직임 보상과 시차 보상을 적응적으로 선택하여 부호화하는 경우에서는, 적절한 예측 벡터를 생성하기는 어렵고 효율적인 부호화를 실현할 수 없다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 복수의 프레임 간에 실제 및 외견상의 피사체나 카메라의 운동이 등속 직선운동이 아닌 경우에서도, 부호화시의 영상 예측에 이용하는 움직임 벡터나 시차 정보와의 차분이 작아지는, 예측 벡터나 예측 시차 정보를 생성하는 새로운 기술의 제공을 목적으로 한다.

[1] 본 발명의 예측 참조 정보 생성장치

이 목적을 달성하기 위해, 본 발명의 예측 참조 정보 생성장치는, 화상을 영역 분할하여 영역마다 시간적 또는 공간적인 프레임간 예측 부호화 방식을 적용하여, 처리 대상 영역의 참조 프레임과 그 참조 프레임에서의 처리 대상 영역의 예측 대상 위치를 나타내는 참조 정보에 기초하여 처리 대상 영역의 예측 화상을 생성하여 동영상을 처리할 때에 이용되어 그 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 처리를 하기 위해, (가)처리 대상 영역에 인접하는 이미 처리 완료한 인접 영역을 처리했을 때의 참조 정보를 처리 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정하는 예측 참조 정보 예측 데이터 설정수단, (나)예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 처리했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하는 참조 영역 참조 정보 생성수단, (다)예측 참조 정보 예측 데이터를 생성된 상기 참조 영역 참조 정보를 이용하여 변경하는 예측 참조 정보 예측 데이터 변경수단, (라)하나 또는 복수 존재하는 변경한 예측 참조 정보 예측 데이터를 이용하여 상기 예측 참조 정보를 생성하는 예측 참조 정보 생성수단을 구비한다.

이상의 각 처리수단은 컴퓨터 프로그램에서도 실현할 수 있는 것이고, 이 컴퓨터 프로그램은 적당한 컴퓨터 판독 가능한 기록매체에 기록하여 제공되거나, 네트워크를 개재하여 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어수단 상에서 동작함으로써 본 발명을 실현하게 된다.

이와 같이 구성되는 본 발명의 예측 참조 정보 생성장치에서는, 우선 처음에, 처리 대상 영역에 인접하는 이미 처리 완료한 인접 영역을 처리했을 때의 참조 정보를 처리 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정한다.

이어서, 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 처리했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하여, 그 설정한 예측 참조 정보 예측 데이터를 생성된 상기 참조 영역 참조 정보를 이용하여 변경한다.

이어서, 하나 또는 복수 존재하는 변경한 예측 참조 정보 예측 데이터를 이용하여 처리 대상 영역의 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성한다.

이와 같이 하여, 본 발명의 예측 참조 정보 생성장치는, 처리 대상 영역에 인접하는 이미 처리 완료한 인접 영역을 처리했을 때의 참조 정보를 그대로 이용하여 처리 대상 영역의 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 것이 아니라, 피사체의 비직선적인 움직임이나 카메라의 비등속 직선운동적인 움직임을 고려하여 그 인접 영역을 처리했을 때의 참조 정보를 예측 참조 정보 예측 데이터로서 설정하여, 그 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 처리했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하여, 그 생성한 참조 영역 참조 정보에 기초하여 예측 참조 정보 예측 데이터를 변경하고, 그 변경한 예측 참조 정보 예측 데이터를 이용하여 처리 대상 영역의 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하도록 처리하는 것이다.

이 때, 변경한 예측 참조 정보 예측 데이터를 이용하여 예측 참조 정보 예측 데이터의 변경처리를 반복하도록 해도 되고, 이 반복처리를 하는 경우에는, 예를 들면 처리 대상 영역의 참조 프레임에 도달할 때까지 이 반복처리를 하게 된다.

이와 같이 구성되는 본 발명의 예측 참조 정보 생성장치에 의하면, 복수의 프레임 간에서의 영상변화의 시간적 연속성이 없는 경우나, 처리 대상 영역마다 움직임 보상과 시차 보상을 선택하면서 다시점 화상을 부호화하거나 복호하는 경우에서도, 처리 대상 영역을 부호화하거나 복호할 때에 이용하는 참조 정보와 예측 참조 정보의 차를 작게 할 수 있게 됨으로써, 프레임간 예측 부호화를 위한 움직임 벡터나 시차 정보를 효율적으로 부호화하거나 복호할 수 있게 된다.

[2] 본 발명의 동영상 부호화 방법

상술한 바와 같이 구성되는 본 발명의 예측 참조 정보 생성장치에 의해 실현되는 본 발명의 예측 참조 정보 생성방법은 동영상 부호화 방법에 적용하는 것이 가능하다.

즉, 본 발명의 동영상 부호화 방법은, 화상 전체를 영역 분할하여, 영역마다 이미 부호화 완료한 복수의 프레임 중에서 그 영역의 화상 정보를 예측할 때에 참조 프레임으로서 이용하는 부호화 대상 영역 참조 프레임을 선택하고, 부호화 대상 영역 참조 프레임과 해당 부호화 대상 영역 참조 프레임에서의 부호화 대상 영역의 예측 대상 위치를 나타내는 참조 정보(예를 들면, 움직임 벡터나 시차 벡터)를 이용하여 예측 화상을 생성하여 예측 화상과 부호화 대상 영역의 화상의 차분 정보를 부호화함으로써 동영상을 부호화한다는 구성을 채용할 때에, (가)부호화 대상 영역에 인접하는 이미 부호화 완료한 인접 영역을 부호화했을 때의 참조 정보를 부호화 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정하는 예측 참조 정보 예측 데이터 설정단계, (나)예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 부호화했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하는 참조 영역 참조 정보 생성단계, (다)예측 참조 정보 예측 데이터를 생성된 상기 참조 영역 참조 정보를 이용하여 변경하는 예측 참조 정보 예측 데이터 변경단계, (라)하나 또는 복수 존재하는 변경한 예측 참조 정보 예측 데이터를 이용하여 부호화 대상 영역의 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 예측 참조 정보 생성단계, (마)부호화 대상 영역에 대한 예측 화상을 생성하기 위해 이용한 참조 정보와 예측 참조 정보의 차분 정보를 부호화하는 차분 참조 정보 부호화 단계를 가진다.

전형예로서, 상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보와 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 합으로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경한다.

다른 전형예로서, 상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 참조 영역 참조 정보가 나타내는 대응점 정보로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경한다.

적합하게는, 상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보와 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 합 및 상기 참조 영역 참조 정보의 대응점 정보의 어느 한쪽으로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경한다.

이 경우, 상기 예측 참조 정보 예측 데이터 변경단계에서는, 부호화 대상 영역 참조 프레임의 시각정보 및 시점정보, 참조 영역이 포함되는 프레임의 시각정보 및 시점정보, 참조 영역을 부호화했을 때의 참조 프레임인 곳의 참조 영역 참조 프레임의 시각정보 및 시점정보, 부호화 대상 프레임의 시각정보 및 시점정보를 이용하여, 예측 참조 정보 예측 데이터의 대응점 정보를 예측 참조 정보 예측 데이터의 대응점 정보와 참조 영역 참조 정보의 대응점 정보의 합으로 변경할지, 참조 영역 참조 정보의 대응점 정보로 변경할지를 결정하도록 해도 된다.

적합예로서, 부호화 대상 프레임의 시점의 카메라 파라미터, 상기 부호화 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여, 그 예측 참조 정보 예측 데이터가 나타내는 대응점 정보에 기하변환을 가하는 예측 참조 정보 기하변환단계를 가진다.

다른 적합예로서, 부호화 대상 프레임의 시점의 카메라 파라미터, 상기 부호화 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터, 그 예측 참조 정보 예측 데이터에 대응하는 참조 영역 참조 정보가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여, 그 참조 영역 참조 정보가 나타내는 대응점 정보에 기하변환을 가하는 참조 영역 참조 정보 기하변환단계를 가진다.

다른 적합예로서, 부호화 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역에 대응지어지는 영역을 탐색하고, 예측 참조 정보 예측 데이터를 탐색 결과의 대응 정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가진다.

이 때, 예측 참조 정보 예측 데이터 탐색단계에서는, 예측 참조 정보 예측 데이터의 상기 대응정보가 나타내는 영역을 탐색 중심으로 한 탐색을 하고, 그 탐색 결과에 의한 정보로 변경하는 경우가 있다.

다른 적합예로서, 부호화 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 부호화 대상 영역의 인접 영역에 대응지어지는 영역을 탐색하고, 예측 참조 정보 예측 데이터를 탐색 결과의 대응 정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가진다.

[3] 본 발명의 동영상 복호방법

상술한 바와 같이 구성되는 본 발명의 예측 참조 정보 생성장치에 의해 실현되는 본 발명의 예측 참조 정보 생성방법은 동영상 복호방법에 적용하는 것이 가능하다.

다음에, 본 발명의 예측 참조 정보 생성방법에 의해 실현되는 본 발명의 동영상 복호방법에 대해 설명한다.

즉, 본 발명의 동영상 복호방법은, 화상 전체를 영역 분할하여, 이미 복호한 복수의 프레임에서 예측 화상을 생성하면서 화상을 복호함에 있어서 영역마다 예측 화상을 생성하기 위해 이용하는 이미 복호 완료한 프레임인 곳의 복호 대상 영역 참조 프레임을 나타내는 정보, 복호 대상 영역 참조 프레임에서의 복호 대상 영역의 예측 대상 위치를 나타내는 참조 정보, 예측 화상과 복호 대상 영역의 화상의 차분 정보를 복호함으로써 동영상을 복호한다는 구성을 채용할 때, (가)복호 대상 영역에 인접하는 이미 복호 완료한 인접 영역을 복호했을 때의 참조 정보를 복호 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정하는 예측 참조 정보 예측 데이터 설정단계, (나)예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 복호했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하는 참조 영역 참조 정보 생성단계, (다)예측 참조 정보 예측 데이터를 생성된 상기 참조 영역 참조 정보를 이용하여 변경하는 예측 참조 정보 예측 데이터 변경단계, (라)하나 또는 복수 존재하는 변경한 예측 참조 정보 예측 데이터를 이용하여 복호 대상 영역의 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 예측 참조 정보 생성단계, (마)부호화 데이터에서 복호 대상 영역에 대한 예측 화상을 생성하기 위해 이용하는 참조 정보와 예측 참조 정보의 차분 정보를 복호하는 차분 참조 정보 복호단계를 가진다.

적합하게는, 상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보와 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 합 및 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 어느 한쪽으로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경한다.

이 경우, 예측 참조 정보 예측 데이터 변경단계에서는, 복호 대상 영역 참조 프레임의 시각정보 및 시점정보, 참조 영역이 포함되는 프레임의 시각정보 및 시점정보, 참조 영역을 복호했을 때의 참조 프레임인 곳의 참조 영역 참조 프레임의 시각정보 및 시점정보, 복호 대상 프레임의 시각정보 및 시점정보를 이용하여, 예측 참조 정보 예측 데이터의 대응점 정보를 예측 참조 정보 예측 데이터의 대응점 정보와 참조 영역 참조 정보의 대응점 정보의 합으로 변경할지, 참조 영역 참조 정보의 대응점 정보로 변경할지를 결정하도록 해도 된다.

적합예로서, 복호 대상 프레임의 시점의 카메라 파라미터, 상기 복호 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여 그 예측 참조 정보 예측 데이터가 나타내는 대응점 정보에 기하변환을 가하는 예측 참조 정보 기하변환단계를 가진다.

다른 적합예로서, 복호 대상 프레임의 시점의 카메라 파라미터, 상기 복호 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터, 그 예측 참조 정보 예측 데이터에 대응하는 참조 영역 참조 정보가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여 그 참조 영역 참조 정보가 나타내는 대응점 정보에 기하변환을 가하는 참조 영역 참조 정보 기하변환단계를 가진다.

다른 적합예로서, 복호 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역에 대응지어지는 영역을 탐색하고, 예측 참조 정보 예측 데이터를 탐색 결과의 대응정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가진다.

다른 적합예로서, 복호 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 복호 대상 영역의 인접 영역에 대응지어지는 영역을 탐색하고, 상기 예측 참조 정보 예측 데이터를 탐색 결과의 대응정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가진다.

본 발명에 의하면, 부호화 대상 영역에 인접하는 영역을 부호화할 때에 이용한 참조 정보를, 그 참조 영역을 부호화할 때에 이용한 부호화 정보를 이용하여 부호화 대상 프레임과 부호화 대상 참조 프레임의 시각 및 시점관계에 적합한 참조 정보로 변환한 후에 예측 참조 정보를 생성함으로써, 복수의 프레임 간에서의 영상 변화의 시간적 연속성이 없는 경우나, 부호화 단위 영역마다 움직임 보상과 시차 보상을 선택하면서 다시점 화상을 부호화하는 경우에서도, 변환 조작의 방법을 나타내는 부가정보를 부호화하지 않고 부호화 대상 영역을 부호화할 때에 이용하는 참조 정보와 예측 참조 정보의 차를 작게 하며, 프레임간 예측 부호화를 위한 움직임 벡터나 시차 정보를 효율적으로 부호화할 수 있다.

도 1은 본 발명에 의해 예측 참조 정보 예측 데이터를 예측 참조 정보 예측 데이터와 참조 영역 참조 정보의 합으로 변경하는 경우의 처리의 일례를 나타내는 도면이다.

도 2는 본 발명에 의해 예측 참조 정보 예측 데이터를 참조 영역 참조 정보로 변경하는 경우의 처리의 일례를 나타내는 도면이다.

도 3은 본 발명의 동영상 부호화 장치의 일실시예이다.

도 4는 본 실시예의 동영상 부호화 장치가 실행하는 동영상 부호화 처리의 흐름도의 일례이다.

도 5는 본 실시예에서의 부호화에 있어서 시간방향의 영상 예측만이 가능한 경우의 예측 참조 정보 예측 데이터의 변경처리의 흐름도의 일례이다.

도 6은 본 실시예에서의 부호화에 있어서 부호화 대상 블록마다 시간방향 또는 카메라 간의 영상예측의 어느 한쪽이 가능한 경우의 예측 참조 정보 예측 데이터의 변경처리의 흐름도의 일례이다.

도 7은 도 6의 흐름도의 일부로서의 부호화 대상 블록이 카메라 간의 영상변화의 예측을 하는 경우의 흐름도의 일례이다.

도 8은 도 6의 흐름도의 일부로서의 부호화 대상 블록이 시간적인 영상변화의 예측을 하는 경우의 흐름도의 일례이다.

도 9는 본 실시예에서의 부호화에 있어서 부호화 대상 블록마다 임의의 영상 예측이 가능한 경우의 예측 참조 정보 예측 데이터의 변경처리의 흐름도의 일례이다.

도 10은 도 9의 흐름도의 일부로서의 부호화 대상 블록이 카메라 간의 영상 변화의 예측을 하는 경우의 흐름도의 일례이다.

도 11은 도 9의 흐름도의 일부로서의 부호화 대상 블록이 시간적인 영상변화의 예측을 하는 경우의 흐름도의 일례이다.

도 12는 도 9의 흐름도의 일부로서의 부호화 대상 블록이 시간적인 변화와 카메라 간의 변화가 혼재한 영상변화의 예측을 하는 경우의 흐름도의 일례이다.

도 13은 도 7의 흐름도의 S310에서 실행하는 예측 참조 정보 예측 데이터의 변경처리의 설명도이다.

도 14는 도 7의 흐름도의 S318에서 실행하는 예측 참조 정보 예측 데이터의 변경처리의 설명도이다.

도 15는 도 10의 흐름도의 S415에서 실행하는 예측 참조 정보 예측 데이터의 변경처리의 설명도이다.

도 16은 도 11의 흐름도의 S433에서 실행하는 예측 참조 정보 예측 데이터의 변경처리의 설명도이다.

도 17은 도 12의 흐름도의 S444에서 실행하는 예측 참조 정보 예측 데이터의 변경처리의 설명도이다.

도 18은 본 발명의 동영상 복호장치의 일실시예이다.

도 19는 본 실시예의 동영상 복호장치가 실행하는 동영상 복호처리의 흐름도의 일례이다.

도 20a는 H.264에서의 움직임 벡터 예측의 설명도이다.

도 20b는 마찬가지로 H.264에서의 움직임 벡터 예측의 설명도이다.

도 20c는 마찬가지로 H.264에서의 움직임 벡터 예측의 설명도이다.

도 20d는 마찬가지로 H.264에서의 움직임 벡터 예측의 설명도이다.

도 21은 다이렉트 모드에서의 움직임 벡터 생성의 설명도이다.

도 22a는 부호화 대상 블록의 주변 블록의 움직임 벡터를 이용하여 예측 벡터를 생성하는 수법의 설명도이다.

도 22b는 시각 정보를 이용하여 스케일링을 적용한 움직임 벡터 예측의 설명도이다.

도 22c는 마찬가지로 시각정보를 이용하여 스케일링을 적용한 움직임 벡터 예측의 설명도이다.

도 22d는 마찬가지로 시각정보를 이용하여 스케일링을 적용한 움직임 벡터 예측의 설명도이다.

도 23은 카메라 간에 생기는 시차의 설명도이다.

<부호의 설명>

100 동영상 부호화 장치

101 화상 입력부

102 블록 매칭 실시부

103 예측 화상 작성부

104 차분 화상 부호화부

105 차분 화상 복호부

106 참조 프레임 메모리

107 참조 정보 축적 메모리

108 예측 참조 정보 예측 데이터 메모리

109 예측 참조 정보 생성부

110 차분 참조 정보 부호화부

111 참조 정보 변경부

112 참조 프레임 지정정보 축적 메모리

113 참조 프레임 선택부

114 참조 프레임 지정정보 부호화부

본 발명에 의한 동영상 부호화 방법 혹은 동영상 복호방법에 의하면, 부호화 대상 영역/복호 대상 영역을 부호화/복호하기 위해 이용하는 참조 정보를 부호화 대상 영역/복호 대상 영역의 인접 영역의 참조 정보를 이용하여 예측함에 있어서, 인접 영역을 부호화/복호할 때에 참조하였던 참조 영역을 부호화/복호할 때에 이용한 참조 정보를 이용하여 인접 영역의 참조 정보에 수정을 가함으로써, 복수의 프레임 사이에 영상변화의 연속성이 없는 경우에서도 정밀도가 높은 예측 참조 정보를 생성할 수 있다.

종래의 방법에서는, 도 1의 점선 화살표로 나타내는 바와 같이, 복수의 프레임 간의 영상변화에 연속성을 가정하여 단순히 참조 정보를 수정해 버렸기(참조 정보에서 예측 참조 정보를 생성하였기) 때문에, 복수의 프레임 간의 영상변화에 연속성이 없는 경우는 잘못된 변환을 하였다.

이에 대해, 본 발명에 의하면, 인접 영역의 참조 프레임에서 다른 프레임으로의 변화를 인접 영역의 참조 영역을 부호화/복호했을 때의 참조 정보로부터 취득할 수 있기 때문에, 복수의 프레임 간의 영상변화의 연속성을 가정하지 않고 인접 영역의 참조 정보를 수정할 수 있다.

여기서, 본 발명에서는, 이 인접 영역의 참조 영역, 즉 예측 참조 정보 예측 데이터에 의해 나타나는 영역을 부호화/복호했을 때의 참조 정보를 참조 영역 참조 정보라고 부른다.

이 참조 영역 참조 정보는, 그 참조 영역을 부호화/복호할 때에 실제로 이용된 것으로, 좋은 부호화 효율을 위해 영상의 변화를 신뢰도 높게 나타내고 있다고 생각된다. 그 때문에, 그러한 정보를 이용하여 수정을 한 정보도 영상의 변화를 신뢰도 높게 나타내고 있다고 할 수 있다.

참조 정보를 수정하는 방법으로서, 도 1에 나타내는 바와 같이, 인접 영역에 대한 참조 정보에 참조 영역 참조 정보를 가하는 방법(벡터 합성하는 방법)을 취해도 된다.

이 방법에서는, 인접 영역의 참조 프레임에서 부호화/복호 대상 프레임으로의 영상변화에 인접 영역의 참조 영역의 참조 프레임에서 인접 영역의 참조 프레임으로의 영상변화를 가함으로써, 인접 영역의 참조 영역의 참조 프레임에서 부호화/복호 대상 프레임으로의 영상변화를 구하게 된다.

이는 이미 부호화/복호되어 있는 영상변화가 변화하는 일은 없다는 사실에 기초하여 신뢰도가 높은 참조 정보 변환을 실현하고 있다.

여기서, 인접 영역의 참조 영역이 부호화/복호처리의 단위영역이 되지 않고, 그 영역에 복수의 참조 정보가 포함되어 있는 경우를 생각할 수 있지만, 그 때는,

(i)참조 영역이 가장 많이 포함되는 부호화/복호처리의 단위영역에서 이용된 참조 정보를 참조 영역 참조 정보로 하는 방법을 이용하거나,

(ii)참조 영역이 포함되는 비율에 따라 부호화/복호처리의 단위영역의 참조 정보에 중량을 부여하여 구한 평균의 참조 정보를 참조 영역 참조 정보로 하는 방법을 이용하거나,

(iii)부호화/복호처리의 단위영역에 대해 부호화/복호되는 참조 정보를 그 영역에 포함되는 모든 화소가 가진 것으로 하여 복수의 참조 영역에서 가장 많이 나타나는 참조 정보를 참조 영역 참조 정보로 하는 방법을 이용해도 된다.

또한, 이 수정은 한 번뿐만 아니라, 수정을 가한 참조 정보에 대해 다시 수정을 가하는 등 반복하여 행해도 된다.

반복하여 수정을 가함으로써, 인접 영역의 참조 영역의 참조 프레임이 부호화/복호 대상 영역 참조 프레임에 충분히 가깝지 않은 경우는, 부호화/복호 대상 영역 참조 프레임으로부터의 영상변화에 의해 가까운 예측 참조 정보 예측 데이터를 얻을 수 있다.

참조 정보를 수정하는 방법으로서, 도 2와 같이 인접 영역에 대한 참조 정보를 참조 영역 참조 정보로 치환하는 방법을 취해도 된다.

이 방법에서는, 인접 영역의 참조 프레임에서 부호화/복호 대상 프레임으로의 영상변화가 인접 영역의 참조 프레임에서 부호화/복호 대상 영역 참조 프레임으 로의 영상변화에 같다고 하여, 부호화/복호 대상 영역 참조 프레임에서 부호화/복호 대상 프레임으로의 영상변화를 구하게 된다.

이 방법에서는, 실세계에서의 2개의 사실을 이용하고 있다.

첫째는, 실세계에서의 피사체의 변화에는 물리적인 제약이 있다는 사실이다. 피사체의 변화에 물리적인 제약이 있다는 것은 시차의 시간 상관이 높다는 것을 나타낸다.

즉, 시간적으로 다른 프레임에서의 대응관계가 주어진 영역, 즉 인접 영역과 그 인접 영역의 참조 영역에서의 시차는 매우 유사성이 높다.

따라서, 인접 영역의 시간적인 참조 정보를 인접 영역의 참조 영역에서의 카메라 간의 참조 정보로 치환함으로써, 인접 영역에서의 카메라 간의 참조 정보로 정밀도 높게 변환할 수 있다.

둘째는, 실세계에서의 피사체의 운동은 하나라는 사실이다. 피사체의 변화가 하나뿐이라는 것은 각 카메라에 의해 촬영된 움직임은 전부 같고, 피사체의 움직임의 카메라 간의 상관이 높다는 것을 나타낸다.

즉, 카메라가 다른 같은 시각에 촬영된 프레임에서의 대응관계가 주어진 영역, 즉 인접 영역과 그 인접 영역의 참조 영역에서의 움직임은 매우 유사성이 높다.

따라서, 인접 영역의 카메라 간의 참조 정보를 인접 영역의 참조 영역에서의 시간적인 참조 정보로 치환함으로써, 인접 영역에서의 시간적인 참조 정보로 정밀도 높게 변환할 수 있다.

이에 의해, 부호화 대상 영역과 그 인접 영역에서 참조 대상이 시간방향과 카메라 방향으로 달라도 정밀도 높게 참조 정보를 예측할 수 있게 된다.

또, 이 방법은, 인접 영역의 참조 영역과 그 참조 프레임의 시각 관계와 시점 관계가 부호화/복호 대상 프레임과 부호화/복호 대상 영역 참조 프레임의 시간 관계와 시점 관계에 의해 적합할수록 정확한 예측을 가능하게 하는 치환이 가능하다.

참조 정보를 수정하는 방법은, 부호화/복호 대상 영역마다 상술한 어느 하나의 방법을 적절히 선택해도 된다.

각각의 방법에서는 이용하고 있는 영상의 성질이 다르기 때문에, 어느 방법이 적절한지는 상황에 따라 다르다.

따라서, 부호화/복호 대상 영역마다 절환함으로써, 그 영역에 적합한 수정을 가하는 것이 가능하게 되고, 영상변화를 보다 올바르게 나타낸 예측 참조 정보를 생성할 수 있다.

여기서, 앞의 방법은 프레임간의 영상의 시간변화를 누적해 가기 때문에, 시간방향의 영상변화를 예측하는 데에 적합한 방법이고, 뒤의 방법은 영상변화의 시간과 카메라 간이라는 차원을 변환하는 데에 적합한 방법이기 때문에, 부호화/복호 대상 영역에서 이용한 영상 예측의 방법이나 예측 참조 정보 예측 데이터나 참조 영역 참조 정보에 의해 나타나는 영상변화의 차원에서 어느 방법을 적용한 것이 바람직한지를 판단하는 것이 가능하다.

즉, 부호화/복호 대상 영역 참조 프레임의 시각정보 및 시점정보, 참조 영역 이 포함되는 프레임의 시각정보 및 시점정보, 참조 영역을 부호화/복호했을 때의 참조 프레임인 곳의 참조 영역 참조 프레임의 시각정보 및 시점정보, 부호화/복호 대상 프레임의 시각정보 및 시점정보를 이용함으로써, 적용해야 할 방법을 정밀도 높게 판정할 수 있다.

참조 정보를 수정하는 방법으로서, 부호화/복호 대상 프레임의 시점의 카메라 파라미터, 부호화/복호 대상 영역 참조 프레임의 시점의 카메라 파라미터, 참조 영역이 포함되는 프레임의 시점의 카메라 파라미터에 따라 참조 정보에 기하변환을 가함으로써 수정하는 방법을 취해도 된다.

또한, 이러한 변환을 예측 참조 정보 예측 데이터나 참조 영역 참조 정보에 가할 수 있다.

이러한 방법에 의하면, 2개의 카메라로 촬영된 프레임의 영상변화를 다른 조합의 2개의 카메라로 촬영된 프레임의 영상변화로 변환할 수 있다.

영상의 시간변화와 달리, 영상의 카메라 간의 변화는 카메라의 위치와 피사체의 위치에 기인하는 것이기 때문에, 시각이 같은 2개의 다른 위치에서 촬영된 화상이 있고, 그 카메라의 위치관계 등을 나타내는 카메라 파라미터가 기지인 경우, 또 다른 위치에서 촬영된 화상을 정밀도 높게 예측하는 것이 가능하다.

이 대응관계는 카메라 간격에 따라 스케일링하는 것만으로 얻을 수 있는 것이 아니기 때문에, 종래의 시간간격에 따라 스케일링하는 방법을 확장하는 것만의 단순한 방법으로는 정확한 예측을 가능하게 하는 변환을 할 수 없다.

참조 정보를 수정하는 방법으로서, 부호화/복호 대상 영역의 참조 프레임 상 의 영역을 탐색 대상으로 하여 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역에 대응지어지는 영역을 탐색하고, 예측 참조 정보 예측 데이터를 탐색 결과의 대응정보로 치환하는 방법을 취해도 된다.

또한, 참조 정보를 수정하는 방법으로서, 부호화 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 부호화 대상 영역의 인접 영역에 대응지어지는 영역을 탐색하고, 예측 참조 정보 예측 데이터를 탐색 결과의 대응정보로 치환하는 방법을 취해도 된다.

이러한 방법에서는 부호화측, 복호측의 양쪽에서 대량의 연산을 필요로 하지만, 인접영역의 부호화/복호 대상 영역 참조 프레임 상의 대응점을 보다 정확하게 구할 수 있기 때문에, 영상변화를 보다 올바르게 나타낸 예측 참조 정보를 생성할 수 있고, 그 결과, 참조 정보를 효율적으로 부호화할 수 있다.

이러한 방법으로 대응점을 정확하게 구할 수 있는지는, 대응 영역을 탐색할 때의 탐색방법이나 탐색범위, 즉 연산비용에 크게 의존한다.

그러나, 예측 참조 정보 예측 데이터의 참조 프레임이 부호화/복호 대상 프레임보다도 부호화/복호 대상 영역 참조 프레임에 가까운 경우, 예측 참조 정보 예측 데이터의 참조 정보가 도중까지의 움직임을 나타내 주기 때문에, 거기부터의 변화만을 탐색하면 되므로 연산비용을 줄일 수 있다.

이하, 실시예에 따라 본 발명을 상세하게 설명한다.

도 3에 본 발명의 동영상 부호화 장치(100)의 일실시예를 나타낸다.

이 동영상 부호화 장치(100)는, 부호화 대상이 되는 화상을 입력하는 화상 입력부(101), 부호화 대상 화상을 분할한 영역마다 이미 부호화 완료한 참조 프레임에서의 대응영역을 구하기 위해 블록 매칭을 하는 블록 매칭 실시부(102), 블록 매칭의 결과와 참조 프레임을 이용하여 부호화 대상 영역의 화상의 예측 화상을 생성하는 예측 화상 작성부(103), 부호화 대상 영역의 화상과 예측 화상의 차분 화상을 부호화하는 차분 화상 부호화부(104), 차분 화상 부호화 데이터를 복호하는 차분 화상 복호부(105), 복호된 차분 화상과 예측 화상의 합에 의해 생성된 부호화 대상 영역의 화상의 복호 화상을 참조 프레임으로서 축적하는 참조 프레임 메모리(106), 예측 화상을 생성할 때에 이용한 블록 매칭 결과의 참조 정보를 축적하는 참조 정보 축적 메모리(107), 예측 화상을 생성할 때에 이용한 블록 매칭 결과의 참조 정보의 부호화에 이용되는 예측 참조 정보의 후보가 되는 참조 정보를 축적하는 예측 참조 정보 예측 데이터 메모리(108), 예측 참조 정보 예측 데이터에서 예측 참조 정보를 생성하는 예측 참조 정보 생성부(109), 예측 화상을 생성할 때에 이용한 블록 매칭 결과의 참조 정보와 예측 참조 정보의 차분을 부호화하는 차분 참조 정보 부호화부(110), 예측 참조 정보 예측 데이터 메모리(108) 상의 예측 참조 정보 예측 데이터에 수정을 하는 참조 정보 변경부(111), 부호화 완료한 각 영역이 참조한 프레임의 정보를 축적하는 참조 프레임 지정정보 축적 메모리(112), 부호화 대상 영역의 화상을 부호화할 때에 이용하는 참조 프레임을 선택하는 참조 프레임 선택부(113), 부호화 대상 영역을 부호화할 때에 이용한 참조 프레임을 지정하는 정보를 부호화하는 참조 프레임 지정정보 부호화부(114)를 구비한다.

도 4에 이와 같이 구성되는 동영상 부호화 장치(100)가 실행하는 흐름도를 나타낸다.

이 흐름도에 따라, 이와 같이 구성되는 동영상 부호화 장치(100)가 실행하는 처리에 대해 상세하게 설명한다.

단, 이미 복수의 프레임의 화상을 부호화 완료하고, 그 결과가 참조 프레임 메모리(106), 참조 정보 축적 메모리(107), 참조 프레임 지정정보 축적 메모리(112)에 축적되어 있는 것으로 한다.

우선, 화상 입력부(101)로부터 부호화 대상이 되는 화상이 입력된다[S1O1].

입력된 부호화 대상 화상은 화면 전체를 영역 분할하여 영역마다 부호화를 한다[S102~S121].

이 흐름도에서는, 블록(영역)의 인덱스를 blk라고 나타내고, 하나의 화상에 대한 총 블록수를 MaxBlk라고 나타낸다.

즉, 인덱스(BLK)를 1로 초기화한 후[S102], BLK가 MAXBLK가 될 때까지[S120] BLK에 1을 가산하면서[S121], 이하의 처리[S103~S119]를 반복하여 실행하게 된다.

블록마다 행하는 처리에서는, 그 블록을 부호화하기 위해 이용하는 참조 프레임(best_ref), 참조 정보(best_mv), 예측 참조 정보(best_pmv)를 구하고[S103~S117], 이 영상 예측을 위한 정보와 이들을 이용하여 부호화되는 블록(blk)의 화상정보를 부호화하여 출력한 후[S118], 이후의 부호화 처리를 위해 부호화 데이터를 복호하여 복호결과의 화상정보(best_ref, best_mv)를 각각 참조 프레임 메모리(106), 참조 프레임 지정정보 축적 메모리(112), 참조 정보 축적 메모리(107)에 저장한다[S119].

여기서, S118의 부호화 처리에서는, best_ref를 나타내는 정보는 참조 프레임 지정정보 부호화부(114)에서 부호화되고, best_mv와 best-pmv의 차분이 차분 참조 정보 부호화부(110)에서 부호화되며, 입력 화상과 이들의 정보를 이용하여 예측 화상 작성부(103)에서 생성된 예측 화상의 차분 화상이 차분 화상 부호화부(104)에서 부호화된다.

또한, S119의 복호처리에서는, 차분 화상의 부호화 데이터를 차분 화상 복호부(105)에서 복호하고, 그 결과와 예측 화상 작성부(103)에서 생성된 예측 화상의 합을 구함으로써 블록(blk)의 복호 화상 정보를 얻는다.

부호화시에 이용하는 영상 예측을 위한 정보는, 모든 이용 가능한 참조 프레임에 대해 이하의 처리 [S104~S115]를 반복하여 실행함으로써 구한다.

즉, 참조 프레임 인덱스(ref)를 1로 초기화하고, 최소 레이트 왜곡비용(bestCost)을 절대로 취할 수 없는 최대값(MaxCost)으로 초기화한 후[S103], ref가 모든 이용 가능한 참조 프레임의 수(NumOfRef)가 될 때까지[S116] ref에 1을 가산하면서[S117] 예측 참조 정보를 생성하는 처리 [S104~S107]와, 레이트 왜곡비용이 최소가 되는 참조 정보를 구하는 처리 [S108~S115]를 반복하여 실행한다.

예측 참조 정보를 생성하는 처리는, 예측 참조 정보 예측 데이터 메모리(108)를 초기화한 후[S104], 블록(blk)에 인접하는 복수의 블록에 관하여, 그 블록을 부호화했을 때에 사용한 참조 프레임 번호(REF), 참조 정보(MV), 그 블록의 위치를 나타내는 정보(POS)의 세트 {REF, MV, POS}를 예측 참조 정보 예측 데이터 메모리(108)에 저장한다[S105].

이 때, MV, REF는 각각 참조 정보 축적 메모리(107), 참조 프레임 지정정보 축적 메모리(112)에 블록 인덱스 또는 화상 내의 위치에 대응지어져 축적되어 있는 것으로 한다.

또, 블록(blk)에 인접하는 복수의 블록으로서는, 예를 들면 화상을 분할한 영역을 래스터 스캔 순으로 부호화하는 경우에 상, 좌, 우상에서 인접하는 블록으로 할 수 있다.

본 실시예에서는, 이 3개의 인접 블록의 참조 정보를 예측 참조 정보 예측 데이터로 설정하기로 한다. 단, 해당하는 블록이 화면 밖이 되는 경우는 후보에서 제외하는 것으로 한다.

다음에, 예측 참조 정보 예측 데이터 메모리(108) 내의 예측 참조 정보 예측 데이터를 추출하고, 참조 정보 변경부(111)에서 변경을 가하여 다시 예측 참조 정보 예측 데이터 메모리(108)에 축적한다[S106]. 여기서 이루어지는 처리에 대해서는 나중에 상세하게 설명한다.

그리고, 예측 참조 정보 예측 데이터 메모리(108)에 축적되어 있는 복수의 참조 정보에서 예측 참조 정보(pmv)를 생성한다[S107]. 구체적으로는, 참조 정보의 성분마다 예측 참조 정보 예측 데이터의 중간값을 취함으로써 예측 참조 정보(pmv)를 작성한다.

즉, 참조 정보가 X-Y의 2차원 벡터로서 나타나는 경우, 성분마다 복수의 예측 참조 정보 예측 데이터가 가지는 대응하는 성분의 중간값을 구하여 pmv를 그 성분의 값으로 한다.

또, 중간값 이외에도 평균값이나 최대값, 최소값 등 임의의 기준의 것을 이용해도 된다. 단, 동영상 복호장치가 이용하는 기준과 같은 기준을 이용할 필요가 있다.

이와 같이 하여 구해진 pmv를 이용하여 레이트 왜곡비용이 최소가 되는 참조 정보를 구하는 처리를 실행한다.

즉, 참조 정보 인덱스(mv_idx)를 1로 초기화한 후[S108], mv_idx가 블록(blk)의 부호화를 위해 이용할 수 있는 참조 정보의 후보의 수(NumOfListMv)에 일치할 때까지[S114], mv_idx에 1을 가산하면서[S115] 이하의 처리 [S110~S113]를 반복한다.

우선, mv_idx에 대응하는 참조 정보(mv)를 얻는다[S109]. 여기서는, mv_idx에 대응하는 참조 정보가 메모리(cand_mv)에 이미 축적되어 있는 것으로 한다.

그리고, 이 mv와 참조 프레임(ref)을 이용하여 블록(blk)에 대한 예측 화상(Pre)을 생성한다[S110].

구체적으로는, 블록(blk)의 위치에서 mv(벡터)에 의해 나타나는 참조 프레임(ref) 상의 영역의 화상정보를 예측 화상으로 한다.

다음에, 생성된 예측 화상(Pre), 블록(blk)의 화상정보(Org), pmv, mv, ref를 이용하여 레이트 왜곡비용(cost)을 다음 식에 기초하여 계산한다[S111].

여기서, λ은 라그랑주의 미정 승수로서, 미리 설정된 값이 이용된다. 또한, bit()는 주어진 정보를 부호화하는 데에 필요한 부호량을 돌려주는 함수를 나타낸다.

또, 여기서는 D를 2개의 화상정보의 차분 절대값 합으로 하였지만, 차분 제곱 합으로 해도 되고, 차분 정보를 주파수 영역으로 변환하고 나서 합을 구하는 SATD라고 불리는 지표를 이용해도 된다.

또, 부호화 처리의 연산비용이 증가하는데, 정확한 레이트 왜곡비용을 구하는 방법으로서, 부호화 대상 영역의 화상과 예측 화상의 차분 화상(Diff)(=Org-Pre)을 실제로 부호화했을 때의 부호량(BITS)과, 그 차분 화상의 부호화 데이터를 복호하여 얻어진 복호 차분 화상(DecDiff)을 이용하여 이하의 식으로 구하는 방법을 이용해도 된다.

이와 같이 하여 구해진 cost와 bestCost를 비교하여[S112], cost가 작아졌다면 bestCost를 cost로 변경하고, best_ref를 ref로 변경하며, best_mv를 mv로 변경 하고, best_pmv를 pmv로 변경함[S113]으로써, 가장 레이트 왜곡비용이 작아지는 부호화를 위한 정보를 얻는다.

다음에, 도 5 내지 도 12에 나타내는 흐름도에 따라 참조 정보 변경부(111)에서 행해지는 S106의 상세한 처리에 대해 설명한다.

S106의 처리에서는, 우선, 예측 참조 정보 예측 데이터 메모리(108)에 축적된 모든 예측 참조 정보 예측 데이터에 대해 할당되는 변수(FIN)를 O으로 초기화하고, 모든 FIN이 1이 될 때까지 도 5 내지 도 12의 처리를 반복하여 실행한다.

여기서, 도 5는 모든 입력 프레임 및 참조 프레임이 같은 카메라에서 촬영된 화상인 경우의 흐름도를 나타낸다.

또한, 도 6 내지 도 8은 다시점 화상이 입력되고, 참조 프레임이 입력 프레임과 표시시각(촬영시각)이 같은 화상이거나 같은 카메라로 촬영된 화상인 경우의 흐름도를 나타낸다.

또한, 도 9 내지 도 12는 다시점 화상이 입력되고, 임의의 이미 부호화 완료한 프레임을 참조 프레임으로서 이용할 수 있는 경우의 흐름도를 나타낸다.

도 5에서 나타나는, 모든 입력 프레임 및 참조 프레임이 같은 카메라에서 촬영된 경우의 흐름도에 대해 설명한다.

우선, 예측 참조 정보 예측 데이터 메모리(108)에서 변경이 완료되지 않은, 즉 FIN가 0인 예측 참조 정보 예측 데이터를 추출하여 p_can으로 한다[S201].

상술한 S105의 처리에서 설명한 바와 같이, 예측 참조 정보 예측 데이터 메모리는 부호화 대상 블록인 블록(blk)에 인접하는 복수의 블록을 부호화했을 때에 사용한 참조 프레임, 참조 정보, 그 블록의 위치를 나타내는 정보를 가진 정보이기 때문에, p_can은 인접 블록의 참조 프레임 번호, 인접 블록의 참조 정보, 인접 블록의 위치를 나타내는 정보를 가진 정보이다.

그래서, p_can의 참조 프레임 번호를 ref_can으로 설정하고, p_can의 참조 정보를 mv_can으로 설정한다[S202].

여기서, ref_can이 블록(blk)을 부호화할 때에 이용하고자 하는 참조 프레임의 참조 프레임 번호(ref)와 같으면[S203], FIN을 1로 하여[S204], p_can을 그대로 예측 참조 정보 예측 데이터 메모리(108)에 저장한다[S211].

즉, 인접 블록의 참조 프레임(ref_can)과 부호화 대상 블록(blk)의 참조 프레임(ref)이 일치하는 경우에는, 예측 참조 정보 예측 데이터 메모리(108)에서 추출한 예측 참조 정보 예측 데이터를 그대로 이용하여 예측 참조 정보(pmv)를 생성하는 것이 좋으므로, p_can을 그대로 예측 참조 정보 예측 데이터 메모리(108)에 저장하도록 처리하는 것이다.

한편, ref_can이 블록(blk)을 부호화할 때에 이용하고자 하는 참조 프레임의 참조 프레임 번호(ref)와 같지 않을 때는, 프레임(ref_can) 상의, p_can(인접영역)을 mv_can만큼 어긋나게 한 영역(참조영역)을 부호화할 때에 가장 많은 화소에서 사용되고 있는 참조 프레임을 ref-tel로 하고, 이 영역 내에서 참조 프레임이 ref-tel인 것으로 가장 많은 화소에서 사용되고 있는 참조 정보를 mv_tel로 하여[S205], 다음의 조건식에 기초하여 처리를 한다[S206~S210].

여기서, TIME()는 주어진 참조 프레임 번호에 대응하는 프레임의 표시시각(촬영시각)을 되돌리는 함수이다.

이 조건식은, ref_tel이라는 참조 프레임이 ref_can이라는 참조 프레임보다도 부호화 대상 블록(blk)의 참조 프레임(ref)에 시간적으로 가까운지를 판단하는 것을 의미한다.

이 조건식이 성립되는 경우는, ref_can을 ref_tel로 고쳐쓰고, mv_can에 mv_tel을 가한다[S207].

한편, 이 조건식이 성립되지 않는 경우는, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 부호화 대상 블록(blk)의 참조 프레임(ref)을 탐색 대상으로 하고, 탐색 중심을 mv_can으로 설정하여 참조 프레임(ref) 상의 대응영역을 구하며, 탐색 중심으로부터의 변위(대응정보)를 mv_canBM으로 하고[S208], ref_can을 ref로 고쳐쓰며, mv_can에 mv_canBM을 가한다[S209].

그리고, 어떤 경우도 ref_can과 mv_can의 변경이 끝나면, ref_can과 mv_can을 p_can의 참조 프레임 번호와 참조 정보로 설정하고[S210], 그 p_can을 예측 참조 정보 예측 데이터 메모리(108)에 저장하여[S211] 처리를 종료한다.

여기서, 도 5의 흐름도에서는, 모든 예측 참조 정보 예측 데이터에 대해 FIN의 값이 1로 설정될 때까지, 즉 부호화 대상 블록(blk)의 참조 프레임(ref)에 도달 할 때까지 이 흐름도를 반복하여 실행하는 것을 상정하고 있지만, 예를 들면 규정 횟수(1회이어도 됨)만큼 반복하는 방법을 이용하는 것도 가능하다.

또한, 도 5의 흐름도에서는, S208의 블록 매칭 처리에서 부호화 대상 블록(blk)의 참조 프레임(ref)을 탐색 대상으로 하여 부호화 대상 블록(blk)의 인접영역에 대응지어지는 참조영역에 매칭하는 영역을 탐색하는 방법을 이용하였지만, 부호화 대상 블록(blk)의 인접영역에 매칭하는 영역을 탐색하는 방법을 이용하는 것도 가능하다.

또한, 도 5의 흐름도에서는, S206의 판단처리에 따라 S207의 처리를 실행할지, S208, 209의 처리를 실행할지를 결정하는 방법을 이용하였지만, 무조건 S207의 처리를 실행하는 방법을 이용하는 것도 가능하다.

이와 같이 하여, 참조 정보 변경부(111)는 도 5의 흐름도를 실행함으로써, 도 1에 나타내는 바와 같은 형태로 예측 참조 정보 예측 데이터 메모리(108)에 저장되는 예측 참조 정보 예측 데이터를 변경하도록 처리하는 것이다.

다음에, 도 6 내지 도 8에서 나타나는 다시점 화상이 입력되고, 참조 프레임이 입력 프레임과 표시시각(촬영시각)이 같은 화상이거나 같은 카메라로 촬영된 화상인 경우의 흐름도에 대해 설명한다.

여기서, 도 6 내지 도 8의 흐름도에서는, 모든 예측 참조 정보 예측 데이터에 대해 FIN의 값이 1로 설정될 때까지 이 흐름도를 반복하여 실행하는 것을 상정하고 있지만, 예를 들면 규정 횟수(1회이어도 됨)만큼 반복하는 방법을 이용하는 것도 가능하다.

우선, FIN이 0인 예측 참조 정보 예측 데이터를 추출하여 p_can으로 한다[S301]. 다음에, p_can의 참조 프레임 번호를 ref_can으로 설정하고, p_can의 참조 정보를 mv_can으로 설정한다[S302].

여기서, ref_can이 블록(blk)을 부호화할 때에 이용하고자 하는 참조 프레임의 참조 프레임 번호(ref)와 같으면[S303], FIN을 1로 하여[S304], p_can을 그대로 예측 참조 정보 예측 데이터 메모리(108)에 저장한다[S336, S337].

그렇지 않으면, 프레임(ref_can) 상의 mv_can이 나타내는 영역(참조영역)을 부호화할 때에 가장 많은 화소에서 사용되고 있는 참조 프레임을 ref_tel로 하고, 이 영역 내에서 참조 프레임이 ref_tel인 것으로 가장 많은 화소에서 사용되고 있는 참조 정보를 mv_tel로 하여[S305] 이하의 처리[S306~S335]를 행한 후, p_can을 예측 참조 정보 예측 데이터 메모리(108)에 저장한다[S336, S337].

S306~S335의 처리에서는, 우선 ref_tel이 ref와 같으면[S306], ref_can를 ref로 고쳐쓰고, mv_can에 mv_tel을 가한다[S307].

그렇지 않으면, 부호화 대상 프레임(cur)의 표시시각과 부호화 대상 블록의 참조 프레임(ref)의 표시시각을 비교하여[S308], 같으면 블록(blk)에서 영상의 카메라 간의 변화를 예측하는 경우의 처리[도 7: S309~S320]를 실행하고, 다르면 블록(blk)에서 영상의 시간변화를 예측하는 경우의 처리[도 8: S321~S33]를 실행한다.

블록(blk)에서 영상의 카메라 간의 변화를 예측하는 경우의 처리[도 7: S309~S320]에서는, 프레임(cur)과 프레임(ref_can)을 촬영한 시점(카메라)이 같은 지를 조사한다[S309].

여기서, 도 7의 흐름도 상의 VIEW()는, 주어진 프레임 번호에 대응하는 프레임을 촬영한 시점(카메라) 인덱스를 되돌리는 함수를 나타낸다.

프레임(cur)과 프레임(ref_can)이 다른 카메라로 촬영되어 있는 경우, 프레임(cur)에서의 p_can의 위치의 영역(인접영역)의 프레임(ref_can)에의 시차(mv_can)를 해당 인접영역의 프레임(ref)에의 시차(mv_trans1)로 프레임(cur)과 프레임(ref_can)과 프레임(ref)의 카메라 파라미터를 이용하여 기하변환을 하고[S310], ref_can을 ref로 고쳐쓰고, mv_can을 mv_trans1로 고쳐쓴다[S311].

S310의 처리에서 이루어지는 기하변환은 이하의 절차로 실행한다.

1. p_can으로 나타나는 영역(부호화 대상 영역의 인접영역)의 중심위치(pos_cur)를 구한다

2. p_can으로 나타나는 위치에서 mv_can만큼 어긋나게 한 영역(참조영역)의 중심위치(pos_can)를 구한다

3. x를 변수로서 Trans(cur, ref_can, pos_cur, x)를 구한다(이를 p(후술하는 대응 화소) 위에 ~가 부가된 것으로 나타냄).

Trans(src, dst, pix, d)는 다음의 식에 의해 정의할 수 있고, 시점(src)에서의 화상 상의 위치(pix)의 화소에서 피사체까지의 거리가 d인 경우에, 시점(dst)에서의 화상 상에서의 화소(pix)의 대응 화소(p)의 동차 좌표값을 나타낸다.

단, A, R, t는 카메라 파라미터이고, 각각 내부 파라미터, 회전 파라미터, 병진 파라미터를 나타낸다. 내부 파라미터와 회전 파라미터는 3×3행렬이고, t는 3차원의 벡터이다.

또한, 좌표값에 ~가 부가되어 있는 것은 동차 좌표값을 나타내고 있다. 특히, 제3성분이 1인 동차 좌표값을 좌표값에 「^」을 부가하여 나타내고 있다.

또, 카메라 파라미터의 표시방법은 다양하고, 본 실시예에서는 상기 식에 의해 카메라 간의 대응점을 계산할 수 있는 카메라 파라미터로 한다.

4. ^p(p의, 제3성분이 1인 동차 좌표값)와 pos_can의 유클리드 거리가 최소가 되는 x를 구하여 d_cur이라고 한다

5. 다음의 식에 따라 mv_trans1을 구한다

또, 이들 식은 각 위치정보가 2차원 좌표로 주어지고, 참조 정보가 2차원 벡터로 나타나 있는 경우의 식이다.

도 13에 S310의 처리로 이루어지는 기하변환의 일례를 나타낸다. 또, 보기 쉽게 하기 위해 mv_can과 mv_trans1을 상하로 어긋나게 하여 나타내고 있다.

이 도면에 나타내는 바와 같이, S31O에서는,

TIME(cur)=TIME(ref)=TIME(ref_can)

이라는 상황 하에 mv_can을 mv_trans1로 기하변환하는 처리가 이루어지고, 이를 받아 S311에서는 mv_can을 mv_trans1로 고쳐쓰는 처리가 이루어지게 된다.

한편, 프레임(cur)과 프레임(ref_can)이 같은 카메라로 촬영되어 있는 경우[S309에서 YES인 경우], 프레임(ref_can)과 프레임(ref_tel)이 같은 카메라로 촬영되어 있는지를 판정한다[S312].

같은 카메라로 촬영되어 있었던 경우, 프레임(cur)과 프레임(ref_tel)의 시간간격이 미리 주어진 임계값(TH1)보다도 작은지를 판정한다[S313]. 이 시간간격이 TH1보다 작은 경우는, ref_can을 ref_tel로 고쳐쓰고, mv_can에 mv_tel을 가한다[S314].

한편, 이 시간간격이 TH1이상인 경우는, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 참조 프레임(ref) 상의 대응영역을 구하고, p_can의 위치로부터의 변위(대응정보)를 mv_BM으로 하여[S315], ref_can을 ref로 고쳐쓰고, mv_can을 mv_BM으로 고쳐쓴다[S316].

S312의 판정처리에서 프레임(ref_can)과 프레임(ref_tel)이 다른 카메라로 촬영되어 있다고 판정된 경우, 프레임(ref)과 프레임(ref_tel)이 같은 카메라로 촬영되었는지를 판정한다[S317].

같은 카메라로 촬영되지 않은 경우, VIEW(ref_can)에서 촬영된 화상에서의 p_can(인접 블록의 위치)를 mv_can만큼 어긋나게 한 위치의 영역(참조영역)의 VIEW(ref_tel)에서 촬영된 화상에의 시차(mv_tel)를 해당 참조영역의 VIEW(ref)에서 촬영된 화상에의 시차(mv_trans2)로 VIEW(ref_can)와 VIEW(ref_tel)와 VIEW(ref)의 카메라 파라미터를 이용하여 기하변환을 하고[S318], ref_can을 ref로 고쳐쓰고, mv_can을 mv_trans2로 고쳐쓴다[S319].

S318의 처리에서 이루어지는 기하변환은 이하의 절차로 실행한다.

1. p_can을 mv_can만큼 어긋나게 한 위치의 영역의 중심위치(pos_can)를 구한다

2. p_can을 mv_can+mv_tel만큼 어긋나게 한 위치의 영역의 중심위치(pos_tel)를 구한다

3. x를 변수로서 Trans(ref_can, ref_tel, pos_can, x)를 구한다(이를 p 위에 ~가 부가된 것으로 나타냄)

4. ^p와 pos_tel의 유클리드 거리가 최소가 되는 x를 구하여 d_can으로 한다

5. 다음의 식에 따라 mv_trans2를 구한다

도 14에 S318의 처리에서 이루어지는 기하변환의 일례를 나타낸다.

이 도면에 나타내는 바와 같이, S318에서는,

TIME(cur)=TIME(ref), VIEW(cur)=VIEW(ref_can)

TIME(ref_can)=TIME(ref_tel), VIEW(ref)≠VIEW(ref_tel)이라는 상황 하에서 mv_tel을 mv_trans2로 기하변환하는 처리가 이루어지고, 이를 받아 S319에서는 mv_can을 mv_trans2로 고쳐쓰는 처리(도면 중에 나타내는 점선이 처리결과)가 이루어지게 된다.

S317의 판정처리에서 프레임(ref)과 프레임(ref_tel)이 같은 카메라로 촬영되어 있다고 판정된 경우, ref_can을 ref로 고쳐쓰고, mv_can을 mv_tel로 고쳐쓴다[S320].

한편, 블록(blk)에서 영상의 시간변화의 예측이 이루어지는 경우의 처리[도 8: S321~S335]에서는, 우선 프레임(cur)과 프레임(ref_can)이 같은 카메라로 촬영되었는지를 판정한다[S321].

같은 카메라로 촬영되었다고 판정된 경우, 프레임(ref_can)과 프레임(ref_tel)이 같은 카메라로 촬영되었는지를 판정한다[S322].

이것도 같은 카메라로 촬영되었다고 판정된 경우, 프레임(ref_tel)과 프레임(ref_can)에서 어느 쪽이 시간적으로 프레임(ref)에 가까운지를 판정한다[S323].

프레임(ref_tel)의 쪽이 프레임(ref)에 시간적으로 가깝다고 판정된 경우에는, ref_can을 ref_tel로 고쳐쓰고, mv_can에 mv_tel을 가한다[S324].

S322의 판정처리에서 프레임(ref_can)과 프레임(ref_tel)이 다른 카메라로 촬영되었다고 판정된 경우나, S323의 판정처리에서 프레임(ref_can)의 쪽이 프레임(ref)에 시간적으로 가깝다고 판정된 경우에는, p_can의 위치의 부호화 대상 프 레임의 복호 화상 정보를 이용하여 탐색 중심을 mv_can으로 설정하여 참조 프레임(ref) 상의 대응영역을 구하고, 탐색 중심으로부터의 변위(대응정보)를 mv_canBM으로 하며[S325], ref_can을 ref로 고쳐쓰고, mv_can에 mv_canBM을 가한다[S326].

한편, S321의 판정처리에서 프레임(cur)과 프레임(ref_can)이 다른 카메라로 촬영되었다고 판정된 경우, 프레임(ref_can)과 프레임(ref_tel)이 같은 카메라로 촬영되었는지를 판정한다[S327].

같은 카메라로 촬영되었다고 판정된 경우, 프레임(ref)의 표시시각과 프레임(ref_tel)의 표시시각(촬영시각)이 같은지를 판정한다[S328].

같은 표시시각을 가진다고 판정된 경우, ref_can을 ref로 고쳐쓰고, mv_can을 mv_tel로 고쳐쓴다[S329].

S328의 판정처리에서 다른 표시시각을 가진다고 판정된 경우, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 탐색 중심을 mv_tel로 설정하여 참조 프레임(ref) 상의 대응영역을 구하고, 탐색 중심으로부터의 변위(대응정보)를 mv_telBM으로 하며[S330], ref_can을 ref로 고쳐쓰고, mv_can을 mv_tel과 mv_telBM의 합으로 고쳐쓴다[S331].

S327의 판정처리에서 프레임(ref_can)과 프레임(ref_tel)이 다른 카메라로 촬영되었다고 판정된 경우, VIEW(cur)와 VIEW(ref_tel)의 촬영영역의 일치 비율이 미리 주어진 임계값(TH2)보다 큰지를 판정한다[S332].

이 흐름도에서는, Diff(cam1, cam2)가 촬영영역의 일치 정도를 나타내고, 한 쪽의 카메라(미리 어느 쪽으로 정해지고, 거기에 적합한 임계값(TH2)이 선택됨)로 촬영 가능한 영역에 대한 양쪽 카메라로 촬영 가능한 영역의 비율을 부여한다. 단, 카메라에서 별도 주어지는 거리까지의 실공간만을 대상으로 한다. 또한, 주어지는 임계값(TH2)은 모든 카메라의 조합에 있어서 가장 작은 Diff값보다도 크다고 한다.

S332의 판정처리에서 VIEW(cur)와 VIEW(ref_tel)의 촬영영역의 일치 비율이 임계값(TH2)보다 큰 경우, ref_can을 ref_tel로 고쳐쓰고, mv_can에 mv_tel을 가한다[S333].

한편, S332의 판정처리에서 VIEW(cur)와 VIEW(ref_tel)의 촬영영역의 일치 비율이 임계값(TH2) 이하인 경우, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 참조 프레임(ref) 상의 대응영역을 구하고, p_can의 위치로부터의 변위(대응정보)를 mv_BM으로 하며[S334], ref_can을 ref로 고쳐쓰고, mv_can을 mv_BM으로 고쳐쓴다[S335].

다음에, 도 9 내지 도 12에서 나타나는, 다시점 화상이 입력되고, 임의의 이미 부호화 완료한 프레임을 참조 프레임으로서 이용할 수 있는 경우의 흐름도에 대해 설명한다.

여기서, 도 9 내지 도 12의 흐름도에서는, 모든 예측 참조 정보 예측 데이터에 대해 FIN의 값이 1로 설정될 때까지 이 흐름도를 반복하여 실행하는 것을 상정하고 있지만, 예를 들면 규정 횟수(1회이어도 됨)만큼 반복하는 방법을 이용하는 것도 가능하다.

우선, FIN이 0인 예측 참조 정보 예측 데이터를 추출하여 p_can으로 한다[S401]. 다음에, p_can의 참조 프레임 번호를 ref_can으로 설정하고, p_can의 참 조 정보를 mv_can으로 설정한다[S402].

여기서, ref_can이 블록(blk)을 부호화할 때에 이용하고자 하는 참조 프레임의 참조 프레임 번호(ref)와 같으면[S403], FIN을 1로 하여[S404] p_can을 그대로 예측 참조 정보 예측 데이터 메모리(108)에 저장한다[S452, S453].

그렇지 않으면, 프레임(ref_can) 상의, p_can(인접영역)을 mv_can만큼 어긋나게 한 영역(참조영역)을 부호화할 때에 가장 많은 화소에서 사용되고 있는 참조 프레임을 ref_tel로 하고, 이 영역 내에서 참조 프레임이 ref_tel의 것으로 가장 많은 화소에서 사용되고 있는 참조 정보를 mv_tel로 하여[S405] 이하의 처리[S406~S451]를 행한 후, p_can을 예측 참조 정보 예측 데이터 메모리(108)에 저장한다[S452, S453].

S406~S451의 처리에서는, 우선 ref_tel이 ref와 같으면[S406], ref_can를 ref로 고쳐쓰고, mv_can에 mv_tel을 가한다[S407].

그렇지 않으면, 부호화 대상 프레임(cur)의 표시시각과 부호화 대상 블록의 참조 프레임(ref)의 표시시각을 비교하여[S408], 같으면 블록(blk)에서 영상의 카메라 간의 변화를 예측하는 경우의 처리[도 10: S409~S420]를 실행하고, 다르면 프레임(cur)과 프레임(ref)을 촬영한 카메라가 같은지를 판정한다[S421].

같으면, 블록(blk)에서 영상의 시간변화를 예측하는 경우의 처리[도 11: S422~S441]를 실행하고, 다르면 영상의 시간변화와 카메라 간의 변화가 합쳐진 것의 예측을 하는 경우의 처리[도 12: S442~S451]를 실행한다.

블록(blk)에서 영상의 카메라 간의 변화를 예측하는 경우의 처리[도 10: S409~S420]에서는, 우선 프레임(cur)의 표시시각과 프레임(ref_can)의 표시시각이 같은지를 판정한다[S409].

같다고 판정된 경우, 상술한 S310에서의 처리와 같은 방법으로 프레임(cur)에서의 p_can의 위치의 영역(인접영역)의 프레임(ref_can)에의 시차(mv_can)를 해당 인접영역의 프레임(ref)에의 시차(mv_trans1)로 프레임(cur)과 프레임(ref_can)과 프레임(ref)의 카메라 파라미터를 이용하여 기하변환을 하고[S410], ref_can을 ref로 고쳐쓰고, mv_can을 mv_trans1로 고쳐쓴다[S411].

여기서, 이 S410에서 이루어지는 기하변환처리는 S310에서 설명한 기하변환처리와 같은 것이다.

한편, S409의 판정처리에서 프레임(cur)의 표시시각과 프레임(ref_can)의 표시시각이 다르다고 판정된 경우, 프레임(ref_can)의 표시시각과 프레임(ref_tel)의 표시시각이 같은지를 판정한다[S412].

같다고 판정된 경우, 프레임(ref_tel)을 촬영한 카메라와 프레임(ref)을 촬영한 카메라가 같고, 프레임(ref_can)을 촬영한 카메라와 프레임(cur)을 촬영한 카메라가 같은지를 판정한다[S413].

2세트의 카메라 쌍이 각각 같은 카메라라고 판정된 경우, ref_can을 ref로 고쳐쓰고, mv_can을 mv_tel로 고쳐쓴다[S414].

S413의 판정처리에서 2세트의 카메라 쌍의 어느 한쪽에서도 같지 않다고 판정된 경우, VIEW(ref_can)에서 촬영된 화상에서의 p_can(인접 블록의 위치)를 mv_can만큼 어긋나게 한 위치의 영역(참조영역)의 VIEW(ref_tel)에서 촬영된 화상 에의 시차(mv_tel)를 VIEW(cur)에서 촬영된 화상에서의 p_can의 위치의 영역(인접영역)의 VIEW(ref)에서 촬영된 화상에의 시차(mv_trans3)로 VIEW(cur)와 VIEW(ref_can)와 VIEW(ref_tel)와 VIEW(ref)의 카메라 파라미터를 이용하여 기하변환을 하고[S415], ref_can을 ref로 고쳐쓰고, mv_can을 mv_trans3로 고쳐쓴다[S416].

S415의 처리에서 이루어지는 기하변환은 이하의 절차로 실행한다.

5. 다음의 식에 따라 mv_trans3을 구한다

도 15에 S415의 처리에서 이루어지는 기하변환의 일례를 나타낸다. 또, 보기 쉽게 하기 위해 mv_tel과 mv_tran3을 상하로 어긋나게 하여 나타내고 있다.

이 도면에 나타내는 바와 같이, S415에서는,

TIME(cur)=TIME(ref)≠TIME(ref_can)=TIME(ref_tel)

VIEW(ref)≠VIEW(ref_tel) 또는 VIEW(cur)≠VIEW(ref_can)

이라는 상황 하에서 mv_tel을 mv_trans3으로 기하변환하는 처리가 이루어지고, 이를 받아 S416에서는 mv_can을 mv_trans3으로 고쳐쓰는 처리(도면 중에 나타내는 점선이 처리결과)가 이루어지게 된다.

S412의 판정처리에서 프레임(ref_can)의 표시시각과 프레임(ref_tel)의 표시시각이 다르다고 판정된 경우, 프레임(cur)과 프레임(ref_tel)의 시간간격이 미리 주어진 임계값(TH1)보다도 작은지를 판정한다[S417].

시간간격이 TH1보다 작은 경우는, ref_can을 ref_tel로 고쳐쓰고, mv_can에 mv_tel을 가한다[S418].

시간간격이 TH1이상인 경우는, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 참조 프레임(ref) 상의 대응영역을 구하고, p_can의 위치로부터의 변위(대응정보)를 mv_BM으로 하며[S419], ref_can을 ref로 고쳐쓰고, mv_can을mv_BM으로 고쳐쓴다[S420].

블록(blk)에서 영상의 시간변화를 예측하는 경우의 처리[도 11: S422~S441]에서는, 우선 프레임(cur)을 촬영한 카메라와 프레임(ref_can)을 촬영한 카메라가 같은지를 판정한다[S422].

같은 경우, 프레임(ref_can)을 촬영한 카메라와 프레임(ref_tel)을 촬영한 카메라가 같은지를 더 판정한다[S423].

이것도 같은 경우, 상술한 수학식 3에 의한 판정을 한다[S424].

이 수학식 3이 성립하는 경우는, ref_can을 ref_tel로 고쳐쓰고, mv_can에 mv_tel을 가한다[S425].

한편, 이 수학식 3이 성립하지 않은 경우는, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 탐색 중심을 mv_can으로 설정하여 참조 프레임(ref) 상의 대응영역을 구하고, 탐색 중심으로부터의 변위(대응정보)를 mv_canBM으로 하며[S426], ref_can을 ref로 고쳐쓰고, mv_can에 mv_canBM을 가한다[S427].

S423의 판정처리에서 프레임(ref_can)을 촬영한 카메라와 프레임(ref_tel)을 촬영한 카메라가 다르다고 판정된 경우, 프레임(ref)을 촬영한 카메라와 프레임(ref_tel)을 촬영한 카메라가 같은지를 판정한다[S428].

같은 경우, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 탐색 중심을 mv_can+mv_tel로 설정하여 참조 프레임(ref) 상의 대응영역을 구하고, 탐색 중심으로부터의 변위(대응정보)를 mv_epiBM1로 하며[S429], ref_can을 ref로 고쳐쓰고, mv_can에 mv_tel과 mv_epiBM1을 가한다[S430].

또, 이 S429에서의 탐색은, 카메라 간의 제약을 이용함으로써 대응영역의 중심이 다음의 절차에서 얻어지는 직선의 주위가 되는 경우만을 탐색하는 것으로 해도 된다.

1. p_can을 mv_can+mv_tel만큼 어긋나게 한 위치의 영역의 중심위치(pos_tel)를 구한다

2. x를 변수로서 Trans(ref_tel, ref, pos_tel, x)를 구한다(이를 p 위에 ~가 부가된 것으로 나타냄)

3. x를 변화시켰을 때에 p가 그리는 프레임(ref) 상의 직선을 구한다

여기서는, 변화시키는 x의 값의 최대값과 최소값을 정하지 않지만, 미리 설정해 두어도 된다.

또한, S428의 판정처리에서 프레임(ref)을 촬영한 카메라와 프레임(ref_tel)을 촬영한 카메라가 다르다고 판정된 경우, 상술한 S426의 처리와 S427의 처리를 한다.

한편, 처음에 행하는 S422의 판정처리에서 프레임(cur)을 촬영한 카메라와 프레임(ref_can)을 촬영한 카메라가 다르다고 판정된 경우, 프레임(ref)의 표시시각과 프레임(ref_tel)의 표시시각이 같은지를 판정한다[S431].

같은 경우, 프레임(ref)의 표시시각과 프레임(ref_can)의 표시시각이 같은지를 더 판정한다[S432].

이것도 같은 경우, 상술한 S318에서의 처리와 같은 방법으로 VIEW(ref_can)에서 촬영된 화상에서의 p_can(인접 블록의 위치)를 mv_can만큼 어긋나게 한 위치의 영역(참조영역)의 VIEW(ref_tel)에서 촬영된 화상에의 시차(mv_tel)를 해당 참조영역의 VIEW(ref)에서 촬영된 화상에의 시차(mv_trans2)로 VIEW(ref_can)와 VIEW(ref_tel)와 VIEW(ref)의 카메라 파라미터를 이용하여 기하변환을 하고[S433], ref_can을 ref로 고쳐쓰고, mv_can에 mv_trans2를 가한다[S434].

도 16에 S433의 처리에서 이루어지는 기하변환의 일례를 나타낸다.

이 도면에 나타내는 바와 같이, S433에서는,

VIEW(cur)=VIEW(ref), VIEW(cur)≠VIEW(ref_can)

TIME(ref)=TIME(ref_can)=TIME(ref_tel)

이라는 상황 하에서 mv_tel을 mv_trans2로 기하변환하는 처리가 이루어지고, 이를 받아 S434에서는 mv_can에 mv_trans2를 가하는 처리(도면 중에 나타내는 점선이 처리결과)가 이루어지게 된다.

또, S432의 판정처리에서 프레임(ref)의 표시시각과 프레임(ref_can)의 표시시각이 다르다고 판정된 경우는, 상술한 S429의 처리와 S430의 처리를 한다.

또한, S431의 판정처리에서 프레임(ref)의 표시시각과 프레임(ref_tel)의 표시시각이 다르다고 판정된 경우는, 프레임(ref)의 표시시각과 프레임(ref_can)의 표시시각이 같은지를 판정한다[S435].

같다고 판정된 경우는, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 탐색 중심을 mv_can으로 설정하여 참조 프레임(ref) 상의 대응영역을 구하고, 탐색 중심으로부터의 변위(대응정보)를 mv_epiBM2로 하며[S436], ref_can을 ref로 고쳐쓰고, mv_can에 mv_epiBM2를 가한다[S437].

또, 이 S436에서의 탐색은, 카메라 간의 제약을 이용함으로써 대응영역의 중심이 다음의 절차에서 얻어지는 직선의 주위가 되는 경우만을 탐색하는 것으로 해도 된다.

2. x를 변수로서 Trans(ref_can, ref, pos_can, x)를 구한다(이를 p 위에 ~가 부가된 것으로 나타냄)

S435의 판정처리에서 프레임(ref)의 표시시각과 프레임(ref_can)의 표시시각이 다르다고 판정된 경우는, 다음의 2개의 조건식에 의한 판정을 한다[S438].

어느 한쪽에서도 성립되는 경우는, ref_can을 ref_tel로 고쳐쓰고, mv_can에 mv_tel을 가한다[S439].

어느 쪽도 성립하지 않는 경우는, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 참조 프레임(ref) 상의 대응영역을 구하고, p_can의 위치로부터의 변위(대응정보)를 mv_BM으로 하며[S440], ref_can을 ref로 고쳐쓰고, mv_can을 mv_BM으로 고쳐쓴다[S441].

블록(blk)에서 영상의 시간변화와 카메라 간의 변화가 합쳐진 것의 예측을 하는 경우의 처리[도 12: S442~S451]에서는, 우선 프레임(ref_can)의 표시시각과 프레임(ref)의 표시시각이 같은지를 판정한다[S442].

같다고 판정된 경우, 프레임(ref_tel)의 표시시각과 프레임(ref)의 표시시각 이 같은지를 판정한다[S443].

이것도 같다고 판정된 경우, 상술한 S318에서의 처리와 같은 방법으로 VIEW(ref_can)에서 촬영된 화상에서의 p_can(인접 블록의 위치)를 mv_can만큼 어긋나게 한 위치의 영역(참조영역)의 VIEW(ref_tel)에서 촬영된 화상에의 시차(mv_tel)를 해당 참조영역의 VIEW(ref)에서 촬영된 화상에의 시차(mv_trans2)로 VIEW(ref_can)와 VIEW(ref_tel)와 VIEW(ref)의 카메라 파라미터를 이용하여 기하변환을 하고[S444], ref_can을 ref로 고쳐쓰고, mv_can에 mv_trans2를 가한다[S445].

도 17에 S444의 처리에서 이루어지는 기하변환의 일례를 나타낸다. 또, 보기 쉽게 하기 위해 mv_tel과 mv_trans2를 상하로 어긋나게 하여 나타내고 있다.

이 도면에 나타내는 바와 같이, S444에서는,

TIME(cur)≠TIME(ref), VIEW(cur)≠VIEW(ref)

TIME(ref)=TIME(ref_can)=TIME(ref_tel)

이라는 상황 하에서 mv_tel을 mv_trans2로 기하변환하는 처리가 이루어지고, 이를 받아 S445에서는 mv_can에 mv_trans2를 가하는 처리(도면 중에 나타내는 점선이 처리결과)가 이루어지게 된다.

또한, S443의 판정처리에서 프레임(ref_tel)의 표시시각과 프레임(ref)의 표시시각이 다르다고 판정된 경우, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 탐색 중심을 mv_can으로 설정하여 참조 프레임(ref) 상의 대응영역을 구하고, 탐색 중심으로부터의 변위(대응정보)를 mv_epiBM2로 하며[S446], ref_can을 ref로 고쳐쓰고, mv_can에 mv_epiBM2를 가한다[S447].

또, 이 S446에서의 탐색은, 카메라 간의 제약을 이용함으로써 대응영역의 중심이 상술한 S336의 처리시와 같은 절차로 얻어지는 직선의 주위가 되는 경우만을 탐색하는 것으로 해도 된다.

한편, 처음에 행하는 S442의 판정처리에서 프레임(ref_can)의 표시시각과 프레임(ref)의 표시시각이 다르다고 판정된 경우, 상술한 수학식 3에 의한 판정을 한다[S448].

이 수학식 3이 성립하는 경우는, ref_can을 ref_tel로 치환하고, mv_can에 mv_tel을 가한다[S449].

한편, 이 수학식 3이 성립하지 않는 경우는, p_can의 위치의 부호화 대상 프레임의 복호 화상 정보를 이용하여 참조 프레임(ref) 상의 대응영역을 구하고, p_can의 위치로부터의 변위(대응정보)를 mv_BM으로 하며[S450], ref_can을 ref로 고쳐쓰고, mv_can을 mv_BM으로 고쳐쓴다[S451].

이와 같이 하여, 참조 정보 변경부(111)는 도 6 내지 도 12의 흐름도를 실행함으로써, 도 1이나 도 2에 나타내는 바와 같은 형태로 예측 참조 정보 예측 데이터 메모리(108)에 저장되는 예측 참조 정보 예측 데이터를 변경하도록 처리하는 것이다.

다음에, 본 발명을 구비하는 동영상 복호장치에 대해 설명한다.

도 18에 본 발명의 동영상 복호장치(200)의 일실시예를 나타낸다.

이 동영상 복호장치(200)는, 복호 대상이 되는 화상의 예측 화상에 대한 차분 화상의 부호화 데이터를 복호하는 차분 화상 복호부(201), 예측 화상을 생성할 때의 참조 정보의 예측 참조 정보에 대한 차분 참조 정보의 부호화 데이터를 복호하는 차분 참조 정보 복호부(202), 예측 화상을 생성할 때의 참조 프레임 지정정보의 부호화 데이터를 복호하는 참조 프레임 지정정보 복호부(203), 이미 복호 완료한 프레임인 곳의 참조 프레임과 참조 프레임 지정정보와 참조 정보를 이용하여 복호 대상 프레임의 예측 화상을 생성하는 예측 화상 작성부(204), 예측 화상과 복호된 차분 화상의 합으로 구해지는 복호 화상을 축적하는 참조 프레임 메모리(205), 예측 참조 정보 예측 데이터(예측 참조 정보의 후보가 되는 참조 정보)에서 예측 참조 정보를 생성하는 예측 참조 정보 생성부(206), 예측 참조 정보 예측 데이터를 축적하는 예측 참조 정보 예측 데이터 메모리(207), 과거에 화상을 복호할 때에 이용한 참조 정보를 축적하는 참조 정보 축적 메모리(208), 예측 참조 정보 예측 데이터 메모리(207) 상의 예측 참조 정보 예측 데이터에 수정을 하는 참조 정보 변경부(209), 과거에 화상을 복호할 때에 이용한 참조 프레임 지정정보를 축적하는 참조 프레임 지정정보 축적 메모리(210)를 구비한다.

도 19에 이와 같이 구성되는 동영상 복호장치(200)가 실행하는 흐름도를 나타낸다.

이 흐름도에 따라, 이와 같이 구성되는 동영상 복호장치(200)가 실행하는 처리에 대해 상세하게 설명한다. 단, 이미 복수의 프레임의 화상을 복호 완료하고, 그 결과가 참조 프레임 메모리(205), 참조 정보 축적 메모리(208), 참조 프레임 지정정보 축적 메모리(210)에 축적되어 있는 것으로 한다.

우선, 차분 화상의 부호화 데이터, 차분 참조 정보의 부호화 데이터, 참조 프레임 지정정보의 부호화 데이터가 동영상 복호장치(200)에 입력되고, 각각 차분 화상 복호부(201), 차분 참조 정보 복호부(202), 참조 프레임 지정정보 복호부(203)로 보내진다[S501].

복호 대상 화상은 화상 전체를 영역 분할하고, 영역마다 복호를 한다[S502~S515]. 이 흐름도에서는, 블록(영역)의 인덱스를 blk라고 나타내고, 하나의 화상에 포함되는 총 블록수를 MaxBlk라고 나타낸다.

즉, 인덱스(blk)를 1로 초기화한 후[S502], blk가 MaxBlk가 될 때까지[S514] blk에 1을 가산하면서[S515], 이하의 처리[S503~S513]를 반복하여 실행한다.

블록마다 행하는 처리에서는, 참조 프레임 지정정보의 부호화 데이터를 복호하여 참조 프레임 지정정보(ref)를 취득하고[S503], 참조 프레임(ref)에 대한 참조 정보를 예측하기 위한 예측 참조 정보(pmv)를 생성하는 처리[S504~S507]를 행한 후에, 차분 참조 정보의 부호화 데이터를 복호하여 차분 참조 정보(mvd)를 취득하고[S508], pmv와 mvd의 합으로 구성되는 참조 정보(mv)를 생성한다[S509].

그리고, 참조 프레임(ref)과 참조 정보(mv)를 이용하여 예측 화상(Pre)을 생성하고[S51O], 차분 화상의 부호화 데이터를 복호하여 차분 화상(Sub)을 취득하며[S511], Pre와 Sub의 화소마다의 합을 계산함으로써 복호 화상(Dec)을 생성한다[S512].

그리고, 복호 화상(Dec), 블록(blk)을 복호하기 위해 이용한 정보인 참조 정보(mv), 참조 프레임 지정정보(ref)를 각각 참조 프레임 메모리(205), 참조 정보 축적 메모리(208), 참조 프레임 지정정보 축적 메모리(210)에 저장한다[S513].

또, 각 프레임에 대해서는, 그 프레임에 포함되는 모든 블록에 관하여 복호 처리가 끝난 후에, 또한 그 프레임보다 전의 표시시각을 가지는 프레임이 전부 출력된 후에, 복호된 프레임이 동영상 복호장치(200)로부터 출력된다.

예측 참조 정보(pmv)를 생성하는 처리[S504~S507]에서는, 예측 참조 정보 예측 데이터 메모리(207)를 초기화한 후[S504], 블록(blk)에 인접하는 복수의 블록에 관하여 그 블록을 복호했을 때에 사용한 참조 프레임 번호(REF), 참조 정보(MV), 그 블록의 위치를 나타내는 정보(POS)의 세트{REF, MV, POS}를 예측 참조 정보 예측 데이터 메모리(207)에 저장한다[S505].

이 때, MV, REF는 각각 참조 정보 축적 메모리(208), 참조 프레임 지정정보 축적 메모리(210)에 블록 인덱스 또는 화상 내의 위치에 대응지어져 축적되어 있는 것으로 한다.

또, 블록(blk)에 인접하는 복수의 블록으로서는, 예를 들면 화상을 분할한 영역을 래스터 스캔 순으로 부호화하고 있는 경우에 상, 좌, 우상에서 인접하는 블록으로 할 수 있다.

본 실시예에서는, 이 3개의 인접 블록의 참조 정보를 예측 참조 정보 예측 데이터로 설정하는 것으로 한다. 단, 해당하는 블록이 화면 밖이 되는 경우는 후보에서 제외하는 것으로 한다.

다음에, 예측 참조 정보 예측 데이터 메모리(207) 내의 예측 참조 정보 예측 데이터를 추출하고, 참조 정보 변경부(209)에서 변경을 가하여 다시 예측 참조 정보 예측 데이터 메모리(207)에 축적한다[S506]. 여기서 행해지는 처리는 나중에 상 세하게 설명한다.

그리고, 예측 참조 정보 예측 데이터 메모리(2O7)에 축적되어 있는 복수의 참조 정보에서 예측 참조 정보(pmv)를 생성한다[S507]. 구체적으로는, 참조 정보의 성분마다 예측 참조 정보 예측 데이터의 중간값을 취함으로써 예측 참조 정보(pmv)를 작성한다.

또, 중간값 이외에도 평균값이나 최대값, 최소값 등 임의의 기준의 것을 이용해도 된다. 단, 동영상 부호화 장치가 이용하는 기준과 같은 기준을 이용할 필요가 있다.

참조 정보 변경부(209)에서 이루어지는 S506의 처리는, 이미 서술한 도 3에 나타낸 동영상 부호화 장치(100) 내의 참조 정보 변경부(111)에서 이루어지는 도 4 중에 나타내는 S106의 처리와 같다.

즉, 처음에 예측 참조 정보 예측 데이터 메모리(207)에 축적된 모든 예측 참조 정보 예측 데이터에 대해 FIN을 0으로 초기화하고, 모든 FIN이 1이 될 때까지 도 5 내지 도 12의 흐름도의 처리를 반복하여 실행한다.

또한, 도 6 내지 도 8은, 다시점 화상이 입력되고, 참조 프레임이 입력 프레 임과 표시시각(촬영시각)이 같은 화상이거나, 같은 카메라로 촬영된 화상인 경우의 흐름도를 나타낸다.

또한, 도 9 내지 도 12는, 다시점 화상이 입력되고, 임의의 이미 부호화 완료한 프레임을 참조 프레임으로서 이용할 수 있는 경우의 흐름도를 나타낸다. 복호장치에 있어서는, 임의의 이미 복호 완료한 프레임을 참조 프레임으로서 이용할 수 있는 경우의 흐름도로서 받아들이면 된다.

도시하는 실시예에 따라 본 발명을 설명하였지만, 본 발명은 이 실시예에 한정되는 것은 아니다.

예를 들면, mv_tel을 생성하는 방법으로서는, 상술한 바와 같은 최빈값을 취하는 것 외에 성분마다의 중간값이나 평균값으로 생성하는 방법을 이용해도 된다.

단, 동영상 부호화 장치측과 동영상 복호장치측의 대응한 처리에서 같은 방법으로 되어 있을 필요가 있다.

또한, 실시예에서는 프레임 내 부호화에 대해 서술하지 않지만, 예측 화상을 만드는 방법의 하나로서, 예를 들면 참조 프레임 지정정보로서 다른 번호를 할당함으로써 쉽게 추가할 수 있다.

또, 인접 블록이 프레임 내 부호화되어 있을 때는 MV(참조 정보)에 0을 설정하여 예측 참조 정보 예측 데이터를 생성하고, TIME()나 VIEW()는 다른 경우(즉, 프레임 내 부호화되어 있지 않음)에 절대 되돌려주지 않는 절대값이 큰 값을 되돌려주는 것으로 하면, 프레임 내 부호화되어 있는 경우에도 상술한 흐름도에서 적절하게 처리 가능하다. 또한, 참조 프레임 지정정보를 이용하지 않고, H.264와 같이 별도 부호화 모드를 준비하여 실현한 동영상 부호화 장치, 동영상 복호장치도 본 발명으로부터 쉽게 유추 가능하다.

이상 설명한 동영상 부호화 및 복호처리는, 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하여 제공하는 것도, 네트워크를 통과하여 제공하는 것도 가능하다.

또한, 이상의 실시예에서는 동영상 부호화 장치 및 동영상 복호장치를 중심으로 설명하였지만, 이들 동영상 부호화 장치 및 동영상 복호장치의 각 부의 동작에 대응한 단계에 의해 본 발명의 동영상 부호화 방법 및 동영상 복호방법을 실현할 수 있다.

이상, 도면을 참조하여 본 발명의 실시예를 설명하였지만, 이상에 설명한 실시예는 본 발명의 예시에 불과하고, 본 발명이 이상에 설명한 실시예에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 그 밖의 변경을 해도 된다.

본 발명에 의하면, 부호화 대상 영역에 인접하는 영역을 부호화할 때에 이용한 참조 정보를, 그 참조 영역을 부호화할 때에 이용한 부호화 정보를 이용하여 부호화 대상 프레임과 부호화 대상 참조 프레임의 시각 및 시점관계에 적합한 참조 정보로 변환한 후에 예측 참조 정보를 생성함으로써, 복수의 프레임 간에서의 영상변화의 시간적 연속성이 없는 경우나, 부호화 단위 영역마다 움직임 보상과 시차 보상을 선택하면서 다시점 화상을 부호화하는 경우에서도, 변환 조작의 방법을 나 타내는 부가정보를 부호화하지 않고 부호화 대상 영역을 부호화할 때에 이용하는 참조 정보와 예측 참조 정보의 차를 작게 하며, 프레임간 예측 부호화를 위한 움직임 벡터나 시차 정보를 효율적으로 부호화할 수 있다.

Claims

화상을 영역 분할하고, 영역마다 시간적 또는 공간적인 프레임간 예측 부호화 방식을 적용하여, 처리 대상 영역의 참조 프레임과 그 참조 프레임에서의 처리 대상 영역의 예측 대상 위치를 나타내는 참조 정보에 기초하여 처리 대상 영역의 예측 화상을 생성하여 동영상을 처리할 때에 이용되어 그 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 예측 참조 정보 생성방법으로서,

처리 대상 영역에 인접하는 이미 처리 완료한 인접 영역을 처리했을 때의 참조 정보를 처리 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정하는 예측 참조 정보 예측 데이터 설정단계;

상기 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 처리했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하는 참조 영역 참조 정보 생성단계;

상기 예측 참조 정보 예측 데이터를 생성된 상기 참조 영역 참조 정보를 이용하여 변경하는 예측 참조 정보 예측 데이터 변경단계;

하나 또는 복수 존재하는 상기 변경한 예측 참조 정보 예측 데이터를 이용하여 상기 예측 참조 정보를 생성하는 예측 참조 정보 생성단계;를 가지는 예측 참조 정보 생성방법.
화상 전체를 영역 분할하여, 영역마다 이미 부호화 완료한 복수의 프레임 중 에서 그 영역의 화상 정보를 예측할 때에 참조 프레임으로서 이용하는 부호화 대상 영역 참조 프레임을 선택하고, 부호화 대상 영역 참조 프레임과 상기 부호화 대상 영역 참조 프레임에서의 부호화 대상 영역의 예측 대상 위치를 나타내는 참조 정보를 이용하여 예측 화상을 생성하여, 예측 화상과 부호화 대상 영역의 화상의 차분 정보를 부호화함으로써 동영상을 부호화하는 동영상 부호화 방법으로서,

부호화 대상 영역에 인접하는 이미 부호화 완료한 인접 영역을 부호화했을 때의 참조 정보를 부호화 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정하는 예측 참조 정보 예측 데이터 설정단계;

상기 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 부호화했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하는 참조 영역 참조 정보 생성단계;

상기 예측 참조 정보 예측 데이터를 생성된 상기 참조 영역 참조 정보를 이용하여 변경하는 예측 참조 정보 예측 데이터 변경단계;

하나 또는 복수 존재하는 상기 변경한 예측 참조 정보 예측 데이터를 이용하여 부호화 대상 영역의 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 예측 참조 정보 생성단계;

부호화 대상 영역에 대한 예측 화상을 생성하기 위해 이용한 참조 정보와 상기 예측 참조 정보의 차분 정보를 부호화하는 차분 참조 정보 부호화 단계;를 가지는 동영상 부호화 방법.
제2항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보와 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 합으로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경하는 것을 특징으로 하는 동영상 부호화 방법.
제2항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 참조 영역 참조 정보가 나타내는 대응점 정보로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경하는 것을 특징으로 하는 동영상 부호화 방법.
제2항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보와 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 합 및 상기 참조 영역 참조 정보의 대응점 정보의 어느 한쪽으로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경하는 것을 특징으로 하는 동영상 부호화 방법.
제5항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 부호화 대상 영역 참조 프레임의 시각정보 및 시점정보, 상기 참조 영역이 포함되는 프레임의 시각정보 및 시점정보, 상기 참조 영역을 부호화했을 때의 참조 프레임인 곳의 참조 영역 참조 프레임의 시각정보 및 시점정보, 부호화 대상 프레임의 시각정보 및 시점정보를 이용하여, 상기 예측 참조 정보 예측 데이터의 대응점 정보를 상기 예측 참조 정보 예측 데이터의 대응점 정보와 상기 참조 영역 참조 정보의 대응점 정보의 합으로 변경할지, 상기 참조 영역 참조 정보의 대응점 정보로 변경할지를 결정하는 것을 특징으로 하는 동영상 부호화 방법.
제2항에 있어서,

부호화 대상 프레임의 시점의 카메라 파라미터, 상기 부호화 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여, 그 예측 참조 정보 예측 데이터가 나타내는 대응점 정보에 기하변환을 가하는 예측 참조 정보 기하변환단계를 가지는 것을 특징으로 하는 동영상 부호화 방법.
제2항에 있어서,

부호화 대상 프레임의 시점의 카메라 파라미터, 상기 부호화 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터, 그 예측 참조 정보 예측 데이터에 대응하는 참조 영역 참조 정보가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여, 그 참조 영역 참조 정보가 나타내는 대응점 정보에 기하변환을 가하는 참조 영역 참조 정보 기하변환단계를 가지는 것을 특징으로 하는 동영상 부호화 방법.
제2항에 있어서,

부호화 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 상기 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역에 대응지어지는 영역을 탐색하고, 상기 예측 참조 정보 예측 데이터를 탐색 결과의 대응정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가지는 것을 특징으로 하는 동영상 부호화 방법.
제2항에 있어서,

부호화 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 부호화 대상 영역의 인접 영역에 대응지어지는 영역을 탐색하고, 상기 예측 참조 정보 예측 데이터를 탐색 결과의 대응정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가지는 것을 특징으로 하는 동영상 부호화 방법.
화상 전체를 영역 분할하여, 이미 복호한 복수의 프레임에서 예측 화상을 생성하면서 화상을 복호함에 있어서 영역마다 예측 화상을 생성하기 위해 이용하는 이미 복호 완료한 프레임인 곳의 복호 대상 영역 참조 프레임을 나타내는 정보, 복 호 대상 영역 참조 프레임에서의 복호 대상 영역의 예측 대상 위치를 나타내는 참조 정보, 예측 화상과 복호 대상 영역의 화상의 차분 정보를 복호함으로써 동영상을 복호하는 동영상 복호방법으로서,

복호 대상 영역에 인접하는 이미 복호 완료한 인접 영역을 복호했을 때의 참조 정보를 복호 대상 영역의 참조 정보의 예측에 이용하는 예측 참조 정보 예측 데이터로서 설정하는 예측 참조 정보 예측 데이터 설정단계;

상기 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역을 복호했을 때에 이용한 하나 이상의 참조 정보에서 참조 영역 참조 정보를 생성하는 참조 영역 참조 정보 생성단계;

상기 예측 참조 정보 예측 데이터를 생성된 상기 참조 영역 참조 정보를 이용하여 변경하는 예측 참조 정보 예측 데이터 변경단계;

하나 또는 복수 존재하는 상기 변경한 예측 참조 정보 예측 데이터를 이용하여, 복호 대상 영역의 참조 정보의 예측 정보가 되는 예측 참조 정보를 생성하는 예측 참조 정보 생성단계;

부호화 데이터로부터 복호 대상 영역에 대한 예측 화상을 생성하기 위해 이용하는 참조 정보와 상기 예측 참조 정보의 차분 정보를 복호하는 차분 참조 정보 복호단계;를 가지는 동영상 복호방법.
제11항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예 측 데이터가 나타내는 대응점 정보를 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보와 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 합으로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경하는 것을 특징으로 하는 동영상 복호방법.
제11항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 참조 영역 참조 정보가 나타내는 대응점 정보로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경하는 것을 특징으로 하는 동영상 복호방법.
제11항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보를 상기 예측 참조 정보 예측 데이터가 나타내는 대응점 정보와 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 합 및 상기 참조 영역 참조 정보가 나타내는 대응점 정보의 어느 한쪽으로 변경함으로써, 상기 예측 참조 정보 예측 데이터를 변경하는 것을 특징으로 하는 동영상 복호방법.
제14항에 있어서,

상기 예측 참조 정보 예측 데이터 변경단계에서는, 상기 복호 대상 영역 참 조 프레임의 시각정보 및 시점정보, 상기 참조 영역이 포함되는 프레임의 시각정보 및 시점정보, 상기 참조 영역을 복호했을 때의 참조 프레임인 곳의 참조 영역 참조 프레임의 시각정보 및 시점정보, 복호 대상 프레임의 시각정보 및 시점정보를 이용하여, 상기 예측 참조 정보 예측 데이터의 대응점 정보를 상기 예측 참조 정보 예측 데이터의 대응점 정보와 상기 참조 영역 참조 정보의 대응점 정보의 합으로 변경할지, 상기 참조 영역 참조 정보의 대응점 정보로 변경할지를 결정하는 것을 특징으로 하는 동영상 복호방법.
제11항에 있어서,

복호 대상 프레임의 시점의 카메라 파라미터, 상기 복호 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여, 그 예측 참조 정보 예측 데이터가 나타내는 대응점 정보에 기하변환을 가하는 예측 참조 정보 기하변환단계를 가지는 것을 특징으로 하는 동영상 복호방법.
제11항에 있어서,

복호 대상 프레임의 시점의 카메라 파라미터, 상기 복호 대상 영역 참조 프레임의 시점의 카메라 파라미터, 상기 예측 참조 정보 예측 데이터가 나타내는 프레임의 시점의 카메라 파라미터, 그 예측 참조 정보 예측 데이터에 대응하는 참조 영역 참조 정보가 나타내는 프레임의 시점의 카메라 파라미터를 이용하여, 그 참조 영역 참조 정보가 나타내는 대응점 정보에 기하변환을 가하는 참조 영역 참조 정보 기하변환단계를 가지는 것을 특징으로 하는 동영상 복호방법.
제11항에 있어서,

복호 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 상기 예측 참조 정보 예측 데이터에 의해 지시되는 참조 영역에 대응지어지는 영역을 탐색하고, 상기 예측 참조 정보 예측 데이터를 탐색 결과의 대응 정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가지는 것을 특징으로 하는 동영상 복호방법.
제11항에 있어서,

복호 대상 영역의 참조 프레임 상의 영역을 탐색 대상으로 하여 복호 대상 영역의 인접 영역에 대응지어지는 영역을 탐색하고, 상기 예측 참조 정보 예측 데이터를 탐색 결과의 대응 정보로 변경하는 예측 참조 정보 예측 데이터 탐색단계를 가지는 것을 특징으로 하는 동영상 복호방법.
제1항에 기재된 예측 참조 정보 생성방법에서의 각 단계를 실현하는 수단을 구비하는 예측 참조 정보 생성장치.
제1항에 기재된 예측 참조 정보 생성방법에서의 각 단계를 컴퓨터에 실행시키기 위한 예측 참조 정보 생성 프로그램.
제1항에 기재된 예측 참조 정보 생성방법에서의 각 단계를 컴퓨터에 실행시키기 위한 예측 참조 정보 생성 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
제2항에 기재된 동영상 부호화 방법에서의 각 단계를 실현하는 수단을 구비하는 동영상 부호화 장치.
제2항에 기재된 동영상 부호화 방법에서의 각 단계를 컴퓨터에 실행시키기 위한 동영상 부호화 프로그램.
제2항에 기재된 동영상 부호화 방법에서의 각 단계를 컴퓨터에 실행시키기 위한 동영상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
제11항에 기재된 동영상 복호방법에서의 각 단계를 실현하는 수단을 구비하는 동영상 복호장치.
제11항에 기재된 동영상 복호방법에서의 각 단계를 컴퓨터에 실행시키기 위한 동영상 복호 프로그램.
제11항에 기재된 동영상 복호방법에서의 각 단계를 컴퓨터에 실행시키기 위 한 동영상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.