KR20140048320A - 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체 - Google Patents

동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체 Download PDF

Info

Publication number
KR20140048320A
KR20140048320A KR1020147006050A KR20147006050A KR20140048320A KR 20140048320 A KR20140048320 A KR 20140048320A KR 1020147006050 A KR1020147006050 A KR 1020147006050A KR 20147006050 A KR20147006050 A KR 20147006050A KR 20140048320 A KR20140048320 A KR 20140048320A
Authority
KR
South Korea
Prior art keywords
frame
ref
region
information
encoding
Prior art date
Application number
KR1020147006050A
Other languages
English (en)
Other versions
KR101533740B1 (ko
Inventor
신야 시미즈
히데아키 기마타
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20140048320A publication Critical patent/KR20140048320A/ko
Application granted granted Critical
Publication of KR101533740B1 publication Critical patent/KR101533740B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

이미 부호화 완료한 복수의 프레임에서 참조 벡터 대상 프레임 및 참조 프레임을 선택하고, 각 프레임을 지정하는 정보를 부호화하며, 부호화 대상 영역에 대해 상기 참조 벡터 대상 프레임 상의 영역을 나타내는 참조 벡터를 설정하고, 해당 참조 벡터를 부호화하며, 상기 참조 벡터에 의해 나타나는 참조 벡터 대상 프레임 상의 참조 벡터 대상 영역의 화상정보와 상기 참조 프레임을 이용하여 대응영역의 탐색을 하고, 그 결과에 기초하여 상기 참조 프레임 상의 참조 영역을 설정하며, 상기 참조 영역에 대응하는 참조 프레임의 화상정보를 이용하여 예측 화상을 생성하고, 부호화 대상 영역의 화상정보와 상기 예측 화상의 차분 정보를 부호화하는 동영상 부호화 방법.

Description

동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체{Dynamic image encoding method, decoding method, device thereof, program thereof, and storage medium containing the program}
본 발명은, 프레임간 예측 부호화 방식을 이용하여 동영상을 부호화하는 동영상 부호화 방법 및 그 장치, 그 동영상 부호화 방법에 의해 생성된 부호화 데이터를 복호하는 동영상 복호방법 및 그 장치, 그 동영상 부호화 방법의 실현에 이용되는 동영상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체, 그 동영상 복호방법의 실현에 이용되는 동영상 복호 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에 관한 것이다.
본원은 2006년 10월 30일에 출원된 특원 2006-293901호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
다시점 동영상(다시점 영상)이란, 복수의 카메라로 같은 피사체와 배경을 촬영한 복수의 동영상이다. 이하에서는, 하나의 카메라로 촬영된 동영상을 "2차원 동영상"이라 부르고, 같은 피사체와 배경을 촬영한 2차원 동영상군을 "다시점 동영상"이라 부른다.
다시점 동영상에 포함되는 각 카메라의 2차원 동영상은, 시간방향에 관하여 강한 상관이 있다. 한편, 각 카메라가 동기되어 있었던 경우, 같은 시각에 촬영한 각 카메라의 영상은 완전히 같은 상태의 피사체와 배경을 다른 위치에서 촬영한 것이므로, 카메라 간에 강한 상관이 있다. 동영상의 부호화에 있어서는, 이러한 상관을 이용함으로써 부호화 효율을 높이고 있다.
우선, 2차원 동영상의 부호화 기술에 관한 종래기술을 설명한다.
국제 표준 동영상 부호화 규격인 MPEG-2나 H.264 등을 비롯한 종래의 많은 2차원 동영상 부호화 방식에서는, 프레임간 예측 부호화라고 불리는 방법에 의해 시간방향의 상관을 이용하여 높은 부호화 효율을 실현하고 있다.
2차원 동영상 부호화에서의 프레임간 예측 부호화에서 이용하는 방법은, 시간에 의한 영상의 변화, 즉 움직임을 이용한 것이기 때문에, 일반적으로 움직임 보상이라고 불린다. 이하에서는, 그 예에 따라 시간방향의 프레임간 예측 부호화를 움직임 보상이라고 부른다. 또, 프레임이란 동영상을 구성하는 어떤 시각에 촬영된 1장의 화상을 나타낸다.
일반적인 2차원 동영상 부호화에서의 각 프레임의 부호화 모드에는, 프레임간의 상관을 사용하지 않고 부호화하는 I프레임, 과거에 부호화한 1장의 프레임에서 움직임 보상을 하면서 부호화하는 P프레임, 과거에 부호화한 2장의 프레임에서 움직임 보상을 하면서 부호화하는 B프레임이 있다.
또, 영상 예측의 효율을 향상시키기 위해, 영상 부호화 방식 H.263과 H.264에서는, 참조 화상 메모리에 2프레임 이상의 복수의 프레임분의 복호 화상을 축적해 두고, 그 메모리에서 참조 화상을 선택하여 예측할 수 있다.
참조 화상은 블록마다 선택할 수 있고, 참조 화상을 지정하는 참조 화상 지정정보를 부호화함으로써 복호처리를 가능하게 하고 있다.
P프레임에서는 하나의 참조 화상 지정정보가 블록마다 부호화되고, B프레임에서는 2개의 참조 화상 지정정보가 블록마다 부호화된다.
움직임 보상에서는, 참조 화상 지정정보 이외에 참조 화상 내의 어느 위치를 이용하여 부호화 대상 블록을 예측하는지를 나타내기 위한 벡터가 부호화된다. 이 벡터는 움직임 벡터라고 불린다. 참조 화상 지정정보와 같이, P프레임에서는 하나의 움직임 벡터가 부호화되고, B프레임에서는 2개의 움직임 벡터가 부호화된다.
움직임 벡터의 부호화에 있어서, MPEG-4나 H.264에서는 부호화 대상 블록의 인접 블록의 움직임 벡터에서 예측 벡터를 생성하고, 부호화 대상 블록의 움직임 보상에서 이용하는 움직임 벡터와 이 예측 벡터의 차분 벡터만을 부호화한다. 이 방법에 의하면, 인접 블록간에 움직임의 연속성이 있는 경우에 움직임 벡터를 부호화 효율적으로 부호화할 수 있다.
H.264에서의 예측 벡터의 생성순서의 상세에 대해서는 하기에 나타내는 비특허문헌 1에 기재되어 있는데, 이하에서 개요를 설명한다.
H.264에서는, 도 13a에 나타내는 바와 같이, 부호화 대상 블록의 좌측 블록(도면 중의 a), 상측 블록(도면 중의 b), 우상측 블록(도면 중의 c)에서 이용한 움직임 벡터(mv_a, mv_b, mv_c)에서 수평성분 및 수직성분을 개별로 중앙값을 취하여 구한다.
H.264에서는, 가변 블록 사이즈 움직임 보상을 채용하고 있기 때문에, 부호화 대상 블록과 주변 블록의 움직임 보상 블록 사이즈가 동일하지 않은 경우가 있는데, 그 경우는 도 13b와 같이, 블록(a)은 좌측에 인접하는 블록 중 가장 위의 블록으로 하고, 블록(b)은 상측에 인접하는 블록 중 가장 좌측의 블록으로 하며, 블록(c)은 우상측에 존재하는 가장 가까운 블록으로 한다.
예외로서 부호화 대상 블록의 사이즈가 8×16화소인 경우는, 도 13c에 나타내는 바와 같이, 중앙값 대신에 좌측 블록은 블록(a)을, 우측 블록은 블록(c)을 예측에 이용하고, 부호화 대상 블록의 사이즈가 16×8화소인 경우는, 도 13d에 나타내는 바와 같이, 중앙값 대신에 하측 블록은 블록(a)을, 상측 블록은 블록(b)을 예측에 이용한다.
또한, 상술한 바와 같이, H.264에서는, 과거에 부호화한 복수의 프레임 중에서 블록마다 참조 프레임을 선택하고, 그 참조 프레임을 이용하여 움직임 보상을 한다.
일반적으로 피사체의 움직임은 참조 프레임에 따라 변화하기 때문에, 부호화 대상 블록의 참조 프레임과 다른 참조 프레임을 이용하여 움직임 보상을 하는 경우의 움직임 벡터보다, 같은 참조 프레임을 이용하여 움직임 보상을 하는 경우의 움직임 벡터가 부호화 대상 블록에서 이용하는 움직임 벡터에 가까운 벡터라고 생각된다.
그 때문에, H.264에서 블록(a, b, c) 중 부호화 대상 블록과 참조 프레임이 같은 블록이 하나만 있는 경우는, 중앙값 대신에 그 블록의 움직임 벡터를 예측 벡터로서 이용함으로써, 보다 신뢰도가 높은 예측 벡터를 생성하고 있다.
다음에, 종래의 다시점 동영상의 부호화 방식에 대해 설명한다.
일반적인 다시점 동영상의 부호화에서는, 카메라 간의 상관을 이용하기 위해, 같은 시각에 다른 카메라로 촬영된 프레임 간에 움직임 보상을 적용한 "시차보상"을 이용함으로써 높은 부호화 효율을 실현하고 있다.
이 수법이 사용되고 있는 예로서는 MPEG-2 Multiview profile나 비특허문헌 2에 기재되는 방법 등이 있다.
비특허문헌 2의 방법에서는, 블록마다 움직임 보상과 시차 보상 중 어느 하나를 선택하여 부호화를 하고 있다. 블록마다 부호화 효율이 높은 것을 선택함으로써, 시간방향의 상관과 카메라 간의 상관의 양쪽을 이용할 수 있고, 어느 하나만 사용하는 경우에 비해 높은 부호화 효율을 달성하고 있다.
시차 보상에서는 예측 잔차 이외에 시차 벡터가 부호화된다. 시차 벡터란, 프레임 간의 시간변화인 움직임 벡터에 대응하는 것으로, 다른 위치에 배치된 카메라로 촬영된 화상 평면 상에서 피사체 상의 같은 위치가 투영되어 있는 위치의 차를 나타낸다.
도 14에 이 카메라 간에 생기는 시차 벡터의 개념도를 나타낸다. 이 개념도에서는 광축이 평행한 카메라의 화상 평면을 수직으로 내려다본 것으로 되어 있다.
시차 벡터의 부호화에 있어서는, 움직임 벡터의 부호화와 같이 부호화 대상 블록의 인접 블록의 시차 벡터에서 예측 벡터를 생성하고, 부호화 대상 블록의 시차 보상에서 이용하는 시차 벡터와 이 예측 벡터의 차분 벡터만을 부호화하는 방법을 이용할 수 있다. 이 방법에 의하면, 인접 블록 간에 시차의 연속성이 있는 경우에 시차 벡터를 부호화 효율적으로 부호화할 수 있다.
다시점 동영상의 각 프레임에는 시간방향의 용장(冗長)성과 카메라 간의 용장성이 동시에 존재하기 때문에, 동시에 양쪽의 용장성을 제거하는 방법으로서 하기에 나타내는 비특허문헌 3의 수법이 있다.
이 수법에서는, 원화상과 시차 보상 화상의 차분 화상을 시간방향에서 예측하여 부호화를 한다. 즉, 시차 보상 후의 차분 화상에서의 움직임 보상 잔차를 부호화하고 있다.
이 방법에 의하면, 카메라 간의 용장성을 제거하는 시차 보상에서는 제거할 수 없었던 시간방향의 용장성을 움직임 보상에 의해 제거할 수 있기 때문에, 최종적으로 부호화하는 예측 잔차가 작아져 높은 부호화 효율을 달성하는 것이 가능하다.
비특허문헌 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification(ITU-T Rec.H.264/ISO/IEC 14496-10 AVC), Draft 7˝, Final Committee Draft, Document JVT-E022, pp.63-64, September 2002.
비특허문헌 2: Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding(3DAV)", document M10976 MPEG Redmond Meeting, July, 2004.
비특허문헌 3: Shinya Shimizu, Masaki Kitahara, Kazuto Kamikura and Yoshiyuki Yashima, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
부호화 대상 블록에서 실제로 이용하는 움직임 벡터나 시차 벡터를 인접 블록에서 사용된 움직임 벡터나 시차 벡터를 이용하여 생성한 예측 벡터와의 차분으로 부호화한다는 종래의 방법은, 실공간 상에서 피사체는 연속하여 존재하고, 피사체의 움직임은 같은 피사체 내에서 크게는 변화하지 않을 확률이 높다는 사실에 기초하기 때문에, 부호화 대상 블록에서 이용하는 움직임 벡터나 시차 벡터를 보다 적은 부호량으로 부호화하는 것이 가능하다.
그러나, 부호화 대상 블록의 화상을 예측하는 데에 최적인 참조 프레임이 인접 블록에서 사용되지 않는 경우, 실제로 이용하는 움직임 벡터와 예측 벡터의 차는 커지고 부호량을 충분히 삭감할 수 없다.
특히, 블록마다 움직임 보상과 시차 보상을 적응적으로 선택하여 부호화를 하는 경우, 움직임 벡터와 시차 벡터에서는 성질이 크게 다르기 때문에, 움직임 벡터에서 시차 벡터의 예측 벡터를 생성하거나, 시차 벡터에서 움직임 벡터의 예측 벡터를 생성하는 것은 불가능하고, 움직임 벡터나 시차 벡터를 효율적으로 부호화할 수 없다.
한편, B프레임이나, 비특허문헌 3의 방법에서는 보다 정확하게 영상을 예측하고, 최종적인 부호화의 대상이 되는 잔차 신호를 작게 함으로써, 영상을 적은 부호량으로 부호화하는 것이 가능하다.
그러나, B프레임에서는 2개의 참조 화상 지정정보와 2개의 벡터 정보를 부호화해야 하기 때문에, 이러한 예측 화상 생성을 위한 부가정보의 부호량이 늘어 버린다.
또한, 비특허문헌 3의 방법에서도, 시차 보상 화상을 생성하기 위한 깊이(Depth)정보와 시차 보상 차분 화상 상에서의 움직임 보상을 하기 위한 움직임 벡터를 부호화할 필요가 있고, 영상 예측을 위한 정보는 증가해 버린다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, 동영상 부호화에 있어서 부호화를 실시하는 영역과 그 인접하는 영역에서 프레임간 예측 부호화를 행할 때에 이용하는 참조 프레임이 다른 경우에서도, 부호화 대상이 되는 프레임간 예측 부호화를 위한 벡터 정보를 효율적으로 부호화할 수 있도록 하는 새로운 기술의 제공을 목적으로 한다.
이 목적을 달성하기 위해, 본 발명은, 화상 전체를 영역 분할하여 영역마다 이미 부호화 완료한 복수의 프레임의 화상정보에서 예측 화상을 생성하여, 부호화 대상 프레임 내의 부호화 대상 영역의 화상과 예측 화상의 차분 정보를 부호화함으로써 동영상을 부호화하는 동영상 부호화 방법으로서, 이미 부호화 완료한 복수의 프레임에서 참조 벡터 대상 프레임을 선택하는 참조 벡터 대상 프레임 선택단계; 상기 참조 벡터 대상 프레임을 지정하는 정보를 부호화하는 참조 벡터 대상 프레임 지정정보 부호화 단계; 부호화 대상 영역에 대해 상기 참조 벡터 대상 프레임 상의 영역을 나타내는 참조 벡터를 설정하는 참조 벡터 설정단계; 상기 참조 벡터를 부호화하는 참조 벡터 부호화 단계; 이미 부호화 완료한 복수의 프레임에서 참조 프레임을 선택하는 참조 프레임 선택단계; 상기 참조 프레임을 지정하는 정보를 부호화하는 참조 프레임 지정정보 부호화 단계; 상기 참조 벡터에 의해 나타나는 참조 벡터 대상 프레임 상의 참조 벡터 대상 영역의 화상정보와 상기 참조 프레임을 이용하여 대응영역의 탐색을 하고, 그 탐색 결과에 기초하여 상기 참조 프레임 상의 참조 영역을 설정하는 참조 프레임 영역 설정단계; 상기 참조 영역에 대응하는 참조 프레임의 화상정보를 이용하여 예측 화상을 생성하는 예측 화상 생성단계; 부호화 대상 영역의 화상정보와 상기 생성한 예측 화상의 차분 정보를 부호화하는 차분 정보 부호화 단계;를 가지는 동영상 부호화 방법을 제공한다.
전형예로서, 상기 예측 화상 생성단계에서는, 상기 참조 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성한다.
다른 전형예로서, 상기 예측 화상 생성단계에서는, 상기 참조 영역의 화상정보에서 예측 화상을 생성할지, 상기 참조 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성할지를 선택하여, 그 선택한 생성법을 이용하여 예측 화상을 생성하고, 또, 상기 선택한 생성법을 지정하는 정보를 부호화하는 예측 화상 생성법 지정정보 부호화 단계를 가진다.
다른 전형예로서, 상기 참조 프레임 선택단계에서 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 프레임을 상기 참조 프레임으로서 선택하는 경우에는, 상기 참조 프레임 영역 설정단계에서는, 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 영역을 상기 참조 영역으로서 설정한다.
다른 전형예로서, 상기 참조 프레임 선택단계에서 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 프레임을 상기 참조 프레임으로서 선택하는 경우에는, 상기 참조 프레임 영역 설정단계에서는, 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 영역을 상기 참조 영역으로서 설정한다.
다른 전형예로서, 상기 참조 프레임 선택단계에서 부호화 대상 프레임과의 사이에 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 프레임과 부호화 대상 영역에 대해 설정한 참조 벡터 대상 프레임의 시각정보 및 시점정보의 관계와 같은 관계를 가지는 이미 부호화 완료한 프레임을 상기 참조 프레임으로서 선택하는 경우에는, 상기 참조 프레임 영역 설정단계에서는, 상기 부호화 대상 영역을 시점으로 하여 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터와 같은 방향과 크기를 가지는 벡터에 의해 나타나는 상기 선택한 참조 프레임 상의 영역을 상기 참조 영역으로서 설정한다.
다른 전형예로서, 상기 참조 프레임 선택단계에서 부호화 대상 프레임과의 사이에 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 프레임과 부호화 대상 영역에 대해 설정한 참조 벡터 대상 프레임의 시각정보 및 시점정보의 관계와 같은 관계를 가지는 이미 부호화 완료한 프레임을 상기 참조 프레임으로서 선택하는 경우에는, 상기 참조 프레임 영역 설정단계에서는, 상기 부호화 대상 영역을 시점으로 하여 상기 참조 벡터 대상 영역과 상기 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 영역의 대응관계를 나타내는 벡터와 같은 방향과 크기를 가지는 벡터에 의해 나타나는 상기 선택한 참조 프레임 상의 영역을 상기 참조 영역으로서 설정한다.
적합예로서, 상기 참조 벡터 대상 프레임이나 상기 참조 프레임과는 다른 이미 부호화 완료한 프레임을 중간 프레임으로서 설정하는 중간 프레임 설정단계를 가지고, 상기 참조 프레임 영역 설정단계에서는, 상기 참조 벡터 대상 영역의 정보를 이용하여 상기 중간 프레임 상의 영역인 곳의 중간 영역을 설정하고, 그 중간 영역의 정보 혹은 그 중간 영역의 정보 및 상기 참조 벡터 대상 영역의 정보를 이용하여 상기 참조 영역을 설정한다.
이 경우, 상기 중간 프레임 설정단계에서는, 상기 참조 벡터 대상 프레임과의 시각 및 시점정보의 관계가 상기 부호화 대상 프레임과 상기 참조 프레임의 시각 및 시점정보의 관계와 같은 이미 부호화 완료한 프레임을 중간 프레임으로서 설정하고, 상기 예측 화상 생성단계에서는, 상기 참조 영역의 화상정보와 상기 중간 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성하도록 해도 된다.
마찬가지로 상기의 경우, 상기 중간 프레임 설정단계에서는, 상기 참조 벡터 대상 프레임과의 시각 및 시점정보의 관계가 상기 부호화 대상 프레임과 상기 참조 프레임의 시각 및 시점정보의 관계와 같은 이미 부호화 완료한 프레임을 중간 프레임으로서 설정하고, 상기 예측 화상 생성단계에서는, 상기 참조 영역의 화상정보에서 예측 화상을 생성할지, 상기 참조 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성할지, 상기 참조 영역의 화상정보와 상기 중간 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성할지를 선택하여, 그 선택한 생성법을 이용하여 예측 화상을 생성하고, 또, 상기 선택한 생성법을 지정하는 정보를 부호화하는 예측 화상 생성법 지정정보 부호화 단계를 가지도록 해도 된다.
상기 예측 화상 생성법 지정정보 부호화 단계를 가지는 경우, 상기 참조 프레임 지정정보 부호화 단계에서는, 상기 참조 벡터 대상 영역의 부호화 데이터를 이용하여 참조 프레임 지정정보를 부호화할 때의 부호어 테이블을 절환하고, 상기 예측 화상 생성법 지정정보 부호화 단계에서는, 상기 참조 벡터 대상 영역의 부호화 데이터, 상기 참조 프레임 및 상기 참조 벡터 대상 프레임의 적어도 하나에 따라 예측 화상 생성법 지정정보를 부호화할 때의 부호어 테이블을 절환하도록 해도 된다.
또한, 본 발명은, 화상 전체를 영역 분할하여 영역마다 이미 복호 완료한 복수의 프레임의 화상정보에서 예측 화상을 생성하여, 예측 화상과 복호 대상 프레임 내의 복호 대상 영역의 화상의 차분 정보를 복호함으로써 동영상을 복호하는 동영상 복호방법으로서, 부호화 데이터로부터 이미 복호 완료한 복수의 프레임 중에서 선택되는 참조 벡터 대상 프레임을 지정하는 정보를 복호하는 참조 벡터 대상 프레임 지정정보 복호단계; 부호화 데이터로부터 복호 대상 영역에 대해 설정되는 상기 참조 벡터 대상 프레임 상의 영역을 나타내는 참조 벡터를 복호하는 참조 벡터 복호 단계; 부호화 데이터로부터 이미 복호 완료한 복수의 프레임 중에서 선택되는 참조 프레임을 지정하는 정보를 복호하는 참조 프레임 지정정보 복호단계; 상기 참조 벡터에 의해 나타나는 참조 벡터 대상 프레임 상의 참조 벡터 대상 영역의 화상정보와 상기 참조 프레임을 이용하여 대응 영역의 탐색을 하고, 그 탐색 결과에 기초하여 상기 참조 프레임 상의 참조 영역을 설정하는 참조 프레임 영역 설정단계; 상기 참조 영역에 대응하는 참조 프레임의 화상정보를 이용하여 예측 화상을 생성하는 예측 화상 생성단계;를 가지는 동영상 복호방법을 제공한다.
전형예로서, 상기 예측 화상 생성단계에서는, 상기 참조 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성한다.
다른 전형예로서, 부호화 데이터로부터 상기 참조 영역의 화상정보에서 예측 화상을 생성할지, 상기 참조 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성할지를 지정하는 정보를 복호하는 예측 화상 생성법 지정정보 복호단계를 가지고, 상기 예측 화상 생성단계에서는, 상기 복호한 정보가 지정하는 생성법을 이용하여 예측 화상을 생성한다.
다른 전형예로서, 상기 참조 벡터 대상 영역을 복호할 때에 복호된 참조 프레임 지정정보가 나타내는 프레임이 상기 참조 프레임과 같은 경우, 상기 참조 프레임 영역 설정단계에서는, 상기 참조 벡터 대상 영역을 복호할 때에 이용한 참조 영역을 상기 참조 영역으로서 설정한다.
다른 전형예로서, 상기 참조 벡터 대상 영역을 복호할 때에 복호된 참조 벡터 대상 프레임 지정정보가 나타내는 프레임이 상기 참조 프레임과 같은 경우, 상기 참조 프레임 영역 설정단계에서는, 상기 참조 벡터 대상 영역을 복호할 때에 이용한 참조 벡터 대상 영역을 상기 참조 영역으로서 설정한다.
다른 전형예로서, 상기 참조 벡터 대상 프레임과 상기 참조 벡터 대상 영역을 복호할 때에 복호된 참조 벡터 대상 프레임 지정정보가 나타내는 프레임의 시각정보 및 시점정보의 관계가 상기 복호 대상 프레임과 상기 참조 프레임의 시각정보 및 시점정보의 관계와 같은 경우, 상기 참조 프레임 영역 설정단계에서는, 상기 복호 대상 영역을 시점으로 하여 상기 참조 벡터 대상 영역을 복호할 때에 이용한 참조 벡터와 같은 방향과 크기를 가지는 벡터에 의해 나타나는 참조 프레임 상의 영역을 상기 참조 영역으로서 설정한다.
다른 전형예로서, 상기 참조 벡터 대상 프레임과 상기 참조 벡터 대상 영역을 복호할 때에 복호된 참조 프레임 지정정보가 나타내는 프레임의 시각정보 및 시점정보의 관계가 상기 복호 대상 프레임과 상기 참조 프레임의 시각정보 및 시점정보의 관계와 같은 경우, 상기 참조 프레임 영역 설정단계에서는, 상기 복호 대상 영역을 시점으로 하여 상기 참조 벡터 대상 영역과 상기 참조 벡터 대상 영역을 복호할 때에 이용한 참조 영역의 대응관계를 나타내는 벡터와 같은 방향과 크기를 가지는 벡터에 의해 나타나는 참조 프레임 상의 영역을 상기 참조 영역으로서 설정한다.
적합예로서, 상기 참조 벡터 대상 프레임이나 상기 참조 프레임과는 다른 이미 복호 완료한 프레임을 중간 프레임으로서 설정하는 중간 프레임 설정단계를 가지고, 상기 참조 프레임 영역 설정단계에서는, 상기 참조 벡터 대상 영역의 정보를 이용하여 상기 중간 프레임 상의 영역인 곳의 중간 영역을 설정하고, 그 중간 영역의 정보 혹은 그 중간 영역의 정보 및 상기 참조 벡터 대상 영역의 정보를 이용하여 상기 참조 영역을 설정한다.
이 경우, 상기 중간 프레임 설정단계에서는, 상기 참조 벡터 대상 프레임과의 시각 및 시점정보의 관계가 상기 복호 대상 프레임과 상기 참조 프레임의 시각 및 시점정보의 관계와 같은 이미 복호 완료한 프레임을 중간 프레임으로서 설정하고, 상기 예측 화상 생성단계에서는, 상기 참조 영역의 화상정보와 상기 중간 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성하도록 해도 된다.
마찬가지로 상기의 경우, 상기 중간 프레임 설정단계에서는, 상기 참조 벡터 대상 프레임과의 시각 및 시점정보의 관계가 상기 복호 대상 프레임과 상기 참조 프레임의 시각 및 시점정보의 관계와 같은 이미 복호 완료한 프레임을 중간 프레임으로서 설정하고, 부호화 데이터로부터 상기 참조 영역의 화상정보에서 예측 화상을 생성할지, 상기 참조 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성할지, 상기 참조 영역의 화상정보와 상기 중간 영역의 화상정보와 상기 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성할지를 지정하는 정보를 복호하는 예측 화상 생성법 지정정보 복호단계를 가지고, 상기 예측 화상 생성단계에서는, 상기 복호한 정보가 지정하는 생성법을 이용하여 예측 화상을 생성하도록 해도 된다.
상기 예측 화상 생성법 지정정보 복호단계를 가지는 경우, 상기 참조 프레임 지정정보 복호단계에서는, 상기 참조 벡터 대상 영역의 복호 데이터를 이용하여 참조 프레임 지정정보를 복호할 때의 부호어 테이블을 절환하고, 상기 예측 화상 생성법 지정정보 복호단계에서는, 상기 참조 벡터 대상 영역의 복호 데이터, 상기 참조 프레임 및 상기 참조 벡터 대상 프레임의 적어도 하나에 따라 예측 화상 생성법 지정정보를 복호할 때의 부호어 테이블을 절환하도록 해도 된다.
또한, 본 발명은 상기 동영상 부호화 방법에서의 각 단계를 실현하는 수단을 구비하는 동영상 부호화 장치, 해당 각 단계를 컴퓨터에 실행시키기 위한 동영상 부호화 프로그램, 해당 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.
또한, 본 발명은 상기 동영상 복호방법에서의 각 단계를 실현하는 수단을 구비하는 동영상 복호장치, 해당 각 단계를 컴퓨터에 실행시키기 위한 동영상 복호 프로그램, 해당 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명에 의하면, 인접 영역에서 예측 화상을 생성할 때의 참조 프레임이 다른 경우에도, 같은 참조 벡터 대상 프레임을 이용함으로써, 벡터로 표현해야 하는 시간이나 시차 등의 영상변화의 요인이 통일되고, 인접 영역에서 부호화된 벡터에서 부호화해야 할 벡터에 가까운 예측 벡터를 생성할 수 있게 되며, 이에 의해, 보다 적은 부호량으로 프레임간 예측 부호화를 위한 벡터 정보를 부호화할 수 있게 된다.
도 1은 참조 벡터 대상 영역 부호화시의 참조 프레임을 이용한 참조 영역 결정법의 일례를 나타내는 도면이다.
도 2는 참조 벡터 대상 영역 부호화시의 참조 벡터 대상 프레임을 이용한 참조 영역 결정법의 일례를 나타내는 도면이다.
도 3은 참조 벡터 대상 영역 부호화시의 참조 벡터를 이용한 참조 영역 결정법의 일례를 나타내는 도면이다.
도 4는 참조 벡터 대상 영역 부호화시의 벡터를 이용한 참조 영역 결정법의 일례를 나타내는 도면이다.
도 5는 참조 벡터 대상 영역 부호화시의 참조 벡터를 이용한 참조 영역 결정법의 일례를 나타내는 도면이다.
도 6은 본 발명의 동영상 부호화 장치의 일실시예이다.
도 7은 본 실시예의 동영상 부호화 장치가 실행하는 동영상 부호화 처리의 흐름도의 일례이다.
도 8은 본 실시예에서의 중간 프레임을 이용하지 않는 경우의 참조 영역 결정처리의 흐름도의 일례이다.
도 9는 본 실시예에서의 중간 프레임을 이용하는 경우의 참조 영역 결정처리의 흐름도의 일례이다.
도 10은 본 실시예에서의 대응영역 탐색처리의 흐름도의 일례이다.
도 11은 본 발명의 동영상 복호장치의 일실시예이다.
도 12는 본 실시예의 동영상 복호장치가 실행하는 동영상 복호처리의 흐름도의 일례이다.
도 13a는 H.264에서의 움직임 벡터 예측의 설명도이다.
도 13b는 마찬가지로 H.264에서의 움직임 벡터 예측의 설명도이다.
도 13c는 마찬가지로 H.264에서의 움직임 벡터 예측의 설명도이다.
도 13d는 마찬가지로 H.264에서의 움직임 벡터 예측의 설명도이다.
도 14는 카메라 간에 생기는 시차의 설명도이다.
본 발명에서는, 부호화 대상 영역의 화상정보를 부호화할 때의 프레임간 예측 부호화를 위한 벡터 정보를 설정함에 있어서, 예측 화상을 생성하기 위한 참조 프레임 상의 영역을 나타내는 벡터가 아니라, 벡터를 나타내기 위해 이용되는 프레임인 곳의 참조 벡터 대상 프레임을 설정하고, 그 참조 벡터 대상 프레임 상의 영역을 나타내는 참조 벡터를 구하여 부호화하며, 참조 벡터에 의해 나타나는 참조 벡터 대상 프레임 상의 참조 벡터 대상 영역의 화상정보와 참조 프레임을 이용하여 블록 매칭 등의 대응점 탐색을 하고, 그 결과 얻어지는 참조 프레임 상의 참조 영역의 화상정보를 이용하여 예측 화상을 생성한다.
이에 의해, 인접 영역 간에 참조 프레임이 다른 경우에서도 효율적으로 프레임간 예측 부호화를 위한 벡터 정보를 부호화할 수 있다.
종래의 방법에서는, 부호화 대상 영역(부호화의 단위영역)마다 부호화하는 프레임간 예측 부호화를 위한 벡터 정보는, 각 부호화 대상 영역에 대해 설정된 참조 프레임에서 부호화 대상 프레임으로의 영상변화를 나타내는 벡터로 나타나 있었다.
그 때문에, 종래의 방법에서는, 인접 영역에서 참조 프레임이 다른 경우에는 벡터가 나타내고 있는 영상변화가 발생하는 요인(시간인지, 카메라인지, 장시간인지, 단시간인지)이 다르고, 예측 벡터에 의해 나타나는 영상변화가 부호화하고자 하는 벡터에 의해 나타내고자 하는 영상변화와 다른 경우가 있다.
그 경우, 생성된 예측 벡터는 부호화하고자 하는 벡터를 정밀도 높게 예측할 수 없다. 그렇기는커녕, 부호화하고자 하는 벡터와 예측 벡터의 차분 벡터를 부호화하는 데에 드는 부호량이 부호화하고자 하는 벡터를 그대로 부호화한 경우에 드는 부호량보다도 많아지는 경우도 있다.
이에 대해, 본 발명에 의하면, 인접 영역에서 예측 화상을 생성할 때의 참조 프레임이 다른 경우에서도, 같은 참조 벡터 대상 프레임을 이용함으로써, 벡터로 표현되는 영상변화의 요인이 통일되고, 부호화해야 할 벡터에 가까운 예측 벡터를 생성할 수 있게 되며, 이에 의해, 보다 적은 부호량으로 프레임간 예측 부호화를 위한 벡터 정보를 부호화하는 것이 가능하다.
여기서, 참조 벡터 대상 프레임을 지정하는 참조 벡터 대상 프레임 지정정보와 참조 프레임을 지정하는 참조 프레임 지정정보는 별도로 부호화해도 되고, 양자를 지정할 수 있는 정보로서 모아 부호화해도 된다.
즉, 부호화 완료 프레임이 2장 있는 경우, 참조 벡터 대상 프레임 지정정보와 참조 프레임 지정정보를 별도로 부호화한다는 것은 각각에 대해 0~1의 숫자를 부호화하는 것이고, 양자를 지정할 수 있는 정보로서 부호화한다는 것은 (0,0), (0,1), (1,0), (1,1)의 4종류 중 어느 하나를 나타내는 정보를 부호화하도록 할 수 있다.
또한, 본 발명에서는, 부호화 대상 영역에 대해 하나의 참조 벡터를 부호화함으로써, 참조 벡터 대상 프레임 상과 참조 프레임 상에 하나씩, 즉 합계 2개의 대응 영역이 얻어지기 때문에, B프레임과 같이 2개의 영역의 화상정보를 이용하여 예측 화상을 생성하는 것도 가능하다.
또, 2개의 대응 영역이 얻어진 경우에, 양쪽의 대응 영역의 화상정보를 이용하여 예측 화상을 생성할지, 참조 프레임 상의 대응 영역(참조 영역)의 화상정보만을 이용하여 예측 화상을 생성할지를 선택하여 부호화하는 것도 가능하다.
단, 그 경우는, 어느 쪽의 방법을 이용하여 예측 화상을 생성했는지를 나타내는 정보를 부호화할 필요가 있다.
여기서, 예측 화상의 생성법을 선택하는 기준으로서는, 각각의 예측 화상에서 그 영역을 부호화했을 때의 레이트 왜곡 비용을 이용하는 방법이나, 입력 화상과 예측 화상의 차분 절대값 합이나 입력 화상과 예측 화상의 차에서 생성되는 예측 잔차 화상의 화소값의 분산값을 이용하는 방법 등이 있는데, 어떠한 기준을 이용해도 된다.
예측 화상의 생성법을 지정하는 정보를 부호화하는 경우, 그대로 부호화해도 되고, 다른 부호화해야 할 정보와 함께 부호화해도 된다. 예를 들면, 참조 벡터 대상 프레임 지정정보나 참조 프레임 지정정보 등과 함께 부호화해도 된다.
즉, 참조 프레임 지정정보로서 0 또는 1을 부호화하고, 예측 화상의 생성법을 지정하는 정보로서 0 또는 1을 부호화해도 되며, 양자의 세트로 (0,0), (0,1), (1,0), (1,1)의 4종류 중 어느 하나를 나타내는 정보를 부호화해도 된다.
참조 프레임으로서 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 프레임을 선택하거나, 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 프레임을 선택하면 된다.
이 경우, 참조 프레임 상의 참조 영역으로서, 각각의 경우에 대응하여 참조 벡터 대상 영역을 부호화할 때에 참조 영역으로서 이용한 영역을 설정하거나, 참조 벡터 대상 영역을 부호화할 때에 참조 벡터 대상 영역으로서 이용한 영역을 설정해도 된다.
도 1 및 도 2에 이러한 방법에 의해 설정되는 참조 영역의 일례를 나타낸다.
도 1은, 참조 프레임으로서 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 프레임을 선택하고, 참조 프레임 상의 참조 영역으로서 참조 벡터 대상 영역을 부호화할 때에 참조 영역으로서 이용한 영역을 설정하는 경우의 처리예를 나타낸다.
또한, 도 2는, 참조 프레임으로서 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 프레임을 선택하고, 참조 프레임 상의 참조 영역으로서 참조 벡터 대상 영역을 부호화할 때에 참조 벡터 대상 영역으로서 이용한 영역을 설정하는 경우의 처리예를 나타낸다.
참조 벡터 대상 영역을 부호화할 때에 참조 벡터 대상 영역이나 참조 영역으로서 선택된 영역은 참조 벡터 대상 영역의 화상정보를 예측하기 위해 이용된 영역이기 때문에, 참조 벡터 대상 영역의 화상정보에 유사한 화상정보를 가지는 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 프레임 상의 영역이거나, 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 프레임 상의 영역이라고 할 수 있다.
즉, 참조 벡터 대상 영역에 대한 참조 프레임 상의 영역을 구했다고 해도, 이 참조 프레임과 상기 각각의 경우에서 이용한 프레임(참조 벡터 대상 프레임 또는 참조 프레임)이 일치하는 경우는, 상기 참조 벡터 대상 영역을 부호화할 때에 참조 벡터 대상 영역이나 참조 영역으로서 선택된 영역이 선택된다.
이와 같이 하여 참조 벡터 대상 영역의 부호화 정보로부터 참조 프레임 상의 참조 영역을 설정함으로써, 예측 화상의 품질을 유지한 채로 부호화/복호에 있어서 실시해야 할 대응 영역 탐색의 횟수를 삭감하는 것이 가능하게 된다.
참조 프레임으로서, 부호화 대상 프레임과의 사이에,
(i)참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 프레임과 부호화 대상 영역에 대해 설정한 참조 벡터 대상 프레임의 시각정보 및 시점정보의 관계와 같은 관계를 가지는 이미 부호화 완료한 프레임을 선택하거나,
(ii)참조 벡터 대상 영역을 부호화할 때에 이용한 참조 프레임과 부호화 대상 영역에 대해 설정한 참조 벡터 대상 프레임의 시각정보 및 시점정보의 관계와 같은 관계를 가지는 이미 부호화 완료한 프레임을 선택할 수 있다.
상기 각각의 경우에 대해, 참조 영역으로서,
(i)부호화 대상 영역을 시점으로 하여 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터와 같은 방향과 크기를 가지는 벡터에 의해 나타나는(선택한) 참조 프레임 상의 영역을 설정하거나,
(ii)부호화 대상 영역을 시점으로 하여 참조 벡터 대상 영역과 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 영역의 대응관계를 나타내는 벡터와 같은 방향과 크기를 가지는 벡터에 의해 나타나는(선택한) 참조 프레임 상의 영역을 설정해도 된다.
도 3 내지 도 5에 이 방법에 의해 설정되는 참조 영역의 일례를 나타낸다.
도 3이나 도 4와 같이 주어지는 몇 개의 대응 영역 관계가 카메라(시점) 또는 시각의 어느 한쪽이 같은 경우에서도, 또한 도 5와 같이 모두 다른 경우에서도, 이 방법을 이용하여 부호화 대상 영역에 대해 유일한 참조 영역을 설정하는 것이 가능하다.
이 방법에서는, 도 3이나 도 4와 같이 대응 영역에서 카메라 또는 시각의 어느 한쪽이 같은 경우에는, 시각에 의하지 않고 시차를 만들어 내는 각 카메라부터 피사체까지의 거리에 큰 차이가 없음을 가정하여 부호화 대상 영역에 적합한 참조 영역을 지정한다.
또한, 도 5의 경우에서는, 그것에 덧붙여 각 시각 간에 피사체의 움직임이 연속임을 가정하여 부호화 대상 영역에 적합한 참조 영역을 지정한다.
첫번째의 가정은, 어떤 주목 대상을 촬영한 다시점 영상이나 풍경과 같은 것을 촬영한 다시점 영상 등 통상 자주 보는 영상은 이러한 상태에 있다고 할 수 있기 때문에, 대부분의 경우에 성립한다.
두번째의 가정은 일반적으로는 성립되지 않지만, 프레임 간의 시간이 짧은 경우에 물체는 일반적으로 등속 직선 운동을 하고 있다고 가정할 수 있기 때문에, 많은 경우에 성립한다고 할 수 있다.
그러나, 후자의 가설은 프레임 간의 시간이 길어지면 성립하지 않게 될 가능성이 높기 때문에, 이 방법은, 도 3이나 도 4와 같이 대응 영역에서 카메라 또는 시각의 어느 한쪽이 같은 경우에만 적용해도 되고, 대응 관계의 프레임 간의 시간이 길어진 경우에만 적용하는 것을 중지해도 된다.
상기와 같은 동영상 복호방법에서는, 참조 벡터 대상 영역을 부호화할 때의 정보를 이용하여 참조 영역을 설정함으로써 대응 영역 탐색의 횟수를 삭감하고 있다.
그러나, 레이트 왜곡의 최적화의 영향이나 가정한 상태가 성립되지 않는 경우에는, 이러한 방법으로 설정한 참조 영역은 부호화 대상 영역의 예측 화상을 생성하는 데에 최적이 아닌 경우가 있다.
그래서, 최적의 영역과 어긋남이 발생했어도 그만큼 크지는 않다는 특성이 있음을 고려하여, 이러한 방법으로 설정된 참조 영역을 일시적인 참조 영역으로 하여 그 주변만을 탐색 대상으로서 대응 영역 탐색을 함으로써 예측 화상을 생성하는 데에 보다 최적인 가능성을 높여도 된다.
이 방법에서는, 단순하게 대응 영역 탐색하는 것보다도 적은 연산비용으로 거의 동등한 품질의 대응점을 발견할 수 있다.
또한, 참조 벡터 대상 영역의 화상정보나 부호화 정보를 이용하여 참조 프레임 상의 참조 영역을 직접 설정하는 것이 아니라, 참조 벡터 대상 프레임이나 참조 프레임과는 다른 이미 부호화 완료한 프레임을 중간 프레임으로서 설정하여, 우선, 참조 벡터 대상 영역의 화상정보나 부호화 정보를 이용하여 중간 프레임 상의 대응 영역인 곳의 중간 영역을 설정하고, 그 후에, 중간 영역의 화상정보나 부호화 정보를 이용하여 참조 프레임 상의 대응 영역을 설정하며, 그 영역을 참조 영역으로 해도 된다.
일반적으로 프레임 간의 영상의 시차변화에 의한 대응 영역을 발견하기 위해서는, 시간변화에 의한 대응 영역을 발견하는 경우보다도 좁은 범위의 탐색범위이어도 된다. 왜냐하면, 영상의 시차변화는 카메라 배치에 의한 것이므로, 일정한 방향으로만 생기고, 그 변화량도 어느 정도 한정된 범위이기 때문이다.
특히 화상을 촬영한 카메라 파라미터가 기지인 경우는, 에피폴라 기하제약이 성립되기 때문에, 한쪽의 카메라로 촬영된 화상 상의 어떤 영역은 다른 쪽의 카메라로 촬영된 화상 상에 존재하는 직선 상에 존재하게 되고, 카메라 파라미터의 오차의 영향도 포함하며, 그 직선의 주변 영역만을 탐색하면 충분하다.
그러나, 프레임 간의 시차변화와 시간변화 모두 포함되어 있는 경우에는, 이 성질을 사용할 수 없을 뿐만 아니라, 시간변화만을 발견하는 경우보다도 많은 범위를 탐색할 필요가 생긴다.
그래서, 중간 프레임을 설정한다는 이 방법에 의하면, 중간 영역을 설정함으로써 1단계째와 2단계째의 탐색에서 각각 시간과 카메라 간의 어느 한쪽의 요인에 의한 영상변화에 의한 대응 영역을 탐색하면 되도록 할 수 있다. 이와 같이 함으로써, 직접 참조 영역을 구하는 것보다도 적은 연산횟수로 대응 영역을 구할 수 있다.
또한, 중간 프레임으로서 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 프레임을 설정하거나, 혹은 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 프레임을 설정하여, 각각의 경우에 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 벡터 대상 영역을 중간 영역으로 설정하거나, 참조 벡터 대상 영역을 부호화할 때에 이용한 참조 영역을 중간 영역으로 설정해도 된다.
이 때, 중간 프레임이 참조 벡터 대상 프레임보다도 참조 프레임에 근접하는 경우, 중간 영역에서 참조 영역을 구하는 탐색은 참조 벡터 대상 영역에서 참조 영역을 구하는 탐색보다 쉬워지고, 연산량을 삭감하는 것이 가능하게 된다.
또, 중간 영역에서 참조 영역을 설정할 때에, 중간 영역의 화상정보와 부호화 정보뿐만 아니라, 참조 벡터 대상 영역의 화상정보와 부호화 정보를 모두 이용해도 된다.
중간 프레임으로서, 참조 벡터 대상 프레임과의 시각 및 시점정보의 관계가 부호화 대상 프레임과 참조 프레임의 시각 및 시점정보의 관계와 같은 이미 부호화 완료한 프레임을 설정한 경우, 부호화 대상 영역에 대해 주어지는 3개의 대응 영역의 화상정보, 즉 참조 벡터 대상 영역의 화상정보, 중간 영역의 화상정보, 참조 영역의 화상정보를 이용하여 예측 화상을 생성해도 된다.
3개의 대응 영역의 화상정보에서 예측 화상을 생성하는 방법으로서는, 화소마다 평균값을 취하는 방법이나 중간값을 취하는 방법이 있다.
또한, 참조 프레임과 부호화 대상 프레임의 관계와, 중간 프레임과 참조 벡터 대상 프레임의 관계가 같기 때문에, 중간 영역과 참조 벡터 대상 영역의 사이의 변화가 참조 영역과 부호화 대상 영역의 사이에 일어난다고 가정하여 다음의 식에 따라 예측 화상을 생성해도 된다.
Figure pat00001
여기서, pix는 영역 내에서의 화소 위치를 나타내고, Pred는 예측 화상을 나타내며, Ref는 참조 영역의 화상정보를 나타내고, RVec는 참조 벡터 대상 영역의 화상정보를 나타내며, Mid는 중간 영역의 화상정보를 나타낸다.
이러한 방법에서는, 부호화가 필요한 예측 화상 생성을 위한 정보를 늘리지 않고, 보다 많은 대응 영역의 정보를 이용함으로써, 부호화 대상 영역의 화상정보에 가까운 예측 화상을 생성하는 것이 가능하게 된다.
또, 어떠한 방법으로 예측 화상을 생성해도 되지만, 부호화측과 복호측에서 어떤 방법으로 예측 화상을 생성할지를 일치시켜야 한다.
또한, 참조 영역의 화상정보에서 예측 화상을 생성할지, 참조 영역의 화상정보와 참조 벡터 대상 영역의 화상정보에서 예측 화상을 생성할지, 참조 영역의 화상정보와 참조 벡터 대상 영역의 화상정보와 중간 영역의 화상정보에서 예측 화상을 생성할지를 선택하면서 부호화를 행해도 된다.
단, 이 경우는, 어느 영역의 화상정보를 예측 화상 생성에 사용했는지를 나타내는 정보를 부호화할 필요가 있다.
상기에 든 이외의 영역의 조합으로 예측 화상을 만드는 방법에 대해서도 정보를 할당하여 사용하는 것도 가능하고, 상기에 든 3개의 영역을 사용하는 경우의 예측 화상의 생성법 각각에 대해 정보를 할당하여 예측 화상의 생성법을 선택할 수 있도록 해도 된다.
또, 이러한 예측 화상 생성법을 나타내는 정보를 부호화할 때에, 그 정보만을 독립하여 부호화해도 되고, 다른 부호화해야 할 정보와 함께 부호화해도 된다. 예를 들면, 참조 프레임 지정정보 등과 함께 부호화해도 된다.
즉, 참조 프레임 지정정보로서 0 또는 1을 부호화하여 예측 화상의 생성법을 지정하는 정보로서 0 또는 1 또는 2를 부호화해도 되고, 양자의 세트로 (0,0), (0,1), (0,2), (1,0), (1,1), (1,2)의 6종류 중 어느 하나를 나타내는 정보를 부호화해도 된다.
참조 벡터 대상 영역이 프레임 간의 영상 예측을 하지 않고 부호화되어 있는 경우, 그 참조 벡터 대상 영역의 화상정보를 예측하는 데에 적합한 이미 부호화 완료한 프레임 및 그 프레임 상의 영역이 발견되지 않음을 나타낸다.
그 때문에, 이러한 참조 벡터 대상 영역에 대응하고 있는 부호화 대상 영역에서도, 예측 화상을 생성하기 위한 영역으로서 참조 벡터 대상 프레임 이외의 프레임 상의 영역이 선택되는 경우는 적다고 생각된다.
그래서, 참조 프레임 지정정보를 부호화할 때에, 참조 벡터 대상 프레임과 같은 프레임을 지정하는 정보에 대한 부호어를 짧게 함으로써, 보다 적은 부호량으로 참조 프레임 지정정보를 부호화할 수 있다.
또한, 대응관계가 있다고 하는 참조 벡터 대상 영역을 부호화할 때에 이용되고 있는 참조 프레임이나 참조 벡터 대상 프레임에 대응한 프레임을 지정하는 정보에 대한 부호어를 짧게 함으로써, 보다 적은 부호량으로 참조 프레임 지정정보를 부호화할 수 있다.
즉, 참조 벡터 대상 영역에서의 부호화 정보를 이용하여 참조 프레임 지정정보를 부호화할 때의 부호어 테이블을 절환함으로써, 보다 적은 부호량으로 참조 프레임 지정정보를 부호화할 수 있다.
또한, 마찬가지로 예측 화상 생성법 지정정보를 부호화할 때에도, 참조 벡터 대상 영역에서의 부호화 정보를 이용하여 부호어 테이블을 절환해도 된다.
이하, 실시예에 따라 본 발명을 상세하게 설명한다.
도 6에 본 발명의 동영상 부호화 장치(100)의 일실시예를 나타낸다.
이 동영상 부호화 장치(100)는, 부호화 대상이 되는 화상을 입력하는 화상 입력부(101), 부호화 대상 화상을 분할한 영역마다 이미 부호화 완료한 화상에서 예측 화상을 작성하는 예측 화상 작성부(102), 입력 화상과 예측 화상의 차분 화상을 부호화하는 차분 화상 부호화부(103), 차분 화상의 부호화 데이터를 복호하는 차분 화상 복호부(104), 복호된 차분 화상과 예측 화상의 합에 의해 생성되는 부호화 대상 영역의 복호 화상을 축적하는 참조 프레임 메모리(105), 참조 프레임 메모리(105) 중에서 예측 화상을 생성하기 위한 참조 프레임을 설정하는 참조 프레임 설정부(106), 참조 프레임 메모리(105) 중에서 부호화하는 벡터 정보의 참조 대상으로서의 프레임이 되는 참조 벡터 대상 프레임을 설정하는 참조 벡터 대상 프레임 설정부(107), 얻어진 대응 영역에 대해 예측 화상을 생성하는 방법을 설정하는 예측 화상 생성법 설정부(108), 참조 프레임 지정정보와 참조 벡터 대상 프레임 지정정보와 예측 화상 생성법 지정정보로 이루어진 부가정보를 부호화하는 부가정보 부호화부(109), 입력 화상과 참조 벡터 대상 프레임을 이용하여 참조 벡터를 구하는 참조 벡터 대상 영역 탐색부(110), 참조 벡터 대상 영역의 화상정보와 참조 프레임을 이용하여 참조 영역을 탐색하는 참조 영역 탐색부(111), 부호화에 이용한 참조 벡터와 참조 영역과 참조 벡터 대상 프레임과 참조 프레임의 세트를 부호화 대상 프레임 및 부호화 대상 영역에 관련지어 축적하는 대응관계 정보 축적 메모리(112), 부호화 대상 영역의 인접 영역을 부호화할 때에 이용한 참조 벡터에서 부호화 대상 영역의 참조 벡터에 대한 예측 참조 벡터를 생성하는 예측 참조 벡터 생성부(113), 참조 벡터와 예측 참조 벡터의 차분의 차분 참조 벡터를 부호화하는 차분 참조 벡터 부호화부(114)를 구비한다.
도 7에, 이와 같이 구성되는 동영상 부호화 장치(100)가 실행하는 동영상 부호화 처리의 흐름도를 나타낸다.
또, 이하의 각 흐름도에서, 인덱스가 부여된 블록이나 프레임은 그 인덱스가 나타내는 블록이나 프레임을 가리킨다.
이 흐름도에 따라, 이와 같이 구성되는 동영상 부호화 장치(100)가 실행하는 동영상 부호화 처리에 대해 상세하게 설명한다. 단, 이미 복수의 프레임의 화상을 부호화 완료하고, 그 결과가 참조 프레임 메모리(105), 대응관계 정보 축적 메모리(112)에 축적되어 있는 것으로 한다.
우선, 화상 입력부(101)로부터 부호화 대상이 되는 화상이 입력된다[S101]. 입력된 부호화 대상 화상은 화상 전체를 영역 분할하여 영역마다 부호화를 행한다[S102~S131].
이 흐름도에서는, 블록(영역)의 인덱스를 blk라고 나타내고, 하나의 화상에 대한 총 블록수를 MaxBlk라고 나타낸다.
즉, 인덱스(blk)를 1로 초기화한 후[S102], blk가 MaxBlk가 될 때까지[S130] blk에 1을 가산하면서[S131], 이하의 처리[S103~S129]를 반복하여 실행하게 된다.
블록마다 행하는 처리에서는, 그 블록을 부호화하기 위해 이용하는 참조 벡터 대상 프레임(best_ref_vec), 참조 프레임(best_ref), 참조 벡터(best_mv_ref), 참조 프레임 상의 참조 영역을 나타내는 벡터(best_mv), 예측 화상 생성법(best_pmode), 예측 참조 벡터(best_pmv)를 구하고[S113~S126], 이러한 정보를 이용하여 부호화 대상 영역의 화상정보에 대한 예측 화상을 생성하며[S127], best_ref_vec와 best_ref와 best_pmode로 이루어진 부가정보를 부가정보 부호화부(109)에서 부호화하고, "best_mv_ref-best_pmv"를 차분 참조 벡터 부호화부(114)에서 부호화하며, 입력 화상과 예측 화상의 차분 화상을 차분 화상 부호화부(103)에서 부호화하고, 이러한 부호화 데이터를 출력한다[S128].
그리고, 이후의 부호화 처리를 위해, 부호화 데이터를 복호하여 복호 화상을 참조 프레임 메모리(105)에 저장하고, 예측 화상 생성을 위해 이용한 대응 영역(best_mv_ref가 가리키는 참조 벡터 대상 영역과 best_mv가 가리키는 참조 영역의 2개의 영역)에 관한 정보에 대해서는, 부호화 대상 프레임의 번호와 블록(blk)의 화상 상의 위치에 대응시켜 대응관계 정보 축적 메모리(112)에 저장한다[S129].
즉, 대응관계 정보 축적 메모리(112)에는, 부호화 대상 프레임을 나타내는 인덱스 값을 cur이라고 하고, 화상 상의 블록(blk)의 위치를 pos라고 하면, {cur, pos, best_ref, best_ref_vec, best_mv_ref, best_mv}의 세트를 저장하게 된다.
또, S127의 예측 화상 생성처리와 S128의 부가정보 부호화 처리에 관해서는 나중에 상세하게 설명한다.
부호화시에 이용하는 예측 화상을 생성하기 위한 정보는, 참조 벡터 대상 프레임으로서 이용 가능한 모든 참조 프레임 메모리(105) 상의 부호화 완료한 프레임에 대해 이하의 처리 [S104~S124]를 반복하여 실행함으로써 구한다.
즉, 참조 벡터 대상 프레임 인덱스(ref_vec)를 1로 초기화하고, 블록(blk)에 대한 최소 레이트 왜곡 비용(bestCost)을 절대로 취할 수 없는 최대값(MaxCost)으로 초기화하며, pos에 블록(blk)의 화상 상의 위치를 설정한 후[S103], ref_vec가 참조 프레임 메모리(105)에 축적되어 있는 참조 가능한 프레임의 수(NumOfRef)가 될 때까지[S125] ref_vec에 1을 가산하면서[S126], 블록(blk)에 인접하는 이미 부호화 완료한 블록에서의 참조 벡터에서 예측 참조 벡터(pmv)를 생성하고[S104], 참조 벡터 대상 프레임을 ref_vec가 나타내는 프레임으로 했을 때, 레이트 왜곡 비용이 최소가 되는, 참조 벡터와 참조 프레임과 참조 영역과 예측 화상 생성법의 조합을 구하는 처리[S105~S124]를 반복한다.
해당 처리에서는, 참조 프레임으로서 이용 가능한 모든 참조 프레임 메모리(105) 상의 부호화 완료한 프레임에 대해 이하의 처리 [S106~S122]를 반복하여 실행한다.
즉, 참조 프레임 인덱스(ref)를 1로 초기화한 후[S105], ref가 NumOfRef가 될 때까지[S123] ref에 1을 가산하면서[S124], ref_vec와 ref가 일치하는지를 판정하고[S106], 일치한다고 판정된 경우, 즉 참조 벡터 대상 프레임이 실질적으로 존재하지 않는 상태가 되는 경우(종래와 같은 상태가 되는 경우)에는, 참조 프레임 및 참조 벡터 대상 프레임을 ref가 나타내는 프레임으로 했을 때, 레이트 왜곡 비용이 최소가 되는 참조 벡터를 구하는 처리 [S107~S114]를 반복하여 실행한다.
해당 처리에서는, 참조 벡터 후보 인덱스(mv_ref_idx)를 1로 초기화한 후[S107], mv_ref_idx가 미리 설정되어 있는 참조 벡터 후보수(NumOfListMvRef)와 같아질 때까지[S113] mv_ref_idx에 1을 가산하면서[S114], mv_ref_idx에 대응하는 참조 벡터를 mv_ref로 설정하고[S108], 프레임(ref) 상의 위치(pos+mv_ref)의 영역의 화상정보를 예측 화상(Pred[])으로 하여[S109] 레이트 왜곡 비용(cost)을 계산하여[S11O], cost가 bestCost보다도 작은지를 판정한다[S111].
cost가 작다고 판정된 경우, bestCost를 cost로 고쳐쓰고, best_ref를 ref로 고쳐쓰며, best_ref_vec를 ref로 고쳐쓰고, best_ref_mid를 ref로 고쳐쓰며, best_mv를 O(제로 벡터)으로 고쳐쓰고, best_mv_ref를 mv_ref로 고쳐쓰며, best_pmode를 1로 고쳐쓰고, best_pmv를 pmv로 고쳐쓴다[S112]는 처리 [S108~S112]를 반복하여 실행한다.
여기서, S110의 처리에서 계산되는 레이트 왜곡 비용에 대해서는, 실제로 차분 화상과 차분 참조 벡터 "mv_ref-pmv"와 부가정보를 부호화하여 부호량을 계산하고, 이들을 복호하여 품질 열화를 계산하여 하기의 [수학식 2]에 기초하여 계산해도 되고, 하기의 [수학식 3]에 기초하여 간이 레이트 왜곡 비용을 이용하여 계산해도 된다.
단, 하나의 블록(blk)을 부호화할 때의 처리에서는 이용하는 식을 통일해야 한다.
Figure pat00002
여기서, λ1은 라그랑주의 미정 승수로서, 미리 설정된 값이 이용된다. pix는 화소 위치를 나타내고, Org[]는 입력 화상의 부호화 대상 영역의 화상정보를 나타내며, Dec[]는 복호 화상의 화상정보를 나타낸다. bit(vector, ref1, ref2, mode)는 차분 참조 벡터로서 vector를 부호화하고, 참조 벡터 대상 프레임 지정정보로서 ref1를 부호화하며, 참조 프레임 지정정보로서 ref2를 부호화하고, 예측 화상 생성법 지정정보로서 mode를 부호화했을 때에 필요하였던 부호량을 되돌리는 함수를 나타낸다. BITS는 차분 화상(Res[](=Org[]-Pred[]))을 부호화했을 때에 필요하였던 부호량을 나타낸다.
Figure pat00003
여기서, λ2는 라그랑주의 미정 승수로서, 미리 설정된 값이 이용된다. pbit(vector, ref1, ref2, mode)는 차분 참조 벡터로서 vector를 부호화하고, 참조 벡터 프레임 지정정보로서 ref1를 부호화하며, 참조 프레임 지정정보로서 ref2를 부호하고, 예측 화상 생성법 지정정보로서 mode를 부호화했을 때에 필요하였던 부호량을 되돌리는 함수를 나타낸다.
한편, S106의 판정처리에서 ref_vec와 ref가 일치하지 않는다고 판정된 경우(참조 벡터 대상 프레임과 참조 프레임이 일치하지 않는다고 판정된 경우)는, 참조 프레임을 ref가 나타내는 프레임으로 하고, 참조 벡터 대상 프레임을 ref_vec가 나타내는 프레임으로 했을 때, 최소의 레이트 왜곡 비용(mcost)을 부여하는 참조 벡터(b_mv_ref), 참조 영역을 나타내는 벡터(b_mv), 예측 화상 생성법 인덱스(b_pmode)를 구한다[S117].
이 S117에서의 처리에 대해서는 나중에 상세하게 설명한다.
그리고, mcost가 bestCost보다도 작은지를 판정하여[S118] mcost가 작은 경우에는, bestCost를 mcost로 고쳐쓰고, best_ref를 ref로 고쳐쓰며, best_ref_vec를 ref_vec로 고쳐쓰고, best_mv를 b_mv로 고쳐쓰며, best_mv_ref를 b_mv_ref로 고쳐쓰고, best_pmode를 b_pmode로 고쳐쓰며, best_pmv를 pmv로 고쳐쓴다[S119].
한편, mcost가 큰 경우에는 이 S119의 처리를 생략한다.
이어서, ref_vec가 나타내는 프레임과의 시각관계 및 시점관계가 부호화 대상 프레임과 ref가 나타내는 프레임의 시각관계 및 시점관계에 일치하는 이미 부호화 완료한 프레임(중간 프레임)을 발견하여, 그것을 나타내는 인덱스를 ref_mid라고 한다[S115].
또, 상술한 조건을 만족시키는 부호화 완료한 프레임이 참조 프레임 메모리(105) 내에 존재하지 않는 경우, ref_mid는 ref로 설정한다.
그리고, ref_mid가 ref 또는 ref_vec에 일치하는지를 판정한다[S116].
이 S116의 판정처리에서 ref_mid가 ref, ref_vec와도 다르다고 판정된 경우는, 참조 프레임을 ref가 나타내는 프레임으로 하고, 참조 벡터 대상 프레임을 ref_vec가 나타내는 프레임으로 하며, 중간 프레임을 ref_mid가 나타내는 프레임으로 했을 때, 최소의 레이트 왜곡 비용(mcost)을 부여하는 참조 벡터(b_mv_ref), 중간 영역을 나타내는 백터(b_mv_mid), 참조 영역을 나타내는 벡터(b_mv), 예측 화상 생성법 인덱스(b_pmode)를 구한다[S120].
이 S120에서의 처리에 대해서는 나중에 상세하게 설명한다.
그리고, mcost가 bestCost보다도 작은지를 판정하여[S121] mcost가 작은 경우에는, bestCost를 mcost로 고쳐쓰고, best_ref를 ref로 고쳐쓰며, best_ref_vec를 ref_vec로 고쳐쓰고, best_ref_mid를 ref_mid로 고쳐쓰며, best_mv를 b_mv로 고쳐쓰고, best_mv_ref를 b_mv_ref로 고쳐쓰며, best_mv_mid를 b_mv_mid로 고쳐쓰고, best_pmode를 b_pmode로 고쳐쓰며, best_pmv를 pmv로 고쳐쓴다[S122].
한편, S121의 판정처리에서 mcost가 큰 경우에는, 이 S122의 처리를 생략한다.
또한, S116의 판정처리에서 ref_mid가 ref에 일치하거나, ref_mid가 ref_vec에 일치하는 경우에도, 이 S122를 포함하는 S120~S122의 처리를 생략한다.
여기서, S117의 처리를 하고 나서 S120의 처리를 하는 것은 중간 프레임을 작성한 쪽이 레이트 왜곡 비용이 낮아지는 경우가 있기 때문이다.
다음에, 도 8에 나타내는 흐름도에 따라 S117에서 행해지는 처리에 대해 상세하게 설명한다.
이 처리에서는, 참조 벡터를 변화시키면서 그 때 설정된 참조 벡터에 대해 참조 영역을 구하고, 그 때에 최적인 레이트 왜곡 비용을 부여하는 예측 화상의 생성법을 구한다는 처리를 말한다.
즉, 참조 벡터 후보 인덱스(mv_ref_idx)를 1로 초기화하고, 최소 레이트 왜곡 비용(mcost)을 절대로 취할 수 없는 최대값(maxCost)으로 초기화한 후[S201], mv_ref_idx가 할당된 참조 벡터 후보수(NumOfListMvRef)가 될 때까지[S212] mv_ref_idx에 1을 가산하면서[S213], 이하의 처리 [S202~S211]를 반복하여 실행한다.
이 반복하여 실행하는 처리 [S202~S211]에서는, 우선, mv_ref_idx에 대응지어진 참조 벡터를 구하여 이를 mv_ref라고 한다[S202].
여기서, 입력 화상 상의 블록(blk)의 화상정보와 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역의 화상정보의 상이도를 구하고, 그것이 미리 설정된 임계값(TH)보다도 작은지를 판정한다[S203].
2개의 화상정보의 상이도는, 2개의 영역 내에서 대응하는 화소의 화소값을 이용하여 계산된 차분 절대값 합이나 차분 제곱 합이나 차분 분산값 등 어떤 계산법을 이용해도 된다. 단, 그 계산방법에 대응지어진 임계값(TH)을 이용할 필요가 있다.
상이도가 임계값 이상인 경우는, mv_ref로 나타나는 참조 벡터 대상 영역의 화상정보가 부호화 대상 영역의 화상정보와 크게 다르고, 그 영역은 부호화 대상 영역과 대응하지 않음을 나타내고 있기 때문에, 그 때의 mv_ref_idx에 대한 처리를 종료한다.
한편, S203의 판정처리에서 상이도가 임계값보다 작다고 판정된 경우는, 우선, 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역에 대응하는 프레임(ref) 상의 영역을 구하고, 그 위치를 pos+mv_ref+mv로 했을 때의 mv를 구한다[S204]. 이 S204에서의 처리에 대해서는 나중에 상세하게 설명한다.
그리고, 지금까지 얻어진 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역의 화상정보(RVec[])와, 프레임(ref) 상의 위치(pos+mv_ref+mv)의 영역의 화상정보(Ref[])를 이용하여 최소의 레이트 왜곡 비용이 얻어지는 예측 화상을 생성할 수 있는지를 조사한다[S205~S211].
즉, 예측 화상 생성법 인덱스(pmode)를 1로 초기화한 후[S205], pmode가 2가 될 때까지[S210] pmode에 1을 가산하면서[S211], pmode에 대응지어진 예측 화상의 생성법으로 예측 화상을 생성하고[S206], 그 때의 레이트 왜곡 비용(cost)을 계산하며[S207], cost가 mcost보다도 작은지를 판정하여[S208] cost가 작다고 판정된 경우에는, mcost를 cost로 고쳐쓰고, b_mv_ref를 mv_ref로 고쳐쓰며, b_mv를 mv로 고쳐쓰고, b_pmode를 pmode로 고쳐쓴다[S209]는 처리 [S206~S209]를 반복하여 실행한다.
이 때, S207에서 행하는 레이트 왜곡 비용의 계산은 상술한 S110에서의 방법과 같은 방법을 이용하여 행한다.
여기서는, 2개의 화상정보(참조 벡터 대상 프레임 상의 화상정보와 참조 프레임 상의 화상정보의 2개의 화상정보)가 얻어졌을 때에 이용할 수 있는 예측 화상의 생성법으로서, 참조 프레임 상의 화상정보만을 이용하여 예측 화상을 생성하는 방법과, 대응하는 화소마다 2개의 화상정보의 평균값을 구하여 예측 화상을 생성하는 방법의 2가지의 방법만을 생각하였기 때문에, pmode의 최대값을 2로 설정하였다.
이 최대값을 늘려 그 이외의 2개의 화상정보의 중량부여 합을 구하는 방법 등을 이용해도 된다.
즉, 여기서는 설명을 위해 pmode=1과 2의 예측 화상 생성법을 다음의 [수학식 4]와 같이 정의하였지만, 그 이외의 예측 화상 생성법을 이용하거나 추가하는 것도 가능하다.
Figure pat00004
또, 참조 벡터 대상 프레임 상의 화상정보만을 이용하여 예측 화상을 생성하는 방법을 예측 화상 생성법에 포함시키지 않았던 것은, 참조 벡터 대상 프레임과 참조 프레임이 같은 경우의 예측 화상 생성법이 그것에 대응하기 때문이다.
다음에, 도 9에 나타내는 흐름도에 따라 S120에서 행해지는 처리에 대해 상세하게 설명한다.
이 처리에서는, 참조 벡터를 변화시키면서 그 때 설정된 참조 벡터에 대해 중간 영역과 참조 영역을 구하고, 그 때에 최적인 레이트 왜곡 비용을 부여하는 예측 화상 생성법을 구한다는 처리를 한다.
즉, 참조 벡터 후보 인덱스(mv_ref_idx)를 1로 초기화하고, 최소 레이트 왜곡 비용(mcost)을 절대로 취할 수 없는 최대값(maxCost)으로 초기화한 후[S301], mv_ref_idx가 할당된 참조 벡터 후보수(NumOfListMvRef)가 될 때까지[S313] mv_ref_idx에 1을 가산하면서[S314], 이하의 처리 [S302~S312]를 반복하여 실행한다.
이 반복하여 실행하는 [S302~S312]에서는, 우선, mv_ref_idx에 대응지어진 참조 벡터를 구하여 이를 mv_ref라고 한다[S302].
여기서, 입력 화상 상의 블록(blk)의 화상정보와 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역의 화상정보의 상이도를 구하고, 그것이 미리 설정된 임계값(TH)보다도 작은지를 판정한다[S303].
여기서의 처리는 상술한 S203에서 행해지는 처리와 같고, 상이도도 S203 시와 같이 하여 구해진다.
상이도가 임계값 이상인 경우는, mv_ref로 나타나는 참조 벡터 대상 영역의 화상정보가 부호화 대상 영역의 화상정보와 크게 다르고, 그 영역은 부호화 대상 영역과 대응하지 않음을 나타내고 있기 때문에, 그 때의 mv_ref_idx에 대한 처리를 종료한다.
한편, S303의 판정처리에서 상이도가 임계값보다 작다고 판정된 경우는, 우선, 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역에 대응하는 프레임(ref_mid)(중간 프레임) 상의 영역을 구하고, 그 위치를 pos+mv_ref+mv_mid로 했을 때의 mv_mid를 구한다[S304].
다음에, 프레임(ref_mid) 상의 위치(pos+mv_ref+mv_mid)의 영역에 대응하는 프레임(ref) 상의 영역을 구하고, 그 위치를 pos+mv_ref+mv로 했을 때의 mv를 구한다[S305]. 이 S304와 S305에서의 처리에 대해서는 나중에 상세하게 설명한다.
또, S305의 처리에서 프레임(ref) 상의 영역을 구할 때에, 대응원으로서 프레임(ref_mid) 상의 위치(pos+mv_ref+mv_mid)의 영역 대신에 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역을 이용해도 된다.
이 방법에서는, 템플릿으로서 이용하는 화상정보가 변화하지 않기 때문에, 대응 영역을 구할 때에 오차가 누적되어 부호화 대상 영역의 화상정보에 가깝지 않은 화상정보를 가지는 영역이 대응 영역으로서 구해지는 것을 막을 수 있다.
그리고, 지금까지 얻어진 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역의 화상정보(RVec[]), 프레임(ref_mid) 상의 위치(pos+mv_ref+mv_mid)의 영역의 화상정보(Mid[]), 프레임(ref) 상의 위치(pos+mv_ref+mv)의 영역의 화상정보(Ref[])를 이용하여 최소의 레이트 왜곡 비용이 얻어지는 예측 화상을 생성할 수 있는지를 조사한다[S306~S312].
즉, 예측 화상 생성법 인덱스(pmode)를 1로 초기화한 후[S306], pmode가 예측 화상 생성법의 수(MaxPmode)가 될 때까지[S311] pmode에 1을 가산하면서[S312], pmode에 대응지어진 예측 화상의 생성법으로 예측 화상을 생성하고[S307], 그 때의 레이트 왜곡 비용(cost)을 계산하며[S308], cost가 mcost보다도 작은지를 판정하여[S309] cost가 작다고 판정된 경우에는, mcost를 cost로 고쳐쓰고, b_mv_ref를 mv_ref로 고쳐쓰며, b_mv_mid를 mv_mid로 고쳐쓰고, b_mv를 mv로 고쳐쓰며, b_pmode를 pmode로 고쳐쓴다[S310]는 처리 [S307~S310]를 반복하여 실행한다.
이 때, S308에서 행하는 레이트 왜곡 비용의 계산은 상술한 S110에서의 방법과 같은 방법을 이용하여 행한다.
여기서는, 3개의 화상정보(참조 벡터 대상 프레임 상의 화상정보, 참조 프레임 상의 화상정보, 중간 프레임 상의 화상정보의 3개의 화상정보)가 얻어졌을 때에 이용할 수 있는 예측 화상의 생성법으로서, 상술한 [수학식 4]로 나타낸 방법에 덧붙여, 대응하는 화소마다 3개의 화상정보의 평균값을 구하여 예측 화상을 만드는 방법, 대응하는 화소마다 3개의 화상정보의 중간값을 구하여 예측 화상을 만드는 방법, 중간 영역과 참조 벡터 대상 영역 사이의 변화가 참조 영역과 부호화 대상 영역의 사이에 일어난다고 가정하여 예측 화상을 생성하는 방법을 들 수 있다.
이러한 예측 화상 생성법은, 식으로 나타내면 하기의 [수학식 5]와 같이 된다. 여기서는, 설명을 위해 각각을 pmode=3,4,5에 대응시키고 있다. 또, 그 이외의 방법에 pmode를 할당해도 되고, pmode의 할당하는 순번을 변경해도 된다.
Figure pat00005
또, pmode=5의 예측은 S305의 처리를 흐름도에 기술한 대로 실행한 경우가 가정한 정보를 실현하기 쉬워지기 때문에 예측 정밀도가 좋아진다.
한편, pmode=4의 예측은 S305의 처리를 기술 대로가 아니라, 프레임(ref) 상의 영역을 구할 때에, 상술한 바와 같이 대응원으로서 프레임(ref_mid) 상의 위치(pos+mv_ref+mv_mid)의 영역 대신에 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역을 이용하는 것이 오차의 누적이 적어져 예측 정밀도가 좋아진다.
그 때문에, pmode에 따라 흐름도의 S305에서 프레임(ref_mid) 상의 위치(pos+mv_ref+mv_mid)의 영역을 사용할지, 프레임(ref_vec) 상의 위치(pos+mv_ref)의 영역을 사용할지를 절환하는 방법을 취할 수 있다.
다음에, 도 10에 나타내는 흐름도에 따라 상술한 S204, S304, S305에서 행해지는 처리에 대해 상세하게 설명한다.
이 흐름도에서는, S204, S304, S305의 처리를 일반화하고, 프레임(A) 상의 위치(X)의 영역에 대응하는 프레임(B) 상의 영역(Y)을 구하는 처리를 나타낸다.
단, S204, S304, S305에서 구하는 mv나 mv_mid는 각각 Y의 위치를 이용하여 필요한 것을 계산하기로 한다. 또, 이하에서는 프레임(A) 상의 위치(X)의 영역을 단지 영역(AX)이라고 나타낸다.
우선, 영역(AX)을 부호화할 때에 이용된 참조 벡터 대상 프레임의 인덱스를 대응관계 정보 축적 메모리(112)에서 취득하여 ref_vec_t라고 한다[S401].
이 때, 영역(AX)이 부호화 처리의 단위 블록에 일치하지 않는 경우 등에는, 영역(AX)이 부호화할 때에 이용된 참조 벡터 대상 프레임은 하나로 정해지지 않는다.
그 경우는, 복수의 참조 벡터 대상 프레임 중에서, 영역(AX) 내에서 가장 넓은 영역에 대해 이용되어 있는 참조 벡터 대상 프레임의 인덱스를 ref_vec_t라고 한다.
또한, 참조 벡터 대상 프레임을 하나도 가지지 않는 경우는, 절대로 취할 수 없는 값을 ref_vec_t로 설정하기로 한다.
다음에, 이렇게 하여 구해진 ref_vec_t와 B가 같은지를 판정한다[S402].
같다고 판정된 경우는, 영역(AX)을 부호화할 때에 이용된 참조 벡터(mv_vec_t)를 구한다[S403].
이 때, 영역(AX)이 부호화 처리의 단위 블록에 일치하지 않는 경우 등에는, 영역(AX)이 부호화할 때에 이용된 참조 벡터는 하나로 정해지지 않는다.
그 경우는, 영역(AX) 내에서 참조 벡터 대상 프레임이 ref_vec_t의 영역이 가지는 참조 벡터 중 가장 큰 영역에서 이용되어 있는 것을 mv_vec_t라고 한다.
또, 단순히 가장 큰 영역에서 이용되어 있는 것은 아니고, 영역의 크기마다 중량부여한 평균값이나 중간값, 영역의 크기에 따라 중량부여를 하지 않고 구한 평균값이나 중간값 등을 이용해도 된다.
mv_vec_t가 구해지면, 프레임(B) 상의 위치(X+mv_vec_t)의 주변에서 영역(AX)의 화상정보에 가까운 화상정보를 가지는 영역(Y)을 구한다[S404].
또, 탐색을 위한 연산량을 삭감하기 위해, 위치(X+mv_vec_t)를 Y로 해도 된다. 왜냐하면, X+mv_vec_t로 나타나는 영역은 영역(AX)을 부호화할 때에 참조된 영역이기 때문에, 어느 정도 영역(AX)의 화상정보에 가까운 화상정보를 가지는 영역이 되고, 대응관계의 적합도를 크게 저하시키지 않기 때문이다.
한편, S402의 판정처리에서 ref_vec_t와 B가 같지 않다고 판정된 경우, 영역(AX)을 부호화할 때에 이용된 참조 프레임의 인덱스를 대응관계 정보 축적 메모리(112)에서 취득하여 ref_t라고 한다[S405].
이 때도 S401의 처리시와 같이 복수의 참조 프레임이 얻어지는 경우가 있는데, 그 때에는 S401의 처리에서 설명한 방법과 같은 방법을 이용하여 하나의 ref_t를 결정한다.
그리고, 이번에는 ref_t와 B가 같은지를 판정한다[S406].
같다고 판정된 경우는, 영역(AX)을 부호화할 때에 이용된 위치(X)부터 참조 영역까지의 벡터(mv_t)를 대응관계 정보 축적 메모리(112)에서 취득한다[S407].
영역(AX)에 대해 복수의 mv_t가 얻어지는 경우는, S403의 처리에서 설명한 방법에 따라 하나의 mv_t를 얻는다.
mv_t가 구해지면, 프레임(B) 상의 위치(X+mv_t)의 주변에서 영역(AX)의 화상정보에 가까운 화상정보를 가지는 영역(Y)을 구한다[S408].
이 때, S404의 처리에서 설명한 바와 같이, 탐색을 위한 연산량 삭감을 위해 위치(X+mv_t)를 Y로 해도 된다.
한편, S406의 판정처리에서 ref_t와 B가 같지 않다고 판정된 경우, 영역(AX)의 화상정보에 가까운 화상정보를 가지는 프레임(B) 상의 영역(Y)을 통상의 블록 매칭 등의 탐색을 함으로써 구한다[S409].
다음에, S127에서 행해지는 예측 화상 생성처리의 상세에 대해 설명한다.
예측 화상은, S127의 처리에 도달할 때까지 행해지는 처리에 의해 구해진 pos, best_ref, best_ref_vec, best_ref_mid, best_mv, best_mv_ref, best_mv_mid, best_pmode에 따라 이하의 절차 1로 생성된다.
절차 1
1. 프레임(best_ref_vec) 상의 위치(pos+best_mv_ref)의 영역의 화상정보(RVec[])를 참조 프레임 메모리(105)에서 취득한다
2. best_ref와 best_ref_vec가 같으면 6으로 진행한다
3. 프레임(best_ref) 상의 위치(pos+best_mv_ref+best_mv)의 영역의 화상정보(Ref[])를 참조 프레임 메모리(105)에서 취득한다
4. best_ref_mid와 best_ref가 같으면 6으로 진행한다
5. 프레임(best_ref_mid) 상의 위치(pos+best_mv_ref+best_mv_mid)의 영역의 화상정보(Mid[])를 참조 프레임 메모리(105)에서 취득한다
6. pmode의 값에 따라 상술한 [수학식 4] 및 [수학식 5]를 이용하여 예측 화상(Pred[])을 생성한다
또, 여기에 든 이외의 예측 화상의 생성법을 pmode에 대응시켜 이용해도 된다.
다음에, S128에서 행해지는 부가정보 부호화 처리의 상세에 대해 설명한다.
여기서 말하는 부가정보란, best_ref, best_ref_vec, best_pmode이다. 또, 이들의 정보를 부호화하는 데에 앞서서 차분 참조 벡터가 부호화되어 있는 것으로 한다.
우선, 참조 벡터 대상 프레임(best_ref_vec)을 부호화한다.
best_ref_vec는, 블록(blk)의 인접영역에서 best_ref_vec로서 부호화되어 있는 프레임이나, 부호화 대상 프레임에 인접하는 프레임에 대응한 프레임이 선택될 가능성이 높다고 생각되기 때문에, 그들의 프레임에 대응하는 프레임 인덱스를 부호화하는 경우에, 그 이외의 프레임에 대응하는 프레임 인덱스를 부호화하는 경우보다도 적은 부호량으로 부호화할 수 있도록 부호어 테이블을 절환한다.
그렇게 함으로써, 어떤 프레임에도 같은 부호량이 필요한 경우에 비해 적은 부호량으로 부호화를 행할 수 있다.
다음에, 참조 프레임(best_ref)을 부호화한다.
먼저 부호화한 best_ref_vec와 별도로 부호화되어 있는 차분 참조 벡터에서 생성할 수 있는 참조 벡터를 이용하여 부호어 테이블을 절환한다.
즉, 참조 벡터 대상 프레임(best_ref_vec) 상의 참조 벡터에 의해 나타나는 참조 벡터 대상 영역의 부호화 정보를 이용하여, 발생확률이 높다고 생각되는 프레임 인덱스에 대해 짧은 부호어를 할당하도록 부호어 테이블을 절환한다.
예를 들면, 참조 벡터 대상 프레임(best_ref_vec)이 I프레임이 아닌 것에 참조 벡터 대상 영역에서 인트라 부호화가 가장 많이 사용되고 있는 경우, 그 참조 벡터 대상 영역과 화상정보가 유사한 다른 프레임의 영역이 없다는 것을 나타내고 있는 점에서 best_ref는 best_ref_vec와 같이 될 가능성이 높기 때문에, best_ref_vec와 같은 프레임 인덱스에 짧은 부호어를 할당한다.
또한, 마찬가지로, 참조 벡터 대상 영역을 부호화할 때에 참조 프레임이나 참조 벡터 대상 프레임으로서 이용되고 있는 프레임은 이용되고 있는 영역이 크면 클수록 best_ref에 선택될 가능성이 높기 때문에, 그 확률의 순서에 따라 부호어를 할당한다.
이와 같이 함으로써, 모든 인덱스에 대해 같은 길이의 부호어를 할당하는 것보다도 적은 부호량으로 부호화를 할 수 있다.
마지막으로, best_pmode를 부호화한다. 먼저 부호화한 best_ref_vec와 best_ref와 참조 프레임 메모리(105) 내의 프레임 정보를 이용하여 부호어 테이블을 절환한다.
예를 들면, best_ref_vec와 best_ref가 같은 경우, 블록(blk)에 대해 대응 영역이 하나만 얻어지게 되는 점에서 pmode가 1 이외이어도 의미가 없기 때문에, pmode의 부호화 자체를 생략하는 부호어 테이블을 설정함으로써 부호량을 삭감할 수 있다.
또한, 반대로 best_ref_vec와 best_ref가 다른 경우는, pmode로서 1이 선택될 가능성은 매우 낮다고 생각되기 때문에, 1 이외의 것의 부호어가 짧아지도록 부호어 테이블을 절환함으로써, 모든 예측 화상 생성법에 같은 길이의 부호어를 할당하는 것보다도 적은 부호량으로 부호화할 수 있다.
또한, 참조 프레임 상에 2개의 프레임밖에 없는 경우나, best_ref_vec와 best_ref의 조합을 생각했을 때에 적절한 중간 프레임이 참조 프레임 메모리(105) 상에 없는 경우에는, 대응 영역을 3개 필요로 하는 예측 화상 생성법은 취할 수 없기 때문에, 그 이외의 예측 화상 생성법의 부호어가 짧아지는 부호어 테이블로 절환함으로써, 모든 예측 화상 생성법에 같은 길이의 부호어를 할당하는 것보다도 적은 부호량으로 부호화할 수 있다.
또, 상술한 바와 같이, 부가정보는 각각을 개별로 부호화해도 되고, 조합에 대해 번호를 할당하여 부호화를 행해도 된다.
즉, 참조 프레임 메모리에 2장의 화상(인덱스를 1과 2로 함)이 있고, 예측 화상 생성법이 지금까지 든 5종류인 경우, {best_ref, best_ref_vec, best_pmode}의 세트는 {1,1,1}, {1,1,2}, {1,1,3}, {1,1,4}, {1,1,5}, {1,2,1}, {1,2,2}, {1,2,3}, {1,2,4}, {1,2,5}, {2,1,1}, {2,1,2}, {2,1,3}, {2,1,4}, {2,1,5}, {2,2,1}, {2,2,2}, {2,2,3}, {2,2,4}, {2,2,5}의 20종류 존재한다.
이 20종류의 조합에 대해 1~20의 번호를 할당하여 그 번호를 부호화해도 된다.
그러나, 이러한 조합 중에는 의미가 없는 조합이 몇 개 존재한다.
예를 들면, best_ref와 best_ref_vec가 같은 것은 부호화 대상 영역에 대해 대응 영역이 하나만 얻어지기 때문에, pmode=2~5는 있을 수 없다.
즉, 유효한 조합은 {1,1,1}, {1,2,1}, {1,2,2}, {1,2,3}, {1,2,4}, {1,2,5}, {2,1,1}, {2,1,2}, {2,1,3}, {2,1,4}, {2,1,5}, {2,2,1}의 12종류뿐이고, 1~12의 번호 중 하나를 부호화하면 된다.
또한, 참조 프레임 메모리에 2장의 화상만 있는 경우는, 중간 프레임으로서 선택할 수 있는 프레임이 없기 때문에, 3개의 대응 영역을 필요로 하는 pmode도 의미가 없다. 따라서, 유효한 조합은 더 감소하여 {1,1,1}, {1,2,1}, {1,2,2}, {2,1,1}, {2,1,2}, {2,2,1}의 6종류만이 유효한 것이 되고, 1~6의 번호 중 하나를 부호화하면 된다.
참조 프레임 메모리에 3장 이상의 화상이 있는 경우에서도, 본 실시예의 경우, best_ref와 best_ref_vec의 조합에 의해서는 적절한 중간 프레임이 존재하지 않아, 3개의 대응 영역을 필요로 하는 예측 화상을 생성할 수 없는 상황이 있을 수 있다. 그러한 경우에서도, 유효하지 않은 조합에 대해서는 부호를 할당하지 않는다는 방법을 취할 수 있다.
또, 3개 모든 정보를 조합하여 부호화하지 않고, 특정의 2개만을 조합하여 부호화해도 된다.
예를 들면, best_ref_vec는 개별로 부호화하고, best_ref와 pmode는 조합하여 하나의 부호어로 부호화해도 된다. 이 때, best_ref_vec와 별도 부호화되어 있는 참조 벡터를 이용함으로써 얻어지는 참조 벡터 대상 영역에서의 부호화 데이터에 의해 {best_ref, pmode}의 부호어 테이블을 절환하여 부호화하는 방법도, 상술한 관련예에 의해 쉽게 유추 가능하다.
도 11에 본 발명의 동영상 복호장치(200)의 일실시예를 나타낸다.
이 동영상 복호장치(200)는, 복호 대상이 되는 화상의 예측 화상에 대한 차분인 곳의 차분 화상의 부호화 데이터를 복호하는 차분 화상 복호부(201), 예측 화상을 생성할 때에 필요한 참조 벡터의 예측 참조 벡터에 대한 차분인 곳의 차분 참조 벡터의 부호화 데이터를 복호하는 차분 참조 벡터 복호부(202), 예측 화상을 생성할 때에 필요한 참조 벡터 대상 프레임 지정정보와 참조 프레임 지정정보와 예측 화상 생성법 지정정보로 이루어진 부가정보의 부호화 데이터를 복호하는 부가정보 복호부(203), 주어진 정보에 따라 복호 대상 영역의 예측 화상을 작성하는 예측 화상 작성부(204), 예측 화상과 복호된 차분 화상의 합으로 구해지는 복호 화상을 축적하는 참조 프레임 메모리(205), 복호 대상 영역의 인접 영역에서 사용되고 있던 벡터 정보로부터 복호 대상 영역에서 이용하는 참조 벡터의 예측 벡터가 되는 예측 참조 벡터를 생성하는 예측 참조 벡터 생성부(206), 복호에 이용한 참조 벡터와 참조 영역과 참조 벡터 대상 프레임과 참조 프레임의 세트를 복호 대상 프레임 및 복호 대상 영역에 관련지어 축적하는 대응관계 정보 축적 메모리(207), 예측 참조 벡터와 복호된 차분 참조 벡터의 합으로 구해지는 참조 벡터에 의해 나타나는, 참조 벡터 대상 프레임 상의 참조 벡터 대상 영역을 설정하는 참조 벡터 대상 영역 설정부(208), 참조 벡터 대상 영역의 화상정보와 참조 프레임을 이용하여 참조 영역을 탐색하는 참조 영역 탐색부(209)를 구비한다.
도 12에 이와 같이 구성되는 동영상 복호장치(200)가 실행하는 동영상 복호처리의 흐름도를 나타낸다.
이 흐름도에 따라, 이와 같이 구성되는 동영상 복호장치(200)가 실행하는 동영상 복호처리에 대해 상세하게 설명한다. 단, 이미 복수의 프레임의 화상을 복호 완료하고, 그 결과가 참조 프레임 메모리(205), 대응관계 정보 축적 메모리(207)에 축적되어 있는 것으로 한다.
우선, 차분 화상의 부호화 데이터, 차분 참조 벡터의 부호화 데이터, 부가정보의 부호화 데이터가 동영상 복호장치(200)에 입력되고, 각각 차분 화상 복호부(201), 차분 참조 벡터 복호부(202), 부가정보 복호부(203)로 보내진다[S501].
복호 대상 화상은 화상 전체를 영역 분할하고, 영역마다 복호를 행한다[S502~S517].
이 흐름도에서는, 블록(영역)의 인덱스를 blk라고 나타내고, 하나의 화상에 포함되는 총 블록수를 MaxBlk라고 나타낸다. 즉, 인덱스(blk)를 1로 초기화한 후[S502], blk가 MaxBlk가 될 때까지[S516] blk에 1을 가산하면서[S517], 이하의 처리 [S503~S515]를 반복하여 실행함으로써 화상을 복호한다.
블록마다 행하는 처리에서는, 우선, 블록(blk)의 위치를 pos에 저장하고[S503], 대응관계 정보 축적 메모리(207)에 저장되어 있는, 블록(blk)의 주변 블록에서 사용된 참조 벡터 등에서 예측 참조 벡터(pmv)를 생성한다[S504].
다음에, 부호화 데이터로부터 블록(blk)에 대한 참조 벡터 대상 프레임 인덱스(dec_ref_vec), 참조 프레임 인덱스(dec_ref), 예측 화상 생성법 인덱스(dec_pmode), 차분 참조 벡터(dec_sub_mv_ref), 예측 잔차 화상의 화상정보(Res[])를 복호하고, 참조 벡터(dec_mv_ref)를 pmv+dec_sub_mv_ref를 계산함으로써 취득하며, mv를 제로 벡터로 초기화한다[S505].
그리고, dec_ref와 dec_ref_vec가 같은지를 판정한다[S506]. 같다고 판정된 경우는, 예측 화상(Pred[])을 생성한다[S512].
여기서 행해지는 예측 화상 생성처리는 best_ref를 dec_ref로, best_ref_vec를 dec_ref_vec로, best_mv_ref를 dec_mv_ref로, best_pmode를 dec_pmode로, best_ref_mid를 ref_mid로, best_mv_mid를 mv_mid로, best_mv를 mv로 고쳐 읽은 상술한 절차 1에 따라 이루어진다.
한편, S506의 판정처리에서 dec_ref와 dec_ref_vec가 같지 않다고 판정된 경우는, dec_ref_vec가 나타내는 프레임과의 시각관계 및 시점관계가 복호 대상 프레임과 dec_ref가 나타내는 프레임의 시각관계 및 시점관계에 일치하는 이미 복호 완료한 프레임을 발견하여 이를 ref_mid라고 한다[S507].
또, 이 조건을 만족시키는 복호 완료한 프레임이 참조 프레임 메모리(205) 내에 존재하지 않는 경우에는, ref_mid는 dec_ref로 설정한다.
그리고, ref_mid가 dec_ref 또는 dec_ref_vec에 일치하는지를 판정한다[S508].
일치한다고 판정된 경우는, 프레임(dec_ref_vec) 상의 위치(pos+dec_mv_ref)의 영역에 대응하는 프레임(dec_ref) 상의 영역을 구하고, 그 위치를 pos+dec_mv_ref+mv라고 했을 때의 mv를 구한다[S509].
이 처리는 일부의 변수명이 다를 뿐이고, 이미 설명한 S204에서 행해지는 처리와 같다.
또한, S508의 판정처리에서 ref_mid가 dec_ref, dec_ref_vec의 어느 것과도 같지 않다고 판정된 경우, 우선, 프레임(dec_ref_vec) 상의 위치(pos+dec_mv_ref)의 영역에 대응하는 프레임(ref_mid) 상의 영역을 구하고, 그 위치를 pos+dec_mv_ref+mv_mid라고 했을 때의 mv_mid를 구한다[S510].
다음에, 프레임(ref_mid) 상의 위치(pos+dec_mv_ref+mv_mid)의 영역에 대응하는 프레임(dec_ref) 상의 영역을 구하고, 그 위치를 pos+dec_mv_ref+mv라고 했을 때의 mv를 구한다[S511].
이 처리는 일부의 변수명이 다를 뿐이고, 각각 이미 설명한 S304와 S305에서 행해지는 처리와 같다.
S509, S511의 처리가 종료되면, 구해진 정보를 이용하여 예측 화상(Pred[])을 생성한다[S512].
여기서 행해지는 예측 화상 생성처리는, 상술한 바와 같이 best_ref를 dec_ref로, best_ref_vec를 dec_ref_vec로, best_mv_ref를 dec_mv_ref로, best_pmode를 dec_pmode로, best_ref_mid를 ref_mid로, best_mv_mid를 mv_mid로, best_mv를 mv로 고쳐 읽은 상술한 절차 1에 따라 행해진다.
예측 화상(Pred[])이 생성되면, Pred[]와 Res[]의 화소값을 화소마다 가하여 복호 화상(Dec[])을 생성한다[S513]. 생성된 Dec[]는 출력됨과 동시에, 참조 프레임 메모리(205)에 저장된다[S514].
또한, 복호에 이용한 dec_ref_vec, dec_ref, dec_mv_ref, dec_pmode, mv를 복호 대상 프레임의 인덱스와 pos(또는 blk)에 대응시켜 대응관계 정보 축적 메모리(207)에 저장한다[S515].
여기서, S505의 처리에서 행해지는 부가정보의 부호화 데이터를 복호할 때에는, 상술한 부호화시의 방법과 같이 부호어 테이블을 절환하면서 복호를 행한다.
또, 부가정보의 부호화 데이터를 복호하기 전에, 차분 참조 벡터의 부호화 데이터를 복호하고, 블록(blk)에서 이용하는 참조 벡터가 얻어져 있는 것으로 한다.
우선, dec_ref_vec를 복호한다.
dec_ref_vec가 나타내는 프레임은, 블록(blk)의 인접 영역에서 참조 벡터 대상 프레임으로서 이용된 프레임이나, 부호화 대상 프레임에 인접하는 프레임에 대응한 프레임일 가능성이 높기 때문에, 그들의 프레임에 대응하는 프레임 인덱스가 부호화되어 있을 가능성이 높다고 하여, 그들의 프레임 인덱스에 대해 그 이외의 프레임에 대응하는 프레임 인덱스보다도 짧은 부호어가 할당된 부호어 테이블로 절환한다.
다음에, dec_ref를 복호한다. 여기서는, 먼저 복호한 best_ref_vec와 참조 벡터를 이용하여 부호어 테이블을 절환한다.
즉, 프레임(dec_ref_vec) 상의 참조 벡터에 의해 나타나는 참조 벡터 대상 영역의 부호화 정보를 이용하여, 발생확률이 높다고 생각되는 프레임 인덱스에 대해 짧은 부호어가 할당되어 있는 부호어 테이블로 절환한다.
예를 들면, 프레임(dec_ref_vec)이 I프레임이 아닌 것에 참조 벡터 대상 영역에서 인트라 부호화가 가장 많이 사용되고 있는 경우, 그 참조 벡터 대상 영역과 화상정보가 유사한 다른 프레임의 영역이 없다는 것을 나타내고 있는 점에서 dec_ref는 dec_ref_vec와 같이 될 가능성이 높기 때문에, dec_ref_vec와 같은 프레임 인덱스에 짧은 부호어가 할당된 부호어 테이블을 이용한다.
또한, 마찬가지로, 참조 벡터 대상 영역을 복호할 때에 참조 프레임이나 참조 프레임 대상 프레임으로서 이용되고 있는 프레임은, 이용되고 있는 영역이 크면 클수록 dec_ref에 선택될 가능성이 높기 때문에, 그 확률의 순서에 따라 부호어를 할당한 부호어 테이블을 이용한다.
마지막으로, dec_pmode를 복호한다. 먼저 복호한 dec_ref_vec와 dec_ref와 참조 프레임 메모리(105) 내의 프레임 정보를 이용하여 부호어 테이블을 절환한다.
예를 들면, dec_ref_vec와 dec_ref가 같은 경우, 블록(blk)에 대해 대응 영역이 하나만 얻어지게 되기 때문에, dec_pmode가 1 이외이어도 의미가 없기 때문에, dec_pmode는 부호화 데이터에 포함되지 않는다고 판단하고, dec_pmode를 1로 복호한다.
또한, 반대로 dec_ref_vec와 dec_ref가 다른 경우는, dec_pmode로서 1이 선택될 가능성은 매우 낮다고 생각되기 때문에, 1 이외의 것의 부호어가 짧은 부호어 테이블을 이용한다.
또한, 참조 프레임 상에 2개의 프레임밖에 없는 경우나, dec_ref_vec와 dec_ref의 조합을 생각했을 때에 적절한 중간 프레임이 참조 프레임 메모리(205) 상에 없는 경우에는, 대응 영역을 3개 필요로 하는 예측 화상 생성법은 취할 수 없기 때문에, 그 이외의 예측 화상 생성법의 부호어가 짧은 부호어 테이블로 절환한다.
단, 여기서 이용하는 부호어 테이블과 그 절환 기준은 부호화시의 것과 같은 것을 이용할 필요가 있다.
또한, 상술한 동영상 부호화 장치(100)의 실시예에서 설명한 바와 같이, 부가정보를 개별로 부호화하지 않고, 조합에 대해 번호를 할당하여 부호화되어 있어도 된다. 그 경우, 복호도 마찬가지로, 조합에 대해 번호가 할당되어 있는 것으로서 복호처리를 함으로써 복호처리를 한다.
도시하는 실시예에 따라 본 발명을 설명하였지만, 본 발명은 이 실시예에 한정되는 것은 아니다.
예를 들면, 실시예에서는, 중간 프레임을 참조 벡터 대상 프레임과의 시각관계 및 시점관계가 부호화 및 복호 대상 프레임과 참조 프레임의 시각관계 및 시점관계에 일치하는 프레임으로 고정하고 있다.
그러나, 부호화측과 복호측에서 같은 룰에 기초하여 선택하는 것이면, 다른 룰에서 결정되는 프레임을 이용해도 된다.
예를 들면, 「표시시각이 참조 벡터 대상 프레임의 표시시각과 같고 시점정보가 참조 프레임의 시점정보와 같은 프레임이나, 표시시각이 참조 프레임의 표시시각과 같고 시점정보가 참조 벡터 대상 프레임의 시점정보와 같은 프레임 중에서, 표시시각 및 시점정보가 부호화 및 복호 대상 프레임의 표시시각 및 시점정보에 가까운 쪽의 프레임」이라는 기준으로 중간 프레임을 선택하는 것으로 해도 된다.
이 선택방법으로 선택한 중간 프레임을 이용함으로써, 참조 벡터 대상 프레임에서 중간 프레임, 중간 프레임에서 참조 프레임 각각의 사이에 포함되는 영상변화의 요인이 시간 또는 카메라 간의 어느 한쪽이 되기 때문에 대응 영역 탐색에 필요한 연산량을 줄일 수 있다.
또한, 이 선택방법의 중간 프레임을 이용한 경우에는, 상술한 pmode=5의 예측 화상 생성법에 의해 생성된 화상의 화상정보가 부호화(복호) 대상 영역의 화상정보에 가까워질 가능성이 낮아진다. 이는, 상기 예측 화상 생성법에서 가정하고 있는 상황이 성립되지 않게 되기 때문이다.
그 경우에는, 이 선택방법으로 선택된 중간 프레임이 상기 예측 화상 생성법에서 가정하고 있는 상황, 즉 참조 프레임과 부호화 대상 프레임의 관계와 중간 프레임과 참조 벡터 대상 프레임의 관계가 같은 상황이 성립되는 경우에만 상기 예측 화상 생성법의 선택을 가능하게 하거나, 그러한 가정 상황이 성립될 때와 성립되지 않을 때에 부호어 테이블을 절환하여 선택되기 쉬운 예측 화상 생성법에 의해 짧은 부호어를 할당하도록 한다는 것을 행해도 된다.
또한, 실시예에서는 프레임 내 부호화에 대해서는 서술하지 않지만, 예측 화상을 만드는 방법의 하나로서, 예를 들면 예측 화상 생성법으로서 다른 번호를 할당함으로써 쉽게 추가할 수 있다.
또한, 예측 화상 생성법으로서 취급하지 않고, H.264와 같이 별도 부호화 모드를 준비하여 실현한 동영상 부호화 장치나 동영상 복호장치도 본 발명으로부터 쉽게 유추 가능하다.
이상 설명한 동영상 부호화 및 복호의 처리는, 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있고, 그 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하여 제공하는 것도 가능하며, 네트워크를 통해 제공하는 것도 가능하다.
또한, 이상의 실시예에서는 동영상 부호화 장치 및 동영상 복호장치를 중심으로 설명하였지만, 이들 동영상 부호화 장치 및 동영상 복호장치의 각 부의 동작에 대응한 단계에 의해 본 발명의 동영상 부호화 방법 및 동영상 복호방법을 실현할 수 있다.
이상, 도면을 참조하여 본 발명의 실시예를 설명하였지만, 이상에 설명한 실시예는 본 발명의 예시에 불과하고, 본 발명이 이상에 설명한 실시예에 한정되는 것이 아님은 명백하다.
따라서, 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 그 밖의 변경을 해도 된다.
본 발명에 의하면, 인접 영역에서 예측 화상을 생성할 때의 참조 프레임이 다른 경우에서도, 같은 참조 벡터 대상 프레임을 이용함으로써 벡터로 표현해야 하는 시간이나 시차 등의 영상변화의 요인이 통일되고, 인접 영역에서 부호화된 벡터로부터 부호화해야 할 벡터에 가까운 예측 벡터를 생성할 수 있게 되며, 이에 의해, 보다 적은 부호량으로 프레임간 예측 부호화를 위한 벡터 정보를 부호화할 수 있게 된다.
100 동영상 부호화 장치
101 화상 입력부
102 예측 화상 작성부
103 차분 화상 부호화부
104 차분 화상 복호부
105 참조 프레임 메모리
106 참조 프레임 설정부
107 참조 벡터 대상 프레임 설정부
108 예측 화상 생성법 설정부
109 부가정보 부호화부
110 참조 벡터 대상 영역 탐색부
111 참조 영역 탐색부
112 대응관계 정보축적 메모리
113 예측 참조 벡터 생성부
114 차분 참조 벡터 부호화부

Claims (3)

  1. 화상 전체를 영역 분할하여 영역마다 이미 복호 완료한 복수의 프레임의 화상 정보에서 예측 화상을 생성하여, 복호 대상 프레임 내의 복호 대상 영역의 화상과 예측 화상의 차분 정보를 복호함으로써 동영상을 복호하는 동영상 복호 방법으로서,
    참조 벡터에 의해 나타나는 참조 벡터 대상 프레임 상의 참조 벡터 대상 영역을 복호할 때의 정보에 기초하여, 참조 프레임 상의 참조 영역을 설정하는 참조 프레임 영역 설정 단계;
    상기 참조 영역에 대응하는 상기 참조 프레임의 화상 정보를 이용하여, 예측 화상을 생성하는 예측 화상 생성 단계;를 포함하는 동영상 복호 방법.
  2. 제1항에 있어서,
    상기 참조 프레임 영역 설정 단계에서, 상기 복호 대상 영역을 시점으로 하여, 상기 참조 벡터 대상 영역을 복호할 때 사용된 참조 벡터와 같은 방향과 크기를 가지는 벡터에 의해 나타나는 상기 선택한 참조 프레임 상의 영역을, 상기 참조 영역으로서 설정하는 것을 특징으로 하는 동영상 복호 방법.
  3. 제1항에 있어서,
    상기 동영상 복호 방법의 각 단계를 실행하는 수단을 구비한 동영상 복호 장치.
KR1020147006050A 2006-10-30 2007-10-24 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체 KR101533740B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2006-293901 2006-10-30
JP2006293901 2006-10-30
PCT/JP2007/070711 WO2008053758A1 (fr) 2006-10-30 2007-10-24 Procédé de codage d'image dynamique, procédé de décodage, leur dispositif, leur programme et support de stockage contenant le programme

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020097008596A Division KR101447717B1 (ko) 2006-10-30 2007-10-24 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체

Publications (2)

Publication Number Publication Date
KR20140048320A true KR20140048320A (ko) 2014-04-23
KR101533740B1 KR101533740B1 (ko) 2015-07-03

Family

ID=39344100

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147006050A KR101533740B1 (ko) 2006-10-30 2007-10-24 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체
KR1020097008596A KR101447717B1 (ko) 2006-10-30 2007-10-24 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097008596A KR101447717B1 (ko) 2006-10-30 2007-10-24 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체

Country Status (11)

Country Link
US (2) US8532190B2 (ko)
EP (2) EP2512139B1 (ko)
JP (1) JP4999860B2 (ko)
KR (2) KR101533740B1 (ko)
CN (1) CN101569202B (ko)
BR (1) BRPI0718272A2 (ko)
CA (1) CA2667175A1 (ko)
ES (1) ES2439444T3 (ko)
RU (2) RU2458479C2 (ko)
TW (2) TWI400959B (ko)
WO (1) WO2008053758A1 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR101623062B1 (ko) * 2010-02-23 2016-05-20 니폰덴신뎅와 가부시키가이샤 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램
JP6342116B2 (ja) * 2010-07-15 2018-06-13 シャープ株式会社 イントラ予測モード推定装置
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US20120268551A1 (en) * 2011-04-19 2012-10-25 Ben Wu Image Interaction Device, Interactive Image Operating System, and Interactive Image Operating Method thereof
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US9366448B2 (en) 2011-06-20 2016-06-14 Honeywell International Inc. Method and apparatus for configuring a filter change notification of an HVAC controller
WO2012176684A1 (ja) * 2011-06-22 2012-12-27 ソニー株式会社 画像処理装置および方法
JP6112418B2 (ja) 2011-06-29 2017-04-12 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
WO2013001749A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US8892223B2 (en) 2011-09-07 2014-11-18 Honeywell International Inc. HVAC controller including user interaction log
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US10747243B2 (en) 2011-12-14 2020-08-18 Ademco Inc. HVAC controller with HVAC system failure detection
JP2013126093A (ja) * 2011-12-14 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
US8902071B2 (en) 2011-12-14 2014-12-02 Honeywell International Inc. HVAC controller with HVAC system fault detection
US9002523B2 (en) 2011-12-14 2015-04-07 Honeywell International Inc. HVAC controller with diagnostic alerts
US10533761B2 (en) 2011-12-14 2020-01-14 Ademco Inc. HVAC controller with fault sensitivity
US9206993B2 (en) 2011-12-14 2015-12-08 Honeywell International Inc. HVAC controller with utility saver switch diagnostic feature
US20130158720A1 (en) 2011-12-15 2013-06-20 Honeywell International Inc. Hvac controller with performance log
US10139843B2 (en) 2012-02-22 2018-11-27 Honeywell International Inc. Wireless thermostatic controlled electric heating system
JP5307958B1 (ja) * 2012-02-23 2013-10-02 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US9442500B2 (en) 2012-03-08 2016-09-13 Honeywell International Inc. Systems and methods for associating wireless devices of an HVAC system
US10452084B2 (en) 2012-03-14 2019-10-22 Ademco Inc. Operation of building control via remote device
US9488994B2 (en) 2012-03-29 2016-11-08 Honeywell International Inc. Method and system for configuring wireless sensors in an HVAC system
US9349192B2 (en) * 2012-04-24 2016-05-24 Lg Electronics Inc. Method and apparatus for processing video signal
RU2506712C1 (ru) * 2012-06-07 2014-02-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ межкадрового прогнозирования для кодирования многоракурсной видеопоследовательности
US9736497B2 (en) * 2012-07-10 2017-08-15 Sharp Kabushiki Kaisha Prediction vector generation device, image encoding device, image decoding device, prediction vector generation method, and program
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9594384B2 (en) 2012-07-26 2017-03-14 Honeywell International Inc. Method of associating an HVAC controller with an external web service
US9477239B2 (en) 2012-07-26 2016-10-25 Honeywell International Inc. HVAC controller with wireless network based occupancy detection and control
US9020282B2 (en) * 2012-12-28 2015-04-28 Intel Corporation Coder based partial image storage and retrieval
US10094585B2 (en) 2013-01-25 2018-10-09 Honeywell International Inc. Auto test for delta T diagnostics in an HVAC system
JP6139953B2 (ja) * 2013-04-12 2017-05-31 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US9806705B2 (en) 2013-04-23 2017-10-31 Honeywell International Inc. Active triac triggering circuit
US9584119B2 (en) 2013-04-23 2017-02-28 Honeywell International Inc. Triac or bypass circuit and MOSFET power steal combination
US10811892B2 (en) 2013-06-28 2020-10-20 Ademco Inc. Source management for a power transformation system
US9983244B2 (en) 2013-06-28 2018-05-29 Honeywell International Inc. Power transformation system with characterization
US11054448B2 (en) 2013-06-28 2021-07-06 Ademco Inc. Power transformation self characterization mode
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
US9426465B2 (en) * 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
US10972751B2 (en) * 2013-10-17 2021-04-06 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, and video decoding apparatus and method
US20160286212A1 (en) * 2013-10-17 2016-09-29 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, and video decoding apparatus and method
KR101750421B1 (ko) 2013-10-17 2017-06-23 니폰 덴신 덴와 가부시끼가이샤 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
US9857091B2 (en) 2013-11-22 2018-01-02 Honeywell International Inc. Thermostat circuitry to control power usage
US9673811B2 (en) 2013-11-22 2017-06-06 Honeywell International Inc. Low power consumption AC load switches
CN105934949A (zh) * 2013-12-03 2016-09-07 日本电信电话株式会社 视频编码装置和方法、视频解码装置和方法、以及它们的程序
WO2015089116A1 (en) 2013-12-11 2015-06-18 Honeywell International Inc. Building automation control systems
JPWO2015098827A1 (ja) * 2013-12-27 2017-03-23 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
CN106464899A (zh) * 2014-03-20 2017-02-22 日本电信电话株式会社 活动图像编码装置及方法和活动图像解码装置及方法
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9628074B2 (en) 2014-06-19 2017-04-18 Honeywell International Inc. Bypass switch for in-line power steal
US9683749B2 (en) 2014-07-11 2017-06-20 Honeywell International Inc. Multiple heatsink cooling system for a line voltage thermostat
JP5858119B2 (ja) * 2014-10-15 2016-02-10 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
US10488062B2 (en) 2016-07-22 2019-11-26 Ademco Inc. Geofence plus schedule for a building controller
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
CN110636334B (zh) * 2019-08-23 2022-12-09 西安万像电子科技有限公司 数据传输方法及系统

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0232486A (ja) * 1988-07-22 1990-02-02 Fuji Electric Co Ltd 経時的収集データ欠損時の自動修復方法
JPH0262180A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
JPH05225152A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd プロセスコントローラ
EP0645930B1 (en) 1993-04-09 2000-06-14 Sony Corporation Method and apparatus for coding image
JP3170958B2 (ja) * 1993-06-30 2001-05-28 日産自動車株式会社 情報収集方法
JP3383092B2 (ja) * 1994-09-14 2003-03-04 東芝システムテクノロジー株式会社 プラント性能計算装置
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
EP0765087B1 (en) * 1995-08-29 2003-11-12 Sharp Kabushiki Kaisha Video coding device
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
JP3823370B2 (ja) * 1996-04-15 2006-09-20 ソニー株式会社 動画像符号化方法、復号方法及びその装置
JP3628810B2 (ja) 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
JPH1049203A (ja) * 1996-07-29 1998-02-20 Fuji Electric Co Ltd 定周期収集データの等値化装置
JPH10276481A (ja) * 1997-03-31 1998-10-13 Omron Corp ワイヤレス稼動情報収集方法および装置
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
JP2000261467A (ja) * 1999-03-09 2000-09-22 Toshiba Corp 情報収集装置
JP3684565B2 (ja) * 1999-03-29 2005-08-17 横河電機株式会社 分散オブジェクトシステムにおける通信装置
JP2003015735A (ja) * 2001-07-05 2003-01-17 Mitsubishi Electric Corp プラント監視・通報装置
JP2003076405A (ja) * 2001-08-30 2003-03-14 Digital Electronics Corp 制御用表示装置、制御システム、制御プログラムおよびそれを記録した記録媒体
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP3934568B2 (ja) * 2003-03-04 2007-06-20 松下電器産業株式会社 動画符号化方法および装置
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
JP2005038246A (ja) * 2003-07-16 2005-02-10 Matsushita Electric Works Ltd 設備監視制御装置、設備監視制御システム、設備監視制御方法及び設備監視制御用プログラム
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
WO2006016418A1 (ja) 2004-08-11 2006-02-16 Hitachi, Ltd. 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP4937741B2 (ja) 2005-01-07 2012-05-23 日本電信電話株式会社 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2006285353A (ja) * 2005-03-31 2006-10-19 Daikin Ind Ltd 機器管理システム
JP2006293901A (ja) 2005-04-14 2006-10-26 Fujitsu Ten Ltd 車載システム及び車載端末

Also Published As

Publication number Publication date
RU2458479C2 (ru) 2012-08-10
JPWO2008053758A1 (ja) 2010-02-25
CA2667175A1 (en) 2008-05-08
KR20090084829A (ko) 2009-08-05
EP2083571A4 (en) 2010-11-10
TWI400959B (zh) 2013-07-01
US8654854B2 (en) 2014-02-18
KR101447717B1 (ko) 2014-10-07
TW200826692A (en) 2008-06-16
TWI502969B (zh) 2015-10-01
JP4999860B2 (ja) 2012-08-15
BRPI0718272A2 (pt) 2013-11-12
CN101569202A (zh) 2009-10-28
EP2512139A1 (en) 2012-10-17
US20120170651A1 (en) 2012-07-05
EP2083571A1 (en) 2009-07-29
WO2008053758A1 (fr) 2008-05-08
RU2009115654A (ru) 2010-10-27
CN101569202B (zh) 2011-11-16
US8532190B2 (en) 2013-09-10
TW201251472A (en) 2012-12-16
RU2012113724A (ru) 2013-10-27
US20100008422A1 (en) 2010-01-14
ES2439444T3 (es) 2014-01-23
EP2512139B1 (en) 2013-09-11
RU2504106C2 (ru) 2014-01-10
KR101533740B1 (ko) 2015-07-03

Similar Documents

Publication Publication Date Title
JP4999860B2 (ja) 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4999859B2 (ja) 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4999853B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4999854B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP2009510892A (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
KR101631183B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램
KR20160118363A (ko) 화상 부호화 장치 및 방법, 화상 복호 장치 및 방법, 및 이들의 프로그램
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right