JP4841101B2 - 動き予測補償方法及び動き予測補償装置 - Google Patents
動き予測補償方法及び動き予測補償装置 Download PDFInfo
- Publication number
- JP4841101B2 JP4841101B2 JP2002350138A JP2002350138A JP4841101B2 JP 4841101 B2 JP4841101 B2 JP 4841101B2 JP 2002350138 A JP2002350138 A JP 2002350138A JP 2002350138 A JP2002350138 A JP 2002350138A JP 4841101 B2 JP4841101 B2 JP 4841101B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- block
- compensation
- motion vector
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は動き予測補償方法及び動き予測補償装置に関し、例えば動画像信号をインターネット等のネットワークを介して送信する画像符号化装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、画像符号化装置は、外部から供給される動画像信号をディジタル化した後、所定の画像符号化方式に準拠した符号化処理を施すことにより画像圧縮情報を生成するようになされている。
【０００３】
かかる画像符号化方式としては、ＩＳＯ／ＩＥＣの符号化専門家グループ（ＭＰＥＧ(Moving Picture Experts Group)により汎用画像の符号化を目的として標準化されたＭＰＥＧと呼ばれる画像符号化方式と、ＩＴＵ団体によりテレビ会議用画像の符号化を目的として標準化されたＨ．２６と呼ばれる画像符号化方式とが知られている。
【０００４】
また近年における携帯電話機等の携帯端末装置の普及等により、一段と高い符号化効率を実現するための画像符号化方式の必要性が示唆されており、これに対応すべく現在では、ＭＰＥＧとＩＴＵ団体とによって、ＪＶＴ(Joint Model ofEnhanced-Compression Video Coding)と呼ばれる画像符号化方式（以下、これをＪＶＴ符号化方式と呼ぶ）の標準化が進められている。
【０００５】
このＪＶＴ符号化方式においては、動き予測補償を行う場合、縦横16×16画素のマクロブロックについて、図１６に示すように、縦横16×16画素サイズでなる１組の画素ブロック（以下、これを動き補償ブロックと呼ぶ）、縦横8 ×16画素サイズでなる２組の動き補償ブロック、縦横16×8 画素サイズでなる２組の動き補償ブロック、あるいは縦横8 ×8 画素サイズでなる４組の動き補償ブロックのように４種類のサイズパターン（以下、これをマクロブロックモードと呼ぶ）ＴＰ１〜ＴＰ４で動きベクトルを探索することができ、当該マクロブロックモードＴＰ１〜ＴＰ４に係る動き補償ブロックごとにそれぞれ独立して動きベクトルを持つことが可能である。
【０００６】
さらにマクロブロックモードＴＰ４に係る４組の動き補償ブロックについては、当該４組の補償ブロックそれぞれを、縦横8 ×8 画素サイズでなる１組の動き補償ブロック、縦横4 ×8 画素サイズでなる２組の動き補償ブロック、縦横8 ×4 画素サイズでなる２組の動き補償ブロック、あるいは縦横4 ×4 画素サイズでなる４組の動き補償ブロックのように４種類のサブサイズパターン（以下、これをサブマクロブロックモードと呼ぶ）ＴＰ５〜ＴＰ８で動きベクトルを探索することができ、当該サブマクロブロックモードに係る動き補償ブロックごとにそれぞれ独立して動きベクトルを持つことができる。
【０００７】
従ってＪＶＴ符号化方式においては、１つのマクロブロックについて、最大１６つの動きベクトルを持つことが可能である（例えば非特許文献１参照）。
【０００８】
また、ＪＶＴ符号化方式においては、動き予測補償を行う場合、例えば図１７に示すように、複数枚の参照フレーム画像群ＳＦを保持することが可能であり、符号化処理対象の対象フレーム画像ＯＦよりも前（過去）に存在する２以上の参照フレーム画像ＳＦ1 、ＳＦ2 及びＳＦn-1 を用いてブロックマッチングを行ったり、あるいは対象フレーム画像ＯＦよりも後（未来）に存在する２以上の参照フレーム画像（図示せず）を用いてブロックマッチングを行ったり、さらには対象フレーム画像ＯＦよりも前後に存在する２以上の参照フレーム画像（図示せず）を用いてブロックマッチングを行うことができ、当該参照候補として保持される参照フレーム画像群ＳＦをマルチプルリファレンスフレーム（Multiple Reference Frame）と呼んでいる（例えば非特許文献１参照）。
【０００９】
さらに、ＪＶＴ符号化方式においては、Rate−Distortion Optimization と呼ばれる最適化動き予測補償（以下、これをＲＤ最適化と呼ぶ）を採用しており、当該ＲＤ最適化により、対象フレーム画像ＯＦにおける全てのマクロブロックについて、複数枚の参照フレーム画像群ＳＦとの間で動き補償ブロック（図１６）ごとにブロックマッチングを行って差分の絶対値和等の差分値（歪）を求めると共に、量子化関数（動きベクトルに対するLagrange乗数）や動きベクトル差分の発生符号量を加味して最も小さい符号量を発生し得る動きベクトルを探索することにより、動きベクトルに対する符号化効率を高めている（例えば非特許文献２参照）。
【００１０】
【非特許文献１】
ＤＲＡＦＴ ＩＳＯ／ＩＥＣ 1/4 ４９６−１０：２００２（Ｅ）
【非特許文献２】
Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ（Ｇ．Ｓｕｌｌｉｖａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄ，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，１９９８−１１）
【００１１】
【発明が解決しようとする課題】
ところで、かかるＪＶＴ符号化方式を適用した符号化装置においては、全てのマクロブロックについて、当該マクロブロック全体と複数枚の参照フレーム画像群ＳＦとの間で、各種画素サイズでなる動き補償ブロック（図１６）に変更しながら、動きベクトル差分の発生符号量を表す発生符号量テーブルを参照すると共に、差分値（歪）のみならず量子化関数（動きベクトルに対するLagrange乗数）をも求めて動き予測補償を行っていることにより、符号化処理における処理負荷が増大してしまうという問題があった。
【００１２】
本発明は以上の点を考慮してなされたもので、画質を極力低下させることなく符号化処理の処理負荷を低減し得る動き予測補償方法及び動き予測補償装置を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明は、動き予測補償に関し、連続するフレーム画像のうち処理対象の対象フレーム画像を、複数の動き補償ブロックに分割し、当該動き補償ブロックを最上位層として、下位層ほど高い縮小率となる複数階層の縮小ブロックを生成する。そして各層ブロックと、当該ブロックに対応した大きさでなる複数の参照画像に対する画素値の差分の絶対値総和が最小となる部分との動きベクトルを検出する。この検出過程では、最下位層を除く各層については、対象層よりも下位層で検出される動きベクトルの始点及び終点に対応する画素を含む周辺の探索範囲内で動きベクトルを検出し、最上位層については、上記動き補償ブロックの画素サイズを順次変更し、１つ下の階層で検出された動きベクトルの始点及び終点に対応する画素を含む周辺の範囲内であって、対象とされる画素サイズよりも大きいサイズで検出される動きベクトルの始点及び終点を含む範囲に基づく探索範囲内で、該画素サイズごとに動きベクトルを検出する。
【００１４】
この場合、各参照フレーム画像全体を用いることなく、当該各参照フレーム画像内において限られた探索範囲だけで動きベクトルを検出できる。
【００１５】
【発明の実施の形態】
（１）ＪＶＴ符号化方式の概要
まず、ＪＶＴ符号化方式に規定されている動き補償について説明する。ＪＶＴ符号化方式では、1/4画素精度及び1/8画素精度で動き補償できるようになされており、1/4画素精度の動き補償処理（補間処理）について図１を用いて説明する。
【００１６】
ＪＶＴ符号化方式においては、帯域制限フィルタであるＦＩＲ(Finite Impulse Response)フィルタを用いて動き補償するようになされており、1/2画素精度の画素値（輝度信号）を生成するためのフィルタ係数として、次式
【００１７】
【数１】
【００１８】
のような６タップのフィルタ係数が定義されている。
【００１９】
ここで、図１に示した画素値b,ｈに対する動き補償（補間）については（１）式のフィルタ係数を用いて、次式
【００２０】
【数２】
【００２１】
に従って積和演算を行った後、「０」から「２５５」までの８ビットをＣｌｉｐ１とすると、次式
【００２２】
【数３】
【００２３】
のように、Ｃｌｉｐ１以外の部分を除去するクリップ処理により算出される。
【００２４】
因みに、（３）式における「＞＞５」は、５ビット分だけシフトするという意味であり、実際には２5だけ除算しており、また（３）式における「＋１６」については、２5だけ除算した際に端数分が除去されない（四捨五入されない）ようにするためである。
【００２５】
また、画素値jについては、（１）式のフィルタ係数を用いて上述の画素値b,hと同様に画素値aa,bb,cc,dd,ee,ff,gg,hhを生成した後、当該（１）式のフィルタ係数を用いて、次式
【００２６】
【数４】
【００２７】
あるいは、次式
【００２８】
【数５】
【００２９】
に従って積和演算を行った後、さらに次式
【００３０】
【数６】
【００３１】
に従ったクリップ処理により算出される。
【００３２】
また、画素値a,c,d,n,f,i,k,qについては、次式
【００３３】
【数７】
【００３４】
のように、整数画素精度の画素値（図中の斜線部分に相当する）と、1/2画素精度の画素値G,H,ＵＢ１,h,j,m,sの線形内挿により算出される。
【００３５】
また、画素値e,g,pについては、次式
【００３６】
【数８】
【００３７】
のように、1/2画素精度の画素値b,h,m,sだけを用いた線形内挿により算出される。
【００３８】
さらに、画素値rについては、ＪＶＴ符号化方式において“ｉｎｔｅｒｐｏｌａｔｉｖｅｌｙ ｃｈａｌｌｅｎｇｉｎｇ ｐｏｓｉｔｉｏｎ” と呼ばれる点であり、次式
【００３９】
【数９】
【００４０】
のように算出される。
【００４１】
次に、1/8画素精度の動き補償処理（補間処理）について図２を用いて説明する。
【００４２】
ＪＶＴ符号化方式では、1/4画素精度の画素値（輝度信号）を生成するためのポリフェノールフィルタ係数として、次式
【００４３】
【数１０】
【００４４】
が定義されている。
【００４５】
1/4画素精度の画素値bh,bvについては、（１０）式のフィルタ係数を用いて、整数画素精度の画素値Aを入力サンプルとして積和演算を行った後、次式
【００４６】
【数１１】
【００４７】
に従ったクリップ処理により算出される。
【００４８】
また、画素値cm,cqについては、まず、画素値bh,bvに対する積和演算を行った後、クリップ処理を行わない値を用いて、更に画素値bh,bvを入力とする積和演算を行った後に、次式
【００４９】
【数１２】
【００５０】
に従ったクリップ処理により算出される。
【００５１】
また、1/8画素精度の画素値 dについては、その位置によって、次式
【００５２】
【数１３】
【００５３】
に従った線形内挿により算出される。
【００５４】
また、画素値eについては、対角線上に位置する画素値bh,bvを用いて、次式
【００５５】
【数１４】
【００５６】
に従って算出される。
【００５７】
また、画素値gについては、次式
【００５８】
【数１５】
【００５９】
に従って算出される。
【００６０】
さらに、画素値fh,fvについては、次式
【００６１】
【数１６】
【００６２】
に従って算出される。
【００６３】
ここで、対角線上にある画素値を用いて、線形内挿により1/8画素精度の画素値を生成する手法の概念図を図３に示す。
【００６４】
次に、ＪＶＴ符号化方式における色差信号の動き補償処理（補間処理）について、図４を用いて説明する。ＪＶＴ符号化方式では、1/4画素精度の動き補償を行う場合も、1/8画素精度の動き補償を行う場合も、小数画素精度の色差信号については、次式
【００６５】
【数１７】
【００６６】
に従った線形内挿により算出される。
【００６７】
ところでＪＶＴ符号化方式においては、上述したように数多くの動き補償処理モードが規定されており、マクロブロックに対して最適な当該モードを選択すること、すなわち動きベクトルの探索を行うことは高圧縮率の画像圧縮情報を生成するために重要となるので、ＲＤ最適化によって動きベクトルを探索する。
【００６８】
次に、かかるＲＤ最適化について詳細に説明する。
【００６９】
ＲＤ最適化では、動き補償における全ての画素精度に対する動き探索について、探索結果をJ(m,λMOTION)とし、動きベクトルをｍ＝（ｍｘ,ｍｙ）ｒとし、予測動きベクトルをSA(T)D(s,c(m))とし、ｐ＝（ｐｘ,ｐｙ）ｒとし、を動きベクトルに対するLagrange乗数をλMOTIONとし、発生符号量テーブルによって求められる動きベクトル差分の発生情報量をＲ（ｍ−ｐ）とすると、次式
【００７０】
【数１８】
【００７１】
に従って求められる。
【００７２】
ここで、ＪＶＴ符号化方式において、エントロピー符号化は、ＵＶＬＣ(Universal Variable Length Coding)に基づく方法と、ＣＡＢＡＣ(Context-based Adaptive Binary Arithmetic Coding)基づく方法の２つが規定されているが、発生情報量については、ＣＡＢＡＣが適用されている場合であってもＵＶＬＣが適用され、動きベクトルの残差エネルギー（歪）部分（（１７式のSA(T)D(s,c(m))に相当）については、現フレームの画像信号をsとし、参照フレームの画像信号をcとすると、次式
【００７３】
【数１９】
【００７４】
によって求められる。
【００７５】
但し、半画素精度以下の動きベクトルの補正の際には、離散コサイン変換でなく、アダマール変換を用いて求められるので、SATDが用いられる。
【００７６】
またLagrange乗数（λMOTION）においては、量子化パラメータをＱＰとすると、Ｉ及びＰフレームについては、次式
【００７７】
【数２０】
【００７８】
のように与えられ、またＢフレームについては、次式
【００７９】
【数２１】
【００８０】
のように与えられる。
【００８１】
次に、ＲＤ最適化において、複数枚の参照フレーム画像群ＳＦ（図１７）の中から実際に参照する参照フレーム画像を選択する場合について説明する。ＲＤ最適化では、参照フレーム画像の選択に関しては当該選択結果をJ(REF|λMOTION)とし、参照フレームの発生情報量をＵＶＬＣで求めた値をR（REF）とすると、次式
【００８２】
【数２２】
【００８３】
に従って、当該選択結果（J(REF|λMOTION)）が最小となる値を有する参照フレーム画像が選択される。
【００８４】
またＢフレームにおける、Ｎ×Ｍブロックの予測方向の選択に関しては当該選択結果をJ(PDIR|λMOTION)とすると、次式
【００８５】
【数２３】
【００８６】
に従って、当該選択結果（J(PDIR|λMOTION)）が最小となる値を有するＮ×Ｍブロックの予測方向が選択される。
【００８７】
次に、ＲＤ最適化において、図１６で上述したマクロブロックモードの選択について説明する。ＲＤ最適化では、マクロブロックモードの選択に関しては当該選択結果をJ(s,c,MODE|QP,λMOTION)とすると、次式
【００８８】
【数２４】
【００８９】
に従って、当該選択結果（J(s,c,MODE|QP,λMOTION)）が最小となる値を有するマクロブロックモードが選択される。
【００９０】
かかるマクロブロックモードの選択候補となるMODEをフレームタイプ毎に表１に示す。
【００９１】
【表１】
【００９２】
表１において、「SKIP」は縦横16x16画素サイズで動きベクトル残差、及び、係数残差が復号化側に送られないものを表し、「SSD」は、MODE とQPを選択した場合のマクロブロックの発生情報量をＲ（s,c,MODE|QP）とし、再構成画像及び元画像の輝度成分をｃｙ［x,y,MODE|QP,ｓｙ［x,y］とし、色差成分をcu, cv, やsu, svとすると、次式
【００９３】
【数２５】
【００９４】
によって表される誤差二乗和の値である。
【００９５】
但し、発生情報量の中にはヘッダ、動きベクトル、直交変換係数など全ての情報に対応するものが含まれる。またLagrange乗数（λMOTION）は、上述の（２０）式及び（２１）式のように与えられる。
【００９６】
図１６で上述したサブマクロブッロクモードに関しては、マクロブロックのモードの場合と同様の選択処理が行われる。かかるサブマクロブロックモードの選択候補となるMODEをフレームタイプ毎に表２に示す。
【００９７】
【表２】
【００９８】
以上のようなＪＶＴ符号化方式に規定される各種処理を画像符号化装置に適用すると動きベクトル探索の際に膨大な演算量を必要してしまうので、本発明は、圧縮効率を極力損なうことなく演算量を低減する。
【００９９】
以下図面について、本発明の一実施の形態を詳述する。
【０１００】
（２）画像符号化装置の構成
まずは、図５において、ＪＶＴ符号化方式を適用した画像符号化装置１の全体構成について説明する。
【０１０１】
画像符号化装置１は、外部から供給される動画像信号Ｓ１をＡ／Ｄ変換部２を介して動画像データＤ１を生成した後に画像並替バッファ３に一旦記憶し、当該画像並替バッファ３において動画像データＤ１をフレーム画像単位で圧縮符号化順に並び替え、当該並び替えたフレーム画像をフレームデータＤ２として加算器４及び動き予測補償処理部５に順次送出するようになされている。
【０１０２】
動き予測補償処理部５は、詳細については後述するが、画像並替バッファ３から与えられるフレームデータＤ２のフレーム画像を、図１６で上述した動き補償ブロックのうち最も大きい画素サイズでなる縦横16×16画素サイズの動き補償ブロック（以下、これを最大動き補償ブロックと呼ぶ）に分割し、当該各最大動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて最適な動きベクトルＤ３をそれぞれ検出し、これらを可逆符号化装置１８に順次送出する。
【０１０３】
また動き予測処理部５は、複数の動きベクトルＤ３に応じて動き補償することにより得られる複数の予測データＤ４を加算器４及び１１に順次送出する。
【０１０４】
加算器４は、動き予測補償処理部５から予測データＤ４が与えられる場合、画像並替バッファ６より与えられるフレームデータＤ２（Ｉピクチャ以外の画像タイプ）から、当該フレームデータＤ２に対応する複数の予測データＤ４をそれぞれ減算することにより差分データＤ５を生成し、これを直交変換部６に送出する。
【０１０５】
これに対して加算器４は、予測データＤ４が与えられない場合には、画像並替バッファ６より与えられるフレームデータＤ２（Ｉピクチャ）をそのまま差分データＤ５として直交変換部６に送出する。
【０１０６】
直交変換部６は、差分データＤ５に対して離散コサイン変換等の直交変換処理を施すことにより直交変換係数データＤ６を生成し、これを量子化部７に送出する。
【０１０７】
量子化部７は、直交変換係数データＤ６に対して量子化処理を施すことにより量子化データＤ７を生成し、これを逆量子化部９及び可逆符号化処理部１８にそれぞれ送出する。
【０１０８】
この場合、量子化部７においては、量子化パラメータ値を決定づけるための量子化制御データＤ８がレート制御部８によるフィードバック制御に従って与えられており、当該量子化制御データＤ８の量子化パラメータ値に応じた量子化データＤ７を生成するようになされている。
【０１０９】
可逆符号化処理部１８は、量子化部７から与えられる量子化データＤ７、及び動き予測補償処理部５から与えられる動きベクトルＤ３に対して例えばＵＶＣＬに準拠した可逆符号化処理を施すことにより符号化データＤ１５を生成し、これを蓄積バッファ１９を介して外部に出力するようになされている。
【０１１０】
一方、逆量子化部９は、量子化部７から与えられる量子化データＤ７に対して逆量子化処理を施すことにより、直行変換係数データＤ６に相当する直交変換係数データＤ９を復元し、これを逆直交変換部１０に送出する。
【０１１１】
逆直交変換部１０は、逆量子化部９から与えられる直交変換係数データＤ９に対して逆直交変換処理を施すことにより、差分データＤ５に相当する差分データＤ１０を復元し、これを加算器１１に送出する。
【０１１２】
加算器１１は、動き予測補償処理部５から予測データＤ４が与えられる場合、逆直行変換部１１より与えられる差分データＤ１０に対して、当該差分データＤ１０に対応する複数の予測データＤ４を加算することによりフレームデータＤ２に相当するフレームデータＤ１１を復元し、これをデブロックフィルタ１２に送出する。
【０１１３】
これに対して加算器１１は、動き予測補償処理部５から動き補償データＤ４が与えられない場合には、逆直行変換部１１より与えられる差分データＤ１０をそのままフレームデータＤ１１としてデブロックフィルタ１２に送出する。
【０１１４】
デブロックフィルタ１２は、加算器１１から与えられるフレームデータＤ１１のうち互いに隣接するマクロブロック間に歪みが生じている場合には、当該歪み部分をフィルタリングすることにより滑らかにし、当該滑らかにしたフレームデータＤ１１を、１枚の参照フレーム画像に相当する参照フレームデータＤ１２としてフレームメモリ１３へ必要に応じて記憶する。
【０１１５】
これに対してデブロックフィルタ１２は、フレームデータＤ１１のうち互いに隣接するマクロブロック間に歪みが生じていない場合には、当該フレームデータＤ１１を参照フレームデータＤ１２としてフレームメモリ１３へ必要に応じて記憶する。
【０１１６】
このようにして画像符号化装置１は、参照候補とすべき複数枚の参照フレーム画像に相当するデータ数分だけの参照フレームデータＤ１２をフレームメモリ１３に記憶するようになされている。
【０１１７】
かかる構成に加えて、第１の間引部１４は、フレームメモリ１３から読み出した参照フレームデータＤ１２の参照フレーム画像の画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、原画である参照フレーム画像に対して1/4 の縮小率でなる縮小画像（以下、これを1/4 縮小参照画像と呼ぶ）を生成し、これを第１の縮小データＤ１３として1/4 フレームメモリ１５に記憶する。
【０１１８】
この場合、第１の間引部１４は、上述の（１）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、当該ＦＩＲフィルタ係数値を用いて図１で上述した動き補償処理と同様の処理に従って画素を間引くことにより、1/4 縮小参照画像を生成し得るようになされている。
【０１１９】
また第１の間引部１４は、参照フレームデータＤ１２が飛び越し操作画像であった場合には、垂直方向については図６に示すように、フィールド毎に間引きするようになされており、第１フィールドについては、予め内部メモリに記憶している次式
【０１２０】
【数２６】
【０１２１】
でなるフィルタ係数値、また第２フィールドについては、予め内部メモリに記憶している次式、
【０１２２】
【数２７】
【０１２３】
でなるフィルタ係数値を用いてフィルタリングを実行することにより、入力となる画素値のうち１つ置きごとに画素を間引きするようになされている。
【０１２４】
第２の間引部１６は、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第１の間引部１４と同様に、1/4フレームメモリ１５から読み出した第１の縮小データＤ１３の1/4 縮小参照画像の画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、原画である参照フレーム画像に対して1/16の縮小率でなる縮小画像（以下、これを1/16縮小参照画像と呼ぶ）を生成し、これを第２の縮小データＤ１４として1/16フレームメモリ１７に記憶する。
【０１２５】
このように画像符号化装置１は、フレームメモリ１３に記憶された複数の参照フレームデータＤ１２に相当する複数枚の参照フレーム画像それぞれに対して1/4 及び1/16の縮小率でなる1/4 縮小画像及び1/16縮小画像を、当該複数の参照フレーム画像にそれぞれ対応する数だけ生成し、対応する1/4 フレームメモリ１５又は1/16フレームメモリ１７に記憶し得るようになされている。
【０１２６】
（３）動き予測補償処理部の構成
次に、本発明を適用した動き予測補償処理部の構成について説明する。
【０１２７】
図７に示すように、動き予測補償装置としての動き予測補償処理部５は、画素ブロック分割部２０と、階層化手段としての縮小ブロック生成２１と、探索範囲決定手段及び検出手段としての動き予測補償部２２とによって構成されており、画像並替バッファ３から与えられるフレームデータＤ２を画素ブロック分割部２０に入力する。
【０１２８】
画素ブロック分割部２０は、フレームデータＤ２のフレーム画像を縦横16×16画素サイズのブロック単位でそれぞれ分割することにより複数の最大動き補償ブロックを生成し、当該各最大動き補償ブロックをそれぞれ最大動き補償ブロックデータＤ２０として縮小ブロック生成２１及び動き予測補償部２２に順次送出する。
【０１２９】
縮小ブロック生成部２１の第１の縮小ブロック生成部２１ａは、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第1 の間引部（図５）と同様の処理を行って画素を間引くようになされている。
【０１３０】
この場合、第１の縮小ブロック生成部２１ａは、最大動き補償ブロックデータＤ２０の最大動き補償ブロックの画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、当該縦横16×16画素サイズでなる最大動き補償ブロックに対して1/4 の縮小率でなる縦横8 ×8 画素サイズのブロック（以下、これを1/4 縮小ブロックと呼ぶ）を生成し、これを1/4 縮小ブロックデータＤ２１として第２の縮小ブロック生成部２１ｂ及び動き予測補償部２２にそれぞれ送出する。
【０１３１】
第２の縮小ブロック生成部２１ｂは、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第２の間引部（図５）と同様の処理を行って画素を間引くようになされている。
【０１３２】
この場合、第２の縮小ブロック生成部２１ｂは、1/4 縮小ブロックデータＤ２１の1/4 縮小ブロックの画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、縦横16×16画素サイズでなる最大動き補償ブロックに対して1/16の縮小率でなる縦横4 ×4 画素サイズのブロック（以下、これを1/16縮小ブロックと呼ぶ）を生成し、これを1/16縮小ブロックデータＤ２２として動き予測補償部２２に送出する。
【０１３３】
動き予測補償部２２は、図８に示すように、画素ブロック分割部２０から与えられる最大動き補償ブロックデータＤ２０に相当する最大動き補償ブロックＵＢ１と、フレームメモリ１３から読み出した例えば４種類の参照フレームデータＤ１２に相当する参照フレーム画像ＳＦ1 〜ＳＦ4 とを最上層ＴＳの原画像群として認識する。
【０１３４】
また動き予測補償部２２は、第１の縮小ブロック生成部２１ａから与えられる1/4 縮小ブロックデータＤ２１に相当する1/4 縮小ブロックＣＢf と、1/4 フレームメモリ１５から読み出した例えば４種類の第１の縮小画像データＤ１３に相当する1/4 縮小参照画像ＣＢ1 〜ＣＢ4 とを最上層よりも下層となる第１下層ＢＳｆの縮小画像群として認識する。
【０１３５】
さらに動き予測補償部２２は、第２の縮小ブロック生成部２１ｂから与えられる1/16縮小ブロックデータＤ２２に相当する1/16縮小ブロックＣＢs と、1/16フレームメモリ１７から読み出した第２の縮小画像データＤ１４に相当する1/16縮小参照画像ＣＢ11〜ＣＢ14とを最下層となる第２下層ＢＳｓの縮小画像群として認識する。
【０１３６】
そして動き予測補償部２２は、それぞれ認識した最上層ＴＳ、第１下層ＢＳｆ及び第２下層ＢＳｓの各画像群を用いて動き予測補償処理を実行することにより動きベクトルＤ３及び予測データＤ４を生成し、当該動きベクトルＤ３を可逆符号化処理部１８に送出すると共に、予測データＤ４を加算器4 及び１１に送出する。
【０１３７】
このように動き予測補償処理部５は、最大動き補償ブロックＵＢ１、1/4 縮小ブロックＣＢf 及び1/16縮小ブロックＣＢs と、当該最大動き補償ブロックＵＢ１、1/4 縮小ブロックＣＢf 及び1/16縮小ブロックＣＢs の縮小率にそれぞれ対応する参照フレーム画像ＳＦ1 〜ＳＦ4 、1/4 縮小参照画像ＣＢ1 〜ＣＢ4 及び1/16縮小参照画像ＣＢ11〜ＣＢ14とを組として各階層ＴＳ、ＢＳｆ及びＢＳｓに分けて動き予測補償処理を実行するようになされている。
【０１３８】
ところで動き予測補償部２２は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭ等により構成される制御部により、当該ＲＯＭに予め記憶された所定の動き予測補償プログラムに従って動き予測補償処理を実行するようになされており、当該動き予測補償処理手順について以下説明する。
【０１３９】
（４）動き予測補償処理手順
【０１４０】
図９に示すように、動き予測補償部２２は、ルーチンＲＴ１の開始ステップから続くステップＳＰ１へ移って、最下層である第２下層ＢＳｓ（図８）の1/16縮小参照画像ＣＢ11〜ＣＢ14それぞれに対して、縦横4 ×4 画素サイズの1/16縮小ブロックＣＢs で順次ブロックマッチングを行うことにより、第２下位層ＢＳｓ上の動きベクトル（以下、これを第２下位層動きベクトルと呼ぶ）を探索する。
【０１４１】
具体的に、動き予測補償部２２は、ＲＤ最適化を適用することなく、例えば図１０に示すように、1/16縮小ブロックＣＢs 内の全ての画素値と、当該ブロックＣＢs に対応する1/16縮小参照画像ＣＢ11( ＣＢ12〜ＣＢ14) 内のブロック（以下、これを対応ブロックと呼ぶ）の画素値との間における差分の絶対値総和だけをそれぞれ求め、そのうち絶対値総和が最小となる際の対応ブロックＣＴＢと、1/16縮小ブロックＣＢs との間における動き量に基づいて第２下位層ＢＳｓ（図８）上の第２下位層動きベクトル1/16ＭＶ1 （1/16ＭＶ2 〜1/16ＭＶ4 ）を検出し、次のステップＳＰ２へ移る。
【０１４２】
この場合、動き予測補償部２２は、原画である参照フレーム画像ＳＦ1 〜ＳＦ4 に比して探索範囲が小さい1/16縮小参照画像ＣＢ11〜ＣＢ14に対して、動きベクトル差分の発生符号量を表す発生符号量テーブルを参照せずに、かつ量子化関数（動きベクトルに対するLagrange乗数）の演算をもせずにブロックマッチングを行っていることにより、第２下位層動きベクトル1/16ＭＶ1 〜1/16ＭＶ4 を求める際の処理負荷を低減し得るようになされている。
【０１４３】
ステップＳＰ２において動き予測補償部２２は、例えば図１１に示すように、ステップＳＰ１で検出した第２下位層動きベクトル1/16ＭＶ1 〜1/16ＭＶ4 における水平成分及び垂直成分それぞれに対して動き補償処理（補間処理）を行うことにより、当該水平成分を２倍及び垂直成分を２倍の計４倍だけ拡大する。
【０１４４】
この場合、動き予測補償部２２は、1/16縮小ブロックＣＢｓに対応する原画上の最大動き補償ブロックＵＢ１について上述のＪＶＴ符号化方式における1/4 画素精度（図１）又は1/8画素精度（図２）が選定されている場合であっても、線形内挿による整数画素精度又は1/2 画素精度に従った動き補償を行うことにより、当該動き補償の際の処理負荷を低減し得るようになされている。
【０１４５】
そして動き予測補償部２２は、かかる動き補償を行って拡大した第２下位層動きベクトルの始点及び終点を頂点とする長方形状範囲ＡＲの周辺数画素を含む範囲ＵＡＲ1 （ＵＡＲ2 〜ＵＡＲ4 ）を、第１下位層ＢＳｆの1/4 縮小参照画像ＣＢ1（ＣＢ2〜ＣＢ4） 内の探索範囲（以下、これを第１下位層探索範囲と呼ぶ）として決定し、次のステップＳＰ３移る。
【０１４６】
ステップＳＰ３において動き予測補償部２２は、ステップＳＰ２で決定した1/4 縮小参照画像ＣＢ1 〜ＣＢ4 内の第１下位層探索範囲ＵＡＲ1 〜ＵＡＲ4 それぞれに対して、ステップＳＰ１における処理と同様にＲＤ最適化を適用することなく、縦横8 ×8 画素サイズの1/4 縮小ブロックＣＢｆで順次ブロックマッチングを行うことにより、第１下位層における動きベクトル（以下、これを第１下位層動きベクトルと呼ぶ）1/4 ＭＶ1 〜1/4 ＭＶ4 （図８）を検出し、次のステップＳＰ４へ移る。
【０１４７】
ステップＳＰ４において動き予測補償部２２は、ステップＳＰ３で検出した第１下位層動きベクトル1/4 ＭＶ1 〜1/4 ＭＶ4 それぞれに対して、ステップＳＰ２における処理と同様の処理を行うことにより、最上位層ＴＳの参照フレーム画像ＳＦ1 〜ＳＦ4 （図８）内の探索範囲（以下、これを第１の最上位層探索範囲と呼ぶ）ＴＡＲ1 〜ＴＡＲ4 を決定し、次のステップＳＰ５移る。
【０１４８】
ステップＳＰ５において動き予測補償部２２は、ステップＳＰ４で決定した第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 （図８）それぞれに対して、ＪＶＴ符号化方式で規定される縦横16×16画素サイズの動き補償ブロックＵＢ１で順次ＲＤ最適化によるブロックマッチングを行うことにより、動き補償ブロックＵＢ１に係る動きベクトルを検出し、次のステップＳＰ６へ移る。
【０１４９】
この場合、動き予測補償部２２は、ＪＶＴ符号化方式で規定されているように最大動き補償ブロック全体にわたって動きベクトルを探索することなく、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 内だけを探索して動き補償ブロックＵＢ１に係る動きベクトルを検出していることにより、上述したような膨大な演算量を要するＲＤ最適化の際の処理負荷を格段に低減し得るようになされている。
【０１５０】
ステップＳＰ６において動き予測補償部２２は、最上位層ＴＳ（図８）上における第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4を用いて、図１２に示すように動き補償ブロックのブロック形状が同じとなる第１〜第３系列ＳＳ１〜ＳＳ３ごとに、大きい画素サイズから小さい画素サイズに順次変更しながら、各動き補償ブロックＵＢ２〜ＵＢ３４ごとにＲＤ最適化によるブロックマッチングを行う。
【０１５１】
実際には、動き予測補償部２２は、第１系列ＳＳ１において、ステップＳＰ５で検出した動き補償ブロックＵＢ１の動きベクトルに基づいて、図１１で上述した探索範囲の決定と同様の処理（以下、これを探索範囲決定処理と呼ぶ）を行って、例えば図１３に示すように、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 （図８）よりも小さい第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８を決定し、当該第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで、縦横8 ×16画素サイズの動き補償ブロックＵＢ２及びＵＢ３に係る２種類の動きベクトルを検出する。
【０１５２】
次いで動き予測補償部２２は、動き補償ブロックＵＢ２及びＵＢ３に係る動きベクトルに基づいて探索範囲決定処理を行って、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８よりも小さい第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２を決定し、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横4 ×8 画素サイズの動き補償ブロックＵＢ１１〜ＵＢ１４に係る４種類の動きベクトルを検出する。
【０１５３】
また、動き予測補償部２２は、第１系列ＳＳ１に対する処理とほぼ同時に第２系列ＳＳ２において、当該第１系列ＳＳ１に対する処理と同様に、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで縦横16×8画素サイズの動き補償ブロックＵＢ４及びＵＢ５に係る２種類の動きベクトルを検出した後、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横8 ×4 画素サイズの動き補償ブロックＵＢ１５〜ＵＢ１８に係る４種類の動きベクトルを検出する。
【０１５４】
さらに、動き予測補償部２２は、第１系列ＳＳ１に対する処理とほぼ同時に第３系列ＳＳ３において、当該第１系列ＳＳ１に対する処理と同様に、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで縦横8×8画素サイズの動き補償ブロックＵＢ６〜ＵＢ９に係る４種類の動きベクトルを検出した後、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横4 ×4 画素サイズの動き補償ブロックＵＢ１９〜ＵＢ３４に係る動きベクトルを検出する。
【０１５５】
このように動き予測補償部２２は、小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小することにより、大きい画素サイズの動き補償ブロックに比してブロック数が増加する分だけ多くの演算量を必要とする小さい画素サイズの動き補償ブロックの動きベクトルを検出する際の処理負荷を低減し得ると共に、ＪＶＴ符号化方式で規定されているようにマクロブロック全体にわたって各画素サイズでなる動き補償ブロック（図１６）ごとに動きベクトルを求める場合に比して格段に処理付加を低減し得るようになされている。
【０１５６】
このようにして動き予測補償部２２は、動き補償ブロックＵＢ１以外の残りの動き補償ブロックＵＢ２〜ＵＢ３４に係る動きベクトルをそれぞれ検出した後、次のステップＳＰ７へ移る。
【０１５７】
因みに、動き予測補償部２２は、第１〜第３系列ＳＳ１〜ＳＳ３において同一の第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８及び第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２を用いるようにしたが、これに限らず、小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小すれば、形状等は異なっていても良い。
【０１５８】
ステップＳＰ７において動き予測補償部２２は、ステップＳＰ５及びＳＰ６でＲＤ最適化によってそれぞれ検出した各動き補償ブロックＵＢ１〜ＵＢ３４の動きベクトルのうち、最も小さい符号量を発生し得る最適な動きベクトルを最終的な動きベクトルＤ３（図７）として検出し、次のステップＳＰ８へ移る。
【０１５９】
ステップＳＰ８において動き予測補償部２２は、ステップＳＰ７で検出した動きベクトルＤ３に応じて、例えば図１で上述した１／４動き補償処理を行って予測データＤ４（図７）を生成し、次のステップＳＰ９へ移る。
【０１６０】
ステップＳＰ９において動き予測補償部２２は、ステップＳＰ７で検出した動きベクトルＤ３を可逆符号化処理部１８に送出すると共に、ステップＳＰ８で生成した予測データＤ４を加算器４及び１１に送出した後、次のステップＳＰ１０へ移って動き予測補償処理を終了する。
【０１６１】
（５）動作及び効果
以上の構成において、動き予測補償処理部５は、ＪＶＴ符号化方式で規定されている動き補償ブロックのうち、最も大きい画素サイズでなる動き補償ブロックＵＢ１（図８）を最上位層ＴＳとし、当該最大動き補償ブロックＵＢ１を間引きすることにより、1/4 の縮小率でなる第１下位層の縮小ブロックＣＢｓ及び1/16縮小率でなる第２下位層の1/16縮小ブロックＣＢｆを生成して階層化する。
【０１６２】
そして動き予測補償処理部５は、最上位層ＴＳを除く下位層（第１下位層ＢＳｆ及び第２下位層ＢＳｓ）における複数の縮小参照画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて階層的に動きベクトルの探索を行って、最上位層ＴＳにおいてＲＤ最適化による動きベクトル探索を行うための第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 を決定する（ステップＳＰ１〜ステップＳＰ４）。
【０１６３】
この場合、動き予測補償処理部５は、動きベクトル差分の発生符号量を表す発生符号量や量子化関数を加味するＲＤ最適化を適用することなく、縮小ブロックとの差分の絶対値総和だけでブロックマッチングを行って動きベクトルを検出すると共に、当該検出した動きベクトルを1/4 画素精度（図１）又は１／８画素精度（図２）の動き補償を行うことなく、線形内挿による整数画素精度又は1/2 画素精度に従った動き補償を行うことにより、少ない演算量で第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4を決定することができる。
【０１６４】
この状態において動き予測補償処理部５は、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４を用いて、各画素サイズでなる動き補償ブロックＵＢ１〜ＵＢ３４（図１２）に係る動きベクトルをそれぞれ検出し、当該検出した各動きベクトルのうち最も小さい符号量を発生し得る最適かつ最終的な動きベクトルＤ３として検出するようにした。
【０１６５】
従って、動き予測補償処理部５は、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 を決定するまでの処理に要する分だけ新たな演算が加わるものの、当該演算量よりも格段に演算量を必要とするＲＤ最適化の探索範囲を限定している分だけ、ＪＶＴ符号化方式で規定されているように各画素サイズでなる動き補償ブロックごとにマクロブロック全体にわたって動きベクトルを探索して動きベクトルを検出する場合に比して、処理負荷を格段に低減することができる。
【０１６６】
これに加えて、動き予測補償処理部５は、図１２で上述したように、各画素サイズでなる動き補償ブロックＵＢ１〜ＵＢ３４（図１２）に係る動きベクトルをそれぞれ検出する際に、大きい画素サイズから小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小することにより、小さい画素サイズの動き補償ブロックの動きベクトルを検出する際の処理負荷を低減することができ、その結果、全体としての処理負荷を一段と低減することができる。
【０１６７】
以上の構成によれば、最も大きい画素サイズでなる動き補償ブロックＵＢ１を階層化し、当該階層化した第１下位層ＢＳｆ及び第２下位層ＢＳｓにおける複数の縮小参照画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて、最上位層ＴＳにおける最適な動きベクトルを絞り込んでおおまかな第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４を少ない演算量で決定した後、当該探索範囲ＴＡＲ1 〜ＴＡＲ４を用いてＲＤ最適化によって動きベクトルを検出するようにしたことにより、当該動きベクトルＤ３を検出する際の処理負荷を格段に低減することができる。
【０１６８】
（６）他の実施の形態
なお上述の実施の形態においては、縦横16×16、縦横8×16、縦横16×8、縦横8×8、縦横4×8、縦横8×4及び縦横4×4の各画素サイズでなる動き補償ブロックに順次変更して動き予測補償を行う場合について述べたが、本発明はこれに限らず、例えば縦横１６×４画素サイズ等、この他種々の画素サイズでなる動き補償ブロックに順次変更して動き予測補償を行うようにしても良い。
【０１６９】
さらに上述の実施の形態においては、ＪＶＴ符号化方式に本発明を適用する場合について述べたが、これに限らず、要は、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなる動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて動き予測補償を行うこの他種々の符号化方式に本発明を適用することができる。
【０１７０】
さらに上述の実施の形態においては、ＦＩＲフィルタ係数値として（１）式を用いて間引きする場合について述べたが、本発明はこれに限らず、1/2 位相を生成するためのこの他種々のＦＩＲフィルタ係数値を用いるようにしても良い。
【０１７１】
さらに上述の実施の形態においては、水平方向及び垂直方向に対して同じ縮小率で縮小する場合について述べたが、本発明はこれに限らず、当該水平方向及び垂直方向に対してそれぞれ異なる縮小率で縮小するようにしても良い。
【０１７２】
さらに上述の実施の形態においては、1/4 及び1/16の縮小率で縮小する場合について述べたが、本発明はこれに限らず、２の乗数分の１でなるこの他種々の縮小率で縮小するようにしても良い。
【０１７３】
さらに上述の実施の形態においては、1/16縮小ブロックＣＢs 内の全ての画素値と、当該ブロックＣＢs に対応する1/16縮小参照画像ＣＢ11〜ＣＢ14内の対応ブロックの画素値との間、あるいは1/4 縮小ブロックＣＢf 内の全ての画素値と、当該ブロックＣＢf に対応する1/4 縮小参照画像ＣＢ1 〜ＣＢ4 内の対応ブロックの画素値との間における差分の絶対値総和に基づいて動きベクトルを求める場合について述べたが、本発明はこれに限らず、当該差分の自乗和を求めるようにしても良く、要は、縮小ブロックの画素値と、縮小参照画像の画素値との間における差分値に基づいて動きベクトルを求めることができる。
【０１７４】
さらに上述の実施の形態においては、図８で上述したように第２下位層ＢＳｓ及び第１下位層ＢＳｆにおける全ての参照縮小画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて、最上位層ＴＳにおける全ての参照フレーム画像ＳＦ１〜ＳＦ４上の第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４を決定する場合について述べたが、本発明はこれに限らず、当該第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４のうちいずれかだけを決定するようにしても良い。
【０１７５】
この場合、動き予測補償部２２は、図９で上述した動き予測補償処理手順におけるステップＳＰ１の処理の後に、第２下位層ＢＳｓの縮小ブロックＣＢｓとのブロックマッチングにより、参照縮小画像ＣＦ１１〜ＣＦ１４（図８）のうち、当該縮小ブロックＣＢｓとの間における画素値の差分が最小となる例えば参照縮小画像ＣＦ１３を選択するステップを加え、当該ステップで選択された参照縮小画像ＣＦ１３に対応する第１下位層ＢＳｆ上の参照縮小画像ＣＦ３だけを用いてステップＳＰ２からステップＳＰ４までの各処理を行って第１の最上位層探索範囲ＴＡＲ３だけを決定する。
【０１７６】
このように動き予測補償部２２は、第２下位層ＢＳｓにおいて、最上位層ＴＳ上でＲＤ最適化による動きベクトル探索を行う参照フレーム画像ＳＦ３を選択することにより、複数の参照縮小画像ＣＦ１１、ＣＦ１３、ＣＦ１４、ＣＦ１、ＣＦ３及びＣＦ４と、複数の参照フレーム画像ＳＦ１、ＳＦ３及びＳＦ４とに対する演算量をそれぞれ削減でき、最終的かつ最適な動きベクトルＤ３（図７）を検出するまでの全体としての処理負荷についても格段に低減することができる。
【０１７７】
さらに動き予測補償部２２は、処理対象の動き補償ブロックＵＢ１がＢピクチャである場合、上述した参照フレーム画像ＳＦ３の選択と同様に、第２下位層ＢＳｓにおいて、縮小ブロックＣＢｓとのブロックマッチングにより、参照縮小画像ＣＦ１１〜ＣＦ１４（図８）のうち、当該縮小ブロックＣＢｓとの間における画素値の差分が最小となる動きベクトルを有する予測方向モードを、当該動き補償ブロックＵＢ１に対する予測方向モードとするようにしても良い。このようにすれば、最終的かつ最適な動きベクトルＤ３（図７）を検出するまでの全体としての処理負荷をさらに低減することができる。
【０１７８】
さらに上述の実施の形態においては、探索範囲の決定例として図１１で上述したように、例えば第２下位層上で検出した動きベクトルを拡大し、当該拡大した動きベクトルの始点及び終点を頂点とする長方形状範囲ＡＲの周辺数画素を含む範囲ＵＡＲ1 を第１下位層探索範囲として決定する場合について述べたが、本発明はこれに限らず、当該拡大した動きベクトルの始点及び終点を頂点とする台形形状範囲、平行四辺形形状範囲又は円形形状の周辺画素を含む範囲等、要は、拡大した動きベクトルを含む周辺画素範囲を探索範囲として決定することができる。
【０１７９】
さらに上述の実施の形態においては、図１２で上述したような順序で動き補償ブロックＵＢ２〜ＵＢ３４に対する最適な動きベクトルを検出する場合について述べたが、本発明はこれに限らず、図１２との対応部分に同一符合を付して示す図１４のような順序で動き補償ブロックＵＢ２〜ＵＢ３４に対する最適な動きベクトルを検出するようにしても良い。
【０１８０】
さらに上述の実施の形態においては、1/16縮小ブロックＣＢs 、1/4 縮小ブロックＣＢｆ又は最大動き補償ブロックＵＢ１内の全ての画素値を用いてブロックマッチングを行う場合について述べたが、本発明はこれに限らず、図１５に示すように、1/16縮小ブロックＣＢs 、1/4 縮小ブロックＣＢｆ又は最大動き補償ブロックＵＢ１における水平方向及び垂直方向にそれぞれ１画素おきの画素値を用いてブロックマッチングを行うようにしても良い。この場合、ブロックマッチングを行う際の処理負荷を一段と低減することができる。
【０１８１】
さらに上述の実施の形態においては、動き予測補償部２２における各処理を動き補償プログラムによって実現する場合について述べたが、本発明はこれに限らず、当該各処理の一部又は全部をそれぞれ専用の集積回路等のハードウェア手段によって実現するようにしても良い。
【０１８２】
さらに上述の実施の形態においては、ハードウェア構成の縮小ブロック生成部２１（図７）によって縮小処理を実現する場合について述べたが、本発明はこれに限らず、当該縮小ブロック生成部２１の縮小処理を、動き予測補償部２２における動き予測補償プログラムに組み込むことにより実現するようにしても良い。
【０１８３】
さらに上述の実施の形態においては、動き予測補償装置としての動き予測補償処理部５が内部ＲＯＭ（図示せず）等に格納した動き予測補償プログラムを内部ＲＡＭ（図示せず）に展開することにより図９について上述した動き予測補償処理手順に従って動き予測補償を行う場合について述べたが、本発明はこれに限らず、当該動き予測補償プログラムが格納されたプログラム媒体をインストールすることにより動き予測補償を行うようにしても良い。
【０１８４】
かかるプログラム媒体としては、ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory) やＤＶＤ(Digital Versatile Disc)等のパッケージメディアのみならず、半導体メモリや磁気ディスク等で実現しても良い。またこれらプログラム媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線通信媒体を利用してもよく、ルータやモデム等の各種インターフェイスを介して格納するようにしても良い。
【０１８５】
【発明の効果】
上述のように本発明によれば、動き予測補償に関し、連続するフレーム画像のうち処理対象の対象フレーム画像を、複数の動き補償ブロックに分割し、動き補償ブロックの画素を間引くことにより、所定の縮小率でなる縮小ブロックを生成し、縮小ブロックと、当該縮小ブロックの縮小率に対応させて複数の参照フレーム画像から得られた縮小参照画像とに基づいて、複数の参照フレーム画像における動きベクトルの探索範囲をそれぞれ決定し、動き補償ブロックの画素サイズを順次変更し、変更した画素サイズごとに各探索範囲との間における差分に基づいて、動きベクトルを検出する。動きベクトルを検出する場合、動き補償ブロックの画素サイズを小さくするほど、各探索範囲を小さくする。
【０１８６】
この場合、各参照フレーム画像全体を用いることなく、当該各参照フレーム画像内において限られた探索範囲だけで動きベクトルを検出でき、かくして、画質を極力低下させることなく符号化処理の処理負荷を低減できる。
【図面の簡単な説明】
【図１】ＪＶＴ符号化方式における１／４画素精度の動き補償の説明に供する略線図である。
【図２】ＪＶＴ符号化方式における１／８画素精度の動き補償の説明に供する略線図である。
【図３】対角線上にある画素値を用いた１／８画素精度の動き補償を示す略線図である。
【図４】色差信号における動き補償の説明に供する略線図である。
【図５】画像符号化装置の構成を示すブロック図である。
【図６】フィールドに対する間引き処理の説明に供する略線図である。
【図７】動き予測補償処理部の構成を示すブロック図である。
【図８】階層化の様子示す略線図である。
【図９】動き予測補償処理手順を示すフローチャートである。
【図１０】動きベクトルの探索例の説明に供する略線図である。
【図１１】動きベクトルの探索範囲の決定例（１）の説明に供する略線図である。
【図１２】動きベクトルの検出順序の説明に供する略線図である。
【図１３】動きベクトルの探索範囲の決定例（２）の説明に供する略線図である。
【図１４】他の実施の形態における動きベクトルの検出順序の説明に供する略線図である。
【図１５】他の実施の形態におけるブロックマッチングの説明に供する略線図である。
【図１６】ＪＶＴ符号化方式に規定される動き補償ブロックを示す略線図である。
【図１７】ＪＶＴ符号化方式に規定されるマルチプルリファレンスフレームの説明に供する略線図である。
【符号の説明】
１……画像符号化装置、５……動き予測補償処理部、１３……フレームメモリ、１４……第１の間引部、１５……1/4フレームメモリ、１６……第２の間引部、１７……1/16フレームメモリ、２０……画素ブロック分割部、２１……縮小ブロック生成部、２１ａ……第１の縮小ブロック生成部、２１ｂ……第２の縮小ブロック生成部、２２……動き予測補償部。
【発明の属する技術分野】
本発明は動き予測補償方法及び動き予測補償装置に関し、例えば動画像信号をインターネット等のネットワークを介して送信する画像符号化装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、画像符号化装置は、外部から供給される動画像信号をディジタル化した後、所定の画像符号化方式に準拠した符号化処理を施すことにより画像圧縮情報を生成するようになされている。
【０００３】
かかる画像符号化方式としては、ＩＳＯ／ＩＥＣの符号化専門家グループ（ＭＰＥＧ(Moving Picture Experts Group)により汎用画像の符号化を目的として標準化されたＭＰＥＧと呼ばれる画像符号化方式と、ＩＴＵ団体によりテレビ会議用画像の符号化を目的として標準化されたＨ．２６と呼ばれる画像符号化方式とが知られている。
【０００４】
また近年における携帯電話機等の携帯端末装置の普及等により、一段と高い符号化効率を実現するための画像符号化方式の必要性が示唆されており、これに対応すべく現在では、ＭＰＥＧとＩＴＵ団体とによって、ＪＶＴ(Joint Model ofEnhanced-Compression Video Coding)と呼ばれる画像符号化方式（以下、これをＪＶＴ符号化方式と呼ぶ）の標準化が進められている。
【０００５】
このＪＶＴ符号化方式においては、動き予測補償を行う場合、縦横16×16画素のマクロブロックについて、図１６に示すように、縦横16×16画素サイズでなる１組の画素ブロック（以下、これを動き補償ブロックと呼ぶ）、縦横8 ×16画素サイズでなる２組の動き補償ブロック、縦横16×8 画素サイズでなる２組の動き補償ブロック、あるいは縦横8 ×8 画素サイズでなる４組の動き補償ブロックのように４種類のサイズパターン（以下、これをマクロブロックモードと呼ぶ）ＴＰ１〜ＴＰ４で動きベクトルを探索することができ、当該マクロブロックモードＴＰ１〜ＴＰ４に係る動き補償ブロックごとにそれぞれ独立して動きベクトルを持つことが可能である。
【０００６】
さらにマクロブロックモードＴＰ４に係る４組の動き補償ブロックについては、当該４組の補償ブロックそれぞれを、縦横8 ×8 画素サイズでなる１組の動き補償ブロック、縦横4 ×8 画素サイズでなる２組の動き補償ブロック、縦横8 ×4 画素サイズでなる２組の動き補償ブロック、あるいは縦横4 ×4 画素サイズでなる４組の動き補償ブロックのように４種類のサブサイズパターン（以下、これをサブマクロブロックモードと呼ぶ）ＴＰ５〜ＴＰ８で動きベクトルを探索することができ、当該サブマクロブロックモードに係る動き補償ブロックごとにそれぞれ独立して動きベクトルを持つことができる。
【０００７】
従ってＪＶＴ符号化方式においては、１つのマクロブロックについて、最大１６つの動きベクトルを持つことが可能である（例えば非特許文献１参照）。
【０００８】
また、ＪＶＴ符号化方式においては、動き予測補償を行う場合、例えば図１７に示すように、複数枚の参照フレーム画像群ＳＦを保持することが可能であり、符号化処理対象の対象フレーム画像ＯＦよりも前（過去）に存在する２以上の参照フレーム画像ＳＦ1 、ＳＦ2 及びＳＦn-1 を用いてブロックマッチングを行ったり、あるいは対象フレーム画像ＯＦよりも後（未来）に存在する２以上の参照フレーム画像（図示せず）を用いてブロックマッチングを行ったり、さらには対象フレーム画像ＯＦよりも前後に存在する２以上の参照フレーム画像（図示せず）を用いてブロックマッチングを行うことができ、当該参照候補として保持される参照フレーム画像群ＳＦをマルチプルリファレンスフレーム（Multiple Reference Frame）と呼んでいる（例えば非特許文献１参照）。
【０００９】
さらに、ＪＶＴ符号化方式においては、Rate−Distortion Optimization と呼ばれる最適化動き予測補償（以下、これをＲＤ最適化と呼ぶ）を採用しており、当該ＲＤ最適化により、対象フレーム画像ＯＦにおける全てのマクロブロックについて、複数枚の参照フレーム画像群ＳＦとの間で動き補償ブロック（図１６）ごとにブロックマッチングを行って差分の絶対値和等の差分値（歪）を求めると共に、量子化関数（動きベクトルに対するLagrange乗数）や動きベクトル差分の発生符号量を加味して最も小さい符号量を発生し得る動きベクトルを探索することにより、動きベクトルに対する符号化効率を高めている（例えば非特許文献２参照）。
【００１０】
【非特許文献１】
ＤＲＡＦＴ ＩＳＯ／ＩＥＣ 1/4 ４９６−１０：２００２（Ｅ）
【非特許文献２】
Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ（Ｇ．Ｓｕｌｌｉｖａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄ，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，１９９８−１１）
【００１１】
【発明が解決しようとする課題】
ところで、かかるＪＶＴ符号化方式を適用した符号化装置においては、全てのマクロブロックについて、当該マクロブロック全体と複数枚の参照フレーム画像群ＳＦとの間で、各種画素サイズでなる動き補償ブロック（図１６）に変更しながら、動きベクトル差分の発生符号量を表す発生符号量テーブルを参照すると共に、差分値（歪）のみならず量子化関数（動きベクトルに対するLagrange乗数）をも求めて動き予測補償を行っていることにより、符号化処理における処理負荷が増大してしまうという問題があった。
【００１２】
本発明は以上の点を考慮してなされたもので、画質を極力低下させることなく符号化処理の処理負荷を低減し得る動き予測補償方法及び動き予測補償装置を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明は、動き予測補償に関し、連続するフレーム画像のうち処理対象の対象フレーム画像を、複数の動き補償ブロックに分割し、当該動き補償ブロックを最上位層として、下位層ほど高い縮小率となる複数階層の縮小ブロックを生成する。そして各層ブロックと、当該ブロックに対応した大きさでなる複数の参照画像に対する画素値の差分の絶対値総和が最小となる部分との動きベクトルを検出する。この検出過程では、最下位層を除く各層については、対象層よりも下位層で検出される動きベクトルの始点及び終点に対応する画素を含む周辺の探索範囲内で動きベクトルを検出し、最上位層については、上記動き補償ブロックの画素サイズを順次変更し、１つ下の階層で検出された動きベクトルの始点及び終点に対応する画素を含む周辺の範囲内であって、対象とされる画素サイズよりも大きいサイズで検出される動きベクトルの始点及び終点を含む範囲に基づく探索範囲内で、該画素サイズごとに動きベクトルを検出する。
【００１４】
この場合、各参照フレーム画像全体を用いることなく、当該各参照フレーム画像内において限られた探索範囲だけで動きベクトルを検出できる。
【００１５】
【発明の実施の形態】
（１）ＪＶＴ符号化方式の概要
まず、ＪＶＴ符号化方式に規定されている動き補償について説明する。ＪＶＴ符号化方式では、1/4画素精度及び1/8画素精度で動き補償できるようになされており、1/4画素精度の動き補償処理（補間処理）について図１を用いて説明する。
【００１６】
ＪＶＴ符号化方式においては、帯域制限フィルタであるＦＩＲ(Finite Impulse Response)フィルタを用いて動き補償するようになされており、1/2画素精度の画素値（輝度信号）を生成するためのフィルタ係数として、次式
【００１７】
【数１】
のような６タップのフィルタ係数が定義されている。
【００１９】
ここで、図１に示した画素値b,ｈに対する動き補償（補間）については（１）式のフィルタ係数を用いて、次式
【００２０】
【数２】
に従って積和演算を行った後、「０」から「２５５」までの８ビットをＣｌｉｐ１とすると、次式
【００２２】
【数３】
のように、Ｃｌｉｐ１以外の部分を除去するクリップ処理により算出される。
【００２４】
因みに、（３）式における「＞＞５」は、５ビット分だけシフトするという意味であり、実際には２5だけ除算しており、また（３）式における「＋１６」については、２5だけ除算した際に端数分が除去されない（四捨五入されない）ようにするためである。
【００２５】
また、画素値jについては、（１）式のフィルタ係数を用いて上述の画素値b,hと同様に画素値aa,bb,cc,dd,ee,ff,gg,hhを生成した後、当該（１）式のフィルタ係数を用いて、次式
【００２６】
【数４】
あるいは、次式
【００２８】
【数５】
に従って積和演算を行った後、さらに次式
【００３０】
【数６】
に従ったクリップ処理により算出される。
【００３２】
また、画素値a,c,d,n,f,i,k,qについては、次式
【００３３】
【数７】
のように、整数画素精度の画素値（図中の斜線部分に相当する）と、1/2画素精度の画素値G,H,ＵＢ１,h,j,m,sの線形内挿により算出される。
【００３５】
また、画素値e,g,pについては、次式
【００３６】
【数８】
のように、1/2画素精度の画素値b,h,m,sだけを用いた線形内挿により算出される。
【００３８】
さらに、画素値rについては、ＪＶＴ符号化方式において“ｉｎｔｅｒｐｏｌａｔｉｖｅｌｙ ｃｈａｌｌｅｎｇｉｎｇ ｐｏｓｉｔｉｏｎ” と呼ばれる点であり、次式
【００３９】
【数９】
のように算出される。
【００４１】
次に、1/8画素精度の動き補償処理（補間処理）について図２を用いて説明する。
【００４２】
ＪＶＴ符号化方式では、1/4画素精度の画素値（輝度信号）を生成するためのポリフェノールフィルタ係数として、次式
【００４３】
【数１０】
が定義されている。
【００４５】
1/4画素精度の画素値bh,bvについては、（１０）式のフィルタ係数を用いて、整数画素精度の画素値Aを入力サンプルとして積和演算を行った後、次式
【００４６】
【数１１】
に従ったクリップ処理により算出される。
【００４８】
また、画素値cm,cqについては、まず、画素値bh,bvに対する積和演算を行った後、クリップ処理を行わない値を用いて、更に画素値bh,bvを入力とする積和演算を行った後に、次式
【００４９】
【数１２】
に従ったクリップ処理により算出される。
【００５１】
また、1/8画素精度の画素値 dについては、その位置によって、次式
【００５２】
【数１３】
に従った線形内挿により算出される。
【００５４】
また、画素値eについては、対角線上に位置する画素値bh,bvを用いて、次式
【００５５】
【数１４】
に従って算出される。
【００５７】
また、画素値gについては、次式
【００５８】
【数１５】
に従って算出される。
【００６０】
さらに、画素値fh,fvについては、次式
【００６１】
【数１６】
に従って算出される。
【００６３】
ここで、対角線上にある画素値を用いて、線形内挿により1/8画素精度の画素値を生成する手法の概念図を図３に示す。
【００６４】
次に、ＪＶＴ符号化方式における色差信号の動き補償処理（補間処理）について、図４を用いて説明する。ＪＶＴ符号化方式では、1/4画素精度の動き補償を行う場合も、1/8画素精度の動き補償を行う場合も、小数画素精度の色差信号については、次式
【００６５】
【数１７】
に従った線形内挿により算出される。
【００６７】
ところでＪＶＴ符号化方式においては、上述したように数多くの動き補償処理モードが規定されており、マクロブロックに対して最適な当該モードを選択すること、すなわち動きベクトルの探索を行うことは高圧縮率の画像圧縮情報を生成するために重要となるので、ＲＤ最適化によって動きベクトルを探索する。
【００６８】
次に、かかるＲＤ最適化について詳細に説明する。
【００６９】
ＲＤ最適化では、動き補償における全ての画素精度に対する動き探索について、探索結果をJ(m,λMOTION)とし、動きベクトルをｍ＝（ｍｘ,ｍｙ）ｒとし、予測動きベクトルをSA(T)D(s,c(m))とし、ｐ＝（ｐｘ,ｐｙ）ｒとし、を動きベクトルに対するLagrange乗数をλMOTIONとし、発生符号量テーブルによって求められる動きベクトル差分の発生情報量をＲ（ｍ−ｐ）とすると、次式
【００７０】
【数１８】
に従って求められる。
【００７２】
ここで、ＪＶＴ符号化方式において、エントロピー符号化は、ＵＶＬＣ(Universal Variable Length Coding)に基づく方法と、ＣＡＢＡＣ(Context-based Adaptive Binary Arithmetic Coding)基づく方法の２つが規定されているが、発生情報量については、ＣＡＢＡＣが適用されている場合であってもＵＶＬＣが適用され、動きベクトルの残差エネルギー（歪）部分（（１７式のSA(T)D(s,c(m))に相当）については、現フレームの画像信号をsとし、参照フレームの画像信号をcとすると、次式
【００７３】
【数１９】
によって求められる。
【００７５】
但し、半画素精度以下の動きベクトルの補正の際には、離散コサイン変換でなく、アダマール変換を用いて求められるので、SATDが用いられる。
【００７６】
またLagrange乗数（λMOTION）においては、量子化パラメータをＱＰとすると、Ｉ及びＰフレームについては、次式
【００７７】
【数２０】
のように与えられ、またＢフレームについては、次式
【００７９】
【数２１】
のように与えられる。
【００８１】
次に、ＲＤ最適化において、複数枚の参照フレーム画像群ＳＦ（図１７）の中から実際に参照する参照フレーム画像を選択する場合について説明する。ＲＤ最適化では、参照フレーム画像の選択に関しては当該選択結果をJ(REF|λMOTION)とし、参照フレームの発生情報量をＵＶＬＣで求めた値をR（REF）とすると、次式
【００８２】
【数２２】
に従って、当該選択結果（J(REF|λMOTION)）が最小となる値を有する参照フレーム画像が選択される。
【００８４】
またＢフレームにおける、Ｎ×Ｍブロックの予測方向の選択に関しては当該選択結果をJ(PDIR|λMOTION)とすると、次式
【００８５】
【数２３】
に従って、当該選択結果（J(PDIR|λMOTION)）が最小となる値を有するＮ×Ｍブロックの予測方向が選択される。
【００８７】
次に、ＲＤ最適化において、図１６で上述したマクロブロックモードの選択について説明する。ＲＤ最適化では、マクロブロックモードの選択に関しては当該選択結果をJ(s,c,MODE|QP,λMOTION)とすると、次式
【００８８】
【数２４】
に従って、当該選択結果（J(s,c,MODE|QP,λMOTION)）が最小となる値を有するマクロブロックモードが選択される。
【００９０】
かかるマクロブロックモードの選択候補となるMODEをフレームタイプ毎に表１に示す。
【００９１】
【表１】
表１において、「SKIP」は縦横16x16画素サイズで動きベクトル残差、及び、係数残差が復号化側に送られないものを表し、「SSD」は、MODE とQPを選択した場合のマクロブロックの発生情報量をＲ（s,c,MODE|QP）とし、再構成画像及び元画像の輝度成分をｃｙ［x,y,MODE|QP,ｓｙ［x,y］とし、色差成分をcu, cv, やsu, svとすると、次式
【００９３】
【数２５】
によって表される誤差二乗和の値である。
【００９５】
但し、発生情報量の中にはヘッダ、動きベクトル、直交変換係数など全ての情報に対応するものが含まれる。またLagrange乗数（λMOTION）は、上述の（２０）式及び（２１）式のように与えられる。
【００９６】
図１６で上述したサブマクロブッロクモードに関しては、マクロブロックのモードの場合と同様の選択処理が行われる。かかるサブマクロブロックモードの選択候補となるMODEをフレームタイプ毎に表２に示す。
【００９７】
【表２】
以上のようなＪＶＴ符号化方式に規定される各種処理を画像符号化装置に適用すると動きベクトル探索の際に膨大な演算量を必要してしまうので、本発明は、圧縮効率を極力損なうことなく演算量を低減する。
【００９９】
以下図面について、本発明の一実施の形態を詳述する。
【０１００】
（２）画像符号化装置の構成
まずは、図５において、ＪＶＴ符号化方式を適用した画像符号化装置１の全体構成について説明する。
【０１０１】
画像符号化装置１は、外部から供給される動画像信号Ｓ１をＡ／Ｄ変換部２を介して動画像データＤ１を生成した後に画像並替バッファ３に一旦記憶し、当該画像並替バッファ３において動画像データＤ１をフレーム画像単位で圧縮符号化順に並び替え、当該並び替えたフレーム画像をフレームデータＤ２として加算器４及び動き予測補償処理部５に順次送出するようになされている。
【０１０２】
動き予測補償処理部５は、詳細については後述するが、画像並替バッファ３から与えられるフレームデータＤ２のフレーム画像を、図１６で上述した動き補償ブロックのうち最も大きい画素サイズでなる縦横16×16画素サイズの動き補償ブロック（以下、これを最大動き補償ブロックと呼ぶ）に分割し、当該各最大動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて最適な動きベクトルＤ３をそれぞれ検出し、これらを可逆符号化装置１８に順次送出する。
【０１０３】
また動き予測処理部５は、複数の動きベクトルＤ３に応じて動き補償することにより得られる複数の予測データＤ４を加算器４及び１１に順次送出する。
【０１０４】
加算器４は、動き予測補償処理部５から予測データＤ４が与えられる場合、画像並替バッファ６より与えられるフレームデータＤ２（Ｉピクチャ以外の画像タイプ）から、当該フレームデータＤ２に対応する複数の予測データＤ４をそれぞれ減算することにより差分データＤ５を生成し、これを直交変換部６に送出する。
【０１０５】
これに対して加算器４は、予測データＤ４が与えられない場合には、画像並替バッファ６より与えられるフレームデータＤ２（Ｉピクチャ）をそのまま差分データＤ５として直交変換部６に送出する。
【０１０６】
直交変換部６は、差分データＤ５に対して離散コサイン変換等の直交変換処理を施すことにより直交変換係数データＤ６を生成し、これを量子化部７に送出する。
【０１０７】
量子化部７は、直交変換係数データＤ６に対して量子化処理を施すことにより量子化データＤ７を生成し、これを逆量子化部９及び可逆符号化処理部１８にそれぞれ送出する。
【０１０８】
この場合、量子化部７においては、量子化パラメータ値を決定づけるための量子化制御データＤ８がレート制御部８によるフィードバック制御に従って与えられており、当該量子化制御データＤ８の量子化パラメータ値に応じた量子化データＤ７を生成するようになされている。
【０１０９】
可逆符号化処理部１８は、量子化部７から与えられる量子化データＤ７、及び動き予測補償処理部５から与えられる動きベクトルＤ３に対して例えばＵＶＣＬに準拠した可逆符号化処理を施すことにより符号化データＤ１５を生成し、これを蓄積バッファ１９を介して外部に出力するようになされている。
【０１１０】
一方、逆量子化部９は、量子化部７から与えられる量子化データＤ７に対して逆量子化処理を施すことにより、直行変換係数データＤ６に相当する直交変換係数データＤ９を復元し、これを逆直交変換部１０に送出する。
【０１１１】
逆直交変換部１０は、逆量子化部９から与えられる直交変換係数データＤ９に対して逆直交変換処理を施すことにより、差分データＤ５に相当する差分データＤ１０を復元し、これを加算器１１に送出する。
【０１１２】
加算器１１は、動き予測補償処理部５から予測データＤ４が与えられる場合、逆直行変換部１１より与えられる差分データＤ１０に対して、当該差分データＤ１０に対応する複数の予測データＤ４を加算することによりフレームデータＤ２に相当するフレームデータＤ１１を復元し、これをデブロックフィルタ１２に送出する。
【０１１３】
これに対して加算器１１は、動き予測補償処理部５から動き補償データＤ４が与えられない場合には、逆直行変換部１１より与えられる差分データＤ１０をそのままフレームデータＤ１１としてデブロックフィルタ１２に送出する。
【０１１４】
デブロックフィルタ１２は、加算器１１から与えられるフレームデータＤ１１のうち互いに隣接するマクロブロック間に歪みが生じている場合には、当該歪み部分をフィルタリングすることにより滑らかにし、当該滑らかにしたフレームデータＤ１１を、１枚の参照フレーム画像に相当する参照フレームデータＤ１２としてフレームメモリ１３へ必要に応じて記憶する。
【０１１５】
これに対してデブロックフィルタ１２は、フレームデータＤ１１のうち互いに隣接するマクロブロック間に歪みが生じていない場合には、当該フレームデータＤ１１を参照フレームデータＤ１２としてフレームメモリ１３へ必要に応じて記憶する。
【０１１６】
このようにして画像符号化装置１は、参照候補とすべき複数枚の参照フレーム画像に相当するデータ数分だけの参照フレームデータＤ１２をフレームメモリ１３に記憶するようになされている。
【０１１７】
かかる構成に加えて、第１の間引部１４は、フレームメモリ１３から読み出した参照フレームデータＤ１２の参照フレーム画像の画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、原画である参照フレーム画像に対して1/4 の縮小率でなる縮小画像（以下、これを1/4 縮小参照画像と呼ぶ）を生成し、これを第１の縮小データＤ１３として1/4 フレームメモリ１５に記憶する。
【０１１８】
この場合、第１の間引部１４は、上述の（１）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、当該ＦＩＲフィルタ係数値を用いて図１で上述した動き補償処理と同様の処理に従って画素を間引くことにより、1/4 縮小参照画像を生成し得るようになされている。
【０１１９】
また第１の間引部１４は、参照フレームデータＤ１２が飛び越し操作画像であった場合には、垂直方向については図６に示すように、フィールド毎に間引きするようになされており、第１フィールドについては、予め内部メモリに記憶している次式
【０１２０】
【数２６】
でなるフィルタ係数値、また第２フィールドについては、予め内部メモリに記憶している次式、
【０１２２】
【数２７】
でなるフィルタ係数値を用いてフィルタリングを実行することにより、入力となる画素値のうち１つ置きごとに画素を間引きするようになされている。
【０１２４】
第２の間引部１６は、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第１の間引部１４と同様に、1/4フレームメモリ１５から読み出した第１の縮小データＤ１３の1/4 縮小参照画像の画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、原画である参照フレーム画像に対して1/16の縮小率でなる縮小画像（以下、これを1/16縮小参照画像と呼ぶ）を生成し、これを第２の縮小データＤ１４として1/16フレームメモリ１７に記憶する。
【０１２５】
このように画像符号化装置１は、フレームメモリ１３に記憶された複数の参照フレームデータＤ１２に相当する複数枚の参照フレーム画像それぞれに対して1/4 及び1/16の縮小率でなる1/4 縮小画像及び1/16縮小画像を、当該複数の参照フレーム画像にそれぞれ対応する数だけ生成し、対応する1/4 フレームメモリ１５又は1/16フレームメモリ１７に記憶し得るようになされている。
【０１２６】
（３）動き予測補償処理部の構成
次に、本発明を適用した動き予測補償処理部の構成について説明する。
【０１２７】
図７に示すように、動き予測補償装置としての動き予測補償処理部５は、画素ブロック分割部２０と、階層化手段としての縮小ブロック生成２１と、探索範囲決定手段及び検出手段としての動き予測補償部２２とによって構成されており、画像並替バッファ３から与えられるフレームデータＤ２を画素ブロック分割部２０に入力する。
【０１２８】
画素ブロック分割部２０は、フレームデータＤ２のフレーム画像を縦横16×16画素サイズのブロック単位でそれぞれ分割することにより複数の最大動き補償ブロックを生成し、当該各最大動き補償ブロックをそれぞれ最大動き補償ブロックデータＤ２０として縮小ブロック生成２１及び動き予測補償部２２に順次送出する。
【０１２９】
縮小ブロック生成部２１の第１の縮小ブロック生成部２１ａは、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第1 の間引部（図５）と同様の処理を行って画素を間引くようになされている。
【０１３０】
この場合、第１の縮小ブロック生成部２１ａは、最大動き補償ブロックデータＤ２０の最大動き補償ブロックの画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、当該縦横16×16画素サイズでなる最大動き補償ブロックに対して1/4 の縮小率でなる縦横8 ×8 画素サイズのブロック（以下、これを1/4 縮小ブロックと呼ぶ）を生成し、これを1/4 縮小ブロックデータＤ２１として第２の縮小ブロック生成部２１ｂ及び動き予測補償部２２にそれぞれ送出する。
【０１３１】
第２の縮小ブロック生成部２１ｂは、上述の（１）、（２６）及び（２７）式に定義されたＦＩＲフィルタ係数値を予め内部メモリ（図示せず）に記憶しており、第２の間引部（図５）と同様の処理を行って画素を間引くようになされている。
【０１３２】
この場合、第２の縮小ブロック生成部２１ｂは、1/4 縮小ブロックデータＤ２１の1/4 縮小ブロックの画素を水平方向及び垂直方向にそれぞれ1/2 だけ間引くことにより、縦横16×16画素サイズでなる最大動き補償ブロックに対して1/16の縮小率でなる縦横4 ×4 画素サイズのブロック（以下、これを1/16縮小ブロックと呼ぶ）を生成し、これを1/16縮小ブロックデータＤ２２として動き予測補償部２２に送出する。
【０１３３】
動き予測補償部２２は、図８に示すように、画素ブロック分割部２０から与えられる最大動き補償ブロックデータＤ２０に相当する最大動き補償ブロックＵＢ１と、フレームメモリ１３から読み出した例えば４種類の参照フレームデータＤ１２に相当する参照フレーム画像ＳＦ1 〜ＳＦ4 とを最上層ＴＳの原画像群として認識する。
【０１３４】
また動き予測補償部２２は、第１の縮小ブロック生成部２１ａから与えられる1/4 縮小ブロックデータＤ２１に相当する1/4 縮小ブロックＣＢf と、1/4 フレームメモリ１５から読み出した例えば４種類の第１の縮小画像データＤ１３に相当する1/4 縮小参照画像ＣＢ1 〜ＣＢ4 とを最上層よりも下層となる第１下層ＢＳｆの縮小画像群として認識する。
【０１３５】
さらに動き予測補償部２２は、第２の縮小ブロック生成部２１ｂから与えられる1/16縮小ブロックデータＤ２２に相当する1/16縮小ブロックＣＢs と、1/16フレームメモリ１７から読み出した第２の縮小画像データＤ１４に相当する1/16縮小参照画像ＣＢ11〜ＣＢ14とを最下層となる第２下層ＢＳｓの縮小画像群として認識する。
【０１３６】
そして動き予測補償部２２は、それぞれ認識した最上層ＴＳ、第１下層ＢＳｆ及び第２下層ＢＳｓの各画像群を用いて動き予測補償処理を実行することにより動きベクトルＤ３及び予測データＤ４を生成し、当該動きベクトルＤ３を可逆符号化処理部１８に送出すると共に、予測データＤ４を加算器4 及び１１に送出する。
【０１３７】
このように動き予測補償処理部５は、最大動き補償ブロックＵＢ１、1/4 縮小ブロックＣＢf 及び1/16縮小ブロックＣＢs と、当該最大動き補償ブロックＵＢ１、1/4 縮小ブロックＣＢf 及び1/16縮小ブロックＣＢs の縮小率にそれぞれ対応する参照フレーム画像ＳＦ1 〜ＳＦ4 、1/4 縮小参照画像ＣＢ1 〜ＣＢ4 及び1/16縮小参照画像ＣＢ11〜ＣＢ14とを組として各階層ＴＳ、ＢＳｆ及びＢＳｓに分けて動き予測補償処理を実行するようになされている。
【０１３８】
ところで動き予測補償部２２は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭ等により構成される制御部により、当該ＲＯＭに予め記憶された所定の動き予測補償プログラムに従って動き予測補償処理を実行するようになされており、当該動き予測補償処理手順について以下説明する。
【０１３９】
（４）動き予測補償処理手順
【０１４０】
図９に示すように、動き予測補償部２２は、ルーチンＲＴ１の開始ステップから続くステップＳＰ１へ移って、最下層である第２下層ＢＳｓ（図８）の1/16縮小参照画像ＣＢ11〜ＣＢ14それぞれに対して、縦横4 ×4 画素サイズの1/16縮小ブロックＣＢs で順次ブロックマッチングを行うことにより、第２下位層ＢＳｓ上の動きベクトル（以下、これを第２下位層動きベクトルと呼ぶ）を探索する。
【０１４１】
具体的に、動き予測補償部２２は、ＲＤ最適化を適用することなく、例えば図１０に示すように、1/16縮小ブロックＣＢs 内の全ての画素値と、当該ブロックＣＢs に対応する1/16縮小参照画像ＣＢ11( ＣＢ12〜ＣＢ14) 内のブロック（以下、これを対応ブロックと呼ぶ）の画素値との間における差分の絶対値総和だけをそれぞれ求め、そのうち絶対値総和が最小となる際の対応ブロックＣＴＢと、1/16縮小ブロックＣＢs との間における動き量に基づいて第２下位層ＢＳｓ（図８）上の第２下位層動きベクトル1/16ＭＶ1 （1/16ＭＶ2 〜1/16ＭＶ4 ）を検出し、次のステップＳＰ２へ移る。
【０１４２】
この場合、動き予測補償部２２は、原画である参照フレーム画像ＳＦ1 〜ＳＦ4 に比して探索範囲が小さい1/16縮小参照画像ＣＢ11〜ＣＢ14に対して、動きベクトル差分の発生符号量を表す発生符号量テーブルを参照せずに、かつ量子化関数（動きベクトルに対するLagrange乗数）の演算をもせずにブロックマッチングを行っていることにより、第２下位層動きベクトル1/16ＭＶ1 〜1/16ＭＶ4 を求める際の処理負荷を低減し得るようになされている。
【０１４３】
ステップＳＰ２において動き予測補償部２２は、例えば図１１に示すように、ステップＳＰ１で検出した第２下位層動きベクトル1/16ＭＶ1 〜1/16ＭＶ4 における水平成分及び垂直成分それぞれに対して動き補償処理（補間処理）を行うことにより、当該水平成分を２倍及び垂直成分を２倍の計４倍だけ拡大する。
【０１４４】
この場合、動き予測補償部２２は、1/16縮小ブロックＣＢｓに対応する原画上の最大動き補償ブロックＵＢ１について上述のＪＶＴ符号化方式における1/4 画素精度（図１）又は1/8画素精度（図２）が選定されている場合であっても、線形内挿による整数画素精度又は1/2 画素精度に従った動き補償を行うことにより、当該動き補償の際の処理負荷を低減し得るようになされている。
【０１４５】
そして動き予測補償部２２は、かかる動き補償を行って拡大した第２下位層動きベクトルの始点及び終点を頂点とする長方形状範囲ＡＲの周辺数画素を含む範囲ＵＡＲ1 （ＵＡＲ2 〜ＵＡＲ4 ）を、第１下位層ＢＳｆの1/4 縮小参照画像ＣＢ1（ＣＢ2〜ＣＢ4） 内の探索範囲（以下、これを第１下位層探索範囲と呼ぶ）として決定し、次のステップＳＰ３移る。
【０１４６】
ステップＳＰ３において動き予測補償部２２は、ステップＳＰ２で決定した1/4 縮小参照画像ＣＢ1 〜ＣＢ4 内の第１下位層探索範囲ＵＡＲ1 〜ＵＡＲ4 それぞれに対して、ステップＳＰ１における処理と同様にＲＤ最適化を適用することなく、縦横8 ×8 画素サイズの1/4 縮小ブロックＣＢｆで順次ブロックマッチングを行うことにより、第１下位層における動きベクトル（以下、これを第１下位層動きベクトルと呼ぶ）1/4 ＭＶ1 〜1/4 ＭＶ4 （図８）を検出し、次のステップＳＰ４へ移る。
【０１４７】
ステップＳＰ４において動き予測補償部２２は、ステップＳＰ３で検出した第１下位層動きベクトル1/4 ＭＶ1 〜1/4 ＭＶ4 それぞれに対して、ステップＳＰ２における処理と同様の処理を行うことにより、最上位層ＴＳの参照フレーム画像ＳＦ1 〜ＳＦ4 （図８）内の探索範囲（以下、これを第１の最上位層探索範囲と呼ぶ）ＴＡＲ1 〜ＴＡＲ4 を決定し、次のステップＳＰ５移る。
【０１４８】
ステップＳＰ５において動き予測補償部２２は、ステップＳＰ４で決定した第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 （図８）それぞれに対して、ＪＶＴ符号化方式で規定される縦横16×16画素サイズの動き補償ブロックＵＢ１で順次ＲＤ最適化によるブロックマッチングを行うことにより、動き補償ブロックＵＢ１に係る動きベクトルを検出し、次のステップＳＰ６へ移る。
【０１４９】
この場合、動き予測補償部２２は、ＪＶＴ符号化方式で規定されているように最大動き補償ブロック全体にわたって動きベクトルを探索することなく、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 内だけを探索して動き補償ブロックＵＢ１に係る動きベクトルを検出していることにより、上述したような膨大な演算量を要するＲＤ最適化の際の処理負荷を格段に低減し得るようになされている。
【０１５０】
ステップＳＰ６において動き予測補償部２２は、最上位層ＴＳ（図８）上における第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4を用いて、図１２に示すように動き補償ブロックのブロック形状が同じとなる第１〜第３系列ＳＳ１〜ＳＳ３ごとに、大きい画素サイズから小さい画素サイズに順次変更しながら、各動き補償ブロックＵＢ２〜ＵＢ３４ごとにＲＤ最適化によるブロックマッチングを行う。
【０１５１】
実際には、動き予測補償部２２は、第１系列ＳＳ１において、ステップＳＰ５で検出した動き補償ブロックＵＢ１の動きベクトルに基づいて、図１１で上述した探索範囲の決定と同様の処理（以下、これを探索範囲決定処理と呼ぶ）を行って、例えば図１３に示すように、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 （図８）よりも小さい第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８を決定し、当該第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで、縦横8 ×16画素サイズの動き補償ブロックＵＢ２及びＵＢ３に係る２種類の動きベクトルを検出する。
【０１５２】
次いで動き予測補償部２２は、動き補償ブロックＵＢ２及びＵＢ３に係る動きベクトルに基づいて探索範囲決定処理を行って、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８よりも小さい第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２を決定し、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横4 ×8 画素サイズの動き補償ブロックＵＢ１１〜ＵＢ１４に係る４種類の動きベクトルを検出する。
【０１５３】
また、動き予測補償部２２は、第１系列ＳＳ１に対する処理とほぼ同時に第２系列ＳＳ２において、当該第１系列ＳＳ１に対する処理と同様に、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで縦横16×8画素サイズの動き補償ブロックＵＢ４及びＵＢ５に係る２種類の動きベクトルを検出した後、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横8 ×4 画素サイズの動き補償ブロックＵＢ１５〜ＵＢ１８に係る４種類の動きベクトルを検出する。
【０１５４】
さらに、動き予測補償部２２は、第１系列ＳＳ１に対する処理とほぼ同時に第３系列ＳＳ３において、当該第１系列ＳＳ１に対する処理と同様に、第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８内だけで縦横8×8画素サイズの動き補償ブロックＵＢ６〜ＵＢ９に係る４種類の動きベクトルを検出した後、当該第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２内だけで、縦横4 ×4 画素サイズの動き補償ブロックＵＢ１９〜ＵＢ３４に係る動きベクトルを検出する。
【０１５５】
このように動き予測補償部２２は、小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小することにより、大きい画素サイズの動き補償ブロックに比してブロック数が増加する分だけ多くの演算量を必要とする小さい画素サイズの動き補償ブロックの動きベクトルを検出する際の処理負荷を低減し得ると共に、ＪＶＴ符号化方式で規定されているようにマクロブロック全体にわたって各画素サイズでなる動き補償ブロック（図１６）ごとに動きベクトルを求める場合に比して格段に処理付加を低減し得るようになされている。
【０１５６】
このようにして動き予測補償部２２は、動き補償ブロックＵＢ１以外の残りの動き補償ブロックＵＢ２〜ＵＢ３４に係る動きベクトルをそれぞれ検出した後、次のステップＳＰ７へ移る。
【０１５７】
因みに、動き予測補償部２２は、第１〜第３系列ＳＳ１〜ＳＳ３において同一の第２の最上位層探索範囲ＴＡＲ５〜ＴＡＲ８及び第３の最上位層探索範囲ＴＡＲ９〜ＴＡＲ１２を用いるようにしたが、これに限らず、小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小すれば、形状等は異なっていても良い。
【０１５８】
ステップＳＰ７において動き予測補償部２２は、ステップＳＰ５及びＳＰ６でＲＤ最適化によってそれぞれ検出した各動き補償ブロックＵＢ１〜ＵＢ３４の動きベクトルのうち、最も小さい符号量を発生し得る最適な動きベクトルを最終的な動きベクトルＤ３（図７）として検出し、次のステップＳＰ８へ移る。
【０１５９】
ステップＳＰ８において動き予測補償部２２は、ステップＳＰ７で検出した動きベクトルＤ３に応じて、例えば図１で上述した１／４動き補償処理を行って予測データＤ４（図７）を生成し、次のステップＳＰ９へ移る。
【０１６０】
ステップＳＰ９において動き予測補償部２２は、ステップＳＰ７で検出した動きベクトルＤ３を可逆符号化処理部１８に送出すると共に、ステップＳＰ８で生成した予測データＤ４を加算器４及び１１に送出した後、次のステップＳＰ１０へ移って動き予測補償処理を終了する。
【０１６１】
（５）動作及び効果
以上の構成において、動き予測補償処理部５は、ＪＶＴ符号化方式で規定されている動き補償ブロックのうち、最も大きい画素サイズでなる動き補償ブロックＵＢ１（図８）を最上位層ＴＳとし、当該最大動き補償ブロックＵＢ１を間引きすることにより、1/4 の縮小率でなる第１下位層の縮小ブロックＣＢｓ及び1/16縮小率でなる第２下位層の1/16縮小ブロックＣＢｆを生成して階層化する。
【０１６２】
そして動き予測補償処理部５は、最上位層ＴＳを除く下位層（第１下位層ＢＳｆ及び第２下位層ＢＳｓ）における複数の縮小参照画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて階層的に動きベクトルの探索を行って、最上位層ＴＳにおいてＲＤ最適化による動きベクトル探索を行うための第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 を決定する（ステップＳＰ１〜ステップＳＰ４）。
【０１６３】
この場合、動き予測補償処理部５は、動きベクトル差分の発生符号量を表す発生符号量や量子化関数を加味するＲＤ最適化を適用することなく、縮小ブロックとの差分の絶対値総和だけでブロックマッチングを行って動きベクトルを検出すると共に、当該検出した動きベクトルを1/4 画素精度（図１）又は１／８画素精度（図２）の動き補償を行うことなく、線形内挿による整数画素精度又は1/2 画素精度に従った動き補償を行うことにより、少ない演算量で第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4を決定することができる。
【０１６４】
この状態において動き予測補償処理部５は、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４を用いて、各画素サイズでなる動き補償ブロックＵＢ１〜ＵＢ３４（図１２）に係る動きベクトルをそれぞれ検出し、当該検出した各動きベクトルのうち最も小さい符号量を発生し得る最適かつ最終的な動きベクトルＤ３として検出するようにした。
【０１６５】
従って、動き予測補償処理部５は、第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ4 を決定するまでの処理に要する分だけ新たな演算が加わるものの、当該演算量よりも格段に演算量を必要とするＲＤ最適化の探索範囲を限定している分だけ、ＪＶＴ符号化方式で規定されているように各画素サイズでなる動き補償ブロックごとにマクロブロック全体にわたって動きベクトルを探索して動きベクトルを検出する場合に比して、処理負荷を格段に低減することができる。
【０１６６】
これに加えて、動き予測補償処理部５は、図１２で上述したように、各画素サイズでなる動き補償ブロックＵＢ１〜ＵＢ３４（図１２）に係る動きベクトルをそれぞれ検出する際に、大きい画素サイズから小さい画素サイズでなる動き補償ブロックに順次変更するごとに探索範囲を縮小することにより、小さい画素サイズの動き補償ブロックの動きベクトルを検出する際の処理負荷を低減することができ、その結果、全体としての処理負荷を一段と低減することができる。
【０１６７】
以上の構成によれば、最も大きい画素サイズでなる動き補償ブロックＵＢ１を階層化し、当該階層化した第１下位層ＢＳｆ及び第２下位層ＢＳｓにおける複数の縮小参照画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて、最上位層ＴＳにおける最適な動きベクトルを絞り込んでおおまかな第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４を少ない演算量で決定した後、当該探索範囲ＴＡＲ1 〜ＴＡＲ４を用いてＲＤ最適化によって動きベクトルを検出するようにしたことにより、当該動きベクトルＤ３を検出する際の処理負荷を格段に低減することができる。
【０１６８】
（６）他の実施の形態
なお上述の実施の形態においては、縦横16×16、縦横8×16、縦横16×8、縦横8×8、縦横4×8、縦横8×4及び縦横4×4の各画素サイズでなる動き補償ブロックに順次変更して動き予測補償を行う場合について述べたが、本発明はこれに限らず、例えば縦横１６×４画素サイズ等、この他種々の画素サイズでなる動き補償ブロックに順次変更して動き予測補償を行うようにしても良い。
【０１６９】
さらに上述の実施の形態においては、ＪＶＴ符号化方式に本発明を適用する場合について述べたが、これに限らず、要は、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなる動き補償ブロックごとに、当該動き補償ブロックの画素サイズを順次変更しながら複数の参照フレーム画像を用いて動き予測補償を行うこの他種々の符号化方式に本発明を適用することができる。
【０１７０】
さらに上述の実施の形態においては、ＦＩＲフィルタ係数値として（１）式を用いて間引きする場合について述べたが、本発明はこれに限らず、1/2 位相を生成するためのこの他種々のＦＩＲフィルタ係数値を用いるようにしても良い。
【０１７１】
さらに上述の実施の形態においては、水平方向及び垂直方向に対して同じ縮小率で縮小する場合について述べたが、本発明はこれに限らず、当該水平方向及び垂直方向に対してそれぞれ異なる縮小率で縮小するようにしても良い。
【０１７２】
さらに上述の実施の形態においては、1/4 及び1/16の縮小率で縮小する場合について述べたが、本発明はこれに限らず、２の乗数分の１でなるこの他種々の縮小率で縮小するようにしても良い。
【０１７３】
さらに上述の実施の形態においては、1/16縮小ブロックＣＢs 内の全ての画素値と、当該ブロックＣＢs に対応する1/16縮小参照画像ＣＢ11〜ＣＢ14内の対応ブロックの画素値との間、あるいは1/4 縮小ブロックＣＢf 内の全ての画素値と、当該ブロックＣＢf に対応する1/4 縮小参照画像ＣＢ1 〜ＣＢ4 内の対応ブロックの画素値との間における差分の絶対値総和に基づいて動きベクトルを求める場合について述べたが、本発明はこれに限らず、当該差分の自乗和を求めるようにしても良く、要は、縮小ブロックの画素値と、縮小参照画像の画素値との間における差分値に基づいて動きベクトルを求めることができる。
【０１７４】
さらに上述の実施の形態においては、図８で上述したように第２下位層ＢＳｓ及び第１下位層ＢＳｆにおける全ての参照縮小画像ＣＦ１１〜ＣＦ１４及びＣＦ１〜ＣＦ４と、縮小ブロックＣＢｓ及びＣＢｆとを用いて、最上位層ＴＳにおける全ての参照フレーム画像ＳＦ１〜ＳＦ４上の第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４を決定する場合について述べたが、本発明はこれに限らず、当該第１の最上位層探索範囲ＴＡＲ1 〜ＴＡＲ４のうちいずれかだけを決定するようにしても良い。
【０１７５】
この場合、動き予測補償部２２は、図９で上述した動き予測補償処理手順におけるステップＳＰ１の処理の後に、第２下位層ＢＳｓの縮小ブロックＣＢｓとのブロックマッチングにより、参照縮小画像ＣＦ１１〜ＣＦ１４（図８）のうち、当該縮小ブロックＣＢｓとの間における画素値の差分が最小となる例えば参照縮小画像ＣＦ１３を選択するステップを加え、当該ステップで選択された参照縮小画像ＣＦ１３に対応する第１下位層ＢＳｆ上の参照縮小画像ＣＦ３だけを用いてステップＳＰ２からステップＳＰ４までの各処理を行って第１の最上位層探索範囲ＴＡＲ３だけを決定する。
【０１７６】
このように動き予測補償部２２は、第２下位層ＢＳｓにおいて、最上位層ＴＳ上でＲＤ最適化による動きベクトル探索を行う参照フレーム画像ＳＦ３を選択することにより、複数の参照縮小画像ＣＦ１１、ＣＦ１３、ＣＦ１４、ＣＦ１、ＣＦ３及びＣＦ４と、複数の参照フレーム画像ＳＦ１、ＳＦ３及びＳＦ４とに対する演算量をそれぞれ削減でき、最終的かつ最適な動きベクトルＤ３（図７）を検出するまでの全体としての処理負荷についても格段に低減することができる。
【０１７７】
さらに動き予測補償部２２は、処理対象の動き補償ブロックＵＢ１がＢピクチャである場合、上述した参照フレーム画像ＳＦ３の選択と同様に、第２下位層ＢＳｓにおいて、縮小ブロックＣＢｓとのブロックマッチングにより、参照縮小画像ＣＦ１１〜ＣＦ１４（図８）のうち、当該縮小ブロックＣＢｓとの間における画素値の差分が最小となる動きベクトルを有する予測方向モードを、当該動き補償ブロックＵＢ１に対する予測方向モードとするようにしても良い。このようにすれば、最終的かつ最適な動きベクトルＤ３（図７）を検出するまでの全体としての処理負荷をさらに低減することができる。
【０１７８】
さらに上述の実施の形態においては、探索範囲の決定例として図１１で上述したように、例えば第２下位層上で検出した動きベクトルを拡大し、当該拡大した動きベクトルの始点及び終点を頂点とする長方形状範囲ＡＲの周辺数画素を含む範囲ＵＡＲ1 を第１下位層探索範囲として決定する場合について述べたが、本発明はこれに限らず、当該拡大した動きベクトルの始点及び終点を頂点とする台形形状範囲、平行四辺形形状範囲又は円形形状の周辺画素を含む範囲等、要は、拡大した動きベクトルを含む周辺画素範囲を探索範囲として決定することができる。
【０１７９】
さらに上述の実施の形態においては、図１２で上述したような順序で動き補償ブロックＵＢ２〜ＵＢ３４に対する最適な動きベクトルを検出する場合について述べたが、本発明はこれに限らず、図１２との対応部分に同一符合を付して示す図１４のような順序で動き補償ブロックＵＢ２〜ＵＢ３４に対する最適な動きベクトルを検出するようにしても良い。
【０１８０】
さらに上述の実施の形態においては、1/16縮小ブロックＣＢs 、1/4 縮小ブロックＣＢｆ又は最大動き補償ブロックＵＢ１内の全ての画素値を用いてブロックマッチングを行う場合について述べたが、本発明はこれに限らず、図１５に示すように、1/16縮小ブロックＣＢs 、1/4 縮小ブロックＣＢｆ又は最大動き補償ブロックＵＢ１における水平方向及び垂直方向にそれぞれ１画素おきの画素値を用いてブロックマッチングを行うようにしても良い。この場合、ブロックマッチングを行う際の処理負荷を一段と低減することができる。
【０１８１】
さらに上述の実施の形態においては、動き予測補償部２２における各処理を動き補償プログラムによって実現する場合について述べたが、本発明はこれに限らず、当該各処理の一部又は全部をそれぞれ専用の集積回路等のハードウェア手段によって実現するようにしても良い。
【０１８２】
さらに上述の実施の形態においては、ハードウェア構成の縮小ブロック生成部２１（図７）によって縮小処理を実現する場合について述べたが、本発明はこれに限らず、当該縮小ブロック生成部２１の縮小処理を、動き予測補償部２２における動き予測補償プログラムに組み込むことにより実現するようにしても良い。
【０１８３】
さらに上述の実施の形態においては、動き予測補償装置としての動き予測補償処理部５が内部ＲＯＭ（図示せず）等に格納した動き予測補償プログラムを内部ＲＡＭ（図示せず）に展開することにより図９について上述した動き予測補償処理手順に従って動き予測補償を行う場合について述べたが、本発明はこれに限らず、当該動き予測補償プログラムが格納されたプログラム媒体をインストールすることにより動き予測補償を行うようにしても良い。
【０１８４】
かかるプログラム媒体としては、ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory) やＤＶＤ(Digital Versatile Disc)等のパッケージメディアのみならず、半導体メモリや磁気ディスク等で実現しても良い。またこれらプログラム媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線又は無線通信媒体を利用してもよく、ルータやモデム等の各種インターフェイスを介して格納するようにしても良い。
【０１８５】
【発明の効果】
上述のように本発明によれば、動き予測補償に関し、連続するフレーム画像のうち処理対象の対象フレーム画像を、複数の動き補償ブロックに分割し、動き補償ブロックの画素を間引くことにより、所定の縮小率でなる縮小ブロックを生成し、縮小ブロックと、当該縮小ブロックの縮小率に対応させて複数の参照フレーム画像から得られた縮小参照画像とに基づいて、複数の参照フレーム画像における動きベクトルの探索範囲をそれぞれ決定し、動き補償ブロックの画素サイズを順次変更し、変更した画素サイズごとに各探索範囲との間における差分に基づいて、動きベクトルを検出する。動きベクトルを検出する場合、動き補償ブロックの画素サイズを小さくするほど、各探索範囲を小さくする。
【０１８６】
この場合、各参照フレーム画像全体を用いることなく、当該各参照フレーム画像内において限られた探索範囲だけで動きベクトルを検出でき、かくして、画質を極力低下させることなく符号化処理の処理負荷を低減できる。
【図面の簡単な説明】
【図１】ＪＶＴ符号化方式における１／４画素精度の動き補償の説明に供する略線図である。
【図２】ＪＶＴ符号化方式における１／８画素精度の動き補償の説明に供する略線図である。
【図３】対角線上にある画素値を用いた１／８画素精度の動き補償を示す略線図である。
【図４】色差信号における動き補償の説明に供する略線図である。
【図５】画像符号化装置の構成を示すブロック図である。
【図６】フィールドに対する間引き処理の説明に供する略線図である。
【図７】動き予測補償処理部の構成を示すブロック図である。
【図８】階層化の様子示す略線図である。
【図９】動き予測補償処理手順を示すフローチャートである。
【図１０】動きベクトルの探索例の説明に供する略線図である。
【図１１】動きベクトルの探索範囲の決定例（１）の説明に供する略線図である。
【図１２】動きベクトルの検出順序の説明に供する略線図である。
【図１３】動きベクトルの探索範囲の決定例（２）の説明に供する略線図である。
【図１４】他の実施の形態における動きベクトルの検出順序の説明に供する略線図である。
【図１５】他の実施の形態におけるブロックマッチングの説明に供する略線図である。
【図１６】ＪＶＴ符号化方式に規定される動き補償ブロックを示す略線図である。
【図１７】ＪＶＴ符号化方式に規定されるマルチプルリファレンスフレームの説明に供する略線図である。
【符号の説明】
１……画像符号化装置、５……動き予測補償処理部、１３……フレームメモリ、１４……第１の間引部、１５……1/4フレームメモリ、１６……第２の間引部、１７……1/16フレームメモリ、２０……画素ブロック分割部、２１……縮小ブロック生成部、２１ａ……第１の縮小ブロック生成部、２１ｂ……第２の縮小ブロック生成部、２２……動き予測補償部。
Claims (4)
- 連続するフレーム画像のうち処理対象の対象フレーム画像を、複数の動き補償ブロックに分割する分割ステップと、
上記動き補償ブロックを最上位層として、下位層ほど高い縮小率となる複数階層の縮小ブロックを生成する生成ステップと、
各層のブロックと、当該ブロックに対応した大きさでなる複数の参照画像に対する画素値の差分の絶対値総和が最小となる部分との動きベクトルを検出する検出ステップと
を有し、
上記検出ステップでは、
最下位層を除く各層については、対象層よりも下位層で検出される動きベクトルの始点及び終点に対応する画素を含む周辺の探索範囲内で上記動きベクトルを検出し、
最上位層については、上記動き補償ブロックの画素サイズを順次変更し、１つ下の階層で検出された動きベクトルの始点及び終点に対応する画素を含む周辺の範囲内であって、対象とされる画素サイズよりも大きいサイズで検出される動きベクトルの始点及び終点を含む範囲に基づく探索範囲内で、該画素サイズごとに動きベクトルを検出する、動き予測補償方法。 - 上記検出ステップでは、
変更した画素サイズごとに、上記縮小参照画像に対する画素値の差分、量子化スケール関数及び動きベクトルに対する発生符号量に基づいて動きベクトルを検出する
ことを特徴とする請求項１に記載の動き予測補償方法。 - 上記検出ステップでは、
Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ最適化に基づいて最適な上記動きベクトルを検出する
ことを特徴とする請求項２に記載の動き予測補償方法。 - 連続するフレーム画像のうち処理対象の対象フレーム画像を、複数の動き補償ブロックに分割する分割部と、
上記動き補償ブロックを最上位層として、下位層ほど高い縮小率となる複数階層の縮小ブロックを生成する生成部と、
各層のブロックと、当該ブロックに対応した大きさでなる複数の参照画像に対する画素値の差分の絶対値総和が最小となる部分との動きベクトルを検出する検出部と
を有し、
上記検出部は、
最下位層を除く各層については、対象層よりも下位層で検出される動きベクトルの始点及び終点に対応する画素を含む周辺の探索範囲内で上記動きベクトルを検出し、
最上位層については、上記動き補償ブロックの画素サイズを順次変更し、１つ下の階層で検出された動きベクトルの始点及び終点に対応する画素を含む周辺の範囲内であって、対象とされる画素サイズよりも大きいサイズで検出される動きベクトルの始点及び終点を含む範囲に基づく探索範囲内で、該画素サイズごとに動きベクトルを検出する、動き予測補償装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002350138A JP4841101B2 (ja) | 2002-12-02 | 2002-12-02 | 動き予測補償方法及び動き予測補償装置 |
| US10/725,061 US7676101B2 (en) | 2002-12-02 | 2003-12-02 | Method and apparatus for compensating for motion prediction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002350138A JP4841101B2 (ja) | 2002-12-02 | 2002-12-02 | 動き予測補償方法及び動き予測補償装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004186897A JP2004186897A (ja) | 2004-07-02 |
| JP4841101B2 true JP4841101B2 (ja) | 2011-12-21 |
Family
ID=32752456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002350138A Expired - Fee Related JP4841101B2 (ja) | 2002-12-02 | 2002-12-02 | 動き予測補償方法及び動き予測補償装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7676101B2 (ja) |
| JP (1) | JP4841101B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7574063B2 (en) * | 2003-07-23 | 2009-08-11 | Canon Kabushiki Kaisha | Image coding method and apparatus |
| KR100994771B1 (ko) * | 2003-12-29 | 2010-11-16 | 삼성전자주식회사 | 블록정합에 의한 움직임 벡터 탐색방법 및 탐색장치 |
| US20080037642A1 (en) * | 2004-06-29 | 2008-02-14 | Sony Corporation | Motion Compensation Prediction Method and Motion Compensation Prediction Apparatus |
| US8059720B2 (en) * | 2004-11-30 | 2011-11-15 | Humax Co., Ltd. | Image down-sampling transcoding method and device |
| EP1727088A1 (en) * | 2005-05-25 | 2006-11-29 | Thomson Licensing | Method for assessing image quality |
| JP4686280B2 (ja) * | 2005-07-06 | 2011-05-25 | 株式会社東芝 | 動画像符号化装置 |
| TWI280803B (en) * | 2005-07-20 | 2007-05-01 | Novatek Microelectronics Corp | Method and apparatus for motion estimation |
| JP4641892B2 (ja) * | 2005-07-27 | 2011-03-02 | パナソニック株式会社 | 動画像符号化装置、方法、及びプログラム |
| JP4047879B2 (ja) * | 2005-08-23 | 2008-02-13 | 松下電器産業株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
| JP4594201B2 (ja) * | 2005-09-28 | 2010-12-08 | パナソニック株式会社 | 画像符号化方法、画像符号化装置、プログラムおよび集積回路 |
| JP2007124408A (ja) * | 2005-10-28 | 2007-05-17 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置および動きベクトル検出方法 |
| JP4166781B2 (ja) * | 2005-12-09 | 2008-10-15 | 松下電器産業株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
| KR100757208B1 (ko) | 2006-02-21 | 2007-09-10 | (주)씨앤에스 테크놀로지 | Ｈ.264 부호화를 위한 움직임 추정에서의 고속 다중 참조프레임 선택 방법 |
| US20070252895A1 (en) * | 2006-04-26 | 2007-11-01 | International Business Machines Corporation | Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images |
| JP4752631B2 (ja) * | 2006-06-08 | 2011-08-17 | 株式会社日立製作所 | 画像符号化装置、及び画像符号化方法 |
| JP2008011158A (ja) * | 2006-06-29 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 動きベクトル探索方法及び動きベクトル探索装置 |
| US8270490B2 (en) | 2006-07-06 | 2012-09-18 | Canon Kabushiki Kaisha | Motion vector detection apparatus, motion vector detection method, image encoding apparatus, image encoding method, and computer program |
| JP4789719B2 (ja) * | 2006-07-06 | 2011-10-12 | キヤノン株式会社 | 動きベクトル検出装置、動きベクトル検出方法、コンピュータプログラム及び記憶媒体 |
| US20080043841A1 (en) * | 2006-08-21 | 2008-02-21 | Ching-Lung Su | Method for video coding |
| US8923393B2 (en) * | 2006-11-02 | 2014-12-30 | Qualcomm Incorporated | Apparatus and method of reduced reference frame search in video encoding |
| US8605786B2 (en) * | 2007-09-04 | 2013-12-10 | The Regents Of The University Of California | Hierarchical motion vector processing method, software and devices |
| JP2009089332A (ja) * | 2007-10-03 | 2009-04-23 | Sony Corp | 動き予測方法及び動き予測装置 |
| EP2208181A2 (en) * | 2007-10-05 | 2010-07-21 | Nokia Corporation | Video coding with pixel-aligned directional adaptive interpolation filters |
| US8416861B2 (en) * | 2007-10-14 | 2013-04-09 | Nokia Corporation | Fixed-point implementation of an adaptive image filter with high coding efficiency |
| US20090097545A1 (en) * | 2007-10-14 | 2009-04-16 | Nokia Corporation | Fixed-Point Implementation of an Adaptive Image Filter with High Coding Efficiency |
| KR100939280B1 (ko) | 2008-06-02 | 2010-01-28 | 한양대학교 산학협력단 | 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그방법이 기록된 컴퓨터로 판독 가능한 기록매체 |
| KR101517768B1 (ko) | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR100989003B1 (ko) | 2008-08-14 | 2010-10-20 | 연세대학교 산학협력단 | 다중 참조 프레임에 대한 움직임 예측 방법 및 시스템 |
| JP2009027762A (ja) * | 2008-11-07 | 2009-02-05 | Renesas Technology Corp | 動き補償画像符号化装置及び符号化方法 |
| JP5522174B2 (ja) | 2009-08-21 | 2014-06-18 | 日本電気株式会社 | 動画像符号化装置 |
| US9930310B2 (en) | 2009-09-09 | 2018-03-27 | Apple Inc. | Audio alteration techniques |
| US20110235716A1 (en) * | 2009-10-19 | 2011-09-29 | Takeshi Tanaka | Decoding apparatus, decoding method, program and integrated circuit |
| KR101611437B1 (ko) * | 2009-10-28 | 2016-04-26 | 삼성전자주식회사 | 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치 |
| JP2014060744A (ja) * | 2010-01-13 | 2014-04-03 | Toshiba Corp | 動画像符号化装置および復号装置 |
| JP2013232974A (ja) * | 2010-01-13 | 2013-11-14 | Toshiba Corp | 動画像符号化装置および復号装置 |
| WO2011086672A1 (ja) * | 2010-01-13 | 2011-07-21 | 株式会社 東芝 | 動画像符号化装置および復号装置 |
| JP5323211B2 (ja) * | 2010-01-13 | 2013-10-23 | 株式会社東芝 | 動画像符号化装置および復号装置 |
| JP2012094959A (ja) * | 2010-10-25 | 2012-05-17 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
| US10412414B2 (en) | 2012-08-13 | 2019-09-10 | Gurulogic Microsystems Oy | Decoder and method for decoding encoded input data containing a plurality of blocks or packets |
| US8675731B2 (en) | 2012-08-13 | 2014-03-18 | Gurulogic Microsystems Oy | Encoder and method |
| US9538239B2 (en) | 2012-08-13 | 2017-01-03 | Gurulogic Microsystems Oy | Decoder and method for decoding encoded input data containing a plurality of blocks or packets |
| US10333547B2 (en) | 2012-08-13 | 2019-06-25 | Gurologic Microsystems Oy | Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations |
| US9258389B2 (en) | 2012-08-13 | 2016-02-09 | Gurulogic Microsystems Oy | Encoder and method |
| JP6336341B2 (ja) * | 2014-06-24 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| US10607386B2 (en) | 2016-06-12 | 2020-03-31 | Apple Inc. | Customized avatars and associated framework |
| US9990536B2 (en) | 2016-08-03 | 2018-06-05 | Microsoft Technology Licensing, Llc | Combining images aligned to reference frame |
| US10861210B2 (en) | 2017-05-16 | 2020-12-08 | Apple Inc. | Techniques for providing audio and video effects |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05236466A (ja) | 1992-02-25 | 1993-09-10 | Nec Corp | 動き補償フレーム間予測画像符号化装置及び方法 |
| KR970003107B1 (ko) | 1993-04-09 | 1997-03-14 | 대우전자 주식회사 | 단계적인 영역분할을 통한 움직임벡터 검출방법 및 장치 |
| US5477272A (en) * | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
| US5731850A (en) * | 1995-06-07 | 1998-03-24 | Maturi; Gregory V. | Hybrid hierarchial/full-search MPEG encoder motion estimation |
| US5761398A (en) * | 1995-12-26 | 1998-06-02 | C-Cube Microsystems Inc. | Three stage hierarchal motion vector determination |
| US6549575B1 (en) * | 1996-11-07 | 2003-04-15 | International Business Machines Corporation. | Efficient, flexible motion estimation architecture for real time MPEG2 compliant encoding |
| US5825930A (en) * | 1997-03-05 | 1998-10-20 | Samsung Electronics Co., Ltd. | Motion estimating method |
| KR19990005283A (ko) * | 1997-06-30 | 1999-01-25 | 배순훈 | 웨이브렛 변환 영역에서의 계층적 움직임 추정 방법 |
| US6560371B1 (en) * | 1997-12-31 | 2003-05-06 | Sarnoff Corporation | Apparatus and method for employing M-ary pyramids with N-scale tiling |
| US6968008B1 (en) | 1999-07-27 | 2005-11-22 | Sharp Laboratories Of America, Inc. | Methods for motion estimation with adaptive motion accuracy |
| US6968009B1 (en) * | 1999-11-12 | 2005-11-22 | Stmicroelectronics, Inc. | System and method of finding motion vectors in MPEG-2 video using motion estimation algorithm which employs scaled frames |
| KR100407691B1 (ko) * | 2000-12-21 | 2003-12-01 | 한국전자통신연구원 | 계층탐색을 이용한 움직임 추정장치 및 방법 |
| KR100468726B1 (ko) * | 2002-04-18 | 2005-01-29 | 삼성전자주식회사 | 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법 |
-
2002
- 2002-12-02 JP JP2002350138A patent/JP4841101B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-02 US US10/725,061 patent/US7676101B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7676101B2 (en) | 2010-03-09 |
| US20040161157A1 (en) | 2004-08-19 |
| JP2004186897A (ja) | 2004-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4841101B2 (ja) | 動き予測補償方法及び動き予測補償装置 | |
| US7764740B2 (en) | Fast block mode determining method for motion estimation, and apparatus thereof | |
| US9451255B2 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
| JP3997171B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム | |
| CN103004210B (zh) | 用于视频编码的低复杂度帧内预测 | |
| JP5795525B2 (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム | |
| TWI521947B (zh) | Image processing apparatus, method and program, image coding apparatus, method and program, image decoding apparatus, method and program, and encoding and decoding system and method | |
| JPWO2003003749A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| JP3968712B2 (ja) | 動き予測補償装置及びその方法 | |
| JP4690966B2 (ja) | 動画像符号化装置 | |
| JP2012034213A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
| CN111586405B (zh) | 一种多功能视频编码中基于alf滤波的预测模式快速选择方法 | |
| US20090028241A1 (en) | Device and method of coding moving image and device and method of decoding moving image | |
| US20080144721A1 (en) | Video coding apparatus | |
| CN111355955B (zh) | 基于预选层的多变换核快速跳过方法 | |
| JP5447239B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| WO2020054060A1 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP2004135252A (ja) | 符号化処理方法、符号化装置及び復号化装置 | |
| JP5832263B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2006025033A (ja) | 画像処理装置および画像処理方法 | |
| JP4277793B2 (ja) | 画像処理装置、符号化装置およびそれらの方法 | |
| WO2023070403A1 (zh) | 编码方法、装置、电子设备和计算机可读介质 | |
| JP4100067B2 (ja) | 画像情報変換方法及び画像情報変換装置 | |
| JPH11239350A (ja) | 動画像信号の動きベクトル検出方法およびフレーム間符号化装置における動きベクトル検出回路 | |
| KR20070092481A (ko) | Ｈ.264 동영상 부호화기의 적응적 고속 움직임 추정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080529 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080728 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090205 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111004 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |