JP5970507B2 - 映像符号化装置及び映像符号化プログラム - Google Patents

Description

本発明は、動き予測を用いて映像符号化を行う映像符号化装置及び映像符号化プログラムに関する。

映像符号化技術は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣが多く用いられており、最近では次世代の映像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）の規格化が進められている。映像符号化規格では、１つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に連続した複数のピクチャを用いて符号化を行う画面間符号化が用いられている。画面間符号化には画面間の差分値を削減するために動き予測処理を行い、差分値と動きベクトル情報を符号化することで情報量を削減している。ただし、映像の正しい動きを捉えて符号化すべき差分値を小さくするためには、動き予測処理に膨大な演算量を必要とする。

また、近年ＨＤ（high definition；１９２０画素×１０８０ライン）の４倍の解像度を持つ４Ｋ映像（３８４０画素×２１６０ライン）や、そのさらに４倍の解像度を持つ８Ｋ映像（７６８０画素×４３２０ライン）などの高精細映像が扱われるようになってきている。図１３は、ＨＤ映像と４Ｋ映像における動き予測範囲を示す図である。高精細映像の場合は物体の動きが相対的に大きくなるため、より広い動き予測範囲（図１３に示す矩形領域）が必要になり、動き予測処理量はさらに増大してしまう。

この膨大な演算量を削減するためにはいくつかの方法が考えられる。１つ目は予測ベクトルの周辺を探索する方法である。これは符号化ブロックの動き予測結果と周囲の符号化ブロックの動き予測結果には相関が高いという傾向に基づいたものである。ＭＰＥＧ−４／ＡＶＣや次世代符号化規格であるＨＥＶＣでは予測ベクトルの算出方法が定められており、ブロックの動きベクトルは予測ベクトルからの差分値のみを符号化することで符号量の削減を行っている。この予測ベクトルを利用し、ブロック周辺の既出の動きベクトルから予測ベクトルを算出し、予測ベクトルが指し示す位置を探索の中心として周辺を探索するという方法である。

２つ目は探索点を効率良く削減し探索する方法である。ステップサーチに代表されるように、ある探索範囲の探索点全てを評価するのではなく、まず広く離散的な数点を評価しその中で最も適した点を中心に近傍点の探索を行うことで少ない演算量で動きベクトルを決定する方法である。近年ではＥＰＺＳ（Enhanced Predictive Zonal Search）と呼ばれるステップサーチと全探索を組み合わせた探索手法が使われており、少ない演算量で全探索とほぼ同等の探索精度を実現している。

３つ目は縮小画像による探索方法である。探索処理の前に入力映像信号のピクチャと復号映像信号の参照画像を同じ比率で縮小し探索を行う。これにより探索点の数と探索点を評価するための演算量の両方が削減されるため、大幅な演算量の削減が可能となる。この探索方法は演算性能が限られているソフトウェアコーデックや、広い探索範囲を必要とするプロ向けのハードウェアコーデック等で有効な方法である。しかし、一方で画像の縮小比率を上げていくと物体の細かい動きを正確に予測することが難しくなるため、動きベクトルの精度は悪くなってしまうという問題がある。

このような問題を解決するために、広い探索範囲と高い動きベクトルの精度を両立させる手法としては、複数の探索領域を設定し第一の領域の動き探索後に評価値の閾値判定を行い、第二の領域の動き探索を行うか否かを決定する手法がある（例えば、特許文献１参照）。

特開平１１−７５１９２号公報

しかしながら、特許文献１に記載の映像符号化装置では対象符号化ブロックに対する探索演算量が均一にならないため、ソフトウェアでの実装では問題無いがハードウェアへの実装においては制御が難しくなるという問題がある。

このような問題を解決する方法の一つとして、入力映像信号ピクチャと参照画像との時間的距離や隣接したピクチャの差分絶対値和、直前に符号化を行った動きベクトル情報を用いて入力映像信号ピクチャの縮小比率を決定する手法が考えられる。この手法では、物体の動きの大小や過去に探索した動きベクトルの方向が揃っているか否かで縮小比率を適応的に切り替えることができる。しかし、物体がどちらの方向にどのくらい動いているかという正確な情報が得られないため、動きを正確に捉えることができないという問題がある。

本発明は、このような事情に鑑みてなされたもので、少ない演算量で広い探索範囲の探索を行うことができる映像符号化装置及び映像符号化プログラムを提供することを目的とする。

本発明は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、過去に符号化を行ったピクチャの動きベクトルの統計情報を取得する統計情報収集手段と、前記統計情報に基づいて前記ピクチャの所定の探索領域についての動き探索処理に用いる縮小画像の縮小比率と探索中心点とを決定する縮小比率・探索中心決定手段と、前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を前記縮小比率で縮小する縮小手段と、縮小した前記入力映像信号のピクチャの符号化ブロックと復号映像信号の参照画像の探索領域とを用いて動き予測処理を行い、動きベクトルを決定するベクトル決定手段と、決定した前記動きベクトルを前記縮小比率に基づきスケーリングを行うスケーリング手段とを備え、前記縮小比率・探索中心決定手段は、前記動きベクトルから算出される位置を探索中心点として決定するとともに、前記動きベクトルのヒストグラムの偏りが大きいほど前記縮小比率をより小さい値に決定し、前記動きベクトルのヒストグラムの偏りが小さいほど前記縮小比率をより大きな値に決定することを特徴とする。

本発明は、入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、過去に符号化を行ったピクチャの動きベクトルの統計情報を取得する統計情報収集手段と、前記統計情報に基づいて前記ピクチャの所定の探索領域についての動き探索処理に用いる縮小画像の縮小比率と探索中心点とを決定する縮小比率・探索中心決定手段と、前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を前記縮小比率で縮小する縮小手段と、縮小した前記入力映像信号のピクチャの符号化ブロックと復号映像信号の参照画像の探索領域とを用いて動き予測処理を行い、動きベクトルを決定するベクトル決定手段と、決定した前記動きベクトルを前記縮小比率に基づきスケーリングを行うスケーリング手段とを備え、前記縮小比率・探索中心決定手段は、最も検出される確率が高い動きベクトルと、段階的な縮小比率それぞれの探索範囲とを比較し、前記動きベクトルが前記探索範囲内に収まるか否かに基づいて、前記縮小比率及び前記探索中心点を決定することを特徴とする。

本発明は、前記縮小比率・探索中心決定手段は、ヒストグラムを収集したピクチャ内のイントラブロックの数が所定に閾値より多い場合に、縮小比率を１段階大きくすることを特徴とする。

本発明は、決定された前記縮小比率に応じて、前記符号化ブロックの動き探索に要する演算量が一定になるように動き探索範囲を適応的に決定する探索範囲決定手段をさらに備えることを特徴とする。

本発明は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明によれば、動き予測を用いて符号化を行う映像符号化方式において、事前に行った動き探索処理で探索された動きベクトルの統計情報より物体の動き及びカメラパンの動き量を正確に検出し、当該ピクチャの動き探索中心点を適応的に設定することにより、少ない演算量で広い探索範囲の探索を行うことができるという効果が得られる。また、動き予測を用いて符号化を行う映像符号化方式において、動き探索を行う際の縮小比率を適応的に切り替えることにより演算量の削減と動きベクトルの精度向上を両立することができる効果も得られる。

本発明の一実施形態の構成を示すブロック図である。 図１に示すインター予測処理部１０２の構成を示すブロック図である。 図２に示す統計情報収集部２０３で集計する２次元の動きベクトルのヒストグラムの一例を示す図である。 図２に示す統計情報収集部２０３で集計する１次元の動きベクトルのヒストグラムの一例を示す図である。 Ｈ．２６４／ＡＶＣで代表的な符号化ピクチャ構造の一例を示す図である。 ＨＥＶＣ代表的な符号化ピクチャ構造の一例を示す図である。 当該ピクチャのピクチャ間距離の一例を示す図である。 縮小比率及び探索中心点の決定手順を示すフローチャートである。 ある動きベクトルのヒストグラムの一例を示す図である。 ある動きベクトルのヒストグラムの一例を示す図である。 ある動きベクトルのヒストグラムの一例を示す図である。 図８に示す方法に加えてヒストグラムを収集したピクチャのイントラブロックの比率に応じて縮小比率を調整する手順を示すフローチャートである。 ＨＤ映像と４Ｋ映像における動き予測範囲を示す図である。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。図１は同実施形態の構成を示すブロック図である。以下に示す「符号化ブロック」についてはＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格ではマクロブロックのことを示し、ＨＥＶＣについてはコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）のことを指し示す。図１に示す映像符号化装置１００において、インター予測処理部１０２の中の処理が従来技術と異なる構成であり、他の部分はＨ．２６４／ＡＶＣやＨＥＶＣ等の映像符号化装置として用いられている従来の一般的な構成と同様である。

映像符号化装置１００は、符号化対象の入力映像信号を入力し、入力映像信号のピクチャをブロックに分割してブロックごとに符号化し、そのビットストリームを符号化ストリームとして出力する。この符号化のため、予測残差信号生成部１０３は、入力映像信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号との差分を求め、それを予測残差信号として出力する。変換・量子化処理部１０４は、予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、その量子化された変換係数を出力する。エントロピー符号化処理部１０５は、量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。

一方、量子化された変換係数は、逆量子化・逆変換処理部１０６にも入力され、ここで逆量子化と逆直交変換され、予測残差信号を出力する。復号映像信号生成部１０７では、予測残差信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号映像信号を生成する。この復号映像信号は、インター予測処理部１０２で参照画像として用いるために、ループフィルタ処理部１０８に対して出力される。ループフィルタ処理部１０８では符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を復号映像信号としてインター予測処理部１０２に対して出力する。

次に、図２を参照して、図１に示すインター予測処理部１０２の構成を説明する。図２は、図１に示すインター予測処理部１０２の構成を示すブロック図である。インター予測処理部１０２は、縮小画像生成部２０１、プレ探索処理部２０２、統計情報収集部２０３、第一モード判定部２０４、整数画素探索処理部２０５、第二モード判定部２０６、小数画素探索処理部２０７、小数画像生成部２０８を備える。

縮小画像生成部２０１は、入力映像信号（原画像）と復号信号（ループフィルタ処理部１０８の出力）を入力し、統計情報収集部２０３から出力する縮小比率に基づき縮小処理を行って出力する（縮小手段）。プレ探索処理部２０２は、縮小画像生成部２０１から縮小された入力映像信号（原画像）及び復号映像信号（復号信号）を入力し、縮小された映像データ上で動き探索処理を行う（探索範囲決定手段と動きベクトル決定手段とスケーリング手段）。

統計情報収集部２０３は、プレ探索処理部２０２で探索した動きベクトルを入力し、１ピクチャ分あるいは複数ピクチャ分の統計情報を収集し（統計情報収集手段）、次のピクチャで実施するプレ探索の縮小比率と探索中心点を決定する（縮小比率決定手段と探索中心決定手段）。決定した縮小比率は縮小画像生成部２０１へ出力し、探索中心点はプレ探索処理部２０２へ出力する。第一モード判定部２０４は、プレ探索処理部２０２で探索した結果の符号化モード情報１を入力し、次の整数画素探索で行う符号化モードを決定し整数画素探索処理部２０５へ出力する。

整数画素探索処理部２０５は、プレ探索処理部２０２と第一モード判定部２０４でそれぞれ指定された動きベクトル及び符号化モードで整数画素の探索処理を行う。第二モード判定部２０６は、整数画素探索処理部２０５で探索した結果の符号化モード情報２を入力し、次の小数画素探索で行う符号化モードを決定し小数画素探索処理部２０７へ出力する。

小数画素探索処理部２０７は、整数画素探索処理部２０５と第二モード判定部２０６でそれぞれ指定された動きベクトル及び符号化モードで小数画素の探索処理を行う。小数画像生成部２０８は、該当する復号映像信号位置の小数画素補間画像を生成し、小数画素探索処理部２０７に対して出力する。小数画素探索処理部２０７において探索された結果の予測残差画像と動きベクトル情報は予測残差信号生成部１０３に対して出力する。

本実施形態は、図２に示す統計情報収集部２０３において、プレ探索処理部２０２で行った過去の動きベクトル情報から当該ピクチャで実施する縮小比率と探索中心点を決定し、少ない演算量で物体の動きやカメラパンを的確に探索することで高い符号化効率を実現するものである。

ここで、縮小画像による動き予測処理の必要性について説明する。動き予測処理は物体の動きを正確に追随することで高い符号化効率を実現できるため、探索範囲は広ければ広いほど符号化効率が向上する。しかし、探索範囲を広くすればするほど動き予測に必要な演算量が増大するため、ハードウェア・ソフトウェアの処理能力やアプリケーション用途に応じて適切な探索範囲を設定している。

少ない演算量で広い探索範囲をカバーする方法の１つとして縮小画像による探索方法がある。例として、符号化ブロックのサイズを１６×１６、探索範囲を±８、単画素精度による全探索の動き探索処理部とすると、１ブロックの動き探索処理を行うのに必要な差分処理回数は、１６×１６×（８×２＋１）２＝７３９８４となる。

入力映像信号と復号映像信号をそれぞれ１／２に縮小し同様の探索範囲を探索した場合、符号化ブロックのサイズと探索範囲がそれぞれ縦横半分になるため、差分演算回数は８×８×（４×２＋１）２＝５１８４となり、約７％の演算量で処理画可能となる。

また、単画素精度の探索処理で必要であった演算回数と同等の演算を１／２縮小画像上で行うと、±１６画素の探索範囲をカバーできる。縮小比率を１／２、１／４、１／８と大きくすればするほど少ない演算量で広い探索範囲をカバーすることができるが、細かいテクスチャがつぶれてしまうために動きベクトルの精度が低下するという問題点もある。縮小画像探索による探索範囲と動きベクトルの精度についてはトレードオフの関係があるため、入力映像信号や復号映像信号の特性や、過去の動きベクトルの情報に応じて適応的に設定する必要がある。

次に、図２に示す統計情報収集部２０３における動きベクトル情報の収集方法の一例について説明する。ここでは動きベクトルのヒストグラムを作成する例について説明する。プレ探索処理部２０２で探索された動きベクトルを１ピクチャ分収集し、動きベクトルのヒストグラムを生成する。

図３は、図２に示す統計情報収集部２０３で集計する２次元の動きベクトルのヒストグラムの一例を示す図である。図３では、プレ探索処理部の探索範囲が±６４、ヒストグラムの区分単位が８の場合のヒストグラムを示している。プレ探索部処理部の探索範囲及びヒストグラムの区分単位については任意に設定できる。図３を用いて動きベクトルのヒストグラムを生成することで物体の動きやカメラパンの方向や大きさを捉えることが可能になる。

探索範囲やヒストグラムの区分単位によっては２次元のヒストグラムでは膨大なメモリ量が必要になる場合がある。その場合は、１次元のヒストグラムを縦横それぞれ用意し、ヒストグラムを生成することでヒストグラムに要するメモリ量を削減することが可能である。図４は、図２に示す統計情報収集部２０３で集計する１次元の動きベクトルのヒストグラムの一例を示す図である。図４では、探索範囲が±６４、ヒストグラムの区分単位が８の場合の１次元のヒストグラムを示している。

次に、動きベクトルのヒストグラムを生成するピクチャについて説明する。物体の動きやカメラパンの大きさをより正確に捉えるためには、ピクチャ間距離の短いピクチャの動き探索の際に生成することが望ましい。代表的な符号化ピクチャ構造におけるヒストグラム生成のタイミングについて図５及び図６に示す。図５は、Ｈ．２６４／ＡＶＣで代表的な符号化ピクチャ構造の一例を示す図である。図６は、ＨＥＶＣ代表的な符号化ピクチャ構造の一例を示す図である。図５は主にＭＰＥＧ−２やＨ．２６４／ＡＶＣで用いられ、図６はＨＥＶＣで主に用いられている符号化ピクチャ構造である。

図６においては、ピクチャ間距離の短いピクチャ時であると共に、より精度を上げるために階層の低いピクチャとの動き探索の際にヒストグラムを生成する方が望ましい。ただし、ヒストグラムを生成するタイミングについては任意のタイミングで生成することが可能であり、上記のピクチャタイミングに限定するものではない。

次に、図２に示す統計情報収集部２０３における縮小比率決定方法及び探索中心点決定方法について説明する。
＜第１の方法＞
始めに、第１の方法について説明する。ここでは、動きベクトルのヒストグラムの最頻値が示すベクトルの水平成分をＭＶ＿ｈｉｓｔとし、決定する縮小比率は１／２、１／４、１／８の３種、縮小比率それぞれの場合の探索範囲をＳＲ＿１／２、ＳＲ＿１／４、ＳＲ＿１／８とする。また、符号化ピクチャのピクチャ間距離をＤｐｉｃ、ヒストグラムを取得したピクチャのピクチャ間距離をＤｈｉｓｔとする。

図７は、当該ピクチャのピクチャ間距離の一例を示す図である。図中の数字はＰＯＣ（Picture Order Count）番号を示しており、縦線は１枚のフレームを表している。この場合、Ｄｐｉｃ＝８、Ｄｈｉｓｔ＝１となる。まず、（１）式に示すように最頻値ベクトル成分をピクチャ間距離に応じてスケーリングを行い、このピクチャで最も検出される確率が高いベクトルＭＶ＿ｃａｎｄを求める。
ＭＶ＿ｃａｎｄ＝ＭＶ＿ｈｉｓｔ ×（Ｄｐｉｃ−Ｄｈｉｓｔ＋１）・・・（１）

（１）式で求めたＭＶ＿ｃａｎｄとＳＲ＿１／２、ＳＲ＿１／４、ＳＲ＿１／８とを順次比較し、ＭＶ＿ｃａｎｄが探索範囲内に収まっている場合はその縮小比率に決定し、探索中心点は０とする。ＭＶ＿ｃａｎｄがＳＲ＿１／８よりも大きい場合、すなわち最も大きい縮小比率でも動きが捉えられない場合、（２）式に示す様にＳＲ＿１／８とＭＶ＿ｃａｎｄの差分値をＭＶ＿ｍｏｖｅとし、探索中心点とする。
ＭＶ＿ｍｏｖｅ＝ＳＲ＿１／８−ＭＶ＿ｃａｎｄ・・・（２）

図８は、縮小比率及び探索中心点の決定手順を示すフローチャートである。まず、統計情報収集部２０３は、ＭＶ＿ｈｉｓｔ×（Ｄｐｉｃ−Ｄｈｉｓｔ＋１）を求め、ＭＶ＿ｃａｎｄに代入する（ステップＳ１）。そして、統計情報収集部２０３は、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／２であるか否かを判定する（ステップＳ２）。この判定の結果、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／２を満たせば、統計情報収集部２０３は、縮小比率を１／２とし、探索中心点を０とする（ステップＳ３）。

次に、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／２を満たさなければ、統計情報収集部２０３は、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／４であるか否かを判定する（ステップＳ４）。この判定の結果、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／４を満たせば、統計情報収集部２０３は、縮小比率を１／４とし、探索中心点を０とする（ステップＳ５）。

次に、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／４を満たさなければ、統計情報収集部２０３は、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／８であるか否かを判定する（ステップＳ６）。この判定の結果、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／８を満たせば、統計情報収集部２０３は、縮小比率を１／８とし、探索中心点を０とする（ステップＳ７）。

次に、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／８を満たさなければ、統計情報収集部２０３は、ＳＲ＿１／８−ＭＶ＿ｃａｎｄを求め、ＭＶ＿ｍｏｖｅに代入する（ステップＳ８）。そして、統計情報収集部２０３は、縮小比率を１／８とし、探索中心点をＭＶ＿ｍｏｖｅとする（ステップＳ９）。

上記の処理を水平方向、垂直方向それぞれ行い、縮小比率と探索中心点を決定する。この例では、１ピクチャの動きベクトルヒストグラムの最頻値を定数倍して縮小比率と探索中心点を決定している。これは物体やカメラパンの動きが一定の速度であることを想定している。ピクチャ毎に集計した動きベクトルのヒストグラムを複数ピクチャ分用いることで、加速して動いている物体やカメラパンの動きも捉えることが可能となる。

＜第２の方法＞
次に、第２の方法を説明する。第２の方法は、動きベクトルのヒストグラムの偏りによって縮小比率や探索中心点を決定するものである。図９、図１０、図１１は動きベクトルのヒストグラムの一例を示す図である。横軸は動きベクトルの成分に基づくヒストグラムの図９のようにある１つの位置に動きベクトルが集中している場合は、その動きベクトルから算出される位置を探索中心点とし、縮小比率を低く設定することで精度の高い探索を行うことができる。

また、図１０に示すように広範囲に動きベクトルが分布している場合は、物体が様々な方向へ動いていると想定されるため、縮小比率を高く設定し広い範囲の動き探索を行うことで符号化効率を向上させることが考えられる。

また、図１１に示すように２つの位置に動きベクトルが集中している場合等も考えられる。これはある動く被写体をカメラで追っているような場合に起こる。すなわち物体部分の動きベクトルと動いている背景部分の動きベクトルの２種である。この様な場合は２つの動きベクトルの中間点を探索中心点とし、２つのヒストグラムが指す動きベクトル点を包含するような縮小比率及び探索範囲を設定することで両者の動きを捉えることができる。

＜第３の方法＞
次に、第３の方法を説明する。第３の方法は、図８に示した手法に加えてヒストグラムを収集したピクチャの符号化結果を用いるものである。ヒストグラムを収集したピクチャ内のイントラブロックの数をＩＮＴＲＡｎｕｍとすると、ＩＮＴＲＡｎｕｍが閾値ＴＨよりも多くなった場合、縮小比率を１段階大きくしてより広い範囲の動き探索を行う。ヒストグラムを収集したピクチャの符号化結果の中で画面内予測を用いたイントラブロックの比率が大きくなったということは、動きベクトルの信頼性が低いと考えられるため、当該ピクチャの符号化時は縮小比率を大きくして広く探索することで動きベクトルの信頼性を高める動作が考えられる。

図１２は、図８に示す方法に加えてヒストグラムを収集したピクチャのイントラブロックの比率に応じて縮小比率を調整する手順を示すフローチャートである。図１２においては、図８に示す処理と同じ処理に同じ符号を付けてある。まず、統計情報収集部２０３は、ＭＶ＿ｈｉｓｔ×（Ｄｐｉｃ−Ｄｈｉｓｔ＋１）を求め、ＭＶ＿ｃａｎｄに代入する（ステップＳ１）。そして、統計情報収集部２０３は、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／２であるか否かを判定する（ステップＳ２）。この判定の結果、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／２を満たせば、統計情報収集部２０３は、ＩＮＴＲＡｎｕｍ＞ＴＨを満たすか否かを判定する（ステップＳ１０）。この判定の結果、ＩＮＴＲＡｎｕｍ＞ＴＨを満たさなければ、統計情報収集部２０３は、縮小比率を１／２とし、探索中心点を０とする（ステップＳ３）。一方、ＩＮＴＲＡｎｕｍ＞ＴＨを満たせば、統計情報収集部２０３は、縮小比率を１／４とし、探索中心点を０とする（ステップＳ５）。

次に、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／２を満たさなければ、統計情報収集部２０３は、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／４であるか否かを判定する（ステップＳ４）。この判定の結果、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／４を満たせば、統計情報収集部２０３は、ＩＮＴＲＡｎｕｍ＞ＴＨを満たすか否かを判定する（ステップＳ１１）。この判定の結果、ＩＮＴＲＡｎｕｍ＞ＴＨを満たさなければ、統計情報収集部２０３は、縮小比率を１／４とし、探索中心点を０とする（ステップＳ５）。一方、ＩＮＴＲＡｎｕｍ＞ＴＨを満たせば、統計情報収集部２０３は、縮小比率を１／８とし、探索中心点を０とする（ステップＳ７）。

次に、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／４を満たさなければ、統計情報収集部２０３は、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／８であるか否かを判定する（ステップＳ６）。この判定の結果、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／８を満たせば、統計情報収集部２０３は、縮小比率を１／８とし、探索中心点を０とする（ステップＳ７）。

次に、ＭＶ＿ｃａｎｄ＜ＳＲ＿１／８を満たさなければ、統計情報収集部２０３は、ＳＲ＿１／８−ＭＶ＿ｃａｎｄを求め、ＭＶ＿ｍｏｖｅに代入する（ステップＳ８）。そして、統計情報収集部２０３は、縮小比率を１／８とし、探索中心点をＭＶ＿ｍｏｖｅとする（ステップＳ９）。

このように、過去の動きベクトルの統計情報や符号化情報等から入力映像信号のピクチャと復号映像信号の参照画像の縮小比率と探索中心点を適応的に設定することによって、物体の動きやカメラパンの動きを的確に捉えて精度の高い動き探索を行うことが可能となり、全体の符号化効率を向上させることができる。縮小画像を生成するための手法としては、画素を間引く手法や、画素の平均値を用いる手法、縮小フィルタを用いる手法等があるが、本実施形態では縮小画像生成方法は任意の手法が適用可能である。

以上説明したように、事前に行った動き探索処理で探索された動きベクトルの統計情報より物体の動き及びカメラパンの動き量を正確に検出し、当該ピクチャの動き探索中心点を適応的に設定することで、広い探索範囲を少ない演算量でカバーすることができる。また、探索処理よりも前段階で入力映像信号と復号映像信号の縮小比率と探索範囲を決定し探索を行うことで、当該符号化ブロックに対する探索演算量が均一になり、ハードウェア実装が可能になる。

前述した実施形態における映像符号化装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

動き探索処理に要する演算量が限られている映像符号化装置又は動き探索処理に要する演算量を均一にする必要のある映像符号化装置及び映像符号化プログラムに適用できる。

１００・・・映像符号化装置、１０１・・・イントラ予測処理部、１０２・・・インター予測処理部、１０３・・・予測残差信号生成部、１０４・・・変換・量子化処理部、１０５・・・エントロピー符号化部、１０６・・・逆量子化・逆変換処理部、１０７・・・復号信号生成部、１０８・・・ループフィルタ処理部、２０１・・・縮小画像生成部、２０２・・・プレ探索処理部、２０３・・・統計情報収集部、２０４・・・第一モード判定部、２０５・・・整数画素探索処理部、２０６・・・第二モード判定部、２０７・・・少数画素探索処理部、２０８・・・少数画像生成部

Claims (5)

1. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、
   過去に符号化を行ったピクチャの動きベクトルの統計情報を取得する統計情報収集手段と、
   前記統計情報に基づいて前記ピクチャの所定の探索領域についての動き探索処理に用いる縮小画像の縮小比率と探索中心点とを決定する縮小比率・探索中心決定手段と、
   前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を前記縮小比率で縮小する縮小手段と、
   縮小した前記入力映像信号のピクチャの符号化ブロックと復号映像信号の参照画像の探索領域とを用いて動き予測処理を行い、動きベクトルを決定するベクトル決定手段と、
   決定した前記動きベクトルを前記縮小比率に基づきスケーリングを行うスケーリング手段と
   を備え、
   前記縮小比率・探索中心決定手段は、
   前記動きベクトルから算出される位置を探索中心点として決定するとともに、前記動きベクトルのヒストグラムの偏りが大きいほど前記縮小比率をより小さい値に決定し、前記動きベクトルのヒストグラムの偏りが小さいほど前記縮小比率をより大きな値に決定することを特徴とする映像符号化装置。
2. 入力映像信号のピクチャの時間的相関を利用し、該ピクチャについて符号化ブロック単位に動き予測を行いその差分の符号化処理を行う映像符号化装置であって、
   過去に符号化を行ったピクチャの動きベクトルの統計情報を取得する統計情報収集手段と、
   前記統計情報に基づいて前記ピクチャの所定の探索領域についての動き探索処理に用いる縮小画像の縮小比率と探索中心点とを決定する縮小比率・探索中心決定手段と、
   前記入力映像信号のピクチャと動き予測先の復号映像信号の参照画像を前記縮小比率で縮小する縮小手段と、
   縮小した前記入力映像信号のピクチャの符号化ブロックと復号映像信号の参照画像の探索領域とを用いて動き予測処理を行い、動きベクトルを決定するベクトル決定手段と、
   決定した前記動きベクトルを前記縮小比率に基づきスケーリングを行うスケーリング手段と
   を備え、
   前記縮小比率・探索中心決定手段は、
   最も検出される確率が高い動きベクトルと、段階的な縮小比率それぞれの探索範囲とを比較し、前記動きベクトルが前記探索範囲内に収まるか否かに基づいて、前記縮小比率及び前記探索中心点を決定することを特徴とする映像符号化装置。
3. 前記縮小比率・探索中心決定手段は、
   ヒストグラムを収集したピクチャ内のイントラブロックの数が所定に閾値より多い場合に、縮小比率を１段階大きくすることを特徴とする請求項２に記載の映像符号化装置。
4. 決定された前記縮小比率に応じて、前記符号化ブロックの動き探索に要する演算量が一定になるように動き探索範囲を適応的に決定する探索範囲決定手段をさらに備えることを特徴とする請求項１から３のいずれか一項に記載の映像符号化装置。
5. コンピュータを、請求項１から４のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。

Images