JP4557752B2 - 動画像処理装置、動画像処理方法、及び動画像処理プログラム - Google Patents

Description

本発明は、動画像データから検出される動きベクトルに生じるばらつきを補正する動画像処理装置、動画像処理方法、及び動画像処理プログラムに関する。

近年、画像符号化の国際標準化が急速に進められている。画像符号化方式としては、静止画符号化標準であるジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、動画の通信メディア用符号化標準であるＨ．２６３及びＨ．２６４、動画の蓄積用メディア用符号化標準であるムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）等が挙げられる。各符号化方式には、それぞれの目的に合わせたビットレート（伝送速度）を実現する符号化アルゴリズムが採用されている。ＪＰＥＧはハフマン符号化と離散コサイン変換（ＤＣＴ）とを基本とした方式により色データの間引きを行う。一方、H.２６３及びＭＰＥＧ等の動画像圧縮符号化には、通常、空間的情報量削減にＪＰＥＧと同様にＤＣＴ等の直交変換を用い、時間的情報量削減には動き補償（ＭＣ）を用いる。一般的なＭＣは、動きベクトルを用いたフレーム間予測、即ち、現画像及び参照画像の動き分を補償することにより実行される。更に、動きベクトルの検出の際に、参照画像内に設定された検索範囲において、現画像の対象ブロックとの誤差絶対値の総和（ＳＡＤ）等の評価関数が最小となるブロックを検出するブロックマッチングが行われる。

一方、連続するブロックが平行移動等により均一に移動する場合、連続するブロックのそれぞれの動きベクトルは等しい。しかしながら、動きベクトルは以下の（１）〜（３）等の理由により、動きベクトルにばらつきが生じる。（１）ブロックマッチング時には評価関数による演算結果のみで動きベクトルを検出するために、画像中にホワイトノイズ等の誤差が含まれている場合、検出された動きベクトルにばらつきが生じる。（２）画像中の物体の移動量が、一般には画素の整数倍ではない。よって、マクロブロック単位で処理した場合、各マクロブロックの移動量が、１画素、半画素、又は１／４画素等の整数倍に近似される。この結果、近似によるばらつきが動きベクトルに生じる。（３）画像が平坦な絵柄である場合、又は模様が繰り返される場合等に、ブロックマッチングを使用すると、別の似たような場所にマッチングしやすくなる。同様に、偶然似たような模様が他の部分にあると、他の部分にマッチングする可能性がある。

したがって、動きベクトルのばらつきを補正するために、検出された動きベクトルを平滑化する後置フィルタを動きベクトル算出回路の出力に接続する手法が知られている。しかしながら、後置フィルタを用いることにより、画像中に動きが急変する領域が存在する場合又は動き物体が小さい場合等には、本来の動きに関する情報が失われる可能性がある。本来の動きに関する情報を維持する背景技術として、動きベクトルの分布状態に基づいて後置フィルタの特性を切り替える手法が提案されている（例えば、特許文献１参照。）。

一方、連続する動きベクトルが同一であれば、動きベクトルについての符号量を削減できる。しかしながら、上述した背景技術においては、僅かなばらつきにより動きベクトルについての符号量を削減できない。特に、圧縮率が高い場合には、全符号量に対する動きベクトルの符号量が支配的となり、圧縮効率が悪くなる。また、隣接マクロブロック間で動きベクトルが異なるとブロックノイズが目立ちやすい等の問題も生じる。
特開２００４−１８００４４号公報

本発明は、本来の動きに関する情報を失うことなく、動きベクトルの符号量を削減可能な動画像処理装置、動画像処理方法、及び動画像処理プログラムを提供する。

本発明の一態様は、（イ）現画像及び前記現画像と時間的に異なる参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価する評価回路；（ロ）判定領域内でないと評価された動きベクトルを基準ベクトルとして再設定し、連続して判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化する統一化回路を備える動画像処理装置であることを要旨とする。

本発明の一態様は、（イ）現画像及び前記現画像と時間的に異なる参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価するステップ；（ロ）判定領域内でないと評価された動きベクトルを基準ベクトルとして再設定し、連続して判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化するステップを備える動画像処理方法であることを要旨とする。

本発明の一態様は、コンピュータに、（イ）現画像及び前記現画像と時間的に異なる参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価する手順；（ロ）判定領域内でないと評価された動きベクトルを基準ベクトルとして再設定し、連続して判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化する手順を実行させる動画像処理プログラムであることを要旨とする。

本発明によれば、本来の動きに関する情報を失うことなく、動きベクトルの符号量を削減可能な動画像処理装置、動画像処理方法、及び動画像処理プログラムを提供できる。

次に、図面を参照して、本発明の第１及び第２実施形態を説明する。以下の第１及び第２実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（第１実施形態）
本発明の第１実施形態に係る動画像処理装置は、図１に示すように、動画像符号化回路５、前置フィルタ４、動きベクトル検出回路３、評価回路１ａ、統一化回路２ａ、及びコントローラ６を備える。図１に示す例においては、動画像符号化回路５として、ＭＰＥＧ規格に準拠した動画像符号化回路を示している。動画像符号化回路５に供給される画像データＩＮとしては、例えば輝度信号がフレーム単位で供給される。前置フィルタ４は、動きベクトルの検出エラーを防止するために、画像データＩＮの周波数特性を補正する。動きベクトル検出回路３は、現フレームの画像データ（以下において「現画像」という。）、及び現画像と時間的に異なるフレームの画像データ（以下において「参照画像」という。）に基づいて動きベクトルＶ１を求める。ここで、「動きベクトル」とは、現画像中の動きベクトルの検出対象ブロックと、参照画像中の検出対象ブロックに近似する対象ブロックとの水平方向及び垂直方向の相対位置を示すベクトルを意味する。動きベクトル検出回路３は、現画像を複数のブロックに分割し、複数のブロックのそれぞれについて動きベクトルＶ１を検出する。評価回路１ａは、動きベクトルＶ１の終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価する。統一化回路２ａは、判定領域内でないと評価された動きベクトルＶ１を基準ベクトルとして再設定し、連続して判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化する。

また、動きベクトル検出回路３は、パターンマッチング法、勾配法、又は位相相関法等により動きベクトルＶ１を検出する。「パターンマッチング法」とは、現画像及び参照画像のそれぞれにおいて、ＳＡＤ等の評価関数が最小値となるブロック同士を検出する手法である。尚、現画像の検出対象ブロックと参照画像とのマッチング計算に使用される評価関数としては、相対的位置が同一の画素同士の平均自乗誤差（ＭＳＥ）又は平均絶対値誤差（ＭＡＤ）を利用しても良い。

例えば、図２に示す現画像中の検出対象ブロックＢ２についての動きベクトルを検出する場合、先ず参照画像に検索範囲を設定し、パターンマッチングにより、検索範囲内から検出対象ブロックＢ２に最も近似したブロックＢ１を検出する。この結果、参照画像中のブロックＢ１に対する、検出対象ブロックＢ２の相対位置が、動きベクトルＶ１として検出される。尚、ブロックマッチングは、現画像における１６×１６画素の正方領域であるマクロブロック単位、マクロブロックを更に分割したサブマクロブロック単位、又はサブマクロブロックを更に分割したブロック単位で行われる。「勾配法」とは、初期偏位ベクトルを用いて動きベクトルの検出精度を向上させる手法である。また、動きベクトルＶ１は、例えば整数画素単位、半画素単位、又は１／４画素単位で検出される。

更に、図３に示すように、時刻ｔにおける絵柄Ｄ１が、時刻ｔからΔｔ経過後の絵柄Ｄ２の位置に移動した場合、絵柄Ｄ１中のブロックＢ１０及び絵柄Ｄ２中のブロックＢ１１の動きベクトルＶａと、絵柄Ｄ１中のブロックＢ２０及び絵柄Ｄ２中のブロックＢ２１の動きベクトルＶｂとは理論的には一致する。しかしながら、動きベクトルＶａ及び動きベクトルＶｂには、上述した理由により誤差が生じ、互いに異なるベクトルとなる可能性がある。図１に示す評価回路１ａ及び統一化回路２ａは、動きベクトルＶａ及び動きベクトルＶｂに生じる誤差を補正し、互いに等しい動きベクトルに統一化する。

具体的には、評価回路１ａは図４に示すように、ベクトル差分回路１１、第１比較回路１４、変数更新回路１５、基準ベクトル設定回路１２、及び判定領域設定回路１３ａを備える。ベクトル差分回路１１の入力は、図１に示す動きベクトル検出回路３の出力に接続される。基準ベクトル設定回路１２の入力は、動きベクトル検出回路３及び第１比較回路１４のそれぞれの出力に接続される。判定領域設定回路１３ａの入力は、変数更新回路１５及び基準ベクトル設定回路１２のそれぞれの出力に接続される。第１比較回路１４の入力は、ベクトル差分回路１１及び判定領域設定回路１３ａのそれぞれの出力に接続される。変数更新回路１５の入力は第１比較回路１４の出力に接続される。

更に、基準ベクトル設定回路１２は、現画像の最初のブロックから検出された動きベクトルＶ１を基準ベクトルＶｒｅｆとしてベクトル差分回路１１及び判定領域設定回路１３ａに設定する。例えば、図５に示すような基準ベクトルＶｒｅｆが、ベクトル差分回路１１及び判定領域設定回路１３ａに設定される。ベクトル差分回路１１は、基準ベクトルＶｒｅｆと、動きベクトル検出回路３から供給される動きベクトルＶ１とを差分処理して差分ベクトルＶｄｉｆを生成する。一例として、ベクトル差分回路１１は、図５に示すように、動きベクトル検出回路３から順に供給された３つの動きベクトルＶ１＿１、Ｖ１＿２、及びＶ１＿３から、３つの差分ベクトルＶｄｉｆ１、Ｖｄｉｆ２、及びＶｄｉｆ３をそれぞれ算出する。

判定領域設定回路１３ａは、図５に示すように、例えば変数更新回路１５からの変数ｒに応じて、基準ベクトルＶｒｅｆの終点を中心とした判定領域を設定する。図５に示す例において判定領域は、変数ｒを半径とする円形の形状を有している。第１比較回路１４は、ベクトル差分回路１１が算出した差分ベクトルＶｄｉｆを判定領域と比較して、差分ベクトルＶｄｉｆの終点が判定領域内であるか否か判定する。図５において、第１比較回路１４は、差分ベクトルＶｄｉｆ１及びＶｄｉｆ２が判定領域内であると判定し、差分ベクトルＶｄｉｆ３が判定領域外であると判定する。変数更新回路１５は、例えば、差分ベクトルＶｄｉｆが判定領域内である場合、変数ｒの値を段階的に減少させる。この結果、判定領域の形状が段階的に縮小化し、差分ベクトルＶｄｉｆの評価が徐々に厳しく行われる。これに対して変数更新回路１５は、差分ベクトルＶｄｉｆが判定領域外である場合、変数ｒの値を初期値Ｒに再設定する。この結果、動きベクトルＶ１が判定領域中に存在するか否か、即ち、動きベクトルＶ１が基準ベクトルＶｒｅｆの近傍に存在するかどうかが判断される。

また、基準ベクトル設定回路１２は、差分ベクトルＶｄｉｆが判定領域内である場合に基準ベクトルＶｒｅｆを維持し、差分ベクトルＶｄｉｆが判定領域外である場合に基準ベクトルＶｒｅｆを再設定する。図５に示す例においては、動きベクトルＶ１＿３が判定領域外であるため、図６に示すように、動きベクトルＶ１＿３が新たな基準ベクトルＶｒｅｆとしてベクトル差分回路１１及び判定領域設定回路１３ａに設定される。この結果、基準ベクトルＶｒｅｆは、検出対象ブロックの移動量に適応したベクトルに設定される。

更に、統一化回路２ａは、図７に示すように、デマルチプレクサ２１ａ、メモリ制御回路２２、平均値算出回路２４、第１メモリ２３、及び第２メモリ２５を備える。デマルチプレクサ２１ａの入力は、図１に示す動きベクトル検出回路３及び図４に示す第１比較回路１４のそれぞれの出力に接続される。メモリ制御回路２２の入力は、図４に示す第１比較回路１４及び第１比較回路１４のそれぞれの出力に接続される。第１メモリ２３の入力は、デマルチプレクサ２１ａの一方の出力及びメモリ制御回路２２の出力に接続される。平均値算出回路２４の入力は、第１メモリ２３の出力に接続される。第２メモリ２５の入力は、デマルチプレクサ２１ａの他方の出力及び平均値算出回路２４のそれぞれの出力に接続される。

また、デマルチプレクサ２１ａは、図４に示す第１比較回路１４の比較結果ＣＳ１に応じて、図１に示す動きベクトル検出回路３からの動きベクトルＶ１を第１メモリ２３又は第２メモリ２５に伝達する。具体的には、デマルチプレクサ２１ａは、図４に示すベクトル差分回路１１が算出した差分ベクトルＶｄｉｆが、判定領域設定回路１３ａが設定した判定領域内である場合、動きベクトルＶ１を第１メモリ２３に伝達する。これに対してデマルチプレクサ２１ａは、差分ベクトルＶｄｉｆが判定領域外である場合、動きベクトルＶ１を第２メモリ２５に伝達する。メモリ制御回路２２は、変数更新回路１５が更新する変数ｒ、及び第１比較回路１４の比較結果ＣＳ１のそれぞれに応じて、第１メモリ２３に格納された動きベクトル群Ｖｇｒｐを読み出す。

メモリ制御回路２２は、差分ベクトルＶｄｉｆが判定領域外である場合、第１メモリ２３に格納された動きベクトル群Ｖｇｒｐを読み出す。動きベクトル群Ｖｇｒｐの読み出しの際に、メモリ制御回路２２は、変数ｒの値を一定値と比較することにより、変数ｒが初期値Ｒに近い値であるか否か判定する。変数ｒが初期値Ｒに近い値の場合、格納された動きベクトル群Ｖｇｒｐの最後の一定数を標本として読み出す。変数rが初期値Rに近いということは、統一化できる動きベクトルが連続して検出されなかったことを示している。即ち、基準ベクトルＶｒｅｆに動きベクトルＶ１が集中していなかったためである。したがって、基準ベクトルＶｒｅｆから離間した動きベクトルＶ１を選択するために、格納された動きベクトル群Ｖｇｒｐの最後の一定数を標本として読み出し、最後の一定数を平均値算出回路２４に伝達する。

一方、変数ｒが初期値Ｒから大きく離れている場合、メモリ制御回路２２は、格納された動きベクトル群Ｖｇｒｐの最初の一定数を標本として読み出す。変数rが初期値Rから大きく離れているということは、統一化可能な動きベクトルＶ１が連続して検出されたことを示している。即ち、基準ベクトルＶｒｅｆに動きベクトルＶ１が集中していると考えられる。したがって、格納された基準ベクトルＶｒｅｆ近傍の動きベクトルＶ１を選択するために、格納された動きベクトル群Ｖｇｒｐの最初の一定数を標本として読み出し、最初の一定数を平均値算出回路２４に伝達する。

このように、統一化しようとする動きベクトル群の分布に基づいて平均化する方法を選択することにより、単純に平均化する方法に比べて、ブロックの移動量に近い動きベクトルに統一化することができる。或いは、記憶された動きベクトル群Ｖｇｒｐを平均化せずに、記憶された動きベクトル群Ｖｇｒｐからいずれか１つの動きベクトルを選択することにより統一化を実行しても良い。

更に、平均値算出回路２４は、読み出された動きベクトル群Ｖｇｒｐの平均値を算出して第２メモリ２５に伝達する。尚、読み出された動きベクトル群Ｖｇｒｐを単純に平均化する場合に限らず、読み出された動きベクトル群Ｖｇｒｐを重み付けしてから平均化しても良い。第２メモリ２５は、現画像の１フレーム分の動きベクトルＶ２を図１に示す動画像符号化回路５に供給する。

更に、動画像符号化回路５は、図７に示す第２メモリ２５から伝達される動きベクトルＶ２を用いて動き補償された参照ローカルデコード信号（以下において「予測画像」という。）と現画像との差分値を符号化する。詳細には、動画像符号化回路５は、減算器５１、離散コサイン変換（ＤＣＴ）回路５２、量子化回路５３、逆量子化回路５４、逆ＤＣＴ回路５５、可変長符号化回路５９、加算器５６、フレームメモリ５７、及び動き補償回路５８を備える。

減算器５１、ＤＣＴ回路５２、量子化回路５３、及び可変長符号化回路５９は、この順に直列接続される。逆量子化回路５４の入力は、量子化回路５３の出力に接続される。逆ＤＣＴ回路５５の入力は、逆量子化回路５４の出力に接続される。加算器５６の一方の入力は逆ＤＣＴ回路５５の出力に接続され、他方の入力は動き補償回路５８の出力に接続される。フレームメモリ５７の入力は、加算器５６の出力に接続される。動き補償回路５８の入力は、フレームメモリ５７及び図７に示す第２メモリ２５のそれぞれの出力に接続される。

また、ＤＣＴ回路５２は、減算器５１からの差分値を直交変換する。尚、ＤＣＴは、フーリエ変換の一種であり、２次元の画像を２次元の周波数に変換する。この結果、差分値が、人間の目に識別され易い低周波数成分と、識別され難い高周波成分とに分離される。量子化回路５３は、直交変換された差分値を量子化して可変長符号化回路５９及び逆量子化回路５４に伝達する。可変長符号化回路５９は、量子化された差分値を可変長符号化して外部に伝達する。

逆量子化回路５４、逆ＤＣＴ回路５５、加算器５６、及びフレームメモリ５７により、参照ローカルデコード信号が生成される。動き補償回路５８は、動きベクトルを用いて参照ローカルデコード信号を動き補償する。尚、動きベクトルによる予測方法には、過去の画像からの予測である順方向予測、未来の画像からの予測である逆方向予測、過去及び未来の画像からの予測である双方向予測等がある。

更に、可変長符号化回路５９は、図７に示す第２メモリ２５が格納する１フレーム分の動きベクトルＶ２を符号化する。ここで、可変長符号化回路５９は、現画像の互いに隣接するブロックから得られる動きベクトル同士の差分値を符号化する。図１に示す評価回路１ａ及び統一化回路２ａは、動きベクトル検出回路３からの動きベクトルＶ１に生じるばらつきを高精度に補正可能であるため、可変長符号化回路５９により算出される動きベクトル同士の差分値が極小化される。この結果、可変長符号化回路５９が生成する符号列の符号量が大幅に削減される。

次に、図８に示すフローチャートを参照して、第１実施形態に係る動画像処理方法を説明する。

（イ）ステップＳ１１において、図１に示す動画像処理装置に１フレーム分の画像データＩＮが伝達されると、図１に示すコントローラ６は、図４に示す基準ベクトル設定回路１２及び変数更新回路１５を初期化する。

（ロ）ステップＳ１２において、図１に示す動きベクトル検出回路３は、前置フィルタ４を介して供給される画像データＩＮから動きベクトルＶ１を連続的に検出する。更に、ステップＳ１３において、図４に示すベクトル差分回路１１は、動きベクトルＶ１と基準ベクトルＶｒｅｆとの差分ベクトルＶｄｉｆを算出する。

（ハ）ステップＳ１４において、図４に示す第１比較回路１４は、差分ベクトルＶｄｉｆを判定領域と比較し、差分ベクトルＶｄｉｆが判定領域内に収まるか否か判定する。差分ベクトルＶｄｉｆが判定領域内に収まると判定された場合、ステップＳ１５に進む。差分ベクトルＶｄｉｆが判定領域内に収まらないと判定された場合、ステップＳ１７に進む。

（ニ）ステップＳ１５において、図７に示すデマルチプレクサ２１ａは、動きベクトルＶ１を第１メモリ２３に伝達し、動きベクトルＶ１が記憶される。更に、ステップＳ１６において、図４に示す変数更新回路１５は、変数ｒを１段階だけ減少させて判定領域を縮小化する。即ち、統一化可能な動きベクトルＶ１が連続して検出されている場合、第１比較回路１４で用いられる判定領域の形状は縮小化し続ける。一方、基準ベクトル設定回路１２は、基準ベクトルＶｒｅｆを更新せずに以前の基準ベクトルを維持する。動きベクトルＶ１が記憶され、変数ｒが更新されると、ステップＳ１９に進む。

（ホ）ステップＳ１７において、図７に示すメモリ制御回路２２は、第１メモリ２３から動きベクトル群Ｖｇｒｐを読み出して平均値算出回路２４に供給する。平均値算出回路２４は、動きベクトル群Ｖｇｒｐを平均化し、動きベクトル群Ｖｇｒｐを１つの動きベクトルに統一化する。更に、ステップＳ１８において、基準ベクトル設定回路１２は、基準ベクトルＶｒｅｆを更新する。また、変数更新回路１５は、変数ｒを初期値Ｒに初期化する。

（ヘ）ステップＳ１９において、コントローラ６は、現画像の検出対象ブロックが１フレームの最後のブロックであるか否か判定する。検出対象ブロックが１フレームの最後のブロックである場合、ステップＳ２０に進む。検出対象ブロックが１フレームの最後のブロックでない場合、ステップＳ１２に処理が戻る。ステップＳ２０においては、統一化できると評価された動きベクトルのうち、統一化されていない動きベクトル群が存在する場合に統一化処理を行う。

このように、第１実施形態によれば、現画像中の互いに隣接するブロックから検出される動きベクトルを同一の動きベクトルに統一化できるため、図１に示す可変長符号化回路５９が生成する符号列における動きベクトルに関する符号量を大幅に削減できる。この結果、圧縮率が高い場合に動きベクトルの符号量が支配的となり、圧縮効率が悪くなる問題を解決できる。同様に、隣接マクロブロック間で動きベクトルが異なるとブロックノイズが目立ちやすい問題を解決できる。

一方、隣接したブロックの動きベクトルと同一の動きベクトルに統一化できないと判断された異なる動きベクトルを持つ領域に属しているブロックの動きベクトルは、隣接ブロックの動きベクトルと同一の動きベクトルに統一化しない。したがって、動きが急変する領域等における動きに係る情報を失うことなく、隣接するマクロブロック間の動きベクトルのばらつきを選択的に排除し、動きベクトルを統一化できる。

（第１実施形態の第１変形例）
本発明の第１実施形態の第１変形例に係る動画像処理装置として、図９に示すように、現画像の絵柄を認識する画像認識回路７を更に備える構成でも良い。画像認識回路７の出力は、図１０に示す評価回路１ｂの判定領域設定回路１３ｂの入力に接続される。判定領域設定回路１３ｂは、画像認識回路７からの絵柄情報ＰＲに応じて判定領域の形状を変更する。例えば、判定領域設定回路１３ｂは、現画像が水平方向に流れるような絵柄である場合、図１１に示すように、判定領域を水平方向に伸張させる。

したがって、動きベクトルが有する情報の精度を制御し、異なる動きベクトルを持つ領域に属しているブロックの動きベクトルは同一の動きベクトルに統一化しないように制御できる。逆に、大きく異なる動きベクトルを持つ領域に属しているブロックの動きベクトルでさえも、同じ動きベクトルに統一化するように制御できる。

（第１実施形態の第２変形例）
本発明の第１実施形態の第２変形例に係る動画像処理装置として、図１２に示すように、評価回路１ｃが、図４に示したベクトル差分回路１１に代えて、動きベクトルＶ１及び基準ベクトルＶｒｅｆのそれぞれの終点間の距離を算出する距離算出回路１１１を備える構成でも良い。第１比較回路１４は、算出されたベクトル間距離と変数ｒとを比較する。また、図１２に示す評価回路１ｃは、図４に示した判定領域設定回路１３ａを備えていない。図１２に示す評価回路１ｃによれば、図４に示す評価回路１ａと同様に、図５に示す動きベクトルの評価手法を実現できる。

（第２実施形態）
本発明の第２実施形態に係る映像処理装置は、図１３に示すように、評価回路１ｄが、閾値設定回路１６及び第２比較回路１７を更に備える点が図４と異なる。また、動きベクトル検出回路３は、第１ブロックメモリ３１、演算回路３２、第２ブロックメモリ３３、動きベクトルレジスタ３４、最小値判定回路３５、及び最小値レジスタ３６を備える。閾値設定回路１６は、コントローラ６０の出力に入力が接続され、第２比較回路１７及び変数更新回路１５のそれぞれの入力に出力が接続される。第２比較回路１７は、閾値設定回路１６、最小値判定回路３５、及び第１比較回路１４のそれぞれの出力に入力が接続され、基準ベクトル設定回路１２、変数更新回路１５、デマルチプレクサ２１ｂ、及びメモリ制御回路２２のそれぞれの入力に出力が接続される。その他の構成については、図１、図４、及び図７と同様である。

上述した第１実施形態においては、動きベクトルＶ１が判定領域内である場合においても、動きベクトルＶ１が、隣接ブロックの移動量と異なる移動量を持つ検出対象ブロックから検出された動きベクトルである可能性がある。よって、閾値設定回路１６及び第２比較回路１７は、動きベクトルＶ１を隣接ブロックと同一の動きベクトルに統一化するか否かを、動きベクトルＶ１が検出された際に判断の元となった評価関数の最小値を用いて再評価する。

また、第１ブロックメモリ３１には、複数のブロックに分割された現画像の検出対象ブロックが格納される。第２ブロックメモリ３３には、参照画像の検索範囲から順次切り出された参照ブロックが格納される。演算回路３２は、検出対象ブロック及び参照ブロックに対して、ＳＡＤ、ＭＳＥ、又はＭＡＤ等の評価関数を用いてマッチング演算を行う。更に、演算回路３２は、マッチング演算と共に、検出対象ブロック及び参照ブロックの動きベクトル候補Ｖ０を順次算出する。

最小値判定回路３５は、切り出された参照ブロックのそれぞれについて、評価関数を用いたマッチング演算の結果が最小値となるか否か判定し、演算結果が最小値となる参照ブロックを検出する。最小値レジスタ３６には、最小値判定回路３５が最小値を検出する過程における最小値候補が格納される。動きベクトルレジスタ３４には、最小値判定回路３５の最小値検出時における検出対象ブロックと参照ブロックとの動きベクトルＶ１が格納される。この結果、動きベクトル検出回路３は、評価関数によるマッチング演算の最小値Ｓ２と、最小値Ｓ２の検出時の動きベクトルＶ１とを生成する。

更に、第２比較回路１７は、差分ベクトルＶｄｉｆが判定領域内であると判定された場合、閾値設定回路１６が算出した閾値Ｄと最小値Ｓ２とを比較する。第２比較回路１７の比較結果ＣＳ２は、基準ベクトル設定回路１２、変数更新回路１５、デマルチプレクサ２１ｂ、及びメモリ制御回路２２に伝達される。基準ベクトル設定回路１２は、差分ベクトルＶｄｉｆが判定領域外である場合に加えて、差分ベクトルＶｄｉｆが判定領域内であり、且つ、最小値Ｓ２が閾値Ｄより大きい場合に基準ベクトルＶｒｅｆを更新する。変数更新回路１５は、差分ベクトルＶｄｉｆが判定領域外である場合に加えて、差分ベクトルＶｄｉｆが判定領域内であり、且つ、最小値Ｓ２が閾値Ｄより大きい場合に変数ｒを初期化する。

また、デマルチプレクサ２１ｂは、差分ベクトルＶｄｉｆが判定領域内であり、且つ、最小値Ｓ２が閾値Ｄ以下である場合に動きベクトルＶ１を第１メモリ２３に伝達する。メモリ制御回路２２は、差分ベクトルＶｄｉｆが判定領域外である場合に加えて、差分ベクトルＶｄｉｆが判定領域内であり、且つ、最小値Ｓ２が閾値Ｄより大きい場合に第１メモリ２３から動きベクトル群Ｖｇｒｐを読み出す。

更に、閾値設定回路１６が設定する閾値Ｄは、例えば、以下の式により定義される：
D=α/B ・・・（１）
ここで、記号“α”は任意の定数を表し、記号“B”は図１に示す符号化された画像データＯＵＴのビットレートを表す変数である。即ち、閾値Ｄの値は、符号化された画像データＯＵＴのビットレートに反比例する。尚、ビットレートの情報はコントローラ６０から閾値設定回路１６に供給される。

具体的には、低ビットレート時には動きベクトルＶ１の評価を緩和し、高ビットレート時には動きベクトルＶ１の評価を厳密に行う。符号化の効率を考えたとき、ビットレートを低く設定した場合、動きベクトルＶ１がばらつきを持つと、動きベクトルに関する符号量が増加し、符号化効率が悪化する。よって、低ビットレート時に統一化する動きベクトルＶ１を増加した方が符号化効率が改善される。一方、高ビットレート時には、動きベクトルがばらつきを持つことを許容する。高ビットレート時には、動きベクトルに関する符号量に十分な量を割り当てることができると考えられるからである。したがって、設定されたビットレートに応じて、符号化効率を制御できる。

更に、図１に示す前置フィルタ４を設けない場合、閾値Ｄの値は、式（１）より以下のように表現できる：
D=α/B+βS ・・・（２）
ここで、記号“β”は任意の定数を表し、記号“Ｓ”は画像データＩＮのサンプリング周波数を表す。即ち、閾値Ｄの値は、画像データＩＮのサンプリング周波数に比例する。尚、サンプリング周波数の情報はコントローラ６０から閾値設定回路１６に供給される。

詳細には、低サンプリング周波数時には動きベクトルＶ１の評価を厳密に行い、高サンプリング周波数時には動きベクトルＶ１の評価を緩和する。画像データＩＮをダウンサンプリングすると高周波成分が重畳した画像データとなる。高周波成分が重畳した画像データを用いて動きベクトルＶ１の検出を行った場合、正確な検出が行われない可能がある。これに対してサンプリング周波数が高い場合、動きベクトルＶ１の検出精度は高いため、動きベクトルＶ１の評価を緩和できるためである。

更に、動きベクトルの検出にテレスコピックサーチを用いる場合、閾値Ｄが例えば以下のように設定される：
D=α/B+γM ・・・（３）
ここで、記号“γ”は任意の定数を表し、記号“Ｍ”はフレーム間距離を表す。即ち閾値Ｄの値は、フレーム間距離に比例する。尚、「フレーム間距離」とは、図１４に示すように、フレーム内符号化画像（Ｉピクチャ）１９、及びフレーム間順方向予測符号化画像（Ｂピクチャ）１８ａ〜１８ｊ、及び双方向予測符号化画像２０ａ〜２０ｄ（Ｐピクチャ）における現画像と予測画像との間隔を意味する。フレーム間距離の情報はコントローラ６０から閾値設定回路１６に供給される。テレスコピックサーチを用いて動きベクトルの探索を行った場合、フレーム間距離Ｍが大きくなると、動きベクトルのばらつきは大きくなるのが一般的である。よって、フレーム間距離Ｍに比例して動きベクトルＶ１の評価を緩和する。

一方、図１３に示す変数更新回路１５は、閾値設定回路１６が設定した閾値Ｄの値を用いて変数ｒを変更する。上述したように、統一化できない動きベクトルＶ１が検出された場合、変数更新回路１５で変数ｒが初期値Ｒに初期化される。これに対して、統一化できる動きベクトルＶ１が検出された場合は、変数更新回路１５は変数ｒを更新する。変数ｒは、例えば、閾値Ｄを利用して以下のように設定される：
r=ε/P+δD ・・・（４）
ここで、記号“ε”及び“δ”は任意の定数を表し、記号“Ｐ”は、統一化できる動きベクトルの連続数と比例して増加する変数を表す。但し、Ｐ=０のとき、即ち半径rの初期値は定数Rとする。図１５に示すように、変数Ｐが増加するに従い、δDに漸近し、０となることはない。

次に、図１６に示すフローチャートを参照して、第２実施形態に係る動画像処理方法を説明する。但し、第１実施形態に係る動画像処理方法と重複する処理については重複する説明を省略する。

（イ）ステップＳ１４において、図１３に示す第１比較回路１４は、差分ベクトルＶｄｉｆを判定領域と比較し、差分ベクトルＶｄｉｆが判定領域内に収まるか否か判定する。差分ベクトルＶｄｉｆが判定領域内に収まると判定された場合、ステップＳ３１に進む。差分ベクトルＶｄｉｆが判定領域内に収まらないと判定された場合、ステップＳ１７に進む。

（ロ）ステップＳ３１において、第２比較回路１７は、最小値Ｓ２を閾値Ｄと比較する。最小値Ｓ２が閾値Ｄ以下である場合、ステップＳ１５に進む。最小値Ｓ２が閾値Ｄより大きい場合、ステップＳ１７に進む。

このように、第２実施形態によれば、評価関数を用いたマッチング演算の最小値Ｓ２が閾値Ｄ以下、即ち、検出された動きベクトルＶ１がブロックの移動量と等しいと判断できる場合に初めて、隣接ブロックと同一の動きベクトルに統一化できる。したがって、動きベクトルＶ１が持つ情報を失うことのない方法で、動きベクトルＶ１に生じる誤差を補正し、動きベクトルＶ１を統一化できる。

（第２実施形態の第１変形例）
本発明の第２実施形態の第１変形例に係る動画像処理装置として、図１７に示すように、基準ベクトル設定回路１２が設定する基準ベクトルＶｒｅｆが、統一化回路２ｃのデマルチプレクサ２１ｂ及びメモリ制御回路２２に供給される構成でも良い。デマルチプレクサ２１ｂは、基準ベクトルＶｒｅｆが更新された場合、差分ベクトルＶｄｉｆが判定領域外であると判定し、動きベクトルＶ１を第２メモリ２５に伝達する。これに対してデマルチプレクサ２１ｂは、基準ベクトルＶｒｅｆが維持される場合、差分ベクトルＶｄｉｆが判定領域内であると判定し、動きベクトルＶ１を第１メモリ２３に伝達する。

また、メモリ制御回路２２は、基準ベクトルＶｒｅｆが更新された場合、差分ベクトルＶｄｉｆが判定領域外であると判定し、第１メモリ２３に格納された動きベクトル群Ｖｇｒｐを読み出す。このように、図１７に示す動画像処理装置によれば、図１３と比して、デマルチプレクサ２１ｂ及びメモリ制御回路２２のそれぞれの処理を簡略化できる。

（第２実施形態の第２変形例）
本発明の第２実施形態の第２変形例に係る動画像処理装置として、図１８に示すように、統一化回路２ｄが、第２メモリ２５のみを備える構成でも良い。即ち、第２メモリ２５には、動きベクトル群Ｖｇｒｐの平均値及び動きベクトルＶ１が格納されずに、基準ベクトルＶｒｅｆが格納される。図１８に示す動画像処理装置によれば、統一化回路２ｄの回路規模を大幅に削減できる。

（その他の実施形態）
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

上述した第１及び第２実施の形態においては、動画像符号化回路５に前置フィルタ４、動きベクトル検出回路３、評価回路１ａ、及び統一化回路２ａを適用する一例を説明した。しかしながら、動画像符号化回路５に代えて、フォーマット変換装置又はノイズ軽減装置等に適用しても良い。

更に、判定領域の形状として変数ｒを半径とする円形を利用する一例を説明したが、円形に限らず、矩形等の多角形又は十字型等の様々な形状が利用可能である。

また、動きベクトルの検出においては、画像データＩＮの輝度信号を使用する場合に限らず、色差信号を使用することも可能である。

更に、図１及び図９に示す動画像処理装置は、単一の半導体チップ上にモノリシックに集積化し、半導体集積回路として構成可能である。

このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。

本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。 本発明の第１実施形態に係る動きベクトル生成回路の機能を説明する模式図である。 本発明の第１実施形態に係る動きベクトル生成回路の機能を説明する模式図である。 本発明の第１実施形態に係る評価回路の構成を示すブロック図である。 本発明の第１実施形態に係る評価回路及び統一化回路の機能を説明する模式図である。 本発明の第１実施形態に係る評価回路及び統一化回路の機能を説明する模式図である。 本発明の第１実施形態に係る統一化回路の構成を示すブロック図である。 本発明の第１実施形態に係る映像処理方法を示すフローチャートである。 本発明の第１実施形態の第１変形例に係る映像処理装置の構成を示すブロック図である。 本発明の第１実施形態の第１変形例に係る評価回路の構成を示すブロック図である。 本発明の第１実施形態の第１変形例に係る評価回路の機能を説明する模式図である。 本発明の第１実施形態の第２変形例に係る評価回路の構成を示すブロック図である。 本発明の第２実施形態に係る動きベクトル生成回路及び評価回路の構成を示すブロック図である。 本発明の第２実施形態に係る閾値設定回路の機能を説明する模式図である。 本発明の第２実施形態に係る変数更新回路の機能を説明する模式図である。 本発明の第２実施形態に係る映像処理方法を示すフローチャートである。 本発明の第２実施形態の第１変形例に係る評価回路及び統一化回路の構成を示すブロック図である。 本発明の第２実施形態の第２変形例に係る評価回路及び統一化回路の構成を示すブロック図である。

符号の説明

１ａ〜１ｄ…評価回路
２ａ〜２ｄ…統一化回路
３…ベクトル検出回路
７…画像認識回路

Claims (6)

1. 現画像及び前記現画像と時間的に異なる参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価する評価回路と、
   前記判定領域内でないと評価された前記動きベクトルを前記基準ベクトルとして再設定し、連続して前記判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化する統一化回路と、
   前記参照画像において、前記現画像を構成する複数のブロックのうちの前記動きベクトルの検出対象ブロックとの評価関数が最小値となる参照ブロックを検出し、前記参照ブロックと前記検出対象ブロックとの相対位置を前記動きベクトルとして検出する動きベクトル検出回路とを備え、
   前記評価回路は、前記最小値を閾値と比較し、
   前記統一化回路は、前記最小値が前記閾値以下である場合にのみ、前記連続して前記領域内であると判定された前記動きベクトル群を統一化することを特徴とする動画像処理装置。
2. 現画像及び前記現画像と時間的に異なる参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価する評価回路と、
   前記判定領域内でないと評価された前記動きベクトルを前記基準ベクトルとして再設定し、連続して前記判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化する統一化回路と、
   前記現画像の絵柄を認識する画像認識回路とを備え、
   前記評価回路は、前記絵柄に応じて前記判定領域の形状を変更することを特徴とする動画像処理装置。
3. 現画像と時間的に異なる参照画像において、前記現画像を構成する複数のブロックのうちの動きベクトルの検出対象ブロックとの評価関数が最小値となる参照ブロックを検出するステップと、
   前記参照ブロックと前記検出対象ブロックとの相対位置を前記動きベクトルとして検出するステップと、
   前記現画像及び前記参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価するステップと、
   前記判定領域内でないと評価された動きベクトルを前記基準ベクトルとして再設定するステップと、
   連続して前記判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化するステップとを備え、
   前記順次評価するステップでは、前記最小値を閾値と比較し、
   前記統一化するステップでは、前記最小値が前記閾値以下である場合にのみ、前記連続して前記領域内であると判定された前記動きベクトル群を統一化することを特徴とする動画像処理方法。
4. 現画像の絵柄を認識するステップと、
   前記現画像及び前記現画像と時間的に異なる参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価するステップと、
   前記判定領域内でないと評価された前記動きベクトルを前記基準ベクトルとして再設定するステップと、
   連続して前記判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化するステップとを備え、
   前記順次評価するステップでは、前記絵柄に応じて前記判定領域の形状を変更することを特徴とする動画像処理方法。
5. コンピュータに、
   現画像と時間的に異なる参照画像において、前記現画像を構成する複数のブロックのうちの動きベクトルの検出対象ブロックとの評価関数が最小値となる参照ブロックを検出する手順と、
   前記参照ブロックと前記検出対象ブロックとの相対位置を前記動きベクトルとして検出する手順と、
   前記現画像及び前記参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価する手順と、
   前記判定領域内でないと評価された動きベクトルを前記基準ベクトルとして再設定する手順と、
   連続して前記判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化する手順とを実行させ、
   前記順次評価する手順では、前記最小値を閾値と比較し、
   前記統一化する手順では、前記最小値が前記閾値以下である場合にのみ、前記連続して前記領域内であると判定された前記動きベクトル群を統一化することを特徴とする動画像処理プログラム。
6. コンピュータに、
   現画像の絵柄を認識する手順と、
   前記現画像及び前記現画像と時間的に異なる参照画像から連続的に検出された動きベクトルの終点が基準ベクトルの終点を中心とした判定領域内にあるかを順次評価する手順と、
   前記判定領域内でないと評価された前記動きベクトルを前記基準ベクトルとして再設定する手順と、
   連続して前記判定領域内であると評価された動きベクトル群を１つの動きベクトルに統一化する手順とを実行させ、
   前記順次評価する手順では、前記絵柄に応じて前記判定領域の形状を変更することを特徴とする動画像処理プログラム。