JP4744943B2 - 動きベクトル検出方法および動画処理装置 - Google Patents

Description

本発明は動画像圧縮符号化における動き補償予測符号化のための動きベクトル検出技術に関し、特に、対象フレーム画像および参照フレーム画像の入力画像データにサブサンプリング手法を適用する動きベクトル検出方法および動画処理装置に関する。

近年、高能率符号化を行うＭＰＥＧ等の動画像圧縮符号化技術の実用化が急速に進み、ビデオカメラや携帯電話等に普及している。ＭＰＥＧ等の動画像圧縮符号化技術においては、被写体の変位と画像の差分データのみを符号化することで効率よく画像データを圧縮する動き補償予測が用いられている。被写体の変位を示す動きベクトル検出においては、ブロックマッチング法が広く採用されている。

図１７は従来の一般的な動きベクトル検出方法を説明する図である。図１７において、対象ブロックとは現画像内で符号化の対象となるＮＸ×ＮＹ画素からなるブロックであり、参照領域とは前画像における対象ブロックと同一空間位置の近傍で、かつ当該対象ブロックよりも大きいＭＸ×ＭＹ画素からなる探索領域である。また、参照ブロックとは参照領域上の任意の位置におけるＮＸ×ＮＹ画素からなるブロックである。

一般的なブロックマッチング法による動きベクトル検出方法は、対象ブロックと参照領域内の参照ブロックとの比較を行い、対象ブロックと最もマッチングの取れている参照ブロックの位置を求め、その参照ブロックの位置と対象ブロックの位置との間の距離および方向を動きベクトルとして検出するものである。

なお、対象ブロックと参照ブロックとのブロックマッチングは、ブロックを構成する画素が有する画素値の差分の絶対値の和である下記評価関数１の最小値を求めることにより行われる。
評価関数１＝Σ｜Ｒｅｆ（Ｍｘ＋ｘ，Ｍｙ＋ｙ）−Ｏｒｇ（ｘ，ｙ）｜

ここで、Ｒｅｆ（Ｍｘ＋ｘ，Ｍｙ＋ｙ）は対象ブロックに対して相対位置（Ｍｘ，Ｍｙ）にある参照ブロックの画素位置（Ｍｘ＋ｘ，Ｍｙ＋ｙ）における画素値を示し、Ｏｒｇ（ｘ，ｙ）は対象ブロックの画素位置（ｘ，ｙ）における画素値を表わす。

また、より正確な動きベクトルを検出したい場合は、参照領域の画素データ間の中間位置における画素値を補間処理により求め、当該位置について対象ブロックとのマッチングを行う場合もある。また、前記評価関数１を算出するために差分累積装置を複数用意し、並列に処理させることで処理の高速化を図ることが従来行われている。

この動きベクトルの検出をさらに高速化し、かつ低消費電力するために、対象ブロックおよび参照ブロックの全ての画素について画素値の差分の絶対値の和を算出する代わりに、市松模様となるように画素のサブサンプリングを行い評価関数算出を行う技術が特許文献１に開示されている。

図１８は、評価関数を算出するために、１６×１６画素からなる対象ブロックおよび参照ブロックにて市松模様となるようにサブサンプリングを行う様子を説明する図である。図１８では、奇数ライン目の画素に関しては奇数コラムのデータのみを使用し、偶数ライン目の画素に関しては偶数コラムのデータのみを使用することが示されている。

この方式による対象ブロックと参照ブロックとのブロックマッチングは下記評価関数２の最小値を求めることにより行われる。なお、次式では乗算記号×を省略しているので、２ｘは２×ｘを意味する。
評価関数２＝Σ｜Ｒｅｆ（Ｍｘ＋２ｘ＋１，Ｍｙ＋２ｙ＋１）−Ｏｒｇ（２ｘ＋１，２ｙ＋１）｜＋Σ｜Ｒｅｆ（Ｍｘ＋２ｘ，Ｍｙ＋２ｙ）−Ｏｒｇ（２ｘ，２ｙ）｜
特開２００１−３３９７２５号公報

一般に多くのデータ処理装置において、データの転送および記憶手段への読み書きを行う際に、Ｐ個（Ｐは任意の自然数）の画像データをパッキングして処理速度を上げる手法が採用されている。上記評価関数の計算においても、対象ブロックおよび参照ブロックの画像データをパッキングして処理の高速化を図ることが考えられる。

しかしながら、特許文献１に開示されている技術では次のような問題が挙げられる。例えばＰ＝４とし、４個の画像データがパッキングされている状態を考える。この状態を図１１と図１２を用いて説明する。

図１１において、Ｄ１−１、Ｄ１−２〜Ｄ１６−１５、Ｄ１６−１６は対象ブロックまたは参照ブロックの１画像データを表す。ここで、Ｄ１−１、Ｄ１−２、Ｄ１−３、Ｄ１−４の４画像データはパッキングされて１つのパッキングデータＰ１−１ａとして扱われる。同様に、図１２に示すように、全ての画像データが４画像データ毎に１つのパッキングデータとして扱われる。もちろん、画像データの転送や記憶手段への読み書きもパッキングデータ単位で行われる。

特許文献１に開示されている技術では、評価関数２の算出に画像データを全て使用する訳ではないため、記憶手段から画像データを読み出す際に不必要な画像データも読み出してしまうことになる。前記Ｐ＝４の例では、評価関数２の算出に必要な画像データはパッキングデータＰ１−１ａにおいてはＤ１−１とＤ１−３のみであり、Ｄ１−２とＤ１−３は必要ない。

Ｐ＝４であれば４個の画像データを一度に扱うことができ、その４個の画像データに対して最大４個の差分累積装置を用意し、４並列に評価関数２を算出することが理論上は可能であるが、上述したように、評価関数２の算出において４個の画像データ中で２個の画像データしか必要でないため、２並列の処理しか行うことができない。また、必要のないデータも読み出してしまうため、消費電力の浪費にも繋がる。

本発明は上記問題点を解決するためになされたもので、サブサンプリングされた画像データを用いたブロックマッチング法による動きベクトル検出において、パッキングされた画像データを用いても演算処理をパッキングの並列度まで高速化することができる動きベクトル検出方法および動画処理装置を提供することを目的とする。

本発明の動きベクトル検出方法は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出方法であって、前記サブサンプリング手法に応じて前記パッキングされた入力画像データに並び替えを施し、動きベクトル検出に使用する第１の画像データと動きベクトル検出に使用しない第２の画像データに分離してそれぞれを再パッキングし、前記再パッキングされた第１の画像データを用いて動きベクトル検出の演算を行うものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明において、前記サブサンプリング手法に応じて前記パッキングされた入力画像データに並び替えを施すステップと、前記再パッキングされた第１の画像データおよび第２の画像データを記憶手段に記憶するステップと、前記記憶手段に記憶された第１の画像データを読み出し動きベクトル検出の演算を行うステップと、を含むものである。

本発明の動きベクトル検出方法は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出方法であって、前記サブサンプリング手法に応じて画像データに並び替えを施し、動きベクトル検出に使用する第１の画像データと動きベクトル検出に使用しない第２の画像データに分離してそれぞれをパッキングしたものを前記入力画像データとし、その前記第１の画像データを用いて動きベクトル検出の演算を行う動きベクトル検出演算を行うものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明において、前記サブサンプリング手法に応じて画像データに並び替えを施し、再パッキングされた前記第１の画像データおよび前記第２の画像データを入力し、記憶手段に記憶するステップと、前記記憶手段に記憶された第１の画像データを読み出し動きベクトル検出の演算を行うステップと、を含むものである。

本発明の動きベクトル検出方法は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出方法であって、対象フレーム画像は、前記サブサンプリング手法に応じて前記パッキングされた入力画像データに並び替えを施し、動きベクトル検出に使用する第１の対象画像データと動きベクトル検出に使用しない第２の対象画像データに分離してそれぞれを再パッキングし、前記再パッキングされた第１の対象画像データを用いて動きベクトル検出の演算を行い、また、参照フレーム画像においては、前記サブサンプリング手法に応じて画像データに並び替えを施し、動きベクトル検出に使用する第１の参照画像データと動きベクトル検出に使用しない第２の参照画像データに分離してそれぞれをパッキングしたものを前記入力画像データとし、その前記第１の参照画像データを用いて動きベクトル検出の演算を行う動きベクトル検出の演算を行うものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明において、前記サブサンプリング手法に応じて前記パッキングされた対象フレーム画像の入力画像データに並び替えを施すステップと、前記再パッキングされた第１の対象画像データおよび第２の対象画像データを対象データ用記憶手段に記憶するステップと、前記サブサンプリング手法に応じて前記参照画像データに並び替えを施し、再パッキングされた前記第１の参照画像データおよび前記第２の参照画像データを入力し、参照データ用記憶手段に記憶するステップと、前記対象データ用記憶手段に記憶された前記第１の対象画像データおよび前記参照データ用記憶手段に記憶された前記第１の参照画像データをを読み出し動きベクトル検出の演算を行うステップと、を含むものである。

本発明の動きベクトル検出方法は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出方法であって、対象フレーム画像は、前記サブサンプリング手法に応じて画像データに並び替えを施し、動きベクトル検出に使用する第１の対象画像データと動きベクトル検出に使用しない第２の対象画像データに分離してそれぞれをパッキングしたものを前記入力画像データとし、その前記第１の対象画像データを用いて動きベクトル検出の演算を行い、また、参照フレーム画像においては、前記サブサンプリング手法に応じて前記パッキングされた入力画像データに並び替えを施し、動きベクトル検出に使用する第１の参照画像データと動きベクトル検出に使用しない第２の参照画像データに分離してそれぞれを再パッキングし、前記再パッキングされた第１の画像データを用いて動きベクトル検出の演算を行う動きベクトル検出の検出を行うものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明において、前記サブサンプリング手法に応じて前記対象画像データに並び替えを施し、再パッキングされた前記第１の対象画像データおよび前記第２の対象画像データを入力し、対象データ用記憶手段に記憶するステップと、前記サブサンプリング手法に応じて前記パッキングされた参照フレーム画像の入力画像データに並び替えを施すステップと、前記再パッキングされた第１の参照画像データおよび第２の参照画像データを参照データ用記憶手段に記憶するステップと、前記対象データ用記憶手段に記憶された前記第１の対象画像データおよび前記参照データ用記憶手段に記憶された前記第１の参照画像データを読み出し動きベクトル検出の演算を行うステップと、を含むものである。

本発明において、前記記憶手段が、前記再パッキングされた画像データの任意位置において、パッキング数の画像データを一括して読み出すことができるように並列読み出し可能な複数個で構成されたものである。

上記構成によれば、複数個で構成された記憶手段に再パッキングされた画像データを割り振って記憶することができるため、動きベクトル検出の並列演算に使用する複数個の画像データの位置が画像データのパッキング位置とずれている場合にも、並列演算に必要な画像データを一括して読み出すことが可能なため、動きベクトル検出の演算処理速度を最大に向上させることができる。

本発明において、前記記憶手段に記憶された第１の画像データおよび第２の画像データを読み出して並び替えを施し、前記入力画像データを復元するステップを含むものである。

本発明において、前記パッキングされた入力画像データに並び替えを施さずに、前記記憶手段と異なる第２の記憶手段に記憶するステップを含むものである。

上記構成によれば、動きベクトル検出の演算処理には並び替えを施した画像データを記憶した記憶手段の画像データを使用し、画像データを出力する際には第２の記憶手段に記憶した画像データを使用することができるため、画像データの出力時に並び替え処理が不要になることで出力処理を高速化することができる。

本発明において、前記サブサンプリング手法は対象フレーム画像および参照フレーム画像において市松模様になるように画素を選択するものである。

本発明の動きベクトル検出装置は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出装置であって、前記サブサンプリング手法に応じて前記パッキングされた対象フレームの入力画像データに並び替えを施し、動きベクトル検出に使用する第１の対象画像データと動きベクトル検出に使用しない第２の対象画像データに分離してそれぞれを再パッキングする対象データ入力並替手段と、前記サブサンプリング手法に応じて前記パッキングされた参照フレームの入力画像データに並び替えを施し、動きベクトル検出に使用する第１の参照画像データと動きベクトル検出に使用しない第２の参照画像データに分離してそれぞれを再パッキングする参照データ入力並替手段と、前記再パッキングされた第１の対象画像データおよび第２の対象画像データを記憶する対象データ記憶手段と、前記再パッキングされた第１の参照画像データおよび第２の参照画像データを記憶する参照データ記憶手段と、前記対象データ記憶手段から第１の対象画像データを読み出し、前記参照データ記憶手段から第１の参照画像データを読み出し、動きベクトル検出の演算を行う動きベクトル演算手段と、を具備するものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明の動きベクトル検出装置は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出装置であって、前記サブサンプリング手法に応じて対象フレームの画像データに並び替えを施し、動きベクトル検出に使用する第１の対象画像データと動きベクトル検出に使用しない第２の対象画像データに分離してそれぞれをパッキングしたものを対象フレームの入力とし、それを記憶する対象データ記憶手段と、前記サブサンプリング手法に応じて参照フレームの画像データに並び替えを施し、動きベクトル検出に使用する第１の参照画像データと動きベクトル検出に使用しない第２の参照画像データに分離してそれぞれをパッキングしたものを参照フレームの入力とし、それを記憶する参照データ記憶手段と、前記対象データ記憶手段から第１の対象画像データを読み出し、前記参照データ記憶手段から第１の参照画像データを読み出し、動きベクトル検出の演算を行う動きベクトル演算手段と、を具備するものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明の動きベクトル検出装置は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出装置であって、前記サブサンプリング手法に応じて前記パッキングされた対象フレームの入力画像データに並び替えを施し、動きベクトル検出に使用する第１の対象画像データと動きベクトル検出に使用しない第２の対象画像データに分離してそれぞれを再パッキングする対象データ入力並替手段と、前記再パッキングされた第１の対象画像データおよび第２の対象画像データを記憶する対象データ記憶手段と、前記サブサンプリング手法に応じて参照フレームの画像データに並び替えを施し、動きベクトル検出に使用する第１の参照画像データと動きベクトル検出に使用しない第２の参照画像データに分離してそれぞれをパッキングしたものを参照フレームの入力とし、それを記憶する参照データ記憶手段と、前記対象データ記憶手段から第１の対象画像データを読み出し、前記参照データ記憶手段から第１の参照画像データを読み出し、動きベクトル検出の演算を行う動きベクトル演算手段と、を具備するものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明の動きベクトル検出装置は、動画像圧縮符号化において対象フレーム画像および参照フレーム画像のパッキングされた入力画像データにサブサンプリング手法を適用する動きベクトル検出装置であって、前記サブサンプリング手法に応じて対象フレームの画像データに並び替えを施し、動きベクトル検出に使用する第１の対象画像データと動きベクトル検出に使用しない第２の対象画像データに分離してそれぞれをパッキングしたものを対象フレームの入力とし、それを記憶する参照データ記憶手段と、前記サブサンプリング手法に応じて前記パッキングされた参照フレームの入力画像データに並び替えを施し、動きベクトル検出に使用する第１の参照画像データと動きベクトル検出に使用しない第２の参照画像データに分離してそれぞれを再パッキングする参照データ入力並替手段と、前記再パッキングされた第１の参照画像データおよび第２の参照画像データを記憶する参照データ記憶手段と、前記対象データ記憶手段から第１の対象画像データを読み出し、前記参照データ記憶手段から第１の参照画像データを読み出し、動きベクトル検出の演算を行う動きベクトル演算手段と、を具備するものである。

上記構成によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する第１の画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

本発明において、前記対象データ記憶手段および前記参照データ記憶手段が、前記再パッキングされた画像データの任意位置において、パッキング数の画像データを一括して読み出すことができるように並列読み出し可能な複数個で構成されたものである。

上記構成によれば、複数個で構成された対象データ記憶手段および前記参照データ記憶手段に再パッキングされた画像データを割り振って記憶することができるため、動きベクトル検出の並列演算に使用する複数個の画像データの位置が画像データのパッキング位置とずれている場合にも、並列演算に必要な画像データを一括して読み出すことが可能なため、動きベクトル検出の演算処理速度を最大に向上させることができる。

本発明において、前記複数個で構成された対象データ記憶手段および参照データ記憶手段では、書き込みあるいは読み出しを行わない対象データ記憶手段および参照データ記憶手段は動作クロックの供給を停止するように制御するものである。

上記構成によれば、読み書きを行わない対象データ記憶手段および参照データ記憶手段に対しては動作クロックを止めることができるため、無駄な消費電力を削減することができる。

本発明において、前記対象データ記憶手段に記憶された第１の対象画像データおよび第２の対象画像データを読み出して並び替えを施し前記対象フレームの入力画像データを復元する対象データ出力並替手段と、前記参照データ記憶手段に記憶された第１の参照画像データおよび第２の参照画像データを読み出して並び替えを施し前記参照フレームの入力画像データを復元する参照データ出力並替手段と、を具備するものである。

本発明において、前記対象データ記憶手段および前記参照データ記憶手段と異なる第２の対象データ記憶手段および第２の参照データ記憶手段を具備し、前記パッキングされた対象フレーム画像および参照フレーム画像の入力画像データを並び替えを施さずに前記第２の対象データ記憶手段および前記第２の参照データ記憶手段に記憶するものである。

上記構成によれば、動きベクトル検出の演算処理には並び替えを施した画像データを記憶した対象データ記憶手段および前記参照データ記憶手段の画像データを使用し、画像データを出力する際には第２の対象データ記憶手段および第２の参照データ記憶手段に記憶した画像データを使用することができるため、画像データの出力時に並び替え処理が不要になることで出力処理を高速化することができる。

本発明において、前記サブサンプリング手法は対象フレーム画像および参照フレーム画像において市松模様になるように画素を選択するものである。

本発明の撮像システムは、本発明の動きベクトル検出装置のいずれか１項に記載の信号処理装置を含んで画像処理を行う画像処理装置と、前記画像処理装置へ画像信号を出力するセンサと、前記センサへ光を結合する光学系とを備えたことを特徴としている。

上記構成によれば、データ並び替えの高速実行に伴って画像処理の高速化が期待できる。

本発明の撮像システムは、前記センサから得た画像信号をデジタル信号に変換して前記画像処理装置へ供給する変更器をさらに備えたことを特徴としている。

上記構成によれば、デジタル信号処理の利点を発揮することができる。

本発明によれば、サブサンプリング手法に応じて対象データおよび参照データのパッキングデータの並び替え処理が施され、動きベクトル検出に使用する画像データが再パッキングされるため、パッキング数分の並列演算が可能となり、動きベクトル検出の演算処理速度を大幅に向上させることができる。

図１９はＭＰＥＧ方式の代表的な画像処理装置の構成例を示すブロック図である。図１９において画像処理装置６０５は画像前処理部１３４と、動画処理部１００から構成され、撮像部１０１から送られてくる画像フレーム信号に対して画像処理を行う。

画像前処理部１３４は、撮像部１０１から送られてくるｍ画素×ｎライン（ｍおよびｎは自然数）のフレーム画像信号を受け取り、そのフレーム画像信号に対しＹＣ処理、エッジ処理、画像の拡大縮小処理等を行い、生成したｉ画素×ｊライン（ｉおよびｊは自然数）の輝度信号Ｙ、色差信号Ｃｒ、Ｃｂからなるフレーム画像を動画処理部１００に送る。

また、動画処理部１００は、撮像部１０１、並替処理部１０２、スイッチ１０３、減算処理部１０４、ＤＣＴ処理部１０５、量子化処理部１０６、可変長符号化部１０７、バッファメモリ１０８、レート制御部１０９、メインメモリ１１０、予測画像生成部１２３、加算処理部１２４、逆ＤＣＴ処理部１２５、逆量子化処理部１２６、スイッチ１２７、動き検出部１３０、参照フレーム記憶手段１３１から構成される。

今、例として１２８画素×１２８ラインの動画像を圧縮符号化する場合を考える。撮像部１０１は、一定時間毎にｍ画素×ｎラインのフレーム画像信号を生成し、画像前処理部１３４に送る。画像前処理部１３４では、その送られてきたフレーム画像信号に対し、ＹＣ処理、エッジ処理、画像の拡大縮小処理等を行い、１２８画素×１２８ラインの輝度信号Ｙ、色差信号Ｃｒ、Ｃｂからなるフレーム画像を生成し、生成したフレーム画像を並替処理部１０２へ出力する。

並替処理部１０２は、撮像部１０１からフレーム画像を受け取り減算処理部１０４へ出力するとともに、受け取ったフレーム画像をフレーム内符号化するＩピクチャ、フレーム間符号化をするＰピクチャまたはＢピクチャのいずれかに決定し、ＰピクチャとＢピクチャとを動き検出部１３０へ出力する。

並替処理部１０２で扱う全てのフレーム画像は、図２０に示すように、フレーム画像１５０を縦に８等分、横に８等分に分割して生成された６４個の対象ブロックを含み、各対象ブロックは１６画素×１６ライン分の画素データより構成される。１行目に位置する８個の対象ブロックには左から順に１〜８、２行目に位置する８個の対象ブロックには左から順に９〜１６となるように、各対象ブロックに１〜６４のブロック番号が割り当てられる。ブロック番号はフレーム画像内での各対象ブロックの位置と符号化処理の順番とを示している。

また、並替処理部１０２は、ＰピクチャまたはＢピクチャの対象ブロックのうちブロック番号１の対象ブロックを出力するときに、１フレーム画像の始まりを示す制御信号を動き検出部１３０へ出力する。

並替処理部１０２、減算処理部１０４、ＤＣＴ処理部１０５、量子化処理部１０６、可変長符号化部１０７、予測画像生成部１２３、加算処理部１２４、逆ＤＣＴ処理部１２５、逆量子化処理部１２６、動き検出部１３０、参照フレーム記憶手段１３１においてフレーム画像は対象ブロック毎に処理される。

減算処理部１０４は、並替処理部１０２からＩピクチャの対象ブロックを受け取り、受け取ったＩピクチャの対象ブロックをそのままＤＣＴ処理部１０５へ出力する。また、並替処理部１０２からＰピクチャまたはＢピクチャの対象ブロックを受け取り、予測画像生成部１２３からＰピクチャまたはＢピクチャの対象ブロックの予測画像を受け取り、並替処理部１０２から受け取った対象ブロックから予測画像生成部１２３から受け取った予測画像を減じて差分データを生成し、生成したＰピクチャまたはＢピクチャの対象ブロックの差分データをＤＣＴ処理部１０５へ出力する。

ＤＣＴ処理部１０５は、減算処理部１０４から受け取ったＩピクチャの対象ブロック、あるいはＰピクチャまたはＢピクチャの対象ブロックの差分データにＤＣＴの処理を施し、ＤＣＴ係数を生成し、生成したＤＣＴ係数を量子化処理部１０６へ出力する。

量子化処理部１０６は、ＤＣＴ処理部から受け取ったＤＣＴ係数に量子化処理を施して量子化ＤＣＴ係数を生成し、可変長符号化部１０７へ出力する。また、ＩピクチャおよびＰピクチャの量子化ＤＣＴ係数は逆量子化処理部１２６へも出力する。

可変長符号化部１０７は、量子化処理部１０６から量子化ＤＣＴ係数を受け取り、また動き検出部１３０からＰピクチャまたはＢピクチャの対象ブロックの動きベクトルを受け取り、符号化方式所定の可変長符号を生成してバッファメモリ１０８へ出力する。

バッファメモリ１０８は可変長符号化部１０７から可変長符号を受け取り記憶する。レート制御部１０９は、バッファメモリ１０８に送られてきた可変長符号のビット量を監視し、量子化処理部１０６の量子化スケールを最適化する。

メインメモリ１１０はバッファメモリ１０８から可変長符号を受け取り記憶する。メインメモリ１１０に記憶された可変長符号は、ＣＤ−Ｒ、メモリカード等の外部記憶装置へ出力される。

逆量子化処理部１２６は、量子化処理部１０６から受け取った量子化ＤＣＴ係数に逆量子化処理を施してＤＣＴ係数を生成し、これを逆ＤＣＴ処理部１２５へ出力する。逆ＤＣＴ処理部１２５は、逆量子化処理部１２６から受け取ったＤＣＴ係数に逆ＤＣＴ処理を施してＩピクチャの対象ブロックのデータまたはＰピクチャの対象ブロックの差分データを生成し、これを加算処理部１２４へ出力する。

加算処理部１２４は、逆ＤＣＴ処理部からＩピクチャの対象ブロックのデータまたはＰピクチャの対象ブロックの差分データを受け取り、予測画像生成部１２３からＰピクチャの対象ブロックの予測画像を受け取る。Ｉピクチャの場合は対象ブロックをそのまま参照フレーム記憶手段１３１へ出力する。

Ｐピクチャの場合は、対象ブロックの差分データと予測画像を加算処理することで対象ブロックのデータを生成し、これを参照フレーム記憶手段１３１へ出力する。参照フレーム記憶手段１３１は、加算処理部１２４から受け取ったＩピクチャとＰピクチャの対象ブロックを記憶する。

動き検出部１３０は、参照フレーム記憶手段１３１に記憶されているＩピクチャまたはＰピクチャの対象ブロックを基にして、並替処理部１０２から受け取ったＰピクチャまたはＢピクチャの対象ブロックの動きベクトルを検出し、検出した動きベクトルを可変長符号化部１０７と予測画像生成部１２３へ出力する。この動き検出部１３０の動作については、それぞれの実施形態において詳細に説明する。

予測画像生成部１２３は、参照フレーム記憶手段１３１に記憶されているＩピクチャまたはＰピクチャの対象ブロックを基にして、動き検出部１３０から受け取った動きベクトルを用いて、ＰピクチャまたはＢピクチャの対象ブロックの予測画像を生成する。Ｐピクチャの場合は生成した予測画像を減算処理部１０４と加算処理部１２４へ出力し、Ｂピクチャの場合は生成した予測画像を減算処理部１０４へ出力する。

参照フレーム記憶手段１３１はＲＡＭで構成され、動き補償予測符号化において動きベクトル検出と予測画像生成の基になるＩピクチャとＰピクチャのフレーム画像を記憶している。参照フレーム記憶手段１３１に記憶されるＩピクチャとＰピクチャを参照フレームと称し、参照フレームを構成する対象ブロックを参照ブロックと称する。ここで、対象ブロックおよび参照ブロックは、それぞれＰ個の画像データをパッキングした状態で転送またはメモリや記憶手段等への読み書きが行われる。

（実施の形態１）
図２は本発明の実施の形態１に係る動きベクトル検出装置の構成を示すブロック図であり、図１９の動き検出部１３０の具体的な構成例である。

図２において、動き検出部１３０は、動き検出制御手段２６０、動きベクトル演算手段２４０、対象データ制御手段２２０、対象データ入力手段２００、対象データ入力並替手段２０２、対象データ記憶手段２２５、対象データ出力並替手段２１２、対象データ出力手段２１０、参照データ制御手段２３０、参照データ入力手段２０１、参照データ入力並替手段２０３、参照データ記憶手段２３５、参照データ出力並替手段２１３、参照データ出力手段２１１から構成される。

動き検出制御手段２６０は動き検出部１３０の全体の制御を行う。対象データ制御手段２２０は、動きベクトル検出を行う際に対象データ記憶手段２２５から対象データを読み出す制御を行い、動きベクトル検出後に予測画像生成部１２３に画像データを転送する際の画像データ読み出し制御を行う。

同様に、参照データ制御手段２３０は、動きベクトル検出を行う際に参照データ記憶手段２３５から参照データを読み出す制御を行い、動きベクトル検出後に予測画像生成部１２３に画像データを転送する際の画像データ読み出し制御を行う。

対象データ入力手段２００は、並替処理部１０２から動きベクトルの検出対象となるIピクチャまたはＰピクチャまたはＢピクチャの対象ブロックを受け取り、受け取った対象ブロックを対象データ入力並替手段２０２へ転送するとともに、動き検出制御手段２６０へ、対象ブロックの受信を示す制御信号３００を送る。

対象データ入力並替手段２０２は対象データ入力手段２００から転送されてきたＰ個でパッキングされた対象ブロックに対して並び替えを行うことで、動きベクトル検出の際に使用する画像データのみを対象データ記憶手段２２５から読み出せるようにし、並び替え後のデータを対象データ記憶手段２２５へ転送する。

ここで、図１１〜図１４を用いて対象データ並替手段２０２の動作を詳しく説明する。Ｐ＝４である場合、図１１中のＤ１−１〜Ｄ１６−１６の画像データは、図１２に示されるように４画像データ毎にパッキングされて１パッキングデータとして扱われる。すなわち、画像データＤ１−１、Ｄ１−２、Ｄ１−３、Ｄ１−４はパッキングデータＰ１−１ａとして、Ｄ１−５、Ｄ１−６、Ｄ１−７、Ｄ１−８はパッキングデータＰ１−２ａとして、Ｄ１６−１３、Ｄ１６−１４、Ｄ１６−１５、Ｄ１６−１６はパッキングデータＰ１６−４ａとして扱われる。

動きベクトル検出に必要な画像データは、Ｐ１−１ａ内ではＤ１−１とＤ１−３のみ、Ｐ１−２ａ内ではＤ１−５とＤ１−７のみである。そこで、Ｐ１−１ａとＰ１−２ａの２パッキングデータ内で、動きベクトル検出に必要な画像データを選別したパッキングとなるように画像データの並び替えを行う。

図１３は、この並び替え動作を説明する図である。Ｐ１−１ａとＰ１−２ａの並び替えであればＤ１ａ〜Ｄ８ａはそれぞれＤ１−１〜Ｄ１−８を表し、Ｄ１ａはＤ１ｂへ、Ｄ２ａはＤ５ｂへ、Ｄ３ａはＤ２ｂへ、Ｄ４ａはＤ６ｂへ、Ｄ５ａはＤ３ｂへ、Ｄ６ａはＤ７ｂへ、Ｄ７ａはＤ４ｂへ、Ｄ８ａはＤ８ｂへ並び替えられることを表している。このようにして並び替えた後に、Ｄ１ｂ〜Ｄ４ｂの画像データはＰ１−１ｂとし、Ｄ５ｂ〜Ｄ８ｂの画像データはＰ１−１ｂとして再度パッキングして対象データ記憶手段２２５へ転送する。

同様の並び替えをＰ１−３ａとＰ１−４ａから、Ｐ１６−３ａとＰ１６−４ａまで施し、再度パッキングした状態を図１４に示す。以後、図１２に示されるＰ１−１ａ〜Ｐ１６−４ａの画像データの並びを配列Ａ、図１４に示されるＰ１−１ｂ〜Ｐ１６−４ｂの画像データの並びを配列Ｂと呼ぶ。すなわち、対象データ入力並替手段２０２は配列Ａから配列Ｂへの並び替え処理手段である。

参照データ入力手段２０１は、参照フレーム記憶手段１３１から参照ブロックを受け取り、受け取った参照ブロックを参照データ入力並替手段２０３へ転送するとともに、動き検出制御手段２６０へ、参照ブロックの受信を示す制御信号を送る。

参照データ入力並替手段２０３は、対象データ入力並替手段２０２と同様に、全画像データに対して画像データの配列を配列Ａから配列Ｂへの並び替え処理を行うことで、動きベクトル検出の際に使用する画像データのみを参照データ記憶手段２３５から読み出せるようにし、並び替え後のデータを参照データ記憶手段２３５へ転送する。

動きベクトル演算手段２４０は、対象データ記憶手段２２５および参照データ記憶手段２３５から読み出した画像データを用いて動きベクトルを検出する。図３は動きベクトル演算手段２４０の構成例を示すブロック図である。図３において、動きベクトル演算手段２４０は、対象データ振分手段２４１、参照データ振分手段２４２、Ｍ個の差分器２４３〜２４６、差分器と同数の絶対値演算器２４７〜２５０、多入力加算器２５１、累積器２５２、比較器２５３からなる。

１つの差分器とその差分器に繋がる絶対値演算器を合せて差分装置２５５と呼ぶ。これにより、図中にはＭ個の差分装置があることになる。また、多入力加算器２５１と累積器２５２を合せて累積装置２５６と呼ぶ。

動き検出制御手段２６０より指示を受けると、対象データ制御手段２２０は対象データ記憶手段２２５から対象ブロックを読み出して動きベクトル演算手段２４０に供給し、参照データ制御手段２３０は参照データ記憶手段２３５から参照ブロックを読み出して動きベクトル演算手段２４０に供給する。

それぞれに供給された対象ブロックおよび参照ブロックの画像データはパッキングデータであるため、対象データ振分手段２４１および参照データ振分手段２４２では１画像データ毎に分割し、次の差分器２４３〜２４６へ画像データを送る。

差分器２４３〜２４６はそれぞれの画像データに対して差分値を算出し、その差分値をそれぞれ絶対値演算器２４７〜２５０に送る。絶対値演算器２４７〜２５０は差分値に対して絶対値演算を行う。

さらに、Ｍ個の絶対値演算器２４７〜２５０から出力された演算結果は多入力加算器である加算器２５１に送られ、全てのデータが加算されて累積器２５２に送られる。この累積器２５２は、動き検出制御手段２６０により、リセット信号を発生させて累積値を０にするリセット処理が随時実行可能である。

全ての画像データの差分累積が完了すると累積器２５２の累積結果は比較器２５３に送られ、それ以前に送られて保持された累積結果と比較され、値の小さな方を選択することで最適な動きベクトルが比較器２５３内に保持される。所定回数の動きベクトル検出が終了すると、その中で求められた最適な動きベクトルが動き検出制御手段２６０へ出力される。さらに、検出された動きベクトルは可変長符号化部１０７および予測画像生成部１２３へ転送される。

動きベクトル検出後は、対象データ制御手段２２０により対象データ記憶手段２２５から対象データを読み出し、対象データ出力並替手段２１２により配列Ｂから配列Ａへの画像データの並び替え処理を行い、その結果を対象データ出力手段２１０により予測画像生成部１２３に転送する。

同様に、参照データ制御手段２３０により参照データ記憶手段２３５から参照データ読み出し、参照データ出力並替手段２１３により配列Ｂから配列Ａへの画像データの並び替え処理を行い、その結果を参照データ出力手段２１１により予測画像生成部１２３に転送する。

図１は動き検出部１３０における１フレームの動きベクトル検出処理について、以上説明した内容を整理したフローチャートである。以下、図２を参照しながらフローチャートの処理を説明する。

（ステップＳ１００） 対象ブロックが対象データ入力手段２００に、参照ブロックが参照データ入力手段２０１に入力され、それぞれの出力が対象データ並替手段２０２および参照データ並替手段２０３に送られる。そのとき、対象データ入力手段２００と参照データ入力手段２０１は動き検出制御手段２６０に対して受信信号３００を送る。

（ステップＳ１０１） 対象データ入力並替手段２０２および参照データ入力並替手段２０３により対象データおよび参照データに対してそれぞれ配列Ａから配列Ｂへの並び替えが行われ、その出力がそれぞれ対象データ記憶手段２２５および参照データ記憶手段２３５に書き込まれる。

（ステップＳ１１０） 対象データが対象データ記憶手段に全て書き込まれ、参照データが参照データ記憶手段に全て書き込まれるまで待機する。書き込み終了は、対象データ入力手段２００および参照データ入力手段２０１がそれぞれ動き検出制御手段に対して発信する受信信号３００により確認される。

（ステップＳ１１２） 動き検出制御手段２６０は、全ての書き込みが終了したと認識すると、対象データ制御手段２２０に対して対象データ記憶手段２２５からの対象データの読み出し指示３０１を発し、参照データ制御手段２３０に対して参照データ記憶手段２３５からの参照データの読み出し指示３０２を発する。このとき、ステップＳ１０１で行った画像データの並び替えにより、動き検出に必要なデータのみを読み出すことができる。

（ステップＳ１１３、Ｓ１１４） 動きベクトル演算手段２４０は動き検出制御手段２６０と制御信号３０３により連携し、対象データ記憶手段２２５および参照データ記憶手段２３５から読み出した対象データおよび参照データを動きベクトル演算手段２４０に供給されると、Ｍ個の差分累積器を用いて評価関数を算出し、動きベクトル検出を行う。

（ステップＳ１１５、Ｓ１１１） 参照データの読出し開始位置（図１７のＭｘ、Ｍｙ）を変更し、上記ステップＳ１１２〜Ｓ１１４を所定回数繰り返す。その度に評価関数が算出されて比較され、繰り返しが終了する時点で得られる最適な動きベクトルを動き検出制御手段２６０に転送する。さらに、検出された動きベクトルは可変長符号化部１０７および予測画像生成部１２３へ転送される。

（ステップＳ１２０） 動きベクトル検出が終了すると、動き検出制御手段２６０は、対象データ制御手段２２０に対して対象データ記憶手段２２５からの対象データの読み出しを、また、動きベクトル演算手段２４０より得た情報に基づき、参照データ制御手段２３０に対して参照データ記憶手段２３５からの検出した動きベクトルに適合する参照データの読み出しを指示する。

（ステップＳ１２１、Ｓ１３０） 読み出した対象データの画像データ配列を対象データ出力並替手段２１２により配列Ｂから配列Ａに戻し、読み出した参照データの画像データ配列を参照データ出力並替手段２１３により配列Ｂから配列Ａに戻し、並び替えた画像データを予測画像生成部１２３に出力する。

以上のように、本実施形態の動きベクトル検出装置を用いることにより、対象データおよび参照データのパッキングデータの並び替え処理が施されるため、動きベクトル検出の演算処理速度を大幅に向上させることが可能である。

また、本実施形態においては、対象データ入力並替手段２０２および参照データ入力並替手段２０３により、図１５のように並び替えを行うことも可能であり、これにより図１４に示された画像データのライン毎の位置ずれを吸収することができる。

しかし、動きベクトル検出処理の際、あるいは予測画像生成部１２３に画像データを転送する際に、図１７に示すＭｘが４の倍数である場合は、参照データ記憶手段２３５から読み出す参照データの最左上データはパケットデータの最左データであり問題ないが、例えば図４に示すようにＭｘ＝１である場合は、参照データ記憶手段２３５から読み出す参照データの最左データはパケットデータの左から２番目のデータであり、最右データはパケットデータの右から４番目のデータであるため、最左パケットデータおよび最右パケットデータに関しては、図５に示すように４画像データを同時に参照データ記憶手段２３５から読み出すことはできなかった。

前述した本実施形態においては参照データ記憶手段２３５を１つだけ用いたが、上記問題を解決するために、参照データ記憶手段２３５を複数個用いて構成する。図７は参照データ記憶手段２３５を複数個（Ｌ個）用いた動き検出部１３０ｂの構成例を示すブロック図である。図２と比較すると、参照データ選択手段２３１が追加され、動き検出制御手段２６０ｂが更新されている。

参照データ選択手段２３１は動き検出制御手段２６０ｂからの信号を基づき、参照データ入力並替手段２０３から送られてきたパケットデータをＬ個の参照データ記憶手段２３５（参照データ記憶手段１〜参照データ記憶手段Ｌ）に適切に割り振って書き込み、また、書き込む際に割り振った画像データを参照データ記憶手段１〜参照データ記憶手段Ｌから読み出し、参照データ制御手段２３０に転送する。

また、図６は動き検出部１３０ｂの動きベクトル検出処理を示すフローチャートである。図６において、ステップＳ２０１、ステップＳ２１２、ステップＳ２２０が、Ｌ個の参照データ記憶手段２３５を取り扱うために、図１に対して更新されたステップである。

このように複数の参照データ記憶手段を使用することで、最左データまたは最右データにおいても参照データ記憶手段から４画像データを同時に読み出すことが可能になる。また、読み書きを行う必要がある参照データ記憶手段に対してのみアクティブなクロックを入れ、読み書きを行わない参照データ記憶手段に対してはクロックを止める制御を行うことで、無駄な消費電力を削減することができる。

また、本実施の形態における動きベクトル検出部１３０においては、並び替え処理部１０２から入力される対象ブロックの画像データ配列は配列Ａとなっており、動きベクトル検出部１３０内の対象データ入力並替手段２０２において配列Ａから配列Ｂに並び替える方法が示されているが、無論、動きベクトル検出部１３０に入力される以前、例えば撮像部１０１と並替処理部１０２の間に配列Ａから配列Ｂにする対象フレーム画像並替手段１３２を設け、その対象フレーム画像並替手段１３２において配列Ｂにした後に並替処理部１０２に送り、そこで対象ブロックを作成した後に動きベクトル検出部１３０ｅに入力することも可能である。この場合の画像処理装置６０５ｂを図３１に、動きベクトル検出部１３０ｅを図３２に示す。本手法においては、対象データ入力並替手段２０２は不要となる。

また、参照フレーム記憶手段１３１から入力される参照ブロックの画像データ配列は配列Ａとなっており、動きベクトル検出部１３０内の参照データ入力並替手段２０３において配列Ａから配列Ｂに並び替える方法が示されているが、無論、動きベクトル検出部１３０に入力される以前、例えば加算処理部１２４と参照フレーム記憶手段１３１の間に、配列Ａから配列Ｂに変更する参照フレーム画像並替手段１３３を設け、その参照フレーム画像並替手段１３３において配列Ｂに変更した後に参照フレーム記憶手段１３１に格納し、その後、配列Ｂとなった参照ブロックを読出し、動きベクトル検出部１３０ｆに入力することも可能である。この場合の画像処理装置６０５ｃを図３３に、動きベクトル検出部１３０ｆを図３４に示す。本手法においては、参照データ入力並替手段２０３は不要となる。

（実施の形態２）
動きベクトルの検出を高速化するために有効な画素サブサンプリングは、図１８に示した市松模様の画素サブサンプリングに限られない。例えば、図２１〜２３に示す画素サブサンプリングも評価関数算出処理の高速化に有効な方法である。この場合は、４データのパッキングであれば、図１３に示した並び替え方法に代えて、それぞれ図２４〜２６に示す並び替えを行う必要がある。

実施の形態２では、画素サブサンプリングの方法に応じた様々な配列への並び替え処理を可能にする。図８は本発明の実施の形態２に係る動きベクトル検出装置の構成を示すブロック図であり、図１９の動き検出部１３０の本実施形態における具体的な構成例である。

図８において、動き検出部１３０ｃは、動き検出制御手段２６０ｃ、サンプリングファクタ２６１、動きベクトル演算手段２４０、対象データ制御手段２２０、対象データ入力手段２００、対象データ入力並替手段２０２ｃ、対象データ記憶手段２２５、対象データ出力並替手段２１２ｃ、対象データ出力手段２１０、参照データ制御手段２３０、参照データ入力手段２０１、参照データ入力並替手段２０３ｃ、参照データ記憶手段２３５、参照データ出力並替手段２１３ｃ、参照データ出力手段２１１から構成される。

ここで、図８の動き検出部１３０ｃにおいては、図２の動き検出部１３０の構成に対して、サンプリングファクタ２６１が追加され、画素サブサンプリングの方法に応じた制御に係るものとして、動き検出制御手段２６０ｃ、対象データ入力並替手段２０２ｃ、対象データ出力並替手段２１２ｃ、参照データ入力並替手段２０３ｃ、参照データ出力並替手段２１３ｃが更新されている。

サンプリングファクタ２６１は、様々な配列への並び替え処理をするために、パッキングデータの４データにおいて、どのデータが有効データであり、どのデータが無効データであるかを判断して並び替え処理が行えるように、対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃへ指示を出す。また、動きベクトル検出後の画像データ出力時には、画像データを元の配列に戻すために、対象データ出力並替手段２１２ｃおよび参照データ出力並替手段２１３ｃへ指示を出す。

図２７はサンプリングファクタ２６１が係る制御動作を説明するタイミングチャートである。動き検出制御手段２６０ｃはパッキングデータの構成情報を持っており、対象データ入力手段２００および参照データ入力手段２０１からの受信信号３００を受け取ると、サンプリングファクタ２６１に対して、制御信号線４０１により、受信信号３００とともに、ライン毎の同期信号であるラインシンク信号４０１ａと、パッキングデータ内の画像データ数であるパッキング数Ｐを示すパッキングナンバ４０１ｂを転送する。

サンプリングファクタ２６１は、動き検出制御手段２６０ｃから前記３信号を受け取り、サンプリングファクタ２６１内に持つ入力データイネーブル信号生成用テーブルを用いて、対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃにおいて適切な並び替えが行えるようにデータイネーブル信号４０２および４０３を生成し、それぞれ対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃに送る。

図１６はパッキングナンバ４０１ｂが４のときのデータイネーブル信号のコードを示す図である。対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃは、それぞれデータイネーブル信号４０２および４０３により、対象データ入力手段２００および参照データ入力手段２０１から送られてくるパッキングデータのどの部位の画像データが有効であるのかを把握し、適切に画像データ並び替え処理を施すことができる。

図２７は、さらに具体的に、図２１に示すサンプリング方法で評価関数算出処理を行う場合のデータイネーブル信号の生成方法を示しており、図２８は、その際に使用される入力データイネーブル信号生成用テーブルの内容を示す図である。

サンプリングファクタ２６１は、受信信号３００とパッキングナンバ４０１ｂとラインシンク信号４０１ａから制御信号Ｖ４５０およびＨ４５１を発生させる。制御信号Ｖ４５０はラインシンク４０１ａを受け取る度に「ｏｄｄ」と「ｅｖｅｎ」に値が切り替わる。制御信号Ｈ４５１は受信信号３００を受け取ると値が１ずつインクリメントされ、ラインシンク４０１ａを受け取ると値が「１」に初期化される。この制御信号Ｖ４５０とＨ４５１を用いて、図２８の入力データイネーブル信号生成用テーブルによりデータイネーブル信号４０２を発生させる。

データイネーブル信号４０２による制御を具体的に説明する。１回目の転送ではパッキングデータ（d１，d２，d３，d４）が入力され、データイネーブル信号４０２は「１２」となる。この「１２」を図１６によりデコードすると（有効、有効、無効、無効）となり、対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃは、転送データのうちで必要（有効）なデータは（d１，d２）で、不要（無効）なデータは（d３，d４）と判断することができる。

対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃは、必要なデータあるいは不要なデータが４データ分貯まる度に、１パッキングデータとして対象データ記憶手段２２５または参照データ記憶手段２３５に書き込む。

次に、動き検出部１３０ｃから対象ブロックおよび参照ブロックを出力する際のサンプリングファクタ２６１が係る制御動作を説明する。

この場合、動き検出制御手段２６０ｃは、内部で発生させた送信信号とパッキングナンバ４０１ａとラインシンク信号４０１ｂをサンプリングファクタ２６１に転送する。サンプリングファクタ２６１は、これらの信号から制御信号Ｖ４５０およびＨ４５１を発生させ、これを用いて出力データイネーブル信号生成用テーブルにより出力データイネーブル信号４０４および４０５を生成し、対象データ出力並替手段２１２ｃおよび参照データ出力並替手段２１３ｃに送る。

出力データイネーブル信号生成用テーブルには、対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃにおいて配列Ａから配列Ｂに並び替え処理が行われた対象データおよび参照ブロックを並び替え前の配列Ａに戻せるようにテーブルデータを用意しておく必要がある。

しかし、対象データ入力並替手段２０２ｃおよび参照データ入力並替手段２０３ｃにおいて複雑な並び替え処理を行われた場合には、対象データ出力並替手段２１２ｃおよび参照データ出力並替手段２１３ｃでの処理もより複雑となる。そのため、出力データイネーブル信号生成用テーブルには、偶数ラインと奇数ラインの各画素位置に元の配列Ａの画素位置を格納する。

図２９は、図２１のサンプリングパターンに対応する出力データイネーブル信号生成用テーブルの内容を示す図である。この場合は、たまたま偶数ラインと奇数ラインの内容が同じになっている。この並べ替えを指示する制御情報が出力データイネーブル信号４０４および４０５となる。

対象データ出力並替手段２１２または参照データ出力並替手段２１３に入力される配列Ｂのデータは次の順で送られる。
（d１，d２，d５，d６）、（d３，d４，d７，d８）、（d９，d１０，d１３，d１４）、（d１１，d１２，d１５，d１６）

１回目の入力データ（d１，d２，d５，d６）に対して、出力データイネーブル信号生成用テーブルより（１，２，５，６）を得る。これらの数字はライン内の並び替え後の画素位置を示しており、入力データｄ１を一番左の画素位置１に、入力データｄ２を左から２番目の画素位置２に、入力データｄ５を左から５番目の画素位置５に、入力データｄ６を左から６番目の画素位置６に並び替えることを意味する。このようにして元の配列Ａを再現することができる。

他のサンプリング方法においても、それに応じた出力データイネーブル信号生成用テーブルを用いることで、全てのパターンの配列Ｂから配列Ａへの並び替えが可能となる。例えば、図３０は、図２２のサンプリングパターンに対応する出力データイネーブル信号生成用テーブルの内容を示す図である。

以上のように、本実施形態の動きベクトル検出装置を用いることにより、サンプリングファクタに内蔵された入力データイネーブル信号生成用テーブルおよび出力データイネーブル信号生成用テーブルにより、任意のサンプリングパターンに対応して対象データおよび参照データのパッキングデータの並び替え処理が施されるため、動きベクトル検出の演算処理速度を大幅に向上させることが可能となる。

また、サンプリング方法の変更があった場合でも、サンプリングファクタに内蔵された入力データイネーブル信号生成用テーブルおよび出力データイネーブル信号生成用テーブルを変更するだけで適切なデータ並び替え処理を行うことができる。

（実施の形態３）
図１０は本発明の実施の形態３に係る動きベクトル検出装置の構成を示すブロック図であり、図１９の動き検出部１３０の具体的な構成例である。本実施の形態では、動きベクトルを検出するために配列Ｂに並び替えた画像データを記憶する対象データ記憶手段および参照データ記憶手段に加えて、配列Ａの画像データを記憶する第２の対象データ記憶手段および第２の参照データ記憶手段を備え、動きベクトル検出後に並び替えを行わずに配列Ａの画像データの出力を可能にする。

図１０において、動き検出部１３０ｄは、動き検出制御手段２６０ｄ、動きベクトル演算手段２４０、対象データ制御手段２２０ｄ、対象データ入力手段２００、対象データ入力並替手段２０２、対象データ記憶手段２２５、第２の対象データ記憶手段２２６ｄ、対象データ出力手段２１０、参照データ制御手段２３０ｄ、参照データ入力手段２０１、参照データ入力並替手段２０３、参照データ記憶手段２３５、第２の参照データ記憶手段２３６ｄ、参照データ出力手段２１１から構成される。

ここで、図１０の動き検出部１３０ｄにおいては、図２の動き検出部１３０の構成に対して、第２の対象データ記憶手段２２６ｄおよび第２の参照データ記憶手段２３６ｄが追加され、対象データ出力並替手段２１２および参照データ出力並替手段２１３が削除され、動き検出制御手段２６０ｄ、対象データ制御手段２２０ｄ、参照データ制御手段２３０ｄが更新されている。

図９は上記動き検出部１３０ｄの動きベクトル検出処理を示すフローチャートである。図９において、ステップＳ３０１が、第２の対象データ記憶手段および第２の参照データ記憶手段に配列Ａの画像データを記憶するために、図１に対して追加されたステップである。また、ステップＳ３２０が、動きベクトル検出後に並び替え処理を行わずに配列Ａの画像データの出力するために、図１に対して更新されたステップである。

以上のように、本実施形態の動きベクトル検出装置を用いることにより、動きベクトル検出処理時は配列Ｂの画像データを高速に読み出し、動きベクトル検出後の結果出力時は並び替え処理を行わずに配列Ａの画像データの出力することが可能になり、出力時のデータ並び替え装置が不要になる。

（実施の形態４）
図３５は、本発明の実施の形態４に係る撮像システム６００、例えばデジタルスチルカメラ（ＤＳＣ）の構成を示すブロック図である。図３５中の画像処理装置６０５は、上記本発明の実施の形態１〜３に係る画像処理装置及びそれに含まれる動きベクトル検出装置のいずれかである。

図３５によれば、光学系６０２を通って入射した画像光はセンサ６０３上に結像される。センサ６０３はタイミング制御回路６０９によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。センサ６０３から読み出された電気信号は、アナログ・デジタル変換機（ＡＤＣ）６０４によってデジタル信号へと変換された後に、当該動画処理部１００を含む画像処理装置６０５に入力される。この画像処理装置６０５においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及び本発明を用いた画像圧縮伸張処理などの画像処理が行われる。前述した画像前処理部１３４もこの画像処理装置６０５に含まれる。動画処理部１００において画像処理された信号は、記録転送回路６０７においてメディアへの記録あるいは転送が行われる。記録あるいは転送された信号は、再生回路６０８により再生される。この撮像システム６０１の全体は、システム制御回路６１０によって制御されている。

なお、本発明に係る動画処理部１００及びそれに含まれる動きベクトル検出装置１３０における画像処理は必ずしも光学系６０２を会してセンサ６０３に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力される画像信号を処理する際にも適用可能であることは言うまでもない。

本発明は、デジタルカメラやカメラ付きの携帯電話のような動画撮影機能を持つ機器を生産し販売する産業において、また、画像コンテンツを作成または使用する産業、例えば映画産業や報道産業などにおいて、経営的に、また継続的かつ反覆的に利用することができる。

本発明の実施の形態１に係る動きベクトル検出装置の処理を説明するフローチャート。 本発明の実施の形態１に係る動きベクトル検出装置の構成を示すブロック図。 動きベクトル演算手段の構成例を示すブロック図。 動きベクトル（Ｍｘ，Ｍｙ）＝（１，０）における参照データ読出し範囲を示す図。 動きベクトル（Ｍｘ，Ｍｙ）＝（１，０）における任意ラインの参照データ読出し範囲とパッキングデータの関係を示す図。 本発明の実施の形態１に係る動きベクトル検出装置において、参照データ記憶手段を複数個用いた場合の処理を説明するフローチャート。 本発明の実施の形態１に係る動きベクトル検出装置において、参照データ記憶手段を複数個用いた場合の構成を示すブロック図。 本発明の実施の形態２に係る動きベクトル検出装置の構成を示すブロック図。 本発明の実施の形態３に係る動きベクトル検出装置の処理を説明するフローチャート。 本発明の実施の形態３に係る動きベクトル検出装置の構成を示すブロック図。 市松模様のサブサンプリングにおける画像データの状態を示す図。 市松模様のサブサンプリングにおけるパッキングデータの状態を示す図。 市松模様のサブサンプリングにおけるパッキングデータの並び替え処理を説明する図。 市松模様のサブサンプリングにおける並び替え後のパッキングデータの状態を示す図。 市松模様のサブサンプリングにおける並び替え後のパッキングデータの状態を示す図。 パッキングナンバが４のときのデータイネーブル信号のコードを示す図。 一般的な動きベクトル検出方法を説明する図。 市松模様のサブサンプリングを説明する図。 ＭＰＥＧ方式の代表的な動画撮影装置の構成例を示すブロック図。 フレーム画像の構成を説明する図。 評価関数算出処理の高速化に有効なサブサンプリングの例を示す図。 評価関数算出処理の高速化に有効なサブサンプリングの例を示す図。 評価関数算出処理の高速化に有効なサブサンプリングの例を示す図。 図２１のサブサンプリングに対応する並び替え処理を示す図。 図２２のサブサンプリングに対応する並び替え処理を示す図。 図２３のサブサンプリングに対応する並び替え処理を示す図。 サンプリングファクタが係る制御動作を説明するタイミングチャート。 図２１のサブサンプリングに対応する入力データイネーブル信号生成用テーブルの内容を示す図。 図２１のサブサンプリングに対応する出力データイネーブル信号生成用テーブルの内容を示す図。 図２２のサブサンプリングに対応する出力データイネーブル信号生成用テーブルの内容を示す図。 本発明の実施の形態１に係る動きベクトル検出装置において、画像処理装置を示す図。 本発明の実施の形態１に係る動きベクトル検出装置において、画像処理装置を示す図。 本発明の実施の形態１に係る動きベクトル検出装置において、画像処理装置を示す図。 本発明の実施の形態１に係る動きベクトル検出装置において、動きベクトル検出部を示す図。 本発明の実施の形態５に係る撮像システムを示す図。

符号の説明

１００、１００ｂ、１００ｃ 動画処理部
１０１ 撮像部
１０２ 並替処理部
１０３ スイッチ
１０４ 減算処理部
１０５ ＤＣＴ処理部
１０６ 量子化処理部
１０７ 可変長符号化部
１０８ バッファメモリ
１０９ レート制御部
１１０ メインメモリ
１２３ 予測画像生成部
１２４ 加算処理部
１２５ 逆ＤＣＴ処理部
１２６ 逆量子化処理部
１２７ スイッチ
１３０、１３０ｂ、１３０ｃ、１３０ｄ、１３０ｅ、１３０ｆ 動き検出部
１３１ 参照フレーム記憶手段
１３２ 対象フレーム画像並替手段
１３３ 参照フレーム画像並替手段
１５０ フレーム画像
２００ 対象データ入力手段
２０１ 参照データ入力手段
２０２、２０２ｃ 対象データ入力並替手段
２０３、２０３ｃ 参照データ入力並替手段
２１０ 対象デ−タ出力手段
２１１ 参照データ出力手段
２１２、２１２ｃ 対象データ出力並替手段
２１３、２１３ｃ 参照データ出力並替手段
２２０、２２０ｄ 対象デ−タ制御手段
２３０、２３０ｄ 参照データ制御手段
２３１ 参照データ選択手段
２２５、２２６ｄ 対象データ記憶手段
２３５、２３６ｄ 参照データ記憶手段
２４０ 動きベクトル演算手段
２４１ 対象データ振分手段
２４２ 参照データ振分手段
２４３〜２４６ 差分器
２４７〜２５０ 絶対値演算器
２５１ 多入力加算器
２５２ 累積器
２５３ 比較器
２５５ 差分装置
２５６ 累積装置
２６０、２６０ｂ、２６０ｃ、２６０ｄ 動き検出制御手段
２６１ サンプリングファクタ
３００ 受信信号
３０１ 対象データの読み出し指示
３０２ 参照データの読み出し指示
３０３ 制御信号
４０１ 制御信号線
４０１ａ パッキングナンバ
４０１ｂ ラインシンク信号
４０２、４０３ データイネーブル信号
４０４、４０５ 出力データイネーブル信号

Claims (17)

1. 動画像圧縮符号化において対象フレーム画像および参照フレーム画像にサブサンプリング手法を適用する動きベクトル検出方法であって、
   前記サブサンプリング手法に応じて、動きベクトル検出装置の入力画像データである前記対象フレーム画像および前記参照フレーム画像に並び替えを施し、動きベクトル検出に用いる第１の画像データと動きベクトル検出に使用しない第２の画像データに分離してパッキングするステップと、
   前記分離してパッキングした前記第１の画像データおよび第２の画像データを記憶手段に記憶するステップと、
   前記記憶手段に記憶された第１の画像データを読み出し動きベクトル検出を行うステップと、
   前記記憶手段に記憶された第１の画像データおよび第２の画像データを読み出して並び替えを施し、前記入力画像データを復元するステップと、を含み、
   前記パッキングするステップは、前記対象フレーム画像および前記参照フレーム画像をブロック毎に画像の配列に従った順序からデータ読み出し画素単位の並び替えを施し、前記第１の画像データと前記第２の画像データに分離してパッキングし、
   前記パッキングされた第１の画像データを用いて動きベクトル検出を行うことを特徴とする動きベクトル検出方法。
2. 前記分離してパッキングした対象画像データおよび参照画像データを動きベクトル検出装置への入力画像データとすることを特徴とする請求項１記載の動きベクトル検出方法。
3. 前記対象フレーム画像についてはブロック毎に画像の配列に従った順序でパッキングされたデータを動きベクトル検出装置への入力画像データとし、
   前記参照フレーム画像については前記第１の画像データと前記第２の画像データに分離してパッキングされたデータを動きベクトル検出装置への入力画像データとし、
   前記対象フレーム画像については前記動きベクトル検出装置への入力画像データを、前記第１の画像データと前記第２の画像データに分離して再度パッキングを行うことを特徴とする請求項１記載の動きベクトル検出方法。
4. 前記参照フレーム画像についてはブロック毎に画像の配列に従った順序でパッキングされたデータを動きベクトル検出装置への入力画像データとし、
   前記対象フレーム画像については前記第１の画像データと前記第２の画像データに分離してパッキングされたデータを動きベクトル検出装置への入力画像データとし、
   前記参照フレーム画像については前記動きベクトル検出装置への入力画像データを、前記第１の画像データと前記第２の画像データに分離して再度パッキングを行うことを特徴とする請求項１記載の動きベクトル検出方法。
5. 前記記憶手段が、前記パッキングされた画像データの任意位置において、パッキング数の画像データを一括して読み出すことができるように並列読み出し可能な複数個で構成された請求項１記載の動きベクトル検出方法。
6. 前記サブサンプリング手法は対象フレーム画像および参照フレーム画像において市松模様になるように画素を選択する請求項１記載の動きベクトル検出方法。
7. 対象フレーム画像および参照フレーム画像にサブサンプリング手法を適用して動きベクトル検出を行う動きベクトル検出装置を備え、動画圧縮符号化を行う動画処理装置であって、
   前記サブサンプリング手法に応じて前記対象フレーム画像に並び替えを施し、動きベクトル検出に使用する第１の対象画像データと動きベクトル検出に使用しない第２の対象画像データに分離してそれぞれをパッキングする対象データ入力並替手段と、
   前記サブサンプリング手法に応じて前記参照フレーム画像に並び替えを施し、動きベクトル検出に使用する第１の参照画像データと動きベクトル検出に使用しない第２の参照画像データに分離してそれぞれをパッキングする参照データ入力並替手段と、
   前記パッキングされた第１の対象画像データおよび第２の対象画像データを記憶する対象データ記憶手段と、
   前記パッキングされた第１の参照画像データおよび第２の参照画像データを記憶する参照データ記憶手段と、
   前記対象データ記憶手段から第１の対象画像データを読み出し、前記参照データ記憶手段から第１の参照画像データを読み出し、動きベクトル検出の演算を行う動きベクトル演算手段と、
   前記対象データ記憶手段に記憶された第１の対象画像データおよび第２の対象画像データを読み出して並び替えを施し、前記対象フレームの入力画像データを復元する対象データ出力並替手段と、
   前記参照データ記憶手段に記憶された第１の参照画像データおよび第２の参照画像データを読み出して並び替えを施し、前記参照フレームの入力画像データを復元する参照データ出力並替手段と、を備え、
   前記対象データ入力並替手段は、前記対象フレーム画像をブロック毎に画像の配列に従った順序からデータ読み出し画素単位に並び替えを施し、前記第１の対象画像データと前記第２の対象画像データに分離してパッキングするものであり、
   前記参照データ入力並替手段は、前記参照フレーム画像をブロック毎に画像の配列に従った順序からデータ読み出し画素単位にデータ並び替えを施し、前記第１の参照画像データと前記第２の参照画像データに分離してパッキングすることを特徴とする動画処理装置。
8. 前記動きベクトル検出装置が、前記対象データ記憶手段、前記参照データ記憶手段及び前記動きベクトル演算手段を含む請求項７記載の動画処理装置。
9. 前記動きベクトル検出装置が、前記対象データ入力並替手段および前記参照データ入力並替手段を含む請求項８記載の動画処理装置。
10. 前記対象データ入力並替手段および前記参照データ入力並替手段の出力が前記動きベクトル検出装置への入力画像データとなることを特徴とする請求項８記載の動画処理装置。
11. 前記対照画像データをブロック毎に画像の配列に従った順序でパッキングしたデータ及び前記参照データ入力並替手段の出力が前記動きベクトル検出装置への入力画像データとなり、
    前記対象データ入力並替手段が、前記動きベクトル検出装置に含まれることを特徴とする請求項８記載の動画処理装置。
12. 前記参照画像データをブロック毎に画像の配列に従った順序でパッキングしたデータ及び前記対象データ入力並替手段の出力が前記動きベクトル検出装置への入力画像データとなり、
    前記参照データ入力並替手段が、前記動きベクトル検出装置に含まれることを特徴とする請求項８記載の動画処理装置。
13. 前記対象データ記憶手段および前記参照データ記憶手段が、前記パッキングされた画像データの任意位置において、パッキング数の画像データを一括して読み出すことができるように並列読み出し可能な複数個で構成された請求項７記載の動画処理装置。
14. 前記複数個で構成された対象データ記憶手段および参照データ記憶手段において、書き込みあるいは読み出しを行わない対象データ記憶手段および参照データ記憶手段は動作クロックの供給を停止するように制御する請求項７記載の動画処理装置。
15. 前記サブサンプリング手法は対象フレーム画像および参照フレーム画像において市松模様になるように画素を選択する請求項７記載の動画処理装置。
16. 請求項７記載の動画処理装置を含んで画像処理を行う画像処理装置と、
    前記画像処理装置へ画像信号を出力するセンサと、
    前記センサへ光を結合する光学系とを備えたことを特徴とする撮像システム。
17. 請求項１６記載の撮像システムにおいて、
    前記センサから得た画像信号をデジタル信号に変換して前記画像処理装置へ供給する変更器をさらに備えたことを特徴とする撮像システム。