JPH09298751A - 動き予測ベクトル検出回路 - Google Patents

Abstract

(57)【要約】 【課題】 動き予測ベクトル検出におけるサーチウィン
ドウデータと参照ブロックとの間のブロックマッチング
処理を、半画素精度で正確に行う。 【解決手段】 半画素データ生成回路５において、１画
素精度のサーチウィンドウデータＳ２の各１画素とそれ
に隣接する画素との平均値を求め、水平，垂直及び斜め
方向に半画素ずらした補間データとして出力する。ベク
トル検出回路１〜４において、参照ブロックデータＳ１
と１画素精度のサーチウィンドウデータＳ２，水平，垂
直及び斜め方向の半画素精度の補間データＳ３，Ｓ４，
Ｓ５とを夫々用いてブロックマッチングを行い、最適ベ
クトルをセレクタ７で択一的に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動き予測ベクトル検
出回路に関し、特に半画素精度で画像データの動き予測
を行なうようにした動き予測ベクトル検出回路に関する
ものである。

【０００２】

【従来の技術】画像符号化方式においては、対象となる
画像情報を符号化する際に、予め画像の動きベクトルを
求めてこの動きベクトルに基づいて画像情報のデータ量
を符号化することによって、画像データの伝送効率及び
圧縮効率を向上するような技術が用いられている。

【０００３】図２（ａ）はこの様な動き予測ベクトル検
出方式の概念を説明する図であり、１フレームの画像デ
ータＦを複数のブロックに分割しておく。そして、現フ
レームにおいて、任意の位置にあるブロックは直前フレ
ーム（１つ前のフレーム）の同じ位置若しくはその近傍
に存在することになるから、直前フレームのある領域
（これをサーチウィンドウＳＷ）に対して、このブロッ
ク（これを参照ブロックＲＢ）がどこに位置していたか
を検索し、最も近似した部分（破線で示すブロックＲＢ
´とする）との相対的位置関係をベクトルＡとして表現
する。

【０００４】このベクトルＡの評価値として、参照ブロ
ックＲＢとサーチウィンドウＳＷ内の最近似ブロックＲ
Ｂ´との対応画素データ同士の差の総和をも算出して、
ベクトルＡと共にこの評価値をも出力するようになって
いる。

【０００５】この様な動き予測ベクトル検出回路では、
１画素精度の検索領域であるサーチウィンドウＳＷと参
照ブロックＲＢとから、動き予測を行い、平均絶対値誤
差（ＭＡＥ）推定法等による比較結果から最小となるベ
クトル及び評価値を求めている。従って、参照ブロック
ＲＢが検索サーチウィンドウＳＷに対して半画素精度で
動いたとしても、１画素単位でしかベクトルが検出でき
ないことになる。

【０００６】そこで、半画素精度の動きベクトル検出処
理を行う例が特開平５−３３６５１４号公報に開示され
ている。この例においては、半画素精度の動きベクトル
検出処理を、フレームメモリの個数を増やすことなく単
一クロックを用いて実行するようになっている。

【０００７】すなわち、１画素精度のベクトルを求め、
このベクトルを基準にして周辺画素からの補間処理を行
い、半画素領域から半画素精度のベクトルを検索して、
１画素精度のベクトルと合成したものを、半画素精度の
動きベクトルとして出力する。そして、補間処理を行う
に当り、画素データを並列に分割することで、補間にか
かる時間を短縮し、単一クロック系を用いて回路を構成
している。

【０００８】

【発明が解決しようとする課題】この様に、特開平５−
３３６５１４号公報の技術では、１画素精度のベクトル
を求め、この動きベクトルが示す画素を中心に必要な範
囲のみオリジナル画素から補間画素を求めて、この求め
た補間画素から１／２画素精度のベクトルを探索し、１
画素精度のベクトルと合成した動きベクトルを１／２画
素精度の動きベクトルとしている。

【０００９】このため、補間画素を生成するためにある
領域の画素データを蓄えるマルチポートＶＲＡＭ（ビデ
オランダムアクセスメモリ）と、その周辺回路としてマ
ルチポートＶＲＡＭに画素データを出力する並列化回路
と、１／２画素精度のベクトルを探索するために必要な
領域をマルチポートＶＲＡＭから読出すための補間アド
レス生成回路等が必要である。

【００１０】本発明の目的は、動きベクトルを検出する
ための検索領域であるサーチウィンドウを予め半画素精
度の領域として半画素精度のベクトル検出を可能とし
て、回路構成の簡素化を図るようにした動き予測ベクト
ル検出回路を提供することである。

【００１１】

【課題を解決するための手段】本発明によれば、１フレ
ームの画像データを複数のブロックに分割して、直前フ
レームの所定領域であるサーチウィンドウに対して現在
フレームの所定参照ブロックがどこに位置していたか
を、対応画素毎に順次照合して最も近似したブロックと
当該参照ブロックとの相対的位置関係をベクトルとして
表し、このベクトルと共に、対応画素毎の差分値の和を
当該ベクトルの評価値として出力するようにした動き予
測ベクトル検出回路であって、前記サーチウィンドウの
１画素精度のデータに対して、これ等各１画素に隣接す
る画素のデータと当該１画素データとの平均データを夫
々算出して半画素精度のデータを生成する半画素精度デ
ータ生成手段と、前記サーチウィンドウの１画素精度の
データと前記参照ブロックのデータとを照合して１画素
精度のベクトルとその評価値とを生成する１画素精度ベ
クトル検出手段と、前記半画素精度データ生成手段によ
る前記サーチウィンドウの半画素精度のデータと前記参
照ブロックのデータとを照合して半画素精度のベクトル
とその評価値とを生成する半画素精度ベクトル検出手段
と、前記１画素精度及び半画素精度ベクトル検出手段の
両評価値を比較してこの比較結果に応じて前記１画素精
度及び半画素精度のベクトルを択一的に導出する選択手
段と、を含むことを特徴とする動き予測ベクトル検出回
路が得られる。

【００１２】

【発明の実施の形態】本発明の作用について述べる。１
画素精度のサーチウィンドウデータの他に、このサーチ
ウィンドウデータの各１画素を水平，垂直及び斜めの各
方向に夫々半画素ずらした半画素精度のデータを補間生
成する。この場合の半画素ずらしたデータとしては、各
１画素の回りの隣接データと当該１画素データとの平均
値データを求めて、これを半画素精度のデータとする。

【００１３】そして、これ等半画素精度のサーチウィン
ドウデータと入力された参照ブロックのデータとのブロ
ックマッチング処理（最近似ブロックか否かの判断処
理）と、従来の１画素精度のサーチウィンドウデータと
入力された参照ブロックデータとのブロックマッチング
処理との両処理を行い、これ等両ブロックマッチング処
理による評価値が最も小さい方のベクトルを最適ベクト
ルとするのである。

【００１４】以下に図面を用いて本発明の実施例につい
て詳述する。

【００１５】図１は本発明の実施例のブロック図であ
る。図１において、現フレームの参照ブロックＲＢのデ
ータＳ１はベクトル検出回路１〜４の各１入力となって
いる。直前フレームのサーチウィンドウＳ２のデータＳ
２はベクトル検出回路１の他入力となると共に、半画素
データ生成回路５へも供給されている。

【００１６】参照ブロックデータＳ１とサーチウィンド
ウデータＳ２とは共に従来と同様に１画素精度のデータ
であるものとする。従って、ベクトル検出回路１は１画
素精度のブロックマッチング処理を行って、両入力デー
タＳ１，Ｓ２間の最小ベクトルＶ０とその評価値Ｈ０と
を出力する。

【００１７】半画素データ生成回路５は１画素精度のサ
ーチウィンドウデータＳ２から半画素精度のデータＳ
３，Ｓ４，Ｓ５を生成するものであり、例えば、図３の
丸数字で示す各１画素に対して、垂直方向に半画素ずら
した画素Ｓ３（×印），水平方向に半画素ずらした画素
Ｓ４（△印）及び斜め方向に半画素ずらした画素Ｓ５
（□印）に夫々対応する半画素補間データを夫々生成す
る。

【００１８】ベクトル検出回路２〜４の各々は、半画素
補間データＳ３（×），Ｓ４（△），Ｓ５（□）の各々
と参照ブロックデータＳ１との間のブロックマッチング
処理を行って、最小ベクトルＶ１〜Ｖ３と各評価値Ｈ１
〜Ｈ３とを夫々出力する。

【００１９】比較器６はこれ等評価値Ｈ０〜Ｈ３の比較
を行って、最も小さい評価値に対応する最小ベクトルを
セレクタ７が選択する様にセレクタ制御信号Ｃを生成す
る。これにより、セレクタ７の出力には半画素精度の最
適動き予測ベクトルＶOUT が導出されることになる。

【００２０】半画素データ生成回路５について以下に詳
細に説明する。この場合、ベクトル検出回路１〜４にお
けるブロックマッチング処理時の各ブロックの大きさと
しては、一般にｍ×ｎ画素（ｍ，ｎ共に２以上の整数）
とされるが、ここでは簡単化のために、図２（ｂ）に示
す如く、３×３画素を１ブロックとしてこのブロック単
位でブロックマッチング処理がなされるものとする。

【００２１】従って、参照ブロックＲＢは３×３画素と
なり、比較されるべきサーチウィンドウＳＷも３×３画
素単位のブロックに分割して、これ等両ブロックのブロ
ックマッチングがなされる。

【００２２】このブロックマッチングにおいては、ブロ
ック間の対応画素同士の比較が行われるが、この対応画
素同士の比較の順序としては、図２（ｂ）に示す如く、
縦スキャンと横スキャンとの２通りの方法が存在する。

【００２３】半画素データ生成回路５では、これ等２通
りのスキャン方法によりその構成が異なるもので、先ず
図２（ｂ）の縦スキャンの場合について説明する。

【００２４】図３を参照すると、丸数字が各ブロックの
１画素データの順番を示しており、垂直方向に半画素ず
らした×印のデータを生成するには、例えばとその直
下のとの画素データの平均値を算出してこれを半画素
補間データ（×印）とする。また、ブロックの最下の
の画素データに関しては、当該ブロックの直下の第１０
０番目の画素データとの平均値を半画素補間データとす
る必要がある。

【００２５】従って、以上の×印の半画素補間データを
得るには、図４の如き各画素のタイミング位相が制御さ
れることが必要となる。図４において、最上行は入力さ
れるサーチウィンドウデータＳ２の画素順番を示し、第
２行はこのサーチウィンドウデータをＦＩＦＯメモリに
て蓄積しておき、最上行のデータと位相合わせを行って
出力した後の画素順番を示し、第３行はこのＦＩＦＯメ
モリの出力を１画素遅延した後の画素順番を示す。

【００２６】各画素内の左上の黒点で示す２つの画素同
士のデータ加算を行って平均値を求めれば、目的とする
×印の半画素補間データが生成されることが判る。

【００２７】そこで、縦スキャンの場合の半画素データ
生成回路５の例が図５に示す如く得られる。図５におい
て、サーチウィンドウデータＳ２はセレクタ５２の一入
力となると共に、ＦＩＦＯ（Ｆｉｒｓｔ ｉｎ Ｆｉｒ
ｓｔ ｏｕｔ）メモリ５１へも入力される。このＦＩＦ
Ｏメモリ５１の出力Ｓ１０がセレクタ５２の他入力とな
っている。

【００２８】このＦＩＦＯメモリ５１の出力Ｓ１０は１
画素遅延器５３を介して加算器５４の一入力となってお
り、この加算器５４の他入力にはセレクタ５２の出力が
印加されている。この加算器５４は両入力の加算を行っ
た後、ＬＳＢ（最下位ビット）を無視して出力する（加
算データを１ビットだけＬＳＢ側へシフト）ことで、加
算結果を１／２するものであり、両入力の平均データを
出力する。

【００２９】尚、他の加算回路についても全て同様であ
るものとし、２入力の平均データを出力するものとす
る。

【００３０】タイミング制御回路５９は入力データの各
画素データに同期したクロックＣＬＫを入力としてＦＩ
ＦＯメモリ５１の書込み、読出し（Ｗ／Ｒ）タイミング
を生成すると共に、セレクタ５２のセレクタ制御信号Ｓ
１２をも生成する。

【００３１】加算器５４の出力である平均値Ｓ３が垂直
方向の半画素補間データ（×印）となり、図４のタイミ
ングチャートに各部の画素番号とセレクタ５２のセレク
タ制御信号Ｓ１２との関係を示している。

【００３２】水平方向の半画素補間データ（△印）は、
１画素遅延素子Ｓ３の出力Ｓ１１と、この出力Ｓ１１を
３画素遅延素子（ｍ＝３）５７にて３画素分遅延したデ
ータとを、加算器５８にて加算することにより、例えば
画素ととの平均値Ｓ４が算出されることになる。

【００３３】斜め方向の半画素補間データ（□印）は、
ここでは、同一行の互いに隣接する×印同士の平均値を
算出したものとすると、加算器５４による平均値（×
印）とこれを３画素遅延素子５５にて３画素分遅延した
データとを、加算器５６にて加算することにより、デー
タＳ５として得られる。

【００３４】図５に示した半画素データ生成回路５によ
り、図３に示す如く、１画素精度のサーチウィンドウデ
ータＳ２（縦スキャン）が、図３のブロック３０にて示
す如く、半画素精度の補間データとして得られることに
なるのである。

【００３５】以上はブロックマッチング処理時におい
て、図２（ｂ）の縦スキャンをなす場合の例であるが、
図２（ｂ）の横スキャンの場合においては、半画素デー
タ生成回路５としては、同様な考え方により図６に示す
回路構成となる。

【００３６】図６において、サーチウィンドウデータＳ
２はセレクタ６２の一入力となると共に、ＦＩＦＯメモ
リ６１の入力となっており、このメモリ６１の出力がセ
レクタ６２の他入力となる。セレクタ６２の出力とメモ
リ６１の出力の１画素遅延素子６３による遅延出力と
が、加算器６４にて加算されて平均値が算出され、×印
の画素データＳ３が得られる。

【００３７】この画素データＳ３はセレクタ６７及び加
算器６８の各一入力となると共に、ＦＩＦＯメモリ６５
の入力ともなっており、このメモリ６５の出力は１画素
遅延数６６を介してセレクタ６７の他入力となってい
る。このセレクタ６７の出力は加算器６８の他入力とな
って、□印の画素データＳ５が得られる。

【００３８】また、１画素遅延素子６３の出力は加算器
７２及びセレクタ７１の各一入力となると共に、ＦＩＦ
Ｏメモリ６９の一入力ともなっている。このメモリ６９
の出力は１画素遅延素子７０を介してセレクタ７１の他
入力となっており、このセレクタ７１の出力は加算器７
２の他入力となって、△印の画素データＳ６が得られ
る。

【００３９】尚、ＦＩＦＯメモリとしては、ブロックの
構成をｍ×ｎ画素，水平方向のブロック数をｉとする
と、ｍ×ｎ×ｉ画素分のサーチウィンドウデータＳ２を
蓄え得る容量を有するものとする。

【００４０】

【発明の効果】叙上の如く、本発明によれば、サーチウ
ィンドウデータとして１画素精度のデータから半画素精
度のデータを生成し、これ等１画素精度と半画素精度の
両サーチウィンドウデータと、参照ブロックデータとの
ブロックマッチングを行うようにしているので、簡単な
構成でより正確な動きベクトルの検出が可能となるとい
う効果がある。

【図面の簡単な説明】

【図１】本発明の実施例のブロック図である。

【図２】ブロックマッチング処理を説明する図である。

【図３】半画素精度のサーチウィンドウデータを生成す
る過程を説明する図である。

【図４】半画素精度のサーチウィンドウデータを生成す
るための隣接画素間の位相を示すタイミングチャートで
ある。

【図５】図１の半画素データ生成回路の一例を示す図で
ある。

【図６】図１の半画素データ生成回路の他の例を示す図
である。

【符号の説明】

１〜４ ベクトル生成回路 ５ 半画素データ生成回路 ６ 比較器 ７，５２，６２，６７，７１ セレクタ ５１，６１，６５，６９ ＦＩＦＯメモリ ５３，５５，５７，６３，６６，７０ 遅延素子 ５４，５６，５８，６４，６８，７２ 加算器 ５９ タイミング制御回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 １フレームの画像データを複数のブロッ
   クに分割して、直前フレームの所定領域であるサーチウ
   ィンドウに対して現在フレームの所定参照ブロックがど
   こに位置していたかを、対応画素毎に順次照合して最も
   近似したブロックと当該参照ブロックとの相対的位置関
   係をベクトルとして表し、このベクトルと共に、対応画
   素毎の差分値の和を当該ベクトルの評価値として出力す
   るようにした動き予測ベクトル検出回路であって、 前記サーチウィンドウの１画素精度のデータに対して、
   これ等各１画素に隣接する画素のデータと当該１画素デ
   ータとの平均データを夫々算出して半画素精度のデータ
   を生成する半画素精度データ生成手段と、 前記サーチウィンドウの１画素精度のデータと前記参照
   ブロックのデータとを照合して１画素精度のベクトルと
   その評価値とを生成する１画素精度ベクトル検出手段
   と、 前記半画素精度データ生成手段による前記サーチウィン
   ドウの半画素精度のデータと前記参照ブロックのデータ
   とを照合して半画素精度のベクトルとその評価値とを生
   成する半画素精度ベクトル検出手段と、 前記１画素精度及び半画素精度ベクトル検出手段の両評
   価値を比較してこの比較結果に応じて前記１画素精度及
   び半画素精度のベクトルを択一的に導出する選択手段
   と、 を含むことを特徴とする動き予測ベクトル検出回路。
2. 【請求項２】 前記補間手段は、前記サーチウィンドウ
   の１画素精度のデータとこの各１画素を基準として少な
   くとも垂直方向、水平方向に夫々１画素ずれた各画素と
   当該１画素との各平均データを夫々算出して前記半画素
   精度のデータとして出力する手段を有することを特徴と
   する請求項１記載の動き予測ベクトル検出回路。
3. 【請求項３】 前記半画素精度ベクトル検出手段は、前
   記各平均データと前記参照ブロックのデータとを夫々照
   合して半画素精度のベクトルとその評価値とを生成する
   ようにしたことを特徴とする請求項２記載の動き予測ベ
   クトル検出回路。
4. 【請求項４】 前記選択手段は、前記評価値のうち最小
   の評価値に対応するベクトルを最適ベクトルとして出力
   するよう構成されていることを特徴とする請求項３記載
   の動き予測ベクトル検出回路。