JP3374014B2 - 画像相関器 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、時系列の順に与え
られる動画情報を取り込み、予め決められたブロック毎
にフレームの間における相関をとる画像相関器に関す
る。

【０００２】

【従来の技術】近年、マルチメディアに適応したパソコ
ンその他のデータ端末が広く普及し、このようなデータ
端末が通信回線を介して高品質の動画情報を相互に伝送
することが要求されるアプリケーションの分野では、そ
の動画情報の圧縮符号化伝送方式として、ISO／IECによ
って標準化された ＭＰＥＧ（Moving Picture ExpertsG
roup）やITU-Tによって標準化されたＨ．２６１、Ｈ．
２６２が多く適用されつつある。

【０００３】図７は、従来の圧縮符号化器の構成例を示
す図である。図において、ラスタスキャン方式の下で生
成され、かつフレーム毎に時系列の順に与えられる動画
情報は、減算器６１の一方の入力と動き検索部６２の一
方の入力とに接続され、その減算器６１の出力は符号化
部６３の一方の入力に接続される。符号化部６３の出力
には符号列が得られ、その符号列は局部デコーダ６４の
入力に与えられる。局部デコーダ６４の出力は加算器６
５の一方の入力に接続され、その加算器６５の出力はフ
レームメモリ６６を介して減算器６１、動き検索部６２
および加算器６５の他方の入力に接続される。動き検索
部６２の出力は、符号化部６３の他方の入力に接続され
る。

【０００４】図８は、動き検索部の構成を示す図であ
る。図において、ベクトル算出部７１の第一の入力には
上述した画像情報が与えられ、そのベクトル算出部７１
の第二の入力にはフレームメモリ６６の出力が接続され
る。ベクトル算出部７１の第一ないし第三の出力はそれ
ぞれ相関演算部７２の対応する入力に接続され、その相
関演算部７２の出力はベクトル算出部７１の第三の入力
に接続される。ベクトル算出部７１の第四の出力は、符
号化部６３の入力に接続される。

【０００５】相関演算部７２では、図９に示すように動
画情報として与えられる個々のフレームが格子状に分割
されてなり、かつ動きベクトルの算出の単位となるマク
ロブロック（以下、「ＭＢ」という。）の水平方向と垂
直方向との画素の数Ｘ、Ｙに対して、符号「７３₁₁」〜
「７３_YX」がそれぞれ付与されたＸＹ個の演算器と、同
様に符号「７４₁₁」〜「７４_YX-1」が個別に付与された
(ＸＹ−１)個の遅延回路とが交互に縦属接続され、演算
器７３₁ の一方の入力にはベクトル算出部７１の第一の
出力が接続される。演算器７３₁₁〜７３_YXの他方の入力
にはベクトル算出部７１の第二の出力が個別に接続さ
れ、これらの演算器７３₁₁〜７３_YXの演算出力は縦属接
続された加算器７５₁ 〜７５_(XY-1)に順次接続される。
ベクトル算出部７１の第三の出力は相関演算部７２の制
御入力に接続され、かつ加算器７５ _(XY-1)の出力はその
ベクトル算出部７１の第三の入力に接続される。

【０００６】なお、上述した遅延回路７４₁₁〜７４
_(YX-1)の内、符号に付加された第二の添え番号が「Ｘ」
であるもの（ラスタースキャン方式の下では、各水平走
査線の右端（折り返し点）に位置する画素に対応す
る。）は、走査が直近の隣接する画素の間で行われる時
間Ｔ_P と、各フレームの水平方向に配置された画素の数
Ｒ_X と、上述した画素の数Ｘとに対して Ｄ＝Ｔ_P・(Ｒ_X−Ｘ） の式で示される遅延時間Ｄを有し、その他の遅延回路は
何れも遅延時間Ｔ_P を有する。

【０００７】このような構成の圧縮符号化器では、動き
検索部６２は、後述するようにフレームメモリ６６に先
行して蓄積されたフレーム（以下、単に「先行フレー
ム」という。）の画素値の列を基準として、パターンマ
ッチング法に基づいて後続するフレームの動画情報の動
領域を順次特定する。さらに、動き検索部６２は、これ
らの動領域の個々について、動きベクトルを求める。

【０００８】減算器６１は上述した動画情報についてフ
レームメモリ６６に蓄積された先行フレームの画素値と
の差分をとり、動き検索部６２はその差分と上述した動
きベクトルとをフレーム間符号化（ここでは、簡単のた
め、MC(Motion Conpensation）およびDCT(Discrete Cos
ine Transform)が適用されると仮定する。）することに
より符号列を生成する。

【０００９】局部デコーダ６４および加算器６５は、そ
の符号列に上述したフレーム間符号化と逆の処理（逆量
子化およびＩＤＣＴを含む。）を施すことにより、フレ
ーム単位に動画情報を再生し、その動画情報をフレーム
メモリ６６に書き込む。また、動き検索部６２では、ベ
クトル算出部７１は、上述した動画情報をフレーム単位
に取り込んでＭＢ（ここでは、簡単のため、１６画素×
１６画素の正方のブロックであると仮定する。）単位に
分割し、これらのＭＢ毎に下記の一連の処理を行う。

【００１０】(1) 該当するＭＢについて、取り込みの要
求を発し、かつ(2) そのＭＢを構成する画素値の列を演
算器７３₁₁〜７３_YXに直列に与えると共に、並行して
(3) 先行フレームについてフレームメモリ６６に蓄積さ
れた画素値の内、そのフレームの上で該当するＭＢの動
きベクトル探索範囲に位置する画素の画素値（以下、こ
のような画素値の集合からなる像を「サーチ参照画」と
いう。）を走査の順に直列に読み出して相関演算部７２
に与える。

【００１１】相関演算部７２では、演算器７３₁₁〜７３
_YXは、それぞれこのような要求に応じて上述したＭＢの
画素値の列を画素単位に個別に保持する。さらに、演算
器７３₁₁〜７３_YXは、ベクトル算出部７１から与えられ
るサーチ参照画の画素値の列を順次取り込んで並列変換
しつつ、先行して蓄積されたＭＢの画素値との相関を画
素単位にとる。加算器７５₁ 〜７５_(XY-1)は、このよう
にして画素単位に得られた相関の総和をとることによ
り、動きベクトル推定比較量累積和（以下、単に「総
和」という。）を求める。

【００１２】ベクトル算出部７１は、上述したサーチ参
照画の画素値の単位にこのような総和の極小点を求める
ことにより、図１０に矢印で示すように、該当するＭＢ
について、サーチ参照画の上（フレーム間）における変
位を示す動きベクトルを求める。

【００１３】

【発明が解決しようとする課題】しかし、このような従
来例では、各ＭＢについて、動きベクトルの探索範囲に
該当するサーチ参照画を構成する先頭の画素が与えられ
た（図１１(a))時点から、走査の順にその先行の画素に
後続してＸＹ個の画素が与えられる（図１１(b))時点に
至る期間には、演算器７３₁₁〜７３_YXにサーチ参照画を
示す正規の画素値が与えられていないために、上述した
総和の値には何らかの誤差が含まれ、その総和に基づい
て求められる動きベクトルはこのような期間を経過した
後でなければ正規には得られなかった。

【００１４】また、このような期間の長さτは τ＝[Ｒ_X（Ｙ−１）＋Ｘ]・Ｔ _P の式で与えられる大きな値であるために、従来例の適用
の下で動画の圧縮符号伝送が行われるシステムでは伝送
の実時間性が低下し、かつ同様にして多量の動画を圧縮
記録することが要求されるデータベースシステム等では
更新の実時間性や応答性が十分には確保されなかった。

【００１５】さらに、一般に、フレーム間符号化の効率
化は上述した動きベクトルに基づく動き補償が確実に行
われる前提の下で実現され、そのフレーム間符号化の対
象となる動画の動領域の分布やフレーム間における動き
が多様であって予測が困難である場合には、処理効率が
高く、かつサーチ参照画の領域の拡大が可能な符号器が
要望されていた。

【００１６】なお、このような動きベクトルの算出は、
個々のＭＢとサーチ参照画との画素値を一括して蓄積す
るメモリを有し、かつこのようなメモリから与えられる
画素値に基づいて並列に演算を行う構成によって実現で
きる。しかし、このような構成では、例えば、そのメモ
リは、語長が画素値の語長に等しいシングルポートＲＡ
Ｍからなる場合には、ＭＢを構成する画素の数に等しい
数の複数の独立したバンクとして構成されなければなら
ず、また、語長がその画素の数に等しいデバイスから構
成される場合には、このような語長が大きな値（ＭＢが
１６画素×１６画素の方形からなり、かつ各画素値の語
が８ビットである場合は2048(＝8×16×16) ビット）と
なるために、実際には実現されなかった。

【００１７】さらに、このような構成は、技術的には可
能であっても、そのメモリはＭＢ単位に複数回参照され
るサーチ参照画の画素値をそのサーチ参照画の走査が完
結する長い期間にわたって保持しなければならず、ハー
ドウエアの規模が増大したり、タイミング制御が複雑化
するために実際には適用されなかった。本発明は、ハー
ドウエアの規模が大幅に増加することなく、演算所要時
間を大幅に短縮できる画像相関器を提供することを目的
とする。

【００１８】

【課題を解決するための手段】図１は、請求項１、３、
４に記載の発明の原理ブロック図である。請求項１に記
載の発明は、走査の順に隣接するＹ本の走査線の上で個
別に起点に対する相対位置が共通し、かつ隣接するＸＹ
個の画素の画素値をこれらの走査線に対応付けて記憶
し、これらの画素値の内、その走査がこの走査の順に連
なるＸ個の画素について行われる期間Ｔ′を時系列の順
に示すアドレスに対応したＸ個の画素値からなる基準画
素値列を出力するブロック記憶手段１１と、整数i(1≦i
≦n)と期間Ｔ′とに対して、(i-1)Ｔ′で示されるｎ個
の遅延をアドレスに個別に与える第一の遅延手段１２
と、走査の下で与えられたフレームをＸＹ個の画素から
なるブロックより大きな相似形として占有するＲ_X個×
Ｒ_Y個の画素の内、その走査の順に連なり、自然数ｋに
対して周期Ｔ′毎に対応した第((i-1)X/k+1)番目ないし
第((i-1)X/k+X)番目の画素の画素値からなる参照画素値
列を個別に予め記憶し、これらの参照画素値列の内、第
一の遅延手段１２によってｎ個の遅延が個別に与えられ
たアドレスに対応する参照画素値列を出力する複数ｎの
参照画記憶手段１３₁〜１３_nと、Ｙ本の走査線上に個別
に配置され、かつ相対位置が共通であるＹ個の画素につ
いて走査が行われる期間ｔと整数j(1≦j≦n/k) とに対
して、(j-1)tで示されるn/k個の遅延をブロック記憶手
段１１によって出力された基準画素値列に個別に与える
第二の遅延手段１４と、複数ｎの参照画記憶手段１３₁
〜１３_nによって出力された参照画素値列の内、これら
の参照画素値列から先頭の画素が走査の順にＸ個隔た
り、その先頭の画素値に共通の走査線上で隣接する(X/k
-1)個の画素値からなる（n/k-1)個の切り出し画素値列
を並列に出力するタイミング調整手段１５と、整数ｊの
昇順に第二の遅延手段１４によって出力された基準画素
値列とタイミング調整手段１５によって出力された切り
出し画素値列との相関を並行してとる相関手段１６とを
備えたことを特徴とする。

【００１９】図２は、請求項２〜４に記載の発明の原理
ブロック図である。請求項２に記載の発明は、走査の順
に隣接するＹ本の走査線の上で個別に起点に対する相対
位置が共通し、かつ隣接するＸＹ個の画素の画素値をこ
れらの走査線に対応付けて記憶し、これらの画素値の
内、走査線を示すアドレスに対応した基準画素値列を出
力するブロック記憶手段２１と、走査が走査線毎に整数
ｉ(1≦i≦n) および自然数ｋに対して第((i-1)X/k+1)
番目ないし第((i-1)X/k+n/k)番目の画素について行われ
る期間Ｔに対して、(i-1)Tで示されるｎ個の遅延をアド
レスに個別に与える第一の遅延手段２２と、走査の下で
与えられたフレームをＸＹ個の画素からなるブロックよ
り大きな相似形として占有するＲ_X個×Ｒ_Y個の画素の
内、その走査の順に連なる第((i-1)X/k+1) 番目ないし
第((i-1)X/k+X/k)番目の画素の画素値からなる参照画素
値列を個別に予め記憶し、かつこれらの参照画素値列の
内、第一の遅延手段２２によってｎ個の遅延が個別に与
えられたアドレスに対応する参照画素値列を出力する複
数の参照画記憶手段２３₁〜２３_nと、Ｙ本の走査線上に
個別に配置され、かつ前記相対位置が共通であるＹ個の
画素について走査が行われる期間ｔと整数j(1≦j≦n/k)
とに対して、(j-1)tで示されるn/k個の遅延をブロック
記憶手段１１によって出力された基準画素値列に個別に
与える第二の遅延手段２４と、複数ｎの参照画記憶手段
２３₁〜２３_nによって出力された参照画素値列の内、先
頭の画素値が走査の順にＸ個隔たり、その先頭の画素値
に隣接する(X/k-1)個の画素値からなる (k-1)個の切り
出し画素値列にそれぞれ(k-1)tの遅延を与えて出力し、
さらに後続するＸ個の画素値にｋｔの遅延を与えて、整
数ｉの昇順に隣接する参照画記憶手段が出力した参照画
素値列に最先に含まれる (X-1)個の画素値と共に、切り
出し画素値列として出力する複数のタイミング調整手段
２５₁〜２５_nと、第二の遅延手段２４によって整数ｊの
昇順に遅延が与えられた基準画素値列と、タイミング調
整手段２５₁〜２５_nによって個別に出力された切り出し
画素値列との相関を並行してとる相関手段２６とを備え
たことを特徴とする。

【００２０】請求項３に記載の発明は、請求項１または
請求項２に記載の画像相関器において、参照画記憶手段
は、デュアルポートメモリから構成され、タイミング調
整手段は、デュアルポートメモリのポートの内、第一の
遅延手段に接続されたポートと異なるポートを介してそ
の第一の遅延手段を介して与えられるアドレスで示され
る領域と異なる領域に対するアクセスを行うことを特徴
とする。

【００２１】請求項４に記載の発明は、請求項１ないし
請求項３の何れか１項に記載の画像相関器において、相
関手段において並行して相関をとる演算器の数は、ＸＹ
/(Ｒ _X−Ｘ＋１)であることを特徴とする。請求項１に記
載の発明にかかわる画像相関器では、ブロック記憶手段
１１は、走査の順に隣接するＹ本の走査線の上で個別に
起点に対する相対位置が共通し、かつ隣接するＸＹ個の
画素の画素値をこれらの走査線に対応付けて記憶する。

【００２２】第一の遅延手段１２は、整数ｉ(1≦i≦n)
と、走査線に沿って隣接するＸ個の画素について走査が
行われる期間Ｔ′とに対して、(i-1)Ｔ′で示されるｎ
個の遅延をその期間Ｔ′毎に更新されるアドレスに個別
に与える。参照画記憶手段１３₁〜１３_nは、このような
走査の下で与えられたフレームを上述したＸＹ個の画素
からなるブロックより大きい相似形として占有するＲ_X
個×Ｒ_Y個の画素の内、その走査の順に連なり、自然数
ｋに対して周期Ｔ′毎に対応した第((i-1)X/k+1)番目な
いし第((i-1)X/k+X)番目の画素の画素値からなる参照画
素値列を個別に予め記憶し、かつこれらの参照画素値列
の内、第一の遅延手段１２によって遅延が与えられたア
ドレスに対応するものを並行して出力する。タイミング
調整手段１５は、このようにして出力された参照画素値
列を取り込み、これらの参照画素値列から先頭の画素値
が走査の順にＸ個隔たり、その先頭の画素値に共通の走
査線上で隣接する(X/k-1)個の画素値からなる(n/k-1)個
の切り出し画素値列を切り出して並列に出力する。

【００２３】一方、ブロック記憶手段１１は、これらの
画素値の内、時系列の順に上述した期間Ｔ′を示すアド
レスに対応したＸ個の画素値からなる基準画素値列を出
力する。第二の遅延手段１４は、Ｙ本の走査線上に個別
に配置され、かつ前記相対位置が共通であるＹ個の画素
について上述した走査が行われる期間ｔと整数j(1≦j≦
n/k) とに対して、(j-1)tで示されるn/k個の遅延をこの
ような基準画素値列に個別に与える。

【００２４】すなわち、上述した切り出し画素値列と基
準画素値列とは、走査線毎に区分されたn/k個の走査区
間について走査に対する同期がとられつつ並行して相関
手段１６に与えられるので、その相関手段１６はこれら
の走査区間に個別に対応した切り出し画素値列と基準画
素値列との組み合わせに対して並行して演算を行うこと
により、パイプライン方式により画像の相関をとること
ができる。また、本発明では、参照画記憶手段１３₁〜
１３_nから個別に読み出される画素の数がＸであるの
で、これらの参照画記憶手段１３₁〜１３_nを構成する記
憶デバイスの語長の短縮が可能となる。

【００２５】請求項２に記載の発明にかかわる画像相関
器では、ブロック記憶手段２１は、走査の順に隣接する
Ｙ本の走査線の上で個別に起点に対する相対位置が共通
し、かつ隣接するＸＹ個の画素の画素値をこれらの走査
線に対応付けて記憶する。

【００２６】第一の遅延手段２２は、このような走査線
毎に整数ｉ(1≦i≦n)および自然数ｋ に対して第((i-1)
X/k+1) 番目ないし第((i-1)X/k+X/k)番目の画素につい
て走査が行われる期間Ｔに対して、(i-1)Tで示されるｎ
個の遅延をその走査線を示すアドレスに個別に与える。
参照画記憶手段２３₁〜２３_nは、その走査の下で与えら
れたフレームを上述したＸＹ個の画素からなるブロック
より大きい相似形として占有するＲ_X 個×Ｒ_Y 個の画素
の内、その走査の順に連なる第((i-1)X/k+1)番目ないし
第((i-1)X/k+X/k)番目の画素の画素値からなる参照画素
値列を個別に予め記憶し、かつこれらの参照画素値列の
内、第一の遅延手段２２によって遅延が個別に与えられ
たアドレスに対応する参照画素値列を並行して出力す
る。タイミング調整手段２５₁〜２５_nは、このようにし
て出力された参照画素値列の内、先頭の画素値が上述し
た走査の順にＸ個隔たり、その先頭の画素値に隣接する
(X/k-1)個の画素値からなる (k-1)個の切り出し画素値
列にそれぞれ(k-1)tの遅延を与えて出力し、さらに後続
するＸ個の画素値にｋｔの遅延を与えて整数ｉの昇順に
隣接する参照画記憶手段が出力した参照画素値列に最先
に含まれる (X-1)個の画素値と共に、切り出し画素値列
として出力する。

【００２７】一方、ブロック記憶手段２１は、上述した
ように走査線に対応付けて記憶する画素値の内、アドレ
スで示される走査線に対応したＸ個の画素値からなる基
準画素値列を出力する。第二の遅延手段２４は、Ｙ本の
走査線上に個別に配置され、かつ前記相対位置が共通で
あるＹ個の画素について走査が行われる期間ｔと整数j
(1≦j≦n/k) とに対して、(j-1)tで示されるn/k個の遅
延をこのような基準画素値列に個別に与える。

【００２８】すなわち、上述した切り出し画素値列と基
準画素値列とは、走査線毎に区分されたｎ個の走査区間
について走査に対する同期がとられつつ並行して相関手
段１６に与えられるので、その相関手段２６はこれらの
走査区間に個別に対応した切り出し画素値列と基準画素
値列との組み合わせに対して並行して演算を行うことに
より、パイプライン方式により画像の相関をとることが
できる。また、本発明では、参照画記憶手段２３₁〜２
３_nから個別に読み出される画素の数がX/kであるので、
請求項１に記載の発明に比べてこれらの参照画記憶手段
２３₁〜２３_nを構成する記憶デバイスの語長が長くなる
が、時分割方式により所望の数の画素を読み出すことが
不要となって処理効率が向上する。

【００２９】請求項３に記載の発明にかかわる画像相関
器では、参照画記憶手段がデュアルポートメモリから構
成され、タイミング調整手段はそのデュアルポートメモ
りのポートの内、第一の遅延手段に接続されたポートと
は異なるポートを介してその第一の遅延手段を介して与
えられるアドレスで示される領域と異なる領域にアクセ
スする。

【００３０】すなわち、タイミング調整手段は第一の遅
延手段を介して与えられるアドレスとは非同期に隣接す
る参照画記憶手段にアクセスできるので、請求項１、２
に記載の画像相関器に比べて、相関手段に与えるべき切
り出し画素値列を構成する画素値が効率的に得られる。
請求項４に記載の発明にかかわる画像相関器では、相関
手段において並行して相関をとる演算器の総数がＸＹ／
(Ｒ_X−Ｘ＋１) に設定されるので、その総数は従来例よ
り増加することはなく、かつ上述したパイプライン方式
により効率的に相関の演算が行われる。

【００３１】

【発明の実施の形態】以下、図面に基づいて本発明の実
施形態について詳細に説明する。図３は、請求項１〜３
に記載の発明に対応した実施形態を示す図である。図に
おいて、アドレス発生器３１の出力はバンクメモリ３２
₁ のアドレス入力に併せて、バンク幅遅延回路３３₁ と
遅延回路(Ｄ)３４₁₁との入力に接続され、その遅延回路
３４₁ の出力は原画メモリ３５の入力に接続される。バ
ンク幅遅延回路３３₁ の出力は縦属接続されたバンク幅
遅延回路３３₂〜３３_n-1に接続され、これらのバンク幅
遅延回路３３₂〜３３_n-1の段間はそれぞれバンクメモリ
３２ ₂ 〜３２_n のアドレス入力に接続される。

【００３２】バンクメモリ３２₁ の出力は遅延回路(Ｄ)
３６₁ の入力とセレクタ(Ｓ)３７₁の一方の入力とに接
続され、その遅延回路３６₁ の出力は演算器グループ３
８₁₁の第一の入力に接続される。セレクタ３７₁ の出力
は演算器グループ３８₁₁の第二の入力とセレクタ(Ｓ)３
９₁ の一方の入力とに接続され、セレクタ３９₁ の出力
は演算器グループ３８₁₂の第一および第二の入力に接続
される。

【００３３】また、バンクメモリ３２₂ の出力は遅延回
路３６₂ とセレクタ３７₂ との入力に接続され、その遅
延回路３６₂ の出力はセレクタ３９₁ の他方の入力と演
算器グループ３８₂₁の第一の入力とに接続される。セレ
クタ３７₂ の出力は演算器グループ３８₂₁の第二の入力
とセレクタ３９₂ の一方の入力とに接続される。セレク
タ３９₂ の出力は、演算器グループ３８₂₂の第一および
第二の入力に接続される。

【００３４】なお、バンクメモリ３２₃〜３２_nの後段に
は、それぞれこれらの出力に対応した遅延回路３６₃〜
３６_n、セレクタ３７₃〜３７_n、３９₃〜３９_n-1および
演算器グループ(３８₃₁、３８₃₂)〜(３８_n1、３８_n2)が
備えられ、上述したようにバンクメモリ３２₂ の出力に
接続された回路と同様の回路が構成される。したがっ
て、これらの回路の構成については、図示および説明を
省略する。ただし、バンクメモリ３２_n の後段には、セ
レクタ３９_n は備えられない。

【００３５】また、原画メモリ３５の出力は演算器グル
ープ３８₁₁の第三の入力と、縦属接続された遅延回路３
４₁₂、(３４₂₁、３４₂₂)〜(３４_(n-2)1、３４_(n-2)2)、
３４ _n1に接続され、これらの遅延回路の段間は演算器グ
ループ３８₁₂、(３８₂₁、３８ ₂₂)〜(３８_(n-1)1、３８
_(n-1)2) の第三の入力に接続される。遅延回路３４_n1の
出力は演算器グループ３８_n1の第三の入力に接続され、
演算器グループ３８₂₁、(３８₂₁、３８₂₂)〜(３８
_(n-1)1、３８_(n-1)2)、３８_n1の出力には、個別に画素
の累積和が個別に得られる。

【００３６】図４は、演算器グループの構成を示す図で
ある。図において、演算器グループ３８₁₁は、遅延回路
３６₁ とセレクタ３７₁ とが後述するように並列に与え
る１５個の画素値の内、これらの画素値が得られる走査
の順に隣接して異なる８個ずつの画素値の組み合わせが
個別に第一の入力に与えられ、かつ同様にして原画メモ
リ３５から与えられる８個の画素値が並列に第二の入力
に与えられる７個の演算カラム４０₁₁₁〜４０₁₁₇から構
成され、これらの演算カラム４０₁₁₁〜４０₁₁₇の出力に
は上述した累積和が得られる。

【００３７】なお、演算器グループ３８₁₂、(３８₂₁、
３８₂₂)〜(３８_(n-1)1、３８_(n-1)2)、３８_n1の構成に
ついては、演算器グループ３８₁₁の構成と同じであるか
ら、個別に含まれる７個の演算カラムに第一および第二
の添え番号がそれぞれ「１２」、(「２１」、「２２」)
〜(「（n-1)１」、「（n-1)２」)、「ｎ１」である同様
の符号を付与し、ここではその説明および図示を省略す
る。

【００３８】また、演算カラム４０₁₁₁ は、上述したよ
うに原画メモリ３５と、遅延回路３６₁ およびセレクタ
３７₁ とから個別に与えられる８個の画素値が第一およ
び第二の入力に与えられる８個の累積演算器４１₁₁₁〜
４１₁₁₈の集合から構成される。なお、演算カラム４０
₁₁₂〜４０₁₁₇の構成については、演算カラム４０₁₁₁ の
構成と同じであるから、個別に含まれる８個の累積演算
器に第一および第二の添え番号が「１１」である同じ符
号を付与し、ここではその説明および図示を省略する。

【００３９】なお、本実施形態と図１および図２に示す
ブロック図との対応関係については、原画メモリ３５は
ブロック記憶手段１１、２１に対応し、バンク幅遅延回
路３３₁〜３３_nは第一の遅延手段１２、２２に対応し、
バンクメモリ３２₁〜３２_nは参照画記憶手段１３₁〜１
３_n、２３₁〜２３_nに対応し、遅延回路３４₁₁〜３４_n1
は第二の遅延手段１４、２４に対応し、遅延回路３６₁
〜３６_n、セレクタ３７₁〜３７_n 、セレクタ３９₁〜３
９_(n-1)はタイミング調整手段１５₁〜１５_n、２５に対
応し、演算器グループ３８₁₁〜３８_n1は相関手段１６、
２６に対応する。

【００４０】図５は、本実施形態の動作を説明する図で
ある。以下、図３〜図５を参照して請求項１〜４に記載
の発明に対応した実施形態の動作を説明する。まず、以
下では、ＭＢの水平方向と垂直方向との画素の数Ｘ、Ｙ
については、何れも「１６」であると仮定する。バンク
メモリ３２₁〜３２_nは、サーチ参照画を構成する画素値
の集合を記憶し、かつ図６に示すように、ラスタースキ
ャン方式の下でそのサーチ参照画のフレーム単位に、各
水平走査線に沿って先頭から隣接する複数Ｎ（ここで
は、簡単のため「８」と仮定する。）個の画素が、所望
の複数ｋ（ここでは、簡単のため「２」と仮定する。）
に対して(Ｘ／ｋ＝８)画素分の語単位に予め格納され
る。

【００４１】なお、以下では、サーチ参照画の水平方向
の画素の数Ｒ_X は Ｎ＝ＸＹ／(Ｒ_X−Ｘ＋１) ・・・(1) の式が成立する値（＝４７）であると仮定する。また、
以下では、このようにしてバンクメモリ３２₁〜３２_nに
格納される個々の画素値の集合で示されるフレーム上の
領域を「バンク」という。

【００４２】さらに、上述した語毎に含まれる８個の画
素値の集合については、水平走査線に沿って隣接する画
素に昇順に付与された番号ｘ(＝0、1、…)と、そのフレ
ームおいて隣接する水平走査線に昇順に付与された番号
ｙ(＝0、1、…)とに対して、最先に走査の対象となる画
素の位置を示す「Ｐｘ、ｙ」の形式で示す。また、この
ような８個の画素値の集合の内、水平走査線に沿って隣
接する７個の画素については、上述した形式を示す大文
字「Ｐ」に代えて小文字「ｐ」を適用することにより、
「ｐｘ、ｙ」の形式で示す。

【００４３】原画メモリ３５には、図７に示す従来例に
おいて動き検索部６２（ベクトル算出部７１）によって
生成されたＭＢ（ここでは、簡単のため「８画素×８画
素からなる正方の領域から構成されると仮定する。）の
画素値が予め保持される。一方、アドレス発生器３１は
上述したラスタースキャン方式の下で水平走査線に沿っ
て隣接する８個の画素の走査に要する時間に等しい周期
Ｔ′で更新されるアドレス（図５(1))を生成し、バンク
幅遅延回路３３₁〜３３_n-1はその周期Ｔ′のｋ（＝２）
倍に等しい遅延を順次与える。したがって、バンクメモ
リ３２₁〜３２_nは、上述したバンクの水平走査線に沿っ
た幅（１６画素に相当する。）に等しい遅延が順次与え
られつつ、同様の順序で更新されるアドレス(図５(2)〜
(4))が与えられる。

【００４４】バンクメモリ３２₁〜３２_nは、これらのア
ドレスに個別に対応する記憶領域に格納された画素値を
語（８画素）単位に並行して読み出しつつ出力する(図
５(2)′〜(4)′)。遅延回路３６₁〜３６_nはこのように
して出力される語に個別に上述した周期Ｔ′に等しい遅
延を与え（図５(5))、かつセレクタ３７₁〜３７_n-2はバ
ンクメモリ３２₁〜３２_nから出力される語にこのような
遅延を与えることなく出力する。したがって、符号に付
与された添え番号が共通である遅延回路とセレクタとの
出力には、それぞれ対応するバンクメモリに与えられる
アドレスで示されるバンクの水平走査線に沿った幅に等
しい隣接する１６画素の画素値が並行して出力される
（図５(6)）。

【００４５】セレクタ３９₁〜３９_n-1は、上述したよう
に（セレクタ３７ ₁ 、遅延回路３６ ₂ ）、…、（セレクタ
３７ _n-1 、遅延回路３６ _n ）によって並行して得られた３
２個の画素値（例えば、遅延回路３６₁ およびセレクタ
３７₁ によって与えられた（Ｐ0、2)、(Ｐ8、1))と、遅延
回路３６₂ およびセレクタ３７₂ によって与えられた
((Ｐ16、1)、(Ｐ24、0と))の内、図５に交差した点線の矢
印で示すように、共通の水平走査線の上に位置する１５
個の画素値((Ｐ8、1)、(ｐ16、1)) を選択する（図５
(7)）。

【００４６】したがって、演算器グループ３８₁₁、…、
３８_n1には、図６に示すように、上述した時系列ｈと整
数ｉ(＝1〜ｎ)とに対して((Ｐ(8h)、i)、(Ｐ(8(h+1)、i))
で示される１６個の画素値の値が与えられ、かつ演算器
グループ３８₁₂、…、３８_{(n -1)2}には、同様にして（Ｐ
(8(h+1)、i)、(ｐ(8(h+2)、i))で示される１５個の画素値
が順次与えられる。

【００４７】また、原画メモリ３５は、遅延回路３４₁₁
を介してアドレス発生器３１から与えられるアドレスに
応じてＭＢの上において水平走査線に沿って隣接する８
個の画素値を順次読み出して演算器グループ３８₁₁に直
接与える。さらに、原画メモリ３５は、演算器グループ
３８₁₂、(３８₂₁、３８₂₂)〜(３８_(n-1)1、３
８_(n-1)2)、３８_n1には、それぞれ遅延回路３４₁₂、(３
４₂₁、３４₂₂)〜（３４_(n-1)1、３４_(n-1)2) を介して
上述した周期Ｔ′の遅延を順次これらの画素値に与えつ
つ分配する。

【００４８】したがって、演算器グループ３８₁₁、…、
３８_n1および演算器グループ３８₁₂、…、３８_(n-1)2に
は、ＭＢにおいて個々の水平走査線に上に隣接して位置
する８個の画素値と、これらの画素値に対して相関がと
られるべき１６個あるいは１５個の画素値とが走査に同
期しつつ確実に与えられる。演算器グループ３８₁₁、
…、３８_n1および演算器グループ３８₁₂、…、３８_(n
-1)2は、このように与えられる１６個あるいは１５個の
画素に対して後述する共通の算術演算を並行して行う。
したがって、その算術演算については、以下では、簡単
のため、演算器グループ３８₁₁において行われるものに
限定して記述する。

【００４９】演算器グループ３８₁₁では、例えば、遅延
回路３６₁ およびセレクタ３７₁ によって１６個の画素
値(Ｐ(0、1)、Ｐ(8、1))が与えられた場合には、演算カラ
ム４０₁₁₁〜４０₁₁₇は、それぞれこれらの画素値の内、
水平走査線に沿って第１番目ないし第７番目に位置する
画素の画素値に隣接する８個の画素値の集合を取り込
む。

【００５０】演算器カラム４０₁₁₁ では、このようにし
て取り込んだ８個の画素値Ｐ(0、1)と同時に原画メモリ
３５から与えられる８個の画素値との相関をとってその
結果の累積和をとる。なお、演算カラム４０₁₁₂〜４０
₁₁₇が行う演算については、演算カラム４０₁₁₁ がこの
ようにして行う演算と同じであるから、ここではその説
明を省略する。

【００５１】したがって、バンクメモリ３２₁〜３２_nは
バンク単位に分割されて画素値を重複することなく蓄積
し、かつ適用されたラスタスキャン方式に基づく走査に
並行して同期しつつ、これらのバンクメモリ３２₁〜３
２_nに蓄積された画素値の集合と原画メモリ３５に蓄積
されたＭＢとの相関をとる演算がパイプライン方式に基
づいて行われる。

【００５２】また、原画メモリ３５から与えられる同様
の８個の画素値は、アドレス発生器３１がアドレスを更
新する周期Ｔ′に等しい時間にわたる遅延が与えられつ
つ、演算器グループ(３８₁₁、３８₁₂)、(３８₁₂ 、３８
₂₁)、…に順次与えられる。したがって、そのために生
じる遅延分は ｔ＝Ｒ_X−Ｘ の式で与えられるｔに対して上述した周期Ｔ′の（ｔ／
Ｎ）倍の値となる。しかし、上述した演算は個々のＭＢ
に対して(Ｒ_X−Ｘ)(Ｒ_Y−Ｙ)個の組み合わせからなる画
素値の集合について個別に行われるので、その演算に所
要する時間は同様の周期Ｔ′の((Ｒ_X−Ｘ)(Ｒ_Y−Ｙ)＋
ｔ／Ｎ)倍の値となる。

【００５３】したがって、その値は、従来例における同
様の時間（周期のＲ_X・Ｒ_Y倍の値）に比べると大幅に小
さな値となる。このように本実施形態によれば、従来例
に比べてＭＢとサーチ参照画との相関をとる演算の所要
時間が大幅に短縮されるので、フレーム間符号化に適用
された場合には、動きベクトルの算出が高速化されて符
号化処理の効率が高められたり、そのサーチ参照画の領
域を拡大することにより高速に変化する動画に対する適
応が可能となる。また、動作速度の最大値が小さい素子
の適用の下で所望の演算が達成されて消費電力の低減、
低廉化および熱設計にかかわる自由度の向上がはかられ
たり、高付加価値に適応可能な処理量が増加する。

【００５４】なお、上述した実施形態では、演算器グル
ープ(３８₁₁、３８₁₂)、（３８₁₂、３８₂₁) 、…には、
アドレス発生器３１がアドレスを更新する周期に等しい
時間にわたって、原画メモリ３５から与えられる同様の
８個の画素値が遅延しつつ順次与えられているが、本発
明はこのような構成に限定されず、例えば、バンクメモ
リ３２₁〜３２_nの語長が１６画素分に等しい場合には、
これらのバンクメモリの出力端に個別に並列に設けられ
た遅延回路およびセレクタが備えられず、遅延回路３４
₁₂、(３４₂₁、３４₂₂)〜(３４_(n-1)1、３４_(n-1)2)の
内、符号に付加された第二の添え番号が「２」であるも
のが備えられずに構成され、さらにこれらの遅延回路の
内、同様の添え番号が「１」であるものの遅延時間がバ
ンク幅遅延回路３３₁〜３３_n-1の遅延時間が等しく設定
されてもよい。

【００５５】また、このような構成の下では、上述した
アドレスが更新される周期でＮ個の画素にかかわる演算
が並行して行われるので、ＭＢ単位にその演算に要する
時間はその周期の（ＸＹ／Ｎ）倍の値となり、その値は
上式(1) より ＸＹ／Ｎ＝Ｒ_X−Ｘ＋１ の式で与えられる。さらに、このような演算はサーチ参
照画の垂直方向の全ての範囲((Ｒ_Y−Ｙ＋１)本の水平走
査線に相当する。）についても同様にして反復されるの
で、単一のＭＢとそのサーチ参照画との相関をとる演算
の所要時間は上述した周期に対して((Ｒ_X−Ｘ＋１)・
(Ｒ_Y−Ｙ＋１))倍の値となる。

【００５６】したがって、その値は、従来例における同
様の時間（周期のＲ_X・Ｒ_Y倍の値）より大幅に小さく、
かつ既述の実施形態における値より小さな値となる。さ
らに、上述した実施形態では、バンクの幅が１６画素に
相当してバンクメモリ３２₁〜３２_nの語長がその幅の半
分である８画素に相当する値に設定されているが、本発
明はこのような構成に限定されず、各演算器グループに
所望の演算対象である画素値の集合が所定のタイミング
で確実に与えられるならば、個々のバンクに対応して３
つ以上の演算器グループと、これらの演算器グループに
個別に対応した遅延回路とセレクタとが備えられてもよ
い。

【００５７】また、上述した実施形態では、セレクタ３
９₁〜３９_n-1の入力には、隣接する２つのバンクメモリ
の出力が遅延回路およびセレクタを介して接続されてい
るが、本発明はこのような構成に限定されず、所望の演
算対象である画素値の集合が確実に与えられるならば、
例えば、これらの遅延回路およびセレクタと同等の回路
が前段に配置されてもよい。

【００５８】さらに、上述した実施形態では、バンクメ
モリ３２₁〜３２_nが時分割方式によりアクセスされてい
るが、本発明はこのような構成に限定されず、例えば、
これらのバンクメモリ３２₁〜３２_nは、上述した周期あ
るいはバンクの幅に相当する遅延時間で与えられる２つ
のアドレスに応じて並行してアクセス可能なデュアルポ
ートメモリで構成されてもよい。

【００５９】また、上述した実施形態では、バンクメモ
リ３２₁〜３２_nにはサーチ参照画を構成する画素値の集
合が重複することなく格納されているが、本発明はこの
ような構成に限定されず、ハードウエアのサイズや消費
電力の増加より演算所要時間を短縮することが優先され
るべき場合には、例えば、これらのバンクメモリ３２ ₁
〜３２_nに個別に隣接するバンクメモリと重複した画素
値が格納され、各演算器グループに対して所望の演算対
象である画素値の集合が単一のアクセスの下で与えられ
る構成とすることも可能である。

【００６０】さらに、上述した実施形態では、演算器グ
ループ３８₁₁、…、３８_n1および演算器グループ３
８₁₂、…、３８_(n-1)2はサーチ参照画とＭＢとの間にお
ける画素値の差分の絶対値の和を求めているが、本発明
はこのような構成に限定されず、その絶対値の二乗和を
求める構成であってもよい。また、上述した実施形態で
は、ラスタスキャン方式が適用されているが、本発明は
このような走査方式に限定されず、走査の順に演算対象
となる画素値の集合が所定のタイミングで確実に与えら
れるならば、例えば、ホログラム等の投影に適用される
ように、３次元的に放射状に走査が行われる方式その他
如何なる走査方式にも適応可能である。

【００６１】さらに、上述した実施形態では、従来例と
同様にフレーム間符号化方式に適応した動きベクトルの
算出に供されるＭＢとサーチ参照画との相関がとられて
いるが、本発明は、このような分野に限定されず、例え
ば、動画の撮影に供される携帯型のカメラにおける手振
れの補正、既知の形状を有する剛体のみがとらえられた
画像からその剛体とその他のものが写っている領域を分
離する処理（高速道路に設置された監視カメラによって
とらえられた車輌の動きベクトルを求めることによりそ
の車輌と道路とを分離する演算）の過程にも同様にして
適用可能である。

【００６２】また、上述した実施形態では、上式(1) が
成立する条件の下で累積演算器の数が設定されている
が、本発明はこのような構成に限定されず、演算所要時
間の短縮がハードウエアのサイズの低減より優先される
べき場合には、さらに多くの累積演算器が搭載されても
よい。

【００６３】

【発明の効果】上述したように請求項１に記載の発明で
は、走査線毎に区分されたｎ個の走査区間について得ら
れた切り出し画素値列と基準画素値列との組み合わせに
対して並行して行われる演算の下で、パイプライン方式
によりフレーム間の相関がとられる。

【００６４】また、請求項２に記載の発明では、請求項
１に記載の発明より高い効率でパイプライン方式により
フレーム間の相関がとられる。請求項３に記載の発明で
は、請求項１、２に記載の発明に比べて相関手段に与え
られるべき切り出し画素値列が効率的に得られ、演算所
要時間の短縮がはかられる。

【００６５】請求項４に記載の発明では、相関手段にお
いて並行して相関をとるべき演算器の総数が従来例より
増加することなくパイプライン方式による演算の効率化
がはかられる。すなわち、これらの発明が適用された画
像処理系ではコストの大幅な増加や演算精度の低下を来
すことなく確実に応答性や実時間性が高められ、特に、
圧縮符号化伝送方式が適用される通信、放送その他の分
野では、無線周波数を含む伝送路の有効利用がはかられ
る。

【図面の簡単な説明】

【図１】請求項１、３、４に記載の発明の原理ブロック
図である。

【図２】請求項２〜４に記載の発明の原理ブロック図で
ある。

【図３】請求項１〜４に記載の発明に対応した実施形態
を示す図である。

【図４】演算器グループの構成を示す図である。

【図５】本実施形態の動作を説明する図である。

【図６】バンクの構成を示す図である。

【図７】従来の圧縮符号化器の構成例を示す図である。

【図８】動き検索部の構成を示す図である。

【図９】フレームとマクロブロックとの対応関係を示す
図である。

【図１０】動きベクトルを示す図である。

【図１１】従来例の課題を示す図である。

【符号の説明】

１１，２１ ブロック記憶手段 １２，２２ 第一の遅延手段 １３，２３ 参照画記憶手段 １４，２４ 第二の遅延手段 １５，２５ タイミング調整手段 １６，２６ 相関手段 ３１ アドレス発生器 ３２ バンクメモリ ３３ バンク幅遅延回路 ３４，３６，７４ 遅延回路（Ｄ） ３５ 原画メモリ ３７，３９ セレクタ（Ｓ） ３８ 演算器グループ ４０ 演算カラム ４１ 累積演算器 ６１ 減算器 ６２ 動き検索部 ６３ 符号化部 ６４ 局部デコーダ ６５，７５ 加算器 ６６ フレームメモリ ７１ ベクトル算出部 ７２ 相関演算部 ７３ 演算器

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹下 直行 福岡県福岡市博多区博多駅前三丁目22番 ８号 富士通九州ディジタル・テクノロ ジ株式会社内 (56)参考文献 特開 平８−9384（ＪＰ，Ａ) 特開 平６−225287（ＪＰ，Ａ) 特開 平６−96209（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 走査の順に隣接するＹ本の走査線の上で
   個別に起点に対する相対位置が共通し、かつ隣接するＸ
   Ｙ個の画素の画素値をこれらの走査線に対応付けて記憶
   し、これらの画素値の内、その走査がこの走査の順に連
   なるＸ個の画素について行われる期間Ｔ′を時系列の順
   に示すアドレスに対応したＸ個の画素値からなる基準画
   素値列を出力するブロック記憶手段と、 整数ｉ(1≦i≦n)と前記期間Ｔ′とに対して、(i-1)Ｔ′
   で示されるｎ個の遅延を前記アドレスに個別に与える第
   一の遅延手段と、 前記走査の下で与えられたフレームを前記ＸＹ個の画素
   からなるブロックより大きな相似形として占有するＲ_X
   個×Ｒ_Y個の画素の内、その走査の順に連なり、自然数
   ｋに対して前記周期Ｔ′毎に対応した第((i-1)X/k+1)番
   目ないし第((i-1)X/k+X)番目の画素の画素値からなる参
   照画素値列を個別に予め記憶し、これらの参照画素値列
   の内、前記第一の遅延手段１２によって前記ｎ個の遅延
   が個別に与えられたアドレスに対応する参照画素値列を
   出力する複数ｎの参照画記憶手段と、 前記Ｙ本の走査線上に個別に配置され、かつ前記相対位
   置が共通であるＹ個の画素について前記走査が行われる
   期間ｔと整数j(1≦j≦n/k) とに対して、(j-1)tで示さ
   れるn/k個の遅延を前記ブロック記憶手段１１によって
   出力された基準画素値列に個別に与える第二の遅延手段
   と、 前記複数ｎの参照画記憶手段によって出力された参照画
   素値列の内、これらの参照画素値列から先頭の画素が前
   記走査の順にＸ個隔たり、その先頭の画素値に共通の走
   査線上で隣接する(X/k-1)個の画素値からなる(n/k-1)個
   の切り出し画素値列を並列に出力するタイミング調整手
   段と、 前記整数ｊの昇順に前記第二の遅延手段によって出力さ
   れた基準画素値列と前記タイミング調整手段によって出
   力された切り出し画素値列との相関を並行してとる相関
   手段とを備えたことを特徴とする画像相関器。
2. 【請求項２】 走査の順に隣接するＹ本の走査線の上で
   個別に起点に対する相対位置が共通し、かつ隣接するＸ
   Ｙ個の画素の画素値をこれらの走査線に対応付けて記憶
   し、これらの画素値の内、走査線を示すアドレスに対応
   した基準画素値列を出力するブロック記憶手段と、 前記走査が前記走査線毎に整数ｉ(1≦i≦n)および自然
   数ｋ に対して第((i-1)X/k+1) 番目ないし第((i-1)X/k+
   X/k)番目の画素について行われる期間Ｔに対して、(i-
   1)Ｔで示されるｎ個の遅延を前記アドレスに個別に与え
   る第一の遅延手段と、 前記走査の下で与えられたフレームを前記ＸＹ個の画素
   からなるブロックより大きな相似形として占有するＲ_X
   個×Ｒ_Y個の画素の内、その走査の順に連なる前記第((i
   -1)X/k+1) 番目ないし第((i-1)X/k+X/k)番目の画素の画
   素値からなる参照画素値列を個別に予め記憶し、これら
   の参照画素値列の内、前記第一の遅延手段によって前記
   ｎ個の遅延が個別に与えられたアドレスに対応する参照
   画素値列を出力する複数の参照画記憶手段と、 前記Ｙ本の走査線上に個別に配置され、かつ前記相対位
   置が共通であるＹ個の画素について前記走査が行われる
   期間ｔと整数j(1≦j≦n/k) とに対して、(j-1)tで示さ
   れるn/k個の遅延を前記ブロック記憶手段１１によって
   出力された基準画素値列に個別に与える第二の遅延手段
   と、 前記複数ｎの参照画記憶手段によって出力された参照画
   素値列の内、先頭の画素が前記走査の順にＸ個隔たり、
   その先頭の画素値に隣接する(X/k-1)個の画素値からな
   る (k-1)個の切り出し画素値列にそれぞれ(k-1)tの遅延
   を与えて出力し、さらに後続するＸ個の画素値にｋｔの
   遅延を与えて、前記整数ｉの昇順に隣接する参照画記憶
   手段が出力した参照画素値列に最先に含まれる (X-1)個
   の画素値と共に、切り出し画素値列として出力する複数
   のタイミング調整手段と、 前記第二の遅延手段によって前記整数ｊの昇順に遅延が
   与えられた基準画素値列と、前記タイミング調整手段に
   よって個別に出力された切り出し画素値列との相関を並
   行してとる相関手段とを備えたことを特徴とする画像相
   関器。
3. 【請求項３】 請求項１または請求項２に記載の画像相
   関器において、 参照画記憶手段は、 デュアルポートメモリから構成され、 タイミング調整手段は、 前記デュアルポートメモりのポートの内、第一の遅延手
   段に接続されたポートと異なるポートを介してその第一
   の遅延手段を介して与えられるアドレスで示される領域
   と異なる領域に対するアクセスを行うことを特徴とする
   画像相関器。
4. 【請求項４】 請求項１ないし請求項３の何れか１項に
   記載の画像相関器において、 相関手段において並行して相関をとる演算器の数は、 ＸＹ／(Ｒ_X−Ｘ＋１)であることを特徴とする画像相関
   器。