JPH0546773A - 相関計算装置 - Google Patents

Abstract

(57)【要約】 【目的】 入力データの流れに即して処理を行うことに
より、入力画像データを記憶するために必要とされる２
つのフレームバッファを省き、また演算処理結果を得る
までの遅れ時間を改善して実時間処理に適合した相関計
算装置を提供する。 【構成】 入力画像と相関を取るための参照画像を記憶
し、位置座標を与える毎に１つの参照画素を読み出す参
照画像記憶手段５と、入力画像中の１つの入力画素の位
置座標が入力される毎に参照画像記憶手段５に与える第
１の位置座標と相関記憶手段に与える第２の位置座標を
それぞれ複数出力する座標生成手段７と、第１の位置座
標により参照画像記憶手段５から読み出される複数の前
記参照画素それぞれと前記入力画素との相関を求める相
関演算手段２と、相関演算手段２により求めた結果を第
２の位置座標に対応する相関値に累積加算する相関記憶
手段３とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本装置は対象の追跡を必要とする
画像処理システムや監視カメラシステムに利用可能なテ
ンプレートマッチングを用いた相関計算装置に関するも
のである。

【０００２】

【従来の技術】動画像において対象追跡を実現する場合
の対象位置の検出方法としてテンプレートマッチングと
いう手法がある。これは図５に示すように対象物を４角
形の枠（テンプレート枠５００２）内の画像情報（以下
参照画像と呼ぶ）で代表し、この参照画像と入力画像の
１部分との間で相関計算を行う。この入力画像の１部分
は参照画像と同じ大きさであり、この１部分を取り出す
ためにテンプレート枠５００１を考える。そしてこのテ
ンプレート枠の入力画像内での位置をテンプレート座標
（ｘ₀，ｙ₀）と呼ぶ。（ここではテンプレート枠の左上
をテンプレート座標とする）このテンプレート座標を変
えて相関計算を実行し、最も相関の高いテンプレート座
標を求めることで、対象位置が求まる。

【０００３】つぎにあるテンプレート座標での相関計算
について述べる。ここで１画素の相関演算として差の絶
対値を用いた場合、テンプレート座標（ｘ₀，ｙ₀）にお
ける相関値Ｃｏｒ（ｘ₀，ｙ₀）は（数１）となる。

【０００４】

【数１】

【０００５】ここで、（ｘ₀，ｙ₀）は、テンプレート座
標であり、（ｉ，ｊ）は参照画像内の１画素の座標であ
る。またＰ（ｘ，ｙ）は入力画像の、入力画像内での座
標（ｘ，ｙ）の画素値、Ｔ（ｘ，ｙ）は参照画像の、参
照画像内での座標（ｘ，ｙ）の画素値であり、ｗ，ｈは
それぞれ参照画像の横幅、高さである。

【０００６】上式で示した演算処理をハードウェアで構
成する場合について図４の相関計算装置の従来例を用い
て説明する。図４において入力画像記憶部１１は入力画
像を記憶し、またランダムアクセスにより任意の１画素
を取り出すことのできるメモリ、参照画像記憶部５は入
力画像と相関を取るべき参照画像を記憶しランダムアク
セスにより任意の１画素を取り出すことのできるメモリ
である。また、１４はテンプレート座標（ｘ₀，ｙ₀）、
参照画像記憶部５から読み出す参照画素の座標（ｉ，
ｊ）、及び入力画像記憶部１１から読み出す入力画素の
座標（ｘ₀＋ｉ，ｙ₀＋ｊ）を生成する座標生成部であ
る。相関演算部２は入力画素と参照画素の相関を計算す
るもので、例えば差の絶対値を計算する。１２は相関演
算部２の出力列の総和を求める総和計算部、１３はテン
プレート座標をアドレスとして総和計算部１２の結果で
ある相関値を蓄積するための相関値記憶部である。

【０００７】次に動作について述べる。入力画像は順次
入力画像記憶部１１に取り込まれる。そして１画面分の
すべての入力画像が取り込まれた後、テンプレート座標
生成部１４０２の生成するテンプレート座標（ｘ₀，
ｙ₀）ごとに以下の処理が行われる。

【０００８】参照画素オフセット座標生成部１４０１が
すべての参照画素のオフセット座標（ｉ，ｊ）を順次生
成する。ここで、参照画素オフセット座標が生成される
毎に加算器１４０３によりそれぞれの参照画素のオフセ
ット座標に対応して入力画像中の１画素の座標が生成さ
れる。この２つの座標はそれぞれ参照画像記憶部５およ
び入力画像記憶部１１へ入力され、座標が入力される毎
にそれぞれ参照画素、入力画素を読み出す。この２つの
画素を入力として相関演算部２により差の絶対値が計算
される。この相関演算部２の出力は参照画素オフセット
座標生成部１４０１が異なる座標を出力する度に、異な
る参照画素と入力画素との計算結果として順次出力され
る。この出力列の総和が総和計算部１２により相関演算
部２の出力ごとに求められる。参照画像内のすべての参
照画素に対する上記の処理の実行後、総和計算部１２の
出力はテンプレート座標（ｘ₀，ｙ₀）での相関値となる
ので、相関値記憶部１３におけるテンプレート座標生成
部１４０２の出力するテンプレート座標（ｘ₀，ｙ₀）が
示す相関値に格納される。

【０００９】以上のようにして各テンプレート座標（ｘ
₀，ｙ₀）ごとの相関値が相関値記憶部１３に求まる。こ
こでは１画素ごとの相関演算として差の絶対値を用いた
ので、一致している程相関値は小さいためこの相関値が
最小となるテンプレート座標が対象の位置となる。

【００１０】

【発明が解決しようとする課題】この様に構成した相関
演算装置の動作を入力画像の１画素について考えると、
テンプレートの位置を変える度にその画素の値が何度も
必要となる。これはこの処理が入力データの流れに即し
た処理でないためであり、このために入力画像を全てバ
ッファに記憶しておく必要がある。また、例えば参照画
像の高さを１画面の半分とすると、画面上半分の画像デ
ータが確定しない限り、どのテンプレート位置の相関値
も求めることはできず、相関計算は入力画像の上半分が
確定した後にのみ計算可能となる。またテンプレートの
位置が入力画像の下付近の時は入力画像がすべて確定し
ないと計算を開始できない。このため１フレーム内に相
関値を求めることが困難である。従って計算時間に２フ
レームを要し１フレーム分のデータを蓄える必要が生じ
る。このためフレームバッファが２つ必要になる。

【００１１】本発明はかかる点に鑑み、入力データの流
れに即して処理を行うことにより、入力画像データを記
憶するために必要とされる２つのフレームバッファを省
き、また演算処理結果を得るまでの遅れ時間を改善して
実時間処理に適合した相関計算装置を提供することを目
的としている。

【００１２】

【課題を解決するための手段】本発明は入力画像と相関
を取るための参照画像を記憶し、位置座標を与える毎に
１つの参照画素を読み出す参照画像記憶手段と、前記入
力画像中の１つの入力画素の位置座標が入力される毎に
前記参照画像記憶手段に与える第１の位置座標と相関記
憶手段に与える第２の位置座標をそれぞれ複数出力する
座標生成手段と、前記第１の位置座標により前記参照画
像記憶手段から読み出される複数の前記参照画素それぞ
れと前記入力画素との相関を求める相関演算手段と、前
記相関演算手段により求めた結果を前記第２の位置座標
に対応する相関値に累積加算する相関記憶手段とを備え
た相関計算装置である。

【００１３】

【作用】本発明は上記した手段により、一つの入力画素
に対して次の入力画素が入力されるまでの期間に、相関
演算手段において参照画像記憶手段から読み出された複
数の参照画素と入力画素との相関計算を行うことでこの
入力画素との間で必要なすべての計算をまとめて行う。

【００１４】

【実施例】図１は本発明の一実施例における相関計算装
置のブロック図である。図１において１はドットクロッ
ク信号により入力画像信号を１画素づつ保持するための
ラッチ、６はラッチ１に保持された入力画素の入力画像
内での座標を生成する入力画素座標生成部である。７は
座標生成部であり、参照画素オフセット座標生成部７０
１、減算器７０２、７０３より構成され、参照画素オフ
セット座標及び、テンプレート座標（入力画素の座標−
参照画素オフセット座標）を生成する。５は参照画像記
憶部であり予め与えられた追跡すべき対象の画像（参照
画像）を記憶し、座標生成部７から与えられる参照画素
オフセット座標により画素を順次読み出す。また２は相
関演算部であり、ラッチ１と参照画像記憶部５からの画
素より差の絶対値を計算する。３は相関記憶部でありメ
モリ３０３とラッチ３０１、加算器３０２より構成さ
れ、テンプレート座標をアドレスとし、そのアドレスの
内容をメモリ３０３から読み出しラッチ３０１に保持
し、このラッチ３０１に保持された結果と、相関演算部
２の出力を加算器３０２により加算し、この値をメモリ
３０３の元の場所に書き戻す。

【００１５】以上のように構成された本発明の一実施例
について以下動作を説明する。入力画像信号は、ドット
クロック信号によりラッチ１において１画素ごと保持さ
れる。参照画素オフセット座標生成部７０１は、ドット
クロックごとにリセットされ、入力の１画素が保持され
ている間にすべての参照画素のオフセット座標を順次生
成する。（ここで参照画素オフセット座標は参照画像の
左上を原点とし、例えばラスタスキャンであれば（０，
０），（０，１），．．．，（ｗ−１，ｈ−１）の順番
で生成される）このオフセット座標により順次読み出さ
れる参照画素とラッチ１に保持された入力画素は、相関
演算部２に入力され差の絶対値が計算される。この相関
演算部２の１画素に対する結果は、あるテンプレート座
標に対する増分である。このテンプレート座標は以下の
通りである。

【００１６】（数１）の座標変数の関係から、 （入力画素の座標）＝（テンプレート座標）＋（参照画
素オフセット座標）となる。本実施例においては（入力
画素の座標）が固定、（参照画素オフセット座標）を変
化させるようにしたので図６に示すように 入力画素の座標を（ｘ_i，ｙ_i） 参照画素のオフセット座標を（ｘ_r，ｙ_r）とおくと、こ
の２つの座標よりテンプレート座標（ｘ₀，ｙ₀）は（ｘ
_i−ｘ_r，ｙ_i−ｙ_r）となる。ゆえに相関演算部２の出力
は、相関記憶部３に記憶された相関値の途中結果の内、
座標生成部７の出力するテンプレート座標が示す値に累
積加算される。

【００１７】以上の相関演算部２、相関記憶部３での処
理が参照画素オフセット座標生成部７０１により参照画
素の座標が生成される度に参照画素ごとに実行される。
参照画素オフセット座標生成部７０１は入力画像のドッ
トクロックの１周期の間に参照画像内のすべての参照画
素のアドレスを生成し、このアドレスをもとに参照画像
記憶部５はすべての参照画素を読み出すので、ドットク
ロックごとに読み込まれる入力画素１つに対してすべて
の参照画素との相関計算が行われる。そしてすべての入
力画素に対してこの処理の終了後、相関記憶部３に異な
るテンプレート座標ごとの相関値が求まる。

【００１８】以上の説明では座標生成部７として全ての
参照画素を読みだし、それに対応するテンプレート座標
を生成する構成であるが、これはテンプレートの移動範
囲が画面全体の場合である。例えばテンプレートの移動
範囲が画面の１部に限られる場合（左右にｍ_x、上下に
ｍ_yの範囲で移動させる）、座標生成部７は図３のよう
になる。この時テンプレート座標は１回前の画像を用い
求めたテンプレート座標（ｘ_in，ｙ_in）よりその近傍位
置 （ｘ_in−ｍ_x〜ｘ_in＋ｍ_x，ｙ_in−ｍ_y〜ｙ_in＋ｍ_y）
として生成される。この場合（入力画素の座標）が固
定、（テンプレート座標）を変えるようにしたので （参照画素オフセット座標）＝（入力画素の座標）−
（テンプレート座標）となる。

【００１９】なお、本実施例では相関演算部２として図
２のように差の絶対値を考えたが、相関を表すものであ
れば他の方法（例えば積）でも構わない。

【００２０】

【発明の効果】以上説明したように本発明によれば入力
画像信号がすべてそろうのを待つ事なくリアルタイムに
計算を進めることができる。また、この１画素に対する
計算を、ドットクロックに相当する時間内に行うことで
入力画像データのフレームバッファを省けるため、フレ
ームバッファが不要となり、その実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の一実施例の相関計算装置のブロック図

【図２】相関演算部２の一例のブロック図

【図３】座標生成部の別実施例のブロック図

【図４】従来の相関計算装置のブロック図

【図５】入力画像と参照画像を説明するための説明図

【図６】３つの座標間の関係を説明するための説明図

【符号の説明】

２ 相関演算部 ３ 相関記憶部 ５ 参照画像記憶部 ７ 座標生成部

Claims (2)

【特許請求の範囲】
1. 【請求項１】入力画像と相関を取るための参照画像を記
   憶し、位置座標を与える毎に１つの参照画素を読み出す
   参照画像記憶手段と、前記入力画像中の１つの入力画素
   の位置座標が入力される毎に前記参照画像記憶手段に与
   える第１の位置座標と相関記憶手段に与える第２の位置
   座標をそれぞれ複数出力する座標生成手段と、前記第１
   の位置座標により前記参照画像記憶手段から読み出され
   る複数の前記参照画素それぞれと前記入力画素との相関
   を求める相関演算手段と、前記相関演算手段により求め
   た結果を前記第２の位置座標に対応する相関値に累積加
   算する相関記憶手段とを備えたことを特徴とする相関計
   算装置。
2. 【請求項２】座標生成手段の座標生成方法が、入力画素
   の位置座標と第１の位置座標との差を第２の位置座標と
   するか、または入力画素の位置座標と第２の位置座標と
   の差を第１の位置座標とするかのどちらかであることを
   特徴とする請求項１記載の相関計算装置。