JP3434979B2 - 局所領域画像追跡装置 - Google Patents
局所領域画像追跡装置Info
- Publication number
- JP3434979B2 JP3434979B2 JP19346996A JP19346996A JP3434979B2 JP 3434979 B2 JP3434979 B2 JP 3434979B2 JP 19346996 A JP19346996 A JP 19346996A JP 19346996 A JP19346996 A JP 19346996A JP 3434979 B2 JP3434979 B2 JP 3434979B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correlation
- correlation value
- pixels
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Description
【０００１】
【発明の属する技術分野】本発明は局所領域画像追跡装
置に係り、特にテレビカメラ等で撮影される画像内で運
動している物体を連続的に追跡する局所領域画像追跡装
置に関する。撮像画面内で運動する物体を追跡する局所
領域画像追跡装置は、加速度センサ等を使用しない非接
触型の動き計測や動きベクトルの可視化システム、監視
や観察の自動化システム、人間のジェスチャ、表情や視
線の認識システム、映画やスポーツ中継でのカメラ制御
システム、移動ロボットや自律走行車の制御システム、
人工衛星からの移動物体の追跡システム等で使用され
る。
置に係り、特にテレビカメラ等で撮影される画像内で運
動している物体を連続的に追跡する局所領域画像追跡装
置に関する。撮像画面内で運動する物体を追跡する局所
領域画像追跡装置は、加速度センサ等を使用しない非接
触型の動き計測や動きベクトルの可視化システム、監視
や観察の自動化システム、人間のジェスチャ、表情や視
線の認識システム、映画やスポーツ中継でのカメラ制御
システム、移動ロボットや自律走行車の制御システム、
人工衛星からの移動物体の追跡システム等で使用され
る。
【０００２】
【従来の技術】図２２は、従来の局所領域画像追跡装置
の一例の要部を示すブロック図である。同図中、局所領
域画像追跡装置は大略撮像装置５０１、アナログ・ディ
ジタル（Ａ／Ｄ）変換器５０２、探索画像メモリ５０
３、参照画像メモリ５０４、相関演算器５０５、アドレ
ス発生器５０６及び相関値ピーク位置検出器５０７から
なる。
の一例の要部を示すブロック図である。同図中、局所領
域画像追跡装置は大略撮像装置５０１、アナログ・ディ
ジタル（Ａ／Ｄ）変換器５０２、探索画像メモリ５０
３、参照画像メモリ５０４、相関演算器５０５、アドレ
ス発生器５０６及び相関値ピーク位置検出器５０７から
なる。
【０００３】撮像装置５０１により撮像された画像に関
するアナログ画像データは、Ａ／Ｄ変換器５０２により
ディジタル画像データに変換され、順次探索画像メモリ
５０３に格納される。参照画像メモリ５０４には、予め
追跡するべき所定物体に関する固定の参照画像データが
格納されている。相関演算器５０５は、相関演算を行う
ことにより、探索画像メモリ５０３内の画像データと参
照画像メモリ５０４内の参照画像データの間の相関性を
示す相関値を求める。相関値ピーク位置検出器５０７
は、この相関値のピーク位置、即ち、撮像画面中相関性
の最も高い位置を検出する。相関値ピーク位置検出器５
０７からのピーク位置は、アドレス発生器５０６へフィ
ードバックされ、アドレス発生器５０６はピーク位置に
対応するメモリアドレスを発生して探索画像メモリ５０
３及び参照画像メモリ５０４に供給する。従って、相関
値ピーク位置検出器５０７からは、常に相関値のピーク
位置が得られ、このピーク位置に基づいて撮像画面内の
所定物体を実時間で追跡することができる。
するアナログ画像データは、Ａ／Ｄ変換器５０２により
ディジタル画像データに変換され、順次探索画像メモリ
５０３に格納される。参照画像メモリ５０４には、予め
追跡するべき所定物体に関する固定の参照画像データが
格納されている。相関演算器５０５は、相関演算を行う
ことにより、探索画像メモリ５０３内の画像データと参
照画像メモリ５０４内の参照画像データの間の相関性を
示す相関値を求める。相関値ピーク位置検出器５０７
は、この相関値のピーク位置、即ち、撮像画面中相関性
の最も高い位置を検出する。相関値ピーク位置検出器５
０７からのピーク位置は、アドレス発生器５０６へフィ
ードバックされ、アドレス発生器５０６はピーク位置に
対応するメモリアドレスを発生して探索画像メモリ５０
３及び参照画像メモリ５０４に供給する。従って、相関
値ピーク位置検出器５０７からは、常に相関値のピーク
位置が得られ、このピーク位置に基づいて撮像画面内の
所定物体を実時間で追跡することができる。
【０００４】つまり、図２３に示すように、相関演算器
５０５は、あるフレームｆにおける局所画像である参照
画像（以下、参照ブロックと言う）Ｒと別のフレームｇ
における同じ大きさの局所画像である候補ブロックＣと
の間の相関演算を、探索画像（以下、探索ブロックと言
う）Ｓ内で候補ブロックＣの位置を変えながら繰り返
す。相関演算の結果、相関値が最大となる候補ブロック
Ｃの位置から両フレームｆ，ｇ間での参照ブロックＲの
移動量を算出することができる。このような処理を繰り
返すことにより、撮像画面内で移動する物体を追跡する
ことが可能となる。
５０５は、あるフレームｆにおける局所画像である参照
画像（以下、参照ブロックと言う）Ｒと別のフレームｇ
における同じ大きさの局所画像である候補ブロックＣと
の間の相関演算を、探索画像（以下、探索ブロックと言
う）Ｓ内で候補ブロックＣの位置を変えながら繰り返
す。相関演算の結果、相関値が最大となる候補ブロック
Ｃの位置から両フレームｆ，ｇ間での参照ブロックＲの
移動量を算出することができる。このような処理を繰り
返すことにより、撮像画面内で移動する物体を追跡する
ことが可能となる。
【０００５】尚、相関演算は、参照ブロックＳと候補ブ
ロックＣとの間の相関値をＤ、相関値Ｄが最小となる参
照ブロックＲの移動量をｕ，ｖ、参照ブロックＲ及び候
補ブロックＣの大きさを夫々ｍ画素×ｍ画素、候補ブロ
ックＣの探索ブロックＳ内での移動量が図２３に示す如
くｐ，ｑとすると、以下の式で表される。次式中、−ｐ
≦ｕ、ｖ≦ｑである。
ロックＣとの間の相関値をＤ、相関値Ｄが最小となる参
照ブロックＲの移動量をｕ，ｖ、参照ブロックＲ及び候
補ブロックＣの大きさを夫々ｍ画素×ｍ画素、候補ブロ
ックＣの探索ブロックＳ内での移動量が図２３に示す如
くｐ，ｑとすると、以下の式で表される。次式中、−ｐ
≦ｕ、ｖ≦ｑである。
【０００６】
【数１】
【０００７】上記の式は、２つの局所画像の差の絶対値
和を計算するので、この和が小さい程、即ち、相関値Ｄ
が小さい程、参照ブロックＳと候補ブロックＣとの間の
相関性が高いことになる。ところで、相関演算は計算量
が多いため、相関演算器５０５は並列パイプライン処理
を用いることが望ましい。図２４は、従来の相関演算器
５０５の一例をｍ＝４の場合について示す。同図中、Ｐ
Ｅは演算素子、Ａは加算素子、ｄはフリップフロップ等
の遅延素子を夫々示す。相関演算器５０５は、大略遅延
素子６０１〜６１２と、演算素子６２１〜６２４，６３
１〜６３４，６４１〜６４４，６５１〜６５４と、加算
素子６６１〜６６４とからなる。
和を計算するので、この和が小さい程、即ち、相関値Ｄ
が小さい程、参照ブロックＳと候補ブロックＣとの間の
相関性が高いことになる。ところで、相関演算は計算量
が多いため、相関演算器５０５は並列パイプライン処理
を用いることが望ましい。図２４は、従来の相関演算器
５０５の一例をｍ＝４の場合について示す。同図中、Ｐ
Ｅは演算素子、Ａは加算素子、ｄはフリップフロップ等
の遅延素子を夫々示す。相関演算器５０５は、大略遅延
素子６０１〜６１２と、演算素子６２１〜６２４，６３
１〜６３４，６４１〜６４４，６５１〜６５４と、加算
素子６６１〜６６４とからなる。
【０００８】遅延素子６０１〜６１２は、タイミングを
合わせるために設けられている。各演算素子６２１〜６
２４，６３１〜６３４，６４１〜６４４，６５１〜６５
４は、上記の式中、絶対値で囲まれた部分の計算を行う
もので、説明の便宜上、参照ブロックの画像データは内
部に格納されるものとする。つまり、参照ブロックの画
像データを１画素ずつ演算素子６２１〜６２４，６３１
〜６３４，６４１〜６４４，６５１〜６５４に格納した
上で、入力線６００から探索ブロックの画像データを１
画素ずつ入力することで、出力線６７０からは相関値Ｄ
（ｕ，ｖ）が順次出力される。このように、ｍ×ｍ個
（この例では４×４＝１６個）の演算素子を用いること
で、撮像画面内で移動する物体を追跡する処理を高速に
行うことができる。
合わせるために設けられている。各演算素子６２１〜６
２４，６３１〜６３４，６４１〜６４４，６５１〜６５
４は、上記の式中、絶対値で囲まれた部分の計算を行う
もので、説明の便宜上、参照ブロックの画像データは内
部に格納されるものとする。つまり、参照ブロックの画
像データを１画素ずつ演算素子６２１〜６２４，６３１
〜６３４，６４１〜６４４，６５１〜６５４に格納した
上で、入力線６００から探索ブロックの画像データを１
画素ずつ入力することで、出力線６７０からは相関値Ｄ
（ｕ，ｖ）が順次出力される。このように、ｍ×ｍ個
（この例では４×４＝１６個）の演算素子を用いること
で、撮像画面内で移動する物体を追跡する処理を高速に
行うことができる。
【０００９】
【発明が解決しようとする課題】しかし、上記の如き構
成の相関演算器を用いた従来の局所領域画像追跡装置に
は、次のような問題があった。第一に、相関演算器を構
成する演算素子の数で参照ブロックの大きさが規定され
てしまうため、使用する相関演算器によって参照ブロッ
クの大きさが固定されてしまうという問題があった。例
えば、相関演算器が２５６個の演算素子を有する場合、
参照ブロックの大きさは１６画素×１６画素に固定され
てしまう。しかし、追跡するべき画像パターンが比較的
大きな場合には、１６画素×１６画素の参照ブロックで
は小さすぎて良好な追跡処理を行うことができない。
又、参照ブロックの大きさを大きくするために、相関演
算器を構成する演算素子の数を増やすことは可能である
が、この場合は回路が大規模化してしまうという問題が
あった。
成の相関演算器を用いた従来の局所領域画像追跡装置に
は、次のような問題があった。第一に、相関演算器を構
成する演算素子の数で参照ブロックの大きさが規定され
てしまうため、使用する相関演算器によって参照ブロッ
クの大きさが固定されてしまうという問題があった。例
えば、相関演算器が２５６個の演算素子を有する場合、
参照ブロックの大きさは１６画素×１６画素に固定され
てしまう。しかし、追跡するべき画像パターンが比較的
大きな場合には、１６画素×１６画素の参照ブロックで
は小さすぎて良好な追跡処理を行うことができない。
又、参照ブロックの大きさを大きくするために、相関演
算器を構成する演算素子の数を増やすことは可能である
が、この場合は回路が大規模化してしまうという問題が
あった。
【００１０】第二に、従来の局所領域画像追跡装置は、
白黒画像しか処理できないという問題があった。そこ
で、カラー画像を処理する方法としては、相関演算器を
３系統設け、例えば赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の
信号に対して対応する系統の相関演算器で相関演算を行
い、各系統の相関演算器の出力を加算することが考えら
れるが、相関演算器を３系統設ける必要があるために回
路が大規模化してしまうという問題が生じてしまう。
白黒画像しか処理できないという問題があった。そこ
で、カラー画像を処理する方法としては、相関演算器を
３系統設け、例えば赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の
信号に対して対応する系統の相関演算器で相関演算を行
い、各系統の相関演算器の出力を加算することが考えら
れるが、相関演算器を３系統設ける必要があるために回
路が大規模化してしまうという問題が生じてしまう。
【００１１】第三に、１６画素×１６画素程度の大きさ
の参照ブロックを用いるだけで、相関演算器は２５６個
もの演算素子を必要とするため、１つの集積回路に相関
演算器及びアドレスカウンタやデータセレクタ等の周辺
回路を搭載する余裕はなく、周辺回路等は外付け回路と
して実装しなければならないという問題があった。この
結果、局所領域画像追跡装置全体としては、例えば複数
のプリント回路基板（ボード）からなる構成となり、装
置の小型化及び低価格化へのニーズに対応することは難
しかった。
の参照ブロックを用いるだけで、相関演算器は２５６個
もの演算素子を必要とするため、１つの集積回路に相関
演算器及びアドレスカウンタやデータセレクタ等の周辺
回路を搭載する余裕はなく、周辺回路等は外付け回路と
して実装しなければならないという問題があった。この
結果、局所領域画像追跡装置全体としては、例えば複数
のプリント回路基板（ボード）からなる構成となり、装
置の小型化及び低価格化へのニーズに対応することは難
しかった。
【００１２】そこで、本発明は、比較的大きな参照ブロ
ックにも対応でき、カラー画像も処理することが可能で
あり、且つ、周辺回路を含めた装置全体の回路規模を小
さくして集積化に適した構成の局所領域画像追跡装置を
提供することを目的とする。
ックにも対応でき、カラー画像も処理することが可能で
あり、且つ、周辺回路を含めた装置全体の回路規模を小
さくして集積化に適した構成の局所領域画像追跡装置を
提供することを目的とする。
【００１３】
【課題を解決するための手段】上記の課題は、請求項１
記載の、入力画像データのうち、探索処理を施すべき探
索画像内の任意の１つの局所領域を連続的に追跡する局
所画像領域追跡装置であって、該入力画像データのう
ち、該探索画像に関する探索画像データと、該任意の１
つの局所領域に関する基準画像を構成する複数の参照画
像に関する参照画像データとの相関演算を、各参照画像
について、各参照画像の該探索画像に対する位置を動か
しながら行って複数の相関値を出力する相関演算手段
と、該相関演算手段が行う相関演算の結果出力される複
数の相関値の累積を求めることにより、等価的に該基準
画像に関する基準画像データと該探索画像データとの相
関値を出力する相関値累積手段とを備えた局所画像領域
追跡装置によって達成される。
記載の、入力画像データのうち、探索処理を施すべき探
索画像内の任意の１つの局所領域を連続的に追跡する局
所画像領域追跡装置であって、該入力画像データのう
ち、該探索画像に関する探索画像データと、該任意の１
つの局所領域に関する基準画像を構成する複数の参照画
像に関する参照画像データとの相関演算を、各参照画像
について、各参照画像の該探索画像に対する位置を動か
しながら行って複数の相関値を出力する相関演算手段
と、該相関演算手段が行う相関演算の結果出力される複
数の相関値の累積を求めることにより、等価的に該基準
画像に関する基準画像データと該探索画像データとの相
関値を出力する相関値累積手段とを備えた局所画像領域
追跡装置によって達成される。
【００１４】請求項２記載の発明では、請求項１の発明
において、前記入力画像データは撮像手段又は画像記憶
手段からビデオバスを介して入力され、前記相関演算手
段及び前記相関値累積手段は相関追跡処理装置を構成
し、１つ或いは複数の相関追跡処理装置が該ビデオバス
により該撮像装置に対して並列に接続されている。
において、前記入力画像データは撮像手段又は画像記憶
手段からビデオバスを介して入力され、前記相関演算手
段及び前記相関値累積手段は相関追跡処理装置を構成
し、１つ或いは複数の相関追跡処理装置が該ビデオバス
により該撮像装置に対して並列に接続されている。
【００１５】請求項３記載の発明では、請求項２の発明
において、前記１つ或いは複数の相関追跡処理装置を制
御する制御計算機を更に備え、該１つ或いは複数の相関
追跡処理装置は制御バスにより該制御計算機に対して並
列に接続されている。請求項４記載の発明では、請求項
１〜３のいずれかの発明において、前記相関値累積手段
は、前記相関演算手段から出力された前回の相関演算結
果である相関値を格納する相関値メモリと、該相関演算
手段から出力される今回の相関演算結果である相関値と
を加算して相関値の累積を求める相関値累積回路とを有
する。
において、前記１つ或いは複数の相関追跡処理装置を制
御する制御計算機を更に備え、該１つ或いは複数の相関
追跡処理装置は制御バスにより該制御計算機に対して並
列に接続されている。請求項４記載の発明では、請求項
１〜３のいずれかの発明において、前記相関値累積手段
は、前記相関演算手段から出力された前回の相関演算結
果である相関値を格納する相関値メモリと、該相関演算
手段から出力される今回の相関演算結果である相関値と
を加算して相関値の累積を求める相関値累積回路とを有
する。
【００１６】請求項５記載の発明では、請求項１〜４の
いずれかの発明において、前記入力画像データはカラー
画像データからなり、同じ参照画像位置及び探索画像位
置に対して各色のカラー画像データを前記相関演算手段
に順次供給するデータ変換手段を更に備え、前記相関値
累積手段は同じ参照画像位置及び探索画像位置に対して
各色のカラー画像データについての相関値を累積する。
いずれかの発明において、前記入力画像データはカラー
画像データからなり、同じ参照画像位置及び探索画像位
置に対して各色のカラー画像データを前記相関演算手段
に順次供給するデータ変換手段を更に備え、前記相関値
累積手段は同じ参照画像位置及び探索画像位置に対して
各色のカラー画像データについての相関値を累積する。
【００１７】請求項６記載の発明では、請求項１の発明
において、少なくとも前記相関値累積手段における相関
値の累積の要否を制御するマイクロコンピュータユニッ
トを更に備え、前記相関演算手段と該相関値累積手段と
該マイクロコンピュータユニットとは単一のユニットを
構成する。
において、少なくとも前記相関値累積手段における相関
値の累積の要否を制御するマイクロコンピュータユニッ
トを更に備え、前記相関演算手段と該相関値累積手段と
該マイクロコンピュータユニットとは単一のユニットを
構成する。
【００１８】請求項８記載の発明では、請求項７の発明
において、少なくとも前記相関値累積手段における相関
値の累積の要否を制御するマイクロコンピュータユニッ
トを更に備え、前記相関演算手段と該相関値累積手段と
前記画像入出力手段と該マイクロコンピュータユニット
とは単一のユニットを構成する。請求項９記載の発明で
は、請求項１〜８のいずれかの発明において、前記基準
画像はａ・ｍ画素×ｂ・ｎ画素からなり、該参照画像は
ｍ画素×ｎ画素からなり、該探索画像はａ・ｍ画素×ｂ
・ｎ画素より大きく、ａ，ｂ，ｍ，ｎはいずれも自然数
である。
において、少なくとも前記相関値累積手段における相関
値の累積の要否を制御するマイクロコンピュータユニッ
トを更に備え、前記相関演算手段と該相関値累積手段と
前記画像入出力手段と該マイクロコンピュータユニット
とは単一のユニットを構成する。請求項９記載の発明で
は、請求項１〜８のいずれかの発明において、前記基準
画像はａ・ｍ画素×ｂ・ｎ画素からなり、該参照画像は
ｍ画素×ｎ画素からなり、該探索画像はａ・ｍ画素×ｂ
・ｎ画素より大きく、ａ，ｂ，ｍ，ｎはいずれも自然数
である。
【００１９】請求項８記載の発明では、請求項７の発明
において、少なくとも前記相関値累積手段における相関
値の累積の要否を制御するマイクロコンピュータユニッ
トを更に備え、前記相関演算手段と該相関値累積手段と
前記画像入出力手段と該マイクロコンピュータユニット
とは単一のユニットを構成する。
において、少なくとも前記相関値累積手段における相関
値の累積の要否を制御するマイクロコンピュータユニッ
トを更に備え、前記相関演算手段と該相関値累積手段と
前記画像入出力手段と該マイクロコンピュータユニット
とは単一のユニットを構成する。
【００２０】請求項１及び９記載の発明によれば、比較
的大きな参照画像にも対応でき、カラー画像も処理する
ことが可能であり、且つ、周辺回路を含めた装置全体の
回路規模を小さくして集積化に適したものとすることが
できる。請求項２及び３記載の発明によれば、複数の相
関追跡処理装置を並列に動作させることにより、高速で
追跡処理を行うことができる。
的大きな参照画像にも対応でき、カラー画像も処理する
ことが可能であり、且つ、周辺回路を含めた装置全体の
回路規模を小さくして集積化に適したものとすることが
できる。請求項２及び３記載の発明によれば、複数の相
関追跡処理装置を並列に動作させることにより、高速で
追跡処理を行うことができる。
【００２１】請求項４記載の発明によれば、簡単な回路
構成を用いて比較的大きな参照画像にも対応可能であ
る。請求項５記載の発明によれば、比較的簡単な回路構
成を用いて色情報を用いた追跡処理を行うことができ
る。
構成を用いて比較的大きな参照画像にも対応可能であ
る。請求項５記載の発明によれば、比較的簡単な回路構
成を用いて色情報を用いた追跡処理を行うことができ
る。
【００２２】請求項６〜８記載の発明によれば、装置全
体をユニット化することができ、撮像装置や表示装置を
接続するだけで、簡単に、且つ、比較的安価で局所領域
画像追跡装置を実現することができる。従って、本発明
によれば、比較的大きな参照画像にも対応でき、カラー
画像も処理することが可能であり、且つ、周辺回路を含
めた装置全体の回路規模を小さくして集積化に適したも
のとすることが可能となる。
体をユニット化することができ、撮像装置や表示装置を
接続するだけで、簡単に、且つ、比較的安価で局所領域
画像追跡装置を実現することができる。従って、本発明
によれば、比較的大きな参照画像にも対応でき、カラー
画像も処理することが可能であり、且つ、周辺回路を含
めた装置全体の回路規模を小さくして集積化に適したも
のとすることが可能となる。
【００２３】
【発明の実施の形態】以下に、本発明の実施の形態を、
実施例を例にとって説明する。
実施例を例にとって説明する。
【００２４】
【実施例】図１は、本発明になる局所領域画像追跡装置
の第１実施例の概略構成を示すブロック図である。図１
中、局所領域画像追跡装置は大略カメラ等の撮像装置又
は画像記憶装置１と、画像入出力装置２と、ビデオバス
３を介して画像入出力装置２に接続された複数の相関追
跡処理装置４−１，４−２，．．．と、制御バス５と、
制御計算機６と、画像入出力装置２に接続された表示装
置７とからなる。つまり、複数の相関追跡処理装置４−
１，４−２，．．．がビデオバス３を介して画像入出力
装置２に対して並列に接続されると共に、制御バス５を
介して制御計算機６に対して並列に接続されている。相
関追跡処理装置４−１，４−２，．．．は、夫々同一の
構成を有する。制御計算機６は、制御バス５を介して追
跡するターゲットの位置指定、処理の結果得られた動き
ベクトルの読み出し等の行って各相関追跡処理装置４−
１，４−２，．．．を制御する。
の第１実施例の概略構成を示すブロック図である。図１
中、局所領域画像追跡装置は大略カメラ等の撮像装置又
は画像記憶装置１と、画像入出力装置２と、ビデオバス
３を介して画像入出力装置２に接続された複数の相関追
跡処理装置４−１，４−２，．．．と、制御バス５と、
制御計算機６と、画像入出力装置２に接続された表示装
置７とからなる。つまり、複数の相関追跡処理装置４−
１，４−２，．．．がビデオバス３を介して画像入出力
装置２に対して並列に接続されると共に、制御バス５を
介して制御計算機６に対して並列に接続されている。相
関追跡処理装置４−１，４−２，．．．は、夫々同一の
構成を有する。制御計算機６は、制御バス５を介して追
跡するターゲットの位置指定、処理の結果得られた動き
ベクトルの読み出し等の行って各相関追跡処理装置４−
１，４−２，．．．を制御する。
【００２５】尚、本実施例では、撮像装置１からの入力
画像データが画像入出力装置２に入力される構成となっ
ているが、入力画像データは、例えばビデオディスク、
磁気ディスク、ＣＤ−ＲＯＭ等の記憶媒体や記憶装置か
ら画像入出力装置２に入力される構成としても良い。或
いは、画像データが通信回線を経由して伝送される構成
としても良い。又、画像入出力装置２は、たとえばアナ
ログ・ディジタル（Ａ／Ｄ）変換器及びディジタル・ア
ナログ（Ｄ／Ａ）変換器や圧縮画像データを復元するデ
コーダ回路等を含み、撮像装置１からの入力画像データ
を相関追跡処理装置４−１，４−２，．．．で処理する
のに適したデータフォーマットに変換すると共に、画像
データを表示装置７に表示するのに適したデータフォー
マットに変換する機能を有する。つまり、画像入出力装
置２は、入力画像データがカメラ等の撮像装置１からの
場合はＡ／Ｄ変換器でＡ／Ｄ変換を行い、ＣＤ−ＲＯＭ
等の記憶装置からの場合はデコード回路でデコード（復
元）処理を行う。又、表示装置７に表示するべき画像デ
ータは、必要に応じてＤ／Ａ変換器でＤ／Ａ変換を行
う。尚、表示装置を設けずに、処理結果だけを活用する
ように構成しても良い。
画像データが画像入出力装置２に入力される構成となっ
ているが、入力画像データは、例えばビデオディスク、
磁気ディスク、ＣＤ−ＲＯＭ等の記憶媒体や記憶装置か
ら画像入出力装置２に入力される構成としても良い。或
いは、画像データが通信回線を経由して伝送される構成
としても良い。又、画像入出力装置２は、たとえばアナ
ログ・ディジタル（Ａ／Ｄ）変換器及びディジタル・ア
ナログ（Ｄ／Ａ）変換器や圧縮画像データを復元するデ
コーダ回路等を含み、撮像装置１からの入力画像データ
を相関追跡処理装置４−１，４−２，．．．で処理する
のに適したデータフォーマットに変換すると共に、画像
データを表示装置７に表示するのに適したデータフォー
マットに変換する機能を有する。つまり、画像入出力装
置２は、入力画像データがカメラ等の撮像装置１からの
場合はＡ／Ｄ変換器でＡ／Ｄ変換を行い、ＣＤ−ＲＯＭ
等の記憶装置からの場合はデコード回路でデコード（復
元）処理を行う。又、表示装置７に表示するべき画像デ
ータは、必要に応じてＤ／Ａ変換器でＤ／Ａ変換を行
う。尚、表示装置を設けずに、処理結果だけを活用する
ように構成しても良い。
【００２６】図２は、図１に示す第１実施例における相
関追跡処理装置４−１の構成の一実施例を示すブロック
図である。相関追跡処理装置４−２を含む相関追跡処理
装置４−１以外の相関追跡処理装置の構成は、相関追跡
処理装置４−１と同一であるため、その図示及び説明は
省略する。
関追跡処理装置４−１の構成の一実施例を示すブロック
図である。相関追跡処理装置４−２を含む相関追跡処理
装置４−１以外の相関追跡処理装置の構成は、相関追跡
処理装置４−１と同一であるため、その図示及び説明は
省略する。
【００２７】図２に示す相関追跡処理装置４−１は、大
略画像フロー制御回路７１と、相関演算回路７２と、制
御レジスタ７３と、最小値検出回路７４と、相関値累積
回路７５と、相関値メモリ回路７６と、画像メモリ１２
−１〜１２−３とからなる。画像フロー制御回路７１
は、ビデオバス３を介して図１に示す画像入出力装置２
に接続されている。又、画像フロー制御回路７１及び制
御レジスタ７３は、夫々制御バス５を介して図１に示す
制御計算機６に接続されている。
略画像フロー制御回路７１と、相関演算回路７２と、制
御レジスタ７３と、最小値検出回路７４と、相関値累積
回路７５と、相関値メモリ回路７６と、画像メモリ１２
−１〜１２−３とからなる。画像フロー制御回路７１
は、ビデオバス３を介して図１に示す画像入出力装置２
に接続されている。又、画像フロー制御回路７１及び制
御レジスタ７３は、夫々制御バス５を介して図１に示す
制御計算機６に接続されている。
【００２８】図３は、画像フロー制御回路７１の構成の
一実施例を画像メモリ１２−１〜１２−３及び相関演算
回路７２と共に示すブロック図である。同図中、画像フ
ロー制御回路７１は、セレクタ１１，１７，１８と、ア
ドレスセレクタ１５，１６と、メモリ選択器１９と、参
照画像アドレス発生器２０と、探索画像アドレス発生器
２１とからなる。本実施例では、３つの画像メモリ１２
−１〜１２−３を切り換えて使用することにより、毎フ
レームでの追跡処理、毎フレームでの探索画像（ブロッ
ク）入力及び任意フレーム間隔での参照画像（ブロッ
ク）の更新を可能とするものである。
一実施例を画像メモリ１２−１〜１２−３及び相関演算
回路７２と共に示すブロック図である。同図中、画像フ
ロー制御回路７１は、セレクタ１１，１７，１８と、ア
ドレスセレクタ１５，１６と、メモリ選択器１９と、参
照画像アドレス発生器２０と、探索画像アドレス発生器
２１とからなる。本実施例では、３つの画像メモリ１２
−１〜１２−３を切り換えて使用することにより、毎フ
レームでの追跡処理、毎フレームでの探索画像（ブロッ
ク）入力及び任意フレーム間隔での参照画像（ブロッ
ク）の更新を可能とするものである。
【００２９】セレクタ１１には、ビデオバス３の画像デ
ータ信号線から得られる８ビットの入力画像データが供
給される。セレクタ１１は、メモリ選択器１９からの２
ビットの入力メモリ選択信号に基づいて、８ビットの入
力画像データを３つの画像メモリ１２−１〜１２−３の
うち選択された１つの画像メモリに供給する。
ータ信号線から得られる８ビットの入力画像データが供
給される。セレクタ１１は、メモリ選択器１９からの２
ビットの入力メモリ選択信号に基づいて、８ビットの入
力画像データを３つの画像メモリ１２−１〜１２−３の
うち選択された１つの画像メモリに供給する。
【００３０】図４は、メモリ選択器１９の一実施例を示
すブロック図である。同図中、メモリ選択器１９は、定
数ＲＯＭ３１と、コンパレータ３２と、フレームカウン
タ３３と、ラッチ回路３４と、インバータ３５と、フリ
ップフロップ３６と、ＲＯＭ３７とからなる。
すブロック図である。同図中、メモリ選択器１９は、定
数ＲＯＭ３１と、コンパレータ３２と、フレームカウン
タ３３と、ラッチ回路３４と、インバータ３５と、フリ
ップフロップ３６と、ＲＯＭ３７とからなる。
【００３１】定数ＲＯＭ３１には、予め参照ブロックを
切り換える間隔を示す定数が格納されている。他方、ビ
デオバス３のフレーム同期信号線から得られるフレーム
同期信号は、インバータ３５を介してフレームカウンタ
３３及びフリップフロップ３６のクロック入力端子に供
給される。従って、フレームカウンタ３３は、インバー
タ３５からの反転フレーム同期信号をカウントして、カ
ウント値をコンパレータ３２に供給する。コンパレータ
３２は、定数ＲＯＭ３１からの定数とフレームカウンタ
３３からのカウント値とを比較し、一致すると切り換え
パルスを出力する。この切り換えパルスは、参照画像メ
モリの切り換えを起動する信号であり、図３の参照画像
アドレス発生器２０に供給されると共に、ラッチ回路３
４及びフリップフロップ３６のクリア端子にも供給され
る。
切り換える間隔を示す定数が格納されている。他方、ビ
デオバス３のフレーム同期信号線から得られるフレーム
同期信号は、インバータ３５を介してフレームカウンタ
３３及びフリップフロップ３６のクロック入力端子に供
給される。従って、フレームカウンタ３３は、インバー
タ３５からの反転フレーム同期信号をカウントして、カ
ウント値をコンパレータ３２に供給する。コンパレータ
３２は、定数ＲＯＭ３１からの定数とフレームカウンタ
３３からのカウント値とを比較し、一致すると切り換え
パルスを出力する。この切り換えパルスは、参照画像メ
モリの切り換えを起動する信号であり、図３の参照画像
アドレス発生器２０に供給されると共に、ラッチ回路３
４及びフリップフロップ３６のクリア端子にも供給され
る。
【００３２】フリップフロップ３６のＱバー（／Ｑ）出
力は、そのデータ入力端子Ｄに供給され、Ｑ出力は、Ｒ
ＯＭ３７アドレス信号のうち１ビットとしてＲＯＭ３７
に供給される。ＲＯＭ３７には、ラッチ回路３４からＲ
ＯＭ３７のアドレス信号の残りの４ビットが供給され
る。ＲＯＭ３７には、予め画像メモリ１２−１〜１２−
３の選択に関する選択データが格納されており、５ビッ
トのアドレス信号により指定されたアドレスから読み出
された選択データは、２ビットの入力画像メモリ選択信
号と、２ビットの探索画像メモリ選択信号と、２ビット
の参照画像メモリ選択信号として出力される。入力画像
メモリ選択信号は、画像メモリ１２−１〜１２−３のう
ちどの画像メモリを入力画像データを格納する入力画像
メモリとして使用するかを決定する。同様に、探索画像
メモリ選択信号は、画像メモリ１２−１〜１２−３のう
ちどの画像メモリを探索画像データを格納する探索画像
メモリとして使用するかを決定し、参照画像メモリ選択
信号は、画像メモリ１２−１〜１２−３のうちどの画像
メモリを参照画像データを格納する参照画像メモリとし
て使用するかを決定する。
力は、そのデータ入力端子Ｄに供給され、Ｑ出力は、Ｒ
ＯＭ３７アドレス信号のうち１ビットとしてＲＯＭ３７
に供給される。ＲＯＭ３７には、ラッチ回路３４からＲ
ＯＭ３７のアドレス信号の残りの４ビットが供給され
る。ＲＯＭ３７には、予め画像メモリ１２−１〜１２−
３の選択に関する選択データが格納されており、５ビッ
トのアドレス信号により指定されたアドレスから読み出
された選択データは、２ビットの入力画像メモリ選択信
号と、２ビットの探索画像メモリ選択信号と、２ビット
の参照画像メモリ選択信号として出力される。入力画像
メモリ選択信号は、画像メモリ１２−１〜１２−３のう
ちどの画像メモリを入力画像データを格納する入力画像
メモリとして使用するかを決定する。同様に、探索画像
メモリ選択信号は、画像メモリ１２−１〜１２−３のう
ちどの画像メモリを探索画像データを格納する探索画像
メモリとして使用するかを決定し、参照画像メモリ選択
信号は、画像メモリ１２−１〜１２−３のうちどの画像
メモリを参照画像データを格納する参照画像メモリとし
て使用するかを決定する。
【００３３】２ビットの入力画像メモリ選択信号と２ビ
ットの探索画像メモリ選択信号とは、ラッチ回路３４を
介してＲＯＭ３７に上記アドレス信号の残りの４ビット
として供給される。又、２ビットの入力画像メモリ選択
信号はセレクタ１１に供給され、２ビットの探索画像メ
モリ選択信号はアドレスセレクタ１５及びセレクタ１８
に供給され、２ビットの参照画像メモリ選択信号はアド
レスセレクタ１６及びセレクタ１７に供給される。
ットの探索画像メモリ選択信号とは、ラッチ回路３４を
介してＲＯＭ３７に上記アドレス信号の残りの４ビット
として供給される。又、２ビットの入力画像メモリ選択
信号はセレクタ１１に供給され、２ビットの探索画像メ
モリ選択信号はアドレスセレクタ１５及びセレクタ１８
に供給され、２ビットの参照画像メモリ選択信号はアド
レスセレクタ１６及びセレクタ１７に供給される。
【００３４】図５は、ＲＯＭ３７に供給される５ビット
のアドレス信号を示す図である。同図に示すように、ア
ドレス信号はビットＡ０〜Ａ４からなる。ビットＡ０
は、フリップフロップ３６からの信号に対応している。
又、ビットＡ１，Ａ２は、ラッチ回路３４を介して得ら
れる２ビットの探索画像メモリ選択信号に対応してお
り、ビットＡ３，Ａ４は、ラッチ回路３４を介して得ら
れる２ビットの入力画像メモリ選択信号に対応してい
る。ビットＡ０が「０」か「１」かに応じて、参照画像
メモリ以外の２つの画像メモリへ交互に画像を入力する
ように画像メモリ１２−１〜１２−３の切り換えが行わ
れる。
のアドレス信号を示す図である。同図に示すように、ア
ドレス信号はビットＡ０〜Ａ４からなる。ビットＡ０
は、フリップフロップ３６からの信号に対応している。
又、ビットＡ１，Ａ２は、ラッチ回路３４を介して得ら
れる２ビットの探索画像メモリ選択信号に対応してお
り、ビットＡ３，Ａ４は、ラッチ回路３４を介して得ら
れる２ビットの入力画像メモリ選択信号に対応してい
る。ビットＡ０が「０」か「１」かに応じて、参照画像
メモリ以外の２つの画像メモリへ交互に画像を入力する
ように画像メモリ１２−１〜１２−３の切り換えが行わ
れる。
【００３５】図６は、ＲＯＭ３７に供給される５ビット
のアドレス信号（ＲＯＭアドレス）の値と、ＲＯＭアド
レスに応じてＲＯＭ３７から読み出される選択データ、
即ち、２ビットの入力画像メモリ選択信号、２ビットの
探索画像メモリ選択信号及び２ビットの参照画像メモリ
選択信号の値との関係を示す図である。例えば、ＲＯＭ
アドレスの値が「２」の場合、入力画像メモリ選択信号
の値が「２」、探索画像メモリ選択信号の値が「０」、
参照画像メモリ選択信号の値が「１」である。この例で
は、画像メモリ選択信号の値が「０」のときに画像メモ
リ１２−１が選択され、「１」のときに画像メモリ１２
−２が選択され、「２」のときに画像メモリ１２−３が
選択される。従って、ＲＯＭアドレスが「２」の場合
は、画像メモリ１２−３が入力画像メモリとして選択さ
れ、画像メモリ１２−１が探索画像メモリとして選択さ
れ、画像メモリ１２−２が参照画像メモリとして選択さ
れる。つまり、図３のセレクタ１１は、入力画像メモリ
選択信号の値が「０」、「１」又は「２」であるかに応
じて画像データを画像メモリ１２−１、１２−２又は１
２−３に選択的に供給する。尚、図６は言うまでもなく
全ての関係を示すものではなく、一部分のみを示すもの
である。
のアドレス信号（ＲＯＭアドレス）の値と、ＲＯＭアド
レスに応じてＲＯＭ３７から読み出される選択データ、
即ち、２ビットの入力画像メモリ選択信号、２ビットの
探索画像メモリ選択信号及び２ビットの参照画像メモリ
選択信号の値との関係を示す図である。例えば、ＲＯＭ
アドレスの値が「２」の場合、入力画像メモリ選択信号
の値が「２」、探索画像メモリ選択信号の値が「０」、
参照画像メモリ選択信号の値が「１」である。この例で
は、画像メモリ選択信号の値が「０」のときに画像メモ
リ１２−１が選択され、「１」のときに画像メモリ１２
−２が選択され、「２」のときに画像メモリ１２−３が
選択される。従って、ＲＯＭアドレスが「２」の場合
は、画像メモリ１２−３が入力画像メモリとして選択さ
れ、画像メモリ１２−１が探索画像メモリとして選択さ
れ、画像メモリ１２−２が参照画像メモリとして選択さ
れる。つまり、図３のセレクタ１１は、入力画像メモリ
選択信号の値が「０」、「１」又は「２」であるかに応
じて画像データを画像メモリ１２−１、１２−２又は１
２−３に選択的に供給する。尚、図６は言うまでもなく
全ての関係を示すものではなく、一部分のみを示すもの
である。
【００３６】図３のアドレスセレクタ１５は、探索画像
アドレス発生器２１から発生された１８ビットの探索画
像アドレスを、メモリ選択器１９からの探索画像メモリ
選択信号に基づいて、画像メモリ１２−１〜１２−３の
うち探索画像メモリとして選択された画像メモリに供給
する。又、アドレスセレクタ１６は、参照画像アドレス
発生器２０から発生された１８ビットの参照画像アドレ
スを、メモリ選択器１９からの参照画像メモリ選択信号
に基づいて、画像メモリ１２−１〜１２−３のうち参照
画像メモリとして選択された画像メモリに供給する。
アドレス発生器２１から発生された１８ビットの探索画
像アドレスを、メモリ選択器１９からの探索画像メモリ
選択信号に基づいて、画像メモリ１２−１〜１２−３の
うち探索画像メモリとして選択された画像メモリに供給
する。又、アドレスセレクタ１６は、参照画像アドレス
発生器２０から発生された１８ビットの参照画像アドレ
スを、メモリ選択器１９からの参照画像メモリ選択信号
に基づいて、画像メモリ１２−１〜１２−３のうち参照
画像メモリとして選択された画像メモリに供給する。
【００３７】画像メモリ１２−１〜１２−３から読み出
された画像データは、セレクタ１７，１８の各々に供給
される。上述の如く、セレクタ１７にはメモリ選択器１
９からの探索画像メモリ選択信号が供給され、セレクタ
１９にはメモリ選択器１９からの参照画像メモリ選択信
号が供給されている。従って、セレクタ１７，１８は、
画像メモリ１２−１〜１２−３から読み出された画像デ
ータのうち、探索画像データ及び参照画像データのみを
選択して相関演算回路７２に供給する。相関演算回路７
２は、相関演算処理を行って相関値を求める。相関値
は、相関演算回路７２から相関値累積回路７５を介して
最小値検出回路７４に供給され、最小値検出回路７４で
相関値の最小値が検出される。最小値検出回路７４は、
最小値、即ち、ピーク位置を示す１８ビットのピーク位
置アドレスを出力するので、このピーク位置アドレスに
基づいて撮像画面内の所定物体を実時間で追跡すること
ができる。尚、最小値検出回路７４から出力される１８
ビットのピーク位置アドレスは、後述するように制御レ
ジスタ７３に格納され、制御バス５を介して制御計算機
６からリード・ライト可能である。制御計算機６により
制御レジスタ７３からリードされたピーク位置アドレス
は、制御バス５を介して参照画像アドレス発生器２０及
び探索画像アドレス発生器２１に供給される。
された画像データは、セレクタ１７，１８の各々に供給
される。上述の如く、セレクタ１７にはメモリ選択器１
９からの探索画像メモリ選択信号が供給され、セレクタ
１９にはメモリ選択器１９からの参照画像メモリ選択信
号が供給されている。従って、セレクタ１７，１８は、
画像メモリ１２−１〜１２−３から読み出された画像デ
ータのうち、探索画像データ及び参照画像データのみを
選択して相関演算回路７２に供給する。相関演算回路７
２は、相関演算処理を行って相関値を求める。相関値
は、相関演算回路７２から相関値累積回路７５を介して
最小値検出回路７４に供給され、最小値検出回路７４で
相関値の最小値が検出される。最小値検出回路７４は、
最小値、即ち、ピーク位置を示す１８ビットのピーク位
置アドレスを出力するので、このピーク位置アドレスに
基づいて撮像画面内の所定物体を実時間で追跡すること
ができる。尚、最小値検出回路７４から出力される１８
ビットのピーク位置アドレスは、後述するように制御レ
ジスタ７３に格納され、制御バス５を介して制御計算機
６からリード・ライト可能である。制御計算機６により
制御レジスタ７３からリードされたピーク位置アドレス
は、制御バス５を介して参照画像アドレス発生器２０及
び探索画像アドレス発生器２１に供給される。
【００３８】図７は、探索画像アドレス発生器２１の一
実施例を示すブロック図である。同図中、探索画像アド
レス発生器２１は、定数ＲＯＭ４１，４３，４７，４９
と、加算器４２，４６，４８，５２と、Ｘアドレスカウ
ンタ４４と、コンパレータ４５，５１と、Ｙアドレスカ
ウンタ５０とからなる。
実施例を示すブロック図である。同図中、探索画像アド
レス発生器２１は、定数ＲＯＭ４１，４３，４７，４９
と、加算器４２，４６，４８，５２と、Ｘアドレスカウ
ンタ４４と、コンパレータ４５，５１と、Ｙアドレスカ
ウンタ５０とからなる。
【００３９】定数ＲＯＭ４１には、予め９ビットのＸア
ドレス最小値（オフセット値）が格納されている。加算
器４２は、図３の制御バス５からの１８ビットのピーク
位置アドレスのうち、画像データのＸアドレスに関する
９ビットと定数ＲＯＭ４１から読み出された９ビットの
Ｘアドレス最小値とを加算して、９ビットの加算値を加
算器４６に供給する。Ｘアドレスカウンタ４４は、画像
データバス３のピクセルクロック信号線から得られるピ
クセルクロックをカウントして、９ビットのカウント値
を加算器４６及びコンパレータ４５に供給する。ピクセ
ルクロックは、画像データを構成する各ピクセル（画
素）に対応して発生されるクロック信号である。
ドレス最小値（オフセット値）が格納されている。加算
器４２は、図３の制御バス５からの１８ビットのピーク
位置アドレスのうち、画像データのＸアドレスに関する
９ビットと定数ＲＯＭ４１から読み出された９ビットの
Ｘアドレス最小値とを加算して、９ビットの加算値を加
算器４６に供給する。Ｘアドレスカウンタ４４は、画像
データバス３のピクセルクロック信号線から得られるピ
クセルクロックをカウントして、９ビットのカウント値
を加算器４６及びコンパレータ４５に供給する。ピクセ
ルクロックは、画像データを構成する各ピクセル（画
素）に対応して発生されるクロック信号である。
【００４０】他方、定数ＲＯＭ４３には、予めＸサイズ
が９ビットで格納されている。このＸサイズは、探索ブ
ロックのＸ方向のサイズ（大きさ）を示す。コンパレー
タ４５は、定数ＲＯＭ４３から読み出されたＸサイズと
Ｘアドレスカウンタ４４からのカウント値とを比較し
て、一致すると一致信号を出力する。この一致信号は、
Ｘアドレスカウンタ４４のクリア端子に供給されてこれ
をクリアすると共に、Ｙアドレスカウンタ５０にも供給
される。
が９ビットで格納されている。このＸサイズは、探索ブ
ロックのＸ方向のサイズ（大きさ）を示す。コンパレー
タ４５は、定数ＲＯＭ４３から読み出されたＸサイズと
Ｘアドレスカウンタ４４からのカウント値とを比較し
て、一致すると一致信号を出力する。この一致信号は、
Ｘアドレスカウンタ４４のクリア端子に供給されてこれ
をクリアすると共に、Ｙアドレスカウンタ５０にも供給
される。
【００４１】Ｙアドレスカウンタ５０は、一致信号をカ
ウントして、９ビットのカウント値を加算器５２及びコ
ンパレータ５１に供給する。定数ＲＯＭ４７には、予め
９ビットのＹアドレス最小値（オフセット値）が格納さ
れている。加算器４８は、図３の制御バス５からの１８
ビットのピーク位置アドレスのうち、画像データのＹア
ドレスに関する９ビットと定数ＲＯＭ４７から読み出さ
れた９ビットのＹアドレス最小値とを加算して、９ビッ
トの加算値を加算器５２に供給する。定数ＲＯＭ４９に
は、予めＹサイズが９ビットで格納されている。このＹ
サイズは、探索ブロックのＹ方向のサイズ（大きさ）を
示す。コンパレータ５１は、定数ＲＯＭ４９から読み出
されたＹサイズとＹアドレスカウンタ５０からのカウン
ト値とを比較して、一致すると一致信号を出力する。こ
の一致信号は、Ｙアドレスカウンタ５０のクリア端子に
供給されてこれをクリアする。
ウントして、９ビットのカウント値を加算器５２及びコ
ンパレータ５１に供給する。定数ＲＯＭ４７には、予め
９ビットのＹアドレス最小値（オフセット値）が格納さ
れている。加算器４８は、図３の制御バス５からの１８
ビットのピーク位置アドレスのうち、画像データのＹア
ドレスに関する９ビットと定数ＲＯＭ４７から読み出さ
れた９ビットのＹアドレス最小値とを加算して、９ビッ
トの加算値を加算器５２に供給する。定数ＲＯＭ４９に
は、予めＹサイズが９ビットで格納されている。このＹ
サイズは、探索ブロックのＹ方向のサイズ（大きさ）を
示す。コンパレータ５１は、定数ＲＯＭ４９から読み出
されたＹサイズとＹアドレスカウンタ５０からのカウン
ト値とを比較して、一致すると一致信号を出力する。こ
の一致信号は、Ｙアドレスカウンタ５０のクリア端子に
供給されてこれをクリアする。
【００４２】このようにして、加算器４６からは探索画
像アドレスの９ビットの下位アドレスが得られ、加算器
５２からは探索画像アドレスの９ビットの上位アドレス
が得られる。加算器４６，５２からの合計１８ビットの
探索画像アドレスは、図３のアドレスセレクタ１５に供
給される。
像アドレスの９ビットの下位アドレスが得られ、加算器
５２からは探索画像アドレスの９ビットの上位アドレス
が得られる。加算器４６，５２からの合計１８ビットの
探索画像アドレスは、図３のアドレスセレクタ１５に供
給される。
【００４３】図８は、参照画像アドレス発生器２０の一
実施例を示すブロック図である。同図中、参照画像アド
レス発生器２０は、ラッチ回路５５と、定数ＲＯＭ５
６，５８，６２，６４と、セレクタ５７，６３と、Ｘア
ドレスカウンタ５９と、コンパレータ６０，６６と、Ｙ
アドレスカウンタ６５と、加算器６１，６７とからな
る。
実施例を示すブロック図である。同図中、参照画像アド
レス発生器２０は、ラッチ回路５５と、定数ＲＯＭ５
６，５８，６２，６４と、セレクタ５７，６３と、Ｘア
ドレスカウンタ５９と、コンパレータ６０，６６と、Ｙ
アドレスカウンタ６５と、加算器６１，６７とからな
る。
【００４４】ラッチ回路５５には、図３のメモリ選択器
１９からの切り換えパルスが供給され、このラッチ回路
５５の出力はセレクタ５７，６３に供給される。定数Ｒ
ＯＭ５６には、予め９ビットのＸアドレス最小値が格納
されている。又、定数ＲＯＭ６２には、予め９ビットの
Ｙアドレス最小値が格納されている。セレクタ５７に
は、図３の制御バス５からの１８ビットのピーク位置ア
ドレスのうち、画像データのＸアドレスに関する９ビッ
トが供給される。又、セレクタ６３には、制御バス５か
らの１８ビットのピーク位置アドレスのうち、画像デー
タのＹアドレスに関する９ビットが供給される。セレク
タ５７は、定数ＲＯＭ５６からのＸアドレス最小値とピ
ーク位置アドレス中Ｘアドレスとのうち一方を、ラッチ
回路５５の出力に応じて加算器６１へ選択出力する。セ
レクタ６３は、定数ＲＯＭ６２からのＹアドレス最小値
とピーク位置アドレス中Ｙアドレスとのうち一方を、ラ
ッチ回路５５の出力に応じて加算器６７へ選択出力す
る。
１９からの切り換えパルスが供給され、このラッチ回路
５５の出力はセレクタ５７，６３に供給される。定数Ｒ
ＯＭ５６には、予め９ビットのＸアドレス最小値が格納
されている。又、定数ＲＯＭ６２には、予め９ビットの
Ｙアドレス最小値が格納されている。セレクタ５７に
は、図３の制御バス５からの１８ビットのピーク位置ア
ドレスのうち、画像データのＸアドレスに関する９ビッ
トが供給される。又、セレクタ６３には、制御バス５か
らの１８ビットのピーク位置アドレスのうち、画像デー
タのＹアドレスに関する９ビットが供給される。セレク
タ５７は、定数ＲＯＭ５６からのＸアドレス最小値とピ
ーク位置アドレス中Ｘアドレスとのうち一方を、ラッチ
回路５５の出力に応じて加算器６１へ選択出力する。セ
レクタ６３は、定数ＲＯＭ６２からのＹアドレス最小値
とピーク位置アドレス中Ｙアドレスとのうち一方を、ラ
ッチ回路５５の出力に応じて加算器６７へ選択出力す
る。
【００４５】Ｘアドレスカウンタ５９は、画像データバ
ス３のピクセルクロック信号線から得られるピクセルク
ロックをカウントして、９ビットのカウント値を加算器
６１及びコンパレータ６０に供給する。他方、定数ＲＯ
Ｍ５８には、予めＸサイズが９ビットで格納されてい
る。このＸサイズは、参照ブロックのＸ方向のサイズ
（大きさ）を示す。コンパレータ６０は、定数ＲＯＭ５
８から読み出されたＸサイズとＸアドレスカウンタ５９
からのカウント値とを比較して、一致すると一致信号を
出力する。この一致信号は、Ｘアドレスカウンタ５９の
クリア端子に供給されてこれをクリアすると共に、Ｙア
ドレスカウンタ６５にも供給される。
ス３のピクセルクロック信号線から得られるピクセルク
ロックをカウントして、９ビットのカウント値を加算器
６１及びコンパレータ６０に供給する。他方、定数ＲＯ
Ｍ５８には、予めＸサイズが９ビットで格納されてい
る。このＸサイズは、参照ブロックのＸ方向のサイズ
（大きさ）を示す。コンパレータ６０は、定数ＲＯＭ５
８から読み出されたＸサイズとＸアドレスカウンタ５９
からのカウント値とを比較して、一致すると一致信号を
出力する。この一致信号は、Ｘアドレスカウンタ５９の
クリア端子に供給されてこれをクリアすると共に、Ｙア
ドレスカウンタ６５にも供給される。
【００４６】Ｙアドレスカウンタ６５は、一致信号をカ
ウントして、９ビットのカウント値を加算器６７及びコ
ンパレータ６６に供給する。定数ＲＯＭ６４には、予め
Ｙサイズが９ビットで格納されている。このＹサイズ
は、参照ブロックのＹ方向のサイズ（大きさ）を示す。
コンパレータ６６は、定数ＲＯＭ６４から読み出された
ＹサイズとＹアドレスカウンタ６５からのカウント値と
を比較して、一致すると一致信号を出力する。この一致
信号は、Ｙアドレスカウンタ６５のクリア端子に供給さ
れてこれをクリアする。
ウントして、９ビットのカウント値を加算器６７及びコ
ンパレータ６６に供給する。定数ＲＯＭ６４には、予め
Ｙサイズが９ビットで格納されている。このＹサイズ
は、参照ブロックのＹ方向のサイズ（大きさ）を示す。
コンパレータ６６は、定数ＲＯＭ６４から読み出された
ＹサイズとＹアドレスカウンタ６５からのカウント値と
を比較して、一致すると一致信号を出力する。この一致
信号は、Ｙアドレスカウンタ６５のクリア端子に供給さ
れてこれをクリアする。
【００４７】このようにして、加算器６１からは参照画
像アドレスの９ビットの下位アドレスが得られ、加算器
６７からは参照画像アドレスの９ビットの上位アドレス
が得られる。加算器６１，６７からの合計１８ビットの
参照画像アドレスは、図３のアドレスセレクタ１６に供
給される。
像アドレスの９ビットの下位アドレスが得られ、加算器
６７からは参照画像アドレスの９ビットの上位アドレス
が得られる。加算器６１，６７からの合計１８ビットの
参照画像アドレスは、図３のアドレスセレクタ１６に供
給される。
【００４８】上記の如く、本実施例では、参照ブロック
を固定して入力画像に対して追跡処理を行う場合、参照
画像用に選択した画像メモリ以外の画像メモリの１つを
探索画像用として選択し、残りの１つを入力画像用とし
て選択する。相関演算回路７２での相関演算は、入力を
完了している最新の入力画像を探索ブロックとして使用
する。又、現フレームで探索画像メモリとして使用した
画像メモリを次のフレーム以降では参照画像メモリとし
て使用することにより、参照ブロックの更新を行うこと
ができる。参照ブロックの更新直後のフレームでは、そ
の前のフレームで画像入力メモリとして使用していた画
像メモリを探索画像メモリとして使用し、前のフレーム
までは参照画像メモリとして使用していた画像メモリを
入力画像メモリとして使用する。これにより、３つの画
像メモリ１２−１〜１２−３を切り換えて使用すること
により、毎フレームでの追跡処理、毎フレームでの探索
ブロック入力及び任意フレーム間隔での参照ブロックの
更新を可能とするものである。
を固定して入力画像に対して追跡処理を行う場合、参照
画像用に選択した画像メモリ以外の画像メモリの１つを
探索画像用として選択し、残りの１つを入力画像用とし
て選択する。相関演算回路７２での相関演算は、入力を
完了している最新の入力画像を探索ブロックとして使用
する。又、現フレームで探索画像メモリとして使用した
画像メモリを次のフレーム以降では参照画像メモリとし
て使用することにより、参照ブロックの更新を行うこと
ができる。参照ブロックの更新直後のフレームでは、そ
の前のフレームで画像入力メモリとして使用していた画
像メモリを探索画像メモリとして使用し、前のフレーム
までは参照画像メモリとして使用していた画像メモリを
入力画像メモリとして使用する。これにより、３つの画
像メモリ１２−１〜１２−３を切り換えて使用すること
により、毎フレームでの追跡処理、毎フレームでの探索
ブロック入力及び任意フレーム間隔での参照ブロックの
更新を可能とするものである。
【００４９】次に、図２に戻って相関演算回路７２の出
力する相関値を処理する回路部分の説明をする。同図
中、相関累積回路７５は、相関演算回路７２の出力する
相関値と、前回の演算処理で相関演算回路７２から出力
された相関値とを、後述する制御レジスタ７３からの制
御信号に応じて累積（加算）する。相関演算回路７２が
例えば８画素×８画素の参照ブロックに対する相関演算
を実施できるものとすると、図９に示すように４つの位
置で実施した相関演算結果を累積すれば、等価的に１６
画素×１６画素の参照ブロックに対する相関演算結果を
得ることができる。このように、相関演算結果に対して
同様の累積処理を複数回繰り返すことにより、８・ａ画
素×８・ｂ画素（ａ，ｂ＝１，２，３，．．．）の参照
ブロックに対する追跡処理を行うことができる。
力する相関値を処理する回路部分の説明をする。同図
中、相関累積回路７５は、相関演算回路７２の出力する
相関値と、前回の演算処理で相関演算回路７２から出力
された相関値とを、後述する制御レジスタ７３からの制
御信号に応じて累積（加算）する。相関演算回路７２が
例えば８画素×８画素の参照ブロックに対する相関演算
を実施できるものとすると、図９に示すように４つの位
置で実施した相関演算結果を累積すれば、等価的に１６
画素×１６画素の参照ブロックに対する相関演算結果を
得ることができる。このように、相関演算結果に対して
同様の累積処理を複数回繰り返すことにより、８・ａ画
素×８・ｂ画素（ａ，ｂ＝１，２，３，．．．）の参照
ブロックに対する追跡処理を行うことができる。
【００５０】最小値検出回路７４は、相関値累積回路７
５を介して得られる相関値の最小値（以下、最小相関値
と言う）及び動きベクトルを求め、制御レジスタ７３に
格納する。制御レジスタ７３は、相関値累積回路７５に
おいて相関値の累積を行うか否かを示す値を有する累積
指示ビットも格納し、この累積指示ビットが上記制御信
号として相関値累積回路７５に供給される。制御レジス
タ７３内の情報は、制御バス５を介して制御計算機６に
よりリード・ライト可能である。相関値累積回路７５
は、相関演算回路７２から出力される相関値と、相関値
メモリ回路７６に格納されている前回の相関値とを累積
し、その累積結果である相関値を最小値検出回路７４及
び相関値メモリ回路７６に供給する。相関値メモリ回路
７６に供給された相関値は、相関値メモリ回路７６に格
納され、次の相関値が相関演算回路７２から出力されて
相関値累積回路７５に供給されるとリードされて前回の
相関値として相関値累積回路７５に供給される。
５を介して得られる相関値の最小値（以下、最小相関値
と言う）及び動きベクトルを求め、制御レジスタ７３に
格納する。制御レジスタ７３は、相関値累積回路７５に
おいて相関値の累積を行うか否かを示す値を有する累積
指示ビットも格納し、この累積指示ビットが上記制御信
号として相関値累積回路７５に供給される。制御レジス
タ７３内の情報は、制御バス５を介して制御計算機６に
よりリード・ライト可能である。相関値累積回路７５
は、相関演算回路７２から出力される相関値と、相関値
メモリ回路７６に格納されている前回の相関値とを累積
し、その累積結果である相関値を最小値検出回路７４及
び相関値メモリ回路７６に供給する。相関値メモリ回路
７６に供給された相関値は、相関値メモリ回路７６に格
納され、次の相関値が相関演算回路７２から出力されて
相関値累積回路７５に供給されるとリードされて前回の
相関値として相関値累積回路７５に供給される。
【００５１】図１０は、８画素×８画素の参照ブロック
を用いた場合の相関演算回路７２の相関演算及び動きベ
クトル（ｕ，ｖ）を説明する図である。同図中、（ａ）
は８画素×８画素の参照ブロック（テンプレート）を示
し、（ｂ）は−８〜＋７の探索範囲をカバーする２３画
素×２３画素の探索ブロックを示し、（ｃ）は（ｂ）に
示す探索ブロック内で（ａ）に示す参照ブロックを動か
す場合の動きベクトル（ｕ，ｖ）と共に−８〜＋７の探
索範囲を表現する１６画素×１６画素の相関値配列を示
す。
を用いた場合の相関演算回路７２の相関演算及び動きベ
クトル（ｕ，ｖ）を説明する図である。同図中、（ａ）
は８画素×８画素の参照ブロック（テンプレート）を示
し、（ｂ）は−８〜＋７の探索範囲をカバーする２３画
素×２３画素の探索ブロックを示し、（ｃ）は（ｂ）に
示す探索ブロック内で（ａ）に示す参照ブロックを動か
す場合の動きベクトル（ｕ，ｖ）と共に−８〜＋７の探
索範囲を表現する１６画素×１６画素の相関値配列を示
す。
【００５２】図１１は、１６画素×１６画素の参照ブロ
ックを用いた場合の相関演算回路７２の相関演算及び動
きベクトル（ｕ，ｖ）を説明する図である。同図中、
（ａ）は１６画素×１６画素の参照ブロック（テンプレ
ート）を示し、（ｂ）は−８〜＋７の探索範囲をカバー
する３１画素×３１画素の探索ブロックを示し、（ｃ）
は（ｂ）に示す探索ブロック内で（ａ）に示す参照ブロ
ックを動かす場合の動きベクトル（ｕ，ｖ）と共に−８
〜＋７の探索範囲を表現する１６画素×１６画素の相関
値配列を示す。
ックを用いた場合の相関演算回路７２の相関演算及び動
きベクトル（ｕ，ｖ）を説明する図である。同図中、
（ａ）は１６画素×１６画素の参照ブロック（テンプレ
ート）を示し、（ｂ）は−８〜＋７の探索範囲をカバー
する３１画素×３１画素の探索ブロックを示し、（ｃ）
は（ｂ）に示す探索ブロック内で（ａ）に示す参照ブロ
ックを動かす場合の動きベクトル（ｕ，ｖ）と共に−８
〜＋７の探索範囲を表現する１６画素×１６画素の相関
値配列を示す。
【００５３】次に、図２に示す相関演算回路７２の相関
演算処理及び相関値累積回路７５の累積処理により、８
画素×８画素の参照ブロック（テンプレート）を用いた
相関演算結果が累積されて１６画素×１６画素の参照ブ
ロックが等価的に実現されるメカニズムを図１２〜図１
５と共に説明する。図１２〜図１５中、（ａ）は８画素
×８画素の参照ブロックを右下がりのハッチングで示
し、（ｂ）は２３画素×２３画素の探索ブロックを左下
がりのハッチングで示す。
演算処理及び相関値累積回路７５の累積処理により、８
画素×８画素の参照ブロック（テンプレート）を用いた
相関演算結果が累積されて１６画素×１６画素の参照ブ
ロックが等価的に実現されるメカニズムを図１２〜図１
５と共に説明する。図１２〜図１５中、（ａ）は８画素
×８画素の参照ブロックを右下がりのハッチングで示
し、（ｂ）は２３画素×２３画素の探索ブロックを左下
がりのハッチングで示す。
【００５４】図１２（ａ）は、相関演算回路７２の１回
目の相関演算処理の際に用いられる８画素×８画素の参
照ブロックをハッチングで示し、同図（ｂ）はこの場合
の２３画素×２３画素の探索ブロックをハッチングで示
す。この１回目の相関演算処理により得られる相関値に
対しては、前回の相関演算処理で求めた相関値が存在し
ないので、相関値累積回路７５は制御レジスタ７３から
の制御信号に応答して相関値の累積処理を行わない。
目の相関演算処理の際に用いられる８画素×８画素の参
照ブロックをハッチングで示し、同図（ｂ）はこの場合
の２３画素×２３画素の探索ブロックをハッチングで示
す。この１回目の相関演算処理により得られる相関値に
対しては、前回の相関演算処理で求めた相関値が存在し
ないので、相関値累積回路７５は制御レジスタ７３から
の制御信号に応答して相関値の累積処理を行わない。
【００５５】次に、相関演算回路７２の２回目の相関演
算処理の際には、図１３（ａ）にハッチングで示す８画
素×８画素の参照ブロックを用いる。同図（ｂ）はこの
場合の２３画素×２３画素の探索ブロックをハッチング
で示す。この２回目の相関演算処理により得られる相関
値に対しては、１回目の相関演算処理で求めた相関値が
存在するので、相関値累積回路７５は制御レジスタ７３
からの制御信号に応答して相関値の累積処理を行う。
算処理の際には、図１３（ａ）にハッチングで示す８画
素×８画素の参照ブロックを用いる。同図（ｂ）はこの
場合の２３画素×２３画素の探索ブロックをハッチング
で示す。この２回目の相関演算処理により得られる相関
値に対しては、１回目の相関演算処理で求めた相関値が
存在するので、相関値累積回路７５は制御レジスタ７３
からの制御信号に応答して相関値の累積処理を行う。
【００５６】相関演算回路７２の３回目の相関演算処理
の際には、図１４（ａ）にハッチングで示す８画素×８
画素の参照ブロックを用いる。同図（ｂ）はこの場合の
２３画素×２３画素の探索ブロックをハッチングで示
す。この３回目の相関演算処理により得られる相関値に
対しては、２回目の相関演算処理で求めた相関値が存在
するので、相関値累積回路７５は制御レジスタ７３から
の制御信号に応答して相関値の累積処理を行う。
の際には、図１４（ａ）にハッチングで示す８画素×８
画素の参照ブロックを用いる。同図（ｂ）はこの場合の
２３画素×２３画素の探索ブロックをハッチングで示
す。この３回目の相関演算処理により得られる相関値に
対しては、２回目の相関演算処理で求めた相関値が存在
するので、相関値累積回路７５は制御レジスタ７３から
の制御信号に応答して相関値の累積処理を行う。
【００５７】更に、相関演算回路７２の４回目の相関演
算処理の際には、図１５（ａ）にハッチングで示す８画
素×８画素の参照ブロックを用いる。同図（ｂ）はこの
場合の２３画素×２３画素の探索ブロックをハッチング
で示す。この４回目の相関演算処理により得られる相関
値に対しては、３回目の相関演算処理で求めた相関値が
存在するので、相関値累積回路７５は制御レジスタ７３
からの制御信号に応答して相関値の累積処理を行う。
算処理の際には、図１５（ａ）にハッチングで示す８画
素×８画素の参照ブロックを用いる。同図（ｂ）はこの
場合の２３画素×２３画素の探索ブロックをハッチング
で示す。この４回目の相関演算処理により得られる相関
値に対しては、３回目の相関演算処理で求めた相関値が
存在するので、相関値累積回路７５は制御レジスタ７３
からの制御信号に応答して相関値の累積処理を行う。
【００５８】上記の如き累積処理により、８画素×８画
素の参照ブロックを用いて１６画素×１６画素の参照ブ
ロックを等価的に実現できる。このように、相関演算結
果に対して同様の累積処理を複数回繰り返すことによ
り、一般的には、ｍ画素×ｎ画素の参照ブロックを用い
て、等価的にａ・ｍ画素×ｂ・ｎ画素（ａ，ｂ＝１，
２，３，．．．）の参照ブロックに対する追跡処理を行
うことができる。
素の参照ブロックを用いて１６画素×１６画素の参照ブ
ロックを等価的に実現できる。このように、相関演算結
果に対して同様の累積処理を複数回繰り返すことによ
り、一般的には、ｍ画素×ｎ画素の参照ブロックを用い
て、等価的にａ・ｍ画素×ｂ・ｎ画素（ａ，ｂ＝１，
２，３，．．．）の参照ブロックに対する追跡処理を行
うことができる。
【００５９】図１６は、図２に示す相関値累積回路７５
及び相関値メモリ回路７６の構成の一実施例を示すブロ
ック図である。図１６中、相関値累積回路７５は、セレ
クタ７５１と加算器７５２とからなる。又、相関値メモ
リ回路７６は、アドレスカウンタ７６１と、フリップフ
ロップ回路７６２と、デュアル・ポート・メモリ７６３
とからなる。
及び相関値メモリ回路７６の構成の一実施例を示すブロ
ック図である。図１６中、相関値累積回路７５は、セレ
クタ７５１と加算器７５２とからなる。又、相関値メモ
リ回路７６は、アドレスカウンタ７６１と、フリップフ
ロップ回路７６２と、デュアル・ポート・メモリ７６３
とからなる。
【００６０】相関値累積回路７５のセレクタ７５１は、
固定値「０」と、相関値メモリ回路７６のデュアル・ポ
ート・メモリ７６３のリード端子ＲＤからリードされた
前回の相関演算処理により得られた相関値（リードデー
タ）とを供給され、どちらか一方を図２に示す制御レジ
スタ７３からの制御信号に応答して選択出力する。加算
器７５２は、セレクタ７５１からの選択出力と図２に示
す相関演算回路７２の出力する相関値とを加算して、加
算結果（ライトデータ）を相関値メモリ回路７６のデュ
アル・ポート・メモリ７６３のライト端子ＷＤに供給す
る。又、図示は省略するが、このライトデータは図２に
示す最小値検出回路７４にも供給される。相関値メモリ
回路７６のアドレスカウンタ７６１は、ピクセルクロッ
ク等を計数することによりデュアル・ポート・メモリ７
６３のライトアドレス及びリードアドレスを出力する。
アドレスカウンタ７６１からのライトアドレスは、タイ
ミングを例えば数ピクセルクロック分遅らせるためのフ
リップフロップ７６２を介してデュアル・ポート・メモ
リ７６３のライトアドレス端子ＷＡに供給される。他
方、アドレスカウンタ７６１からのリードアドレスは、
直接デュアル・ポート・メモリ７６３のリードアドレス
端子ＲＡに供給される。
固定値「０」と、相関値メモリ回路７６のデュアル・ポ
ート・メモリ７６３のリード端子ＲＤからリードされた
前回の相関演算処理により得られた相関値（リードデー
タ）とを供給され、どちらか一方を図２に示す制御レジ
スタ７３からの制御信号に応答して選択出力する。加算
器７５２は、セレクタ７５１からの選択出力と図２に示
す相関演算回路７２の出力する相関値とを加算して、加
算結果（ライトデータ）を相関値メモリ回路７６のデュ
アル・ポート・メモリ７６３のライト端子ＷＤに供給す
る。又、図示は省略するが、このライトデータは図２に
示す最小値検出回路７４にも供給される。相関値メモリ
回路７６のアドレスカウンタ７６１は、ピクセルクロッ
ク等を計数することによりデュアル・ポート・メモリ７
６３のライトアドレス及びリードアドレスを出力する。
アドレスカウンタ７６１からのライトアドレスは、タイ
ミングを例えば数ピクセルクロック分遅らせるためのフ
リップフロップ７６２を介してデュアル・ポート・メモ
リ７６３のライトアドレス端子ＷＡに供給される。他
方、アドレスカウンタ７６１からのリードアドレスは、
直接デュアル・ポート・メモリ７６３のリードアドレス
端子ＲＡに供給される。
【００６１】次に、本発明になる局所領域画像追跡装置
の第２実施例を説明する。第２実施例の概略構成は、図
１に示すブロック図と同一であるため、その図示及び説
明は省略する。第２実施例では、相関追跡処理装置４−
１の構成が上記第１実施例の場合と異なる。図１７は、
第２実施例における相関追跡処理装置４−１の一実施例
を示すブロック図である。図１７中、図２と同一部分に
は同一符号を付し、その説明は省略する。
の第２実施例を説明する。第２実施例の概略構成は、図
１に示すブロック図と同一であるため、その図示及び説
明は省略する。第２実施例では、相関追跡処理装置４−
１の構成が上記第１実施例の場合と異なる。図１７は、
第２実施例における相関追跡処理装置４−１の一実施例
を示すブロック図である。図１７中、図２と同一部分に
は同一符号を付し、その説明は省略する。
【００６２】図１７に示すように、本実施例では、カラ
ー画像に対する相関演算処理を可能とするために、画像
フロー制御回路７１と相関値演算回路７２との間にビッ
ト変換回路７８が設けられている。ビット変換回路７８
は、制御デジスタ７３からのビット変換指示信号に基づ
いて、画像フロー制御回路７１から得られるカラー画像
データに対してビット変換処理を施す。
ー画像に対する相関演算処理を可能とするために、画像
フロー制御回路７１と相関値演算回路７２との間にビッ
ト変換回路７８が設けられている。ビット変換回路７８
は、制御デジスタ７３からのビット変換指示信号に基づ
いて、画像フロー制御回路７１から得られるカラー画像
データに対してビット変換処理を施す。
【００６３】図１８は、ビット変換回路７８の一実施例
を示す図である。説明の便宜上、カラー画像データが２
４ビットのＲＧＢ信号とすると、３対１セレクタ７８１
は、ＲＧＢ信号の上位８ビット、中位８ビット及び下位
８ビットのいずれかの８ビットを図１７に示す相関演算
回路７２に対して選択出力する構成となっている。この
場合、相関演算回路７２は、先ずＲ信号（Ｒに関する画
像データ）を選択してこのＲ信号に対して相関演算処理
を行う。Ｒ信号に対する相関値に対しては、相関値累積
回路７５は累積処理を行わない。次に、相関演算回路７
２はＧ信号（Ｇに関する画像データ）を選択してこのＧ
信号に対して相関演算処理を行う。Ｇ信号に対する相関
値に対しては、相関値累積回路７５においてＲ信号に対
する相関値を累積する。更に、相関演算回路７２はＢ信
号（Ｂに関する画像データ）を選択してこのＢ信号に対
して相関演算処理を行う。Ｂ信号に対する相関値に対し
ては、相関値累積回路７５においてＲ，Ｇ信号に対する
累積された相関値を累積する。このように、計３回の相
関演算処理を同じ参照画像位置及び探索画像位置に対し
て行うことにより、カラー画像内の動きに対する追跡処
理を実現することができる。
を示す図である。説明の便宜上、カラー画像データが２
４ビットのＲＧＢ信号とすると、３対１セレクタ７８１
は、ＲＧＢ信号の上位８ビット、中位８ビット及び下位
８ビットのいずれかの８ビットを図１７に示す相関演算
回路７２に対して選択出力する構成となっている。この
場合、相関演算回路７２は、先ずＲ信号（Ｒに関する画
像データ）を選択してこのＲ信号に対して相関演算処理
を行う。Ｒ信号に対する相関値に対しては、相関値累積
回路７５は累積処理を行わない。次に、相関演算回路７
２はＧ信号（Ｇに関する画像データ）を選択してこのＧ
信号に対して相関演算処理を行う。Ｇ信号に対する相関
値に対しては、相関値累積回路７５においてＲ信号に対
する相関値を累積する。更に、相関演算回路７２はＢ信
号（Ｂに関する画像データ）を選択してこのＢ信号に対
して相関演算処理を行う。Ｂ信号に対する相関値に対し
ては、相関値累積回路７５においてＲ，Ｇ信号に対する
累積された相関値を累積する。このように、計３回の相
関演算処理を同じ参照画像位置及び探索画像位置に対し
て行うことにより、カラー画像内の動きに対する追跡処
理を実現することができる。
【００６４】図１９は、ビット変換回路７８の他の実施
例を示す図である。説明の便宜上、カラー画像データが
１６ビットのＲＧＢ信号で、Ｒ信号が５ビット、Ｇ信号
が６ビット、Ｂ信号が５ビットとすると、各色信号のビ
ットは８ビットデータの上位ビットとして、又、８ビッ
トに満たない分については８ビットデータの下位ビット
を「０」に固定して３対１セレクタ７８２に供給する。
３対１セレクタ７８２は、ＲＧＢ信号のうちいずれかの
８ビットの色信号を図１７に示す相関演算回路７２に対
して選択出力する構成となっている。この場合、相関演
算回路７２は、先ずＲ信号（Ｒに関する画像データ）を
選択してこのＲ信号に対して相関演算処理を行う。Ｒ信
号に対する相関値に対しては、相関値累積回路７５は累
積処理を行わない。次に、相関演算回路７２はＧ信号
（Ｇに関する画像データ）を選択してこのＧ信号に対し
て相関演算処理を行う。Ｇ信号に対する相関値に対して
は、相関値累積回路７５においてＲ信号に対する相関値
を累積する。更に、相関演算回路７２はＢ信号（Ｂに関
する画像データ）を選択してこのＢ信号に対して相関演
算処理を行う。Ｂ信号に対する相関値に対しては、相関
値累積回路７５においてＲ，Ｇ信号に対する累積された
相関値を累積する。このように、計３回の相関演算処理
を同じ参照画像位置及び探索画像位置に対して行うこと
により、カラー画像内の動きに対する追跡処理を実現す
ることができる。
例を示す図である。説明の便宜上、カラー画像データが
１６ビットのＲＧＢ信号で、Ｒ信号が５ビット、Ｇ信号
が６ビット、Ｂ信号が５ビットとすると、各色信号のビ
ットは８ビットデータの上位ビットとして、又、８ビッ
トに満たない分については８ビットデータの下位ビット
を「０」に固定して３対１セレクタ７８２に供給する。
３対１セレクタ７８２は、ＲＧＢ信号のうちいずれかの
８ビットの色信号を図１７に示す相関演算回路７２に対
して選択出力する構成となっている。この場合、相関演
算回路７２は、先ずＲ信号（Ｒに関する画像データ）を
選択してこのＲ信号に対して相関演算処理を行う。Ｒ信
号に対する相関値に対しては、相関値累積回路７５は累
積処理を行わない。次に、相関演算回路７２はＧ信号
（Ｇに関する画像データ）を選択してこのＧ信号に対し
て相関演算処理を行う。Ｇ信号に対する相関値に対して
は、相関値累積回路７５においてＲ信号に対する相関値
を累積する。更に、相関演算回路７２はＢ信号（Ｂに関
する画像データ）を選択してこのＢ信号に対して相関演
算処理を行う。Ｂ信号に対する相関値に対しては、相関
値累積回路７５においてＲ，Ｇ信号に対する累積された
相関値を累積する。このように、計３回の相関演算処理
を同じ参照画像位置及び探索画像位置に対して行うこと
により、カラー画像内の動きに対する追跡処理を実現す
ることができる。
【００６５】次に、本発明になる局所領域画像追跡装置
の第３実施例を、図２０と共に説明する。図２０は、第
３実施例の概略構成を示すブロック図であり、同図中、
図１及び２と同一部分には同一符号を付し、その説明は
省略する。本実施例では、図１に示す制御計算機６に対
応するマイクロコンピュータユニット（ＭＣＵ）６０１
が、相関追跡処理装置４０１内に設けられている。この
ため、図１に示す制御バス５は設けられていない。又、
ＭＣＵ６０１が実行するプログラムや、プログラムで用
いられるデータ等を格納するＲＯＭ６０２が、ＭＣＵ６
０１に接続されている。ＭＣＵ６０１への指示は、図示
の如く、例えばキーボード等の入力装置６１１よりイン
ターフェース６１０を介して供給される。
の第３実施例を、図２０と共に説明する。図２０は、第
３実施例の概略構成を示すブロック図であり、同図中、
図１及び２と同一部分には同一符号を付し、その説明は
省略する。本実施例では、図１に示す制御計算機６に対
応するマイクロコンピュータユニット（ＭＣＵ）６０１
が、相関追跡処理装置４０１内に設けられている。この
ため、図１に示す制御バス５は設けられていない。又、
ＭＣＵ６０１が実行するプログラムや、プログラムで用
いられるデータ等を格納するＲＯＭ６０２が、ＭＣＵ６
０１に接続されている。ＭＣＵ６０１への指示は、図示
の如く、例えばキーボード等の入力装置６１１よりイン
ターフェース６１０を介して供給される。
【００６６】尚、本実施例では、相関追跡処理装置４０
１は１つのユニットとして構成されている。次に、本発
明になる局所領域画像追跡装置の第４実施例を、図２１
と共に説明する。図２１は、第４実施例の概略構成を示
すブロック図であり、同図中、図２０と同一部分には同
一符号を付し、その説明は省略する。
１は１つのユニットとして構成されている。次に、本発
明になる局所領域画像追跡装置の第４実施例を、図２１
と共に説明する。図２１は、第４実施例の概略構成を示
すブロック図であり、同図中、図２０と同一部分には同
一符号を付し、その説明は省略する。
【００６７】本実施例では、ＭＣＵ６０１及びＲＯＭ６
０２に加えて、図１に示す画像入出力装置２に対応する
画像入出力回路２０１も相関追跡処理装置４０２内に設
けられている。このため、図１に示すビデオバス３は設
けられていない。本実施例でも、相関追跡処理装置４０
２は１つのユニットとして構成されている。このため、
相関追跡処理装置４０２に入力装置６１１、撮像装置１
及び表示装置７を接続するだけで、簡単に、且つ、比較
的安価で局所領域画像追跡装置を実現することができ
る。
０２に加えて、図１に示す画像入出力装置２に対応する
画像入出力回路２０１も相関追跡処理装置４０２内に設
けられている。このため、図１に示すビデオバス３は設
けられていない。本実施例でも、相関追跡処理装置４０
２は１つのユニットとして構成されている。このため、
相関追跡処理装置４０２に入力装置６１１、撮像装置１
及び表示装置７を接続するだけで、簡単に、且つ、比較
的安価で局所領域画像追跡装置を実現することができ
る。
【００６８】以上、本発明を実施例により説明したが、
本発明は上記実施例に限定されるものではなく、種々の
変形及び改良が本発明の範囲内で可能であることは言う
までもない。
本発明は上記実施例に限定されるものではなく、種々の
変形及び改良が本発明の範囲内で可能であることは言う
までもない。
【００６９】
【発明の効果】請求項１及び９記載の発明によれば、比
較的大きな参照画像にも対応でき、カラー画像も処理す
ることが可能であり、且つ、周辺回路を含めた装置全体
の回路規模を小さくして集積化に適したものとすること
ができる。
較的大きな参照画像にも対応でき、カラー画像も処理す
ることが可能であり、且つ、周辺回路を含めた装置全体
の回路規模を小さくして集積化に適したものとすること
ができる。
【００７０】請求項２及び３記載の発明によれば、複数
の相関追跡処理装置を並列に動作させることにより、高
速で追跡処理を行うことができる。請求項４記載の発明
によれば、簡単な回路構成を用いて比較的大きな参照画
像にも対応可能である。
の相関追跡処理装置を並列に動作させることにより、高
速で追跡処理を行うことができる。請求項４記載の発明
によれば、簡単な回路構成を用いて比較的大きな参照画
像にも対応可能である。
【００７１】請求項５記載の発明によれば、比較的簡単
な回路構成を用いて色情報を用いた追跡処理を行うこと
ができる。請求項６〜８記載の発明によれば、装置全体
をユニット化することができ、撮像装置や表示装置を接
続するだけで、簡単に、且つ、比較的安価で局所領域画
像追跡装置を実現することができる。
な回路構成を用いて色情報を用いた追跡処理を行うこと
ができる。請求項６〜８記載の発明によれば、装置全体
をユニット化することができ、撮像装置や表示装置を接
続するだけで、簡単に、且つ、比較的安価で局所領域画
像追跡装置を実現することができる。
【００７２】従って、本発明によれば、比較的大きな参
照画像にも対応でき、カラー画像も処理することが可能
であり、且つ、周辺回路を含めた装置全体の回路規模を
小さくして集積化に適したものとすることが可能とな
る。
照画像にも対応でき、カラー画像も処理することが可能
であり、且つ、周辺回路を含めた装置全体の回路規模を
小さくして集積化に適したものとすることが可能とな
る。
【図１】本発明になる局所領域画像追跡装置の第１実施
例の概略構成を示すブロック図である。
例の概略構成を示すブロック図である。
【図２】第１実施例における相関追跡処理装置の構成の
一実施例を示すブロック図である。
一実施例を示すブロック図である。
【図３】画像フロー制御回路の構成の一実施例を画像メ
モリ及び相関演算回路と共に示すブロック図である。
モリ及び相関演算回路と共に示すブロック図である。
【図４】メモリ選択器の一実施例を示すブロック図であ
る。
る。
【図５】ＲＯＭに供給される５ビットのアドレス信号を
示す図である。
示す図である。
【図６】ＲＯＭに供給される５ビットのアドレス信号の
値と、ＲＯＭアドレスに応じてＲＯＭから読み出される
選択データの値との関係を示す図である。
値と、ＲＯＭアドレスに応じてＲＯＭから読み出される
選択データの値との関係を示す図である。
【図７】探索画像アドレス発生器の一実施例を示すブロ
ック図である。
ック図である。
【図８】参照画像アドレス発生器の一実施例を示すブロ
ック図である。
ック図である。
【図９】相関演算結果を累積処理を説明する図である。
【図１０】８画素×８画素の参照ブロックを用いた場合
の相関演算回路の相関演算及び動きベクトル（ｕ，ｖ）
を説明する図である。
の相関演算回路の相関演算及び動きベクトル（ｕ，ｖ）
を説明する図である。
【図１１】１６画素×１６画素の参照ブロックを用いた
場合の相関演算回路の相関演算及び動きベクトル（ｕ，
ｖ）を説明する図である。
場合の相関演算回路の相関演算及び動きベクトル（ｕ，
ｖ）を説明する図である。
【図１２】８画素×８画素の参照ブロックを用いた相関
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
【図１３】８画素×８画素の参照ブロックを用いた相関
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
【図１４】８画素×８画素の参照ブロックを用いた相関
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
【図１５】８画素×８画素の参照ブロックを用いた相関
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
演算結果が累積されて１６画素×１６画素の参照ブロッ
クが等価的に実現されるメカニズムを説明するための図
である。
【図１６】相関値累積回路及び相関値メモリ回路の構成
の一実施例を示すブロック図である。
の一実施例を示すブロック図である。
【図１７】本発明になる局所領域画像追跡装置の第２実
施例における相関追跡処理装置の一実施例を示すブロッ
ク図である。
施例における相関追跡処理装置の一実施例を示すブロッ
ク図である。
【図１８】ビット変換回路の一実施例を示す図である。
【図１９】ビット変換回路の他の実施例を示す図であ
る。
る。
【図２０】本発明になる局所領域画像追跡装置の第３実
施例の概略構成を示すブロック図である。
施例の概略構成を示すブロック図である。
【図２１】本発明になる局所領域画像追跡装置の第４実
施例の概略構成を示すブロック図である。
施例の概略構成を示すブロック図である。
【図２２】従来の局所領域画像追跡装置の一例の要部を
示すブロック図である。
示すブロック図である。
【図２３】従来例における参照ブロックと探索ブロック
との関係を説明する図である。
との関係を説明する図である。
【図２４】従来の相関演算器の一例をｍ＝４の場合につ
いて示す図である。
いて示す図である。
１ 撮像装置
２ 画像入出力装置
３ ビデオバス
４−１，４−２，４０１，４０２ 相関追跡処理装
置 ５ 制御バス ６ 制御計算機 ７ 表示装置 １２−１〜１２−３ 画像メモリ ７１ 画像フロー制御回路 ７２ 相関演算回路 ７３ 制御レジスタ ７４ 最小値検出回路 ７５ 相関値累積回路 ７６ 相関値メモリ回路 ２０１ 画像入出力回路 ６０１ ＭＣＵ ６０２ ＲＯＭ ６１０ インターフェース ６１１ 入力装置
置 ５ 制御バス ６ 制御計算機 ７ 表示装置 １２−１〜１２−３ 画像メモリ ７１ 画像フロー制御回路 ７２ 相関演算回路 ７３ 制御レジスタ ７４ 最小値検出回路 ７５ 相関値累積回路 ７６ 相関値メモリ回路 ２０１ 画像入出力回路 ６０１ ＭＣＵ ６０２ ＲＯＭ ６１０ インターフェース ６１１ 入力装置
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平８−147477（ＪＰ，Ａ)
特開 昭60−169986（ＪＰ，Ａ)
特開 昭64−61879（ＪＰ，Ａ)
局所相関演算による動きの検知と追
跡，電子情報通信学会技術研究報告，日
本，2000年 ５月 ５日，第100巻第44
号，ｐｐ．55−62
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/20
H04N 7/18
Claims (9)
- 【請求項１】 入力画像データのうち、探索処理を施す
べき探索画像内の任意の１つの局所領域を連続的に追跡
する局所画像領域追跡装置であって、 該入力画像データのうち、該探索画像に関する探索画像
データと、該任意の１つの局所領域に関する基準画像を
構成する複数の参照画像に関する参照画像データとの相
関演算を、各参照画像について、各参照画像の該探索画
像に対する位置を動かしながら行って複数の相関値を出
力する相関演算手段と、 該相関演算手段が行う相関演算の結果出力される複数の
相関値の累積を求めることにより、等価的に該基準画像
に関する基準画像データと該探索画像データとの相関値
を出力する相関値累積手段とを備えた、局所画像領域追
跡装置。 - 【請求項２】 前記入力画像データは撮像手段又は画像
記憶手段からビデオバスを介して入力され、前記相関演
算手段及び前記相関値累積手段は相関追跡処理装置を構
成し、１つ或いは複数の相関追跡処理装置が該ビデオバ
スにより該撮像装置に対して並列に接続されている、請
求項１記載の局所画像領域追跡装置。 - 【請求項３】 前記１つ或いは複数の相関追跡処理装置
を制御する制御計算機を更に備え、該１つ或いは複数の
相関追跡処理装置は制御バスにより該制御計算機に対し
て並列に接続されている、請求項２記載の局所画像領域
追跡装置。 - 【請求項４】 前記相関値累積手段は、前記相関演算手
段から出力された前回の相関演算結果である相関値を格
納する相関値メモリと、該相関演算手段から出力される
今回の相関演算結果である相関値とを加算して相関値の
累積を求める相関値累積回路とを有する、請求項１〜３
のうちいずれか１項記載の局所画像領域追跡装置。 - 【請求項５】 前記入力画像データはカラー画像データ
からなり、同じ参照画像位置及び探索画像位置に対して
各色のカラー画像データを前記相関演算手段に順次供給
するデータ変換手段を更に備え、前記相関値累積手段は
同じ参照画像位置及び探索画像位置に対して各色のカラ
ー画像データについての相関値を累積する、請求項１〜
４のうちいずれか１項記載の局所画像領域追跡装置。 - 【請求項６】 少なくとも前記相関値累積手段における
相関値の累積の要否を制御するマイクロコンピュータユ
ニットを更に備え、前記相関演算手段と該相関値累積手
段と該マイクロコンピュータユニットとは単一のユニッ
トを構成する、請求項１記載の局所画像領域追跡装置。 - 【請求項７】 前記入力画像データを撮像手段又は画像
記憶手段から供給されると共に表示手段に接続される画
像入出力手段を更に備え、前記相関演算手段と前記相関
値累積手段と該画像入出力手段とは単一のユニットを構
成する、請求項１記載の局所画像領域追跡装置。 - 【請求項８】 少なくとも前記相関値累積手段における
相関値の累積の要否を制御するマイクロコンピュータユ
ニットを更に備え、前記相関演算手段と該相関値累積手
段と前記画像入出力手段と該マイクロコンピュータユニ
ットとは単一のユニットを構成する、請求項７記載の局
所画像領域追跡装置。 - 【請求項９】 前記基準画像はａ・ｍ画素×ｂ・ｎ画素
からなり、該参照画像はｍ画素×ｎ画素からなり、該探
索画像はａ・ｍ画素×ｂ・ｎ画素より大きく、ａ，ｂ，
ｍ，ｎはいずれも自然数である、請求項１〜８のいずれ
か１項記載の局所画像領域追跡装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19346996A JP3434979B2 (ja) | 1996-07-23 | 1996-07-23 | 局所領域画像追跡装置 |
| US08/783,056 US6298170B1 (en) | 1996-07-23 | 1997-01-14 | Image tracking apparatus for tracking an image within a local region to continuously track a moving object |
| AU12283/97A AU692726B2 (en) | 1996-07-23 | 1997-01-22 | Image tracking apparatus for tracking image within local region |
| CN97102408A CN1130665C (zh) | 1996-07-23 | 1997-02-04 | 用于跟踪局部区域内的图象的图象跟踪设备 |
| KR1019970003585A KR100259226B1 (ko) | 1996-07-23 | 1997-02-05 | 국소영역화상추적장치 |
| DE19704881A DE19704881C2 (de) | 1996-07-23 | 1997-02-10 | Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19346996A JP3434979B2 (ja) | 1996-07-23 | 1996-07-23 | 局所領域画像追跡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1040392A JPH1040392A (ja) | 1998-02-13 |
| JP3434979B2 true JP3434979B2 (ja) | 2003-08-11 |
Family
ID=16308540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19346996A Expired - Fee Related JP3434979B2 (ja) | 1996-07-23 | 1996-07-23 | 局所領域画像追跡装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6298170B1 (ja) |
| JP (1) | JP3434979B2 (ja) |
| KR (1) | KR100259226B1 (ja) |
| CN (1) | CN1130665C (ja) |
| AU (1) | AU692726B2 (ja) |
| DE (1) | DE19704881C2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE336011T1 (de) * | 1998-07-13 | 2006-09-15 | Contraves Ag | Verfahren zur verfolgung bewegter objekte anhand spezifischer merkmale |
| US20010008561A1 (en) * | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
| US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
| US7050606B2 (en) * | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
| JP4060615B2 (ja) * | 2002-03-05 | 2008-03-12 | 株式会社東芝 | 画像処理装置及び超音波診断装置 |
| US20080065291A1 (en) * | 2002-11-04 | 2008-03-13 | Automotive Technologies International, Inc. | Gesture-Based Control of Vehicular Components |
| WO2004051575A1 (ja) * | 2002-12-05 | 2004-06-17 | Seiko Epson Corporation | 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム |
| JP4217876B2 (ja) * | 2002-12-20 | 2009-02-04 | 財団法人生産技術研究奨励会 | 画像における移動物体の追跡方法及び装置 |
| US7095786B1 (en) | 2003-01-11 | 2006-08-22 | Neo Magic Corp. | Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low |
| US7657059B2 (en) * | 2003-08-08 | 2010-02-02 | Lockheed Martin Corporation | Method and apparatus for tracking an object |
| US8972380B2 (en) * | 2003-09-29 | 2015-03-03 | International Business Machines Corporaton | System and method for monitoring events against continual range queries |
| US7835953B2 (en) * | 2003-09-29 | 2010-11-16 | International Business Machines Corporation | Method and structure for monitoring moving objects |
| US7327383B2 (en) * | 2003-11-04 | 2008-02-05 | Eastman Kodak Company | Correlating captured images and timed 3D event data |
| CN101393642B (zh) * | 2004-01-06 | 2011-05-18 | 索尼株式会社 | 图像处理设备和方法 |
| US7428557B2 (en) * | 2004-03-22 | 2008-09-23 | Microsoft Corporation | Efficient data transfer to/from storage medium of computing device |
| US7650016B2 (en) * | 2004-07-30 | 2010-01-19 | Lockheed Martin Corporation | System and method for tracking motion of an object image |
| US8995715B2 (en) * | 2010-10-26 | 2015-03-31 | Fotonation Limited | Face or other object detection including template matching |
| US20070192215A1 (en) * | 2006-02-10 | 2007-08-16 | Taylor Thomas B | Computer-implemented registration for providing inventory fulfillment services to merchants |
| JP4929474B2 (ja) * | 2006-09-27 | 2012-05-09 | 富士通株式会社 | 画像処理装置 |
| US7853480B2 (en) * | 2007-05-21 | 2010-12-14 | Amazon Technologies, Inc. | System and method for providing export services to merchants |
| JP5067282B2 (ja) * | 2008-06-27 | 2012-11-07 | ソニー株式会社 | 物体検出制御装置、物体検出システム、物体検出制御方法およびプログラム |
| US9053681B2 (en) | 2010-07-07 | 2015-06-09 | Fotonation Limited | Real-time video frame pre-processing hardware |
| US9661232B2 (en) | 2010-08-12 | 2017-05-23 | John G. Posa | Apparatus and method providing auto zoom in response to relative movement of target subject matter |
| US10915782B2 (en) * | 2017-12-14 | 2021-02-09 | Pixart Imaging Inc. | Image parameter calculating method, object tracking method, and image parameter calculating system |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6016673B2 (ja) * | 1978-12-25 | 1985-04-26 | 川崎重工業株式会社 | サ−ボ系における被検体認識装置 |
| DE2938853A1 (de) | 1979-09-26 | 1981-04-09 | Vereinigte Flugtechnische Werke Gmbh, 2800 Bremen | Flaechennavigationssystem fuer luftfahrzeuge |
| JPS6053349B2 (ja) * | 1981-06-19 | 1985-11-25 | 株式会社日立製作所 | 画像処理プロセツサ |
| GB2294171B (en) | 1983-07-15 | 1996-08-21 | Marconi Avionics | Signal processing arrangement |
| US4864629A (en) * | 1985-12-31 | 1989-09-05 | Schlumberger Technologies, Inc. | Image correlation system |
| US4817175A (en) * | 1986-08-26 | 1989-03-28 | Schlumberger Systems And Services, Inc. | Video stream processing system |
| GB8703931D0 (en) * | 1987-02-19 | 1993-05-05 | British Aerospace | Tracking systems |
| US5341143A (en) * | 1987-07-24 | 1994-08-23 | Northrop Grumman Corporation | Hierarchical tracker and method |
| US4908751A (en) * | 1987-10-15 | 1990-03-13 | Smith Harry F | Parallel data processor |
| US5020113A (en) | 1988-08-08 | 1991-05-28 | Hughes Aircraft Company | Maskable bilevel correlators |
| US5226095A (en) * | 1988-11-04 | 1993-07-06 | Matsushita Electric Industrial Co., Ltd. | Method of detecting the position of an object pattern in an image |
| US4958224A (en) * | 1989-08-15 | 1990-09-18 | Hughes Aircraft Company | Forced correlation/mixed mode tracking system |
| US5870486A (en) * | 1991-12-11 | 1999-02-09 | Texas Instruments Incorporated | Method of inferring sensor attitude through multi-feature tracking |
| CA2100324C (en) * | 1992-08-06 | 2004-09-28 | Christoph Eisenbarth | Method and apparatus for determining mis-registration |
| JP3487436B2 (ja) * | 1992-09-28 | 2004-01-19 | ソニー株式会社 | ビデオカメラシステム |
| JPH0730796A (ja) | 1993-07-14 | 1995-01-31 | Sony Corp | ビデオ信号追従処理システム |
| JP3108585B2 (ja) * | 1993-07-28 | 2000-11-13 | 日本電信電話株式会社 | ビデオ画像プリントアクセス方法およびシステム |
| JPH08147477A (ja) | 1994-09-20 | 1996-06-07 | Fujitsu Ltd | 局所領域画像追跡装置 |
| JP3688377B2 (ja) * | 1996-01-31 | 2005-08-24 | 富士通株式会社 | 画像特徴追跡装置及び画像特徴追跡方法 |
| US5943442A (en) | 1996-06-12 | 1999-08-24 | Nippon Telegraph And Telephone Corporation | Method of image processing using parametric template matching |
-
1996
- 1996-07-23 JP JP19346996A patent/JP3434979B2/ja not_active Expired - Fee Related
-
1997
- 1997-01-14 US US08/783,056 patent/US6298170B1/en not_active Expired - Lifetime
- 1997-01-22 AU AU12283/97A patent/AU692726B2/en not_active Ceased
- 1997-02-04 CN CN97102408A patent/CN1130665C/zh not_active Expired - Fee Related
- 1997-02-05 KR KR1019970003585A patent/KR100259226B1/ko not_active IP Right Cessation
- 1997-02-10 DE DE19704881A patent/DE19704881C2/de not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 局所相関演算による動きの検知と追跡，電子情報通信学会技術研究報告，日本，２０００年 ５月 ５日，第１００巻第４４号，ｐｐ．５５−６２ |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1171583A (zh) | 1998-01-28 |
| DE19704881A1 (de) | 1998-01-29 |
| US6298170B1 (en) | 2001-10-02 |
| DE19704881C2 (de) | 2000-07-06 |
| AU1228397A (en) | 1998-01-29 |
| JPH1040392A (ja) | 1998-02-13 |
| KR100259226B1 (ko) | 2000-06-15 |
| AU692726B2 (en) | 1998-06-11 |
| KR980010827A (ko) | 1998-04-30 |
| CN1130665C (zh) | 2003-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3434979B2 (ja) | 局所領域画像追跡装置 | |
| US5200818A (en) | Video imaging system with interactive windowing capability | |
| WO2018225967A1 (en) | Device having cameras with different focal lengths and method of implementing cameras | |
| US6069351A (en) | Focal plane processor for scaling information from image sensors | |
| US5210559A (en) | Camera shake correcting device | |
| US7230643B2 (en) | Digital camera with electronic zooming function | |
| US20050160406A1 (en) | Programmable digital image processor | |
| JP3874985B2 (ja) | 画像演算装置 | |
| KR100972764B1 (ko) | 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체 | |
| US6990149B2 (en) | Circuit and method for full search block matching | |
| JP4547321B2 (ja) | 動きベクトル検出装置及び撮像装置 | |
| JP2007527139A (ja) | 動き補償画像信号の補間 | |
| JP2001025021A (ja) | 動き検出方法および動き検出装置 | |
| JP3066594U (ja) | 画像変換装置 | |
| JP3004685B2 (ja) | 動きベクトル検出回路 | |
| JP2861963B2 (ja) | 動きベクトル検出回路 | |
| JP3004697B2 (ja) | 動きベクトル検出回路 | |
| JP2022095312A (ja) | 撮像装置 | |
| JPS5839180A (ja) | 相関追尾装置 | |
| IL101220A (en) | Electronic multi-sensor and integrated camera system with window display interoperability | |
| CN115619642A (zh) | 模型训练方法、装置、电子设备及介质 | |
| CN117652154A (zh) | 显示控制模组及显示控制方法、显示装置 | |
| CN115514889A (zh) | 图像处理系统及电子设备 | |
| JP4245752B2 (ja) | 画像入力方法および装置 | |
| JPH0737101A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030520 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080530 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090530 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100530 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110530 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120530 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130530 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140530 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |