JPH10134194A - トラッキング装置 - Google Patents

トラッキング装置

Info

Publication number
JPH10134194A
JPH10134194A JP8290543A JP29054396A JPH10134194A JP H10134194 A JPH10134194 A JP H10134194A JP 8290543 A JP8290543 A JP 8290543A JP 29054396 A JP29054396 A JP 29054396A JP H10134194 A JPH10134194 A JP H10134194A
Authority
JP
Japan
Prior art keywords
pattern data
fourier
dimensional pattern
dimensional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8290543A
Other languages
English (en)
Other versions
JP3364395B2 (ja
Inventor
Hiroshi Nakajima
寛 中島
Koji Kobayashi
孝次 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP29054396A priority Critical patent/JP3364395B2/ja
Priority to US08/959,380 priority patent/US6067367A/en
Priority to EP97118831A priority patent/EP0840255A3/en
Priority to KR1019970057401A priority patent/KR100296760B1/ko
Priority to CNB971212570A priority patent/CN1173295C/zh
Publication of JPH10134194A publication Critical patent/JPH10134194A/ja
Application granted granted Critical
Publication of JP3364395B2 publication Critical patent/JP3364395B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 ノイズに対して強く、目標が大きくてもその
移動方向および移動量を求めることができ、特徴量の切
り出しも不要とする。 【解決手段】 T1 時に入力された画像データを登録画
像データとし(図1(a))、2次元離散的フーリエ変
換(DFT)を施して登録フーリエ画像データを得る。
2 時に入力された画像データを照合画像データとし
(図1(b))、DFTを施して照合フーリエ画像デー
タを得る。登録フーリエ画像データと照合フーリエ画像
データとを合成し、振幅抑制処理を行ったうえ、DFT
を施す。このDFTの施された合成フーリ画像データに
おいて、相関成分エリアの中心P0 (図1(e))から
相関ピークの位置Pa1に至る方向を目標M1移動方向と
して、P0 からPa1までの距離を目標M1の移動距離と
して求める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、ロボットビジョ
ンや監視カメラに用いて好適なトラッキング装置に関す
るものである。
【0002】
【従来の技術】従来より、この種のトラッキング装置と
して、移動する目標を追跡する追跡処理装置がある。こ
の追跡処理装置では、移動する目標(例えば、侵入者)
を撮像装置で撮像し、Tn 時に入力された画像(図15
(a))とTn+1 時に入力された画像(図15(b))
との差分をまず求める。そして、この求めた差分画像
(図15(d))において、差分として残っている部分
(変化した部分)を濃淡値「255」として抽出し(変
化のない部分は濃淡値「0」とする)、Tn+1 時におけ
る差分抽出画像を得る。また、Tn+1 時に入力された画
像(図15(b))とTn+2 時に入力された画像(図1
5(c))との間の差分を求め、上述と同様の処理によ
りTn+2 時における差分抽出画像(図15(e))を得
る。
【0003】そして、この求めたTn+1 時における差分
抽出画像とTn+2 時における差分抽出画像との差分を求
め、この求めた差分画像(図15(f))に基づいて目
標の移動方向および移動距離を知る。すなわち、図15
(f)において、消えた部分P1がTn+1 時における目
標の位置で、残った部分P2がTn+2 時における目標の
位置となる。これにより、P1とP2との位置の違いか
ら、Tn+1 時からTn+ 2 時までの目標の移動方向および
移動距離が求まる。追跡処理装置は、この求めた目標の
移動方向および移動距離に基づいて撮像装置の視野範囲
を移動させ、目標を追跡する。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の追跡処理装置では、ノイズに対して弱いとい
う問題がある。また、追跡する目標が大きい時(画面一
杯である時)、重なり部分が求まらず、目標の移動方向
および移動量を求めることができない。なお、パターン
マッチングによって追跡処理を行う方法もあるが、この
場合、特徴量の切り出しを行わなければならず、処理が
複雑となる。
【0005】本発明はこのような課題を解決するために
なされたもので、その目的とするところは、ノイズに対
して強く、目標が大きくてもその移動方向および移動量
を求めることができ、特徴量の切り出しも不要なトラッ
キング装置を提供することにある。
【0006】
【課題を解決するための手段】このような目的を達成す
るために、第1発明(請求項1に係る発明)は、Tn
に入力された2次元パターンデータを登録パターンデー
タとし、この登録パターンデータに2次元離散的フーリ
エ変換を施して登録フーリエ2次元パターンデータを作
成し、Tn+1 時に入力された2次元パターンデータを照
合パターンデータとし、この照合パターンデータに2次
元離散的フーリエ変換を施して照合フーリエ2次元パタ
ーンデータを作成し、登録フーリエ2次元パターンデー
タと照合フーリエ2次元パターンデータとを合成し、こ
れによって得られる合成フーリエ2次元パターンデータ
に2次元離散的フーリエ変換および2次元離散的逆フー
リエ変換の何れか一方を施し、このフーリエ変換の施さ
れた合成フーリエ2次元パターンデータに出現する相関
成分エリアの基準位置付近を除く範囲で相関ピークを求
め、この相関成分エリアの基準位置から相関ピークの位
置に至る方向を目標の移動方向として、またこの相関成
分エリアの基準位置から相関ピークの位置までの距離を
目標の移動量として求め、これによって求められた移動
方向および移動量に基づきその目標が次のTn+2 時に入
力されるであろう2次元パターンデータのデータ領域か
ら飛び出すか否かを予測し、これによってその目標がT
n+2 時に入力されるであろう2次元パターンデータのデ
ータ領域から飛び出すと予測された場合、Tn+2 時に入
力される2次元パターンデータのデータ領域にその目標
が入るように2次元パターンデータ入力手段の視野範囲
を移動させるようにし、これよって2次元パターンデー
タ入力手段の視野範囲が移動された場合、この2次元パ
ターンデータ入力手段の視野範囲の移動方向および移動
量に基づき、次のTn+1 時とTn+2 時の2次元パターン
データを用いての目標の移動方向および移動量の求出に
際して、その合成フーリエ2次元パターンデータに出現
する相関成分エリア内の相関ピークの位置を補正するよ
うにしたものである。
【0007】この発明によれば、Tn 時に入力された2
次元パターンデータが登録パターンデータとされ、この
登録パターンデータに2次元離散的フーリエ変換が施さ
れて登録フーリエ2次元パターンデータが作成される。
また、Tn+1 時に入力された2次元パターンデータが照
合パターンデータとされ、この照合パターンデータに2
次元離散的フーリエ変換が施されて照合フーリエ2次元
パターンデータが作成される。そして、登録フーリエ2
次元パターンデータと照合フーリエ2次元パターンデー
タとが合成され、この合成フーリエ2次元パターンデー
タに2次元離散的フーリエ変換あるいは2次元離散的逆
フーリエ変換が施され、このフーリエ変換の施された合
成フーリエ2次元パターンデータに出現する相関成分エ
リアの基準位置付近を除く範囲で相関ピークが求めら
れ、この相関成分エリアの基準位置から相関ピークの位
置に至る方向が目標の移動方向として、またこの相関成
分エリアの基準位置から相関ピークの位置までの距離が
目標の移動量として求められる。そして、これによって
求められた移動方向および移動量に基づき、その目標が
次のTn+2 時に入力されるであろう2次元パターンデー
タのデータ領域から飛び出すか否かが予測される。これ
によってその目標がTn+2 時に入力されるであろう2次
元パターンデータのデータ領域から飛び出すと予測され
ると、Tn+2 時に入力される2次元パターンデータのデ
ータ領域にその目標が入るように2次元パターンデータ
入力手段の視野範囲が移動される。これよって2次元パ
ターンデータ入力手段の視野範囲が移動されると、この
2次元パターンデータ入力手段の視野範囲の移動方向お
よび移動量に基づき、次のTn+1 時とTn+2 時の2次元
パターンデータを用いての目標の移動方向および移動量
の求出に際して、その合成フーリエ2次元パターンデー
タに出現する相関成分エリア内の相関ピークの位置が補
正される。
【0008】第2発明(請求項2に係る発明)は、第1
発明と同様にして目標の移動方向および移動量を求め、
この求められた移動方向および移動量に基づき、次のT
n+2時に入力される2次元パターンデータのデータ領域
にその目標が位置するように、2次元パターンデータ入
力手段の視野範囲を移動させるようにし、この2次元パ
ターンデータ入力手段の視野範囲の移動方向および移動
量に基づき、次のTn+1 時とTn+2 時の2次元パターン
データを用いての目標の移動方向および移動量の求出に
際して、その合成フーリエ2次元パターンデータに出現
する相関成分エリア内の相関ピークの位置を補正するよ
うにしたものである。
【0009】第3発明(請求項3に係る発明)は、Tn
時に入力された2次元パターンデータを照合パターンデ
ータとし、この照合パターンデータに2次元離散的フー
リエ変換を施して照合フーリエ2次元パターンデータを
作成し、Tn+1 時に入力された2次元パターンデータを
登録パターンデータとし、この登録パターンデータに2
次元離散的フーリエ変換を施して登録フーリエ2次元パ
ターンデータを作成し、照合フーリエ2次元パターンデ
ータと登録フーリエ2次元パターンデータとを合成し、
これによって得られる合成フーリエ2次元パターンデー
タに2次元離散的フーリエ変換および2次元離散的逆フ
ーリエ変換の何れか一方を施し、このフーリエ変換の施
された合成フーリエ2次元パターンデータに出現する相
関成分エリアの基準位置付近を除く範囲で相関ピークを
求め、この相関ピークの位置を起点として相関成分エリ
アの基準位置に至る方向を目標の移動方向として、また
この相関ピークの位置から相関成分エリアの基準位置ま
での距離を目標の移動量として求め、これによって求め
られた移動方向および移動量に基づきその目標が次のT
n+2 時に入力されるであろう2次元パターンデータのデ
ータ領域から飛び出すか否かを予測し、これによってそ
の目標がTn+2 時に入力されるであろう2次元パターン
データのデータ領域から飛び出すと予測された場合、T
n+2 時に入力される2次元パターンデータのデータ領域
にその目標が入るように2次元パターンデータ入力手段
の視野範囲を移動させるようにし、これよって2次元パ
ターンデータ入力手段の視野範囲が移動された場合、こ
の2次元パターンデータ入力手段の視野範囲の移動方向
および移動量に基づき、次のTn+1 時とTn+2 時の2次
元パターンデータを用いての目標の移動方向および移動
量の求出に際して、その合成フーリエ2次元パターンデ
ータに出現する相関成分エリア内の相関ピークの位置を
補正するようにしたものである。
【0010】第4発明(請求項4に係る発明)は、第3
発明と同様にして目標の移動方向および移動量を求め、
この求められた移動方向および移動量に基づき、次のT
n+2時に入力される2次元パターンデータのデータ領域
にその目標が位置するように、2次元パターンデータ入
力手段の視野範囲を移動させるようにし、この2次元パ
ターンデータ入力手段の視野範囲の移動方向および移動
量に基づき、次のTn+1 時とTn+2 時の2次元パターン
データを用いての目標の移動方向および移動量の求出に
際して、その合成フーリエ2次元パターンデータに出現
する相関成分エリア内の相関ピークの位置を補正するよ
うにしたものである。
【0011】第5発明(請求項5に係る発明)は、第1
〜第4発明において、合成フーリエ2次元パターンデー
タにlog処理や√処理等の振幅抑制処理を行ったう
え、2次元離散的フーリエ変換および2次元離散的逆フ
ーリエ変換の何れか一方を施すようにしたものである。
第6発明(請求項6に係る発明)は、第1および第2発
明において、照合パターンデータに2次元離散的フーリ
エ変換を施してからlog処理や√処理等の振幅抑制処
理を行うことにより照合フーリエ2次元パターンデータ
を作成し、登録パターンデータに2次元離散的フーリエ
変換を施してからlog処理や√処理等の振幅抑制処理
を行うことにより登録フーリエ2次元パターンデータを
作成するようにしたものである。第7発明(請求項7に
係る発明)は、第3および第4発明において、照合パタ
ーンデータに2次元離散的フーリエ変換を施してからl
og処理や√処理等の振幅抑制処理を行うことにより照
合フーリエ2次元パターンデータを作成し、登録パター
ンデータに2次元離散的フーリエ変換を施してからlo
g処理や√処理等の振幅抑制処理を行うことにより登録
フーリエ2次元パターンデータを作成するようにしたも
のである。
【0012】
【発明の実施の形態】以下、本発明を実施の形態に基づ
き詳細に説明する。図2はこの発明の一実施の形態を示
すトラッキング装置のブロック構成図である。同図にお
いて10はCCDカメラ、20はコントロール部であ
り、コントロール部20は、CPUを有してなる制御部
20−1と、ROM20−2と、RAM20−3と、ハ
ードディスク(HD)20−4と、フレームメモリ(F
M)20−5と、外部接続部(I/F)20−6と、フ
ーリエ変換部(FFT)20−7とを備えてなり、RO
M20−2には追跡処理プログラム(図3,図8参照)
が格納されている。
【0013】なお、この実施の形態において、CCDカ
メラ10およびコントロール部20は移動テーブル30
に載置されている。移動テーブル30はコントロール部
20からの指令を受けてレール100上を移動する。ま
た、この実施の形態では、図4に示すように、目標(対
象物)M1は、レール100と平行に移動するものとす
る。すなわち、CCDカメラ10と目標M1は、常にそ
の距離lを一定として移動するものとする。
【0014】〔実施の形態1:第1発明,第5発明,第
6発明〕このトラッキング装置において、図4に示すよ
うに対象物M1がレール100と平行に移動して行くも
のとした場合、その追跡処理は次のようにして行われ
る。
【0015】制御部20−1は、n=1とし(図3に示
すステップ301)、Tn 時すなわちT1 時におけるC
CDカメラ10からの目標M1を捉えた画像データを、
フレームメモリ20−5を介して取り込む(ステップ3
02)。そして、この取り込んだ画像データを登録画像
データとし(図1(a))、この登録画像データをフー
リエ変換部20−7へ送り、この登録画像データに2次
元離散的フーリエ変換(DFT)を施す(ステップ30
3)。これにより、図1(a)に示された登録画像デー
タは、フーリエ画像データ(登録フーリエ画像データ)
となる。制御部20−1は、この登録フーリエ画像デー
タをファイル化する(ステップ304)。
【0016】なお、2次元離散的フーリエ変換について
は、例えば「コンピュータ画像処理入門、日本工業技術
センター編、総研出版(株)発行、P.44〜45(文
献1)」等に説明されている。
【0017】次に、制御部20−1は、n>1か否かを
チェックのうえ(ステップ305)、n≦1であればス
テップ306へ進み、n>1であればステップ307へ
進む。この場合、n=1であるので、ステップ306へ
進み、n=n+1としてステップ302へ戻る。これに
より、制御部20−1は、Tn 時すなわちT1 時に対し
て所定時間t経過したT2 時におけるCCDカメラ10
からの目標M1を捉えた画像データを、フレームメモリ
20−5を介して取り込む(ステップ302)。
【0018】そして、この取り込んだ画像データを照合
画像データとし(図1(b))、この照合画像データを
フーリエ変換部20−7へ送り、この照合画像データに
2次元離散的フーリエ変換(DFT)を施す(ステップ
303)。これにより、図1(b)に示された照合画像
データは、フーリエ画像データ(照合フーリエ画像デー
タ)となる。制御部20−1は、この照合フーリエ画像
データをファイル化する(ステップ304)。
【0019】次に、制御部20−1は、n>1か否かを
チェックのうえ(ステップ305)、n≦1であればス
テップ306へ進み、n>1であればステップ307へ
進む。この場合、n=2であるので、ステップ307へ
進む。制御部20−1は、ステップ307において、T
n-1 時すなわちT1 時のフーリエ画像データ(登録フー
リエ画像データ)を読み出す。また、ステップ308に
おいて、Tn 時すなわちT2 時のフーリエ画像データ
(照合フーリエ画像データ)を読み出す。
【0020】そして、制御部20−1は、ステップ30
7で読み出した登録フーリエ画像データとステップ30
8で読み出した照合フーリエ画像データとを合成し(ス
テップ309)、合成フーリエ画像データを得る。
【0021】ここで、合成フーリエ画像データは、照合
フーリエ画像データをA・ejθとし、登録フーリエ画
像データをB・ejφとした場合、A・B・ej(θ-φ)
で表される。但し、A,B,θ,φとも周波数(フーリ
エ)空間(u,v)の関数とする。
【0022】そして、A・B・ej(θ-φ)は、 A・B・ej(θ-φ)=A・B・cos(θ−φ)+j・A・B・sin(θ− φ) ・・・(1) として表され、A・ejθ=α1 +jβ1 、B・ejφ=
α2 +jβ2 とすると、A=(α1 2+β1 21/2,B=
(α2 2+β2 21/2,θ=tan-1(β1 /α1),φ=
tan-1(β2 /α2 )となる。この(1)式を計算す
ることにより合成フーリエ画像データを得る。
【0023】なお、A・B・ej(θ-φ)=A・B・ej
θ・e-jφ=A・ejθ・B・e-jφ=(α1 +j
β1 )・(α2 −jβ2 )=(α1 ・α2 +β1
β2 )+j(α2 ・β1 −α1 ・β2 )として、合成フ
ーリエ画像データを求めるようにしてもよい。
【0024】そして、制御部20−1は、このようにし
て合成フーリエ画像データを得た後、振幅抑制処理を行
う(ステップ306)。この実施の形態では、振幅抑制
処理として、log処理を行う。すなわち、前述した合
成フーリエ画像データの演算式であるA・B・ej(θ-
φ)のlogをとり、log(A・B)・ej(θ-φ)
することにより、振幅であるA・Bをlog(A・B)
に抑制する(A・B>log(A・B))。ここで、合
成フーリエ画像データは、照合フーリエ画像データをA
・ejθとし、登録フーリエ画像データをB・ejφとし
た場合、A・B・ej(θ-φ) で表される。但し、A,
B,θ,φとも周波数(フーリエ)空間(u,v)の関
数とする。
【0025】振幅抑制処理を施した合成フーリエ画像デ
ータでは登録画像データの採取時と照合画像データの採
取時の照度差による影響が小さくなる。すなわち、振幅
抑制処理を行うことにより、各画素のスペクトラム強度
が抑圧され、飛び抜けた値がなくなり、より多くの情報
が有効となる。
【0026】なお、この実施の形態では、振幅抑制処理
としてlog処理を行うものとしたが、√処理を行うよ
うにしてもよい。また、log処理や√処理に限らず、
振幅を抑制することができればどのような処理でもよ
い。振幅抑制で全ての振幅を例えば1にすると、すなわ
ち位相のみにすると、log処理や√処理等に比べ、計
算量を減らすことができるという利点とデータが少なく
なるという利点がある。
【0027】ステップ310で振幅抑制処理を行った
後、制御部20−1は、その振幅抑制処理を行った合成
フーリエ画像データをフーリエ変換部20−7へ送り、
第2回目の2次元離散的フーリエ変換(DFT)を施す
(ステップ311)。
【0028】そして、制御部20−1は、T1 時からT
2 時までにトラッキング装置が移動したか、すなわちC
CDカメラ10が移動したか否かをチェックし(ステッ
プ312)、CCDカメラ10が移動していればステッ
プ313へ進み、移動していなければステップ314へ
進む。この場合、CCDカメラ10は移動していないの
で、ステップ314へ進む。
【0029】これにより、制御部20−1は、ステップ
311で得られた合成フーリエ画像データを取り込み、
この合成フーリエ画像データより所定の相関成分エリア
(この実施の形態では全エリア)の各画素の相関成分の
強度(振幅)をスキャンし、各画素の相関成分の強度の
ヒストグラムを求め、このヒストグラムより相関成分エ
リアの中心付近を除く範囲で相関成分の最も強度の高い
画素(相関ピーク)を抽出し(ステップ314)、この
抽出した相関ピークの座標を求める(ステップ31
5)。
【0030】この時の相関ピークの座標位置を図1
(e)に示す。同図に示すPa1が相関ピークの位置であ
り、P0 が相関成分エリアの中心である。この場合、相
関ピークPa1が目標M1を示し、相関成分エリアの中心
0 から相関ピークの位置Pa1に至る方向が目標M1の
移動方向を、相関成分エリアの中心P0 から相関ピーク
の位置Pa1までの距離が目標M1の移動距離を示す。な
お、相関成分エリアの中心付近P0 には、背景を示す相
関ピークが出現する。
【0031】制御部20−1は、相関ピークPa1の座標
位置からT1 時からT2 時までの目標M1の移動方向お
よび移動距離を求め(ステップ316)、T2 時点の目
標M1の位置からT3 時点の目標M1の位置を予測する
(ステップ317)。この場合、制御部20−1は、T
2 時点の目標M1の位置を演算処理によって求め、この
求めた目標M1の位置からT3 時点の目標M1の位置を
予測する。
【0032】すなわち、図5に示す如く、CCDカメラ
10の視野角θの中心からT2 時点の目標M1の位置を
演算処理によって角度αとして求め、この角度αからC
CDカメラ10の視野角θの中心と目標M1の移動軌跡
との交点を零起点とするT2時点の目標M1の位置を+
ltanαとして求め、この+ltanαにT2 時点か
ら次のT3 時点までの間に進むであろう移動距離を加算
して、T3 時点の目標M1の位置を予測する。
【0033】そして、この予測したT3 時点の目標M1
の位置が現在のCCDカメラ10の視野角θ内に入るか
否か、すなわち目標M1の位置が±ltanθ/2を外
れるか否かをチェックし(ステップ318)、±lta
nθ/2を外れなければCCDカメラ10の位置はその
ままとするが(ステップ319)、±ltanθ/2を
外れれば目標M1の移動方向へ移動距離分だけCCDカ
メラ10を移動させる(ステップ320)。
【0034】この場合、予測されるT3 時点の目標M1
の位置は+ltanθ/2を越えるので、すなわち目標
M1が次のT3 時に入力されるであろう画像データのデ
ータ領域から飛び出すと予測されるので、ステップ32
0へ進み、目標M1の移動方向へステップ316で求め
た移動距離分だけCCDカメラ10を移動させる。
【0035】そして、制御部20−1は、CCDカメラ
10の移動方向と移動量を記憶したうえ(ステップ32
1)、n=n+1として(ステップ322)、すなわち
n=3として、ステップ302へ戻る。
【0036】これにより、制御部20−1は、T3 時に
おける目標M1の画像データを取り込み(ステップ30
2)、この取り込んだ目標M1の画像データを照合画像
データとし(図1(c))、この照合画像データに2次
元離散的フーリエ変換を施し(ステップ303)、照合
フーリエ画像データとしてファイル化する(ステップ3
04)。
【0037】そして、ステップ305でのYESに応
じ、ステップ307へ進み、Tn-1 時すなわちT2 時の
フーリエ画像データを登録フーリエ画像データとして読
み出す。また、ステップ308において、Tn 時すなわ
ちT3 時のフーリエ画像データ(照合フーリエ画像デー
タ)を読み出す。
【0038】そして、制御部20−1は、ステップ30
7で読み出した登録フーリエ画像データとステップ30
8で読み出した照合フーリエ画像データとを合成し(ス
テップ309)、これによって得られる合成フーリエ画
像データに2次元離散的フーリエ変換を施す(ステップ
311)。
【0039】そして、制御部20−1は、T2 時からT
3 時までにCCDカメラ10が移動したか否かをチェッ
クし(ステップ312)、CCDカメラ10が移動して
いればステップ313へ進み、移動していなければステ
ップ314へ進む。この場合、CCDカメラ10は先の
ステップ320により移動しているので、ステップ31
3へ進む。
【0040】これにより、制御部20−1は、先のステ
ップ321で記憶したCCDカメラ10の移動方向と移
動距離を読み出し、これに基づきステップ311で得ら
れた合成フーリエ画像データに出現する相関成分エリア
内の相関ピークの位置を補正する。すなわち、ステップ
311で得られる合成フーリエ画像データにおいて、そ
の相関成分エリア内には図1(f)に示すように、背景
のピークを示す相関ピークPb2と目標M1のピークを示
す相関ピークPa2が現れる。この相関ピークPb2,Pa2
の位置は、T2 時点からT3 時点までの間にCCDカメ
ラ10が移動しているので、このCCDカメラ10の移
動分を含んだ位置情報とされている。そこで、CCDカ
メラ10が移動した分だけ、相関ピークPb2,Pa2の位
置をずらし、Pb2′,Pa2′とする(図1(h))。
【0041】そして、制御部20−1は、この補正した
相関成分エリアの中心付近を除く範囲で相関ピークを抽
出し(ステップ314)、この抽出した相関ピーク
a2′の座標を求める(ステップ315)。そして、こ
の相関ピークPa2′の座標位置からT2 時からT3 時ま
での目標M1の移動方向および移動距離を求め(ステッ
プ316)、T3 時点の目標M1の位置からT4 時点の
目標M1の位置を予測し(ステップ317)、ステップ
318以降の処理を繰り返す。
【0042】以上説明したように、この実施の形態によ
るトラッキング装置によると、Tn時に入力された画像
データとTn+1 時に入力された画像データとを空間周波
数特性に基づいて照合し、この照合結果として目標M1
の移動方向および移動距離を求めるようにしているの
で、ノイズに対して強くなる。また、目標M1が大きく
てもその移動方向および移動距離を求めることができる
ようになり、特徴量の切り出しも不要となって処理が簡
単となる。
【0043】なお、この実施の形態では、2次元離散的
フーリエ変換をフーリエ変換部20−7において行うも
のとしたが、CPU20−1内で行うものとしてもよ
い。また、この実施の形態では、図3に示したステップ
311にて2次元離散的フーリエ変換を行うようにした
が、2次元離散的フーリエ変換ではなく2次元離散的逆
フーリエ変換を行うようにしてもよい。すなわち、振幅
抑制処理の施された合成フーリエ画像データに対して2
次元離散的フーリエ変換を行うのに代えて、2次元離散
的逆フーリエ変換を行うようにしてもよい。2次元離散
的フーリエ変換と2次元離散的逆フーリエ変換とは、定
量的にみて照合精度は変わらない。2次元離散的逆フー
リエ変換については、先の文献1に説明されている。
【0044】また、この実施の形態では、合成後のフー
リエ画像データに対して振幅抑制処理を施して2次元離
散的フーリエ変換を行うようにしたが(ステップ31
0,311)、合成前の登録フーリエ画像データおよび
照合フーリエ画像データにそれぞれ振幅抑制処理を行っ
た後に合成するようにしてもよい。すなわち、図6
(a)に示すように、図3のステップ310をなくし、
ステップ303と304との間に振幅抑制処理を行うス
テップ323を設けてもよい。あるいは、図6(b)に
示すように、図3のステップ310をなくし、ステップ
308と309との間に振幅抑制処理を行うステップ3
23を設けてもよい。
【0045】このようにした場合、ステップ323の振
幅抑制処理によって、振幅抑制処理の施された登録フー
リエ画像データおよび照合フーリエ画像データが得ら
れ、これらのフーリエ画像データ合成されて合成フーリ
エ画像データが得られる。
【0046】この時の合成フーリエ画像データの振幅の
抑制率は、合成フーリエ画像データとしてから振幅抑制
処理を行う場合(図3)に対して小さい。したがって、
合成フーリエ画像データとしてから振幅抑制処理を行う
(図3)方が、振幅抑制処理を行ってから合成フーリエ
画像データとする方法(図6)に比べて、その照合精度
がアップする。なお、振幅抑制処理を行ってから合成フ
ーリエ画像データとする場合(図6)にも、合成フーリ
エ画像データに対して2次元離散的フーリエ変換ではな
く、2次元離散的逆フーリエ変換を行うようにしてもよ
い。また、この実施の形態では、振幅抑制処理を行うも
のとしたが、振幅抑制処理は必ずしも行わなくてもよ
い。
【0047】また、この実施の形態では、ステップ32
0において、目標M1の移動方向へステップ316で求
めた移動距離分だけCCDカメラ10を移動させるよう
にしたが、次の時点(T3 )の目標M1をCCDカメラ
10の視野角θの中央で捉えるように、CCDカメラ1
0の移動スピードを決めるようにしてもい(目標M1の
移動スピードよりも速く同じ方向にCCDカメラ10を
移動させる)。また、現時点(T2 )の目標M1をCC
Dカメラ10の視野角θの中心で捉えるように、CCD
カメラ10の移動距離を決めるようにしてもよい。この
ようにすれば、図5において、次の時点(T3 )からは
角度αを求めなくてもよくなり、演算処理が簡単とな
る。すなわち、T2 時点の目標M1の位置とT3 時点の
CCDカメラ10の視野角θの中心とが一致し、次の時
点T3 からは角度αを求めなくてもよくなる。
【0048】〔実施の形態2:第3発明,第5発明,第
7発明〕実施の形態1では、Tn 時に捉えた画像データ
を登録画像データとし、Tn+1時に捉えた画像データを
照合画像データとし、空間周波数特性に基づいて照合を
行い、相関成分エリアの中心から相関ピークの位置に至
る方向を目標M1の移動方向として、また相関成分エリ
アの中心から相関ピークの位置までの距離を目標M1の
移動距離として求めた。これに対し、実施の形態2で
は、Tn 時に捉えた画像データを照合画像データとし、
n+1 時に捉えた画像データを登録画像データとする。
このようにしても、実施の形態1と同様にして、目標M
1の移動方向および移動距離を求めることができる。
【0049】この場合、図1(e)に対応して図1
(j)が得られ、図1(h)に対応して図1(k)が得
られ、図1(i)に対応して図1(l)が得られる。す
なわち、図1(e),(h)および(i)における相関
ピークPa1,a2′,Pa3′に対し、相関エリアの中
心P0 を中心として逆の位置に相関ピークPa1′,
a2”,Pa3”が現れる。したがって、この場合、相関
ピークPa1′(Pa2”,Pa3”)の位置を起点として相
関成分エリアの中心P0 に至る方向を目標M1の移動方
向として、また相関ピークPa1′(Pa2”,Pa3”)の
位置から相関成分エリアの中心P0 までの距離を目標M
1の移動距離として求める。
【0050】〔実施の形態3:第2発明,第5発明,第
6発明〕この実施の形態は、実施の形態1の改良であ
り、図7に示すように、T1 時(最初の撮影時)にCC
Dカメラ10の視野角θの中心を目標M1に合わせる。
すなわち、CCDカメラ10の視野範囲の中央で、目標
M1を捉える。この実施の形態において、図7に示すよ
うにレール100と平行に対象物M1が移動して行くも
のとした場合、その追跡処理は次のようにして行われ
る。
【0051】制御部20−1は、n=1とし(図8に示
すステップ801)、Tn 時すなわちT1 時におけるC
CDカメラ10からの目標M1を捉えた画像データを、
フレームメモリ20−5を介して取り込む(ステップ8
02)。そして、この取り込んだ画像データを登録画像
データとし(図9(a))、この登録画像データをフー
リエ変換部20−7へ送り、この登録画像データに2次
元離散的フーリエ変換(DFT)を施す(ステップ80
3)。これにより、図9(a)に示された登録画像デー
タは、フーリエ画像データ(登録フーリエ画像データ)
となる。制御部20−1は、この登録フーリエ画像デー
タをファイル化する(ステップ804)。
【0052】次に、制御部20−1は、n>1か否かを
チェックのうえ(ステップ805)、n≦1であればス
テップ806へ進み、n>1であればステップ807へ
進む。この場合、n=1であるので、ステップ806へ
進み、n=n+1としてステップ802へ戻る。これに
より、制御部20−1は、Tn 時すなわちT1 時に対し
て所定時間t経過したT2 時におけるCCDカメラ10
からの目標M1を捉えた画像データを、フレームメモリ
20−5を介して取り込む(ステップ802)。
【0053】そして、この取り込んだ画像データを照合
画像データとし(図9(b))、この照合画像データを
フーリエ変換部20−7へ送り、この照合画像データに
2次元離散的フーリエ変換(DFT)を施す(ステップ
803)。これにより、図9(b)に示された照合画像
データは、フーリエ画像データ(照合フーリエ画像デー
タ)となる。制御部20−1は、この照合フーリエ画像
データをファイル化する(ステップ804)。
【0054】次に、制御部20−1は、n>1か否かを
チェックのうえ(ステップ805)、n≦1であればス
テップ806へ進み、n>1であればステップ807へ
進む。この場合、n=2であるので、ステップ807へ
進む。制御部20−1は、ステップ807において、T
n-1 時すなわちT1 時のフーリエ画像データ(登録フー
リエ画像データ)を読み出す。また、ステップ808に
おいて、Tn 時すなわちT2 時のフーリエ画像データ
(照合フーリエ画像データ)を読み出す。
【0055】そして、制御部20−1は、ステップ80
7で読み出した登録フーリエ画像データとステップ80
8で読み出した照合フーリエ画像データとを合成し(ス
テップ809)、先のステップ309と同様にして合成
フーリエ画像データを得る。
【0056】そして、制御部20−1は、このようにし
て合成フーリエ画像データを得た後、先のステップ31
0と同様にして振幅抑制処理を行い(ステップ81
0)、その振幅抑制処理を行った合成フーリエ画像デー
タをフーリエ変換部20−7へ送り、第2回目の2次元
離散的フーリエ変換(DFT)を施す(ステップ81
1)。
【0057】そして、制御部20−1は、T1 時からT
2 時までにトラッキング装置が移動したか、すなわちC
CDカメラ10が移動したか否かをチェックし(ステッ
プ812)、CCDカメラ10が移動していればステッ
プ813へ進み、移動していなければステップ814へ
進む。この場合、CCDカメラ10は移動していないの
で、ステップ814へ進む。
【0058】これにより、制御部20−1は、ステップ
811で得られた合成フーリエ画像データを取り込み、
この合成フーリエ画像データより所定の相関成分エリア
(この実施の形態では全エリア)の各画素の相関成分の
強度(振幅)をスキャンし、各画素の相関成分の強度の
ヒストグラムを求め、このヒストグラムより相関成分エ
リアの中心付近を除く範囲で相関成分の最も強度の高い
画素(相関ピーク)を抽出し(ステップ814)、この
抽出した相関ピークの座標を求める(ステップ81
5)。
【0059】この時の相関ピークの座標位置を図9
(e)に示す。同図に示すPa1が相関ピークの位置であ
り、P0 が相関成分エリアの中心である。この場合、相
関ピークPa1が目標M1を示し、相関成分エリアの中心
0 から相関ピークの位置Pa1に至る方向が目標M1の
移動方向を、相関成分エリアの中心P0 から相関ピーク
の位置Pa1までの距離が目標M1の移動距離を示す。な
お、相関成分エリアの中心付近P0 には、背景を示す相
関ピークが出現する。
【0060】制御部20−1は、相関ピークPa1の座標
位置からT1 時からT2 時までの目標M1の移動方向お
よび移動距離を求め(ステップ816)、目標M1の移
動方向へステップ816で求めた移動距離分だけCCD
カメラ10を素早く移動させる(ステップ817)。こ
れにより、T3 時になる前に、CCDカメラ10の視野
角θの中心がT2 時点における目標M1の位置付近に合
わされる。そして、制御部20−1は、CCDカメラ1
0の移動方向と移動量を記憶したうえ(ステップ81
8)、n=n+1として(ステップ819)、すなわち
n=3として、ステップ802へ戻る。
【0061】これにより、制御部20−1は、T3 時に
おける目標M1の画像データを取り込み(ステップ80
2)、この取り込んだ目標M1の画像データを照合画像
データとし(図9(c))、この照合画像データに2次
元離散的フーリエ変換を施し(ステップ803)、照合
フーリエ画像データとしてファイル化する(ステップ8
04)。
【0062】そして、ステップ805でのYESに応
じ、ステップ807へ進み、Tn-1 時すなわちT2 時の
フーリエ画像データを登録フーリエ画像データとして読
み出す。また、ステップ808において、Tn 時すなわ
ちT3 時のフーリエ画像データ(照合フーリエ画像デー
タ)を読み出す。
【0063】そして、制御部20−1は、ステップ80
7で読み出した登録フーリエ画像データとステップ80
8で読み出した照合フーリエ画像データとを合成し(ス
テップ809)、これによって得られる合成フーリエ画
像データに2次元離散的フーリエ変換を施す(ステップ
811)。
【0064】そして、制御部20−1は、T2 時からT
3 時までにCCDカメラ10が移動したか否かをチェッ
クし(ステップ812)、CCDカメラ10が移動して
いればステップ813へ進み、移動していなければステ
ップ814へ進む。この場合、CCDカメラ10は移動
しているので、ステップ813へ進む。
【0065】これにより、制御部20−1は、ステップ
818で記憶したCCDカメラ10の移動方向と移動量
を読み出し、これに基づきステップ811で得られた合
成フーリエ画像データに出現する相関成分エリア内の相
関ピークの位置を補正する。すなわち、ステップ811
で得られる合成フーリエ画像データにおいて、その相関
成分エリア内には図9(f)に示すように、背景のピー
クを示す相関ピークPb2と目標M1のピークを示す相関
ピークPa2が現れる。この相関ピークPb2,Pa2の位置
は、T2 時点からT3 時点までの間にCCDカメラ10
が移動しているので、このCCDカメラ10の移動分を
含んだ位置情報とされている。そこで、CCDカメラ1
0が移動した分だけ、相関ピークPb2,Pa2の位置をず
らし、Pb2′,Pa2′とする(図9(h))。
【0066】そして、制御部20−1は、この補正した
相関成分エリアの中心付近を除く範囲で相関ピークを抽
出し(ステップ814)、この抽出した相関ピーク
a2′の座標を求める(ステップ815)。そして、こ
の相関ピークPa2′の座標位置からT2 時からT3 時ま
での目標M1の移動方向および移動距離を求め(ステッ
プ816)、ステップ817以降の処理を繰り返す。
【0067】この実施の形態3によれば、目標M1は常
にCCDカメラ10の正面近辺に捉えられ、Tn 時点の
目標位置からTn+1 時点の目標M1の位置を予測しての
CCDカメラ10の移動の可否を判断する必要がなく、
その演算処理が簡単となる。
【0068】なお、この実施の形態では、T1 時(最初
の撮影時)にCCDカメラ10の視野角θの中心を目標
M1に合わせるようにしたが、必ずしも視野角θの中心
に合わせなくてもよい。例えば、図7に示した例におい
て、目標M1が右方向へ移動することが分かっていれ
ば、CCDカメラ10の視野角θの左側の領域に目標M
1を合わせるようにすることにより、目標M1は常にC
CDカメラ10の視野角θの中心よりも左側の領域で捉
えられ、目標M1の時計方向への大きな動きに対応する
ことができる。また、この実施の形態3においても、実
施の形態1と同様、各種の処理の変形が自在である。
【0069】〔実施の形態4:第4発明,第5発明,第
7発明〕実施の形態3では、Tn 時に捉えた画像データ
を登録画像データとし、Tn+1時に捉えた画像データを
照合画像データとし、空間周波数特性に基づいて照合を
行い、相関成分エリアの中心から相関ピークの位置に至
る方向を目標M1の移動方向として、また相関成分エリ
アの中心から相関ピークの位置までの距離を目標M1の
移動距離として求めた。これに対し、実施の形態4で
は、Tn 時に捉えた画像データを照合画像データとし、
n+1 時に捉えた画像データを登録画像データとする。
このようにしても、実施の形態3と同様にして、目標M
1の移動方向および移動距離を求めることができる。
【0070】この場合、図9(e)に対応して図9
(j)が得られ、図9(h)に対応して図9(k)が得
られ、図9(i)に対応して図9(l)が得られる。す
なわち、図9(e),(h)および(i)における相関
ピークPa1,a2′,Pa3′に対し、相関エリアの中
心P0 を中心として逆の位置に相関ピークPa1′,
a2”,Pa3”が現れる。したがって、この場合、相関
ピークPa1′(Pa2”,Pa3”)の位置を起点として相
関成分エリアの中心P0 に至る方向を目標M1の移動方
向として、また相関ピークPa1′(Pa2”,Pa3”)の
位置から相関成分エリアの中心P0 までの距離を目標M
1の移動距離として求める。
【0071】図10はこの発明の別の実施の形態を示す
トラッキング装置のブロック構成図である。同図におい
て、図2と同一符号は同一あるいは同等構成要素を示
し、その説明は省略する。この実施の形態において、C
CDカメラ10およびコントロール部20はターンテー
ブル40に載置されている。ターンテーブル40はコン
トロール部20からの指令を受けて固定台50の上面で
回転する(図11参照)。なお、この実施の形態におい
て、目標(対象物)M1は、図12に示すように、CC
Dカメラ10の撮像位置を中心とし、半径lの周上を移
動するものとする。
【0072】〔実施の形態5:第1発明,第5発明,第
6発明〕このトラッキング装置において、図12に示す
ように目標M1がCCDカメラ10の撮像位置を中心と
する半径lの周上を移動して行くものとした場合、その
追跡処理は実施の形態1と同様にして行われる。すなわ
ち、図3に示した追跡処理プログラムに従い、目標M1
を追跡する。
【0073】この場合、ステップ312では、Tn-1
からTn 時までにトラッキング装置、すなわちCCDカ
メラ10の視野方向が移動したか否かをチェックする。
また、ステップ316では目標M1の移動方向および移
動角度(回転角度)を求め、ステップ320では目標M
1の移動方向へステップ316で求めた移動角度分だけ
CCDカメラ10の視野方向を移動させる。また、ステ
ップ321ではCCDカメラ10の移動方向と移動角度
を記憶し、ステップ313ではステップ321で記憶し
たCCDカメラ10の移動方向と移動角度を読み出し、
これに基づいて相関成分エリア内の相関成ピークの位置
を補正する。
【0074】なお、この実施の形態において、ステップ
317では、Tn 時点の目標M1の位置を演算処理によ
って求め、この求めた目標M1の位置からTn+1 時点の
目標M1の位置を予測する。また、ステップ318で
は、この予測した目標M1の位置が現在のCCDカメラ
10の視界内に入るか否かをチェックする。
【0075】すなわち、図13に示す如く、CCDカメ
ラ10の視野角θの中心からTn 時点の目標M1の位置
を演算処理によって角度αとして求め、この角度αから
CCDカメラ10の視野角θの中心と目標M1の移動軌
跡との交点を零起点とするTn 時点の目標M1の位置を
+lαとして求め、この+lαにTn 時点から次のT
n+1 時点までの間に進むであろう移動距離を加算して、
n+1 時点の目標M1の位置を予測する。
【0076】そして、この予測したTn+1 時点の目標M
1の位置が現在のCCDカメラ10の視野角θ内に入る
か否か、すなわち目標M1の位置が±lθ/2を外れる
か否かをチェックし、±lθ/2を外れなければCCD
カメラ10の視野方向はそのままとするが、±lθ/2
を外れれば目標M1の移動方向へ移動角度分だけCCD
カメラ10の視野方向を移動させる。
【0077】なお、この実施の形態では、ステップ32
0において、目標M1の移動方向へステップ316で求
めた移動角度分だけCCDカメラ10を移動させるよう
にしたが、次の時点(Tn+1 )の目標M1をCCDカメ
ラ10の視野角θの中央で捉えるように、CCDカメラ
10の移動スピードを決めるようにしてもい(目標M1
の移動スピードよりも速く同じ方向にCCDカメラ10
を移動させる)。また、現時点(T2 )の目標M1をC
CDカメラ10の視野角θの中央で捉えるように、CC
Dカメラ10の視野方向の移動角度を決めるようにして
もよい。このようにすれば、図13において、次の時点
(T3 )からは角度αを求めなくてもよくなり、演算処
理が簡単となる。すなわち、T2 時点の目標M1の位置
とT3 時点のCCDカメラ10の視野角θの中心とが一
致し、次の時点T3 からは角度αを求めなくてもよくな
る。
【0078】〔実施の形態6:第2発明,第5発明,第
6発明〕この実施の形態は、実施の形態5の改良であ
り、図14に示すように、T1 時(最初の撮影時)にC
CDカメラ10の視野角θの中心を目標M1に合わせ
る。すなわち、CCDカメラ10の視野範囲の中央で、
目標M1を捉える。この実施の形態において、図14に
示すように目標M1がCCDカメラ10の撮像位置を中
心とする半径lの周上を移動して行くものとした場合、
その追跡処理は実施の形態3と同様にして行われる。す
なわち、図8に示した追跡処理プログラムに従い、目標
M1を追跡する。
【0079】この場合、ステップ812では、Tn-1
からTn 時までにトラッキング装置、すなわちCCDカ
メラ10の視野方向が移動したか否かをチェックする。
また、ステップ816では目標M1の方向および移動角
度を求め、ステップ817では目標M1の移動方向へス
テップ816で求めた移動角度分だけCCDカメラ10
の視野方向を移動させる。また、ステップ818ではC
CDカメラ10の移動方向と移動角度を記憶し、ステッ
プ813ではステップ818で記憶したCCDカメラ1
0の移動方向と移動角度を読み出し、これに基づいて相
関成分エリア内の相関成ピークの位置を補正する。
【0080】この実施の形態6によれば、目標M1は常
にCCDカメラ10の正面近辺に捉えられ、Tn 時点の
目標位置からTn+1 時点の目標M1の位置を予測しての
CCDカメラ10の移動の可否を判断する必要がなく、
その演算処理が簡単となる。
【0081】なお、この実施の形態では、T1 時(最初
の撮影時)にCCDカメラ10の視野角θの中心を目標
M1に合わせるようにしたが、必ずしも視野角θの中心
に合わせなくてもよい。例えば、図13に示した例にお
いて、目標M1が時計方向へ移動することが分かってい
れば、CCDカメラ10の視野角θの左側の領域に目標
M1を合わせるようにすることにより、目標M1は常に
CCDカメラ10の視野角θの中心よりも左側の領域で
捉えられ、目標M1の時計方向への大きな動きに対応す
ることができる。
【0082】また、上述した実施の形態では、2次元パ
ターンの追跡処理について説明したが、3次元パターン
の追跡処理についても同様にして行うことが可能であ
り、2次元,3次元に拘らず多次元のパターンの追跡処
理を同様にして行うことができる。
【0083】また、上述した実施の形態では、図1
(e),(f),(g)において、合成フーリエ画像デ
ータの全エリアを相関成分エリアとしたが、部分的な領
域を相関成分エリアとしてもよい。この場合、相関成分
エリアの取り方によって、背景を示す相関ピークが出現
する位置が異なる。そこで、この場合、この背景を示す
相関ピークが出現するであろう位置を基準位置とし、こ
の基準位置付近を除く範囲で相関ピークを抽出する。
【0084】
【発明の効果】以上説明したことから明らかなように本
発明によれば、Tn 時に入力された画像データとTn+1
時に入力された画像データとが空間周波数特性に基づい
て照合され、この照合結果として目標の移動方向および
移動量が求められるものとなり、ノイズに対して強くな
る。また、目標が大きくてもその目標の移動方向および
移動量を求めることができるようになり、特徴量の切り
出しも不要となって処理が簡単となる。
【図面の簡単な説明】
【図1】 図2に示したトラッキング装置におけるトラ
ッキング処理過程(実施の形態1)を説明する図であ
る。
【図2】 この発明の一実施の形態を示すトラッキング
装置のブロック構成図である。
【図3】 このトラッキング装置におけるトラッキング
処理動作(実施の形態1)を説明するためのフローチャ
ートである。
【図4】 目標M1がレール100と平行に移動して行
く場合のCCDカメラ10の動き(実施の形態1)を説
明する図である。
【図5】 このトラッキング装置においてT2 時点の目
標M1の位置からT3 時点の目標M1の位置を予測する
ための演算過程(実施の形態1)を説明する図である。
【図6】 このトラッキング装置におけるトラッキング
処理動作の他の例を説明するためのフローチャートであ
る。
【図7】 目標M1がレール100と平行に移動して行
く場合のCCDカメラ10の動き(実施の形態3)を説
明する図である。
【図8】 図2に示したトラッキング装置におけるトラ
ッキング処理過程(実施の形態3)を説明する図であ
る。
【図9】 このトラッキング装置におけるトラッキング
処理過程(実施の形態3)を説明する図である。
【図10】 この発明の別の実施の形態を示すトラッキ
ング装置のブロック構成図である。
【図11】 このトラッキング装置を上から見た図であ
る。
【図12】 目標M1がCCDカメラ10の撮像位置を
中心とする半径lの周上を移動して行く場合のCCDカ
メラ10の視野方向の動き(実施の形態5)を説明する
図である。
【図13】 このトラッキング装置においてT2 時点の
目標M1の位置からT3 時点の目標M1の位置を予測す
るための演算過程(実施の形態5)を説明する図であ
る。
【図14】 目標M1がCCDカメラ10の撮像位置を
中心とする半径lの周上を移動して行く場合のCCDカ
メラ10の視野方向の動き(実施の形態6)を説明する
図である。
【図15】 従来のトラッキング装置における追跡処理
過程を説明する図である。
【符号の説明】
10…CCDカメラ、20…コントロール部、20−1
…制御部、20−2…ROM、20−3…RAM、20
−4…ハードディスク(HD)、20−5…フレームメ
モリ(FM)、20−6…外部接続部(I/F)、20
−7…フーリエ変換部(FFT)、30…移動テーブ
ル、40…ターンテーブル、50…固定台。

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 所定の視野範囲のデータを2次元パター
    ンデータとして入力する2次元パターンデータ入力手段
    と、 Tn 時に入力された2次元パターンデータを登録パター
    ンデータとし、この登録パターンデータに2次元離散的
    フーリエ変換を施して登録フーリエ2次元パターンデー
    タを作成する登録フーリエパターンデータ作成手段と、 Tn+1 時に入力された2次元パターンデータを照合パタ
    ーンデータとし、この照合パターンデータに2次元離散
    的フーリエ変換を施して照合フーリエ2次元パターンデ
    ータを作成する照合フーリエパターンデータ作成手段
    と、 前記登録フーリエ2次元パターンデータと前記照合フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリアの基準位置付近を除く範囲で相関ピークを求め、
    この相関成分エリアの基準位置から相関ピークの位置に
    至る方向を目標の移動方向として、またこの相関成分エ
    リアの基準位置から相関ピークの位置までの距離を目標
    の移動量として求める移動ベクトル求出手段と、 この移動ベクトル求出手段によって求められた移動方向
    および移動量に基づきその目標が次のTn+2 時に入力さ
    れるであろう2次元パターンデータのデータ領域から飛
    び出すか否かを予測する予測手段と、 この予測手段によってその目標がTn+2 時に入力される
    であろう2次元パターンデータのデータ領域から飛び出
    すと予測された場合、Tn+2 時に入力される2次元パタ
    ーンデータのデータ領域にその目標が入るように、前記
    2次元パターンデータ入力手段の視野範囲を移動させる
    移動手段と、 この移動手段によって前記2次元パターンデータ入力手
    段の視野範囲が移動された場合、この2次元パターンデ
    ータ入力手段の視野範囲の移動方向および移動量に基づ
    き、前記移動ベクトル求出手段による次のTn+1 時とT
    n+2 時の2次元パターンデータを用いての目標の移動方
    向および移動量の求出に際して、その合成フーリエ2次
    元パターンデータに出現する相関成分エリア内の相関ピ
    ークの位置を補正する補正手段とを備えたことを特徴と
    するトラッキング装置。
  2. 【請求項2】 所定の視野範囲のデータを2次元パター
    ンとして入力する2次元パターンデータ入力手段と、 Tn 時に入力された2次元パターンデータを登録パター
    ンデータとし、この登録パターンデータに2次元離散的
    フーリエ変換を施して登録フーリエ2次元パターンデー
    タを作成する登録フーリエパターンデータ作成手段と、 Tn+1 時に入力された2次元パターンデータを照合パタ
    ーンデータとし、この照合パターンデータに2次元離散
    的フーリエ変換を施して照合フーリエ2次元パターンデ
    ータを作成する照合フーリエパターンデータ作成手段
    と、 前記登録フーリエ2次元パターンデータと前記照合フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリアの基準位置付近を除く範囲で相関ピークを求め、
    この相関成分エリアの基準位置から相関ピークの位置に
    至る方向を目標の移動方向として、またこの相関成分エ
    リアの基準位置から相関ピークの位置までの距離を目標
    の移動量として求める移動ベクトル求出手段と、 この移動ベクトル求出手段によって求められた移動方向
    および移動量に基づき、次のTn+2 時に入力される2次
    元パターンデータのデータ領域にその目標が位置するよ
    うに、前記2次元パターンデータ入力手段の視野範囲を
    移動させる移動手段と、 この移動手段による2次元パターンデータ入力手段の視
    野範囲の移動方向および移動量に基づき、前記移動ベク
    トル求出手段による次のTn+1 時とTn+2 時の2次元パ
    ターンデータを用いての目標の移動方向および移動量の
    求出に際して、その合成フーリエ2次元パターンデータ
    に出現する相関成分エリア内の相関ピークの位置を補正
    する補正手段とを備えたことを特徴とするトラッキング
    装置。
  3. 【請求項3】 所定の視野範囲のデータを2次元パター
    ンとして入力する2次元パターンデータ入力手段と、 Tn 時に入力された2次元パターンデータを照合パター
    ンデータとし、この照合パターンデータに2次元離散的
    フーリエ変換を施して照合フーリエ2次元パターンデー
    タを作成する照合フーリエパターンデータ作成手段と、 Tn+1 時に入力された2次元パターンデータを登録パタ
    ーンデータとし、この登録パターンデータに2次元離散
    的フーリエ変換を施して登録フーリエ2次元パターンデ
    ータを作成する登録フーリエパターンデータ作成手段
    と、 前記照合フーリエ2次元パターンデータと前記登録フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリアの基準位置付近を除く範囲で相関ピークを求め、
    この相関ピークの位置を起点として相関成分エリアの基
    準位置に至る方向を目標の移動方向として、またこの相
    関ピークの位置から相関成分エリアの基準位置までの距
    離を目標の移動量として求める移動ベクトル求出手段
    と、 この移動ベクトル求出手段によって求められた移動方向
    および移動量に基づきその目標が次のTn+2 時に入力さ
    れるであろう2次元パターンデータのデータ領域から飛
    び出すか否かを予測する予測手段と、 この予測手段によってその目標がTn+2 時に入力される
    であろう2次元パターンデータのデータ領域から飛び出
    すと予測された場合、Tn+2 時に入力される2次元パタ
    ーンデータのデータ領域にその目標が入るように、前記
    2次元パターンデータ入力手段の視野範囲を移動させる
    移動手段と、 この移動手段によって前記2次元パターンデータ入力手
    段の視野範囲が移動された場合、この2次元パターンデ
    ータ入力手段の視野範囲の移動方向および移動量に基づ
    き、前記移動ベクトル求出手段による次のTn+1 時とT
    n+2 時の2次元パターンデータを用いての目標の移動方
    向および移動量の求出に際して、その合成フーリエ2次
    元パターンデータに出現する相関成分エリア内の相関ピ
    ークの位置を補正する補正手段とを備えたことを特徴と
    するトラッキング装置。
  4. 【請求項4】 所定の視野範囲のデータを2次元パター
    ンとして入力する2次元パターンデータ入力手段と、 Tn 時に入力された2次元パターンデータを照合パター
    ンデータとし、この照合パターンデータに2次元離散的
    フーリエ変換を施して照合フーリエ2次元パターンデー
    タを作成する照合フーリエパターンデータ作成手段と、 Tn+1 時に入力された2次元パターンデータを登録パタ
    ーンデータとし、この登録パターンデータに2次元離散
    的フーリエ変換を施して登録フーリエ2次元パターンデ
    ータを作成する登録フーリエパターンデータ作成手段
    と、 前記照合フーリエ2次元パターンデータと前記登録フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリアの基準位置付近を除く範囲で相関ピークを求め、
    この相関ピークの位置を起点として相関成分エリアの基
    準位置に至る方向を目標の移動方向として、またこの相
    関ピークの位置から相関成分エリアの基準位置までの距
    離を目標の移動量として求める移動ベクトル求出手段
    と、 この移動ベクトル求出手段によって求められた移動方向
    および移動量に基づき、次のTn+2 時に入力される2次
    元パターンデータのデータ領域にその目標が位置するよ
    うに、前記2次元パターンデータ入力手段の視野範囲を
    移動させる移動手段と、 この移動手段による2次元パターンデータ入力手段の視
    野範囲の移動方向および移動量に基づき、前記移動ベク
    トル求出手段による次のTn+1 時とTn+2 時の2次元パ
    ターンデータを用いての目標の移動方向および移動量の
    求出に際して、その合成フーリエ2次元パターンデータ
    に出現する相関成分エリア内の相関ピークの位置を補正
    する補正手段とを備えたことを特徴とするトラッキング
    装置。
  5. 【請求項5】 請求項1〜4の何れか1項において、 前記パターン処理手段は、前記照合フーリエ2次元パタ
    ーンデータと前記登録フーリエ2次元パターンデータと
    を合成し、これによって得られる合成フーリエ2次元パ
    ターンデータに振幅抑制処理を行ったうえ2次元離散的
    フーリエ変換および2次元離散的逆フーリエ変換の何れ
    か一方を施すことを特徴とするトラッキング装置。
  6. 【請求項6】 請求項1または2において、 前記登録フーリエパターンデータ作成手段は、Tn 時に
    入力された2次元パターンデータを登録パターンデータ
    とし、この登録パターンデータに2次元離散的フーリエ
    変換を施してから振幅抑制処理を行うことにより登録フ
    ーリエ2次元パターンデータを作成し、 前記照合フーリエパターンデータ作成手段は、Tn+1
    に入力された2次元パターンデータを照合パターンデー
    タとし、この照合パターンデータに2次元離散的フーリ
    エ変換を施してから振幅抑制処理を行うことにより照合
    フーリエ2次元パターンデータを作成することを特徴と
    するトラッキング装置。
  7. 【請求項7】 請求項3または4において、 前記照合フーリエパターンデータ作成手段は、Tn 時に
    入力された2次元パターンデータを照合パターンデータ
    とし、この照合パターンデータに2次元離散的フーリエ
    変換を施してから振幅抑制処理を行うことにより照合フ
    ーリエ2次元パターンデータを作成し、 前記登録フーリエパターンデータ作成手段は、Tn+1
    に入力された2次元パターンデータを登録パターンデー
    タとし、この登録パターンデータに2次元離散的フーリ
    エ変換を施してから振幅抑制処理を行うことにより照合
    フーリエ2次元パターンデータを作成することを特徴と
    するトラッキング装置。
JP29054396A 1996-10-31 1996-10-31 トラッキング装置 Expired - Fee Related JP3364395B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP29054396A JP3364395B2 (ja) 1996-10-31 1996-10-31 トラッキング装置
US08/959,380 US6067367A (en) 1996-10-31 1997-10-28 Moving direction measuring device and tracking apparatus
EP97118831A EP0840255A3 (en) 1996-10-31 1997-10-29 Moving direction measuring device and tracking apparatus
KR1019970057401A KR100296760B1 (ko) 1996-10-31 1997-10-31 이동방향측정장치와추적장치
CNB971212570A CN1173295C (zh) 1996-10-31 1997-10-31 运动方向测量设备和跟踪设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29054396A JP3364395B2 (ja) 1996-10-31 1996-10-31 トラッキング装置

Publications (2)

Publication Number Publication Date
JPH10134194A true JPH10134194A (ja) 1998-05-22
JP3364395B2 JP3364395B2 (ja) 2003-01-08

Family

ID=17757394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29054396A Expired - Fee Related JP3364395B2 (ja) 1996-10-31 1996-10-31 トラッキング装置

Country Status (1)

Country Link
JP (1) JP3364395B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191601A (ja) * 2000-09-14 2002-07-09 Ge Medical Systems Global Technology Co Llc パルス・ドプラ超音波撮像において移動する血管上にサンプル空間を固定する方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191601A (ja) * 2000-09-14 2002-07-09 Ge Medical Systems Global Technology Co Llc パルス・ドプラ超音波撮像において移動する血管上にサンプル空間を固定する方法及び装置

Also Published As

Publication number Publication date
JP3364395B2 (ja) 2003-01-08

Similar Documents

Publication Publication Date Title
US6067367A (en) Moving direction measuring device and tracking apparatus
JP3002721B2 (ja) 図形位置検出方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
US20140198952A1 (en) Image processing method
WO2000077537A1 (fr) Procede et appareil de determination d'une source sonore
JP2010079375A (ja) 画像処理装置、方法及びプログラム
KR20200096426A (ko) 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램
JPH10134194A (ja) トラッキング装置
JP2022015864A (ja) 映像解析装置、広域監視システム及びカメラの選定方法
JP3364394B2 (ja) 距離測定装置
JP3309205B2 (ja) トラッキング装置
CN117859339A (zh) 媒体设备及其控制方法和装置、目标跟踪方法和装置
JP3364396B2 (ja) 距離測定装置
Spors et al. Joint audio-video object tracking
CN113688680A (zh) 一种智能识别与追踪系统
JPH1075437A (ja) トラッキング装置
JPH07107379A (ja) 静止画像撮像装置
JP3450613B2 (ja) 自己の移動方向測定装置
JP3437087B2 (ja) 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体
Bastos et al. Automatic camera pose initialization, using scale, rotation and luminance invariant natural feature tracking
Davis et al. RSTA on the move: detection and tracking of moving objects from an autonomous mobile platform
Varlashin et al. Real-time surround view system for mobile robots
JP3299453B2 (ja) 模様検出装置
JP2001268431A (ja) 補正画像生成装置,補正画像生成方法,補正画像生成用プログラム記録媒体および補正画像生成用プログラム
JP3347608B2 (ja) 立体像計測装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071025

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081025

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091025

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101025

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111025

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121025

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131025

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees