JP3450613B2 - 自己の移動方向測定装置 - Google Patents

自己の移動方向測定装置

Info

Publication number
JP3450613B2
JP3450613B2 JP29050996A JP29050996A JP3450613B2 JP 3450613 B2 JP3450613 B2 JP 3450613B2 JP 29050996 A JP29050996 A JP 29050996A JP 29050996 A JP29050996 A JP 29050996A JP 3450613 B2 JP3450613 B2 JP 3450613B2
Authority
JP
Japan
Prior art keywords
pattern data
fourier
dimensional
registered
correlation peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29050996A
Other languages
English (en)
Other versions
JPH10132600A (ja
Inventor
寛 中島
孝次 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP29050996A priority Critical patent/JP3450613B2/ja
Priority to US08/959,380 priority patent/US6067367A/en
Priority to EP97118831A priority patent/EP0840255A3/en
Priority to CNB971212570A priority patent/CN1173295C/zh
Priority to KR1019970057401A priority patent/KR100296760B1/ko
Publication of JPH10132600A publication Critical patent/JPH10132600A/ja
Application granted granted Critical
Publication of JP3450613B2 publication Critical patent/JP3450613B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、自動車や飛翔体
自身の移動方向を検出してのトラッキング制御やVTR
カメラの手振れ補正などに用いて好適的な自己の移動方
向測定装置に関するものである。
【0002】
【従来の技術】従来より、トラッキング装置として、地
磁気センサを搭載して自車両の移動方向を検出し、指定
された方向へ無人運転を行う装置がある。
【0003】
【発明が解決しようとする課題】しかしながら、このよ
うなトラッキング装置では、外乱磁界の影響を受け、自
車両の移動方向を正確に検出することができず、信頼性
の点で難がある。なお、近年、静止衛星を利用してのG
PS(グローバル・ポジッション・システム)も普及さ
れてはいるが、大がかりとなる。
【0004】本発明はこのような課題を解決するために
なされたもので、その目的とするところは、大がかりな
システムとすることなく、自己の移動方向を正確に検出
することのできる移動方向測定装置を提供することにあ
る。
【0005】
【課題を解決するための手段】このような目的を達成す
るために、第1発明(請求項1に係る発明)は、Tn
に入力された2次元パターンデータを照合パターンデー
タとし、この照合パターンデータに2次元離散的フーリ
エ変換を施して照合フーリエ2次元パターンデータを作
成し、Tn+1 時に入力された2次元パターンデータを登
録パターンデータとし、この登録パターンデータに2次
元離散的フーリエ変換を施して登録フーリエ2次元パタ
ーンデータを作成し、照合フーリエ2次元パターンデー
タと登録フーリエ2次元パターンデータとを合成し、こ
れによって得られる合成フーリエ2次元パターンデータ
に2次元離散的フーリエ変換および2次元離散的逆フー
リエ変換の何れか一方を施し、このフーリエ変換の施さ
れた合成フーリエ2次元パターンデータに出現する相関
成分エリア内の相関ピークを求め、2つ以上の相関ピー
クが求められた場合、自己の移動方向を求めるために使
用した前回の相関ピークの位置に最も近い位置の相関ピ
ークを今回の相関ピークの位置とし、この相関成分エリ
アの基準位置から相関ピークの位置に至る方向を自己の
移動方向として求めるようにしたものである。
【0006】この発明によれば、Tn 時に入力された2
次元パターンデータが照合パターンデータとされ、この
照合パターンデータに2次元離散的フーリエ変換が施さ
れて照合フーリエ2次元パターンデータが作成される。
また、Tn+1 時に入力された2次元パターンデータが登
録パターンデータとされ、この登録パターンデータに2
次元離散的フーリエ変換が施されて登録フーリエ2次元
パターンデータが作成される。そして、照合フーリエ2
次元パターンデータと登録フーリエ2次元パターンデー
タとが合成され、この合成フーリエ2次元パターンデー
タに2次元離散的フーリエ変換あるいは2次元離散的逆
フーリエ変換が施され、このフーリエ変換の施された合
成フーリエ2次元パターンデータに出現する相関成分エ
リア内の相関ピークが求められる。ここで、相関成分エ
リア内から2つ以上の相関ピークが求められた場合、自
己の移動方向を求めるために使用した前回の相関ピーク
の位置に最も近い位置の相関ピークが今回の相関ピーク
の位置とされ、この相関成分エリアの基準位置から相関
ピークの位置に至る方向が自己の移動方向として求めら
れる。
【0007】第2発明(請求項2に係る発明)は、第1
発明において、合成フーリエ2次元パターンデータに対
して振幅抑制処理を行ったうえ、2次元離散的フーリエ
変換および2次元離散的逆フーリエ変換の何れか一方を
施すようにしたものである。この発明によれば、合成フ
ーリエ2次元パターンデータに対してlog処理や√処
理等の振幅抑制処理が行われたうえ、2次元離散的フー
リエ変換あるいは2次元離散的逆フーリエ変換が施され
る。第3発明(請求項3に係る発明)は、第1発明にお
いて、照合パターンデータに2次元離散的フーリエ変換
を施してから振幅抑制処理を行うことにより照合フーリ
エ2次元パターンデータを作成し、登録パターンデータ
に2次元離散的フーリエ変換を施してから振幅抑制処理
を行うことにより登録フーリエ2次元パターンデータを
作成するようにしたものである。この発明によれば、照
合パターンデータに2次元離散的フーリエ変換が施され
てから、log処理や√処理等の振幅抑制処理が行われ
ることにより、照合フーリエ2次元パターンデータが作
成される。また、登録パターンデータに2次元離散的フ
ーリエ変換を施してから、log処理や√処理等の振幅
抑制処理が行われることにより、登録フーリエ2次元パ
ターンデータが作成される。
【0008】第4発明(請求項4に係る発明)は、Tn
時に入力された2次元パターンデータを登録パターンデ
ータとし、この登録パターンデータに2次元離散的フー
リエ変換を施して照合フーリエ2次元パターンデータを
作成し、Tn+1 時に入力された2次元パターンデータを
照合パターンデータとし、この照合パターンデータに2
次元離散的フーリエ変換を施して照合フーリエ2次元パ
ターンデータを作成し、登録フーリエ2次元パターンデ
ータと照合フーリエ2次元パターンデータとを合成し、
この合成フーリエ2次元パターンデータに2次元離散的
フーリエ変換および2次元離散的逆フーリエ変換の何れ
か一方を施し、このフーリエ変換の施された合成フーリ
エ2次元パターンデータに出現する相関成分エリア内の
相関ピークを求め、2つ以上の相関ピークが求められた
場合、自己の移動方向を求めるために使用した前回の相
関ピークの位置に最も近い位置の相関ピークを今回の相
関ピークの位置とし、この相関ピークの位置を起点とし
て相関成分エリアの基準位置に至る方向を自己の移動方
向として求めるようにしたものである。
【0009】この発明によれば、Tn 時に入力された2
次元パターンデータが登録パターンデータとされ、この
登録パターンデータに2次元離散的フーリエ変換が施さ
れて登録フーリエ2次元パターンデータが作成される。
また、Tn+1 時に入力された2次元パターンデータが照
合パターンデータとされ、この照合パターンデータに2
次元離散的フーリエ変換が施されて照合フーリエ2次元
パターンデータが作成される。そして、登録フーリエ2
次元パターンデータと照合フーリエ2次元パターンデー
タとが合成され、この合成フーリエ2次元パターンデー
タに2次元離散的フーリエ変換あるいは2次元離散的逆
フーリエ変換が施され、このフーリエ変換の施された合
成フーリエ2次元パターンデータに出現する相関成分エ
リア内の相関ピークが求められる。ここで、相関成分エ
リア内から2つ以上の相関ピークが求められた場合、自
己の移動方向を求めるために使用した前回の相関ピーク
の位置に最も近い位置の相関ピークが今回の相関ピーク
の位置とされ、この相関ピークの位置を起点として相関
成分エリアの基準位置に至る方向が自己の移動方向とし
て求められる。
【0010】第5発明(請求項5に係る発明)は、第4
発明において、合成フーリエ2次元パターンデータに対
して振幅抑制処理を行ったうえ、2次元離散的フーリエ
変換および2次元離散的逆フーリエ変換の何れか一方を
施すようにしたものである。この発明によれば、合成フ
ーリエ2次元パターンデータに対してlog処理や√処
理等の振幅抑制処理が行われたうえ、2次元離散的フー
リエ変換あるいは2次元離散的逆フーリエ変換が施され
る。第6発明(請求項6に係る発明)は、第4発明にお
いて、照合パターンデータに2次元離散的フーリエ変換
を施してから振幅抑制処理を行うことにより照合フーリ
エ2次元パターンデータを作成し、登録パターンデータ
に2次元離散的フーリエ変換を施してから振幅抑制処理
を行うことにより登録フーリエ2次元パターンデータを
作成するようにしたものである。この発明によれば、照
合パターンデータに2次元離散的フーリエ変換が施され
てから、log処理や√処理等の振幅抑制処理が行われ
ることにより、照合フーリエ2次元パターンデータが作
成される。また、登録パターンデータに2次元離散的フ
ーリエ変換を施してから、log処理や√処理等の振幅
抑制処理が行われることにより、登録フーリエ2次元パ
ターンデータが作成される。
【0011】
【0012】
【0013】
【発明の実施の形態】以下、本発明を実施の形態に基づ
き詳細に説明する。図2はこの発明の一実施の形態を示
すトラッキング装置のブロック構成図である。同図にお
いて10はCCDカメラ、20はコントロール部であ
り、コントロール部20は、CPUを有してなる制御部
20−1と、ROM20−2と、RAM20−3と、ハ
ードディスク(HD)20−4と、フレームメモリ(F
M)20−5と、外部接続部(I/F)20−6と、フ
ーリエ変換部(FFT)20−7とを備えてなり、RO
M20−2にはトラッキング処理プログラム(図3参
照)が格納されている。
【0014】このトラッキング装置において、図1
(a)に示すようにCCDカメラ10が捉える画像が移
動して行くものとした場合、すなわちCCDカメラ10
が車両に搭載されており、この車両の移動によりCCD
カメラ10が捉える画像(背景)がG1,G2,G3と
変化して行くものとした場合、その車両のトラッキング
処理(指定された方向への無人運転処理)は次のように
して行われる。
【0015】制御部20−1は、n=1とし(図3に示
すステップ301)、Tn 時すなわちT1 時におけるC
CDカメラ10からの画像データG1を、フレームメモ
リ20−5を介して取り込む(ステップ302)。そし
て、この取り込んだ画像データG1を照合画像データと
し(図1(b))、この照合画像データをフーリエ変換
部20−7へ送り、この照合画像データに2次元離散的
フーリエ変換(DFT)を施す(ステップ303)。こ
れにより、図1(b)に示された照合画像データは、フ
ーリエ画像データ(照合フーリエ画像データ)となる。
制御部20−1は、この照合フーリエ画像データをファ
イル化する(ステップ304)。
【0016】なお、2次元離散的フーリエ変換について
は、例えば「コンピュータ画像処理入門、日本工業技術
センター編、総研出版(株)発行、P.44〜45(文
献1)」等に説明されている。
【0017】次に、制御装置20−1は、n>1か否か
をチェックのうえ(ステップ305)、n≦1であれば
ステップ306へ進み、n>1であればステップ307
へ進む。この場合、n=1であるので、ステップ306
へ進み、n=n+1としてステップ302へ戻る。これ
により、制御装置20−1は、Tn 時すなわちT1 時に
対して所定時間t経過したT2 時におけるCCDカメラ
10からの画像データG2を、フレームメモリ20−5
を介して取り込む(ステップ302)。
【0018】そして、この取り込んだ画像データG2を
登録画像データとし(図1(c))、この登録画像デー
タをフーリエ変換部20−7へ送り、この登録画像デー
タに2次元離散的フーリエ変換(DFT)を施す(ステ
ップ303)。これにより、図1(c)に示された登録
画像データは、フーリエ画像データ(登録フーリエ画像
データ)となる。制御部20−1は、この登録フーリエ
画像データをファイル化する(ステップ304)。
【0019】次に、制御装置20−1は、n>1か否か
をチェックのうえ(ステップ305)、n≦1であれば
ステップ306へ進み、n>1であればステップ307
へ進む。この場合、n=2であるので、ステップ307
へ進む。制御装置20−1は、ステップ307におい
て、Tn-1 時すなわちT1 時のフーリエ画像データ(照
合フーリエ画像データ)を読み出す。また、ステップ3
08において、Tn 時すなわちT2 時のフーリエ画像デ
ータ(登録フーリエ画像データ)を読み出す。
【0020】そして、制御装置20−1は、ステップ3
07で読み出した照合フーリエ画像データとステップ3
08で読み出した登録フーリエ画像データとを合成し
(ステップ309)、合成フーリエ画像データを得る。
【0021】ここで、合成フーリエ画像データは、照合
フーリエ画像データをA・ejθとし、登録フーリエ画
像データをB・ejφとした場合、A・B・ej(θ-φ)
で表される。但し、A,B,θ,φとも周波数(フーリ
エ)空間(u,v)の関数とする。
【0022】そして、A・B・ej(θ-φ)は、 A・B・ej(θ-φ)=A・B・cos(θ−φ)+j・A・B・sin(θ− φ) ・・・(1) として表され、A・ejθ=α1 +jβ1 、B・ejφ=
α2 +jβ2 とすると、A=(α1 2+β1 21/2,B=
(α2 2+β2 21/2,θ=tan-1(β1 /α1),φ=
tan-1(β2 /α2 )となる。この(1)式を計算す
ることにより合成フーリエ画像データを得る。
【0023】なお、A・B・ej(θ-φ)=A・B・ej
θ・e-jφ=A・ejθ・B・e-jφ=(α1 +j
β1 )・(α2 −jβ2 )=(α1 ・α2 +β1
β2 )+j(α2 ・β1 −α1 ・β2 )として、合成フ
ーリエ画像データを求めるようにしてもよい。
【0024】そして、制御部20−1は、このようにし
て合成フーリエ画像データを得た後、振幅抑制処理を行
う(ステップ306)。この実施の形態では、振幅抑制
処理として、log処理を行う。すなわち、前述した合
成フーリエ画像データの演算式であるA・B・ej(θ-
φ)のlogをとり、log(A・B)・ej(θ-φ)
することにより、振幅であるA・Bをlog(A・B)
に抑制する(A・B>log(A・B))。
【0025】振幅抑制処理を施した合成フーリエ画像デ
ータでは登録画像データの採取時と照合画像データの採
取時の照度差による影響が小さくなる。すなわち、振幅
抑制処理を行うことにより、各画素のスペクトラム強度
が抑圧され、飛び抜けた値がなくなり、より多くの情報
が有効となる。
【0026】なお、この実施の形態では、振幅抑制処理
としてlog処理を行うものとしたが、√処理を行うよ
うにしてもよい。また、log処理や√処理に限らず、
振幅を抑制することができればどのような処理でもよ
い。振幅抑制で全ての振幅を例えば1にすると、すなわ
ち位相のみにすると、log処理や√処理等に比べ、計
算量を減らすことができるという利点とデータが少なく
なるという利点がある。
【0027】ステップ310で振幅抑制処理を行った
後、制御部20−1は、その振幅抑制処理を行った合成
フーリエ画像データをフーリエ変換部20−7へ送り、
第2回目の2次元離散的フーリエ変換(DFT)を施す
(ステップ311)。
【0028】そして、制御部20−1は、ステップ31
1で得られた合成フーリエ画像データを取り込み、この
合成フーリエ画像データより所定の相関成分エリア(こ
の実施の形態では全エリア)の各画素の相関成分の強度
(振幅)をスキャンし、各画素の相関成分の強度のヒス
トグラムを求め、このヒストグラムより相関成分エリア
内の相関成分の最も強度の高い画素(相関ピーク)を抽
出し(ステップ312)、この抽出した相関ピークの座
標を求める(ステップ313)。
【0029】この時の相関ピークの座標位置を図1
(e)に示す。同図に示すPa1が相関ピーク(背景のピ
ーク)の位置であり、P0 が相関成分エリアの中心であ
る。この場合、相関ピークPa1が自車両の移動ベクトル
の先端を示し、相関成分エリアの中心P0 から相関ピー
クの位置Pa1に至る方向が自車両の移動方向を、相関成
分エリアの中心P0 から相関ピークの位置Pa1までの距
離が自車両の移動距離を示す。
【0030】制御装置20−1は、相関ピークPa1の座
標位置からT1 時からT2 時までの自車両の移動方向お
よび移動距離を求め(ステップ314)、この求めた自
車両の移動方向および移動距離を運転制御装置21にフ
ィードバックしたうえ(ステップ315)、n=n+1
として(ステップ316)、すなわちn=3として、ス
テップ302へ戻る。
【0031】これにより、制御部20−1は、T3 時に
おけるCCDカメラ10からの画像データG3を取り込
み(ステップ302)、この取り込んだ画像データG3
を登録画像データとし(図1(d))、この登録画像デ
ータに2次元離散的フーリエ変換を施し(ステップ30
3)、登録フーリエ画像データとしてファイル化する
(ステップ304)。
【0032】そして、ステップ305でのYESに応
じ、ステップ307へ進み、Tn-1 時すなわちT2 時の
フーリエ画像データを照合フーリエ画像データとして読
み出す。また、ステップ308において、Tn 時すなわ
ちT3 時のフーリエ画像データ(登録フーリエ画像デー
タ)を読み出す。
【0033】そして、制御装置20−1は、ステップ3
07で読み出した照合フーリエ画像データとステップ3
08で読み出した登録フーリエ画像データとを合成し
(ステップ309)、これによって得られる合成フーリ
エ画像データに2次元離散的フーリエ変換を施し(ステ
ップ311)、相関成分エリア内の相関ピークを抽出し
(ステップ312)、この抽出した相関ピークの座標を
求める(ステップ313)。
【0034】この時の相関ピークの座標位置を図1
(f)に示す。同図に示すPa2が相関ピークの位置であ
る。制御装置20−1は、相関ピークPa2の座標位置か
らT2 時からT3 時までの自車両の移動方向および移動
距離を求め(ステップ314)、この求めた自車両の移
動方向および移動距離を運転制御装置21にフィードバ
ックしたうえ(ステップ315)、n=n+1として
(ステップ316)、すなわちn=4として、ステップ
302へ戻る。
【0035】以上説明したように、この実施の形態によ
るトラッキング装置によると、Tn時に入力された画像
データとTn+1 時に入力された画像データとを空間周波
数特性に基づいて照合し、この照合結果として自車両の
移動方向および移動距離を求めるようにしているので、
ノイズに対して強くなり、自車両の移動方向および移動
距離を正確に検出することができ、信頼性が高まる。ま
た、GPSのような大がかりな装置とならず、運用コス
トが低減される。
【0036】なお、この実施の形態では、2次元離散的
フーリエ変換をフーリエ変換部20−7において行うも
のとしたが、CPU20−1内で行うものとしてもよ
い。また、この実施の形態では、図3に示したステップ
311にて2次元離散的フーリエ変換を行うようにした
が、2次元離散的フーリエ変換ではなく2次元離散的逆
フーリエ変換を行うようにしてもよい。すなわち、振幅
抑制処理の施された合成フーリエ画像データに対して2
次元離散的フーリエ変換を行うのに代えて、2次元離散
的逆フーリエ変換を行うようにしてもよい。2次元離散
的フーリエ変換と2次元離散的逆フーリエ変換とは、定
量的にみて照合精度は変わらない。2次元離散的逆フー
リエ変換については、先の文献1に説明されている。
【0037】また、この実施の形態では、合成後のフー
リエ画像データに対して振幅抑制処理を施して2次元離
散的フーリエ変換を行うようにしたが(ステップ31
0,311)、合成前の登録フーリエ画像データおよび
照合フーリエ画像データにそれぞれ振幅抑制処理を行っ
た後に合成するようにしてもよい。すなわち、図4
(a)に示すように、図3のステップ310をなくし、
ステップ303と304との間に振幅抑制処理を行うス
テップ317を設けてもよい。あるいは、図4(b)に
示すように、図3のステップ310をなくし、ステップ
308と309との間に振幅抑制処理を行うステップ3
17を設けてもよい。
【0038】このようにした場合、ステップ317の振
幅抑制処理によって、振幅抑制処理の施された登録フー
リエ画像データおよび照合フーリエ画像データが得ら
れ、これらのフーリエ画像データが合成されて合成フー
リエ画像データが得られる。
【0039】この時の合成フーリエ画像データの振幅の
抑制率は、合成フーリエ画像データとしてから振幅抑制
処理を行う場合(図3)に対して小さい。したがって、
合成フーリエ画像データとしてから振幅抑制処理を行う
(図3)方が、振幅抑制処理を行ってから合成フーリエ
画像データとする方法(図4)に比べて、その照合精度
がアップする。なお、振幅抑制処理を行ってから合成フ
ーリエ画像データとする場合(図4)にも、合成フーリ
エ画像データに対して2次元離散的フーリエ変換ではな
く、2次元離散的逆フーリエ変換を行うようにしてもよ
い。
【0040】また、この実施の形態では、Tn 時に捉え
た画像データを照合画像データとし、Tn+1 時に捉えた
画像データを登録画像データとし、空間周波数特性に基
づいて照合を行い、相関成分エリアの中心から相関ピー
クの位置に至る方向を自車両の移動方向として、また相
関成分エリアの中心から相関ピークの位置までの距離を
自車両の移動距離として求めたが、Tn 時に捉えた画像
データを登録画像データとし、Tn+1 時に捉えた画像デ
ータを照合画像データとしても、同様にして自車両の移
動方向および移動距離を求めることができる。
【0041】この場合、図1(e)に対応して図1
(g)が得られ、図1(f)に対応して図1(h)が得
られる。すなわち、図1(e)および(f)における相
関ピークPa1およびPa2に対し、相関エリアの中心P0
を中心として逆の位置に相関ピークPa1′およびPa2
が現れる。したがって、この場合、相関ピークPa1
(Pa2′)の位置を起点として相関成分エリアの中心P
0 に至る方向を自車両の移動方向として、また相関ピー
クPa1′(Pa2′)の位置から相関成分エリアの中心P
0 までの距離を自車両の移動距離として求める。
【0042】上述においてはCCDカメラ10が捉える
画像Gに移動物が存在しないことを前提としている。し
かし、実際には、CCDカメラ10が捉える画像には他
の車両や鳥などの移動物が入り込んでくる。そこで、こ
の実施の形態2では、CCDカメラ10が捉える画像に
移動物が入り込んできたとして支障なくトラッキング制
御を行えるようにする。
【0043】今、図5(a)に示すように、自車両の移
動によりCCDカメラ10が捉える画像(背景)がG
1,G2,G3と変化して行くものとし、画像G2,G
3に移動物として他の車両が存在する場合(画像G1に
はまだ存在しない)、自車両のトラッキング処理は次の
ようにして行われる。
【0044】制御部20−1は、n=1とし(図6に示
すステップ601)、Tn 時すなわちT1 時におけるC
CDカメラ10からの画像データG1を、フレームメモ
リ20−5を介して取り込む(ステップ602)。そし
て、この取り込んだ画像データG1を照合画像データと
し(図5(b))、この照合画像データをフーリエ変換
部20−7へ送り、この照合画像データに2次元離散的
フーリエ変換(DFT)を施す(ステップ603)。こ
れにより、図5(b)に示された照合画像データは、フ
ーリエ画像データ(照合フーリエ画像データ)となる。
制御部20−1は、この照合フーリエ画像データをファ
イル化する(ステップ604)。
【0045】次に、制御装置20−1は、n>1か否か
をチェックのうえ(ステップ605)、n≦1であれば
ステップ606へ進み、n>1であればステップ607
へ進む。この場合、n=1であるので、ステップ606
へ進み、n=n+1としてステップ602へ戻る。これ
により、制御装置20−1は、Tn 時すなわちT1 時に
対して所定時間t経過したT2 時におけるCCDカメラ
10からの画像データG2(移動車両100(図5
(c)参照)を含む画像データG2)を、フレームメモ
リ20−5を介して取り込む(ステップ602)。
【0046】そして、この取り込んだ画像データG2を
登録画像データとし(図5(c))、この登録画像デー
タをフーリエ変換部20−7へ送り、この登録画像デー
タに2次元離散的フーリエ変換(DFT)を施す(ステ
ップ603)。これにより、図5(c)に示された登録
画像データは、フーリエ画像データ(登録フーリエ画像
データ)となる。制御部20−1は、この登録フーリエ
画像データをファイル化する(ステップ604)。
【0047】次に、制御装置20−1は、n>1か否か
をチェックのうえ(ステップ605)、n≦1であれば
ステップ606へ進み、n>1であればステップ607
へ進む。この場合、n=2であるので、ステップ607
へ進む。制御装置20−1は、ステップ607におい
て、Tn-1 時すなわちT1 時のフーリエ画像データ(照
合フーリエ画像データ)を読み出す。また、ステップ6
08において、Tn 時すなわちT2 時のフーリエ画像デ
ータ(登録フーリエ画像データ)を読み出す。
【0048】そして、制御装置20−1は、ステップ6
07で読み出した照合フーリエ画像データとステップ6
08で読み出した登録フーリエ画像データとを合成し
(ステップ609)、と同様にして合成フーリエ画像
データを得る。
【0049】そして、制御部20−1は、このようにし
て合成フーリエ画像データを得た後、と同様にして振
幅抑制処理を行い(ステップ610)、その振幅抑制処
理を行った合成フーリエ画像データをフーリエ変換部2
0−7へ送り、第2回目の2次元離散的フーリエ変換
(DFT)を施す(ステップ611)。
【0050】そして、制御部20−1は、ステップ61
1で得られた合成フーリエ画像データを取り込み、この
合成フーリエ画像データより所定の相関成分エリア(こ
の実施の形態では全エリア)の各画素の相関成分の強度
(振幅)をスキャンし、各画素の相関成分の強度のヒス
トグラムを求める。そして、このヒストグラムよりその
強度が所定値以上の画素を相関ピークとして求め、2つ
以上の相関ピークが求められた場合、記憶されている前
回の相関ピークの位置(後述)に最も近い位置の相関ピ
ークを今回の相関成分エリア内の相関ピークとして抽出
し(ステップ612)、この抽出した相関ピークの座標
を求める(ステップ613)。この場合、T1 時の画像
データには移動車両100が存在しないので、相関成分
エリア内には背景のピークを示す唯一の相関ピークしか
現れない。
【0051】この時の相関ピークの座標位置を図5
(e)に示す。同図に示すPa1が相関ピーク(背景のピ
ーク)の位置であり、P0 が相関成分エリアの中心であ
る。この場合、相関ピークPa1が自車両の移動ベクトル
の先端を示し、相関成分エリアの中心P0 から相関ピー
クの位置Pa1に至る方向が自車両の移動方向を、相関成
分エリアの中心P0 から相関ピークの位置Pa1までの距
離が自車両の移動距離を示す。
【0052】制御装置20−1は、相関ピークPa1の座
標位置からT1 時からT2 時までの自車両の移動方向お
よび移動距離を求めると共に、この相関ピークPa1の座
標位置を今回の相関ピークの位置として記憶する(ステ
ップ614)。そして、この求めた自車両の移動方向お
よび移動距離を運転制御装置21にフィードバックした
うえ(ステップ615)、n=n+1として(ステップ
616)、すなわちn=3として、ステップ602へ戻
る。
【0053】これにより、制御部20−1は、T3 時に
おけるCCDカメラ10からの画像データG3(移動車
両100(図5(d)参照)を含む画像データG3)を
取り込み(ステップ602)、この取り込んだ画像デー
タG3を登録画像データとし(図5(d))、この登録
画像データに2次元離散的フーリエ変換を施し(ステッ
プ603)、登録フーリエ画像データとしてファイル化
する(ステップ604)。
【0054】そして、ステップ605でのYESに応
じ、ステップ607へ進み、Tn-1 時すなわちT2 時の
フーリエ画像データを照合フーリエ画像データとして読
み出す。また、ステップ608において、Tn 時すなわ
ちT3 時のフーリエ画像データ(登録フーリエ画像デー
タ)を読み出す。
【0055】そして、制御装置20−1は、ステップ6
07で読み出した照合フーリエ画像データとステップ6
08で読み出した登録フーリエ画像データとを合成し
(ステップ309)、これによって得られる合成フーリ
エ画像データに2次元離散的フーリエ変換を施し(ステ
ップ611)、その強度が所定値以上の画素を相関ピー
クとして求め、2つ以上の相関ピークが求められた場
合、記憶されている前回の相関ピークの位置に最も近い
位置の相関ピークを今回の相関成分エリア内の相関ピー
クとして抽出し(ステップ612)、この抽出した相関
ピークの座標を求める(ステップ613)。この場合、
2 時の画像データには移動車両100が存在し、この
移動車両100がT3 時の画像データにも存在し、この
画像データ間で車両100は移動しているので、相関成
分エリア内には背景のピークを示す相関ピークと自動車
のピークを示す相関ピークとが現れる。
【0056】この時の相関ピークの座標位置を図5
(f)に示す。同図に示すPa2が背景のピークを示す相
関ピークの位置であり、Pb1が自動車のピークを示す相
関ピークである。なお、相関ピークPb1の位置を先端と
して得られる移動車両100の移動ベクトルは、相関成
分エリア上、その中心点P0 に対して逆のベクトルとな
る。この場合、制御装置20−1は、記憶されている前
回の相関ピークの位置、すなわち先のステップ614で
記憶した相関ピークPa1に最も近い位置の相関ピークP
a2を今回の相関ピークとして抽出し、この抽出した相関
ピークPa2の座標位置を求める。
【0057】そして、この求めた相関ピークPa2の座標
位置からT2 時からT3 時までの自車両の移動方向およ
び移動距離を求めると共に、この相関ピークPa2の座標
位置を今回の相関ピークの位置として記憶する(ステッ
プ614)。そして、この求めた自車両の移動方向およ
び移動距離を運転制御装置21にフィードバックしたう
え(ステップ615)、n=n+1として(ステップ6
16)、すなわちn=4として、ステップ602へ戻
る。
【0058】なお、この実施の形態では、2次元離散的
フーリエ変換をフーリエ変換部20−7において行うも
のとしたが、CPU20−1内で行うものとしてもよ
い。また、この実施の形態では、図7に示したステップ
611にて2次元離散的フーリエ変換を行うようにした
が、2次元離散的フーリエ変換ではなく2次元離散的逆
フーリエ変換を行うようにしてもよい。すなわち、振幅
抑制処理の施された合成フーリエ画像データに対して2
次元離散的フーリエ変換を行うのに代えて、2次元離散
的逆フーリエ変換を行うようにしてもよい。
【0059】また、この実施の形態では、合成後のフー
リエ画像データに対して振幅抑制処理を施して2次元離
散的フーリエ変換を行うようにしたが(ステップ61
0,611)、合成前の登録フーリエ画像データおよび
照合フーリエ画像データにそれぞれ振幅抑制処理を行っ
た後に合成するようにしてもよい。すなわち、図6のス
テップ610をなくし、ステップ603と304との間
に振幅抑制処理を行うステップを設けてもよい。あるい
は、図6のステップ610をなくし、ステップ608と
609との間に振幅抑制処理を行うステップを設けても
よい。
【0060】また、この実施の形態では、Tn 時に捉え
た画像データを照合画像データとし、Tn+1 時に捉えた
画像データを登録画像データとし、空間周波数特性に基
づいて照合を行い、相関成分エリアの中心から相関ピー
クの位置に至る方向を自車両の移動方向として、また相
関成分エリアの中心から相関ピークの位置までの距離を
自車両の移動距離として求めたが、Tn 時に捉えた画像
データを登録画像データとし、Tn+1 時に捉えた画像デ
ータを照合画像データとしても、同様にして自車両の移
動方向および移動距離を求めることができる。
【0061】この場合、図5(e)に対応して図5
(g)が得られ、図5(f)に対応して図5(h)が得
られる。すなわち、図5(e)および(f)における相
関ピークPa1およびPa2,Pb1とは反対の位置に相関ピ
ークPa1′およびPa2′,Pb1′が現れる。したがっ
て、この場合、相関ピークPa1′(Pa2′)の位置を起
点として相関成分エリアの中心P0 に至る方向を自車両
の移動方向として、また相関ピークPa1′(Pa2′)の
位置から相関成分エリアの中心P0 までの距離を自車両
の移動距離として求める。
【0062】また、上述した実施の形態では、車両を例
にとって説明したが、飛行船等の飛翔体にも適用するこ
とができる。例えば、飛行船に適用した場合、図7に示
すように、CCDカメラ10を飛行船200の底部に取
り付け、下方の景色を捉えるようにする。また、上述し
た実施の形態では、振幅抑制処理を行うものとしたが、
振幅抑制処理は必ずしも行わなくてもよい。
【0063】また、本発明はトラッキング装置だけでは
なく、例えばVTRカメラの手振れ補正にも適用するこ
とができる。すなわち、本発明の技術を利用すれば、T
n 時に捉えた画像とTn+1 時に捉えた画像から、VTR
カメラの移動方向および移動距離を知ることができるの
で、これを画像処理部にフィードバックすることによっ
て手VTRカメラの振れ補正を行うことができる。
【0064】また、上述した実施の形態では、図1
(e),(f)において、合成フーリエ画像データの全
エリアを相関成分エリアとしたが、部分的な領域を相関
成分エリアとしてもよい。この場合、相関成分エリアの
取り方によって、背景を示す相関ピークが出現する位置
が異なる。そこで、この場合、この背景を示す相関ピー
クが出現するであろう位置を基準位置とし、この基準位
置付近を除く範囲で相関ピークを抽出する。
【0065】
【発明の効果】以上説明したことから明らかなように本
発明によれば、Tn 時に入力された2次元パターンデー
タとTn+1 時に入力された2次元パターンデータとが空
間周波数特性に基づいて照合され、この照合結果とし
て、大がかりなシステムとすることなく、正確に自己の
移動方向を求めることができるようになる。
【図面の簡単な説明】
【図1】 図2に示したトラッキング装置におけるトラ
ッキング処理過程(実施の形態1)を説明する図であ
る。
【図2】 この発明の一実施の形態を示すトラッキング
装置のブロック構成図である。
【図3】 このトラッキング装置におけるトラッキング
処理動作を説明するためのフローチャートである。
【図4】 このトラッキング装置におけるトラッキング
処理動作の他の例を説明するためのフローチャートであ
る。
【図5】 図2に示したトラッキング装置におけるトラ
ッキング処理過程を説明する図である。
【図6】 このトラッキング装置におけるトラッキング
処理動作を説明するためのフローチャートである。
【図7】 このトラッキング装置を搭載した飛行船を例
示する図である。
【符号の説明】
10…CCDカメラ、20…コントロール部、20−1
…制御部、20−2…ROM、20−3…RAM、20
−4…ハードディスク(HD)、20−5…フレームメ
モリ(FM)、20−6…外部接続部(I/F)、20
−7…フーリエ変換部(FFT)、21…運転制御装
置。
フロントページの続き (56)参考文献 米国特許5329368(US,A) 英国特許出願公開2187059(GB,A) 小林孝次(外4名),位相限定相関法 の原理とその応用,テレビ学技報 テレ ビジョン学会技術報告,日本,社団法人 テレビジョン学会,1996年 7月16日, Vol.20,No.41,1〜6 (58)調査した分野(Int.Cl.7,DB名) G01C 21/00 H04N 7/18 JICSTファイル(JOIS) EUROPAT(QUESTEL)

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 Tn 時に入力された2次元パターンデー
    タを照合パターンデータとし、この照合パターンデータ
    に2次元離散的フーリエ変換を施して照合フーリエ2次
    元パターンデータを作成する照合フーリエパターンデー
    タ作成手段と、 Tn+1 時に入力された2次元パターンデータを登録パタ
    ーンデータとし、この登録パターンデータに2次元離散
    的フーリエ変換を施して登録フーリエ2次元パターンデ
    ータを作成する登録フーリエパターンデータ作成手段
    と、 前記照合フーリエ2次元パターンデータと前記登録フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリア内の相関ピークを求め、2つ以上の相関ピークが
    求められた場合、自己の移動方向を求めるために使用し
    た前回の相関ピークの位置に最も近い位置の相関ピーク
    を今回の相関ピークの位置とし、この相関成分エリアの
    基準位置から相関ピークの位置に至る方向を自己の移動
    方向として求める移動方向測定手段とを備えたことを特
    徴とする自己の移動方向測定装置。
  2. 【請求項2】 Tn 時に入力された2次元パターンデー
    タを照合パターンデータとし、この照合パターンデータ
    に2次元離散的フーリエ変換を施して照合フーリエ2次
    元パターンデータを作成する照合フーリエパターンデー
    タ作成手段と、 Tn+1 時に入力された2次元パターンデータを登録パタ
    ーンデータとし、この登録パターンデータに2次元離散
    的フーリエ変換を施して登録フーリエ2次元パターンデ
    ータを作成する登録フーリエパターンデータ作成手段
    と、 前記照合フーリエ2次元パターンデータと前記登録フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに対して振幅
    抑制処理を行ったうえ2次元離散的フーリエ変換および
    2次元離散的逆フーリエ変換の何れか一方を施すパター
    ン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリア内の相関ピークを求め、2つ以上の相関ピークが
    求められた場合、自己の移動方向を求めるために使用し
    た前回の相関ピークの位置に最も近い位置の相関ピーク
    を今回の相関ピークの位置とし、この相関成分エリアの
    基準位置から相関ピークの位置に至る方向を自己の移動
    方向として求める移動方向測定手段とを備えたことを特
    徴とする自己の移動方向測定装置。
  3. 【請求項3】 Tn 時に入力された2次元パターンデー
    タを照合パターンデータとし、この照合パターンデータ
    に2次元離散的フーリエ変換を施してから振幅抑制処理
    を行うことにより照合フーリエ2次元パターンデータを
    作成する照合フーリエパターンデータ作成手段と、 Tn+1 時に入力された2次元パターンデータを登録パタ
    ーンデータとし、この登録パターンデータに2次元離散
    的フーリエ変換を施してから振幅抑制処理を行うことに
    より登録フーリエ2次元パターンデータを作成する登録
    フーリエパターンデータ作成手段と、 前記照合フーリエ2次元パターンデータと前記登録フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリア内の相関ピークを求め、2つ以上の相関ピークが
    求められた場合、自己の移動方向を求めるために使用し
    た前回の相関ピークの位置に最も近い位置の相関ピーク
    を今回の相関ピークの位置とし、この相関成分エリアの
    基準位置から相関ピークの位置に至る方向を自己の移動
    方向として求める移動方向測定手段とを備えたことを特
    徴とする自己の移動方向測定装置。
  4. 【請求項4】 Tn 時に入力された2次元パターンデー
    タを登録パターンデータとし、この登録パターンデータ
    に2次元離散的フーリエ変換を施して照合フーリエ2次
    元パターンデータを作成する登録フーリエパターンデー
    タ作成手段と、 Tn+1 時に入力された2次元パターンデータを照合パタ
    ーンデータとし、この照合パターンデータに2次元離散
    的フーリエ変換を施して照合フーリエ2次元パターンデ
    ータを作成する照合フーリエパターンデータ作成手段
    と、 前記登録フーリエ2次元パターンデータと前記照合フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリア内の相関ピークを求め、2つ以上の相関ピークが
    求められた場合、自己の移動方向を求めるために使用し
    た前回の相関ピークの位置に最も近い位置の相関ピーク
    を今回の相関ピークの位置とし、この相関ピークの位置
    を起点として相関成分エリアの基準位置に至る方向を自
    己の移動方向として求める移動方向測定手段とを備えた
    ことを特徴とする自己の移動方向測定装置。
  5. 【請求項5】 Tn 時に入力された2次元パターンデー
    タを登録パターンデータとし、この登録パターンデータ
    に2次元離散的フーリエ変換を施して登録フーリエ2次
    元パターンデータを作成する登録フーリエパターンデー
    タ作成手段と、 Tn+1 時に入力された2次元パターンデータを照合パタ
    ーンデータとし、この照合パターンデータに2次元離散
    的フーリエ変換を施して照合フーリエ2次元パターンデ
    ータを作成する照合フーリエパターンデータ作成手段
    と、 前記登録フーリエ2次元パターンデータと前記照合フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに対して振幅
    抑制処理を行ったうえ2次元離散的フーリエ変換および
    2次元離散的逆フーリエ変換の何れか一方を施すパター
    ン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリア内の相関ピークを求め、2つ以上の相関 ピークが
    求められた場合、自己の移動方向を求めるために使用し
    た前回の相関ピークの位置に最も近い位置の相関ピーク
    を今回の相関ピークの位置とし、この相関ピークの位置
    を起点として相関成分エリアの基準位置に至る方向を自
    己の移動方向として求める移動方向測定手段とを備えた
    ことを特徴とする自己の移動方向測定装置
  6. 【請求項6】 Tn 時に入力された2次元パターンデー
    タを登録パターンデータとし、この登録パターンデータ
    に2次元離散的フーリエ変換を施してから振幅抑制処理
    を行うことにより登録フーリエ2次元パターンデータを
    作成する登録フーリエパターンデータ作成手段と、 Tn+1 時に入力された2次元パターンデータを照合パタ
    ーンデータとし、この照合パターンデータに2次元離散
    的フーリエ変換を施してから振幅抑制処理を行うことに
    より照合フーリエ2次元パターンデータを作成する照合
    フーリエパターンデータ作成手段と、 前記登録フーリエ2次元パターンデータと前記照合フー
    リエ2次元パターンデータとを合成し、これによって得
    られる合成フーリエ2次元パターンデータに2次元離散
    的フーリエ変換および2次元離散的逆フーリエ変換の何
    れか一方を施すパターン処理手段と、 このパターン処理手段によってフーリエ変換の施された
    合成フーリエ2次元パターンデータに出現する相関成分
    エリア内の相関ピークを求め、2つ以上の相関ピークが
    求められた場合、自己の移動方向を求めるために使用し
    た前回の相関ピークの位置に最も近い位置の相関ピーク
    を今回の相関ピークの位置とし、この相関ピークの位置
    を起点として相関成分エリアの基準位置に至る方向を自
    己の移動方向として求める移動方向測定手段とを備えた
    ことを特徴とする自己の移動方向測定装置。
JP29050996A 1996-10-31 1996-10-31 自己の移動方向測定装置 Expired - Fee Related JP3450613B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP29050996A JP3450613B2 (ja) 1996-10-31 1996-10-31 自己の移動方向測定装置
US08/959,380 US6067367A (en) 1996-10-31 1997-10-28 Moving direction measuring device and tracking apparatus
EP97118831A EP0840255A3 (en) 1996-10-31 1997-10-29 Moving direction measuring device and tracking apparatus
CNB971212570A CN1173295C (zh) 1996-10-31 1997-10-31 运动方向测量设备和跟踪设备
KR1019970057401A KR100296760B1 (ko) 1996-10-31 1997-10-31 이동방향측정장치와추적장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29050996A JP3450613B2 (ja) 1996-10-31 1996-10-31 自己の移動方向測定装置

Publications (2)

Publication Number Publication Date
JPH10132600A JPH10132600A (ja) 1998-05-22
JP3450613B2 true JP3450613B2 (ja) 2003-09-29

Family

ID=17756945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29050996A Expired - Fee Related JP3450613B2 (ja) 1996-10-31 1996-10-31 自己の移動方向測定装置

Country Status (1)

Country Link
JP (1) JP3450613B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927837B2 (ja) * 2011-10-20 2016-06-01 株式会社リコー 速度検出装置、移動部材搬送ユニット、及び、画像形成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小林孝次(外4名),位相限定相関法の原理とその応用,テレビ学技報 テレビジョン学会技術報告,日本,社団法人テレビジョン学会,1996年 7月16日,Vol.20,No.41,1〜6

Also Published As

Publication number Publication date
JPH10132600A (ja) 1998-05-22

Similar Documents

Publication Publication Date Title
JP5127128B2 (ja) カメラの位置及び姿勢情報補正方法及びその装置
US6512857B1 (en) Method and apparatus for performing geo-spatial registration
US6184781B1 (en) Rear looking vision system
US6587601B1 (en) Method and apparatus for performing geo-spatial registration using a Euclidean representation
Basu et al. Alternative models for fish-eye lenses
JP4926127B2 (ja) 移動体搭載用前方撮像制御装置
JP2705911B2 (ja) クラッター測定値と信号対クラッター比を使用したイメージベースの検出および追跡システム並びに処理方法
US6067367A (en) Moving direction measuring device and tracking apparatus
US6219462B1 (en) Method and apparatus for performing global image alignment using any local match measure
KR100735564B1 (ko) 정보 매핑 장치, 시스템, 및 방법
JP2725599B2 (ja) 隆線方向抽出装置
Vandrish et al. Side-scan sonar image registration for AUV navigation
JP6965299B2 (ja) 物体検出装置、物体検出方法、プログラム、および移動体
JP2003178309A (ja) 移動量推定装置
JP4536524B2 (ja) モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム
JP3450613B2 (ja) 自己の移動方向測定装置
JP3337315B2 (ja) 追跡装置
JP2003187220A (ja) 物体検出装置及びその方法
JP3364394B2 (ja) 距離測定装置
EP2395318A1 (en) Rotation estimation device, rotation estimation method, and storage medium
KR20140026078A (ko) 객체 추출 장치 및 방법
JP3267383B2 (ja) 画像処理方法および画像プロセッサ
JP3309205B2 (ja) トラッキング装置
JP3364395B2 (ja) トラッキング装置
JPH1075437A (ja) トラッキング装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20090711

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100711

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100711

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees