JP2857001B2 - 距離測定装置 - Google Patents
距離測定装置Info
- Publication number
- JP2857001B2 JP2857001B2 JP4348947A JP34894792A JP2857001B2 JP 2857001 B2 JP2857001 B2 JP 2857001B2 JP 4348947 A JP4348947 A JP 4348947A JP 34894792 A JP34894792 A JP 34894792A JP 2857001 B2 JP2857001 B2 JP 2857001B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image signal
- distance
- field
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
【０００１】
【産業上の利用分野】この発明は距離測定装置に関し、
特に先行車両を画像表示しながら追尾すると共に、先行
車両の画像信号を処理して車間距離を測定する距離測定
装置に関するものである。
特に先行車両を画像表示しながら追尾すると共に、先行
車両の画像信号を処理して車間距離を測定する距離測定
装置に関するものである。
【０００２】
【従来の技術】図１０は例えば特開昭５９−１９７８１
６号公報に開示されたイメージセンサ利用による従来の
距離測定装置の全体構成を示すブロック図である。図に
おいて、１、２は基線長Ｌだけ隔離して左右対称に配置
された一対のレンズであり、距離Ｒ前方に位置する先行
車両５の像の焦点距離ｆ後方に位置するイメージセンサ
３、４に結像する。６、７はイメージセンサ３、４から
出力されたセンサ信号をデジタル信号に変換するＡ／Ｄ
変換器、８、９はＡ／Ｄ変換器６、７から出力されたデ
ジタル信号を先行車両５の画像信号として記憶するメモ
リである。
６号公報に開示されたイメージセンサ利用による従来の
距離測定装置の全体構成を示すブロック図である。図に
おいて、１、２は基線長Ｌだけ隔離して左右対称に配置
された一対のレンズであり、距離Ｒ前方に位置する先行
車両５の像の焦点距離ｆ後方に位置するイメージセンサ
３、４に結像する。６、７はイメージセンサ３、４から
出力されたセンサ信号をデジタル信号に変換するＡ／Ｄ
変換器、８、９はＡ／Ｄ変換器６、７から出力されたデ
ジタル信号を先行車両５の画像信号として記憶するメモ
リである。
【０００３】１０はＣＰＵであり、メモリ８，９より読
み出した画像信号を処理して画像表示信号を生成し、先
行車両５を含む車両前方の物体の画像を表示装置１１に
表示させると共に、先行車両５までの距離を演算する。
１２は追尾ウィンド設定装置であり、表示装置１１の画
面上に距離測定対象としての先行車両５を認識した際に
操作されるウィンド設定スイッチ１３により、追尾ウィ
ンドを表示画面上で先行車両５に設定するようにＣＰＵ
１０へ指示を出す。
み出した画像信号を処理して画像表示信号を生成し、先
行車両５を含む車両前方の物体の画像を表示装置１１に
表示させると共に、先行車両５までの距離を演算する。
１２は追尾ウィンド設定装置であり、表示装置１１の画
面上に距離測定対象としての先行車両５を認識した際に
操作されるウィンド設定スイッチ１３により、追尾ウィ
ンドを表示画面上で先行車両５に設定するようにＣＰＵ
１０へ指示を出す。
【０００４】次に従来の距離測定装置の動作について説
明する。先ず自車両の運転手は表示装置１４の画面を見
ながら画面上に距離測定対象とする先行車両５を見い出
したならばウィンド設定スイッチ１３を操作してウィン
ド形成装置１２を動作させる。その結果ＣＰＵ１０はウ
ィンド画像信号を生成し画面上で先行車両にウィンドを
設定する。更にウィンド設定時にＣＰＵ１０は先行車両
５までの距離測定する。
明する。先ず自車両の運転手は表示装置１４の画面を見
ながら画面上に距離測定対象とする先行車両５を見い出
したならばウィンド設定スイッチ１３を操作してウィン
ド形成装置１２を動作させる。その結果ＣＰＵ１０はウ
ィンド画像信号を生成し画面上で先行車両にウィンドを
設定する。更にウィンド設定時にＣＰＵ１０は先行車両
５までの距離測定する。
【０００５】その距離測定方法として、ＣＰＵ１０はメ
モリ８、９を通してイメージセンサ３、４の各左上端に
配置された画素から画像信号ａ１，ｂ１をそれぞれ読み
出し、それら画像信号の差の絶対値ｃ１１＝｜ａ１−ｂ
１｜を求める。更にイメージセンサ３、４の左端から１
つ右側に配置された画素から画像信号ａ２，ｂ２をそれ
ぞれ読み出し、それら画像信号の差の絶対値ｃ１２＝｜
ａ２−ｂ２｜を求める。このような操作を各イメージセ
ンサ１１、１２の全画素に対して行い、総ての
モリ８、９を通してイメージセンサ３、４の各左上端に
配置された画素から画像信号ａ１，ｂ１をそれぞれ読み
出し、それら画像信号の差の絶対値ｃ１１＝｜ａ１−ｂ
１｜を求める。更にイメージセンサ３、４の左端から１
つ右側に配置された画素から画像信号ａ２，ｂ２をそれ
ぞれ読み出し、それら画像信号の差の絶対値ｃ１２＝｜
ａ２−ｂ２｜を求める。このような操作を各イメージセ
ンサ１１、１２の全画素に対して行い、総ての
【０００６】以上のように絶対値の総和ｓ１が求められ
たならば、次にＣＰＵ１０はメモリ８からイメージセン
サ３の左上端に配置された画素から画像信号ａ１を読み
出すと共に、メモリ９からイメージセンサ４の左上端か
ら１つ右側に配置された画素から画像信号ｂ２を読み出
し、それら画像信号の差の絶対値ｃ２１＝｜ａ１−ｂ２
｜を求める。更にイメージセンサ３の左上端から１つ右
側に配置された画素から画像信号ａ２を読み出すと共
に，イメージセンサ４の左上端から２つ右側に配置され
た画素から画像信号ｂ３をそれぞれ読み出し、それら画
像信号の差の絶対値ｃ２２＝｜ａ２−ｂ３｜を求める。
このような操作を各イメージセンサ３、４
たならば、次にＣＰＵ１０はメモリ８からイメージセン
サ３の左上端に配置された画素から画像信号ａ１を読み
出すと共に、メモリ９からイメージセンサ４の左上端か
ら１つ右側に配置された画素から画像信号ｂ２を読み出
し、それら画像信号の差の絶対値ｃ２１＝｜ａ１−ｂ２
｜を求める。更にイメージセンサ３の左上端から１つ右
側に配置された画素から画像信号ａ２を読み出すと共
に，イメージセンサ４の左上端から２つ右側に配置され
た画素から画像信号ｂ３をそれぞれ読み出し、それら画
像信号の差の絶対値ｃ２２＝｜ａ２−ｂ３｜を求める。
このような操作を各イメージセンサ３、４
【０００７】上記のようにＣＰＵ１０はメモリ８、９を
通してイメージセンサ３、４の各画素をｎ（ｎ＝１．
２．３．．）づつシフトしながら画像信号を読み出して
各画像信号の差の絶対値の総和を求める。そしてこのよ
うなパターンマッチング方法により差の絶対値の総和レ
ベルが最も高くなった時が双方のイメージセンサにおけ
る画像信号が最も一致したと判定し、その時のイメージ
センサのシフト数ｎと共にレンズ１、２間の基線長Ｌ、
レンズ１、２の焦点距離ｆ、イメージセンサ３、４を形
成する画素間のピッチ幅ｐを以下の（１）式に代入し三
角測量の原理によりレンズ１、２から先行車両５までの
距離即ち車間距離Ｒを求める。
通してイメージセンサ３、４の各画素をｎ（ｎ＝１．
２．３．．）づつシフトしながら画像信号を読み出して
各画像信号の差の絶対値の総和を求める。そしてこのよ
うなパターンマッチング方法により差の絶対値の総和レ
ベルが最も高くなった時が双方のイメージセンサにおけ
る画像信号が最も一致したと判定し、その時のイメージ
センサのシフト数ｎと共にレンズ１、２間の基線長Ｌ、
レンズ１、２の焦点距離ｆ、イメージセンサ３、４を形
成する画素間のピッチ幅ｐを以下の（１）式に代入し三
角測量の原理によりレンズ１、２から先行車両５までの
距離即ち車間距離Ｒを求める。
【０００８】 Ｒ＝（ｆ＊Ｌ）／（ｎ＊ｐ） ・・・（１）
【０００９】尚、前記従来技術では画面上で距離測定対
象とする先行車両を特定する毎にウィンド設定スイッチ
１３を操作し、ウィンドを先行車両に画面上で設定して
いた。だが特開平２ー２３２５１１号公報に開示された
距離測定装置のように、１度ウィンドを設定した先行車
両がビデオカメラ等の撮像手段の視野内に入っている限
りウィンド設定が継続して行われ、ウィドウ内の先行車
両画像を基に車間距離を求める装置があった。
象とする先行車両を特定する毎にウィンド設定スイッチ
１３を操作し、ウィンドを先行車両に画面上で設定して
いた。だが特開平２ー２３２５１１号公報に開示された
距離測定装置のように、１度ウィンドを設定した先行車
両がビデオカメラ等の撮像手段の視野内に入っている限
りウィンド設定が継続して行われ、ウィドウ内の先行車
両画像を基に車間距離を求める装置があった。
【００１０】図１１はその他の従来技術による距離測定
装置の全体構成を示すブロック図である。図中図１０と
同一部分は同一または相当部分を示す。図において、８
Ａはウィンド設定された先行車両の画像信号を基準画像
信号として格納したメモリである。メモリ８Ａの基準画
像信号は所定時間毎にメモリ８に格納された先行車両画
像に更新される。ＣＰＵ１０によるウィンド設定方法と
は以下のようなものである。最初に自車両の運転手が表
示装置１４の表示画面を見ながら追尾対象である先行車
両５を探し出し、この先行車両５ににウィンドを設定す
る場合はウィンド設定スイッチ１３を操作しウィンド形
成装置１２を通してＣＰＵ１０に対しウィンド設定を指
示する。ＣＰＵ１０は先行車両画像にウィンドウを設定
した画像信号を基準画像信号としてメモリ８Ａに格納す
る。
装置の全体構成を示すブロック図である。図中図１０と
同一部分は同一または相当部分を示す。図において、８
Ａはウィンド設定された先行車両の画像信号を基準画像
信号として格納したメモリである。メモリ８Ａの基準画
像信号は所定時間毎にメモリ８に格納された先行車両画
像に更新される。ＣＰＵ１０によるウィンド設定方法と
は以下のようなものである。最初に自車両の運転手が表
示装置１４の表示画面を見ながら追尾対象である先行車
両５を探し出し、この先行車両５ににウィンドを設定す
る場合はウィンド設定スイッチ１３を操作しウィンド形
成装置１２を通してＣＰＵ１０に対しウィンド設定を指
示する。ＣＰＵ１０は先行車両画像にウィンドウを設定
した画像信号を基準画像信号としてメモリ８Ａに格納す
る。
【００１１】その後、ＣＰＵ１０はメモリ８或いは９よ
り画像信号を取り込むと、前記距離測定方法に用いたパ
ターンマッチング方法により各メモリ８、８Ａより画像
信号をシフトしながら公知のアルゴリズムによりメモリ
８に格納された画像信号の内メモリ８Ａに格納された基
準画像信号にと最も相関性の良い画像にウィンドを設定
する。そしてウィンドウを設定した画像を基準画像とし
てメモリ８Ａに格納し、基準画像信号を更新する。
り画像信号を取り込むと、前記距離測定方法に用いたパ
ターンマッチング方法により各メモリ８、８Ａより画像
信号をシフトしながら公知のアルゴリズムによりメモリ
８に格納された画像信号の内メモリ８Ａに格納された基
準画像信号にと最も相関性の良い画像にウィンドを設定
する。そしてウィンドウを設定した画像を基準画像とし
てメモリ８Ａに格納し、基準画像信号を更新する。
【００１２】ウィンドが設定された先行車両までの車間
距離を測定する方法としてはメモリ９に格納された画像
信号を参照画像とし、両メモリ９、８Ａの画像信号を順
次シフトしながら、前記パターンマッチングの方法で２
つの画像を重ね合わせその時のシフト数ｎを前記（１）
に代入して先行車両５までの距離を求める。
距離を測定する方法としてはメモリ９に格納された画像
信号を参照画像とし、両メモリ９、８Ａの画像信号を順
次シフトしながら、前記パターンマッチングの方法で２
つの画像を重ね合わせその時のシフト数ｎを前記（１）
に代入して先行車両５までの距離を求める。
【００１３】
【発明が解決しようとする課題】従来の距離測定装置
は、車両に搭載したビデオカメラ等で撮像した先行車両
の表示画像信号に基づいて先行車両の追尾及び距離測定
を行っているため、車両が激しく振動したりビデオカメ
ラの視野内にワイパーブラシ等がはいると表示画像を構
成する第１フィールド画像と第２フィールド画像との相
関性が著しく損なわれ追尾或いは距離測定の信頼性が低
下するといった問題点があった。
は、車両に搭載したビデオカメラ等で撮像した先行車両
の表示画像信号に基づいて先行車両の追尾及び距離測定
を行っているため、車両が激しく振動したりビデオカメ
ラの視野内にワイパーブラシ等がはいると表示画像を構
成する第１フィールド画像と第２フィールド画像との相
関性が著しく損なわれ追尾或いは距離測定の信頼性が低
下するといった問題点があった。
【００１４】この発明は上記のような問題点を解決する
ためになされたもので、第１フィールド画像と第２フィ
ールド画像との相関性をチエックしながその結果により
追尾動作或いは距離測定を行うことができる距離測定装
置を得ることを目的とする。
ためになされたもので、第１フィールド画像と第２フィ
ールド画像との相関性をチエックしながその結果により
追尾動作或いは距離測定を行うことができる距離測定装
置を得ることを目的とする。
【００１５】
【課題を解決するための手段】請求項１の発明に係る距
離測定装置は、車両に搭載された一対の撮像手段よりそ
れぞれ出力された測定対象物の画像信号を基に、三角測
量原理で前記測定対象物までの距離を測定する測距手段
と、前記一対の撮像手段の内少なくとも一方の撮像手段
より出力された測定対象物の各フィールド毎の画像信号
を比較し、これら画像信号間の相関性が低いと判定され
た時に距離測定を解消する信号処理手段を備えたもので
ある。
離測定装置は、車両に搭載された一対の撮像手段よりそ
れぞれ出力された測定対象物の画像信号を基に、三角測
量原理で前記測定対象物までの距離を測定する測距手段
と、前記一対の撮像手段の内少なくとも一方の撮像手段
より出力された測定対象物の各フィールド毎の画像信号
を比較し、これら画像信号間の相関性が低いと判定され
た時に距離測定を解消する信号処理手段を備えたもので
ある。
【００１６】請求項２の発明に係る距睡測定装置は、車
両に搭載された一対の撮像手段よりそれぞれ出力された
測定対象物の画像信号を基に、三角測量原理で前記測定
対象物までの距離を測定する測距手段と、予め設定され
た測定対象物の基準画像を更新するのに用いる現画像信
号の各フィールド毎の画像信号と比較し、これら画像信
号間の相関性が低いと判定された時に前記現画像信号に
よる基準画像の更新を停止する画像更新手段を備えたも
のである。
両に搭載された一対の撮像手段よりそれぞれ出力された
測定対象物の画像信号を基に、三角測量原理で前記測定
対象物までの距離を測定する測距手段と、予め設定され
た測定対象物の基準画像を更新するのに用いる現画像信
号の各フィールド毎の画像信号と比較し、これら画像信
号間の相関性が低いと判定された時に前記現画像信号に
よる基準画像の更新を停止する画像更新手段を備えたも
のである。
【００１７】請求項３の発明に係る距離測定装置は、車
両に搭載された一対の撮像手段よりそれぞれ出力された
測定対象物の画像信号を基に、三角測量原理で前記測定
対象物までの距離を測定する測距手段と、前記一対の撮
像手段の一方の撮像手段で撮像された前記測定対象物を
ウインド設定用の基準画像信号として記憶する基準画像
記憶手段と、他方の撮像装置で撮像された前記測定対象
物を距離測定用の参照画像信号として記憶する参照画像
記憶手段と、前記各画像信号毎に第１フィールド画像信
号と第２フィールド画像信号を比較し、前記各画像信号
とも第１フィールド画像信号と第２フィールド画像信号
間の相関性が低いと判定された時に、基準画像信号にお
ける各フィールド画像信号と参照画像信号における各フ
ィールド画像信号とを比較して相関性が高いフィールド
画像信号を有効とみなし、この有効なフィールド画像信
号に基づいて補間画像信号を求め、この補間画像信号を
相関性が低く無効とされたフィールド画像信号に置き換
えて相関性の高い測定対象物のフィールド画像信号を生
成する画像信号生成手段を備えたものである。
両に搭載された一対の撮像手段よりそれぞれ出力された
測定対象物の画像信号を基に、三角測量原理で前記測定
対象物までの距離を測定する測距手段と、前記一対の撮
像手段の一方の撮像手段で撮像された前記測定対象物を
ウインド設定用の基準画像信号として記憶する基準画像
記憶手段と、他方の撮像装置で撮像された前記測定対象
物を距離測定用の参照画像信号として記憶する参照画像
記憶手段と、前記各画像信号毎に第１フィールド画像信
号と第２フィールド画像信号を比較し、前記各画像信号
とも第１フィールド画像信号と第２フィールド画像信号
間の相関性が低いと判定された時に、基準画像信号にお
ける各フィールド画像信号と参照画像信号における各フ
ィールド画像信号とを比較して相関性が高いフィールド
画像信号を有効とみなし、この有効なフィールド画像信
号に基づいて補間画像信号を求め、この補間画像信号を
相関性が低く無効とされたフィールド画像信号に置き換
えて相関性の高い測定対象物のフィールド画像信号を生
成する画像信号生成手段を備えたものである。
【００１８】
【作用】請求項１の発明における距離測定装置は、距離
測定用の画像信号を時間帯毎の画像信号に分けて、これ
ら画像信号間の相関性をしらべ相関性が低いと判定され
たならば、前記距離測定用の画像信号に何等かのノイズ
が混入しこの画像信号は距離測定用画像信号として信頼
性に欠けるとして距離測定を解消する。
測定用の画像信号を時間帯毎の画像信号に分けて、これ
ら画像信号間の相関性をしらべ相関性が低いと判定され
たならば、前記距離測定用の画像信号に何等かのノイズ
が混入しこの画像信号は距離測定用画像信号として信頼
性に欠けるとして距離測定を解消する。
【００１９】請求項２の発明における距離測定装置は、
予め設定された測定対象物の基準画像を更新するのに用
いる現画像信号を各時間帯毎の画像信号とに分けて、こ
れら画像信号間の相関性をしらべ相関性が低いと判定さ
れたならば、現画像に何等かのノイズが混入し基準画像
更新用の画像信号として用いるのに不適格であるとして
基準画像の更新を停止する。
予め設定された測定対象物の基準画像を更新するのに用
いる現画像信号を各時間帯毎の画像信号とに分けて、こ
れら画像信号間の相関性をしらべ相関性が低いと判定さ
れたならば、現画像に何等かのノイズが混入し基準画像
更新用の画像信号として用いるのに不適格であるとして
基準画像の更新を停止する。
【００２０】請求項３の発明における距離測定装置は、
距離測定用の画像信号を各時間帯毎の画像信号に分け
て、これら画像信号間の相関性をしらべ、相関性が低い
と判定されたならば、ノイズの影響を受けた無効画像信
号を有効画像信号に基づいて有効画像信号に置き換え、
相関性の良好な距離測定用画像を生成して距離測定に供
する。
距離測定用の画像信号を各時間帯毎の画像信号に分け
て、これら画像信号間の相関性をしらべ、相関性が低い
と判定されたならば、ノイズの影響を受けた無効画像信
号を有効画像信号に基づいて有効画像信号に置き換え、
相関性の良好な距離測定用画像を生成して距離測定に供
する。
【００２１】
【実施例】 実施例１．以下、この発明の一実施例を図について説明
する。図１は本実施例における距離装置装置の全体構成
を示すブロック図である。尚、図中図１０と同一符号は
同一又は相当部分を示す。図において１０Ａは本実施例
におけるＣＰＵであり、その機能として従来の機能に加
えメモリ８、９に格納された１フレーム分の画像信号に
おける各時間帯毎の画像信号、即ち第１フィールド画像
信号と第２フィールド画像信号の相関性をチエックす
る。尚、イメージセンサ１、レンズ３より撮像手段、に
ＣＰＵ１０Ａより測距段及び信号処理手段を構成する。
する。図１は本実施例における距離装置装置の全体構成
を示すブロック図である。尚、図中図１０と同一符号は
同一又は相当部分を示す。図において１０Ａは本実施例
におけるＣＰＵであり、その機能として従来の機能に加
えメモリ８、９に格納された１フレーム分の画像信号に
おける各時間帯毎の画像信号、即ち第１フィールド画像
信号と第２フィールド画像信号の相関性をチエックす
る。尚、イメージセンサ１、レンズ３より撮像手段、に
ＣＰＵ１０Ａより測距段及び信号処理手段を構成する。
【００２２】次に本実施例の動作について説明する。こ
の動作説明では各フィールド画像信号間の相関性チエッ
クに基ずく距離測定（測距）実施判定処理に注目して説
明する。先ず自車両の運転手は図３に示すように表示装
置１１の表示画面中に設定した監視領域２１に追尾対象
となる先行車両５の画像を認めたならば、その画像に対
し追尾ウィンド２１をかけるようウィンド形成装置１２
を通してＣＰＵ１０Ａへ指示する。その結果ＣＰＵ１０
Ａは追尾ウィンド２１を設定した画像２０の画像信号を
メモリ８、９に格納する。
の動作説明では各フィールド画像信号間の相関性チエッ
クに基ずく距離測定（測距）実施判定処理に注目して説
明する。先ず自車両の運転手は図３に示すように表示装
置１１の表示画面中に設定した監視領域２１に追尾対象
となる先行車両５の画像を認めたならば、その画像に対
し追尾ウィンド２１をかけるようウィンド形成装置１２
を通してＣＰＵ１０Ａへ指示する。その結果ＣＰＵ１０
Ａは追尾ウィンド２１を設定した画像２０の画像信号を
メモリ８、９に格納する。
【００２３】しかしながら、ビデオカメラの前方を車両
のフロントガラスを介してワイパーブラシがかかると、
図４に示すように画像２０中においてウィンド２２にワ
イパーブラシ画像２３がかかってしまう。その結果、先
行車両画像の一部がワイパーブラシ画像２３によって遮
蔽され、その状態で画像２０がメモリ８、９に格納され
てしまう。図４に示す画像２０を１フレーム分の画像と
し、この画像２０を第１フィールド画像、第２フィール
ド画像に分解してみると、図５に示すように第１フィー
ルド画像にはワイパーブラシ画像２３ａが、第２フィー
ルド画像にはワイパーブラシ画像２３ｂが入り込んだの
が認められる。
のフロントガラスを介してワイパーブラシがかかると、
図４に示すように画像２０中においてウィンド２２にワ
イパーブラシ画像２３がかかってしまう。その結果、先
行車両画像の一部がワイパーブラシ画像２３によって遮
蔽され、その状態で画像２０がメモリ８、９に格納され
てしまう。図４に示す画像２０を１フレーム分の画像と
し、この画像２０を第１フィールド画像、第２フィール
ド画像に分解してみると、図５に示すように第１フィー
ルド画像にはワイパーブラシ画像２３ａが、第２フィー
ルド画像にはワイパーブラシ画像２３ｂが入り込んだの
が認められる。
【００２４】更に図５に示す画像２０を図６に示す第１
フィールド画像（同図ｂ）、第２フィールド画像（同図
ｃ）にそれぞれ分解すると通常時の画像（同図ａ）に比
べ、先行車両画像はそれぞれ異なった領域でワイパーブ
ラシ画像によって遮蔽されている。次に図５に示す１フ
レーム分の画像の一部を画素単位で表わすと図７ように
なる。ここでＡｉ，ｊ〜Ａｉ＋１，ｊ＋２は第１フィー
ルド画像における画素群であり、Ｂｉ，ｊ〜Ｂｉ＋１，
ｊ＋２は第２フィールド画像における画素群である。そ
して第２フィールド画像における画素群より出力された
画像信号をＡ／Ｄ変換器６、７にデジタル変換すると、
画像信号はワイパーブラシの影響で０になる。
フィールド画像（同図ｂ）、第２フィールド画像（同図
ｃ）にそれぞれ分解すると通常時の画像（同図ａ）に比
べ、先行車両画像はそれぞれ異なった領域でワイパーブ
ラシ画像によって遮蔽されている。次に図５に示す１フ
レーム分の画像の一部を画素単位で表わすと図７ように
なる。ここでＡｉ，ｊ〜Ａｉ＋１，ｊ＋２は第１フィー
ルド画像における画素群であり、Ｂｉ，ｊ〜Ｂｉ＋１，
ｊ＋２は第２フィールド画像における画素群である。そ
して第２フィールド画像における画素群より出力された
画像信号をＡ／Ｄ変換器６、７にデジタル変換すると、
画像信号はワイパーブラシの影響で０になる。
【００２５】以下、本実施例の動作を図８のフローチャ
ートに従って説明する。まずメモリ８、９にはレンズ１
とイメージセンサ３で構成される第１ビデオカメラと、
レンズ２とイメージセンサ４で構成される第２ビデオカ
メラとでそれぞれ撮像され、デジタル変換された監視領
域２１内の画像信号が１フレーム分格納されている。Ｃ
ＰＵ１０Ａはメモリ８、９に格納された１フレーム画像
信号を第１、２フィールド画像信号に分解して取り込む
（ステップＳ１）。そして監視領域２１内の画像に関し
て第１フィールド画像信号と第２フィールド画像信号と
を（２）式に従って比較する（ステップＳ２）。
ートに従って説明する。まずメモリ８、９にはレンズ１
とイメージセンサ３で構成される第１ビデオカメラと、
レンズ２とイメージセンサ４で構成される第２ビデオカ
メラとでそれぞれ撮像され、デジタル変換された監視領
域２１内の画像信号が１フレーム分格納されている。Ｃ
ＰＵ１０Ａはメモリ８、９に格納された１フレーム画像
信号を第１、２フィールド画像信号に分解して取り込む
（ステップＳ１）。そして監視領域２１内の画像に関し
て第１フィールド画像信号と第２フィールド画像信号と
を（２）式に従って比較する（ステップＳ２）。
【００２６】
【００２７】この比較演算処理として、即ち図７に示さ
れる第１フィールド画像の画素Ａｉ，ｊ〜Ａｉ＋１，ｊ
＋２の画像信号と第２フィールド画像の画素Ｂｉ，ｊ〜
Ｂｉ＋１，ｊ＋２の画像信号との差を（２）式にてそれ
ぞれ求め、各画素毎に差が求められたならば比較値ｃで
ある差の総和を求める。ここで各フィールド画像間の相
関性がよければ総和は０に近くなる。
れる第１フィールド画像の画素Ａｉ，ｊ〜Ａｉ＋１，ｊ
＋２の画像信号と第２フィールド画像の画素Ｂｉ，ｊ〜
Ｂｉ＋１，ｊ＋２の画像信号との差を（２）式にてそれ
ぞれ求め、各画素毎に差が求められたならば比較値ｃで
ある差の総和を求める。ここで各フィールド画像間の相
関性がよければ総和は０に近くなる。
【００２８】以上の比較演算処理を各ビデオカメラで撮
像した１フレーム画像に対して行い各画像とも比較値が
所定値以下であると判定されると（ステップＳ３）、両
ビデオカメラによって撮像された画像は有効と判定し両
画像信号を用いて三角測量原理で先行車両５までの車間
距離をもとめる。
像した１フレーム画像に対して行い各画像とも比較値が
所定値以下であると判定されると（ステップＳ３）、両
ビデオカメラによって撮像された画像は有効と判定し両
画像信号を用いて三角測量原理で先行車両５までの車間
距離をもとめる。
【００２９】しかしながら、図７に示すように第２フィ
ールド画像がワイパーブラシの影響を受けると各画素の
画像信号は０になるため、これら画像信号を（２）式に
代入し第１フィールド画像の画像信号との差の総和を求
めると総和は所定のレベルを有するようになる。その結
果各フィールド画像間の相関性は低いと判定され撮像画
像は無効となり車間距離測定を行わない。
ールド画像がワイパーブラシの影響を受けると各画素の
画像信号は０になるため、これら画像信号を（２）式に
代入し第１フィールド画像の画像信号との差の総和を求
めると総和は所定のレベルを有するようになる。その結
果各フィールド画像間の相関性は低いと判定され撮像画
像は無効となり車間距離測定を行わない。
【００３０】実施例２．上記実施例１では先行車両を撮
像した１フレーム分の画像信号を第１フィールド画像信
号と第２フィールド画像信号に分け、これらフィールド
画像信号間の相関性より撮像画像信号が距離測定用の画
像信号として有効か判定した。しかしながら有効判定結
果に基づき撮像画像信号がウィンド更新用画像信号とし
て有効であるかを判定することも可能である。図２は実
施例２による距離測定装置の全体構成を示すブロック図
である。図中図１１と同一符号は同一または相当部分を
示す。図において、１０Ｂは測距手段、画像更新手段、
及び画像信号生成手段を構成するＣＰＵである。
像した１フレーム分の画像信号を第１フィールド画像信
号と第２フィールド画像信号に分け、これらフィールド
画像信号間の相関性より撮像画像信号が距離測定用の画
像信号として有効か判定した。しかしながら有効判定結
果に基づき撮像画像信号がウィンド更新用画像信号とし
て有効であるかを判定することも可能である。図２は実
施例２による距離測定装置の全体構成を示すブロック図
である。図中図１１と同一符号は同一または相当部分を
示す。図において、１０Ｂは測距手段、画像更新手段、
及び画像信号生成手段を構成するＣＰＵである。
【００３１】以下、本実施例の動作を図９のフローチャ
ートに下がつて説明する。ＣＰＵ１０Ｂは図５に示すよ
うに基準画像２０の画像信号を例えばメモリ８より読み
出し、この基準画像信号を実施例１と同様に第１フィー
ルド画像信号（図６ｂ）と第２フィールド画像信号（図
６ｃ）に分け、各フィールド画像信号を画素単位で比較
し比較値が所定値以下かを判定する（ステップＳ１１、
１２）。この時比較値が所定値以下であれば実施例１で
説明したように各フィールド画像信号間の相関性は良好
であると判定しメモリ８Ａに格納してあるウィンド設定
用の基準画像をメモリ８に格納した基準画像で更新する
（ステップＳ１３）。更新処理に関しては従来技術で説
明した通りである。
ートに下がつて説明する。ＣＰＵ１０Ｂは図５に示すよ
うに基準画像２０の画像信号を例えばメモリ８より読み
出し、この基準画像信号を実施例１と同様に第１フィー
ルド画像信号（図６ｂ）と第２フィールド画像信号（図
６ｃ）に分け、各フィールド画像信号を画素単位で比較
し比較値が所定値以下かを判定する（ステップＳ１１、
１２）。この時比較値が所定値以下であれば実施例１で
説明したように各フィールド画像信号間の相関性は良好
であると判定しメモリ８Ａに格納してあるウィンド設定
用の基準画像をメモリ８に格納した基準画像で更新する
（ステップＳ１３）。更新処理に関しては従来技術で説
明した通りである。
【００３２】だが、ステップＳ１２で各フィールド画像
信号間の相関性が低いと判定されたならば、メモリ８に
格納された基準画像は更新用の画像として信頼性が低い
ものとして今回はメモリ８Ａに格納した基準画像は更新
をせず、先行車両５までの距離測定に用いる参照画像に
ついても相関性をしらべる。この場合参照画像としてメ
モリ９に格納した画像を用いて参照画像信号を、基準画
像信号と同様に第１フィールド画像信号と第２フィール
ド画像信号に分け、各フィールド画像信号を画素単位で
比較し比較値が所定値以下かを判定する（ステップＳ１
４、１５）。この時比較値が所定値以下であれば各フィ
ールド画像信号間の相関性は良好であると判定し、メモ
リ８に格納された基準画像とメモリ９に格納された参照
画像を用いて従来の方法で車間距離を計測する（ステッ
プＳ１６）。
信号間の相関性が低いと判定されたならば、メモリ８に
格納された基準画像は更新用の画像として信頼性が低い
ものとして今回はメモリ８Ａに格納した基準画像は更新
をせず、先行車両５までの距離測定に用いる参照画像に
ついても相関性をしらべる。この場合参照画像としてメ
モリ９に格納した画像を用いて参照画像信号を、基準画
像信号と同様に第１フィールド画像信号と第２フィール
ド画像信号に分け、各フィールド画像信号を画素単位で
比較し比較値が所定値以下かを判定する（ステップＳ１
４、１５）。この時比較値が所定値以下であれば各フィ
ールド画像信号間の相関性は良好であると判定し、メモ
リ８に格納された基準画像とメモリ９に格納された参照
画像を用いて従来の方法で車間距離を計測する（ステッ
プＳ１６）。
【００３３】しかしながらステップＳ１４におけるフィ
ールド画像信号間の比較により相関性が低いと判定され
たならば、参照画像信号とメモリ８に格納された基準画
像信号における各フィールド画像信号を比較し相関性の
良い有効フィールド画像信号、すなわち図７に示すよう
にワイパーブラシの影響を受けていない第１フィールド
画像信号（Ａｉ，ｊ〜Ａｉ＋１，ｊ＋２に相当する）を
求める。
ールド画像信号間の比較により相関性が低いと判定され
たならば、参照画像信号とメモリ８に格納された基準画
像信号における各フィールド画像信号を比較し相関性の
良い有効フィールド画像信号、すなわち図７に示すよう
にワイパーブラシの影響を受けていない第１フィールド
画像信号（Ａｉ，ｊ〜Ａｉ＋１，ｊ＋２に相当する）を
求める。
【００３４】次に無効フィールド画像信号（Ｂｉ，ｊ〜
Ｂｉ＋１，ｊ＋２に相当する）を有効フィールド画像信
号にし相関性のよい参照画像信号を得るために、補間処
理により例えば無効画素Ｂｉ，ｊを有効画素に置き換え
る（ステップＳ１４）。補間処理の一例として無効画素
Ｂｉ，ｊに関しては画像信号値を単に有効画素Ａｉ，ｊ
またはＡｉ＋１の画像信号に置き換えても良い。或いは
以下の（３）式で示す平均フィルタのアルゴリズムを用
いて無効画素Ｂｉ，ｊの画像信号値を有効画素Ａｉ，ｊ
とＡｉ＋１，ｊの画像信号の平均値で置き換えてもよ
い。
Ｂｉ＋１，ｊ＋２に相当する）を有効フィールド画像信
号にし相関性のよい参照画像信号を得るために、補間処
理により例えば無効画素Ｂｉ，ｊを有効画素に置き換え
る（ステップＳ１４）。補間処理の一例として無効画素
Ｂｉ，ｊに関しては画像信号値を単に有効画素Ａｉ，ｊ
またはＡｉ＋１の画像信号に置き換えても良い。或いは
以下の（３）式で示す平均フィルタのアルゴリズムを用
いて無効画素Ｂｉ，ｊの画像信号値を有効画素Ａｉ，ｊ
とＡｉ＋１，ｊの画像信号の平均値で置き換えてもよ
い。
【００３５】 Ｂｉ，ｊ＝（Ａｉ，ｊ ＋ Ａｉ＋１，ｊ）／２ ・・・・・（３）
【００３６】尚、この実施例では有効フィールド画像信
号を求めるため基準画像信号の各フィールド画像信号を
用いたが、参照画像を格納するメモリ９に対して他のメ
モリ９Ａを追加し、基準画像と同様に所定時間毎に交互
に参照画像を格納する構成とし前回の参照画像と今回の
参照画像を比較し、今回の参照画像のなかから相関性の
よいフィールド画像信号を選び、補間処理にかけてもよ
い。
号を求めるため基準画像信号の各フィールド画像信号を
用いたが、参照画像を格納するメモリ９に対して他のメ
モリ９Ａを追加し、基準画像と同様に所定時間毎に交互
に参照画像を格納する構成とし前回の参照画像と今回の
参照画像を比較し、今回の参照画像のなかから相関性の
よいフィールド画像信号を選び、補間処理にかけてもよ
い。
【００３７】また、各実施例においては先行車両に対す
るウィンド設定を表示装置１４の表示画面を見ながら手
動動作で行なったが、特開平３ー４５８９８号公報に開
示されているように画像信号を車両抽出フィルタにかけ
車両抽出時に該等する画像信号にウィンドを設定しても
良い。更に、情報処理学会ｖｏｌ２７ ｎｏ．７ １９
８６に記載されているように車両の左右対称性に注目
し、画像信号処理の結果撮像画像が左右対称性を有して
いた場合にその画像に対してウィンドを設定しても良
い。
るウィンド設定を表示装置１４の表示画面を見ながら手
動動作で行なったが、特開平３ー４５８９８号公報に開
示されているように画像信号を車両抽出フィルタにかけ
車両抽出時に該等する画像信号にウィンドを設定しても
良い。更に、情報処理学会ｖｏｌ２７ ｎｏ．７ １９
８６に記載されているように車両の左右対称性に注目
し、画像信号処理の結果撮像画像が左右対称性を有して
いた場合にその画像に対してウィンドを設定しても良
い。
【００３８】
【発明の効果】請求項１の発明によれば、車両に搭載さ
れた一対の撮像手段よりそれぞれ出力された測定対象物
の画像信号を基に、三角測量原理で前記測定対象物まで
の距離を測定する測距手段と、前記一対の撮像手段の内
少なくとも一方の撮像手段より出力された測定対象物の
画像信号を各フィールド毎の画像信号に分けて比較し、
これら画像信号間の相関性が低いと判定された時に距離
測定を解消する信号処理手段を備えたので、距離測定処
理の信頼性が向上するという効果がある。
れた一対の撮像手段よりそれぞれ出力された測定対象物
の画像信号を基に、三角測量原理で前記測定対象物まで
の距離を測定する測距手段と、前記一対の撮像手段の内
少なくとも一方の撮像手段より出力された測定対象物の
画像信号を各フィールド毎の画像信号に分けて比較し、
これら画像信号間の相関性が低いと判定された時に距離
測定を解消する信号処理手段を備えたので、距離測定処
理の信頼性が向上するという効果がある。
【００３９】請求項２の発明によれば、車両に搭載され
た一対の撮像手段よりそれぞれ出力された測定対象物の
画像信号を基に、三角測量原理で前記測定対象物までの
距離を測定する測距手段と、予め設定された測定対象物
の基準画像を更新するのに用いる現画像信号の各フィー
ルド毎の画像信号と比較し、これら画像信号間の相関性
が低いと判定された時に前記現画像信号による基準画像
の更新を停止する画像更新手段を備えたので、測定対象
物の特定処理動作の信頼性が向上するという効果があ
る。
た一対の撮像手段よりそれぞれ出力された測定対象物の
画像信号を基に、三角測量原理で前記測定対象物までの
距離を測定する測距手段と、予め設定された測定対象物
の基準画像を更新するのに用いる現画像信号の各フィー
ルド毎の画像信号と比較し、これら画像信号間の相関性
が低いと判定された時に前記現画像信号による基準画像
の更新を停止する画像更新手段を備えたので、測定対象
物の特定処理動作の信頼性が向上するという効果があ
る。
【００４０】請求項３の発明に係る距離測定装置は、車
両に搭載された一対の撮像手段よりそれぞれ出力された
測定対象物の画像信号を基に、三角測量原理で前記測定
対象物までの距離を測定する測距手段と、前記一対の撮
像手段の一方の撮像手段で撮像された前記測定対象物を
ウインド設定用の基準画像信号として記憶する基準画像
記憶手段と、他方の撮像装置で撮像された前記測定対象
物を距離測定用の参照画像信号として記憶する参照画像
記憶手段と、前記各画像信号毎に第１フィールド画像信
号と第２フィールド画像信号を比較し、前記各画像信号
とも第１フィールド画像信号と第２フィールド画像信号
間の相関性が低いと判定された時に、基準画像信号にお
ける各フィールド画像信号と参照画像信号における各フ
ィールド画像信号とを比較して相関性が高いフィールド
画像信号を有効とみなし、この有効なフィールド画像信
号に基づいて補間画像信号を求め、この補間画像信号を
相関性が低く無効とされたフィールド画像信号に置き換
えて相関性の高い測定対象物のフィールド画像信号を生
成する画像信号生成手段を備えたので、距離測定機能を
より安定したものにできるという効果がある。
両に搭載された一対の撮像手段よりそれぞれ出力された
測定対象物の画像信号を基に、三角測量原理で前記測定
対象物までの距離を測定する測距手段と、前記一対の撮
像手段の一方の撮像手段で撮像された前記測定対象物を
ウインド設定用の基準画像信号として記憶する基準画像
記憶手段と、他方の撮像装置で撮像された前記測定対象
物を距離測定用の参照画像信号として記憶する参照画像
記憶手段と、前記各画像信号毎に第１フィールド画像信
号と第２フィールド画像信号を比較し、前記各画像信号
とも第１フィールド画像信号と第２フィールド画像信号
間の相関性が低いと判定された時に、基準画像信号にお
ける各フィールド画像信号と参照画像信号における各フ
ィールド画像信号とを比較して相関性が高いフィールド
画像信号を有効とみなし、この有効なフィールド画像信
号に基づいて補間画像信号を求め、この補間画像信号を
相関性が低く無効とされたフィールド画像信号に置き換
えて相関性の高い測定対象物のフィールド画像信号を生
成する画像信号生成手段を備えたので、距離測定機能を
より安定したものにできるという効果がある。
【図１】この発明の実施例１による距離測定装置の全体
構成を示すブロック図である。
構成を示すブロック図である。
【図２】この発明の実施例２による距離測定装置の全体
構成を示すブロック図である。
構成を示すブロック図である。
【図３】上記各実施例における表示装置１４の画像表示
例を示す図である。
例を示す図である。
【図４】表示画像がウィンドワイパーの影響を受けた時
の画像表示例を示す図である。
の画像表示例を示す図である。
【図５】表示画像を第１フィールド画像と第２フィール
ド画像との合成で示した図である。
ド画像との合成で示した図である。
【図６】図５にしめす画像２０を第１フィールド画像
（ｂ）と第２フィールド画像（ｃ）に分けて示した図で
ある。
（ｂ）と第２フィールド画像（ｃ）に分けて示した図で
ある。
【図７】１フレーム分ぼ画像信号を各画素配列に示した
図である。
図である。
【図８】実施例１の動作を説明するフローチャートであ
る。
る。
【図９】実施例２の動作を説明するフローチャートであ
る。
る。
【図１０】従来の距離測定装置の全体構成を示すブロッ
ク図である。
ク図である。
【図１１】他の従来の距離測定装置の全体構成を示すブ
ロック図である。
ロック図である。
１、２ レンズ ３、４ イメージセンサ ５ 先行車両 ８、８Ａ，９ メモリ １０Ａ、１０Ｂ ＣＰＵ １４ 表示装置 ２３ ウィンド
Claims (3)
- 【請求項１】 車両に搭載された一対の撮像手段よりそ
れぞれ出力された測定対象物の画像信号を基に、三角測
量原理で前記測定対象物までの距離を測定する測距手段
と、前記一対の撮像手段の内少なくとも一方の撮像手段
より出力された測定対象物の各フィールド毎の画像信号
を比較し、これら画像信号間の相関性が低いと判定され
た時に距離測定を解消する信号処理手段を備えたことを
特徴とする距離測定装置。 - 【請求項２】 車両に搭載された一対の撮像手段よりそ
れぞれ出力された測定対象物の画像信号を基に、三角測
量原理で前記測定対象物までの距離を測定する測距手段
と、予め設定された測定対象物の基準画像を更新するの
に用いる現画像信号の各フィールド毎の画像信号と比較
し、これら画像信号問の相関性が低いと判定された時に
前記現画像信号による基準画像の更新を停止する画像更
新手段を備えたことを特徴とする距離測定装置。 - 【請求項３】 車両に搭載された一対の撮像手段よりそ
れぞれ出力された測定対象物の画像信号を基に、三角測
量原理で前記測定対象物までの距離を測定する測距手段
と、前記一対の撮像手段の一方の撮像手段で撮像された
前記測定対象物をウインド設定用の基準画像信号として
記憶する基準画像記憶手段と、他方の撮像装置で撮像さ
れた前記測定対象物を距離測定用の参照画像信号として
記憶する参照画像記憶手段と、前記各画像信号毎に第１
フィールド画像信号と第２フィールド画像信号を比較
し、前記各画像信号とも第１フィールド画像信号と第２
フィールド画像信号間の相関性が低いと判定された時
に、基準画像信号における各フィールド画像信号と参照
画像信号における各フィールド画像信号とを比較して相
関性が高いフィールド画像信号を有効とみなし、この有
効なフィールド画像信号に基づいて補間画像信号を求
め、この補間画像信号を相関性が低く無効とされたフィ
ールド画像信号に置き換えて相関性の高い測定対象物の
フィールド画像信号を生成する画像信号生成手段を備え
てことを特徴とする距離測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4348947A JP2857001B2 (ja) | 1992-12-28 | 1992-12-28 | 距離測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4348947A JP2857001B2 (ja) | 1992-12-28 | 1992-12-28 | 距離測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06201379A JPH06201379A (ja) | 1994-07-19 |
| JP2857001B2 true JP2857001B2 (ja) | 1999-02-10 |
Family
ID=18400462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4348947A Expired - Fee Related JP2857001B2 (ja) | 1992-12-28 | 1992-12-28 | 距離測定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2857001B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4743277B2 (ja) * | 2006-11-28 | 2011-08-10 | 富士通株式会社 | 画像データ認識方法、画像処理装置および画像データ認識プログラム |
| US8204278B2 (en) | 2006-11-28 | 2012-06-19 | Fujitsu Limited | Image recognition method |
| RU2552123C2 (ru) * | 2013-10-22 | 2015-06-10 | Федеральное государственное унитарное предприятие "Российский Федеральный Ядерный Центр-Всероссийский Научно-Исследовательский Институт Технической Физики имени академика Е.И. Забабахина" (ФГУП "РФЯЦ-ВНИИТФ им. академ. Е.И. Забабахина") | Способ селекции объектов на удалённом фоне |
-
1992
- 1992-12-28 JP JP4348947A patent/JP2857001B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06201379A (ja) | 1994-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2983407B2 (ja) | 画像追尾装置 | |
| US7092015B1 (en) | Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point | |
| US5159557A (en) | Distance detecting apparatus and method for a vehicle | |
| JP2001091247A (ja) | 距離データの検査方法およびその検査装置 | |
| JP3388087B2 (ja) | 物体検出装置 | |
| JP3570198B2 (ja) | 画像処理方法およびその装置 | |
| JP2001174696A (ja) | カラー撮像装置 | |
| JP2857001B2 (ja) | 距離測定装置 | |
| US5255064A (en) | Distance-measuring equipment | |
| JP2001148865A (ja) | 画像入力装置 | |
| JP4661578B2 (ja) | 移動体認識装置 | |
| JPH11108660A (ja) | 距離検出装置 | |
| JP2635232B2 (ja) | 車間距離検出装置 | |
| JP3099692B2 (ja) | 走行路における対象物の位置計測方法 | |
| JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
| JP3193258B2 (ja) | 画像入力装置 | |
| JP4435525B2 (ja) | ステレオ画像処理装置 | |
| JP3373331B2 (ja) | 車間距離検出装置 | |
| JP2971693B2 (ja) | 距離測定装置 | |
| JP3406196B2 (ja) | 車両用距離測定装置 | |
| JP2524016B2 (ja) | 画像変位測定装置 | |
| JPH07177425A (ja) | 動きベクトル検出装置 | |
| JP3912639B2 (ja) | ３次元画像処理装置 | |
| JPH0746456A (ja) | 手振れ補正装置を有するビデオカメラ | |
| WO2023026517A1 (ja) | 物体距離検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071127 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081127 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081127 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091127 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091127 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101127 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |