JPH07225275A - 車両用距離データ処理装置 - Google Patents

車両用距離データ処理装置

Info

Publication number
JPH07225275A
JPH07225275A JP6016734A JP1673494A JPH07225275A JP H07225275 A JPH07225275 A JP H07225275A JP 6016734 A JP6016734 A JP 6016734A JP 1673494 A JP1673494 A JP 1673494A JP H07225275 A JPH07225275 A JP H07225275A
Authority
JP
Japan
Prior art keywords
detection point
intensity
coordinate data
time
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6016734A
Other languages
English (en)
Other versions
JP3186401B2 (ja
Inventor
Moichi Okamura
茂一 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP01673494A priority Critical patent/JP3186401B2/ja
Priority to US08/385,882 priority patent/US5600561A/en
Priority to DE19504314A priority patent/DE19504314C2/de
Priority to GB9502663A priority patent/GB2286496B/en
Publication of JPH07225275A publication Critical patent/JPH07225275A/ja
Application granted granted Critical
Publication of JP3186401B2 publication Critical patent/JP3186401B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves

Abstract

(57)【要約】 【目的】 検出点を精度よく時系列的に対応付け、それ
により、複数の先行する車両や前方にある障害物までの
距離とその相対速度ベクトルを精度よく求めることがで
きる車両用距離データ処理装置を得る。 【構成】 距離データ変換手段３Ａにより得られた座標
データと、距離データ・強度データ入力手段２Ａにより
得られた強度データと、座標データ予測手段４Ａにより
予測された予測座標とを利用して、対応付手段５Ａによ
り前回と今回の座標データを対応付ける。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、先行する車両あるい
は前方障害物までの距離と速度を測定するする際に、被
測定対象を時系列的に対応付けるための車両用距離デー
タ処理装置に関するものである。
【０００２】
【従来の技術】先行車までの車間距離が危険な距離にな
ると警報を発する車間距離警報装置では、先行車までの
距離だけではなく、その相対車速を求める必要がある。
しかし、走査型の距離測定装置のように、複数の距離計
測領域を備えた距離計測手段を上述した車間距離警報装
置に用いる場合には、複数の距離のうちどれとどれの差
をとって相対速度とするかが問題となる。この対策とし
て、従来より、例えば特公平３−６４７２号公報に開示
されているように各検出方向毎に前回と今回の距離の差
をとって相対速度とする車両用距離データ処理装置が知
られている。しかし、被測定対象が横方向に動くものの
場合には、被測定対象がすぐに隣の検出領域に移った場
合に正しい相対速度が演算できなくなるという可能性が
ある。
【０００３】そこで、各検出点を時系列的に対応づける
ことによって、被測定対象が横方向に移動しても相対速
度を演算することができるようになり、相対速度を求め
ることができるようになると考えられる。具体的には、
このような車両用距離データ処理装置として、図９に示
されるような構成の車両用距離データ処理装置が考えら
れる。
【０００４】図９より明らかなように、この車両用距離
データ処理装置は、先行車または車両前方の障害物まで
の距離を計測する距離計測手段１、距離計測手段１の出
力をコンピュータ１０内に取り込むための距離データ入
力手段２、距離データ入力手段２により入力された距離
データを２次元座標である座標データに変換する距離デ
ータ変換手段３、距離データ変換手段３により変換され
た前回測定の座標データに基づいて、後述するように今
回の測定で得られる座標データを予測する座標データ予
測手段４、座標データ予測手段４で予測された予測座標
データに基づいて、今回得られた座標データと前回得ら
れた座標データとを対応付ける対応付け手段５、対応付
け手段５により対応付けられた前回と今回の座標データ
から各検出点の相対速度を演算する相対速度演算手段
６、今回の座標データや相対速度から車両候補データを
得る車両候補データ演算手段７、この結果を表示する表
示手段８とを備える。
【０００５】図１０は上述した車両用距離データ処理装
置のデータ処理の流れを示すフローチャートである。以
下、かかるデータ処理の流れを説明する。例えばレーザ
光を用いた走査型距離計のような距離計測手段１からの
距離データはステップＳ１０１でコンピュータ１０に入
力され、ステップＳ１０２において距離データ変換手段
２により２次元座標に変換される。次に、ステップＳ１
０３において、過去の検出点のｘｙ座標と相対速度ベク
トルのデータから座標データ予測手段４により各検出点
の現在の座標が予測される。対応付け手段４は、ステッ
プＳ１０４において、ステップＳ１０３で予測された座
標と各検出点の現在の座標を比較し、それらの位置が下
式（１）、（２）の条件を満たす場合に同一のものと判
断してこれらの対応付けを行う。
【０００６】 ｜Ｘｉ−Ｘｊ｜≦ Ｘ （１） ｜Ｙｉ−Ｙｊ｜≦ Ｙ （２）
【０００７】ここでｉは現在の検出点の座標、ｊは予想
される検出点の座標である。さらに、ステップＳ１０５
では相対速度演算手段５により、ステップＳ１０４にお
いて対応づけられた前回と今回の座標変化から相対速度
ベクトルを求める。ステップＳ１０６では、車両候補デ
ータ演算手段７により検出点がまとめ上げられ車両候補
が抽出され、その座標と相対速度ベクトルが求められ
る。このようにして求められた車両候補の座標、相対速
度ベクトルに基づいて表示手段７は警報を発する。
【０００８】
【発明が解決しようとする課題】しかし、前述した装置
では、予想位置あるいは予想位置を求めるために必要な
座標、相対速度ベクトルの精度が悪い場合に不具合が生
じる。例えば、（１）、（２）式のｘ、ｙを小さくする
と対応するものが見つけられず、連続した距離変化を得
られない。つまり、測距のたびに新しい車両候補が出現
してしまう結果となる。逆に、これらの数値を大きくす
ると対応するものが複数現れ、これらのうちどれとどれ
を対応づけるかによっては、対応付けを誤ってしまう。
その結果、実際に捕えられている車両候補のものとは異
なる座標、相対速度ベクトルが得られ、ひいては誤警報
という結果を招くという問題点がある。
【０００９】この発明は上述した問題点に鑑みてなされ
るもので、その目的は、前述の（１）、（２）式の予測
位置の条件に加えて反射電磁波の強度の情報による条件
を付加することで、検出点を精度よく時系列的に対応付
け、それにより、複数の先行する車両や前方にある障害
物までの距離とその相対速度ベクトルを精度よく求める
ことができる車両用距離データ処理装置を提供すること
にある。
【００１０】
【課題を解決するための手段】この発明の請求項１に係
る車両用距離データ処理装置は、電磁波を複数の方向に
放射し、反射体により反射された反射電磁波を受信して
その強度と反射体までの距離データを得る距離計測手段
と、前記距離計測手段により得られた距離データを、検
出点の位置として座標データに変換する距離データ変換
手段と、前回検出された各検出点の座標データとその相
対速度ベクトルに基づいて、今回検出される各検出点の
座標データを予測する予測手段と、前記予測手段により
予測された予測座標データと、前回検出された各検出点
の強度と、今回検出された各検出点の座標データと強度
とに基づいて、前回検出された各検出点と今回検出され
た各検出点とを時系列的に対応づける対応付け手段と、
前記対応付け手段によりそれぞれ対応づけられた各検出
点からそれらの相対速度ベクトルを演算して求め、これ
ら相対速度ベクトルを前記予測手段で用いるための相対
速度演算手段と、前記座標データ、相対速度ベクトルに
基づいて今回の検出点をまとめ上げて車両候補とし、得
られた車両候補の座標データ、速度ベクトルを求める車
両候補データ演算手段とを備えたものである。
【００１１】また、この発明の請求項２に係る車両用距
離データ処理装置は、請求項１の車両用距離データ処理
装置において、前記距離計測手段により得られた反射電
磁波の強度により各検出点に順位をつける強度順位判定
手段を備え、前記対応付け手段は、前回の各検出点に基
づく予測座標データ、前回の各検出点おける反射電磁波
の強度、及びそれらの強度順位と、今回の各検出点の座
標データ、今回の各検出点における反射電磁波の強度、
及びそれらの強度順位とに基づいて、前回の各検出点と
今回の各検出点とを時系列的に対応づけるようにしたも
のである。
【００１２】また、この発明の請求項３に係る車両用距
離データ処理装置は、請求項１の車両用距離データ処理
装置において、前記距離計測手段により得られた各検出
点までの距離データと強度に基づいて、これら各検出点
における反射体を判定する判定手段を備え、前記対応付
け手段は、前回の各検出点に基づく予測座標データ、前
記判定手段により前回判定された判定結果と、今回検出
された各検出点の座標データ、前記判定手段により今回
判定された判定結果とに基づいて、前回の各検出点と今
回の各検出点とを時系列的に対応づけるようにしたもの
である。
【００１３】また、この発明の請求項４に係る車両用距
離データ処理装置は、請求項３の車両用距離データ処理
装置において、前回検出された各検出点における反射電
磁波の強度と各検出点の相対速度ベクトルに基づいて、
今回検出される各検出点の反射電磁波の強度を予測する
強度予測手段を備え、前記対応付け手段は、前回の各検
出点に基づく予測座標データ、及び前記強度予測手段に
より得られた予測強度と、今回検出された各検出点の座
標データ、及びその強度とから前回の各検出点と今回の
各検出点とを時系列的に対応づけるようにしたものであ
る。
【００１４】更に、この発明の請求項５に係る車両用距
離データ処理装置は、請求項１から請求項４のいずれか
の車両用距離データ処理装置において、近接する座標デ
ータをまとめてグループとし、そのグループの代表座標
データ、代表強度を求めるグループ化手段を備え、これ
ら代表座標データ及び代表強度を前記各検出点の座標デ
ータ及び強度として用いるようにしたものである。
【００１５】
【作用】請求項１の車両用データ処理装置によれば、座
標データと、強度を利用して前回と今回の座標データが
対応付けられるので、対応付けの精度が向上する。
【００１６】また、請求項２の車両用データ処理装置に
よれば、強度順位の高いもの（例えばリフレクタ）から
対応付けが行われるので、時系列的に異なるものが対応
付けられる確率が減少する。
【００１７】また、請求項３の車両用データ処理装置に
よれば、距離データと強度との関係から測距の対象が判
定され、その結果の同じものが対応づけられるので、時
系列的に異なるものが対応付けられる確率が減少し、対
応付けの精度が向上される。
【００１８】また、請求項４の車両用データ処理装置に
よれば、座標データが予測されるだけでなく、強度も予
測されるので、時系列的に異なるものが対応付けられる
確率が減少し、対応付けの精度が向上する。
【００１９】さらに、請求項５の車両用データ処理装置
によれば、検出点がまとめられてから処理されるので、
扱われるデータの数が少なくなり、処理が高速になる。
【００２０】
【実施例】
実施例１．図１はこの発明の一実施例を示すブロック図
である。図１からも明らかなように、車両用データ処理
装置は、先行車または車両前方の障害物までの距離を計
測する距離計測手段１、距離計測手段１の出力をコンピ
ュータ１０Ａ内に取り込むための距離データ・強度デー
タ入力手段２Ａ、距離データ・強度データ入力手段２Ａ
により入力された距離データを２次元座標である座標デ
ータに変換する距離データ変換手段３Ａ、距離データ変
換手段３Ａにより変換された前回測定の座標データに基
づいて、後述するように今回の測定で得られる座標デー
タを予測する座標データ予測手段４Ａ、座標データ予測
手段４Ａで予測された予測座標データに基づいて、今回
得られた座標データと前回得られた座標データとを対応
付ける対応付け手段５Ａ、対応付け手段５Ａにより対応
付けられた前回と今回の座標データから各検出点の相対
速度を演算する相対速度演算手段６Ａ、今回の座標デー
タや相対速度から車両候補データを得る車両候補データ
演算手段７Ａを備えると共に、この処理結果を表示する
表示手段８を備えている。
【００２１】この実施例での距離データの処理は図２の
フローチャートに示されている。ただし、この例におけ
る距離計測手段は、図３に示されるように、１つのレー
ザビームをｎ回方向を変えて水平方向に掃引発射する走
査型距離計であり、その距離計測領域が図３に示されて
いる。以下では、この実施例における距離データの処理
について図２のフローチャートをもとに説明する。
【００２２】ステップＳ２０１では、距離計測手段１を
構成する走査型距離計により得られた複数の距離データ
と各距離データに対応する強度データ（以下単に強度と
いう）とが各走査方向毎に距離データ・強度データ入力
手段２Ａに入力される。ステップＳ２０２では、距離デ
ータ変換手段３Ａにより、走査方向の角度から次式に従
って各距離データが２次元座標に変換される。
【００２３】 Ｘｎｉ＝Ｌｎｉｓｉｎθｎｉ （３） Ｙｎｉ＝Ｌｎｉｃｏｓθｎｉ （４）
【００２４】上式において、Ｌｎｉはｉ番目の距離デー
タ、θｎｉはｉ番目のビームの発射角度、Ｘｎｉはｉ番
目の距離データによるＸ座標、Ｙｎｉはｉ番目の距離デ
ータによるＹ座標である。
【００２５】ステップＳ２０３では、前回の座標と相対
速度ベクトルから次式により今回の座標が予測される。
【００２６】 Ｘｐｎｉ＝Ｘｎ-1i＋Ｖｘｎ-1i×Ｔ （５） Ｙｐｎｉ＝Ｙｎ-1i＋Ｖｙｎ-1i×Ｔ （６）
【００２７】ここで、Ｘｐｎｉ、Ｙｐｎｉはｉ番目デー
タの今回の予測ｘｙ座標、Ｘｎ-1i、Ｙｎ-1iはｉ番目デ
ータの前回のｘｙ座標、Ｖｘｎ-1i、Ｖｙｎ-1iは前回得
られた相対速度ベクトル、Ｔは演算周期である。
【００２８】ステップＳ２０４では、ステップＳ２０３
で得られた前回の検出点の予測座標と計測により得られ
た今回の検出点の座標が対応づけられる。具体的には、
まず、図４に示されるように前回のｉ番目の検出点の予
測座標の周りに以下の式で与えられる領域が対応枠１１
として設定される。尚、図４において、１２は前回の検
出点、１３は予測位置（今回の検出点の予測位置）を表
している。
【００２９】 ＸｗRｉ＝Ｘｐｎｉ＋Ｘｗ （７） ＸｗLｉ＝Ｘｐｎｉ−Ｘｗ （８） ＹｗFｉ＝Ｙｐｎｉ＋Ｙｗ （９） ＹｗNｉ＝Ｙｐｎｉ−Ｙｗ （１０）
【００３０】次に、前回の検出点ｉに対する対応枠１１
に含まれる今回の検出点ｊを検索する。対応枠１１に含
まれる今回の検出点が１つの場合には、前回の検出点ｉ
から今回の検出点ｊに移動したと判断される。対応枠１
１に含まれる検出点が複数存在する場合には、図５に示
されているように、距離が近くなれば強度が大きくなる
という事実を利用する。つまり、対応枠１１に含まれる
ものの中で、前回の相対速度Ｖｙｎ-1iが負である（検
出点が接近している）場合には、前回の強度Ｐｎ-1iよ
り今回の強度Ｐｎ-1jが大きいものが、Ｖｙｎ-1iが正で
ある（検出点が遠ざかっている）場合には、前回の強度
Ｐｎ-1iより今回の強度Ｐｎ-1jが小さいものが選択され
て、さらに前回の強度に最も値の近いものが対応する検
出点であると判断される。そして、対応するｉ、ｊの組
み合わせが記憶される。
【００３１】前回の検出点のうち、対応する今回の検出
点が見つけられた場合は、連続データとして、前回、今
回の座標データと強度が記憶され、見つけられなかった
場合は記憶されない。また、今回の検出点のうち対応す
る前回の検出点が見つけられなかった場合は、今回の座
標データと強度が新規データとして記憶される。
【００３２】ステップＳ２０５では、ステップＳ２０４
の対応付けで記憶した座標データから各検出点の相対速
度が次式により演算される。
【００３３】 Ｖｘｎｉ＝（Ｘｎｉ−Ｘｎ-1i）／ Ｔ （１１） Ｖｙｎｉ＝（Ｙｎｉ−Ｙｎ-1i）／ Ｔ （１２）
【００３４】ただし、新規データの場合は前回の座標デ
ータがないのでＶｘｎｉ、Ｖｙｎｉはともに０とする。
【００３５】ステップＳ２０６では、もっとも距離の小
さい、即ちｙ座標の近い検出点から順に注目され、注目
されている検出点を中心としたＸ、Ｙの領域内で、注目
されている検出点との相対速度の差がＶｘ、Ｖｙ内の検
出点がまとめられて車両候補とされる。さらに、まとめ
られた検出点の座標Ｘ、Ｙ及び相対速度ベクトルＶｘ、
Ｖｙの平均値が求められて、それぞれ車両候補の座標と
相対速度ベクトルとされる。
【００３６】以上に説明された、実施例１によれば、時
系列的に検出される座標が、座標データ情報だけでな
く、強度情報も利用して対応付けられるので、対応付け
の精度が向上し、もって車間距離制御の信頼性を向上す
ることができるという効果を奏する。
【００３７】実施例２．実施例２の構成は図１に示され
たブロック図と同じである。実施例２の距離データ処理
のフローチャートは図６に示される。図６において、図
２と同じステップ番号の付された処理は図２で説明され
たものと同じであるのでここでの説明は省略する。図６
に示された処理は、実施例１において、次のような追加
・変更が行なわれたものである。
【００３８】まず、ステップＳ２０２とステップＳ２０
３の間に、ステップＳ２０７としての強度順位の判定が
追加される。この判定を行うための強度順位判定手段
は、請求項２に係るもので、例えば、図１の距離データ
変換手段３Ａ内に含まれる。このステップＳ２０７で
は、今回検出された各検出点に対応する反射電磁波の強
度が比較されて、その大きさにより順位付けが行われ記
憶される。
【００３９】また、ステップＳ２０４Ａでの対応付けの
処理において、実施例１では予測座標と強度の情報を利
用していたが、この実施例ではステップＳ２０７で判定
された強度順位も利用する。つまり、強度順位の高いも
のから対応枠１１に含まれる今回の検出点を検索する。
また、同じ対応枠１１に２つ以上の検出点がある場合に
は、強度順位の高いものが優先されて対応付けられ、そ
のｉ、ｊの組み合わせが記憶される。その他の処理は実
施例１と同様である。
【００４０】以上、実施例２によれば、強度順位の高い
もの、例えばリフレクタ等から時系列的に得られた検出
点が対応づけられるので、強度順位の情報量だけ精度の
高い対応付けを行うことができ、例えば、リフレクタと
それ以外を間違って対応づけることなどがなくなり、も
って車間距離制御の信頼性をより高めることができると
いう効果を奏する。
【００４１】実施例３．実施例３の構成図は図１に示さ
れたブロック図と同じである。また、実施例３の距離デ
ータ処理のフローチャートは図７に示される。図７にお
いて、図２と同じステップ番号の付された処理は図２で
説明されたものと同じである。図７に示された処理は、
実施例１において、次のような追加・変更が行なわれた
ものである。
【００４２】まず、ステップＳ２０２とステップＳ２０
３の間に、ステップＳ２０８で示されるような、測距対
象（反射体）の判定処理が追加される。この判定処理を
行う反射体の判定手段は請求項３に係るもので、図１に
おいて、例えば距離データ変換手段３Ａに含まれる。こ
のステップＳ２０８では、図５で示されるリフレクタと
それ以外の物が、それぞれに関する反射電磁波の強度の
距離依存性において差異を有することから区別される。
具体的には、距離により式（１３）のように変化する所
定値より大きな強度の反射体はリフレクタ、そうでない
ものはリフレクタ以外の反射体と判定される。
【００４３】 Ｐｔｈ＝Ａ×Ｙ＋Ｂ （１３）
【００４４】ここで、Ｐｔｈは強度に対する所定値、Ｙ
は検出点のＹ座標、Ａ、Ｂは定数である。
【００４５】また、ステップＳ２０４Ｂは次のように変
更される。すなわち、前回の検出点ｉに対する対応枠１
１に含まれ、しかも判定された反射体の同じもの、例え
ば、前回判定された反射体がリフレクタであれば、今回
の測定でもやはりリフレクタであると判定されたものが
選択される。もし、選択されたものが複数あれば、予測
位置に近いものが選択され、そのｉ、ｊの組み合わせが
記憶される。その後の処理は実施例１と同様である。
【００４６】以上、実施例３によれば、距離と強度との
関係から反射体が判定され、その結果の同じものが対応
づけられるので、判定された情報だけ精度の高い対応付
けを行うことができ、例えば、リフレクタとそれ以外の
ものが間違って対応づけられること等がなくなり、もっ
て車間距離制御の信頼性がより高められるという効果を
奏する。
【００４７】実施例４．実施例４の構成図は図１に示さ
れたブロック図と同じである。また、実施例４の距離デ
ータ処理のフローチャートは図８に示される。図８にお
いて、図２と同じステップ番号の付された処理は図２で
説明されたものと同じである。図８に示された処理は、
実施例１において、次のような追加・変更が行なわれた
ものである。
【００４８】実施例１〜３では、ステップＳ２０３にお
いて、過去の座標と相対速度ベクトルから今回の座標が
予測されたが、実施例４は、さらに、実施例３で説明さ
れたステップＳ２０８による反射体の判定結果から、距
離に対する強度の変化が図５のどの曲線に近いかを判断
し、その曲線にしたがって前回と今回の測定距離の変化
から強度を予測するとともに座標を予測する様に変更さ
れる（ステップＳ２０９）。ここで、ステップＳ２０９
は請求項４の強度予測手段を構成している。
【００４９】また、ステップＳ２０４Ｃは次のように変
更される。すなわち、請求項４の対応手段では、前回の
検出点ｉに対する対応枠に含まれる今回の検出点ｊが検
索された後、その中で予測強度に最も近い強度を持つ検
出点が選択され、そのｉ、ｊの組み合わせが記憶され
る。その後の処理は実施例１と同様である。
【００５０】以上、実施例４によれば、反射体が判定さ
れ、さらにその判定結果より強度変化が予測されて検出
点が時系列的に対応づけられるので、例えば、リフレク
タとそれ以外の対象を間違うこともなく、対応付けの精
度が向上し、もって車間距離制御の信頼性をより高める
ことができるという効果を奏する。
【００５１】実施例５．実施例５の構成図は図１に示さ
れたブロック図と同じである。実施例１〜４では、各検
出点の座標、強度などで処理を行ったが、実施例５では
まず、距離の小さい検出点から注目され、次式が満足さ
れる様な近接した検出点がまとめられてグループ化さ
れ、各グループに属する検出点が記憶される。
【００５２】 ｜Ｘｉ−Ｘｊ｜≦ Ｘｇ （１４） ｜Ｙｉ−Ｙｊ｜≦ Ｙｇ （１５）
【００５３】ここで、Ｘｉ、Ｙｉは注目されている検出
点の座標、Ｘｊ、Ｙｊはそれ以外の検出点の座標であ
る。そして、そのまとめられた検出点を代表する座標、
強度を次の式により求める。
【００５４】 Ｘｇｉ＝（ＸL＋ＸR）／２ （１６） Ｙｇｉ＝ｍｉｎ（Ｙｉ） （１７） Ｐｇｉ＝ｍａｘ（Ｐｉ） （１８）
【００５５】ここで、Ｘｇｉ、Ｙｇｉはｉ番目のグルー
プの代表座標、Ｐｇｉはその代表強度であり、ＸL、ＸR
はそれぞれグループに属する検出点のうち最も左にある
検出点、最も右にある検出点のＸ座標である。また、ｍ
ｉｎ（Ｙｉ）、ｍａｘ（Ｐｉ）はそれぞれｉ番目のグル
ープに属する検出点データのうち最も近いＹ座標と最も
大きな強度である。こうして求められた代表座標、代表
強度が用いられて、上述されたステップＳ２０３以降の
処理が行われる。このグループ化手段は、請求項５に係
るもので、例えば、距離データ変換手段３Ａに含められ
る。
【００５６】以上、実施例５によれば、検出点をまとめ
てから処理をするので、扱うデータの数が少なくなり処
理が高速になるという効果を奏する。
【００５７】
【発明の効果】この発明は以上に述べたように距離デー
タを処理するので、次のような効果を奏する。
【００５８】この発明の請求項１に係る車両用距離デー
タ処理装置は、電磁波を複数の方向に放射し、反射体に
より反射された反射電磁波を受信してその強度と反射体
までの距離データを得る距離計測手段と、前記距離計測
手段により得られた距離データを、検出点の位置として
座標データに変換する距離データ変換手段と、前回検出
された各検出点の座標データとその相対速度ベクトルに
基づいて、今回検出される各検出点の座標データを予測
する予測手段と、前記予測手段により予測された予測座
標データと、前回検出された各検出点の強度と、今回検
出された各検出点の座標データと強度とに基づいて、前
回検出された各検出点と今回検出された各検出点とを時
系列的に対応づける対応付け手段と、前記対応付け手段
によりそれぞれ対応づけられた各検出点からそれらの相
対速度ベクトルを演算して求め、これら相対速度ベクト
ルを前記予測手段で用いるための相対速度演算手段と、
前記座標データ、相対速度ベクトルに基づいて今回の検
出点をまとめ上げて車両候補とし、得られた車両候補の
座標データ、速度ベクトルを求める車両候補データ演算
手段とを備え、座標データと、強度を利用して前回と今
回の座標データを対応づけるので、対応付けの精度が向
上し、もってこのデータ処理装置を用いれば、信頼性の
高い車間距離制御を行うことができるという効果を奏す
る。
【００５９】また、この発明の請求項２に係る車両用距
離データ処理装置は、請求項１の車両用距離データ処理
装置において、前記距離計測手段により得られた反射電
磁波の強度により各検出点に順位をつける強度順位判定
手段を備え、前記対応付け手段は、前回の各検出点に基
づく予測座標データ、前回の各検出点おける反射電磁波
の強度、及びそれらの強度順位と、今回の各検出点の座
標データ、今回の各検出点における反射電磁波の強度、
及びそれらの強度順位とに基づいて、前回の各検出点と
今回の各検出点とを時系列的に対応づけるため、強度順
位の高いもの（例えばリフレクタ）から対応付けを行う
ことができ、時系列的に異なる対象を対応付ける確率が
減少し、もってこのデータ処理装置を用いれば、信頼性
の高い車間距離制御を行うことができるという効果を奏
する。
【００６０】また、この発明の請求項３に係る車両用距
離データ処理装置は、請求項１の車両用距離データ処理
装置において、前記距離計測手段により得られた各検出
点までの距離データと強度に基づいて、これら各検出点
における反射体を判定する判定手段を備え、前記対応付
け手段は、前回の各検出点に基づく予測座標データ、前
記判定手段により前回判定された判定結果と、今回検出
された各検出点の座標データ、前記判定手段により今回
判定された判定結果とに基づいて、前回の各検出点と今
回の各検出点とを時系列的に対応づけるため、時系列的
に異なるものを対応付ける確率が減少し、対応付けの精
度が向上し、もって、このデータ処理装置を用いれば、
信頼性の高い車間距離制御を行うことができるという効
果を奏する。
【００６１】また、この発明の請求項４に係る車両用距
離データ処理装置は、請求項３の車両用距離データ処理
装置において、前回検出された各検出点における反射電
磁波の強度と各検出点の相対速度ベクトルに基づいて、
今回検出される各検出点の反射電磁波の強度を予測する
強度予測手段を備え、前記対応付け手段は、前回の各検
出点に基づく予測座標データ、及び前記強度予測手段に
より得られた予測強度と、今回検出された各検出点の座
標データ、及びその強度とから前回の各検出点と今回の
各検出点とを時系列的に対応付けるため、座標データを
予測するだけでなく、強度も予測できるので、時系列的
に異なるものを対応付ける確率が減少し、対応付けの精
度が向上し、もってこのデータ処理装置を用いれば、信
頼性の高い車間距離制御を行うことができるという効果
を奏する。
【００６２】更に、この発明の請求項５に係る車両用距
離データ処理装置は、請求項１から請求項４のいずれか
の車両用距離データ処理装置において、近接する座標デ
ータをまとめてグループとし、そのグループの代表座標
データ、代表強度を求めるグループ化手段を備え、これ
ら代表座標データ及び代表強度を前記各検出点の座標デ
ータ及び強度として用いるようにしたため、扱うデータ
の数が少なくなり処理が高速になるという効果を奏す
る。
【図面の簡単な説明】
【図１】この発明に係る車両用距離データ処理装置を示
すブロック図である。
【図２】実施例１の処理を示すフローチャートである。
【図３】走行距離計の測距領域を示す図である。
【図４】対応枠を示す図である。
【図５】距離と反射強度の関係を示す図である。
【図６】実施例２の処理を示すフローチャートである。
【図７】実施例３の処理を示すフローチャートである。
【図８】実施例４の処理を示すフローチャートである。
【図９】従来の装置を示すブロック図である。
【図１０】従来の装置の動作を示すフローチャートであ
る。
【符号の説明】
１ 距離計測手段 ２Ａ 距離データ・強度データ入力手段 ３Ａ 距離データ変換手段 ４Ａ 座標データ予測手段 ５Ａ 対応付け手段 ６Ａ 相対速度演算手段 ７Ａ 車両候補データ演算手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｇ０５Ｄ 1/02 Ｓ

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 電磁波を複数の方向に放射し、反射体に
    より反射された反射電磁波を受信してその強度と反射体
    までの距離データを得る距離計測手段と、 前記距離計測手段により得られた距離データを、検出点
    の位置として座標データに変換する距離データ変換手段
    と、 前回検出された各検出点の座標データとその相対速度ベ
    クトルに基づいて、今回検出される各検出点の座標デー
    タを予測する予測手段と、 前記予測手段により予測された予測座標データと、前回
    検出された各検出点の強度と、今回検出された各検出点
    の座標データと強度とに基づいて、前回検出された各検
    出点と今回検出された各検出点とを時系列的に対応づけ
    る対応付け手段と、 前記対応付け手段によりそれぞれ対応づけられた各検出
    点からそれらの相対速度ベクトルを演算して求め、これ
    ら相対速度ベクトルを前記予測手段で用いるための相対
    速度演算手段と、 前記座標データ、相対速度ベクトルに基づいて今回の検
    出点をまとめ上げて車両候補とし、得られた車両候補の
    座標データ、速度ベクトルを求める車両候補データ演算
    手段と、 を備えた車両用距離データ処理装置。
  2. 【請求項２】 請求項１の車両用距離データ処理装置に
    おいて、前記距離計測手段により得られた反射電磁波の
    強度により各検出点に順位をつける強度順位判定手段を
    備え、前記対応付け手段は、前回の各検出点に基づく予
    測座標データ、前回の各検出点おける反射電磁波の強
    度、及びそれらの強度順位と、今回の各検出点の座標デ
    ータ、今回の各検出点における反射電磁波の強度、及び
    それらの強度順位とに基づいて、前回の各検出点と今回
    の各検出点とを時系列的に対応づけることを特徴とする
    車両用距離データ処理装置。
  3. 【請求項３】 請求項１の車両用距離データ処理装置に
    おいて、前記距離計測手段により得られた各検出点まで
    の距離データと強度に基づいて、これら各検出点におけ
    る反射体を判定する判定手段を備え、前記対応付け手段
    は、前回の各検出点に基づく予測座標データ、前記判定
    手段により前回判定された判定結果と、今回検出された
    各検出点の座標データ、前記判定手段により今回判定さ
    れた判定結果とに基づいて、前回の各検出点と今回の各
    検出点とを時系列的に対応づけることを特徴とする車両
    用距離データ処理装置。
  4. 【請求項４】 請求項３の車両用距離データ処理装置に
    おいて、前回検出された各検出点における反射電磁波の
    強度と各検出点の相対速度ベクトルに基づいて、今回検
    出される各検出点の反射電磁波の強度を予測する強度予
    測手段を備え、前記対応付け手段は、前回の各検出点に
    基づく予測座標データ、及び前記強度予測手段により得
    られた予測強度と、今回検出された各検出点の座標デー
    タ、及びその強度とから前回の各検出点と今回の各検出
    点とを時系列的に対応づけることを特徴とする車両用距
    離データ処理装置。
  5. 【請求項５】 請求項１から請求項４のいずれかの車両
    用距離データ処理装置において、近接する座標データを
    まとめてグループとし、そのグループの代表座標デー
    タ、代表強度を求めるグループ化手段を備え、これら代
    表座標データ及び代表強度を前記各検出点の座標データ
    及び強度として用いることを特徴とする車両用距離デー
    タ処理装置。
JP01673494A 1994-02-10 1994-02-10 車両用距離データ処理装置 Expired - Fee Related JP3186401B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP01673494A JP3186401B2 (ja) 1994-02-10 1994-02-10 車両用距離データ処理装置
US08/385,882 US5600561A (en) 1994-02-10 1995-02-09 Vehicle distance data processor
DE19504314A DE19504314C2 (de) 1994-02-10 1995-02-09 Verfahren zur Bestimmung des Abstandes und der Geschwindigkeit zwischen einem vorausfahrenden und einem Folgefahrzeug
GB9502663A GB2286496B (en) 1994-02-10 1995-02-10 Vehicle distance data processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01673494A JP3186401B2 (ja) 1994-02-10 1994-02-10 車両用距離データ処理装置

Publications (2)

Publication Number Publication Date
JPH07225275A true JPH07225275A (ja) 1995-08-22
JP3186401B2 JP3186401B2 (ja) 2001-07-11

Family

ID=11924505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01673494A Expired - Fee Related JP3186401B2 (ja) 1994-02-10 1994-02-10 車両用距離データ処理装置

Country Status (4)

Country Link
US (1) US5600561A (ja)
JP (1) JP3186401B2 (ja)
DE (1) DE19504314C2 (ja)
GB (1) GB2286496B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283462A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2000249759A (ja) * 1999-03-02 2000-09-14 Mazda Motor Corp 車両の障害物検出装置
JP2004012186A (ja) * 2002-06-04 2004-01-15 Fujitsu Ten Ltd 車載レーダにおけるデータ保存方法
JP2004341698A (ja) * 2003-05-14 2004-12-02 Nissan Motor Co Ltd 後側方監視装置
JP2006118958A (ja) * 2004-10-21 2006-05-11 Alpine Electronics Inc 他車両検出機および他車両検出方法
JP2007333486A (ja) * 2006-06-13 2007-12-27 Denso Corp 車両用障害物検知装置
JP2008222164A (ja) * 2007-03-15 2008-09-25 Toyota Motor Corp 進路予測装置及び衝突予測装置
WO2010064283A1 (ja) * 2008-12-05 2010-06-10 トヨタ自動車株式会社 進行方向ベクトルの信頼度判定方法および信頼度判定装置
JP2011007563A (ja) * 2009-06-24 2011-01-13 Ihi Corp 移動体検出方法及び移動体検出装置
JP2011021930A (ja) * 2009-07-14 2011-02-03 Nissan Motor Co Ltd 波形観測装置及び方法
JP2011106829A (ja) * 2009-11-12 2011-06-02 Ihi Corp 移動体検出方法及びレーザ距離測定装置
JP2011196940A (ja) * 2010-03-23 2011-10-06 Mitsubishi Electric Corp 追尾装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
JPH08122060A (ja) * 1994-10-21 1996-05-17 Mitsubishi Electric Corp 車両周辺監視システム
JP3044524B2 (ja) * 1995-05-23 2000-05-22 本田技研工業株式会社 車両における対照物検知方法
US5852492A (en) * 1996-06-07 1998-12-22 Lockheed Martin Vought Systems Corp. Fused lasar range/intensity image display for a human interpretation of lasar data
US5852410A (en) * 1997-03-04 1998-12-22 Maxtec International Corporation Laser optical path degradation detecting device
US6252544B1 (en) 1998-01-27 2001-06-26 Steven M. Hoffberg Mobile communication device
US7268700B1 (en) 1998-01-27 2007-09-11 Hoffberg Steven M Mobile communication device
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
JP3645177B2 (ja) 2000-11-29 2005-05-11 三菱電機株式会社 車両周辺監視装置
DE10100413A1 (de) 2001-01-08 2002-07-11 Bosch Gmbh Robert Verfahren und Vorrichtung zur Schätzung von Bewegungsparametern von Zielen
JP2002352399A (ja) 2001-05-23 2002-12-06 Mitsubishi Electric Corp 車両周辺監視装置
DE10148289A1 (de) * 2001-09-29 2003-04-24 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zum Erfassen und Klassifizieren von Fahrzeugen in Bewegung
DE10243811A1 (de) * 2002-09-20 2004-04-01 Robert Bosch Gmbh Verfahren zur Abstands- und Geschwindigkeitsmessung an mehreren Objekten mittels FMCW-Radar
US6957579B1 (en) * 2002-12-23 2005-10-25 The United States Of America As Represented By The Secretary Of The Navy Cavity wall measurement apparatus and method
US9818136B1 (en) 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
US7327308B2 (en) * 2005-04-28 2008-02-05 Chung Shan Institute Of Science And Technology, Armaments Bureau, M.N.D. Programmable method and test device for generating target for FMCW radar
AU2006306523B2 (en) * 2005-10-21 2011-05-19 Deere & Company Systems and methods for switching between autonomous and manual operation of a vehicle
WO2008106999A1 (en) * 2007-03-08 2008-09-12 Trimble Ab Methods and instruments for estimating target motion
DK2189814T3 (da) 2008-11-21 2010-10-04 Sick Ag Optoelektronisk sensor og fremgangsmåde til måling af afstande i henhold til princippet for tiden for lysets bevægelse
DE112008004069B4 (de) * 2008-12-18 2014-09-04 Toyota Jidosha Kabushiki Kaisha Radarsystem
RU2524482C1 (ru) * 2013-07-02 2014-07-27 Валерий Владимирович Хуторцев Способ однопозиционной радиолокации подвижных объектов на дорожной сети
RU2533198C1 (ru) * 2013-08-14 2014-11-20 Открытое акционерное общество "Научно-исследовательский институт приборостроения имени В.В. Тихомирова" Способ управления величиной разрешающей способности радиолокационной станции
US10510256B2 (en) 2014-10-20 2019-12-17 Robert Brandriff Vehicle collision avoidance system and method
RU2666553C1 (ru) * 2017-12-15 2018-09-11 Валерий Владимирович Хуторцев Способ однопозиционной радиолокации подвижных источников радиосигнала на дорожной сети
RU2710837C1 (ru) * 2019-08-30 2020-01-14 Михаил Васильевич Захаров Способ повышения разрешающей способности радиолокационного сверхширокополосного зондирования
JP7462096B1 (ja) 2023-05-17 2024-04-04 日本信号株式会社 距離画像生成装置及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987440A (en) * 1975-07-16 1976-10-19 United Technologies Corporation Track while scan operation on scintillating point targets
JPS6120877A (ja) * 1984-07-09 1986-01-29 Nissan Motor Co Ltd 車両用光レ−ダ装置
JPS6123985A (ja) * 1984-07-13 1986-02-01 Nissan Motor Co Ltd 車間距離検出装置
JPS61259186A (ja) * 1985-05-14 1986-11-17 Nissan Motor Co Ltd 先行車位置検出装置
JPS61278775A (ja) * 1985-06-03 1986-12-09 Nissan Motor Co Ltd 先行車検出装置
US4926170A (en) * 1986-02-19 1990-05-15 Auto-Sense, Ltd. Object detection method and apparatus employing electro-optics
JPH036472A (ja) * 1989-06-05 1991-01-11 Hitachi Electron Eng Co Ltd Ｉｃデバイスの滑降装置
US5249157A (en) * 1990-08-22 1993-09-28 Kollmorgen Corporation Collision avoidance system
DE4244345C2 (de) * 1991-12-27 1997-06-19 Honda Motor Co Ltd Verfahren zur Schätzung der Relativgeschwindigkeit zwischen einem Fahrzeug und einem Hindernis
JP3016047B2 (ja) * 1991-12-27 2000-03-06 本田技研工業株式会社 車両における対照障害物の位置推定方法
US5453740A (en) * 1994-03-23 1995-09-26 Gallagher; Phillip M. Vehicle collision prevention system using the Doppler effect

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283462A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2000249759A (ja) * 1999-03-02 2000-09-14 Mazda Motor Corp 車両の障害物検出装置
JP2004012186A (ja) * 2002-06-04 2004-01-15 Fujitsu Ten Ltd 車載レーダにおけるデータ保存方法
JP2004341698A (ja) * 2003-05-14 2004-12-02 Nissan Motor Co Ltd 後側方監視装置
JP4541101B2 (ja) * 2004-10-21 2010-09-08 アルパイン株式会社 他車両検出機および他車両検出方法
JP2006118958A (ja) * 2004-10-21 2006-05-11 Alpine Electronics Inc 他車両検出機および他車両検出方法
JP2007333486A (ja) * 2006-06-13 2007-12-27 Denso Corp 車両用障害物検知装置
JP2008222164A (ja) * 2007-03-15 2008-09-25 Toyota Motor Corp 進路予測装置及び衝突予測装置
WO2010064283A1 (ja) * 2008-12-05 2010-06-10 トヨタ自動車株式会社 進行方向ベクトルの信頼度判定方法および信頼度判定装置
US8154437B2 (en) 2008-12-05 2012-04-10 Toyota Jidosha Kabushiki Kaisha Traveling direction vector reliability determination method and traveling direction vector reliability determination device
JP4919116B2 (ja) * 2008-12-05 2012-04-18 トヨタ自動車株式会社 進行方向ベクトルの信頼度判定方法および信頼度判定装置
DE112008004067B4 (de) * 2008-12-05 2013-05-29 Toyota Jidosha Kabushiki Kaisha Fahrtrichtungsvektorzuverlässigkeits-Bestimmungsverfahren und Fahrtrichtungsvektorzuverlässigkeits-Bestimmungsvorrichtung
JP2011007563A (ja) * 2009-06-24 2011-01-13 Ihi Corp 移動体検出方法及び移動体検出装置
JP2011021930A (ja) * 2009-07-14 2011-02-03 Nissan Motor Co Ltd 波形観測装置及び方法
JP2011106829A (ja) * 2009-11-12 2011-06-02 Ihi Corp 移動体検出方法及びレーザ距離測定装置
JP2011196940A (ja) * 2010-03-23 2011-10-06 Mitsubishi Electric Corp 追尾装置

Also Published As

Publication number Publication date
JP3186401B2 (ja) 2001-07-11
GB2286496A (en) 1995-08-16
US5600561A (en) 1997-02-04
DE19504314C2 (de) 1998-12-10
GB2286496B (en) 1997-11-12
DE19504314A1 (de) 1995-08-24
GB9502663D0 (en) 1995-03-29

Similar Documents

Publication Publication Date Title
JP3186401B2 (ja) 車両用距離データ処理装置
US10145951B2 (en) Object detection using radar and vision defined image detection zone
US9563808B2 (en) Target grouping techniques for object fusion
US8594919B2 (en) On-vehicle road configuration identifying device
JP6405778B2 (ja) 対象追跡方法及び対象追跡装置
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP2004037239A (ja) 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置
JP4510554B2 (ja) 立体物監視装置
JP2008158969A (ja) 移動体周囲危険度判定方法、装置、およびプログラム
CN111856507B (zh) 一种环境感测实现方法、智能移动设备和存储介质
JPH10283462A (ja) 車外監視装置
CN111942374A (zh) 一种障碍物地图生成方法、装置、车辆及存储介质
KR20190051601A (ko) 차량의 센서 데이터 연계 장치 및 방법
US20230037445A1 (en) Methods for recognizing human hand and hand gesture from human, and display apparatus
JP2014167702A (ja) 物体認識装置及び物体認識方法
JP4664141B2 (ja) 周辺他車通知装置
JP2007274037A (ja) 障害物認識方法及び障害物認識装置
JP2019168953A (ja) 状態推定装置及びプログラム
CN112036422B (zh) 一种基于多传感器信息融合的航迹管理方法、系统及计算机可读介质
JP5168134B2 (ja) 環境地図生成プログラム、環境地図生成方法及び移動ロボット
CN109263649B (zh) 车辆及其自动驾驶模式下的物体识别方法和物体识别系统
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
JP3065822B2 (ja) 移動物体検出装置
JP7232607B2 (ja) 追尾装置、追尾方法、および、追尾プログラム
JP2002318280A (ja) センサ設置誤差推定における目標の位置決定方法及び目標の移動経路決定方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080511

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090511

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees