JP4023228B2 - 車載用障害物検知装置 - Google Patents
車載用障害物検知装置 Download PDFInfo
- Publication number
- JP4023228B2 JP4023228B2 JP2002178060A JP2002178060A JP4023228B2 JP 4023228 B2 JP4023228 B2 JP 4023228B2 JP 2002178060 A JP2002178060 A JP 2002178060A JP 2002178060 A JP2002178060 A JP 2002178060A JP 4023228 B2 JP4023228 B2 JP 4023228B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- driver
- calculation means
- threshold value
- obstacle detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
- B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/12—Brake pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/16—Ratio selector position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Transportation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Regulating Braking Force (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の周囲に存在する障害物を検知する装置に関する。
【０００２】
【従来の技術】
車両周囲の障害物を検知する装置としては、車両外部の光景を撮像するカメラの画像（検査対象パターン）と、障害物の画像として予め準備した標準パターンとを比較することにより、障害物を認識するパターンマッチング方法を用いたものがある。このようなパターンマッチング方法の従来例としては、特開平８−２３５３５９号公報に記載のものがある。
【０００３】
【発明が解決しようとする課題】
上記のごとき従来例においては、パターンマッチングを行った結果の類似度から障害物か否かを判断する際の基準値（閾値）に、判断結果を適確に反映させることが出来なかったので、車両の周囲環境に応じた適切な判断を行うことが難しく、障害物認識の精度を向上させることが困難である、という問題があった。
【０００４】
本発明は、上記のごとき問題を解決するためになされたものであり、障害物認識の精度を向上させた車載用障害物検知装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため本発明においては、特許請求の範囲に記載するように構成している。すなわち、請求項１においては、車両周囲に存在する物体を知覚する障害物センサと、運転者の操作状態を検出するセンサと、前記障害物センサの情報と予め記憶してある検出対象との類似度を所定の閾値と比較し、類似度が閾値以上の場合に障害物が存在すると判断する障害物検知演算手段と、前記判断結果に応じて警報および車両の減速、制動の制御を行う手段と、前記障害物検知演算手段が障害物が存在すると判断した際の運転者の操作を検出し、障害物が存在すると判断された際に運転者が行った操作をデータベースとして記憶する運転者挙動記憶手段と、前記運転者の操作状態を検出するセンサからの信号に基づいて運転者が実際に行った操作を検出し、前記障害物検知演算手段が障害物が存在すると判断した場合に運転者が行うと予測される操作を前記データベースから読み出し、前記運転者が行うと予測される操作と、前記障害物検知演算手段が障害物が存在すると判断した場合の運転者が実際に行った操作とを比較することによって前記障害物検知演算手段が障害物が存在するとした判断が正しいか誤りかを判断し、かつ、前記障害物検知演算手段が障害物が存在しないと判断した場合に、前記障害物が存在すると判断された際に運転者が行うと予測される操作が行われた場合には、障害物が存在するのに検出できなかった非検出ミスと判断する判断手段と、前記障害物検知演算手段における前記閾値の値を、前記判断手段の判断結果に応じて、障害物が存在するとの判断が正しかった場合は前記閾値を小さくし、障害物が無いのに障害物が存在すると誤判断した場合は前記閾値を大きくし、前記非検出ミスの場合は前記閾値を小さくする閾値算定手段と、を備え、前記障害物検知演算手段における閾値の値を、前記閾値算定手段の算定結果に応じて変更するように構成している。
【０００６】
【発明の効果】
本発明においては、運転者の操作に応じて障害物検知演算手段の検出結果の正否を判断し、その結果に応じてセンサ情報と検出対象との類似性比較の際に障害物の存在を判断する閾値の値を算定するように構成しているので、障害物の検出結果をリアルタイムで効率よく学習することが出来、非検出・誤検出の発現率が低下するので、障害物認識の精度を向上させることが出来るという効果が得られる。
【０００７】
【発明の実施の形態】
図１は、本発明の一実施例の構成を示すブロック図である。
図１において、障害物センサ１は、例えば車載の電子式カメラ（以下、単にカメラと記す）であり、車両周囲の光景を撮像する。なお、障害物センサとしては、カメラの他にレーザレーダや超音波レーダのような装置を用いることも出来る。障害物検知演算手段２は、例えばコンピュータとその周辺機器から構成され、障害物センサ１からの情報に基づいて障害物を検出（詳細後述）し、その結果に応じてブレーキ装置３や警報装置４を制御して、車両の減速、制動や運転者への警報を行う。なお、警報装置４は例えばランプ、ブザー、チャイム、音声による警告装置などを用いることが出来る。
【０００８】
アクセルセンサ５、ブレーキセンサ６、操舵角センサ７、ギヤ位置センサ８、ライトスイッチ９およびワイパースイッチ１０は、それぞれ運転者の操作状態を検出するセンサであり、それぞれの検出信号、つまりアクセル開度信号１６、ブレーキ操作信号１７、操舵角信号１８、ギヤ位置信号１９、ライト信号２０およびワイパー信号２１は、運転者挙動記憶手段１１と判断手段１２へ送られる。
【０００９】
運転者挙動記憶手段１１は、障害物検知演算手段２から障害物検知信号１４が送られた際における上記の各操作信号に応じて、障害物が検知された際における運転者の通常の挙動（各操作状態）を記憶する（詳細後述）。
判断手段１２は、障害物検知演算手段２から障害物検知信号１４が送られた際に、運転者挙動記憶手段１１の記憶データに基づいて運転者の挙動を予測し、上記の各操作信号から得られる実際の挙動と上記の予測とを比較することにより、予測と実際の挙動の差異についての判断結果を閾値算定手段１３へ送る（詳細後述）。
閾値算定手段１３は、上記の予測と実際の挙動とが大きく異なる場合には、障害物検知演算手段２における障害物検知の閾値（障害物と認定する際の基準となる閾値）を変更し、それを閾値信号１５として障害物検知演算手段２へ送る（詳細後述）。上記運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３はコンピュータと周辺機器から構成することが出来る。
【００１０】
以下、上記の障害物検知演算手段２、運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３について、それぞれ詳細に説明する。
図２は、障害物検知演算手段２の一実施例を示すブロック図であり、ここではパターンマッチングによって障害物を検知する場合を例示する。
パターンマッチング手段２２は、カメラ（障害物センサ１）から入力した検査対象画像（例えば２値化画像）と、予め記憶している障害物（例えば他の車両に対応する図形）の標準パターンとを比較し、パターン類似度（相互相関値）を検出する。そして比較器２３では、上記のパターン類似度を所定の閾値（検出閾値）と比較することにより、入力した検査対象画像が障害物か否かを判別する。なお、この構成は画像処理による一般的な障害物検知の手法である。本発明の要点は、上記の検出閾値を設定する手段に関するものであり、上記のパターンマッチング方法に限らず、検出結果と或る閾値とを比較することによって障害物であるか否かを判別する装置であれば適用可能である。
【００１１】
図３は、本発明の主要部である運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３の部分を示すブロック図である。図３においては、図１の運転者挙動記憶手段１１が後記のフロー１に、判断手段１２がフロー２に、閾値算定手段１３がフロー３に、それぞれ対応していることを示している。
各フローの概略を説明すると、フロー１では、障害物が検知された際、運転者は通常、どのような挙動（操作）を行ったかを記憶し、データベース化する。
フロー２では、過去のデータベースによって運転者の挙動を予測し、それと実際の挙動とを比較する。例えば、過去のデータベースによる予測では、ブレーキを操作しているのに、今回の障害物検知時（警報時）にブレーキを操作しなければ、それは障害物検知演算手段２が「誤検出（障害物ではないものを障害物と誤判断）」したものと判断する。或いは、運転者が障害物回避の操作を行っているのに、障害物検知演算手段２が障害物を検知していなければ、非検出（障害物が存在するのに検出できなかったミス）と判断する。
フロー３では、フロー２における判断結果に応じて、検出の閾値（図２の検出閾値）を変更する。
【００１２】
以下、上記のフロー１、２、３について、それぞれ詳細に説明する。
図４〜図７は、フロー１（運転者挙動記憶手段１１）の詳細を示すフローチャートである。
まず、図４は、図１のアクセルセンサ５からのアクセル開度信号１６による挙動の記憶を示す図であり、障害物が検知された場合の平均アクセル戻し操作位置を記憶する場合を示す。平均アクセル戻し操作位置とは、障害物を検出した際にアクセルを戻す操作（アクセルＯＦＦ）を行った場合の自車両から検出物体までの距離の平均値である。或いは、その距離を操作開始時の車速で除した値（時間）で表わすこともある。上記の時間をＴＴＣ（Time to collision）と呼ぶ。なお、自車両から検出物体までの距離は、障害物センサ１の情報から検出することが出来る。
【００１３】
図４において、ステップＳ１１では、アクセルがＯＦＦ（スロットル閉）か否かを判断し、ＯＦＦの場合（ＹＥＳ）は、ステップＳ１２で「障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ１３で、平均アクセル戻し操作位置を「（障害物までの距離＋旧平均アクセル戻し操作位置）／２」として更新する。なお、旧平均アクセル戻し操作位置は、前回までの記憶値である。
【００１４】
次に、図５は、図１のブレーキセンサ６からのブレーキ操作信号１７による挙動の記憶を示す図であり、障害物が検知された場合の平均ブレーキ操作位置を記憶する場合を示す。平均ブレーキ操作位置とは、障害物を検出した際にブレーキ操作を行った場合の自車両から検出物体までの距離の平均値である。この場合もＴＴＣで表わしてもよい。
図５において、ステップＳ１４では、ブレーキがＯＮ（ブレーキが掛けられた状態）か否かを判断し、ＯＮの場合（ＹＥＳ）は、ステップＳ１５で「障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ１６で、平均ブレーキ操作位置を「（障害物までの距離＋旧平均ブレーキ操作位置）／２」として更新する。なお、旧平均ブレーキ操作位置は、前回までの記憶値である。
【００１５】
次に、図６は、図１の操舵角センサ７からの操舵角信号１８による挙動の記憶を示す図であり、障害物が検知された場合に大きく操舵し始めた位置を記憶する場合を示す。平均操舵開始位置とは、障害物を検出して大きく操舵し始めた際の自車両から検出物体までの距離の平均値である。この場合もＴＴＣで表わしてもよい。
図６において、ステップＳ１７では、操舵量が所定値以上（通常の直進走行時の操作量よりも大きい）か否かを判断し、ＹＥＳの場合は、ステップＳ１８で「操舵前の方向に障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ１９で、平均操舵開始位置を「（障害物までの距離＋旧平均操舵開始位置）／２」として更新する。なお、旧平均操舵開始位置は、前回までの記憶値である。
【００１６】
次に、図７は、図１のギヤ位置センサ８からのギヤ位置信号１９による挙動の記憶を示す図であり、障害物が検知された場合にダウンシフトのためにギヤ位置を操作した位置を記憶する場合を示す。平均ギヤ操作開始位置とは、障害物を検出してギヤをシフトダウンした際の自車両から検出物体までの距離の平均値である。この場合もＴＴＣで表わしてもよい。
図７において、ステップＳ２０では、ギヤ位置信号１９がＯＮ（ギヤ位置を変更）か否かを判断し、ＹＥＳの場合は、ステップＳ２１で「障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ２２で、平均ギヤ操作開始位置を「（障害物までの距離＋旧平均ギヤ操作開始位置）／２」として更新する。なお、旧平均ギヤ操作開始位置は、前回までの記憶値である。
【００１７】
次に、図８〜図１１は、フロー２（判断手段１２）の詳細を示すフローチャートである。このフローでは、予測値と実挙動を比較し、障害物を検出して警報や制御を行った際における運転者の挙動に対する影響を観察する。
まず、図８では、ステップＳ２３で、障害物の検出信号がＯＮか否かを判断し、ＹＥＳの場合（障害物あり）は、ステップＳ２４で、障害物が検出された場合の運転者の操作を予測する。例えば、障害物が検出された場合は、前記図４〜図７に示したように、当該運転者の平均的な操作距離において、アクセルＯＦＦ、ブレーキ操作、ハンドル操作、ギヤ操作等の操作が行われることが予測される。
ステップＳ２５では、図１のアクセル開度信号１６に基づいて、アクセル操作が行われたか否かを判断する。ＹＥＳ（操作あり）の場合は、運転者が障害物を発見してアクセルを戻す操作を行った、つまり図１の障害物検知演算手段２における障害物検知判断が正しかったことを意味するので、（Ｂ）へ行き、ＮＯ（操作なし）の場合は、ステップＳ２６へ行く。
【００１８】
ステップＳ２６では、同様に、ブレーキ操作の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ）へ、ＮＯ（操作なし）の場合は、図９のステップＳ２７へ行く。
ステップＳ２７では、同様に、ハンドル操作の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ）へ、ＮＯ（操作なし）の場合は、ステップＳ２８へ行く。
ステップＳ２８では、同様に、ギヤ操作の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ）へ、ＮＯ（操作なし）の場合は、（Ｃ）つまり図１２のステップＳ３７へ行く。
ステップＳ２５〜ステップＳ２８で（Ｂ）の場合、つまり障害物検知演算手段２における障害物の検知判断が正しかった場合は、図１０のステップＳ２９へ行く。
【００１９】
ステップＳ２９では、ヘッドライト操作（ヘッドライトを点灯したり、点灯中にアップもしくはダウンする操作）の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ’）へ、ＮＯ（操作なし）の場合は、ステップＳ３０へ行く。
ステップＳ３０では、ワイパー操作（ワイパーを作動させたり、作動中に高速や低速に切り替える操作）の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ’）へ、ＮＯ（操作なし）の場合は、（Ｂ”）へ行く。
ステップＳ２９とステップＳ３０は、これまでの操作とは、やや異なっており、必ずしも必須の操作ではないが、警報に応じて運転者が意図的に前方の物体の確認を行ったことを意味する。このように警報に応じて各操作を行い、かつ、ヘッドライトやワイパーを操作して運転者が意図的に前方の物体の確認を行った場合は、障害物検知演算手段２における障害物検知判断の確度が高い（確実な判断）と考えられるので、後述するように閾値を低下させる方に変化させる。
【００２０】
次に、図１１は、フロー２（判断手段１２）において、障害物検知演算手段２の非検出を検出するフローを示す。このフローは、図８において、ステップＳ２３で「ＮＯ」の場合、つまり、障害物検知演算手段２が障害物を検知しなかった場合を示す。
図１１において、ステップＳ２３でＮＯの場合は、ステップＳ３１で、アクセル操作とブレーキ操作が共に行われ、車両が停止したような状態（図示しない停車センサで検出：停車センサは車輪回転の有無を判別）を判断し、ＹＥＳの場合は（Ｂ’）へ行く。
ステップＳ３２では、急激なブレーキ操作が行われたこと、例えば車両の減速度が所定値以上（図示しない減速度センサで検出）の場合には（Ｂ’）へ行く。ステップＳ３３では、急激なハンドル操作があったこと、例えば操舵角の変化速度が所定値以上の場合には（Ｂ’）へ行く。
上記のように、アクセル操作とブレーキ操作が共に行われて車両が停止した場合、急激なブレーキ操作が行われた場合、或いは急激なハンドル操作があった場合は、運転者が障害物を検知して回避操作を行ったものと考えられるので、このような状態のときに障害物検知演算手段２が障害物を検知しなかったのであるから、これは障害物検知演算手段２の非検出と判断する。
【００２１】
次に、図１２および図１３は、フロー３（閾値算定手段１３）の詳細を示すフローチャートである。このフローでは、フロー２の結果に応じて新たな閾値を算定する。
図１２において、ステップＳ３５では、前記（Ｂ’）であった場合の処理を示す。前記図１０で（Ｂ’）であった場合は障害物検知判断の確度が高い（確実な判断）と考えられるので、新しい閾値Ｄの値を「Ｄ−２δ」に小さくし、検出の感度を上昇させる。閾値Ｄの値を小さくすると、図１の障害物検知演算手段２において、検出画像パターンと標準パターンとの類似度が小さくても、障害物と判断する可能性が大きくなる。また、前記図１１で（Ｂ’）であった場合は、「障害物あり」と判断すべき状態で障害物を検知出来なかった非検出の場合なので、この場合にも新しい閾値Ｄの値を「Ｄ−２δ」に小さくし、類似度が低くても障害物と認識するように設定する。
ステップＳ３６では、前記（Ｂ”）であった場合は障害物検知判断の確度が高いが（Ｂ’）よりは低いと考えられるので、新しい閾値Ｄの値を「Ｄ−δ」にやや低下させる。
【００２２】
ステップＳ３７では、前記（Ｃ）であった場合は障害物検出と判断して警報したのに運転者が何も操作を行わなかった場合であり、図１の障害物検知演算手段２の誤検出と考えられるので、新しい閾値Ｄの値を「Ｄ＋δ」に大きくし、検出の感度を低下させる。このように閾値Ｄの値を大きくすると、図１の障害物検知演算手段２において、検出画像パターンと標準パターンとの類似度が大きくても、障害物と判断する可能性が小さくなる。
【００２３】
次に、ステップＳ３８〜４１は、閾値Ｄの変化範囲に制限を設けたものであり、上限値ＤＢ、下限値ＤＳを設け、両者の間に制限している。
まず、ステップＳ３８では、新しい閾値Ｄが下限値ＤＳより小か否かを判断し、小の場合はステップＳ３９で「新しい閾値Ｄ＝ＤＳ」とする。また、ステップＳ４０では新しい閾値Ｄが上限値ＤＢより大か否かを判断し、大の場合はステップＳ４１で「新しい閾値Ｄ＝ＤＢ」とする。このように閾値Ｄを上限値と下限値の間に制限することにより、閾値Ｄが過大または過少になるのを防止することが出来る。
【００２４】
次に、図１３は、閾値の変化が不安定な場合に、閾値の算定を停止するフローである。
まず、ステップＳ４２では、閾値Ｄの時間的な変化を観察して標準偏差を求める。ステップＳ４３では、上記の求めた標準偏差が所定値より大か否かを判断し、ＹＥＳ（大）の場合はステップＳ４４で閾値Ｄの変化を所定時間停止させる。このような処理により、閾値Ｄの変化によって障害物検知判断が不安定になるのを防止することが出来る。
【００２５】
上記のように、本実施例においては、以下に示すような判断を行って閾値を算定している。
▲１▼障害物検知演算手段が物体の存在する可能性を検知したにもかかわらず、運転者が減速操作（アクセルＯＦＦ）、ブレーキ操作、操舵回避操作、シフトダウン操作（ギヤシフト）の何れの操作も行わない場合は、障害物検知演算手段の誤検出と判断する。つまり検出感度が大きすぎて障害物でないものを障害物と誤検出したのであるから、閾値Ｄをδだけ大きくする。これにより、検出感度が低下し、類似度が大きくても障害物と判断しない可能性が大きくなる。これは図９、図１３のフローにおける（Ｃ）の経路に相当する。
【００２６】
▲２▼障害物検知演算手段が物体の存在する可能性を検知した際に、運転者が減速操作（アクセルＯＦＦ）、ブレーキ操作、操舵回避操作、シフトダウン操作（ギヤシフト）の少なくとも一つの操作を行った場合は、障害物検知演算手段の判断が正しいとし、閾値Ｄをδだけ小さくする。これにより、検出感度が上昇し、類似度が小さくも障害物と判断する可能性が大きくなる。これは図１０、図１３のフローにおける（Ｂ”）の経路に相当する。
【００２７】
▲３▼障害物検知演算手段が物体の存在する可能性を検知した際に、運転者が減速操作（アクセルＯＦＦ）、ブレーキ操作、操舵回避操作、シフトダウン操作（ギヤシフト）の少なくとも一つの操作を行い、かつ、ヘッドライト操作、ワイパー操作の少なくとも一つを行った場合は、障害物検知演算手段の判断の確度が大きいとし、閾値Ｄを２δだけ小さくする。これにより検出感度が大きく上昇し、類似度が小さくも障害物と判断する可能性がさらに大きくなる。これは図１０、図１３のフローにおける（Ｂ’）の経路に相当する。
【００２８】
▲４▼障害物検知演算手段が物体の存在する可能性を検知していないのに、運転者が減速して停止した場合、運転者が操舵回避操作をした場合、或いはアクセルや操舵操作の変化が急激である場合は、障害物検知演算手段の非検出と判断し、閾値Ｄを２δだけ小さくする。これにより検出感度が大きく上昇し、類似度が小さくも障害物と判断する可能性がさらに大きくなる。これは図１１、図１３のフローにおける（Ｂ’）の経路に相当する。
【００２９】
また、これまで説明したフローには記載されていないが、次のごとき判断を行うことも出来る。
▲５▼障害物検知演算手段が物体の存在する可能性を検知したにもかかわらず、運転者が可能性のある物体に向かって加速したり、操舵した場合は、障害物検知演算手段の誤検出と判断する。
▲６▼障害物検知演算手段が物体の存在する可能性を検知したにもかかわらず、運転者の操作に有意な差が現れない場合は、障害物検知演算手段の誤検出と判断する。
【００３０】
▲７▼物体が存在する可能性のある位置に停止する減速量に対して、急激に減速量が変化した場合は、新たな障害物が発生したものと判断し、このとき障害物検知演算手段が障害物と感知できなければ、障害物検知演算手段の非検出と判断する。
【００３１】
上記▲５▼の判断は、前記図８のステップＳ２３で検出信号がＯＮ（物体を検出した）の場合に、アクセル操作が加速側（スロットル開）に行われたことを検出するか、或いは物体の方向を判断し、操舵角がその方向に向けられたことを検出することによって実現することが出来る。この場合には、上記▲１▼と同様に、閾値Ｄをδだけ大きくする。これにより、検出感度が低下し、類似度が大きくても障害物と判断しない可能性が大きくなる。
上記▲６▼の判断は、前記図８のステップＳ２５〜２８における判断の閾値を、所定の有意差に相当する値に設定することによって行うことが出来る。
上記▲７▼の判断は、例えば減速センサを備え、本発明の装置で障害物が検出された際の通常の減速量よりも所定値以上大きな減速量で減速した場合に、新たな障害物が発生したものと判断し、このときの障害物検知演算手段２の障害物検知信号１４によって判断することが出来る。この場合も障害物が存在するのに検出感度が低くすぎて障害物を検出できなかったのであるから、上記▲４▼と同様に閾値Ｄを小さくする。
【図面の簡単な説明】
【図１】本発明の一実施例の構成を示すブロック図。
【図２】障害物検知演算手段２の一実施例を示すブロック図。
【図３】運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３の部分を示すブロック図。
【図４】フロー１（運転者挙動記憶手段１１）の内容を示すフローチャートの一部。
【図５】フロー１の内容を示すフローチャートの他の一部。
【図６】フロー１の内容を示すフローチャートの他の一部。
【図７】フロー１の内容を示すフローチャートの他の一部。
【図８】フロー２（判断手段１２）の内容を示すフローチャートの一部。
【図９】フロー２の内容を示すフローチャートの他の一部。
【図１０】フロー２の内容を示すフローチャートの他の一部。
【図１１】フロー２の内容を示すフローチャートの他の一部。
【図１２】フロー３（閾値算定手段１３）の内容を示すフローチャートの一部。
【図１３】フロー３の内容を示すフローチャートの他の一部。
【符号の説明】
１…障害物センサ ２…障害物検知演算手段
３…ブレーキ装置 ４…警報装置
５…アクセルセンサ ６…ブレーキセンサ
７…操舵角センサ ８…ギヤ位置センサ
９…ライトスイッチ １０…ワイパースイッチ
１１…運転者挙動記憶手段 １２…判断手段
１３…閾値算定手段 １４…障害物検知信号
１５…閾値信号 １６…アクセル開度信号
１７…ブレーキ操作信号 １８…操舵角信号
１９…ギヤ位置信号 ２０…ライト信号
２１…ワイパー信号
【発明の属する技術分野】
本発明は、車両の周囲に存在する障害物を検知する装置に関する。
【０００２】
【従来の技術】
車両周囲の障害物を検知する装置としては、車両外部の光景を撮像するカメラの画像（検査対象パターン）と、障害物の画像として予め準備した標準パターンとを比較することにより、障害物を認識するパターンマッチング方法を用いたものがある。このようなパターンマッチング方法の従来例としては、特開平８−２３５３５９号公報に記載のものがある。
【０００３】
【発明が解決しようとする課題】
上記のごとき従来例においては、パターンマッチングを行った結果の類似度から障害物か否かを判断する際の基準値（閾値）に、判断結果を適確に反映させることが出来なかったので、車両の周囲環境に応じた適切な判断を行うことが難しく、障害物認識の精度を向上させることが困難である、という問題があった。
【０００４】
本発明は、上記のごとき問題を解決するためになされたものであり、障害物認識の精度を向上させた車載用障害物検知装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため本発明においては、特許請求の範囲に記載するように構成している。すなわち、請求項１においては、車両周囲に存在する物体を知覚する障害物センサと、運転者の操作状態を検出するセンサと、前記障害物センサの情報と予め記憶してある検出対象との類似度を所定の閾値と比較し、類似度が閾値以上の場合に障害物が存在すると判断する障害物検知演算手段と、前記判断結果に応じて警報および車両の減速、制動の制御を行う手段と、前記障害物検知演算手段が障害物が存在すると判断した際の運転者の操作を検出し、障害物が存在すると判断された際に運転者が行った操作をデータベースとして記憶する運転者挙動記憶手段と、前記運転者の操作状態を検出するセンサからの信号に基づいて運転者が実際に行った操作を検出し、前記障害物検知演算手段が障害物が存在すると判断した場合に運転者が行うと予測される操作を前記データベースから読み出し、前記運転者が行うと予測される操作と、前記障害物検知演算手段が障害物が存在すると判断した場合の運転者が実際に行った操作とを比較することによって前記障害物検知演算手段が障害物が存在するとした判断が正しいか誤りかを判断し、かつ、前記障害物検知演算手段が障害物が存在しないと判断した場合に、前記障害物が存在すると判断された際に運転者が行うと予測される操作が行われた場合には、障害物が存在するのに検出できなかった非検出ミスと判断する判断手段と、前記障害物検知演算手段における前記閾値の値を、前記判断手段の判断結果に応じて、障害物が存在するとの判断が正しかった場合は前記閾値を小さくし、障害物が無いのに障害物が存在すると誤判断した場合は前記閾値を大きくし、前記非検出ミスの場合は前記閾値を小さくする閾値算定手段と、を備え、前記障害物検知演算手段における閾値の値を、前記閾値算定手段の算定結果に応じて変更するように構成している。
【０００６】
【発明の効果】
本発明においては、運転者の操作に応じて障害物検知演算手段の検出結果の正否を判断し、その結果に応じてセンサ情報と検出対象との類似性比較の際に障害物の存在を判断する閾値の値を算定するように構成しているので、障害物の検出結果をリアルタイムで効率よく学習することが出来、非検出・誤検出の発現率が低下するので、障害物認識の精度を向上させることが出来るという効果が得られる。
【０００７】
【発明の実施の形態】
図１は、本発明の一実施例の構成を示すブロック図である。
図１において、障害物センサ１は、例えば車載の電子式カメラ（以下、単にカメラと記す）であり、車両周囲の光景を撮像する。なお、障害物センサとしては、カメラの他にレーザレーダや超音波レーダのような装置を用いることも出来る。障害物検知演算手段２は、例えばコンピュータとその周辺機器から構成され、障害物センサ１からの情報に基づいて障害物を検出（詳細後述）し、その結果に応じてブレーキ装置３や警報装置４を制御して、車両の減速、制動や運転者への警報を行う。なお、警報装置４は例えばランプ、ブザー、チャイム、音声による警告装置などを用いることが出来る。
【０００８】
アクセルセンサ５、ブレーキセンサ６、操舵角センサ７、ギヤ位置センサ８、ライトスイッチ９およびワイパースイッチ１０は、それぞれ運転者の操作状態を検出するセンサであり、それぞれの検出信号、つまりアクセル開度信号１６、ブレーキ操作信号１７、操舵角信号１８、ギヤ位置信号１９、ライト信号２０およびワイパー信号２１は、運転者挙動記憶手段１１と判断手段１２へ送られる。
【０００９】
運転者挙動記憶手段１１は、障害物検知演算手段２から障害物検知信号１４が送られた際における上記の各操作信号に応じて、障害物が検知された際における運転者の通常の挙動（各操作状態）を記憶する（詳細後述）。
判断手段１２は、障害物検知演算手段２から障害物検知信号１４が送られた際に、運転者挙動記憶手段１１の記憶データに基づいて運転者の挙動を予測し、上記の各操作信号から得られる実際の挙動と上記の予測とを比較することにより、予測と実際の挙動の差異についての判断結果を閾値算定手段１３へ送る（詳細後述）。
閾値算定手段１３は、上記の予測と実際の挙動とが大きく異なる場合には、障害物検知演算手段２における障害物検知の閾値（障害物と認定する際の基準となる閾値）を変更し、それを閾値信号１５として障害物検知演算手段２へ送る（詳細後述）。上記運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３はコンピュータと周辺機器から構成することが出来る。
【００１０】
以下、上記の障害物検知演算手段２、運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３について、それぞれ詳細に説明する。
図２は、障害物検知演算手段２の一実施例を示すブロック図であり、ここではパターンマッチングによって障害物を検知する場合を例示する。
パターンマッチング手段２２は、カメラ（障害物センサ１）から入力した検査対象画像（例えば２値化画像）と、予め記憶している障害物（例えば他の車両に対応する図形）の標準パターンとを比較し、パターン類似度（相互相関値）を検出する。そして比較器２３では、上記のパターン類似度を所定の閾値（検出閾値）と比較することにより、入力した検査対象画像が障害物か否かを判別する。なお、この構成は画像処理による一般的な障害物検知の手法である。本発明の要点は、上記の検出閾値を設定する手段に関するものであり、上記のパターンマッチング方法に限らず、検出結果と或る閾値とを比較することによって障害物であるか否かを判別する装置であれば適用可能である。
【００１１】
図３は、本発明の主要部である運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３の部分を示すブロック図である。図３においては、図１の運転者挙動記憶手段１１が後記のフロー１に、判断手段１２がフロー２に、閾値算定手段１３がフロー３に、それぞれ対応していることを示している。
各フローの概略を説明すると、フロー１では、障害物が検知された際、運転者は通常、どのような挙動（操作）を行ったかを記憶し、データベース化する。
フロー２では、過去のデータベースによって運転者の挙動を予測し、それと実際の挙動とを比較する。例えば、過去のデータベースによる予測では、ブレーキを操作しているのに、今回の障害物検知時（警報時）にブレーキを操作しなければ、それは障害物検知演算手段２が「誤検出（障害物ではないものを障害物と誤判断）」したものと判断する。或いは、運転者が障害物回避の操作を行っているのに、障害物検知演算手段２が障害物を検知していなければ、非検出（障害物が存在するのに検出できなかったミス）と判断する。
フロー３では、フロー２における判断結果に応じて、検出の閾値（図２の検出閾値）を変更する。
【００１２】
以下、上記のフロー１、２、３について、それぞれ詳細に説明する。
図４〜図７は、フロー１（運転者挙動記憶手段１１）の詳細を示すフローチャートである。
まず、図４は、図１のアクセルセンサ５からのアクセル開度信号１６による挙動の記憶を示す図であり、障害物が検知された場合の平均アクセル戻し操作位置を記憶する場合を示す。平均アクセル戻し操作位置とは、障害物を検出した際にアクセルを戻す操作（アクセルＯＦＦ）を行った場合の自車両から検出物体までの距離の平均値である。或いは、その距離を操作開始時の車速で除した値（時間）で表わすこともある。上記の時間をＴＴＣ（Time to collision）と呼ぶ。なお、自車両から検出物体までの距離は、障害物センサ１の情報から検出することが出来る。
【００１３】
図４において、ステップＳ１１では、アクセルがＯＦＦ（スロットル閉）か否かを判断し、ＯＦＦの場合（ＹＥＳ）は、ステップＳ１２で「障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ１３で、平均アクセル戻し操作位置を「（障害物までの距離＋旧平均アクセル戻し操作位置）／２」として更新する。なお、旧平均アクセル戻し操作位置は、前回までの記憶値である。
【００１４】
次に、図５は、図１のブレーキセンサ６からのブレーキ操作信号１７による挙動の記憶を示す図であり、障害物が検知された場合の平均ブレーキ操作位置を記憶する場合を示す。平均ブレーキ操作位置とは、障害物を検出した際にブレーキ操作を行った場合の自車両から検出物体までの距離の平均値である。この場合もＴＴＣで表わしてもよい。
図５において、ステップＳ１４では、ブレーキがＯＮ（ブレーキが掛けられた状態）か否かを判断し、ＯＮの場合（ＹＥＳ）は、ステップＳ１５で「障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ１６で、平均ブレーキ操作位置を「（障害物までの距離＋旧平均ブレーキ操作位置）／２」として更新する。なお、旧平均ブレーキ操作位置は、前回までの記憶値である。
【００１５】
次に、図６は、図１の操舵角センサ７からの操舵角信号１８による挙動の記憶を示す図であり、障害物が検知された場合に大きく操舵し始めた位置を記憶する場合を示す。平均操舵開始位置とは、障害物を検出して大きく操舵し始めた際の自車両から検出物体までの距離の平均値である。この場合もＴＴＣで表わしてもよい。
図６において、ステップＳ１７では、操舵量が所定値以上（通常の直進走行時の操作量よりも大きい）か否かを判断し、ＹＥＳの場合は、ステップＳ１８で「操舵前の方向に障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ１９で、平均操舵開始位置を「（障害物までの距離＋旧平均操舵開始位置）／２」として更新する。なお、旧平均操舵開始位置は、前回までの記憶値である。
【００１６】
次に、図７は、図１のギヤ位置センサ８からのギヤ位置信号１９による挙動の記憶を示す図であり、障害物が検知された場合にダウンシフトのためにギヤ位置を操作した位置を記憶する場合を示す。平均ギヤ操作開始位置とは、障害物を検出してギヤをシフトダウンした際の自車両から検出物体までの距離の平均値である。この場合もＴＴＣで表わしてもよい。
図７において、ステップＳ２０では、ギヤ位置信号１９がＯＮ（ギヤ位置を変更）か否かを判断し、ＹＥＳの場合は、ステップＳ２１で「障害物あり」か否かを判断（障害物検知信号１４により判断）する。障害物あり（ＹＥＳ）の場合は、ステップＳ２２で、平均ギヤ操作開始位置を「（障害物までの距離＋旧平均ギヤ操作開始位置）／２」として更新する。なお、旧平均ギヤ操作開始位置は、前回までの記憶値である。
【００１７】
次に、図８〜図１１は、フロー２（判断手段１２）の詳細を示すフローチャートである。このフローでは、予測値と実挙動を比較し、障害物を検出して警報や制御を行った際における運転者の挙動に対する影響を観察する。
まず、図８では、ステップＳ２３で、障害物の検出信号がＯＮか否かを判断し、ＹＥＳの場合（障害物あり）は、ステップＳ２４で、障害物が検出された場合の運転者の操作を予測する。例えば、障害物が検出された場合は、前記図４〜図７に示したように、当該運転者の平均的な操作距離において、アクセルＯＦＦ、ブレーキ操作、ハンドル操作、ギヤ操作等の操作が行われることが予測される。
ステップＳ２５では、図１のアクセル開度信号１６に基づいて、アクセル操作が行われたか否かを判断する。ＹＥＳ（操作あり）の場合は、運転者が障害物を発見してアクセルを戻す操作を行った、つまり図１の障害物検知演算手段２における障害物検知判断が正しかったことを意味するので、（Ｂ）へ行き、ＮＯ（操作なし）の場合は、ステップＳ２６へ行く。
【００１８】
ステップＳ２６では、同様に、ブレーキ操作の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ）へ、ＮＯ（操作なし）の場合は、図９のステップＳ２７へ行く。
ステップＳ２７では、同様に、ハンドル操作の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ）へ、ＮＯ（操作なし）の場合は、ステップＳ２８へ行く。
ステップＳ２８では、同様に、ギヤ操作の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ）へ、ＮＯ（操作なし）の場合は、（Ｃ）つまり図１２のステップＳ３７へ行く。
ステップＳ２５〜ステップＳ２８で（Ｂ）の場合、つまり障害物検知演算手段２における障害物の検知判断が正しかった場合は、図１０のステップＳ２９へ行く。
【００１９】
ステップＳ２９では、ヘッドライト操作（ヘッドライトを点灯したり、点灯中にアップもしくはダウンする操作）の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ’）へ、ＮＯ（操作なし）の場合は、ステップＳ３０へ行く。
ステップＳ３０では、ワイパー操作（ワイパーを作動させたり、作動中に高速や低速に切り替える操作）の有無を判断し、ＹＥＳ（操作あり）の場合は（Ｂ’）へ、ＮＯ（操作なし）の場合は、（Ｂ”）へ行く。
ステップＳ２９とステップＳ３０は、これまでの操作とは、やや異なっており、必ずしも必須の操作ではないが、警報に応じて運転者が意図的に前方の物体の確認を行ったことを意味する。このように警報に応じて各操作を行い、かつ、ヘッドライトやワイパーを操作して運転者が意図的に前方の物体の確認を行った場合は、障害物検知演算手段２における障害物検知判断の確度が高い（確実な判断）と考えられるので、後述するように閾値を低下させる方に変化させる。
【００２０】
次に、図１１は、フロー２（判断手段１２）において、障害物検知演算手段２の非検出を検出するフローを示す。このフローは、図８において、ステップＳ２３で「ＮＯ」の場合、つまり、障害物検知演算手段２が障害物を検知しなかった場合を示す。
図１１において、ステップＳ２３でＮＯの場合は、ステップＳ３１で、アクセル操作とブレーキ操作が共に行われ、車両が停止したような状態（図示しない停車センサで検出：停車センサは車輪回転の有無を判別）を判断し、ＹＥＳの場合は（Ｂ’）へ行く。
ステップＳ３２では、急激なブレーキ操作が行われたこと、例えば車両の減速度が所定値以上（図示しない減速度センサで検出）の場合には（Ｂ’）へ行く。ステップＳ３３では、急激なハンドル操作があったこと、例えば操舵角の変化速度が所定値以上の場合には（Ｂ’）へ行く。
上記のように、アクセル操作とブレーキ操作が共に行われて車両が停止した場合、急激なブレーキ操作が行われた場合、或いは急激なハンドル操作があった場合は、運転者が障害物を検知して回避操作を行ったものと考えられるので、このような状態のときに障害物検知演算手段２が障害物を検知しなかったのであるから、これは障害物検知演算手段２の非検出と判断する。
【００２１】
次に、図１２および図１３は、フロー３（閾値算定手段１３）の詳細を示すフローチャートである。このフローでは、フロー２の結果に応じて新たな閾値を算定する。
図１２において、ステップＳ３５では、前記（Ｂ’）であった場合の処理を示す。前記図１０で（Ｂ’）であった場合は障害物検知判断の確度が高い（確実な判断）と考えられるので、新しい閾値Ｄの値を「Ｄ−２δ」に小さくし、検出の感度を上昇させる。閾値Ｄの値を小さくすると、図１の障害物検知演算手段２において、検出画像パターンと標準パターンとの類似度が小さくても、障害物と判断する可能性が大きくなる。また、前記図１１で（Ｂ’）であった場合は、「障害物あり」と判断すべき状態で障害物を検知出来なかった非検出の場合なので、この場合にも新しい閾値Ｄの値を「Ｄ−２δ」に小さくし、類似度が低くても障害物と認識するように設定する。
ステップＳ３６では、前記（Ｂ”）であった場合は障害物検知判断の確度が高いが（Ｂ’）よりは低いと考えられるので、新しい閾値Ｄの値を「Ｄ−δ」にやや低下させる。
【００２２】
ステップＳ３７では、前記（Ｃ）であった場合は障害物検出と判断して警報したのに運転者が何も操作を行わなかった場合であり、図１の障害物検知演算手段２の誤検出と考えられるので、新しい閾値Ｄの値を「Ｄ＋δ」に大きくし、検出の感度を低下させる。このように閾値Ｄの値を大きくすると、図１の障害物検知演算手段２において、検出画像パターンと標準パターンとの類似度が大きくても、障害物と判断する可能性が小さくなる。
【００２３】
次に、ステップＳ３８〜４１は、閾値Ｄの変化範囲に制限を設けたものであり、上限値ＤＢ、下限値ＤＳを設け、両者の間に制限している。
まず、ステップＳ３８では、新しい閾値Ｄが下限値ＤＳより小か否かを判断し、小の場合はステップＳ３９で「新しい閾値Ｄ＝ＤＳ」とする。また、ステップＳ４０では新しい閾値Ｄが上限値ＤＢより大か否かを判断し、大の場合はステップＳ４１で「新しい閾値Ｄ＝ＤＢ」とする。このように閾値Ｄを上限値と下限値の間に制限することにより、閾値Ｄが過大または過少になるのを防止することが出来る。
【００２４】
次に、図１３は、閾値の変化が不安定な場合に、閾値の算定を停止するフローである。
まず、ステップＳ４２では、閾値Ｄの時間的な変化を観察して標準偏差を求める。ステップＳ４３では、上記の求めた標準偏差が所定値より大か否かを判断し、ＹＥＳ（大）の場合はステップＳ４４で閾値Ｄの変化を所定時間停止させる。このような処理により、閾値Ｄの変化によって障害物検知判断が不安定になるのを防止することが出来る。
【００２５】
上記のように、本実施例においては、以下に示すような判断を行って閾値を算定している。
▲１▼障害物検知演算手段が物体の存在する可能性を検知したにもかかわらず、運転者が減速操作（アクセルＯＦＦ）、ブレーキ操作、操舵回避操作、シフトダウン操作（ギヤシフト）の何れの操作も行わない場合は、障害物検知演算手段の誤検出と判断する。つまり検出感度が大きすぎて障害物でないものを障害物と誤検出したのであるから、閾値Ｄをδだけ大きくする。これにより、検出感度が低下し、類似度が大きくても障害物と判断しない可能性が大きくなる。これは図９、図１３のフローにおける（Ｃ）の経路に相当する。
【００２６】
▲２▼障害物検知演算手段が物体の存在する可能性を検知した際に、運転者が減速操作（アクセルＯＦＦ）、ブレーキ操作、操舵回避操作、シフトダウン操作（ギヤシフト）の少なくとも一つの操作を行った場合は、障害物検知演算手段の判断が正しいとし、閾値Ｄをδだけ小さくする。これにより、検出感度が上昇し、類似度が小さくも障害物と判断する可能性が大きくなる。これは図１０、図１３のフローにおける（Ｂ”）の経路に相当する。
【００２７】
▲３▼障害物検知演算手段が物体の存在する可能性を検知した際に、運転者が減速操作（アクセルＯＦＦ）、ブレーキ操作、操舵回避操作、シフトダウン操作（ギヤシフト）の少なくとも一つの操作を行い、かつ、ヘッドライト操作、ワイパー操作の少なくとも一つを行った場合は、障害物検知演算手段の判断の確度が大きいとし、閾値Ｄを２δだけ小さくする。これにより検出感度が大きく上昇し、類似度が小さくも障害物と判断する可能性がさらに大きくなる。これは図１０、図１３のフローにおける（Ｂ’）の経路に相当する。
【００２８】
▲４▼障害物検知演算手段が物体の存在する可能性を検知していないのに、運転者が減速して停止した場合、運転者が操舵回避操作をした場合、或いはアクセルや操舵操作の変化が急激である場合は、障害物検知演算手段の非検出と判断し、閾値Ｄを２δだけ小さくする。これにより検出感度が大きく上昇し、類似度が小さくも障害物と判断する可能性がさらに大きくなる。これは図１１、図１３のフローにおける（Ｂ’）の経路に相当する。
【００２９】
また、これまで説明したフローには記載されていないが、次のごとき判断を行うことも出来る。
▲５▼障害物検知演算手段が物体の存在する可能性を検知したにもかかわらず、運転者が可能性のある物体に向かって加速したり、操舵した場合は、障害物検知演算手段の誤検出と判断する。
▲６▼障害物検知演算手段が物体の存在する可能性を検知したにもかかわらず、運転者の操作に有意な差が現れない場合は、障害物検知演算手段の誤検出と判断する。
【００３０】
▲７▼物体が存在する可能性のある位置に停止する減速量に対して、急激に減速量が変化した場合は、新たな障害物が発生したものと判断し、このとき障害物検知演算手段が障害物と感知できなければ、障害物検知演算手段の非検出と判断する。
【００３１】
上記▲５▼の判断は、前記図８のステップＳ２３で検出信号がＯＮ（物体を検出した）の場合に、アクセル操作が加速側（スロットル開）に行われたことを検出するか、或いは物体の方向を判断し、操舵角がその方向に向けられたことを検出することによって実現することが出来る。この場合には、上記▲１▼と同様に、閾値Ｄをδだけ大きくする。これにより、検出感度が低下し、類似度が大きくても障害物と判断しない可能性が大きくなる。
上記▲６▼の判断は、前記図８のステップＳ２５〜２８における判断の閾値を、所定の有意差に相当する値に設定することによって行うことが出来る。
上記▲７▼の判断は、例えば減速センサを備え、本発明の装置で障害物が検出された際の通常の減速量よりも所定値以上大きな減速量で減速した場合に、新たな障害物が発生したものと判断し、このときの障害物検知演算手段２の障害物検知信号１４によって判断することが出来る。この場合も障害物が存在するのに検出感度が低くすぎて障害物を検出できなかったのであるから、上記▲４▼と同様に閾値Ｄを小さくする。
【図面の簡単な説明】
【図１】本発明の一実施例の構成を示すブロック図。
【図２】障害物検知演算手段２の一実施例を示すブロック図。
【図３】運転者挙動記憶手段１１、判断手段１２および閾値算定手段１３の部分を示すブロック図。
【図４】フロー１（運転者挙動記憶手段１１）の内容を示すフローチャートの一部。
【図５】フロー１の内容を示すフローチャートの他の一部。
【図６】フロー１の内容を示すフローチャートの他の一部。
【図７】フロー１の内容を示すフローチャートの他の一部。
【図８】フロー２（判断手段１２）の内容を示すフローチャートの一部。
【図９】フロー２の内容を示すフローチャートの他の一部。
【図１０】フロー２の内容を示すフローチャートの他の一部。
【図１１】フロー２の内容を示すフローチャートの他の一部。
【図１２】フロー３（閾値算定手段１３）の内容を示すフローチャートの一部。
【図１３】フロー３の内容を示すフローチャートの他の一部。
【符号の説明】
１…障害物センサ ２…障害物検知演算手段
３…ブレーキ装置 ４…警報装置
５…アクセルセンサ ６…ブレーキセンサ
７…操舵角センサ ８…ギヤ位置センサ
９…ライトスイッチ １０…ワイパースイッチ
１１…運転者挙動記憶手段 １２…判断手段
１３…閾値算定手段 １４…障害物検知信号
１５…閾値信号 １６…アクセル開度信号
１７…ブレーキ操作信号 １８…操舵角信号
１９…ギヤ位置信号 ２０…ライト信号
２１…ワイパー信号
Claims (8)
- 車両周囲に存在する物体を知覚する障害物センサと、
運転者の操作状態を検出するセンサと、
前記障害物センサの情報と予め記憶してある検出対象との類似度を所定の閾値と比較し、類似度が閾値以上の場合に障害物が存在すると判断する障害物検知演算手段と、
前記判断結果に応じて警報および車両の減速、制動の制御を行う手段と、
前記障害物検知演算手段が障害物が存在すると判断した際の運転者の操作を検出し、障害物が存在すると判断された際に運転者が行った操作をデータベースとして記憶する運転者挙動記憶手段と、
前記運転者の操作状態を検出するセンサからの信号に基づいて運転者が実際に行った操作を検出し、前記障害物検知演算手段が障害物が存在すると判断した場合に運転者が行うと予測される操作を前記データベースから読み出し、前記運転者が行うと予測される操作と、前記障害物検知演算手段が障害物が存在すると判断した場合の運転者が実際に行った操作とを比較することによって前記障害物検知演算手段が障害物が存在するとした判断が正しいか誤りかを判断し、かつ、前記障害物検知演算手段が障害物が存在しないと判断した場合に、前記障害物が存在すると判断された際に運転者が行うと予測される操作が行われた場合には、障害物が存在するのに検出できなかった非検出ミスと判断する判断手段と、
前記障害物検知演算手段における前記閾値の値を、前記判断手段の判断結果に応じて、障害物が存在するとの判断が正しかった場合は前記閾値を小さくし、障害物が無いのに障害物が存在すると誤判断した場合は前記閾値を大きくし、前記非検出ミスの場合は前記閾値を小さくする閾値算定手段と、を備え、
前記障害物検知演算手段における閾値の値を、前記閾値算定手段の算定結果に応じて変更することを特徴とする車載用障害物検知装置。 - 前記運転者挙動記憶手段は、前記障害物検知演算手段が障害物が存在すると判断した時に、運転者がアクセルＯＦＦにする際の自車両から障害物までの距離、ブレーキを操作開始する際の自車両から障害物までの距離、ギヤを手動でシフトダウンする際の自車両から障害物までの距離、もしくは回避のための操舵操作を開始する際の自車両から障害物までの距離を観測し、前記距離、もしくは前記距離を操作開始時の車速で除した時間を、前記データベースとして記憶する内容に含むことを特徴とする請求項１に記載の車載用障害物検知装置。
- 前記判断手段は、前記障害物検知演算手段が障害物が存在すると判断したにもかかわらず、前記障害物が存在すると判断された際に前記運転者が行うと予測される操作としての減速操作、ブレーキ操作、操舵回避操作、シフトダウン操作の何れの操作も、運転者が実際に行わない場合は、前記障害物検知演算手段が存在しない障害物を存在すると誤判断したものと判断し、
その際、前記閾値算定手段は、前記閾値の値を前記誤判断を避け得る程度の所定値だけ大きくし、検出の感度を低下させることを特徴とする請求項１に記載の車載用障害物検知装置。 - 前記判断手段は、前記障害物検知演算手段が障害物が存在すると判断した際に、前記障害物が存在すると判断された際に運転者が行うと予測される操作として、減速操作、ブレーキ操作、操舵回避操作、シフトダウン操作の少なくとも一つの操作を運転者が実際に行った場合は、前記障害物検知演算手段の障害物が存在するとの判断が正しいと判断し、
その際、前記閾値算定手段は、前記閾値の値を第１の所定値だけ小さくし、検出の感度を上昇させることを特徴とする請求項１または請求項３に記載の車載用障害物検知装置。 - 前記判断手段は、前記障害物検知演算手段が障害物が存在すると判断した際に、前記運転者が行うと予測される操作としての減速操作、ブレーキ操作、操舵回避操作、シフトダウン操作の少なくとも一つの操作を運転者が実際に行い、かつ、ヘッドライト操作、ワイパー操作の少なくとも一つを行った場合は、障害物検知演算手段が障害物が存在するとした判断は確実性が高いと判断し、
その際、前記閾値算定手段は、前記閾値の値を前記第１の所定値よりも大きな第２の所定値だけ小さくし、検出の感度を上昇させることを特徴とする請求項４に記載の車載用障害物検知装置。 - 前記判断手段は、前記障害物検知演算手段が障害物が存在すると判断していないのに、前記障害物が存在すると判断された際に運転者が行うと予測される操作として、運転者が減速して停止する操作、操舵角が所定値より大きい回避操作、或いはアクセルや操舵操作の変化速度が所定値より大きい操作、の何れかの操作を行った場合は、前記障害物検知演算手段が障害物が存在するのに検出できなかった非検出ミスと判断し、
その際、前記閾値算定手段は、前記閾値の値を小さくし、検出の感度を上昇させることを特徴とする請求項１に記載の車載用障害物検知装置。 - 前記閾値算定手段は、前記障害物検知演算手段における障害物の存在を判断する閾値の値を算定する際に、前記閾値の変化範囲に上限と下限を設け、前記閾値の値を前記上限と下限の間に制限することを特徴とする請求項１または請求項３乃至請求項６の何れか１項に記載の車載用障害物検知装置。
- 前記閾値算定手段は、前記閾値の値を算定する際に、閾値の時間的な変化を観察して標準偏差を求め、その求めた標準偏差が所定値より大の場合には閾値の変化を所定時間停止させることを特徴とする請求項１または請求項３乃至請求項７の何れか１項に記載の車載用障害物検知装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002178060A JP4023228B2 (ja) | 2002-06-19 | 2002-06-19 | 車載用障害物検知装置 |
| US10/423,916 US6879249B2 (en) | 2002-06-19 | 2003-04-28 | Vehicle obstacle detecting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002178060A JP4023228B2 (ja) | 2002-06-19 | 2002-06-19 | 車載用障害物検知装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004017876A JP2004017876A (ja) | 2004-01-22 |
| JP4023228B2 true JP4023228B2 (ja) | 2007-12-19 |
Family
ID=29728185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002178060A Expired - Fee Related JP4023228B2 (ja) | 2002-06-19 | 2002-06-19 | 車載用障害物検知装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6879249B2 (ja) |
| JP (1) | JP4023228B2 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1065092A3 (en) * | 1999-07-01 | 2005-03-30 | Hitachi, Ltd. | Apparatus for controlling braking and propulsion in a vehicle |
| DE10244205A1 (de) * | 2002-09-23 | 2004-03-25 | Robert Bosch Gmbh | Verfahren und Einrichtung zur Verhinderung der Kollision von Fahrzeugen |
| US7266453B2 (en) * | 2003-08-22 | 2007-09-04 | Honda Motor Co., Ltd. | Vehicular object detection system, tracking control system, and vehicle control system |
| US7034668B2 (en) * | 2003-10-27 | 2006-04-25 | Ford Global Technologies, Llc | Threat level identification and quantifying system |
| JP4449409B2 (ja) * | 2003-10-27 | 2010-04-14 | 日産自動車株式会社 | 車両用乗員保護装置 |
| JP4445311B2 (ja) * | 2004-03-31 | 2010-04-07 | 株式会社デンソーアイティーラボラトリ | 物体検知装置 |
| DE102004021174A1 (de) * | 2004-04-30 | 2005-11-24 | Daimlerchrysler Ag | Verfahren zum Steuern einer sicherheitsrelevanten Komponente eines Kraftfahrzeugs und Kraftfahrzeug mit einem präventiv auslösenden Sicherheitssystem |
| US7561721B2 (en) * | 2005-02-02 | 2009-07-14 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP2006259895A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 移動体の発進制御装置 |
| DE102005017422A1 (de) * | 2005-04-15 | 2006-10-19 | Robert Bosch Gmbh | Fahrerassistenzsystem mit Einrichtung zur Erkennung von stehenden Objekten |
| US20070031008A1 (en) * | 2005-08-02 | 2007-02-08 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4517972B2 (ja) * | 2005-08-02 | 2010-08-04 | 日産自動車株式会社 | 障害物判断装置及び方法 |
| JP2007115129A (ja) * | 2005-10-21 | 2007-05-10 | Sumitomo Electric Ind Ltd | 障害物検出システム、障害物検出方法及びコンピュータプログラム |
| US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
| JP4910458B2 (ja) * | 2006-04-03 | 2012-04-04 | 日産自動車株式会社 | 車両用交通標示検出装置、自動車及び車両用交通標示検出方法 |
| US7609150B2 (en) * | 2006-08-18 | 2009-10-27 | Motorola, Inc. | User adaptive vehicle hazard warning apparatuses and method |
| JP2008120288A (ja) * | 2006-11-14 | 2008-05-29 | Aisin Aw Co Ltd | 運転支援装置 |
| JP5185554B2 (ja) * | 2007-03-23 | 2013-04-17 | 富士重工業株式会社 | オンラインリスク学習システム |
| US20090005948A1 (en) * | 2007-06-28 | 2009-01-01 | Faroog Abdel-Kareem Ibrahim | Low speed follow operation and control strategy |
| JP2009086787A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | 車両検出装置 |
| JP4893593B2 (ja) * | 2007-11-13 | 2012-03-07 | マツダ株式会社 | 車両用運転支援装置 |
| JP2011133274A (ja) * | 2009-12-22 | 2011-07-07 | Panasonic Electric Works Co Ltd | 車両用障害物監視装置 |
| JP5574789B2 (ja) * | 2010-04-08 | 2014-08-20 | 株式会社東芝 | 車両周辺監視装置及び車両周辺監視方法 |
| US8890670B2 (en) * | 2011-08-09 | 2014-11-18 | Continental Automotive Systems, Inc. | Smart trailer |
| CN103917989B (zh) * | 2011-09-07 | 2019-05-28 | 法雷奥开关和传感器有限责任公司 | 用于检测车辆风挡上的雨滴的方法和摄像头组件 |
| KR101380888B1 (ko) * | 2012-07-24 | 2014-04-02 | 현대모비스 주식회사 | 차간 거리 산출 장치 및 방법 |
| JP5958280B2 (ja) * | 2012-10-31 | 2016-07-27 | トヨタ自動車株式会社 | 運転支援装置 |
| US10445758B1 (en) | 2013-03-15 | 2019-10-15 | Allstate Insurance Company | Providing rewards based on driving behaviors detected by a mobile computing device |
| JP2014229197A (ja) * | 2013-05-24 | 2014-12-08 | 株式会社デンソー | 車両用報知装置 |
| US8788176B1 (en) * | 2013-06-19 | 2014-07-22 | Ford Global Technologies, Llc | Adjustable threshold for forward collision warning system |
| US9052714B2 (en) | 2013-07-12 | 2015-06-09 | Jaybridge Robotics, Inc. | Computer-implemented method and system for controlling operation of an autonomous driverless vehicle in response to obstacle detection |
| EP3038021A1 (en) * | 2014-12-26 | 2016-06-29 | Panasonic Intellectual Property Corporation of America | Risk determination method, risk determination device, risk determination system, and risk output device |
| CN105607075A (zh) * | 2015-09-08 | 2016-05-25 | 北京铁路局北京科学技术研究所 | 道路安全的监测方法和装置 |
| CN105116418A (zh) * | 2015-09-08 | 2015-12-02 | 北京铁路局北京科学技术研究所 | 障碍物的检测方法和装置 |
| FR3041589B1 (fr) * | 2015-09-24 | 2017-10-20 | Renault Sas | Dispositif d'aide a la conduite pour estimation du danger d'une situation |
| JP6550663B2 (ja) * | 2016-11-04 | 2019-07-31 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、および車両制御プログラム |
| JP7030000B2 (ja) * | 2017-08-08 | 2022-03-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理システム、および、プログラム |
| US11100729B2 (en) | 2017-08-08 | 2021-08-24 | Panasonic Intellectual Property Corporation Of America | Information processing method, information processing system, and program |
| JP6806107B2 (ja) | 2018-03-20 | 2021-01-06 | 日本電気株式会社 | 障害物認識支援装置、障害物認識支援方法、プログラム |
| DE102018210683B4 (de) | 2018-06-29 | 2021-08-05 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Normierung eines internen Gütemaßes eines Sensors eines Fahrzeuges und zum Ermitteln einer Existenzwahrscheinlichkeit |
| CN109699021B (zh) * | 2018-12-31 | 2021-08-10 | 宁波工程学院 | 一种基于时间加权的农业物联网故障诊断方法 |
| CN113985417A (zh) * | 2021-09-18 | 2022-01-28 | 武汉未来幻影科技有限公司 | 一种绕车一周检测方法以及设备 |
| CN114202966A (zh) * | 2021-12-13 | 2022-03-18 | 阿里云计算有限公司 | 碰撞风险的确定方法、计算设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69322349T3 (de) * | 1992-09-30 | 2004-06-09 | Hitachi, Ltd. | Informationssystem für den Fahrer eines Fahrzeuges |
| JPH08235359A (ja) | 1995-02-23 | 1996-09-13 | Matsushita Electric Works Ltd | パターンマッチング方法およびパターンマッチング装置 |
| JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
| EP1103004A1 (de) * | 1999-05-26 | 2001-05-30 | Robert Bosch Gmbh | Objektdetektionssystem |
| JP2001055105A (ja) * | 1999-06-08 | 2001-02-27 | Takata Corp | 車両の安全装置 |
| JP2001058552A (ja) * | 1999-08-04 | 2001-03-06 | Takata Corp | 車両衝突被害軽減システム |
-
2002
- 2002-06-19 JP JP2002178060A patent/JP4023228B2/ja not_active Expired - Fee Related
-
2003
- 2003-04-28 US US10/423,916 patent/US6879249B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030236605A1 (en) | 2003-12-25 |
| JP2004017876A (ja) | 2004-01-22 |
| US6879249B2 (en) | 2005-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4023228B2 (ja) | 車載用障害物検知装置 | |
| CN109844843B (zh) | 用于检查超车可能性条件的方法 | |
| US20160280264A1 (en) | Driving assistant system of vehicle and method for controlling the same | |
| JP2006260217A (ja) | 車両用走行支援装置 | |
| JP5991382B2 (ja) | 車両用加速抑制装置及び車両用加速抑制方法 | |
| KR20190040550A (ko) | 차량에서의 장애물 검출장치 및 그 제어방법 | |
| EP3647136B1 (en) | Vehicle traveling assistance method and vehicle traveling assistance device | |
| KR20160066053A (ko) | 운행을 감시하기 위한 방법 및 제어 유닛 | |
| JP4442520B2 (ja) | 車両用進路推定装置 | |
| JP4876772B2 (ja) | 割込車両判定装置 | |
| US20060149462A1 (en) | Vehicular control object determination system and vehicular travel locus estimation system | |
| CN113748060A (zh) | 用于求取车辆的应有功能的安全水平的方法、安全系统和车辆 | |
| CN113272197A (zh) | 用于改进用于横向车辆运动的辅助系统的装置和方法 | |
| JP2882061B2 (ja) | 車両用先行車検出装置 | |
| KR20170070580A (ko) | Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 차선 변경 제어 방법 | |
| JP2006256493A (ja) | 車両用走行支援装置 | |
| JP2010097400A (ja) | 衝突防止装置 | |
| JP2006160032A (ja) | 運転状態判定装置及び運転状態判定方法 | |
| JPH1068777A (ja) | 車両用先行車検出装置 | |
| JP2003151095A (ja) | 車両用障害物認識装置 | |
| JP4191667B2 (ja) | 車両用制御対象判定装置 | |
| JP5350353B2 (ja) | 車両の制御装置 | |
| KR102495609B1 (ko) | 차량 전방 충돌 방지 제어 장치 및 방법 | |
| JP7259372B2 (ja) | 走行状態判定装置、運転支援装置、走行状態判定方法及びプログラム | |
| JP2002067844A (ja) | 周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070213 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070924 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131012 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |