JP4304517B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP4304517B2
JP4304517B2 JP2005325033A JP2005325033A JP4304517B2 JP 4304517 B2 JP4304517 B2 JP 4304517B2 JP 2005325033 A JP2005325033 A JP 2005325033A JP 2005325033 A JP2005325033 A JP 2005325033A JP 4304517 B2 JP4304517 B2 JP 4304517B2
Authority
JP
Japan
Prior art keywords
target
millimeter wave
detection
detected
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005325033A
Other languages
English (en)
Other versions
JP2007132748A (ja
Inventor
節夫 所
淳 土田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2005325033A priority Critical patent/JP4304517B2/ja
Priority to EP06823117A priority patent/EP1947475B1/en
Priority to PCT/JP2006/322213 priority patent/WO2007055215A1/ja
Priority to US12/093,244 priority patent/US7777669B2/en
Priority to CN2006800415361A priority patent/CN101305295B/zh
Publication of JP2007132748A publication Critical patent/JP2007132748A/ja
Application granted granted Critical
Publication of JP4304517B2 publication Critical patent/JP4304517B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R2021/01313Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over monitoring the vehicle steering system or the dynamic control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0132Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value
    • B60R2021/01327Angular velocity or angular acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Automotive Seat Belt Assembly (AREA)
  • Vehicle Body Suspensions (AREA)

Description

本発明は、複数の位置検出結果に基づいて物体を検出する物体検出装置に関する。
近年、衝突軽減装置、車間距離制御装置、追従走行装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方を走行する車両を検出することが重要となる。物体検出装置には、検出精度を向上させるために、レーダによる検出手段及びステレオカメラなどの画像による検出手段の2つの検出手段を備える装置がある(特許文献1参照)。その2つの検出手段を備える物体検出装置では、レーダによる情報に基づいて検出されたレーダ検出物と画像による情報に基づいて検出された画像検出物とを照合し、レーダ検出物と画像検出物とが同一の物体か否かを判断し、同一と判断した物体を前方車両などの検出対象の物体として設定する。特に、特許文献1に記載の装置では、レーダによって検出した複数の検出点のうちで自車両からの距離が略等しく互いに近接する検出点同士を1つの物体を示す点列としてグルーピングし、そのグルーピングした点列をレーザ検出物としている。
特開2003−44995号公報
しかしながら、車両や人など検出対象の物体の種類によって、物体の大きさは様々である。そのため、物体の種類に関係なく同一の探索領域で複数の検出結果を統合すると、必要以上に検出結果を統合してしまう場合があり、物体を実際より大きく推定する可能性がある。例えば、上記した特許文献1に記載の装置において、同一の探索領域でグルーピング処理を行った場合、自車両から略等しい距離に異なる物体が近接して存在していると(例えば、木の横を歩行者が通過したり、あるいは、自動車に並行してオートバイが走行していると)、この異なる物体を1つの物体を示す点列としてグルーピングしてしまう。
そこで、本発明は、物体の種類に応じて高精度に物体を検出することができる物体検出装置を提供することを課題とする。
本発明に係る物体検出装置は、物体位置を検出する物体位置検出手段と、物体種類を推定する物体種類推定手段と、探索領域内における物体位置検出手段による複数の位置検出結果を統合して物体の大きさを推定する物体推定手段とを備え、物体種類推定手段で推定した物体種類に基づいて探索領域を可変に設定することを特徴とする。
この物体検出装置では、物体位置検出手段により物体位置を検出し、複数の位置検出結果を取得する。そして、物体検出装置では、物体種類推定手段により検出した物体の種類を推定し、その推定した種類に基づいて探索領域を設定する。さらに、物体位置検出装置では、物体推定手段により探索領域内における複数の位置検出結果を統合し、その複数の位置検出結果により物体の大きさを推定する。物体は、その種類(例えば、人、自動車)によって大きさが異なっている。したがって、ある物体を高精度に検出するためには、複数の位置検出結果が統合された物体の大きさも物体の種類に応じた適切な大きさとして推定する必要がある。そこで、この物体検出装置では、探索領域を物体の種類に応じて設定することによって、複数の位置検出結果が統合される物体の大きさに物体の種類毎に制限をかけている。その結果、必要以上に位置検出結果が統合されて大きな物体として推定されることがなく、物体の種類に応じて高精度に物体を検出することができる。
なお、物体位置検出手段が1つの検出手段からなり、その1つの検出手段によって複数の位置検出結果を取得する構成でもよいし、あるいは、物体位置検出手段が複数の検出手段からなり、複数の検出手段でそれぞれ検出した位置検出結果を取得する構成でもよい。物体の大きさは、物体の横方向の大きさ、奥行き方向の大きさ、高さ方向の大きさのいずれか1つの大きさでもよいし、あるいは、2つの方向の大きさを組み合わせた大きさ(二次元的な大きさ)又は3つの方向の大きさを組み合わせた大きさ(三次元的な大きさ)でもよい。
本発明の上記物体検出装置では、物体位置検出手段は、複数の位置検出基準を用いて物体位置を検出し、物体種類推定手段は、物体位置検出手段で物体位置を検出できた位置検出基準に基づいて物体種類を推定し、探索領域は、物体位置を検出できた位置検出基準に基づいて設定される構成としてもよい。
この物体検出装置では、物体位置検出手段により、複数の位置検出基準を用いて物体位置を検出する。そして、物体検出装置では、物体種類推定手段により、物体位置検出手段で検出した物体毎に、その物体位置を検出したときの位置検出基準に基づいて物体種類を推定する。したがって、探索領域は、物体種類に基づいて設定されるので、物体位置を検出したときの位置検出基準に基づいて設定されることになる。例えば、自動車と歩行者が検出対象の場合、物体位置検出手段では自動車用の位置検出基準と歩行者用の位置検出基準が設定されている。物体位置検出手段で歩行者用の位置検出基準で物体位置を検出できた場合、物体種類推定手段では物体種類を歩行者と推定し、歩行者の大きさに基づく探索領域(<自動車の大きさに基づく探索領域)が設定される。したがって、この探索領域内において統合される複数の位置検出結果からなる物体の大きさは、その歩行者の大きさを考慮した探索領域以下の大きさとなり、歩行者を大きく上回るような大きさになることはない。このように、この物体検出装置では、物体の種類にリンクした位置検出基準を設けることにより、物体種類を容易に推定できる(ひいては、物体の種類毎に探索領域を容易に設定できる)。
本発明の上記物体検出装置では、物体位置検出手段は、走査した電磁波の物体からの反射波を受信して物体位置を検出するレーダセンサと撮像した画像を解析して物体位置を検出する画像センサであり、物体推定手段は、探索領域内におけるレーダセンサによる位置検出結果と画像センサによる位置検出結果を統合し、レーダセンサは、複数の位置検出基準を用いて物体位置を検出し、物体位置は、物体の横方向の位置であり、探索領域は、レーダセンサで検出した物体位置を基準とし、レーダセンサで物体を検出できた位置検出基準に基づいて設定される構成としてもよい。
この物体検出装置では、レーダセンサにより、複数の位置検出基準を用いて、レーダ情報に基づいて物体位置(少なくとも横方向の位置)を検出する。また、物体検出装置では、画像センサにより、撮像画像に基づいて物体位置(少なくとも横方向の位置)を検出する。そして、物体検出装置では、レーダセンサで検出した物体毎に、その物体位置を検出したときの位置検出基準に基づいて物体種類を推定し、レーダセンサで検出した物体の横方向の位置を基準とし、その物体位置を検出したときの位置検出基準に基づいた探索領域を設定する。さらに、物体検出装置では、物体推定手段により、レーダセンサで検出した物体毎に、設定した各探索領域内におけるレーダ情報に基づく位置検出結果と撮像画像に基づく位置検出結果を統合し、その複数の位置検出結果により物体の横方向の大きさを推定する。このように、この物体検出装置では、レーダセンサにおいて複数の位置検出基準で物体位置を検出することにより物体の種類毎に探索領域を容易に設定できるとともに、レーダ情報と撮像画像を用いることにより物体の横方向の大きさを高精度に推定することができる。
本発明の上記物体検出装置では、レーダセンサにおける位置検出基準は、走査した電磁波の物体からの反射波を受信したときの受信強度の閾値であり、大きい受信強度の閾値で検出した場合には、小さい受信強度の閾値で検出した場合に比較して、探索領域が大きい構成としてもよい。
この物体検出装置では、レーダセンサにより、走査した電磁波の物体からの反射波を受信し、その受信強度を複数の位置検出基準(閾値)によりそれぞれ判定する。そして、物体検出装置では、大きい受信強度の閾値で検出できた物体に対して、小さい受信強度の閾値で検出できた物体より、大きな探索領域を設定する。ここでは、物体の種類毎の電磁波に対する反射特性に基づいて位置検出基準を設定しており、電磁波の反射率が高い物体については受信強度の閾値として大きな値を設定し、電磁波の反射率が低い物体については受信強度の閾値として小さい値を設定する。さらに、電磁波の反射率が高い物体について、電磁波の反射率が低い物体より、大きい物体を想定しており、探索領域を大きくしている。例えば、電磁波の反射率の高い物体として自動車が相当し、電磁波の反射率が低い物体として歩行者(人)が相当する。このように、この物体検出装置では、物体の種類毎に電磁波の受信強度が異なることを利用することによって、物体の種類毎に探索領域を容易に設定できる。
本発明によれば、物体の種類毎に探索領域を設定することにより、物体の種類に応じて高精度に物体を検出することができる。
以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。
本実施の形態では、本発明に係る物体検出装置を、車両に搭載される衝突軽減装置に適用する。本実施の形態に係る衝突軽減装置は、検出対象として前方の自動車や歩行者を検出し、これら検出物体との衝突を防止/軽減するために各種制御を行う。特に、本実施の形態に係る衝突軽減装置では、前方物体を検出するためにミリ波レーダとステレオカメラの2つの検出手段を備え、ミリ波レーダによる検出物体とステレオカメラによる検出物体とを照合することによって前方物体を検出する。
図1〜図3を参照して、衝突軽減装置1について説明する。図1は、本実施の形態に係る衝突軽減装置の構成図である。図2は、高閾値ミリ波物標に対する探索範囲である。図3は、低閾値ミリ波物標に対する探索範囲である。
衝突軽減装置1は、前方の物体(自動車、歩行者)を検出し、物体を検出した場合には衝突の可能性に応じてブレーキ制御、サスペンション制御、シートベルト制御及び警報制御を行う。衝突軽減装置1は、前方物体を検出するために、ミリ波レーダによる情報に基づいてミリ波物標を設定するとともにステレオカメラによるステレオ画像に基づいて画像物標を設定し、ミリ波物標と画像物標との照合によってフュージョン物標を設定する。この照合では、ミリ波物標を検出する際の2つの閾値に応じて検出した物体の種類を推定し、その推定した種類に応じた探索範囲(探索領域)内に存在するミリ波物標と画像物標とを統合してフュージョン物標を設定する。衝突軽減装置1は、ミリ波レーダ2、ステレオカメラ3、車速センサ4、舵角センサ5、ヨーレートセンサ6、ブレーキECU[Electronic Control Unit]7、サスペンション制御アクチュエータ8、シートベルトアクチュエータ9、ブザー10及び衝突軽減ECU20などを備え、これらがCAN[Controller Area Network](車内LANの標準インターフェース規格)通信で各種信号を送受信する。
まず、各物標について説明しておく。ミリ波物標は、ミリ波レーダ2による情報に基づいて検出された物体である。ミリ波物標の情報としては、レーダ情報から取得できる物体までの距離、物体の横位置が設定される。画像物標は、ステレオカメラ3によるステレオ画像に基づいて検出された物体である。画像物標の情報としては、ステレオ画像から取得できる物体までの距離、物体の横位置(物体の横幅も含む情報)が設定される。フュージョン物標は、ミリ波物標と画像物標とが同一物体であると判断できる物体であり、同一の探索範囲内に存在するミリ波物標と画像物標とを統合した物体である。フュージョン物標には、ミリ波物標の情報による距離、ミリ波物標の情報と画像物標の情報を統合した横位置(横幅を含む情報)が設定される。横位置は、自車両の車幅方向の中心位置における自車両の進行方向上の位置を基準とした位置であり、中心位置における進行方向を0として右側の横方向の位置がプラス値であり、左側の横方向の位置がマイナス値である。各物標の位置は、自車両に対する相対的な位置として、距離と横位置で規定できる。なお、ミリ波物標の情報としては他にも相対速度などを設定してもよいし、画像物標の情報として他にも物体の奥行き、物体の高さや高さ位置、相対速度などを設定してもよい。それに応じて、フュージョン物標の情報も他の情報を設定してもよい。
ミリ波レーダ2は、ミリ波を利用して物体を検出するためのレーダである。ミリ波レーダ2は、自車両の前側の中央に取り付けられる。ミリ波レーダ2では、ミリ波を水平面内で走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。そして、ミリ波レーダ2では、そのミリ波の送受信データをレーダ信号として衝突軽減ECU20に送信する。この送受信データには、送信したミリ波の情報(自車両進行方向を中心とした送信角度、送信時刻など)、送信したミリ波に対する反射波を受信できたか否かの情報、反射波を受信できた場合にはその受信情報(受信角度、受信時刻、受信強度など)などが含まれる。この受信強度は、ミリ波の反射レベルに相当し、ミリ波を反射した物体の反射特性を表す。
ステレオカメラ3は、2台のCCD[Charge Coupled Device]カメラからなり、2台のCCDカメラが水平方向に所定間隔離間されて配置されている。ステレオカメラ3は、自車両の前側の中央に取り付けられる。ステレオカメラ3では、2つのCCDカメラで撮像した左右のステレオ画像のデータを各画像信号として衝突軽減ECU20に送信する。
車速センサ4は、自車両の速度を検出するセンサである。車速センサ4では、その検出値を車速信号として衝突軽減ECU20に送信する。舵角センサ5は、ステアリングホイールの舵角を検出するセンサである。舵角センサ5では、その検出値を舵角信号として衝突軽減ECU20に送信する。ヨーレートセンサ6は、自車両のヨーレート(回転角速度)を検出するセンサである。ヨーレートセンサ6では、その検出値をヨーレート信号として衝突軽減ECU20に送信する。
ブレーキECU7は、4輪の各ホイールシリンダの油圧を調節し、4輪のブレーキ力を制御するECUである。ブレーキECU7では、各輪の目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定し、その各油圧制御信号を各ホイールシリンダの油圧を変化させるブレーキ制御アクチュエータに対してそれぞれ送信する。特に、ブレーキECU7では、衝突軽減ECU20から各輪に対する目標ブレーキ力信号を受信すると、その目標ブレーキ力信号に示される目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定する。ちなみに、ブレーキ制御アクチュエータでは、油圧制御信号を受信すると、油圧制御信号に示される目標油圧に基づいてホイールシリンダの油圧を変化させる。
サスペンション制御アクチュエータ8は、4輪の各油圧式アクティブサスペンションの油圧を変化させるアクチュエータである。サスペンション制御アクチュエータ8では、衝突軽減ECU20から各輪に対する目標減衰力信号を受信すると、各目標減衰力信号に示される目標減衰力に基づいて目標油圧を設定し、目標油圧に基づいて油圧式アクティブサスペンションの油圧を変化させる。なお、図1には、サスペンション制御アクチュエータ8は1個しか描いていないが、4輪のサスペンション毎にそれぞれ設けられる。
シートベルトアクチュエータ9は、各シートベルトを引き込み、シートベルトによる拘束力を変化させるアクチュエータである。シートベルトアクチュエータ9では、衝突軽減ECU20から各シートベルトに対する目標引込量信号を受信すると、各目標引込量信号に示される目標引込量に応じてシートベルトを引き込む。なお、図1には、シートベルトアクチュエータ9は1個しか描いていないが、シートベルト毎にそれぞれ設けられる。
ブザー10は、衝突軽減ECU20から警報信号を受信すると、ブザー音を出力する。
衝突軽減ECU20は、CPU[Central Processing Unit]、ROM[ReadOnly Memory]、RAM[Random Access Memory]などからなる電子制御ユニットであり、衝突軽減装置1を統括制御する。衝突軽減ECU20には、進行方向推定部21、ミリ波物標設定部22、画像物標設定部23、フュージョンロジック部24、衝突予測部25及び車両制御部26が構成される。衝突軽減ECU20では、ミリ波レーダ2からのレーダ信号及びステレオカメラ3からの各画像信号を取り入れるとともに、車速センサ4からの車速信号、舵角センサ5からの舵角信号及びヨーレートセンサ6からのヨーレート信号を取り入れる。そして、衝突軽減ECU20では、CPUのマスタクロックに基づく一定時間毎に、各信号を用いて各部21〜26の処理を行い、前方の自動車や歩行者などを検出し、これら検出した物体との衝突の可能性に応じてブレーキECU7、サスペンション制御アクチュエータ8、シートベルトアクチュエータ9、ブザー10に対する制御を行う。
なお、本実施の形態では、ミリ波レーダ2及びミリ波物標設定部22が特許請求の範囲に記載するレーダセンサ(物体位置検出手段)に相当し、ステレオカメラ3及び画像物標設定部23が特許請求の範囲に記載する画像センサ(物体位置検出手段)に相当し、フュージョンロジック部24が特許請求の範囲に記載する物体種類推定手段及び物体推定手段に相当する。
進行方向推定部21について説明する。衝突軽減ECU20では、車速、舵角、ヨーレートに基づいて自車両の進行方向を推定する。なお、ここでは、車速、舵角、ヨーレートを用いて進行方向を求める構成としたが、この一部の車両情報だけを用いて進行方向を求めてもよいし、あるいは、他の車両情報を用いて進行方向を求めてもよい。
ミリ波物標設定部22について説明する。衝突軽減ECU20では、前方に物体が存在するか否かを判定するために、ミリ波の反射波の受信強度を判定する閾値として高閾値と低閾値を有している。高閾値は、ミリ波に対する反射率の高い物体を検出するための閾値であり、検出対象として主に自動車を想定した閾値である。低閾値は、ミリ波に対する反射率が低い物体を検出するための閾値であり、検出対象として主に歩行者を想定した閾値である。したがって、ミリ波物標が高閾値で検出されるかあるいは低閾値で検出されるかによって、その検出されている物体の種類を推定することができる。高閾値及び低閾値は、検出対象を自動車や人としたミリ波レーダによる実験によって予め設定され、衝突軽減ECU20に保持されている。
衝突軽減ECU20では、受信強度が高閾値より高いか否かを判定する。受信強度が高閾値より高い場合(前方にミリ波に対する反射率の高い物体が存在する場合)、衝突軽減ECU20では、その高閾値より高い受信強度を示すミリ波の送受信データにより高閾値ミリ波物標を設定する。受信強度が高閾値以下の場合、衝突軽減ECU20では、その高閾値以下であった受信強度が低閾値より高いか否かを判定する。受信強度が低閾値より高い場合(前方にミリ波に対する反射率の低い物体が存在する場合)、衝突軽減ECU20では、その低閾値より高い受信強度を示すミリ波の送受信データにより低閾値ミリ物標を設定する。受信強度が低閾値以下の場合、その受信強度はノイズレベルであり、物体として検出しない。ミリ波レーダ2による物体検出では、このように受信強度が高閾値又は低閾値より高いミリ波を受信できた場合に物体を検出したことになるので、高閾値又は低閾値より高いミリ波を受信する毎に1個のミリ波物標が得られる。
高閾値ミリ波物標又は低閾値ミリ波物標を設定する場合、衝突軽減ECU20では、その高閾値又は低閾値より高い受信強度を示すミリ波の出射から受信までの時間に基づいて前方の物体までの距離を演算する。また、衝突軽減ECU20では、高閾値又は低閾値より高い受信強度であった反射波の方向を検出し、その方向から自車両の進行方向と物体の方向とのなす角度を求め、その角度から物体の横位置(自車両の車幅方向の中心位置における進行方向からの横方向の位置)を演算する。この距離と横位置が、ミリ波物標の情報である。
画像物標設定部23について説明する。衝突軽減ECU20では、左右のステレオ画像における物体の見え方のずれを利用して三角測量的に前方の物体を特定し、物体を特定できた場合には画像物標を設定する。画像物標を設定する場合、衝突軽減ECU20では、ステレオ画像に基づいてステレオカメラ3から物体までの距離、物体の横位置を演算する。この距離と横位置が、画像物標の情報である。特に、横位置は、物体の横幅を含む情報であり、ステレオカメラ3で物体を検出できた横方向における範囲を示す。ステレオカメラ3による物体検出では、左右のステレオ画像から物体を特定できた場合に物体を検出したことになるので、物体を特定する毎に1個の画像物標が得られる。
フュージョンロジック部24について説明する。ミリ波物標設定部22で高閾値ミリ波物標を検出している場合、衝突軽減ECU20では、フュージョン物標として設定する物体を自動車と推定し、その高閾値ミリ波物標に設定されている距離と横位置を中心とし、距離方向に±L1と横方向に±W1とした探索範囲を設定する(図2参照)。高閾値で検出されたミリ波物標は主に自動車を想定しているので、探索範囲として幅が広くかつ長さが長い自動車を十分に含むような範囲が設定される。この高閾値用の探索範囲は、自動車の平均的な大きさを考慮して予め設定され、衝突軽減ECU20に保持されている。そして、衝突軽減ECU20では、画像物標設定部23で検出されている画像物標のうち、その高閾値用の探索範囲内に画像物標の位置(距離と横位置)が含まれるものがあるか否かを判定する。この探索範囲内に含まれる画像物標がある場合、衝突軽減ECU20では、その高閾値ミリ波物標と画像物標とは類似性があると判定し、同一の物体と判断する。
一方、ミリ波物標設定部22で低閾値ミリ波物標を検出している場合、衝突軽減ECU20では、フュージョン物標として設定する物体を歩行者と推定し、その低閾値ミリ波物標に設定されている距離と横位置を中心とし、距離方向に±L2と横方向に±W2とした探索範囲を設定する(図3参照)。低閾値で検出されたミリ波物標は主に歩行者を想定しているので、探索範囲として高閾値ミリ波物標の探索範囲より十分小さくかつ歩行者を十分に含むような範囲が設定される。したがって、L1>L2であり、W1>W2である。この低閾値用の探索範囲は、歩いている人の平均的な大きさを考慮して予め設定され、衝突軽減ECU20に保持されている。そして、衝突軽減ECU20では、画像物標設定部23で検出されている画像物標のうち、その低閾値用の探索範囲内に画像物標の位置(距離と横位置)が含まれるものがあるか否かを判定する。この探索範囲内に含まれる画像物標がある場合、衝突軽減ECU20では、その低閾値ミリ波物標と画像物標とは類似性があると判定し、同一の物体と判断する。
高閾値ミリ波物標と画像物標とが同一の物体と判断されている場合又は低閾値ミリ波物標と画像物標とが同一の物体と判断されている場合、衝突軽減ECU20では、同一物体と判断されたミリ波物標の情報と画像物標の情報とを統合してフュージョン物標を生成する。フュージョン物標の情報として距離は、ミリ波物標の距離がそのまま設定される。フュージョン物標の情報として横位置は、ミリ波物標の横位置と1つ又は複数の画像物標の横位置のうち、右端の位置と左端の位置とを両端とした横位置が設定される。したがって、この横位置は、物体の横幅を含む情報であり、ミリ波レーダ2とステレオカメラ3で物体を検出できた最も広い横方向の範囲を示す。
なお、探索範囲内に複数の画像物標が含まれている場合、その複数の画像物標とミリ波物標とが同一の物体と判断される。高閾値ミリ波物標と画像物標を統合したフュージョン物標は、自動車である可能性が高く、設定される横幅が高閾値用の探索範囲の横幅(=W1×2)を超えることない。低閾値ミリ波物標と画像物標を統合したフュージョン物標は、歩行者である可能性が高く、設定される横幅が低閾値用の探索範囲の横幅(=W2×2)を超えることない。
図2に示す例の場合、高閾値ミリ波物標HMP1を中心として探索範囲SA1が設定され、この探索範囲SA1内に1つの画像物標IP1が存在する。したがって、この高閾値ミリ波物標HMP1と画像物標IP1とは同一の物体(自動車)を検出した物標と判断され、フュージョン物標として高閾値ミリ波物標HMP1の距離及び高閾値ミリ波物標HMP1の横位置を右端とし、画像物標IP1の横位置の左端位置を左端とした横位置が設定される。
図3に示す例の場合、低閾値ミリ波物標LMP2を中心として探索範囲SA2が設定され、この探索範囲SA2内に1つの画像物標IP2が存在する。したがって、この低閾値ミリ波物標LMP2と画像物標IP2とは同一の物体(歩行者)を検出した物標と判断され、フュージョン物標として低閾値ミリ波物標LMP2の距離及び画像物標IP2の横位置の両端を左端と右端とした横位置が設定される。なお、図2などにおける画像物標を示すH状の記号は、横方向の長さで画像物標に設定されている横幅を示している。図2の場合には画像物標IP1としては自動車の左端側だけを検出しており、図3の場合には画像物標IP2としては歩行者の全幅を検出している。
図4に示す例は、木の近くを歩行者が存在し、歩行者を検出したミリ波物標に対して探索範囲を設定した場合を示している。図4(a)では、衝突軽減ECU20での探索処理を示しており、歩行者を検出した低閾値ミリ波物標LMP3に対して低閾値用の探索範囲SA3が設定され、この狭い探索範囲SA3内には歩行者を検出した画像物標IP3だけが存在する。したがって、この低閾値ミリ波物標LMP3と画像物標IP3とが統合されてフュージョン物標となる。この場合、木を検出した画像物標IP4は探索範囲SA3内に存在しないので、画像物標IP4がフュージョン物標として統合されない。その結果、フュージョン物標の横位置としては画像物標IP3の横位置の両端を左端と右端とした横位置が設定され、歩行者に対して適切な横幅となっている。一方、図4(b)では、探索範囲を高閾値用の探索範囲に固定した場合を示しており、歩行者を検出したミリ波物標MP3に対して高閾値用の探索範囲SA5が設定され、この広い探索範囲SA5内には歩行者を検出した画像物標IP3以外に木を検出した画像物標IP4も存在する。したがって、このミリ波物標MP3と画像物標IP3及び画像物標IP4とが統合されてフュージョン物標となる。その結果、フュージョン物標の横位置としては画像物標IP3の横位置の左端と画像物標IP4の横位置の右端を両端とした横位置が設定され、歩行者に対しては非常に広い横幅となっている。
図5に示す例は、路上の鉄板の近くに木が存在し、鉄板を検出したミリ波物標に対して探索範囲を設定した場合を示している。路上の鉄板は、ステレオ画像では検出できないので、画像物標が設定されない。図5(a)では、衝突軽減ECU20での探索処理を示しており、鉄板を検出した低閾値ミリ波物標LMP6に対して低閾値用の探索範囲SA6が設定され、この狭い探索範囲SA6内には画像物標が存在しない。したがって、フュージョン物標は設定されない。この場合、木を検出した画像物標IP7は探索範囲SA6に存在しないので、画像物標IP7がフュージョン物標として統合されない。一方、図5(b)では、探索範囲を高閾値用の探索範囲に固定した場合を示しており、鉄板を検出したミリ波物標MP6に対して高閾値用の探索範囲SA8が設定され、この広い探索範囲SA8内には木を検出した画像物標IP7が存在する。したがって、このミリ波物標MP6と画像物標IP7とが統合されてフュージョン物標となる。その結果、フュージョン物標の横位置としてはミリ波物標MP6の横位置と画像物標IP7の横位置の右端を両端とした横位置が設定され、鉄板に対しては非常に広い横幅となっている。
このように、検出対象の物体の大きさに対して探索範囲を広くすると、検出対象以外の画像物標も探索範囲に含まれる場合がある。そのため、他の物体を検出した画像物標もフュージョン物標として統合される可能性があり、フュージョン物標の大きさとして検出対象の物体より広い横幅が設定される。しかし、衝突軽減ECU20では検出対象の物体の大きさを考慮して適切な探索範囲を設定しているので、検出対象以外の画像物標が探索範囲に含まれることを極力抑制することができる。そのため、検出対象の物体を検出した画像物標だけがフュージョン物標として統合される可能性が非常に高くなり、フュージョン物標の大きさとして検出対象の物体に応じた横幅が設定される。
衝突予測部25について説明する。フュージョン物標が設定された場合(つまり、前方に、自動車などの物体が存在する場合)、衝突軽減ECU20では、車速を考慮して、フュージョン物標に設定されている前方物体までの距離に基づいて衝突する可能性の段階(例えば、可能性が高い、低い、無しの3段階)を設定する。なお、フュージョン物標の情報として相対速度が設定されている場合、その物体前方までの距離を相対速度で除算してTTC[Time To Collision]を求め、このTTCから衝突する可能性の段階を設定してもよい。
車両制御部26について説明する。衝突する可能性の段階を設定すると、衝突軽減ECU20では、、衝突する可能性の段階に応じて、ブレーキECU7、サスペンション制御アクチュエータ8,・・・、シートベルトアクチュエータ9,・・・、ブザー10を制御する。この制御を衝突する可能性の段階が3段階の場合を例に挙げて説明する。衝突の可能性が無い段階では、衝突軽減ECU20では、ブレーキECU7、サスペンション制御アクチュエータ8,・・・、シートベルトアクチュエータ9,・・・、ブザー10に対する制御を行わない。
衝突の可能性が低い段階では、衝突軽減ECU20では、ブレーキECU7、サスペンション制御アクチュエータ8,・・・に対する制御を行わず、シートベルトアクチュエータ9,・・・、ブザー10に対する制御を行う。具体的には、衝突軽減ECU20では、前方に物体が接近していることを知らせるためにシートベルトを少し引き込むための目標引込量信号を設定し、その目標引込量信号をシートベルトアクチュエータ9,・・・にそれぞれ送信する(運転席のシートベルトアクチュエータ9にのみ送信するようにしてもよい)。また、衝突軽減ECU20では、前方に物体が接近していることを知らせるために警報信号を設定し、その警報信号をブザー10に送信する。
衝突の可能性が高い段階では、衝突軽減ECU20では、ブレーキECU7、サスペンション制御アクチュエータ8,・・・、シートベルトアクチュエータ9,・・・、ブザー10全てに対する制御を行う。具体的には、衝突軽減ECU20では、車両を減速させるための目標ブレーキ力信号を設定し、その目標ブレーキ力信号をブレーキECU7に送信する。また、衝突軽減ECU20では、車両が傾かないように(前部が沈みこまないように)するための目標減衰力信号を設定し、その目標減衰力信号をサスペンション制御アクチュエータ8,・・・にそれぞれ送信する。また、衝突軽減ECU20では、乗員を強く拘束するための目標引込量信号を設定し、その目標引込量信号をシートベルトアクチュエータ9,・・・にそれぞれ送信する。また、衝突軽減ECU20では、前方に車両が接近していることを知らせるために警報信号を設定し、その警報信号をブザー10に送信する。
なお、低閾値ミリ波物標が統合されたフュージョン物標は前方物体として歩行者が想定され、高閾値ミリ波物標が統合されたフュージョン物標は前方物体として自動車が想定されるので、これら想定される前方物体の種類に応じて車両制御部26で行う制御を変えてもよい。また、フュージョン物標の横幅情報としては前方物体の種類(歩行者や自動車)に応じた適切な横幅が設定されているので、前方物体とのオーバラップ量なども求め、これら他の情報も考慮して車両制御部26での制御を行ってもよい。
図1〜図3を参照して、衝突軽減装置1における動作について説明する。
ミリ波レーダ2では、前方にミリ波を走査しながら送信するとともにその反射波を受信し、その送受信データをレーダ信号として衝突軽減ECU20に送信する。ステレオカメラ3では、前方をそれぞれ撮像し、その撮像した左右のステレオ画像を各画像信号として衝突軽減ECU20に送信する。車速センサ4では、自車両の車速を検出し、その検出値を車速信号として衝突軽減ECU20に送信する。舵角センサ5では、ステアリングホイールの舵角を検出し、その検出値を舵角信号として衝突軽減ECU20に送信する。ヨーレートセンサ6では、自車両に作用するヨーレートを検出し、その検出値をヨーレート信号として衝突軽減ECU20に送信する。衝突軽減ECU20では、これら各信号を受信する。
衝突軽減ECU20では、一定時間毎に、車速信号による車速、舵角信号による舵角及びヨーレート信号によるヨーレートに基づいて自車両の進行方向を推定する。
衝突軽減ECU20では、一定時間毎に、レーダ信号のレーダ情報における受信強度が高閾値より高いか否かを判定する。受信強度が高閾値より高い場合、衝突軽減ECU20では、その高閾値より高い受信強度のミリ波についてのレーダ情報に基づいて自車両から前方物体までの距離及び自車両の進行方向の中央からの前方物体の横位置を演算し、高閾値ミリ波物標を設定する。受信強度が高閾値以下の場合、衝突軽減ECU20では、レーダ信号のレーダ情報におけるミリ波の受信強度が低閾値より高いか否かを判定する。受信強度が低閾値より高い場合、衝突軽減ECU20では、その低閾値より高い受信強度のミリ波についてのレーダ情報に基づいて自車両から前方物体までの距離及び自車両の進行方向の中央からの前方物体の横位置を演算し、低閾値ミリ波物標を設定する。受信強度が低閾値以下の場合、衝突軽減ECU20では、ミリ波物標を設定しない。
衝突軽減ECU20では、一定時間毎に、各画像信号のステレオ画像に基づいて前方に物体が存在するか否かを判定する。前方に物体が存在すると判定した場合、衝突軽減ECU20では、そのステレオ画像に基づいて自車両から前方物体までの距離及び自車両の進行方向の中央からの前方物体の横位置(横幅)を演算し、画像物標を設定する。
高閾値ミリ波物標を設定した場合、衝突軽減ECU20では、その高閾値ミリ波物標の位置を中心として高閾値用の探索範囲を設定し、その探索範囲内において画像物標が存在するか否か探索する。探索範囲内に画像物標が存在する場合、衝突軽減ECU20では、その画像物標と高閾値ミリ波物標とは同一の物体と判定する。そして、衝突軽減ECU20では、その画像物標の情報と高閾値ミリ波物標の情報とを統合して距離及び横位置(横幅)を設定し、フュージョン物標を生成する。
低閾値ミリ波物標を設定した場合、衝突軽減ECU20では、その低閾値ミリ波物標の位置を中心として低閾値用の探索範囲を設定し、その探索範囲内において画像物標が存在するか否か探索する。探索範囲内に画像物標が存在する場合、衝突軽減ECU20では、その画像物標と低閾値ミリ波物標とは同一の物体と判定する。そして、衝突軽減ECU20では、その画像物標の情報と低閾値ミリ波物標の情報とを統合して距離及び横位置(横幅)を設定し、フュージョン物標を生成する。
フュージョン物標を生成した場合、衝突軽減ECU20では、そのフュージョン物標に設定されている情報に基づいて衝突する可能性の段階を設定する。そして、衝突軽減ECU20では、衝突する可能性の段階に応じて、ブレーキECU7、サスペンション制御アクチュエータ8,・・・、シートベルトアクチュエータ9,・・・、ブザー10を制御する。この制御によって、前方物体との衝突の可能性が低い段階では、シートベルトアクチュエータ9,・・・によるシートベルトの引き込みとブザー10によるブザー音の出力によって前方物体の接近を運転者に認識させる。さらに、前方物体との衝突の可能性が高くなると、ブレーキECU7による自動ブレーキ力による減速とサスペンション制御アクチュエータ8,・・・によるサスペンションの硬さの調節を行い、シートベルトアクチュエータ9,・・・によるシートベルトの更なる引き込みによって乗員を強く拘束し、ブザー10によるブザーオンの出力によって前方物体の更なる接近を運転者に認識させる。一方、フュージョン物標が生成されなかった場合や衝突の可能性が無い場合、衝突軽減ECU20では、衝突軽減するための制御を行わない。
この衝突軽減装置1によれば、ミリ波物標の閾値によって前方物体の種類(歩行者と自動車を想定)を推定し、その種類に応じて画像物標を探索するための探索範囲の大きさを変えることにより、ミリ波物標と画像物標とを誤フュージョンすることを抑制することができる。そのため、同一物体についてのミリ波物標と画像物標とをフュージョンすることができ、フュジューン物標として精度良い情報を設定することができる。特に、物体の横方向の大きさを高精度に推定することができる。
また、衝突軽減装置1によれば、自動車や人のミリ波に対する反射特性を考慮してミリ波の受信強度を判定するための高閾値と低閾値を設定し、2つの閾値によってミリ波物標を検出することにより、前方物体の種類を容易に推定できる(探索範囲の大きさを容易に決定することができる)。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両に搭載される衝突軽減装置に適用したが、車間距離制御装置、追従走行装置などの他の運転支援装置や周辺監視装置などの他の装置にも適用可能であり、物体検出装置単体としても活用可能である。また、検出対象としては、前方の自動車や歩行者以外にも、他の物体を検出することも可能である。また、搭載対象としては、車両以外にも、ロボットなどに搭載することも可能である。
また、本実施の形態ではレーダセンサとしてミリ波レーダを用いる構成としたが、レーザレーダなどの他のレーダセンサを用いてもよい。また、本実施の形態では画像センサとしてステレオカメラを用いる構成としたが、ステレオカメラ以外のカメラを用いてもよい。また、物体位置検出手段として、レーダセンサや画像センサ以外の検出手段を用いてもよい。また、物体位置検出手段としてミリ波レーダとステレオカメラの2つの検出手段を用いる構成としたが、1つの検出手段だけを用いる構成としてもよい。例えば、ミリ波レーダだけを用いた場合にはミリ波レーダによる複数のミリ波物標の中から探索するようにすればよいし、あるいは、ステレオカメラだけを用いた場合にはステレオカメラによる複数の画像物標の中から探索するようにすればよい。
また、本実施の形態では車速センサ、舵角センサ、ヨーレートセンサから各検出信号を受信する構成としたが、各検出信号を受信している他の車両ECUから車速、舵角、ヨーレートなどの車両情報を取得する構成としてもよい。また、他の車両ECUで求めたカーブ半径などを取得し、カーブ半径などから自車両の進行方向を推定するようにしてもよい。
また、本実施の形態ではミリ波レーダによる情報に基づくミリ波物標の設定及びステレオカメラによるステレオ画像に基づく画像物標の設定を衝突軽減ECUで行う構成としたが、ミリ波センサにミリ波レーダ及び処理部を備え、ミリ波センサ内でミリ波物標を設定する構成としてもよいし、また、画像センサにステレオカメラ及び画像処理部を備え、画像センサ内で画像物標を設定する構成としてもよい。
また、本実施の形態ではミリ波レーダによる情報に基づく物体検出において自動車に対して高閾値、歩行者に対して低閾値を設ける構成としたが、検出する物体としてはこれらに限定することなく、自転車、オートバイ、路上の鉄板など様々なものを対象としてよく、検出対象の物体のミリ波に対する反射特性に応じて閾値をそれぞれ設ける。
また、本実施の形態ではミリ波物標設定部において高閾値と低閾値を設け、いずれの閾値で設定された物標かによって自動車かあるいは歩行者かを推定する構成としたが、画像から物体の種類を推定(例えば、パターンマッチングによる物体認識によって物体種類を推定、カラー画像の場合には肌色などの色検出によって物体種類を推定)するなど、物体の種類の推定方法について様々な方法を用いてよい。
また、本実施の形態ではミリ波の受信強度を各閾値と比較することによって物体の種類を推定し、その種類に応じて探索範囲をそれぞれ設定する構成としたが、ミリ波の受信強度の動的な変化(例えば、受信強度の分散)に基づいて物体の種類を推定し、探索範囲をそれぞれ設定する構成としてもよい。例えば、歩行者は、ミリ波に対する反射が不安定なので、自動車より受信強度の分散が大きくなる。
また、本実施の形態では高閾値で検出したミリ波物標に対して大きな探索範囲を設定し、低閾値で検出したミリ波物標に対して小さな探索範囲を設定する構成としたが、物体のミリ波に対する反射特性と物体の大きさの関係により、高閾値で検出したミリ波物標に対して小さな探索範囲を設定し、低閾値で検出したミリ波物標に対して大きな探索範囲を設定する場合もある。また、物体のミリ波に対する反射特性と物体の大きさの関係により3段階以上の閾値や探索範囲を設定できる場合には、3段階以上の閾値と各閾値に対応する探索範囲を設定してよい。
また、本実施の形態では複数の位置検出結果を統合して推定する物体の大きさとしてミリ波物標の情報と画像物標の情報に基づく横方向の大きさとしたが、物体の大きさとしては奥行き方向の大きさや高さ方向の大きさでもよいし、あるいは、二次元的な大きさや三次元的な大きさでもよい。
本実施の形態に係る衝突軽減装置の構成図である。 高閾値ミリ波物標に対する探索範囲である。 低閾値ミリ波物標に対する探索範囲である。 歩行者に対する探索範囲の比較例であり、(a)が低閾値用の探索範囲とした場合であり、(b)が高閾値用の探索範囲とした場合である。 路上鉄板に対する探索範囲の比較例であり、(a)が低閾値用の探索範囲とした場合であり、(b)が高閾値用の探索範囲とした場合である。
符号の説明
1…衝突軽減装置、2…ミリ波レーダ、3…ステレオカメラ、4…車速センサ、5…舵角センサ、6…ヨーレートセンサ、7…ブレーキECU、8…サスペンション制御アクチュエータ、9…シートベルトアクチュエータ、10…ブザー、20…衝突軽減ECU、21…進行方向推定部、22…ミリ波物標設定部、23…画像物標設定部、24…フュージョンロジック部、25…衝突予測部、26…車両制御部

Claims (4)

  1. 物体位置を検出する物体位置検出手段と、
    物体種類を推定する物体種類推定手段と、
    探索領域内における前記物体位置検出手段による複数の位置検出結果を統合して物体の大きさを推定する物体推定手段と
    を備え、
    前記物体種類推定手段で推定した物体種類に基づいて探索領域を可変に設定することを特徴とする物体検出装置。
  2. 前記物体位置検出手段は、複数の位置検出基準を用いて物体位置を検出し、
    前記物体種類推定手段は、前記物体位置検出手段で物体位置を検出できた位置検出基準に基づいて物体種類を推定し、
    探索領域は、物体位置を検出できた位置検出基準に基づいて設定されることを特徴とする請求項1に記載する物体検出装置。
  3. 前記物体位置検出手段は、走査した電磁波の物体からの反射波を受信して物体位置を検出するレーダセンサと撮像した画像を解析して物体位置を検出する画像センサであり、
    前記物体推定手段は、探索領域内における前記レーダセンサによる位置検出結果と前記画像センサによる位置検出結果を統合し、
    前記レーダセンサは、複数の位置検出基準を用いて物体位置を検出し、
    物体位置は、物体の横方向の位置であり、
    探索領域は、前記レーダセンサで検出した物体位置を基準とし、前記レーダセンサで物体を検出できた位置検出基準に基づいて設定されることを特徴とする請求項2に記載する物体検出装置。
  4. 前記レーダセンサにおける位置検出基準は、走査した電磁波の物体からの反射波を受信したときの受信強度の閾値であり、
    大きい受信強度の閾値で検出した場合には、小さい受信強度の閾値で検出した場合に比較して、探索領域が大きいことを特徴とする請求項3に記載する物体検出装置。
JP2005325033A 2005-11-09 2005-11-09 物体検出装置 Expired - Fee Related JP4304517B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005325033A JP4304517B2 (ja) 2005-11-09 2005-11-09 物体検出装置
EP06823117A EP1947475B1 (en) 2005-11-09 2006-10-31 Object detection device
PCT/JP2006/322213 WO2007055215A1 (ja) 2005-11-09 2006-10-31 物体検出装置
US12/093,244 US7777669B2 (en) 2005-11-09 2006-10-31 Object detection device
CN2006800415361A CN101305295B (zh) 2005-11-09 2006-10-31 物体检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005325033A JP4304517B2 (ja) 2005-11-09 2005-11-09 物体検出装置

Publications (2)

Publication Number Publication Date
JP2007132748A JP2007132748A (ja) 2007-05-31
JP4304517B2 true JP4304517B2 (ja) 2009-07-29

Family

ID=38023218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005325033A Expired - Fee Related JP4304517B2 (ja) 2005-11-09 2005-11-09 物体検出装置

Country Status (5)

Country Link
US (1) US7777669B2 (ja)
EP (1) EP1947475B1 (ja)
JP (1) JP4304517B2 (ja)
CN (1) CN101305295B (ja)
WO (1) WO2007055215A1 (ja)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4916723B2 (ja) * 2006-01-16 2012-04-18 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US7940955B2 (en) * 2006-07-26 2011-05-10 Delphi Technologies, Inc. Vision-based method of determining cargo status by boundary detection
EP3624086A1 (en) 2007-01-25 2020-03-18 Magna Electronics Inc. Radar sensing system for vehicle
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
JP4849013B2 (ja) * 2007-06-14 2011-12-28 トヨタ自動車株式会社 車両周辺監視装置
DE102008003205A1 (de) * 2008-01-04 2009-07-09 Wabco Gmbh Vorrichtung, Verfahren und Computerprogramm zur Kollisionsvermeidung oder zur Verminderung der Kollisionsschwere infolge einer Kollision für Fahrzeuge, insbesondere Nutzfahrzeuge
JP2009174900A (ja) * 2008-01-22 2009-08-06 Fujitsu Ten Ltd 物体検出装置、物体検出方法および物体検出システム
JP5049853B2 (ja) * 2008-04-08 2012-10-17 本田技研工業株式会社 車両の物体検知装置
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
DE112009004346B4 (de) * 2009-01-29 2014-05-28 Toyota Jidosha Kabushiki Kaisha Objekterkennungsvorrichtung und Objekterkennungsverfahren
JP4819919B2 (ja) * 2009-04-16 2011-11-24 本田技研工業株式会社 車両用物体検知装置
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
JP4858574B2 (ja) 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
US7978122B2 (en) * 2009-08-13 2011-07-12 Tk Holdings Inc. Object sensing system
JP5471195B2 (ja) * 2009-09-03 2014-04-16 トヨタ自動車株式会社 物体検出装置
DE102009048493A1 (de) * 2009-09-25 2011-04-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Fahrzeug, Fahrzeug mit einem Fahrerassistenzsystem und Verfahren zum Unterstützen eines Fahrers beim Führen eines Fahrzeugs
DE102009045286A1 (de) * 2009-10-02 2011-04-21 Robert Bosch Gmbh Verfahren zur Abbildung des Umfelds eines Fahrzeugs
JP2011099683A (ja) * 2009-11-04 2011-05-19 Hitachi Automotive Systems Ltd 物体検出装置
CN104251993B (zh) 2010-03-17 2017-04-12 本田技研工业株式会社 车辆周围监测装置
TW201136313A (en) * 2010-04-08 2011-10-16 Hon Hai Prec Ind Co Ltd 3D image monitor system and method
CN102542256B (zh) * 2010-12-07 2017-05-31 无比视视觉技术有限公司 对陷阱和行人进行前部碰撞警告的先进警告系统
CN102529962B (zh) * 2010-12-08 2014-11-05 安尼株式会社 移动体防碰撞装置和移动体
DE102011101246A1 (de) * 2011-05-11 2012-11-15 Conti Temic Microelectronic Gmbh Redudante objektdetektion für fahrerassistenzsysteme
CN102508246B (zh) * 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
JP5861396B2 (ja) * 2011-11-02 2016-02-16 トヨタ自動車株式会社 車両用歩行者検知装置、車両用歩行者保護システム
JP5910046B2 (ja) * 2011-12-05 2016-04-27 トヨタ自動車株式会社 障害物検出装置
JP5673568B2 (ja) * 2012-01-16 2015-02-18 トヨタ自動車株式会社 物体検出装置
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
JP5989353B2 (ja) * 2012-02-13 2016-09-07 株式会社デンソー レーダ装置
JP5926069B2 (ja) * 2012-02-20 2016-05-25 トヨタ自動車株式会社 障害物判定装置
US8930063B2 (en) * 2012-02-22 2015-01-06 GM Global Technology Operations LLC Method for determining object sensor misalignment
CN104321665B (zh) * 2012-03-26 2017-02-22 罗伯特·博世有限公司 基于多表面模型的跟踪
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
US9365162B2 (en) * 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
JP6160041B2 (ja) * 2012-08-27 2017-07-12 日産自動車株式会社 車両用走行制御装置及び方法
EP2894619A4 (en) * 2012-09-03 2016-03-16 Toyota Motor Co Ltd DEVICE AND METHOD FOR COLLISION DETERMINATION
US9746553B2 (en) * 2012-12-19 2017-08-29 Sony Corporation Method for generating an image and handheld screening device
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9167214B2 (en) 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
JP5729398B2 (ja) * 2013-01-22 2015-06-03 株式会社デンソー 車載物標検出装置
EP2821308B1 (en) * 2013-07-03 2016-09-28 Volvo Car Corporation Vehicle system for control of vehicle safety parameters, a vehicle and a method for controlling safety parameters
DE112014003177T5 (de) * 2013-07-08 2016-03-31 Honda Motor Co., Ltd. Objekterkennungsvorrichtung
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
JP6083368B2 (ja) 2013-11-19 2017-02-22 株式会社デンソー 物標認識装置
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
TWI571399B (zh) 2014-08-20 2017-02-21 啟碁科技股份有限公司 預警方法及車用雷達系統
TWI590969B (zh) * 2014-08-20 2017-07-11 啟碁科技股份有限公司 預警方法及車用雷達系統
JP6084192B2 (ja) * 2014-10-15 2017-02-22 本田技研工業株式会社 物体認識装置
US20160121887A1 (en) * 2014-11-04 2016-05-05 Hyundai Motor Company Apparatus and method for detecting collision object of vehicle
JP6367697B2 (ja) * 2014-11-28 2018-08-01 株式会社デンソー 物体検知装置
JP2016103194A (ja) * 2014-11-28 2016-06-02 パナソニックIpマネジメント株式会社 車両走行支援装置及び車両走行支援方法
JP6427422B2 (ja) * 2015-01-16 2018-11-21 株式会社東芝 レーダ信号処理装置
JP6365385B2 (ja) * 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
JP6252549B2 (ja) * 2015-05-29 2017-12-27 株式会社デンソー 物体検出装置
CN104965202B (zh) * 2015-06-18 2017-10-27 奇瑞汽车股份有限公司 障碍物探测方法和装置
EP3330742A4 (en) * 2015-07-27 2018-08-08 Nissan Motor Co., Ltd. Object detecting method and object detecting device
SE539097C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
JP2017054311A (ja) * 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置
US9415658B1 (en) * 2015-09-23 2016-08-16 Continental Automotive Systems, Inc. Independent vehicle ride height adjustment
WO2017057042A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、プログラム、および、物体検出システム
JP6825569B2 (ja) * 2015-09-30 2021-02-03 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US10121082B2 (en) 2015-10-07 2018-11-06 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant
MY179729A (en) * 2016-01-22 2020-11-12 Nissan Motor Pedestrian determination method and determination device
US10317522B2 (en) * 2016-03-01 2019-06-11 GM Global Technology Operations LLC Detecting long objects by sensor fusion
CN107015228A (zh) * 2016-11-15 2017-08-04 财团法人车辆研究测试中心 车用毫米波雷达的环境辨识系统
JP6574407B2 (ja) * 2016-11-17 2019-09-11 株式会社デンソー 車両制御装置、及び車両制御方法
JP6885721B2 (ja) * 2016-12-27 2021-06-16 株式会社デンソー 物体検出装置、物体検出方法
JP6787157B2 (ja) * 2017-01-31 2020-11-18 株式会社デンソー 車両制御装置
JP6816658B2 (ja) * 2017-06-09 2021-01-20 トヨタ自動車株式会社 物標情報取得装置
CN107343310B (zh) * 2017-06-09 2019-05-17 维沃移动通信有限公司 一种天线功率调节方法及移动终端
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
US10775482B2 (en) * 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
CN112313537A (zh) * 2018-06-29 2021-02-02 索尼半导体解决方案公司 信息处理设备和信息处理方法、成像设备、计算机程序、信息处理系统和移动体设备
TWI734932B (zh) * 2018-09-17 2021-08-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
CN109774682B (zh) * 2019-01-17 2020-07-10 中科安达(北京)科技有限公司 Aebs控制系统
CN109910845B (zh) * 2019-01-17 2020-08-14 中科安达(北京)科技有限公司 基于aebs的自动制动方法
CN109886308B (zh) * 2019-01-25 2023-06-23 中国汽车技术研究中心有限公司 一种基于目标级别的双传感器数据融合方法和装置
CN110775000A (zh) * 2019-10-25 2020-02-11 王海豹 机动车紧急自动逃生系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5752215A (en) * 1995-02-28 1998-05-12 Livingstone Legend Enterprises (Propiretary) Ltd. Apparatus and method for classifying vehicles using electromagnetic waves and pattern recognition
JPH09178848A (ja) * 1995-12-25 1997-07-11 Denso Corp 車両用障害物認識装置
JP3619628B2 (ja) 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JP3684776B2 (ja) * 1997-07-23 2005-08-17 株式会社デンソー 車両用障害物認識装置
EP1103004A1 (de) * 1999-05-26 2001-05-30 Robert Bosch Gmbh Objektdetektionssystem
EP1206710A1 (en) * 1999-08-06 2002-05-22 Roadrisk Technologies, Llc Method and apparatus for stationary object detection
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP3681620B2 (ja) * 2000-07-26 2005-08-10 株式会社デンソー 車両用障害物認識装置
EP1309882B1 (en) * 2000-08-16 2004-12-08 Raytheon Company Near object detection system
JP2002099906A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
JP4088583B2 (ja) * 2001-05-30 2008-05-21 株式会社日立製作所 レーダ装置
GB0115433D0 (en) 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
JP3649166B2 (ja) * 2001-07-26 2005-05-18 日産自動車株式会社 物体種別判別装置及び物体種別判別方法
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
US7272482B2 (en) * 2002-09-30 2007-09-18 Nissan Motor Co., Ltd. Preceding-vehicle following control system
JP3862015B2 (ja) * 2002-10-25 2006-12-27 オムロン株式会社 車載用レーダ装置
KR100471268B1 (ko) * 2002-10-28 2005-03-10 현대자동차주식회사 차간거리 측정 방법
JP3841047B2 (ja) * 2002-12-05 2006-11-01 株式会社デンソー 車間制御装置
US7136753B2 (en) * 2002-12-05 2006-11-14 Denso Corporation Object recognition apparatus for vehicle, inter-vehicle control apparatus, and distance measurement apparatus
JP3736521B2 (ja) * 2002-12-19 2006-01-18 株式会社デンソー 車両用物体認識装置
JP4016826B2 (ja) 2002-12-10 2007-12-05 株式会社デンソー 物標識別方法及び装置、プログラム
US6680689B1 (en) * 2003-03-28 2004-01-20 Visteon Global Technologies, Inc. Method for determining object classification from side-looking sensor data
JP4172306B2 (ja) * 2003-03-31 2008-10-29 日本電気株式会社 レーダ信号処理装置
DE102004019651A1 (de) * 2004-04-22 2005-11-17 Siemens Ag Blindspot-Sensorsystem
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
DE102004046873A1 (de) * 2004-09-28 2006-04-13 Robert Bosch Gmbh Radarsensor und Verfahren zur Abstands- und Geschwindigkeitsregelung
JP2006201013A (ja) * 2005-01-20 2006-08-03 Hitachi Ltd 車載用レーダ
JP5152840B2 (ja) * 2007-11-07 2013-02-27 オムロンオートモーティブエレクトロニクス株式会社 車載用レーダ装置

Also Published As

Publication number Publication date
JP2007132748A (ja) 2007-05-31
US20090201192A1 (en) 2009-08-13
EP1947475B1 (en) 2012-08-29
CN101305295B (zh) 2012-03-21
CN101305295A (zh) 2008-11-12
EP1947475A1 (en) 2008-07-23
WO2007055215A1 (ja) 2007-05-18
EP1947475A4 (en) 2010-07-28
US7777669B2 (en) 2010-08-17

Similar Documents

Publication Publication Date Title
JP4304517B2 (ja) 物体検出装置
JP4428277B2 (ja) 物体検出装置
KR102572784B1 (ko) 운전자 보조 시스템 및 그 제어방법
EP3039450B1 (en) In-vehicle control device
EP1718491B1 (en) Running support system for vehicle
US8200419B2 (en) Braking control system and braking control method
JP4534846B2 (ja) 物体検出装置
JP6729282B2 (ja) 車両制御装置
JP6380232B2 (ja) 物体検出装置、及び物体検出方法
JP2004299455A (ja) 車両用制動制御装置
JP2006292621A (ja) 物体検出装置
JP5012270B2 (ja) 物体検出装置
JP2008037361A (ja) 障害物認識装置
JP3923200B2 (ja) 車両の障害物検知方法
US11074817B2 (en) Driving support apparatus
JP7122101B2 (ja) 車両用障害物検知装置
JP2006266927A (ja) 物体検出装置
JP4904983B2 (ja) 物体検出装置
JP4670449B2 (ja) 物体検出装置
JP2007071631A (ja) 車両用物標判定装置
WO2021172532A1 (ja) 駐車支援装置および駐車支援方法
CN115871655A (zh) 车辆及其控制方法
JP2012020623A (ja) 車両制御装置
KR20210129913A (ko) 운전자 보조 시스템
WO2022044885A1 (ja) 走行支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090401

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090414

R151 Written notification of patent or utility model registration

Ref document number: 4304517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees