JP3750512B2 - 車両用周辺障害物検出装置 - Google Patents

車両用周辺障害物検出装置 Download PDF

Info

Publication number
JP3750512B2
JP3750512B2 JP2000312077A JP2000312077A JP3750512B2 JP 3750512 B2 JP3750512 B2 JP 3750512B2 JP 2000312077 A JP2000312077 A JP 2000312077A JP 2000312077 A JP2000312077 A JP 2000312077A JP 3750512 B2 JP3750512 B2 JP 3750512B2
Authority
JP
Japan
Prior art keywords
vehicle
distance
detection device
obstacle
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000312077A
Other languages
English (en)
Other versions
JP2002123818A (ja
Inventor
省吾 渡辺
好宏 佐藤
高橋  宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000312077A priority Critical patent/JP3750512B2/ja
Priority to US09/973,718 priority patent/US6828903B2/en
Publication of JP2002123818A publication Critical patent/JP2002123818A/ja
Application granted granted Critical
Publication of JP3750512B2 publication Critical patent/JP3750512B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314Parking operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93272Sensor installation details in the back of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/934Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the depth, i.e. width, not length, of the parking space
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/935Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/936Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring parking spaces extending transverse or diagonal to the driving direction, i.e. not parallel to the driving direction

Description

【0001】
【発明の属する技術分野】
本発明は車両周辺の障害物の位置を検出する装置に関する。
【0002】
【従来の技術】
車両を駐車するときに車両周囲の障害物に接触するのを防止するために、障害物の位置を検出して運転者に報知する車両用周辺障害物検出装置が知られている(例えば、特開平08−301029号公報および特開平11−304910号公報参照)。これらの装置では、検出ビームの方向をずらして複数の超音波センサーを配置し、各センサーの検出範囲の一部を重ね合わせることによって複数の検出範囲を形成し、それらのセンサーの検出パターンによって障害物のおおよその位置を検出している。
【0003】
【発明が解決しようとする課題】
ところで、超音波センサーなどのように拡がりのある検出ビームのレーダーでは、障害物の最近点までの距離しか検出できず、障害物の方向を正確に検出することはできない。レーダーの検出範囲内に存在する物体の内の最も近い物までの距離を検出するので、例えば検出距離が1mの場合には、1mの距離にある物体が検出範囲内のどの方向に存在するのか分からない。
【0004】
レーダーの検出可能範囲の特性は、検出距離ごとに検出ビームの中心軸から中心軸と直交する方向に何m以内、あるいは中心軸から何度以内として規定されている。例えば、検出距離1mにおいて検出ビームの中心軸から中心軸と直交する方向に±0.5m以内、あるいは検出ビームの中心軸から±26度以内というように規定される。この場合には、1m先の物体が検出ビームの中心軸から中心軸と直交する方向に最大1mの誤差、または検出ビームの中心軸から最大52度の誤差を持つことになる。
【0005】
このように、上述した従来の車両用周辺障害物検出装置では、拡がりのある検出ビームのレーダーを用いているので、障害物の最近点までの距離を正確に検出できてもその障害物の方向を正確に検出できず、したがって障害物の位置を正確に検出することができないという問題がある。
【0006】
また、拡がりのある検出ビームのレーダーにより物体を検出すると、物体の凸部はその幅が実際よりも広く捉えられる。また、凹部の両端に凸部がある物体に対しては、両端の凸部がレーダーの検出範囲に入ると、両端の凸部が実際よりも広く捉えられるので、その分だけ凹部が狭く捉えられる。場合によっては、凹部の再深部までの距離を検出できないことがある。つまり、従来の車両用周辺障害物検出装置では、物体の凹凸を正確に検出することができないという問題もある。
【0007】
さらに、従来の車両用周辺障害物検出装置では、複数の超音波センサーの検出範囲の一部を互いに重ね合わせているので、センサー間の干渉を防止するために所定の時間的余裕を持ってセンサーを順次動作させなければならず、おおよその障害物の位置を把握するまでに時間がかかるという問題もある。
【0008】
本発明の目的は、車両周辺の障害物の位置と凹凸を正確に早く検出することにある。
【0009】
【課題を解決するための手段】
) 一実施の形態の構成を示す図1に対応づけて請求項1〜6の発明を説明すると、請求項の発明は、車両周辺の所定の検出範囲内に存在する物体までの距離を測定する距離測定手段1A〜1Dと、車両の移動に伴う距離測定手段1A〜1Dによる測定値の変化量を検出する変化量検出手段6と、変化量検出手段6によって検出された測定値の変化量が所定の閾値を超えたときに、距離測定手段1A〜1Dによる測定値に基づいて決定される検出範囲の幅の両端の内、車両の移動方向側の端に車両周辺物体が存在すると推定する物体推定手段6と、車両からの物体推定手段6によって推定された車両周辺物体の方向を推定する方向推定手段6と、方向推定手段6で推定された車両からの車両周辺物体の方向に基づいて、撮像手段2 A 〜2 D で撮像された検出範囲内の画像の中から画像処理範囲を決定する処理範囲決定手段6と、画像処理範囲決定手段6で決定された画像処理範囲の画像を処理して縦エッジを抽出するエッジ抽出手段6と、エッジ抽出手段6で抽出した縦エッジと、方向推定手段6で推定された車両周辺物体の推定方向に基づいて、車両周辺物体の端部を検出する端部検出手段6とを備える。
) 請求項の車両用周辺障害物検出装置は、車速を検出する車速検出手段4,5を備え、処理範囲決定手段6によって、車速検出値が大きいほど画像処理範囲を広くするようにしたものである。
)請求項の車両用周辺障害物検出装置は、処理範囲決定手段6によって、距離測定値が小さいほど画像処理範囲を広くするようにしたものである。
) 請求項の車両用周辺障害物検出装置は、端部検出手段6は、抽出した複数の縦エッジの中から車両周辺物体の推定方向と各縦エッジのエッジ強度とに基づいて車両周辺物体の端部に対応する縦エッジを選択するようにしたものである。
) 請求項の車両用周辺障害物検出装置は、車両の挙動を検出する挙動検出手段3〜5と、挙動検出手段3〜5による検出値に応じて距離測定手段6で検出された物体までの距離を補正する距離補正手段6とを備える。
) 請求項の車両用周辺障害物検出装置は、距離測定手段1A〜1Dの測定範囲と撮像手段2A〜2Dの撮像範囲とを略一致させるようにしたものである。
【0010】
上述した課題を解決するための手段の項では、説明を分かりやすくするために一実施の形態の図を用いたが、これにより本発明が一実施の形態に限定されるものではない。
【0011】
【発明の効果】
(1) 請求項の発明によれば、車両から車両周辺物体までの方向を推定し、車両周辺の画像を撮像し撮像画像を処理して縦エッジを抽出し、抽出した縦エッジと車両周辺物体までの方向とに基づいて車両周辺物体の端部を検出するようにしたので、拡がりのある検出ビームの距離測定装置を用いても、車両周辺の障害物の位置を正確に早く検出することができる。
) 請求項の発明によれば、車速検出値が大きいほど画像処理範囲を広くするようにしたので、車速に応じた最適な画像処理範囲を決定することができ、それにより障害物の方向を正確に早く検出することができる。
) 請求項の発明によれば、距離測定値が小さいほど画像処理範囲を広くするようにしたので、距離測定値に応じた最適な画像処理範囲を決定することができ、それにより障害物の方向を正確に早く検出することができる。
(4) 請求項の発明によれば、抽出した縦エッジの中から推定方向とエッジ強度とに基づいて車両周辺物体の端部に対応する縦エッジを選択するようにしたので、正確な障害物の方向を得ることができ、それにより障害物の位置を正確に検出することができる。
) 請求項の発明によれば、車両挙動検出値に応じて距離測定値を補正するようにしたので、車両挙動による距離測定値への影響を排除して正確な障害物までの距離を得ることができる。
) 請求項の発明によれば、距離測定手段の測定範囲と撮像手段の撮像範囲とを略一致させるようにしたので、効率よく障害物の位置を検出することができる。
【0012】
【発明の実施の形態】
図1は一実施の形態の構成を示す図である。距離測定装置1A〜1Dは、超音波センサーやマイクロ波レーダーのように拡がりのある検出ビームを有し、車両の周辺に存在する物体(以下、障害物と呼ぶ)の最近点までの距離を検出する。この実施の形態では、図2に示すように車両の前後側面に4台の距離測定装置1A〜1Dを設置し、車両の側方の障害物までの距離を検出する例を示す。なお、車両の前後に前方と後方の障害物までの距離を検出する距離測定装置を設けてもよい。これらの距離測定装置1A〜1Dの距離検出特性は、図3に示すように検出範囲11A〜11Dが検出ビームの中心軸12A〜12Dと直交する方向に幅があり、その幅のどこに障害物が存在するかまでは検出できない。つまり、距離測定装置1A〜1Dは、障害物までの距離を正確に検出できるが、障害物の方向を正確に検出することはできない。
【0013】
カメラ2A〜2Dは、CCDやCMOSなどの撮像素子により被写体像を撮像するカメラである。この実施の形態では、図2に示すように車両の前後側面の距離測定装置1A〜1Dの近傍にカメラ2A〜2Dを設置し、車両の側方を撮像する例を示す。また、これらのカメラ2A〜2Dの撮像範囲13A〜13Dは、距離測定装置1A〜1Dの検出ビームの中心軸12A〜12Dを中心とし、距離測定装置1A〜1Dの検出範囲11A〜11Dと略一致させる。これにより、効率よく障害物の位置を検出することができる。
【0014】
シフトセンサー3は自動変速機(不図示)のシフトレバー位置を検出する。また、左車輪速センサー4は左後輪の回転速度を検出し、右車輪速センサー5は右後輪の回転速度を検出する。シフトセンサー3および左右の車輪速センサー4,5により車両の挙動、すなわち車両の位置、進行方向、向き、移動距離、移動速度を検出することができる。
【0015】
演算処理装置6はCPU6a、ROM6b、RAM6cなどから構成され、距離測定装置1A〜1Dにより検出した障害物までの距離と、カメラ2A〜2Dにより撮像した周囲画像と、シフトセンサー3および左右車輪速センサー4,5により検出した車両の挙動に基づいて障害物までの距離と方向を検出し、それにより障害物の位置を検出する。さらに、検出結果をディスプレイ7に表示するとともに、スピーカー8により警告放送を行う。
【0016】
図4は一実施の形態の障害物検出処理を示すフローチャートである。このフローチャートにより、一実施の形態の動作を説明する。演算処理装置6のCPU6aは、装置のメインスイッチ(不図示)が投入されるとこの障害物検出処理を繰り返し実行する。ステップ1において、距離測定装置1A〜1Dにより距離を測定するとともに、カメラ2A〜2Dにより車両の側方を撮像する。なお、この実施の形態では距離測定装置1Aによる距離測定値とカメラ2Aによる撮像画像に基づいて、車両左前側方の障害物の位置を検出する例を示すが、距離測定装置1B〜1Dとカメラ2B〜2Dによる車両右前側方、車両左後側方および車両右後側方の障害物位置検出処理も同様であり、それらの説明を省略する。
【0017】
図5(a)は駐車場の壁21と駐車車両22を示す。この実施の形態では、図5(a)に示す駐車場に駐車するために、車両左前側方に設置された距離測定装置1Aとカメラ2Aにより障害物の位置を検出する例を示す。図5(b)は、図5(a)に示す駐車場で距離測定装置1Aにより繰り返し測定した距離測定値の点列23を示す。また、図6は、図5(a)に示す駐車場における距離測定装置1Aによる測定の様子を示す。
【0018】
上述したように、距離測定装置1Aの検出ビームには拡がりがあり、障害物までの距離は正確に検出できるが、障害物の方向を正確に検出できない。今、図6に示す車両位置において距離測定装置1Aにより距離を検出したとすると、その距離測定値は駐車車両22の最近点までの距離24である。ところが、距離測定装置1Aの検出範囲11Aは図3に示すように距離測定値に応じて幅が変化し、今回の距離測定値24に対しては幅25が存在する。この幅25の内のどこに障害物が存在するのか特定できないので、拡がりのある検出ビームを用いた距離測定装置1Aでは、検出ビームの中心軸12A上に障害物が存在するものとする。このような距離測定装置1Aで距離測定を行った場合、図5(a)に示す壁21や駐車車両22の端部で距離測定値が大きく変化しなければならないのに、障害物の方向を正確に検出できないため、図5(b)に示すように壁21や駐車車両22の端部と距離検出値の点列23の変化点とが大きくずれてしまう。
【0019】
次に図4のステップ2において、距離測定値が大きく変化する点を特定するために、距離測定値の変化量を演算する。まず、距離測定値の変化量の演算に先立ち、車両の挙動により距離測定値を補正する。例えば、車両が障害物である壁に対して斜めに移動すると、壁までの距離測定値はある傾きを持つ点列となり、点列の平均値などが車両挙動により変化するため、距離測定値が変化した点を特定することが困難になる。
【0020】
そこで、次のようにして車両挙動に応じて距離測定値を補正する。道路平面に二次元の座標系を設定し、その座標系における車両位置をPc(xc,yc)とし、障害物位置をPo(xo,yo)とする。障害物位置Poは車両位置Pcからの変位となるので、障害物位置Poを道路平面の座標系の絶対位置Pc+Poに変換し、車両挙動に依存しない障害物位置Pc+PoとしてRAM6cに記憶する。
【0021】
この実施の形態では、時刻tにおける距離測定装置1Aの距離測定値Rを、車両挙動に基づいて補正した値をR(t)と表す。最新の距離測定値R(t0)、1計測周期前の距離測定値R(t1)、n計測周期前の距離測定値R(tn)、およびn周期前から1周期前までの過去の距離測定値の平均値ave(R(t1),R(tn))に基づいて、最新の距離測定値R(t0)の変化量を次式により算出する。
【数1】
R(t0)−ave(R(t1),R(tn))
【0022】
図4のステップ3において、次式により最新の距離測定値R(t0)の変化量がしきい値を超えているかどうかを判定する。
【数2】
|R(t0)−ave(R(t1),R(tn))|>k・σ(R(t1),R(tn))
ここで、σ(R(t1),R(tn))はn周期前から1周期前までの過去の距離測定値の標準偏差である。また、kは最適なしきい値を決定するための係数であり、実験などにより決定する。最新の距離測定値R(t0)の変化量がしきい値を超えた場合は、距離検出ビームの中心軸12A上の最新の距離測定値R(t0)の点を距離測定値の変化点とし、ステップ4へ進む。一方、最新の距離測定値R(t0)の変化量がしきい値以下の場合は、最新の距離測定値R(t0)の点は距離測定値の変化点ではないとし、ステップ1へ戻って上記処理を繰り返す。
【0023】
なお、距離測定装置1A〜1Dの検出特性は図3に示すように至近範囲と所定距離より遠方の範囲では測定不能となり、距離測定装置1A〜1Dから非検知信号が出力される。したがって、距離測定装置1A〜1Dの出力が非検知信号から距離測定値へ変化した点、逆に距離測定値から非検知信号へ変化した点も距離測定値の変化点とする。
【0024】
図4のステップ4において、距離測定装置1Aの測定結果に基づいて障害物が存在する方向を推定する。変化点を検出した時刻t0における最新の距離測定値R(t0)が過去の平均値ave(R(t1),R(tn))より小さくなって、数式1に示す最新の距離測定値R(t0)の変化量が負になった場合は、距離測定装置1Aの検出範囲11Aの車両進行方向側に障害物が入ってきたと推定される。したがって、この場合は車両の進行方向側に注目する。逆に、変化点を検出した時刻t0における最新の距離測定値R(t0)が過去の平均値ave(R(t1),R(tn))より大きくなって、数式1に示す最新の距離測定値R(t0)の変化量が正になった場合は、距離測定装置1Aの検出範囲11Aの車両の進行方向と反対側から障害物が出ていったと推定される。したがって、この場合は車両の進行方向と反対側に注目する。つまり、車両の移動方向に応じて距離測定装置1Aの検出範囲11Aの注目する範囲を変える。
【0025】
図6において、障害物(駐車車両22)の最近点までの距離24が検出された場合は、中心軸12A上の距離24の位置における検出範囲11Aの幅25の両端の内、車両の移動方向側の端に障害物が存在すると推定し、距離測定装置1Aから障害物の推定位置への方向を障害物の推定方向θeとする。この方向θeは、距離24および幅25により求めることができる。このように、車両の移動方向を考慮して車両周辺の障害物の方向を推定するようにしたので、正確な障害物方向を得ることができる上に、後述する画像処理におけるデータ量を低減することができ、画像処理時間を短縮することができる。それにより、障害物の位置を正確に早く検出できる。
【0026】
なお、道路平面において距離測定装置1Aとカメラ2Aの取り付け位置がずれている場合は、距離測定装置1Aから見た障害物の推定方向θeをカメラ2Aから見た方向に変換する。
【0027】
図4のステップ5において、障害物の推定方向θeに基づいてカメラ2Aの撮像画像から画像処理により障害物の方向を検出する範囲、すなわち画像処理範囲を決定する。具体的には、図7(a)、(b)に示すようにカメラ2Aで撮像した画像26の内の、障害物の推定方向θeを中心とする±Δθの範囲に対応する範囲27を、画像処理により障害物の方向を検出する範囲とする。
【0028】
ここで、Δθを車速Vに応じて決定する。例えば、車速Vが高いときはΔθを広くし、車速Vが低いときはΔθを狭くする。また、Δθを最新の距離測定値R(t0)に応じて決定してもよい。例えば、距離測定値R(t0)が小さい場合はΔθを広くし、距離測定値R(t0)が大きい場合はΔθを狭くする。このように、車速Vが高いほど画像処理範囲を大きくし、距離測定値R(t0)が小さいほど画像処理範囲を大きくすることによって、車速Vと距離測定値R(t0)に応じた最適な画像処理範囲を決定することができ、それにより障害物の方向を正確に早く検出することができる。
【0029】
なお、撮像画像の内の画像処理範囲は上述した(θe−Δθ)〜(θe+Δθ)の範囲に限定されない。上述したように、数式1に示す最新の距離測定値R(t0)の変化量が負になった場合は、距離測定装置1Aの検出範囲11Aの車両進行方向側に障害物が入ってきたと推定される。したがって、この場合は車両の進行方向側に注目し、画像処理範囲をθe〜(θe+Δθ)とする。逆に、数式1に示す最新の距離測定値R(t0)の変化量が正になった場合は、距離測定装置1Aの検出範囲11Aの車両の進行方向と反対側から障害物が出ていったと推定される。したがって、この場合は車両の進行方向と反対側に注目し、画像処理範囲を(θe−Δθ)〜θeとする。このように、車両の移動方向に応じて画像処理範囲を限定することにより、画像処理のデータ量を低減することができ、画像処理時間を短縮することができる。それにより、障害物の位置を正確に早く検出できる。
【0030】
次に、図4のステップ6において、方向検出範囲の撮像画像を処理して障害物の方向を検出する。具体的には、図8(a)に示す撮像画像26の内の障害物の方向を検出する範囲27の画像に対して縦エッジ抽出処理を行い、図8(b)に示すように駐車車両22の端部に対応する縦エッジE(θ)を検出する。そして、抽出した縦エッジE(θ)を次式により評価する。
【数3】
M=(Σ|E(θe)−E(θ)|2)/I(E(θ))
数式3において、Mは評価関数であり、|E(θe)−E(θ)|はθe方向の縦エッジE(θe)と評価対象の縦エッジE(θ)との間の距離を表す。また、I(E(θ))はエッジ強度を表し、輝度のy軸方向の累積値、あるいはハフ変換をした際のρ−θ空間(ハフ空間)における投票数で表現する。範囲27の画像から抽出した縦エッジE(θ)の中で評価関数Mを最小にするエッジを選択し、そのエッジの方向を障害物の方向θdとする。
【0031】
このように、抽出した縦エッジE(θ)の中から推定方向θeとエッジ強度とに基づいて車両周辺障害物の端部に対応する縦エッジを選択し、選択した縦エッジの方向と距離測定値とに基づいて車両周辺物体の位置を検出するようにしたので、正確な障害物の方向を得ることができ、それにより障害物の位置を正確に検出することができる。
【0032】
ステップ7では、以上の処理により検出した障害物までの距離Rと障害物の方向θdとに基づいて、図3(a)に示す自車左側方の駐車場の障害物の位置を検出し、障害物を大局的に捉えた地図を生成してディスプレイ7に表示する。なお、予め設定した警報距離以下の距離が検出された場合はスピーカー8により警報する。
【0033】
このように、車両周辺に存在する障害物までの距離を測定するとともに、車両周辺の画像を撮像し、撮像画像を処理して縦エッジを抽出し、抽出した縦エッジの方向と距離測定値とに基づいて車両周辺の障害物の位置を検出するようにしたので、拡がりのある検出ビームの距離測定装置を用いても、車両周辺の障害物の位置と凹凸を正確に早く検出することができる。
【0034】
また、車両移動にともなう距離測定値の変化に基づいて車両周辺の障害物の方向を推定し、この推定方向に基づいて撮像画像の内の画像処理を行う範囲を決定する。そして、撮像画像の内の画像処理範囲から縦エッジを抽出し、抽出した縦エッジの方向と距離測定値とに基づいて車両周辺物体の位置を検出するようにしたので、画像処理のデータ量を低減することができ、画像処理時間を短縮して障害物の位置を早く検出することができる。
【図面の簡単な説明】
【図1】 一実施の形態の構成を示す図である。
【図2】 距離測定装置とカメラの取り付け位置を示す図である。
【図3】 距離測定装置の測定可能範囲を示す図である。
【図4】 一実施の形態の障害物検出処理を示すフローチャートである。
【図5】 駐車場とその駐車場での障害物距離の測定結果を示す図である。
【図6】 図5に示す駐車場における距離測定の様子を示す図である。
【図7】 画像処理により障害物の方向を検出するために、撮像画像の中から画像処理を行う範囲を決定する方法を説明する図である。
【図8】 画像処理により障害物の方向を検出する方法を説明する図である。
【符号の説明】
1A〜1D 距離測定装置
2A〜2D カメラ
3 シフトセンサー
4 左車輪速センサー
5 右車輪速センサー
6 演算処理装置
6a CPU
6b ROM
6c RAM
7 ディスプレイ
8 スピーカー

Claims (6)

  1. 車両周辺の所定の検出範囲内に存在する物体までの距離を測定する距離測定手段と、
    前記車両の移動に伴う前記距離測定手段による測定値の変化量を検出する変化量検出手段と、
    前記変化量検出手段によって検出された前記測定値の変化量が所定の閾値を超えたときに、前記距離測定手段による測定値に基づいて決定される前記検出範囲の幅の両端の内、前記車両の移動方向側の端に車両周辺物体が存在すると推定する物体推定手段と、
    前記車両からの前記物体推定手段によって推定された前記車両周辺物体の方向を推定する方向推定手段と、
    前記方向推定手段で推定された前記車両からの前記車両周辺物体の方向に基づいて、撮像手段で撮像された前記検出範囲内の画像の中から画像処理範囲を決定する処理範囲決定手段と、
    前記画像処理範囲決定手段で決定された画像処理範囲の画像を処理して縦エッジを抽出するエッジ抽出手段と、
    前記エッジ抽出手段で抽出した縦エッジと、前記方向推定手段で推定された前記車両周辺物体の推定方向に基づいて、前記車両周辺物体の端部を検出する端部検出手段とを備えることを特徴とする車両用周辺障害物検出装置。
  2. 請求項1に記載の車両用周辺障害物検出装置において、
    車速を検出する車速検出手段を備え、
    前記処理範囲決定手段は、前記車速検出値が大きいほど前記画像処理範囲を広くすることを特徴とする車両用周辺障害物検出装置。
  3. 請求項1または2に記載の車両用周辺障害物検出装置において、
    前記処理範囲決定手段は、前記距離測定手段による測定値が小さいほど前記画像処理範囲を広くすることを特徴とする車両用周辺障害物検出装置。
  4. 請求項1〜3のいずれか一項に記載の車両用周辺障害物検出装置において、
    前記端部検出手段は、前記エッジ抽出手段で抽出した複数の縦エッジの中から、前記方向推定手段で推定された前記車両周辺物体の推定方向と、前記各縦エッジのエッジ強度とに基づいて、前記車両周辺物体の端部に対応する縦エッジを選択することを特徴とする車両用周辺障害物検出装置。
  5. 請求項1〜4のいずれかの一項に記載の車両用周辺障害物検出装置において、
    車両の挙動を検出する挙動検出手段と、
    前記挙動検出手段による検出値に応じて前記距離測定手段で検出された前記物体までの距離を補正する距離補正手段とをさらに備えることを特徴とする車両用周辺障害物検出装置。
  6. 請求項1〜5のいずれかの一項に記載の車両用周辺障害物検出装置において、
    前記距離測定手段による測定範囲と前記撮像手段の撮像範囲とを略一致させることを特徴とする車両用周辺障害物検出装置。
JP2000312077A 2000-10-12 2000-10-12 車両用周辺障害物検出装置 Expired - Fee Related JP3750512B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000312077A JP3750512B2 (ja) 2000-10-12 2000-10-12 車両用周辺障害物検出装置
US09/973,718 US6828903B2 (en) 2000-10-12 2001-10-11 Method and apparatus for detecting position of object present in a surrounding detection zone of automotive vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000312077A JP3750512B2 (ja) 2000-10-12 2000-10-12 車両用周辺障害物検出装置

Publications (2)

Publication Number Publication Date
JP2002123818A JP2002123818A (ja) 2002-04-26
JP3750512B2 true JP3750512B2 (ja) 2006-03-01

Family

ID=18791737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000312077A Expired - Fee Related JP3750512B2 (ja) 2000-10-12 2000-10-12 車両用周辺障害物検出装置

Country Status (2)

Country Link
US (1) US6828903B2 (ja)
JP (1) JP3750512B2 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
DE10235414A1 (de) * 2002-08-02 2004-02-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung des Bevorstehens einer unausweichbaren Kollision
FR2846100B1 (fr) * 2002-10-16 2005-01-07 Alstom Procede et dispositif pour la localisation d'un rebord dispose a la jonction de deux surfaces globalement planes
CN1701242A (zh) * 2003-03-20 2005-11-23 松下电器产业株式会社 障碍检测设备
WO2004102500A1 (ja) * 2003-05-16 2004-11-25 Fujitsu Limited 警報システム,警報制御装置,及び警報制御プログラム
JP2005009992A (ja) * 2003-06-18 2005-01-13 Denso Corp 車両用周辺監視装置
US6834232B1 (en) 2003-07-30 2004-12-21 Ford Global Technologies, Llc Dual disimilar sensing object detection and targeting system
US7183933B2 (en) * 2004-03-23 2007-02-27 Northcoast Innovations Garage carbon monoxide detector with automatic garage door opening command
CN100456828C (zh) * 2004-04-27 2009-01-28 松下电器产业株式会社 车辆周围环境显示装置
JP4179285B2 (ja) * 2005-01-12 2008-11-12 トヨタ自動車株式会社 駐車支援装置
EP2290144A1 (en) * 2005-01-14 2011-03-02 Electrolux Home Products Corporation N.V. Textile product treating apparatus having an ultrasonic cleaning device
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP4352034B2 (ja) * 2005-09-13 2009-10-28 株式会社東芝 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
JP4682816B2 (ja) * 2005-11-17 2011-05-11 アイシン精機株式会社 障害物位置検出装置
US8194132B2 (en) 2006-01-20 2012-06-05 Old World Industries, Llc System for monitoring an area adjacent a vehicle
JP4432929B2 (ja) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
DE102006020930B4 (de) * 2006-05-05 2018-04-12 Conti Temic Microelectronic Gmbh Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
JP4360403B2 (ja) 2006-12-27 2009-11-11 トヨタ自動車株式会社 車載用障害物検知装置
US8013780B2 (en) * 2007-01-25 2011-09-06 Magna Electronics Inc. Radar sensing system for vehicle
JP4386083B2 (ja) * 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
FR2922029A1 (fr) * 2007-10-08 2009-04-10 Imra Europ Sas Soc Par Actions Dispositif et methode de detection d'objet
CN101470806B (zh) * 2007-12-27 2012-06-27 东软集团股份有限公司 车灯检测方法和装置、感兴趣区域分割方法和装置
TWI315271B (en) * 2007-12-27 2009-10-01 Ind Tech Res Inst Parking guidance device and method thereof
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
KR101283792B1 (ko) * 2009-11-17 2013-07-08 주식회사 만도 주차공간 인식 방법 및 장치
JP5511431B2 (ja) * 2010-02-22 2014-06-04 本田技研工業株式会社 駐車支援装置
DE102010011497A1 (de) * 2010-03-16 2011-09-22 GM Global Technology Operations LLC , (n. d. Ges. d. Staates Delaware) Verfahren zur Vermeidung oder Abschwächung einer Kollision, Steuervorrichtung für ein Fahrerassistenzsystem und Fahrzeug
DE102010031056A1 (de) * 2010-07-07 2012-01-12 Robert Bosch Gmbh Verfahren zum Kalibrieren eines Messsystems und eines Messplatzes zur Fahrzeugvermessung
JP5906432B2 (ja) * 2011-11-24 2016-04-20 パナソニックIpマネジメント株式会社 超音波センサシステム
DE102013102153A1 (de) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
DE102013202915A1 (de) * 2013-02-22 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Vermessen einer Parklücke für ein Einparkassistenzsystem eines Kraftfahrzeugs
WO2015187866A1 (en) * 2014-06-03 2015-12-10 Jones Freddy In-time registration of temporally separated image acquisition
GB2528098B (en) 2014-07-09 2018-11-21 Jaguar Land Rover Ltd Vehicle camera system
KR101966655B1 (ko) * 2016-09-30 2019-04-09 주식회사 피엘케이 테크놀로지 광학 흐름 분석을 이용한 차량 충돌 경보 금지 방법
JP6579144B2 (ja) 2017-03-28 2019-09-25 株式会社Soken 障害物検知装置
DE102017130488A1 (de) * 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
US20190339362A1 (en) * 2018-05-03 2019-11-07 Mediatek Inc. Signature-based object detection method and associated apparatus
WO2019215789A1 (ja) * 2018-05-07 2019-11-14 三菱電機株式会社 駐車支援装置
JP7363575B2 (ja) * 2020-02-27 2023-10-18 株式会社デンソー 物体検知装置
US11535257B2 (en) * 2020-05-22 2022-12-27 Robert Bosch Gmbh Lane localization system and method
CN112946661B (zh) * 2021-02-08 2023-10-20 同致电子科技(厦门)有限公司 一种基于360°环视系统多目视觉的路沿检测方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5767793A (en) 1995-04-21 1998-06-16 Trw Inc. Compact vehicle based rear and side obstacle detection system including multiple antennae
JPH1059068A (ja) * 1996-08-23 1998-03-03 Yoshihisa Furuta 車両の死角確認装置
JP3843502B2 (ja) * 1996-09-30 2006-11-08 マツダ株式会社 車両用動体認識装置
DE19749086C1 (de) * 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
DE19806150C1 (de) * 1998-02-14 1999-09-16 Daimler Chrysler Ag Fahrzeug mit Objekterfassungseinrichtung
JP3956251B2 (ja) 1998-04-16 2007-08-08 マツダ株式会社 車両用障害物検出装置及び障害物検出用トランスデューサの配置方法
JP3986683B2 (ja) * 1998-08-25 2007-10-03 本田技研工業株式会社 車両の走行安全装置

Also Published As

Publication number Publication date
JP2002123818A (ja) 2002-04-26
US6828903B2 (en) 2004-12-07
US20020044048A1 (en) 2002-04-18

Similar Documents

Publication Publication Date Title
JP3750512B2 (ja) 車両用周辺障害物検出装置
US8320628B2 (en) Method and system for assisting driver
JP3596314B2 (ja) 物体端の位置計測装置および移動体の通行判断装置
JP3630100B2 (ja) 車線検出装置
JP3941252B2 (ja) 車両の位置検出装置
JP4763250B2 (ja) 物体検出装置
US20080205706A1 (en) Apparatus and method for monitoring a vehicle's surroundings
EP1908641A1 (en) Parking assistance device
US20020057195A1 (en) Method and apparatus for estimating inter-vehicle distance using radar and camera
JP2004531424A5 (ja)
US20190325607A1 (en) Movement information estimation device, abnormality detection device, and abnormality detection method
JP3925285B2 (ja) 走行路環境検出装置
JP5590774B2 (ja) 物体検出装置
JP4719996B2 (ja) 物体検知装置
KR101190789B1 (ko) 차량의 거리 측정 장치 및 방법
CN110660229A (zh) 车速的测量方法、装置及车辆
US11794536B2 (en) Vehicle control system and vehicle control method for determining chance of collision
CN110658353B (zh) 运动物体速度的测量方法、装置及车辆
JP3838020B2 (ja) 障害物検出装置
JP2919718B2 (ja) 自動車用距離計測装置とこれを搭載した自動車
CN110659551A (zh) 运动状态的识别方法、装置及车辆
EP1906208A1 (en) Park assist system visually marking up dangerous objects
JP2002099904A (ja) 車両用走行区分線検出装置
JP4144464B2 (ja) 車載用距離算出装置
JP6818902B2 (ja) 車両検知システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131216

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees