JP3619628B2 - 走行環境認識装置 - Google Patents

走行環境認識装置 Download PDF

Info

Publication number
JP3619628B2
JP3619628B2 JP33972496A JP33972496A JP3619628B2 JP 3619628 B2 JP3619628 B2 JP 3619628B2 JP 33972496 A JP33972496 A JP 33972496A JP 33972496 A JP33972496 A JP 33972496A JP 3619628 B2 JP3619628 B2 JP 3619628B2
Authority
JP
Japan
Prior art keywords
white line
vehicle
image
coordinate system
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP33972496A
Other languages
English (en)
Other versions
JPH10187930A (ja
Inventor
寛 武長
浩司 黒田
倉垣　　智
光男 萱野
徳治 吉川
裕人 森實
和朗 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP33972496A priority Critical patent/JP3619628B2/ja
Priority to US08/994,750 priority patent/US6191704B1/en
Publication of JPH10187930A publication Critical patent/JPH10187930A/ja
Application granted granted Critical
Publication of JP3619628B2 publication Critical patent/JP3619628B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9325—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles for inter-vehicle distance regulation, e.g. navigating in platoons

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車などの車両に搭載され、自車両が走行する道路の環境を認識する装置に係り、特に画像処理により走行環境を認識する装置に関する。
【０００２】
【従来の技術】
自動車の性能が向上するにつれ、走行レーンや、他の車両など、自車両が走行する周囲の環境を認識して、事故が発生しそうな状況を検出し、ドライバーに警報を出して危険回避操作を促したり、或いは積極的に車を自動制御して事故を未然に防止するという予防安全機能の付与が重要になってきている。
【０００３】
更に、このとき、ドライバーに警告を与えるだけでなく、積極的に車両を制御し、例えば車間距離を一定に制御して走行する自動クルーズや、更には自動運転等のシステムに対する関心が大きく高まってきているが、このような予防安全、自動クルーズ走行、更には自動運転を達成するためには、自車両の走行環境を高速で認識する必要がある。
【０００４】
そこで、ＴＶカメラなどの撮像装置を用い、車両の前方を中心とする画像情報を処理することより、走行レーンや他車両などを抽出し、車両の走行環境を認識する技術が、従来から用いられていた。
【０００５】
【発明が解決しようとする課題】
上記従来技術は、画像情報から走行レーンや他車両などを抽出するのに必要な画像信号処理が膨大になる点についての配慮がされておらず、必要とする応答性に対して信号処理能力の大幅な増強を要するという問題があった。
【０００６】
すなわち、画像情報による車両の走行環境の認識には、画像情報の中から認識すべき対象を探索して切り出す必要があるが、従来技術では、撮像装置から得た複雑な画像情報からそのまま切り出し処理を実行しているため、その信号処理に膨大な計算量が必要になり、この結果、要求される応答性の維持に、大幅な信号処理能力の増強を伴ってしまうのである。
【０００７】
特に、近年、走行環境があまり変化しない自動車専用道路（高速道路）だけでなく、一般道路をも対象とする点についての要望が高まっているが、この要望を満たすためには、信号機、交差点内の右左折車、歩行者等も認識する必要があり、更に複雑な画像が対象となる。
【０００８】
そうすると、このように更に複雑な画像から、走行レーンや前方車両の他に、信号機等の対象物を切り出すためには、従来技術では、より膨大な計算量を要することになり、上記の問題は、より一層、深刻なものになってしまう。
【０００９】
本発明の目的は、計算量の増加を抑えながら、充分な応答性の維持が得られるようにした走行環境認識装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的は、車両に搭載したレーダから得た車両前方の前方車両や静止物までの距離、方位、更にはＧＰＳ装置から得た車両位置に対応付けた道路地図から車両前方の交差点情報を用い、これにより撮像装置から得られる画像内での走行レーン、前方車両、静止物、信号機、横断歩道等の位置を推定して走行環境を認識するようにして達成される。
【００１１】
撮像装置は車両の走行方向の画像を撮影する。
画像処理装置は撮像装置から得られる画像内で、走行レーン、前方車両、静止物、信号機、横断歩道等の位置を推定して車両周囲の走行環境を認識する。
レーダは電波やレーザ光を発射し、反射信号を処理して、車両前方の前方車両や静止物までの距離、方位を計測する。
道路地図装置は、ＧＰＳ装置から得た車両位置を道路地図上に対応付け、車両前方での交差点の有無、交差点までの距離情報を画像処理装置に出力する。
【００１２】
【発明の実施の形態】
以下、本発明による走行環境認識装置について、図示の一実施形態により詳細に説明する。
図１は本発明の一実施形態例で、１は画像処理装置、２は撮像装置、３はレーダ、４は道路地図装置、５はＧＰＳアンテナ、６は表示装置である。
【００１３】
そして、これらは、例えば図２に示すように、車両１００に設置されて用いられる。従って、以下、この車両１００を自車両１００と記す。
この図２で、自車両１００は、例えば自動車で、図２（ａ）は自車両１００の側面から見た状態で、図２（ｂ）は自車両１００を上面から見た状態である。
【００１４】
画像処理装置１は、マイクロコンピュータを備え、所定のプログラムを搭載していて、撮像装置２、レーダ３、道路地図装置４などから所定の各種の信号の供給をうけ、後述する各種の画像信号処理を実行する。
撮像装置２は、自車両１００の前方の所定範囲を撮像視野とするテレビジョンカメラなどで構成されており、自車両１００が走行中の画像信号を画像処理装置１に供給する働きをする。
【００１５】
レーダ３は、電波又はレーザ光（以下、電波等という）を用いて、自車両１００の前方にある物体までの距離と方位を測定し、測定結果を画像処理装置１に供給する働きをするが、このとき、後述する座標変換を簡単化するため、図２（ｂ）から明らかなように、方位がゼロのときレーダ３から発射される電波等の放射軸、すなわち検出軸が撮像装置２の撮像光軸と同一の軸Ｚに合わせて設置してある。
【００１６】
なお、撮像装置２とレーダ３については、必ずしもこのように設置する必要はなく、ドライバーの視点から見た画像を必要とする場合は撮像装置を運転席側に設置すればよい。
また、運転席と反対側に設置すれば、ドライバーから見えない部分も含んだ画像を得ることができる。
【００１７】
道路地図装置４は、ＧＰＳアンテナ５と共にカーナビゲーション装置として周知の人工衛星電波による車両位置検出装置を構成し、自車両１００の位置を逐次検出し、その位置の検出結果と、その位置に対応した道路地図の画像情報を記憶装置の中から選択し、その道路地図の表示に必要な画像信号とを画像処理装置１に供給する働きをする。
【００１８】
表示装置６は、カラー液晶表示素子などの画像モニタで構成され、画像処理装置１から供給される画像情報をカラー画像として表示させ、ドライバーに認識させる働きをする。
【００１９】
次に、これら図１、図２に示した走行環境認識装置を用い、走行する車両の周囲環境を認識する方法について、以下に説明する。
まず、本発明の実施形態では、例えば図３に示すように、前方に右カーブがある高速道路上において、自車両１００の前方に、先行（前方）車両１０１、１０２が存在していて、共に走行している場合を想定する。ここで、走行レーンは路面に描かれている白線で規定されているものとする。
【００２０】
そして、この図３で、ｒ１、ｒ２は、自車両１００に搭載されているレーダ３で計測した、先行車両１０１と１０２のＰ１点及びＰ２点までの距離で、θ１、θ２は、Ｚ軸を基準としたＰ１点及びＰ２点までの角度、つまり方位を表わしている。
【００２１】
この図３の状況を、自車両１００に登載した撮像装置２で撮影すると、図４に示すような画像が得られる。
この図４の画像では、走行レーンの白線の一部が、先行車両１０２によって隠されているため、この隠されている部分に対しては、白線を認識する処理が行われないようにする必要があり、このためには、まず先行車両１０２を抽出する必要がある。
【００２２】
しかしながら、図４には示されていないが、道路の周囲は一般的に複雑な背景画像になっている上、車両の影も存在するため、これらを排除しながら画像の中から車両を抽出しなければならない。
従って、これが、従来技術で処理時間を多く必要としていた理由である。
【００２３】
しかして、これが、この実施形態によれば、レーダ３からの信号を使うことにより簡単に解決できる。すなわち、レーダ３によれば、上記したように、先行車両までの距離と方向を計測することができ、これらの距離と方位を用いることにより、上記の問題が解決できるのである。
【００２４】
そして、このように、先行車両の距離と方向が判れば、これと、撮像装置２で撮影した画像との対応付けは、画像処理装置１による座標変換で容易に得ることができる。
但し、このとき、レーダでは、先行車両だけでなく、電波等を反射する物体の全てを検知してしまう。
【００２５】
そこで、画像処理装置１は、レーダ３で検出した距離の変化を計算し、検出されている物体と自車両の相対速度を測定し、これにより、例えば自車両と同じ速度で接近してくる物体は静止物で、さらに早い速度で接近してくる物体は対向車両であるなどの判断を行うことができ、この結果、相対速度が所定値以下のものだけを選定することにより、先行している車両だけの情報を抽出するようになっている。
【００２６】
次に、画像処理装置１による座標変換について説明する。
まず、この実施形態では、撮像装置２で撮像した先行車両の画像と、レーダ３で測定された距離と方位との対応付けのため、次の２段のステップを用いる。
▲１▼ 撮像装置２の俯角や焦点距離を考慮して、先行車両１０１及び１０２を画像面上にマップするステップ。
▲２▼ レーダ３で測定された先行車両１０１及び１０２までの距離と方向を、撮像装置２のレンズからの距離と方向に変換して表示するステップ。
【００２７】
この実施形態では、先行車両１０１及び１０２を画像面上に表示するために、レーダ３を原点とする座標系（レーダ座標系という）と、撮像装置２のレンズを原点とする座標系（ワールド座標系という）との間の座標変換と、さらにワールド座標系と画像面上に設定された座標系（画像座標系という）との間の座標変換とを用いる。
また、距離と方向の変換には、ワールド座標系における先行車両の座標を利用する。
【００２８】
以下、これらについて、
Ａ．ワールド座標系、画像座標系、レーダ座標系の定義
Ｂ．レーダ座標系の先行車両の画像座標系へ変換方法
の順で説明する。
【００２９】
Ａ．ワールド座標系、画像座標系、レーダ座標系の定義について
＜ワールド座標系＞
ワールド座標系（Ｘ，Ｙ，Ｚ）は、車両に固定された座標系で、レンズの中心から進行方向をＺ軸とする右手座標系であり、従って、原点０（０，０，０）は、レンズの中心点となる。
【００３０】
＜画像座標系＞
画像座標系（ｘ，ｙ）のｘ軸は、図５に示すように、ワールド座標系のＸ軸に平行で逆方向、ｙ軸はＹ軸と逆方向で、撮像装置２のレンズの光軸の上下方向の傾き角φだけ傾いている。
従って、撮像装置２レンズの焦点距離をＦとすると、画像座標系の原点は、ワールド座標系の（０，Ｆｓｉｎφ，−Ｆｃｏｓφ）になる。
【００３１】
そして、ワールド座標系の点Ｐ（Ｘ，Ｙ，Ｚ）と、点Ｐが画像上に透視されたときの画像座標系の点ｑ（ｘ，ｙ）との関係は、次の（１）式で表される。
Figure 0003619628
【００３２】
＜レーダ座標系＞
レーダ座標系（ｒ，θ）は、図６に示すように、レーダ３を原点とする極座標系で、θはワールド座標系のＺ軸から反時計回りとする。
いま、レーダ座標系の原点のワールド座標系に対する座標を（０，Ｙｄ ，Ｚｄ ）とすると、レーダ座標系の点Ｐ（ｒ，θ）と、この点をワールド座標系から見た点Ｐ（Ｘ，Ｙ，Ｚ）との関係は、次の（２）式で表される。
Figure 0003619628
【００３３】
Ｂ．レーダ座標系の先行車両の画像座標系へ変換方法について
図６に示すように、レーダ３により、距離ｒ、方向θと測定された先行車両Ｐに対する画像座標系での座標について説明する。
まず、レーダ３のワールド座標系における座標を（０，Ｙｄ ，Ｚｄ ）とする。
【００３４】
一方、先行車両Ｐのワールド座標系での座標（Ｘ，Ｙ，Ｚ）は、上記の（２）式で表されるので、この座標（Ｘ，Ｙ，Ｚ）の画像座標系上での座標は、上記（１）式を用いて、次の（３）式で表される。
Figure 0003619628
【００３５】
この（３）式を用いることにより、図７に示すように、レーダ３で計測した先行車両１０１及び１０２等の位置を、表示装置６に表示された画像上で対応付けることができる。
そして、この図７のようにして先行車両１０１、１０２の位置Ｐ１、Ｐ２が決定されたら、次に画像処理装置１により、以下のようにして、車両が存在する領域を推定する。
【００３６】
まず、車両の画像には水平方向に類似した画素成分が多く含まれるという知識を用い、例えば、点Ｐ１からｘ軸に沿って、画像の輝度、或いは色を調べ、点Ｐ１の輝度、或いは色に近い画素をまとめていくことにより、車両領域２１の水平幅を計測することができる。
【００３７】
この水平幅と距離から車両の車種（大型、中型、小型）が判別でき、さらに車種から車両の高さ、すなわち車両領域２１の垂直幅が推定できるので、結局、図７に示すように、先行車両１０１が存在する車両領域２１の全体を推定することができるのである。
【００３８】
これと同様の処理を点Ｐ２について行えば、同じく図７に示すように、先行車両１０２が存在する車両領域２２も推定することができる。
このようにして車両領域が推定されたら、その領域を避けて走行レーンを認識すればよい。
【００３９】
この実施形態では、走行レーンの認識に、路面に描かれている白線を利用するようになっており、画像処理装置１は、この白線の認識を、以下のようにして行うように構成されている。
すなわち、図８に示すように、白線の初期モデルを作成するインバータ１１を決定し、領域１１内で白線の初期モデルを作成し、次いで、実際の白線の画像上に合うように初期モデルを変形させるのである。
【００４０】
まず領域１１を次のようにして決定する。
領域１１のｙ軸方向の長さは、画面下から車両領域２２の下端までとし、ｘ軸方向の長さは、画面左端から車両領域２１の左端までとする。
このようにすれば、前方を走行する車両に邪魔されることなく、白線の初期モデルが作成できる。
【００４１】
次に、白線の初期モデルを作成する。
最初に、図８の画像全体に対して画像の水平方向の明るさの変化を強調するための水平微分処理を行う。
そして、領域１１に、ｘ軸に平行な複数の線分１２−１〜１２−ｎを設定し、これらの線分に沿って順次画素の輝度レベルを調べ、最初に到達した所定輝度変化レベル以上の輝度を持つ画素位置を第１の白線のエッジとし、次に到達した所定輝度変化レベル以上の輝度を持つ画素位置を第２の白線のエッジとする。
【００４２】
次いで、これら第１と第２の白線のエッジ位置に基づいて、直線近似により白線のモデルを２本作成し、これら２本の直線の延長線が交差する点を、道路の消失点とする。
【００４３】
しかしながら、このようにして作成した白線の初期モデルは、領域１１内に限定されており、且つ線分１２−１〜１２−ｎのように代表線で検出した白線エッジを用いているだけなので、領域１１内の白線を正確に求めている訳ではないことと、領域１１の外で白線がどのように変化しているのかは判らない。
そこで、最後に、実際の画像の白線上に合うように、初期モデルを変形させる白線適合化処理を実行する。
【００４４】
そこで、図８に示すように、最初、線分１２−１で検出した白線のエッジの位置を中心として所定サイズの白線追跡領域１３を設定する。
そして、この白線追跡領域１３を白線モデルに沿って移動させ、白線追跡領域１３内の白線のエッジの傾きに適合するように白線モデルを変化させる。
【００４５】
このときの傾きの適合方法としては、例えば白線追跡領域１３内に白線の初期モデルを作成したときと同様な複数の線分を設定し、これらの線分に沿って白線のエッジ位置を求め、このエッジ位置から傾きを求めてやればよい。
【００４６】
次に、この白線追跡領域１３内で求めた傾きを用いて白線の初期モデルを再び作成する。
そして、この再度作成したモデルに沿って白線追跡領域１３を消失点の方向に向かって移動させ、そこで白線追跡領域１３の白線の傾きを求めてモデルを変更する。
この操作を、以下、白線追跡領域１３内に消失点が含まれるようになるまで繰り返す。
【００４７】
ここで、白線追跡領域１３を移動させていったとき、車両領域にぶつかった場合（図８では、車両領域２２にぶつかる）には、この車両によって白線が隠されている可能性がある。
そこで、今までは第１の白線エッジに着目して移動させていた白線追跡領域１３を、右側の白線モデルに着目した白線に沿って移動させ、白線モデルの適合処理を続けるのである。
【００４８】
ところで、道路が直線の場合は、消失点は移動しないが、図８のようにカーブがある場合は白線適合処理により消失点が移動する。
そこで、消失点が検出される毎に、前回の位置と比較して移動量を求め、それが所定値を越えたとき、前方にカーブがあると判断し、さらに、図８のように、その移動方向がｘ軸方向のときには右カーブ、ーｘ軸方向なら左カーブと判断するのである。
【００４９】
こうして、カーブ有りと判断されたら、画像処理装置１は、表示装置６に所定の信号を供給し、図８に示すように、その表示画面のメッセージ領域３０に、判断結果を文章として表示させ、ドライバーの注意が喚起されるようにし、安全速度の順守と的確な操舵が得られるようにする。
また、このとき、画像処理装置１は、信号線７にも所定の信号を出力し、これにより自車両１００の速度制御、操舵制御などに用いられるようにする。
【００５０】
さらに、この白線モデル適合処理により逐次認識した走行レーンの中に、レーダ３で計測した静止物が存在していた場合には、前述した車両の対応付けと同様の手法で、この静止物の画像上での位置を求め、例えばその位置を囲む枠に所定の色を付けるなどの方法により、静止物の存在を強調して画像上に表示させ、ドライバーに注意を喚起させるようにする。
【００５１】
従って、この実施形態によれば、予め設定されている車両領域により、先行車両の影響が除かれているので、膨大な計算量を要することなく、走行レーンの認識を行うことができる。
【００５２】
ところで、以上の説明は、自動車専用道路など、道路環境が比較的良い場合の動作であり、従って、処理もそれほど複雑にはならない。
しかして、車間距離制御による自動クルーズ装置や自動運転装置は、自動車専用道路での利用に限らず、一般道路でも利用できれば、更に望ましい。
しかし、一般道路は、自動車専用道路とは異なり、道路環境が非常に複雑になる。
そして、その代表が交差点付近の道路環境である。
【００５３】
図９は、交差点を含んだ一般道路の概要を示したもので、自車両１００の進行方向には、自車両と同一方向に進行する車両１０３が存在するだけでなく、交差点内で右折を待つ車両１０４や、横断歩道１０６−１〜１０６−４を歩行している人（歩行者）、信号機１０５等が存在する。
【００５４】
従って、交差点付近では、先行車両に追従していくとき、先行車両１０３が信号機が黄色から赤に変わる直前に交差点を渡った場合、そのまま前歩車両１０３に追従すると事故を引き起こすことになる。
【００５５】
また、自車両１００と先行車両１０３の間を歩行者や右折車両１０４が横切る虞れもあり、その場合は危険回避措置をしなければならない。
従って、どのような状況にも対応できる走行環境認識を実現する必要がある。
【００５６】
そのためには、まず自車両１００が交差点付近にいるかどうかを判断する必要があるが、この実施形態では、図１に示されている道路地図装置４を利用する。
【００５７】
道路地図装置４は、道路地図が記憶されたＣＤ−ＲＯＭ、ハードディスクなどを備えている。
そして、この実施形態での道路地図装置４に記憶されている道路地図は、図１０に示す実際の道路の外、これ対応して、図１１に示すように、ノード（道路と道路が交差する点、すなわち交差点）に関係する情報と、リンク（ノードとノードを接続する道路）に関係する情報とからなるテーブル状のデータベースとで構成されている。ここで、白抜き丸印〇がノードで、リンクは線で示されており、数字は、それぞれの番号である。
【００５８】
なお、道路地図には、道路以外にも、建物や公園などの施設、鉄道、水系などの位置や、名称データ等もあり、カーナビゲーション用としては、これらも道路地図装置４に記憶しておく必要があるが、本発明には関連しないので、ここでは省略する。
【００５９】
図１１に示すように、このデータベースは、ノードテーブルとリンクテーブルがあり、まずノードテーブルは、ノードの番号、座標、そのノードから流出するリンク数及びそれらのリンク番号を含み、次に、リンクテーブルは、リンクの番号、リンクを構成する始点ノードと終点ノード、リンク長を含んでいる。
このとき、ノード番号は、互いに重なりがないように決められ、リンク番号も同様である。
【００６０】
次に、図１１のテーブルと実際の道路地図との対応を、図１０の道路地図を例に説明すると、図１１のノードテーブル中のノードの番号１５と３４は、それぞれの座標値から、図１０の〇印で示したノードであることが判る。
そして、番号１５のノードから流出するリンク数は４本あり、それらはリンク番号２０、２１、１９、３０であることも判る。
【００６１】
また、リンクテーブルのリンク番号２１を見れば、これは、ノード１５からノード３４に向かう道路であることが判り、従って、この道路が一方通行でなければ、ノード３４からノード１５に向う道路が存在し、リンクテーブルを見れば、この道路には、リンク番号５５が付けられているのが判る。
【００６２】
なお、この図１１に示したデータベースは、基本的な構成であり、このデータの他にも、ノードに隣接するノード、右折の可否、リンクの幅員等の情報を付加しても良い。
【００６３】
図１に示すように、この道路地図装置４にはＧＰＳアンテナ５が設けてあり、これにより、周知のカーナビゲーション装置と同様に、自車両１００の位置に応じて、対応する道路地図を表示装置６に表示し、この表示された道路地図上に、図１０に示すように、自車両１００を表す□印を表示してゆくように構成されている。
【００６４】
そこで、いま、図示のように、自車両１００がノード３４に向かって走行しているとする。
そうすると、自車両１００の位置、ノード３４の位置及び自車両１００の速度から、ノド３４に到着するまでの時間を計算することができる。なお、このため図示してないが、この道路地図装置４には、自車両に備えられている速度センサから、走行速度が入力されている。
【００６５】
こうして、予め設定してある所定時間で、自車両１００がノード３４に到着できることが判ると、ここで道路地図装置４は、交差点到着信号と交差点までの距離を画像処理装置１に出力する。
画像処理装置１は、この交差点到着信号と交差点までの距離を受け取ると、撮像装置２で撮影した画像を基にして、上記した白線認識処理に加えて、さらに信号機認識、右折車両認識、歩行者認識等の追加認識処理を実行する。
そこで、これらの追加認識処理について、図１２により説明する。
【００６６】
信号機認識処理では、交差点までの距離と、予め設定してある信号機の高さの知識から、上記した先行車両と画像との対応付けで行ったと同じ手法により、信号機が存在すると推定される領域、すなわち、信号機領域１１０を決定し、その内部の色情報から信号状態を認識する。
そして、黄色又は赤色が認識されたときは、追従走行を停止するような信号を図１の信号線７を介して出力したり、画像上に認識結果をメッセージ等で表示するのである。
【００６７】
次に、右折車両認識処理、つまり右折待ちで静止している右折車両の認識処理は、レーダ３で計測した静止物の位置情報から、白線認識で決定してきた白線モデルのうちの右側の白線モデルに近接している静止物を選択することにより、右折車両１０４と判断するのである。
そして、必要に応じて減速信号を信号線７から出力し、車両の制御に適用するのである。
【００６８】
また、歩行者認識処理は、白線モデルと、交差点までの距離情報を用いて横断歩道が存在すると推定される領域、すなわち、歩行者領域１２０−１及び１２０−２を推定し、撮像装置２で撮像した画像の対応する領域に対して、公知の移動体識別技術を適用し、歩行者を認識するのである。
【００６９】
ここで、この移動体識別技術の公知例としては、例えば、下記の文献の記載を挙ることができる。
１９９０年電子情報通信学会春季全国大会、
阿居院 猛等 「動画像を用いた移動人物の抽出」 ｐｐ．７−３８３〜７−３８４
従って、この実施形態によれば、一般道路でも充分正確に走行環境を識別することができ、安全運転の確保と自動運転実現に大きく貢献することができる。
【００７０】
【発明の効果】
本発明によれば、複雑な走行環境においても、応答性良く自車両の周囲状況を認識することができ、この結果、安全性の向上と、自動車の自動運転化を大いに図ることができる。
【図面の簡単な説明】
【図１】本発明による走行環境認識装置の一実施形態を示すブロック図である。
【図２】本発明による走行環境認識装置の実施形態における各装置の設置図である。
【図３】本発明が対象とする車両の高速道路走路における位置の一例を示す説明図である。
【図４】本発明の一実施形態による撮像画像例を示す説明図である。
【図５】本発明の一実施形態におけるワールド座標系と画像座標系の説明図である。
【図６】本発明の一実施形態におけるワールド座標系とレーダ座標系の説明図である。
【図７】本発明の一実施形態による先行車両領域推定処理の説明図である。
【図８】本発明の一実施形態による白線認識推定及び白線追跡処理の説明図である。
【図９】車両の一般道路走路における位置の説明図である。
【図１０】本発明の一実施形態における道路地図の一例を示す説明図である。
【図１１】本発明の一実施形態における道路地図データベースの説明図である。
【図１２】本発明の一実施形態を一般道路に適用した場合の説明図である。
【符号の説明】
１ 画像処理装置
２ 撮像装置
３ レーダ
４ 道路地図装置
５ ＧＰＳアンテナ
６ 表示装置
１００ 自車両
２１、２２ 前方車の車両領域
１１ 白線認識領域
１３ 白線追跡領域
３０ メッセージ領域
１１０ 信号機領域
１２０−１、１２０−２ 歩行者

Claims (5)

  1. 自車両の走行方向を撮像視野とする撮像装置と、
    自車両の走行方向を検出範囲とするレーダと、
    前記撮像装置で撮像した画像情報と、前記レーダの検出結果とにより、走行レーンの認識と先行車両の認識及び前方にある静止物の認識を行う画像処理装置とを備えた走行環境認識装置において、
    前記画像処理装置に、前記レーダの検出結果に基いて前記画像情報内に前記先行車両の存在を表す車両領域を設定する手段を設け、
    前記画像情報内での走行レーンの認識処理を、画面下から自車前方の先行車両を示す車両領域の下端まで、かつ画面左端から隣接車線の車両を示す車両領域の左端までの領域において行ない、
    且つ、前記画像処理装置は、前記画像情報による画面の中央に垂直線分を設定し、該垂直線分から水平方向に画素の輝度の変化を調べることにより、路面に描かれている白線のエッジを検出し、そのエッジの位置座標を用いて白線のモデルを作成し、作成した白線のモデルに沿って小さな白線追跡領域を移動させ、前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させ、 更に、前記画像処理装置は、前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させる際に、前記白線追跡領域が車両領域にぶつかった場合、前記白線追跡領域を対となる隣の白線モデルに移動して白線モデルの適合処理を続けるように構成されていることを特徴とする走行環境認識装置。
  2. 請求項１において、
    前記画像処理装置の認識結果を表示する表示装置を備え、
    前記画像処理装置による認識結果の表示が、前記表示装置の表示画像の中の当該認識部分の色彩を所定の色に着色させる表示及び枠図形で包囲させる表示の何れかにより強調された表示となるように構成されていることを特徴とする走行環境認識装置。
  3. 請求項１において、
    前記画像処理装置は、前記白線追跡領域内の白線のエッジの傾きに適合するように変化させた白線モデルから計算した消失点の移動を調べ、移動量が所定値を越えた場合は、前方にカーブがあると判断し、移動方向によって右カーブ、左カーブと判断するように構成されていることを特徴とする走行環境認識装置。
  4. 請求項１において、
    前記画像処理装置に、レーダ座標系 ( 前記レーダを原点とする座標系 ) とワールド座標系 ( 前記撮像装置のレンズを原点とする座標系 ) の間の座標変換と、前記ワールド座標系と画面座標系 ( 画像面に設定された座標系 ) の間の座標変換を用いて前記画像情報内に前記先行車両の存在を表す車両領域を設定する手段を設け、
    前記撮像装置の撮像光軸と、前記レーダの検出軸が同一軸上に設置されていることを特徴とする走行環境認識装置。
  5. 請求項１において、
    前記画像処理装置は、認識結果に基づいて自車両を制御するように構成されていることを特徴とする走行環境認識装置。
JP33972496A 1996-12-19 1996-12-19 走行環境認識装置 Expired - Lifetime JP3619628B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP33972496A JP3619628B2 (ja) 1996-12-19 1996-12-19 走行環境認識装置
US08/994,750 US6191704B1 (en) 1996-12-19 1997-12-19 Run environment recognizing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33972496A JP3619628B2 (ja) 1996-12-19 1996-12-19 走行環境認識装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004111233A Division JP3857698B2 (ja) 2004-04-05 2004-04-05 走行環境認識装置

Publications (2)

Publication Number Publication Date
JPH10187930A JPH10187930A (ja) 1998-07-21
JP3619628B2 true JP3619628B2 (ja) 2005-02-09

Family

ID=18330215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33972496A Expired - Lifetime JP3619628B2 (ja) 1996-12-19 1996-12-19 走行環境認識装置

Country Status (2)

Country Link
US (1) US6191704B1 (ja)
JP (1) JP3619628B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105489035A (zh) * 2015-12-29 2016-04-13 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法

Families Citing this family (205)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US7268700B1 (en) 1998-01-27 2007-09-11 Hoffberg Steven M Mobile communication device
US7298289B1 (en) * 1998-01-27 2007-11-20 Hoffberg Steven M Mobile communication device
JPH11213137A (ja) * 1998-01-29 1999-08-06 Matsushita Electric Ind Co Ltd 画像処理装置
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
CA2347760A1 (en) 1998-10-21 2000-04-27 American Calcar Inc. Positional camera and gps data interchange device
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4205825B2 (ja) * 1999-11-04 2009-01-07 本田技研工業株式会社 対象物認識装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP2001134772A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
DE10007501A1 (de) * 2000-02-18 2001-09-13 Daimler Chrysler Ag Verfahren und Vorrichtung zur Erfassung und Überwachung einer Mehrzahl von vorausfahrenden Fahrzeugen
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7855755B2 (en) 2005-11-01 2010-12-21 Donnelly Corporation Interior rearview mirror assembly with display
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
DE10011263A1 (de) * 2000-03-08 2001-09-13 Bosch Gmbh Robert Objektdetektionssystem
KR100386752B1 (ko) * 2000-04-24 2003-06-09 김석배 실영상을 이용한 차량 항법 시스템
DE10025678B4 (de) 2000-05-24 2006-10-19 Daimlerchrysler Ag Kamerabasiertes Precrash-Erkennungssystem
JP2001351200A (ja) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd 車載用物体検知装置
EP1172741A3 (en) * 2000-07-13 2004-09-01 Sony Corporation On-demand image delivery server, image resource database, client terminal, and method of displaying retrieval result
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
JP3675330B2 (ja) * 2000-11-07 2005-07-27 日産自動車株式会社 車両用表示装置及び表示装置を有する自動車
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
WO2006124682A2 (en) 2005-05-16 2006-11-23 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
ES2287266T3 (es) 2001-01-23 2007-12-16 Donnelly Corporation Sistema de iluminacion de vehiculos mejorado.
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
JP2002362302A (ja) * 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置
DE10127034A1 (de) * 2001-06-02 2002-12-05 Opel Adam Ag Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
JP3782322B2 (ja) * 2001-07-11 2006-06-07 株式会社日立製作所 車載用画像処理カメラ装置
JP3649163B2 (ja) * 2001-07-12 2005-05-18 日産自動車株式会社 物体種別判別装置及び物体種別判別方法
JP3649166B2 (ja) * 2001-07-26 2005-05-18 日産自動車株式会社 物体種別判別装置及び物体種別判別方法
US6559761B1 (en) 2001-10-05 2003-05-06 Ford Global Technologies, Llc Display system for vehicle environment awareness
EP1302747A1 (en) * 2001-10-15 2003-04-16 Ford Global Technologies, Inc. System and method for controlling an object detection system of a vehicle
US20030076981A1 (en) * 2001-10-18 2003-04-24 Smith Gregory Hugh Method for operating a pre-crash sensing system in a vehicle having a counter-measure system
US6636258B2 (en) * 2001-10-19 2003-10-21 Ford Global Technologies, Llc 360° vision system for a vehicle
JP2003157500A (ja) * 2001-11-22 2003-05-30 Fujitsu Ltd 安全走行支援装置，安全走行支援プログラム，及び安全走行支援方法
US6775605B2 (en) 2001-11-29 2004-08-10 Ford Global Technologies, Llc Remote sensing based pre-crash threat assessment system
US6819991B2 (en) * 2001-11-29 2004-11-16 Ford Global Technologies, Llc Vehicle sensing based pre-crash threat assessment system
JP3766909B2 (ja) * 2001-11-30 2006-04-19 株式会社日立製作所 走行環境認識方法および装置
US7158870B2 (en) * 2002-01-24 2007-01-02 Ford Global Technologies, Llc Post collision restraints control module
US6831572B2 (en) 2002-01-29 2004-12-14 Ford Global Technologies, Llc Rear collision warning system
US6721659B2 (en) 2002-02-01 2004-04-13 Ford Global Technologies, Llc Collision warning and safety countermeasure system
US6519519B1 (en) 2002-02-01 2003-02-11 Ford Global Technologies, Inc. Passive countermeasure methods
EP1335235A3 (en) * 2002-02-12 2003-09-17 MARICO s.a.s di Dallara Riccardo & C. A vision system using projection of figures of light
US6498972B1 (en) 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
JP2003322522A (ja) * 2002-05-07 2003-11-14 Daihatsu Motor Co Ltd 車間距離検出装置及び検出方法
JP2003333586A (ja) * 2002-05-17 2003-11-21 Pioneer Electronic Corp 撮像装置、撮像装置の制御方法
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
AU2003237424A1 (en) 2002-06-06 2003-12-22 Donnelly Corporation Interior rearview mirror system with compass
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
WO2004103772A2 (en) 2003-05-19 2004-12-02 Donnelly Corporation Mirror assembly for vehicle
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
DE10257798A1 (de) * 2002-12-11 2004-07-22 Daimlerchrysler Ag Sicherheitsvorrichtung für nicht-spurgebundene Fahrzeuge
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP4019933B2 (ja) * 2002-12-26 2007-12-12 日産自動車株式会社 車両用レーダ装置およびレーダの光軸調整方法
JP4021344B2 (ja) * 2003-03-03 2007-12-12 富士重工業株式会社 車両用運転支援装置
WO2004102222A1 (ja) * 2003-05-13 2004-11-25 Fujitsu Limited 物体検出装置、物体検出方法、物体検出プログラム、距離センサ
JP4218453B2 (ja) * 2003-07-15 2009-02-04 株式会社デンソー 車両用前方視界支援装置
JP2004058994A (ja) * 2003-07-28 2004-02-26 Hitachi Ltd 車両走行制御装置
US6834232B1 (en) 2003-07-30 2004-12-21 Ford Global Technologies, Llc Dual disimilar sensing object detection and targeting system
US20050060090A1 (en) * 2003-09-17 2005-03-17 Kouji Sasano Vehicle-type measurement system
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
JP2005227947A (ja) * 2004-02-12 2005-08-25 Alpine Electronics Inc ナビゲーション装置及び障害物表示方法
JP4628683B2 (ja) * 2004-02-13 2011-02-09 富士重工業株式会社 歩行者検出装置、及び、その歩行者検出装置を備えた車両用運転支援装置
JP4185545B2 (ja) * 2004-03-29 2008-11-26 パイオニア株式会社 道路景観解析装置及び方法
US7751973B2 (en) * 2004-05-04 2010-07-06 Visteon Global Technologies, Inc. Curve warning system
JP4506299B2 (ja) * 2004-06-17 2010-07-21 トヨタ自動車株式会社 車両周辺監視装置
JP4437714B2 (ja) * 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
US8594370B2 (en) 2004-07-26 2013-11-26 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
JP2006112962A (ja) * 2004-10-15 2006-04-27 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
DE102005002719A1 (de) * 2005-01-20 2006-08-03 Robert Bosch Gmbh Verfahren zur Kursprädiktion in Fahrerassistenzsystemen für Kraftfahrzeuge
US7474961B2 (en) * 2005-02-04 2009-01-06 Visteon Global Technologies, Inc. System to determine the path of a vehicle
DE102005020429A1 (de) * 2005-04-29 2006-11-09 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung des Fahrers beim Überqueren von Verkehrskreuzungen
JP4822766B2 (ja) * 2005-08-18 2011-11-24 富士通株式会社 路面標示認識装置及びシステム
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
JP2007104171A (ja) * 2005-10-03 2007-04-19 Omron Corp 前方監視装置
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
JP4304517B2 (ja) 2005-11-09 2009-07-29 トヨタ自動車株式会社 物体検出装置
DE102006004361B4 (de) * 2006-01-30 2020-07-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Ermittlung der Aufenthaltswahrscheinlichkeit eines Fahrzeuges
JP4619962B2 (ja) * 2006-02-15 2011-01-26 三菱電機株式会社 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
EP2378350B1 (en) 2006-03-09 2013-12-11 Gentex Corporation Vehicle rearview assembly including a high intensity display
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
KR101075615B1 (ko) 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
US20080043020A1 (en) * 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
DE102006041930A1 (de) * 2006-09-07 2008-03-27 Bayerische Motoren Werke Ag Fahrer-Assistenzsystem mit Objekterkennung
KR100819047B1 (ko) * 2006-11-27 2008-04-02 한국전자통신연구원 교차로 중심선 예측 장치 및 방법
JP2008168811A (ja) * 2007-01-12 2008-07-24 Honda Motor Co Ltd 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP4413957B2 (ja) * 2007-08-24 2010-02-10 株式会社東芝 移動物体検出装置および自律移動物体
JP4533936B2 (ja) * 2008-02-01 2010-09-01 日立オートモティブシステムズ株式会社 画像処理装置、及びこれを備えた車両検知装置
US20090228172A1 (en) * 2008-03-05 2009-09-10 Gm Global Technology Operations, Inc. Vehicle-to-vehicle position awareness system and related operating method
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US9239380B2 (en) * 2008-05-21 2016-01-19 Adc Automotive Distance Control Systems Gmbh Driver assistance system for avoiding collisions of a vehicle with pedestrians
US8582052B2 (en) * 2008-08-22 2013-11-12 Gentex Corporation Discrete LED backlight control for a reduced power LCD display system
DE102008039606A1 (de) * 2008-08-25 2010-03-04 GM Global Technology Operations, Inc., Detroit Kraftfahrzeug mit einem Abstandssensor und einem Bilderfassungssystem
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
JP2010191666A (ja) * 2009-02-18 2010-09-02 Honda Motor Co Ltd 車両の周辺監視装置
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP5007840B2 (ja) * 2009-05-22 2012-08-22 トヨタ自動車株式会社 運転支援装置
US8447437B2 (en) * 2010-11-22 2013-05-21 Yan-Hong Chiang Assistant driving system with video recognition
GB2488154A (en) * 2011-02-18 2012-08-22 Jaguar Cars Target object determination for vehicle braking system
CN102789642B (zh) 2011-05-16 2017-08-25 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
EP2528049B1 (en) * 2011-05-23 2014-01-01 Robert Bosch GmbH Method and a device for detecting safety critical objects to a vehicle using Navigation data
US9047781B2 (en) 2011-05-31 2015-06-02 Georgia Tech Research Corporation Safety zone detection, enforcement and alarm system and related methods
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
DE102011118147A1 (de) * 2011-11-10 2013-05-16 Gm Global Technology Operations, Llc Verfahren zum Ermitteln einer Geschwindigkeit eines Fahrzeugs und Fahrzeug
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
EP2667325A1 (en) * 2012-05-22 2013-11-27 Connaught Electronics Ltd. Method for determining an analysis region in a camera image, camera system and motor vehicle with a camera system
JP5960506B2 (ja) * 2012-05-25 2016-08-02 株式会社デンソー 交差点認識装置及び道路種別認識装置
JP6083976B2 (ja) * 2012-08-22 2017-02-22 株式会社メガチップス 車線状況判別装置および車線状況判別方法
KR101459835B1 (ko) * 2012-10-11 2014-11-07 현대자동차주식회사 입체물 표시 제어 장치 및 방법
WO2014070448A1 (en) 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
JP5812064B2 (ja) * 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
US20140313023A1 (en) * 2013-03-15 2014-10-23 Chih-Kuei Hu Active vehicle safety system and a method for operation thereof
JP6403750B2 (ja) 2013-03-15 2018-10-10 ジェンテックス コーポレイション 表示ミラーアセンブリ
WO2014152470A2 (en) 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
EP2983153B1 (en) * 2013-04-04 2018-12-19 Nissan Motor Co., Ltd Signal recognition device
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
EP3049286B1 (en) 2013-09-24 2018-05-09 Gentex Corporation Display mirror assembly
JP6105513B2 (ja) * 2014-01-10 2017-03-29 エイディシーテクノロジー株式会社 車両制御装置、及び車載用画像表示装置
US9081383B1 (en) * 2014-01-22 2015-07-14 Google Inc. Enhancing basic roadway-intersection models using high intensity image data
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
EP3119643B1 (en) 2014-03-21 2018-05-23 Gentex Corporation Tri-modal display mirror assembly
US9834146B2 (en) 2014-04-01 2017-12-05 Gentex Corporation Automatic display mirror assembly
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
DE102014013432B4 (de) * 2014-09-10 2016-11-10 Audi Ag Verfahren zur Verarbeitung von Umgebungsdaten in einem Fahrzeug
US9694751B2 (en) 2014-09-19 2017-07-04 Gentex Corporation Rearview assembly
KR101977686B1 (ko) 2014-11-07 2019-05-13 젠텍스 코포레이션 풀 디스플레이 미러 액추에이터
KR101977685B1 (ko) 2014-11-13 2019-05-13 젠텍스 코포레이션 디스플레이를 갖춘 후방 미러 시스템
WO2016090126A2 (en) 2014-12-03 2016-06-09 Gentex Corporation Display mirror assembly
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
WO2016172096A1 (en) 2015-04-20 2016-10-27 Gentex Corporation Rearview assembly with applique
WO2016187215A1 (en) 2015-05-18 2016-11-24 Gentex Corporation Full display rearview device
CN107709096B (zh) 2015-06-22 2021-08-24 金泰克斯公司 用于处理流式传输视频图像以校正经调幅光的闪变的系统和方法
EP3343174B1 (en) * 2015-08-28 2020-04-15 Nissan Motor Co., Ltd. Vehicle position estimation device, vehicle position estimation method
EP3136367B1 (de) * 2015-08-31 2022-12-07 Continental Autonomous Mobility Germany GmbH Fahrzeugkameravorrichtung sowie verfahren zur erfassung eines vorausliegenden umgebungsbereichs eines kraftfahrzeugs
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
CN108349435B (zh) 2015-10-30 2021-06-15 金泰克斯公司 切换板
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
EP3368375B1 (en) 2015-10-30 2020-03-04 Gentex Corporation Rearview device
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
CN207542369U (zh) 2015-11-05 2018-06-26 日本电产株式会社 雷达系统以及无线通信系统
WO2017078183A1 (en) 2015-11-05 2017-05-11 Nidec Elesys Corporation Slot array antenna
CN106384524A (zh) * 2015-12-17 2017-02-08 杭州后博科技有限公司 基于导航的辅助驾驶员判断通过红绿灯路口系统及方法
US10164344B2 (en) 2015-12-24 2018-12-25 Nidec Corporation Waveguide device, slot antenna, and radar, radar system, and wireless communication system including the slot antenna
US10381741B2 (en) 2015-12-24 2019-08-13 Nidec Corporation Slot array antenna, and radar, radar system, and wireless communication system including the slot array antenna
JP6809908B2 (ja) 2016-01-15 2021-01-06 日本電産株式会社 導波路装置および当該導波路装置を備えるアンテナ装置
DE112017000573B4 (de) 2016-01-29 2024-01-18 Nidec Corporation Wellenleitervorrichtung und Antennenvorrichtung mit der Wellenleitervorrichtung
DE102017102284A1 (de) 2016-02-08 2017-08-10 Nidec Elesys Corporation Wellenleitervorrichtung und Antennenvorrichtung mit der Wellenleitervorrichtung
DE102017102559A1 (de) 2016-02-12 2017-08-17 Nidec Elesys Corporation Wellenleitervorrichtung und Antennenvorrichtung mit der Wellenleitervorrichtung
JP2019047141A (ja) 2016-03-29 2019-03-22 日本電産エレシス株式会社 マイクロ波ｉｃ導波路装置モジュール、レーダ装置およびレーダシステム
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
CN208093768U (zh) 2016-04-05 2018-11-13 日本电产株式会社 雷达
JP6542708B2 (ja) * 2016-04-22 2019-07-10 株式会社Ｓｕｂａｒｕ 表示装置
JP2019054315A (ja) 2016-04-28 2019-04-04 日本電産エレシス株式会社 実装基板、導波路モジュール、集積回路実装基板、マイクロ波モジュール、レーダ装置およびレーダシステム
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
EP3562710A4 (en) 2016-12-30 2019-11-13 Gentex Corporation COMPLETE DISPLAY MIRROR WITH ON-DEMAND OBSERVER VIEW
US10735638B2 (en) 2017-03-17 2020-08-04 Gentex Corporation Dual display reverse camera system
JP2018164252A (ja) 2017-03-24 2018-10-18 日本電産株式会社 スロットアレーアンテナ、および当該スロットアレーアンテナを備えるレーダ
CN108695585B (zh) 2017-04-12 2021-03-16 日本电产株式会社 高频构件的制造方法
JP7020677B2 (ja) 2017-04-13 2022-02-16 日本電産エレシス株式会社 スロットアンテナ装置
US10608345B2 (en) 2017-04-13 2020-03-31 Nidec Corporation Slot array antenna
CN208093762U (zh) 2017-04-14 2018-11-13 日本电产株式会社 缝隙天线装置以及雷达装置
WO2018207838A1 (en) 2017-05-11 2018-11-15 Nidec Corporation Waveguide device, and antenna device including the waveguide device
WO2018207796A1 (en) 2017-05-11 2018-11-15 Nidec Corporation Waveguide device, and antenna device including the waveguide device
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法
JP2019009779A (ja) 2017-06-26 2019-01-17 株式会社Ｗｇｒ 伝送線路装置
US10547122B2 (en) 2017-06-26 2020-01-28 Nidec Corporation Method of producing a horn antenna array and antenna array
JP7103860B2 (ja) 2017-06-26 2022-07-20 日本電産エレシス株式会社 ホーンアンテナアレイ
JP2019012999A (ja) 2017-06-30 2019-01-24 日本電産株式会社 導波路装置モジュール、マイクロ波モジュール、レーダ装置およびレーダシステム
JP7294608B2 (ja) 2017-08-18 2023-06-20 ニデックエレシス株式会社 アンテナアレイ
JP2019050568A (ja) 2017-09-07 2019-03-28 日本電産株式会社 方向性結合器
US20190109361A1 (en) 2017-10-10 2019-04-11 Nidec Corporation Waveguiding device
CN107963077B (zh) * 2017-10-26 2020-02-21 东软集团股份有限公司 一种车辆通过路口的控制方法、装置及系统
CN110044371A (zh) * 2018-01-16 2019-07-23 华为技术有限公司 一种车辆定位的方法以及车辆定位装置
JP6961536B2 (ja) * 2018-06-08 2021-11-05 日立Astemo株式会社 車載装置
JP7298808B2 (ja) 2018-06-14 2023-06-27 ニデックエレシス株式会社 スロットアレイアンテナ
CN110780665B (zh) * 2018-07-26 2022-02-08 比亚迪股份有限公司 车辆无人驾驶控制方法及装置
JP7379176B2 (ja) 2019-01-16 2023-11-14 太陽誘電株式会社 導波路装置、電磁波閉じ込め装置、アンテナ装置、マイクロ波化学反応装置、およびレーダ装置
JP7315904B2 (ja) * 2020-06-19 2023-07-27 トヨタ自動車株式会社 車両制御装置
CN113232663B (zh) * 2021-06-29 2022-10-04 西安电子科技大学芜湖研究院 一种应用于高级辅助驾驶的控制系统
CN116774590B (zh) * 2023-08-17 2023-11-07 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2605295B2 (ja) * 1987-08-18 1997-04-30 スズキ株式会社 自動車の車種判別方法
JP2800531B2 (ja) * 1992-02-28 1998-09-21 三菱電機株式会社 車両用障害物検出装置
JP3263699B2 (ja) * 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
JP3004158B2 (ja) * 1993-11-08 2000-01-31 松下電器産業株式会社 車両認識装置
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
JP3358247B2 (ja) * 1993-09-08 2002-12-16 住友電気工業株式会社 道路消失点の算出方法
JP3064759B2 (ja) * 1993-09-28 2000-07-12 株式会社日立製作所 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置
JP2874083B2 (ja) * 1993-10-28 1999-03-24 三菱自動車工業株式会社 自動車の走行制御装置
JP3125550B2 (ja) * 1993-12-24 2001-01-22 日産自動車株式会社 移動車の前方認識装置ならびに車輌用走行制御装置
JPH0848199A (ja) * 1994-08-09 1996-02-20 Hitachi Ltd 障害物警報システム
US5621645A (en) * 1995-01-24 1997-04-15 Minnesota Mining And Manufacturing Company Automated lane definition for machine vision traffic detector
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105489035A (zh) * 2015-12-29 2016-04-13 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法
CN105489035B (zh) * 2015-12-29 2018-03-30 大连楼兰科技股份有限公司 应用在主动驾驶技术中检测交通信号灯的方法

Also Published As

Publication number Publication date
US6191704B1 (en) 2001-02-20
JPH10187930A (ja) 1998-07-21

Similar Documents

Publication Publication Date Title
JP3619628B2 (ja) 走行環境認識装置
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
US7031496B2 (en) Method and apparatus for object recognition using a plurality of cameras and databases
JP3857698B2 (ja) 走行環境認識装置
CN111874006B (zh) 路线规划处理方法和装置
JP7052786B2 (ja) 表示制御装置および表示制御プログラム
US6151539A (en) Autonomous vehicle arrangement and method for controlling an autonomous vehicle
US11900812B2 (en) Vehicle control device
CN103874931B (zh) 用于求取车辆的环境中的对象的位置的方法和设备
CN111695546A (zh) 用于无人车的交通信号灯识别方法和装置
JP2024023319A (ja) 緊急車両の検出
US11698675B2 (en) Autonomous vehicle visual based communication
Amaradi et al. Lane following and obstacle detection techniques in autonomous driving vehicles
CN114442101B (zh) 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
JP6984624B2 (ja) 表示制御装置および表示制御プログラム
CN112562061A (zh) 一种基于激光雷达图像的驾驶视觉增强的系统及方法
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
EP4170606A1 (en) Identification of real and image sign detections in driving applications
US11623654B2 (en) Systems and methods of assisting vehicle navigation
JP7152848B2 (ja) 車外環境認識装置
JP2001101420A (ja) 障害物検出装置及びその方法
JP7416114B2 (ja) 表示制御装置および表示制御プログラム
US20230150534A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
CN215495425U (zh) 复眼摄像系统及使用复眼摄像系统的车辆
WO2024047777A1 (ja) ヘッドライト制御装置、および、ヘッドライト制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040806

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041115

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 9

EXPY Cancellation because of completion of term