JP3574780B2 - 車両の安全運転支援システム - Google Patents
車両の安全運転支援システム Download PDFInfo
- Publication number
- JP3574780B2 JP3574780B2 JP2000259506A JP2000259506A JP3574780B2 JP 3574780 B2 JP3574780 B2 JP 3574780B2 JP 2000259506 A JP2000259506 A JP 2000259506A JP 2000259506 A JP2000259506 A JP 2000259506A JP 3574780 B2 JP3574780 B2 JP 3574780B2
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- vehicle
- detected
- size
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の安全運転支援システム、特に自車両走行方向の歩行者を検出し、車両走行を安全制御するシステムに関するものである。
【０００２】
【従来の技術】
現在では、自動車事故を未然に防ぐための車間距離制御装置や車線逸脱制御装置などの開発、製品化が進められているが、高速道路での使用が前提であり、一般道路で使用可能とするためには歩行者の検知が必須になる。歩行者を検知するためには、車両前方の障害物を前方車や標識、植栽などと区別する必要があり、熱画像センサが有効になる。歩行者の体温は、外気の温度にかかわらず一定であるためである。
【０００３】
１９９６年から市場に出回るようになった冷却不要のサーモグラフィを用いることにより、昼間も熱画像を得ることが可能になった。昼夜に問わず可視光画像センサと熱画像センサとを起動させ、熱画像と可視光画像のデータを重ね合せて認識することにより、歩行者の検知精度を向上させることができる。近年、熱画像センサと可視光画像センサとを組み合わせて歩行者を検出する発明が種々提案されている。
【０００４】
例えば、特開２０００―３０１９７号公報記載の検出装置は、可視光画像センサと熱画像センサのデータを重ね合せて、車両の走行方向の他車両までの距離及び方向を車両検出部で検出し、画像処理ユニットで他車両までの距離と方向を除去し、かつ可視光画像、熱画像から他車両までの存在領域を除去し、除去処理結果の熱画像データに基づいて歩行者の存在を検出するものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記検出装置は、他車両の存在領域を除去し、除去処理結果から歩行者の存在を抽出する際、路面温度と歩行者の温度に差異があることが前提となっており、例えば真夏の日の当たる路面など歩行者と同じ位の温度になる場合もあり、正確な歩行者検出ができないという問題があった。
【０００６】
本発明の目的は、歩行者周辺の温度条件に影響されることなく、より正確に歩行者を検出できる車両の安全運転支援システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明における車両の安全運転支援システムの特徴とするところは、車両の安全運転支援システムを、可視光画像センサから取り込んだ可視画像データより自車両が走行する車線を検出し、該検出した車線内を歩行者検出領域に設定する検出領域設定部と、熱画像センサから取り込んだ熱画像データを基に歩行者検出領域内の温度分布を検出する領域内温度差検出部と、検出した温度分布が人間の体温付近にないとき、温度分布のうち人間の体温付近の温度を示す部分を歩行者候補とする第一の歩行者検出部と、検出した温度分布が人間の体温付近にあるときは、可視画像データに基づいて影を検出し、該影の状態から歩行者候補を検出する第二の歩行者検出部とで構成することにある。
【０００８】
具体的には本発明は次に掲げるシステムを提供する。
【０００９】
本発明は、車両の走行方向の歩行者を検出し、該検出した歩行者の状態に応じて前記車両の走行を制御する車両の安全運転支援システムにおいて、前記車両の走行方向の可視画像データを取り込む可視光画像センサと、前記車両の走行方向の熱画像データを取り込む熱画像センサと、前記取り込んだ可視画像データより自車両が走行する車線を検出し、該検出した車線内を歩行者検出領域に設定する検出領域設定部と、前記取り込んだ熱画像データを基に前記歩行者検出領域内の温度分布を検出する領域内温度差検出部と、前記検出した温度分布が人間の体温付近にないとき、前記温度分布のうち人間の体温付近の温度を示す部分を歩行者候補とする第一の歩行者検出部と、前記検出した温度分布が人間の体温付近にあるときは、前記可視画像データに基づいて影を検出し、該影の状態から歩行者候補を検出する第二の歩行者検出部とを有することを特徴とする車両の安全運転支援システムを提供する。
【００１０】
好ましくは、検出した前記歩行者候補に移動ベクトルがあるか否かを検出し、前記移動ベクトルがあれば前記歩行者候補を前記歩行者と判定する歩行者判定部を有する。
【００１１】
好ましくは、第一の歩行者検出部より前記歩行者候補として絞り込まれた物体の大きさを前記歩行者検出領域の座標から推測する歩行者候補大きさ推測部と、前記検出した温度分布が人間の体温付近にあるときに、前記可視画像データに基づいて前記歩行者検出領域内の物体の影の長さを検出する領域内影検出部と、前記検出された影の長さから影を作り出している物体の大きさを推測する物体の大きさ推測部と、前記歩行者候補大きさ推測部あるいは前記物体の大きさ推測部で推測した物体の大きさが、人物大の大きさであれば前記物体を第２次歩行者候補として選出する歩行者候補選出部とを有する。
また、好ましくは、前記物体の大きさ推測部は、前記検出された影の長さと、前記車両に備えられた方位センサから入力された方位と、リアルタイムクロックから取込んだ日時及び時刻データと、前記歩行者検出領域の座標とに基づいて、前記影を作り出している物体の大きさを推測する。
【００１２】
好ましくは、自車両の車速度を検出する車速センサを有し、検出した車速度と前記検出した歩行者の情報とに基づいて、前記車両が歩行者に衝突または接触する危険の度合いを検出し、該検出した危険度に応じて、前記車両の走行を制御する。
【００１３】
【発明の実施の形態】
以下、本発明の一実施の形態例に係る車両の安全運転支援システムを、図を用いて説明する。
【００１４】
図１は、本発明の一実施の形態例に係る車両の安全運転支援システムの全体構成を示す。車両の安全走行支援システムは、可視光画像センサ１と、熱画像センサ２と、ナビゲーションシステム３と、車間距離センサ４と、車速センサ５と、処理装置６と、ブレーキ制御装置７と、アクセル制御装置８と、警報器９と、インジケータ１０とで構成される。
【００１５】
処理装置６は、ＡＤ変換器６０１，６０２と、インターフェース回路６０３と、検出領域設定部６０４と、領域内温度差検出部６０５と、歩行者候補絞込み部６０６と、歩行者候補大きさ推測部６０７と、領域内影検出部６０８と、物体の大きさ推測部６０９と、歩行者候補選出部６１０と、移動ベクトル検出部６１１と、歩行者判定部６１２と、危険度検出部６１３と、リアルタイムクロック６１４とで構成される。
【００１６】
可視光画像センサ１は、ＣＣＤセンサやＣＭＯＳセンサ等の画像センサであり、車両前方の可視光における道路上に描かれた白線、道路上の障害物及び影などの画像データを取込む。取込んだ画像データは、ＡＤ変換器６０１でデジタル化され、検出領域設定部６０４或いは領域内影検出部６０８に入力される。
【００１７】
熱画像センサ２は、車両前方における物体の温度に応じた電磁波の赤外線強度を検出し、温度に換算して、歩行者の体温等の熱画像データを取込む。取込んだ熱画像データは、ＡＤ変換器６０２でデジタル化され、領域内温度差検出部６０５に入力される。
【００１８】
検出領域設定部６０４は、可視光画像センサ１から入力された道路の画像データに基づいて歩行者検出領域を設定する。歩行者検出領域を設定するのは、画像処理速度の面から自車両前方の画像すべてから歩行者の検出を行うと処理装置６の負荷が大きくなるからである。そのため、予め道路の白線を認識しておき、白線内の領域で歩行者の検出を行うようにする。
【００１９】
領域内温度差検出部６０５は、熱画像センサ２から入力された熱画像データに基づいて、設定された歩行者検出領域内の各物体の温度差を検出する。
【００２０】
歩行者候補絞込み部６０６は、領域内温度差検出部６０５で検出した温度差が歩行者の体温が検出できる温度差であるとき、歩行者の体温付近の温度データを検出し、その温度データをもつ物体を第１次歩行者候補として絞り込む。
【００２１】
歩行者候補大きさ推測部６０７は、歩行者候補絞込み部６０６で第１次歩行者候補として絞り込まれた物体の大きさを歩行者検出領域の座標から推測する。
【００２２】
領域内影検出部６０８は、領域内温度差検出部６０５で検出した温度差が歩行者の体温が検出できない温度差であるとき、可視光画像センサ１から入力された画像データに基づき、歩行者検出領域内の物体の影及び影の長さを検出する。
【００２３】
影を検出する方法としては、可視光画像検出センサ１から得られるデータにあるしきい値を設け、影とその他のデータとを区別する方法がある。可視光画像データから得られるデータを０から２５５の８ｂｉｔでデジタル変換し、数値の大きい方を明るい画像データとすると影は限りなく黒に近いため０に近いしきい値を設け、他の画像情報と区別する。
【００２４】
ナビゲーションシステム３で、自車両の走行する方位を検出し、検出した方位を、インターフェース回路６０３を経由して物体の大きさ推測部６０９に入力する。また、別の方位検出手段、例えば自車両に方位センサを備え、それを用いても良い。
【００２５】
物体の大きさ推測部６０９は、ナビゲーションシステム３から入力された方位と、リアルタイムクロック６１４から取込んだ日時及び時刻データと、領域内影検出部６０８で検出された影の長さと、歩行者検出領域の座標とから影を作り出している物体の大きさを推測する。
【００２６】
歩行者候補選出部１１０は、歩行者候補大きさ推測部６０７あるいは物体の大きさ推測部６０９で推測した物体の大きさが人物大の大きさであればその物体を第２次歩行者候補として選出する。
【００２７】
移動ベクトル検出部６１１は、選出した第２次歩行者候補に移動ベクトルがあるか否かを検出する。歩行者の影と人物の大きさに近い標識や植栽などの影とを区別する場合には、標識や植栽などは動くことがないので、最初に歩行者らしき影を検出した画像と、次以降に検出した影の画像を重ね合せ、影の移動した方向を移動ベクトルと定義し、この移動ベクトルが発生した場合に歩行者と判定する。ただし、この時、自車両は走行中であるので、当然標識や植栽などの静止物も手前に向かって移動するように見えるので考慮しなければならない。
【００２８】
歩行者判定部６１２は、第２次歩行者候補に移動ベクトルがあれば、第２次歩行者候補を歩行者と判定する。ただし、ミリ波レーダ或いはレーザレーダを用いて自車両前方の車両を検出する車間距離センサ４が前方車両が任意の車間距離で走行していると検知した場合には、前方車両と歩行者とを区別するために、歩行者判定部６１２は機能しないように構成されている。
【００２９】
危険度検出部６１３は、車速センサ５からの自車両の車速度と、歩行者判定部６１２で判定した歩行者の座標とに基づいて、自車両が歩行者に衝突するまでの時間を計測し、自車両が安全に停止できるかどうかの算出を行い、衝突または接触する危険の度合いを検出する。そして、検出した危険度に応じて、ブレーキ制御装置７やアクセル制御装置８を制御することにより車両走行を制御し、或いは警告器９が発する警告音やインジケータ１０によってドライバーに危険を警告する。
【００３０】
検出領域設定部６０４、領域内温度差検出部６０５、歩行者候補絞込み部６０６、歩行者候補大きさ推測部６０７、領域内影検出部６０８、物体の大きさ推測部６０９、歩行者候補選出部６１０、移動ベクトル検出部６１１、歩行者判定部６１２、危険度検出部６１３は、各々メモリに記録されたプログラムとプロセッサを有する処理装置６内蔵のコンピュータで実現できる。
【００３１】
次に、図２、図５を用いて、歩行者検出の具体例を、以下説明する。
【００３２】
図２は、図１の車両の安全運転支援システムの処理動作のフローチャートを示し、図５は、可視光画像センサ１による車両前方画像例である。
【００３３】
本処理動作は、検出物を前方車両と歩行者その他と区別するために、車間距離センサ４において相対速度を持つ物体を前方車両とみなし、その前方車両との車間距離が一定以上あった場合、或いは前方車両を検出しない場合を、トリガとして起動する。
【００３４】
始めにステップＳ１で、可視光画像センサ１からの画像データを取込み、自車両前方の道路上の所定領域を歩行者検出領域に設定する、例えば、図５に示すように、自車が走行中の車線から中央側と路肩側の白線２０とを検出し、両白線内を歩行者検出領域２１（図５の斜線部）と設定する。
【００３５】
次に、車速データを車速センサ５から取込み（ステップＳ２）、熱画像データを熱画像センサ２から取込む（ステップＳ３）。
【００３６】
次に、ステップＳ４で熱画像データによる歩行者検知領域２１内の温度が歩行者の体温を検出できないような温度範囲、すなわち歩行者の体温とほぼ同じ温度であれば、影検出ルーチンへ移行する（ステップＳ５）。それ以外は通常検出ルーチンへ移行する（ステップＳ６）。
【００３７】
次に、ステップＳ７において、ステップＳ５またはステップＳ６のルーチンで歩行者検出のフラグを立てていれば、危険度算出処理に移行する（ステップＳ８）。危険度算出処理では、ステップＳ４で取込んだ車速データおよび歩行者データの画像上の座標と、前画面や前々画面等から得られる歩行者の移動ベクトルの情報とから、歩行者と自車両の衝突または接触する危険度を算出する。
【００３８】
次に、ステップＳ８で算出した危険度に応じて、車両へのフィードバック処理を行い、警告音９またはインジケータ１０によってドライバーに注意を促したり、ブレーキ制御装置７やアクセル制御装置８を動作させることにより、車両走行を制御する（ステップＳ９）。
【００３９】
ステップＳ１０では、ＩＧＮ ＯＦＦ或いは上位システムでの終了コマンドが入力されなければ、ステップＳ１に戻ってプログラムを繰り返す。
【００４０】
図３と図５を用いて、通常検出ルーチンについて、説明する。
【００４１】
図３は、図２の通常検出ルーチンの処理動作のフローチャートを示す。
【００４２】
図２のステップＳ４で歩行者の体温が検出できる温度範囲であれば、ステップＳ２１で、熱画像データから得られる温度分布にて歩行者の体温付近の温度データを検出し、第１次歩行者候補の絞り込みを行う。次に可視光画像センサ１から可視光画像データの取込みを行う（ステップＳ２２）。次に歩行者検出領域２１内のエッジを抽出する（ステップＳ２３）。エッジとは予め設定してある画素間同士の濃度差である。
【００４３】
次に、ステップＳ２１で得られた第１次歩行者候補とステップＳ２３で得られたエッジの重ね合わせを行う（ステップＳ２４）。エッジが温度を有しないものであれば、第１次歩行者候補から外す。横断歩道２２などの道路標示や建物の影２３は第１次歩行者候補から外れることになる。
【００４４】
次に、温度を有する物体（第１次歩行者候補）の大きさを歩行者検出領域２１の座標から推測して人物大の大きさであれば第２次歩行者候補とする（ステップＳ２５）。
【００４５】
次に、一つ前の画像と比較を行い（ステップＳ２６）、この第２次歩行者候補に移動ベクトル２４を認識した場合（ステップＳ２７）、歩行者と判定し、歩行者検出フラグをセットする（ステップＳ２８）。次に、取り込んだ画像及び検出結果をメモリへ転送し、メインルーチンへ戻る（ステップＳ２９）。
【００４６】
図４と図５を用いて、影検出ルーチンについて、説明する。
【００４７】
図４は、図２の影検出ルーチンの処理動作のフローチャートを示す。
【００４８】
図２のステップＳ４で歩行者の体温が検出できないような温度範囲であれば、ステップＳ４１で可視光画像検出センサ１から画像データを取り込み、歩行者検出領域２１内の黒レベルから影を検出する（ステップＳ４２）。
【００４９】
次にナビゲーションシステム３から方位を（ステップＳ４３）、かつリアルタイムクロック６１４から日時、時刻データを取込んで（ステップＳ４４）、歩行者候補の画像上の座標と影の長さから物体の大きさを推測し（ステップＳ４５）、人物大であれば歩行者候補とする。
【００５０】
次に、一つ前の画像と比較を行い（ステップＳ４６）、この歩行者候補に移動ベクトル２４を認識した場合（ステップＳ４７）、歩行者と判定し、歩行者検出フラグをセットする（ステップＳ４８）。次に取り込んだ画像、検出結果をメモリへ転送し、メインルーチンへ戻る（ステップＳ４９）。
【００５１】
本実施の形態例によれば、路面温度と歩行者の温度に差異があるときだけでなく、例えば真夏の日の当たる路面など、路面温度が歩行者と同じ位の温度になるときでも、歩行者をより高精度に検出することができる。
【００５２】
また、検出した歩行者に車両が衝突または接触する危険の度合いを検出し、該検出した危険度に応じて、車両の走行を制御することができる。
【００５３】
【発明の効果】
本発明によれば、歩行者周辺の温度条件に影響されることなく、より正確に歩行者を検出できるので、車両走行の安全性の向上に寄与することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態例に係る車両の安全運転支援システムの全体構成ブロック図である。
【図２】図１の車両の安全運転支援システムの処理動作のフローチャート図である。
【図３】図２の通常検出ルーチンの処理動作のフローチャート図である。
【図４】図２の影検出ルーチンの処理動作のフローチャート図である。
【図５】可視光画像センサによる車両前方画像例である。
【符号の説明】
１…可視光画像センサ、２…熱画像センサ、３…ナビゲーションシステム、４…車間距離センサ、５…車速センサ、６…処理装置、７…ブレーキ制御装置、８…アクセル制御装置、９…警報機、１０…インジケータ、２０…白線、２１…歩行者検出領域、２２…横断歩道、２３…影、２４…移動ベクトル、６０１，６０２…ＡＤ変換器、６０３…インターフェース回路、６０４…検出領域設定部、６０５…領域内温度差検出部、６０６…歩行者候補絞込み部、６０７…歩行者候補大きさ推測部、６０８…領域内影検出部、６０９…物体の大きさ推測部、６１０…歩行者候補選出部、６１１…移動ベクトル検出部、６１２…歩行者判定部、６１３…危険度検出部、６１４…リアルタイムクロック
【発明の属する技術分野】
本発明は、車両の安全運転支援システム、特に自車両走行方向の歩行者を検出し、車両走行を安全制御するシステムに関するものである。
【０００２】
【従来の技術】
現在では、自動車事故を未然に防ぐための車間距離制御装置や車線逸脱制御装置などの開発、製品化が進められているが、高速道路での使用が前提であり、一般道路で使用可能とするためには歩行者の検知が必須になる。歩行者を検知するためには、車両前方の障害物を前方車や標識、植栽などと区別する必要があり、熱画像センサが有効になる。歩行者の体温は、外気の温度にかかわらず一定であるためである。
【０００３】
１９９６年から市場に出回るようになった冷却不要のサーモグラフィを用いることにより、昼間も熱画像を得ることが可能になった。昼夜に問わず可視光画像センサと熱画像センサとを起動させ、熱画像と可視光画像のデータを重ね合せて認識することにより、歩行者の検知精度を向上させることができる。近年、熱画像センサと可視光画像センサとを組み合わせて歩行者を検出する発明が種々提案されている。
【０００４】
例えば、特開２０００―３０１９７号公報記載の検出装置は、可視光画像センサと熱画像センサのデータを重ね合せて、車両の走行方向の他車両までの距離及び方向を車両検出部で検出し、画像処理ユニットで他車両までの距離と方向を除去し、かつ可視光画像、熱画像から他車両までの存在領域を除去し、除去処理結果の熱画像データに基づいて歩行者の存在を検出するものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記検出装置は、他車両の存在領域を除去し、除去処理結果から歩行者の存在を抽出する際、路面温度と歩行者の温度に差異があることが前提となっており、例えば真夏の日の当たる路面など歩行者と同じ位の温度になる場合もあり、正確な歩行者検出ができないという問題があった。
【０００６】
本発明の目的は、歩行者周辺の温度条件に影響されることなく、より正確に歩行者を検出できる車両の安全運転支援システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明における車両の安全運転支援システムの特徴とするところは、車両の安全運転支援システムを、可視光画像センサから取り込んだ可視画像データより自車両が走行する車線を検出し、該検出した車線内を歩行者検出領域に設定する検出領域設定部と、熱画像センサから取り込んだ熱画像データを基に歩行者検出領域内の温度分布を検出する領域内温度差検出部と、検出した温度分布が人間の体温付近にないとき、温度分布のうち人間の体温付近の温度を示す部分を歩行者候補とする第一の歩行者検出部と、検出した温度分布が人間の体温付近にあるときは、可視画像データに基づいて影を検出し、該影の状態から歩行者候補を検出する第二の歩行者検出部とで構成することにある。
【０００８】
具体的には本発明は次に掲げるシステムを提供する。
【０００９】
本発明は、車両の走行方向の歩行者を検出し、該検出した歩行者の状態に応じて前記車両の走行を制御する車両の安全運転支援システムにおいて、前記車両の走行方向の可視画像データを取り込む可視光画像センサと、前記車両の走行方向の熱画像データを取り込む熱画像センサと、前記取り込んだ可視画像データより自車両が走行する車線を検出し、該検出した車線内を歩行者検出領域に設定する検出領域設定部と、前記取り込んだ熱画像データを基に前記歩行者検出領域内の温度分布を検出する領域内温度差検出部と、前記検出した温度分布が人間の体温付近にないとき、前記温度分布のうち人間の体温付近の温度を示す部分を歩行者候補とする第一の歩行者検出部と、前記検出した温度分布が人間の体温付近にあるときは、前記可視画像データに基づいて影を検出し、該影の状態から歩行者候補を検出する第二の歩行者検出部とを有することを特徴とする車両の安全運転支援システムを提供する。
【００１０】
好ましくは、検出した前記歩行者候補に移動ベクトルがあるか否かを検出し、前記移動ベクトルがあれば前記歩行者候補を前記歩行者と判定する歩行者判定部を有する。
【００１１】
好ましくは、第一の歩行者検出部より前記歩行者候補として絞り込まれた物体の大きさを前記歩行者検出領域の座標から推測する歩行者候補大きさ推測部と、前記検出した温度分布が人間の体温付近にあるときに、前記可視画像データに基づいて前記歩行者検出領域内の物体の影の長さを検出する領域内影検出部と、前記検出された影の長さから影を作り出している物体の大きさを推測する物体の大きさ推測部と、前記歩行者候補大きさ推測部あるいは前記物体の大きさ推測部で推測した物体の大きさが、人物大の大きさであれば前記物体を第２次歩行者候補として選出する歩行者候補選出部とを有する。
また、好ましくは、前記物体の大きさ推測部は、前記検出された影の長さと、前記車両に備えられた方位センサから入力された方位と、リアルタイムクロックから取込んだ日時及び時刻データと、前記歩行者検出領域の座標とに基づいて、前記影を作り出している物体の大きさを推測する。
【００１２】
好ましくは、自車両の車速度を検出する車速センサを有し、検出した車速度と前記検出した歩行者の情報とに基づいて、前記車両が歩行者に衝突または接触する危険の度合いを検出し、該検出した危険度に応じて、前記車両の走行を制御する。
【００１３】
【発明の実施の形態】
以下、本発明の一実施の形態例に係る車両の安全運転支援システムを、図を用いて説明する。
【００１４】
図１は、本発明の一実施の形態例に係る車両の安全運転支援システムの全体構成を示す。車両の安全走行支援システムは、可視光画像センサ１と、熱画像センサ２と、ナビゲーションシステム３と、車間距離センサ４と、車速センサ５と、処理装置６と、ブレーキ制御装置７と、アクセル制御装置８と、警報器９と、インジケータ１０とで構成される。
【００１５】
処理装置６は、ＡＤ変換器６０１，６０２と、インターフェース回路６０３と、検出領域設定部６０４と、領域内温度差検出部６０５と、歩行者候補絞込み部６０６と、歩行者候補大きさ推測部６０７と、領域内影検出部６０８と、物体の大きさ推測部６０９と、歩行者候補選出部６１０と、移動ベクトル検出部６１１と、歩行者判定部６１２と、危険度検出部６１３と、リアルタイムクロック６１４とで構成される。
【００１６】
可視光画像センサ１は、ＣＣＤセンサやＣＭＯＳセンサ等の画像センサであり、車両前方の可視光における道路上に描かれた白線、道路上の障害物及び影などの画像データを取込む。取込んだ画像データは、ＡＤ変換器６０１でデジタル化され、検出領域設定部６０４或いは領域内影検出部６０８に入力される。
【００１７】
熱画像センサ２は、車両前方における物体の温度に応じた電磁波の赤外線強度を検出し、温度に換算して、歩行者の体温等の熱画像データを取込む。取込んだ熱画像データは、ＡＤ変換器６０２でデジタル化され、領域内温度差検出部６０５に入力される。
【００１８】
検出領域設定部６０４は、可視光画像センサ１から入力された道路の画像データに基づいて歩行者検出領域を設定する。歩行者検出領域を設定するのは、画像処理速度の面から自車両前方の画像すべてから歩行者の検出を行うと処理装置６の負荷が大きくなるからである。そのため、予め道路の白線を認識しておき、白線内の領域で歩行者の検出を行うようにする。
【００１９】
領域内温度差検出部６０５は、熱画像センサ２から入力された熱画像データに基づいて、設定された歩行者検出領域内の各物体の温度差を検出する。
【００２０】
歩行者候補絞込み部６０６は、領域内温度差検出部６０５で検出した温度差が歩行者の体温が検出できる温度差であるとき、歩行者の体温付近の温度データを検出し、その温度データをもつ物体を第１次歩行者候補として絞り込む。
【００２１】
歩行者候補大きさ推測部６０７は、歩行者候補絞込み部６０６で第１次歩行者候補として絞り込まれた物体の大きさを歩行者検出領域の座標から推測する。
【００２２】
領域内影検出部６０８は、領域内温度差検出部６０５で検出した温度差が歩行者の体温が検出できない温度差であるとき、可視光画像センサ１から入力された画像データに基づき、歩行者検出領域内の物体の影及び影の長さを検出する。
【００２３】
影を検出する方法としては、可視光画像検出センサ１から得られるデータにあるしきい値を設け、影とその他のデータとを区別する方法がある。可視光画像データから得られるデータを０から２５５の８ｂｉｔでデジタル変換し、数値の大きい方を明るい画像データとすると影は限りなく黒に近いため０に近いしきい値を設け、他の画像情報と区別する。
【００２４】
ナビゲーションシステム３で、自車両の走行する方位を検出し、検出した方位を、インターフェース回路６０３を経由して物体の大きさ推測部６０９に入力する。また、別の方位検出手段、例えば自車両に方位センサを備え、それを用いても良い。
【００２５】
物体の大きさ推測部６０９は、ナビゲーションシステム３から入力された方位と、リアルタイムクロック６１４から取込んだ日時及び時刻データと、領域内影検出部６０８で検出された影の長さと、歩行者検出領域の座標とから影を作り出している物体の大きさを推測する。
【００２６】
歩行者候補選出部１１０は、歩行者候補大きさ推測部６０７あるいは物体の大きさ推測部６０９で推測した物体の大きさが人物大の大きさであればその物体を第２次歩行者候補として選出する。
【００２７】
移動ベクトル検出部６１１は、選出した第２次歩行者候補に移動ベクトルがあるか否かを検出する。歩行者の影と人物の大きさに近い標識や植栽などの影とを区別する場合には、標識や植栽などは動くことがないので、最初に歩行者らしき影を検出した画像と、次以降に検出した影の画像を重ね合せ、影の移動した方向を移動ベクトルと定義し、この移動ベクトルが発生した場合に歩行者と判定する。ただし、この時、自車両は走行中であるので、当然標識や植栽などの静止物も手前に向かって移動するように見えるので考慮しなければならない。
【００２８】
歩行者判定部６１２は、第２次歩行者候補に移動ベクトルがあれば、第２次歩行者候補を歩行者と判定する。ただし、ミリ波レーダ或いはレーザレーダを用いて自車両前方の車両を検出する車間距離センサ４が前方車両が任意の車間距離で走行していると検知した場合には、前方車両と歩行者とを区別するために、歩行者判定部６１２は機能しないように構成されている。
【００２９】
危険度検出部６１３は、車速センサ５からの自車両の車速度と、歩行者判定部６１２で判定した歩行者の座標とに基づいて、自車両が歩行者に衝突するまでの時間を計測し、自車両が安全に停止できるかどうかの算出を行い、衝突または接触する危険の度合いを検出する。そして、検出した危険度に応じて、ブレーキ制御装置７やアクセル制御装置８を制御することにより車両走行を制御し、或いは警告器９が発する警告音やインジケータ１０によってドライバーに危険を警告する。
【００３０】
検出領域設定部６０４、領域内温度差検出部６０５、歩行者候補絞込み部６０６、歩行者候補大きさ推測部６０７、領域内影検出部６０８、物体の大きさ推測部６０９、歩行者候補選出部６１０、移動ベクトル検出部６１１、歩行者判定部６１２、危険度検出部６１３は、各々メモリに記録されたプログラムとプロセッサを有する処理装置６内蔵のコンピュータで実現できる。
【００３１】
次に、図２、図５を用いて、歩行者検出の具体例を、以下説明する。
【００３２】
図２は、図１の車両の安全運転支援システムの処理動作のフローチャートを示し、図５は、可視光画像センサ１による車両前方画像例である。
【００３３】
本処理動作は、検出物を前方車両と歩行者その他と区別するために、車間距離センサ４において相対速度を持つ物体を前方車両とみなし、その前方車両との車間距離が一定以上あった場合、或いは前方車両を検出しない場合を、トリガとして起動する。
【００３４】
始めにステップＳ１で、可視光画像センサ１からの画像データを取込み、自車両前方の道路上の所定領域を歩行者検出領域に設定する、例えば、図５に示すように、自車が走行中の車線から中央側と路肩側の白線２０とを検出し、両白線内を歩行者検出領域２１（図５の斜線部）と設定する。
【００３５】
次に、車速データを車速センサ５から取込み（ステップＳ２）、熱画像データを熱画像センサ２から取込む（ステップＳ３）。
【００３６】
次に、ステップＳ４で熱画像データによる歩行者検知領域２１内の温度が歩行者の体温を検出できないような温度範囲、すなわち歩行者の体温とほぼ同じ温度であれば、影検出ルーチンへ移行する（ステップＳ５）。それ以外は通常検出ルーチンへ移行する（ステップＳ６）。
【００３７】
次に、ステップＳ７において、ステップＳ５またはステップＳ６のルーチンで歩行者検出のフラグを立てていれば、危険度算出処理に移行する（ステップＳ８）。危険度算出処理では、ステップＳ４で取込んだ車速データおよび歩行者データの画像上の座標と、前画面や前々画面等から得られる歩行者の移動ベクトルの情報とから、歩行者と自車両の衝突または接触する危険度を算出する。
【００３８】
次に、ステップＳ８で算出した危険度に応じて、車両へのフィードバック処理を行い、警告音９またはインジケータ１０によってドライバーに注意を促したり、ブレーキ制御装置７やアクセル制御装置８を動作させることにより、車両走行を制御する（ステップＳ９）。
【００３９】
ステップＳ１０では、ＩＧＮ ＯＦＦ或いは上位システムでの終了コマンドが入力されなければ、ステップＳ１に戻ってプログラムを繰り返す。
【００４０】
図３と図５を用いて、通常検出ルーチンについて、説明する。
【００４１】
図３は、図２の通常検出ルーチンの処理動作のフローチャートを示す。
【００４２】
図２のステップＳ４で歩行者の体温が検出できる温度範囲であれば、ステップＳ２１で、熱画像データから得られる温度分布にて歩行者の体温付近の温度データを検出し、第１次歩行者候補の絞り込みを行う。次に可視光画像センサ１から可視光画像データの取込みを行う（ステップＳ２２）。次に歩行者検出領域２１内のエッジを抽出する（ステップＳ２３）。エッジとは予め設定してある画素間同士の濃度差である。
【００４３】
次に、ステップＳ２１で得られた第１次歩行者候補とステップＳ２３で得られたエッジの重ね合わせを行う（ステップＳ２４）。エッジが温度を有しないものであれば、第１次歩行者候補から外す。横断歩道２２などの道路標示や建物の影２３は第１次歩行者候補から外れることになる。
【００４４】
次に、温度を有する物体（第１次歩行者候補）の大きさを歩行者検出領域２１の座標から推測して人物大の大きさであれば第２次歩行者候補とする（ステップＳ２５）。
【００４５】
次に、一つ前の画像と比較を行い（ステップＳ２６）、この第２次歩行者候補に移動ベクトル２４を認識した場合（ステップＳ２７）、歩行者と判定し、歩行者検出フラグをセットする（ステップＳ２８）。次に、取り込んだ画像及び検出結果をメモリへ転送し、メインルーチンへ戻る（ステップＳ２９）。
【００４６】
図４と図５を用いて、影検出ルーチンについて、説明する。
【００４７】
図４は、図２の影検出ルーチンの処理動作のフローチャートを示す。
【００４８】
図２のステップＳ４で歩行者の体温が検出できないような温度範囲であれば、ステップＳ４１で可視光画像検出センサ１から画像データを取り込み、歩行者検出領域２１内の黒レベルから影を検出する（ステップＳ４２）。
【００４９】
次にナビゲーションシステム３から方位を（ステップＳ４３）、かつリアルタイムクロック６１４から日時、時刻データを取込んで（ステップＳ４４）、歩行者候補の画像上の座標と影の長さから物体の大きさを推測し（ステップＳ４５）、人物大であれば歩行者候補とする。
【００５０】
次に、一つ前の画像と比較を行い（ステップＳ４６）、この歩行者候補に移動ベクトル２４を認識した場合（ステップＳ４７）、歩行者と判定し、歩行者検出フラグをセットする（ステップＳ４８）。次に取り込んだ画像、検出結果をメモリへ転送し、メインルーチンへ戻る（ステップＳ４９）。
【００５１】
本実施の形態例によれば、路面温度と歩行者の温度に差異があるときだけでなく、例えば真夏の日の当たる路面など、路面温度が歩行者と同じ位の温度になるときでも、歩行者をより高精度に検出することができる。
【００５２】
また、検出した歩行者に車両が衝突または接触する危険の度合いを検出し、該検出した危険度に応じて、車両の走行を制御することができる。
【００５３】
【発明の効果】
本発明によれば、歩行者周辺の温度条件に影響されることなく、より正確に歩行者を検出できるので、車両走行の安全性の向上に寄与することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態例に係る車両の安全運転支援システムの全体構成ブロック図である。
【図２】図１の車両の安全運転支援システムの処理動作のフローチャート図である。
【図３】図２の通常検出ルーチンの処理動作のフローチャート図である。
【図４】図２の影検出ルーチンの処理動作のフローチャート図である。
【図５】可視光画像センサによる車両前方画像例である。
【符号の説明】
１…可視光画像センサ、２…熱画像センサ、３…ナビゲーションシステム、４…車間距離センサ、５…車速センサ、６…処理装置、７…ブレーキ制御装置、８…アクセル制御装置、９…警報機、１０…インジケータ、２０…白線、２１…歩行者検出領域、２２…横断歩道、２３…影、２４…移動ベクトル、６０１，６０２…ＡＤ変換器、６０３…インターフェース回路、６０４…検出領域設定部、６０５…領域内温度差検出部、６０６…歩行者候補絞込み部、６０７…歩行者候補大きさ推測部、６０８…領域内影検出部、６０９…物体の大きさ推測部、６１０…歩行者候補選出部、６１１…移動ベクトル検出部、６１２…歩行者判定部、６１３…危険度検出部、６１４…リアルタイムクロック
Claims (9)
- 車両の走行方向の歩行者を検出し、該検出した歩行者の状態に応じて前記車両の走行を制御する車両の安全運転支援システムにおいて、
前記車両の走行方向の可視画像データを取り込む可視光画像センサと、
前記車両の走行方向の熱画像データを取り込む熱画像センサと、
前記取り込んだ可視画像データより自車両が走行する車線を検出し、該検出した車線内を歩行者検出領域に設定する検出領域設定部と、
前記取り込んだ熱画像データを基に前記歩行者検出領域内の温度分布を検出する領域内温度差検出部と、
前記検出した温度分布が人間の体温付近にないとき、前記温度分布のうち人間の体温付近の温度を示す部分を歩行者候補とする第一の歩行者検出部と、
前記検出した温度分布が人間の体温付近にあるときは、前記可視画像データに基づいて影を検出し、該影の状態から歩行者候補を検出する第二の歩行者検出部と、
を有することを特徴とする車両の安全運転支援システム。 - 請求項１において、検出した前記歩行者候補に移動ベクトルがあるか否かを検出し、前記移動ベクトルがあれば前記歩行者候補を前記歩行者と判定する歩行者判定部を有することを特徴とする車両の安全運転支援システム。
- 請求項１において、前記第一の歩行者検出部より前記歩行者候補として絞り込まれた物体の大きさを前記歩行者検出領域の座標から推測する歩行者候補大きさ推測部と、前記検出した温度分布が人間の体温付近にあるときに、前記可視画像データに基づいて前記歩行者検出領域内の物体の影の長さを検出する領域内影検出部と、前記検出された影の長さから影を作り出している物体の大きさを推測する物体の大きさ推測部と、前記歩行者候補大きさ推測部あるいは前記物体の大きさ推測部で推測した物体の大きさが、人物大の大きさであれば前記物体を第２次歩行者候補として選出する歩行者候補選出部と、を有することを特徴とする車両の安全運転支援システム。
- 請求項３において、前記物体の大きさ推測部は、前記検出された影の長さと、前記車両に備えられた方位センサから入力された方位と、リアルタイムクロックから取込んだ日時及び時刻データと、前記歩行者検出領域の座標とに基づいて、前記影を作り出している物体の大きさを推測することを特徴とする車両の安全運転支援システム。
- 請求項１ないし請求項４のいずれかにおいて、自車両の車速度を検出する車速センサを有し、検出した車速度と前記検出した歩行者の情報とに基づいて、前記車両が歩行者に衝突または接触する危険の度合いを検出し、該検出した危険度に応じて、前記車両の走行を制御することを特徴とする車両の安全運転支援システム。
- 車両の走行方向の歩行者を検出する装置において、
前記車両の走行方向の可視画像データを取り込む可視光画像センサと、
前記車両の走行方向の熱画像データを取り込む熱画像センサと、
前記取り込んだ可視画像データより自車両が走行する車線を検出し、該検出した車線内を歩行者検出領域に設定する検出領域設定部と、
前記取り込んだ熱画像データを基に前記歩行者検出領域内の温度分布を検出する領域内温度差検出部と、
前記検出した温度分布が人間の体温付近にないとき、前記温度分布のうち人間の体温付近の温度を示す部分を歩行者候補とする第一の歩行者検出部と、
前記検出した温度分布が人間の体温付近にあるときは、前記可視画像データに基づいて影を検出し、該影の状態から歩行者候補を検出する第二の歩行者検出部と、
を有することを特徴とする装置。 - 請求項６において、検出した前記歩行者候補に移動ベクトルがあるか否かを検出し、前記移動ベクトルがあれば前記歩行者候補を前記歩行者と判定する歩行者判定部を有することを特徴とする装置。
- 請求項６において、前記第一の歩行者検出部より前記歩行者候補として絞り込まれた物体の大きさを前記歩行者検出領域の座標から推測する歩行者候補大きさ推測部と、前記検出した温度分布が人間の体温付近にあるときに、前記可視画像データに基づいて前記歩行者検出領域内の物体の影の長さを検出する領域内影検出部と、前記検出された影の長さから影を作り出している物体の大きさを推測する物体の大きさ推測部と、前記歩行者候補大きさ推測部あるいは前記物体の大きさ推測部で推測した物体の大きさが、人物大の大きさであれば前記物体を第２次歩行者候補として選出する歩行者候補選出部と、を有することを特徴とする装置。
- 請求項８において、前記物体の大きさ推測部は、前記検出された影の長さと、前記車両に備えられた方位センサから入力された方位と、リアルタイムクロックから取込んだ日時及び時刻データと、前記歩行者検出領域の座標とに基づいて、前記影を作り出している物体の大きさを推測することを特徴とする装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000259506A JP3574780B2 (ja) | 2000-08-29 | 2000-08-29 | 車両の安全運転支援システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000259506A JP3574780B2 (ja) | 2000-08-29 | 2000-08-29 | 車両の安全運転支援システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002074595A JP2002074595A (ja) | 2002-03-15 |
| JP3574780B2 true JP3574780B2 (ja) | 2004-10-06 |
Family
ID=18747680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000259506A Expired - Lifetime JP3574780B2 (ja) | 2000-08-29 | 2000-08-29 | 車両の安全運転支援システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3574780B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
| JP2009244985A (ja) * | 2008-03-28 | 2009-10-22 | Toyota Central R&D Labs Inc | 運転支援装置及び歩行者検出装置 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3988657B2 (ja) * | 2003-02-27 | 2007-10-10 | 日産自動車株式会社 | 対象物検出装置 |
| JP2005212609A (ja) * | 2004-01-29 | 2005-08-11 | Denso Corp | 運転支援装置 |
| JP4376653B2 (ja) | 2004-02-17 | 2009-12-02 | 富士重工業株式会社 | 車外監視装置 |
| JP4661339B2 (ja) * | 2005-05-11 | 2011-03-30 | マツダ株式会社 | 車両用移動物体検出装置 |
| JP4793638B2 (ja) * | 2006-03-27 | 2011-10-12 | マツダ株式会社 | 車両用歩行者検出装置 |
| JP4846426B2 (ja) * | 2006-04-20 | 2011-12-28 | パナソニック株式会社 | 車両周囲監視装置 |
| JP4349452B2 (ja) | 2007-08-27 | 2009-10-21 | トヨタ自動車株式会社 | 行動予測装置 |
| WO2010029592A1 (ja) * | 2008-09-09 | 2010-03-18 | 三菱電機株式会社 | 車両周囲監視装置 |
| JP5269755B2 (ja) | 2009-12-10 | 2013-08-21 | 株式会社日立製作所 | 人横断支援車両システム及び人横断支援方法 |
| JP5593217B2 (ja) * | 2010-12-28 | 2014-09-17 | クラリオン株式会社 | 車両用外界認識装置およびそれを用いた車両システム |
| JP2013184498A (ja) * | 2012-03-06 | 2013-09-19 | Nissan Motor Co Ltd | 車両走行支援装置 |
| JP6044158B2 (ja) * | 2012-07-31 | 2016-12-14 | 日産自動車株式会社 | 車両走行支援装置及び車両走行支援方法 |
| KR101736472B1 (ko) * | 2012-08-27 | 2017-05-16 | 한화테크윈 주식회사 | 영상 감시 장치 및 방법 |
| DE102015121952A1 (de) | 2015-12-16 | 2017-06-22 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug |
| JP6617651B2 (ja) * | 2016-07-07 | 2019-12-11 | 株式会社デンソー | 歩行者検出装置、歩行者検出方法 |
| CN108082107B (zh) * | 2017-12-19 | 2019-07-09 | 奇瑞汽车股份有限公司 | 信息提醒方法、装置及计算机可读存储介质 |
| US11320830B2 (en) | 2019-10-28 | 2022-05-03 | Deere & Company | Probabilistic decision support for obstacle detection and classification in a working area |
| JPWO2023053355A1 (ja) * | 2021-09-30 | 2023-04-06 |
-
2000
- 2000-08-29 JP JP2000259506A patent/JP3574780B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
| JP2009244985A (ja) * | 2008-03-28 | 2009-10-22 | Toyota Central R&D Labs Inc | 運転支援装置及び歩行者検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002074595A (ja) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3574780B2 (ja) | 車両の安全運転支援システム | |
| CN111746511B (zh) | 车辆控制系统 | |
| US9248777B2 (en) | Automatic signaling system for vehicles | |
| US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
| JP5345350B2 (ja) | 車両の運転支援装置 | |
| US10525873B2 (en) | Turn by turn activation of turn signals | |
| CN113264047B (zh) | 车辆控制装置及存储车辆控制用程序的非易失性存储介质 | |
| US20090240432A1 (en) | Vehicle-installation obstacle detection apparatus | |
| JP6711329B2 (ja) | 走行支援装置 | |
| JPWO2014024336A1 (ja) | 物体検出装置及び運転支援装置 | |
| JP2006184276A (ja) | 視覚検知による全天候障害物衝突防止装置とその方法 | |
| JP2005063398A (ja) | 車両制御装置 | |
| KR101103526B1 (ko) | 스테레오 카메라를 이용한 충돌회피 방법 | |
| CN111762189A (zh) | 车辆控制系统 | |
| JP4756895B2 (ja) | 走行支援装置 | |
| TWI535589B (zh) | Active automatic driving assistance system and method | |
| JP6970547B2 (ja) | 車両制御装置及び車両制御方法 | |
| JP2022048339A (ja) | 情報処理装置 | |
| JP2017068461A (ja) | 車両の運転支援装置 | |
| JP2004314843A (ja) | 車両用運転支援装置 | |
| KR20200055965A (ko) | 도로 장애물의 알림 및 차량의 추적이 가능한 라이다를 이용한 교통 감시 시스템 | |
| US20230154322A1 (en) | Driving assistance apparatus | |
| JP2020134981A (ja) | 運転支援装置 | |
| JP2004331021A (ja) | 夜間障害物報知装置 | |
| JP2007058805A (ja) | 前方環境認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3574780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070709 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |