JP4228959B2 - 車両用周辺監視装置 - Google Patents

車両用周辺監視装置 Download PDF

Info

Publication number
JP4228959B2
JP4228959B2 JP2004088612A JP2004088612A JP4228959B2 JP 4228959 B2 JP4228959 B2 JP 4228959B2 JP 2004088612 A JP2004088612 A JP 2004088612A JP 2004088612 A JP2004088612 A JP 2004088612A JP 4228959 B2 JP4228959 B2 JP 4228959B2
Authority
JP
Japan
Prior art keywords
vehicle
irradiation
infrared light
infrared
periphery monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004088612A
Other languages
English (en)
Other versions
JP2005275850A (ja
Inventor
健一 大上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2004088612A priority Critical patent/JP4228959B2/ja
Publication of JP2005275850A publication Critical patent/JP2005275850A/ja
Application granted granted Critical
Publication of JP4228959B2 publication Critical patent/JP4228959B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、車両用周辺監視装置に係り、特に、車両運転者の視認可能な表示手段に車両前方を撮影した赤外画像を表示すべく、車両前方へ向けて赤外光を照射するうえで好適な車両用周辺監視装置に関する。
従来より、車両前方に存在する障害物を検出すると共に、かかる障害物が検出されるときに車両前方の赤外画像を車両運転者前方の表示器に表示する車載表示装置が知られている(例えば、特許文献1参照)。かかる表示装置によれば、夜間や濃霧等により車両の前方視認性が低下しているときにも、車両運転者の視覚を有効に補助することができ、これにより、その運転者への運転支援を実現することができる。
特開2001−71843号公報
上記従来の装置において、車両前方の赤外画像を表示器に表示するためには、車両前方へ赤外光を照射することが必要である。車両が高速で走行するときには、車両周囲においてすれ違う歩行者等が車両の照射する赤外光を受ける時間は比較的短いものとなる一方で、車両が低速で走行し或いは停車しているときには、その時間は比較的長いものとなる。ここで、人が比較的長い時間継続してエネルギ密度の高い赤外光の照射を受けることは好ましいことではない。従って、低速走行中や停車時には、歩行者等への影響を考慮して、車両からの赤外光の照射を行わない方が望ましい。
一方、歩行者等への影響が少ない或いは全くなければ、低速走行中や停車時においても、車両運転者の視覚を赤外画像を用いて有効に補助するために、車両から赤外光の照射を行って赤外画像の表示を行うこととしても不都合はない。
本発明は、上述の点に鑑みてなされたものであり、車両周囲の人に対して多大な影響を及ぼすことなく、車両運転者の確認する車両前方の状況を視認性のよい赤外画像を介して提供することが可能な車両用周辺監視装置を提供することを目的とする。
上記の目的は、車両運転者の視認可能な表示手段に車両前方を撮影した赤外画像を表示すべく、車両前方へ向けて赤外光を照射する照射手段を備える車両用周辺監視装置であって、自車速を検出する自車速検出手段と、前記自車速検出手段により検出される自車速が所定車速以下である状況において、車両周囲に存在する対象を検出する対象検出手段と、記対象検出手段により前記対象が検出されないときには前記照射手段による赤外光の照射を実行し、一方、前記対象検出手段により前記対象が検出されるときには前記照射手段による赤外光の照射を制限する照射制御手段と、を備える車両用周辺監視装置により達成される。
請求項1記載の発明において、自車速が所定車速以下である状況において、車両周囲に存在する対象が検出されないときには照射手段からの赤外光の照射が行われる一方、車両周囲に存在する対象が検出されるときには照射手段からの赤外光の照射が制限される。車両が停車を含む低車速状態にありかつ車両周囲に歩行者などの人が存在する状況で赤外光の照射が行われると、その人に対する赤外光の照射による影響が多大となる。これに対して、車両が停車を含む低車速状態にあっても車両周囲に人が存在しないときには、赤外光の照射が行われても、何らその赤外光の照射による影響が人に対して及ぶことはなく、また、車両周囲に人が存在するときは赤外光の照射が制限されれば、その人に対して赤外光の照射による影響が多大になることはない。従って、本発明によれば、車両が停車を含む低車速状態にあるときにも、車両周囲の人に対して多大な影響を与えないタイミングで赤外光の照射を行うことができ、これにより、車両周囲の人に対して悪影響を及ぼすことなく、車両運転者に対して車両前方の状況を視認性のよい赤外画像を介して提供することができる。
この場合、上記した車両用周辺監視装置において、前記照射制御手段は、前記対象検出手段により前記対象が検出されるときには、前記照射手段による赤外光の照射を禁止することとすれば、車両周囲の人に対して赤外光の照射による悪影響が及ぶのを回避することができる。
また、上記した車両用周辺監視装置において、前記照射制御手段は、前記対象検出手段により前記対象が検出されるときには、前記照射手段による所定継続時間以下の赤外光の照射を間欠的に実行することとすれば、車両周囲の人に対して赤外光の照射による悪影響が及ぶのを抑制することができる。
尚、上記した車両用周辺監視装置において、前記照射制御手段により赤外光の照射が制限されるときは、赤外光の照射が制限される旨及び車両周囲に対象が存在する旨を車両運転者に対して案内する案内手段を備えることとすれば、車両周囲に対象が存在することに起因して赤外光の照射が制限されていることを車両運転者に知らせることができ、また、車両運転者に車両周囲に対象が存在することについての注意を喚起することができる。
また、上記した車両用周辺監視装置において、車両の発進操作を検出する発進操作検出手段を備え、前記照射制御手段は、前記対象検出手段により前記対象が検出される場合にも、前記発進操作検出手段により前記発進操作が検出されたときは、所定時間だけ前記照射手段による赤外光の照射を実行することとしてもよい
請求項5記載の発明において、車両の発進操作が検出されると、所定時間だけ照射手段からの赤外光の照射が行われる。この場合には、車両が発進する直前又は発進と同時に、車両運転者に対して車両前方の状況が視認性のよい赤外画像を介して提供される。また、本発明においては、発進操作検出後、所定時間が経過すると、照射手段からの赤外光の照射が停止される。このため、車両発進時、車両周囲の人が長時間継続して赤外光の照射を受けることはないので、人に対して赤外光の照射による悪影響が及ぶのを抑えることができる。
この場合、請求項6に記載する如く、請求項5記載の車両用周辺監視装置において、前記発進操作検出手段は、変速機のドライブレンジへのシフト、ブレーキペダルのオン操作解除、又はアクセルペダルのオン操作を検出することとすればよい。
更に、上記した車両用周辺監視装置において、車両運転者により操作されるマニュアルスイッチを備え、前記照射制御手段は、前記対象検出手段により前記対象が検出される場合にも、前記マニュアルスイッチのオン操作が行われたときは、所定時間だけ前記照射手段による赤外光の照射を実行することとしてもよい

請求項7記載の発明において、車両運転者によりマニュアルスイッチが操作されると、所定時間だけ照射手段からの赤外光の照射が行われる。この場合には、運転者が車両前方状況の視認性よい赤外画像を介した確認を望めば、車両運転者に対して車両前方の状況が視認性のよい赤外画像を介して提供される。また、かかる赤外光の照射は、所定時間だけ行われた後は停止される。このため、車両運転者が赤外光の照射及び赤外画像の表示を望んだときにも、車両周囲の人が長時間継続して赤外光の照射を受けることはないので、人に対して赤外光の照射による悪影響が及ぶのをできる限り抑えることができる。
この場合、請求項8に記載する如く、請求項7記載の車両用周辺監視装置において、前記マニュアルスイッチは、ステアリングホイール又はシフトレバーに配設されていることとすれば、照射手段から赤外光を照射させるための運転者の操作を容易かつ安全に行うことができる。
請求項1乃至3記載の発明によれば、車両が停車を含む低車速状態にあるときにも、車両周囲の人に対して悪影響を及ぼすことなく、車両運転者に対して車両前方の状況を視認性のよい赤外画像を介して提供することができる。
請求項4記載の発明によれば、更に、車両周囲に対象が存在することに起因して赤外光の照射が制限されていることを車両運転者に知らせることができると共に、車両運転者に車両周囲に対象が存在することについての注意を喚起することができる。
請求項5及び6記載の発明によれば、車両発進時に、車両周囲の人に対して悪影響を及ぼすことなく、車両運転者に対して車両前方の状況を視認性のよい赤外画像を介して提供することができる。
また、請求項7及び8記載の発明によれば、車両運転者の望むタイミングで、車両周囲の人に対して悪影響を及ぼすことなく、車両運転者に対して車両前方の状況を視認性のよい赤外画像を介して提供することができる。
以下、図面を参照して、本発明の実施形態について説明する。
図1は、本発明の第1実施例である車両用周辺監視装置10のシステム構成図を示す。本実施例の車両用周辺監視装置10は、夜間などに車両前方の赤外画像を車両運転者に提供することで、車両運転者の視覚を有効に補助するシステムである。図1に示す如く、車両用周辺監視装置10は、ナイトビューコンピュータ(以下、単にコンピュータと称す)12を備えている。
コンピュータ12には、車体前部にヘッドランプとして組み込まれて配設された赤外線投光器14が接続されている。赤外線投光器14は、コンピュータ12から供給される指令に従って、可視光よりも長い波長の赤外光(例えば、近赤外線;780nm〜1500nm)を車両前方へ向けて照射する機器である。赤外線投光器14から照射される赤外光は、可視光を照射するヘッドランプの照射領域よりも比較的遠方の領域(例えば最大250メートル)に投光される。
コンピュータ12には、また、車室内のフロントウィンドシールドガラス上部近傍に配設された赤外線カメラ16が接続されている。赤外線カメラ16は、コンピュータ12から供給される指令に従って、赤外線投光器14の照射範囲すべてを含む車両前方の領域を所定の水平画角と所定の垂直画角とで撮影する。赤外線カメラ16は、車両前方の領域からの光を取り込んで、取り込んだ光のうち可視領域の光をフィルタでカットして、車両前方領域から反射された赤外領域の光(例えば、近赤外光)の強さを白黒の濃淡による映像信号に変換する。赤外線カメラ16による映像信号は、コンピュータ12に供給される。
コンピュータ12には、また、ヘッドアップディスプレイ(以下、HUDと称す)18が接続されている。HUD18は、車両運転者に視認可能にフロントウィンドシールドガラス内面のコンバイナーに設けられた液晶ディスプレイである。HUD18は、コンピュータ12から供給される指令に従って、上記した赤外線カメラ16の撮影した車両前方領域を赤外画像の映像として表示する。
コンピュータ12には、また、車速センサ20及びシフト位置センサ22が接続されている。車速センサ20は、自車両の速度に応じた信号を出力する。また、シフト位置センサ22は、自車両の変速機のシフト位置に応じた信号を出力する。コンピュータ12は、車速センサ20の出力信号に基づいて自車両の車速Vを検出すると共に、シフト位置センサ22の出力信号に基づいて変速機のシフト位置を検出する。
コンピュータ12には、また、車両運転者により手動で操作されるマニュアルメインスイッチ(以下、単にメインスイッチと称す)24及びマニュアルサブスイッチ(以下、単にサブスイッチと称す)26が接続されている。メインスイッチ24は、車両運転者の意思で上記した赤外線投光器14から赤外光を照射させてHUD18に車両前方の撮影された赤外画像を表示させるシステムの起動と作動停止とを切り替えるために設けられたスイッチである。メインスイッチ24は、例えば車室内のインストルメントパネルに配設されている。メインスイッチ24は、車両運転者による操作有無に応じた信号を出力し、常態でオフに維持され、操作が行われた際にオンとなるスイッチである。コンピュータ12は、メインスイッチ24の状態に基づいて、システムの起動と作動停止とを切り替えようとする車両運転者の意思の有無を判定する。
また、サブスイッチ26は、車両運転者の意思で強制的に上記した赤外線投光器14から赤外光を照射させてHUD18に車両前方の撮影された赤外画像を表示させるために設けられたスイッチである。サブスイッチ26は、車両運転者が車両を操舵する際に操作するステアリングホイール、又は、車両運転者が変速機のシフトチェンジを行う際に操作するシフトレバーに配設されている。サブスイッチ26は、車両運転者による操作有無に応じた信号を出力し、常態でオフに維持され、操作が行われた際にオンとなるスイッチである。コンピュータ12は、サブスイッチ26の状態に基づいて、強制的にHUD18に車両前方の撮影された赤外画像を表示させようとする車両運転者の意思の有無を判定する。
コンピュータ12には、また、車体前部のフロントバンパ近傍に複数(図1においては、4個)配設されたソナーセンサ30が配設されている。各ソナーセンサ30は、例えば超音波を発信するセンサであり、車両前方近傍やコーナ近傍(例えば車体前端から50cm〜1m)に存在する障害物の有無及び障害物が存在する場合にはその障害物の相対位置に応じた信号を出力する。コンピュータ12は、各ソナーセンサ30の出力信号に基づいて、車両周囲に存在する歩行者などの人を含む障害物を検出する。
尚、本実施例において、ソナーセンサ30の出力信号は、イグニションスイッチがオン状態にあり、車速が例えば10km/h以下にあり、かつ、シフト位置がパーキングレンジ以外である場合に、車庫入れ駐車時や狭い道路における切り返し時などに車両周囲の障害物を検知すべくコンピュータ12において有効となる。かかる状況においてソナーセンサ30の出力信号に基づいて障害物が検出されると、車両運転者の前方にあるコンビネーションメータ内で障害物の相対位置がグラフィック表示されると共に、後述のスピーカ32から車両周囲に障害物が存在する旨の音声出力が行われる。
コンピュータ12には、更に、車室内に設けられたスピーカ32が接続されている。スピーカ32は、コンピュータ12から供給される指令に従って、車両運転者に対して音声による案内や注意喚起を行うべく駆動される。
次に、本実施例の車両用周辺監視装置10の動作について説明する。図2は、本実施例の車両用周辺監視装置10の機能を説明するための図を示す。尚、図2には、車両運転者自身の見る景色が示されている。
本実施例の車両用周辺監視装置10において、車両のイグニションスイッチがオン状態にある状況で、車両運転者がメインスイッチ24をオン操作することでメインスイッチ24がオン状態になると、車両のヘッドランプから可視光が照射されかつ車両周囲が比較的暗いときに限り、車両運転者の視覚を赤外画像により有効に補助するシステムが起動される。このようにシステムが起動されると、以後、原則として車速が第1のしきい値(例えば30km/h)を超える際、赤外線投光器14が点灯されて車両前方に近赤外光が照射され、HUD18に車両前方領域を映像化した赤外画像が表示されることとなる。
上記の如く、赤外線投光器14からの近赤外光の照射範囲は、可視光を照射するヘッドランプの照射領域よりも比較的遠方の領域である。また、赤外線カメラ16の撮影領域は、赤外線投光器14の照射範囲すべてを含む車両前方領域である。従って、本実施例の車両用周辺監視装置10によれば、図2に示す如く、夜間などに可視光を照射するヘッドランプの照射領域よりも遠方の比較的暗い領域を可視化して、HUD18を介して車両運転者に提供することができる。このため、夜間等で車両前方の視認性が低下するときに、車両運転者の視覚を有効に補助することができ、運転者への運転支援を実現することができる。
尚、原則として車速が第1のしきい値を超えなければ、赤外線投光器14から車両前方に近赤外光が照射されないので、車両走行中にその車両とすれ違う車両周囲の歩行者がその車両の照射する近赤外光を受ける時間は比較的短くなる。このため、上記した本実施例の構成によれば、人に比較的長い時間継続してエネルギ密度の高い赤外光を与えることはなく、近赤外線の投光によって歩行者等へ多大な影響が及ぶのを防止することが可能となっている。
一方、赤外線投光器14からの近赤外光の照射が常に、車速が第1のしきい値を超えなければ行われないものとすると、その近赤外光の照射が実行される時期が過度に制限され、低車速走行中や停車中に車両運転者の視覚が赤外画像を用いて有効に補助されないものとなり、車両前方の視認性が低下する状態が継続するものとなってしまう。
そこで、本実施例のシステムは、低車速走行中や停車中においても、車両周囲の人に対して多大な影響を及ぼさない範囲で、車両運転者に車両前方を可視化した赤外画像をHUD18を介して提供する点に第1の特徴を有している。以下、本実施例の第1の特徴点について説明する。
図3は、上記第1の特徴点を実現すべく、本実施例の車両用周辺監視装置10においてコンピュータ12が実行する制御ルーチンの一例のフローチャートを示す。図3に示すルーチンは、その処理が終了するごとに繰り返し起動される。図3に示すルーチンが起動されると、まずステップ100の処理が実行される。
ステップ100では、システムの作動条件が成立しているか否か、具体的には、車両のイグニションスイッチがオン状態にあり、メインスイッチ24がオン状態にあり、更に、ヘッドランプから可視光が照射されており、かつ、例えばライトコントロールセンサなどを用いて車両周囲が比較的暗いと判定されているか否かが判別される。その結果、システムの作動条件が成立せず、その停止条件が成立すると判別される場合は、以後何ら処理が進められることなく今回のルーチンは終了される。一方、システムの作動条件が成立すると判別される場合は、次にステップ102の処理が実行される。
ステップ102では、車速センサ20を用いて検出される自車速Vが第1のしきい値V0以下であるか否かが判別される。尚、この第1のしきい値V0は、車両とすれ違う歩行者等がその車両から継続して赤外光を受ける時間が多大な影響を受ける程度に長くなると判断できる最大車速であり、例えば30km/hに設定されている。その結果、V≦V0が成立せず、車両が比較的高速で走行すると判別される場合は、次にステップ104の処理が実行される。
ステップ104では、赤外線投光器14から近赤外光を照射する処理が実行される。本ステップ104の処理が実行されると、以後、その照射された近赤外光が路面や障害物などに反射されて赤外線カメラ16の撮影した映像が赤外画像として設定輝度でHUD18に表示されることとなる。尚、この設定輝度は、人の操作に従って可変されるものであってもよい。本ステップ104の処理が終了すると、今回のルーチンは終了される。
一方、上記ステップ102においてV≦V0が成立すると判別される場合は、次にステップ106の処理が実行される。
ステップ106では、ソナーセンサ30の出力が障害物検知を行ううえで有効となる条件が成立するか否か、具体的には、(1)車速センサ20を用いて検出される自車速Vが第2のしきい値V1以下であり、かつ、(2)シフト位置センサ22を用いて検出されるシフト位置がパーキング位置以外であるか否かが判別される。尚、第2のしきい値V1は、コンピュータ12においてソナーセンサ30の出力を障害物検知のために有効とする車速であり、上記した第1のしきい値V0よりも小さい例えば10km/hに設定されている。かかる(1)及び(2)の条件が何れも成立する場合は、ソナーセンサ30の出力が障害物を検出するうえで有効となる一方、(1)及び(2)の条件の少なくとも何れかが成立しない場合は、ソナーセンサ30の出力が障害物を検出するうえで有効にならない。従って、上記(1)及び(2)の条件が何れも成立すると判別される場合は、次にステップ108の処理が実行される。一方、上記(1)及び(2)の少なくとも何れかの条件が成立しないと判別される場合は、次にステップ110の処理が実行される。
ステップ108では、ソナーセンサ30を用いて車両周囲に存在する歩行者などの人を含む障害物が検出されるか否かが判別される。その結果、障害物が検出されないと判別される場合は、次に上記ステップ104において赤外線投光器14から近赤外光を照射する処理が実行され、赤外線カメラ16の撮影した映像が赤外画像としてHUD18に表示される。一方、障害物が検出されると判別される場合は、次にステップ110の処理が実行される。
ステップ110では、赤外線投光器14からの近赤外光の照射を禁止する処理が実行される。本ステップ110の処理が実行されると、以後、赤外線投光器14から車両前方へ近赤外光が照射されることはなく、赤外線カメラ16の撮影した映像が最小輝度(例えば、最大輝度の12.5%)でHUD18に表示されることとなる。尚、本ステップ110において、上記ステップ108で否定判定がなされたことにより近赤外光の照射が禁止される場合には、以後、近赤外光の照射が禁止された旨及び車両周囲に障害物が存在する旨がスピーカ32を介して車両運転者に対して音声案内・注意喚起される。また、上記ステップ106で否定判定がなされたことにより近赤外光の照射が禁止される場合には、以後、近赤外光の照射が禁止された旨及びソナーセンサ30の出力が障害物検出を行ううえで有効でない旨がスピーカ32を介して車両運転者に対して音声案内・注意喚起される。本ステップ110の処理が終了すると、今回のルーチンは終了される。
上記図3に示すルーチンによれば、自車速Vが第1のしきい値V0を超える状況においては、赤外線投光器14からの赤外光の照射を実行することができる。また、自車速が第1のしきい値V0以下である状況においては、車両周囲に存在する障害物(特に、歩行者などの人)が検出されないときには赤外線投光器14からの赤外光の照射を実行することができる一方、車両周囲に存在する障害物が検出されるときには赤外線投光器14からの赤外光の照射を禁止することができる。
図4は、本実施例の車両用周辺監視装置10において低車速時における車両周囲の障害物の有無に応じたHUD18での画像の相違を説明するための図を示す。尚、図4(A)にはソナーセンサ30を用いて障害物が検出されるときのHUD18の表示画像を、また、図4(B)にはソナーセンサ30を用いて障害物が検出されないときのHUD18の表示画像を、それぞれ示す。
車両が停車を含む低車速状態にありかつ車両周囲に歩行者などの人が存在する状況で車両の赤外線投光器14から赤外光の照射が行われると、その人に対して赤外光の照射による影響が多大となる。これに対して、車両が停車を含む低車速状態にあっても車両周囲に人が存在しないときには、赤外線投光器14からの赤外光の照射が行われても、何らその赤外光の照射による影響が人に対して及ぶことはない。かかる赤外光の照射が行われれば、夜間などに可視光を照射するヘッドランプの照射領域よりも遠方の比較的暗い領域が可視化された赤外画像としてHUD18に表示される(図4(B))ので、車両運転者は、上記した比較的暗い領域をHUD18の赤外画像を介して視認することが可能である。また、車両が停車を含む低車速状態にある状況下で車両周囲に人が存在するときには、赤外線投光器14からの赤外光の照射が禁止されれば、上記した比較的暗い領域が赤外画像としてHUD18に表示されることはない(図4(A))が、その人に対して赤外光の照射による影響が及ぶのは回避される。
従って、本実施例によれば、車両が停車を含む低車速状態にあるときにも、車両が高車速状態にあるときと同様に、車両周囲の人に対して多大な影響を与えないタイミングで近赤外光の照射を行うことができる。このため、本実施例の車両用周辺監視装置10によれば、低車速走行中や停車中にも、車両周囲の人に対して多大な影響を及ぼすことなく、車両運転者に対して車両前方の状況を可視化した視認性のよい赤外画像を介して提供することが可能となっており、これにより、夜間等で車両前方の視認性が低下するときに、車両運転者の視覚を有効に補助することができ、運転者への安全確認誘導及び運転支援を実現することが可能となっている。
また、本実施例において、ソナーセンサ30を用いて車両周囲の障害物が検出されることに起因して近赤外光の照射が禁止されると、その照射禁止の旨及び障害物が存在する旨がスピーカ32を介して車両運転者に対して音声案内・注意喚起される。このため、本実施例の車両用周辺監視装置10によれば、赤外線投光器14からの近赤外光の照射が車両周囲に障害物が存在することに起因して禁止されていることを車両運転者に知らせることができ、また、車両周囲に障害物が存在することについて車両運転者に注意を喚起することができ、これにより、車両運転者を安全確認して走行すべき状態に誘導することが可能となっている。
ところで、赤外線投光器14からの近赤外光の照射が、車速が第1のしきい値以下である状況下で車両周囲に障害が存在するときは常に禁止されるものとすると、その近赤外光の照射が実行される時期が過度に制限され、車両運転者がHUD18での赤外画像による補助を望むときにもかかる補助が行われず、車両前方の視認性が低下する状態が継続するものとなってしまう。
そこで、本実施例のシステムは、車両運転者が望むときに、車両周囲の人に対して多大な影響を及ぼさない範囲で、車両運転者に車両前方を可視化した赤外画像をHUD18を介して提供する点に第2の特徴を有している。以下、本実施例の第2の特徴点について説明する。
図5は、上記第2の特徴点を実現すべく、本実施例の車両用周辺監視装置10においてコンピュータ12が実行する制御ルーチンの一例のフローチャートを示す。図5に示すルーチンは、その処理が終了するごとに繰り返し起動される。図5に示すルーチンが起動されると、まずステップ150の処理が実行される。
ステップ150では、上記したステップ100と同様に、システムの作動条件が成立しているか否かが判別される。その結果、システムの作動条件が成立せず、その停止条件が成立すると判別される場合は、以後何ら処理が進められることなく今回のルーチンは終了される。一方、システムの作動条件が成立すると判別される場合は、次にステップ152の処理が実行される。
ステップ152では、サブスイッチ26がオフ状態からオン状態へ移行操作されたか否かが判別される。その結果、かかる移行操作が行われていない場合は、車両運転者の、強制的にHUD18に車両前方の撮影された赤外画像を表示させようとする意思がないと判断することができるので、かかる判別がなされた場合は、今回のルーチンが終了される。一方、上記した移行操作が行われた場合は、車両運転者の、強制的にHUD18に車両前方の撮影された赤外画像を表示させようとする意思があると判断することができるので、かかる判別がなされた場合は、次にステップ154の処理が実行される。
ステップ154では、赤外線投光器14から近赤外光を一定時間だけ照射する処理が実行される。尚、この一定時間は、赤外線投光器14からの近赤外光の照射が人に対して多大な影響を与えない範囲で設定される。また、この時間は、自車速Vに応じて可変されるものであってもよい。本ステップ154の処理が実行されると、サブスイッチ26のオン操作後一定時間だけ、照射された近赤外光が路面や障害物などに反射されて赤外線カメラ16の撮影した映像が赤外画像として設定輝度でHUD18に表示されることとなり、その後は、赤外線カメラ16の撮影した映像が赤外画像としてではなく最小輝度でHUD18に表示されることとなる。本ステップ154の処理が終了すると、今回のルーチンは終了される。
上記図5に示すルーチンによれば、ソナーセンサ30による障害物の検出有無に関係なく、すなわち、ソナーセンサ30を用いて障害物が検出される場合にも、サブスイッチ26がオン操作されたときには、一定時間だけ赤外線投光器14からの赤外光の照射を実行することができ、その後はその照射を停止することができる。
赤外光の照射が人に対して多大な影響を与えない範囲で一定時間だけ行われ、その後は照射が停止されれば、車両周囲に人が存在するときにも、その人に対して赤外光の照射による悪影響が及ぶのを抑制することができると共に、可能な範囲で夜間などに可視光を照射するヘッドランプの照射領域よりも遠方の比較的暗い領域を可視化した赤外画像としてHUD18に表示することができる。この場合、車両運転者は、上記した比較的暗い領域をHUD18での赤外画像を介して視認することが可能である。
従って、本実施例の車両用周辺監視装置10によれば、車両発進の直前やパーキングレンジでの長時間停車時など、車両運転者が赤外光の照射及び赤外画像のHUD18への表示を望むタイミングで、車両周囲の人に対して多大な影響を及ぼすことなく、車両運転者に対して車両前方の状況を可視化した視認性のよい赤外画像を介して提供することが可能となっており、これにより、車両運転者の視覚を有効に補助することができ、運転者への安全確認誘導及び運転支援を実現することが可能となっている。
また、本実施例において、車両運転者の意思で強制的に上記した赤外線投光器14から赤外光を照射させてHUD18に車両前方の撮影された赤外画像を表示させるための上記サブスイッチ26は、車両運転者が車両運転中に操作するステアリングホイール又はシフトレバーに配設されている。この場合、運転者は、車両運転中にもサブスイッチ26を操作し易くなる。従って、本実施例の車両用周辺監視装置10によれば、車両走行中においても安全に、車両運転者の望むタイミングでの赤外光の照射及び赤外画像のHUD18への表示を実現することが可能となっている。
尚、上記の第1実施例においては、HUD(ヘッドアップディスプレイ)18が特許請求の範囲に記載した「表示手段」に、赤外線投光器14が特許請求の範囲に記載した「照射手段」に、スピーカ32が特許請求の範囲に記載した「案内手段」に、それぞれ相当している。
また、上記の第1実施例においては、コンピュータ12が、車速センサ20を用いて車速Vを検出することにより特許請求の範囲に記載した「自車速検出手段」が、上記図3に示すルーチン中ステップ108の処理を実行することにより特許請求の範囲に記載した「対象検出手段」が、ステップ104及び110の処理を実行することにより特許請求の範囲に記載した「照射制御手段」が、それぞれ実現されている。
ところで、上記の第1実施例においては、自車速が第1のしきい値V0以下である状況において車両周囲に存在する障害物が検出されるときには、赤外線投光器14からの赤外光の照射を禁止することとしているが、赤外光の照射制限は禁止に限らず、車両周囲の人に対して赤外光の照射による影響が多大とならない範囲でその照射を実行するものであってもよい。
図6は、かかる変形例においてコンピュータ12が実行する制御ルーチンの一例のフローチャートを示す。尚、図6においては、上記図3に示すルーチンと同一の処理を実行するステップについては、同一の符号を付してその説明を省略又は簡略する。すなわち、ステップ102において否定判定がなされた場合、及び、ステップ108において肯定判定がなされた場合、次にステップ200の処理が実行される。また、ステップ106において否定判定がなされた場合、及び、ステップ108において否定判定がなされた場合、次にステップ202の処理が実行される。
ステップ200では、赤外線投光器14から近赤外光を常時照射する処理が実行される。本ステップ200の処理が実行されると、以後、その照射された近赤外光が路面や障害物などに反射されて赤外線カメラ16の撮影した映像が赤外画像として常に設定輝度でHUD18に表示されることとなる。本ステップ200の処理が終了すると、今回のルーチンは終了される。
ステップ202では、赤外線投光器14から近赤外光を間欠的に照射する処理が実行される。この近赤外光の間欠照射は、照射が所定継続時間だけ継続される状態と、その後所定時間だけ中断される状態とが交互に現われるように行われる。尚、これらの時間はそれぞれ、赤外線投光器14からの近赤外光の照射が人に対して多大な影響を与えない範囲で設定される。また、これらの時間はそれぞれ、自車速Vに応じて可変されるものであってもよい。本ステップ202の処理が実行されると、以後、その照射された近赤外光が路面や障害物などに反射されて赤外線カメラ16の撮影した映像が赤外画像としてHUD18に表示される状態と、赤外線カメラ16の撮影した映像が赤外画像としてではなく最小輝度でHUD18に表示される状態とが交互に現われる。
尚、本ステップ202において、上記ステップ108で否定判定がなされたことにより近赤外光が間欠照射される場合には、以後、近赤外光が照射照射される旨及び車両周囲に障害物が存在する旨がスピーカ32を介して車両運転者に対して音声案内・注意喚起される。また、上記ステップ106で否定判定がなされたことにより近赤外光が間欠照射される場合には、以後、近赤外光が間欠照射される旨及びソナーセンサ30の出力が障害物検出を行ううえで有効でない旨がスピーカ32を介して車両運転者に対して音声案内・注意喚起される。本ステップ202の処理が終了すると、今回のルーチンは終了される。
上記図6に示すルーチンによれば、自車速が第1のしきい値V0以下である状況において、車両周囲に存在する障害物(特に、歩行者などの人)が検出されないときには赤外線投光器14からの赤外光の照射を常に実行することができる一方、車両周囲に存在する障害物が検出されるときには赤外線投光器14からの赤外光の照射を間欠的に行うことができる。
赤外光の照射が人に対して多大な影響を与えない範囲で間欠的に行われれば、車両周囲に人が存在するときにも、その人に対して赤外光の照射による悪影響が及ぶのを抑制することができると共に、可能な範囲で夜間などに可視光を照射するヘッドランプの照射領域よりも遠方の比較的暗い領域を可視化した赤外画像としてHUD18に表示することができる。従って、かかる変形例においても、低車速走行中や停車中に、車両周囲の人に対して多大な影響を及ぼすことなく、車両運転者に対して車両前方の状況を可視化した視認性のよい赤外画像を介して提供することが可能となる。
尚、かかる変形例においては、コンピュータ12が、図6に示すルーチン中ステップ200及び202の処理を実行することにより特許請求の範囲に記載した「照射制御手段」が実現される。
また、上記の第1実施例においては、自車速Vが第1のしきい値V0(例えば30km/h)以下であり、車両周囲に存在する障害物が検出される状況にあっても、ソナーセンサ30の出力が障害物を検出するうえで有効となる自車速Vが第2のしきい値V1(例えば10km/h)以下でありかつシフト位置がパーキング位置以外であるという条件が成立しない場合には、赤外線投光器14からの近赤外光の照射を禁止することとしているが、かかる条件が成立しない場合にもコンピュータ12においてソナーセンサ30の出力を有効としつつ、赤外線投光器14からの近赤外光の照射を実行許可することとしてもよい。尚、この構成においては、上記条件が成立しない場合、障害物検知に起因するスピーカ32からの音声出力又はコンビネーションメータ内でのグラフィック表示を行わないようにしてもよい。
また、上記の第1実施例においては、車両周囲に存在する対象を検出するのに、車両走行に支障をきたす障害物を検出するための、超音波を発信し車両近傍の検知可能距離(例えば50cm〜1m)を有するソナーセンサ30を用いることとしているが、本発明はこれに限定されるものではなく、車両走行に注意を要する対象を検出するための、ミリ波やレーザを発信する比較的長い検知可能距離を有するセンサを用いることとしてもよい。
また、上記の第1実施例においては、車両運転者の意思による強制的な赤外光の照射及び赤外画像のHUD18への表示を行うためのサブスイッチ26を、運転者が操作し易いステアリングホイール又はシフトレバーに配設することとしているが、本発明はこれに限定されるものではなく、逆に、インストルメントパネルやコラムカバーなどの運転者の比較的敵操作し難い位置に配設することとしてもよい。かかる構成においては、サブスイッチ26の連続的な操作や車両運転中での操作が抑制されることとなる。
更に、上記の第1実施例においては、自車速が第1のしきい値V0を超える状況では赤外線投光器14からの赤外光の照射を実行することが前提とされているが、かかる前提のないシステムに適用することも可能である。すなわち、自車速が第1のしきい値V0以下である状況において、車両周囲に存在する障害物が検出されないときには赤外線投光器14からの赤外光の照射を実行し、一方、車両周囲に存在する障害物が検出されるときには赤外線投光器14からの赤外光の照射を制限するシステムであれば十分である。
図7は、本発明の第2実施例である車両用周辺監視装置300のシステム構成図を示す。尚、図7において、上記図1に示す車両用周辺監視装置10と同一の構成部分については、同一の符号を付してその説明を省略又は簡略する。すなわち、本実施例の車両用周辺監視装置300は、上記第1実施例の車両用周辺監視装置10と異なり、コンピュータ12に接続するソナーセンサ30を有していない。
一方、コンピュータ12には、ブレーキペダルスイッチ302及びアクセルペダルスイッチ304が接続されている。ブレーキペダルスイッチ302は、車両運転者のブレーキペダル操作の有無に応じた信号を出力し、常態でオフに維持され、ブレーキペダル操作が行われている場合にオンとなるスイッチである。また、アクセルペダルスイッチ304は、車両運転者のアクセルペダル操作の有無に応じた信号を出力し、常態でオフに維持され、アクセルペダル操作が行われている場合にオンとなるスイッチである。コンピュータ12は、ブレーキペダルスイッチ302の状態に基づいてブレーキペダルの操作有無を検出すると共に、アクセルペダルスイッチ304の状態に基づいてアクセルペダルの操作有無を検出する。
ところで、車両が停車状態から発進する際には、車両運転者は車両前方の状況について安全確認を行うので、遠方領域をもHUD18での赤外画像を介して運転者に提供できれば、運転者にとって便宜である。そこで、本実施例のシステムは、車両発進時に、車両周囲の人に対して多大な影響を及ぼさない範囲で、車両運転者に車両前方を可視化した赤外画像をHUD18を介して提供することとしている。
図8は、上記の機能を実現すべく、本実施例の車両用周辺監視装置300においてコンピュータ12が実行する制御ルーチンの一例のフローチャートを示す。図8に示すルーチンは、その処理が終了するごとに繰り返し起動される。図8に示すルーチンが起動されると、まずステップ350の処理が実行される。
ステップ350では、上記したステップ100と同様に、システムの作動条件が成立しているか否かが判別される。その結果、システムの作動条件が成立せず、その停止条件が成立すると判別される場合は、以後何ら処理が進められることなく今回のルーチンは終了される。一方、システムの作動条件が成立すると判別される場合は、次にステップ352の処理が実行される。
ステップ352では、車速センサ20を用いて検出される自車速Vがほぼゼロであるか否かが判別される。その結果、自車速Vがほぼゼロでないと判別される場合は、車両が停車状態にないと判断でき、車両が停車状態から発進し得る状況にないと判断できるので、以後何ら処理が進められることなく今回のルーチンは終了される。一方、自車速Vがほぼゼロであると判別される場合は、車両が停車状態にあると判断でき、車両が停車状態から発進し得る状況にあると判断できるので、次にステップ354の処理が実行される。
ステップ354では、車両運転者による車両の発進操作が行われたか否か、具体的には、(1)シフト位置センサ22を用いて検出されるシフト位置がパーキングレンジからドライブレンジに移行されたか否か、(2)ブレーキペダルスイッチ302がオン状態からオフ状態へ移行されてブレーキペダル操作が解除されたか否か、又は(3)アクセルペダルスイッチ304がオフ状態からオン状態へ移行されてアクセルペダル操作が開始されたか否かが判別される。その結果、発進操作が行われていないと判別される場合は、今回のルーチンは終了される。一方、発進操作が行われたと判別される場合は、次にステップ356の処理が実行される。
ステップ356では、赤外線投光器14から近赤外光を一定時間だけ照射する処理が実行される。尚、この一定時間は、赤外線投光器14からの近赤外光の照射が人に対して多大な影響を与えない範囲で設定される。また、この時間は、近赤外光の照射がアクセルペダル操作の開始によって行われるときは、車両の加速状態に応じて可変されるものであってもよい。本ステップ356の処理が実行されると、車両の発進操作後一定時間だけ、照射された近赤外光が路面や障害物などに反射されて赤外線カメラ16の撮影した映像が赤外画像として設定輝度でHUD18に表示されることとなり、その後は、赤外線カメラ16の撮影した映像が赤外画像としてではなく最小輝度でHUD18に表示されることとなる。本ステップ356の処理が終了すると、今回のルーチンは終了される。
上記図8に示すルーチンによれば、車両が停車状態から発進する際に、一定時間だけ赤外線投光器14からの赤外光の照射を実行することができ、その後はその照射を停止することができる。赤外光の照射が人に対して多大な影響を与えない範囲で一定時間だけ行われ、その後は照射が停止されれば、車両周囲に人が存在するときにも、その人に対して赤外光の照射による悪影響が及ぶのを抑制することができると共に、可能な範囲で夜間などに可視光を照射するヘッドランプの照射領域よりも遠方の比較的暗い領域を可視化した赤外画像としてHUD18に表示することができる。この場合、車両運転者は、上記した比較的暗い領域をHUD18での赤外画像を介して視認することが可能である。
従って、本実施例の車両用周辺監視装置10によれば、車両が停車状態から発進する直前又はその発進と同時に、車両周囲の人に対して多大な影響を及ぼすことなく、車両運転者に対して車両前方の状況を可視化した視認性のよい赤外画像を介して提供することが可能となっており、これにより、夜間などにおける車両発進時に、車両運転者の視覚を有効に補助することができ、運転者への安全確認誘導及び運転支援を実現することが可能となっている。
尚、上記の第2実施例においては、コンピュータ12がシフト位置センサ22、ブレーキペダルスイッチ302、又はアクセルペダルスイッチ304を用いて車両の発進操作を検出することにより特許請求の範囲に記載した「発進操作検出手段」が実現されている。
ところで、上記の第2実施例においては、発進操作時に赤外線投光器14からの近赤外光の照射を行うこととしているが、上記の第1実施例における障害物の検出有無に応じた近赤外光の照射を組み合わせることとしてもよい。すなわち、車両周囲に存在する障害物が検出された場合は、スピーカ32から車両周囲に障害物が存在する旨が音声出力されるので、通常は、車両運転者が発進操作を行うことは考えられないが、その障害物がビニールや紙等の車両走行に支障をきたすことのないものであることを運転者が確認すれば、その運転者は発進操作を行うことが考えられる。この場合、障害物が検出されていても、車両の発進操作が行われたときに、赤外線投光器14からの近赤外光の照射を行うこととすれば、車両周囲の人に対して多大な影響を及ぼすことなく、車両運転者に対して車両前方の状況を可視化した視認性のよい赤外画像を介して提供することが可能となる。
本発明の第1実施例である車両用周辺監視装置のシステム構成図である。 本実施例の車両用周辺監視装置の機能を説明するための図である。 本実施例の車両用周辺監視装置において実行される制御ルーチンのフローチャートである。 本実施例の車両用周辺監視装置において低車速時における障害物の有無に応じた表示手段での画像の相違を説明するための図である。 本実施例の車両用周辺監視装置において実行される制御ルーチンのフローチャートである。 本発明の変形例である車両用周辺監視装置において実行される制御ルーチンのフローチャートである。 本発明の第2実施例である車両用周辺監視装置のシステム構成図である。 本実施例の車両用周辺監視装置において実行される制御ルーチンのフローチャートである。
符号の説明
10,300 車両用周辺監視装置
12 ナイトビューコンピュータ
14 赤外線投光器
16 赤外線カメラ
18 ヘッドアップディスプレイ(HUD)
20 車速センサ
22 シフト位置センサ
26 マニュアルサブスイッチ
30 ソナーセンサ
32 スピーカ
302 ブレーキペダルスイッチ
304 アクセルペダルスイッチ

Claims (8)

  1. 車両運転者の視認可能な表示手段に車両前方を撮影した赤外画像を表示すべく、車両前方へ向けて赤外光を照射する照射手段を備える車両用周辺監視装置であって、
    自車速を検出する自車速検出手段と、
    前記自車速検出手段により検出される自車速が所定車速以下である状況において、車両周囲に存在する対象を検出する対象検出手段と、
    記対象検出手段により前記対象が検出されないときには前記照射手段による赤外光の照射を実行し、一方、前記対象検出手段により前記対象が検出されるときには前記照射手段による赤外光の照射を制限する照射制御手段と、
    を備えることを特徴とする車両用周辺監視装置。
  2. 前記照射制御手段は、前記対象検出手段により前記対象が検出されるときには、前記照射手段による赤外光の照射を禁止することを特徴とする請求項1記載の車両用周辺監視装置。
  3. 前記照射制御手段は、前記対象検出手段により前記対象が検出されるときには、前記照射手段による所定継続時間以下の赤外光の照射を間欠的に実行することを特徴とする請求項1記載の車両用周辺監視装置。
  4. 前記照射制御手段により赤外光の照射が制限されるときは、赤外光の照射が制限される旨及び車両周囲に対象が存在する旨を車両運転者に対して案内する案内手段を備えることを特徴とする請求項1乃至3の何れか一項記載の車両用周辺監視装置。
  5. 車両の発進操作を検出する発進操作検出手段を備え、
    前記照射制御手段は、前記対象検出手段により前記対象が検出される場合にも、前記発進操作検出手段により前記発進操作が検出されたとき、所定時間だけ前記照射手段による赤外光の照射を実行することを特徴とする請求項1乃至4の何れか一項記載の車両用周辺監視装置。
  6. 前記発進操作検出手段は、変速機のドライブレンジへのシフト、ブレーキペダルのオン操作解除、又はアクセルペダルのオン操作を検出することを特徴とする請求項5記載の車両用周辺監視装置。
  7. 車両運転者により操作されるマニュアルスイッチを備え、
    前記照射制御手段は、前記対象検出手段により前記対象が検出される場合にも、前記マニュアルスイッチのオン操作が行われたとき、所定時間だけ前記照射手段による赤外光の照射を実行することを特徴とする請求項1乃至6の何れか一項記載の車両用周辺監視装置。
  8. 前記マニュアルスイッチは、ステアリングホイール又はシフトレバーに配設されていることを特徴とする請求項7記載の車両用周辺監視装置。
JP2004088612A 2004-03-25 2004-03-25 車両用周辺監視装置 Expired - Fee Related JP4228959B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004088612A JP4228959B2 (ja) 2004-03-25 2004-03-25 車両用周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004088612A JP4228959B2 (ja) 2004-03-25 2004-03-25 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2005275850A JP2005275850A (ja) 2005-10-06
JP4228959B2 true JP4228959B2 (ja) 2009-02-25

Family

ID=35175457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004088612A Expired - Fee Related JP4228959B2 (ja) 2004-03-25 2004-03-25 車両用周辺監視装置

Country Status (1)

Country Link
JP (1) JP4228959B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007156832A (ja) * 2005-12-05 2007-06-21 Fujitsu Ten Ltd 車載用近赤外照射装置および車載用周辺監視装置
JP2008080387A (ja) 2006-09-28 2008-04-10 Toyota Motor Corp R付き穴加工方法及びr付き穴加工装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000318513A (ja) * 1999-05-17 2000-11-21 Mitsubishi Electric Corp 車両用障害物検出装置
JP2000339589A (ja) * 1999-05-25 2000-12-08 Fujitsu Ltd 車両の交通安全補助システムおよび記録媒体
JP2002324416A (ja) * 2001-04-24 2002-11-08 Koito Mfg Co Ltd 自動車用赤外光照射ランプ
JP2003267172A (ja) * 2002-03-14 2003-09-25 Denso Corp 赤外線暗視装置

Also Published As

Publication number Publication date
JP2005275850A (ja) 2005-10-06

Similar Documents

Publication Publication Date Title
US11458957B2 (en) Vehicle surrounding display apparatus
JP6400215B2 (ja) 車両制御装置及び車両制御方法
JP6897340B2 (ja) 周辺監視装置
US7375620B2 (en) Speed-sensitive rear obstacle detection and avoidance system
JP4825868B2 (ja) 車両用警報装置
CN107651015B (zh) 辅助行车的方法、装置、计算机可读存储介质及车辆
JP4852941B2 (ja) 車載警報装置
JP2010183170A (ja) 車両用表示装置
JP6416288B2 (ja) 操作制御装置
JP2003306105A (ja) 発進支援装置
JP5282730B2 (ja) 運転支援装置
JP5807620B2 (ja) 運転支援装置
CN111461096A (zh) 车辆用显示装置
JP3891537B2 (ja) 車両側面監視装置
JP2007072631A (ja) 車載警報装置
US20230249708A1 (en) Systems and methods for providing a suggested steering action indicator to user interface of vehicle
JP2007124097A (ja) 車両周辺視認装置
JP6448714B2 (ja) 情報表示システム
JP5927784B2 (ja) 車両用障害物警告装置
JP2007142765A (ja) 車両周辺監視装置
JP6428376B2 (ja) 情報表示装置
JP4228959B2 (ja) 車両用周辺監視装置
JP2005316746A (ja) 接近物体報知装置
JP5289920B2 (ja) 車両用警報装置
JP2022126240A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees