JP4281589B2 - 車線変更支援装置 - Google Patents

車線変更支援装置 Download PDF

Info

Publication number
JP4281589B2
JP4281589B2 JP2004069590A JP2004069590A JP4281589B2 JP 4281589 B2 JP4281589 B2 JP 4281589B2 JP 2004069590 A JP2004069590 A JP 2004069590A JP 2004069590 A JP2004069590 A JP 2004069590A JP 4281589 B2 JP4281589 B2 JP 4281589B2
Authority
JP
Japan
Prior art keywords
vehicle
lane change
lane
causal relationship
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004069590A
Other languages
English (en)
Other versions
JP2005258822A (ja
Inventor
西羅  光
範彦 桐谷
善則 村上
康彦 北島
洋平 新垣
吉典 山村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004069590A priority Critical patent/JP4281589B2/ja
Publication of JP2005258822A publication Critical patent/JP2005258822A/ja
Application granted granted Critical
Publication of JP4281589B2 publication Critical patent/JP4281589B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本発明は、方向指示器の操作と周囲車両の速度変化との因果関係を判定し、その判定結果を運転者に伝えることによって運転者の車線変更を支援する車線変更支援装置に関する。
従来、自車両が車線を変更する際に自車両の斜め後方に存在する車両等の障害物を検出し、必要に応じて運転者に報知する装置として、特開平9−132094号公報(特許文献1)が開示されている。
この特開平9−132094号公報には、方向指示器の操作により自車の車線変更動作を検出し、さらに自車両後側方に存在する後側方障害物を検出すると、後側方障害物と自車両との間の距離および相対速度に応じて、方向指示器の操作レバーを運転者の操作後ただちに中立位置に戻すように制御するか、あるいは操作レバーの操作力が重くなるように制御することによって、運転者に後側方車両の存在を報知するように構成された装置が開示されている。
特開平9−132094号公報
しかしながら、上述した特許文献1に開示された従来例では、運転者の方向指示器の操作に干渉することによって、後側方車両が接近していることを運転者に知らせ、車線変更を思いとどまらせるように構成していたので、例えば混雑した道路に合流するような場合には後側方に車両が存在していても合流する意思を伝達するために方向指示器を操作する必要があるにも関わらず、後側方車両の存在により方向指示器の操作に干渉してしまい、運転者が合流する意思を伝達することができないという問題点があった。
この問題点について考えてみると、実際に公道上で車を運転している場合には、方向指示器は必ずしも車線変更を単に予告する信号としてだけ使われているわけではなく、むしろ周囲車両に車線変更の意思を伝える手段として使われる場合が多い。特に混雑した道路においては、十分な余裕を持って移動可能な空間が存在しない状態で車が流れていることが多く、方向指示器によって積極的に車線変更の意思を周囲にアピールしなければ移動可能な空間がいつまでも確保できないような事態も予想される。
逆に方向指示器を出すことによって、移動先車線の後側方車両が自車の車線変更を予測して減速してくれることによって、移動可能な空間が形成されるということもあり得る。
このように、方向指示器を周囲車両に対する意思伝達の手段であると考え、方向指示器の操作によって後側方車両の挙動が変わり得るという観点が特許文献1では十分に考慮されておらず、そのために装置が提供できる支援の内容が運転者の不注意に対する警告に限定されてしまっているという点が問題であった。
この発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、自車の車線変更をする意思の表明と周囲車両の走行速度の変化との間の因果関係を判定し、周囲車両が自車の車線変更の意思表示に対してどのように対処しようとしているのかを推定して、その結果を運転者に伝えることによって、運転者がより自信をもって車線変更すべきか否かの判断を下すことのできる車線変更支援装置を提供することにある。
上記目的を達成するために、本発明の車線変更支援装置は、自車の走行状態を検出する自車走行状態検出手段と、前記自車の周囲を走行する周囲車両の挙動を検出する周囲車両検出手段と、前記自車を運転する運転者の操作によって車線変更する方向が入力され、入力された前記車線変更する方向を前記周囲車両に対して伝達する車線変更意思伝達手段と、前記車線変更する方向の車線上で前記自車よりも後方を走行する車両の挙動変化と、前記車線変更意思伝達手段による伝達結果との間の因果関係を、前記自車走行状態検出手段による検出結果と前記周囲車両検出手段による検出結果とに基づいて判定する因果関係判定手段と、前記因果関係判定手段による判定結果を運転者に伝達する判定結果伝達手段とを備えることを特徴とする。
本発明に係る車線変更支援装置では、自車の車線変更をする意思の表明と周囲車両の走行速度の変化との間の因果関係を判定し、周囲車両が自車の車線変更の意思表示に対してどのように対処しようとしているのかを推定して、その結果を運転者に伝えるので、他車が自車の車線変更を許容しているか否かを運転者が推定することを支援することができ、これによって運転者はより自信をもって車線変更をすべきか否かの判断を下すことができる。
以下、本発明の実施形態を図面に基づいて説明する。図1は本発明に係る車線変更支援装置の一実施形態の構成を示すブロック図である。同図に示すように、車線変更支援装置は、右側隣接車線の後方を走行する車両を検出する右後側方センサ(周囲車両検出手段)1aと、左側隣接車線の後方を走行する車両を検出する左後側方センサ(周囲車両検出手段)1bと、自車の車速を検出する車速センサ(自車走行状態検出手段)2と、方向指示灯(車線変更意思伝達手段)3を操作する方向指示器(車線変更意思伝達手段)4と、各センサの検出結果に基づいて周囲車両の速度変化と自車の方向指示器3との因果関係を判定するプロセッサ(因果関係判定手段)5と、プロセッサ5による因果関係の判定結果を運転者に伝達する音声合成装置(判定結果伝達手段)6とを備えている。
ここで、右後側方センサ1aおよび左後側方センサ1bは、それぞれ車両後部の右側と左側に取り付けられ、CCDカメラなどの撮像装置やレーダーなどによって構成することができる。
車速センサ2は、ロータリーエンコーダーをホイールに取り付けることによって実現することができ、ホイールの回転速度に応じた周期のパルス列を検出して車速の計測値を得ている。
方向指示器4は中立位置、右方向指示位置、左方向指示位置のいずれかに運転者がセット可能なレバーによって構成され、右方向指示位置、左方向指示位置のいずれかにセットされた場合には、それぞれ対応する方向の方向指示灯3が点滅する。
プロセッサ5はマイクロコンピュータとその周辺部品から構成され、センサおよび方向指示器4からの信号を、因果関係判定処理を実装したプログラムに従って処理し、この判定結果を音声合成装置6に送信する。
音声合成装置6は、音声信号の合成処理を行なうマイクロコンピュータおよびその周辺部品とスピーカーとから構成され、プロセッサ5から送信されてきた指令信号に対応する音声信号を合成してスピーカーから出力し、これによって運転者に情報を伝達する。
ここで、各構成要素間の信号の流れを図2にまとめておく。図2に示すように、周囲車両検出部である右後側方センサ1aおよび左後側方センサ1bは、検出した周囲車両の位置と車速の測定結果とを因果関係判定部であるプロセッサ5に入力する。同様に自車走行状態検出部である車速センサ2は自車の車速をプロセッサ5に入力する。また、車線変更意思伝達部である方向指示器4は運転者によって操作されると、その作動状態をプロセッサ5に入力するとともに、車線変更する方向の方向指示灯3を点滅させる。そして、プロセッサ5は各部から入力された情報に基づいて因果関係の判定を行い、その判定結果を判定結果伝達部である音声合成装置6に送信する。音声合成装置6は受信した判定結果を運転者に伝達する。
次に、本実施形態に係る車線変更支援装置による車線変更の支援方法について図3のフローチャートに基づいて説明する。ただし、図3では簡単のために自車が片側二車線道路を走行しており、左右どちらか一方向にのみ周囲車両が検出され、方向指示器3の操作方向も決まっている状況を想定して説明するが、片側三車線以上の道路を走行している場合についても、左右両方向について同様の処理を繰り返すことによって車線変更の支援を行うことができる。
図3に示すように、本実施形態の車線変更の支援方法は、まず車速センサ2からの信号に基づいてプロセッサ5が自車の車速を算出する(S301)。
次に後側方センサ1a、1bにより自車の周囲に車両が検出されているか否かを判定し(S302)、車両が検出されている場合には、左右いずれかの検出された方向の車両検出フラグをONにしてから(S303)、検出された車両の車速を算出する(S304)。後側方車両の車速の算出方法は、後側方センサ1a、1bによって測定される自車から検出した車両までの車間距離を微分した信号に自車の車速を足し合わせることによって算出することができる。
また、ステップS302において車両が検出されなかった場合には、車両検出フラグをOFFにする(S305)。
次にプロセッサ5は方向指示器4がONの状態か否かをチェックし(S306)、方向指示器4のレバーが左右どちらかの方向を指示する位置にある場合には、指示している方向の方向指示フラグをONにし(S307)、さらにその時の時刻も併せて記録する。また、どちらの方向も指示しない中立位置にある場合には方向指示フラグをOFFにする(S308)。
こうしてフラグが設定されると、プロセッサ5は算出された各車両の車速を車速履歴記録用メモリに格納して更新する(S309)。このとき設定されたフラグのパターンによって異なる更新処理が行なわれるが、この更新処理については後に詳しく説明する。
そして、設定されたフラグの情報が読み込まれ、所定の条件が成立した場合には車速履歴記録用メモリに格納された各車の車速データを用いて因果関係判定処理が行なわれる(S310)。この因果関係判定処理については後に詳しく説明する。
こうして因果関係が判定されると、プロセッサ5は因果関係の判定結果に対応する情報を読み出して、音声合成装置6への指令信号を生成して転送し(S311)、音声合成装置6は指令信号に基づいて運転者に情報を伝達する。例えば、右に方向指示器4を出していて後側方車両が減速傾向と判定された場合には、「右方向の後側方車両、減速しています。」という音声案内を出力する。同様に、加速傾向と判定された場合は「右方向の後側方車両、加速しています。」という音声案内を出力し、反応なしと判定された場合には「右方向の後側方車両、速度に変化がありません。」という音声案内を出力する。なお、判定が行なわれなかった場合には、音声案内は出力しないようにする。また、一度、音声案内が発せられた場合には、判定結果に変更がない限り、重ねて同じ音声案内を発しないようにする。
こうして因果関係の判定結果が運転者に伝達されると、本実施形態の車線変更支援装置による車線変更の支援処理は終了する。そして、上述した車線変更の支援処理が、所定の周期ごとに繰り返し行われる。
次に、図3のフローチャートにおけるステップS309の車速履歴記録用メモリの更新処理の詳細について、図4のフローチャートと図5の図面に基づいて説明する。
この処理で保存される車速の履歴は、自車と後側方車(ただし検出している場合のみ)の車速を現在から過去にT秒間遡った区間について保存する。ただし、方向指示器4がONにされた場合には、方向指示器4を操作する直前のT秒間における車速の履歴についても保存し、因果関係の判定に利用する。
現在からT秒間過去の区間のデータを格納する領域をメモリAとし、方向指示器4を操作する直前のT秒間のデータを格納する領域をメモリBとする。ここで、メモリA、Bともに自車と後側方車両のための領域をそれぞれ確保する必要があるので、最大で四つのメモリ領域を確保することになる。
まず、プロセッサ5は、車両検出フラグがONになっているか否かをチェックし(S401)、ONになっていない場合には後側方車両が検出されていないので、後側方車両用のメモリ領域を開放する(S402)。車両検出フラグがONになっている場合には、後側方車両用のメモリ領域が確保されているか否かをチェックし(S403)、メモリ領域が確保されていない場合には、新たに車両を検出したことを意味しているので、新たにメモリ領域を確保する(S404)。
次に、プロセッサ5は方向指示フラグがONになっているか否かをチェックし(S405)、ONになっている場合にはメモリBの領域が確保されているか否かをチェックする(S406)。メモリBが確保されていない場合にはメモリBを確保し(S407)、メモリAの内容をメモリBにコピーする(S408)。ステップS406においてメモリ領域が確保されている場合には、メモリBのデータはそのまま保持する。
一方、ステップS405において方向指示フラグがONになっていない場合には、メモリBが確保されているか否かをチェックし(S409)、メモリBが確保されている場合には、何らかの理由で方向指示器4の操作がキャンセルされたことを意味するので、メモリBをクリア、開放する(S410)。メモリBが確保されていない場合には、最初から方向指示器4が操作されていない状態であるので、そのまま次のステップに進む。
そして、上述した処理を行った後にプロセッサ5はメモリAを更新する(S411)。メモリAはN個の要素から構成される配列として確保され、先頭から順に新しいデータが格納され、格納データがN+1個を越えた場合には一番古いデータを削除する。プロセッサ5の処理周期をΔとすると、時刻tにおいてメモリに格納されたデータは、
Figure 0004281589
となる。ただし、vは自車または後側方車の車速の測定値である。メモリAは次の処理サイクルである時刻t+Δにおいては、
Figure 0004281589
のように更新される。このようなメモリの更新処理が、自車と後側方車両用のメモリそれぞれに対して行なわれる。なお、収集されたデータがN個に満たない場合には、データが割り当てられない後ろ側の要素は適当な初期値(例えば0)で埋めておくものとする。
ここで、図5に基づいてメモリBに格納されるデータの一例を説明する。図5は、時刻t1において後側方車両が検出され、時刻t2において方向指示器4がONされた場合の自車および後側方車両の車速の履歴を示した図である。時刻t1においてメモリAが確保され、車速データが格納されて蓄積されていく。そして、時刻t2で方向指示器4がONになると、時刻t2におけるメモリAの内容がメモリBにコピーされる。メモリBの内容はそのまま保持されるが、メモリAのほうはその後も更新され続ける。このような処理を行うことによって、図5における現在時刻(グラフ上の右端の時点)では、メモリA、Bにはそれぞれ図中の太線で示した区間のデータが格納されていることになる。
次に、図3のフローチャートにおけるステップS310の因果関係判定処理の詳細について、図6のフローチャートに基づいて説明する。
まず、プロセッサ5は車両検出フラグがONであるか否か(S601)、方向指示フラグがONであるか否かをチェックし(S602)、いずれかのフラグがONの状態でない場合には因果関係の判定は行なわずに(S603)、因果関係の判定処理を終了する。
また、車両検出フラグ、方向指示フラグがともにONの場合には、まずメモリAに記録された後側方車両の車速データを参照し、現在時刻からT秒間のデータを代表する代表車速を算出する(S604)。代表車速としては、例えばメモリに格納されているデータの平均値としてもよいし、あるいは格納されているデータの最大値や最小値をとるようにしてもよい。
次に、メモリBに記録された後側方車両の車速データを参照し、方向指示器4がONされてからT秒間のデータを代表する代表車速を算出する(S605)。
こうしてメモリAとメモリBの代表車速を算出したら、次にメモリAの代表車速とメモリBの代表車速の間に有意な差が認められるかどうかを判定する(S606)。このように代表車速を比較することによって、方向指示器4を操作する前と操作した後で、後側方車両の車速に変化が生じているかどうかを判定することができる。
判定方法としては、
Figure 0004281589
が成り立てば、有意な差があると判定するようにする。判定の閾値Δvは、例えば一般的な運転者が車を一定速度で走らせようとしたときに表れる車速の変動幅の値を調べて、それと同程度の値を設定するようにする。
こうして二つの代表車速の間に有意な差があると判定された場合には、メモリAの代表車速とメモリBの代表車速の大小関係を調べ(S607)、メモリAの代表車速が大きければ、後側方車両は方向指示器4をONにした後に加速傾向にあると判定し(S608)、メモリBの代表車速が大きければ、逆に後側方車両は方向指示器4をONにした後に減速傾向にあると判定する(S609)。
また、ステップS606において有意な差がないと判定された場合には、方向指示フラグがONにされてから所定時間が経過したか否かを判定する(S610)。方向指示器4をONにした直後に二つの代表車速の間に有意な差が生じないのは当然であるから、所定時間を経過していない場合には因果関係の判定は行なわずに(S603)、因果関係の判定処理を終了する。
一方、方向指示器4をONにしてから所定時間が経過している場合には、後側方車両は自車の方向指示灯3に反応していないと判定して(S611)本実施形態の車線変更支援装置による因果関係の判定処理は終了する。
ここで、本実施形態の車線変更支援装置を適用する場合の一例を図7に示す。図7は片側二車線の道路において左側車線を自車Xが走行している場合である。左側車線の自車Xの前方には車両Y1が走行しており、右側車線の自車後方には車両Y2が走行している。自車Xと車両Y1の走行速度はほぼ同じであるが、車両Y2の走行速度は自車Xよりも速く、右側車線には車両Y2の後方にも車両Y2とほぼ同じ速度の車群が追従してきているとする。そして、道路はこの先で二方向に分岐しており、自車Xが目的地方面に行くためには右方向へ進まなければいけないので、運転者は右車線に車線変更する必要を感じている場合とし、運転者は車両Y2との速度差があって右車線への車線変更に不安を抱きつつ時刻t2に右方向へ方向指示器4の操作を行なったとする。
右後側方センサ1aは時刻t1において既に車両Y2を検出している。このような状況で、自車Xおよび車両Y2の車速の変化が図5に示したグラフのように変化したとすると、運転者が方向指示器4を操作する前と後で、車両Y2の走行速度には変化が見られ、方向指示器4の操作後まもなく速度が減速傾向になっていることがわかる。このような変化により、メモリBに記録されたデータから算出された代表車速とメモリAに記録されたデータから算出された代表車速には有意な差が検出され、運転者に後側方車両(すなわち車両Y2)が減速していることを知らせる音声案内が提供される。
このような案内により、運転者は車両Y2の運転者が自分の方向指示器4の操作に反応して減速し、自車Xが右車線に車線変更することを予見した運転を行なっているという推測を立てることができるので、自信を持って右車線への車線変更を開始することができることになる。
上述したように、本実施形態に係る車線変更支援装置では、自車の車線変更をする意思の表明と周囲車両の走行速度の変化との間の因果関係を判定し、周囲車両が自車の車線変更の意思表示に対してどのように対処しようとしているのかを推定して、その結果を運転者に伝えるので、運転者がより自信をもって車線変更をすべきか否かの判断を下すことができる。
さらに、本実施形態に係る車線変更支援装置では、方向指示器と方向指示灯という公道を走行する乗用車および商用車には既に取り付けられている装置によって車線変更意思伝達部を構成しているので、車線変更の意思を伝達するための新たな装置を追加することなく、車線変更支援装置を実現することができる。
また、本実施形態に係る車線変更支援装置では、因果関係の判定を、車線変更をする意思を伝達した前後において周囲車両の車速が有意に変化したか否かに基づいて行なうので、センサで測定しやすい情報である周囲車両の速度だけを用いて判定を行なうことができ、これによりシステムやロジックの構成を簡単なものにすることができる。
本実施形態に係る車線変更支援装置では、自車よりも後方の車両の挙動だけを検出する構成となっているので、システムの構成に必要なセンサを必要最小限にすることができ、安価にシステムを実現することができる。
さらに、本実施形態に係る車線変更支援装置では、音声や電子音で因果関係の判定結果を運転者に伝達するので、運転者に視点の移動を強いることなく情報を伝達することができ、これにより運転者は周囲の状況から注意をそらすことなく情報を得ることができる。
次に、第2の実施形態に係る車線変更支援装置を図面に基づいて説明する。図8は本実施形態に係る車線変更支援装置の構成を示すブロック図である。ただし、第1の実施形態と同様の構成要素については、図1と同じ番号を付して説明は省略する。また、車室内における配置図を図9に示す。
図8、図9に示すように、第2の実施形態の車線変更支援装置では、自車の前方の車両を検出する右前方センサ7aと左前方センサ7bとが追加されており、さらに音声合成装置6の代わりに左右ピラーにそれぞれ右方向信号表示装置8aと左方向信号表示装置8bとが取り付けられている点が第1の実施形態と異なっている。
右前方センサ7aと左前方センサ7bは、後側方センサ1a、1bと同様にCCDカメラ等で構成され、自車が走行する車線と隣接する車線上で自車よりも前方を走行する車両を検出する。
右方向信号表示装置8aと左方向信号表示装置8bは、LED等によって構成され、運転者に因果関係の判定結果を光信号の形で伝達する。
次に、本実施形態に係る車線変更支援装置による車線変更の支援方法について図10のフローチャートに基づいて説明する。ただし、図3で示した第1の実施形態の車線変更の支援方法と同様な処理については詳しい説明は省略する。本実施形態の車線変更の支援方法では、後側方車両だけでなく、前側方車両についても検出対象とすること、各車両の車速だけでなく自車からの車間距離についてもメモリに格納することが第1の実施形態と異なっている。
図11は、第2の実施形態の適用場面の一例を示す図で、片側二車線の道路において左側車線を自車Xが走行し、左側車線の自車前方には車両Y1が走行しており、右側車線の自車後方には車両Y2が、右側車線の自車前方には車両Y3が走行している場面である。自車Xと車両Y1の走行速度はほぼ同じであり、車両Y2、Y3の走行速度は自車Xよりも速い。車両Y2の速度は車両Y3の速度よりもさらに速く、車両Y3との車間距離が縮まっている状況である。
このような場面において第2の実施形態の車線変更の支援方法では、図10に示すように、まず車速センサ2からの信号に基づいてプロセッサ5が自車の車速を算出する(S1001)。
次に後側方センサ1a、1b及び前方センサ7a、7bにより自車の周囲に車両が検出されているかどうかを判定し(S1002)、車両が検出されている場合には、前後左右いずれかの検出された方向の車両検出フラグをONにしてから(S1003)、検出された車両の車速及び自車からの車間距離を算出する(S1004)。検出された車両の車速の算出方法は、後側方センサ1a、1bあるいは前方センサ7a、7bによって測定される自車から検出した車両までの車間距離を微分した信号に自車の車速を足し合わせることで算出することができる。
また、ステップS1002において車両が検出されなかった場合には、車両検出フラグをOFFにする(S1005)。
次にプロセッサ5は方向指示器4がONの状態か否かをチェックし(S1006)、方向指示器4のレバーが左右どちらかの方向を指示する位置にある場合には、指示している方向の方向指示フラグをONにし(S1007)、さらにその時の時刻も併せて記録する。また、どちらの方向も指示しない中立位置にある場合には方向指示フラグをOFFにする(S1008)。
こうしてフラグが設定されると、次にプロセッサ5は算出された各車両の車速と車間距離とを車速履歴記録用メモリに格納して更新する(S1009)。このとき設定されたフラグのパターンによって異なる更新処理が行なわれるが、この更新処理については後に詳しく説明する。
そして、設定されたフラグの情報が読み込まれ、所定の条件が成立した場合には車速履歴記録用メモリに格納された各車両のデータを用いて因果関係判定処理が行なわれる(S1010)。この因果関係判定処理については後に詳しく説明する。
こうして因果関係が判定されると、プロセッサ5は因果関係の判定結果に対応する情報を読み出して、方向指示器4で操作した方向の信号表示装置8a、8bに対して指令信号を生成して転送し(S1011)、信号表示装置8a、8bは判定結果を反映する信号を運転者に提示する。例えば、後側方車両が加速傾向にあると判定された場合には赤色の信号、減速傾向にあると判定された場合には青色の信号、反応無しと判定された場合には白色の信号、判定していない場合には非表示という信号を運転者に提示する。
こうして因果関係の判定結果が運転者に伝達されると、本実施形態の車線変更支援装置による車線変更の支援処理は終了する。そして、上述した車線変更の支援処理が、所定の周期ごとに繰り返し行われる。
次に、図10のフローチャートにおけるステップS1009の車速履歴記録用メモリの更新処理の詳細について、図12のフローチャートと図13の図面に基づいて説明する。ただし、図4で示した第1の実施形態の車速履歴記録用メモリの更新処理と同様な処理については詳しい説明は省略する。
まず、プロセッサ5は、後側方車両のチェックとメモリの処理を行う(1201)。この処理は図4のステップS401からS404までの処理が行われる。具体的には、車両検出フラグがONになっているか否かをチェックし(S401)、ONになっていない場合には後側方車両が検出されていないので、後側方車両用のメモリ領域を開放する(S402)。車両検出フラグがONになっている場合には、後側方車両用のメモリ領域が確保されているかどうかをチェックし(S403)、メモリ領域が確保されていない場合には、新たに車両を検出したことを意味しているので、新たにメモリ領域を確保する(S404)。
こうしてステップS1201の処理が行われると、次にプロセッサ5は、前側方車両のチェックとメモリの処理を行う(1202)。この処理もステップS1201と同様に図4のステップS401からS404までの処理が前側方車両に対して行われる。
そして、プロセッサ5は方向指示フラグがONになっているか否かをチェックし(S1203)、ONになっている場合にはメモリBの領域が確保されているかどうかをチェックする(S1204)。メモリBが確保されていない場合にはメモリBを確保し(S1205)、メモリAの内容をメモリBにコピーする(S1206)。
そして、次にプロセッサ5はメモリCを確保して(S1207)、メモリCを更新する(S1208)。このメモリCには方向指示フラグがONになっている間の全区間の車速データが記録される。
また、ステップS1204においてメモリBの領域がすでに確保されている場合には、メモリBのデータはそのまま保持してメモリCを更新する(S1208)。
一方、ステップS1203において方向指示フラグがONになっていない場合には、メモリBが確保されているかどうかをチェックし(S1209)、メモリBが確保されている場合には、何らかの理由で方向指示器4の操作がキャンセルされたことを意味するので、メモリBをクリア、開放するとともに(S1210)、メモリCをクリア、開放する(S1211)。
また、ステップS1209においてメモリBが確保されていない場合には、最初から方向指示器4が操作されていない状態であるので、そのまま次のステップに進む。
そして、上述した処理を行った後にプロセッサ5はメモリAを更新して(S1212)車速履歴記録用メモリの更新処理を終了する。
ここで、図13に基づいてメモリに格納されるデータの一例を説明する。図13は、時刻t1において後側方車両が検出され、時刻t2において方向指示器4がONされた場合の自車、前側方車両及び後側方車両の車速の履歴を示した図である。図5ですでに説明したようにメモリAには現在時刻からT秒間のデータを格納し、メモリBには方向指示器4がONされる前のT秒間のデータが格納される。そして、メモリCには方向指示器4がONされている間のデータを格納する。
次に、図10のフローチャートにおけるステップS1010の因果関係判定処理の詳細について、図14のフローチャートに基づいて説明する。ただし、図6で示した第1の実施形態の因果関係判定処理と同様な処理については詳しい説明は省略する。
まず、プロセッサ5は後側方車両の車両検出フラグがONであるか否か(S1401)、方向指示フラグがONであるか否かをチェックし(S1402)、いずれかのフラグがONの状態でない場合には因果関係の判定は行なわずに(S1403)、因果関係の判定処理を終了する。ただし、ステップS1401では後側方車両についてのみチェックを行ない、前側方車両だけが検出されている場合には判定を行なわない。
そして、後側方車両の車両検出フラグ、方向指示フラグがともにONの場合には、まずメモリAに記録された後側方車両の車速データを参照し、現在時刻からT秒間のデータを代表する代表車速を算出する(S1404)。
次に、メモリBに記録されたデータを参照し、後側方車両の基準モデルを生成する(S1405)。第1の実施形態では、後側方車両の車速の変化だけを用いて因果関係の判定を行なっていたが、図11の場面のように、後側方車両の前方にも別の車両が走行している場合には、後側方車両は必ずしも一定速度で走行できるわけではなく、前方の車両への接近に伴って減速する必要がある。
従って、後側方車両の減速は必ずしも自車の方向指示器4の操作に反応しているわけではない場合が出てくる。このような事態を想定して、本実施形態の因果関係判定処理では単純に車速の変化を追うのではなく、後側方車両の挙動を予測するための基準モデルを導入し、方向指示器4をONにしなかった場合の後側方車両の予測挙動と実際の後側方車両の挙動を比較することで、後側方車両が自車の方向指示灯3に反応しているか否かを判定する。
ここで、後側方車両の基準モデルとして導入する数学モデルを以下に示す。
Figure 0004281589
この数学モデルで利用する関数としては、例えば、特開2000−135934号公報に開示されている先行車追従制御装置の制御アルゴリズムと同様な式などを利用することができる。
なお、車両の位置座標xは道路の進行方向に沿ってとり、座標原点を適当に定めれば(例えば自車の位置を原点にとる)、自車と各車両との車間距離の測定値から具体的な座標の値を算出することができる。
こうして基準モデルを生成したら、次に生成した基準モデルとメモリCに記録されたデータとから後側方車両の予測車速を算出する(S1406)。メモリCに記録された時刻tにおける前側方車両の位置及び速度の測定値を用いて式(4)、(5)を積分することによって、方向指示器4を出した後の任意の区間の時刻tにおける後側方車両の予測位置及び予測車速の値を計算することができる。
そして、算出した予測車速の中から、メモリAに格納されているデータと同じ区間の予測車速を抽出し、抽出された予測車速の代表値を算出する(S1407)。
こうしてメモリAの代表車速と予測車速の代表車速とを算出したら、次にメモリAの代表車速と予測車速の代表車速との間に有意な差が認められるかどうかを判定する(S1408)。このように予測車速と比較することにより、図11のように後側方車両が追従走行に入るような場合でも、より精度良く方向指示器4と後側方車両との因果関係を判定することができるようになる。
こうしてメモリAの代表車速と予測車速の代表車速との間に有意な差があると判定された場合には、メモリAの代表車速と予測車速の代表車速の大小関係を調べ(S1409)、メモリAの代表車速が大きければ、後側方車両は方向指示器4をONにした後に加速傾向にあると判定し(S1410)、予測車速の代表車速が大きければ、逆に後側方車両は方向指示器4をONにした後に減速傾向にあると判定する(S1411)。
また、ステップS1408において有意な差がないと判定された場合には、方向指示フラグがONにされてから所定時間が経過したか否かを判定する(S1412)。方向指示器4をONにした直後に二つの代表車速の間に有意な差が生じないのは当然であるから、所定時間を経過していない場合には因果関係の判定は行なわずに(S1403)、因果関係の判定処理を終了する。
一方、方向指示器4をONにしてから所定時間が経過している場合には、後側方車両は自車の方向指示灯3に反応していないと判定して(S1413)本実施形態の車線変更支援装置による因果関係の判定処理は終了する。
図11において自車Xが右方向に方向指示器4を操作した場合に、図13のように各車の車速が変化したとする。この場合、後側方車にあたる車両Y2の車速は減速傾向にあるものの、基準モデルによる予測を行なうと、前側方車両にあたる車両Y3への追従走行と同様の車速パターンとなっており、方向指示器4の操作との因果関係は認められず、方向指示器4に対して無反応であると判定される。そして、右方向信号表示装置8aが白色の信号を点灯し、運転者に判定内容が伝達される。
上述したように、本実施形態に係る車線変更支援装置では、後側方車両だけでなく前方の車両の挙動も把握する構成となっているので、後側方車両の挙動変化の因果関係として自車の方向指示器の操作だけではなく、前方車両への接近や追従による挙動変化の可能性も考慮することができ、これによって因果関係をより精度良く推定することができる。
また、本実施形態に係る車線変更支援装置では、方向指示器4の操作方向に対応した方向に信号表示装置8a、8bを設けて情報を表示する構成となっているので、運転者が情報を得るために必要とする視線の移動を最小限に抑えた上で、情報を伝達することができる。
次に、第3の実施形態に係る車線変更支援装置を図面に基づいて説明する。ただし、本実施形態の車線変更支援装置の構成は、第1の実施形態の音声合成装置6が警報音発生装置(警報手段)9に変更されただけなので、詳しい説明は省略する。また、同様の構成要素については、図1と同じ番号を付している。
ここで、各構成要素間の信号の流れを図15にまとめておく。図15に示すように、周囲車両検出部である右後側方センサ1aおよび左後側方センサ1bは、検出した周囲車両の位置と車速の測定結果とを因果関係判定部であり車線変更評価部であるプロセッサ5に入力する。同様に自車走行状態検出部である車速センサ2は自車の車速をプロセッサ5に入力する。また、車線変更意思伝達部である方向指示器4は運転者によって操作されると、その作動状態をプロセッサ5に入力するとともに、車線変更する方向の方向指示灯3を点滅させる。そして、プロセッサ5は各部から入力された情報に基づいて因果関係の判定を行うとともに車線変更の評価を行い、その判定結果を警報部である警報音発生装置9に送信する。警報音発生装置9は受信した判定結果に基づいて運転者に警報を発する。
次に、第3の実施形態に係る車線変更支援装置による車線変更の支援方法について図16に基づいて説明する。ただし、図16におけるステップS1601からS1610までの処理は、第1の実施形態におけるステップS301からS310までの処理と同じなので詳しい説明は省略してステップS1611の処理から説明する。
ステップS1611の車線変更の安全評価処理では、車間距離と相対速度に基づいて、警報を発するか否かを決定する。車間距離と相対速度を
Figure 0004281589
のように定義し、適当な正の定数kを設定して車間距離と相対速度を関係づけ、この関係が図17の斜線で示した警報発生領域に属した場合には、方向指示器4の操作と同時に無条件で警報を発生するようにする。
また、ステップS1610における因果関係判定処理の判定結果を用いて、上記の警報特性を修正し、より違和感のない警報特性を実現することもできる。
図18に示すように、警報発生領域の境界線付近に、新たに境界領域を定義する。そして、車間距離と相対速度との関係が境界領域に属し、かつ因果関係判定処理の判定結果が後側方車両が減速傾向にあるという判定結果である場合には、警報の発生を抑制する。
逆に境界領域にあり後側方車両が加速傾向にあるという判定結果である場合には、警報を発生させる。また、判定結果が無反応である場合には、図17と同じ警報特性に従って警報の発生、抑制を決定する。さらに、因果関係の判定が行なわれなかった場合には、警報を抑制するか、あるいは運転者に軽く注意を促す程度の軽い警告音を発生させるようにする。また、第2の実施形態で説明した信号表示装置8a、8bに警報を表示するようにしてもよい。
このようにしてプロセッサ5は警報の発生の有無を決定し、警報音発生装置9に指令信号を生成して転送する(S1612)。警報音発生装置9は指令信号に従って警報を発生して本実施形態の車線変更支援装置における車線変更支援の支援処理は終了する。
ただし、ここでは図3で示した第1の実施形態の車線変更の支援方法に対して、車線変更の安全評価処理と警報の報知とを追加した場合について説明したが、図10に示した第2の実施形態の車線変更の支援方法に対して車線変更の安全評価処理と警報の報知とを追加してもよい。
上述したように、本実施形態に係る車線変更支援装置では、後側方車両との車間距離と相対速度の測定値に加えて、車線変更をする意思の表明に対する後側方車両の反応も考慮して車線変更の安全評価を算出しているので、車線変更が安全か否かをより適切に評価することができ、警報が過度に保守的になったり、逆に必要以上に安全性を欠く警報が発せられることが少なくなり、運転者の安全に対する感覚とより良く合致した警報システムを構成することができる。
さらに、本実施形態に係る車線変更支援装置では、方向指示器4と方向指示灯3という公道を走行する乗用車および商用車には既に取り付けられている装置によって車線変更意思伝達部を構成しているので、車線変更の意思を伝達するための新たな装置を追加することなく、車線変更支援装置を実現することができる。
また、本実施形態に係る車線変更支援装置では、因果関係の判定を、車線を変更する意思を伝達した前後において周囲車両の車速が有意に変化したか否かに基づいて行なうので、センサで測定しやすい情報である周囲車両の速度だけを用いて判定を行なうことができ、これによりシステムやロジックの構成を簡単なものにすることができる。
本実施形態に係る車線変更支援装置では、自車よりも後方の車両の挙動だけを検出する構成となっているので、システムの構成に必要なセンサを必要最小限にすることができ、これにより安価にシステムを実現することができる。
本実施形態に係る車線変更支援装置では、音声や電子音で車線変更の安全評価の結果を運転者に警報するので、運転者に視点の移動を強いることなく情報を伝達することができ、 これにより運転者は周囲の状況から注意をそらすことなく情報を得ることができる。
さらに、本実施形態に係る車線変更支援装置では、方向指示器4の操作方向に対応した方向に信号表示装置8a、8bを設けて警報を表示する構成となっているので、運転者が情報を得るために必要な視線の移動を最小限に抑えた上で、警報を伝達することができる。
以上、本発明の車線変更支援装置について、図示した実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置き換えることができる。
運転者による方向指示器の操作と周囲車両の速度変化との因果関係を判定して運転者の車線変更を支援するための技術として極めて有用である。
本発明の第1の実施形態に係る車線変更支援装置の構成を示すブロック図である。 本発明の第1の実施形態に係る車線変更支援装置における信号の流れを説明するための図である。 本発明の第1の実施形態に係る車線変更支援装置による車線変更の支援方法を説明するためのフローチャートである。 本発明の第1の実施形態に係る車線変更支援装置による車速履歴記録用メモリの更新処理を説明するためのフローチャートである。 本発明の第1の実施形態に係る車線変更支援装置によるメモリに格納されるデータの一例を示す図である。 本発明の第1の実施形態に係る車線変更支援装置による因果関係の判定処理を説明するためのフローチャートである。 本発明の第1の実施形態に係る車線変更支援装置を適用する場合の一例を示す図である。 本発明の第2の実施形態に係る車線変更支援装置の構成を示すブロック図である。 本発明の第2の実施形態に係る車線変更支援装置の車室内の配置を示す図である。 本発明の第2の実施形態に係る車線変更支援装置による車線変更の支援方法を説明するためのフローチャートである。 本発明の第2の実施形態に係る車線変更支援装置を適用する場合の一例を示す図である。 本発明の第2の実施形態に係る車線変更支援装置による車速履歴記録用メモリの更新処理を説明するためのフローチャートである。 本発明の第2の実施形態に係る車線変更支援装置によるメモリに格納されるデータの一例を示す図である。 本発明の第2の実施形態に係る車線変更支援装置による因果関係の判定処理を説明するためのフローチャートである。 本発明の第3の実施形態に係る車線変更支援装置における信号の流れを説明するための図である。 本発明の第3の実施形態に係る車線変更支援装置による車線変更の支援方法を説明するためのフローチャートである。 本発明の第3の実施形態に係る車線変更支援装置による警報の発生方法を説明するための図である。 本発明の第3の実施形態に係る車線変更支援装置による警報の発生方法を説明するための図である。
符号の説明
1a 右後側方センサ(周囲車両検出手段)
1b 左後側方センサ(周囲車両検出手段)
2 車速センサ(自車走行状態検出手段)
3 方向指示灯(車線変更意思伝達手段)
4 方向指示器(車線変更意思伝達手段)
5 プロセッサ(因果関係判定手段、車線変更評価手段)
6 音声合成装置(判定結果伝達手段)
7a 右前方センサ(周囲車両検出手段)
7b 左前方センサ(周囲車両検出手段)
8a 右方向信号表示装置(車線変更意思伝達手段)
8b 左方向信号表示装置(車線変更意思伝達手段)
9 警報音発生装置(警報手段)

Claims (14)

  1. 自車の走行状態を検出する自車走行状態検出手段と、
    前記自車の周囲を走行する周囲車両の挙動を検出する周囲車両検出手段と、
    前記自車を運転する運転者の操作によって車線変更する方向が入力され、入力された前記車線変更する方向を前記周囲車両に対して伝達する車線変更意思伝達手段と、
    前記車線変更する方向の車線上で前記自車よりも後方を走行する車両の挙動変化と、前記車線変更意思伝達手段による伝達結果との間の因果関係を、前記自車走行状態検出手段による検出結果と前記周囲車両検出手段による検出結果とに基づいて判定する因果関係判定手段と、
    前記因果関係判定手段による判定結果を運転者に伝達する判定結果伝達手段と
    を備えることを特徴とする車線変更支援装置。
  2. 前記車線変更意思伝達手段は、方向指示器および方向指示灯であることを特徴とする請求項1に記載の車線変更支援装置。
  3. 前記因果関係判定手段は、運転者が前記車線変更意思伝達手段を操作する前後において前記自車の後方を走行する車両の走行速度に有意な差が表れているか否かを判定し、速度が有意に増加、速度が有意に減少、因果関係なしのいずれかの判定結果を出力することを特徴とする請求項1または2のいずれかに記載の車線変更支援装置。
  4. 前記周囲車両検出手段は、自車両が走行する車線と隣接する車線上で自車よりも後方を走行する車両を検出することを特徴とする請求項1〜請求項3のいずれか1項に記載の車線変更支援装置。
  5. 前記周囲車両検出手段は、自車が走行する車線と隣接する車線上で自車よりも前方を走行する車両と後方を走行する車両の両方を検出し、
    前記因果関係判定手段は、前記後方を走行する車両の走行速度の変化が、前記前方を走行する車両の影響による速度変化であるか否かを考慮して因果関係の判定を行なうことを特徴とする請求項1〜請求項4のいずれか1項に記載の車線変更支援装置。
  6. 前記判定結果伝達手段は、音声または電子音で判定結果を運転者に伝達することを特徴とする請求項1〜請求項5のいずれか1項に記載の車線変更支援装置。
  7. 前記判定結果伝達手段は、左右に設置された表示装置によって構成され、前記車線変更する方向の表示装置に前記因果関係判定手段の判定結果を表示することを特徴とする請求項1〜請求項6のいずれか1項に記載の車線変更支援装置。
  8. 自車の走行状態を検出する自車走行状態検出手段と、
    前記自車の周囲を走行する周囲車両の挙動を検出する周囲車両検出手段と、
    前記自車を運転する運転者の操作によって車線変更する方向が入力され、入力された前記車線変更する方向を前記周囲車両に対して伝達する車線変更意思伝達手段と、
    前記車線変更する方向の車線上で前記自車よりも後方を走行する車両の挙動変化と、
    前記車線変更意思伝達手段による伝達結果との間の因果関係を、前記自車走行状態検出手段による検出結果と前記周囲車両検出手段による検出結果とに基づいて判定する因果関係判定手段と、
    前記因果関係判定手段による判定結果と、前記自車の後方を走行する車両と自車との間の車間距離及び相対速度に基づいて、車線変更に対する安全評価を行う車線変更評価手段と、
    前記車線変更評価手段における評価結果に基づいて、運転者に注意を喚起する警報を発する警報手段と
    を備えることを特徴とする車線変更支援装置。
  9. 前記車線変更意思伝達手段は、方向指示器および方向指示灯であることを特徴とする請求項8に記載の車線変更支援装置。
  10. 前記因果関係判定手段は、運転者が前記車線変更意思伝達手段を操作する前後において前記自車の後方を走行する車両の走行速度に有意な差が表れているか否かを判定し、速度が有意に増加、速度が有意に減少、因果関係なしのいずれかの判定結果を出力することを特徴とする請求項8または請求項9のいずれかに記載の車線変更支援装置。
  11. 前記周囲車両検出手段は、自車が走行する車線と隣接する車線上で自車よりも後方を走行する車両を検出することを特徴とする請求項8〜請求項10のいずれか1項に記載の車線変更支援装置。
  12. 前記周囲車両検出手段は、自車が走行する車線と隣接する車線上で自車よりも前方を走行する車両と後方を走行する車両の両方を検出し、
    前記因果関係判定手段は、前記後方を走行する車両の走行速度の変化が、前記前方を走行する車両の影響による速度変化であるか否かを考慮して因果関係の判定を行なうことを特徴とする請求項8〜請求項11のいずれか1項に記載の車線変更支援装置。
  13. 前記警報手段は、音声または電子音で運転者に注意を喚起することを特徴とする請求項8〜請求項12のいずれか1項に記載の車線変更支援装置。
  14. 前記警報手段は、左右に設置された表示装置によって構成され、前記車線変更する方向の表示装置に、前記車線変更評価手段の評価結果に基づいて警報を表示することを特徴とする請求項8〜請求項13のいずれか1項に記載の車線変更支援装置。
JP2004069590A 2004-03-11 2004-03-11 車線変更支援装置 Expired - Fee Related JP4281589B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004069590A JP4281589B2 (ja) 2004-03-11 2004-03-11 車線変更支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004069590A JP4281589B2 (ja) 2004-03-11 2004-03-11 車線変更支援装置

Publications (2)

Publication Number Publication Date
JP2005258822A JP2005258822A (ja) 2005-09-22
JP4281589B2 true JP4281589B2 (ja) 2009-06-17

Family

ID=35084471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004069590A Expired - Fee Related JP4281589B2 (ja) 2004-03-11 2004-03-11 車線変更支援装置

Country Status (1)

Country Link
JP (1) JP4281589B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307853B2 (ja) * 2013-11-27 2018-04-11 日産自動車株式会社 車線変更支援装置
JP6736268B2 (ja) * 2015-06-26 2020-08-05 株式会社デンソーテン 画像処理装置、画像表示システム及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10166974A (ja) * 1996-12-09 1998-06-23 Mitsubishi Motors Corp 車両の後側方警報装置
JP3818734B2 (ja) * 1997-05-01 2006-09-06 富士通テン株式会社 隊列走行用制御装置および方法
JP3923292B2 (ja) * 2000-10-03 2007-05-30 本田技研工業株式会社 車車間通信装置

Also Published As

Publication number Publication date
JP2005258822A (ja) 2005-09-22

Similar Documents

Publication Publication Date Title
JP6729220B2 (ja) 車両用運転支援装置
JP7067067B2 (ja) 信号機認識装置、及び自動運転システム
EP3121076A2 (en) Vehicle control device
CN110050301A (zh) 车辆控制装置
CN108883772A (zh) 驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助方法及程序
CN111731295B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
US11230284B2 (en) Driving assistance apparatus and driving assistance method
CN111775945A (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
CN101652802A (zh) 安全驾驶支持装置
CN104221068A (zh) 驾驶辅助装置
US20120109521A1 (en) System and method of integrating lane position monitoring with locational information systems
CN109720343B (zh) 车辆控制设备
JP5898539B2 (ja) 車両走行支援システム
EP3627110B1 (en) Method for planning trajectory of vehicle
CN110733496A (zh) 信息处理装置、信息处理方法以及记录介质
CN108715164A (zh) 用于车辆的驾驶辅助设备和方法
CN111752267A (zh) 控制装置、控制方法以及存储介质
CN112526960A (zh) 自动驾驶监控系统
CN111189464B (zh) 自动驾驶装置以及导航装置
CN111583697A (zh) 驾驶支持系统和服务器装置
KR102359497B1 (ko) 단일 차량 동작용으로 설계된 자율 주행 시스템에 따른 차량 플래툰 구현
JP2011221757A (ja) 運転支援装置
KR20180126224A (ko) 차량 주행 중 장애물 정보 제공 장치 및 방법
CN115583250A (zh) 用于向车辆的用户界面提供建议的转向动作指示符的系统和方法
CN113401056A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees