JP4707823B2 - 車線変位補正システムおよび車線変位補正方法 - Google Patents
車線変位補正システムおよび車線変位補正方法 Download PDFInfo
- Publication number
- JP4707823B2 JP4707823B2 JP2000357228A JP2000357228A JP4707823B2 JP 4707823 B2 JP4707823 B2 JP 4707823B2 JP 2000357228 A JP2000357228 A JP 2000357228A JP 2000357228 A JP2000357228 A JP 2000357228A JP 4707823 B2 JP4707823 B2 JP 4707823B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- width
- lane width
- recognized
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【発明の属する技術分野】
本発明は、路面上の車線を認識し、認識された車線位置を補正する車線変位補正システムおよび車線変位補正方法に係り、特に、主たる車線と補助車線とが併存する走行状況において、主たる車線の位置を推定する手法に関する。
【0002】
【従来の技術】
ドライバの覚醒度の低下に起因した事故を未然に防止する技術の開発は、安全性の観点から重要な研究課題の一つであり、覚醒度低下を検出する手法や警報技術に関する研究が盛んに行われている。ドライバの覚醒度が低下し居眠り状態になると、特に高速走行時に重大な事故を引き起しかねない。また、居眠り状態までは至らないぼんやりした状態であっても、走行状況の急激な変化に素早く反応できないため、事故を引き起こす可能性がある。そこで、路面上の輝度差より車線(白線)を認識し、認識車線の変位より特定される車両の横変位(ふらつき)を周波数解析することで、ドライバの覚醒度を推定する手法が従来より知られている。
【0003】
車線認識に関する技術として、例えば、特開平5−108147号公報には、破線状の車線(主たる車線)の認識手法が開示されている。具体的には、走行路前方の撮像画像において、基準位置に存在する白線領域を基準白線領域として抽出する。続いて、この白線領域の空間的な配置を示す特徴量が算出され、この特徴量に基づいて、後続する白線領域が存在すると推定される候補領域が特定される。そして、この候補領域内を探索することにより、白線領域が抽出される。同様の処理を繰り返すことにより、破線状の白線領域を順次抽出していく。
【0004】
また、特開平7−141592号公報には、撮像画像から道路上に描かれた白線を、アスファルト面から切り出したテンプレートにより検出する手法が開示されている。具体的には、車両中央直前からテンプレートを切り出し、このテンプレートと監視領域とから、切り出した比較画像との相関演算を行う。アスファルト面から切り出したテンプレートに対して、最も低相関となる位置を車線位置として認識する。
【0005】
【発明が解決しようとする課題】
しかしながら、路面上の車線パターンには様々なものが存在し、主たる車線と補助車線とが併存するケースも存在する。例えば、高速道路の一部区間では、主たる車線の外側または内側に破線状の補助車線が描かれていることがある。上述した従来の技術では、このような区間の走行時に補助車線を主たる車線と誤って認識してしまうことがあり、車線位置の急激な変化となって現われる。その結果、例えば、誤認識された車線をそのまま用いてドライバの覚醒度を推定すると、推定精度の低下を招くおそれがあった。
【0006】
本発明はかかる事情に鑑みてなされたものであり、その目的は、路面上に描かれた主たる車線と補助車線との位置的関係を適切に認識することである。
【0007】
また、本発明の別の目的は、主たる車線と補助車線とが併存する走行状況において、主たる車線の位置を適切に推定することである。
【0008】
さらに、本発明の別の目的は、存在するはずの片側車線が認識不可の状況において、認識できた側の車線位置とレーン幅の推定値とを用いて、認識不可側の車線位置を推定することである。
【0009】
【課題を解決するための手段】
かかる課題を解決するために、第1の発明は、車線変位補正システムにおいて、路面上の車線位置を特定する車線認識部と、車線認識部において認識された車線位置より算出される認識レーン幅に基づいて、少なくとも一つのレーン幅種を算出するとともに、レーン幅種の出現頻度に応じて主レーン幅を特定するレーン幅認識部と、両側の車線が認識された場合、認識レーン幅と、少なくとも一つのレーン幅種と、主レーン幅とに基づいて、主たる車線と補助車線との位置的関係を判断し、その判断結果に応じて、車線認識部によって認識された車線位置を主たる車線に補正する車線変位補正部とを有する車線変位補正システムを提供する。
【0011】
第2の発明において、車線変位補正方法において、路面上の車線位置を特定するステップと、認識された車線位置より認識レーン幅を算出するステップと、認識レーン幅に基づいて、少なくとも一つのレーン幅種を算出するステップと、レーン幅種の出現頻度に応じて主レーン幅を特定するステップと、両側の車線が認識された場合、認識レーン幅と、少なくとも一つのレーン幅種と主レーン幅とに基づいて、主たる車線と補助車線との位置的関係を判断するステップと、その判断結果に応じて、車線認識部によって認識された車線位置を主たる車線に補正するステップとを有する車線変位補正方法を提供する。
【0013】
ここで、第1または第2の発明において、主たる車線の内側に補助車線が存在すると判断した場合、補助車線が存在する側の車線位置を外側にオフセット補正することが好ましい。例えば、主たる車線の内片側に補助車線が存在すると判断した場合には、主レーン幅と主レーン幅よりも一つ小さいレーン幅種との差に相当するオフセット量で、補正すべき片側の車線位置をオフセットさせる。また、主たる車線の内両側に補助車線が存在すると判断した場合には、主レーン幅と主レーン幅よりも二つ小さいレーン幅種との差の半分に相当するオフセット量で、両側の車線位置をそれぞれオフセットさせる。
【0014】
また、第1または第2の発明において、主たる車線の外側に補助車線が存在すると判断した場合、補助車線が存在する側の車線位置を無効データ化し、車線位置の過去の履歴を用いて、無効データ間を直線補完することが好ましい。
【0015】
第1または第2の発明において、車線位置の過去の履歴を用いて、車線認識部において認識された車線位置を直線補完し、その直線補完された車線位置に基づいて認識レーン幅を算出することが好ましい。
【0016】
第1または第2の発明において、片側の車線のみが認識された場合、認識できた側の車線位置と主レーン幅とに基づいて、認識できなかった側の車線位置を特定してもよい。
【0017】
第1または第2の発明において、所定の時間内において、個々の認識レーン幅に関して、認識レーン幅が属する回数をカウントし、カウント数が最も多い認識レーン幅を主レーン幅として特定することが望ましい。また、認識レーン幅が属するレーン幅種の値を、従前のレーン幅種の値と認識レーン幅の値との平均を求めることにより、更新してもよい。また、認識レーン幅がいずれのレーン幅種にも属さない場合、新たなレーン幅種と判断して、認識レーン幅に基づいたレーン幅種を設定することが好ましい。さらに、特定のレーン幅種に関して、それと隣り合ったレーン幅種同士の差が所定値よりも小さい場合には、その特定のレーン幅種を削除してもよい。また、特定のレーン幅種に関して、認識レーン幅が属さない状態が所定時間継続した場合、その特定のレーン幅種を削除してもよい。
【0018】
さらに、第1または第2の発明において、補正された車線位置から算出される車両の横変位量に基づいて、ドライバの覚醒度を推定してもよい。
【0019】
【発明の実施の形態】
[基本ブロック構成]
図1は、車線変位補正システムの一例を示すブロック構成図である。このシステムは、走行路上の車線で区切られたレーン幅の推定値を用いて、撮像画像より認識された車線位置を補正する。補正された車線位置は、路面上の車線パターンに拘わらず、主たる車線位置を適切に表している。したがって、例えば、これを用いて車両の横変位量(ふらつき)を算出すれば、ドライバの覚醒度を精度よく推定することができる。
【0020】
前方監視センサ1は、車両前方の状況を撮像して、撮像画像を出力するセンサであり、例えば、CCD(固体撮像素子)等を用いたステレオカメラや単眼カメラを用いることができる。車線認識部2は、画像認識技術を用いて、撮像画像に映し出された走行路上の車線を認識し、その位置を算出する。路面に描かれた車線(一般的には白線)は、画像の水平方向の輝度差が大きいエッジ部として特定することができる(アスファルトと白線との境界部分は輝度差が大きい)。白線に起因したエッジ部(白線エッジ)は、走行路の左側と右側とについて別個に探索され、左右の白線のそれぞれについて特定される。一例として、下記の3つの条件を具備する部分を白線エッジとして認識することができ、白線エッジの位置(画像の横方向座標)を車線位置とする。
【0021】
[白線エッジの条件]
(条件1)輝度変化量が所定値以上である輝度エッジで、かつ、輝度エッジの内側(画像中央側)の画素よりも外側(画像端側)の画素の方が輝度が大きいことすなわち走行路の左右の白線に起因した白線エッジは、白線の内側の境界(白線と舗装路との境界)における輝度エッジである。
(条件2)条件1を満たす白線エッジの候補に関して、それと同一水平線上の外側にさらに輝度エッジが存在し、かつ、この輝度エッジの外側の画素よりも内側の画素の方が輝度が大きいこと
白線は所定の幅を有しているため、白線エッジの外側にも境界が存在する。この条件は、このような白線の特徴に鑑みて設けられたものである。
(条件3)条件1を満たす白線エッジを含む画素ブロックに関して、視差が算出されていること(前方監視センサ1としてステレオカメラを用いた場合)
白線エッジが存在する箇所に視差が算出されていなければ、その白線エッジは道路形状を認識するのに有効な情報とはならないからである。
【0022】
車線認識部2は、前方監視センサ1としてステレオカメラを用いた場合、左右の白線エッジの座標(i,j)と視差dとを周知の座標変換式に代入し、車線の実空間上の座標(X,Y,Z)を算出する。この座標変換に関しては、例えば、特開平5−265547号公報に開示されている。本実施形態は、車線の横方向の変位をモニタリングするものであるから、画像水平方向(車幅方向)の車線位置が評価対象となる。車両より10m前方における車両中心を基準とした左車線位置をX0(X0<0)とし、右車線位置をX1(X1>0)とする。
【0023】
なお、車線認識部2は、車線の認識を行うとともに、その確信度(すなわち、認識された車線の確からしさ)も併せて算出する。走行路上の輝度エッジは、白線に起因したもの以外にも、スリップ痕や雪面上のわだち等に起因して生じることがある。そこで、認識された車線位置の連続性や車線位置のデータ数等に基づいて、認識された車線の確信度(信頼性)が算出される。なお、認識車線の信頼性については、本願出願人の先願である特願平11−269578号に開示されている。確信度は0〜10の範囲で算出され、認識車線を最も信頼できる場合は確信度が10に設定される。左車線位置X0の確信度をPFS0,右車線位置X1の確信度をPFS1とする。
【0024】
車線補正部3は、現在の車線位置とその過去の履歴とに基づいて、レーン幅を推定し、これに基づいて認識車線位置を補正する。この補正により、主たる車線と補助車線とが併存する走行状況にあっても、主車線の位置を適切に求めることができる。補正後の左車線位置をXCK0、補正後の右車線位置をXCK1とする。なお、これらの補正車線位置XCK0,XCK1に関しては、過去4秒分に相当する42個の履歴(XCK0[41],XCK1[41])が履歴保持部4に保存され、これらは、現在の補正車線位置XCK0,XCK1を算出する際に用いられる。なお、車線補正部3は、補正車線位置XCK0,XCK1を算出する過程において、認識レーン幅W(W>0)を算出する。後述するように、認識レーン幅Wは、認識された左右の車線位置(正確には直線補完後の車線位置)の差より算出される。
【0025】
レーン幅認識部5は、左右の車線位置X0,X1より算出される認識レーン幅Wをデータとして収集し、少なくとも1つ、最大で5つのレーン幅種WIDTH[i](i=0〜4)をストックする。また、これらのレーン幅種WIDTH[i]の出現頻度をモニタリングして、出現頻度のもっと高いものを主レーン幅WMSTRとして決定する。レーン幅種WIDTH[i]とレーン幅の推定値である主レーン幅WMSTRとは、車線変位補正部3における補正車線位置XCK0,WCK1の算出過程で用いられる。
【0026】
以下の説明は、5つのレーン幅種WIDTH[i]が出現していることを前提としているが、走行状況によってはそれ以下の個数しか出現しないことも当然にあり得る。例えば、ケース0が長時間継続する場合には最小レーン幅種WIDTH[0]のみが出現する。
【0027】
車両中心変位算出部6は、車線変位補正部3より出力された補正車線位置XCK0,XCK1の差(XCK0−XCK1)を算出する。そして、1.0Hzのローバスフィルタをかけてノイズ成分を除去し、車両中心変位XCを算出する。この車両中心変位XCは、補助車線の影響を受けない横方向の車両変位(ふらつき)に相当する。
【0028】
覚醒度判定部7は、車両中心変位XCの周波数スペクトルにおける周波数成分を解析することにより、ドライバの覚醒度を判定する。FFT(高速フィーリエ変換)を用いた周波数スペクトルによる覚醒度の判定手法については様々なものが提案されているが、その一例については、本願出願人が先に出願した特開2000−185575号公報を参照されたい。覚醒度判定部7は、ドライバの覚醒度が低下していると判断した場合、スピーカやディスプレイ等の警報部8に対して、ドライバに覚醒を促すための各種警報の実行を指示する。
【0029】
[基本ロジック]
つぎに、車線位置補正ロジックの概略について述べる。本実施形態では、前方監視センサ1から出力された撮像画像より走行中のレーンの両側車線が認識された場合、認識レーン幅Wに基づいて、路面上に描かれた車線の状態を5つの車線パターンのいずれかに分類する。図2は、車線パターンの分類の説明図であり、主たる車線と補助車線との位置的関係を規定したものである。そして、分類されたパターンに応じて、認識車線位置の補正を行う。本実施形態では、両側車線が認識された場合における車線パターンを以下の5ケースに分類する。なお、同図に出現する5つのレーン幅種WIDTH[i]は、WIDTH[0]<WIDTH[1]<WIDTH[2]<WIDTH[3]<WIDTH[4]の関係にある。
【0030】
(ケース0)左右に主たる車線(通常車線)が存在する通常のケースである。左右の主たる車線間の距離をレーン幅種WIDTH[2]とする。以下のケース1〜4の出現頻度は基本的にそれほど高くないが、ケース0は出現頻度が高い。したがって、ある時間内にケース0〜4が混在して出現し、ケース0の出現頻度が最も高いならば、主レーン幅WMSTRはレーン幅種WIDTH[2]となる。なお、同図において、破線状車線間のデータ空白部分を点線で結んでいるが、これは、後述するように、前後の車線位置より直線補完していることを意味している(以下のケースについても同様)。認識レーン幅Wが主レーン幅WMSTRに対して±α(例えば40mm)未満ならば、本ケースに該当すると判断する。
【0031】
(ケース1)補助車線(内両側)がかすれる等で片側を通常車線として認識する場合に出現し、基本的に一部区間において存在するケースである。車線認識への影響としては、主たる車線に対して認識車線が内側にオフセットするときがある(確信度は高い状態が保持される)。レーン幅種WIDTH[2](=WMSTR)の他に、それよりも狭いレーン幅種WIDTH[1]が出現する。認識レーン幅Wが主レーン幅WMSTRより一つ内側のレーン幅種WIDTH[i-1](すなわちWIDTH[1])に対して±β(例えば30mm)未満ならば、本ケースの内片側補助車線と判断する。
【0032】
図3は、内側に補助車線が存在する場合の変位特性図である(ケース2についても該当)。同図(a)に示す補正前の特性からわかるように、内側破線の特徴として、真の車線位置(主たる車線位置)に対してステップ状のシフトが見られる。そこで、左右とも1つ前の車線位置との差をとり、大きい方が内側にオフセットしていると判断し、後述するオフセット量を用いて、片側の車線位置を外側へオフセット補正する。同図(b)は補正後の特性を示しており、オフセット補正により内側補助車線の影響が除去されていることがわかる。
【0033】
(ケース2)カーブ等車線内走行を喚起する場所において出現し、基本的に一部区間において存在するケースである。車線認識への影響としては、主たる車線に対して認識車線が内側にオフセットするときがある(確信度は高い状態が保持される)。レーン幅種WIDTH[2](=WMSTR)の他に、それよりも狭いレーン幅種WIDTH[0]が出現する(WIDTH[0]<WIDTH[1])。認識レーン幅Wが主レーン幅WMSTRより二つ内側のレーン幅種WIDTH[i-2](すなわちWIDTH[0])に対して±β未満ならば、本ケースの内両側補助車線と判断する。ケース1と同様の手法で、両側の車線位置を外側へオフセット補正する。
【0034】
(ケース3)内両側補助車線(ケース2)走行中で分岐合流がある場所において出現し易く、基本的に一部区間において存在するケースである。認識車線への影響としては、主たる車線に対して認識車線が外側にオフセットするときがある(確信度は高い状態が保持される)。レーン幅種WIDTH[2](=WMSTR)の他に、それよりも広いレーン幅種WIDTH[3]が出現する。認識レーン幅Wが主レーン幅WMSTRより一つ外側のレーン幅種WIDTH[i+1](すなわちWIDTH[3])に対して±β未満ならば、本ケースの外片側補助車線と判断する。
【0035】
図4は、外側に補助車線が存在する場合の変位特性図である(ケース4についても該当)。同図(a)に示す補正前の特性からわかるように、外側補助車線の特徴として、正しい車線認識結果の上に、短周期のノイズ状の信号成分が乗る。ここでは、ノイズ上では左右変位とも0に落とし無効データ化するとともに、ノイズ幅が小さいときは通常車線と認識する。無効データ化された部分は、その後の処理において直線補完する。同図(b)は補正後の特性を示しており、直線補完により外側補助車線の影響が除去されていることがわかる。
【0036】
(ケース4)内両側補助車線(ケース2)への進入初期(一部)に出現し易く、基本的に一部区間において存在するケースである。認識車線への影響としては、主たる車線に対して認識車線が外側にオフセットするときがある(確信度は高い状態が保持される)。レーン幅種WIDTH[2](=WMSTR)の他に、それよりも広いレーン幅種WIDTH[4]が出現する(WIDTH[3]<WIDTH[4])。認識レーン幅Wが主レーン幅WMSTRより二つ外側のレーン幅種WIDTH[i+2](すなわちWIDTH[4])に対して±β未満ならば、本ケースの外両側補助車線と判断する。ケース3と同様の手法で、左右の車線ともに直線補完を行う。
【0037】
なお、図2の最下欄に示したケースは、逆行で路面が光っている状況やガードレールの影に入る状況等で左右いずれかの白線エッジが検出できず、片側車線のみ認識されるケースである。このケースでは、認識された車線側の車線位置と、認識が不安定になるまでに計測された主レーン幅WMSTRとを用いて、認識できなかった側の車線位置を推定(復元)する。
【0038】
図5は、図1に示した車線変位補正部3の詳細なブロック構成図である。車線変位補正部3は、車線補完部11,レーン幅算出部12,車線パターン分類部13,車線位置補正部14および車線補完部15で構成されている。
【0039】
[車線補完部]
車線変位補正部3の前段に位置する車線補完部11は、左右の車線位置X0,X1と、履歴保持部4より読み出した過去4秒分の補正車線位置XCK0[41],XCK1[41]とに基づいて、破線状車線間のデータ空白部分を直線近似で補完する。つまり、白線エッジが存在しない部分を、今回の車線位置と過去の車線位置とによって直線近似で補完する。このように直線補完された左右の車線位置をそれぞれXH0,XH1とする。補完された車線位置XH0,XH1に関する確信度PFSH0,PFSH1は共に10(高信頼)とする。また、4秒分の履歴で補完できなかった場合は、その確信度PFSH0,PFSH1を0にして無効データ化する。無効データ化されたものは、それ以降の処理において演算対象としない。なお、本実施形態では、無効データ化された補完車線位置XH0,XH1に関しては、その値も0に設定している。
【0040】
[レーン幅算出部]
レーン幅算出部12は、車線補完部11より出力された補完車線位置XH0,XH1に基づいて、下式に従い認識レーン幅Wを算出する。
【数1】
W = XH1−XH0
【0041】
[車線パターン分類部]
車線パターン分類部13は、両側の車線が認識された場合、現在の車線状態を図2に示した5つの車線パターンのいずれかに分類する。図6は、車線パターン分類ルーチンのフローチャートであり、車線パターン分類部13は本ルーチンを所定の間隔(例えば100ms)で繰り返し実行する。
【0042】
まず、ステップ1において、両側の車線が認識されているか否か、すなわち、左右車線に関する確信度PFSH0,PFSH1がともに10(高信頼)であるか否かが判断される。このステップ1で否定判定された場合には本ルーチンを抜け、肯定判定された場合にはステップ2に進む。ステップ2では、認識レーン幅Wがレーン幅種WIDTH[2](=WMSTR)に対して±α(例えば40mm)未満であるか否かが判断される。このステップ2で肯定判定された場合は、分類フラグFnsdを「0」(図2に示したパターン0を指示)にセットした後(ステップ3)、本ルーチンを抜ける。一方、ステップ2で否定判定された場合はステップ4に進む。
【0043】
なお、ケース0の分類判定の基準となるマージンαは、後述する他のケース1〜4の判定マージンβよりも大きな値に設定している。その理由は、ケース0は、一部区間で出現するケース1〜4よりも出現頻度が高い点を反映するためである。
【0044】
ステップ4では、認識レーン幅Wがレーン幅種WIDTH[1]に対して±β(例えば30mm)未満であるか否かが判断される。このステップ4で肯定判定された場合は、分類フラグFnsdを「1」(図2に示したパターン1を指示)にセットした上で(ステップ5)、本ルーチンを抜ける。一方、ステップ4で否定判定された場合はステップ6に進む。ステップ6では、認識レーン幅Wがレーン幅種WIDTH[0]に対して±β未満であるか否かが判断される。このステップ6で肯定判定された場合は分類フラグFnsdを「2」(図2に示したパターン2を指示)にセットし(ステップ7)、本ルーチンを抜ける。一方、ステップ6で否定判定された場合はステップ8に進み、認識レーン幅Wがレーン幅種WIDTH[3]に対して±β未満であるか否かが判断される。このステップ8で肯定判定された場合は分類フラグFnsdを「3」(図2に示したパターン3を指示)にセットし(ステップ9)、本ルーチンを抜ける。一方、ステップ9で否定判定された場合はステップ10に進む。ステップ10では、認識レーン幅Wがレーン幅種WIDTH[4]に対して±β未満であるか否かが判断される。このステップ10で肯定判定された場合は分類フラグFnsdを「4」(図2に示したパターン4を指示)にセットし(ステップ11)、本ルーチンを抜ける。一方、このステップ10で否定判定された場合は本ルーチンを抜ける。
【0045】
以上の説明からわかるように、両側車線認識時においては、認識レーン幅Wをレーン幅種WIDTH[i]と比較する。そして、その比較結果に応じて、現在の車線状態を予め設定された5つの車線パターンのいずれかに分類する。車線パターンを特定することにより、主たる車線と補助車線との位置的関係は一義的に特定される。
【0046】
[車線位置補正部]
車線位置補正部14は、両側車線が認識された場合における車線位置補正、片側車線が認識された場合における認識不良側の車線位置推定、および両側車線が共に認識できなかった場合におけるデータ無効化を行う。図7は、両側車線認識時における車線位置補正ルーチンのフローチャートであり、車線位置補正部14は、本ルーチンを所定の間隔(例えば100ms)で繰り返し実行する。
【0047】
まず、ステップ20において、両側の車線が認識されているか否か、すなわち、左右車線に関する確信度PFSH0,PFSH1がともに10(高信頼)であるか否かが判断される。このステップ20で否定判定された場合には本ルーチンを抜け、肯定判定された場合にはステップ21に進む。ステップ21では、車線パターン分類部13において求められた分類フラグFnsdが「0」であるか否かが判断される。このステップ21で肯定判定された場合、すなわち、ケース0に相当する場合には、補助車線が存在しないので、補正は行わずに(ステップ22)、本ルーチンを抜ける。すなわち、補完車線位置XH0,XH1をそのまま補正後の車線位置XD0,XD1として出力する。また、確信度PFSH0,PFSH1をそのまま補正後の確信度PFSD0,PFSD1として出力する。
【0048】
一方、ステップ21で否定判定された場合にはステップ23に進み、分類フラグFnsdが「1」であるか否かが判断される。このステップ23で肯定判定された場合、すなわち、ケース1の内片側補助車線に相当する場合には、数式2または数式3に従い、片側車線のみを対象とした外側へのオフセット補正を行い、補正車線位置XD0,XD1を求める(ステップ24)。左車線位置XH0は、車両中心に対してマイナス側に位置しているため、左車線を対象としたオフセット補正では、マイナス側へのシフトとなる(数式2)。これに対して、右車線位置XH1は、車両中心に対してプラス側に位置しているため、右車線を対象としたオフセット補正では、プラス側へのシフトとなる(数式3)。レーン幅種WIDTH[2]の出現度合いが最も高い場合(WMSTR=WIDTH[2])、オフセット量SINGLEは、主レーン幅WMSTRとそれよりも一つ小さいWIDTH[1]との差に相当する。また、確信度PFSH0,PFSH1をそのまま補正確信度PFSD0,PFSD1として出力する。ステップ24の処理が終了すると、本ルーチンを抜ける。
【数2】
XD0 ← XH0 − SINGLE
XD1 ← XH1
SINGLE = WMSTR−WIDTH[1]
【数3】
XD0 ← XH0
XD1 ← XH1 + SINGLE
SINGLE = WMSTR−WIDTH[1]
【0049】
ステップ23で否定判定された場合にはステップ25に進み、分類フラグFnsdが「2」であるか否かが判断される。このステップ25で肯定判定された場合、すなわち、ケース2の内両側補助車線に相当する場合には、数式4に従い、両側車線を対象とした外側へのオフセット補正を行い、補正車線位置XD0,XD1を求める(ステップ26)。なお、レーン幅種WIDTH[2]の出現度合いが最も高い場合(WMSTR=WIDTH[2])、オフセット量は、主レーン幅WMSTRとそれよりも二つ小さいWIDTH[0]との差の半分に相当する。また、確信度PFSH0,PFSH1をそのまま補正確信度PFSD0,PFSD1として出力する。ステップ26の処理が終了すると、本ルーチンを抜ける。
【数4】
XD0 ← XH0 − DOUBLE/2
XD1 ← XH1 + DOUBLE/2
DOUBLE = WMSTR−WIDTH[0]
【0050】
ステップ25で否定判定された場合にはステップ27に進み、分類フラグFnsdが「3」であるか否かが判断される。このステップ27で肯定判定される状況としては、ケース3以外に、レーン幅が実際に広がった状況も考えられる。そこで、これらのケースを分類するために、レーン幅が所定時間(例えば3秒)以上広くなっているかが判断される(ステップ28)。ステップ28で肯定判定された場合には、レーン幅が実際に広がったものと判断し補正を行わず、補完車線位置XH0,XH1をそのまま補正車線位置XD0,XD1として出力する(ステップ29)。また、確信度PFSH0,PFSH1をそのまま補正確信度PFSD0,PFSD1として出力する。これに対して、ステップ28で否定判定された場合には、ケース3の外片側補助車線に相当すると判断する。そして、補助車線がある側の車線データを無効化、すなわち、補正確信度PFSD0(またはPFSH1)を0にする(ステップ30)。片側の車線データを無効化し、後段の車線補完部15で無効化されたデータ間を直線近似で補完することによって、図4(a)の特性で表れる片側車線における短周期のノイズ状成分を除去する。ステップ29,30の処理が終了すると、本ルーチンを抜ける。
【0051】
ステップ27で否定判定された場合にはステップ31に進み、分類フラグFnsdが「4」であるか否かが判断される。このステップ31で肯定判定される状況としては、ケース4以外に、レーン幅が実際に広がった状況も考えられる。そこで、これらのケースを分類するために、レーン幅が所定時間(例えば3秒)以上広くなっているかが判断される(ステップ32)。このステップ32で肯定判定された場合には、レーン幅が実際に広がったものと判断し補正を行わず、補完車線位置XH0,XH1をそのまま補正車線位置XD0,XD1として出力する(ステップ33)。また、確信度PFSH0,PFSH1をそのまま補正確信度PFSD0,PFSD1として出力する。これに対して、ステップ32で否定判定された場合には、ケース4の外両側補助車線に相当すると判断する。そして、両側の車線データを無効化、すなわち、補正確信度PFSD0,PFSH1を0にする(ステップ34)。両側の車線データを無効化し、後段の車線補完部15で無効化されたデータ間を直線近似で補完することによって、図4(a)の特性で表れる両側車線に関する短周期のノイズ状成分を除去する。ステップ33,34の処理が終了すると、本ルーチンを抜ける。
【0052】
ステップ31で否定判定された場合には、補正を行うことなく(ステップ35)、本ルーチンを抜ける。この場合、補完車線位置XH0,XH1をそのまま補正車線位置XD0,XD1として出力し、確信度PFSH0,PFSH1をそのまま補正確信度PFSD0,PFSD1として出力する。
【0053】
以上の説明からわかるように、車線パターンに応じて、補完車線位置XH0,XH1を補正することにより、補助車線の影響を除去する。主たる車線の内側に補助車線が存在する場合には、補完車線位置XH0,XH1にオフセット補正を施す。一方、主たる車線の外側に補助車線が存在する場合には、補完車線位置XH0,XH1を無効データ化し、無効データ化された間を直線補完することによって、補助車線の影響を除去する。
【0054】
図8は、片側車線認識時における車線位置補正ルーチンのフローチャートであり、車線位置補正部14は、本ルーチンを所定の間隔(例えば100ms)で繰り返し実行する。片側の車線のみが認識される状態では、左右の車線に関する確信度PFS0,PFS1の一方のみが10となる。左車線の確信度PFS0が10で、右車線の確信度PFS1が10でない場合(左車線のみ十分に認識)、ステップ40,41の判断を経て、ステップ42に進む。この場合、高信頼の左車線に関しては、補完車線位置XH0をそのまま補正車線位置XD0とする。これに対して、右車線に関しては、左車線の補完車線位置XH0を基準として、これに主レーン幅WMSTRを加算することで、補正車線位置XD1を推定する。左右の補正確信度PFSD0,PFSD1は共に10に設定する。ステップ42の処理が終了すると、本ルーチンを抜ける。
【0055】
一方、右車線の確信度PFS1が10で、左車線の確信度PFS0が10でない場合(右車線のみ十分に認識)、ステップ40,43の判断を経て、ステップ44に進む。この場合、高信頼の右車線に関しては、補完車線位置XH1をそのまま補正車線位置XD1とする。これに対して、左車線に関しては、右車線の補完車線位置XH1を基準として、これに主レーン幅WMSTRを減算することで、補正車線位置XD0を推定する。左右の補正確信度PFSD0,PFSD1は共に10に設定する。ステップ44の処理が終了すると本ルーチンを抜ける。
【0056】
車線位置補正部14は、両側の車線が共に十分認識できない場合(PFSH0≠10,PFSH1≠10)、左右の補正確信度PFSD0,PFSD1を共に0に設定し、無効データ化する。
【0057】
[車線補完部]
車線補完部15は、左右の補正車線位置XD0,X1と、履歴保持部4より読み出した過去4秒分の補正車線位置XCK0[41],XCK1[41]とに基づいて、直線補完処理を行う。ここでは、外側補助車線等でクリアされたデータ(無効データ)を最大4秒分で直線補完することにより、外側補助車線に起因した短周期のノイズ状成分が除去される。4秒以内に補完できなかった場合は、補完が可能になった時点で一次直線で補完する。このようにして補完された左右の車線位置をそれぞれXCK0,XCK1とし、これらが車線変位補正部3からの最終的な出力データとなる。
【0058】
図9は、図1に示したレーン幅認識部5の詳細なブロック構成図であり、レーン幅帯域カウンタ21,レーン幅域分類部22,決定レーン幅消去部23および主レーン幅決定部24で構成されている。上述したように、レーン幅認識部5は、認識レーン幅Wをデータとして収集し、最大で5つのレーン幅種WIDTH[i]をストックするとともに、レーン幅種WIDTH[i]の出現頻度により主レーン幅WMSTRを決定する。
【0059】
[レーン幅値域カウンタ]
レーン幅認識部5の前段に位置するレーン幅帯域カウンタ21は、認識レーン幅Wを予め設定された複数の帯域のいずれかに分類するとともに、同一帯域への分類が何回継続するかをレーン幅カウンタnn1,nn2によってカウントする。本実施形態では、2500mmから帯域幅80mm,帯域間ステップ40mmで13個の第1の帯域WR1[N](N=13)を設定する(例えば、WR1[1]は2500mm〜2580mm,WR1[13]は3940mm〜)。そして、経時的に順次算出される認識レーン幅Wが同一帯域WR1[n]に連続して属する場合、その度にレーン幅カウンタnn1を1ずつインクリメントしていく。一方、認識レーン幅Wが前回の帯域WR1[n]と異なる帯域WR1[n']に属する場合には、レーン幅カウンタnn1を一旦リセットした後、再度インクリメントを開始する。
【0060】
また、第1の帯域WR1[N]では不感帯となる帯域(帯域間ステップ)をカバーするために、2560mmから帯域幅80mm,帯域間ステップ40mmで12の第2の帯域WR2[M](M=12)を設定する。(例えば、WR2[1]は2560mm〜2640mm,WR2[12]は3880mm〜3960mm)。そして、経時的に順次算出される認識レーン幅Wが同一帯域WR2[m]に連続して属する場合、その度にレーン幅カウンタnn2を1ずつインクリメントしていく。一方、認識レーン幅Wが前回の帯域WR2[m]と異なる帯域WR2[m']に属する場合には、レーン幅カウンタnn2を一旦リセットした後、再度インクリメントを開始する。
【0061】
[レーン幅域分類部]
レーン幅域分類部22は、レーン幅カウンタnn1(またはnn2)が所定値以上になった場合、認識レーン幅Wと、それと同一帯域に属する過去の認識レーン幅Woldの履歴との平均を求め、平均レーン幅Waveを算出する。そして、算出された平均レーン幅Waveをレーン幅種WIDTH[i]のいずれかに分類する。また、レーン幅域分類部22は、平均レーン幅Waveに応じて、各レーン幅種WIDTH[i]の値を随時更新する。図10および図11は、レーン幅域分類ルーチンのフローチャートであり、レーン幅域分類部22は、本ルーチンを所定の間隔(例えば100ms)で繰り返し実行する。
【0062】
まず、ステップ50において、レーン幅帯域カウンタ21において算出されたnn1またはnn2が3よりも大きいか否か、すなわち、認識レーン幅Wが同一帯域WR1[N],WR2[M]を3回以上連続して属するか否かが判断される。このステップ50で否定判定された場合には本ルーチンを抜け、肯定判定された場合にはステップ51に進む。
【0063】
ステップ51では、認識レーン幅Wの平均化処理を下式に従い行い、平均レーン幅Waveを算出する。ここで、Woldは、認識レーン幅Wと同一帯域に属する過去の認識レーン幅(履歴)であり、nは、過去の履歴Woldを含む認識レーン幅の総数である(n>3)。
【数5】
Wave ← (W+ΣWold)/n
【0064】
続くステップ52以降の手順は、5つのレーン幅種WIDTH[i]の分類・更新処理に関する。まず、ステップ52において、平均レーン幅Waveが最大レーン幅種WIDTH[4]から所定値(例えば100mm)を減算した値よりも大きいか否かが判断される。このステップ52で肯定判定された場合には、さらに、平均レーン幅Waveが最大レーン幅種WIDTH[4]+100よりも小さいか否かが判断される(ステップ53)。ステップ53で肯定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[4]±100未満の場合には、平均レーン幅Waveがレーン幅種WIDTH[4]に属すると認識する。そして、傾斜平均によるレーン幅種WIDTH[4]の更新処理を下式に従い行った後(ステップ54)、本ルーチンを抜ける。
【図6】
WIDTH[4] ← (WIDTH[4]×3+Wave)/4
【0065】
ステップ53において否定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[4]+100mm以上の場合(WIDTH[4]に属さない場合)、平均レーン幅Waveを新たなレーン幅種(一つ外側)と判断する。そして、平均レーン幅Waveを新たな最大レーン幅種WIDTH[4]と設定し(ステップ55)、本ルーチンを抜ける。ステップ55では、図15に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[4]に代入し、配列WIDTH[4]の従前値を配列WIDTH[3]にシフトする。同様に、配列WIDTH[3],[2],[1]の従前値を一つ前の配列WIDTH[2],[1],[0]にそれぞれシフトする。配列WIDTH[0]の従前値は消去される。
【0066】
ステップ52において否定判定された場合はステップ56に進み、平均レーン幅Waveがレーン幅種WIDTH[3]−100mmよりも大きいか否かが判断される。このステップ56で肯定判定された場合には、さらに、平均レーン幅Waveがレーン幅種WIDTH[3]+100よりも小さいか否かが判断される(ステップ57)。ステップ57で肯定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[3]±100未満の場合には、平均レーン幅Waveがレーン幅種WIDTH[3]に属すると判断する。そして、傾斜平均によるレーン幅種WIDTH[3]の更新処理を下式に従い行った後(ステップ58)、本ルーチンを抜ける。
【図7】
WIDTH[3] ← (WIDTH[3]×3+Wave)/4
【0067】
これに対して、ステップ57において否定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[3]+100mm以上の場合(WIDTH[3]に属さない場合)、さらに、レーン幅種WIDTH{4]−500mmよりも大きいか否かが判断される(ステップ59)。このステップ59で否定判定された場合(WIDTH[3]から大きくはずれていない場合)、平均レーン幅Waveを新たなレーン幅種と判断する。この場合、平均レーン幅Waveを新たなレーン幅種WIDTH[3]として設定した後(ステップ60)、本ルーチンを抜ける。ステップ60では、図16に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[3]に代入し、配列WIDTH[3]の従前値を配列WIDTH[2]にシフトする。同様に、配列WIDTH[2],[1]の従前値を一つ前の配列WIDTH[1],[0]にそれぞれシフトする。そして、配列WIDTH[0]の従前値は消去される。なお、配列WIDTH[4]の値は変更されることなく保持される。
【0068】
一方、ステップ59で肯定判定された場合(WIDTH[3]から大きくはずれている場合)、平均レーン幅Waveを新たなレーン幅種と判断する。この場合、平均レーン幅Waveを新たなレーン幅種WIDTH[2]として設定した後(ステップ61)、本ルーチンを抜ける。ステップ61では、図17に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[2]に代入する。また、配列WIDTH[3]には、これと隣接した配列WIDTH[2](=Wave)と配列WIDTH[4](この値は保持)との平均値を代入する。そして、配列WIDTH[3]の従前値は、2つ前の配列WIDTH[1]にシフトし、それに伴い配列WIDTH[1]の従前値を消去する。同様に、配列WIDTH[2]の従前値は、2つ前の配列WIDTH[0]にシフトし、それに伴い配列WIDTH[0]の従前値を消去する。
【0069】
ステップ56で否定判定された場合、図11のステップ62に進み、平均レーン幅Waveがレーン幅種WIDTH[2]−100mmよりも大きいか否かが判断される。このステップ62で肯定判定された場合には、さらに、平均レーン幅Waveがレーン幅種WIDTH[2]+100よりも小さいか否かが判断される(ステップ63)。ステップ63で肯定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[2]±100の範囲に入る場合には、平均レーン幅Waveがレーン幅種WIDTH[2]に属すると判断する。この場合、傾斜平均によるレーン幅種WIDTH[2]の更新処理が下式に従い行った後(ステップ64)、本ルーチンを抜ける。
【図8】
WIDTH[2] ← (WIDTH[2]×3+Wave)/4
【0070】
これに対して、ステップ63において否定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[2]+100mm以上の場合(WIDTH[2]に属さない場合)、さらに、レーン幅種WIDTH{3]−500mmよりも大きいか否かが判断される(ステップ65)。このステップ65で否定判定された場合(WIDTH[2]から大きくはずれていない場合)、平均レーン幅Waveを新たなレーン幅種と判断し、平均レーン幅Waveを新たなレーン幅種WIDTH[2]と設定する(ステップ66)。ステップ66では、図18に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[2]に代入し、配列WIDTH[2]の従前値を配列WIDTH[1]にシフトする。同様に、配列WIDTH[2],[1]の従前値を一つ前の配列WIDTH[1],[0]にそれぞれシフトする。配列WIDTH[0]の従前値は消去される。なお、配列WIDTH[3],[4]の値は変更されることなく保持される。
【0071】
一方、ステップ65で肯定判定された場合(WIDTH[2]から大きくはずれている場合)、平均レーン幅Waveを新たなレーン幅種と判断し、平均レーン幅Waveを新たなレーン幅種WIDTH[1]と設定する(ステップ67)。ステップ67では、図19に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[1]に代入する。また、配列WIDTH[2]には、これと隣接した配列WIDTH[1](=Wave)と配列WIDTH[3](この値は保持)との平均値を代入する。そして、配列WIDTH[2]の従前値は、2つ前の配列WIDTH[0]にシフトし、それに伴い配列WIDTH[0]の従前値を消去する。同様に、配列WIDTH[1]の従前値を消去する。
【0072】
ステップ62で否定判定された場合、ステップ68に進み、平均レーン幅Waveがレーン幅種WIDTH[1]−100mmよりも大きいか否かが判断される。このステップ68で肯定判定された場合には、さらに、平均レーン幅Waveがレーン幅種WIDTH[1]+100よりも小さいか否かが判断される(ステップ69)。ステップ69で肯定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[1]±100の範囲に入る場合には、平均レーン幅Waveがレーン幅種WIDTH[1]に属すると判断する。そして、傾斜平均によるレーン幅種WIDTH[1]の更新処理が下式に従い行われる(ステップ70)。
【図9】
WIDTH[1] ← (WIDTH[1]×3+Wave)/4
【0073】
これに対して、ステップ69において否定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[1]+100mm以上の場合(WIDTH[1]に属さない場合)、さらに、レーン幅種WIDTH{2]−500mmよりも大きいか否かが判断される(ステップ71)。このステップ71で否定判定された場合(WIDTH[1]から大きくはずれていない場合)、平均レーン幅Waveを新たなレーン幅種と判断し、平均レーン幅Waveを新たなレーン幅種WIDTH[1]と設定する(ステップ72)。ステップ72では、図20に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[1]に代入し、配列WIDTH[1]その従前値を配列WIDTH[0]にシフトし、配列WIDTH[0]の従前値を消去する。なお、配列WIDTH[2],[3],[4]の値は変更されることなく保持される。
【0074】
一方、ステップ71で肯定判定された場合(WIDTH[1]から大きくはずれている場合)、平均レーン幅Waveを新たなレーン幅種と判断し、平均レーン幅Waveを新たな最小レーン幅種WIDTH[0]と設定する(ステップ73)。ステップ73では、図21に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[0]に代入する。また、配列WIDTH[1]には、これと隣接した配列WIDTH[0](=Wave)と配列WIDTH[2](この値は保持)との平均値を代入する。配列WIDTH[0],[1]の従前値は消去される。
【0075】
ステップ68で否定判定された場合はステップ74に進み、平均レーン幅Waveがレーン幅種WIDTH[0]−100mmよりも大きいか否かが判断される。このステップ74で肯定判定された場合には、平均レーン幅Waveがレーン幅種WIDTH[0]に属すると判断する。そして、傾斜平均によるレーン幅種WIDTH[0]の更新処理が下式に従い行われる(ステップ75)。
【図10】
WIDTH[0] ← (WIDTH[0]×3+Wave)/4
【0076】
これに対して、ステップ74において否定判定された場合、すなわち、平均レーン幅Waveがレーン幅種WIDTH[0]+100mm以上の場合(WIDTH[0]に属さない場合)、平均レーン幅Waveを新たなレーン幅種と判断し、平均レーン幅Waveを新たな最大レーン幅種WIDTH[0]と設定する(ステップ76)。ステップ76では、図22に示すようなレーン幅種配列WIDTH[i]の代入・シフト処理が行われる。すなわち、平均レーン幅Waveを配列WIDTH[0]に代入し、その従前値を消去する。
【0077】
以上の説明からわかるように、主レーン幅WMSTRを特定する際のベースとなるレーン幅種WIDTH[i]は、認識レーン幅W(正確には平均レーン幅Wave)に応じて、更新、追加或いはシフト等の更新処理が適宜行われる。
【0078】
[決定レーン幅消去部]
決定レーン幅消去部23は、重複しているとみなせる程に値が近接しているレーン幅種WIDTH[i]や所定時間使用されていないレーン幅種WIDTH[i]を、不要なものとして消去する。レーン幅種WIDTH[i]を消去するか否かは、それに対応して個別に設定された消去カウンタWCNT[i]の値に応じて決定される。この点を概略的にいえば、レーン幅種WIDTH[i]の出現頻度(使用頻度)が高い場合には、それに関する消去カウンタWCNT[i]の値は小さいが、出現頻度が低下するとカウンタ値が増大する。そして、このカウンタ値が所定値に到達すると、それに対応するレーン幅種WIDTH[i]が消去される。図12は、決定レーン幅消去ルーチンのフローチャートであり、決定レーン幅消去部23は、本ルーチンを所定の間隔(例えば100ms)で繰り返し実行する。
【0079】
まず、ステップ80において、認識レーン幅Wがいずれかのレーン幅種WIDTH[i]に属するか否か(換言すれば、レーン幅種WIDTH[i]を基準とした所定レンジ内(例えば±30mm)か否か)が判断される。このステップ80で肯定判定された場合には、ステップ81に進み、対応するレーン幅種WIDTH[i]に関する消去カウンタWCNT[i]がリセットされる(WCNT[i]←0(高頻度を意味する))。これに対して、ステップ80で否定判定された場合には、ステップ81をスキップしてステップ82に進む。
【0080】
ステップ82では、レーン幅種WIDTH[i]とこれと隣接したレーン幅種WIDTH[i+1](またはWIDTH[i-1])との差が所定値(例えば30mm)未満であるか否かが判断される。このステップ83で肯定判定された場合、隣接したレーン幅種WIDTH[i+1](またはWIDTH[i-1])と重複しているとみなせる程近接している場合は、対応するレーン幅種WIDTH[i]に関する消去カウンタWCNT[i]の値が999(極低頻度)にセットされる(ステップ83)。これに対して、ステップ82で否定判定された場合には、ステップ83をスキップしてステップ84に進む。ステップ84では、すべての消去カウンタWCNT[i](i=0〜4)の現在値に1がインクリメントされる。
【0081】
ステップ85では、所定の判定値(例えば400)に到達した消去カウンタWCNT[i]が存在するか否かが判断される。400に到達している消去カウンタWCNT[i]が存在する場合、それに対応するレーン幅種WIDTH[i]が削除される(ステップ86)。そして、削除されたものより下側のレーン幅種WIDTH[i]の値を順次繰り上げるとともに、消去カウンタWCNT[i]も繰り上げる。空白になった最小レーン幅種WIDTH[0]には、所定の代表値INI(例えば50)がセットされる。一方、ステップ85で否定判定された場合には、ステップ86をスキップして本ルーチンを抜ける。
【0082】
[主レーン幅決定部]
主レーン幅決定部24は、計測初期(例えば、計測開始から30〜40秒後)において、5つのレーン幅種WIDTH[i]のうち、最も出現頻度が高いレーン幅種WIDTHmaxを主レーン幅WMSTRとする。それ以降は、主レーン幅WMSTRが5つのレーン幅種のいずれとも一致しなくなった場合に、再び同じ処理を開始し、新たな主レーン幅WMSTRを決定する。図13および図14は、主レーン幅決定ルーチンのフローチャートであり、主レーン幅決定部24は、本ルーチンを所定の間隔(例えば100ms)で繰り返し実行する。
【0083】
まず、ステップ91において、所定のカウントアップ条件を具備するか否かが判断される。本実施形態では、車線認識ができ、かつ車速が75km/h以上であることをカウントアップ条件としている。この条件を具備しない場合はタイマTMRをリセットして(ステップ111)、本ルーチンを抜ける。一方、カウントアップ条件を具備する場合はステップ92に進み、カウントアップ、すなわち、タイマTMRの現在値に1がインクリメントされる。
【0084】
ステップ92に続くステップ93では、タイマTMRが3に到達しているか否かが判断される。タイマTMRが3に到達するまでは、ステップ93の肯定判定が繰り返されるため、使用カウンタWMCNT[i]がすべて0にリセットされる(ステップ94)。この使用カウンタWMCNT[i]は、レーン幅種WIDTH[i]の数だけ用意されており(i=0〜4)、個々のレーン幅種WIDTH[i]の出現回数(換言すれば、認識レーン幅Wが属するレーン幅種WIDTH[i]の分類回数)をカウントするカウンタである。
【0085】
タイマTMRが3に到達すると、ステップ93の判定結果が肯定から否定に切り替わるためステップ95に進む。このステップ95では、タイマTMRが300に到達しているか否かが判断される。タイマTMRが300に到達するまでの期間は、加速車線等を走行しているケース等が想定されるため、走行状態が安定しないことが多い。そこで、この期間では、ステップ95の否定判定が繰り返されるため、それ以降の処理を行うことなく本ルーチンを抜ける。
【0086】
タイマTMRが300から400までの間は、ステップ96の肯定判定が繰り返され、レーン幅種WIDTH[i]に関する使用回数のカウントが継続的に行われる。具体的には、まず、ステップ97において、主レーン幅WMSTRを3330mmに仮設定する。つぎに、ステップ98において、最大レーン幅種WIDTH[4]が100mm以下であるか否かが判断される。正常な状態では最大レーン幅種WIDTH[4]が100mm以下ということはあり得ない。したがって、ステップ98で肯定判定された場合は正常な状態ではないと判断して、タイマTMRを300にセットし、すべての使用カウンタWMCNT[i]を0にリセットすることにより、レーン幅を取り直す(ステップ99)。
【0087】
これに対して、ステップ98で否定判定された場合は、それぞれのレーン幅種WIDTH[i]が使用された回数を、それに対応した使用カウンタWMCNT[i]でカウントする。ここでは、図12に示した決定レーン幅消去ルーチンで用いられている消去カウンタWCNT[i]を参照し、その値が1ならば、それに対応する使用カウンタWMCNT[i]のインクリメントを行う。上述したように、決定レーン幅消去ルーチンでは、あるレーン幅種WIDTH[i]が使用された場合、それに対応する消去カウンタWCNT[i]は1にセットされる(ステップ81,84)。使用カウンタWMCNT[i]によるカウントは、タイマTMRが400に到達するまで継続され、レーン幅種WIDTH[i]が使用される度に対応する使用カウンタWMCNT[i]が順次インクリメントされていく。
【0088】
タイマTMRが400に到達すると、ステップ96の判定結果が肯定から否定に切り替わるためステップ101に進み、さらに、主レーン幅WMSTRの決定を行うべく図14のステップ102に進む。ステップ102では、使用回数の最も多いレーン幅種WIDTH[i](以下、「最頻レーン幅種WIDTHmax」という)が所定値(例えば2750mm)よりも大きいか否かが判断される。この設定値は、主レーン幅WMSTRの下限値を規定している。ステップ102で肯定判定された場合には、最頻レーン幅種WIDTHmaxを主レーン幅WMSTRとして設定する(ステップ103)。これに対して、ステップ102で否定判定された場合、すなわち、最頻レーン幅種WIDTHmaxが下限値以下の場合には、この下限値を主レーン幅WMSTRとして仮設定する(ステップ104)。
【0089】
ステップ105では、最頻レーン幅種WIDTHmaxの出現回数が30回未満か否かが判断される。このステップ105で否定判定された場合には、信頼できる主レーン幅WMSTRを設定できるほどのサンプル数が得られていないと判断して、レーン幅の取り直を行う(ステップ106)。すなわち、タイマTMRを300にセットするとともに、すべての使用カウンタWMCNT[i]を0にリセットする。これに対して、ステップ105で肯定判定された場合は、十分なサンプル数が得られていると判断して、ステップ106をスキップして本ルーチンを抜ける。
【0090】
そして、タイマTMRが401に到達すると、ステップ101の判定結果が肯定から否定に切り替わるためステップ107以降の手順に進む。まず、タイマTMRが401にホールドされた後(ステップ107)、主レーン幅WMSTRに対して対応するレーン幅域が±α(例えば30mm)以内であるか否かが判断される(ステップ108)。ステップ108で肯定判定された場合は、レーン幅種WIDTH[i]のうち最も出現頻度が高いものを主レーン幅WMSTRに設定する(ステップ109)。これに対して、ステップ108で否定判定された場合は、タイマTMRを300,すべての使用カウンタWMCNT[i]を0に設定し、レーン幅の取り直しを行う(ステップ110)。
【0091】
本実施形態では、基本的に、走行路上の補助車線が一部区間に存在する点に着目して、レーン幅の分布をとることにより主たる車線とそれ以外の補助車線とを分けることができる。主たる車線の場合は、撮像画像より認識された車線位置をそのまま用い、それ以外の場合はそれぞれの補助車線種に適した補正を行うことで、主たる車線の位置を適切に算出することができる。
【0092】
また、主レーン幅WMSTRを利用することにより、片側の車線しか認識できない状況でも、認識不可側の車線位置を適切に推定することが可能となる。
【0093】
また、このように補正された車線位置を用いて車両の横変位を周波数解析することにより、補助車線の影響を受けることなく、ドライバの覚醒度を精度よく推定することが可能となる。
【0094】
【発明の効果】
このように、本発明によれば、両側の車線が認識された場合、認識レーン幅と、少なくとも一つのレーン幅種と、主レーン幅とに基づいて、主たる車線と補助車線との位置的関係を判断する。そして、その判断結果に応じて、認識された車線位置を補正する。これにより、主たる車線と補助車線とが併存する状況においても、主たる車線の位置を適切に算出することができる。また、本来存在するはずの片側車線が陰等の影響で認識できない状況下では、認識できた側の車線位置と、レーン幅の推定値である主レーン幅とを用いて、認識不可側の車線位置を推定することができる。このように補正・推定された車線位置から算出される車両の横変位量に基づいて、ドライバの覚醒度を推定すれば、推定精度の一層の向上を図ることができる。
【図面の簡単な説明】
【図1】車線変位補正システムのブロック構成図
【図2】車線パターンの分類の説明図
【図3】内側に補助車線が存在する場合の変位特性図
【図4】外側に補助車線が存在する場合の変位特性図
【図5】車線変位補正部のブロック構成図
【図6】車線パターン分類ルーチンのフローチャート
【図7】両側車線認識時における車線位置補正ルーチンのフローチャート
【図8】片側車線認識時における車線位置補正ルーチンのフローチャート
【図9】レーン幅認識部のブロック図
【図10】レーン幅域分類ルーチンのフローチャート
【図11】レーン幅域分類ルーチンのフローチャート
【図12】決定レーン幅消去ルーチンのフローチャート
【図13】主レーン幅決定ルーチンのフローチャート
【図14】主レーン幅決定ルーチンのフローチャート
【図15】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【図16】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【図17】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【図18】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【図19】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【図20】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【図21】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【図22】レーン幅種配列WIDTH[i]の代入・シフト処理の説明図
【符号の説明】
1 前方監視センサ、
2 車線認識部、
3 車線変位補正部、
4 履歴保持部、
5 レーン幅認識部、
6 車両中心変位算出部、
7 覚醒度判定部、
8 警報部、
11 車線補完部、
12 レーン幅算出部、
13 車線パターン分類部、
14 車線位置補正部、
15 車線補完部、
21 レーン幅帯域カウンタ、
22 レーン幅域分類部、
23 決定レーン幅消去部、
24 主レーン幅決定部
Claims (26)
- 車線変位補正システムにおいて、
路面上の車線位置を特定する車線認識部と、
前記車線認識部において認識された車線位置より算出される認識レーン幅に基づいて、少なくとも一つのレーン幅種を算出するとともに、レーン幅種の出現頻度に応じて主レーン幅を特定するレーン幅認識部と、
両側の車線が認識された場合、認識レーン幅と、少なくとも一つのレーン幅種と、主レーン幅とに基づいて、主たる車線と補助車線との位置的関係を判断し、当該判断結果に応じて、車線認識部によって認識された車線位置を主たる車線に補正する車線変位補正部と
を有することを特徴とする車線変位補正システム。 - 前記車線変位補正部は、主たる車線の内側に補助車線が存在すると判断した場合、補助車線が存在する側の車線位置を外側にオフセット補正することを特徴とする請求項1に記載された車線変位補正システム。
- 前記車線変位補正部は、主たる車線の内片側に補助車線が存在すると判断した場合には、主レーン幅と主レーン幅よりも一つ小さいレーン幅種との差に相当するオフセット量で、補正すべき片側の車線位置をオフセットさせることを特徴とする請求項2に記載された車線変位補正システム。
- 前記車線変位補正部は、主たる車線の内両側に補助車線が存在すると判断した場合には、主レーン幅と主レーン幅よりも二つ小さいレーン幅種との差の半分に相当するオフセット量で、両側の車線位置をそれぞれオフセットさせることを特徴とする請求項2に記載された車線変位補正システム。
- 前記車線変位補正部は、主たる車線の外側に補助車線が存在すると判断した場合、補助車線が存在する側の車線位置を無効データ化し、車線位置の過去の履歴を用いて、無効データ間を直線補完することを特徴とする請求項1に記載された車線変位補正システム。
- 前記車線変位補正部は、車線位置の過去の履歴を用いて、車線認識部において認識された車線位置を直線補完し、当該直線補完された車線位置に基づいて認識レーン幅を算出することを特徴とする請求項1から5のいずれかに記載された車線変位補正システム。
- 前記車線変位補正部は、片側の車線のみが認識された場合、認識できた側の車線位置と主レーン幅とに基づいて、認識できなかった側の車線位置を特定することを特徴とする請求項1から6のいずれかに記載された車線変位補正システム。
- 前記レーン幅認識部は、所定の時間内において、個々の認識レーン幅に関して、認識レーン幅が属する回数をカウントし、当該カウント数が最も多い認識レーン幅を主レーン幅として特定することを特徴とする請求項1に記載された車線変位補正システム。
- 前記レーン幅認識部は、認識レーン幅が属するレーン幅種の値を、従前のレーン幅種の値と認識レーン幅の値との平均を求めることにより、更新することを特徴とする請求項8に記載された車線変位補正システム。
- 前記レーン幅認識部は、認識レーン幅がいずれのレーン幅種にも属さない場合、新たなレーン幅種と判断して、認識レーン幅に基づいたレーン幅種を設定することを特徴とする請求項8に記載された車線変位補正システム。
- 前記レーン幅認識部は、特定のレーン幅種に関して、それと隣り合ったレーン幅種同士の差が所定値よりも小さい場合には、当該特定のレーン幅種を削除することを特徴とする請求項8に記載された車線変位補正システム。
- 前記レーン幅認識部は、特定のレーン幅種に関して、認識レーン幅が属さない状態が所定時間継続した場合、当該特定のレーン幅種を削除することを特徴とする請求項8に記載された車線変位補正システム。
- 前記車線変位補正部において補正された車線位置から算出される車両の横変位量に基づいて、ドライバの覚醒度を推定する覚醒度判定部をさらに有することを特徴とする請求項1から12のいずれかに記載された車線変位補正システム。
- 車線変位補正方法において、
路面上の車線位置を特定するステップと、
認識された車線位置より認識レーン幅を算出するステップと、
認識レーン幅に基づいて、少なくとも一つのレーン幅種を算出するステップと、
レーン幅種の出現頻度に応じて主レーン幅を特定するステップと、
両側の車線が認識された場合、認識レーン幅と、少なくとも一つのレーン幅種と主レーン幅とに基づいて、主たる車線と補助車線との位置的関係を判断するステップと、
当該判断結果に応じて、車線認識部によって認識された車線位置を主たる車線に補正するステップと
を有することを特徴とする車線変位補正方法。 - 上記補正するステップは、主たる車線の内側に補助車線が存在すると判断された場合、補助車線が存在する側の車線位置を外側にオフセット補正することを特徴とする請求項14に記載された車線変位補正方法。
- 上記補正するステップは、主たる車線の内片側に補助車線が存在すると判断した場合には、主レーン幅と主レーン幅よりも一つ小さいレーン幅種との差に相当するオフセット量で、補正すべき片側の車線位置をオフセットさせることを特徴とする請求項15に記載された車線変位補正方法。
- 上記補正するステップは、主たる車線の内両側に補助車線が存在すると判断した場合には、主レーン幅と主レーン幅よりも二つ小さいレーン幅種との差の半分に相当するオフセット量で、両側の車線位置をそれぞれオフセットさせることを特徴とする請求項15に記載された車線変位補正方法。
- 上記補正するステップは、主たる車線の外側に補助車線が存在すると判断した場合、補助車線が存在する側の車線位置を無効データ化するステップと、
車線位置の過去の履歴を用いて、無効データ間を直線補完するステップとを含むことを特徴とする請求項14に記載された車線変位補正方法。 - 上記認識レーン幅を算出するステップは、車線位置の過去の履歴を用いて、車線認識部において認識された車線位置を直線補完するステップと、
当該直線補完された車線位置に基づいて、認識レーン幅を算出するステップとを含むことを特徴とする請求項14から18のいずれかに記載された車線変位補正方法。 - 片側の車線のみが認識された場合、認識できた側の車線位置と主レーン幅とに基づいて、認識できなかった側の車線位置を特定するステップをさらに有することを特徴とする請求項14から19のいずれかに記載された車線変位補正方法。
- 上記主レーン幅を特定するステップは、所定の時間内において、個々の認識レーン幅に関して、認識レーン幅が属する回数をカウントし、当該カウント数が最も多い認識レーン幅を主レーン幅として特定することを特徴とする請求項14に記載された車線変位補正方法。
- 認識レーン幅が属するレーン幅種の値を、従前のレーン幅種の値と認識レーン幅の値との平均を求めることにより、更新するステップをさらに有することを特徴とする請求項14に記載された車線変位補正方法。
- 認識レーン幅がいずれのレーン幅種にも属さない場合、新たなレーン幅種と判断して、認識レーン幅に基づいたレーン幅種を設定するステップをさらに有することを特徴とする請求項14に記載された車線変位補正方法。
- 特定のレーン幅種に関して、それと隣り合ったレーン幅種同士の差が所定値よりも小さい場合には、当該特定のレーン幅種を削除するステップをさらに有することを特徴とする請求項14に記載された車線変位補正方法。
- 特定のレーン幅種に関して、認識レーン幅が属さない状態が所定時間継続した場合、当該特定のレーン幅種を削除するステップをさらに有することを特徴とする請求項14に記載された車線変位補正方法。
- 補正された車線位置から算出される車両の横変位量に基づいて、ドライバの覚醒度を推定するステップをさらに有することを特徴とする請求項14から25のいずれかに記載された車線変位補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000357228A JP4707823B2 (ja) | 2000-11-24 | 2000-11-24 | 車線変位補正システムおよび車線変位補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000357228A JP4707823B2 (ja) | 2000-11-24 | 2000-11-24 | 車線変位補正システムおよび車線変位補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002163642A JP2002163642A (ja) | 2002-06-07 |
JP4707823B2 true JP4707823B2 (ja) | 2011-06-22 |
Family
ID=18829328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000357228A Expired - Lifetime JP4707823B2 (ja) | 2000-11-24 | 2000-11-24 | 車線変位補正システムおよび車線変位補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4707823B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140068475A (ko) * | 2012-11-28 | 2014-06-09 | 현대모비스 주식회사 | 차선 인식 시스템 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4316962B2 (ja) | 2003-08-26 | 2009-08-19 | 富士重工業株式会社 | 運転者の覚醒度推定装置及び覚醒度推定方法 |
JP4366145B2 (ja) | 2003-08-26 | 2009-11-18 | 富士重工業株式会社 | 運転者の覚醒度推定装置及び覚醒度推定方法 |
DE10341366A1 (de) * | 2003-09-08 | 2005-04-07 | Scania Cv Ab | Erfassung unbeabsichtigter Fahrbahnabweichungen |
WO2005093657A1 (ja) | 2004-03-29 | 2005-10-06 | Pioneer Corporation | 道路景観解析装置及び方法 |
JP3885818B2 (ja) * | 2005-05-27 | 2007-02-28 | トヨタ自動車株式会社 | 車両逸脱判定装置 |
JP4733545B2 (ja) * | 2006-03-27 | 2011-07-27 | 富士重工業株式会社 | 車線認識装置 |
JP5146243B2 (ja) * | 2008-10-10 | 2013-02-20 | トヨタ自動車株式会社 | 車線逸脱抑制装置 |
JP5321497B2 (ja) | 2010-02-22 | 2013-10-23 | 株式会社デンソー | 白線認識装置 |
JP5402828B2 (ja) * | 2010-05-21 | 2014-01-29 | 株式会社デンソー | 車線境界検出装置、車線境界検出プログラム |
JP5677900B2 (ja) * | 2011-06-29 | 2015-02-25 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
KR102044192B1 (ko) * | 2012-12-14 | 2019-12-02 | 현대모비스 주식회사 | 차선폭 보정 장치 및 방법과 이를 이용한 차량 스마트 크루즈 컨트롤 시스템 |
DE102013217860A1 (de) * | 2013-09-06 | 2015-03-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bestimmen eines Fahrbahnverlaufs einer Fahrbahn eines Fahrzeugs |
JP6259238B2 (ja) * | 2013-09-27 | 2018-01-10 | 株式会社Subaru | 車両用白線認識装置 |
JP6259239B2 (ja) * | 2013-09-27 | 2018-01-10 | 株式会社Subaru | 車両用白線認識装置 |
JP6515704B2 (ja) * | 2015-06-25 | 2019-05-22 | 富士通株式会社 | 車線検出装置及び車線検出方法 |
JP6617886B2 (ja) | 2017-07-06 | 2019-12-11 | トヨタ自動車株式会社 | 車両走行支援装置 |
CN110737266B (zh) * | 2019-09-17 | 2022-11-18 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置、车辆和存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242769A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Electric Corp | 白線認識装置 |
-
2000
- 2000-11-24 JP JP2000357228A patent/JP4707823B2/ja not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242769A (ja) * | 1999-02-24 | 2000-09-08 | Mitsubishi Electric Corp | 白線認識装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140068475A (ko) * | 2012-11-28 | 2014-06-09 | 현대모비스 주식회사 | 차선 인식 시스템 |
KR101976392B1 (ko) | 2012-11-28 | 2019-05-09 | 현대모비스 주식회사 | 차선 인식 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP2002163642A (ja) | 2002-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4707823B2 (ja) | 車線変位補正システムおよび車線変位補正方法 | |
US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
JP6220327B2 (ja) | 走行区画線認識装置、走行区画線認識プログラム | |
EP2118818B1 (en) | Video-based road departure warning | |
JP3352655B2 (ja) | 車線認識装置 | |
JP5127182B2 (ja) | 物体検出装置 | |
JP6722084B2 (ja) | 物体検出装置 | |
US8385601B2 (en) | In-vehicle white line recognition apparatus | |
US8730325B2 (en) | Traveling lane detector | |
CN113591618B (zh) | 前方道路形状估算方法、系统、车辆及存储介质 | |
JP2012088217A (ja) | 運転支援制御装置 | |
JP4939137B2 (ja) | 車線認識装置 | |
JP6426512B2 (ja) | 走行区画線認識装置 | |
JP2016081362A (ja) | 走行区画線認識装置 | |
CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
JP3626905B2 (ja) | 車外監視装置 | |
JP3912869B2 (ja) | 交通流計測装置 | |
KR101417409B1 (ko) | 주차장통로 사고예방 시스템 및 방법 | |
JP5559650B2 (ja) | 車線推定装置 | |
JP5746996B2 (ja) | 道路環境認識装置 | |
EP4011733A1 (en) | Method and device for driver assistance for determining habits of driver | |
JP4956400B2 (ja) | 車両存否判定装置、車両存否判定方法及びプログラム | |
JP3226415B2 (ja) | 自動車用移動体認識装置 | |
JP3458560B2 (ja) | 車両用白線認識装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101022 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101022 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4707823 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |