JP4015036B2 - 障害物検出装置および障害物検出方法 - Google Patents
障害物検出装置および障害物検出方法 Download PDFInfo
- Publication number
- JP4015036B2 JP4015036B2 JP2003033126A JP2003033126A JP4015036B2 JP 4015036 B2 JP4015036 B2 JP 4015036B2 JP 2003033126 A JP2003033126 A JP 2003033126A JP 2003033126 A JP2003033126 A JP 2003033126A JP 4015036 B2 JP4015036 B2 JP 4015036B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- evaluation value
- obstacle candidate
- candidate
- region set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車などの移動体に取り付けられたＴＶカメラによって撮影される画像内で検出された、複数の運動軌跡から、自車両の走行の障害となる物体を判別する障害物検出装置および障害物検出方法に関する。
【０００２】
【従来の技術】
自動車などの車両周辺の障害物を検出する手段として、単一のＴＶカメラを用いる方式が提案されている。単一のＴＶカメラは車両への設置が容易であり、台数も一台で済み、構成装置が安価なものとなる。
【０００３】
単一のＴＶカメラを用いる方式として、水平な直線成分であるエッジ線を前方の車両の接地線として検出する方式(特開平７−２８０５１７、特開平７−２８９７５)がある。この手法では、検出されたエッジ線が路面上のペイントや、アスファルトの継ぎ目、隣接する車両等の陰影などの可能性もあるため、誤検出を起こす場合がある。
【０００４】
これに対して、岡田らは「仮想平面追跡法を用いた単眼車載カメラによる障害物検出」、電子情報通信学会技術研究報告書，Vol. １０１,No. ３０２,ｐｐ． ２９--３６,２００１において、仮想的にシーン内に配置した路面と障害物に相当する複数の面を画像内で追跡し、追跡結果と現在の画像が最も良く一致する仮想平面を選択することにより障害物か路面かを区別している。この手法は、路面と障害物の運動視差を利用した手法であり実際の道路シーンに適用しやすく、また、局所的な情報に基づく点の対応付けではなく、平面を追跡しているため安定性が向上する。しかし、画像内で検出された多数の平面の追跡を行う必要があるため、計算量が多く、迅速な処理に適さない点が問題となる。
【０００５】
また１台のＴＶカメラを用い路面と障害物の運動視差に着目して、障害物を高速かつ安定に検出する手法も提案されている（非特許文献２参照）。この手法では、まず画像中の水平線を障害物の候補領域として検出し、候補領域をフレーム間で安定かつ高速に追跡する。次に、３つ以上の候補領域を一組とする候補領域の組の追跡結果を用いて、それら候補領域があらかじめ設定した複数の平面のどれに属するか判定し、その判定結果から障害物を検出しその位置を推定している。
【０００６】
しかしこの手法は、候補領域組の路面と障害物の運動視差の違いを時系列で累積することにより、安定して路面と障害物を区別するものであるので、候補領域組の数が少なかったり、一つの候補領域数の生存時間が短かったりすると、運動視差に大きな違い現れるまでに時間がかかり、障害物の判定が遅れるという問題がある。このような状況として、障害物が遠方にある場合や、障害物が高速に接近する場合などが挙げられる。障害物が遠方にある時、画像中の水平線の本数は少なく、３つ以上の候補領域から候補領域組生成すると、候補領域組数はさらに少なくなるか、候補領域組が検出できないという場合がある。
【０００７】
また、障害物が高速に接近するような状況では、候補領域組の生存時間が短くなってしまう。つまり、この手法がもっとも有効であるのは、近距離で低速な障害物が接近するような渋滞時であり、障害物が遠方から高速に接近するような状況においては、障害物の判定をしたときにはすでに障害物が自車両から近距離にあり危険であるという問題がある。
【０００８】
【特許文献１】
特開平７−２８０５１７号公報
【０００９】
【特許文献２】
特開平７−２８９７５号公報
【００１０】
【非特許文献１】
岡田、谷口、小野口、``仮想平面追跡法を用いた単眼車載カメラによる障害物検出'',電子情報通信学会技術研究報告書，Vol. １０１,No. ３０２,ｐｐ．２９--３６,２００１
【００１１】
【非特許文献２】
岡田、小野口 ”低速車間制御のための単眼画像処理システム”、電子情報通信学会技術研究報告書、Ｖｏｌ．１０２、Ｎｏ．５３１、ｐｐ．６９−７４、２００２
【００１２】
【発明が解決しようとする課題】
以上説明した通り、従来の方法による一台のＴＶカメラを用い路面と障害物の運動視差に注目して、障害物を高速かつ安定に検出する手法で、遠方から高速に接近する車両を早期に検出するためには、障害物候補領域の組が遠方でも生成され、かつ候補領域組の生存時間が短い場合でも、路面と障害物の運動視差に顕著な違いが現れるような枠組みが必要となる。
【００１３】
本発明は、一台のＴＶカメラを用い路面と障害物の運動視差に注目して障害物を検出する手法を改良し、遠方から高速に接近する障害物の早期判別を可能とする、障害物判別装置およびその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、少なくとも２つの障害物候補領域を含んだ領域の運動軌跡の組を選択する手段と、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、選択された運動軌跡の前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、当該運動軌跡の各領域組のについて計算された前記第１評価値を累積した累積評価値を計算する手段と、その前記累積された評価値に基づいて運動軌跡障害物候補領域毎の第２評価値を計算する手段と、計算された前記第２評価値にしたがって当該各障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１５】
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、少なくとも２つの障害物候補領域を含んだ領域組を選択する手段と、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、各領域組の前記第１評価値を累積した累積評価値を計算する手段と、前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算する手段と、画像内の位置および検出された運動軌跡が類似する障害物候補領域を含むグループを生成する手段と、各グループに含まれる障害物候補領域の第２評価値に従って、当該グループに含まれる障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１６】
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、画像内の位置および検出された運動軌跡が類似する障害物候補領域を含むグループを生成する手段と、各グループに含まれる少なくとも２つの障害物候補領域を有する領域組を選択する手段と、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、各領域組の前記第１評価値を累積した累積評価値を計算する手段と、前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算する手段と、各グループに含まれる障害物候補領域の第２評価値に従って、当該グループに含まれる障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１７】
また本発明においては、前記評価値計算手段は、前記各領域組が所定の条件を満たす場合にのみ前記第１評価値を計算するものとし、前記評価値累積手段は、当該領域組が所定の条件を満たさず、前記評価値計算手段で前記第１評価値が計算されない期間の長さに応じて当該領域組の前記累積評価値を変更することを特徴とする。
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出するステップと、少なくとも２つの障害物候補領域を含んだ領域組を選択するステップと、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算するステップと、各領域組の前記第１評価値を累積した累積評価値を計算するステップと、前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算するステップと、前記第２評価値にしたがって各障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定するステップとを具備する障害物検出方法を提供する。
【００１８】
【発明の実施の形態】
以下、図面を用いて本発明の一実施形態を説明する。
【００１９】
図１は本実施形態の基本的な構成例を示している。以下では、車両進行方向の後方、側方の障害物を検出するための後側方監視装置及び方法を例として述べる。
【００２０】
運動軌跡検出部１１１では、ＴＶカメラ１１０から車両の後方、側方等を撮像した時系列画像を取得し、この画像内に障害物候補領域を設定しフレーム間で追跡しその障害物候補領域の運動軌跡を求める。運動軌跡入力部１０１では、運動軌跡検出部１１１から障害物候補領域の運動軌跡を得る。グループ生成部１０２では、画像内の位置と運動軌跡の方向ベクトルとに類似性が見られる障害物候補領域のグルーピングを行う。選択部１０３では、あらかじめ設定した複数の平面のうち、少なくとも一つの平面に適合する動きを持つと推測される、２つ以上の障害物候補領域を一組とする、障害物候補領域組を選択する。
【００２１】
平面評価値計算部１０４では、障害物候補領域組が、複数の平面の内でどの平面に属するかの指標となる評価値を計算する。時系列評価値累積部１０５では、障害物候補領域組が存在する間は評価値を時系列で累積し、障害物候補領域組が存在しない間はその時間に応じて、評価値を減衰させる。周辺評価値累積部１０６では、障害物候補領域が属する、すべての障害物候補領域組の評価値を累積し、その障害物候補領域の評価値とする。判定部１０７では、障害物候補領域ごとに累積された平面評価値が所定の条件を満たすとき、その障害物候補領域が障害物であると判断する。有効障害物判定部１０８では、グループ内の障害物と判定された障害物候補領域の個数が所定の条件を満たすとき、グループ内の障害物候補領域を有効障害物と判定する。
【００２２】
図２に車両等の移動体とＴＶカメラの配置例を示す。ＴＶカメラ２０１は、道路面２０４が画像上では下になり、撮像方向は車両進行方向に対して逆向き（後方）で、光軸２０３が道路面２０４と平行かつ、進行方向に平行に取り付けられているものとする。これ以外の設置方法についても同様の方法が適用できる。
【００２３】
図３には、車両等の移動体がＴＶカメラを搭載して障害物検出を行なう場合の画像撮像態様例を示す。ＴＶカメラを搭載した車両３０２は、図面右方向に進行しており、車両の後方（図面左方向）を撮像する方向にＴＶカメラが設置されている。図面上、斜線で示された領域はＴＶカメラの画像撮像領域３０１を示す。撮像領域３０１には、隣の車線（センターライン側）を走行する車両３０３や車両３０４が撮像される。本発明では、このような状況で撮影された画像から、自車両３０２の走行にとって危険または障害となりうる他車両３０３、３０４等の存在を検出する。
【００２４】
以下、図１の構成要件について、個別に詳述する。運動軌跡検出部１１１では、ＴＶカメラ１１０等の画像撮像手段から得られた時系列画像を構成するフレーム内の直線成分、特に水平線成分の周辺の領域を障害物候補領域として抽出し、フレーム間でこの候補領域の動きを追跡する。例えば、一般の車両には道路と車両の接地線やバンパー、フロント、ナンバープレート、ウインドウ、天井などの水平線を含む構成部分が多い。現在仮定しているカメラ配置では、自車両に後続する他車両を前方から撮像することとなるので、他車両に属するこれらの水平線は撮像された画像内でも水平線となる。また他車両に属する水平線のうち、最も路面に近い部分（撮像された画面における最も下方部分）が車両の接地線と一致すると考えると、その路面に最も近い水平線の上部に他車両が存在するので、これら水平線の画面内の上部領域を障害物候補領域として追跡する。この水平線の画像上での座標をフレーム毎に運動軌跡として出力する。以下では水平線を検出する場合について説明するが、同様の方法を適用して垂直線その他の方向の直線成分を検出することも可能である。
【００２５】
具体的には、道路面の遠方を画面内の消失点と考えて、消失点（直線状の道路の無限遠方点）よりも画面内下方の領域を検出領域とする。画面内の「水平線」は画像内の垂直方向のエッジ（画面内上下方向に画素輝度変化が大きい部分）として捉えることができるので、このような垂直方向のエッジを検出する。例えば特定の水平線候補により分離された画面内上下近傍の２領域の平均的な輝度値などの特徴量を比較することにより、水平線を特定することができる。そしてその水平線を含む矩形の画面内上部領域を障害物候補領域として抽出する。抽出された障害物候補領域については、次フレーム画像における同位置及びその周辺領域を探索して類似の画像領域を探して、障害物候補領域の移動先を求める。
【００２６】
図４には、特定の画面内で複数の障害物候補領域が検出された様子を示す。図４は車両後側方を撮像したフレーム画像であり、自車両の後側方を走行する車両４０５や、道路面に描かれた路面表示４０４、白線４０３などが撮像されている。この画像について、上述したような手法により、水平線を検出する。図４において、水平線を含む画面内領域である矩形が障害物候補領域４０２を表し、その矩形領域の底辺の太い線が検出した水平線４０１を表す。なお運動軌跡検出部は、画像中から水平線、障害物候補領域、移動体を検出、追跡できるものであるならば、この方法に限定されるものではない。
【００２７】
次にグループ生成部１０２では、運動軌跡検出部１１１で検出され、運動軌跡入力部１０１に入力された複数の障害物候補領域の運動軌跡（追跡結果）から、画面内の位置と障害物候補領域の移動方向（方向ベクトル）が類似している複数の障害物候補領域を同一のグループとする。
【００２８】
以下では、選択部１０３と、平面評価値計算部１０４と、時系列評価値累積部１０５と、周辺評価値累積部１０６、判定部１０７と、有効障害物判定部１０８、障害物位置推定部１１２について詳しく述べる。
【００２９】
選択部１０３では、複数の障害物候補領域が垂直、水平のいずれかの平面に属するかの判定を行うために、まず、現在追跡中の障害物候補領域から水平方向（画面内横方向）の位置が近い２つの障害物候補領域を「障害物候補領域組」として選択する。この方法により画面内の水平線を含む少なくとも２つの障害物候補領域を検出すれば、障害物候補領域組を構成することができるので、従来方法よりも自車両遠方での障害物候補領域組の生成が可能となる。ここでは、障害物候補領域組が、路面と、路面と車両の進行方向に垂直な平面(以下垂直平面と呼ぶ)の２つの平面のどちらに属するかを判定する場合について述べる。
【００３０】
図５（ａ）は、障害物候補領域組が、垂直平面(例えば車両後部や前部の複数領域)に属する場合の説明図であり、図５（ｂ）は、障害物候補領域組が路面(例えば隣接車両の陰)に属する場合の説明図である。
【００３１】
図５（ａ）で時刻ｔにおける垂直面５０２ａが図面左方向に進行し、時刻ｔ+ΔｔにＹ１’の位置に到達したとする（５０３ａ）。注目している障害物候補領域の組が共にそれらの垂直面（５０２ａ、５０３ａ）内に属し、注目している障害物候補領域の組に含まれる候補障害物領域のそれぞれは垂直面（５０２ａ、５０３ａ）の上端と下端とのそれぞれに対応するものと仮定する。時刻ｔの垂直面５０２ａの下側の障害物候補領域の縦方向の位置ｙ１と上側の障害物候補領域の縦方向の位置ｙ２が、時刻ｔ+Δｔの垂直面５０３ａの下側の障害物候補領域の縦方向の位置ｙ１’と上側の障害物候補領域の縦方向の位置ｙ２’に変化したとする。図５（ａ）のように、カメラ位置５０１からこれらのｙ１、ｙ２、ｙ１’、ｙ２’の道路面への投影位置までの水平方向の距離をそれぞれ、Ｙ１、Ｙ２、Ｙ１’、Ｙ２’とすると、すべての障害物候補領域がある一つの垂直平面内にあるため、障害物候補領域組の高さは変わらないことから、以下の関係が成り立つ。
【００３２】
Ｙ２’／ Ｙ１’ ＝ Ｙ２／ Ｙ１ （式１）
したがって、画像中に含まれる複数の障害物候補領域の組（障害物候補領域組）を道路面に投影させたとき、式１の関係を満たす場合には、それらの複数の障害物候補領域の組が垂直面に含まれると判定することができる。
【００３３】
一方、図５（ｂ）のように、注目している障害物候補領域の組（５０２ｂ、５０３ｂ）が共に水平平面（道路面内）に属する場合を仮定する。このときカメラ位置５０１からこれらの障害物候補領域組の位置までの水平方向の距離をそれぞれＹ１、Ｙ２、Ｙ１’、Ｙ２’とすると、これらの位置がすべて路面に属するため、道路面内の障害物候補領域組間の距離は変わらないことから、以下の関係が成り立つ。
【００３４】
Ｙ２’− Ｙ１’ ＝ Ｙ２− Ｙ１ （式２）
したがって画像中に含まれる複数の障害物候補領域の組が式２の関係を満たす場合には、それらの複数の障害物候補領域の組が水平面（道路面内）に含まれると判定することができる。
【００３５】
選択部１０３では、さらに、障害物候補領域組の動きが、上記のどちらの平面の動きにも適合しないことを検証する。以下のいずれか１つ以上を用いて判断基準として検討する。
１. 障害物候補領域組の縦方向の動きの大きさが消失点に近づくに従って単調に減少していない。
２. 障害物候補領域組の縦方向の動きが同じ（類似の）方向ではない。
３. 障害物候補領域組の上下の位置関係が追跡の前後で変化(逆転)している。
４. 障害物候補領域組の水平方向の速度が大きく異なる。
５. 障害物候補領域組の垂直方向の距離が離れすぎている。
これらいずれかの判断基準を満たす場合、この障害物候補領域組については無効と判断し、今後の処理を行わない。
【００３６】
これらの判断基準のうち、特定の判断基準を優先的に用いることもできる。例えば障害物候補領域組の画面内の上下の位置関係が時刻の変化と共に逆転する場合（上記判断基準３．の場合）には、複数の障害物候補領域はそれぞれ独立に運動している（あるいは運動していない（静止状態））と明らかに認められるから、上記３．の判断基準を優先的に用いることにより「以降の処理を行なわない」とする判断を簡易、迅速に処理することも可能である。
【００３７】
また「障害物候補領域組の画面内縦方向の動きが同じ方向ではない（上記判断基準２．の場合）」という判断基準と、「障害物候補領域組の水平方向の速度が大きく異なる（上記判断基準４．の場合）」という判断基準は、共に障害物候補領域の運動（方向ベクトル）の類似性を判定するものであるから、同種の処理ステップ内でまとめて判定することもできる。
【００３８】
平面評価値計算部１０４では、障害物候補領域組の動きが水平面（路面）と垂直面のどちらに適合するかの評価値の計算を行う。具体的には、障害物候補領域の動きの垂直面に関する拘束（式１）に対する適合度と、路面に関する拘束（式２）に対する適合度を計算する。垂直面への適合度Ｓｖは以下のように計算する。
【００３９】
Ｓｖ ＝｜ Ｙ２’−（Ｙ２／Ｙ１）×Ｙ１’ ｜ （式３）
もし、障害物候補領域組が垂直面に近い面に属するならば、Ｓｖの値は零に近い値を示す。障害物候補領域組が完全に垂直面に属するならば、（式１）よりＳｖの値は零になる。逆に障害物候補領域組が垂直面に属さなければＳｖは零よりも大きな値になる。一方、水平面（路面）への適合度Ｓｈは以下のように計算する。
【００４０】
Ｓｈ ＝｜Ｙ２’−｛（Ｙ２−Ｙ１）+ Ｙ１’ ｝｜ （式４）
もし、障害物候補領域組が水平面に近い面に属するならば、Ｓｈの値は零に近い値を示す。障害物候補領域組が完全に水平面（路面）に属するならば、（式２）よりＳｈの値は零になる。逆に障害物候補領域組が水平面に属さなければ、Ｓｈは零よりも大きな値になる。
【００４１】
垂直面への適合度Ｓｖ、水平面への適合度Ｓｈは、それぞれ絶対値が小さいほど各平面に関する拘束に適合していると判定されるので、下式のように、これらの値の差分として、路面と、垂直面のどちらに属するかの指標となる評価値Ｓを定義する。
【００４２】
Ｓ ＝ Ｓｈ − Ｓｖ （式５）
評価値Ｓは、正の方向に大きくなるほど、垂直面に近い性質を表し、負の方向に大きくなるほど路面に近い性質を表す。
【００４３】
時系列評価値累積部１０５では、障害物候補領域組が存在する期間の評価値を時系列で累積する。Ｓ、Ｓｈ、Ｓｖ等の評価値は、取得される画像の精度、自車両の動き、路面の状態等により誤差を生ずるものであるから、Ｓの値が所定の正のしきい値よりも大きい場合にのみ垂直面に属すると判断し、Ｓの値が所定の負のしきい値よりも小さい場合にのみ路面に属すると判断し、Ｓの絶対値が所定の正のしきい値よりも小さい場合には、いずれの面に含まれるか判断しないという基準を用いることにより、評価値Ｓを安定に評価することが可能となる。
【００４４】
すなわち、ある障害物候補領域組の評価値Ｓの値が正であるならば垂直面、Ｓの値が負であるならば路面である可能性が高いが、道路面への投影位置（または道路面上の位置）であるＹ１、Ｙ２、Ｙ１’、Ｙ２’には誤差が含まれているため、Ｓの絶対値が小さい時は、障害物候補領域組が垂直面に属するか、路面に属するかの判断は難しくなる。
【００４５】
そのため障害物候補領域組が複数のフレーム画像において複数回観測されたとき、それぞれのフレーム画像で求められた評価値Ｓを累積する（足し合わせる）手法を採用する。これにより、観測回数が多い障害物候補領域組ほど、評価値の大きさが累積するため、常に垂直面（または水平面）の評価と判定され続けることにより、垂直面と路面の違いが顕著に観測されることとなる。
【００４６】
また時系列評価値累積部１０５では、障害物候補領域組が存在しない間はその時間の長さに応じて、評価値を減衰（減点）させる処理を行なう。例えば、同一の垂直面内または路面内に属さない障害物候補領域組が選択されて正しくない評価値が計算される場合がある。この場合には、誤った評価値Ｓが累積されるため、属する平面が路面か垂直面かを評価値Ｓの累積値からは正しく判断できない。この場合には、ある障害物候補領域組が選ばれて評価値Ｓが計算された後に、一定期間継続してその障害物候補領域組が選択されないときには、その空白時間に応じて評価値Ｓの値を減衰させる処理を行なう。誤った障害物候補領域組が選択される頻度は少ないので、評価値Ｓに誤りが蓄積されるのを防ぐことが可能となる。
【００４７】
周辺評価値累積部１０６では、障害物候補領域組の評価値Ｓから、さらに障害物候補領域ごとの評価値の計算を行う。障害物候補領域の評価値Ｓｔは、その障害物候補領域が属するすべての障害物候補領域組の評価値Ｓを加算することによって計算される。障害物候補領域組の連続観測回数が少なく、個々の障害物候補領域組の評価値が小さく信頼性が低い場合においても、その障害物候補領域が関係するすべての障害物候補領域組の評価値を累積することによって、ＳＮ比が向上し評価値の信頼性が上がる。この評価値を用いれば、障害物候補領域生成の比較的早い段階で、当該障害物候補領域が属する平面が、路面であるか垂直面であるかの判断が可能である。
【００４８】
判定部１０７では、障害物候補領域ごとに路面か、垂直面かの判定を行う。障害物候補領域の評価値Ｓｔの絶対値があるしきい値以上でかつ正の値を持つとき、その障害物候補領域を垂直面、すなわち障害物の候補と判断する。一方、障害物候補領域の評価値Ｓｔの絶対値があるしきい値以上でかつ負の値を持つとき、その障害物候補領域を路面、すなわち路面上の表示である、障害物ではないと判定する。これにより、特に自車両に対して高速に接近する障害物（後続車両）の早期検出が可能となる。
【００４９】
有効障害物判定部１０８では、グループ生成部２で生成されたグループそれぞれについて、グループ内に含まれる障害物候補領域のうち、障害物と判定されたものの数と路面と判定されたものの数とを比較して多数決を行い、グループ内で障害物と判定された障害物候補領域が有効か無効かの判断を行う。
【００５０】
グループ内の障害物候補領域の数をＮｔ、そのうち路面と判断された障害物候補領域の数をＮｒ、障害物と判断された障害物候補領域の数をＮｏとし、Ｎｔがある閾値以上でかつ、ＮｏがＮｒより大きいときそのグループ内で障害物と判定された障害物候補領域を有効障害物とする。これにより追跡の失敗等により誤って障害物と判断された少数の障害物候補領域を削除し、安定して障害物を検出することが可能となる。
【００５１】
このようにして有効障害物判定を行なう場合の画像処理の適用例を図６に基づいて説明する。図６において、画面内の矩形領域が運動軌跡検出部１１１で検出された運動軌跡を持つ障害物候補領域を表し、矩形内に×印が入っている領域６０１が判定部１０７において障害物と判定された障害物候補領域、入っていない領域６０２が判定部１０７において路面と判定された障害物候補領域である。グループ生成部１０２でグループ判定されたグループ１（６０３）内には、本来障害物と判定されるべきであるが、検出誤差等の影響により誤って路面と判断された障害物候補領域６０５が存在する。またグループ生成部１０２でグループ判定されたグループ２（６０４）内には、本来路面と判定されるべきであるが、誤って障害物と判断された障害物候補領域６０６が混在している。このような場合であっても、グループ１内には障害物と判定された障害物候補領域が多く含まれており、グループ１内で障害物と判定された障害物候補領域は多数決によってすべて有効障害物と判定される。またグループ２内には路面と判定された障害物候補領域が多く含まれており、グループ２内で誤って障害物と判定された障害物候補領域は多数決によって全体として有効障害物と判定されない。これにより、障害物の誤検出を防ぐことができる。
【００５２】
障害物位置推定部１１２では、注目するフレーム画像に含まれる障害物領域のうち、最も画面下方向に位置する有効障害物領域を障害物の接地線と決定する。さらに、ＴＶカメラの路面に対する取り付け位置や角度、ＴＶカメラの内部パラメータが既知であれば、画像内の障害物位置を用いて自車両から障害物までの距離を計算することができる。また現在注目するフレーム画像でフレーム外に接地線がはみ出してしまった等の場合には、画面内で接地線を検出することができない。この場合は過去のフレームにおいて検出済みの接地線について、障害物の過去における運動の連続性を用いて、現在の接地線の位置を推定することにより、さらに安定して接地線を推定することが可能である。なお本発明の一実施形態に限定されるものではない。
【００５３】
（変更例１）
平面評価値計算部４において、道路面に投影した座標を用いて適合度の計算を行っているが、どの平面に投影した座標を用いてもよい。たとえば路面に垂直な平面に投影した座標を用いて適合度を計算してもよい。
【００５４】
（変更例２）
有効障害物判定部１０８において、グループ内で障害物と判定された障害物候補領域が有効か無効かの判断を多数決によって行っているが、さらにグループ内の各障害物候補領域の評価値Sｔを足し合わせることによって、グループごとの評価値を計算し、この評価値が閾値を超えたとき、グループ内で障害物と判定された障害物候補領域を有効障害物と判定してもよい。
【００５５】
（変更例３）
本発明と、非特許文献２に記載の手法の実現する装置を併せて具備し、本発明の手法と統合して障害物の検出を行ってもよい。たとえば、遠距離（画像上の消失点付近）では２つの障害物候補領域から障害物候補領域組を検出し、近距離（画像上の下の方）では、３つ以上の障害物候補領域から障害物候補領域組を検出し、距離に応じてその結果を使い分けることによって、遠方ではより早期に障害物を検出し、近距離ではより安定して障害物を検出することが可能である。
【００５６】
（変更例４）
有効障害物判定部１０８は、あるグループに含まれる障害物候補領域の判定数の多数決により、グループ内で障害物と判定された障害物候補領域が有効か否かを判定し、グループ内の障害物候補領域を全て有効な（または無効な）障害物運動軌跡と判定し、障害物位置推定部１１２は、障害物の接地線を推定するとしたが、以下のように変更を加えても良い。
【００５７】
例えば、有効障害物判定部１０８では、あるグループに含まれる障害物候補領域の判定数の多数決により、グループ内で障害物と判定された障害物候補領域が有効か否かを判定する。判定の結果、障害物と認定された場合には、グループ全体として有効障害物と判定することなく、障害物位置推定部１１２では、グループ内で障害物と判定された障害物候補領域のうち、画面中最も下方向に位置するものを障害物の接地線と決定することとする。
【００５８】
このように構成を変更することにより、あるグループに含まれる障害物候補領域のうち、障害物と判定された領域の結果を利用して、より安定的に障害物の接地線を決定することができる。
【００５９】
（変更例５）
以上の実施例においては、グループ生成部１０２の処理と判定部１０７の処理を独立、並列的に行なっていた。しかし判定の処理に先立ちグループ生成を行なうことも可能である。具体的には図７に示すような構成となる。図７においては、運動軌跡検出部１１１で検出された障害物候補領域の運動軌跡が入力部１０１を介して入力される。ここで始めに各障害物候補領域の画面内の位置と運動ベクトルとから類似する障害物候補領域を示す複数の障害物候補領域のグループを形成する。そして形成されたグループに含まれる障害物候補領域について障害物運動軌跡判定の処理を行なう。
【００６０】
特にグループ生成部１０２と選択部１０３とで、共通する処理（障害物候補領域の画面内の位置が近接しているか否かを評価する、障害物候補領域の運動ベクトルの類似性を評価するなど）が存在するので、グループ生成部１０２での処理結果を選択部１０３で援用することも可能である。重複する処理を回避することで、高速化を図ることができる。
【００６１】
【発明の効果】
本発明によれば、一台のＴＶカメラを用い路面と障害物の運動視差に注目して障害物を検出する手法において、遠方から高速に接近する障害物であっても、早期に安定して検出することが可能である。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 一実施形態の車両とカメラ配置の関係を車両の横から示した図である。
【図３】 一実施形態の車両とカメラ配置の関係を車両の上から示した図である。
【図４】 障害物運動軌跡追跡部によって検出された運動軌跡の説明図である。
【図５】 平面評価値の計算に用いる垂直面及び路面の拘束式の説明図である。
【図６】 有効障害物判定部の説明図である。
【図７】 本発明の別の実施携帯の構成を示すブロック図である。
【符号の説明】
１０１ 運動軌跡入力部
１０２ 類似運動軌跡グループ生成部
１０３ 運動軌跡組選択部
１０４ 平面評価値計算部
１０５ 時系列評価値累積部
１０６ 周辺評価値累積部
１０７ 障害物運動軌跡判定部
１０８ 有効障害物判定部
１１０ ＴＶカメラ
１１１ 運動軌跡検出部
１１２ 障害物位置推定部
【発明の属する技術分野】
本発明は、自動車などの移動体に取り付けられたＴＶカメラによって撮影される画像内で検出された、複数の運動軌跡から、自車両の走行の障害となる物体を判別する障害物検出装置および障害物検出方法に関する。
【０００２】
【従来の技術】
自動車などの車両周辺の障害物を検出する手段として、単一のＴＶカメラを用いる方式が提案されている。単一のＴＶカメラは車両への設置が容易であり、台数も一台で済み、構成装置が安価なものとなる。
【０００３】
単一のＴＶカメラを用いる方式として、水平な直線成分であるエッジ線を前方の車両の接地線として検出する方式(特開平７−２８０５１７、特開平７−２８９７５)がある。この手法では、検出されたエッジ線が路面上のペイントや、アスファルトの継ぎ目、隣接する車両等の陰影などの可能性もあるため、誤検出を起こす場合がある。
【０００４】
これに対して、岡田らは「仮想平面追跡法を用いた単眼車載カメラによる障害物検出」、電子情報通信学会技術研究報告書，Vol. １０１,No. ３０２,ｐｐ． ２９--３６,２００１において、仮想的にシーン内に配置した路面と障害物に相当する複数の面を画像内で追跡し、追跡結果と現在の画像が最も良く一致する仮想平面を選択することにより障害物か路面かを区別している。この手法は、路面と障害物の運動視差を利用した手法であり実際の道路シーンに適用しやすく、また、局所的な情報に基づく点の対応付けではなく、平面を追跡しているため安定性が向上する。しかし、画像内で検出された多数の平面の追跡を行う必要があるため、計算量が多く、迅速な処理に適さない点が問題となる。
【０００５】
また１台のＴＶカメラを用い路面と障害物の運動視差に着目して、障害物を高速かつ安定に検出する手法も提案されている（非特許文献２参照）。この手法では、まず画像中の水平線を障害物の候補領域として検出し、候補領域をフレーム間で安定かつ高速に追跡する。次に、３つ以上の候補領域を一組とする候補領域の組の追跡結果を用いて、それら候補領域があらかじめ設定した複数の平面のどれに属するか判定し、その判定結果から障害物を検出しその位置を推定している。
【０００６】
しかしこの手法は、候補領域組の路面と障害物の運動視差の違いを時系列で累積することにより、安定して路面と障害物を区別するものであるので、候補領域組の数が少なかったり、一つの候補領域数の生存時間が短かったりすると、運動視差に大きな違い現れるまでに時間がかかり、障害物の判定が遅れるという問題がある。このような状況として、障害物が遠方にある場合や、障害物が高速に接近する場合などが挙げられる。障害物が遠方にある時、画像中の水平線の本数は少なく、３つ以上の候補領域から候補領域組生成すると、候補領域組数はさらに少なくなるか、候補領域組が検出できないという場合がある。
【０００７】
また、障害物が高速に接近するような状況では、候補領域組の生存時間が短くなってしまう。つまり、この手法がもっとも有効であるのは、近距離で低速な障害物が接近するような渋滞時であり、障害物が遠方から高速に接近するような状況においては、障害物の判定をしたときにはすでに障害物が自車両から近距離にあり危険であるという問題がある。
【０００８】
【特許文献１】
特開平７−２８０５１７号公報
【０００９】
【特許文献２】
特開平７−２８９７５号公報
【００１０】
【非特許文献１】
岡田、谷口、小野口、``仮想平面追跡法を用いた単眼車載カメラによる障害物検出'',電子情報通信学会技術研究報告書，Vol. １０１,No. ３０２,ｐｐ．２９--３６,２００１
【００１１】
【非特許文献２】
岡田、小野口 ”低速車間制御のための単眼画像処理システム”、電子情報通信学会技術研究報告書、Ｖｏｌ．１０２、Ｎｏ．５３１、ｐｐ．６９−７４、２００２
【００１２】
【発明が解決しようとする課題】
以上説明した通り、従来の方法による一台のＴＶカメラを用い路面と障害物の運動視差に注目して、障害物を高速かつ安定に検出する手法で、遠方から高速に接近する車両を早期に検出するためには、障害物候補領域の組が遠方でも生成され、かつ候補領域組の生存時間が短い場合でも、路面と障害物の運動視差に顕著な違いが現れるような枠組みが必要となる。
【００１３】
本発明は、一台のＴＶカメラを用い路面と障害物の運動視差に注目して障害物を検出する手法を改良し、遠方から高速に接近する障害物の早期判別を可能とする、障害物判別装置およびその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、少なくとも２つの障害物候補領域を含んだ領域の運動軌跡の組を選択する手段と、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、選択された運動軌跡の前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、当該運動軌跡の各領域組のについて計算された前記第１評価値を累積した累積評価値を計算する手段と、その前記累積された評価値に基づいて運動軌跡障害物候補領域毎の第２評価値を計算する手段と、計算された前記第２評価値にしたがって当該各障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１５】
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、少なくとも２つの障害物候補領域を含んだ領域組を選択する手段と、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、各領域組の前記第１評価値を累積した累積評価値を計算する手段と、前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算する手段と、画像内の位置および検出された運動軌跡が類似する障害物候補領域を含むグループを生成する手段と、各グループに含まれる障害物候補領域の第２評価値に従って、当該グループに含まれる障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１６】
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、画像内の位置および検出された運動軌跡が類似する障害物候補領域を含むグループを生成する手段と、各グループに含まれる少なくとも２つの障害物候補領域を有する領域組を選択する手段と、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、各領域組の前記第１評価値を累積した累積評価値を計算する手段と、前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算する手段と、各グループに含まれる障害物候補領域の第２評価値に従って、当該グループに含まれる障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段とを具備する障害物検出装置を提供する。
【００１７】
また本発明においては、前記評価値計算手段は、前記各領域組が所定の条件を満たす場合にのみ前記第１評価値を計算するものとし、前記評価値累積手段は、当該領域組が所定の条件を満たさず、前記評価値計算手段で前記第１評価値が計算されない期間の長さに応じて当該領域組の前記累積評価値を変更することを特徴とする。
また本発明は、画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出するステップと、少なくとも２つの障害物候補領域を含んだ領域組を選択するステップと、各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算するステップと、各領域組の前記第１評価値を累積した累積評価値を計算するステップと、前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算するステップと、前記第２評価値にしたがって各障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定するステップとを具備する障害物検出方法を提供する。
【００１８】
【発明の実施の形態】
以下、図面を用いて本発明の一実施形態を説明する。
【００１９】
図１は本実施形態の基本的な構成例を示している。以下では、車両進行方向の後方、側方の障害物を検出するための後側方監視装置及び方法を例として述べる。
【００２０】
運動軌跡検出部１１１では、ＴＶカメラ１１０から車両の後方、側方等を撮像した時系列画像を取得し、この画像内に障害物候補領域を設定しフレーム間で追跡しその障害物候補領域の運動軌跡を求める。運動軌跡入力部１０１では、運動軌跡検出部１１１から障害物候補領域の運動軌跡を得る。グループ生成部１０２では、画像内の位置と運動軌跡の方向ベクトルとに類似性が見られる障害物候補領域のグルーピングを行う。選択部１０３では、あらかじめ設定した複数の平面のうち、少なくとも一つの平面に適合する動きを持つと推測される、２つ以上の障害物候補領域を一組とする、障害物候補領域組を選択する。
【００２１】
平面評価値計算部１０４では、障害物候補領域組が、複数の平面の内でどの平面に属するかの指標となる評価値を計算する。時系列評価値累積部１０５では、障害物候補領域組が存在する間は評価値を時系列で累積し、障害物候補領域組が存在しない間はその時間に応じて、評価値を減衰させる。周辺評価値累積部１０６では、障害物候補領域が属する、すべての障害物候補領域組の評価値を累積し、その障害物候補領域の評価値とする。判定部１０７では、障害物候補領域ごとに累積された平面評価値が所定の条件を満たすとき、その障害物候補領域が障害物であると判断する。有効障害物判定部１０８では、グループ内の障害物と判定された障害物候補領域の個数が所定の条件を満たすとき、グループ内の障害物候補領域を有効障害物と判定する。
【００２２】
図２に車両等の移動体とＴＶカメラの配置例を示す。ＴＶカメラ２０１は、道路面２０４が画像上では下になり、撮像方向は車両進行方向に対して逆向き（後方）で、光軸２０３が道路面２０４と平行かつ、進行方向に平行に取り付けられているものとする。これ以外の設置方法についても同様の方法が適用できる。
【００２３】
図３には、車両等の移動体がＴＶカメラを搭載して障害物検出を行なう場合の画像撮像態様例を示す。ＴＶカメラを搭載した車両３０２は、図面右方向に進行しており、車両の後方（図面左方向）を撮像する方向にＴＶカメラが設置されている。図面上、斜線で示された領域はＴＶカメラの画像撮像領域３０１を示す。撮像領域３０１には、隣の車線（センターライン側）を走行する車両３０３や車両３０４が撮像される。本発明では、このような状況で撮影された画像から、自車両３０２の走行にとって危険または障害となりうる他車両３０３、３０４等の存在を検出する。
【００２４】
以下、図１の構成要件について、個別に詳述する。運動軌跡検出部１１１では、ＴＶカメラ１１０等の画像撮像手段から得られた時系列画像を構成するフレーム内の直線成分、特に水平線成分の周辺の領域を障害物候補領域として抽出し、フレーム間でこの候補領域の動きを追跡する。例えば、一般の車両には道路と車両の接地線やバンパー、フロント、ナンバープレート、ウインドウ、天井などの水平線を含む構成部分が多い。現在仮定しているカメラ配置では、自車両に後続する他車両を前方から撮像することとなるので、他車両に属するこれらの水平線は撮像された画像内でも水平線となる。また他車両に属する水平線のうち、最も路面に近い部分（撮像された画面における最も下方部分）が車両の接地線と一致すると考えると、その路面に最も近い水平線の上部に他車両が存在するので、これら水平線の画面内の上部領域を障害物候補領域として追跡する。この水平線の画像上での座標をフレーム毎に運動軌跡として出力する。以下では水平線を検出する場合について説明するが、同様の方法を適用して垂直線その他の方向の直線成分を検出することも可能である。
【００２５】
具体的には、道路面の遠方を画面内の消失点と考えて、消失点（直線状の道路の無限遠方点）よりも画面内下方の領域を検出領域とする。画面内の「水平線」は画像内の垂直方向のエッジ（画面内上下方向に画素輝度変化が大きい部分）として捉えることができるので、このような垂直方向のエッジを検出する。例えば特定の水平線候補により分離された画面内上下近傍の２領域の平均的な輝度値などの特徴量を比較することにより、水平線を特定することができる。そしてその水平線を含む矩形の画面内上部領域を障害物候補領域として抽出する。抽出された障害物候補領域については、次フレーム画像における同位置及びその周辺領域を探索して類似の画像領域を探して、障害物候補領域の移動先を求める。
【００２６】
図４には、特定の画面内で複数の障害物候補領域が検出された様子を示す。図４は車両後側方を撮像したフレーム画像であり、自車両の後側方を走行する車両４０５や、道路面に描かれた路面表示４０４、白線４０３などが撮像されている。この画像について、上述したような手法により、水平線を検出する。図４において、水平線を含む画面内領域である矩形が障害物候補領域４０２を表し、その矩形領域の底辺の太い線が検出した水平線４０１を表す。なお運動軌跡検出部は、画像中から水平線、障害物候補領域、移動体を検出、追跡できるものであるならば、この方法に限定されるものではない。
【００２７】
次にグループ生成部１０２では、運動軌跡検出部１１１で検出され、運動軌跡入力部１０１に入力された複数の障害物候補領域の運動軌跡（追跡結果）から、画面内の位置と障害物候補領域の移動方向（方向ベクトル）が類似している複数の障害物候補領域を同一のグループとする。
【００２８】
以下では、選択部１０３と、平面評価値計算部１０４と、時系列評価値累積部１０５と、周辺評価値累積部１０６、判定部１０７と、有効障害物判定部１０８、障害物位置推定部１１２について詳しく述べる。
【００２９】
選択部１０３では、複数の障害物候補領域が垂直、水平のいずれかの平面に属するかの判定を行うために、まず、現在追跡中の障害物候補領域から水平方向（画面内横方向）の位置が近い２つの障害物候補領域を「障害物候補領域組」として選択する。この方法により画面内の水平線を含む少なくとも２つの障害物候補領域を検出すれば、障害物候補領域組を構成することができるので、従来方法よりも自車両遠方での障害物候補領域組の生成が可能となる。ここでは、障害物候補領域組が、路面と、路面と車両の進行方向に垂直な平面(以下垂直平面と呼ぶ)の２つの平面のどちらに属するかを判定する場合について述べる。
【００３０】
図５（ａ）は、障害物候補領域組が、垂直平面(例えば車両後部や前部の複数領域)に属する場合の説明図であり、図５（ｂ）は、障害物候補領域組が路面(例えば隣接車両の陰)に属する場合の説明図である。
【００３１】
図５（ａ）で時刻ｔにおける垂直面５０２ａが図面左方向に進行し、時刻ｔ+ΔｔにＹ１’の位置に到達したとする（５０３ａ）。注目している障害物候補領域の組が共にそれらの垂直面（５０２ａ、５０３ａ）内に属し、注目している障害物候補領域の組に含まれる候補障害物領域のそれぞれは垂直面（５０２ａ、５０３ａ）の上端と下端とのそれぞれに対応するものと仮定する。時刻ｔの垂直面５０２ａの下側の障害物候補領域の縦方向の位置ｙ１と上側の障害物候補領域の縦方向の位置ｙ２が、時刻ｔ+Δｔの垂直面５０３ａの下側の障害物候補領域の縦方向の位置ｙ１’と上側の障害物候補領域の縦方向の位置ｙ２’に変化したとする。図５（ａ）のように、カメラ位置５０１からこれらのｙ１、ｙ２、ｙ１’、ｙ２’の道路面への投影位置までの水平方向の距離をそれぞれ、Ｙ１、Ｙ２、Ｙ１’、Ｙ２’とすると、すべての障害物候補領域がある一つの垂直平面内にあるため、障害物候補領域組の高さは変わらないことから、以下の関係が成り立つ。
【００３２】
Ｙ２’／ Ｙ１’ ＝ Ｙ２／ Ｙ１ （式１）
したがって、画像中に含まれる複数の障害物候補領域の組（障害物候補領域組）を道路面に投影させたとき、式１の関係を満たす場合には、それらの複数の障害物候補領域の組が垂直面に含まれると判定することができる。
【００３３】
一方、図５（ｂ）のように、注目している障害物候補領域の組（５０２ｂ、５０３ｂ）が共に水平平面（道路面内）に属する場合を仮定する。このときカメラ位置５０１からこれらの障害物候補領域組の位置までの水平方向の距離をそれぞれＹ１、Ｙ２、Ｙ１’、Ｙ２’とすると、これらの位置がすべて路面に属するため、道路面内の障害物候補領域組間の距離は変わらないことから、以下の関係が成り立つ。
【００３４】
Ｙ２’− Ｙ１’ ＝ Ｙ２− Ｙ１ （式２）
したがって画像中に含まれる複数の障害物候補領域の組が式２の関係を満たす場合には、それらの複数の障害物候補領域の組が水平面（道路面内）に含まれると判定することができる。
【００３５】
選択部１０３では、さらに、障害物候補領域組の動きが、上記のどちらの平面の動きにも適合しないことを検証する。以下のいずれか１つ以上を用いて判断基準として検討する。
１. 障害物候補領域組の縦方向の動きの大きさが消失点に近づくに従って単調に減少していない。
２. 障害物候補領域組の縦方向の動きが同じ（類似の）方向ではない。
３. 障害物候補領域組の上下の位置関係が追跡の前後で変化(逆転)している。
４. 障害物候補領域組の水平方向の速度が大きく異なる。
５. 障害物候補領域組の垂直方向の距離が離れすぎている。
これらいずれかの判断基準を満たす場合、この障害物候補領域組については無効と判断し、今後の処理を行わない。
【００３６】
これらの判断基準のうち、特定の判断基準を優先的に用いることもできる。例えば障害物候補領域組の画面内の上下の位置関係が時刻の変化と共に逆転する場合（上記判断基準３．の場合）には、複数の障害物候補領域はそれぞれ独立に運動している（あるいは運動していない（静止状態））と明らかに認められるから、上記３．の判断基準を優先的に用いることにより「以降の処理を行なわない」とする判断を簡易、迅速に処理することも可能である。
【００３７】
また「障害物候補領域組の画面内縦方向の動きが同じ方向ではない（上記判断基準２．の場合）」という判断基準と、「障害物候補領域組の水平方向の速度が大きく異なる（上記判断基準４．の場合）」という判断基準は、共に障害物候補領域の運動（方向ベクトル）の類似性を判定するものであるから、同種の処理ステップ内でまとめて判定することもできる。
【００３８】
平面評価値計算部１０４では、障害物候補領域組の動きが水平面（路面）と垂直面のどちらに適合するかの評価値の計算を行う。具体的には、障害物候補領域の動きの垂直面に関する拘束（式１）に対する適合度と、路面に関する拘束（式２）に対する適合度を計算する。垂直面への適合度Ｓｖは以下のように計算する。
【００３９】
Ｓｖ ＝｜ Ｙ２’−（Ｙ２／Ｙ１）×Ｙ１’ ｜ （式３）
もし、障害物候補領域組が垂直面に近い面に属するならば、Ｓｖの値は零に近い値を示す。障害物候補領域組が完全に垂直面に属するならば、（式１）よりＳｖの値は零になる。逆に障害物候補領域組が垂直面に属さなければＳｖは零よりも大きな値になる。一方、水平面（路面）への適合度Ｓｈは以下のように計算する。
【００４０】
Ｓｈ ＝｜Ｙ２’−｛（Ｙ２−Ｙ１）+ Ｙ１’ ｝｜ （式４）
もし、障害物候補領域組が水平面に近い面に属するならば、Ｓｈの値は零に近い値を示す。障害物候補領域組が完全に水平面（路面）に属するならば、（式２）よりＳｈの値は零になる。逆に障害物候補領域組が水平面に属さなければ、Ｓｈは零よりも大きな値になる。
【００４１】
垂直面への適合度Ｓｖ、水平面への適合度Ｓｈは、それぞれ絶対値が小さいほど各平面に関する拘束に適合していると判定されるので、下式のように、これらの値の差分として、路面と、垂直面のどちらに属するかの指標となる評価値Ｓを定義する。
【００４２】
Ｓ ＝ Ｓｈ − Ｓｖ （式５）
評価値Ｓは、正の方向に大きくなるほど、垂直面に近い性質を表し、負の方向に大きくなるほど路面に近い性質を表す。
【００４３】
時系列評価値累積部１０５では、障害物候補領域組が存在する期間の評価値を時系列で累積する。Ｓ、Ｓｈ、Ｓｖ等の評価値は、取得される画像の精度、自車両の動き、路面の状態等により誤差を生ずるものであるから、Ｓの値が所定の正のしきい値よりも大きい場合にのみ垂直面に属すると判断し、Ｓの値が所定の負のしきい値よりも小さい場合にのみ路面に属すると判断し、Ｓの絶対値が所定の正のしきい値よりも小さい場合には、いずれの面に含まれるか判断しないという基準を用いることにより、評価値Ｓを安定に評価することが可能となる。
【００４４】
すなわち、ある障害物候補領域組の評価値Ｓの値が正であるならば垂直面、Ｓの値が負であるならば路面である可能性が高いが、道路面への投影位置（または道路面上の位置）であるＹ１、Ｙ２、Ｙ１’、Ｙ２’には誤差が含まれているため、Ｓの絶対値が小さい時は、障害物候補領域組が垂直面に属するか、路面に属するかの判断は難しくなる。
【００４５】
そのため障害物候補領域組が複数のフレーム画像において複数回観測されたとき、それぞれのフレーム画像で求められた評価値Ｓを累積する（足し合わせる）手法を採用する。これにより、観測回数が多い障害物候補領域組ほど、評価値の大きさが累積するため、常に垂直面（または水平面）の評価と判定され続けることにより、垂直面と路面の違いが顕著に観測されることとなる。
【００４６】
また時系列評価値累積部１０５では、障害物候補領域組が存在しない間はその時間の長さに応じて、評価値を減衰（減点）させる処理を行なう。例えば、同一の垂直面内または路面内に属さない障害物候補領域組が選択されて正しくない評価値が計算される場合がある。この場合には、誤った評価値Ｓが累積されるため、属する平面が路面か垂直面かを評価値Ｓの累積値からは正しく判断できない。この場合には、ある障害物候補領域組が選ばれて評価値Ｓが計算された後に、一定期間継続してその障害物候補領域組が選択されないときには、その空白時間に応じて評価値Ｓの値を減衰させる処理を行なう。誤った障害物候補領域組が選択される頻度は少ないので、評価値Ｓに誤りが蓄積されるのを防ぐことが可能となる。
【００４７】
周辺評価値累積部１０６では、障害物候補領域組の評価値Ｓから、さらに障害物候補領域ごとの評価値の計算を行う。障害物候補領域の評価値Ｓｔは、その障害物候補領域が属するすべての障害物候補領域組の評価値Ｓを加算することによって計算される。障害物候補領域組の連続観測回数が少なく、個々の障害物候補領域組の評価値が小さく信頼性が低い場合においても、その障害物候補領域が関係するすべての障害物候補領域組の評価値を累積することによって、ＳＮ比が向上し評価値の信頼性が上がる。この評価値を用いれば、障害物候補領域生成の比較的早い段階で、当該障害物候補領域が属する平面が、路面であるか垂直面であるかの判断が可能である。
【００４８】
判定部１０７では、障害物候補領域ごとに路面か、垂直面かの判定を行う。障害物候補領域の評価値Ｓｔの絶対値があるしきい値以上でかつ正の値を持つとき、その障害物候補領域を垂直面、すなわち障害物の候補と判断する。一方、障害物候補領域の評価値Ｓｔの絶対値があるしきい値以上でかつ負の値を持つとき、その障害物候補領域を路面、すなわち路面上の表示である、障害物ではないと判定する。これにより、特に自車両に対して高速に接近する障害物（後続車両）の早期検出が可能となる。
【００４９】
有効障害物判定部１０８では、グループ生成部２で生成されたグループそれぞれについて、グループ内に含まれる障害物候補領域のうち、障害物と判定されたものの数と路面と判定されたものの数とを比較して多数決を行い、グループ内で障害物と判定された障害物候補領域が有効か無効かの判断を行う。
【００５０】
グループ内の障害物候補領域の数をＮｔ、そのうち路面と判断された障害物候補領域の数をＮｒ、障害物と判断された障害物候補領域の数をＮｏとし、Ｎｔがある閾値以上でかつ、ＮｏがＮｒより大きいときそのグループ内で障害物と判定された障害物候補領域を有効障害物とする。これにより追跡の失敗等により誤って障害物と判断された少数の障害物候補領域を削除し、安定して障害物を検出することが可能となる。
【００５１】
このようにして有効障害物判定を行なう場合の画像処理の適用例を図６に基づいて説明する。図６において、画面内の矩形領域が運動軌跡検出部１１１で検出された運動軌跡を持つ障害物候補領域を表し、矩形内に×印が入っている領域６０１が判定部１０７において障害物と判定された障害物候補領域、入っていない領域６０２が判定部１０７において路面と判定された障害物候補領域である。グループ生成部１０２でグループ判定されたグループ１（６０３）内には、本来障害物と判定されるべきであるが、検出誤差等の影響により誤って路面と判断された障害物候補領域６０５が存在する。またグループ生成部１０２でグループ判定されたグループ２（６０４）内には、本来路面と判定されるべきであるが、誤って障害物と判断された障害物候補領域６０６が混在している。このような場合であっても、グループ１内には障害物と判定された障害物候補領域が多く含まれており、グループ１内で障害物と判定された障害物候補領域は多数決によってすべて有効障害物と判定される。またグループ２内には路面と判定された障害物候補領域が多く含まれており、グループ２内で誤って障害物と判定された障害物候補領域は多数決によって全体として有効障害物と判定されない。これにより、障害物の誤検出を防ぐことができる。
【００５２】
障害物位置推定部１１２では、注目するフレーム画像に含まれる障害物領域のうち、最も画面下方向に位置する有効障害物領域を障害物の接地線と決定する。さらに、ＴＶカメラの路面に対する取り付け位置や角度、ＴＶカメラの内部パラメータが既知であれば、画像内の障害物位置を用いて自車両から障害物までの距離を計算することができる。また現在注目するフレーム画像でフレーム外に接地線がはみ出してしまった等の場合には、画面内で接地線を検出することができない。この場合は過去のフレームにおいて検出済みの接地線について、障害物の過去における運動の連続性を用いて、現在の接地線の位置を推定することにより、さらに安定して接地線を推定することが可能である。なお本発明の一実施形態に限定されるものではない。
【００５３】
（変更例１）
平面評価値計算部４において、道路面に投影した座標を用いて適合度の計算を行っているが、どの平面に投影した座標を用いてもよい。たとえば路面に垂直な平面に投影した座標を用いて適合度を計算してもよい。
【００５４】
（変更例２）
有効障害物判定部１０８において、グループ内で障害物と判定された障害物候補領域が有効か無効かの判断を多数決によって行っているが、さらにグループ内の各障害物候補領域の評価値Sｔを足し合わせることによって、グループごとの評価値を計算し、この評価値が閾値を超えたとき、グループ内で障害物と判定された障害物候補領域を有効障害物と判定してもよい。
【００５５】
（変更例３）
本発明と、非特許文献２に記載の手法の実現する装置を併せて具備し、本発明の手法と統合して障害物の検出を行ってもよい。たとえば、遠距離（画像上の消失点付近）では２つの障害物候補領域から障害物候補領域組を検出し、近距離（画像上の下の方）では、３つ以上の障害物候補領域から障害物候補領域組を検出し、距離に応じてその結果を使い分けることによって、遠方ではより早期に障害物を検出し、近距離ではより安定して障害物を検出することが可能である。
【００５６】
（変更例４）
有効障害物判定部１０８は、あるグループに含まれる障害物候補領域の判定数の多数決により、グループ内で障害物と判定された障害物候補領域が有効か否かを判定し、グループ内の障害物候補領域を全て有効な（または無効な）障害物運動軌跡と判定し、障害物位置推定部１１２は、障害物の接地線を推定するとしたが、以下のように変更を加えても良い。
【００５７】
例えば、有効障害物判定部１０８では、あるグループに含まれる障害物候補領域の判定数の多数決により、グループ内で障害物と判定された障害物候補領域が有効か否かを判定する。判定の結果、障害物と認定された場合には、グループ全体として有効障害物と判定することなく、障害物位置推定部１１２では、グループ内で障害物と判定された障害物候補領域のうち、画面中最も下方向に位置するものを障害物の接地線と決定することとする。
【００５８】
このように構成を変更することにより、あるグループに含まれる障害物候補領域のうち、障害物と判定された領域の結果を利用して、より安定的に障害物の接地線を決定することができる。
【００５９】
（変更例５）
以上の実施例においては、グループ生成部１０２の処理と判定部１０７の処理を独立、並列的に行なっていた。しかし判定の処理に先立ちグループ生成を行なうことも可能である。具体的には図７に示すような構成となる。図７においては、運動軌跡検出部１１１で検出された障害物候補領域の運動軌跡が入力部１０１を介して入力される。ここで始めに各障害物候補領域の画面内の位置と運動ベクトルとから類似する障害物候補領域を示す複数の障害物候補領域のグループを形成する。そして形成されたグループに含まれる障害物候補領域について障害物運動軌跡判定の処理を行なう。
【００６０】
特にグループ生成部１０２と選択部１０３とで、共通する処理（障害物候補領域の画面内の位置が近接しているか否かを評価する、障害物候補領域の運動ベクトルの類似性を評価するなど）が存在するので、グループ生成部１０２での処理結果を選択部１０３で援用することも可能である。重複する処理を回避することで、高速化を図ることができる。
【００６１】
【発明の効果】
本発明によれば、一台のＴＶカメラを用い路面と障害物の運動視差に注目して障害物を検出する手法において、遠方から高速に接近する障害物であっても、早期に安定して検出することが可能である。
【図面の簡単な説明】
【図１】 本発明の一実施形態の構成を示すブロック図である。
【図２】 一実施形態の車両とカメラ配置の関係を車両の横から示した図である。
【図３】 一実施形態の車両とカメラ配置の関係を車両の上から示した図である。
【図４】 障害物運動軌跡追跡部によって検出された運動軌跡の説明図である。
【図５】 平面評価値の計算に用いる垂直面及び路面の拘束式の説明図である。
【図６】 有効障害物判定部の説明図である。
【図７】 本発明の別の実施携帯の構成を示すブロック図である。
【符号の説明】
１０１ 運動軌跡入力部
１０２ 類似運動軌跡グループ生成部
１０３ 運動軌跡組選択部
１０４ 平面評価値計算部
１０５ 時系列評価値累積部
１０６ 周辺評価値累積部
１０７ 障害物運動軌跡判定部
１０８ 有効障害物判定部
１１０ ＴＶカメラ
１１１ 運動軌跡検出部
１１２ 障害物位置推定部
Claims (5)
- 画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、
少なくとも２つの障害物候補領域を含んだ領域組を選択する手段と、
各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、
各領域組の前記第１評価値を累積した累積評価値を計算する手段と、
前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算する手段と、
前記第２評価値にしたがって各障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段と
を具備する障害物検出装置。 - 画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、
少なくとも２つの障害物候補領域を含んだ領域組を選択する手段と、
各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、
各領域組の前記第１評価値を累積した累積評価値を計算する手段と、
前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算する手段と、
画像内の位置および検出された運動軌跡が類似する障害物候補領域を含むグループを生成する手段と、
各グループに含まれる障害物候補領域の第２評価値に従って、当該グループに含まれる障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段と
を具備する障害物検出装置。 - 画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出する手段と、
画像内の位置および検出された運動軌跡が類似する障害物候補領域を含むグループを生成する手段と、
各グループに含まれる少なくとも２つの障害物候補領域を有する領域組を選択する手段と、
各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算する手段と、
各領域組の前記第１評価値を累積した累積評価値を計算する手段と、
前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算する手段と、
各グループに含まれる障害物候補領域の第２評価値に従って、当該グループに含まれる障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定する手段と
を具備する障害物検出装置。 - 前記評価値計算手段は、前記各領域組が所定の条件を満たす場合にのみ前記第１評価値を計算するものとし、
前記評価値累積手段は、当該領域組が所定の条件を満たさず、前記評価値計算手段で前記第１評価値が計算されない期間の長さに応じて当該領域組の前記累積評価値を変更する
ことを特徴とする請求項１、２または３記載の障害物検出装置。 - 画像入力手段から入力された時系列画像中の直線成分を含む複数の障害物候補領域を設定し、その障害物候補領域の運動軌跡を検出するステップと、
少なくとも２つの障害物候補領域を含んだ領域組を選択するステップと、
各領域組に含まれる障害物候補領域の前記運動軌跡に基づいて求められる前記各領域組に含まれる障害物候補領域間の相対的な位置の変化に基づいて、前記各領域組が同一の垂直面または水平面に属するか否かの第１評価値を計算するステップと、
各領域組の前記第１評価値を累積した累積評価値を計算するステップと、
前記累積評価値に基づいて障害物候補領域毎の第２評価値を計算するステップと、
前記第２評価値にしたがって各障害物候補領域の運動軌跡が障害物の運動軌跡であるか否かを判定するステップと
を具備する障害物検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003033126A JP4015036B2 (ja) | 2003-02-12 | 2003-02-12 | 障害物検出装置および障害物検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003033126A JP4015036B2 (ja) | 2003-02-12 | 2003-02-12 | 障害物検出装置および障害物検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004246436A JP2004246436A (ja) | 2004-09-02 |
| JP4015036B2 true JP4015036B2 (ja) | 2007-11-28 |
Family
ID=33019205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003033126A Expired - Fee Related JP4015036B2 (ja) | 2003-02-12 | 2003-02-12 | 障害物検出装置および障害物検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4015036B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101436300B (zh) | 2008-12-10 | 2012-10-31 | 东软集团股份有限公司 | 障碍物分割方法及装置 |
| CN102396001A (zh) | 2009-12-28 | 2012-03-28 | 松下电器产业株式会社 | 移动体检测装置以及移动体检测方法 |
| JP5574789B2 (ja) * | 2010-04-08 | 2014-08-20 | 株式会社東芝 | 車両周辺監視装置及び車両周辺監視方法 |
| CN104517275A (zh) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | 对象检测方法和系统 |
| US11511425B2 (en) * | 2019-03-19 | 2022-11-29 | Lg Electronics Inc. | Robot stopping parallel to installed object and method of stopping the same |
-
2003
- 2003-02-12 JP JP2003033126A patent/JP4015036B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004246436A (ja) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11087148B2 (en) | Barrier and guardrail detection using a single camera | |
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| JP3904988B2 (ja) | 画像処理装置およびその方法 | |
| JP4052650B2 (ja) | 障害物検出装置、方法及びプログラム | |
| WO2016129403A1 (ja) | 物体検知装置 | |
| KR20230004425A (ko) | 자율 주행 차량 환경 인지 소프트웨어 구조 | |
| JP3977802B2 (ja) | 障害物検出装置、障害物検出方法および障害物検出プログラム | |
| JP5136504B2 (ja) | 物体識別装置 | |
| JP2003067752A (ja) | 車両周辺監視装置 | |
| US20110228981A1 (en) | Method and system for processing image data | |
| KR101326943B1 (ko) | 추월차량 경고 시스템 및 추월차량 경고 방법 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JP4015036B2 (ja) | 障害物検出装置および障害物検出方法 | |
| JP3470172B2 (ja) | 交通流監視装置 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| JP2007199932A (ja) | 画像処理装置及びその方法 | |
| JP4575315B2 (ja) | 物体検出装置及びその方法 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JPH0991439A (ja) | 物体監視装置 | |
| Kim et al. | Real-time moving object detection using a vehicle-mounted monocular rear-view fisheye camera | |
| Kilicarslan et al. | Bridge motion to collision alarming using driving video | |
| JP2002352249A (ja) | 画像処理装置及びその方法 | |
| US11417115B2 (en) | Obstacle recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070912 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4015036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |