JP4912495B2 - 画像認識装置及び方法、ナビゲーション装置 - Google Patents

Description

本発明は、走行路上を走行する走行体に装備可能に構成され、
撮像手段により撮像された撮像画像から前記走行路に存する認識対象を所定の認識ロジックに従って画像認識する画像認識手段を備えた画像認識装置に関するとともに、その装置で使用する画像認識方法に関する。

従来、ナビゲーション装置に搭載される画像認識装置として、様々な構成の画像認識装置が提案されている。この種の画像認識装置にあっては、例えば、走行路に沿ってひかれている白線レーンマークの認識が重要なテーマである。
特許文献１には、撮像画像に対する画像処理として、エッジ抽出処理、ペアリングによるレーンマーク候補の抽出処理、ハフ変換処理、レーンマーク近傍のエッジ点抽出処理を行うことが開示されている。

この文献に開示の技術では、上記の手法で抽出されるエッジ点を画像座標系から俯瞰座標系に変換し、俯瞰座標系に変換されたエッジ点を最小２乗法を用いて３次曲線に近似し、白線レーンマークを３次多項式の関数として出力することにより、遠方の白線レーンマークをも曲線関数にて推定できるものとしている。結果、画像上の直線部分よりも遠方にある区画線（白線レーンマーク）を精度良く検出することができる。

この種の画像処理は、一般に走行路上に画像処理に対する障害物が無い状態で、その処理を良好に行うべく工夫される。

特開平９−２１８９３７号公報（特許請求の範囲、図２）

しかしながら、走行路上に画像処理上の障害体がないことはまれである。
上記の白線レーンマークに例を取ると、画像処理の対象となる地点において不法駐車が頻繁に発生しており、実際上、白線レーンマークを車載カメラから撮像した場合に、切れ切れにしか撮像されない場合がある。一方、農道のように路側での駐車車両が少ない場合、さらには、高速道のように、駐車車両が殆ど存在しない場合もある。

このように、画像認識装置は、様々な状況に関して適切な画像処理を行う必要が生じるが、従来、不法駐車が多く白線レーンマークが断裂線としてしか撮像できない状況の画像処理に関しては、実際上、画像処理不可として処理している。

画像処理手法上、例えば、多くの不法駐車が認められる地点の撮像画像に対して、白線レーンマークの抽出処理を行おうとすると、図８（イ）（ロ）（ハ）に示すように、先ず、車に関する画像部を抽出するとともに、この画像部を撮像画像から消去し、断裂線として現れている白線レーンマーク部位を順次抜き出し、その部位が白線レーンマークに関係する画像部位であると認識するとともに、その断裂部を接続して、一本の白線レーンマークとして認識する必要が生じる。

しかしながら、このような処理は、例えば、高速道における白線レーンマークの認識処理と比較すると、遥かに高負荷な処理であり、このような処理手法を常時採用することはできない。

本発明の目的は、走行路中に画像処理に関して、その処理上障害となる事象が比較的頻繁に発生することがある地点が含まれている場合に、合理的な処理負荷で画像処理を実行することができる画像認識装置を得るとともに、その処理を行える画像処理方法を得ることにある。

上記目的を達成するための、走行路上を走行する走行体に装備可能に構成され、
前記走行体に搭載された撮像手段により撮像された撮像画像から前記走行路に存在する認識対象を所定の認識ロジックに従って画像認識する画像認識手段を備えた画像認識装置の特徴構成は、
前記走行体に搭載された現在位置検知装置と共に機能して前記走行体の現在位置である走行地点を決定する走行地点決定手段と、
前記走行路上における登録地点の位置、当該登録地点が前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点であるか否かの判定結果、当該登録地点において適用すべき前記認識ロジックを示す情報を少なくとも格納したデータベースから提供された情報と、前記走行地点決定手段により決定された前記走行地点とに基づき、前記認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理の前記認識ロジックを異ならせる認識処理変更手段と、を備え、
前記画像認識手段は、前記走行路上を走行する前記走行体と共に前記走行路上を移動する前記撮像手段により撮像された前記撮像画像を取り込み、当該撮像画像を画像認識対象として画像認識を行うものであり、
前記認識障害地点では、画像認識にとって障害となる障害体の画像である可能性が高い画像部位を探索し、その閉領域の形状、その領域内の色、あるいはその領域内の濃淡の情報に基づいて当該障害体の画像であると見なせる画像部位を抽出し、当該画像部位を前記撮像画像から消去する抽出除去処理を実行した後に前記認識対象の抽出処理を実行し、前記認識障害地点以外の地点では、前記抽出除去処理を実行せずに前記認識対象の抽出処理を実行することにある。

上記目的を達成するための、走行路上を走行する走行体に対して、前記走行体に搭載された撮像手段により撮像された撮像画像から前記走行路に存在する認識対象を所定の認識ロジックに従って画像認識する画像認識方法の特徴構成は、
前記走行体に搭載された現在位置検知装置と共に機能して前記走行体の現在位置である走行地点を決定し、
前記走行路上を走行する前記走行体と共に前記走行路上を移動する前記撮像手段により撮像された前記撮像画像を取り込み、当該撮像画像を画像認識対象とし、
前記走行路上における登録地点の位置、当該登録地点が前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点であるか否かの判定結果、当該登録地点において適用すべき前記認識ロジックを示す情報を少なくとも格納したデータベースから提供された情報と、前記走行体の現在位置として決定された前記走行地点とに基づき、前記認識障害地点と前記認識障害地点以外の地点とで、認識処理の前記認識ロジックを異ならせて画像認識を行うものであり、
前記認識障害地点では、画像認識にとって障害となる障害体の画像である可能性が高い画像部位を探索し、その閉領域の形状、その領域内の色、あるいはその領域内の濃淡の情報に基づいて当該障害体の画像であると見なせる画像部位を抽出し、当該画像部位を前記撮像画像から消去する抽出除去処理を実行した後に前記認識対象の抽出処理を実行し、前記認識障害地点以外の地点では、前記抽出除去処理を実行せずに前記認識対象の抽出処理を実行することにある。

本願に係る画像認識手法では、認識障害地点とそれ以外の地点とで、認識処理を異ならせる。即ち、障害発生の可能性が高く画像認識が困難となる地点では、その地点に適した画像処理手法を採用し、それ以外の地点では、例えば、比較的容易な画像認識手法を採用するのである。この構成を、先に課題の例で示した場合に関して説明すると、不法駐車が比較的頻繁に発生している地点と、高速道路等の不法駐車がほとんどない地点とで、白線レーンマークの認識処理を異ならせることとなる。結果、その地点、地点の認識負荷に応じた対応が可能となり、結果的に合理的な処理負荷で、画像認識装置に要求される性能を満たすことができる。

ここで、前記認識障害地点における前記認識対象の抽出処理では、前記認識障害地点以外の地点における前記認識対象の抽出処理より認識レベルを高くすることが好ましい。

これまで説明してきた画像認識装置における、走行路に存する認識対象としては、走行路上のレーンマークが対象となる。この種のレーンマークとしては、白線レーンマーク、破線レーンマーク、センター線、二重線、ゼブラゾーン等がある。
さらに、画像認識にとって障害となる障害体としては、走行路上に一時的に位置される障害体が対象となる。この種の障害体としては、路側に駐車中の車両、秋季もしくは冬季には街路樹からの落ち葉、予告看板等がある。

さて、これまで説明してきた画像認識装置は、これがナビゲーション装置に組み込まれて使用され、地図ベースでの認識障害地点とそれ以外の地点との情報を得て、ナビゲーション装置で必要となる走行路認識（例えば、走行路が直進路かカーブか、走行路が交差点、分岐点に到達しているか否か等）、走行状態認識（例えば、自車が走行路のレーンに沿って走行しているか否か、どの走行レーンを走行しているか等）の認識を良好なものとすることができる。

本願発明に係る認識障害地点の形成状況及び当該地点を走行する走行体に備えられる車載カメラの撮像画像を示す図 認識障害地点データベースの内容を示す説明図 本願発明に係る画像認識装置を備えたナビゲーション装置の構成概略を示すブロック図 認識障害地点登録の処理フローを示す図 画像認識処理の処理フローを示す図 認識障害が無い場合の入力画像を示す図 認識障害地点以外の地点における画像処理手順を示す図 認識障害地点における画像処理手順を示す図

本願に係る画像認識装置を、これを搭載したナビゲーション装置１００を例に採って説明する。

図１は、本願に係る画像認識装置１０１が好適に使用される道路網を示すとともに、本願が問題とする認識障害地点Ｏの状態を示したものである。図上、吹き出し内には、走行体である自車に装備される車載カメラ２から、自車の前方を撮像した撮像画像ｉ１を示した。同図には、認識障害地点Ｏにあっては、不法駐車が比較的頻繁に発生し、白線レーンマーク３の画像認識が、比較的困難な状況にあることを示している。

本願にあっては、上記のような画像認識の障害となる障害の発生率が比較的高い地点（上記図１に示す認識障害地点Ｏは、その一例である）と、それ以外の地点Ｎとにおいて、認識処理を変更することで、画像認識負荷が低く、迅速な画像処理を実行するように、画像認識装置１０１が構成されている。

さらに、本願装置にあっては後述するように、画像認識装置１０１を継続的に使用しながら走行を行うことで、画像認識装置１０１内で自ら画像認識の可否を判定し、その画像認識が行えなかった地点を逐次記憶するとともに、その地点を通過する度毎に画像認識の可否を求め、その地点における画像認識の可否結果を統計的に処理することで、その地点における認識障害の発生の可能性を評価できるように構成している。

また、その評価を継続的に行い、実際に認識障害地点Ｏとすべき地点の識別・登録を自動的に進め、最終的には、自車が走行した経験のある地点で少なくとも一回、画像認識不可が発生した地点毎に、本願にいう認識障害地点Ｏか否かを識別できる認識障害地点データベースＤＢｏを生成する。この認識障害地点データベースＤＢｏの構成例を図２に示した。

以下、図３に基づいて、本願に係る画像認識装置１０１を搭載したナビゲーション装置１００の構成に関して説明する。
図３は、本願に係るナビゲーション装置１００の構成の概略を示したブロック図である。

同図に示すように、ナビゲーション装置１００は、装置本体としての演算処理装置４に対して、その周辺機器としての現在位置検知装置５、情報記憶装置６、表示入力装置７、リモコン入力装置８、リモコン受信機９及びＶＩＣＳ受信機１０を備えて構成される。

前記現在位置検知装置５は、ここでは、ＧＰＳ受信機５ａ、方位検知センサ５ｂ、及び距離検知センサ５ｃを備えて構成される。
ＧＰＳ受信機５ａは、人工衛星からの信号を受信する装置であり、信号の発信時刻、ＧＰＳ受信機５ａの位置情報、ＧＰＳ受信機５ａの移動速度、ＧＰＳ受信機５ａの進行方向など様々な情報を得ることができる。

方位検知センサ５ｂは、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両の進行方向を検知することができる。
距離検知センサ５ｃは、車輪の回転数を検知するセンサや車両の加速度を検知するセンサと検知された加速度を２回積分する回路との組み合わせ等により構成され、車両の移動距離を検知することができる。
これらの機器は、演算処理装置４内に備えられる走行地点決定手段４ａとともに働いて、自車の現在位置を決定する。この現在位置は、例えば、自車の東経及び北緯情報として決定される。

ＶＩＣＳ（Vehicle Information and Communication System：登録商標）受信機１０は、道路上の所定の地点に設置された信号発信機から発信された信号を受信する装置であり、ＶＩＣＳの光ビーコン及び電波ビーコンや、ＦＭ放送に多重されたＶＩＣＳ信号を受信することができる装置としている。演算処理装置４は、このＶＩＣＳ受信機１０が受信した信号から、渋滞情報、現在位置情報、駐車場情報等の各種交通情報を取得することができる。

情報記憶装置６は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有して構成される。そして、ここでは、情報記憶装置６には、本願に係る認識障害地点データベースＤＢｏ、地図データベースＤＢｍ等が格納されている。

前記認識障害地点データベースＤＢｏは本願発明においてキーを成すデータベースであり、画像認識装置１０１を使用し続けることで、装置１０１内で自動生成されるデータベースである。このデータベースの目的は、本願にいう認識障害地点Ｏの特定にある。
図２に、このデータベースＤＢｏの構成例を示した。同図に示すように、このデータベースＤＢｏは、その横方向に、「登録地点ｒｏ」、その登録地点ｒｏの「位置（東経・北緯）」、その登録地点ｒｏの「認識不可率」、その登録地点ｒｏが本願にいう「認識障害地点か否かの判定結果」、その登録地点ｒｏにおいて適応すべき「認識ロジック」、その登録地点ｒｏにおいて適応すべき「認識レベル」を示す各欄を備えて構成されている。
縦方向にあっては、夫々の登録地点ｒｏに関する情報であることを示している。これら登録地点ｒｏは、走行路Ｒ上の地点であって、画像認識が一度でも画像認識が不可と判定された地点を降番順に登録したものである。

前記「位置（東経・北緯）」欄には、登録地点ｒｏの東経及び北緯が登録される。
前記「認識不可率」欄には、登録地点ｒｏの認識不可率が記録されるのであるが、この認識不可率とは、その登録地点ｒｏを複数回走行した時点において、〔画像認識が不可と判定された回数〕／〔その登録地点を走行した回数（画像認識を行った回数）〕である。この認識不可率は、本願における統計的確率結果の一種である。

この例における説明では、画像認識の認識困難性を、認識可、認識不可の２状態での判定とし、認識不可側の確率を使用するものとしているが、認識可側の確率を使用するものとしてもよい。さらに、画像認識の認識困難性を、認識の確からしさといった連続的な確率値で得る構成を採用する場合は、その認識の確からしさを示す確率値の平均値等とすることもできる。

前記「認識障害地点か否かの判定結果」欄には、登録地点ｒｏが本願にいう認識障害地点Ｏに該当するか否かの判定が記載されている。表示上、認識障害地点Ｏを○印で示し、それ以外の地点を無印とした。この認識障害地点Ｏは、先に説明した認識不可率が所定の値（例えば８０％）以上である地点とされる。この認識障害地点Ｏでは、画像認識に対する障害が頻繁に発生しており、画像認識を通常の認識ロジックで行った場合、認識が困難になることを示している。

さて、本願では画像認識に関して、不法駐車が多い地点（認識障害地点Ｏ）と、それがない地点（認識障害地点以外の地点）とに関して説明すると、認識障害地点Ｏでは、車体画像候補の抽出及びその削除を伴った処理を行うとともに、白線レーンマーク３の抽出をハフ変換を利用して行うのに認識レベルの高い判定を実行するのに対して、それ以外の地点では、車体画像候補の抽出及びその削除を伴った処理を行うことなく、白線レーンマーク３の抽出をハフ変換を利用して行うのに認識レベルの低い通常の判定を実行する。

そこで、前記「認識ロジック」及び「認識レベル」欄には、登録地点ｒｏで適応すべき認識ロジック及びその中で採用する認識レベルの別が登録されている。
即ち、認識障害地点Ｏに関しては、車体画像候補の抽出・除去処理を追加するとともに、白線レーンマーク３が破断線となることから、認識レベルを、そのレベルが高い第二認識レベルとする。
一方、認識障害地点以外の地点では、車体画像候補の削除処理を行うことなく、認識レベルについては、認識レベルが低い通常の第一認識レベルとする。

地図データベースＤＢｍは、表示入力装置７の後述する表示部７ａに表示するための地図情報を記憶しているデータベースである。地図情報は、道路レイヤ、施設等の背景情報を有する背景レイヤ、市町村名など文字を表示するための文字レイヤ等を有して構成されている。

車載カメラ２は、自車の前方の情景を撮像できるように構成されており、この車載カメラ２からの撮像画像が後述する画像認識処理部４Ｂに送られて画像認識の対象とされる。

演算処理装置４は、例えば、各種の演算処理及びナビゲーション装置１００の各部の動作制御を行うＣＰＵと、このＣＰＵが演算処理を行う際のワーキングメモリとして使用されるＲＡＭと、ＣＰＵを動作させるための各種の動作プログラムや制御プログラム等のソフトウェアが格納されたＲＯＭ等を備える構成とすることができる。

演算処理装置４は所定の目的を達成するためのソフトウェアが格納されており、ハードウェアとともに働いて一定の目的を達成するように構成されている。即ち、ソフトウェアとハードウェアとは、共働することで所定の目的を実現する処理手段を構成する。

図３に示すように、演算処理装置４は、その主な機能ブロックとして、走行地点決定部４Ａ、画像認識処理部４Ｂ及び認識障害地点決定部４Ｃを備えて構成されている。これら各部位４Ａ，４Ｂ，４Ｃに加えて、ナビゲーション装置本来の役割である案内ルートの探索等を実行する案内ルート探索部４Ｄも備えられている。

前記走行地点決定部４Ａは、走行地点決定手段４ａとしての役割を果たす部位であり、先に説明した現在位置検知装置５に備えられる各機器（ＧＰＳ受信機５ａ、方位検知センサ５ｂ、距離検知センサ５ｃ）からの情報及びＶＩＣＳ受信機１０からの情報に基づいて、装置１００、１０１の位置を決定する。
ここで、装置１００、１０１の位置は東経及び北緯値として決定され、先に示した登録地点ｒｏの位置の特定に使用される。即ち、別途、実行される画像認識において、その画像認識が不可の判断された場合に、その画像認識を行った地点の特定に使用される。

前記画像認識処理部４Ｂは、撮像手段である車載カメラ２から撮像画像を画像処理する部位である。この部位は、基本的には前記撮像手段２により撮像された撮像画像から走行路Ｒに存する認識対象を所定の認識ロジックに従って画像認識する画像認識手段４ｂ１が備えられており、例えば、認識対象が走行路Ｒ上に備えられる白線レーンマーク３である場合、この白線レーンマーク３情報を、例えば、図８（ハ）（ニ）に示すような出力画像に乗せて出力する。
先に、図１を使用して説明した撮像画像ｉ１は、走行路Ｒ上に画像認識にとって障害となる障害体（この例の場合は駐車している車１１）がある例を示しているが、この障害体１１がない場合は、図６に示すような撮像画像が取りこまれ、白線レーンマーク３の画像認識を実行した後、この白線レーンマーク３を強調した画像が、出力画像となる。
この出力画像の他、白線レーンマーク３が認識・特定されることで、自車の白線レーンマーク３から離間距離、白線レーンマーク３に対する方向等も判明する。

先にも示したように、この画像認識手段４ｂ１における処理は、認識障害地点Ｏと、認識障害地点以外の地点Ｎとに関して、異なった処理を実行できるように構成されており、認識障害地点Ｏでは、車体画像候補の抽出及びその削除を伴った処理を行うとともに、白線レーンマーク３の抽出をハフ変換を利用して行うのに認識レベルの高い判定を実行する。一方、それ以外の地点Ｎでは、車体画像候補の抽出及びその削除を伴った処理を行うことなく、白線レーンマーク３の抽出をハフ変換を利用して行うのに認識レベルの低い通常の判定を実行する。

画像認識処理部４Ｂに備えられる認識処理変更手段４ｂ２は、画像認識手段４ｂ１に於ける認識処理の変更を指令する手段であり、具体的には、現在画像認識対象となっている地点が、先に説明した認識障害地点データベースＤＢｏに登録されている登録地点ｒｏか否かを判定し、その登録地点ｒｏであり、且つ、その地点が認識障害地点Ｏとされている場合に、認識障害地点Ｏとしての画像認識を画像認識手段４ｂ１に実行させ、認識障害地点Ｏとされない地点では、通常の画像認識を実行させる。即ち、本願にあっては、画像認識を困難とする障害発生の可能性が高い地点である認識障害地点Ｏと認識障害地点以外の地点とで、画像認識手段４ｂ１における認識処理を異ならせてある。

前記画像認識処理部４Ｂには、前記２つの手段４ｂ１、４ｂ２の他に、走行路Ｒ上の地点における画像認識手段４ｂ１による画像認識の困難性を判定する認識困難性判定手段４ｂ３が備えられる。

ここで、前記認識困難性判定手段４ｂ３は認識可能か否かの可否判定を行う手段であり、認識対象が、これまで説明してきた白線レーンマーク３である場合、撮像画像上で、エッジ点抽出処理、ペアリング抽出処理を行い、ハフ変換処理を行った場合の投票処理上での投票値の程度、さらには、認識処理後のエッジ点の直線としての集束程度、あるいはエッジ点の強調と、予め各画像認識に対して設定されている閾値とを比較することで、認識の可否を判定する。例えば、撮像画像が図１に示すものである場合、ハフ変換後の白線レーンマーク３に対応する撮像線のハフ変換後の投票値は低くなり、図６に示すものである場合は高くなるため、その中間に閾値を設定することで、通常の画像認識手法を採る場合における、画像認識の可否を判定することができる。

本願に係る画像認識装置１０１にあっては、全ての地点が認識障害地点以外の地点Ｎであるとの仮定のもとに装置の使用を始め、順次、画像認識が困難であった地点が見出された場合に、その地点を登録地点ｒｏとするとともに、さらに、この登録地点での画像認識を繰り返し実行した場合に、その登録地点ｒｏでの認識不可率がある値以上に維持されて始めて、その登録地点が認識障害地点Ｏとされる。

ここで、認識障害地点Ｏに関しては、処理ロジック上、充分に認識能の高い画像認識手法を採用するため、この認識困難性判定手段４ｂ３にあっては、認識可としての判定を下すものとする。即ち、この例における認識困難性判定手段４ｂ３における判定は、通常の処理ロジックに従った場合の認識可否の判定とする。

上記走行地点決定手段４ａにより決定された走行地点情報と前記認識困難性判定情報とは、認識障害地点決定部４Ｃに送られ、認識障害地点決定手段４ｃによる処理を受ける。即ち、この手段４ｃでは、同一の地点（登録地点ｒｏ）に関して、その認識不可率が求められる。そして、この認識不可率が所定の閾値より高い状態に維持されている場合に、この登録地点ｒｏを認識障害地点Ｏとする。後日、さらに同一の地点ｒｏを走行して、その地点ｒｏにおける認識不可率が低下してきた場合は、この登録地点ｒｏに関して、認識障害地点Ｏとの登録を抹消する。
以上のようにして、認識障害地点データベースＤＢｏに登録されている各登録地点ｒｏについて、その地点が認識障害地点Ｏか否かの判断を、統計的且つ現状に合致する状態で行うこととする。
前記案内ルート探索部４Ｄにあっては、従来公知の手法に従って、目的地までの案内ルートが探索される。これまで説明してきた画像認識装置１０１からの白線レーンマークに関する情報は、例えば、現時点における自車の走行レーン位置の特定に使用され、このようにして求められる、地図上での自車位置及び走行レーン位置から、適切な案内ルートを探索することとなる。

以下、図４に基づいて、本願に係る画像認識装置１０１における処理フローを説明する。
この処理フローは、認識障害地点Ｏ及びそれ以外の地点Ｎを画像認識対象とする場合の処理フロー（前段側の処理フロー部Ｆ１）と、画像認識を逐次繰返すとともに、特定の地点で認識不可が発生した場合は、その地点に関して必要とされる処理（認識障害地点Ｏに該当するか否かの処理）を実行するフロー部位（後段側の処理フロー部Ｆ２）から成立する。

この処理フローを実行する場合、先ず、認識処理変更手段４ｂ２により現在の走行地点が認識障害地点Ｏに該当するか否かが判定される（＃４１）とともに、その判定結果に基づいて画像認識の認識ロジックが変更される。認識障害地点Ｏに該当する場合は（＃４１：ｙｅｓ）、認識ロジックを最適化すべく、これまで説明したように、例えば、図５（ロ）に示すように、エッジ抽出（＃５１）、車体画像候補の抽出・除去（＃５１−２）、ペアリング処理（＃５２）、ハフ変換（＃５３）、レーンマーク近傍のエッジ抽出（＃５４）を行うこととする。即ち、車体画像候補の抽出・除去処理を伴うとともに、ハフ変換処理においては、認識レベルが高い第二認識レベルの処理を実行する（＃４２、＃４３）。

一方、認識障害地点以外の地点Ｎに該当する場合は（＃４１：ｎｏ）、通常の認識ロジックに基づいた処理を実行する（＃４４）。即ち、これまで説明したように、例えば、図５（イ）に示すように、エッジ抽出（＃５１）、ペアリング処理（＃５２）、ハフ変換（＃５３）、レーンマーク近傍のエッジ抽出（＃５４）を行うこととする。即ち、車体画像候補の抽出・除去処理を伴わず、ハフ変換処理においては、認識レベルが低い第一認識レベルの処理を実行する（＃４４）。

このようにして、現在地点において画像認識処理を終了した後、認識困難性判定手段４ｂ３により、現地点における画像認識の可否判定を実行する。先に説明したように、認識対象の特徴量が所定の閾値に対して低い値となっている場合（例えば、ハフ変換における投票数が所定の投票閾値より低い場合）、画像認識が不可であったと判定する（＃４５）。

この判定において、画像認識が可であった場合（＃４５：ｙｅｓ）は、後段側の処理フロー部Ｆ２を省略して、新たな認識処理を必要な場合実行する。
一方、この判定において、画像認識が不可であった場合（＃４５：ｎｏ）は、後段側の処理フロー部Ｆ２に移り、本願にいう認識障害地点Ｏとするか否かの判定を実行する。

先ず、現在処理の対象となっている地点の登録処理を実行する（＃４６）。この登録は、画像認識装置１０１において、その地点が初めて画像認識が不可であると判定された場合のみ実行され、登録地点ｒｏとして認識障害地点データベースＤＢｏに予め登録されている場合は、重複して登録されることはない。

次に、認識障害地点決定手段４ｃにより、その地点における認識不可率（統計的確率の一例）が算出され（＃４７）、その値が所定の閾値を超えるか否かが判定される（＃４８）。そして、その認識不可率が閾値より低い場合（＃４８：ｎｏ）は，認識障害地点Ｏとしての登録の必要は無いとして、新たな画像認識に戻る。
一方、その認識不可率が閾値より高く維持された場合（＃４８：ｙｅｓ）は、その地点を認識障害地点Ｏとして登録する（＃４９）。

画像認識装置１０１における処理フローは、別途、終了指令が入力され、これが終了判定で認識された状態で、その処理を終了することとなる（＃４１０）。

この処理を走行体１の走行に伴って順次繰り返すことにより、例えば、不法駐車が多く発生し、画像認識の障害となる障害事情が常時発生している地点に関しては、認識障害地点Ｏとして登録され、高速道内の走行地点に関して、通常の処理で充分な認識障害地点以外の地点Ｎとされる。

以上が、走行路Ｒに認識障害地点Ｏを含む場合の本願画像認識装置１０１が実行する処理フローであるが、図４における認識障害地点Ｏにおける認識処理と、認識障害地点以外の地点Ｎにおける認識処理に関して、図面に基づいて説明する。説明に際しては、理解を容易とするため、図６に示す不法駐車がなく画像認識の障害が低い例と、図１に示す障害が多い例を採って説明する。

イ 画像認識上の障害が少ない場合の画像認識
この場合、車載カメラ２により撮像される撮像画像は、図６に示すものとなる。
この撮像画像を対象として、エッジ点抽出処理を実行する。この処理を受けた画像が図７（イ）に示す画像である（＃５１）。そして、図７（ロ）に示すようにペアリング処理を行って、孤立点を除去した後（＃５２）、この画像に対してハフ変換を施す（＃５３）。ハフ変換後に得られるθ−ρ平面にあっては、撮像画像上における白線レーンマーク３の４本の境界線に対応する座標の投票数が高くなる。即ち、認識レベルの低い第一認識レベルの処理で十分である。従って、再度撮像側に戻り、図７（ハ）（ニ）に示すように、４本の白線レーンマーク３のエッジに対応する画素点のみを残すことができる（＃５４）。同図中、ハフ変換により抽出されるエッジ線を、Ｌ１，Ｌ２として示し、そのアップエッジをＬ１ｕ，Ｌ２ｕと、そのダウンエッジをＬ１ｄ，Ｌ２ｄとして示している。
この例の場合、白線レーンマーク３のエッジｅは、撮像画像全面で連続したエッジ線として撮像されるため、ハフ変換における投票数も高く、さらに、その画像上の離散状態も低くなる。結果、本願にいう認識困難性は低く、認識は容易である。

ロ 画像認識上の障害が多い場合の画像認識
この場合、車載カメラ２により撮像される撮像画像は、図１に示すものとなる。この撮像画像を対象として、エッジ点抽出処理を実行する（＃５１）。この処理を受けた画像が図８（イ）に示す画像である。本願の場合、この地点が認識障害地点Ｏであると判明した状態で画像認識を進めるため、予め、高度な画像認識を採用する。

即ち、図８（イ）で示される画像において、駐車している車１１の画像である可能性が高い画像部位ｉ１１を探索する。この例では、一定の閉領域を形成するエッジ点の集合を抽出するとともに、その閉領域の形状、その領域内の色あるいは濃淡情報から車１１の画像であると見なせる画像部位を抽出する。さらに、これら画像部位を撮像画像から消去する（＃５１−２）。その後、ペアリング処理を施し独立点を除去する（＃５２）。このようにして得られる画像が、図８（ロ）に示す画像である。この図からも判明するように、白線レーンマーク３に関連するエッジｅは、画像上、切れ切れの破断線として現れる。
この画像に対してもハフ変換を施す（＃５３）。変換後のθ−ρ平面にあっては、撮像画像上における白線レーンマーク３の４本の境界線に対応する座標の投票数が、先に説明した障害が無い場合より低くなる。そこで、先に説明した場合より認識レベルの高い第二認識レベルでの認識を実行する。ハフ変換後の投票数としては、低めの閾値を使用して直線候補を抽出する。その後、再度撮像側に戻り、図８（ハ）（ニ）に示すように、４本の白線レーンマークのエッジ３に対応する画素点のみを残すことができる（＃５４）。

〔別実施の形態〕
（１） 上記の実施の形態にあっては、認識処理の変更形態として、通常処理を行う形態と高度な認識処理との２形態間で、その変更を行うものとしたが、変更形態としては、３以上の多形態での変更としてもよい。
（２） 上記の実施の形態にあっては、認識障害地点Ｏにおける認識処理において、車両画像候補の抽出・除去と、ハフ変換における第二認識レベルによる認識処理を実行したが、認識障害地点Ｏにおける処理としては、それらの一方のみを行うものとしてもよく、さらに、高い認識能を発揮できる画像認識処理としては、テンプレートマッチング、組合わせハフ変換等の処理を採用してもよい。
（３） 認識困難性の判定においては、これまで説明してきた判定手法の他、ヒストグラム分布、周波数判定等の判定手法を採用してもよい。
（４） 上記の画像認識装置に関しては、装置をナビゲーション装置に使用する例を示したが、ミリ波レーダー等にも使用できる。
（５） また、その認識対象は、白線レーンマークの他、横断歩道、一時停止線等もその認識対象とできる。

走行路中に画像処理に関して、その処理上障害となる事象が比較的頻繁に発生することがある地点が含まれている場合に、合理的な処理負荷で画像処理を実行することができる画像認識装置を得ることができた。

２ 車載カメラ
３ 白線レーンマーク
４ 演算処理装置
４Ａ 走行地点決定部
４ａ 走行地点決定手段
４Ｂ 画像認識処理部
４ｂ１ 画像認識手段
４ｂ２ 認識処理変更手段
４ｂ３ 認識困難性判定手段
４Ｃ 認識障害地点決定部
４ｃ 認識障害地点決定手段
４Ｄ 案内ルート探索部
５ 現在位置検知装置
６ 情報記憶装置
７ 表示入力装置
８ リモコン入力装置
１０ ＶＩＣＳ受信機
ＤＢｏ 障害事情データベース
ＤＢｍ 地図データベース
Ｎ 認識障害地点以外の地点
Ｏ 認識障害地点
Ｒ 走行路
ｒｏ 登録地点

Claims (6)

1. 走行路上を走行する走行体に装備可能に構成され、
   前記走行体に搭載された撮像手段により撮像された撮像画像から前記走行路に存在する認識対象を所定の認識ロジックに従って画像認識する画像認識手段を備えた画像認識装置であって、
   前記走行体に搭載された現在位置検知装置と共に機能して前記走行体の現在位置である走行地点を決定する走行地点決定手段と、
   前記走行路上における登録地点の位置、当該登録地点が前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点であるか否かの判定結果、当該登録地点において適用すべき前記認識ロジックを示す情報を少なくとも格納したデータベースから提供された情報と、前記走行地点決定手段により決定された前記走行地点とに基づき、前記認識障害地点と前記認識障害地点以外の地点とで、前記画像認識手段における認識処理の前記認識ロジックを異ならせる認識処理変更手段と、を備え、
   前記画像認識手段は、前記走行路上を走行する前記走行体と共に前記走行路上を移動する前記撮像手段により撮像された前記撮像画像を取り込み、当該撮像画像を画像認識対象として画像認識を行うものであり、
   前記認識障害地点では、画像認識にとって障害となる障害体の画像である可能性が高い画像部位を探索し、その閉領域の形状、その領域内の色、あるいはその領域内の濃淡の情報に基づいて当該障害体の画像であると見なせる画像部位を抽出し、当該画像部位を前記撮像画像から消去する抽出除去処理を実行した後に前記認識対象の抽出処理を実行し、前記認識障害地点以外の地点では、前記抽出除去処理を実行せずに前記認識対象の抽出処理を実行する画像認識装置。
2. 前記認識障害地点における前記認識対象の抽出処理では、前記認識障害地点以外の地点における前記認識対象の抽出処理より認識レベルを高くする請求項１記載の画像認識装置。
3. 前記走行路に存在する認識対象が、走行路上のレーンマークである請求項１又は２記載の画像認識装置。
4. 画像認識にとって障害となる障害体が、前記走行路上に一時的に位置される障害体である請求項１〜３のいずれか１項記載の画像認識装置。
5. 請求項１〜４のいずれか１項記載の画像認識装置を備えるとともに、前記画像認識装置より得られる前記走行路に存在する前記認識対象の認識情報に基づいて働くナビゲーション装置。
6. 走行路上を走行する走行体に対して、
   前記走行体に搭載された撮像手段により撮像された撮像画像から前記走行路に存在する認識対象を所定の認識ロジックに従って画像認識する画像認識方法であって、
   前記走行体に搭載された現在位置検知装置と共に機能して前記走行体の現在位置である走行地点を決定し、
   前記走行路上を走行する前記走行体と共に前記走行路上を移動する前記撮像手段により撮像された前記撮像画像を取り込み、当該撮像画像を画像認識対象とし、
   前記走行路上における登録地点の位置、当該登録地点が前記画像認識を困難とする障害発生の可能性が高い地点である認識障害地点であるか否かの判定結果、当該登録地点において適用すべき前記認識ロジックを示す情報を少なくとも格納したデータベースから提供された情報と、前記走行体の現在位置として決定された前記走行地点とに基づき、前記認識障害地点と前記認識障害地点以外の地点とで、認識処理の前記認識ロジックを異ならせて画像認識を行うものであり、
   前記認識障害地点では、画像認識にとって障害となる障害体の画像である可能性が高い画像部位を探索し、その閉領域の形状、その領域内の色、あるいはその領域内の濃淡の情報に基づいて当該障害体の画像であると見なせる画像部位を抽出し、当該画像部位を前記撮像画像から消去する抽出除去処理を実行した後に前記認識対象の抽出処理を実行し、前記認識障害地点以外の地点では、前記抽出除去処理を実行せずに前記認識対象の抽出処理を実行する画像認識方法。

Images