JPWO2007083494A1 - 図形認識装置、図形認識方法および図形認識プログラム - Google Patents

Abstract

【課題】 画像中に存在する影領域に影響されることなく、図形を認識することができる図形認識装置、図形認識方法および図形認識プログラムを提供する。【解決手段】 画像入力手段１は、車外環境の画像を取得し、光源位置情報獲得手段２は、太陽等の光源の位置を算出する。自車両形状獲得手段３および他車両形状獲得手段４は、それぞれ自車両および他車両の輪郭を形成する各点の位置を示す自車両形状情報および他車両形状情報を生成する。影領域計算手段５は、自車両形状情報、他車両形状情報、オブジェクト形状情報および光源位置情報に基づいて影領域の位置座標を算出し、画像上の２次元座標に変換して影／非影領域協調標識認識手段６に出力する。影／非影領域協調標識認識手段６は、特定された影領域および非影領域のそれぞれにおいて認識対象の標識の有無を判断することにより、画像中の標識を認識する。【選択図】図１

Description

本発明は、画像中の図形を認識する図形認識装置、標識認識方法および標識認識プログラムに関し、特に車載カメラによる撮影画像中の標識を認識する図形認識装置、標識認識方法および標識認識プログラムに関する。

自動車による交通事故の多くは、死角や注意不足による運転者の見落としが原因である。運転者にとって安全運転のためには、「止まれ」などの道路標識や、横断歩道、停止線、速度規制などを示す路面標識などの安全に関わる道路情報を正確に認識することが重要である。このため、周囲の標識を認識して運転者に通知する技術としては、路面と車両の間で通信を行う方法や、車外撮影用のカメラから取得した画像についてパターン認識を行う方法などが用いられている。

パターン認識を行うための車外環境を記録した画像中には、認識対象である標識以外にも、建造物、街路樹、看板、歩行者、他車両等のように多様なオブジェクトが存在している。これらのオブジェクトは、標識のパターン認識に大きな影響を及ぼしてしまう。例えば、交差点を通過中の先行車両によって横断歩道の一部が遮蔽されていたり、市街地の道路上を通行する歩行者によって白線の一部が遮蔽されていたりするとパターン認識を妨げることがある。

また、オブジェクトが作り出す影も、標識のパターン認識の認識結果を左右する。例えば、昼間に走行中の自車両が作り出す影や道路標識が道路面に落とす影によって路面標識の一部のコントラストが著しく低下したように撮影されると路面標識が認識されないことがある。

オブジェクトによって遮蔽されたパターン部分については、情報が完全に欠落したことになり、パターン形状等の事前知識を用いないと遮蔽部分の情報を得ることはできない。一方、影によってパターンのコントラストが変化した場合は、パターン形状に関する情報が完全に欠落したわけではないので、本来のパターン形状情報を復元することができる。

また、パターン認識においては、見え方が異なるという理由から認識対象の一部のみを用いて認識するよりも、出来るだけ認識対象全体を用いて認識を行った方が認識率を上げることが出来ることが知られている。従って、画像中においてオブジェクトの影を特定し、影のある領域（影領域）または影のない領域（非影領域）で標識認識を協調させながら行うことが、信頼度の高い標識認識処理を行う上で重要となる。

画像中のオブジェクトの影を特定するためには光源の位置を特定する必要がある。そこで、太陽の位置情報を取得し車両の制御やカーナビゲーションシステム（以下、カーナビと表記する）に用いる技術が、特許文献１および特許文献２に開示されている。

特許文献１に記載されたシステムでは、自車両の傾斜角、進行方向、位置、走行時の日時から太陽の位置を計算することにより、車両の特定部位を太陽光から遮蔽するための遮蔽シールドを制御している。

特許文献２に記載されたシステムは、自車両の位置と方位と走行時の日付とから太陽の位置を計算し、カーナビ画面において、太陽、建造物、標識などの表示対象物に対し、実際の気象条件に合わせた表示色、表示形状、表示陰影をつけるシステムである。

特開２００５−８０５８号公報（段落００３３−００４３） 特開２００２−３１０６８９号公報（段落００３９−００４９）

しかし、特許文献１に記載されたシステムでは、太陽の位置の計算は行っているものの、オブジェクトが生成する影領域の特定は行っておらず、標識認識処理に影領域の情報を付与することはできない。

また、特許文献２に記載されたシステムでは、太陽の位置を算出した上で、地図データベースを基に実際の影領域を特定し、地図上のオブジェクトに陰影として表示させているが、道路画像に高い確率で存在する車両などの移動オブジェクトが生成する影までは考慮していない。また、影領域を特定した後で認識処理を行っている訳ではなく、影領域の影響に頑健な標識認識を実現していない。

そこで、本発明は、画像中に存在する影領域に影響されることなく、標識を認識することができる図形認識装置、図形認識方法および図形認識プログラムを提供することを目的とする。

上記目的を達成するため、本発明の図形認識装置は、撮影装置に撮影された画像中の図形を認識する図形認識装置であって、画像における物体の影の領域を算出する影領域算出手段と、予め定められた特定の図形が存在するか否かを、影領域算出手段が算出した影の領域内と外とについて個別に判断する領域図形認識手段と、領域図形認識手段が判断した結果に基づいて画像中に特定の図形が存在するか否かを判断する図形認識手段とを備えたことを特徴とする。

また、上記の図形認識装置において、領域図形認識手段は、画像中の影の領域についてコントラストを強調した上で特定の図形が存在するか否かを判断する。このようにすると、画像中の影の領域についても正確なパターン認識が可能となる。

また、上述した影領域算出手段は、光源の位置を示す光源位置情報と影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に影の領域を算出してもよい。

また、影領域算出手段は、光源位置情報が示す一点と物体位置情報が示す一点とを通る直線の地面との交点を影の領域内の点として算出してもよい。このような構成にすると、光源の位置情報と物体の形状情報に基づいて影領域を算出できる。

上述した領域図形認識手段は、テンプレートマッチングにより特定の図形が存在するか否かを影の領域内と外とについて個別に判断してもよい。

領域図形認識手段は、ニューラルネットワークを用いた統計的な学習に基づいて特定の図形が存在するか否かを影の領域内と外とについて個別に判断してもよい。

領域図形認識手段は、特定の図形が周期性を有する場合に、影の領域内と外とについて特定のパターンの周期性の有無を判断してもよい。

領域図形認識手段は、影の領域内及び外のそれぞれについての判断結果を数値で出力し、図形認識手段は、領域図形認識手段により出力された各領域についての判断結果と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断してもよい。このような構成にすると、例えば、各領域におけるマッチングスコアが閾値以上の場合に、認識対象の標識が在ると判断することができる。

上述した図形認識手段は、領域図形認識手段により出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断してもよい。このような構成にすると、例えば、影領域又は非影領域のどちらかのみに限定したマッチングスコアが閾値以上の場合に、認識対象の標識が在ると判断することができる。

また、上記の図形認識装置は、光源の位置を撮影装置の位置及び撮影方向から算出し光源位置情報として出力する光源位置情報獲得手段を備えてもよい。

光源位置情報が天体の現実の位置を示す情報でもよい。

光源位置情報が人工光源の現実の位置を示す情報でもよい。

上述した影領域算出手段は、光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較して影の領域を特定してもよい。この場合、光源位置情報が仮想光源の位置を示す情報でもよい。このようにすると、光源の位置が正確にわからない場合でも影領域を算出できる。

また、上記の図形認識装置は、撮影装置を搭載した自車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報として出力する自車両形状獲得手段を備えてもよい。

さらに、上記の図形認識装置は、撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報として出力する他車両形状獲得手段を備えてもよい。

またさらに、上記の図形認識装置は、構造物の輪郭形状と位置とを示す情報を物体位置情報として格納した地図データベースを備えてもよい。

次に、本発明の図形認識方法は、撮影装置に撮影された画像中の図形を認識する図形認識方法であって、画像における物体の影の領域を算出する影領域算出ステップと、予め定められた特定の図形が存在するか否かを、影領域算出ステップにおいて算出した影の領域内と外とについて個別に判断する領域図形認識ステップと、領域図形認識ステップにおいて判断した結果に基づいて画像中に特定の図形が存在するか否かを判断する図形認識ステップとを含むことを特徴とする。

上述した領域図形認識ステップでは、画像中の影の領域についてコントラストを強調した上で特定の図形が存在するか否かを判断してもよい。

上述した影領域算出ステップでは、光源の位置を示す光源位置情報と影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に影の領域を算出してもよい。

影領域算出ステップでは、光源位置情報が示す一点と物体位置情報が示す一点とを通る直線の地面との交点を影の領域内の点として算出してもよい。

上述した領域図形認識ステップでは、テンプレートマッチングにより特定の図形が存在するか否かを影の領域内と外とについて個別に判断してもよい。

領域図形認識ステップでは、ニューラルネットワークを用いた統計的な学習に基づいて特定の図形が存在するか否かを影の領域内と外とについて個別に判断してもよい。

領域図形認識ステップでは、特定の図形が周期性を有する場合に、影の領域内と外とについて特定のパターンの周期性の有無を判断してもよい。

領域図形認識ステップでは、影の領域内及び外のそれぞれについての判断結果を数値で出力し、図形認識ステップでは、領域図形認識ステップにより出力された各領域についての判断結果と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断してもよい。

また、上述した図形認識ステップでは、領域図形認識ステップにより出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断してもよい。

また、上記の図形認識方法は、光源の位置を撮影装置の位置及び撮影方向から算出し光源位置情報とする光源位置情報獲得ステップを含んでもよい。

また、光源位置情報が天体の現実の位置を示す情報であってもよい。

光源位置情報が人工光源の現実の位置を示す情報であってもよい。

上述した影領域算出ステップでは、光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較して影の領域を特定してもよい。この場合、光源位置情報が仮想光源の位置を示す情報であってもよい。

また、上記の図形認識方法は、撮影装置を搭載した自車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報とする自車両形状獲得ステップを含んでもよい。

さらに、上記の図形認識方法は、撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報とする他車両形状獲得ステップを含んでもよい。

またさらに、上記の図形認識方法は、構造物の輪郭形状と位置情報とを示す情報を物体位置情報としてもよい。

次に、本発明の図形認識プログラムは、撮影装置に撮影された画像中の図形を認識するコンピュータに搭載される図形認識プログラムであって、画像における物体の影の領域を算出する影領域算出処理と、予め定められた特定の図形が存在するか否かを、影領域算出処理で算出した影の領域内と外とについて個別に判断する領域図形認識処理と、領域図形認識処理で判断した結果に基づいて画像中に特定の図形が存在するか否かを判断する図形認識処理とを実行させることを特徴とする。

本発明は以上のように構成され機能するため、これにより、自車両形状、他車両形状、その他のオブジェクトの形状の情報を利用して実際に車外撮影用カメラから取得される画像上の影領域を正確に特定した上で、影領域と非影領域とにおいて標識認識を協調させながら実行し、影に影響されないで標識認識を実行することが出来る。

以下、本発明の実施形態を図面を参照して説明する。

［実施形態１］
図１は、本発明における第１の実施形態の図形認識装置の構成を示すブロック図である。図１に示す図形認識装置は、画像入力手段１と、光源位置情報獲得手段２と、自車両形状獲得手段３と、他車両形状獲得手段４と、影領域算出手段５と、影／非影領域協調標識認識手段６と、認識結果出力手段７と、３次元地図データベース１０とを備えている。

画像入力手段１は、自車両に搭載された車外撮影用カメラ（撮影装置）で撮影された車外環境の画像を入力する。画像入力手段１は、例えば、車載カメラによって撮影された車外環境の撮影画像を入力し、デジタル画像にして影／非影領域協調標識認識手段６に出力する。

光源位置情報獲得手段２は、太陽等の光源の位置を算出する。光源位置情報獲得手段２は、例えば、自車両が走行している位置および方位角をＧＰＳ(Global Positioning System )から取得し、走行時の日時から太陽の位置を計算して光源位置情報として影領域算出手段５へ出力する。

自車両形状獲得手段３は、自車両の形状情報（自車両形状情報）を獲得する。自車両形状情報は、自車両の輪郭を形成する各点の位置を示す３次元座標データの集合である。自車両形状獲得手段３は、既知である自車両の輪郭形状を示す３次元座標データを予め記憶している。自車両形状獲得手段３は、例えば、予め記憶する自車両の輪郭形状を示すデータと、ＧＰＳから取得した自車両の位置情報とに基づいて、自車両の輪郭を形成する各点の位置を示す自車両形状情報を生成し、影領域算出手段５に出力する。既知である自車両の輪郭形状を示すデータを用いることで、自車両形状を算出する必要がなく、迅速な処理が可能となる。

他車両形状獲得手段４は、他車両の形状情報（他車両形状情報）を獲得する。他車両形状情報は、他車両の輪郭を形成する各点の位置を示す３次元座標データの集合である。他車両形状獲得手段４は、例えば、自車両に搭載されたミリ波レーダによる剛体物体検出やステレオマッチングによる画像処理などの方法を用いることにより、他車両を道路面から立ち上がっている剛体として認識し、その輪郭形状を示す３次元座標データを記憶する。ここで、他車両とは自車両の近傍に在る車両であり、例えば、画像処理によって認識する場合には、撮影画像に写っている自車両以外の車両である。

また、他車両形状獲得手段４は、自車両から観測される他車両の位置情報を保存する。他車両形状獲得手段４は、例えば、ステレオマッチングにより三角測量の原理で自車両との位置関係を取得したり、ミリ波レーダを用いて他車両との距離を測定しカメラパラメータから計算したりすることによって他車両の位置情報を取得する。他車両形状獲得手段４は、例えば、他車両の輪郭形状を示すデータと、他車両の位置情報とに基づいて、他車両の輪郭を形成する各点の位置を示す他車両形状情報を生成し影領域算出手段５に出力する。

３次元地図データベース１０は、道路、建造物、標識等の構造物（オブジェクト）についての形状と位置とを示す情報（オブジェクト形状情報）を格納するデータベースである。オブジェクト形状情報は、例えば、直方体に近似してよいビルのような建物の場合、その８つの頂点を示す緯度、経度、高さなどの３次元座標データである。

影領域算出手段５は、光源位置情報獲得手段２の出力である光源位置情報と、自車両形状獲得手段３の出力である自車両形状情報と、他車両形状獲得手段４の出力である他車両形状情報と、３次元地図データベース１０が格納するオブジェクト形状情報とから影領域を特定する。すなわち、影領域算出手段５は、自車両、他車両およびオブジェクトが作る影領域の現実の位置座標を画像を用いずに算出する。

図２は、影領域算出手段５が影領域を特定する方法の一例を説明するための説明図である。具体的には、影領域算出手段５は、図２に示すように、車両およびオブジェクトの外側輪郭によって囲まれる閉じた空間を車両およびオブジェクトの内部領域（内部空間）とみなす。そして、光源Ｓと道路面上の１点Ａを結ぶ光線のパスがこれらの内部領域を通過する場合には、影を生成する光線のパスとみなし、この道路面の１点Ａを影領域内の点と特定する。

影領域算出手段５は、画像入力手段１が取得した画像上の２次元座標と、現実の３次元座標との対応関係をあらかじめ算出するものとする。具体的には、影領域算出手段５は、カメラの取り付け状態（車での取り付け位置や取り付け角度など）とカメラパラメータ（焦点距離、ＣＣＤセルサイズなど）を用いて、画像上の２次元座標と現実の３次元座標との対応関係を計算で求める。

影領域算出手段５は、算出した影領域の３次元座標データを、画像上の２次元座標に変換して影／非影領域協調標識認識手段６に出力する。これにより、画像上での影領域を特定することができる。

影／非影領域協調標識認識手段６は、影領域および非影領域のそれぞれにおいて、標識を認識するための処理を行う。図３は、影／非影領域協調標識認識手段６が標識を認識する方法の一例を説明するための説明図である。影／非影領域協調標識認識手段６は、図３に示すように、画像入力手段１に入力された画像を影領域と非影領域とに分割し、影領域のコントラストを強調した上で、各領域において認識対象の標識に対応したテンプレートとのマッチングなどの認識処理を行う。

すなわち、影／非影領域協調標識認識手段６は、影領域および非影領域のそれぞれについて、認識対象の標識の有無を判断する。影／非影領域協調標識認識手段６は、非影領域でのマッチングスコアと影領域でのマッチングスコアの和が閾値以上の場合は、画像中に認識対象の標識が存在したものとみなし、認識処理結果を認識処理結果出力手段７に出力する。ここで、認識処理結果とは、認識した標識を示す情報であって標識名などの情報である。認識処理結果出力手段７は、例えば、認識処理結果を表示する表示装置である。

ここで、影／非影領域強調標識認識手段６は、非影領域のみに限定して標識認識処理を行い、非影領域におけるマッチングスコアが閾値以上の場合に標識が存在すると判断してもよい。また、影／非影領域強調標識認識手段６は、非影領域および影領域の面積を計算し、面積が大きい領域におけるマッチングスコアが閾値以上の場合に標識が存在すると判断してもよい。

また、影／非影領域強調標識認識手段６が非影領域と影領域とで行う認識処理は、ニューラルネットワークを用いた統計的な学習に基づく認識処理でもよい。

また、認識対象の標識が横断歩道のような周期性を持つパターンである場合、影／非影領域強調標識認識手段６が非影領域と影領域とで行う認識処理は、フーリエ変換やガボール特徴量のようなパターンの周期性に反応するフィルタ処理でもよい。

本第１の実施形態において、影／非影領域協調標識認識手段６は、このように構成されているので、特定の図形が存在するか否かを影領域算出手段５が算出した影の領域内と外とについて個別に判断する領域図形認識手段及びその結果に基づいて画像中に特定の図形が存在するか否かを判断する図形認識手段として機能している。

また、本第１の実施形態では、光源位置情報獲得手段２が、光源として太陽の位置を算出する場合を例にしているが、光源はこれに限定したものではない。例えば、夜間の場合に、月の位置情報を獲得して月光が生成する影を算出してもよい。

ここで、図形認識装置は、コンピュータで実現可能であり、図形認識装置を構成する各構成要素、すなわち、画像入力手段１、光源位置情報獲得手段２、自車両形状獲得手段３、他車両形状獲得手段４、影領域算出手段５、影／非影領域協調標識認識手段６および認識結果出力手段７は、コンピュータの処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。図形認識装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、第２および第３の実施の形態でも同様である。

次に、図１および図４を参照して、本第１の実施形態の動作について説明する。

図４は、第１の実施形態の図形認識装置の動作を示すフローチャートである。図４は、画像入力手段１と認識結果出力手段７を除いた処理の流れ図を表し、ステップＳ１が光源位置情報獲得手段２、ステップＳ２〜ステップＳ３が自車両形状獲得手段３、ステップＳ４〜ステップＳ５が他車両形状獲得手段４、ステップＳ６が３次元地図データベース１０、ステップＳ７〜ステップＳ１５が影領域算出手段５、ステップＳ１６〜ステップＳ２１が影／非影領域協調標識認識手段６の、それぞれの動作を示している。

ステップＳ１において、光源位置情報獲得手段２は、３次元空間上での太陽の位置（Ｓｘ，Ｓｙ，Ｓｚ）をＧＰＳからの自車両位置情報、方位角情報および走行時の日時から算出する。

自車両形状獲得手段３は、ステップＳ２において、自車両形状情報として自車両の外側輪郭を形成する各点の位置を示す３次元座標データを取得する。そして、ステップＳ３において、ステップＳ２で取得した自車両形状情報によって囲まれる閉領域空間を自車両内部とみなし、車両内部空間を表現する配列Ｃａｒを生成する。ここで、配列Ｃａｒは、座標（ｘ，ｙ，ｚ）が車両の内部にあるか否かを示す配列であって、配列要素はＣａｒ［０］［ｘ］［ｙ］［ｚ］で表されるものとする。例えば、座標（ｘ，ｙ，ｚ）が自車両の内部にある場合は、対応する配列要素Ｃａｒ［０］［ｘ］［ｙ］［ｚ］を１とし、自車両の外部にある場合はＣａｒ［０］［ｘ］［ｙ］［ｚ］を０とする。

他車両形状獲得手段４は、ステップＳ４において、他車両の合計台数をＮ台として、他車両形状情報として全ての他車両の外側輪郭を形成する各点の位置を示す３次元座標データを取得する。そして、ステップＳ５において、これらＮ台の他車両のそれぞれについて、車両内部空間を表現する配列Ｃａｒを生成する。例えば、座標（ｘ，ｙ，ｚ）がｉ番目（ｉ＝１，２，・・・，Ｎ）の他車両の内部にある場合は、対応する配列要素Ｃａｒ［ｉ］［ｘ］［ｙ］［ｚ］を１とし、外部にある場合はＣａｒ［ｉ］［ｘ］［ｙ］［ｚ］を０とする。

影領域算出手段５は、ステップＳ６において、３次元地図データベース１０から、オブジェクト形状情報として３次元オブジェクトの外側輪郭情報を取得する。ここで、取得したオブジェクトの総数をＭとする。

ステップＳ７において、影領域算出手段５は、オブジェクト内部空間を表現する配列ＯＢＪを生成する。例えば、座標（ｘ，ｙ，ｚ）がｊ番目（ｊ＝１，２，・・・，Ｍ）のオブジェクトの内部にある場合は、対応する配列要素ＯＢＪ［ｊ］［ｘ］［ｙ］［ｚ］を１とし、オブジェクト外部にある場合はＯＢＪ［ｊ］［ｘ］［ｙ］［ｚ］を０とする。

ステップＳ８において、影領域算出手段５は、道路面上の点（ｘ，ｙ，０）に注目し、（ｘ，ｙ，０）とステップＳ１で得た太陽の位置（Ｓｘ，Ｓｙ，Ｓｚ）とを結ぶ線分ｌを算出する。

ステップＳ９において、影領域算出手段５は、線分ｌ上の座標（ｘ’，ｙ’，ｚ’）に注目し、ステップＳ１０において、座標（ｘ’，ｙ’，ｚ’）に対応した配列値Ｃａｒ［ｉ］［ｘ’］［ｙ’］［ｚ’］（ｉ＝０，１，・・・，Ｎ）、ＯＢＪ［ｊ］［ｘ’］［ｙ’］［ｚ’］（ｊ＝１，２，・・・，Ｍ）を生成して、１となるものがあるか否かを判定する。この判定は、道路面上で影となる点と太陽の座標を結んだとき、必ず何らかのオブジェクトにより光線のパスが遮られることを利用している。

ステップＳ１０でｙｅｓの場合、すなわち、Ｃａｒ［ｉ］［ｘ’］［ｙ’］［ｚ’］（ｉ＝０，１，・・・，Ｎ）＝１またはＯＢＪ［ｊ］［ｘ’］［ｙ’］［ｚ’］（ｊ＝１，２，・・・，Ｍ）＝１となるものがある場合、道路面上の座標（ｘ，ｙ，０）は影領域内の座標とみなされる。影領域算出手段５は、ステップＳ１１において、影領域配列Ｓｈａｄｏｗ（要素値は全て０で初期化されている）の対応する要素値Ｓｈａｄｏｗ［ｘ］［ｙ］の値を１としてステップＳ１４に移行する。

ステップＳ１０でｎｏの場合、すなわち、Ｃａｒ［ｉ］［ｘ’］［ｙ’］［ｚ’］（ｉ＝０，１，・・・，Ｎ）＝１またはＯＢＪ［ｊ］［ｘ’］［ｙ’］［ｚ’］（ｊ＝１，２，・・・，Ｍ）＝１となるものがない場合は、ステップＳ１２に移行し、線分ｌ上の全ての座標でステップＳ１０の判定を行ったか否かを判定する。

ステップＳ１２においてｎｏの場合、すなわち、ステップＳ１０の判定を行っていない座標がある場合には、ステップＳ１３に移行して未判定の線分ｌ上の座標を選択した上でステップＳ９に移行する。ステップＳ１２においてｙｅｓの場合（線分ｌ上の全ての座標でステップＳ１０の判定を行っている場合）には、ステップＳ１４に移行する。

ステップＳ１４では、道路面上の全ての座標でステップＳ８〜ステップＳ１３の処理が実行されたか否かが判定される。ステップＳ１４において、ｎｏの場合、すなわち道路面上の全ての座標で処理が実行されていない場合は、ステップＳ１５に移行し、未判定の道路面上の座標が選択されてステップＳ８に移行する。ステップＳ１４においてｙｅｓの場合、すなわち、道路面上の全ての座標で処理が実行された場合には、ステップＳ１６に移行する。

ステップＳ１６において、影領域算出手段５は、非影領域を表すＳｈａｄｏｗ［ｘ］［ｙ］＝０を満たす座標（ｘ，ｙ，０）を画像上の２次元座標に変換することにより、画像上での非影領域を特定し、影／非影領域協調標識認識手段６に出力する。次いで、影／非影領域協調標識認識手段６は、画像上での非影領域において、テンプレートマッチングを実行し、そのスコア値ＳＣ１を計算する。

ステップＳ１７において、影領域算出手段５は、影領域を表すＳｈａｄｏｗ［ｘ］［ｙ］＝１を満たす座標（ｘ，ｙ，０）において、画像のコントラスト強調を実行する。ステップＳ１８で、影領域算出手段５は、Ｓｈａｄｏｗ［ｘ］［ｙ］＝１を満たす座標（ｘ，ｙ，０）を画像上の２次元座標に変換することにより、画像上での影領域を特定し、影／非影領域協調標識認識手段６に出力する。次いで、影／非影領域協調標識認識手段６は、画像上での影領域においてテンプレートマッチングを行い、そのスコア値ＳＣ２を計算する。

ステップＳ１９において、影／非影領域協調標識認識手段６は、予め設定された重み係数ｗ１及びｗ２を用いてＳＣ１とＳＣ２との重み付き線形和ｗ１×ＳＣ１＋ｗ２×ＳＣ２を計算する。ここで、ｗ１＝０かつｗ２≠０の場合は影領域のみに限定したテンプレートマッチングに相当し、ｗ１≠０かつｗ２＝０の場合は非影領域のみに限定したテンプレートマッチングに相当する。

次に、影／非影領域協調標識認識手段６は、ＳＣ１とＳＣ２の重み付き線形和ｗ１×ＳＣ１＋ｗ２×ＳＣ２と、予め決められた閾値Ｔｈｒｅとの大小関係を判定する。ｗ１×ＳＣ１＋ｗ２×ＳＣ２がＴｈｒｅより大きい場合は、ステップＳ２０においてテンプレートに対応した標識パターンが存在すると判定し、小さい場合はステップＳ２１においてテンプレートに対応した標識パターンは存在しないと判定して、一連の処理を終了する。

以上に説明したように、第１の実施形態によれば、影領域を物体および光源の位置情報に基づいて算出し、影領域および非影領域のそれぞれにおいて認識処理を行うことにより、影の影響に頑健な標識認識を実行することができるという効果がある。

［実施形態２］
次に、本発明における第２の実施形態を図面を参照して説明する。

図５は、本発明における第２の実施形態の図形認識装置の構成を示すブロック図である。本第２の実施形態の図形認識装置は、光源の位置情報を、自車両位置，他車両位置および３次元地図データベースから算出するものである。

図５に示す光源位置情報獲得手段２は、自車両形状獲得手段３から得られる自車両形状情報と、他車両形状獲得手段４から得られる他車両形状情報および他車両の位置情報と、３次元地図データベース１０が格納するオブジェクト形状情報とを入力として、光源の位置を算出する。本第２の実施形態は、図５に示すように、自車両形状獲得手段３、他車両形状獲得手段４の出力および３次元地図データベース１０の出力が光源位置情報獲得手段２の入力になっていることに、前述した第１の実施形態との相違点がある。

次に、図５を参照して、本第２の実施形態の動作について説明する。

光源位置情報獲得手段２は、自車両形状獲得手段３の出力である自車両形状情報から、自車両のヘッドライトとテールランプの位置の３次元座標データを取得する。また、他車両形状獲得手段４の出力である他車両形状情報および自車両から観測される他車両の位置情報から、他車両のヘッドライトとテールランプの位置の３次元座標データを算出する。ここで、自車両形状情報および他車両形状情報は、車両のヘッドライトおよびテールランプの位置を示す３次元座標データを含むものとする。

また、光源位置情報獲得手段２は、３次元地図データベース１０が格納するオブジェクト形状情報から、街灯等の光源となり得るオブジェクトの光源部分の位置を示す３次元座標データを取得する。なお、オブジェクト形状情報は、オブジェクトの光源部分の位置を示す３次元座標データを含むものとする。

すなわち、光源位置情報獲得手段２は、自車両および他車両のヘッドライトとテールランプの位置を示す３次元座標データと、街灯等の光源部分の位置を示す３次元座標データを取得して、影領域算出手段５に出力する。

影領域算出手段５は、光源位置情報獲得手段２の出力である各光源の位置情報に基づき、各光源が画像中に生成する影領域を算出する。ここで、本第２実施形態の図形認識装置のその他の構成は、図１に示す第１の実施形態の構成と同様であるため説明を省略する。

本第２の実施形態によれば、前述した第１の実施形態による効果に加えて、人工光源の光源位置情報を、自車両位置、他車両位置および３次元地図データベースから算出することができるという効果がある。

［実施形態３］
次に、本発明における第３の実施形態を図面を参照して説明する。

図６は、本発明における第３の実施形態の図形認識装置の構成を示すブロック図である。本第３の実施形態は、光源位置が正確にわからない場合に、光源位置をあらかじめ定められた規則に従って複数種類設定し、各設定位置から計算される影領域と実際に撮影された画像を比較し、最もマッチする影領域を選択するものである。

図７は、図６に示す光源位置情報獲得手段８が、候補となる仮想光源（仮想太陽）を複数設定する方法の一例を示す説明図である。

光源位置情報獲得手段８は、仮想光源を複数設定し、それぞれの位置を示す３次元座標データを影領域算出手段５に出力する。

図６に示すように、影領域算出手段５は、自車両形状獲得手段３の出力である自車両形状情報と、他車両形状獲得手段４の出力である他車両形状情報と、３次元地図データベース１０が格納するオブジェクト形状情報とを用いて、光源位置情報獲得手段８によって設定されたそれぞれの位置に光源が存在する場合に生成される影領域を計算する。ここで、影領域算出手段５が算出する影領域は、３次元位置座標を画像上の２次元座標に変換したものである。

また、影領域算出手段５は、計算した各影領域と、画像入力手段１の出力である画像とを比較し、最もマッチする影領域を選択する。本第３の実施形態は、図６に示すように、光源位置情報獲得手段８が存在する点と画像入力手段１の出力が影領域算出手段５の入力となっている点に、前述した第１の実施形態との相違点がある。

次に、図６を参照して、本第３の実施形態の動作について説明する。

太陽の位置を算出する際に必要となる自車両の位置、太陽から自車両への方位角および走行時の日時のうち、自車両への方位角のみが不明の場合を例に説明する。

自車両の位置がわかっていることから太陽の仰角θは自明であるので、光源位置情報獲得手段８は、図７に示すように、天空上の仰角θの位置に仮想太陽を複数設定する。すなわち、光源位置情報獲得手段８は、仰角θの位置にある仮想太陽のそれぞれの位置を示す３次元座標データを影領域算出手段５に出力する。

影領域算出手段５は、自車両形状獲得手段３の出力である自車両形状情報と、他車両形状獲得手段４の出力である他車両形状情報と、３次元地図データベース１０が格納するオブジェクト形状情報とを用いて、光源位置情報獲得手段８によって設定された複数の仮想太陽が生成する影領域をそれぞれ計算する。ここで、影領域算出手段５が算出する影領域は、３次元位置座標を画像上の２次元座標に変換したものである。

次いで、影領域算出手段５は、計算した各影領域と、画像入力手段１の出力である画像中の該当部分とを比較し、影領域どうしが最もよく一致する場合の計算した影領域を、実際の影領域として特定する。例えば、該当部分における画像画素値の和が最も小さくなる仮想太陽の位置を実際の太陽の位置とみなし、対応する影領域を実際の影領域とみなす。

ここで、本第３の実施形態の光源位置情報獲得手段８において、太陽の仰角θが既知である場合について説明したが、太陽の方位角が既知の場合にも同様に仮想太陽の位置を設定してもよい。

本第３の実施形態によれば、前述した第１の実施形態による効果に加えて、光源の位置が正確にわからない場合であっても、影領域を算出することができるという効果がある。

本発明を、撮影画像中の標識を認識する図形認識装置に適用することができ、特に、車外環境撮影用カメラを用いた図形認識装置において、撮影画像中に存在する影の影響に対して頑健な標識認識を行うために本発明は好適に実施される。

本発明における第１の実施形態の図形認識装置の構成を示すブロック図である。 図１に開示された実施形態において影領域を特定する方法の一例を示す説明図である。 図１に開示された実施形態において標識を認識する方法の一例を示す説明図である。 図１に開示された実施形態の図形認識装置の動作を示すフローチャートである。 本発明における第２の実施形態の図形認識装置の構成を示すブロック図である。 本発明における第３の実施形態の図形認識装置の構成を示すブロック図である。 図６に開示された実施形態において光源を複数設定する方法の一例を示す説明図である。

符号の説明

１ 画像入力手段
２ 光源位置情報獲得手段
３ 自車両形状獲得手段
４ 他車両形状獲得手段
５ 影領域算出手段
６ 影／非影領域協調標識認識手段
７ 認識結果出力手段
１０ ３次元地図データベース

Claims (35)

1. 撮影装置に撮影された画像中の図形を認識する図形認識装置であって、
   前記画像における物体の影の領域を算出する影領域算出手段と、
   予め定められた特定の図形が前記画像中に存在するか否かを、前記影領域算出手段が算出した影の領域内と外とについて個別に判断する領域図形認識手段と、
   前記領域図形認識手段が判断した結果に基づいて前記画像中に特定の図形が存在するか否かを判断する図形認識手段とを備えたことを特徴とする図形認識装置。
2. 前記領域図形認識手段は、前記画像中の影の領域についてコントラストを強調した上で特定の図形が存在するか否かを判断する前記請求項１に記載の図形認識装置。
3. 前記影領域算出手段は、光源の位置を示す光源位置情報と前記影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に前記影の領域を算出する前記請求項１又は請求項２に記載の図形認識装置。
4. 前記影領域算出手段は、前記光源位置情報が示す一点と前記物体位置情報が示す一点とを通る直線の地面との交点を前記影の領域内の点として算出する前記請求項３に記載の図形認識装置。
5. 前記領域図形認識手段は、テンプレートマッチングにより特定の図形が存在するか否かを前記影の領域内と外とについて個別に判断する前記請求項１から請求項４のいずれか一項に記載の図形認識装置。
6. 前記領域図形認識手段は、ニューラルネットワークを用いた統計的な学習に基づいて特定の図形が存在するか否かを前記影の領域内と外とについて個別に判断する前記請求項１から請求項４のいずれか一項に記載の図形認識装置。
7. 前記領域図形認識手段は、前記特定の図形が周期性を有する場合に、前記影の領域内と外とについて特定のパターンの周期性の有無を判断する前記請求項１から請求項４のいずれか一項に記載の図形認識装置。
8. 前記領域図形認識手段は、影の領域内及び外のそれぞれについての判断結果を数値で出力し、
   前記図形認識手段は、前記領域図形認識手段により出力された各領域についての判断結果と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断する前記請求項１から請求項７のいずれか一項に記載の図形認識装置。
9. 前記図形認識手段は、前記領域図形認識手段により出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断する前記請求項８に記載の図形認識装置。
10. 前記光源の位置を前記撮影装置の位置及び撮影方向から算出し前記光源位置情報として出力する光源位置情報獲得手段を備えた前記請求項３から請求項９のうちのいずれか一項に記載の図形認識装置。
11. 前記光源位置情報が天体の現実の位置を示す前記請求項３から請求項１０のうちのいずれか一項に記載の図形認識装置。
12. 前記光源位置情報が人工光源の現実の位置を示す前記請求項３から請求項１０のうちのいずれか一項に記載の図形認識装置。
13. 前記影領域算出手段は、前記光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較しその比較結果に基づいて前記影の領域を特定する前記請求項３から請求項１２のいずれか一項に記載の図形認識装置。
14. 前記光源位置情報が仮想光源の位置を示す前記請求項１３に記載の図形認識装置。
15. 前記撮影装置を搭載した自車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報として出力する自車両形状獲得手段を備えた前記請求項３から請求項１４のいずれか一項に記載の図形認識装置。
16. 前記撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報として出力する他車両形状獲得手段を備えた前記請求項３から請求項１５のいずれか一項に記載の図形認識装置。
17. 構造物の輪郭形状と位置とを示す情報を前記物体位置情報として格納した地図データベースを備えた前記請求項３から請求項１６のいずれか一項に記載の図形認識装置。
18. 撮影装置に撮影された画像中の図形を認識する図形認識方法であって、
    前記画像における物体の影の領域を算出する影領域算出ステップと、
    予め定められた特定の図形が前記画像中に存在するか否かを、前記影領域算出ステップにおいて算出した影の領域内と外とについて個別に判断する領域図形認識ステップと、
    前記領域図形認識ステップにおいて判断した結果に基づいて前記画像中に特定の図形が存在するか否かを判断する図形認識ステップとを含むことを特徴とする図形認識方法。
19. 前記領域図形認識ステップでは、前記画像中の影の領域についてコントラストを強調した上で特定の図形が存在するか否かを判断する前記請求項１８に記載の図形認識方法。
20. 前記影領域算出ステップでは、光源の位置を示す光源位置情報と前記影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に前記影の領域を算出する前記請求項１８又は請求項１９に記載の図形認識方法。
21. 前記影領域算出ステップでは、前記光源位置情報が示す一点と前記物体位置情報が示す一点とを通る直線の地面との交点を前記影の領域内の点として算出する前記請求項２０に記載の図形認識方法。
22. 前記領域図形認識ステップでは、テンプレートマッチングにより特定の図形が存在するか否かを前記影の領域内と外とについて個別に判断する前記請求項１８から請求項２１のいずれか一項に記載の図形認識方法。
23. 前記領域図形認識ステップでは、ニューラルネットワークを用いた統計的な学習に基づいて特定の図形が存在するか否かを前記影の領域内と外とについて個別に判断する前記請求項１８から請求項２１のいずれか一項に記載の図形認識方法。
24. 前記領域図形認識ステップでは、前記特定の図形が周期性を有する場合に、前記影の領域内と外とについて特定のパターンの周期性の有無を判断する前記請求項１８から請求項２１のいずれか一項に記載の図形認識方法。
25. 前記領域図形認識ステップでは、影の領域内及び外のそれぞれについての判断結果を数値で出力し、
    前記図形認識ステップでは、前記領域図形認識ステップにより出力された各領域についての判断結果と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断する前記請求項１８から請求項２４のいずれか一項に記載の図形認識方法。
26. 前記図形認識ステップでは、前記領域図形認識ステップにより出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断する前記請求項２５に記載の図形認識方法。
27. 前記光源の位置を前記撮影装置の位置及び撮影方向から算出し前記光源位置情報とする前記光源位置情報獲得ステップを含む前記請求項２０から請求項２６のうちのいずれか一項に記載の図形認識方法。
28. 前記光源位置情報が天体の現実の位置を示す前記請求項２０から請求項２７のうちのいずれか一項に記載の図形認識方法。
29. 前記光源位置情報が人工光源の現実の位置を示す前記請求項２０から請求項２７のうちのいずれか一項に記載の図形認識方法。
30. 前記影領域算出ステップでは、前記光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較して前記影の領域を特定する前記請求項２０から請求項２９のいずれか一項に記載の図形認識方法。
31. 前記光源位置情報が仮想光源の位置を示す前記３０に記載の図形認識方法。
32. 前記撮影装置を搭載した自車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報とする自車両形状獲得ステップを含む前記請求項２０から請求項３１のいずれか一項に記載の図形認識方法。
33. 前記撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報とする他車両形状獲得ステップを含む前記請求項２０から請求項３２のいずれか一項に記載の図形認識方法。
34. 構造物の輪郭形状と位置情報とを示す情報を前記物体位置情報とする前記請求項２０から請求項３３のいずれか一項に記載の図形認識方法。
35. 撮影装置に撮影された画像中の図形を認識するコンピュータに搭載される図形認識プログラムであって、
    前記画像における物体の影の領域を算出する影領域算出処理と、
    予め定められた特定の図形が前記画像中に存在するか否かを、前記影領域算出処理で算出した影の領域内と外とについて個別に判断する領域図形認識処理と、
    前記領域図形認識処理で判断した結果に基づいて前記画像中に特定の図形が存在するか否かを判断する図形認識処理とを実行させることを特徴とする図形認識プログラム。

Images