WO2007083494A1

WO2007083494A1 - 図形認識装置、図形認識方法および図形認識プログラム

Info

Publication number: WO2007083494A1
Application number: PCT/JP2006/325903
Authority: WO
Inventors: Shinichi Miyamoto
Original assignee: Nec Corporation
Priority date: 2006-01-17
Filing date: 2006-12-26
Publication date: 2007-07-26
Also published as: US20100254595A1; US8229162B2; JPWO2007083494A1

Abstract

【課題】　画像中に存在する影領域に影響されることなく、図形を認識することができる図形認識装置、図形認識方法および図形認識プログラムを提供する。【解決手段】　画像入力手段１は、車外環境の画像を取得し、光源位置情報獲得手段２は、太陽等の光源の位置を算出する。自車両形状獲得手段３および他車両形状獲得手段４は、それぞれ自車両および他車両の輪郭を形成する各点の位置を示す自車両形状情報および他車両形状情報を生成する。影領域計算手段５は、自車両形状情報、他車両形状情報、オブジェクト形状情報および光源位置情報に基づいて影領域の位置座標を算出し、画像上の２次元座標に変換して影／非影領域協調標識認識手段６に出力する。影／非影領域協調標識認識手段６は、特定された影領域および非影領域のそれぞれにおいて認識対象の標識の有無を判断することにより、画像中の標識を認識する。

Description

明細書

図形認識装置、図形認識方法および図形認識プログラム

技術分野

[0001] 本発明は、画像中の図形を認識する図形認識装置、標識認識方法および標識認識プログラムに関し、特に車載カメラによる撮影画像中の標識を認識する図形認識装置、標識認識方法および標識認識プログラムに関する。

背景技術

[0002] 自動車による交通事故の多くは、死角や注意不足による運転者の見落としが原因である。運転者にとって安全運転のためには、「止まれ」などの道路標識や、横断歩道、停止線、速度規制などを示す路面標識などの安全に関わる道路情報を正確に認識することが重要である。このため、周囲の標識を認識して運転者に通知する技術としては、路面と車両の間で通信を行う方法や、車外撮影用のカメラから取得した画像にっ、てパターン認識を行う方法などが用いられて、る。

[0003] ノターン認識を行うための車外環境を記録した画像中には、認識対象である標識以外にも、建造物、街路樹、看板、歩行者、他車両等のように多様なオブジェクトが存在している。これらのオブジェクトは、標識のパターン認識に大きな影響を及ぼしてしまう。例えば、交差点を通過中の先行車両によって横断歩道の一部が遮蔽されていたり、市街地の道路上を通行する歩行者によって白線の一部が遮蔽されていたりするとパターン認識を妨げることがある。

[0004] また、オブジェクトが作り出す影も、標識のパターン認識の認識結果を左右する。例えば、昼間に走行中の自車両が作り出す影や道路標識が道路面に落とす影によつて路面標識の一部のコントラストが著しく低下したように撮影されると路面標識が認識されないことがある。

[0005] オブジェクトによって遮蔽されたパターン部分については、情報が完全に欠落したことになり、パターン形状等の事前知識を用いないと遮蔽部分の情報を得ることはできない。一方、影によってパターンのコントラストが変化した場合は、パターン形状に関する情報が完全に欠落したわけではな、ので、本来のパターン形状情報を復元することができる。

[0006] また、パターン認識においては、見え方が異なるという理由力も認識対象の一部のみを用いて認識するよりも、出来るだけ認識対象全体を用いて認識を行った方が認識率を上げることが出来ることが知られている。従って、画像中においてオブジェクトの影を特定し、影のある領域 (影領域)または影のな!ヽ領域 (非影領域)で標識認識を協調させながら行うことが、信頼度の高い標識認識処理を行う上で重要となる。

[0007] 画像中のオブジェクトの影を特定するためには光源の位置を特定する必要がある。

そこで、太陽の位置情報を取得し車両の制御やカーナビゲーシヨンシステム（以下、カーナビと表記する）に用いる技術力、特許文献 1および特許文献 2に開示されている。

[0008] 特許文献 1に記載されたシステムでは、自車両の傾斜角、進行方向、位置、走行時の日時力太陽の位置を計算することにより、車両の特定部位を太陽光から遮蔽するための遮蔽シールドを制御して、る。

[0009] 特許文献 2に記載されたシステムは、自車両の位置と方位と走行時の日付とから太陽の位置を計算し、カーナビ画面において、太陽、建造物、標識などの表示対象物に対し、実際の気象条件に合わせた表示色、表示形状、表示陰影をつけるシステムである。

[0010] 特許文献 1：特開 2005 - 8058号公報（段落 0033— 0043)

特許文献 2 :特開 2002— 310689号公報（段落 0039— 0049)

発明の開示

発明が解決しょうとする課題

[0011] しかし、特許文献 1に記載されたシステムでは、太陽の位置の計算は行っているものの、オブジェクトが生成する影領域の特定は行っておらず、標識認識処理に影領域の情報を付与することはできな、。

[0012] また、特許文献 2に記載されたシステムでは、太陽の位置を算出した上で、地図データベースを基に実際の影領域を特定し、地図上のオブジェクトに陰影として表示させている力道路画像に高い確率で存在する車両などの移動オブジェクトが生成する影までは考慮していない。また、影領域を特定した後で認識処理を行っている訳ではなく、影領域の影響に頑健な標識認識を実現して!/ヽなヽ。

[0013] そこで、本発明は、画像中に存在する影領域に影響されることなぐ標識を認識することができる図形認識装置、図形認識方法および図形認識プログラムを提供することを目的とする。

課題を解決するための手段

[0014] 上記目的を達成するため、本発明の図形認識装置は、撮影装置に撮影された画像中の図形を認識する図形認識装置であって、画像における物体の影の領域を算出する影領域算出手段と、予め定められた特定の図形が存在するか否かを、影領域算出手段が算出した影の領域内と外とについて個別に判断する領域図形認識手段と、領域図形認識手段が判断した結果に基づいて画像中に特定の図形が存在するか否かを判断する図形認識手段とを備えたことを特徴とする。

[0015] また、上記の図形認識装置において、領域図形認識手段は、画像中の影の領域についてコントラストを強調した上で特定の図形が存在する力否かを判断する。このようにすると、画像中の影の領域についても正確なパターン認識が可能となる。

[0016] また、上述した影領域算出手段は、光源の位置を示す光源位置情報と影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に影の領域を算出してもよい。

[0017] また、影領域算出手段は、光源位置情報が示す一点と物体位置情報が示す一点とを通る直線の地面との交点を影の領域内の点として算出してもよい。このような構成にすると、光源の位置情報と物体の形状情報に基づいて影領域を算出できる。

[0018] 上述した領域図形認識手段は、テンプレートマッチングにより特定の図形が存在する力否かを影の領域内と外とについて個別に判断してもよい。

[0019] 領域図形認識手段は、ニューラルネットワークを用いた統計的な学習に基づ、て特定の図形が存在する力否かを影の領域内と外とについて個別に判断してもよい。

[0020] 領域図形認識手段は、特定の図形が周期性を有する場合に、影の領域内と外とにっ、て特定のパターンの周期性の有無を判断してもよ、。

[0021] 領域図形認識手段は、影の領域内及び外のそれぞれについての判断結果を数値で出力し、図形認識手段は、領域図形認識手段により出力された各領域についての判断結果と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断してもよい。このような構成にすると、例えば、各領域におけるマッチングスコアが閾値以上の場合に、認識対象の標識が在ると判断することができる。

[0022] 上述した図形認識手段は、領域図形認識手段により出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断してもよい。このような構成にすると、例えば、影領域又は非影領域のどちらかのみに限定したマッチングスコアが閾値以上の場合に、認識対象の標識が在ると判断することができる。

[0023] また、上記の図形認識装置は、光源の位置を撮影装置の位置及び撮影方向から算出し光源位置情報として出力する光源位置情報獲得手段を備えてもよい。

[0024] 光源位置情報が天体の現実の位置を示す情報でもよ!/、。

[0025] 光源位置情報が人工光源の現実の位置を示す情報でもよ!/ヽ。

[0026] 上述した影領域算出手段は、光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較して影の領域を特定してもよい。この場合、光源位置情報が仮想光源の位置を示す情報でもよい。このようにすると、光源の位置が正確にわ力もない場合でも影領域を算出できる。

[0027] また、上記の図形認識装置は、撮影装置を搭載した自車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報として出力する自車両形状獲得手段を備えてもよい。

[0028] さらに、上記の図形認識装置は、撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報として出力する他車両形状獲得手段を備えてもょヽ。

[0029] またさらに、上記の図形認識装置は、構造物の輪郭形状と位置とを示す情報を物体位置情報として格納した地図データベースを備えてもよい。

[0030] 次に、本発明の図形認識方法は、撮影装置に撮影された画像中の図形を認識する図形認識方法であって、画像における物体の影の領域を算出する影領域算出ステップと、予め定められた特定の図形が存在するか否かを、影領域算出ステップにおいて算出した影の領域内と外とについて個別に判断する領域図形認識ステップと、領域図形認識ステップにお、て判断した結果に基づ、て画像中に特定の図形が存在するか否かを判断する図形認識ステップとを含むことを特徴とする。

[0031] 上述した領域図形認識ステップでは、画像中の影の領域についてコントラストを強調した上で特定の図形が存在するか否かを判断してもよい。

[0032] 上述した影領域算出ステップでは、光源の位置を示す光源位置情報と影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に影の領域を算出してもよい。

[0033] 影領域算出ステップでは、光源位置情報が示す一点と物体位置情報が示す一点とを通る直線の地面との交点を影の領域内の点として算出してもよい。

[0034] 上述した領域図形認識ステップでは、テンプレートマッチングにより特定の図形が存在する力否かを影の領域内と外とについて個別に判断してもよい。

[0035] 領域図形認識ステップでは、ニューラルネットワークを用いた統計的な学習に基づいて特定の図形が存在する力否かを影の領域内と外とについて個別に判断してもよい。

[0036] 領域図形認識ステップでは、特定の図形が周期性を有する場合に、影の領域内と外とにつ、て特定のパターンの周期性の有無を判断してもよ、。

[0037] 領域図形認識ステップでは、影の領域内及び外のそれぞれについての判断結果を数値で出力し、図形認識ステップでは、領域図形認識ステップにより出力された各領域についての判断結果と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断してもよい。

[0038] また、上述した図形認識ステップでは、領域図形認識ステップにより出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づ、て、画像中に特定の図形が存在するか否かを判断してもよ!/、。

[0039] また、上記の図形認識方法は、光源の位置を撮影装置の位置及び撮影方向から算出し光源位置情報とする光源位置情報獲得ステップを含んでもよい。 [0040] また、光源位置情報が天体の現実の位置を示す情報であってもよ!/、。

[0041] 光源位置情報が人工光源の現実の位置を示す情報であってもよ!/、。

[0042] 上述した影領域算出ステップでは、光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較して影の領域を特定してもよい。この場合、光源位置情報が仮想光源の位置を示す情報であってもよい。

[0043] また、上記の図形認識方法は、撮影装置を搭載した自車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報とする自車両形状獲得ステップを含んでもよい。

[0044] さらに、上記の図形認識方法は、撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し物体位置情報とする他車両形状獲得ステップを含んでもょヽ。

[0045] またさらに、上記の図形認識方法は、構造物の輪郭形状と位置情報とを示す情報を物体位置情報としてもょヽ。

[0046] 次に、本発明の図形認識プログラムは、撮影装置に撮影された画像中の図形を認識するコンピュータに搭載される図形認識プログラムであって、画像における物体の影の領域を算出する影領域算出処理と、予め定められた特定の図形が存在するか否かを、影領域算出処理で算出した影の領域内と外とについて個別に判断する領域図形認識処理と、領域図形認識処理で判断した結果に基づ!ヽて画像中に特定の図形が存在するか否かを判断する図形認識処理とを実行させることを特徴とする。発明の効果

[0047] 本発明は以上のように構成され機能するため、これにより、自車両形状、他車両形状、その他のオブジェクトの形状の情報を利用して実際に車外撮影用カメラから取得される画像上の影領域を正確に特定した上で、影領域と非影領域とにお！ヽて標識認識を協調させながら実行し、影に影響されないで標識認識を実行することが出来る。発明を実施するための最良の形態

[0048] 以下、本発明の実施形態を図面を参照して説明する。 [0049] [実施形態 1]

図 1は、本発明における第 1の実施形態の図形認識装置の構成を示すブロック図である。図 1に示す図形認識装置は、画像入力手段 1と、光源位置情報獲得手段 2と、自車両形状獲得手段 3と、他車両形状獲得手段 4と、影領域算出手段 5と、影 Z非影領域協調標識認識手段 6と、認識結果出力手段 7と、 3次元地図データベース 10 とを備えている。

[0050] 画像入力手段 1は、自車両に搭載された車外撮影用カメラ (撮影装置)で撮影された車外環境の画像を入力する。画像入力手段 1は、例えば、車載カメラによって撮影された車外環境の撮影画像を入力し、デジタル画像にして影 z非影領域協調標識認識手段 6に出力する。

[0051] 光源位置情報獲得手段 2は、太陽等の光源の位置を算出する。光源位置情報獲得手段 2は、例えば、自車両が走行している位置および方位角を GPS(Global Positi oning System )から取得し、走行時の日時から太陽の位置を計算して光源位置情報として影領域算出手段 5へ出力する。

[0052] 自車両形状獲得手段 3は、自車両の形状情報（自車両形状情報)を獲得する。自車両形状情報は、自車両の輪郭を形成する各点の位置を示す 3次元座標データの集合である。自車両形状獲得手段 3は、既知である自車両の輪郭形状を示す 3次元座標データを予め記憶している。自車両形状獲得手段 3は、例えば、予め記憶する自車両の輪郭形状を示すデータと、 GPSから取得した自車両の位置情報とに基づ V、て、自車両の輪郭を形成する各点の位置を示す自車両形状情報を生成し、影領域算出手段 5に出力する。既知である自車両の輪郭形状を示すデータを用いることで、自車両形状を算出する必要がなぐ迅速な処理が可能となる。

[0053] 他車両形状獲得手段 4は、他車両の形状情報 (他車両形状情報)を獲得する。他車両形状情報は、他車両の輪郭を形成する各点の位置を示す 3次元座標データの集合である。他車両形状獲得手段 4は、例えば、自車両に搭載されたミリ波レーダによる剛体物体検出やステレオマッチングによる画像処理などの方法を用いることにより、他車両を道路面から立ち上がつている剛体として認識し、その輪郭形状を示す 3 次元座標データを記憶する。ここで、他車両とは自車両の近傍に在る車両であり、例えば、画像処理によって認識する場合には、撮影画像に写っている自車両以外の車両である。

[0054] また、他車両形状獲得手段 4は、自車両力観測される他車両の位置情報を保存する。他車両形状獲得手段 4は、例えば、ステレオマッチングにより三角測量の原理で自車両との位置関係を取得したり、ミリ波レーダを用いて他車両との距離を測定しカメラパラメータ力も計算したりすることによって他車両の位置情報を取得する。他車両形状獲得手段 4は、例えば、他車両の輪郭形状を示すデータと、他車両の位置情報とに基づいて、他車両の輪郭を形成する各点の位置を示す他車両形状情報を生成し影領域算出手段 5に出力する。

[0055] 3次元地図データベース 10は、道路、建造物、標識等の構造物 (オブジェクト）につ V、ての形状と位置とを示す情報 (オブジェクト形状情報)を格納するデータベースである。オブジェクト形状情報は、例えば、直方体に近似してよいビルのような建物の場合、その 8つの頂点を示す緯度、経度、高さなどの 3次元座標データである。

[0056] 影領域算出手段 5は、光源位置情報獲得手段 2の出力である光源位置情報と、自車両形状獲得手段 3の出力である自車両形状情報と、他車両形状獲得手段 4の出力である他車両形状情報と、 3次元地図データベース 10が格納するオブジェクト形状情報とから影領域を特定する。すなわち、影領域算出手段 5は、自車両、他車両およびオブジェクトが作る影領域の現実の位置座標を画像を用いずに算出する。

[0057] 図 2は、影領域算出手段 5が影領域を特定する方法の一例を説明するための説明図である。具体的には、影領域算出手段 5は、図 2に示すように、車両およびォブジェタトの外側輪郭によって囲まれる閉じた空間を車両およびオブジェクトの内部領域（内部空間）とみなす。そして、光源 Sと道路面上の 1点 Aを結ぶ光線のパスがこれらの内部領域を通過する場合には、影を生成する光線のパスとみなし、この道路面の 1点 Aを影領域内の点と特定する。

[0058] 影領域算出手段 5は、画像入力手段 1が取得した画像上の 2次元座標と、現実の 3 次元座標との対応関係をあらかじめ算出するものとする。具体的には、影領域算出手段 5は、カメラの取り付け状態 (車での取り付け位置や取り付け角度など）とカメラパラメータ (焦点距離、 CCDセルサイズなど)を用いて、画像上の 2次元座標と現実の 3 次元座標との対応関係を計算で求める。

[0059] 影領域算出手段 5は、算出した影領域の 3次元座標データを、画像上の 2次元座標に変換して影 Z非影領域協調標識認識手段 6に出力する。これにより、画像上での影領域を特定することができる。

[0060] 影 Z非影領域協調標識認識手段 6は、影領域および非影領域のそれぞれにお!/、て、標識を認識するための処理を行う。図 3は、影 Z非影領域協調標識認識手段 6 が標識を認識する方法の一例を説明するための説明図である。影 Z非影領域協調標識認識手段 6は、図 3に示すように、画像入力手段 1に入力された画像を影領域と非影領域とに分割し、影領域のコントラストを強調した上で、各領域において認識対象の標識に対応したテンプレートとのマッチングなどの認識処理を行う。

[0061] すなわち、影 Z非影領域協調標識認識手段 6は、影領域および非影領域のそれぞれについて、認識対象の標識の有無を判断する。影 Z非影領域協調標識認識手段

6は、非影領域でのマッチングスコアと影領域でのマッチングスコアの和が閾値以上の場合は、画像中に認識対象の標識が存在したものとみなし、認識処理結果を認識処理結果出力手段 7に出力する。ここで、認識処理結果とは、認識した標識を示す情報であって標識名などの情報である。認識処理結果出力手段 7は、例えば、認識処理結果を表示する表示装置である。

[0062] ここで、影 Z非影領域強調標識認識手段 6は、非影領域のみに限定して標識認識処理を行!、、非影領域におけるマッチングスコアが閾値以上の場合に標識が存在すると判断してもよい。また、影 Z非影領域強調標識認識手段 6は、非影領域および影領域の面積を計算し、面積が大きい領域におけるマッチングスコアが閾値以上の場合に標識が存在すると判断してもよい。

[0063] また、影 Z非影領域強調標識認識手段 6が非影領域と影領域とで行う認識処理は、ニューラルネットワークを用いた統計的な学習に基づく認識処理でもよ、。

[0064] また、認識対象の標識が横断歩道のような周期性を持つパターンである場合、影 Z非影領域強調標識認識手段 6が非影領域と影領域とで行う認識処理は、フーリエ変換やガボール特徴量のようなパターンの周期性に反応するフィルタ処理でもよい。

[0065] 本第 1の実施形態において、影 Z非影領域協調標識認識手段 6は、このように構成されているので、特定の図形が存在する力否かを影領域算出手段 5が算出した影の領域内と外とについて個別に判断する領域図形認識手段及びその結果に基づいて画像中に特定の図形が存在するカゝ否かを判断する図形認識手段として機能している。

[0066] また、本第 1の実施形態では、光源位置情報獲得手段 2が、光源として太陽の位置を算出する場合を例にしている力光源はこれに限定したものではない。例えば、夜間の場合に、月の位置情報を獲得して月光が生成する影を算出してもよい。

[0067] ここで、図形認識装置は、コンピュータで実現可能であり、図形認識装置を構成する各構成要素、すなわち、画像入力手段 1、光源位置情報獲得手段 2、自車両形状獲得手段 3、他車両形状獲得手段 4、影領域算出手段 5、影 Z非影領域協調標識認識手段 6および認識結果出力手段 7は、コンピュータの処理装置 (CPU)に上述した機能を実現させるためのプログラムとして実現可能である。図形認識装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第 1の実施の形態に限らず、第 2および第 3の実施の形態でも同様である。

[0068] 次に、図 1および図 4を参照して、本第 1の実施形態の動作について説明する。

[0069] 図 4は、第 1の実施形態の図形認識装置の動作を示すフローチャートである。図 4 は、画像入力手段 1と認識結果出力手段 7を除いた処理の流れ図を表し、ステップ S 1が光源位置情報獲得手段 2、ステップ S2〜ステップ S3が自車両形状獲得手段 3、ステップ S4〜ステップ S5が他車両形状獲得手段 4、ステップ S6が 3次元地図データベース 10、ステップ S7〜ステップ S 15が影領域算出手段 5、ステップ S16〜ステップ S21が影 Z非影領域協調標識認識手段 6の、それぞれの動作を示している。

[0070] ステップ S1にお、て、光源位置情報獲得手段 2は、 3次元空間上での太陽の位置

(Sx, Sy, Sz)を GPSからの自車両位置情報、方位角情報および走行時の日時から算出する。

[0071] 自車両形状獲得手段 3は、ステップ S2において、自車両形状情報として自車両の外側輪郭を形成する各点の位置を示す 3次元座標データを取得する。そして、ステツプ S3において、ステップ S2で取得した自車両形状情報によって囲まれる閉領域空間を自車両内部とみなし、車両内部空間を表現する配列 Carを生成する。ここで、配列 Carは、座標（X, y, z)が車両の内部にある力否かを示す配列であって、配列要素は Car[0] [X] [y] [z]で表されるものとする。例えば、座標 (x, y, z)が自車両の内部にある場合は、対応する配列要素 Car[0] [X] [y] [z]を 1とし、自車両の外部にある場合は Car [0] [x] [y] [z]を 0とする。

[0072] 他車両形状獲得手段 4は、ステップ S4にお、て、他車両の合計台数を N台として、他車両形状情報として全ての他車両の外側輪郭を形成する各点の位置を示す 3次元座標データを取得する。そして、ステップ S5において、これら N台の他車両のそれぞれについて、車両内部空間を表現する配列 Carを生成する。例えば、座標 (X, y, z)が i番目（i=l, 2, ···, N)の他車両の内部にある場合は、対応する配列要素 Car [i] [x] [y] [z]を 1とし、外部にある場合は Car [i] [x] [y] [z]を 0とする。

[0073] 影領域算出手段 5は、ステップ S6において、 3次元地図データベース 10から、ォブジェタト形状情報として 3次元オブジェクトの外側輪郭情報を取得する。ここで、取得したオブジェクトの総数を Mとする。

[0074] ステップ S7にお、て、影領域算出手段 5は、オブジェクト内部空間を表現する配列 OBJを生成する。例えば、座標（X, y, z)が j番目（j = 1, 2, ···, M)のオブジェクトの内部にある場合は、対応する配列要素 OBJ[j] [X] [y] [z]を 1とし、オブジェクト外部にある場合は OBJ[j] [x] [y] [z]を 0とする。

[0075] ステップ S8において、影領域算出手段 5は、道路面上の点 (X, y, 0)に注目し、 (x , y, 0)とステップ SIで得た太陽の位置（Sx, Sy, Sz)とを結ぶ線分 1を算出する。

[0076] ステップ S9において、影領域算出手段 5は、線分 1上の座標 (χ', y', ζ')に注目し、ステップ S 10において、座標 (χ', y', ζ')に対応した配列値 Car [i] [χ' ] [y， ] [ζ， ] (i = 0, 1, ···, N)、OBJ[j][x，][y，][z，](j = l, 2, ···, M)を生成して、 1となるものがあるカゝ否かを判定する。この判定は、道路面上で影となる点と太陽の座標を結んだとき、必ず何らかのオブジェクトにより光線のノスが遮られることを利用している。

[0077] ステップ S 10で yesの場合、すなわち、 Car[i] [x， ] [y， ] [z， ] (i=0, 1, ···, N)= 1または OBJ[j][x'][y'][z'](j = l, 2, ···, M) = 1となるものがある場合、道路面上の座標 (X, y, 0)は影領域内の座標とみなされる。影領域算出手段 5は、ステップ S 11にお、て、影領域配列 Shadow (要素値は全て 0で初期化されて、る）の対応する要素値 Shadow[x] [y]の値を 1としてステップ S14に移行する。

[0078] ステップ310で110の場合、すなゎち、じ&1： ] [ ， ] [ ， ] [2， ] (1=0, 1, · · · , N) = l または0 】[;1] [ ， ] [ ，] [₂，] 0 = 1, 2, · · · , M) = lとなるものがない場合は、ステツプ S12に移行し、線分 1上の全ての座標でステップ S 10の判定を行ったか否かを判定する。

[0079] ステップ S12において noの場合、すなわち、ステップ S 10の判定を行っていない座標がある場合には、ステップ S 13に移行して未判定の線分 1上の座標を選択した上でステップ S9に移行する。ステップ S 12にお、て yesの場合 (線分 1上の全ての座標でステップ S 10の判定を行っている場合）には、ステップ S14に移行する。

[0080] ステップ S 14では、道路面上の全ての座標でステップ S8〜ステップ S 13の処理が実行された力否かが判定される。ステップ S 14において、 noの場合、すなわち道路面上の全ての座標で処理が実行されていない場合は、ステップ S 15に移行し、未判定の道路面上の座標が選択されてステップ S8に移行する。ステップ S14において ye sの場合、すなわち、道路面上の全ての座標で処理が実行された場合には、ステップ S 16に移行する。

[0081] ステップ S16において、影領域算出手段 5は、非影領域を表す Shadow [X] [y] = 0を満たす座標 (x, y, 0)を画像上の 2次元座標に変換することにより、画像上での非影領域を特定し、影 Z非影領域協調標識認識手段 6に出力する。次いで、影 Z非影領域協調標識認識手段 6は、画像上での非影領域において、テンプレートマッチングを実行し、そのスコア値 SC1を計算する。

[0082] ステップ S17において、影領域算出手段 5は、影領域を表す Shadow [X] [y] = 1を満たす座標 (X, y, 0)において、画像のコントラスト強調を実行する。ステップ S18で、影領域算出手段 5は、 Shadow[x] [y] = 1を満たす座標 (x, y, 0)を画像上の 2次元座標に変換することにより、画像上での影領域を特定し、影 Z非影領域協調標識認識手段 6に出力する。次いで、影 Z非影領域協調標識認識手段 6は、画像上での影領域にお、てテンプレートマッチングを行、、そのスコア値 SC2を計算する。

[0083] ステップ S 19におヽて、影 Z非影領域協調標識認識手段 6は、予め設定された重み係数 wl及び w2を用いて SCIと SC2との重み付き線形和 wl X SCl +w2 X SC2 を計算する。ここで、 wl = 0かつ w2≠0の場合は影領域のみに限定したテンプレートマッチングに相当し、 wl半 0かつ w2 = 0の場合は非影領域のみに限定したテンプレートマッチングに相当する。

[0084] 次に、影 Z非影領域協調標識認識手段 6は、 SC1と SC2の重み付き線形和 wl X SCl +w2 X SC2と、予め決められた閾値 Threとの大小関係を判定する。 wl X SC 1 +w2 X SC2が Threより大きい場合は、ステップ S20においてテンプレートに対応した標識パターンが存在すると判定し、小さ、場合はステップ S21にお、てテンプレートに対応した標識パターンは存在しないと判定して、一連の処理を終了する。

[0085] 以上に説明したように、第 1の実施形態によれば、影領域を物体および光源の位置情報に基づいて算出し、影領域および非影領域のそれぞれにおいて認識処理を行うことにより、影の影響に頑健な標識認識を実行することができるという効果がある。

[0086] [実施形態 2]

次に、本発明における第 2の実施形態を図面を参照して説明する。

[0087] 図 5は、本発明における第 2の実施形態の図形認識装置の構成を示すブロック図である。本第 2の実施形態の図形認識装置は、光源の位置情報を、自車両位置，他車両位置および 3次元地図データベース力算出するものである。

[0088] 図 5に示す光源位置情報獲得手段 2は、自車両形状獲得手段 3から得られる自車両形状情報と、他車両形状獲得手段 4から得られる他車両形状情報および他車両の位置情報と、 3次元地図データベース 10が格納するオブジェクト形状情報とを入力として、光源の位置を算出する。本第 2の実施形態は、図 5に示すように、自車両形状獲得手段 3、他車両形状獲得手段 4の出力および 3次元地図データベース 10 の出力が光源位置情報獲得手段 2の入力になっていることに、前述した第 1の実施形態との相違点がある。

[0089] 次に、図 5を参照して、本第 2の実施形態の動作について説明する。

[0090] 光源位置情報獲得手段 2は、自車両形状獲得手段 3の出力である自車両形状情報から、自車両のヘッドライトとテールランプの位置の 3次元座標データを取得する。また、他車両形状獲得手段 4の出力である他車両形状情報および自車両から観測される他車両の位置情報から、他車両のヘッドライトとテールランプの位置の 3次元座標データを算出する。ここで、自車両形状情報および他車両形状情報は、車両のへッドライトおよびテールランプの位置を示す 3次元座標データを含むものとする。

[0091] また、光源位置情報獲得手段 2は、 3次元地図データベース 10が格納するォブジェクト形状情報から、街灯等の光源となり得るオブジェクトの光源部分の位置を示す 3 次元座標データを取得する。なお、オブジェクト形状情報は、オブジェクトの光源部分の位置を示す 3次元座標データを含むものとする。

[0092] すなわち、光源位置情報獲得手段 2は、自車両および他車両のヘッドライトとテールランプの位置を示す 3次元座標データと、街灯等の光源部分の位置を示す 3次元座標データを取得して、影領域算出手段 5に出力する。

[0093] 影領域算出手段 5は、光源位置情報獲得手段 2の出力である各光源の位置情報に基づき、各光源が画像中に生成する影領域を算出する。ここで、本第 2実施形態の図形認識装置のその他の構成は、図 1に示す第 1の実施形態の構成と同様であるため説明を省略する。

[0094] 本第 2の実施形態によれば、前述した第 1の実施形態による効果に加えて、人工光源の光源位置情報を、自車両位置、他車両位置および 3次元地図データベースから算出することができるという効果がある。

[0095] [実施形態 3]

次に、本発明における第 3の実施形態を図面を参照して説明する。

[0096] 図 6は、本発明における第 3の実施形態の図形認識装置の構成を示すブロック図である。本第 3の実施形態は、光源位置が正確にわカゝらない場合に、光源位置をあらかじめ定められた規則に従って複数種類設定し、各設定位置力も計算される影領域と実際に撮影された画像を比較し、最もマッチする影領域を選択するものである。

[0097] 図 7は、図 6に示す光源位置情報獲得手段 8が、候補となる仮想光源 (仮想太陽）を複数設定する方法の一例を示す説明図である。

[0098] 光源位置情報獲得手段 8は、仮想光源を複数設定し、それぞれの位置を示す 3次元座標データを影領域算出手段 5に出力する。

[0099] 図 6に示すように、影領域算出手段 5は、自車両形状獲得手段 3の出力である自車両形状情報と、他車両形状獲得手段 4の出力である他車両形状情報と、 3次元地図データベース 10が格納するオブジェクト形状情報とを用いて、光源位置情報獲得手段 8によって設定されたそれぞれの位置に光源が存在する場合に生成される影領域を計算する。ここで、影領域算出手段 5が算出する影領域は、 3次元位置座標を画像上の 2次元座標に変換したものである。

[0100] また、影領域算出手段 5は、計算した各影領域と、画像入力手段 1の出力である画像とを比較し、最もマッチする影領域を選択する。本第 3の実施形態は、図 6に示すように、光源位置情報獲得手段 8が存在する点と画像入力手段 1の出力が影領域算出手段 5の入力となっている点に、前述した第 1の実施形態との相違点がある。

[0101] 次に、図 6を参照して、本第 3の実施形態の動作について説明する。

[0102] 太陽の位置を算出する際に必要となる自車両の位置、太陽から自車両への方位角および走行時の日時のうち、自車両への方位角のみが不明の場合を例に説明する。

[0103] 自車両の位置がわかって!/、ること力も太陽の仰角 0は自明であるので、光源位置情報獲得手段 8は、図 7に示すように、天空上の仰角 Θの位置に仮想太陽を複数設定する。すなわち、光源位置情報獲得手段 8は、仰角 Θの位置にある仮想太陽のそれぞれの位置を示す 3次元座標データを影領域算出手段 5に出力する。

[0104] 影領域算出手段 5は、自車両形状獲得手段 3の出力である自車両形状情報と、他車両形状獲得手段 4の出力である他車両形状情報と、 3次元地図データベース 10 が格納するオブジェクト形状情報とを用いて、光源位置情報獲得手段 8によって設定された複数の仮想太陽が生成する影領域をそれぞれ計算する。ここで、影領域算出手段 5が算出する影領域は、 3次元位置座標を画像上の 2次元座標に変換したものである。

[0105] 次いで、影領域算出手段 5は、計算した各影領域と、画像入力手段 1の出力である画像中の該当部分とを比較し、影領域どうしが最もよく一致する場合の計算した影領域を、実際の影領域として特定する。例えば、該当部分における画像画素値の和が最も小さくなる仮想太陽の位置を実際の太陽の位置とみなし、対応する影領域を実際の影領域とみなす。

[0106] ここで、本第 3の実施形態の光源位置情報獲得手段 8において、太陽の仰角 Θが既知である場合にっヽて説明したが、太陽の方位角が既知の場合にも同様に仮想太陽の位置を設定してもよ、。

[0107] 本第 3の実施形態によれば、前述した第 1の実施形態による効果に加えて、光源の位置が正確にわ力ない場合であっても、影領域を算出することができるという効果がある。

産業上の利用可能性

[0108] 本発明を、撮影画像中の標識を認識する図形認識装置に適用することができ、特に、車外環境撮影用カメラを用いた図形認識装置において、撮影画像中に存在する影の影響に対して頑健な標識認識を行うために本発明は好適に実施される。図面の簡単な説明

[0109] [図 1]本発明における第 1の実施形態の図形認識装置の構成を示すブロック図である。

[図 2]図 1に開示された実施形態において影領域を特定する方法の一例を示す説明図である。

[図 3]図 1に開示された実施形態において標識を認識する方法の一例を示す説明図である。

[図 4]図 1に開示された実施形態の図形認識装置の動作を示すフローチャートである

[図 5]本発明における第 2の実施形態の図形認識装置の構成を示すブロック図である。

[図 6]本発明における第 3の実施形態の図形認識装置の構成を示すブロック図である。

[図 7]図 6に開示された実施形態において光源を複数設定する方法の一例を示す説明図である。

符号の説明

[0110] 1 画像入力手段

2 光源位置情報獲得手段

3 自車両形状獲得手段他車両形状獲得手段

影領域算出手段

影 Z非影領域協調標識認識手段認識結果出力手段

3次元地図データベース

Claims

請求の範囲

[1] 撮影装置に撮影された画像中の図形を認識する図形認識装置であって、

前記画像における物体の影の領域を算出する影領域算出手段と、

予め定められた特定の図形が前記画像中に存在する力否かを、前記影領域算出手段が算出した影の領域内と外とについて個別に判断する領域図形認識手段と、前記領域図形認識手段が判断した結果に基づ!/、て前記画像中に特定の図形が存在するか否かを判断する図形認識手段とを備えたことを特徴とする図形認識装置。

[2] 前記領域図形認識手段は、前記画像中の影の領域についてコントラストを強調した上で特定の図形が存在するか否かを判断する前記請求項 1に記載の図形認識装置

[3] 前記影領域算出手段は、光源の位置を示す光源位置情報と前記影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に前記影の領域を算出する前記請求項 1又は請求項 2に記載の図形認識装置。

[4] 前記影領域算出手段は、前記光源位置情報が示す一点と前記物体位置情報が示す一点とを通る直線の地面との交点を前記影の領域内の点として算出する前記請求項 3に記載の図形認識装置。

[5] 前記領域図形認識手段は、テンプレートマッチングにより特定の図形が存在するか否かを前記影の領域内と外とについて個別に判断する前記請求項 1から請求項 4の

V、ずれか一項に記載の図形認識装置。

[6] 前記領域図形認識手段は、ニューラルネットワークを用いた統計的な学習に基づいて特定の図形が存在する力否力を前記影の領域内と外とについて個別に判断する前記請求項 1から請求項 4のいずれか一項に記載の図形認識装置。

[7] 前記領域図形認識手段は、前記特定の図形が周期性を有する場合に、前記影の領域内と外とについて特定のパターンの周期性の有無を判断する前記請求項 1から請求項 4の、ずれか一項に記載の図形認識装置。

[8] 前記領域図形認識手段は、影の領域内及び外のそれぞれにつ!、ての判断結果を数値で出力し、

前記図形認識手段は、前記領域図形認識手段により出力された各領域についての判断結果と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在する力否かを判断する前記請求項 1から請求項 7のいずれか一項に記載の図形認識装置。

[9] 前記図形認識手段は、前記領域図形認識手段により出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断する前記請求項 8に記載の図形認識装置。

[10] 前記光源の位置を前記撮影装置の位置及び撮影方向から算出し前記光源位置情報として出力する光源位置情報獲得手段を備えた前記請求項 3から請求項 9のうちの！、ずれか一項に記載の図形認識装置。

[11] 前記光源位置情報が天体の現実の位置を示す前記請求項 3から請求項 10のうちの！、ずれか一項に記載の図形認識装置。

[12] 前記光源位置情報が人工光源の現実の位置を示す前記請求項 3から請求項 10のうちのいずれか一項に記載の図形認識装置。

[13] 前記影領域算出手段は、前記光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較しその比較結果に基づいて前記影の領域を特定する前記請求項 3から請求項 12のいずれか一項に記載の図形認識装置。

[14] 前記光源位置情報が仮想光源の位置を示す前記請求項 13に記載の図形認識装置。

[15] 前記撮影装置を搭載した自車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報として出力する自車両形状獲得手段を備えた前記請求項 3 から請求項 14のいずれか一項に記載の図形認識装置。

[16] 前記撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報として出力する他車両形状獲得手段を備えた前記請求項 3から請求項 15のいずれか一項に記載の図形認識装置。

[17] 構造物の輪郭形状と位置とを示す情報を前記物体位置情報として格納した地図データベースを備えた前記請求項 3から請求項 16のいずれか一項に記載の図形認識装置。

[18] 撮影装置に撮影された画像中の図形を認識する図形認識方法であって、

前記画像における物体の影の領域を算出する影領域算出ステップと、

予め定められた特定の図形が前記画像中に存在する力否かを、前記影領域算出ステップにおいて算出した影の領域内と外とについて個別に判断する領域図形認識ステップと、

前記領域図形認識ステップにお、て判断した結果に基づ、て前記画像中に特定の図形が存在するか否かを判断する図形認識ステップとを含むことを特徴とする図形認識方法。

[19] 前記領域図形認識ステップでは、前記画像中の影の領域についてコントラストを強調した上で特定の図形が存在するか否かを判断する前記請求項 18に記載の図形認識方法。

[20] 前記影領域算出ステップでは、光源の位置を示す光源位置情報と前記影を生成している物体の輪郭を形成する複数の点の現実の位置を示す物体位置情報とを基に前記影の領域を算出する前記請求項 18又は請求項 19に記載の図形認識方法。

[21] 前記影領域算出ステップでは、前記光源位置情報が示す一点と前記物体位置情報が示す一点とを通る直線の地面との交点を前記影の領域内の点として算出する前記請求項 20に記載の図形認識方法。

[22] 前記領域図形認識ステップでは、テンプレートマッチングにより特定の図形が存在する力否かを前記影の領域内と外とについて個別に判断する前記請求項 18から請求項 21のいずれか一項に記載の図形認識方法。

[23] 前記領域図形認識ステップでは、ニューラルネットワークを用いた統計的な学習に基づいて特定の図形が存在する力否力を前記影の領域内と外とについて個別に判断する前記請求項 18から請求項 21のいずれか一項に記載の図形認識方法。

[24] 前記領域図形認識ステップでは、前記特定の図形が周期性を有する場合に、前記影の領域内と外とについて特定のパターンの周期性の有無を判断する前記請求項 1

8から請求項 21のいずれか一項に記載の図形認識方法。

[25] 前記領域図形認識ステップでは、影の領域内及び外のそれぞれについての判断結果を数値で出力し、

前記図形認識ステップでは、前記領域図形認識ステップにより出力された各領域につ、ての判断結果と予め定められた閾値との大小関係に基づ!/、て、画像中に特定の図形が存在する力否かを判断する前記請求項 18から請求項 24のいずれか一項に記載の図形認識方法。

[26] 前記図形認識ステップでは、前記領域図形認識ステップにより出力された各領域についての判断結果の重み付き線形和と予め定められた閾値との大小関係に基づいて、画像中に特定の図形が存在するか否かを判断する前記請求項 25に記載の図形認識方法。

[27] 前記光源の位置を前記撮影装置の位置及び撮影方向から算出し前記光源位置情報とする前記光源位置情報獲得ステップを含む前記請求項 20から請求項 26のうちの!ヽずれか一項に記載の図形認識方法。

[28] 前記光源位置情報が天体の現実の位置を示す前記請求項 20から請求項 27のうちの、、ずれか一項に記載の図形認識方法。

[29] 前記光源位置情報が人工光源の現実の位置を示す前記請求項 20から請求項 27 のうちのいずれか一項に記載の図形認識方法。

[30] 前記影領域算出ステップでは、前記光源位置情報に基づいて推測される影の領域を算出し画像中の該当部分と比較して前記影の領域を特定する前記請求項 20から請求項 29のいずれか一項に記載の図形認識方法。

[31] 前記光源位置情報が仮想光源の位置を示す前記 30に記載の図形認識方法。

[32] 前記撮影装置を搭載した自車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該自車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報とする自車両形状獲得ステップを含む前記請求項 20から請求項 31の、ずれか一項に記載の図形認識方法。

[33] 前記撮影装置を搭載した自車両の近傍に在る他車両の輪郭形状を示す座標データと前記撮影装置の位置情報とを基に当該他車両の輪郭を形成する各点の現実の位置を示す情報を算出し前記物体位置情報とする他車両形状獲得ステップを含む前記請求項 20から請求項 32のいずれか一項に記載の図形認識方法。

[34] 構造物の輪郭形状と位置情報とを示す情報を前記物体位置情報とする前記請求項 20から請求項 33のいずれか一項に記載の図形認識方法。

[35] 撮影装置に撮影された画像中の図形を認識するコンピュータに搭載される図形認識プログラムであって、

前記画像における物体の影の領域を算出する影領域算出処理と、

予め定められた特定の図形が前記画像中に存在する力否かを、前記影領域算出処理で算出した影の領域内と外とについて個別に判断する領域図形認識処理と、前記領域図形認識処理で判断した結果に基づ!/、て前記画像中に特定の図形が存在するカゝ否かを判断する図形認識処理とを実行させることを特徴とする図形認識プログラム。