JP4321821B2 - 画像認識装置及び画像認識方法 - Google Patents

Description

本発明は、例えば車両等に搭載され、道路上で撮像した画像情報の中に含まれる所定の認識対象物の画像を認識する処理を行う画像認識装置及び画像認識方法に関する。

道路上で撮像した画像情報に基づいて、所定の認識対象物の画像認識を行う技術として、例えば下記の特許文献１には、以下のような技術が開示されている。この文献に開示されている技術は、道路上で撮像した画像情報に基づいて道路面に設けられた区画線（レーンマーク）を認識する装置に関するものである。すなわち、この装置は、道路上を走行して移動する車両に搭載され、車両前方の道路を撮像する撮像手段と、この撮像手段によって撮像した画像情報に基づいて前記道路面に設けられた区画線を認識する認識手段とを備える認識装置である。そして、前記認識手段は、撮像画像中における区画線の画像的特徴量に応じて変形する特性を持つストリングモデルを用いて区画線の認識を行う。ここで、区画線の画像的特徴量としては、画素単位の輝度や色度等が用いられる。

この装置は、撮像した画像情報の「二値化処理」及び「点から線への拡張処理」を行わないことにより、これらの処理に起因する外部環境の変動に対する認識の不安定さを解消して、区画線の認識率を高めることを目的としている。

特開平１１−２１３１５５号公報（第２−３頁、第１図）

上記のような従来の技術は、カメラ等により撮像した画像情報に基づいて、認識アルゴリズムの工夫により区画線等の認識対象物の認識率を高めようとする技術である。しかしながら、このような従来の技術では、認識処理に用いられる情報が画像情報のみであるため、画像情報から良好な画像的特徴量を取得できない場合には、極端に認識率が低下する場合があるという問題が生じ得る。

したがって、例えば、認識対象物と誤認し易い画像的特徴量を有する物が撮像された画像情報に含まれる場合や、撮影時の天候や明るさ等の条件により、或いは認識対象物やその周辺の状態や種類等により認識対象物とその周辺とで輝度や色彩等の差が小さい場合等には、認識対象物の画像を正確に認識することが困難な場合が多かった。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、撮像した画像情報のみによっては良好な画像認識を行うことが困難な場合であっても、認識対象物の認識率を高めることが可能な画像認識装置及び画像認識方法を提供する点にある。

上記目的を達成するための本発明に係る画像認識装置の特徴構成は、道路上で撮像した画像情報を取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、前記道路特徴情報を用いて前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、を備え、前記画像情報認識手段は、前記道路特徴情報に基づいて前記画像情報中における前記認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、前記認識対象物の画像が存在すると推測される領域内では前記認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して前記認識対象物の画像を認識する認識処理を行う点にある。

この特徴構成によれば、撮像した画像情報のみに基づいて画像認識を行うのではなく、地図情報から取得される画像情報の撮像位置周辺の地物に関する道路特徴情報を利用して画像情報の認識処理を行うので、撮像した画像情報のみによっては良好な画像認識を行うことが困難な場合であっても、前記地物に対応する認識対象物の画像の認識率を高めることができる。
さらに、地図情報から取得される道路特徴情報に基づいて認識対象物が存在すると推測される領域内について、他の領域よりも認識対象物を認識し易くなるように認識アルゴリズムを調整して画像認識を行うので、撮影時の天候や明るさ等の条件により、或いは認識対象物やその周辺の状態や種類等により認識対象物とその周辺とで輝度や色彩等の差が小さい場合等であっても、認識対象物の認識率を高めることができる。

ここで、前記画像情報認識手段は、前記認識処理と組み合わせて、前記画像情報から前記認識対象物の画像候補を抽出して前記道路特徴情報と対比し、前記道路特徴情報との整合性が高い前記画像候補を前記認識対象物の画像として認識する認識処理を行う構成とすることが可能である。

これにより、地図情報から取得される道路特徴情報との整合性が高い画像候補を認識対象物の画像として認識するので、認識対象物と誤認し易い画像的な特徴を有する物が撮像された画像情報に含まれる場合等であっても、誤認識を大幅に減少させることができ、認識対象物の認識率を高めることができる。

また、前記道路特徴情報は、前記地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む構成とすれば、道路特徴情報を、撮像された画像情報と容易に対比可能な形で取得することができる。

ここで、前記地物としては、例えば、道路の路面に設けられた区画線や進行方向別通行区分表示等のペイント表示及び道路に隣接する路肩や歩道等の走行不可能領域の一方又は双方が含まれる。

本発明に係る画像認識装置の更なる特徴構成は、道路上で撮像した画像情報を取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の第一及び第二の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、前記画像情報の中に含まれる、認識が比較的容易な前記第一の地物に対応する第一の認識対象物の画像を認識する第一対象物認識手段と、前記第一対象物認識手段による前記第一の認識対象物の画像の認識結果と、前記道路特徴情報取得手段により取得された前記第一の地物に関する前記道路特徴情報とを対比し、前記画像情報と前記道路特徴情報との照合を行う道路特徴情報照合手段と、前記道路特徴情報照合手段による照合結果に基づいて、前記画像情報中における、前記第一の認識対象物より認識が困難な前記第二の地物に対応する第二の認識対象物の画像が存在する領域を推測する領域推測手段と、前記領域推測手段による推測結果に基づいて、前記第二の認識対象物の画像が存在すると推測される領域内では前記第二の認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、前記画像情報の中に含まれる前記第二の認識対象物の画像の認識を行う第二対象物認識手段と、を備える点にある。

この特徴構成によれば、認識が比較的容易な第一の地物に対応する第一の認識対象物の画像の認識結果と、前記第一の地物に関する道路特徴情報とを対比して画像情報と道路特徴情報との照合を行い、その照合結果に基づいて第二の認識対象物の画像が存在する領域を推測するので、第二の認識対象物の画像が存在する領域を正確に推測することが可能となる。そして、この推測結果に基づいて第二の認識対象物が存在すると推測される領域内について、他の領域よりも第二の認識対象物を認識し易くなるように認識アルゴリズムを調整して画像認識を行うので、第一の認識対象物より認識が困難な第二の認識対象物の認識率を高めることができる。

ここで、前記第一対象物認識手段は、前記画像情報から前記第一の認識対象物の画像候補を抽出し、前記道路特徴情報照合手段は、前記第一の認識対象物の画像候補と前記道路特徴情報取得手段により取得された前記第一の地物に関する前記道路特徴情報とを対比し、整合性が高い前記第一の認識対象物の画像候補を前記第一の認識対象物の画像として認識し、認識された前記第一の認識対象物の画像を基準として前記画像情報と前記道路特徴情報との照合を行う構成とすると好適である。

これにより、地図情報から取得される道路特徴情報との整合性が高い画像候補を第一の認識対象物の画像として認識するので、第一の認識対象物と誤認し易い画像的な特徴を有する物が撮像された画像情報に含まれる場合等であっても、第一の認識対象物の認識率を高めることができる。そして、このように認識された第一の認識対象物の画像を基準として画像情報と地図情報との照合を行うので、画像情報と地図情報との照合をより高い精度で行うことができる。

また、前記道路特徴情報は、前記第一及び第二の地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む構成とすれば、道路特徴情報を、撮像された画像情報と容易に対比可能な形で取得することができ、第一及び第二の認識対象物の認識処理の負荷を軽減することが可能となる。

ここで、認識が比較的容易な第一の地物としては、例えば道路の路面に設けられた区画線や進行方向別通行区分表示等のペイント表示が該当し、第一の地物より認識が困難な第二の地物としては、例えば道路に隣接する路肩や歩道等の走行不可能領域が該当する。

また、前記道路特徴情報取得手段は、ナビゲーション装置を構成する地図情報データベースが有する地図情報から、前記撮像装置による前記画像情報の撮像時に、前記ナビゲーション装置を構成する位置情報取得手段により取得された位置周辺の前記道路特徴情報を取得する構成とすること好適である。

これにより、ナビゲーション装置に必須の構成を利用して道路特徴情報を容易に取得することができる。したがって、画像認識装置の専用の構成として道路特徴情報を有する地図情報のデータベース及び画像情報の撮像位置の認識装置等を設ける必要がなく、画像認識装置を安価に構成することができる。

また、前記画像情報取得手段は、車両に搭載した撮像装置により撮像した画像情報を所定の時間間隔で取り込む構成とすること好適である。

これにより、本発明に係る画像認識装置が車両に搭載されたこと等によって移動する場合に、移動中の道路の画像認識をリアルタイムで行うことができる。

本発明に係る車両制御装置の特徴構成は、上記の画像認識装置を備えるとともに、前記画像情報認識手段による認識結果に基づいて車両の走行制御を行う走行制御手段を備える点にある。

この特徴構成によれば、画像情報の認識結果に基づいて車両の周囲の状態を認識することができるので、例えばレーンキープや衝突防止等のための操舵や加減速等といった車両の走行制御を好適に行うことが可能となる。

本発明に係るナビゲーション装置の特徴構成は、上記の画像認識装置を備えるとともに、前記地図情報を有する地図情報データベースと、自位置情報を取得する位置情報取得手段と、前記画像情報認識手段による認識結果に基づいて前記自位置情報を補正する自位置補正手段と、を備える点にある。

この特徴構成によれば、画像情報の認識結果に基づいて自位置をより詳細に認識することができるので、ナビゲーション装置において、例えば車線単位等での自位置の詳細な表示を行うことや、詳細に認識される自位置の情報に基づいて最適なタイミングで経路案内を行うこと等が可能となる。

本発明に係る画像認識方法の特徴構成は、道路上で撮像した画像情報を取り込む画像情報取得工程と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、前記道路特徴情報を用いて前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、を有し、前記画像情報認識工程は、前記道路特徴情報に基づいて前記画像情報中における前記認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、前記認識対象物の画像が存在すると推測される領域内では前記認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して前記認識対象物の画像を認識する認識処理工程を含む点にある。

この特徴構成によれば、撮像した画像情報のみに基づいて画像認識を行うのではなく、地図情報から取得される画像情報の撮像位置周辺の地物に関する道路特徴情報を利用して画像情報の認識処理を行うので、撮像した画像情報のみによっては良好な画像認識を行うことが困難な場合であっても、前記地物に対応する認識対象物の画像の認識率を高めることができる。
さらに、地図情報から取得される道路特徴情報に基づいて認識対象物が存在すると推測される領域内について、他の領域よりも認識対象物を認識し易くなるように認識アルゴリズムを調整して画像認識を行うので、撮影時の天候や明るさ等の条件により、或いは認識対象物やその周辺の状態や種類等により認識対象物とその周辺とで輝度や色彩等の差が小さい場合等であっても、認識対象物の認識率を高めることができる。

本発明に係る画像認識方法の更なる特徴構成は、道路上で撮像した画像情報を取り込む画像情報取得工程と、地図情報から前記画像情報の撮像位置周辺の第一及び第二の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、前記画像情報の中に含まれる、認識が比較的容易な前記第一の地物に対応する第一の認識対象物の画像を認識する第一対象物認識工程と、前記第一対象物認識工程による前記第一の認識対象物の画像の認識結果と、前記道路特徴情報取得工程により取得された前記第一の認識対象物に関する前記道路特徴情報とを対比し、前記画像情報と前記道路特徴情報との照合を行う道路特徴情報照合工程と、前記道路特徴情報照合工程による照合結果に基づいて、前記画像情報中における、前記第一の認識対象物より認識が困難な前記第二の地物に対応する第二の認識対象物の画像が存在する領域を推測する領域推測工程と、前記領域推測工程による推測結果に基づいて、前記第二の認識対象物の画像が存在すると推測される領域内では前記第二の認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、前記画像情報の中に含まれる前記第二の認識対象物の画像の認識を行う第二対象物認識工程と、を有する点にある。

この特徴構成によれば、認識が比較的容易な第一の地物に対応する第一の認識対象物の画像の認識結果と、当該第一の地物に関する道路特徴情報とを対比して画像情報と道路特徴情報との照合を行い、その照合結果に基づいて第二の認識対象物の画像が存在する領域を推測するので、第二の認識対象物の画像が存在する領域を正確に推測することが可能となる。そして、この推測結果に基づいて第二の認識対象物が存在すると推測される領域内について、他の領域よりも第二の認識対象物を認識し易くなるように認識アルゴリズムを調整して画像認識を行うので、第一の認識対象物より認識が困難な第二の認識対象物の認識率を高めることができる。

以下に、本発明の実施の形態について図面に基づいて説明する。
本実施形態では、本発明に係る画像認識装置１を車両Ｍに搭載した場合を例として説明する。図１は、本実施形態に係る画像認識装置１のハードウエア構成の概略を示すブロック図である。

この図１に示すように、本実施形態に係る画像認識装置１は、主たる構成として、車両Ｍ（図２参照）に搭載された撮像装置２からの画像情報Ｇを取り込む画像情報取得部３と、ＧＰＳ（グローバル・ポジショニング・システム）受信機４、方位センサ５及び距離センサ６からの出力に基づいて撮像装置２による撮像位置を特定するための演算を行う位置特定演算部７と、地図情報データベース８に格納されている地図情報から撮像装置２による撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う道路特徴情報取得演算部９と、取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識するための演算を行う画像情報認識演算部１０と、を備えている。
ここで、位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６、及び地図情報データベース８は、車両に搭載され、車両の経路案内等を行うためのナビゲーション装置の構成を利用することができる。この場合、位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６等が、本発明における「位置情報取得手段」に相当する。

撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、車両Ｍの、例えば図２のＱ１〜Ｑ３で示す位置に前方や後方に向けて配置され、車両Ｍが走行する道路１１の路面及びその周囲が撮影されるように設けられる。このような撮像装置２としては、車両Ｍの前方や後方等の映像を撮像するためにこれまでにも設けられている車載カメラ等が好適に用いられる。

画像情報取得部３は、撮像装置２と接続するためのインターフェース回路１２と、撮像装置２からの画像情報Ｇに対して前処理を行う画像前処理回路１３と、前処理後の画像情報Ｇを格納する画像メモリ１４とを有している。インターフェース回路１２は、アナログ／デジタル・コンバータ等を備えており、撮像装置２により撮像したアナログの画像情報Ｇを所定の時間間隔で取り込み、デジタル信号に変換して画像前処理回路１３へ出力する。このインターフェース回路１２による画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部３は、車両Ｍが走行中の道路１１の画像情報をほぼ連続的に取得することができる。画像前処理回路１３は、ここでは画像情報Ｇに対する前処理として二値化処理、エッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための処理を行う。そして、このような前処理後の画像情報Ｇが画像メモリ１４に格納される。
また、インターフェース回路１２は、画像前処理回路１３へ送る画像情報Ｇとは別に、直接画像メモリ１４へも画像情報Ｇを出力する。したがって、画像メモリ１４には、画像前処理回路１３により前処理を行った後の画像情報Ｇ２と、前処理を行っていないそのままの画像情報Ｇ１との両方が格納されることになる。
本実施形態においては、この画像情報取得部３が、本発明における「画像情報取得手段」を構成する。

位置特定演算部７は、本実施形態においては、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続されている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星からの信号を受信する装置であり、ＧＰＳ受信機４の位置（緯度及び経度）や移動速度など様々な情報を得ることができる。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両Ｍの進行方向を検知することができる。距離センサ６は、車輪の回転数を検知する車速センサや車両Ｍの加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、車両Ｍの移動距離を検知することができる。そして、位置特定演算部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、車両Ｍの現在位置を特定する演算を行う。こうして演算された車両Ｍの位置が撮像装置２の位置となる。

また、位置特定演算部７は、画像情報取得部３のインターフェース回路１２とも接続されている。このインターフェース回路１２は、撮像装置２による撮像のタイミングで位置特定演算部７に対して信号の出力を行う。したがって、位置特定演算部７は、このインターフェース回路１２からの信号の入力を受けたタイミングでの撮像装置２の位置を演算することにより、画像情報Ｇの撮像位置を特定することができる。このようにして位置特定演算部７により特定された画像情報Ｇの撮像位置は緯度及び経度で表され、道路特徴情報取得演算部９に出力される。
この位置特定演算部７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。

道路特徴情報取得演算部９は、位置特定演算部７及び地図情報データベース８と接続されている。
図３は、地図情報データベース８に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース８には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。
道路ネットワークレイヤＬ１は、道路１１間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路１１を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路１１の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路１１の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。

地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路１１上及び道路１１の周辺に設けられた各種地物の情報を示すレイヤである。この地物レイヤＬ３に格納する地物情報としては、少なくともこの画像認識装置１において認識対象物となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、道路１１の路面に設けられたペイント表示Ｐ、道路１１に隣接する走行不可能領域Ｉ、道路１１上に設けられた各種の標識１５や信号機１６等の各種地物について、道路形状補完点Ｓ又はノードＮを基準とした地図上の位置、並びに形状及び色彩等の地物情報を有して構成されている。ここで、ペイント表示Ｐには、例えば、車線を分ける区画線（実線、破線、二重線等の区画線の種類の情報も含む。）、ゼブラゾーン、各レーンの進行方向を指定する進行方向別通行区分表示、停止線、横断歩道、速度表示等が含まれる。また、正確にはペイントによるものではないが、同じく道路１１の路面に設けられるマンホールもここではペイント表示Ｐに含めることとする。走行不可能領域Ｉには、例えば、道路に隣接する路肩、歩道、分離帯等が含まれる。
なお、地図情報データベース８は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。

そして、道路特徴情報取得演算部９は、位置特定演算部７により特定された画像情報Ｇの撮像位置を示す緯度及び経度の情報に基づいて、地図情報データベース８に格納されている地図情報から、画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う。ここでは、道路特徴情報取得演算部９は、画像情報Ｇの撮像位置周辺の、少なくとも撮像装置２による撮像領域を含む領域内に含まれる地物の位置、形状、色彩等の地物情報を、道路特徴情報Ｃとして地図情報データベース８の地物レイヤＬ３から抽出する演算処理を行う。

この道路特徴情報取得演算部９は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この道路特徴情報取得演算部９が、本発明における「道路特徴情報取得手段」を構成する。

画像情報認識演算部１０は、画像情報取得部３の画像メモリ１４及び道路特徴情報取得演算部９と接続されている。そして、画像情報認識演算部１０は、道路特徴情報取得演算部９により取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識するための演算を行う。
また、この画像情報認識演算部１０において画像認識を行う認識対象物は、上述したペイント表示Ｐ、走行不可能領域Ｉ、及び各種の標識１５や信号機１６等の地物レイヤＬ３に地物情報として格納されている地物に対応するものとする。

この画像情報認識演算部１０は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この画像情報認識演算部１０が、本発明における「画像情報認識手段」を構成する。

画像情報認識演算部１０における道路特徴情報Ｃを用いた画像情報Ｇの認識処理の具体的方法として、この画像認識装置１では、以下の２つの方法をそれぞれ単独で或いはこれらを組み合わせて用いる。
第一の画像認識処理方法は、画像情報Ｇから認識対象物の画像候補を抽出して道路特徴情報Ｃと対比し、道路特徴情報Ｃとの整合性が高い画像候補を認識対象物の画像として認識する処理方法である。
また、第二の画像認識処理方法は、道路特徴情報Ｃに基づいて画像情報Ｇ中における認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、認識対象物の画像が存在すると推測される領域内では認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、画像情報Ｇの中から認識対象物の画像を認識する処理方法である。
本実施形態においては、後にフローチャートを用いて説明するように、画像情報認識演算部１０は、これらの第一及び第二の画像認識処理方法を組み合わせて、道路１１の路面に設けられたペイント表示Ｐと、道路１１に隣接する走行不可能領域Ｉとを認識する処理を行う。そのため、この画像情報認識演算部１０は、ペイント表示認識演算部１０ａ、道路特徴情報照合部１０ｂ、領域推測部１０ｃ、及び走行不可能領域認識部１０ｄを備えている。

そこで、次に、これらの第一及び第二の画像認識処理方法を組み合わせて、道路１１の路面に設けられたペイント表示Ｐと、道路１１に隣接する走行不可能領域Ｉとを認識する場合の具体的な画像認識処理の各工程について、図４に示すフローチャートを用いて詳細に説明する。
なお、この画像認識処理の例において、ペイント表示Ｐは、道路１１の路面との輝度や色彩の差が大きく画像認識が比較的容易であるため、本発明における「第一の認識対象物」に相当する。一方、路肩、歩道、分離帯等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多く、画像認識がペイント表示Ｐよりも困難であるため、本発明における「第二の認識対象物」に相当する。

図４に示すように、画像認識装置１は、まず、撮像装置２により撮像された画像情報Ｇを取り込む処理を行う（ステップ＃０１）。具体的には、車載カメラ等からなる撮像装置２により撮像した画像情報Ｇをインターフェース回路１２を介して画像前処理回路１３及び画像メモリ１４に送る処理を行う。またこの際、インターフェース回路１２は、撮像装置２からの画像情報Ｇの取り込みのタイミングで、すなわち撮像装置２による撮像のタイミングとほぼ同じタイミングで、位置特定演算部７に対して信号の出力を行う。この信号は位置特定演算部７に対して撮像のタイミングを知らせるための信号である。

画像情報Ｇの入力を受けた画像前処理回路１３では、画像情報Ｇに対する前処理を行う（ステップ＃０２）。ここで行う前処理としては、例えば、二値化処理やエッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための各種の処理を行う。図５（ａ）は、撮像装置２により撮像された画像情報Ｇ（Ｇ１）の一例であり、図５（ｂ）は、（ａ）に示された画像情報Ｇに対して前処理を行った後の画像情報Ｇ（Ｇ２）の一例である。この図５（ｂ）に示す例では、エッジ検出処理により画像情報Ｇとして撮像された物の輪郭を示す画像が抽出されている。そして、このステップ＃０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１が画像メモリ１４に格納される（ステップ＃０３）。

また、ステップ＃０２及び＃０３の処理と並行して、位置特定演算部７では、画像情報Ｇの撮像位置を特定する処理を行う（ステップ＃０４）。具体的には、インターフェース回路１２から画像情報Ｇの取り込みのタイミングを示す信号が出力された時に、それを撮像装置２による撮像のタイミングとして、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいて車両Ｍの現在位置を特定する演算を行う。そして、これにより特定された車両Ｍの現在位置を画像情報Ｇの撮像位置とする。ここで特定された撮像位置の情報は、緯度及び経度の情報として道路特徴情報取得演算部９に送られる。

次に、道路特徴情報取得演算部９において、地図情報データベース８に格納されている地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得する処理を行う（ステップ＃０５）。この際、道路特徴情報取得演算部９は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃０４において特定された撮像位置の周辺の一定範囲Ｒ内の道路特徴情報Ｃを抽出して取得する。ここで、撮像位置周辺の一定範囲Ｒとしては、撮像装置２により画像情報Ｇとして撮像される領域を含むように設定すると好適である。

図６は、道路特徴情報取得演算部９により取得された道路特徴情報Ｃの一例を図形化して示したものである。本例では、道路特徴情報Ｃに含まれる地物としては、ペイント表示Ｐとして、片側３車線の道路１１の車道の外縁を示す２本の実線の区画線Ｐ１ａ、Ｐ１ｂと、３車線の間を区切る２本の破線の区画線Ｐ２ａ、Ｐ２ｂと、３車線のうちの左側車線に設けられたマンホールＰ３とがある。また、走行不可能領域Ｉとして、道路１１の左側に隣接する歩道Ｉ１と、道路１１の右側に隣接する中央分離帯Ｉ２とがある。なお、この図６は単なる一例であり、画像情報Ｇの撮像位置によって様々な地物が道路特徴情報Ｃに含まれることになる。

そして、この道路特徴情報Ｃの内容は、これらの各地物の位置情報、形状情報及び色彩情報により構成されている。ここで、各地物の位置情報は、道路形状補完点Ｓ（交差点等のノードＮが存在する場所ではノードＮ（図３参照）も含む。）を基準とする位置情報により表される。すなわち、例えば、ペイント表示Ｐのうちの実線の区画線Ｐ１ａ、Ｐ１ｂや破線の区画線Ｐ２ａ、Ｐ２ｂ、或いは走行不可能領域Ｉの歩道Ｉ１や中央分離帯Ｉ２等の道路１１に沿って設けられている地物については、道路形状補完点Ｓ（又はノードＮ）からの距離（オフセット量）のみにより表される。一方、例えば、道路１１に沿って設けられないマンホールＰ３や、停止線、標識等の地物については、特定の道路形状補完点Ｓ（又はノードＮ）からの距離及び方向により位置情報を表される。
また、各地物の形状情報は、上記位置情報により特定される位置を基準として縦、横、高さ方向にそれぞれどれだけの大きさを有し、どのような形状（シルエット）を備えているか等の情報を有する。この形状情報は、画像情報Ｇとの対比が容易となるように簡略化して表された情報とすると好適である。
各地物の色彩情報は、例えば道路標識等の一様な色彩でない地物の場合には、上記形状情報の中の領域毎に色彩情報が格納された情報とすると好適である。

次に、画像情報認識演算部１０のペイント表示認識演算部１０ａにおいて、画像情報Ｇの中に含まれるペイント表示Ｐの画像を認識する処理を行う（ステップ＃０６）。本実施形態においては、ステップ＃０２において前処理を行った後の画像情報Ｇ２の中からペイント表示Ｐの可能性がある画像候補を抽出する処理までをこのステップで行うこととする。ここでは、具体的には、図５（ｂ）に示されるようにエッジ検出処理等の前処理を行った後の画像情報Ｇ２の中から、区画線やマンホール等のペイント表示Ｐの特徴を表すテンプレート等の予め規定された特徴データと整合性が高い画像を抽出し、それをペイント表示Ｐの画像候補とする処理を行う。図５に示す例では、前方を走行する車両の画像ＧＳ及びそれと重なっている右側の破線の区画線の画像ＧＰ２ｂは除外され、それ以外の画像、すなわち、左側の破線の区画線の画像ＧＰ２ａ、左側の実線の区画線の画像ＧＰ１ａ、その外側にある歩道の縁石の画像ＧＩ１ａ、右側の実線の区画線の画像ＧＰ１ｂ、及びマンホールの画像ＧＰ３がペイント表示Ｐの画像候補として抽出される。
上記のとおり、本例ではペイント表示Ｐが本発明における「第一の認識対象物」に相当するので、このペイント表示Ｐの画像認識を行うペイント表示認識演算部１０ａが、本発明における「第一対象物認識手段」を構成する。

その後、画像情報認識演算部１０の道路特徴情報照合部１０ｂにおいて、ステップ＃０６におけるペイント表示Ｐの画像の認識結果と、ステップ＃０５により取得された道路特徴情報Ｃの中のペイント表示Ｐに関するものとを対比し、画像情報Ｇと道路特徴情報Ｃとの照合を行う（ステップ＃０７）。本実施形態においては、ペイント表示Ｐの画像候補とペイント表示Ｐに関する道路特徴情報Ｃとを対比し、整合性が高いペイント表示Ｐの画像候補をペイント表示Ｐの画像として認識し、認識されたペイント表示Ｐの画像を基準として画像情報Ｇと道路特徴情報Ｃとの照合を行う。
したがって、本実施形態においては、この道路特徴情報照合部１０ｂが、本発明における「道路特徴情報照合手段」を構成する。

本実施形態におけるステップ＃０７の処理のフローチャートを図７に示す。この図に示すように、このステップ＃０７の処理は、まずステップ＃０６で抽出されたペイント表示Ｐの画像候補と、ステップ＃０５で取得された道路特徴情報Ｃの中のペイント表示Ｐに関する情報とを対比し（ステップ＃７１）、位置関係、形状、及び色彩や輝度等の各情報についての整合性が高い画像候補を抽出する（ステップ＃７２）。図６に示す例では、ペイント表示Ｐに関する道路特徴情報Ｃに基づいて、実線及び破線の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの位置関係（間隔）、これらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂとマンホールＰ３との位置関係、並びにこれらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂ及びマンホールＰ３の形状及び色彩や輝度等がわかる。したがって、これらの道路特徴情報Ｃと整合性が高い画像情報Ｇ中のペイント表示Ｐの画像候補を抽出することで、ペイント表示Ｐの可能性が高い画像候補のみを抽出することができる。図５に示す例の場合、このステップ＃７２の処理により、左側の実線の区画線の画像ＧＰ１ａの外側にある歩道の縁石の画像ＧＩ１ａが除外される。そして、このように抽出された画像候補をペイント表示Ｐの画像と認識する。なお、ペイント表示Ｐの画像候補の色彩や輝度等の情報は、画像メモリ１４に格納されている前処理が行われていない画像情報Ｇから取得することができる。
図８（ａ）は、画像情報Ｇからステップ＃７２の処理により抽出されたペイント表示Ｐの画像のみを表した図である。なお、右側の破線の区画線の画像ＧＰ２ｂは、車両の画像ＧＳとともにペイント表示Ｐの画像候補から除外されているので、ここで抽出されたペイント表示Ｐの画像には含まれない（なお、図８（ａ）においては点線で示している）。

次に、認識されたペイント表示Ｐの画像を基準として、画像情報Ｇと道路特徴情報Ｃとの照合を行う（ステップ＃７３）。すなわち、画像情報Ｇ中における認識されたペイント表示Ｐの画像の位置と、道路特徴情報Ｃに含まれるペイント表示Ｐの位置とが合致するように対応付けることにより、道路特徴情報Ｃに含まれる各地物の情報と画像情報Ｇに含まれる画像とを対応付けることが可能になる。この際、道路１１に沿って設けられている区画線ＧＰ１ａ、ＧＰ２ａ等の地物を基準とすることにより道路１１の幅方向の位置関係を正確に対応付けることができ、道路１１に沿って設けられないマンホールＰ３や、図示しない停止線、標識等の地物を基準とすることにより道路１１に沿った方向の位置関係を正確に対応付けることができる。

その後、図４に示すように、画像情報認識演算部１０の領域推測部１０ｃにおいて、ステップ＃０７における道路特徴情報Ｃと画像情報Ｇとの照合結果に基づいて、画像情報Ｇ中における走行不可能領域Ｉの画像が存在する領域を推測する処理を行う（ステップ＃０８）。すなわち、上記のステップ＃０７における画像情報Ｇと道路特徴情報Ｃとの照合結果に基づけば、画像情報Ｇの中におけるペイント表示Ｐや走行不可能領域Ｉを含む各地物の画像の配置が推測可能である。そこで、道路特徴情報Ｃに含まれる走行不可能領域Ｉの位置及び形状に対応する画像情報Ｇ中の領域を、ステップ＃０７における照合結果から推測する演算を行う。そして、このステップ＃０８の処理の結果として演算される領域を、走行不可能領域Ｉの画像が存在する領域と推測する。

本実施形態においては、図８（ｂ）に示すように、画像情報Ｇとして撮像された画像範囲を、ステップ＃７２の処理により抽出されたペイント表示Ｐの中の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａに基づいて、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａのそれぞれが属する領域Ａ１〜Ａ３と、これらの領域Ａ１〜Ａ３により挟まれた領域Ａ４〜Ａ７とに簡易的に区分している。そして、それぞれの領域Ａ４〜Ａ７が走行不可能領域Ｉを含むか否かという判断をステップ＃０７における照合結果に基づいて行うことにより、走行不可能領域Ｉの画像が存在する領域を推測する処理を行う。ここでは、図６に示されるように、道路特徴情報Ｃに基づいて、道路１１の両側の実線の区画線Ｐ１ａ、Ｐ１ｂの外側にそれぞれ走行不可能領域Ｉが存在していると判断することができるので、当該道路１１の両側の実線の区画線Ｐ１ａ、Ｐ１ｂが属する領域Ａ１及びＡ３の外側の領域Ａ４及びＡ７内に走行不可能領域Ｉの画像が存在と推測できる。

次に、ステップ＃０８の推測結果に基づいて、画像情報認識演算部１０の走行不可能領域認識部１０ｄにおける認識アルゴリズムを調整し（ステップ＃０９）、画像情報Ｇの中に含まれる走行不可能領域Ｉの画像の認識を行う（ステップ＃１０）。
本実施形態においては、ステップ＃０８において走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内について、走行不可能領域Ｉであるか否かの判断基準が他の領域（ここでは領域Ａ５及びＡ６）よりも低くなるように認識アルゴリズムを調整する。すなわち、上述のとおり、歩道Ｉ１、分離帯Ｉ２、路肩等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多く、ペイント表示Ｐよりも画像認識が一般的に困難である。そこで、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７について、他の領域よりも走行不可能領域Ｉと認識しやすくする方向に認識アルゴリズムを調整することにより、走行不可能領域Ｉの認識率を高めることができる。
なお、走行不可能領域Ｉであるか否かの判断基準が他の領域よりも低くなるように認識アルゴリズムを調整するためには、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７における判断基準を他の領域に対して低くする方法の他に、他の領域の判断基準を領域Ａ４及びＡ７に対して高くする方法や、領域Ａ４及びＡ７における判断基準を他の領域に対して低くするとともに他の領域の判断基準を領域Ａ４及びＡ７に対して高くする方法等がある。この認識アルゴリズムの具体的な調整方法は、走行不可能領域Ｉの認識方法に応じた方法とする。

例えば、本実施形態においては、走行不可能領域Ｉの画像の認識アルゴリズムとして、画像情報Ｇに対してエッジ検出処理を行い、道路１１の幅方向の各位置におけるエッジ点数を検出し、このエッジ点数が所定のしきい値以上となっている場所が走行不可能領域Ｉであると認識するアルゴリズムとしている。そして、この際のしきい値として、図９に示すように、低い値に設定された第一しきい値ｔ１と、高い値に設定された第二しきい値ｔ２とを用いている。すなわち、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内では第一しきい値ｔ１を用い、それ以外の領域Ａ５及びＡ６内では第二しきい値ｔ２を用いることにより、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内について、走行不可能領域Ｉであるか否かの判断基準が他の領域Ａ５及びＡ６よりも低くなるように認識アルゴリズムを調整している。

図９は、図５に示す画像情報Ｇについて、道路１１の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフである。この図に示すように、領域Ａ１〜Ａ３は、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａが存在するのでエッジ点数は多くなっていが、これらの領域Ａ１〜Ａ３は走行不可能領域Ｉの画像認識の対象とはならない。領域Ａ５は、マンホールＰ３が存在する位置以外はアスファルトの路面のみであるので全体的にエッジ点数は少なくなっている。
一方、領域Ａ４、Ａ６、及びＡ７は、エッジ点数はある程度多くなっている。結論からいうと、領域Ａ４及びＡ７はそれぞれ歩道Ｉ１又は中央分離帯Ｉ２といった走行不可能領域Ｉが存在することによりエッジ点数が多くなっているのに対して、領域Ａ６は前方の車両の画像Ｇｓ及びその車両の画像Ｇｓに隠れた破線の区画線ＧＰ２ｂが存在することによりエッジ点数が多くなっている。しかし、エッジ点数のみからそれが走行不可能領域Ｉであるか否かを判断することは困難である。

そこで、ステップ＃０８の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内については、走行不可能領域Ｉであると判断するしきい値を低い値に設定された第一しきい値ｔ１とし、その他の領域Ａ５及びＡ６内については、走行不可能領域Ｉであると判断するしきい値を高い値に設定された第二しきい値ｔ２としている。これにより、ステップ＃０８の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内で走行不可能領域Ｉの検出漏れを減らすとともに、それ以外の領域Ａ５及びＡ６内で走行不可能領域Ｉと誤検出することを防止できる。したがって、走行不可能領域Ｉの認識率を高めることができる。これらの第一しきい値ｔ１及び第二しきい値ｔ２の値は、実験的及び統計的に適切な値を求めるとよい。また、これらの第一しきい値ｔ１及び第二しきい値ｔ２の値を、画像情報Ｇから抽出される他の情報や車両Ｍに搭載された他のセンサからの信号等に基づいて変化する可変値とすることも好適な実施形態の一つである。

このような走行不可能領域Ｉの画像の認識処理により、路肩、歩道、分離帯等の走行不可能領域Ｉの画像認識を高い精度で行うことが可能となる。本実施形態においては、図１０に示すように、ステップ＃７２の処理により抽出されたペイント表示Ｐの画像に加えて、区画線Ｐ１ａの画像ＧＰ１ａの左側に歩道Ｉ１の画像ＧＩ１が、区画線Ｐ１ｂの画像ＧＰ１ｂの右側に中央分離帯Ｉ２の画像ＧＩ２がそれぞれ認識されることになる。

以上に説明したステップ＃０１〜＃１０の一連の工程は、所定の時間間隔で繰り返し行われる。これにより、走行中の車両Ｍによるリアルタイムの画像認識を実現することができる。

そして、この画像認識装置１は、車両Ｍの走行制御を行う車両制御装置や、自位置の表示等を行うナビゲーション装置等に適用することができる。例えば、この画像認識装置１を車両制御装置に適用する場合には、画像情報認識演算部１０による画像認識結果に基づいて、車両Ｍの周囲の状況、例えば、車両Ｍから歩道や分離帯等の走行不可能領域Ｉまでの距離及び方向、停止線、区画線、横断歩道等までの距離及び方向等を認識することができるので、例えばレーンキープ、衝突防止、事故防止等のための操舵や加減速等といった車両の走行制御を好適に行うことが可能となる。

また、例えば、この画像認識装置１をナビゲーション装置に適用する場合には、画像情報認識演算部１０による画像認識結果に基づいて従来のＧＰＳ受信機４、方位センサ５、及び距離センサ６等のみによる場合よりも自位置をより詳細に認識することができるので、例えば車線単位等での自位置の詳細な表示を行うことや、詳細に認識される自位置の情報に基づいて最適なタイミングで経路案内を行うこと等が可能となる。

〔その他の実施形態〕
（１）上記のとおり、図４のフローチャートに示す実施形態では、第一の画像認識処理方法と第二の画像認識処理方法とを組み合わせて、道路１１の路面に設けられたペイント表示Ｐと、道路１１に隣接する走行不可能領域Ｉとを認識する場合について説明したが、第一の画像認識処理方法のみを用いてペイント表示Ｐや走行不可能領域Ｉの画像候補を抽出して道路特徴情報Ｃと対比し、道路特徴情報Ｃとの整合性が高い画像候補をペイント表示Ｐや走行不可能領域Ｉの画像として認識する画像認識を行うことも当然に可能である。
また、第二の画像認識処理方法のみを用いてペイント表示Ｐや走行不可能領域Ｉの画像認識を行うことも可能である。すなわち、位置特定演算部７により特定された撮像位置と道路特徴情報Ｃとに基づいて画像情報Ｇ中におけるペイント表示Ｐや走行不可能領域Ｉの画像が存在する領域を推測し、その推測結果に基づいて、ペイント表示Ｐや走行不可能領域Ｉの画像が存在すると推測される領域内ではペイント表示Ｐや走行不可能領域Ｉであるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、画像情報Ｇの中から認識対象物の画像を認識する画像認識を行うことも可能である。

（２）上記の実施形態においては、画像認識装置１を車両Ｍに搭載した場合を例として説明したが、この画像認識装置１の用途は車両Ｍに搭載されるものに限定されない。すなわち、本発明に係る画像認識装置１は、撮像装置２が道路上を移動する場合に好適に用いることができる。また、道路上で撮像された静止画の画像認識を行うものとしても用いることが可能である。
また、画像認識装置１の全ての構成が車両Ｍに搭載されるとは限らない。すなわち、撮像装置２を除く一部の構成が、インターネット等の通信ネットワークを介して接続された状態で車両Ｍの外に設置されており、ネットワークを介して情報や信号の送受信を行うことにより、画像認識装置１を構成するものとすることもできる。この場合、例えば画像情報認識演算部１０の機能を車外のサーバ等により実行させることも可能である。

本発明に係る画像認識装置及び画像認識方法は、例えば車両等に搭載された場合のように、道路上を移動する撮像装置により撮像された画像情報の認識処理を行う用途等に好適に用いることが可能である。

本発明の実施形態に係る画像認識装置のハードウエア構成の概略を示すブロック図 本発明の実施形態に係る画像認識装置における撮像装置の配置例を示す図 本発明の実施形態に係る画像認識装置における地図情報データベースに格納されている地図情報の内容を示す説明図 本発明の実施形態に係る画像認識装置における画像認識処理の具体例を示すフローチャート （ａ）：撮像装置により撮像された画像情報の一例、（ｂ）：（ａ）に示された画像情報に対して前処理を行った後の画像情報の一例 本発明の実施形態に係る画像認識装置における道路特徴情報取得演算部により取得された道路特徴情報の一例を図形化して示した図 本発明の実施形態に係る画像認識装置における画像情報と道路特徴情報との照合の処理（ステップ＃０７）のフローチャート （ａ）：画像情報からステップ＃７２の処理により抽出されたペイント表示の画像のみを表した図、（ｂ）：（ａ）に示された画像に基づいて区画線により領域を区分した状態を示す図 図５に示す画像情報について、道路の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフ 本発明の実施形態に係る画像認識装置において、ステップ＃７及びステップ＃１０の処理により認識された画像情報Ｇ中の画像を示す図

符号の説明

１：画像認識装置
２：撮像装置
３：画像情報取得部（画像情報取得手段）
７：位置特定演算部
８：地図情報データベース
９：道路特徴情報取得演算部（道路特徴情報取得手段）
１０：画像情報認識演算部（画像情報認識手段）
１０ａ：ペイント表示認識演算部（第一対象物認識手段）
１０ｂ：道路特徴情報照合部（道路特徴情報照合手段）
１０ｃ：領域推測部（領域推測手段）
１０ｄ：走行不可能領域認識部（第二対象物認識手段）
Ｇ：画像情報
Ｃ：道路特徴情報
Ｐ：ペイント表示
Ｉ：走行不可能領域

Claims (14)

1. 道路上で撮像した画像情報を取り込む画像情報取得手段と、
   地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
   前記道路特徴情報を用いて前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、
   を備え、
   前記画像情報認識手段は、前記道路特徴情報に基づいて前記画像情報中における前記認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、前記認識対象物の画像が存在すると推測される領域内では前記認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して前記認識対象物の画像を認識する認識処理を行う画像認識装置。
2. 前記画像情報認識手段は、前記認識処理と組み合わせて、前記画像情報から前記認識対象物の画像候補を抽出して前記道路特徴情報と対比し、前記道路特徴情報との整合性が高い前記画像候補を前記認識対象物の画像として認識する認識処理を行う請求項１に記載の画像認識装置。
3. 前記道路特徴情報は、前記地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む請求項１又は２に記載の画像認識装置。
4. 前記地物として、道路の路面に設けられたペイント表示及び道路に隣接する走行不可能領域の一方又は双方を含む請求項１から３の何れか一項に記載の画像認識装置。
5. 道路上で撮像した画像情報を取り込む画像情報取得手段と、
   地図情報から前記画像情報の撮像位置周辺の第一及び第二の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
   前記画像情報の中に含まれる、認識が比較的容易な前記第一の地物に対応する第一の認識対象物の画像を認識する第一対象物認識手段と、
   前記第一対象物認識手段による前記第一の認識対象物の画像の認識結果と、前記道路特徴情報取得手段により取得された前記第一の地物に関する前記道路特徴情報とを対比し、前記画像情報と前記道路特徴情報との照合を行う道路特徴情報照合手段と、
   前記道路特徴情報照合手段による照合結果に基づいて、前記画像情報中における、前記第一の認識対象物より認識が困難な前記第二の地物に対応する第二の認識対象物の画像が存在する領域を推測する領域推測手段と、
   前記領域推測手段による推測結果に基づいて、前記第二の認識対象物の画像が存在すると推測される領域内では前記第二の認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、前記画像情報の中に含まれる前記第二の認識対象物の画像の認識を行う第二対象物認識手段と、
   を備える画像認識装置。
6. 前記第一対象物認識手段は、前記画像情報から前記第一の認識対象物の画像候補を抽出し、
   前記道路特徴情報照合手段は、前記第一の認識対象物の画像候補と前記道路特徴情報取得手段により取得された前記第一の地物に関する前記道路特徴情報とを対比し、整合性が高い前記第一の認識対象物の画像候補を前記第一の認識対象物の画像として認識し、認識された前記第一の認識対象物の画像を基準として前記画像情報と前記道路特徴情報との照合を行う請求項５に記載の画像認識装置。
7. 前記道路特徴情報は、前記第一及び第二の地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む請求項５又は６に記載の画像認識装置。
8. 前記第一の地物は道路の路面に設けられたペイント表示であり、前記第二の地物は道路に隣接する走行不可能領域である請求項５から７の何れか一項に記載の画像認識装置。
9. 前記道路特徴情報取得手段は、ナビゲーション装置を構成する地図情報データベースが有する地図情報から、前記撮像装置による前記画像情報の撮像時に、前記ナビゲーション装置を構成する位置情報取得手段により取得された位置周辺の前記道路特徴情報を取得する請求項１から８の何れか一項に記載の画像認識装置。
10. 前記画像情報取得手段は、車両に搭載した撮像装置により撮像した画像情報を所定の時間間隔で取り込む請求項１から９の何れか一項に記載の画像認識装置。
11. 請求項１に記載の画像認識装置を備えるとともに、
    前記画像情報認識手段による認識結果に基づいて車両の走行制御を行う走行制御手段を備える車両制御装置。
12. 請求項１に記載の画像認識装置を備えるとともに、
    前記地図情報を有する地図情報データベースと、
    自位置情報を取得する位置情報取得手段と、
    前記画像情報認識手段による認識結果に基づいて前記自位置情報を補正する自位置補正手段と、を備えるナビゲーション装置。
13. 道路上で撮像した画像情報を取り込む画像情報取得工程と、
    地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、
    前記道路特徴情報を用いて前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、
    を有し、
    前記画像情報認識工程は、前記道路特徴情報に基づいて前記画像情報中における前記認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、前記認識対象物の画像が存在すると推測される領域内では前記認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して前記認識対象物の画像を認識する認識処理工程を含む画像認識方法。
14. 道路上で撮像した画像情報を取り込む画像情報取得工程と、
    地図情報から前記画像情報の撮像位置周辺の第一及び第二の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、
    前記画像情報の中に含まれる、認識が比較的容易な前記第一の地物に対応する第一の認識対象物の画像を認識する第一対象物認識工程と、
    前記第一対象物認識工程による前記第一の認識対象物の画像の認識結果と、前記道路特徴情報取得工程により取得された前記第一の認識対象物に関する前記道路特徴情報とを対比し、前記画像情報と前記道路特徴情報との照合を行う道路特徴情報照合工程と、
    前記道路特徴情報照合工程による照合結果に基づいて、前記画像情報中における、前記第一の認識対象物より認識が困難な前記第二の地物に対応する第二の認識対象物の画像が存在する領域を推測する領域推測工程と、
    前記領域推測工程による推測結果に基づいて、前記第二の認識対象物の画像が存在すると推測される領域内では前記第二の認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、前記画像情報の中に含まれる前記第二の認識対象物の画像の認識を行う第二対象物認識工程と、
    を有する画像認識方法。

Images