JP4871909B2 - 物体認識装置、および物体認識方法 - Google Patents

Description

本発明は、画像を用いて物体を検出する技術に関する。

自車両に搭載された撮像装置からの撮像画像から、路面上の物体を検出し、相対的な自車位置を判断するような技術が知られている。

例えば、引用文献１に記載された発明では、自車両に搭載された撮像装置を用いて、ストロボが点灯時と非点灯時との画像を撮像し、これらの画像を比較することにより光反射標識を検出するような技術が記載されている。
特開平７−１５２４３４号公報

しかしながら、特許文献１に記載の技術では、ストロボを車両に搭載しなければならないため、車両の機材積載量が増加してしまう。また、ストロボ点灯時および非点灯時の撮像タイミングにおいて自車位置が大きく異なる場合には、画像の比較が困難となる可能性があった。

そこで本発明では、ストロボが不要でかつ簡易な構成で路面上の物体を検出することが可能な技術を提供することを目的とする。

前記課題を解決するために、本発明の物体認識装置は、外部からの光によって生じる画像間の差分を用いて、路面の物体を検出する技術を提供する。
例えば、移動体に搭載される撮像手段と、前記撮像手段が異なる時点で撮像した画像を、垂直方向から見下ろす合成画像（俯瞰画像）にそれぞれ変換する画像生成手段と、複数の前記合成画像を比較して、対応する領域を検出する検出手段と、前記対応する領域のうち輝度値の差異が大きい領域に対して円形検出処理を行い、円形のマンホールを認識する認識手段と、を備えることを特徴とする。
また例えば、前記対応する領域のうち輝度値の差異が大きい領域に対して四角形検出処理を行い、四角形のマンホールを認識する認識手段と、を備えることを特徴とする。

以上のように、本発明の物体認識装置は、ストロボが不要でかつ簡易な構成で路面上の物体を認識することが可能な技術を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。

＜第一の実施形態＞
図１は、本願の第一の実施形態にかかる物体認識システム１の機能構成を示すブロック図である。

図示するように、物体認識システム１は、物体認識装置１０と、カーナビゲーション装置２０と、車速パルスセンサ３０と、車載カメラ４０と、を含んでいる。

まず、カーナビゲーション装置２０について説明する。なお、物体認識装置１０とカーナビゲーション装置２０とは、同一機器である一体型としてもよい。

カーナビゲーション装置２０は、例えば、ＧＰＳ（Global Positioning System；全地球測位システム）や、車速パルスおよびジャイロ等の自立航法装置を利用して自車両の位置を検出し、目的地への走行経路案内を行う装置である。

カーナビゲーション装置２０は、記憶部２１と、制御部２２と、ＧＰＳ受信部２３と、インターフェース部２４（以下、Ｉ／Ｆ部と称する）と、を備えている。

記憶部２１は、全国の道路地図である地図データ２１０を予め記憶する。地図データ２１０は、例えば、図２に示すような構成のデータベースである。

図２は、地図データ２１０の概略図である。地図データ２１０は、メッシュ状に区分された地域単位の地図情報２１１の集合である。

地図情報２１１とは、所定の地域内における、交差点および車線数や幅員が変更する点であるノードと、隣接するノードを連結するベクトルであるリンクと、の接続関係を表す情報である。各リンクは、リンクテーブル２１２によって管理される。

リンクテーブル２１２に格納される情報としては、一般的に次のようなものが挙げられる。例えば、リンクＩＤ；リンク両端（開始ノード・終了ノード）の座標；距離・方向・幅員等の特徴情報等である。

ここで、本実施形態にかかるリンクテーブル２１２は、上記に加えて、さらにマンホール情報２１３を有する。マンホール情報２１３とは、リンク内に存在するマンホールの識別子であるマンホールＩＤ２１４ａと、マンホールの位置を特定する座標情報２１４ｂと、マンホールの種別を特定する種別情報２１４ｃと、マンホールのサイズを特定するサイズ情報２１４ｄと、を格納する情報である。

具体的に、座標情報２１４ｂは、道路上に存在するマンホールの位置座標を、緯度および経度によって示す。種別情報２１４ｃは、例えば、マンホールの規格や形状、模様等を示す情報である。サイズ情報２１４ｄとは、例えば、円形のマンホールであれば直径や円周等、四角形のものであれば各辺の長さ等を示す情報である。

以上に説明したようなマンホール情報２１３は、制御部２２によって、物体認識装置１０へと出力される。

制御部２２は、自車両の周辺に存在するマンホールのマンホール情報２１３を特定し、Ｉ／Ｆ部２４を介して物体認識装置１０へと出力する。

具体的に、制御部２２は、一定時間ごとに自車両の現在位置を中心として所定の範囲内、かつ、現在位置するリンクから接続される一繋がりの道路上に存在するマンホール情報２１３を検出して、これを物体認識装置１０の条件設定部１２１へと出力する。マンホール情報が検出されなかった場合には、非検出信号を出力する。

なお、制御部２２は、自車両の進行方向を判断して、進行先の一定範囲内に存在するマンホールのマンホール情報２１３のみを抽出し、出力してもよい。また、カーナビゲーション装置２０が経路案内を実行中の場合には、制御部２２は、誘導先の経路上で一定範囲内に存在するマンホールのマンホール情報２１３のみを抽出してもよい。

また、制御部２２は、物体認識装置１０から出力される位置情報に協調して、自車位置を補正する。

ＧＰＳ受信部２３は、ＧＰＳ（Global Positioning System）衛星からの信号を受信する。

また、カーナビゲーション装置２０は、この他に、道路に敷設されたビーコンや各地のＦＭ放送局を介して、ＶＩＣＳ（Vehicle Information and Communication System）センタから配信される道路交通情報を受信するＶＩＣＳ受信部等を備えていてもよい。

Ｉ／Ｆ部２４は、物体認識装置１０と通信を行うためのインターフェースであり、どのような通信方式を利用するものであってもよい。

物体認識装置１０は、記憶部１１と、制御部１２と、Ｉ／Ｆ部１３と、を備える。

記憶部１１は、画像記憶領域１１１と、変換テーブル記憶領域１１２と、を有する。

画像記憶領域１１１は、車載カメラ４０より出力されるフレーム画像と、フレーム画像より生成される俯瞰画像と、を記憶する。図３（ａ）および（ｂ）に、フレーム画像および俯瞰画像の概略図を示す。

フレーム画像とは、車載カメラ４０よりフレームレートに従って出力される撮像画像であり（図３（ａ）９０Ａ・９０Ｂ参照）、俯瞰画像とは、画像生成部１２２が生成するフレーム画像を垂直方向に見下ろした画像（天空から垂直に地上面を見た場合の平面図；図３（ｂ）９１Ａ・９１Ｂ参照）である。これらは、画像生成部１２２により取得および生成され、画像記憶領域１１１に格納される。

変換テーブル記憶領域１１２は、撮像画像（フレーム画像）から俯瞰画像を生成するために必要な変換テーブル（図示しない）を記憶する。変換テーブルとは、例えば、フレーム画像の各画素の座標位置と、俯瞰画像の各画素の座標位置と、を対応付け、ここに角度差やレンズの歪曲収差を補正するための補正パラメータを配したものである。補正パラメータとは、例えば、カメラの設置位置、設置角度、レンズ歪み、ＣＣＤサイズ等であり、レンズの光学特性やカメラの設定等に基づいて一意に決定される。なお、変換テーブルは、Ｉ／Ｆ部１３を介して、他の装置から取得してもよい。

制御部１２は、デジタル画像処理条件を設定する条件設定部１２１と、車載カメラからの画像を俯瞰画像に変換する画像生成部１２２と、俯瞰画像に含まれる金属物を検出する物体認識部１２３と、金属物からの相対的な自車両の位置を特定する位置情報生成部１２４と、を有する。

条件設定部１２１は、画像記憶領域１１１に蓄積されたフレーム画像および当該画像の撮像環境に基づいて、画像生成部１２２の実行する前処理の内容を設定する。具体的に、条件設定部１２１は、カーナビゲーション装置２０からマンホール情報２１３を受け付けると、まず、画像生成部１２２に処理の開始を要求する。

なお、条件設定部１２１は、カーナビゲーション装置２０から周囲に存在するマンホール情報２１３の非検出信号を受信した場合には、画像生成部１２２へ処理の終了を要求する。

さらに、画像生成部１２２が処理を開始して新たなフレーム画像を取得すると、条件設定部１２１は、車速パルスセンサ３０からのパルス信号に基づいて、現時点の車速を検出する。さらに、条件設定部１２１は、携帯電話ネットワーク等の無線通信網を利用し、サーバから天候・時刻等の環境情報を取得する。そして、画像生成部１２２の実行する前処理条件や、物体認識部１２３の実行する画像処理に関する設定を行う。

ここで、画像生成部１２２の実行する前処理とは、フィルタリングやガンマ補正等、デジタル画像処理の一環である。

例えば、条件設定部１２１は、画面上のノイズ量を算出し、ノイズ量が多い場合には、画像生成部１２２の実行する前処理段階でノイズ除去処理（各種平滑化フィルタによるフィルタリング）の必要性を判断し、画像生成部１２２に実行させるか否かを決定する。

また例えば、撮像環境が悪天候や夜間等で、フレーム画像の輝度値が全体的に低い場合には、条件設定部１２１は、ガンマ補正強度を決定するパラメータの設定を行う。

さらに、条件設定部１２１は、外乱光のためハレーションが発生している領域を判断する。

ハレーションは、後続車のヘッドライト等によって撮像画像の一定の領域に引き起こされるものであるため、条件設定部１２１は、夜間に一定時間、所定の輝度値以上の値を示す画素が存在する場合、これをハレーション領域として特定する。

具体的に、条件設定部１２１は、最新のフレーム画像の輝度値と、過去の一定期間のフレーム画像の輝度値と、を比較して、連続的に所定の値以上の輝度値を有する領域が存在するか否かを検出する。上記のような領域がフレーム画像に存在する場合には、条件設定部１２１は、当該領域にマスク処理を施す。

ここで、マスク処理とは、後段の物体認識部１２３の実行する認識処理の対象とならないマスク領域を設定するものである。例えば、フレーム画像をブロックに分割し、ブロックごとに１ビット長のマスクデータを設ける。そして、ハレーションが発生していると判断されるブロックのマスクデータにフラグを付与し、マスク領域としてラベリングする。

なお、環境情報は、カーナビゲーション装置２０から現在地点を取得して、その周辺の情報のみを取得してもよいし、カーナビゲーション装置２０が直接サーバから周辺の情報を取得して、条件設定部１２１へ出力するような構成としてもよい。

画像生成部１２２は、条件設定部１２１から処理の開始を要求されると、フレーム画像から俯瞰画像を生成する。具体的に、画像生成部１２２はまず、車載カメラ４０より出力されるフレーム画像を取得して、画像記憶領域１１１に時系列順に蓄積する。そして、フレーム画像に前処理を施した後、変換テーブルを利用して垂直方向から見下ろした俯瞰画像（天空から地上面を見た場合の平面図）を生成する。生成した俯瞰画像は、時系列順に画像記憶領域１１１へと格納される。

なお、フレーム画像は、車載カメラ４０のフレームレートに従って出力されるが、例えば、フレームレートが車速によって変化し、画像生成部１２２が常に一定の距離範囲を撮像したフレーム画像を得られるような構成としてもよい。また、フレームレートに関わらず、一定の距離間隔ごとにこれを取得してもよい。

また、フレーム画像に施される前処理は、必ずしも全画面に実行する必要はない。例えば、他車により隠蔽されることが少なく、かつ、マンホールが適切な大きさで撮像される可能性が大きい領域である対象領域９００（図３（ａ）のフレーム画像９０Ａ参照）を予め設定しておき、当該領域のみを以降の処理の対象とすることも可能である。

物体認識部１２３は、俯瞰画像どうしを比較して、俯瞰画像中に含まれるマンホールを認識する。

ここで、マンホールの認識手法について、図３（ａ）、図３（ｂ）および図４を参照しながら説明する。図４は、夜間に街灯６０が点灯する道路を自車両が走行する場合の、車載カメラ４０の撮像画像についての説明図である。

図４に示すように、街灯６０からマンホール５０への光の入射角θ_１と、車載カメラ４０からマンホール５０の撮像角θ_２とがほぼ等しい場合、マンホール５０は街灯６０からの光線を反射し、その反射光は車載カメラ４０へと入射する。従って、他の道路標示と比較して鏡面反射成分が大きいマンホール５０のような金属物は、車載カメラ４０の撮像画像において周囲の道路よりも明るく観測される。一方、θ_１とθ_２とが大きく異なる場合、車載カメラ４０は反射光を受けないため、マンホール５０は周囲の路面や道路標示等と同様に暗く観測される。

ここで、図３（ａ）および図３（ｂ）に示すように、時点ｔ_０のフレーム画像９０Ａおよびその俯瞰画像９１Ａはθ_１とθ_２とがほぼ等しく、時点ｔ_１のフレーム画像９０Ｂおよびその俯瞰画像９１Ｂはθ_１とθ_２とが大きく異なるとする。このような場合、時点ｔ_０と時点ｔ_１との撮像タイミングの違いによって、両画像におけるマンホール５０の輝度値には大きな差異が生じる。物体認識部１２３は、このような輝度差を利用してマンホールが存在するか否かを検出することが可能である。

具体的に、物体認識部１２３は、複数枚の俯瞰画像を比較し、自車の移動量である移動領域Ｐおよび重畳する領域である重複領域Ｄを特定して、重複領域Ｄにおける輝度値の差分が閾値Ｔ_１以上の領域を判断し、当該領域の形状を検出する。

なお、当該認識処理に使用する俯瞰画像の数は、予め設定しておしてもよいし、利用者が任意で設定することも可能である。

自車移動量（俯瞰画像間のずれ量）の特定は、俯瞰画像どうしの特徴量を抽出し、画像間の対応付けを検出することで算出可能である。また、車速パルスセンサ３０からのパルス信号や、図示しない操舵角センサおよび角速度センサからの入力信号から、自立航法を利用して算出してもよいし、自車両の前方・側方・後方等の複数の位置にステレオカメラをさらに設け、特定物体の移動および画像流を監視して推定してもよい。

また、例えば、自車移動量は、駐車支援用等に用いられるような後方単眼カメラのフレーム画像中の一定領域について、特徴量（エッジ・幾何的特長量・テクスチャ等）を検出し、当該領域と類似する特徴点を有する領域が他のフレーム画像に存在か否かを検出し、領域間の距離を自車移動量とすることもできる。

なお、ここでは夜間走行時を例にあげて説明したが、昼間走行時においても角度によって金属物は異なる輝度値で撮像されるため、昼間でも金属物を認識することが可能である。また、昼間と夜間で、輝度値の差分に関する閾値Ｔ_１の値を変更してもよい。

位置情報生成部１２４は、位置情報を生成してカーナビゲーション装置２０へと出力する。具体的に、位置情報生成部１２４は、物体認識部１２３によって認識されたマンホールと一致する種別情報２１４ｃを有するマンホール情報２１３を検出し、そのマンホールＩＤ２１４ａおよびマンホールまでの距離・角度等を特定する位置情報を生成して、をカーナビゲーション装置２０へと出力する。

Ｉ／Ｆ部１３は、各デバイスと通信を行うためのインターフェースであり、無線通信モジュールを備える。もちろん、通信方式には、その他どのような手段を利用してもよい。

車速パルスセンサ３０は、車輪の一定の回転に応答してパルス信号を出力する。このパルス信号に基づいて、自車両の速度や走行距離が算出される。

車載カメラ４０は、車両の後方に設置され、車両後方側の所定の撮影範囲を、地面に対して斜めに見下ろす方向で撮像する。もちろん、設置位置は車両の後方に限らず、車両の前方や側方、車体下等に設置することも可能である。また、カメラを複数設置して、それぞれのカメラの画像を相互に照合するような構成としてもよい。

ここで、物体認識装置１０のハードウェア構成について説明する。図１２は、物体認識装置１０の電気的な構成を示すブロック図である。

図１２に示すように、物体認識装置１０は、コンピュータの主要部であって、各装置を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１と、各種データを書換え可能に記憶するメモリ４２と、を備える。さらに、物体認識装置１０は、各種のプログラム、プログラムが生成するデータ等を格納する外部記憶装置４３と、無線ＬＡＮモジュールを備え、外部の装置等と通信を行う通信装置４４と、を備える。これらの各装置は、バスなどの信号線４５を介してＣＰＵ１と接続される。

ＣＰＵ４１は、例えば、外部記憶装置４３上に格納されたプログラムをメモリ４２上にロードして実行することにより、各種処理を実行する。

外部記憶装置４３は、例えばＨＤＤ（Hard Disk Drive）を備えているが、もちろん、ＨＤＤのみに限定されず、配布されたプログラムであるコンピュータソフトウェアや、データを読み取るための機構として、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のドライブをさらに備えてもよい。

以上のように構成される物体認識装置１０で実行される処理について、図５に示すフロー図を用いて説明する。図５は、物体認識装置１０が、撮像画像から位置情報を生成する際の処理の流れを示すフロー図である。

物体認識装置１０は、条件設定部１２１がカーナビゲーション装置２０から周囲に存在するマンホールのマンホール情報２１３を受信し、画像生成部１２２に処理の開始を要求することで以下のフローを開始する。

画像生成部１２２は、まず、車載カメラ４０からフレーム画像を取得して、画像記憶領域１１１に蓄積する（Ｓ１１）。具体的に、画像生成部１２２は、車載カメラ４０から画像信号を取得すると、画像を構成するフレームをフレーム画像として画像記憶領域１１１に時系列順に格納し、条件設定部１２１へ条件設定要求を出力する。

条件設定部１２１は、条件設定要求を受け付けると、画像生成部１２２の実行する前処理の条件を設定する（Ｓ１２）。具体的に、条件設定部１２１は、車速パルスセンサ３０からパルス信号を、サーバから現在位置の天候・時刻等の環境情報を取得する。そして、画像記憶領域１１１に格納される最新のフレーム画像の輝度値およびノイズを検出して、フィルタリングの必要性や補正に関するパラメータ等の、前処理条件を設定する。

次に、条件設定部１２１は、ハレーションが発生している領域を検出する（Ｓ１３）。ここで、ハレーション領域の検出処理について、図６を参照して詳細に説明する。

条件設定部１２１は、最新のフレーム画像と、連続して蓄積される過去のフレーム画像と、を画像記憶領域１１１から所定の数読み出して、各々の画像を任意のブロックに分割する（Ｓ１３１）。なお、画像記憶領域１１１に未だ所定の数のフレーム画像が蓄積されていない場合には、当該処理をスキップし、ステップ１４へと進む。

次に、条件設定部１２１は、最新のフレーム画像と、過去の一連のフレーム画像と、の輝度値をブロックごとに比較して、ハレーション領域を特定する（Ｓ１３２）。具体的に、条件設定部１２１は、複数のフレーム画像に渡って連続して、対応するブロック内に所定の輝度値以上の画素が一定以上の割合含まれているブロックが存在するか否かを判断する。存在する場合には（Ｓ１３２でＹＥＳ）、ステップ１３３へと進み、存在しない場合には（Ｓ１３２でＮＯ）、ステップ１４へと進む。

一連のフレーム画像に、ハレーション領域として特定されたブロックが存在する場合には（Ｓ１３２でＹＥＳ）、条件設定部１２１は、当該ブロックに対してマスク処理を実行する（Ｓ１３３）。具体的に、条件設定部１２１は、ハレーション領域として特定されたブロックに、マスク領域フラグ（例えば、「１」）を付与してラベリングする。

そして、条件設定部１２１は、画像生成部１２２へ、ステップ１２で設定した前処理条件と共に画像処理要求を出力する（Ｓ１３４）。

図５に戻って、画像生成部１２２は、前処理条件および画像処理要求を受け付けると、最新のフレーム画像について前処理を実行する（Ｓ１４）。具体的に、画像生成部１２２は、前処理条件に基づいて、フィルタリングおよび補正等のデジタル画像処理を実行する。なお、条件設定部１２１によってラベリングされたマスク領域については、当該処理の対象とせずに無視する。

次に、画像生成部１２２は、最新のフレーム画像に俯瞰変換処理を施して、俯瞰画像を生成する（Ｓ１５）。具体的には、画像生成部１２２は、上述の変換テーブルに基づいて、フレーム画像の各画素に対して座標変換および補正を施し、俯瞰画像を描画する。そして、画像生成部１２２は、生成した俯瞰画像を画像記憶領域１１１へと時系列順に格納し、物体認識部１２３へ認識処理要求を出力する。

物体認識部１２３は、認識処理要求を受け付けると、所定の数の俯瞰画像を比較して、最新の俯瞰画像内におけるマンホールの有無を判断する（Ｓ１６）。ここで、本実施形態にかかる物体認識部１２３の実行する認識処理について、以下、図３（ａ）、図３（ｂ）および図７を参照して、具体的に説明する。

図３（ａ）に示すようなフレーム画像９０Ａおよび９０Ｂから、図３（ｂ）に示すような俯瞰画像９１Ａおよび９１Ｂを生成する場合について説明する。ここで、俯瞰画像９１Ａおよび９１Ｂには、重畳する領域である重複領域Ｄと、新規に撮像され（もしくは、過去に撮像され）、俯瞰画像間のずれ量である移動領域Ｐと、が含まれている。

図７は、物体認識部１２３の実行する認識処理の流れの概略を示すフロー図である。

物体認識部１２３はまず、俯瞰画像が認識処理を実行する際に必要な数に達しているか否かを検出する（Ｓ１６１）。具体的に、物体認識部１２３は、最新に本フローが開始されてから、画像記憶領域１１１に蓄積された俯瞰画像の数が予め定められた数に達しているか否かを検出する。達している場合には（Ｓ１６１でＹＥＳ）、ステップ１６２へと進み、達していない場合には（Ｓ１６１でＮＯ）、ステップ１１へと戻って、処理を繰り返す。

次に、物体認識部１２３は、最新のフレーム画像および認識処理の対象となる俯瞰画像を読み出して、位置合わせ処理を実行する（Ｓ１６２）。具体的に、位置合わせ処理とは、重複領域Ｄおよび移動領域Ｐの特定である。重複領域Ｄおよび移動領域Ｐは、例えば、各俯瞰画像の輝度値やエッジ成分等の特徴量を抽出し、類似度が高い領域を検出することで特定できる。

また例えば、フレームレート、単位時間あたりの移動距離から、重複領域Ｄおよび移動領域Ｐを算出することも可能である。なお、移動距離は、車速パルスセンサ３０の検出信号を取得して算出すればよい。

認識処理の対象となる俯瞰画像は、どのように選択してもよい。例えば、最新のフレーム画像から一定間隔の距離や時間等で撮像された画像を選択することが可能である。

そして、物体認識部１２３は、俯瞰画像９１Ａおよび９１Ｂを移動方向に移動領域Ｐの画素数だけずらして重複領域Ｄの差分を算出し、その輝度差が所定の閾値Ｔ_１以上である領域（画素）が存在するか否かを検出する（Ｓ１６３）。当該領域が存在する場合には（Ｓ１６３でＹＥＳ）、ステップ１６４へと進み、存在しない場合には（Ｓ１６３でＮＯ）、ステップ１１へと戻って、処理を繰り返す。なお、条件設定部１２１によってラベリングされたマスク領域については、当該処理の対象とせずに無視する。

さらに、物体認識部１２３は、マンホールを認識する（Ｓ１６４）。具体的に、物体認識部１２３は、ステップ１６３で特定された輝度差が所定の閾値Ｔ_１以上である領域について、形状検出を実行する。

例えば、マンホールが円形であるという前提に則って処理を実行する場合、円形検出処理が実行される。円形検出処理とは、検出円の正当性を判断するものである。

例えば、物体認識部１２３は、ステップ１６３で特定された領域を抽出し、領域内の全ての画素のＸＹ平均値を取って、その重心を定める。さらに、座標から領域の外周を判断して、外周点ごとに重心との距離を算出し、その平均値を半径と定める。そして、この半径を有する基準円を領域に重ねて、外周点と重なる比率（類似度）を算出し、円形の正当性を判断する。なお、ノイズ等によって純粋に円形でない可能性があるため、基準円はある程度の幅をもたせたものを使用する。

なお、円形検出は上述の手法に限定されず、どのような手法を用いてもよい。例えば、領域のエッジ成分を抽出して境界線を検出し、エッジ境界線上で任意の２点を２組取得して、それらの垂直二等分線により中心点および半径を求め、円形の正当性を判断してもよい。

もちろん、形状検出処理において、四角形を検出することも可能である。例えば、外周点の中から、重心との距離が最も大きい４点と、上下左右方向の最端に存在する４点と、を抽出して、基準四角形との類似度が所定の閾値以上となる組み合わせの存在の有無から、四角形の正当性を判断することが可能である。

また、物体認識部１２３は、フロー開始時に条件設定部１２１が取得した周囲のマンホール情報２１３を参照して、種別情報２１４ｃから周囲に存在するマンホールの形状を予め予測し、当該形状の検出のみを実行してもよい。また、ステップ１２において、検出を要する形状を、条件設定部１２１が予め設定するような構成としてもよい。

その後、物体認識部１２３は、位置情報生成部１２４へと位置情報生成要求を出力する。

図５に戻って、位置情報生成部１２４は、位置情報生成要求を受け付けると、俯瞰画像に含まれるマンホールの種別および自車両からマンホールまでの距離・角度を検出して、位置情報を生成する（Ｓ１７）。具体的に、位置情報生成部１２４は、物体認識部１２３の認識したマンホール領域の形状やサイズ等と、フロー開始時に条件設定部１２１が受信したマンホール情報２１３の種別情報２１４ｃと、を比較して、内容が最も一致するものを検出し、そのマンホールＩＤ２１４ａを取得する。

さらに、位置情報生成部１２４は、俯瞰画像に含まれるマンホールのうち、自車両から最も近いマンホールまでの距離Ｓおよび角度θ_３（図３（ｂ）参照）を検出して、位置情報を生成する。

かかる距離Ｓおよび角度θ_２の検出には、どのような手法を用いてもよいが、例えば、俯瞰画像に対してエッジ抽出処理を実行し、その境界線上で自車両から最も近い点から自車量までの結線と、円の重心から自車両までの結線とから、距離Ｓおよび角度θ_３を算出することが可能である。

そして、位置情報生成部１２４は、生成した位置情報を、Ｉ／Ｆ部１３を介してカーナビゲーション装置２０へと出力し、処理を終了する。

以上、物体認識装置１０が、フレーム画像に含まれるマンホールの位置情報を生成する処理について説明した。上記によれば、街灯や対向車等による外乱光を利用することによって、自車両が発光手段を有していなくとも、鏡面反射の大きな金属物を検出することが可能である。

なお、本実施形態においては検出対象となる金属物はマンホールとしているが、例えば、高速道路や橋上に存在する金属ジョイントや角の丸められた四角形の消火栓蓋等、その他の金属物に対しても応用可能である。

例えば、ジョイントは道路の端から端までを結ぶ直線状の金属物であるため、抽出されたジョイント領域の境界線の直線成分について、エッジの方向成分を投票することによって認識することができる。また、消火栓蓋の場合には、境界のエッジ成分を一般化ハフ（Hough）変換を用いて検出することが可能である。

また、金属物以外にも、鏡面反射成分の大きい領域であれば、例えば、水溜り等についても検出することができる。

なお、本実施形態においては、フレーム画像から俯瞰画像を生成しているが、これに代わって、フレーム画像から特徴量を抽出して、この特徴量の座標を変換してもよい。特徴量とは、例えば、輝度値やエッジ成分、色情報といった各画素の特徴や、コーナー点およびペイントのような図形要素、所定の領域のテクスチャおよびＨＬＡＣといった統計的特長等、あらゆる画像特徴を利用することが可能である。

なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で様々な変形が可能である。

＜変形例＞
例えば、上記実施形態は、物体認識部１２３の実行する認識処理で使用される俯瞰画像は２枚であるが、本変形例では、認識処理に使用する俯瞰画像の数が３以上に設定されている場合について、説明する。図８は、物体認識部１２３の実行する位置あわせ処理の流れを説明するフロー図である。

物体認識部１２３は、図７のステップ１６１において、俯瞰画像が認識処理を実行する際に必要な数に達しているか否かを検出するが、この値は予め所定の数値が設定されているか、または、利用者によって任意で設定される。ここで例えば、この値が３以上であった場合、物体認識部１２３は、図８に示すような位置合わせ処理を実行する。

図８に示すように、俯瞰画像が予め定められた数に達している場合には（Ｓ１６１でＹＥＳ）、物体認識部１２３は、各俯瞰画像を所定の組み合わせ間で位置合わせ処理を実行する（Ｓ１６２１）。具体的に、物体認識部１２３は、最新の俯瞰画像と、その他の各俯瞰画像との組み合わせの間で、それぞれ重複領域Ｄおよび移動領域Ｐを特定する。重複領域Ｄおよび移動領域Ｐの特定には、上記のどのような手段を用いても構わない。

次に、物体認識部１２３は、ステップ１６２１で特定した各組み合わせの重複領域Ｄについて、それぞれ差分画像を生成する（Ｓ１６２２）。具体的に、物体認識部１２３は、俯瞰画像の組み合わせごとに特定された重複領域Ｄについて、その画素ごとに輝度値の差分を検出して、各組み合わせの差分画像を生成する。

さらに、物体認識部１２３は、差分画像から統合画像を生成する（Ｓ１６２３）。具体的に、物体認識部１２３は、ステップ１６２２で生成した複数の差分画像について、対応する画素を比較してその最大画素値を抽出し、１枚の統合画像として集約する。

その後、物体認識部１２３は、当該統合画像についてステップ１６４の形状検出を実行する。例えば、当該統合画像のうち、所定の閾値以上の画素値を有する領域を抽出して、形状検出を実行する。

なお、本変形例において統合画像の生成は、画素の最大値を集約することで行う構成であるが、その他にも、画素値を加減算・平均化するような集約手法を用いてもよい。

このような構成によれば、認識処理に多くの俯瞰画像を使用することによって、より細分化された撮像タイミングの画像について、認識処理を実行し、高確率でマンホールを検出することが可能である。

＜第二の実施形態＞
次に、本発明の第二の実施形態にかかる物体認識装置７０について説明する。第二の実施形態にかかる物体認識装置７０によれば、非金属である道路標示についても、外乱光を利用した検出が可能となる。以下、第一の実施形態と比較して、異なっている点について主に説明する。

図９は、物体認識システム２の、機能的な構成を示すブロック図である。

図示するように、物体認識システム２は、物体認識装置７０と、カーナビゲーション装置８０と、車速パルスセンサ３０と、車載カメラ４０と、を含んでいる。

カーナビゲーション装置８０は、例えば、ＧＰＳ（全地球測位システム）や車速パルス、ジャイロなどの自立航法装置を利用して、自車両の位置の検出や、目的地への走行経路案内を実行する装置である。

物体認識装置７０は、記憶部１１と、制御部７２と、Ｉ／Ｆ部１３と、を有する。

記憶部１１およびＩ／Ｆ部１３は、第一の実施形態と同様の構成であるため、ここでは詳細な説明を省略する。

制御部７２は、デジタル画像処理条件を設定する条件設定部７２１と、車載カメラから一定周期ごとに出力される画像を取得して俯瞰画像に変換する画像生成部７２２と、俯瞰画像に含まれる道路標示を検出する物体認識部７２３と、を有する。

条件設定部７２１は、第一の実施形態にかかる条件設定部１２１とほぼ同様の構成であるが、カーナビゲーション装置からマンホール情報を取得しない点において異なる。条件設定部７２１は、画像生成部７２２からの条件設定要求を受け付けると、画像記憶領域１１１に蓄積された最新のフレーム画像および当該画像の撮像環境に基づいて、前処理の内容の設定と、ハレーション領域の特定と、を実行する。そして、画像生成部７２２へと画像処理要求を出力する。

画像生成部７２２は、車載カメラ４０から所定の周期毎に出力されるフレーム画像を取得して、画像記憶領域１１１に時系列順に蓄積し、条件設定部７２１へ条件設定要求を出力する。

また、画像生成部７２２は、条件設定部７２１からの画像処理要求を受け付けると、設定条件に基づいて最新のフレーム画像に前処理を施す。そして、フレーム画像を俯瞰画像へと変換し、物体認識部７２３へ認識処理要求を出力する。

物体認識部７２３は、画像生成部７２２からの認識処理要求を受け付けると、最新の俯瞰画像中に道路標示が含まれるか否かを検出する。

第一の実施形態にかかる物体認識部７２３は、重複領域Ｄにおける輝度差が閾値Ｔ_１以上の領域が存在する場合に、これを金属物であると判断するが、第二の実施形態にかかる物体認識部７２３は、これを道路標示であると判断する。

例えば、図１０に示すように、外乱光が存在する場合（時点ｔ_０）としない場合（時点ｔ_１）では、金属物ほどに反射成分を有しない道路標示（ここでは、横断歩道と路側線の一部）であっても、路面よりも大きな輝度差が存在する。そこで、物体認識部１２３は、このような輝度差を有する領域について、次のような処理を実行する。

図１１は、第二の実施形態にかかる物体認識部７２３の実行する道路標示認識処理を説明するフローチャートである。物体認識部７２３は、画像生成部７２２からの認識処理要求を受け付けると、本フローを開始する。

まず、物体認識部７２３は、俯瞰画像が認識処理を実行する際に必要な数に達しているか否かを検出する（Ｓ７０１）。達している場合には（Ｓ７０１でＹＥＳ）、ステップ７０２へと進み、達していない場合には、処理を終了する。

次に、物体認識部７２３は位置合わせ処理を実行する（Ｓ７０２）。具体的に、物体認識部７２３は、フレームレート（数／ｓ）、単位時間あたりの移動距離（ｍ／ｓ）、俯瞰画像の移動方向の画素数、移動方向への単位距離あたりの画素数（数／ｍ）から、最新の俯瞰画像と過去の俯瞰画像との重複領域Ｄおよび移動領域Ｐを算出する。なお移動距離は、条件設定部７２１が条件設定処理時に取得する、車速パルスセンサ３０の検出信号から算出すればよい。

そして、物体認識部７２３は、最新の俯瞰画像と過去の俯瞰画像とを自車移動量だけずらして、重複領域Ｄの輝度値の差分を算出する。そして、その輝度差が所定の閾値Ｔ_２以上である領域（画素）が存在するか否かを検出する（Ｓ７０３）。当該領域が存在する場合には（Ｓ７０３でＹＥＳ）、ステップ７０４へと進み、存在しない場合には（Ｓ７０３でＮＯ）、処理を終了する。

ここで、所定の閾値Ｔ_２は、外乱交を反射する道路標示を検出するために設けられる値であるため、第一の実施形態にかかる鏡面反射成分の大きな金属物を検出するために設けられる閾値Ｔ_１よりも、小さな値であることが望ましい。

輝度差が所定の閾値Ｔ_２以上である領域が存在するか場合（Ｓ７０３でＹＥＳ）、物体認識部７２３は、加算画像を生成する（Ｓ７０４）。具体的に、物体認識部７２３は、重複領域Ｄを加算して、よりコントラスト強度を増した加算画像を生成する。なお、加算合成は、対応する画素のうち最大値を有効とする演算を実行してもよい。

次に、物体認識部７２３は、道路標示の有無を検出する（Ｓ７０５）。具体的に、物体認識部７２３は、加算画像上のステップ７０３で特定された輝度差が所定の閾値Ｔ_２以上である領域について、形状検出処理を実行する。

なお、道路標示の種別ごとに検出される形状が異なるため、カーナビゲーション装置８０の地図データに道路標示とその種別（形状）に関する情報を予め格納し、物体認識部７２３は、カーナビゲーション装置８０から周辺に存在する道路標示に関する情報を取得して、検出対象となる形状を決定してもよい。

また、形状検出の代わりに、特徴量によるテンプレートマッチングによって、道路標示を認識してもよい。例えば、加算画像の特徴量（縦方向および横方向の累積輝度値やエッジ成分等）と、基準となる道路標示の特徴量を記憶するテンプレートとのマッチングによって、道路標示の種別を特定することが可能である。

さらに、検出した道路標示について、自車両との相対位置を算出し、カーナビゲーション装置８０へと出力してもよい。カーナビゲーション装置８０は、これに協調して自車両の位置を補正する構成とすることも可能である。

以上のような構成により、本実施形態にかかる物体認識装置７０は、外乱光を利用して、撮像画像内における道路標示を検出することができる。また、加算画像を生成することによって、道路標示にかすれ等が生じている場合でも、精度よく道路標示を認識することが可能である。

本発明の第一の実施形態にかかる物体認識システム１の、機能的な構成を示すブロック図。 地図データの概略図。 （ａ）（ｂ）フレーム画像と、俯瞰画像と、の概略図。 車載カメラ４０の撮像画像についての説明図。 撮像画像から位置情報を生成する際の処理の流れを示すフロー図。 条件設定部１２１の実行するハレーション領域の検出処理の流れを示すフロー図。 物体認識部１２３の実行する認識処理の流れの概略を示すフロー図。 物体認識部１２３の実行する位置あわせ処理の流れを説明するフロー図。 本発明の第二の実施形態にかかる物体認識システム２の、機能的な構成を示すブロック図。 道路標示を含む俯瞰画像の概略図。 物体認識部７２３の実行する認識処理の流れを示すフロー図。 物体認識装置１０の電気的な構成を示すブロック図。

符号の説明

１０・７０・・・物体認識装置、２０・８０・・・カーナビゲーション装置、３０・・・車速パルスセンサ、４０・・・車載カメラ、１１・・・記憶部、１１１・・・画像記憶領域、１１２・・・変換テーブル記憶領域、１２、７２・・・制御部、１２１、７２１・・・条件設定部、１２２、７２２・・・画像生成部、１２３、７２３・・・物体認識部、１２４・・・位置情報生成部、１３・・・インターフェース部。

Claims (9)

1. 移動体に搭載される撮像手段と、
   前記撮像手段が異なる時点で撮像した画像を、垂直方向から見下ろす合成画像にそれぞれ変換する画像生成手段と、
   複数の前記合成画像を比較して、対応する領域を検出する検出手段と、
   前記対応する領域のうち輝度値の差異が大きい領域に対して円形検出処理を行い、円形のマンホールを認識する認識手段と、を備える
   ことを特徴とする物体認識装置。
2. 移動体に搭載される撮像手段と、
   前記撮像手段が異なる時点で撮像した画像を、垂直方向から見下ろす合成画像にそれぞれ変換する画像生成手段と、
   複数の前記合成画像を比較して、対応する領域を検出する検出手段と、
   前記対応する領域のうち輝度値の差異が大きい領域に対して四角形検出処理を行い、四角形のマンホールを認識する認識手段と、を備える
   ことを特徴とする物体認識装置。
3. 請求項１または２に記載の物体認識装置であって、
   マンホールごとに、少なくともその位置と、形状と、を特定する情報を有するマンホール情報から、前記認識されたマンホールを識別し、該マンホールの位置情報を生成する位置情報生成手段を、さらに有すること
   を特徴とする物体認識装置。
4. 請求項１から３の何れか一項に記載の物体認識装置であって、
   前記検出手段は、前記複数の合成画像間における前記移動体の移動量から、前記領域を検出すること
   を特徴とする物体認識装置。
5. 請求項４記載の物体認識装置であって、
   車速、加速度、角速度のうち、少なくとも１つを検出するセンサを備え、
   前記センサのうち、少なくとも１つを用いて前記移動体の移動量を算出する
   ことを特徴とする物体認識装置。
6. 請求項４に記載の物体認識装置であって、
   前記検出手段は、
   前記複数の合成画像に含まれる特徴点を検出し、
   前記特徴点の移動量から、前記移動体の移動量を算出する
   ことを特徴とする物体認識装置。
7. 請求項１から６のいずれか一項に記載の物体認識装置であって、
   前記認識手段は、
   前記対応する領域を加算して加算画像を生成し、
   前記加算画像から、路面に存在する物体を認識する
   ことを特徴とする物体認識装置。
8. 異なる時点で撮像された画像を、垂直方向から見下ろす合成画像にそれぞれ変換するステップと、
   複数の前記合成画像を比較して、対応する領域を検出するステップと、
   前記対応する領域のうち輝度値の差異が大きい領域に対して形状検出処理を行い、円形及び四角形のマンホールを認識するステップと、を有する
   ことを特徴とする物体認識方法。
9. 請求項８に記載の物体認識方法であって、
   マンホールごとに、少なくともその位置と、形状と、を特定する情報を有するマンホール情報から、前記認識されたマンホールを識別し、該マンホールの位置情報を生成するステップと、をさらに有する
   ことを特徴とする物体認識方法。

Images