JP6464783B2 - 物体検出装置 - Google Patents

Description

本発明は、車両に備えられたカメラにより撮像された画像から特定の対象物を検出する技術に関する。

特許文献１には、車両に搭載されたカメラによる撮像画像から対象物を認識する車両周辺監視装置において、自車両と対象物との相対的な位置関係に基づき、対象物の認識処理を開始するタイミングや、対象物を認識するための画像処理範囲（認識枠）を決定する技術が記載されている。このような技術により、対象物の認識を的確なタイミングで始め、かつ高精度に認識することができるとされている。

特開２００５−３４７９４５号公報

上述の先行技術によれば、自車両と対象物との相対的な位置関係に基づいて、対象物に対する認識処理を開始するタイミングや認識枠を的確に決定できるものの、その認識処理の結果について信頼性を評価することについて考慮されていない。そのため、認識枠内に複数の対象物らしき物体がある場合、認識すべき対象物とは別の物体を対象物として誤検出する可能性がある。

また、通常、センサの取付け位置の設置誤差や、振動によりセンサの姿勢が変化する誤差を考慮して、認識枠は余裕をもって大き目に設定される。加えて、対象物が存在すると期待される実空間上における位置情報を予め取得する位置取得手段（先行技術においてはＧＰＳによる自車両位置情報と対象物の実空間上における位置が格納された地図データベースの組合せ）と、実際に現在時刻において対象物を認識する認識手段(先行技術においてはカメラ)とが、別センサとして構成される。このため、位置取得手段によって取得された位置情報を、認識手段に対して精密に対応付けることができない。したがって、認識手段において、対象物の実際の画像面積よりも大きな認識枠を設定せざるを得ず、認識枠内に対象物以外の物体が含まれる可能性が高まる。

例えば、自車両が従うべき交通信号機を対象物として想定した場合において、対象物となる交通信号機の他に、隣接する別道路や１つ先の交差点の交通信号機を含む複数の交通信号機を認識枠内で検出することが考えられる。このような場合、自車両が従うべき交通信号機とは別の交通信号機に対する認識結果に基づいて、誤った車両制御や情報提供が行われるおそれがある。また、先行車両の尾灯や制動灯等のように、対象物としての交通信号機と似た模様を持つ物体が認識枠に映りこんだときに、交通信号機でない物体を対象物として誤検出してしまう可能性がある。

本発明は、上記問題を解決するためになされたものである。本発明の目的は、画像認識による対象物の検出結果の信頼性を評価することにより、画像認識による検出性能を向上させるための技術を提供することにある。

本発明の物体検出装置は、自車両に設けられた撮像手段により撮像された車両周辺の画像の中から、特定の対象物を検出する物体検出装置であって、画像認識手段と、画像位置取得手段と、評価手段と、判断手段とを備える。

画像認識手段は、撮像手段により撮像された画像に対して画像処理による物標検出処理を行い、画像の中から対象物の候補である候補物標を検出する。画像位置取得手段は、撮像手段により撮像された画像について、画像認識手段により検出された候補物標に相当する画像部分の実空間における自車両との相対位置に関する画像位置情報を取得する。評価手段は、画像位置情報で表される候補物標に相当する画像部分の実空間における位置と、自車両の現在位置及び所与の地図データに基づいて特定した検出すべき対象物の位置との比較に基づいて、画像認識手段により検出された候補物標に関する信頼性を評価する。判断手段は、評価手段による信頼性の評価結果に応じて、候補物標が実際に対象物であるか否かを判断する。

本発明によれば、自車両と対象物との相対位置を基準として、検出された候補物標が認識すべき対象物であるか否かを的確に判断できる。つまり、撮像された画像から測定される候補物標の実空間における位置と、地図データに記されている対象物の実空間における位置とが合っていれば、物体検出結果が正しいと推定することができる。一方、撮像画像から測定した候補物標の実空間における位置と、地図データに基づく対象物の実空間における位置とが離れていれば、その候補物標は非対象物であると推定することができる。このようにすることで、たとえ、同じ画像から対象物によく似た候補物標が複数検出されたとしても、検出された候補物標が認識すべき対象物であるか否かを的確に判断でき、画像認識による検出性能を向上させることができる。

物体検出装置の構成を表すブロック図。 地図データの情報内容を模式的に表す説明図。 物体検出処理の手順を表すフローチャート。 認識枠の設定例を表す説明図。 認識枠内で検出された候補物標（交通信号機の候補）を表す説明図。

以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［物体検出装置の構成の説明］
実施形態の物体検出装置の構成について、図１を参照しながら説明する。物体検出装置は、画像処理を行うプロセッサ（不図示）を含むコンピュータを中心に構成されており、撮像部１０により撮像された画像の中から特定の対象物を検出する画像認識処理を行う機能を有する。この物体検出装置は、車両に搭載され、例えば自動運転等の各種の車両制御に用いられる物体情報の検出を担う車載システムとして具現化される。

撮像部１０は、車両の前方を撮像する車載カメラで構成される。この撮像部１０は、例えば、左右一対のカメラによって構成されるステレオカメラで具現化される。このステレオカメラは、自車両の進行方向に向けて平行等位の位置に配置され、互いに共通する領域（自車両の前方領域）を同一タイミングで撮像し、左右一対の画像からなるステレオ画像を得る。この撮像部１０は、後述の候補物標検出部１７による画像認識処理、及び後述の画像距離推定部１８による画像処理で用いられる画像を取得するためのセンサである。画像入力部１１は、撮像部１０により撮像された画像を表す画像データを候補物標検出部１７に入力する入力インタフェースである。

位置情報入力部１２は、例えばＧＰＳ（Global positioning System）受信機等による衛星測位情報や、車速センサ、ジャイロセンサ、加速センサ等による自律測位情報を入力する機能を担う。現在位置推定部１３は、位置情報入力部１２から入力された情報に基づいて、自車両の現在位置を推定する機能を担う。

地図データベース１４は、道路地図に関する情報が記された地図データを格納する記憶装置である。地図データベース１４に格納されている地図データには、交差点や分岐点、道路の形状点に対応する各ノードに関する情報（位置座標等）や、ノード間を接続する道路のリンクに関する情報等が含まれる。さらに、地図データベース１４に格納されている地図データには、本実施形態の物体検出装置により検出される対象物に関する位置情報が含まれる。本実施形態では、道路において従うべき交通情報を提示する物体を、対象物として想定している。具体的には、交通信号機や電光掲示板といった、提示する情報内容が経時的に変化するものや、道路標識や、区画線、道路標示等が挙げられる。

ここで、地図データの対象物に関する情報内容について、図２を参照しながら説明する。図２に例示されるとおり、地図データには道路を構成する情報として、交差点や道路の形状点に対応するノードと、ノード間を接続する道路のリンクが記されている。

また、交差点のノードには、当該ノードに接続する道路のリンクと、そのリンクで表される道路において従うべき交通情報を提示する対象物とが対応付けて定義されている。図２の事例では、交差点のノードαに接続するリンクａを走行する車両が従うべき対象物として、信号機ａ，ｂ、停止線ａ等が定義されているものとする。そして、信号機や停止線等の個々の対象物について、位置情報が定義されている。この対象物の位置情報は、各対象物が対応付けられているノード等の基準地点の位置座標（例えば、緯度・経度）に対する相対的な位置や、対象物の大きさ（幅）を表す情報である。

例えば、道路の延伸方向（すなわち、車両の進行方向）に対して横に垂直な方向をＸ軸、道路の延伸方向に一致する方向をＹ軸、Ｘ軸Ｙ軸双方に対して垂直な高さ方向をＺ軸として、交通信号機に関する位置情報は、対応するノードの位置座標を基準とする偏差（ΔＸ，ΔＹ，ΔＺ）として定義される。また、交通信号機の大きさ（幅）が、Ｗとして定義される。また、停止線に関する位置座標は、対応するノードの位置座標を基準とする偏差（ΔＸ，ΔＹ）として定義される。また、停止線の幅が、Ｗとして定義される。

図１の説明に戻る。認識タイミング決定部１５は、現在位置推定部１３により推定された現在位置と、地図データベース１４の地図データに記された対象物の位置情報に基づいて、対象物を検出するための画像認識処理を実行するタイミングを決定する。認識枠決定部１６は、自車両の現在位置と自車両の進路前方に存在する対象物との位置関係に基づいて、撮像部１０により撮像された画像から対象物を検出するための画像処理範囲（認識枠）の位置・大きさを決定する。

候補物標検出部１７は、前記認識タイミング決定部１５により決定されたタイミングにおいて、画像入力部１１から入力された撮像画像に対して、認識枠決定部１６により決定された認識枠の範囲で周知のパターンマッチング等の画像認識処理を行う。この画像認識処理により、候補物標検出部１７は撮像画像の中から対象物の候補である候補物標が存在する画像部分を検出する。

画像距離推定部１８は、撮像部１０により取得された画像から、候補物標検出部１７により検出された候補物標と自車両との実空間における相対位置を推定する。具体的には、撮像部１０がステレオカメラで構成されている場合、画像距離推定部１８は、周知のステレオ法等の三次元計測技術を用いて、撮像部１０により撮像されたステレオ画像の距離情報を取得する。この距離情報は、画像を構成するピクセル単位で物体の実空間における距離を表す情報を対応付けたものである。

そして、画像距離推定部１８は、画像から取得した距離情報と、候補物標検出部１７により検出された候補物標の画像上における位置座標に基づいて、候補物標と自車両との相対位置（横方向偏差、奥行方向偏差、高さ方向偏差）を推定する。

信頼性評価部１９は、候補物標検出部１７により検出された候補物標について信頼性を評価する。候補物標の対象物らしさを表す信頼性は、画像距離推定部１８により推定された候補物標の相対位置と、地図データに記された対象物の位置情報に基づく自車両と対象物との相対位置とを比較することにより導出される。

物体判別部２０は、信頼性評価部１９による評価結果に基づいて、候補物標が実際に対象物であるか否かを判定する。車両制御部２１は、物体判別部２０により判定された対象物が示す交通情報（例えば、信号の現示色や停止線）を認識し、認識した交通情報に基づく情報提示や走行安全に係る車両制御を実行する。具体的には、車両制御部２１は、対象物の認識結果に応じて、例えば、交通信号機の現示状況に基づく交差点への進入・停止判断を行い、その判断結果に基づいて、車両の加速・操舵・制動等の運転操作を自動的に行ったり、運転者に対する情報提示を行う。

［物体検出処理の説明］
実施形態の物体検出装置が備える各部により実行される処理の手順について、図３のフローチャートを参照しながら説明する。

Ｓ１００では、認識タイミング決定部１５が、現在位置推定部１３により推定された自車両の現在位置を基準とする周辺の地図データを、地図データデータベース１４から読込む。Ｓ１０２では、認識タイミング決定部１５が、Ｓ１０１で読込んだ地図データに基づいて、自車両の現在位置に対応する道路（すなわち、自車両が現在走行している道路）のリンクを特定する。

Ｓ１０４では、認識タイミング決定部１５が、Ｓ１０１で読込んだ地図データに記された道路と対象物に関する位置情報に基づいて、自車両が現在走行している道路の進行方向前方の規定距離内に認識すべき対象物が存在するか否かを判定する。ここでは、自車両の現在位置と、地図データに記された道路と対象物との対応関係に基づいて、現時点で従うべき対象物のみに認識すべき対象を絞り込むことが考えられる。あるいは、全ての対象物を検出すべき対象としたうえで、画像認識後に現時点で従うべき対象物を選択する処理を実施してもよい。ここでいう、現時点で従うべき対象物とは、例えば、自車両の現在位置から直近の交差点や道路に対応する交通信号機や、停止線、道路標識等である。

進行方向前方の規定距離内に対象物が存在しない場合（Ｓ１０４：ＮＯ）、物体検出装置は本処理を終了する。一方、進行方向前方の規定距離内に対象物が存在する場合（Ｓ１０４：ＹＥＳ）、物体検出装置はＳ１０６に進む。Ｓ１０６では、認識タイミング決定部１５が、対象物を検出するための画像認識処理を開始するタイミングを決定する。具体的には、Ｓ１０４において判定された認識すべき対象物と自車両との相対的な位置関係や、自車両の速度、道路形状、予定進路に基づいて、例えば、対象物と自車両との距離が規定値になると推定される時刻を、画像認識処理を開始するタイミングとして決定する。

なお、ここでいう予定進路とは、カーナビゲーションシステムにおいて設定された案内経路や、車両の自動運転機能において設定された走行予定の経路等、今後走行することが予定されている進路である。Ｓ１０６で決定されたタイミングの到来以降、物体検出装置は、対象物を検出するための画像認識処理を開始し、所定の周期で画像入力部１１から入力される画像データに対して、画像認識処理を所定期間継続する。

この際、Ｓ１０８では、認識枠決定部１６が、画像全体の中から画像認識の対象となる一部領域（認識枠）の位置・大きさを決定する。具体的には、認識枠決定部１６は、画像が撮像された時点における自車両の現在位置と、地図データに記された対象物の位置情報とに基づき、対象物と自車両との相対的な位置関係を算出する。対象物と自車両との相対的な位置関係は、横方向偏差、奥行方向偏差、高さ方向偏差で表される。そして、対象物と自車両との相対的な位置関係、自車両の速度、道路形状、予定進路等に基づいて、地図データに記された対象物が画像上に存在すると推定される位置を包含する範囲を認識枠に決定する。

なお、認識枠の位置や大きさを決定するにあたって、地図データに記された対象物の位置情報は、自車両に対する横方向偏差、奥行方向偏差、及び高さ方向偏差を一意に特定できる情報で構成されていることが理想的である。しかし、地図データに記された対象物の位置情報の一部が欠けている場合、対象物が設置される基準となる法規や仕様等の既存知識を利用して、自車両と対象物との相対位置を推定してもよい。検出された候補物標の信頼性を評価する際（後述）についても、同様である。

Ｓ１０８において決定された認識枠の具体例を図４に示す。図４の事例では、認識すべき対象物として、自車両の前方直近の交差点に設置されている交通信号機を想定している。図４に例示されるとおり、画像には、自車両の前方直近の交差点に設置されている交通信号機が現示している赤信号（従うべき直近の赤信号）が写っている。その他にも、直近の交差点より先にある交差点に設置されている交通信号機が現示する青信号や、先行車両の後部が写っている。

そして、この画像に対して、自車両の前方直近の交差点に設置されている交通信号機を認識するための２つの認識枠１，２（破線部）が設定されている。図４の事例のように、認識枠は、１つの画像上に複数箇所にわたって設定されてもよい。また、認識枠の形状については、矩形に限らず様々な形状であってもよい。

図３のフローチャートの説明に戻る。Ｓ１１０では、候補物標検出部１７が、Ｓ１０８で設定された認識枠内の画像部分に対して、対象物の候補である候補物標を検出するための画像認識処理を実行する。Ｓ１１０の画像認識処理の事例を図５に示す。なお、図５の事例は、図４で例示した認識枠に対する画像認識処理の結果を表したものである。ここでは、認識すべき対象物として、自車両の前方直近の交差点に設置されている交通信号機を想定している。

図５に例示されるとおり、認識枠１の中から候補物標として、従うべき直近の赤信号が検出されている。一方、認識枠２の中から候補物標として、先の交差点の青信号や先行車の尾灯が検出されている。認識枠１，２の中から検出された複数の候補物標のうち、認識すべき対象物に該当するのは、従うべき直近の赤信号である。これに対し、先の交差点の青信号や先行車の尾灯については、認識すべき対象物に該当しない物体である。これらの物体については、認識すべき対象物と画像上の特徴が似ている物体が認識枠内に含まれていたために、偶然に検出された状況を想定したものである。

図３のフローチャートの説明に戻る。Ｓ１１２では、画像距離推定部１８が、Ｓ１１０の画像認識処理に用いられた画像から、Ｓ１１０において検出された各候補物標と自車両との実空間における相対位置を表す画像位置情報を取得する。具体的には、画像距離推定部１８は、候補物標の実空間における距離を表す情報を、候補物標の画像を構成するピクセル単位で対応付けた距離情報を取得する。そして、取得した距離情報と候補物標の画像上における位置座標に基づいて、候補物標と自車両との相対位置を算出する。候補物標と自車両との相対位置は、自車両の位置を基準とする横方向偏差、奥行方向偏差、高さ方向偏差で表される。

Ｓ１１４では、信頼性評価部１９が、Ｓ１１０において検出された候補物標それぞれについて信頼性を評価する。ここでは、信頼性評価部１９は、Ｓ１１２で算出された画像上の候補物標の相対位置と、Ｓ１０４において地図データから判定された対象物と自車両との相対位置とを比較し、両者の偏差を算出する。そして、算出した偏差の大きさに応じて信頼性の評価を決定する。具体的には、画像上の候補物標の相対位置と、地図データに記された対象物の相対位置との偏差が小さいほど信頼性を高く評価し、偏差が大きいほど信頼性を低く評価する。あるいは、画像認識処理において候補物標が検出されたときの、基準モデルとの一致度を表すパターンマッチングのスコアと、信頼性の評価結果とを総合して、総合信頼度を算出する構成であってもよい。

Ｓ１１６では、物体判別部２０が、Ｓ１１４における信頼性の評価結果に基づいて対象物を判別する。ここでは、物体判別部２０は、信頼性の評価値が規定値以上となる候補物標について、実際の対象物であると特定する。

［実施形態の物体検出装置に適用可能な他の工夫］
道路に関する設備は時と共に更新されていくため、地図データベース１４に格納されている地図データについては、外部のコンピュータネットワークを介して取得される最新のデータに基づいて適宜アップデートするとよい。さらに、物体検出装置が、地図データベース１４に格納されている地図データに記されていない物標や交差点を検出した場合、地図情報を管理するデータセンタにそれらの情報を提供して、地図情報の更新を促す構成であってもよい。その際、自動運転中においては、自車両の路肩等の安全な場所に停止したり、運転者に対して警告する等、安全に運行できるように処置をしてもよい。

［変形例］
上述の実施形態においては、撮像部１０によって撮像された画像を用いて、候補物標検出部１７が画像認識処理を行い、加えて、画像距離推定部１８が画像処理により画像上の候補物標との相対位置を算出する事例について説明した。この事例は、同一のセンサにより取得された画像を用いて画像認識処理と画像距離推定処理を行う構成である。

これとは別に、撮像部１０は、例えばカメラとレーザ光によって対象の距離や方向を測定するレーザレーダといった、複数のセンサの組合せで構成されるものであってもよい。この場合、レーザレーダにより取得される物体の距離情報と、カメラにより撮像される画像の座標とが対応付されているものとする。撮像部１０がレーザレーダ及びカメラで構成されている場合、画像距離推定部１８は、レーザレーダにより取得される物体の距離情報と、カメラにより撮像される画像の座標との対応関係に基づいて、撮像画像の距離情報を取得してもよい。すなわち、この変形例は、複数のセンサにより取得された情報を用いて画像認識処理と画像距離推定処理を行う構成である。

［効果］
実施形態の物体検出装置によれば、次の効果を奏する。
自車両と対象物との相対位置を基準として、検出された候補物標が認識すべき対象物であるか否かを的確に判断できる。つまり、画像から測定される候補物標の実空間における位置と、地図データに記された対象物の実空間における位置とが合っていれば、物体検出結果が正しいと推定することができる。一方、撮像画像から測定した候補物標の実空間における位置と、地図データに記された対象物の実空間における位置とが離れていれば、その候補物標は非対象物であると推定することができる。このようにすることで、たとえ、同じ画像から対象物によく似た候補物標が複数検出されたとしても、検出された候補物標が認識すべき対象物であるか否かを的確に判断でき、画像認識による検出性能を向上させることができる。

実施形態の物体検出装置は、交通信号機や電光掲示板、道路標識、区画線、道路標示等、走行中の道路において従うべき交通情報を提示する物体を対象物とし、画像認識の信頼性の評価に基づいてこれらの対象物の検出を行う。このようにすることで、例えば、自動運転による交差点進入等に関する状況判断を的確に行うことができる。

１０…撮像部、１１…画像入力部、１２…位置情報入力部、１３…現在位置推定部、１４…地図データベース、１５…認識タイミング決定部、１６…認識枠決定部、１７…候補物標検出部、１８…画像距離推定部、１９…信頼性評価部、２０…物体判別部、２１…車両制御部。

Claims (6)

1. 自車両に設けられた撮像手段（１０）により撮像された車両周辺の画像の中から、特定の対象物を検出する物体検出装置であって、
   前記撮像手段により撮像された画像に対して画像処理による物標検出処理を行い、前記画像の中から前記対象物の候補である候補物標を検出する画像認識手段（１７）と、
   前記撮像手段により撮像された画像について、前記画像認識手段により検出された候補物標に相当する画像部分の実空間における自車両との相対位置に関する画像位置情報を取得する画像位置取得手段（１８）と、
   前記画像位置取得手段により取得された画像位置情報で表される前記候補物標に相当する画像部分の実空間における位置と、自車両に設けられた測位手段により検出された現在位置、及び前記対象物の位置に関する対象物位置情報を含む所与の地図データに基づいて特定した検出すべき対象物の位置との比較に基づいて、前記画像認識手段により検出された候補物標に関する信頼性を評価する評価手段（１９）と、
   前記評価手段による信頼性の評価結果に応じて、前記候補物標が実際に対象物であるか否かを判断する判断手段（２０）とを備え、
   前記地図データには、道路と、その道路において認識すべき対象物とが対応付けて定義されていると共に、各対象物の位置を表す前記対象物位置情報が記録されており、
   前記評価手段は、前記地図データにおいて自車両が走行している道路に対応付けられている対象物に関する前記対象物位置情報に基づいて、前記検出すべき対象物の位置を特定するように構成されていること、
   を特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記画像位置取得手段は、前記画像認識手段による候補物標の検出に用いられる画像を取得する撮像手段と同一の撮像手段によって撮像された画像を用いて画像処理を行うことで、前記画像位置情報を取得すること、
   を特徴とする物体検出装置。
3. 請求項１又は請求項２に記載の物体検出装置において、
   前記特定の対象物は、自車両が走行している道路において従うべき交通情報を提示する物体であり、
   前記地図データには、道路と、当該道路において従うべき交通情報を提示する対象物に関する位置情報とが対応付けられて記憶されており、
   前記評価手段は、前記画像位置情報で表される前記候補物標に相当する画像部分の実空間における位置と、前記地図データにおいて自車両が走行している道路に対応する対象物の位置との比較に基づいて、前記画像認識手段により検出された候補物標に関する信頼性を評価すること、
   を特徴とする物体検出装置。
4. 請求項３に記載の物体検出装置において、
   前記特定の対象物は、自車両が走行している道路において従うべき交通情報を提示する物体であって、提示する情報内容が経時的に変化するものであること、
   を特徴とする物体検出装置。
5. 請求項４に記載の物体検出装置において、
   前記特定の対象物は、交通信号機であること、
   を特徴とする物体検出装置。
6. 請求項１ないし請求項５の何れか１項に記載の物体検出装置において、
   前記画像認識手段は、前記画像の中から複数の前記候補物標を検出し得るように構成されており、
   前記評価手段は、検出された前記複数の候補物標それぞれについて信頼性を評価するように構成されていること、
   を特徴とする物体検出装置。