JP4940706B2 - 物体検出装置 - Google Patents

Description

本発明は、二次元情報しか取得でいない場合でも物体の三次元情報を検出できる物体検出装置に関する。

運転者の周辺状況認知を支援するために、運転者に対して車両周辺の監視情報を提供する周辺監視装置が開発されている。周辺監視装置では、車両の前後左右方向にカメラが設けられ、その４方向の各撮像画像に基づいて物体（人、自転車、動物など）を検出する。そして、周辺監視装置では、車両から所定範囲内に物体が存在する場合に音声や画像などによって運転者に注意喚起する。この注意喚起によって、運転者は、認識していなかった物体に気づき、その物体に注意を払って運転を行うようになる。

周辺監視を行う場合、その検出した物体が車両走行における安全性に影響を及ぼすか否かを判断するために、車両から物体までの距離情報が重要となる。物体までの距離情報（三次元情報）を検出するためには、２台のカメラによる各撮像画像（二次元画像）の重複している領域に対して、ステレオ視によりその重複領域の三次元情報を取得することができる（特許文献１参照）。
特開第２９６１２７２号公報

しかし、周辺監視装置の場合、一般的に、前後左右方向に１台づつのカメラが設けられている。そのため、２台のカメラによる各撮像画像の重複領域も存在するが、１台のカメラによる撮像画像の非重複領域も存在する。この１台のカメラによる撮像画像だけでは、物体自体を検出することはできるが、物体までの距離情報（三次元情報）を取得できない。例えば、撮像画像では、大きい物体が遠くに存在する場合と小さい物体が近くに存在する場合とで同じように写る。なお、単独の撮像画像でも、物体のモデルを用いて、そのモデルの大きさを変えながらパターンマッチングなどを行うことによって物体までの距離を検出することは可能であるが、検出可能な物体がそのモデルに限られ、処理負荷も大きくなる。このように、従来の周辺監視装置では、重複領域については三次元情報が得られるが、その他の非重複領域については二次元情報しか得られない。また、三次元情報が得られた領域でも、その車両がその領域の側方を通過するときに新たな物体が出現したときには、非重複領域となるので、三次元情報が得られない。

そこで、本発明は、二次元情報しか取得でいない場合でも物体の三次元情報（特に、物体までの距離情報）を検出できる物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、複数の撮像手段により撮像した各撮像画像に基づくステレオ視により三次元情報を取得する三次元情報取得手段と、三次元情報取得手段で三次元情報を取得した後に三次元情報取得領域の二次元情報を取得する二次元情報取得手段と、三次元情報取得手段で取得した三次元情報を二次元情報取得手段で二次元情報を取得するときの視点での視点変換情報に変換する変換手段と、二次元情報取得手段で取得した二次元情報と変換手段で変換した視点変換情報とを比較し、当該二次元情報のみに出現している出現物体が存在するか否かを判断する出現物体判断手段と、出現物体判断手段で出現物体が存在すると判断した場合に三次元情報取得手段で取得した三次元情報及び二次元情報取得手段で取得した二次元情報に基づいて出現物体の三次元情報を推定する三次元情報推定手段とを備えることを特徴とする。

この物体検出装置では、三次元情報取得手段により、複数の撮像手段による各撮像画像を用いてステレオ視により重複領域（三次元情報取得領域）における三次元情報を取得する。そして、物体検出装置では、二次元情報取得手段により三次元情報取得後にその重複領域を含む領域の二次元情報を取得するとともに、変換手段により取得済みの三次元情報を二次元情報取得手段で二次元情報を取得するときの視点とした視点変換情報（二次元情報）に変換する。つまり、この視点変換情報は、二次元情報取得手段により重複領域に対する二次元情報を取得するときの視点の画像となるように、三次元情報を視点変換した二次元情報である。したがって、視点変換情報と二次元情報とは、同じ視点の情報（同じ領域に対する情報）であるが、取得した時間が異なり、視点変換情報（実際は、三次元情報）を取得した後に二次元情報が取得される。そこで、物体検出装置では、出現物体判断手段により、二次元情報と視点変換情報とを比較し、二次元情報のみに出現している出現物体が存在するか否かを判断する。つまり、三次元情報に基づく視点変換情報を基準として、二次元情報の中にその視点変換情報に存在していない物体が新たに現れた場合には出現物体とする。出現物体が存在すると判断した場合、物体検出装置では、三次元情報推定手段により、二次元情報における出現物体を三次元情報に対応付け、その出現物体の三次元情報（出現物体までの距離情報など）を推定する。このように、物体検出装置では、三次元情報取得後に二次元情報しか得られない場合でも、取得済みの三次元情報を利用することにより、二次元情報から三次元情報取得後に新たに現れた出現物体の三次元情報を取得することができる。また、物体検出装置では、検出対象のモデルがなくても、二次元情報しか得られない場合でも出現物体の三次元情報を取得することができ、検出対象物体が制限されることなく、処理負荷も軽減できる。

本発明の上記物体検出装置では、変換手段で変換した視点変換情報と二次元情報取得手段で取得した二次元情報との差異が生じる領域を検出する差異領域検出手段を備え、出現物体判断手段は、差異領域検出手段で差異領域を検出した場合に出現物体が存在すると判断する構成としてもよい。

この物体検出装置では、差異領域検出手段により、視点変換情報と二次元情報との差異のある領域（例えば、テクスチャ情報に差異のある領域）を検出する。同じ領域に新たに物体が現れた場合、その現れた部分のテクスチャ情報などが変化するので、その領域が差異となって表れる。そして、物体検出装置では、出現物体判断手段により、差異領域を検出できた場合に出現物体が存在すると判断する。このように、物体検出装置では、視点変換情報と二次元情報の差異から簡単に出現物体を検出することができる。

本発明の上記物体検出装置では、出現物体判断手段は、差異領域検出手段で検出した差異領域が所定面積以上の場合に出現物体が存在すると判断する構成としてもよい。

この物体検出装置では、出現物体判断手段により、差異領域の面積を求め、その面積が所定面積以上の場合に出現物体が存在すると判断する。このように、物体検出装置では、小さい差異領域を排除することにより、撮像手段、二次元取得手段などから取得した情報におけるノイズによる誤検出を防止し、検出精度を向上させる。

本発明の上記物体検出装置では、三次元情報推定手段は、三次元情報取得手段で取得した三次元情報から差異領域検出手段で検出した差異領域に対応する位置を抽出し、当該抽出した位置により出現物体の三次元情報を推定する構成としてもよい。

この物体検出装置では、三次元情報推定手段により、差異領域を三次元情報に対応付け、三次元情報から差異領域に対応する三次元上の位置を抽出し、抽出した位置により出現物体の三次元情報を推定する。このように、物体検出装置では、三次元情報と差異領域から出現物体の三次元上の位置を簡単に取得することができる。なお、三次元上の位置は、絶対位置でもよいし、あるいは、相対位置でもよい。

本発明の上記物体検出装置では、出現物体が遮断物により遮蔽されているか否かを判断する遮断判断手段を備え、三次元情報推定手段は、遮断判断手段で出現物体が遮断物に遮断されていると判断した場合に出現物体の三次元情報を遮断物の三次元情報に基づいて推定する構成としてもよい。

この物体検出装置では、遮蔽判断手段により、出現物体が遮蔽物に遮蔽されているか否かを判断する。二次元情報取得手段と出現物体との間に物体（遮蔽物）が存在する場合、出現物体の一部が遮蔽物に隠れると、二次元情報において出現物体の一部の情報しか得られない。この遮断物については、三次元情報手段によって三次元情報が取得されている。そこで、物体検出手段では、出現物体が遮断物に遮断されている場合、三次元情報推定手段により、出現物体の三次元情報を遮断物の三次元情報に基づいて推定する。このように、物体検出装置では、遮蔽物によって出現物体の一部の情報しか得られない場合でも、その出現物体の三次元情報を推定することが可能である。ちなみに、出現物体は遮蔽物の後方に存在するので、出現物体が最も近い位置に存在したとしても、遮蔽物の三次元上の位置の直ぐ後ろである。

本発明の上記物体検出装置では、複数の撮像手段及び二次元情報取得手段は、移動体に設置され、推定される出現物体の三次元情報は、移動体と出現物体との相対位置である。

この物体検出装置の複数の撮像手段及び二次元情報取得手段は、移動体に設置されている。複数の撮像手段で撮像後に、移動体が移動し、二次元情報取得手段によって重複領域に対する二次元情報を取得する。そして、物体検出装置では、三次元情報推定手段により、出現物体の三次元情報として移動体と出現物体との相対位置を推定する。このように、物体検出装置では、移動体から出現物体までの相対位置（相対距離）を検出することができ、この相対位置を移動体に対して出現物体が安全性に影響を及ぼす位置にいるか否かの判断に利用することができる。

なお、複数の撮像手段及び二次元情報取得手段だけでなく、物体検出装置全体が移動体に設置されてもよい。また、撮像手段と二次元情報取得手段とは、同じ手段でもよいし、あるいは、異なる手段でもよい。

本発明は、三次元情報取得後に二次元情報しか得られない場合でも、取得済みの三次元情報を利用することにより、二次元情報から物体の三次元情報（特に、物体までの距離情報）を検出することができる。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載される周辺監視装置に適用する。本実施の形態に係る周辺監視装置は、運転者の周辺状況認知を支援するために、車両周辺に存在する物体（人、動物、自転車など）の三次元情報（特に、物体の位置）を検出し、安全性に影響を及ぼす位置に存在する物体が存在する場合には運転者に対して注意喚起を行う。

図１及び図２を参照して、本実施の形態に係る周辺監視装置１について説明する。図１は、本実施の形態に係る周辺監視装置の構成図である。図２は、本実施の形態に係るカメラの配置とカメラの撮像領域を示す平面図である。

周辺監視装置１では、４台のカメラによる各撮像画像に基づいて、各撮像画像の重複領域における物体の三次元情報を取得する。さらに、周辺監視装置１では、取得済みの三次元情報と側方撮像画像の非重複領域に基づいて、三次元情報取得後に現れた物体の位置を予測する。そして、周辺監視装置１では、検出した物体の位置に基づいて注意喚起が必要か否かを判断し、注意喚起が必要な場合には音声と画像で運転者に対して注意喚起する。そのために、周辺監視装置１は、前方カメラ１０、後方カメラ１１、右側方カメラ１２、左側方カメラ１３、車速センサ１４、舵角センサ１５、スピーカ２０、ディスプレイ２１及び画像処理装置３０を備えている。なお、本実施の形態では、カメラ１０，１１，１２，１３が特許請求の範囲に記載する撮像手段及び二次元情報取得手段に相当する。

カメラ１０，１１，１２，１３は、魚眼カメラなどの超広角カメラであり、１８０度以上の画角を有するカメラである。カメラ１０，１１，１２，１３は、略同一の高さ位置に配置される。図２に示すように、前方カメラ１０は車両Ｖの前方中央に配置され、後方カメラ１１は車両Ｖの後方中央に配置され、右側方カメラ１２は車両Ｖの右側方中央に配置され、左側方カメラ１３は車両Ｖの左側方中央に配置される。カメラ１０，１１，１２，１３では、各方向を撮像し、その撮像画像情報を画像信号として画像処理装置３０に送信する。

図２に示すように、前方カメラ１０の撮像領域は、車両Ｖの前方の領域ＡＦ，ＡＲＦ，ＡＬＦである。後方カメラ１１の撮像領域は、車両Ｖの後方の領域ＡＢ，ＡＲＢ，ＡＬＢである。右側方カメラ１２の撮像領域は、車両Ｖの右側方の領域ＡＲ，ＡＲＦ，ＡＲＢである。左側方カメラ１３の撮像領域は、車両Ｖの左側方の領域ＡＬ，ＡＬＦ，ＡＬＢである。領域ＡＲＦは前方カメラ１０の撮像領域と右側方カメラ１２の撮像領域の重複領域であり、領域ＡＬＦは前方カメラ１０の撮像領域と左側方カメラ１３の撮像領域の重複領域であり、領域ＡＲＢは後方カメラ１１の撮像領域と右側方カメラ１２の撮像領域の重複領域であり、領域ＡＬＢは後方カメラ１１の撮像領域と左側方カメラ１３の撮像領域の重複領域である。この重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢについてはステレオ視による三次元情報が取得可能の領域である。それ以外の領域ＡＦ，ＡＢ，ＡＲ，ＡＬについてはステレオ視ができない領域である。

図３には、ある時刻ｔに、右側方カメラ１２で撮像した撮像画像における重複領域ＡＲＦの一例を示しており、壁と歩道が写っている。ただし、この図３に示す画像は、右側方カメラ１２がその写っている壁や歩道の真横方向にきたときの視点に変換した画像である。図５には、車両Ｖが前方に走行し、その時刻ｔからα秒後に、右側方カメラ１２が時刻ｔに重複領域ＡＲＦであった領域の真横方向にきたときに、右側方カメラ１２で撮像した撮像画像における非重複領域ＡＲを示しており、犬が新たに出現している。したがって、図３と図５とは、異なる時刻における同じ領域の画像を示している。

また、図９には、ある時刻ｔに、右側方カメラ１２で撮像した撮像画像における重複領域ＡＲＦの他の例を示しており、壁と歩道の他にガードレールが写っている。ただし、この図９に示す画像は、右側方カメラ１２がその写っている壁、歩道やガードレールの真横方向にきたときの視点に変換した画像である。図１１には、車両Ｖが前方に走行し、その時刻ｔからα秒後に、右側方カメラ１２が時刻ｔに重複領域ＡＲＦであった領域の真横方向にきたときに、右側方カメラ１２で撮像した撮像画像における非重複領域ＡＲを示しており、犬が新たに出現しており、犬の一部がガードレールで隠れている。したがって、図９と図１１とは、異なる時刻における同じ領域の画像を示している。

車速センサ１４は、車両の速度を検出するセンサであり、その検出値を車速信号として画像処理装置３０に送信する。舵角センサ１５は、ステアリングの操舵角（あるいは、転舵輪の転舵角）を検出するセンサであり、その検出値を舵角信号として画像処理装置３０に送信する。

スピーカ２０は、画像処理装置３０から音声出力信号を受信すると、その音声出力信号に応じた音声を出力する。ディスプレイ２１は、画像処理装置３０から画像表示信号を受信すると、その画像表示信号に応じた画像を表示する。

画像処理装置３０は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などを備え、三次元情報取得部３１、環境三次元情報データベース３２、側方出現位置予測部３３が構成される。画像処理装置３０における各構成要素については、ハードウエア的に個別に構成されてもよいし、あるいは、共通のハードウエア上で稼働する各ソフトウエアによって構成されてもよい。画像処理装置３０では、カメラ１０，１１，１２，１３から各画像信号を受信するとともに、センサ１４，１５から各検出信号を受信する。そして、画像処理装置３０では、重複領域を形成する各撮像画像に基づいて三次元情報を取得し、取得済みの三次元情報及び非重複領域の側方撮像画像に基づいて出現物体の三次元位置情報を予測する。さらに、画像処理装置３０では、物体の三次元位置情報に基づいて車両走行に安全性に影響を及ぼす物体が存在する場合にはスピーカ２０及びディスプレイ２１を利用して運転者に対して注意喚起する。

なお、本実施の形態では、三次元情報取得部３１における処理が特許請求の範囲に記載する三次元情報取得手段に相当し、側方出現位置予測部３３における各処理が特許請求の範囲に記載する変換手段、出現物体判断手段、三次元情報推定手段、差異領域検出手段、遮断判断手段に相当する。

三次元情報取得部３１では、重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢをそれぞれ形成する各２枚の撮像画像に基づいて、２枚の撮像画像における視差情報から三角測量の原理を利用し（つまり、ステレオ視により）、重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢにおける各三次元情報を演算する。そして、三次元情報取得部３１では、この各重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢについての三次元情報を環境三次元情報データベース３２に一時記憶させる。

ここで取得される三次元情報としては、少なくとも車両Ｖから各物体までの距離（奥行き情報）を含み、各物体の三次元の形状情報を取得してもよい。この物体までの奥行き情報は、マップ化され、三次元マップとして構成される。この三次元情報は、車両Ｖを原点とした車両座標系での情報である。さらに、これら三次元情報に対応付けてテクスチャ情報も一時記憶される。

図４には、図３に示す重複領域ＡＲＦにおける断面を示しており、この断面が三次元情報である車両Ｖからの奥行き情報（三次元マップ）を示す。図１０には、図９に示す重複領域ＡＲＦにおける断面を示しており、この断面が三次元情報である車両Ｖからの奥行き情報（三次元マップ）を示す。環境三次元情報データベース３２には、このような各重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢから取得した三次元情報及びテクスチャ情報が格納されている。

重複領域ＡＲＦ，ＡＬＦは側方カメラ１２，１３より前方に存在しているが、車両Ｖが前方に走行すると（旋回している場合も含む）、α秒後にはその重複領域ＡＲＦ，ＡＬＦであった領域が側方カメラ１２，１３の真横方向にくる。つまり、α秒後には、その重複領域ＡＲＦ，ＡＬＦが非重複領域ＡＲ，ＡＬとなる。このα秒は、車両Ｖの車速や舵角によって変わってくる。なお、車両Ｖが後方に走行している場合、α秒後に、重複領域ＡＲＢ，ＡＬＢが非重複領域ＡＲ，ＡＬとなる。

側方出現位置予測部３３では、車速と舵角に基づいて、各三次元情報を取得した時刻ｔのα秒後の車両Ｖの位置を演算する。つまり、側方カメラ１２，１３の真横方向がその三次元情報が求められた重複領域ＡＲＦ，ＡＬＦの真横方向となる位置を演算する。そして、側方出現位置予測部３３では、車両Ｖが前方に走行している場合、その時刻ｔ＋αでの側方カメラ１２，１３の各視点で撮像した画像となるように、時刻ｔで取得した重複領域ＡＲＦ，ＡＬＦの三次元情報に基づいて視点変換し、視点変換画像をそれぞれ生成する。この視点変換画像は、二次元画像（テクスチャ情報を含む）であり、時刻ｔ＋α秒での側方カメラ１２，１３の撮像した撮像画像の非重複領域ＡＲ，ＡＬに対応する画像となる。図３、図９には、ある時刻ｔで重複領域ＡＲＦの各情報を視点変換した視点変換画像の一例を示している。なお、車両Ｖが後方に走行している場合、時刻ｔでの重複領域ＡＲＢ，ＡＬＢの各情報を視点変換し、視点変換画像をそれぞれ生成する。

次に、側方出現位置予測部３３では、時刻ｔ＋α秒での側方カメラ１２，１３による撮像画像の非重複領域ＡＲ，ＡＬを取得する。そして、側方出現位置予測部３３では、その時刻ｔ＋α秒の非重複領域ＡＲ，ＡＬの撮像画像とそれに対応する各視点変換画像とをそれぞれ比較し、テクスチャ情報に差異のある領域を抽出する。ここで、時刻ｔ＋α秒に、その領域に時刻ｔには存在しなかった物体が新たに出現した場合にはテクスチャ情報に差異が発生するが、物体が新たに出現しなかった場合にはテクスチャ情報に差異が発生しない（つまり、同じ画像となる）。例えば、図３に示す視点変換画像と図５に示す非重複領域の撮像画像とを比較した場合、犬の部分が差異領域として抽出される。

差異領域を抽出できた場合、側方出現位置予測部３３では、差異領域毎に、その差異領域の面積を演算し、差異領域の面積が基準面積以上か否かを判定する。基準面積以上と判定した場合、側方出現位置予測部３３では、その差異領域を出現物体の領域と判断する。一方、基準面積未満と判定した場合、側方出現位置予測部３３では、その差異領域をノイズの領域と判断する。基準面積は、撮像画像などにおけるノイズの影響による誤検出を防止するための差異領域の大きさの判断基準であり、カメラの性能などを考慮して設定される。

そして、側方出現位置予測部３３では、時刻ｔで取得した三次元マップに出現物体と判断された差異領域を投影し、三次元マップに基づいてその投影された各位置に対応する奥行き距離を演算する。この奥行き距離は、車両座標系における車両Ｖからの距離である。さらに、側方出現位置予測部３３では、その演算した差異領域における各奥行き距離のうち車両Ｖから最も近い距離を抽出し、その抽出した距離を出現物体の位置とする。最も近い距離を選択するのは、安全性を考慮し、車両Ｖから物体が最も近い可能性のある位置を選択する。なお、この出現物体の位置の予測は、出現物体が地面に接していることを前提としている。

例えば、図５に示すような犬が出現した場合、車両Ｖからの犬の位置は、実際には図６の断面図で示すような位置である。側方出現位置予測部３３では、出現物体（犬）の差異領域ＤＡを抽出できた場合、図７に示すように三次元マップにその出現物体の差異領域ＤＡを投影し、図８に示すように投影領域において最も車両Ｖに近い位置をその出現物体の予測位置ＥＰとして選択する。

しかし、車両Ｖの周辺には、図９に示すように、ガードレールのような遮蔽物が存在する場合がある。その場合、カメラによる撮像画像では、遮蔽物によって出現物体が分断されたり、あるいは、出現物体が地面と接触している部分が隠される。例えば、図９に示すようなガードレールが存在する場合、図１０の断面図に示すようにガードレールによる隠れ領域ＨＡが存在し、その隠れ領域ＨＡに位置するものはカメラの撮像画像には写らない。したがって、ガードレールの後ろ側に犬が存在する場合、図１２に示すように犬の一部が隠れ領域ＨＡに入り、図１１に示すように撮像画像では犬の一部がガードレールで写らない。

上記した出現物体の位置の予測方法だけでは、出現物体が複数に分断される場合、複数の出現物体の予測位置を求め、上側に分断された部分については実際より遠い位置を出現物体の予測位置としてしまう。また、出現物体が地面と接触している部分が隠れている場合、実際より遠い位置を出現物体の予測位置としてしまう。そこで、側方出現位置予測部３３では、このような隠れ領域が存在する場合に対応するための処理も行っている。

まず、側方出現位置予測部３３では、時刻ｔで取得した三次元マップにおける奥行き距離の連続性を探索し、奥行き距離に連続性のないオクルージョン領域を抽出する。オクルージョン領域は、周りの領域に対して異なる位置に存在する領域であり、ガードレール、ポストのような隠れ領域を形成する可能性のある領域である。例えば、図９に示すようなガードレールが存在する場合、図１３に示すようなオクルージョン領域ＯＡが抽出される。

オクルージョン領域が存在する場合かつ基準面積以上の差異領域が存在する場合、側方出現位置予測部３３では、オクルージョン領域の境界に接しかつその接している長さが基準長さ以上の差異領域が存在するか否かを判定する。このような判定を行うのは、ガードレールなどによって出現物体の一部が隠れている場合や分断されている場合、撮像画像において、その出現物体はオクルージョン領域に接しており、オクルージョン領域によって出現物体の途中で切断されているので一定の長さ以上接しているからである。例えば、ガードレールの後ろに犬が存在する場合、図１３に示すように犬の切断部分はオクルージョン領域ＯＡに接しており、図１４に示すようにそのオクルージョン領域ＯＡと犬の切断部分との接している部分はある程度の長さLを有している。

オクルージョン領域の境界に接しかつその接している長さが基準長さ以上の差異領域が複数存在する場合、側方出現位置予測部３３では、複数の差異領域のうち差異領域の横方向の間隔が基準範囲以内の差異領域の組み合わせがあるか否かを判定する。このような判定を行うのは、オクルージョン領域によって出現物体が上下で分断されている可能性があるので、ある程度の範囲内に２つ以上の差異領域が存在する場合にはその差異領域を１つの出現物体の領域とみなせるからである。差異領域の横方向の間隔が基準範囲以内の差異領域の組み合わせがある場合、側方出現位置予測部３３では、その２つ以上の差異領域を出現物体領域とする。そして、側方出現位置予測部３３では、上記と同様に、その各差異
領域を三次元マップに投影し、差異領域の各奥行き距離のうちの車両Ｖから最も近い距離を出現物体の位置とする。この際、２つ以上の差異領域のうち最も下方に存在する差異領域だけを三次元マップに投影し、出現物体の位置を予測するようにしてもよい。なお、この出現物体の位置の予測は、２つ以上の差異領域のうち最も下方にある差異領域が出現物体の地面の接している領域であることを前提としている。

オクルージョン領域の境界に接しかつその接している長さが基準長さ以上の差異領域が１つだけ存在する場合や差異領域の横方向の間隔が基準範囲以内の差異領域の組み合わせがなかった場合、側方出現位置予測部３３では、その１つの差異領域を出現物体領域とし、その差異領域を切断したオクルージョン領域の奥行き距離に基づいて出現物体の位置を予測する。この予測位置としては、オクルージョン領域の奥行き距離自体としてもよいし、あるいは、オクルージョン領域の奥行き距離の直ぐ後ろの位置としてもよい。このような位置予測を行うのは、出現物体がオクルージョン領域に切断されている場合には出現物体はオクルージョン領域の後ろに存在するので、安全性を考慮し、車両Ｖから物体が最も近い可能性のある位置を選択したほうがよいからである。例えば、図１１に示すようにガードレールの後ろに犬が現れた場合、図１５に示すようにガードレールの直ぐ後ろに出現物体の予測位置ＥＰが設定される。

三次元情報取得部３１での処理で物体を検出した場合又は側方出現位置予測部３３での処理で出現物体の位置を予測した場合、画像処理装置３０では、車両Ｖから物体までの距離が基準距離以内か否かを判定する。基準距離は、車両Ｖの走行においてその検出した物体が安全性に影響を及ぼす可能性がある範囲内に存在するか否かの判断基準の距離であり、予め実験などによって設定される。この基準距離は、車速によって可変としてもよく、高車速ほど短くする。

物体が車両Ｖから基準距離以内に存在すると判定した場合、画像処理装置３０では、車両周辺に注意を要する物体が存在することを注意喚起する音声メッセージを生成し、その音声メッセージを出力するための音声出力信号をスピーカ２０に送信する。また、画像処理装置３０では、車両周辺に注意を要する物体が存在することを注意喚起する画像あるいはその物体の車両からの位置を示す画像を生成し、その画像を表示するための画像表示信号をディスプレイ２１に送信する。

図１及び図２を参照し、周辺監視装置１の動作を説明する。特に、画像処理装置３０における処理については図１６のフローチャートに沿って説明する。図１６は、図１の画像処理装置における処理の流れを示すフローチャートである。ここでは、車両Ｖが前方に走行しているときの動作について説明する。

各カメラ１０，１１，１２，１３では、一定時間毎に、各方向を撮像し、その撮像画像を示す画像信号を画像処理装置３０に送信している。また、車速センサ１４では、一定時間毎に、車速を検出し、その車速を示す車速信号を画像処理装置３０に送信している。舵角センサ１５では、一定時間毎に、舵角を検出し、その舵角を示す舵角信号を画像処理装置３０に送信している。

車両Ｖが走行中のある時刻ｔにおいて、各カメラ１０，１１，１２，１３で撮像する。画像処理装置３０では、その時刻ｔでの各カメラ１０，１１，１２，１３による各撮像画像を取得する（Ｓ１）。そして、画像処理装置３０では、その各方向の撮像画像を用いて、ステレオ視により重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢの三次元情報を演算し、その三次元情報及びテクスチャ情報を環境三次元情報データベース３２に格納する（Ｓ２）。

車両Ｖが前方に走行し、時刻ｔからα秒経過したときに側方カメラ１２，１３が時刻ｔのときに重複領域ＡＲＦ，ＡＬＦであった領域付近を通過する。

画像処理装置３０では、環境三次元情報データベース３２から時刻ｔのときの重複領域ＡＲＦ，ＡＬＦの各情報を読み出し、その各三次元情報に基づいて時刻ｔ＋αでの側方カメラ１２，１３の視点で撮像した画像に対応する視点変換画像をそれぞれ生成する（Ｓ３）。また、画像処理装置３０では、その各三次元マップ（奥行き情報）により奥行き距離の連続性を探索し、非連続領域がある場合にはオクルージョン領域として抽出する。

画像処理装置３０では、その時刻ｔ＋αでの各側方カメラ１２，１３による各撮像画像を取得する（Ｓ４）。

そして、画像処理装置３０では、時刻ｔ＋αでの左右の各視点変換画像と左右の各側方撮像画像の非重複領域ＡＲ，ＡＬの画像とをそれぞれ比較し、視点変換画像と側方撮像画像（非重複領域）とにおいてテクスチャ情報が異なる基準面積以上の差異領域を探索する（Ｓ５）。Ｓ５の比較において基準面積以上の差異領域がない場合、画像処理装置３０では、出現物体が存在しないと判断する。

Ｓ５の比較において基準面積以上の差異領域がある場合、画像処理装置３０では、出現物体が存在すると判断し、その差異領域を特定する（Ｓ６）。この際、オクルージョン領域が抽出されている場合、オクルージョン領域で一部が隠れている差異領域があるときには、オクルージョン領域を考慮し、出現物体に対する差異領域を特定する。

そして、画像処理装置３０では、その特定した差異領域を時刻ｔでの三次元マップ（奥行き情報）に投影し、その三次元アップを用いて差異領域の奥行き情報を演算する（Ｓ７）。さらに、画像処理装置３０では、求めた奥行き情報のうち車両Ｖから最も近い奥行き距離を、出現物体までの距離と予測する（Ｓ８）。ただし、画像処理装置３０では、差異領域がオクルージョン領域によって切断されている場合、オクルージョン領域の奥行き情報に基づいて出現物体のまでの距離を予測する。

重複領域の三次元情報で物体を検出した場合又は側方撮像画像の非重複領域から出現物体を検出した場合、画像処理装置３０では、車両Vから出現物体までの距離が基準距離以内か否かを判定する。物体が車両Ｖから基準距離以内に存在すると判定した場合、画像処理装置３０では、注意喚起する音声メッセージを出力するための音声出力信号をスピーカ２０に送信するとともに、注意喚起するための画像を表示するための画像表示信号をディスプレイ２１に送信する。

すると、スピーカ２０では、車両Ｖの周辺に物体が存在することを示す音声を出力する。また、ディスプレイ２１では、車両Ｖの周辺に物体が存在することを示す画像あるいは車両Ｖに対する物体の位置を示す画像を表示する。これらの音声や画像によって、運転者は、その物体に気づき、注意を払うようになる。

非重複領域の側方撮像画像によって出現物体を検出できる状況としては、例えば、車両が脇道を通過するときに、その脇道から急に子供や自転車が飛び出してきた場合がある。この場合、脇道の奥の方はステレオ視によって一部しか三次元情報を得ることができないが、脇道の少し入ったぐらいまでは三次元情報が得られているので、その地点まで出現物体が出てきていれば出現物体の位置を予測することができる。

また、ガードレールの後ろ側にいた犬などが、車両が側方を通過するときにガードレールの前に出てきた場合がある。この場合、犬がガードレールの後ろ側にいるときにはステレオ視によって三次元情報を得ることができ、その視点変換画像も生成できる。さらに、車両がその側方を通過するときには、視点変換画像と側方撮像画像との比較により、ガードレールの後ろ側にいる犬とガードレールの前に出てきた犬の両方を出現物体（同じ犬である）として検出することが可能であり、ガードレールの後ろ側にいる犬についてはそのガードレールの奥行き情報から位置を予測することができ、ガードレールの前に出てきた犬については路面の三次元情報から位置を予測することができる。なお、ガードレールの後ろ側にいる犬については、ステレオ視によって、三次元情報が既に得られている。

この周辺監視装置１によれば、二次元情報しか得られない領域でも、取得済みの三次元情報を利用することにより、二次元情報から三次元情報取得後に新たに現れた出現物体までの距離情報を取得することができる。そのため、この周辺監視にとって重要となる物体までの距離情報により、必要に応じて運転者に対して注意喚起でき、安全性を向上させることができる。

特に、周辺監視装置１では、検出対象物体のモデル無しで、二次元情報しか得られない領域でも出現物体までの距離情報を取得することができる。そのため、モデルを準備する必要もなく、モデルによって検出対象物体が限定されることもない。また、モデルによるパターンマッチングなども行わないので、処理負荷も軽減できる。また、周辺監視装置１では、三次元マップに差異領域を投影し、その最も近い距離を抽出することによって出現物体までの距離を予測したり、あるいは、オクルージョン領域に基づいて出現物体までの距離を予測するので、煩雑な演算を行う必要がない。

また、周辺監視装置１では、差異領域の面積が基準面積以上の場合に出現物体領域と判断しているので、カメラなどによるノイズの影響による誤検出を防止することができる。さらに、周辺監視装置１では、オクルージョン領域を抽出し、オクルージョン領域を考慮して出現物体の位置を予測しているので、出現物体がオクルージョン領域によって一部が隠れている場合でも出現物体に対する最も安全側の位置を予測することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載される周辺監視装置に適用したが、ロボットなどの他の移動体に搭載される物体検出装置にも適用可能であり、あるいは、物体検出装置を移動体に搭載するのではなく、カメラだけが移動する物体検出装置にも適用可能である。また、本実施の形態ではスピーカやディスプレイを用いて運転者に注意喚起する構成としたが、物体の三次元情報を検出するだけでもよいし、あるいは、検出した三次元情報を他の装置に提供するようにしてもよいし、様々な用途に用いることができる。

また、本実施の形態では車両移動中に同じカメラで撮像した撮像画像に基づいて三次元情報と二次元情報を取得する構成としたが、三次元情報と二次元情報を異なる手段で取得してもよいし、あるいは、三次元情報を移動中に取得するのではなく、三次元情報については予め取得し、その三次元情報をデータベースに保持しておき、移動中には二次元情報だけを取得するようにしてもよい。

また、本実施の形態では三次元マップに差異領域（出現物体領域）全体を投影し、奥行き距離を求める構成としたが、三次元マップに差異領域における下部の輪郭線部分だけを投影し、奥行き距離を求める構成としてもよい。この場合、処理負荷を削減できる。

また、本実施の形態では差異領域の面積が基準面積以上か否かの判定を行ったが、カメラの性能が優れ、画像のノイズの影響を考慮する必要がない場合にはこのような判定を行わなくてもよい。

また、本実施の形態ではオクルージョン領域（遮蔽物）を抽出し、オクルージョン領域を考慮した出現物体の位置予測も行うが、遮蔽物を考慮した処理を行わなくても、出現物体の位置の予測は可能である。

本実施の形態に係る周辺監視装置の構成図である。 本実施の形態に係るカメラの配置とカメラの撮像領域を示す平面図である。 時刻ｔに右側方カメラで撮像した重複領域の撮像画像（視点変換画像）の一例である。 図３の撮像画像の奥行き情報を示す断面図である。 時刻ｔ＋αに右側方カメラで撮像した非重複領域の撮像画像の一例である。 図５の撮像画像の奥行き情報を示す断面図である。 図３の視点変換画像と図５の撮像画像とにおける差異領域（出現物体領域）を三次元マップに投影した断面図である。 図５の撮像画像における出現物体の予測位置を示す断面図である。 時刻ｔに右側方カメラで撮像した重複領域の撮像画像（視点変換画像）の他の例（遮蔽物がある場合）である。 図９の撮像画像の奥行き情報を示す断面図である。 時刻ｔ＋αに右側方カメラで撮像した非重複領域の撮像画像の他の例（遮蔽物がある場合）である。 図１１の撮像画像の奥行き情報を示す断面図である。 図１１の撮像画像におけるオクルージョン領域と出現物体とを示す図である。 図１３のオクルージョン領域と出現物体との接している部分の拡大図である。 図１１の撮像画像における出現物体の予測位置を示す断面図である。 図１の画像処理装置における処理の流れを示すフローチャートである。

符号の説明

１…周辺監視装置、１０…前方カメラ、１１…後方カメラ、１２…右側方カメラ、１３…左側方カメラ、１４…車速センサ、１５…舵角センサ、２０…スピーカ、２１…ディスプレイ、３０…画像処理装置、３１…三次元情報取得部、３２…環境三次元情報データベース、３３…側方出現位置予測部

Claims (6)

1. 複数の撮像手段により撮像した各撮像画像に基づくステレオ視により三次元情報を取得する三次元情報取得手段と、
   前記三次元情報取得手段で三次元情報を取得した後に三次元情報取得領域の二次元情報を取得する二次元情報取得手段と、
   前記三次元情報取得手段で取得した三次元情報を前記二次元情報取得手段で二次元情報を取得するときの視点での視点変換情報に変換する変換手段と、
   前記二次元情報取得手段で取得した二次元情報と前記変換手段で変換した視点変換情報とを比較し、当該二次元情報のみに出現している出現物体が存在するか否かを判断する出現物体判断手段と、
   前記出現物体判断手段で出現物体が存在すると判断した場合に前記三次元情報取得手段で取得した三次元情報及び前記二次元情報取得手段で取得した二次元情報に基づいて出現物体の三次元情報を推定する三次元情報推定手段と
   を備えることを特徴とする物体検出装置。
2. 前記変換手段で変換した視点変換情報と前記二次元情報取得手段で取得した二次元情報との差異が生じる領域を検出する差異領域検出手段を備え、
   前記出現物体判断手段は、前記差異領域検出手段で差異領域を検出した場合に出現物体が存在すると判断することを特徴とする請求項１に記載する物体検出装置。
3. 前記出現物体判断手段は、前記差異領域検出手段で検出した差異領域が所定面積以上の場合に出現物体が存在すると判断することを特徴とする請求項２に記載する物体検出装置。
4. 前記三次元情報推定手段は、前記三次元情報取得手段で取得した三次元情報から前記差異領域検出手段で検出した差異領域に対応する位置を抽出し、当該抽出した位置により出現物体の三次元情報を推定することを特徴とする請求項２又は請求項３に記載する物体検出装置。
5. 出現物体が遮断物により遮蔽されているか否かを判断する遮断判断手段を備え、
   前記三次元情報推定手段は、前記遮断判断手段で出現物体が遮断物に遮断されていると判断した場合に出現物体の三次元情報を遮断物の三次元情報に基づいて推定することを特徴とする請求項１〜請求項４のいずれか１項に記載する物体検出装置。
6. 前記複数の撮像手段及び前記二次元情報取得手段は、移動体に設置され、
   前記推定される出現物体の三次元情報は、移動体と出現物体との相対位置であることを特徴とする請求項１〜請求項５のいずれか１項に記載する物体検出装置。

Images