JP5710752B2 - 検出装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、検出装置、方法及びプログラムに関する。

従来から、自動車に設置された複数のカメラで撮像した複数の画像と当該複数の画像間の視差（対応関係）とを用いて空間位置を推定し、推定した空間位置に基づいて自動車の周囲に存在する物体（障害物）と路面との境界を検出する技術が知られている。

特許第４４０６３８１号公報

しかしながら、上述したような従来技術では、複数の画像間における視差及び奥行きが一定の関係にあることが前提とされており、当該前提が成立しなければ、物体と路面との境界を正しく検出することはできない。本発明が解決しようとする課題は、複数の画像間における視差及び奥行きが一定の関係になくても物体と路面との境界を検出することができる検出装置、方法及びプログラムを提供することである。

実施形態の検出装置は、第１推定部と、第２推定部と、第３推定部と、射影部と、算出部と、検出部と、を備える。第１推定部は、異なる撮像位置間の空間的な第１位置関係を推定する。第２推定部は、前記異なる撮像位置で路面上の物体が撮像された複数の撮像画像と前記第１位置関係とを用いて、前記複数の撮像画像のうちのいずれかである推定用撮像画像に映る前記物体の３次元位置及び当該３次元位置の誤差位置を推定する。第３推定部は、前記推定用撮像画像の撮像位置と路面との間の第２位置関係を推定する。射影部は、前記第２位置関係を用いて、前記推定用撮像画像の前記撮像位置を前記路面上に射影して第１射影位置を得、前記３次元位置を前記路面上に射影して第２射影位置を得、前記誤差位置を前記路面上に射影して第３射影位置を得る。算出部は、前記第１射影位置と前記第２射影位置とを通過する直線において、前記第１射影位置及び前記第３射影位置間よりも前記第２射影位置及び前記第３射影位置間の方が物体の存在確率が高くなるように更新して前記存在確率を算出する。検出部は、前記存在確率を用いて前記路面と前記物体との境界を検出する。

第１実施形態の検出装置の例を示す構成図。 第１実施形態の検出処理例を示すフローチャート。 第１実施形態の撮像部の配置、動き、及び撮像タイミング例の説明図。 第１実施形態の撮像画像の例を示す図。 第１実施形態の撮像画像の例を示す図。 第１実施形態の推定処理例を示すフローチャート。 第１実施形態の撮像画像の例を示す図。 第１実施形態の撮像画像の例を示す図。 第１実施形態の撮像画像における対応点の拡大図。 第１実施形態の初期領域が設定された撮像画像の例を示す図。 第１実施形態の撮像部及び路面の位置及び姿勢の関係の例を示す図。 第１実施形態の物体の存在確率の算出手法の例を示す説明図。 第１実施形態の射影処理及び存在確率算出処理例を示すフローチャート。 第１実施形態の障害物の存在確率の一例を示す図。 第１実施形態の出力例を示す図。 第２実施形態の検出装置の例を示す構成図。 第２実施形態の検出処理例を示すフローチャート。 各実施形態の検出装置ハードウェアの構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の検出装置１０の一例を示す構成図である。図１に示すように、検出装置１０は、撮像部１１と、第１推定部１３と、第２推定部１５と、第３推定部１７と、射影部１９と、算出部２１と、検出部２３と、出力制御部２５と、出力部２７とを、備える。

撮像部１１は、例えば、デジタルカメラなどの撮像装置により実現できる。第１推定部１３、第２推定部１５、第３推定部１７、射影部１９、算出部２１、検出部２３、及び出力制御部２５は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。出力部２７は、例えば、液晶ディスプレイやタッチパネル式ディスプレイなどの表示出力用の表示装置、又はスピーカなどの音声出力用の音声装置などで実現してもよいし、これらの装置を併用して実現してもよい。

なお第１実施形態では、検出装置１０を自動車に適用し、路面上に存在する障害物を検出する場合を例に取り説明するが、これに限定されるものではない。検出装置１０は、移動体に適用でき、例えば、自律移動ロボットなどに適用してもよい。

図２は、第１実施形態の検出装置１０で行われる検出処理の手順の流れの一例を示すフローチャートである。

まずステップＳ１０１では、撮像部１１は、時系列で撮像した撮像画像や撮像部１１（カメラ）の内部パラメータを入力する。内部パラメータは、レンズの焦点距離、１画素あたりの大きさ、及び画像中心などであり、第１実施形態では、３行３列の行列で表現されるものとする。

図３は、第１実施形態の撮像部１１の配置、動き、及び撮像タイミングの一例の説明図である。図３に示す例では、撮像部１１（カメラ）は、車両１０４の後面に進行方向（バック方向）と一致するように配置されており、車両１０４は、バックで後方（進行方向）に移動している。そして撮像部１１は、まず位置１００に位置した時点で画像を撮像して入力し、続いて、位置１０２に位置した時点で画像を撮像して入力する。

図４Ａは、第１実施形態の撮像部１１により位置１０２から撮像された撮像画像１０３の一例を示す図であり、図４Ｂは、第１実施形態の撮像部１１により位置１００から撮像された撮像画像１０１の一例を示す図である。図３に示す例では、車両１０４の進行方向に人物１０５が立っているため、撮像画像１０１、１０３には、人物１０５が写っている。なお、位置１０２の方が位置１００よりも人物１０５との距離が近いため、撮像画像１０３の方が撮像画像１０１よりも人物１０５が大きく写っている。

但し、撮像部１１の配置、動き、及び撮像画像の入力タイミングは、これに限定されるものではなく、また、撮像画像を３枚以上撮像するようにしてもよい。

また撮像部１１は、撮像した撮像画像とともに内部パラメータを入力するが、第１実施形態では、図３に示すように、複数の撮像画像を１つの撮像部１１（１台のカメラ）で撮像することを想定しているため、各撮像画像の内部パラメータは、変化せず一定の値となる。このため、撮像部１１は、撮像画像の入力時に内部パラメータを入力するのではなく、内部パラメータを事前に入力しておいてもよい。

続いてステップＳ１０３では、第１推定部１３は、異なる撮像位置間の空間的な位置関係（第１位置関係の一例）を推定する。具体的には、第１推定部１３は、撮像部１１から入力された時系列の撮像画像及び内部パラメータを用いて、時系列の撮像画像それぞれの撮像位置間の相対的な位置関係である回転行列及び並進ベクトルを推定する。

図５は、第１実施形態の第１推定部１３で行われる推定処理の手順の流れの一例を示すフローチャートである。なお図５に示す例では、撮像画像１０１、１０３間の回転行列及び並進ベクトルを推定する例について説明する。

まず、第１推定部１３は、撮像画像１０１、１０３の各々から、特徴点を抽出する（ステップＳ２０１）。特徴点の抽出には、例えば、Ｈａｒｒｉｓオペレータを用いればよい。

続いて、第１推定部１３は、抽出した撮像画像１０３の各々の特徴点と撮像画像１０１の各々の特徴点との撮像画像間での対応付けを行う（ステップＳ２０３）。例えば、第１推定部１３は、撮像画像１０３の特徴点から特徴を記述する記述子を計算し、計算した特徴点の記述子に従って撮像画像１０１の特徴点との特徴点間の類似度を求め、求めた類似度が高いもの（例えば、類似度が閾値以上のもの）を、類似度が高い対応点組とする。

記述子は、例えば、特徴点の周りに設定した小領域内の輝度を用いることができる。なお、小領域内には複数の輝度が含まれるため、小領域内の輝度は、ベクトルで表現されるものとする。特徴点間の類似度については、小領域内の輝度（輝度ベクトル）にＳＡＤ（差分絶対値和）などを用いることで、類似度が高い対応点組を求める。

続いて、第１推定部１３は、求めた対応点組を用いて、基本行列を算出する（ステップＳ２０５）。第１推定部１３は、公知の５点法などにより基本行列を求めることができ、例えば、数式（１）を用いて基本行列を算出する。

ここで、Ｅは基本行列を表し、ｘは対応点組の一方の画像の正規化画像座標を同次座標系で表し、ｘ’は残りの画像における対応点の位置を正規化画像座標を同次座標系で表し、Ｔは転置を表す。なお、対応点組の正規化画像座標ｘとｘ’は、対応点組を内部パラメータで変換することで求められる。

続いて、第１推定部１３は、算出した基本行列を特異値分解で分解し、撮像画像１０１、１０３間の回転行列及び並進ベクトルを算出する（ステップＳ２０７）。この際、回転行列及び並進ベクトルには４通りの不定性が生じるが、第１推定部１３は、撮像位置間の回転変化が小さいこと及び対応点の３次元位置が前方にあることの少なくともいずれかを通じて１つに絞り込むことで決定すればよい。

続いてステップＳ１０５では、第２推定部１５は、異なる撮像位置で撮像された複数の撮像画像と、第１推定部１３により推定された位置関係とを用いて、当該複数の撮像画像のうちのいずれかである推定用撮像画像内の空間位置及び当該空間位置の誤差位置を推定する。具体的には、第２推定部１５は、撮像部１１から入力された時系列の撮像画像と、第１推定部１３により推定された回転行列及び並進ベクトルとを用いて、推定用撮像画像内の３次元位置及び当該３次元位置の誤差位置を推定する。

以下では、図６Ａ及び図６Ｂを参照しながら、推定用撮像画像である撮像画像１０３内の点３００の３次元位置を推定する例について説明する。図６Ａは、第１実施形態の撮像画像１０３の一例を示す図であり、図６Ｂは、第１実施形態の撮像画像１０１の一例を示す図である。なお、３次元位置の推定は、撮像画像１０１、１０３間で対応付けを行い、視差を推定して行う。

まず、第２推定部１５は、第１推定部１３により算出された回転行列及び並進ベクトルを用いて、撮像画像１０１上でエピポーラ線３０１を算出し、エピポーラ線３０１上に任意の点（図６Ｂでは、点３０２、３０３を例示）を設定するとともに当該点の周囲に小領域を設定する。そして第２推定部１５は、エピポーラ線３０１上に設定された各々の点の周囲の小領域の輝度パタンと点３００の周囲の小領域の輝度パタンとの類似度を求め、最も輝度パタンが類似している点（図６Ｂでは、点３０３）を点３００の対応点とすることで、撮像画像１０１、１０３間の対応点を求める。

続いて、第２推定部１５は、点３００及び求められた対応点３０３を用いて、点３００の３次元位置を算出する。ここで、数式（２）で表される３次元位置の同次座標、数式（３）で表される点３００の同次座標、数式（４）で表される対応点３０３の同次座標、並びに内部パラメータＫ、回転行列Ｒ、並進ベクトルｔで与えられる撮像画像１０３、１０１それぞれの３行４列の投影変換行列Ｐ＝Ｋ（Ｉ｜０）、Ｐ’＝（Ｒ｜ｔ）を用いると、点３００の３次元位置は、数式（５）で表される。

詳細には、第２推定部１５は、数式（５）に最小２乗法などを用いることで、点３００の３次元位置Ｘ_Ｗ＝（Ｘ Ｙ Ｚ）^Ｔを得る。

続いて、第２推定部１５は、対応点３０３の誤差γを決定し、対応点３０３が誤差γだけずれた場合の点３００の３次元位置を算出する。ここで、第２推定部１５は、１画素以下の固定値、又は、対応点３０３を求める際にエピポーラ線３０１上の探索に用いたステップ幅を基準に誤差γを決めればよい。図７は、第１実施形態の撮像画像１０１における対応点３０３の拡大図である。図７に示す誤差γを考慮した対応点３０４、３０５は、数式（６）で表される。

但し、γ_ｕ ^２＋γ_ｖ ^２＝γ^２であり、対応点３０４、３０５は、エピポーラ線３０１上に位置する。

そして第２推定部１５は、対応点３０４、３０５についても、それぞれ、対応点３０３の同次座標に代えて対応点３０４、３０５の同次座標を数式（５）に適用することにより、点３００の３次元位置を算出する。

以降、第２推定部１５は、撮像画像１０３内の点３００以外の各点についても上述した３次元位置の推定処理を行うことで、撮像画像１０３の各位置における３次元位置を推定する。なお第１実施形態では、撮像画像１０３を推定用撮像画像とし、撮像画像１０３内の各点の３次元位置を推定する例について説明したが、これに限定されず、撮像画像１０１を推定用撮像画像とし、撮像画像１０１内の各点の３次元位置を推定してもよい。

続いてステップＳ１０７では、第３推定部１７は、推定用撮像画像の撮像位置と路面との間の位置関係（第２位置関係の一例）を推定する。

具体的には、第３推定部１７は、第２推定部１５により推定された空間位置（３次元位置）を用いて、撮像部１１及び路面の姿勢を推定する。但し、第２推定部１５により推定された３次元位置には対応位置間違えによる推定エラーが含まれているため、撮像画像１０３内のどの点が路面に属しているかを判断できない。

そこで第１実施形態では、第３推定部１７は、図８に示すように、撮像画像１０３の下方に初期領域４００を設定し、初期領域４００内に含まれる各点の３次元位置を使って３次元空間中の平面（路面）を推定する。なお、安定に路面を推定するため、第３推定部１７は、ＲＡＮＳＡＣ（RANdom Sample Consensus）を用いて、初期領域４００内に含まれる各点をランダムに選択しながら検定して推定していくことが望ましい。第３推定部１７は、このように３次元空間中の路面を推定することで、路面の法線ベクトルｎと、撮像部１１及び路面間の距離ｄとを、得る。

なお、第１実施形態では、路面の法線ベクトルｎと撮像部１１及び路面間の距離ｄとを得るために、第２推定部１５により推定された３次元位置を用いる例について説明したが、３次元位置を用いなくてもよい。例えば、撮像部１１の設置角度が路面に対して変化しない場合には、撮像部１１の設置時に法線ベクトルｎと撮像部１１及び路面間の距離ｄとを求めておいてもよいし、また、ジャイロセンサや加速度センサなどを用いて法線ベクトルｎと撮像部１１及び路面間の距離ｄとを推定してもよい。

そして、第３推定部１７は、図９に示すように、路面の法線ベクトルｎ＝（ｎ_ｘ，ｎ_ｙ，ｎ_ｚ）と、撮像部１１及び路面間の距離ｄとを用いて、撮像部１１を中心とした座標系Ｘ_ｗから路面を基準とした座標系Ｘ_ｒへ座標変換する回転行列Ｒ_ｐ及び並進ベクトルｔ_ｐを推定する。なお、座標系Ｘ_ｗから座標系Ｘ_ｒへの座標変換により、撮像部１１の光軸方向Ｚ_ｗ軸がＺ_ｒ軸、路面と垂直な方向がＹ_ｒ軸、Ｚ_ｒ軸及びＹ_ｒ軸と直交する軸がＸ_ｒ軸、にそれぞれ変換され、路面上ではＹ_ｒ軸の大きさが０となる。

ここで、座標系Ｘ_ｗと座標系Ｘ_ｒとの関係は、Ｘ_ｒ＝Ｒ_ｐ ^−１Ｘ_ｗ＋ｔ_ｐとなる。但し、ｔ_ｐ＝（０、０、ｄ）^Ｔである。また、回転行列Ｒ_ｐを一般的な回転行列と考えると、数式（７）で表すことができる。

但し、Ｃα＝ｃｏｓα、Ｓα＝ｓｉｎαであり、γやβについても同様である。

また第３推定部１７は、座標系Ｘ_ｗから座標系Ｘ_ｒへの座標変換を、撮像部１１の光軸方向のＺ_ｗ軸を路面に投影したときの方向が座標変換後も変わらず、路面上ではＹ_ｒ軸の大きさが０となるように定める。これにより、路面の法線ベクトルｎがＹ_ｒ軸に一致することから、β＝ａｒｃｓｉｎ（ｎｚ）、α＝ａｒｃｃｏｓ（ｎｙ／ｃｏｓβ）が求まる。また、法線ベクトルｎとＺ_ｗ軸で張る平面上にＺ_ｒ軸が存在することから、γ＝０が求まる。このようにして、第３推定部１７は、回転行列Ｒ_ｐを推定する。

続いてステップＳ１０９では、射影部１９は、第３推定部１７により推定された第２位置関係を用いて、推定用撮像画像の撮像位置を路面上に射影して第１射影位置を得、空間位置を路面上に射影して第２射影位置を得、誤差位置を路面上に射影して第３射影位置を得る。そして算出部２１は、第１射影位置と第２射影位置とを通過する直線において、第１射影位置及び第３射影位置間よりも第２射影位置及び第３射影位置間の方が物体の存在確率が高くなるように更新して当該存在確率を算出する。

第１実施形態では、図１０に示すように、撮像画像１０３との位置関係の対応付けが行われ、Ｎ画素おきに小領域に区切ったグリッド画像５００（存在確率算出用画像の一例）上で、物体の存在確率を算出する。図１０に示す例では、撮像画像１０３とグリッド画像５００との位置の対応関係を理解し易くするため、撮像画像１０３上にグリッド画像５００を重畳しているが、実際には重畳させる必要はなく、撮像画像１０３とグリッド画像５００との位置関係が対応付いていればよい。

図１１は、第１実施形態の射影部１９で行われる射影処理及び算出部２１で行われる存在確率算出処理の手順の流れの一例を示すフローチャートである。

まず、射影部１９は、数式（８）及び数式（９）を用いて、撮像画像１０３の撮像位置（詳細には、光学中心）を路面上に射影（投影）した場合の位置を算出し、算出した位置に１／Ｎを乗じることでグリッド画像５００の座標系に変換し、位置５０１を推定する（ステップＳ３０１）。このように、撮像画像１０３の座標系とグリッド画像５００の座標系とは、一意に決定できる。

続いて、射影部１９は、撮像画像１０３上で水平線を算出し、算出した水平線をグリッド画像５００の座標系に変換し、水平線５０２を推定する（ステップＳ３０２）。具体的には、射影部１９は、数式（１０）においてαを設定し、数式（８）及び数式（９）を用いて、撮像画像１０３上の２点の位置を算出する。これは、数式（１０）において＋αと−αとが設定されるためである。

そして射影部１９は、算出した２点の位置から直線の方程式を求めることで撮像画像１０３上の水平線を求め、グリッド画像５００の座標系に変換することで水平線５０２を得る。

続いて、射影部１９は、撮像画像１０３上に未処理の注目点があるか否かを確認する（ステップＳ３０３）。ここで、注目点は、撮像画像１０３上の３次元位置の推定に用いられた撮像画像１０３上の各点である（例えば、図６Ａの点３００）。射影部１９は、撮像画像１０３上に未処理の注目点がある場合には（ステップＳ３０３でＹｅｓ）、いずれかの未処理の注目点（図１０では、注目点３００）を処理対象に設定し、ステップＳ３０５へ進む。一方、撮像画像１０３上に未処理の注目点がない場合には（ステップＳ３０３でＮｏ）、処理は終了となる。

続いて、射影部１９は、処理対象に設定された注目点３００の路面上の位置である点５０３を算出する（ステップＳ３０５）。具体的には、射影部１９は、第３推定部１７により推定された回転行列Ｒ_ｐ及び並進ベクトルｔ_ｐを用いて、注目点３００の３次元位置Ｘ_ｗ＿３００を、路面を基準とした座標系Ｘ_ｒへ座標変換し、Ｘ_ｒ＿３００を得る。そして射影部１９は、路面上での位置を求めるためにＹ_ｒ軸の大きさを０としたＸ_ｒ’＿３００を再び撮像部１１を中心とした座標系Ｘ_ｗへ変換してＸ_ｗ’＿３００を得、Ｘ_ｗ’＿３００を数式（５）に適用することにより、点５０３を算出する。

続いて、射影部１９は、処理対象に設定された注目点３００の想定される誤差を算出し、注目点３００の路面上の誤差位置である点５０４、５０５を算出する（ステップＳ３０７）。具体的には、射影部１９は、第２推定部１５により推定された対応点３０３が誤差γだけずれた場合（例えば、図７の対応点３０４、３０５）の点３００の３次元位置を、ステップＳ３０５で説明した手順で変換し、点５０４、５０５を算出する。なお、射影部１９は、数式（１１）を用いて、誤差の大きさを算出する。

ここで、ｅｄは、誤差の大きさを表し、ｍ_５０＊は、点５０＊のグリッド画像５００上での２次元座標を表す。なお、図１０に示す例では、＊は、３、４、５のいずれかとなる。

続いて、算出部２１は、グリッド画像５００上で障害物の存在確率を更新し、障害物の存在確率を算出し（ステップＳ３０９）、ステップＳ３０３へ戻る。具体的には、算出部２１は、数式（１２）や数式（１３）を用いて、グリッド画像５００上で障害物の存在確率を更新する。

ここで、Ｐ（Ｅ）は障害物の存在確率を表す。また、Ｐ（Ｅ｜Ｏ）は障害物の存在が確認されたグリッドにおける障害物の存在確率の更新式を表し、Ｐ（Ｅ｜Ｏ￣）は障害物の存在が確認されていないグリッドの障害物の存在確率の更新式を表し、両者は、障害物の存在が確認されたか否かの条件付き確率により障害物の存在確率Ｐ（Ｅ）を求めていることに相当する。

また、Ｐ（Ｅ_Ｐ）は障害物の事前確率を表す。Ｐ（Ｅ_Ｐ）は障害物の事前確率を表すので、更新前の各グリッドにおける障害物の存在確率を用いることとする。但し、最初の処理を行う場合には、初期値（例えば、障害物の存在の有無の中間状態を意味する０．５）を用いることとする。

Ｐ（Ｏ｜Ｅ）は障害物が存在したときに障害物が観測される確率（検出率）を表す。Ｐ（Ｏ｜Ｅ）は検出率であるので、Ｐｏ（０＜Ｐｏ＜１）とする。Ｐ（Ｏ｜Ｅ￣）は障害物が存在しないときに障害物が観測される確率（誤検出率）を表す。Ｐ（Ｏ｜Ｅ￣）は誤検出率であるので、Ｐｅ（誤差ｅｄが大きいほど設定された範囲内で大きくなる）とする。

これにより、誤差ｅｄが大きいほどＰ（Ｅ）の更新幅が小さくなるので、Ｐ（Ｏ｜Ｅ）を用いた場合にはＰ（Ｅ）が緩やかに上昇するように更新され、Ｐ（Ｏ｜Ｅ￣）を用いた場合にはＰ（Ｅ）が緩やかに下降するように更新される。つまり算出部２１は、点５０３と点５０４又は点５０５との間隔が大きいほど、更新幅を小さくして存在確率を更新する。なお、同様の傾向を満たすため、Ｐ（Ｏ｜Ｅ￣）を変化させる代わりに、Ｐ（Ｏ｜Ｅ）を誤差ｅｄが大きいほど設定された範囲内で小さくなるようにしてもよい。

そして算出部２１は、グリッド内の障害物の存在確率を更新する場合には、図１０に示すように、位置５０１と点５０３とを通過する直線５０６上に位置するグリッドの各々について存在確率を更新する。

この際、算出部２１は、直線５０６の点５０４より点５０１側の区間５０７に属するグリッドでは、障害物の存在が確認されていないことが想定されるため、数式（１３）を用いてＰ（Ｅ）を更新する。また算出部２１は、直線５０６の点５０４と点５０５とを結ぶ区間５０８に属するグリッドでは、障害物の存在が確認されていることが想定されるため、数式（１２）を用いてＰ（Ｅ）を更新する。

これにより、区間５０７に属するグリッドでは、Ｐ（Ｅ）が小さくなり、区間５０８に属するグリッドでは、Ｐ（Ｅ）が大きくなるように、Ｐ（Ｅ）が更新される。なお、点５０３が属するグリッドでは、Ｐ（Ｅ）を大きくするために、Ｐ（Ｏ｜Ｅ￣）をＰｅより小さくするか、Ｐ（Ｏ｜Ｅ）をＰｏより大きくするようにしてもよい。

また、直線５０６の点５０５と水平線５０２とを結ぶ区間５０９に属するグリッドは、注目点３００が観測されたため観測できない領域に相当するが、障害物が存在している可能性もあるため、算出部２１は、数式（１２）を用いてＰ（Ｅ）を更新してもよい。この際、算出部２１は、障害物が直接観測されているわけではないため、Ｐ（Ｏ｜Ｅ）にＰｏより小さい値を用いてＰ（Ｅ）の更新幅を更に小さくし、Ｐ（Ｅ）が更に緩やかに更新されるようにする。

このように、数式（１２）及び数式（１３）を計測誤差に基づいて設定することで、誤差の小さい領域では障害物の存在確率の更新幅が大きく更新されて障害物の有無が顕著に表れ、一方、誤差の大きい領域では障害物の存在確率の更新幅が小さく更新されて障害物の存在の有無が不明な状態にとどまるようになり、誤検出の可能性を下げることができる。

続いてステップＳ１１１では、検出部２３は、算出部２１により算出された物体の存在確率を用いて、路面と物体との境界を検出する。具体的には、検出部２３は、算出部２１により算出された障害物の存在確率を用いて、障害物と路面との境界位置を検出する。

図１２は、第１実施形態の障害物の存在確率の一例をグリッド画像５００上で表した図である。なお、図１２に示す例では、グリッド画像５００のグリッドの図示を省略している。図１２に示す例では、格子で表された領域は、Ｐ（Ｅ）の値が１．０に近く、障害物が存在している可能性が高い。また、ドットで表された領域は、Ｐ（Ｅ）の値が０．０に近く、障害物が存在していない可能性が高い。また、斜線で表された領域は、Ｐ（Ｅ）の値が０．５に近く、障害物が存在するか否かが不定となっている。

ここで、障害物が路面と接する場所においては、その近傍で障害物の存在確率が大きく変化するため、検出部２３は、近接領域で変化のあるグリッド位置の探索を行うことで障害物が路面に接する位置（障害物と路面との境界位置）を検出する。更に、撮像部１１から障害物までの間に必ず路面が存在するため、検出部２３は、障害物が存在しないグリッドから障害物が存在するグリッドへ変化するグリッド位置の探索を行うことで障害物が路面に接する位置（障害物と路面との境界位置）を検出する。

そこで第１実施形態では、検出部２３は、位置５０１側のグリッド画像５００の端６００から水平線５０２方向に向かった方向、即ち、端６００と直交する方向６０１を考え、端６００に近い方から方向６０１に向けてグリッド６０２とグリッド６０３を設定する。ここで、グリッド６０２及びグリッド６０３は、隣接していてもよいし、所定のＮ個の範囲内で複数設定してもよい。そして検出部２３は、グリッドＸにおける障害物の存在確率Ｇ（Ｘ）が、数式（１４）〜（１６）の少なくともいずれかを満たす場合に、障害物と路面との境界位置を検出する。

Ｇ（６０３）−Ｇ（６０２）≧ＴＨ_１ …（１４）

Ｇ（６０２）≧ＴＨ_２ …（１５）

Ｇ（６０３）≧ＴＨ_３ …（１６）

但し、ＴＨ_１（第１閾値の一例）は正の値であり、ＴＨ_２（第２閾値の一例）は０．５以下であり、ＴＨ_３（第３閾値の一例）は０．５以上とする。また、Ｇ（６０２）は、第１存在確率の一例であり、Ｇ（６０３）は、第２存在確率の一例である。

なお、数式（１４）は、グリッド６０２とグリッド６０３の間の差が大きければ大きいほど境界である可能性が高くなる条件を表し、数式（１５）は、グリッド６０２が障害物の存在しない領域である条件を表し、数式（１６）は、グリッド６０３が障害物の存在する領域である条件を表す。

以降、検出部２３は、端６００に沿って位置を変えながら同様の処理を行い、各位置における境界を検出する。

続いてステップＳ１１３では、出力制御部２５は、算出部２１により算出された物体の存在確率及び検出部２３により検出された路面と物体との境界の少なくともいずれかを出力部２７に出力させる。

例えば、出力制御部２５は、図１３に示すように、撮像画像１０３上に、検出部２３により検出された路面と物体との境界を示す境界線６１１を重畳した画像を出力部２７に表示出力させてもよい。また出力制御部２５は、車両１０４と障害物との距離が一定距離以下になったら、警告表示６１０を出力部２７に表示出力させてもよいし、警告音などの音声による警告を出力部２７に音声出力させてもよい。また出力制御部２５は、車両１０４と障害物との距離に応じて、境界線６１１の色、太さ、透明度、及び点滅間隔の少なくともいずれかなどの表示態様を変更してもよい。例えば出力制御部２５は、車両１０４との距離が近い障害物ほど運転者に注意を喚起できるように、境界線６１１をより太く表示したり、遠くの障害物は透明度を上げて表示したりする。また例えば出力制御部２５は、数式（１４）〜（１６）による確率値の差分や確率値が大きいものほど、注意を惹きやすいように、境界線６１１の色、太さ、透明度、及び点滅間隔の少なくともいずれかを変えてもよい。

また例えば、出力制御部２５は、図１２に示すように、撮像画像１０３上に、障害物の存在確率を識別可能に重畳した画像を出力部２７に表示出力させてもよい。ここで、識別可能とは、色彩による可視化であってもよいし、存在確率が高いほど明度を明るくしてもよいし、点滅などであってもよい。

以上のように第１実施形態によれば、複数の画像間における視差及び奥行きが一定の関係になくても、物体と路面との境界を検出することができる。このため第１実施形態によれば、移動体に対して、進行方向と平行になるように複数の撮像部を設置する必要はなく（詳細には、画像中で、奥行Ｚ＝固定値Ｆ／視差ｄが成立するように複数の撮像部を設置する必要はなく）、例えば、移動体に対して単数の撮像部を配するなど簡易な事前設定で物体と路面との境界を検出することができる。

そして第１実施形態によれば、物体と路面との境界の検出結果を移動体の運転者に報知することにより、安全運転支援に役立てることができる。なお第１実施形態では、境界の検出結果を移動体の運転者に報知する例について説明しているが、境界の検出結果を移動体の制御等に用いても、安全運転支援に役立てることができる。この場合、出力部２７による存在確率や境界の出力は行わなくてもよい。

（第２実施形態）
第２実施形態では、時系列で撮像された撮像画像が順次入力され、順次入力された撮像画像に対して第１実施形態で説明した処理を時間的に連続して施す例について説明する。第２実施形態では、例えば、時刻ｔ１の撮像画像、時刻ｔ２の撮像画像、時刻ｔ３の撮像画像が順次入力される場合に、まず、時刻ｔ１の撮像画像及び時刻ｔ２の撮像画像に対して第１実施形態で説明した処理を施し、次に、時刻ｔ２の撮像画像及び時刻ｔ３の撮像画像に対して第１実施形態で説明した処理を施す。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１４は、第２実施形態の検出装置１０１０の一例を示す構成図である。図１４に示すように、第２実施形態の検出装置１０１０では、変換部１８を備える点で第１実施形態と相違する。

図１５は、第２実施形態の検出装置１０１０で行われる検出処理の手順の流れの一例を示すフローチャートである。なお、図１５に示す検出処理は、まず、時刻ｔ１の撮像画像及び時刻ｔ２の撮像画像に対して行われ、続いて、時刻ｔ２の撮像画像及び時刻ｔ３の撮像画像に対して行われ、以降も同様に、時刻ｔｎ（ｎは自然数）の撮像画像及び時刻ｔｎ＋１の撮像画像に対して行われる。また、推定用撮像画像は、最新の時刻の撮像画像であるものとする。つまり、時刻ｔ１の撮像画像及び時刻ｔ２の撮像画像であれば、時刻ｔ２の撮像画像が推定用撮像画像となり、時刻ｔ２の撮像画像及び時刻ｔ３の撮像画像であれば、時刻ｔ３の撮像画像が推定用撮像画像となる。

まず、ステップＳ４０１〜Ｓ４０７までの処理は、図２のステップＳ１０１〜Ｓ１０７までの処理と同様であるため、説明を省略する。

続いてステップＳ４０９では、変換部１８は、推定用撮像画像（例えば、時刻ｔ２の撮像画像）及び当該推定用撮像画像よりも時系列が後の新たな推定用撮像画像間（例えば、時刻ｔ３の撮像画像）の路面に対する射影変換行列を用いて、グリッド画像５００上の存在確率を変換する。但し、変換部１８は、前回の時刻において、グリッド画像５００上で存在確率が算出されていなければ、存在確率の変換を行わず、グリッド画像５００上で障害物の事前確率Ｐ（Ｅ_Ｐ）として初期値を設定する。なお、障害物の事前確率の設定については、第１実施形態で算出部２１が行ったものと同様である。

つまり、図１５に示す検出処理が時刻ｔ１の撮像画像及び時刻ｔ２の撮像画像に対して行われているのであれば、前回の時刻である時刻ｔ１において、グリッド画像５００上で存在確率の算出は行われていないため、変換部１８は、存在確率を変換しない。一方、図１５に示す検出処理が時刻ｔ２の撮像画像及び時刻ｔ３の撮像画像に対して行われているのであれば、前回の時刻である時刻ｔ２において、グリッド画像５００上で存在確率の算出は行われているため、変換部１８は、存在確率を変換する。

具体的には、変換部１８は、第２推定部１５により推定された回転行列Ｒ及び並進ベクトルｔと、第３推定部１７により推定された路面の法線ベクトルｎ及び撮像部１１及び路面間の距離ｄと、内部パラメータＫとを用いて、数式（１７）に示す射影変換行列Ｈを算出する。

射影変換行列Ｈは、一般に広く知られているように、画像間の路面間の対応を一意に決定することができる。そして変換部１８は、射影変換行列Ｈを用いて、前回の時刻（例えば、時刻ｔ２）においてグリッド画像５００上で算出された存在確率を、現在の時刻（例えば、時刻ｔ３）におけるグリッド画像５００上の存在確率（詳細には、障害物の事前確率Ｐ（Ｅ_Ｐ））に変換する。

続いてステップＳ４１１では、射影部１９は、図２のステップＳ１０９と同様の処理を行う。一方、算出部２１は、障害物の事前確率の設定を行わず、グリッド画像５００上で算出された存在確率を変換用に保持しておく点を除き、図２のステップＳ１０９と同様の処理を行う。

続いて、ステップＳ４１３〜Ｓ４１５までの処理は、図２のステップＳ１１１〜Ｓ１１３までの処理と同様であるため、説明を省略する。

以上のように第２実施形態によれば、第１実施形態と同様の効果を時系列的に連続して得ることができる。

（ハードウェア構成）
図１６は、上記各実施形態の検出装置１０、１０１０のハードウェア構成の一例を示すブロック図である。図１６に示すように、上記各実施形態の検出装置１０、１０１０は、ＣＰＵなどの制御装置９１と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置９２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの外部記憶装置９３と、ディスプレイなどの表示装置９４と、キースイッチなどの入力装置９５と、通信Ｉ／Ｆ９６と、車載カメラなどの撮像装置９７とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。

上記各実施形態の検出装置１０、１０１０で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。

また、上記各実施形態の検出装置１０、１０１０で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。

また、上記各実施形態の検出装置１０、１０１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の検出装置１０、１０１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

上記各実施形態の検出装置１０、１０１０で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置９１が外部記憶装置９３からプログラムを記憶装置９２上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

以上説明したとおり、上記各実施形態によれば、複数の画像間における視差及び奥行きが一定の関係になくても物体と路面との境界を検出することができる。

なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

１０、１０１０ 検出装置
１１ 撮像部
１３ 第１推定部
１５ 第２推定部
１７ 第３推定部
１８ 変換部
１９ 射影部
２１ 算出部
２３ 検出部
２５ 出力制御部
２７ 出力部

Claims (10)

1. 異なる撮像位置間の空間的な第１位置関係を推定する第１推定部と、
   前記異なる撮像位置で路面上の物体が撮像された複数の撮像画像と前記第１位置関係とを用いて、前記複数の撮像画像のうちのいずれかである推定用撮像画像に映る前記物体の３次元位置及び当該３次元位置の誤差位置を推定する第２推定部と、
   前記推定用撮像画像の撮像位置と路面との間の第２位置関係を推定する第３推定部と、
   前記第２位置関係を用いて、前記推定用撮像画像の前記撮像位置を前記路面上に射影して第１射影位置を得、前記３次元位置を前記路面上に射影して第２射影位置を得、前記誤差位置を前記路面上に射影して第３射影位置を得る射影部と、
   前記第１射影位置と前記第２射影位置とを通過する直線において、前記第１射影位置及び前記第３射影位置間よりも前記第２射影位置及び前記第３射影位置間の方が物体の存在確率が高くなるように更新して前記存在確率を算出する算出部と、
   前記存在確率を用いて前記路面と前記物体との境界を検出する検出部と、
   を備える検出装置。
2. 前記算出部は、前記第２射影位置と前記第３射影位置との間隔が大きいほど更新幅を小さくして前記存在確率を更新する請求項１に記載の検出装置。
3. 前記算出部は、前記推定用撮像画像と位置関係が対応付けられた存在確率算出用画像上で前記存在確率を更新する請求項１又は２に記載の検出装置。
4. 前記検出部は、前記存在確率算出用画像の前記第１射影位置側の端から水平線に交差する方向に設定した直線上で所定の範囲内に存在する２つの点を選択したとき、前記端に近い側の点の第１存在確率と、前記水平線に近い側の点の第２存在確率について、前記第２存在確率と前記第１存在確率との差分が第１閾値以上であること、前記第１存在確率が第２閾値以上であること、及び前記第２存在確率が第３閾値以上であることの少なくともいずれかを満たす場合に、前記２つの点の間を境界位置として検出する請求項３に記載の検出装置。
5. 前記推定用撮像画像及び当該推定用撮像画像よりも時系列が後の新たな推定用撮像画像間の路面に対する射影変換行列を用いて、前記存在確率算出用画像上の前記存在確率を変換する変換部を更に備え、
   前記算出部は、前記新たな推定用撮像画像と位置関係が対応付けられた変換後の前記存在確率算出用画像上で前記存在確率を更新する請求項３又は４に記載の検出装置。
6. 前記存在確率算出用画像は、小領域に分割されたグリッドを単位として構成されている請求項３〜５のいずれか１つに記載の検出装置。
7. 前記算出部は、前記第１射影位置と前記第２射影位置とを通過する直線において、前記第１射影位置と前記第２射影位置又は前記第３射影位置との間よりも、前記第２射影位置又は前記第３射影位置から水平線位置間の前記存在確率の更新幅を小さくして前記存在確率を更新する請求項１〜６のいずれか１つに記載の検出装置。
8. 前記存在確率及び前記境界の少なくともいずれかを出力する出力部を更に備える請求項１〜７のいずれか１つに記載の検出装置。
9. 第１推定部が、異なる撮像位置間の空間的な第１位置関係を推定する第１推定ステップと、
   第２推定部が、前記異なる撮像位置で路面上の物体が撮像された複数の撮像画像と前記第１位置関係とを用いて、前記複数の撮像画像のうちのいずれかである推定用撮像画像に映る前記物体の３次元位置及び当該３次元位置の誤差位置を推定する第２推定ステップと、
   第３推定部が、前記推定用撮像画像の撮像位置と路面との間の第２位置関係を推定する第３推定ステップと、
   射影部が、前記第２位置関係を用いて、前記推定用撮像画像の前記撮像位置を前記路面上に射影して第１射影位置を得、前記３次元位置を前記路面上に射影して第２射影位置を得、前記誤差位置を前記路面上に射影して第３射影位置を得る射影ステップと、
   算出部が、前記第１射影位置と前記第２射影位置とを通過する直線において、前記第１射影位置及び前記第３射影位置間よりも前記第２射影位置及び前記第３射影位置間の方が物体の存在確率が高くなるように更新して前記存在確率を算出する算出ステップと、
   検出部が、前記存在確率を用いて前記路面と前記物体との境界を検出する検出ステップと、
   を含む検出方法。
10. 異なる撮像位置間の空間的な第１位置関係を推定する第１推定ステップと、
    前記異なる撮像位置で路面上の物体が撮像された複数の撮像画像と前記第１位置関係とを用いて、前記複数の撮像画像のうちのいずれかである推定用撮像画像に映る前記物体の３次元位置及び当該３次元位置の誤差位置を推定する第２推定ステップと、
    前記推定用撮像画像の撮像位置と路面との間の第２位置関係を推定する第３推定ステップと、
    前記第２位置関係を用いて、前記推定用撮像画像の前記撮像位置を前記路面上に射影して第１射影位置を得、前記３次元位置を前記路面上に射影して第２射影位置を得、前記誤差位置を前記路面上に射影して第３射影位置を得る射影ステップと、
    前記第１射影位置と前記第２射影位置とを通過する直線において、前記第１射影位置及び前記第３射影位置間よりも前記第２射影位置及び前記第３射影位置間の方が物体の存在確率が高くなるように更新して前記存在確率を算出する算出ステップと、
    前記存在確率を用いて前記路面と前記物体との境界を検出する検出ステップと、
    をコンピュータに実行させるためのプログラム。