JPWO2017090097A1 - 車両用外界認識装置 - Google Patents

Abstract

本発明は、障害物の向きを正しく推定することができる車両用外界認識装置を提供することを目的とする。本発明にかかる車両用外界認識装置は、画像中で障害物を検知する障害物検知部と、障害物検知部が検知した障害物の向きを推定する向き推定部と、向き推定部が推定した向きを、障害物とカメラの位置関係に応じて補正する、向き補正部と、を備える。本発明の車両用外界認識装置によれば、障害物の向きを正しく推定することができる。

Description

本発明は車両用外界認識装置に関する。

自動車の運転支援において、周囲の障害物の行動を予測するため、障害物の向きを検知することが求められる。特許文献１には、「本発明の車両周辺監視装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺を監視する車両周辺監視装置において、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする」という記載がある。

特開２００７−２７９８０８号公報

特許文献１に記載されている発明では、特に広角カメラの画像において、同じ向きの障害物でも、障害物とカメラの位置関係に応じて障害物の見え方が大きく変化することが考慮されていないため、特に画像端において、障害物の向きが誤って推定されることがある。

そこで、本発明は、障害物の向きを正しく推定することができる車両用外界認識装置を提供することを目的とする。

本発明にかかる車両用外界認識装置は、画像中で障害物を検知する障害物検知部と、障害物検知部が検知した障害物の向きを推定する向き推定部と、向き推定部が推定した向きを、障害物とカメラの位置関係に応じて補正する、向き補正部と、を備える。

本発明によれば、障害物の向きを正しく推定することができる。

車両用外界認識装置１００の構成を示す図 車両用外界認識装置１００において実行されるプログラムが有する機能を機能ブロックとして表した図 向き推定部１０３において実行される処理を示すフローチャート 広角カメラによる撮影の一例を示す図 向き補正部１０４において実行される処理を示すフローチャート 向き補正部１０４の処理の一例を示す図 車両用外界認識装置１００aにおいて実行されるプログラムが有する機能を機能ブロックとして表した図 パラメータ選択部１０６の処理の一例を示す図

以下、図面を参照して、本発明の実施形態を説明する。

以下、図１〜図６を参照して、本実施例の車両用外界認識装置を説明する。
(構成)
図１は車両３００に内蔵される車両用外界認識装置１００の構成を示す図である。車両３００はＣＡＮバス２０を備えており、車両用外界認識装置１００はＣＡＮバス２０に接続される。ＣＡＮバス２０には不図示の他の機器も接続されている。すなわち、ＣＡＮバス２０に車両用外界認識装置１００が出力する障害物情報に基づき車両を制御する装置が接続される。

車両用外界認識装置１００は、カメラ１０１と、ＣＰＵ１０と、ＲＯＭ１１と、ＲＡＭ１２と、ＣＡＮインタフェース１３とを備える。

カメラ１０１は、車両３００に取り付けられ、車両３００の周囲を撮影する。

ＣＰＵ１０は、予め定められた周期ごと、たとえば０．１秒ごとに、後述するプログラムを用いてカメラ１０１が撮影して得られた画像から障害物情報を算出する。算出した障害物情報は、ＣＡＮインタフェース１３を介してＣＡＮバス２０に出力される。以下では、上述した予め定められた周期を「処理周期」と呼ぶ。

ＲＯＭ１１には、プログラムと、カメラパラメータとが記憶される。プログラムは、ＣＰＵ１０によりＲＯＭ１１からＲＡＭ１２に展開されて実行される。カメラパラメータとは、レンズ歪等の内部パラメータおよび車両３００に対するカメラ１０１の取り付け位置・角度等の外部パラメータである。ＲＡＭ１２には、障害物情報領域１２a、あるいはプログラムの実行に必要なその他の情報が一時的に保存される。障害物情報領域１２aは、後述する障害物検知部１０２、向き推定部１０３、向き補正部１０４が推定した障害物に関する情報が保存されるＲＡＭ１２の所定領域である。障害物に関する情報とは、障害物の位置および向きである。

ＣＡＮインタフェース１３は、車両用外界認識装置１００のＣＡＮバス２０との通信インタフェースである。車両用外界認識装置１００は、算出した障害物情報をＣＡＮインタフェース１３を介してＣＡＮバス２０に出力する。
(機能ブロック)
図２は、車両用外界認識装置１００のＣＰＵ１０において実行されるプログラムが有する機能を機能ブロックとして表した図である。すなわち、車両用外界認識装置１００は、ＣＰＵ１０において実行されるプログラムにより、障害物検知部１０２による障害物検知機能と、向き推定部１０３による向き推定機能と、向き補正部１０４による向き補正機能と、出力部１０５による出力機能とを備える。車両用外界認識装置１００は、予め定められた周期、すなわち処理周期ごとにカメラ１０１に撮影を行わせ、撮影して画像が得られると各機能ブロックによる処理を行う。具体的には、カメラが撮影を行い画像が得られると障害物検知部１０２が処理を開始し、障害物検知部１０２が処理を完了すると向き推定部１０３が処理を開始し、向き推定部１０３が処理を完了すると向き補正部１０４が処理を開始する。すなわち、各機能ブロックは処理周期ごとに動作する。

障害物検知部１０２は、カメラ１０１が撮影して得られた画像から自車両３００の周囲に存在する障害物を検知し、検知した障害物に関する情報を障害物情報領域１２aに追加する。障害物の検知とは、たとえば画像から歩行者や車両を検知し、障害物として検知するものである。歩行者の検知には、たとえば、特開２０１５−１３２８７９号公報に記載のパターンマッチによる方法を用いることができる。

向き推定部１０３は、障害物検知部１０２が出力してＲＡＭ１２に保存されている障害物に関する情報と、カメラ１０１が撮影して得られた画像に含まれる輝度を含む画像情報と、ＲＯＭ１１に保存されている障害物の向き毎の識別器のパラメータとを用いて、障害物の向きを推定し、推定した障害物の向きを障害物情報領域１２aに追加する。処理の詳細は後述する。

向き補正部１０４は、障害物検知部１０２および向き推定部１０３が出力してＲＡＭ１２に保存されている障害物に関する情報と、ＲＯＭ１１に保存されているカメラパラメータとを用いて、障害物とカメラ１０１の位置関係に応じて障害物の向きを補正し、補正した障害物の向きを障害物情報領域１２aに追加する。処理の詳細は後述する。

出力部１０５は、障害物情報をＣＡＮインタフェース１３を介してＣＡＮバス２０へ出力する。
(向き推定部の動作)
次に図３〜図４を用いて、向き推定部１０３における処理の内容について説明する。図３は向き推定部１０３において実行される処理を示すフローチャートである。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。

ステップＳ５００では、カメラ１０１が撮影して得られた画像における障害物領域に対して、ＲＯＭ１１に保存されているカメラパラメータを用いて、レンズ歪補正を実施し、ステップＳ５０１に進む。レンズ歪補正は公知の技術であるためその詳細な説明は割愛する。レンズ歪補正により、レンズ歪によるパターンの変化を保障することで、後述するステップＳ５０３におけるパターンに基づく向き推定の精度が向上する。

ここで、レンズ歪補正は、向き推定部１０３において実施したが、これに限定されるものではない。障害物検知部１０２において、たとえば、特開２０１５−１３２８７９号公報に記載のパターンマッチによる方法を用いる場合には、障害物検知部１０２において画像全体に対するレンズ歪補正を実施し、レンズ歪補正された画像をＲＡＭ１２に保存し、向き推定部１０３で用いてもよい。

ステップＳ５０１では、レンズ歪補正された画像における障害物領域を拡大・縮小し、事前に設定された特徴量の計算に用いるサイズの画像を生成し、ステップＳ５０２に進む。たとえば、特徴量の計算に用いるサイズを、幅１２画素、高さ２４画素とする。

ステップＳ５０２では、ステップＳ５０１で生成された画像から、向きの推定に用いる特徴量を計算し、ステップＳ５０３に進む。特徴量としては、たとえば、画像の輝度勾配を用い、物体検出に有効な手法として知られているＨＯＧ(N. Dalal and B. Triggs, Histograms of Oriented Gradients for Human Detection, Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, pp. 886-893, 2005)や、特開２０１５−１３２８７９号公報に記載のＨＯＧの改良手法などを用いることができる。

ここで、特徴量の計算は、向き推定部１０３において実施したが、これに限定されるものではない。障害物検知部１０２において、たとえば、特開２０１５−１３２８７９号公報に記載のパターンマッチによる方法を用いる場合には、障害物検知に用いた特徴量をＲＡＭ１２に保存し、向き推定部１０３で用いてもよい。これにより、特徴量の計算回数を少なくし、処理時間を削減することができる。一方、特徴量の計算を向き推定部１０３で実施する場合には、障害物検知部１０２と異なる特徴量を用いることができる。たとえば、画像全体を処理対象とする障害物検知部１０２では、比較的計算量の少ないＨＯＧを用い、障害物領域のみを処理対象とする向き推定部１０３では、計算量は増加するものの細かなパターンを表現できるＨＯＧの改良手法を用いることで、計算量の増加を抑えながら、向き推定の精度を向上することができる。

ステップＳ５０３では、ステップＳ５０２で計算された特徴量を識別器に入力し、向きを得る。識別器としては、たとえば、特徴量の次元数が大きく、訓練用画像数が少ない場合にも精度が良いことが知られているＳＶＭ(C. Cortes and V. Vapnik, Support-vector Networks, Machine Learning, Vol. 20, Issue 3, pp. 273-297, 1995)を用いることができる。ＳＶＭを用いて識別を実施するためには、事前に向き毎の障害物の画像データから特徴量を生成し、ＳＶＭを訓練することで、識別に用いるパラメータを得る必要がある。たとえば、後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)の画像データから計算した特徴量を用いて、ＳＶＭを訓練し、訓練結果のパラメータをＲＯＭ１１に保存する。ステップＳ５０３では、ＲＯＭ１１に保存されているパラメータとステップＳ５０２で計算した特徴量からＳＶＭにより、障害物が後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)のいずれであるかを得る。

ここで、ＳＶＭで扱う障害物向きを後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)としてが、障害物向きこれに限定されるものではない。たとえば、右向き(９０度)と左向き(２７０度)の２方向や、３６０度を８方向に分割した向きなど、車両制御などの障害物向きを用いる手法の要求に応じて方向数を設定することができる。

また、識別器としてＳＶＭを用いたが、識別器はこれに限定されるものではない。たとえば、ニューラルネットワークや決定木といった識別器を用いてもよい。
以下、ステップＳ５００からステップＳ５０３を全ての障害物に対して処理を行い、向き推定部１０３の処理を終了する。

ここで、向き推定部１０３では、特に広角カメラの画像において、同じ向きの障害物でも、障害物とカメラの位置関係に応じて障害物の見え方が大きく変化することが考慮されていないため、特に画像端において、障害物の向きが誤って推定されることがある。

図４は、広角カメラによる撮影の一例を示す図である。自車両に取り付けられた広角カメラ１０１により、歩行者３０１、３０２が撮影されている。図４では、広角カメラ１０１として、画像中心からの距離が光線の角度に比例する魚眼カメラを想定し、カメラの画像面３０３を円弧で表現している。歩行者３０１、３０２は障害物検知部１０２により、障害物として検知されている。歩行者３０１はカメラの画像面３０３の領域３１１に、歩行者３０２はカメラの画像面３０３の領域３１２に撮像される。ここで、歩行者３０１は歩行者の前側が撮像されるため、向き推定部１０３において、正面向き(１８０度)と推定される。一方、歩行者３０２は、歩行者の左側面が撮影されるため、向き推定部１０３において、左向き(２７０度)と推定される。
(向き補正部の動作)
次に図５〜図６を用いて、向き補正部１０４における処理の内容について説明する。向き補正部１０４は、向き推定部１０３が推定した障害物の向きを、障害物とカメラ１０１の位置関係に応じて補正する。図５は向き補正部１０４において実行される処理を示すフローチャートである。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。

ステップＳ６００では、障害物検知部１０２で検知された画像中での障害物の位置と、ＲＯＭ１１に保存されているカメラパラメータとを用いて、カメラ１０１から障害物への向きベクトルである光線ベクトルを計算し、ステップＳ６０１に進む。まず、画像中での障害物の位置と、カメラ内部パラメータとを用いて、カメラ１０１を基準とした３次元座標系(カメラ座標系)における光線ベクトルを計算する。次に、カメラ１０１の車両３００への取り付け位置・角度を表すカメラ外部パラメータを用いて、カメラ座標系における光線ベクトルを、車両３００を基準とし、地面に並行な２次元座標系(車両座標系)へ変換する。

ステップＳ６０１では、向き推定部１０３で推定された障害物の向きを、ステップＳ６００で計算された車両座標系における光線ベクトルを用いて補正し、車両座標系における障害物の向きを得る。具体的には、車両座標系における光線ベクトルの角度を、向き推定部１０３が推定した角度へ加えることで、向き推定部１０３が推定した向きを、光線ベクトルを基準とした向きへ変換し、車両座標系における向きを得る。

図６は向き補正部１０４の処理の一例を示す図である。本例では、歩行者３０２が自車３００に取り付けられた広角カメラ１０１により画像面３０３に撮像されている。図４の例で述べたように、向き推定部１０３による向きの推定では、歩行者３０２の向きは左向き(２７０度)と推定されている。ステップＳ６００では、広角カメラ１０１から歩行者３０２への光線ベクトル３３２が計算される。ここで歩行者の画像中での位置としては、歩行者領域の中心３２２を用いた。ステップＳ６０１では、向き推定部１０３が推定した向きを、光線ベクトル３３２を基準とした向きへ変換することで、補正された向きベクトル３４２を得る。

以下、ステップＳ６００からステップＳ６０１を全ての障害物に対して処理を行い、向き補正部１０４の処理を終了する。
(作用効果)
本実施例の車両用外界認識装置によれば、次の作用効果が得られる。

(1)車両用外界認識装置１００は、車両３００に搭載され当該車両の周囲を撮影するカメラ１０１と、カメラ１０１が撮影して得られた画像に基づき画像中で障害物を検知する障害物検知部１０２と、障害物検知部１０２が検知した障害物の向きを推定する向き推定部１０３と、向き推定部１０３が推定した向きを、障害物とカメラ１０１の位置関係に応じて補正する、向き補正部１０４と、を備える。

車両用外界認識装置１００では、障害物検知部１０２が検知した障害物とカメラ１０１の位置関係に基づき、向き推定部１０３が推定して得られた向きを、向き補正部１０４が補正するようにした。そのため、特に広角カメラの画像端において、障害物の向きの推定精度を向上することができる。これにより、広角カメラを用いることで、広い範囲において、物体の向きを推定することができる。

(2)向き補正部１０４は、障害物検知部１０２が検知した障害物の画像中での位置、およびカメラパラメータに基づき、カメラ１０１から障害物への光線ベクトルを計算し、向き推定部１０３が推定した向きを、光線ベクトルを基準とした向きへ変換する(図５、ステップＳ６００〜ステップＳ６０１)。そのため、画像と車両座標系との関係、すなわち、画像の撮像過程が考慮されることにより、車両座標系における障害物向きの精度が向上する。
＜変形例１＞
向き補正部１０４は、カメラ１０１から障害物への光線ベクトルを基準とし、向き推定部１０３が推定した向きを変換することで、向きを補正した(図５、ステップＳ６００〜ステップＳ６０１)。しかし向きの補正方法はこれに限定されない。

向き補正部１０４は、あらかじめ用意された、向き推定部１０３が推定した向きおよび画像中での障害物の位置と、補正後の向き、との関係を保存したテーブルにより、向きを補正してもよい。

上述した変形例１によれば、次の作用効果が得られる。

(１) 向き補正部１０４は、カメラパラメータを用いることなく向きを補正する。そのため、カメラパラメータの精度が低い、もしくはカメラパラメータが得られない場合にも、向き推定部１０３が推定した向きを補正することができる。

(２) 向き補正部１０４は、任意に設定されたテーブルにより、向きを補正する。そのため、障害物とカメラ１０１の位置関係に応じて、任意に向きを補正できる。
＜変形例２＞
上述した実施例１では、障害物検知部１０２は、車両に取り付けられたカメラ１０１により撮影された画像から障害物を検知した。しかし、障害物の検知方法はこれに限定されない。車両用外界認識装置１００は、カメラ１０１に加えて、レーダやレーザスキャナ、ステレオカメラといった距離を計測するセンサを備えてもよい。また、１台以上のカメラを追加で備えることで、カメラ１０１と組み合わせて、ステレオカメラを構成してもよい。

カメラ１０１に加えて距離を計測するセンサを備える場合は、測距センサにより計測された距離情報に基づき障害物を検知してもよい。たとえば、道路面からの高さがあらかじめ設定した閾値以上の物体を障害物として検知する。また、距離情報から得られる物体の形状や移動から、歩行者や車両を検知し、障害物としてもよい。測距センサにより検知された障害物位置は、測距センサの車両への取り付け位置・角度とカメラ１０１のカメラパラメータから、投影計算により、画像中での障害物位置へ変換し、向き推定部１０３で用いる。また、測距センサで検知された障害物の画像中での位置周辺に対してのみ、たとえばパターンマッチングなどの画像からの障害物検知手法を適用することで、測距センサの検知結果を検証してから、向き推定部１０３で用いてもよい。

この変形例を実施するためには、次の機能を車両用外界認識装置１００に付加する必要がある。たとえば、車両周囲に存在する物体までの距離を計測する測距センサと、測距センサにより計測された距離から障害物を検知する機能と、測距センサにより検知された障害物位置から画像上での障害物の撮像位置を計算する機能である。
＜変形例３＞
上述した実施例１では、車両用外界認識装置１００は車両３００のＣＡＮバス２０を介して他の機器と接続された。しかし、車両用外界認識装置１００の他の機器との接続関係はこれに限定されない。

車両用外界認識装置１００はＣＡＮ以外の通信バスを介して他の機器と接続されてもよいし、通信バスを介さずに直接他の機器と接続されてもよい。さらに、車両用外界認識装置１００がカメラ装置または統合コントローラ内などに組み込まれてもよい。

図７〜図８を参照して、実施例２の車両用外界認識装置を説明する。以下の説明では、実施例１と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、実施例１と同じである。本実施例２では、主に、向き推定部の処理が、実施例１と異なる。
(構成)
車両用外界認識装置１００aの構成は、ＲＯＭ１１に保存されているプログラム、向き推定に用いる識別機のパラメータを除いて実施例１と同様である。

図７は車両用外界認識装置１００aにおいて実行されるプログラムが有する機能を機能ブロックとして表した図である。実施例２と実施例１との相違点は以下のとおりである。実施例２では、実施例１における障害物検知装置１００が備える機能に加えて、パラメータ選択部１０６をさらに備える。
(パラメータ選択部の動作)
図８を用いて、パラメータ選択部１０６における処理の内容について説明する。

パラメータ選択部１０６は、障害物検知部１０２が検知した障害物毎に、障害物の位置に応じて、向き推定部１０３が用いる識別器のパラメータを選択する。向き推定部１０３において、障害物位置に依らず、同じパラメータを用いた場合には、向き補正部１０４が出力する車両座標系における向き候補が、障害物とカメラ１０１の位置に応じて異なる。そこで、たとえば、向き補正部１０４が出力する、車両座標系における向き候補の、障害物位置による差が小さくなるようにパラメータを選択する。

図８は、パラメータ選択部１０６の処理の一例を示す図である。本例では、パラメータ選択部１０６は、後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)の４方向に障害物向きを識別する識別器のパラメータＡと、右斜め後ろ向き(４５°)、右斜め前向き(１３５度)、左斜め前向き(２２５度)、左斜め後ろ向き(３１５度)の４方向に障害物向きを識別する識別器のパラメータＢを、障害物の位置に応じて選択する。歩行者３０３に対して、パラメータＡを用いた場合の向き補正部１０４による補正後の向き候補は３５３a、パラメータＢを用いた場合の向き補正部１０４による補正後の向き候補は３５３bとなる。同様に、歩行者３０４に対して、パラメータＡを用いた場合の向き補正部１０４による補正後の向き候補は３５４a、パラメータＢを用いた場合の向き補正部１０４による補正後の向き候補は３５４bとなる。

ここで、たとえば、パラメータ選択部１０６が、領域４００に存在する障害物の向き推定にはパラメータＡを、領域４０１に存在する障害物の向き推定にはパラメータＢを選択すると、向き補正部１０６による補正後の向き候補の、障害物位置による差が小さくなる。
(作用効果)
上述した実施例２によれば、次の作用効果が得られる。

(１) パラメータ選択部１０６が、障害物とカメラ１０１の位置関係に応じて、向き推定部１０３が用いるパラメータを選択するようにした。そのため、車両座標系における向き候補の障害物位置による差が小さくなり、車両用外界認識装置１００aが出力する障害物向きを利用した歩行者行動予測・車両制御手法を簡易にすることができる。
＜変形例１＞
パラメータ選択部１０６は、向き補正部１０４が出力する、車両座標系における向き候補の、障害物位置による差が小さくなるようにパラメータを選択した。しかし、向き推定部１０３が用いるパラメータの選択方法はこれに限定されない。

パラメータ選択部１０６は、障害物とカメラ１０１の位置関係に応じて、異なる画像郡を用いた訓練により得られた識別器のパラメータを選択してもよい。たとえば、広角カメラの正面付近に存在する障害物に対しては、画像の中心付近で撮影された障害物の画像を用いた訓練により得られた識別器のパラメータを選択し、その他の障害物に対しては、画像の端付近で撮影された障害物の画像を用いた訓練により得られた識別器のパラメータを選択してもよい。

上述した変形例１によれば、次の作用効果が得られる。

(１) レンズ歪や解像度といった、障害物とカメラ１０１の位置関係に応じた差が、障害物の向きを識別する識別器の訓練時に考慮される。そのため、向き推定部１０３による向き推定の精度が向上する。
＜変形例２＞
車両用外界認識装置１００aは、パラメータ選択部１０６において、障害物とカメラ１０１の位置関係に応じて、向き推定部１０３が用いるパラメータを選択した。しかし、障害物とカメラ１０１の位置関係に応じたパラメータ選択処理の対象は、向き推定部１０３で用いるパラメータに限定されない。

車両用外界認識装置１００aは、障害物検知部１０２において、障害物とカメラ１０１の位置関係に応じて障害物検知に用いるパラメータを選択してもよい。たとえば、障害物検知部１０２において、特開２０１５−１３２８７９号公報に記載のパターンマッチによる方法を用いる場合には、画像のラスタスキャン操作において、画像中での位置に応じて歩行者と背景を識別する識別器のパラメータを変更してもよい。

上述した変形例２によれば、次の作用効果が得られる。

(１) レンズ歪や解像度といった、障害物とカメラ１０１の位置関係に応じた差が、障害物を識別する識別器の訓練時に考慮される。そのため、障害物検知部１０２による障害物検知の精度が向上する。
＜変形例３＞
向き補正部１０４は、カメラ１０１から障害物への光線ベクトルを基準とし、向き推定部１０３が推定した向きを変換することで、向きを補正した(図５、ステップＳ６００〜ステップＳ６０１)。しかし向きの補正方法はこれに限定されない。

向き補正部１０４は、光線ベクトルを基準として変換した向きを、さらに変換することで、向きを補正してもよい。たとえば、光線ベクトルを基準として変換された向きが、車両座標系における後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)の４方向のうち、どの方向に最も近いかを計算し、最も近い向きを補正後の障害物の向きとしてもよい。

上述した変形例３によれば、次の作用効果が得られる。

(１) 向き補正部１０４が出力する向きの候補は、障害物とカメラ１０１の位置関係に依らず、すべての障害物に対して同じとなる。そのため、車両用外界認識装置１００aが出力する障害物向きを利用した歩行者行動予測・車両制御手法をさらに簡易にすることができる。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１００…車両用外界認識装置、１０１…カメラ、１０２…障害物検知部、１０３…向き推定部、１０４…向き補正部、３００…車両

Claims (12)

1. 車両に搭載され当該車両の周囲を撮影するカメラと、
   前記カメラが撮影して得られた画像における障害物の位置を検知する障害物検知部と、
   前記障害物検知部が検知した前記障害物の向きを推定する向き推定部と、
   前記向き推定部が推定した前記障害物の向きを、前記障害物と前記カメラの位置関係に応じて補正する、向き補正部と、
   を備える車両用外界認識装置。
2. 請求項１に記載の車両用外界認識装置において、
   前記向き補正部は、前記カメラから前記障害物への光線ベクトルに基づき、前記向き推定部が推定した前記障害物の向きを変換する、車両用外界認識装置。
3. 請求項１に記載の車両用外界認識装置において、
   前記向き補正部は、前記障害物検知部が検知した前記障害物の位置と、前記向き推定部が推定した前記障害物の向きからテーブルを参照することにより、補正後の向きを得る、車両用外界認識装置。
4. 請求項１から３のいずれか一項に記載の車両用外界認識装置において、
   前記障害物までの距離を計測する距離センサをさらに備え、
   前記障害物検知部は、前記距離センサにより計測された距離に基づき、前記カメラが撮影して得られた画像における前記障害物の位置を検知する、車両用外界認識装置。
5. 請求項１から４のいずれか一項に記載の車両用外界認識装置において、
   前記障害物検知部が検知した障害物と前記カメラの位置関係に応じて、前記向き推定部が使用するパラメータを選択するパラメータ選択部をさらに備える車両用外界認識装置。
6. 請求項５に記載の車両用外界認識装置において、
   前記パラメータ選択部は、前記向き補正部が出力する向き候補の、前記障害物位置による差が小さくなるようにパラメータを選択する、車両用外界認識装置。
7. 請求項５に記載の車両用外界認識装置において、
   前記パラメータ選択部は、障害物とカメラの位置関係毎に異なる画像郡を用いて識別器を訓練することにより得られた複数のパラメータから、パラメータを選択する、車両用外界認識装置。
8. 請求項１から７のいずれか一項に記載の車両用外界認識装置において、
   前記障害物検知部は、障害物候補と前記カメラの位置関係に応じて、障害物検知に使用するパラメータを選択する、車両用外界認識装置。
9. 請求項１から８のいずれか一項に記載の車両用外界認識装置において、
   前記向き補正部は、前記障害物の位置によらず設定された向きの候補の中から、最も近い向きを選択して出力する、車両用外界認識装置。
10. 請求項１から９のいずれか一項に記載の車両用外界認識装置において、
    前記障害物検知部は、歩行者を障害物として検知し、
    前記向き推定部は、前記障害物検知部が検知した前記歩行者の向きを推定し、
    前記向き補正部は、前記向き推定部が推定した前記歩行者の向きを補正する、車両用外界認識装置。
11. 請求項１から９のいずれか一項に記載の車両用外界認識装置において、
    前記障害物検知部は、車両を障害物として検知し、
    前記向き推定部は、前記障害物検知部が検知した前記車両の向きを推定し、
    前記向き補正部は、前記向き推定部が推定した前記車両の向きを補正する、車両用外界認識装置。
12. 請求項１から１１のいずれか一項に記載の車両用外界認識装置において、
    前記カメラは広角カメラである、車両用外界認識装置。

Images