JP6569277B2 - 認識用画像生成装置、物体検出装置及び認識用画像生成方法 - Google Patents

Description

本発明は、認識用画像生成装置、物体検出装置及び認識用画像生成方法に関する。

自車前方を監視する狭角カメラ及び広角カメラを備える車両前方監視装置が知られている（特許文献１参照）。車両前方監視装置は、物体相対距離に応じて狭角画像情報及び広角画像情報の何れか一方を処理用画像情報として選択し、処理用画像情報から自車前方に存在する物体を検出している。

一方、特許文献２には、レーダ及び画像処理装置により目標属性を検出或いは計測し、これに基づくニューラルネットによる目標判別装置を選択することで、高い精度の判別を可能とする自動目標識別装置が記載されている。

特開２０１１−１２１３９８号公報 特開平９−２８２４６０号公報

特許文献１では、処理用画像情報が狭角と広角の間で切り替わると、狭角画像と広角画像では、同一物体であっても、画像上の大きさや画素数が異なるため、それぞれ別々の検出処理となる。このため、処理用画像情報が切り替わった後、すぐには物体を検出できず、検出される物体の情報の遷移に遅れが生じたり、物体検出の精度が異なるため、検出位置にジャンプが発生するという問題がある。

本発明は、上記課題に鑑みてなされたものであり、複数の画像の切替による遅れ又は検出位置のジャンプを抑制する認識用画像生成装置、物体検出装置及び認識用画像生成方法を提供することを目的としている。

本発明の一態様に係わる認識用画像生成装置は、自車の周囲を撮像して広角画像を取得し、広角画像上の消失点の位置を算出して、狭角画像の中心が広角画像上の消失点と一致するように、狭角画像取得部の撮像方向を制御する。広角画像に含まれ且つ広角画像よりも狭い画角で自車の周囲を撮像して１又は２以上の狭角画像を取得する。広角画像上の消失点を原点として、広角画像及び狭角画像に対して、対数極座標変換をそれぞれ行い、広角対数極画像及び狭角対数極画像を取得する。広角対数極画像及び狭角対数極画像を合成して合成画像を生成する。

認識用画像生成装置、物体検出装置及び認識用画像生成方法によれば、処理対象となる画像が単一の合成画像となるため、複数の画像の切替による遅れ、及び検出位置のジャンプを抑制することができる。

図１は、第１実施形態に係わる認識用画像生成装置２及び物体検出装置１ａの構成を示すブロック図である。 図２は、消失点算出部１４による消失点の位置算出方法の一例を説明するための図である。 図３は、パンチルト制御部１５の動作を説明する図である。 図４は、座標変換部（１６、１７）の動作を説明する図である。図４（ａ）は広角画像Ｗｄに対してｘｙ軸を重畳した図であり、図４（ｂ）は対数極座標変換を行った後の広角画像、即ち広角対数極画像を示す図であり、図４（ｃ）は図４（ｂ）から車道部分を切り出した図である。 図５は、画像合成部１８の動作を説明する図であり、図５（ａ）は広角画像Ｗｄを示し、図５（ｂ）は、広角画像に含まれ且つ広角画像よりも狭い画角で撮像された狭角画像Ｎａを示し、図５（ｃ）は、図５（ａ）の広角画像Ｗｄと図５（ｂ）の狭角画像Ｎａに対して対数極座標変換を行った対数極画像（ＴＷｄ、ＴＮａ）を合成した合成画像Ｃｐを示す図である。 図６（ａ）は、図５（ｃ）と同じ合成画像Ｃｐを示し、図６（ｂ）は、物体検出部２０が使用する基本的な他車パターンの例を示す。 図７（ａ）及び図７（ｂ）は、３つの狭角カメラ１２の画角（Ｎａｇ１〜Ｎａｇ３）と、合成画像に含まれる３つの狭角対数極画像（ＴＮａ１〜ＴＮａ３）との対応関係を示すブロック図である。 図８は、車道の形状が直線路２２ａである場合の合成画像を示すブロック図である。 図９は、車道の形状が左カーブ２２ｂである場合の合成画像を示すブロック図である。 図１０は、車道の形状が右カーブ２２ｃである場合の合成画像を示すブロック図である。 図１１（ａ）は、自車２１が走行する車道２２ａの前方に他車２３が存在する様子を示し、図１１（ｂ）は、２つの狭角対数極画像（ＴＮａ２、ＴＮａ３）と広角対数極画像ＴＷｄとを合成した合成画像を示す。 図１２は、第１実施形態に係わる認識用画像生成方法及び物体検出方法の一例を示すフローチャートである。 図１３は、第２実施形態に係わる認識用画像生成装置２及び物体検出装置１ｂの構成を示すブロック図である。

以下、実施形態を図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。

（第１実施形態）
図１を参照して、第１実施形態に係わる認識用画像生成装置２及び物体検出装置１ａの構成を説明する。物体検出装置１ａは、自車に搭載されたカメラが撮像した画像に基づいて、自車の周囲に存在する物体を検出する装置である。物体検出装置１ａは、自車周囲を撮像し、所定の座標変換を行って得られた複数の画像を合成した合成画像（認識用画像）を生成する認識用画像生成装置２と、認識用画像生成装置２により生成された合成画像に対して所定の画像処理を施すことにより、合成画像の中から物体を検出する物体検出部２０と、カメラが撮像した画像から、自車が走行する車道の形状を判断する車道形状判断部１９とを備える。

認識用画像生成装置２は、広角カメラ１１と、１又は２以上の狭角カメラ１２と、消失点算出部１４と、パンチルト制御部１５と、座標変換部（１６、１７）と、画像合成部１８とを備える。広角カメラ１１は、自車の周囲を撮像して、広角画像を取得する広角画像取得部の一例である。１又は２以上の狭角カメラ１２は、広角画像に含まれ且つ広角画像よりも狭い画角で自車の周囲を撮像して、１又は２以上の狭角画像を取得する狭角画像取得部の一例である。消失点算出部１４は、広角画像上の消失点の位置を算出する。パンチルト制御部１５は、狭角画像の中心が広角画像上の消失点と一致するように、狭角カメラ１２の撮像方向を制御する撮像方向制御部の一例である。座標変換部１６は、広角画像に対して対数極座標変換（log-polar transform）を行い、広角対数極画像を取得する。座標変換部１７は、狭角画像に対して対数極座標変換を行い、狭角対数極画像を取得する。画像合成部１８は、広角対数極画像及び狭角対数極画像を合成して、合成画像を生成する。

広角カメラ１１及び狭角カメラ１２は、自車に搭載され、その撮像方向は、たとえば、自車の前方と一致している。もちろん、自車の周囲を撮像することができれば、撮像方向は前方からずれていても構わない。狭角カメラ１２は、垂直方向及び水平方向に首振り機能を有するステージ１３の上に設置されている。これより、狭角カメラ１２は、パン及びチルトの各動作を個別に行うことができる。パン及びチルトの各動作は、パンチルト制御部１５により制御される。図１には、１組の狭角カメラ１２及びステージ１３を示したが、狭角カメラ１２及びステージ１３は２組以上であっても構わない。

図２を参照して、消失点算出部１４による消失点Ｖｐの位置の算出方法を説明する。消失点算出部１４は、既知の方法を用いて、消失点Ｖｐの位置を算出することができる。たとえば、投票による方法（Voting Based Method）がある。この方法では、広角画像Ｗｄを複数の区域に分割し、各区域から見た消失点の方角Ｐｄを投票する。図２に、方角Ｐｄを示す矢印を区域に重ねて表示する。複数の方角Ｐｄは特定の位置で交差する。最も多くの方角Ｐｄが交わる位置に消失点Ｖｐがあると判断する。

図３を参照して、パンチルト制御部１５の動作を説明する。パンチルト制御部１５は、消失点算出部１４により算出された消失点Ｖｐの位置、即ち広角画像Ｗｄ上の座標（ｘ、ｙ）情報を取得する。パンチルト制御部１５は、予め、広角画像Ｗｄ上の座標（ｘ、ｙ）と狭角カメラ１２のパン角及びチルト角との対応関係を記述したルックアップテーブル（Ｔａ）を用意している。ルックアップテーブル（Ｔａ）には、狭角画像Ｎａの中心Ｃｅが広角画像Ｗｄ上の消失点Ｖｐと一致するような、狭角カメラ１２のパン角及びチルト角と消失点Ｖｐの座標（ｘ、ｙ）との対応関係が記述されている。

パンチルト制御部１５は、消失点算出部１４から取得した消失点Ｖｐの座標（ｘ、ｙ）から、ルックアップテーブル（Ｔａ）を用いて、狭角カメラ１２のパン角及びチルト角の情報を取得する。パンチルト制御部１５は、取得したパン角及びチルト角の情報に従って、ステージ１３を駆動し、狭角カメラ１２の撮像方向、即ちパン角及びチルト角を制御する。パン角及びチルト角が制御された狭角カメラ１２により撮像された狭角画像Ｎａの例を図３に示す。狭角画像Ｎａの中心Ｃｅは消失点Ｖｐの位置と一致している。

図４を参照して、座標変換部１６、１７の動作を説明する。図４（ａ）は広角画像Ｗｄに対してｘｙ軸を重畳した図であり、図４（ｂ）は対数極座標変換を行った後の広角画像、即ち広角対数極画像を示す図であり、図４（ｃ）は図４（ｂ）から車道部分を切り出した図である。座標変換部１６は、広角画像Ｗｄに対して対数極座標変換を行い、広角対数極画像を取得する。図４（ａ）に示すように、広角画像Ｗｄに重畳するｘｙ軸の原点は、消失点Ｖｐと一致している。広角画像Ｗｄ上の全ての画素（ｘ、ｙ）は、原点から始まるベクトルの長さ（ρ）及び当該ベクトルのＸ軸からの回転角度で定義することができる。対数極空間座標（ｕ、ｖ）と（ρ、θ）の関係は次の通りである。
ｕ＝logρ
ｖ＝θ

対数極座標変換を行った後の画像を対数極画像（log-polar image）と呼ぶ。対数極画像において、物体の形状を維持したまま、カメラから物体までの距離によらず物体の大きさを均一に表示させることができる。広角画像Ｗｄの領域Ｇａは、広角対数極画像の領域Ｇｂに変換される。図４（ｃ）は広角対数極画像の領域Ｇｂを切り出した画像である。領域Ｇａ及び領域Ｇｂは、広角カメラ１１と消失点Ｖｐとの間に位置する領域である。

図４には広角画像Ｗｄの例を示したが、同様な方法にて、座標変換部１７は、狭角画像Ｎａに対して対数極座標変換を行い、狭角対数極画像ＴＮａを取得することができる。狭角画像Ｎａにおける座標の原点は画像の中心Ｃｅであり、上述のように、狭角画像Ｎａの中心Ｃｅは消失点Ｖｐの位置と一致している。

図５を参照して、座標変換部１６、１７及び画像合成部１８の動作を説明する。図５（ａ）は広角画像Ｗｄを示し、図５（ｂ）は、画像の中心Ｃｅと消失点Ｖｐが広角画像に含まれ且つ広角画像よりも狭い画角で撮像された狭角画像Ｎａを示し、図５（ｃ）は、図５（ａ）の広角画像Ｗｄと図５（ｂ）の狭角画像Ｎａに対して、対数極座標変換をそれぞれ行った対数極画像（ＴＷｄ、ＴＮａ）を合成した合成画像Ｃｐを示す。

座標変換部１６は、図５（ａ）の広角画像Ｗｄに含まれる車道のうち、図５（ｂ）の狭角画像Ｎａを除いた手前側の領域を切り出して、広角対数極画像（ＴＷｄ）を生成している。一方、座標変換部１７は、図５（ｂ）の狭角画像Ｎａの全体で、狭角対数極画像（ＴＮａ）を生成している。図５（ａ）の広角画像Ｗｄ上で、消失点から狭角カメラ１２の撮像範囲の間に存在する車道全体に相当する領域である。

画像合成部１８は、広角対数極画像（ＴＷｄ）と１又は２以上の狭角対数極画像（ＴＮａ）とを合成する。図５に示す例では、広角対数極画像（ＴＷｄ）の消失点側端部と、狭角対数極画像（ＴＮａ）のカメラ側端部とを連結する、すなわち、両者を鎖状につなぐ。これにより、複数の対数極画像をつなぎ合わせた単一の合成画像（Ｃｐ）が生成される。

図６（ａ）に示すように、合成画像Ｃｐにおける他車の形状は、広角画像Ｗｄ及び狭角画像Ｎａにおけるそれと比べてそれほど変形していない。つまり、対数極座標変換によって物体の形状は崩れない。カメラに近づいてくる他車、及びカメラから遠ざかる他車の何れも、合成画像Ｃｐの直線上において移動している。よって、形状の崩れは少ない。また、自車からの距離によらず、大きさが一定である。合成画像Ｃｐにおいて、物体の大きさを揃えることができる。図６（ｂ）に示すように、他車の回転角度が、車道の中央（Ｂｐ２）、右側（Ｂｐ１）、左側（Ｂｐ３）に応じて変化しているだけである。よって、マッチング用の画像パターンとして、少ない画像パターンを用意すれば済む。また、比較的に単純或いは粗野な物体検出アルゴリズム、たとえば、エイダブースト（AdaBoost）、ニューラルネットワーク（neural network, NN）を合成画像Ｃｐに対して適用しても、精度良く物体（たとえば、他車）を検出することができる。よって、画像処理の負担を軽減して、高速化を実現できる。また、無関係な領域からの誤検出を抑制できる。

（変形例）
上記した第１実施形態では、狭角カメラ１２が１つである場合について、説明した。この場合、図３、図５及び図６に示したように、狭角画像（Ｎａ）及び狭角対数極画像（ＴＮａ）も１つずつとなる。変形例では、３つの狭角カメラ１２を用いて、３つの狭角画像（Ｎａ）及び３つの狭角対数極画像（ＴＮａ）を取得し、広角対数極画像（ＴＷｄ）と３つの狭角対数極画像（ＴＮａ）を１つの合成画像に合成する例を説明する。

図７（ａ）は、３つの狭角カメラの画角（Ｎａｇ１〜Ｎａｇ３）を示し、図７（ｂ）は、合成画像における３つの狭角対数極画像（ＴＮａ１〜ＴＮａ３）を示す。中央の狭角カメラの画角（Ｎａｇ１）は狭角対数極画像（ＴＮａ１）に対応し、右側の狭角カメラの画角（Ｎａｇ２）は狭角対数極画像（ＴＮａ２）に対応し、左側の狭角カメラの画角（Ｎａｇ３）は狭角対数極画像（ＴＮａ３）に対応する。３つの狭角カメラの画角（Ｎａｇ１〜Ｎａｇ３）の何れも、広角カメラの画角Ｗａｇに含まれ、画角Ｗａｇよりも狭い。３つの狭角カメラ１２は、水平方向に隣接する３つの狭角画像を取得する。３つの狭角画像のうち、中央に位置する狭角画像の画像中心が広角画像上の消失点と一致するように、パンチルト制御部１５は、中央の狭角カメラ１２の撮像方向を制御する。パンチルト制御部１５は、右側及び左側の狭角カメラの撮像方向も制御する。ただし、３つの狭角画像が水平方向に隣接する限りにおいて、右側及び左側に位置する狭角画像の画像中心は、広角画像上の消失点から水平方向にずれてもいても構わない。

図７（ｂ）に示すように、合成画像上において、３つの狭角対数極画像（ＴＮａ１〜ＴＮａ３）は、ｖ軸方向に隣接してその一部が重複している。このように、３つの狭角対数極画像（ＴＮａ１〜ＴＮａ３）が隣接して合成されることにより、自車２１から遠く離れた領域を水平方向に幅広く捉えることができる。よって、遠方における物体検出の精度が向上する。

次に、車道形状判断部１９が検出した車道の形状に応じて、対数極座標変換の対象とする狭角画像を変化させる例を、図８〜図１０を参照して説明する。図８は、車道形状判断部１９が車道の形状を直線路２２ａと判断した場合を示す。この場合、座標変換部１７は、３つの狭角画像のうち中央に位置する狭角画像に対して、対数極座標変換を行い、狭角対数極画像（ＴＮａ１）を取得する。このときの狭角カメラ１２の画角（Ｎａｇ１）と狭角対数極画像（ＴＮａ１）との関係を図８に示す。画像合成部１８は、狭角対数極画像（ＴＮａ１）と広角対数極画像（ＴＷｄ）とを合成する。

図９は、車道形状判断部１９が車道の形状を左カーブ２２ｂと判断した場合を示す。この場合、座標変換部１７は、３つの狭角画像のうち左カーブ２２ｂ側に位置する２つの狭角画像に対して、対数極座標変換を行い、狭角対数極画像（ＴＮａ１、ＴＮａ３）を取得する。このときの画角（Ｎａｇ１、Ｎａｇ３）と狭角対数極画像（ＴＮａ１、ＴＮａ３）との関係を図９に示す。画像合成部１８は、２つの狭角対数極画像（ＴＮａ１、ＴＮａ３）と広角対数極画像（ＴＷｄ）とを合成する。

図１０は、車道形状判断部１９が車道の形状を右カーブ２２ｃと判断した場合を示す。この場合、座標変換部１７は、３つの狭角画像のうち右カーブ２２ｃ側に位置する２つの狭角画像に対して、対数極座標変換を行い、狭角対数極画像（ＴＮａ１、ＴＮａ２）を取得する。このときの画角（Ｎａｇ１、Ｎａｇ２）と狭角対数極画像（ＴＮａ１、ＴＮａ２）との関係を図１０に示す。画像合成部１８は、２つの狭角対数極画像（ＴＮａ１、ＴＮａ２）と広角対数極画像（ＴＷｄ）とを合成する。

図１２を参照して、第１実施形態に係わる認識用画像生成方法及び物体検出方法の一例を説明する。

先ず、ステップＳ０１において、図１の認識用画像生成装置２は、自車２１に搭載された広角カメラ１１を用いて、自車２１の周囲を撮像して広角画像Ｗｄを取得する。ステップＳ０３に進み、消失点算出部１４は、投票による方法（Voting Based Method）を用いて、広角画像Ｗｄ上の消失点Ｖｐの位置を算出する。

ステップＳ０５に進み、パンチルト制御部１５は、狭角画像Ｎａの中心Ｃｅが広角画像Ｗｄ上の消失点Ｖｐと一致するように、自車２１に搭載された狭角カメラ１２の撮像方向を制御する。具体的には、パンチルト制御部１５は、消失点Ｖｐの座標（ｘ、ｙ）から、ルックアップテーブル（Ｔａ）を用いて、狭角カメラ１２のパン角及びチルト角の情報を取得する。そして、パンチルト制御部１５は、取得したパン角及びチルト角の情報に従って、ステージ１３を駆動し、狭角カメラ１２の撮像方向、即ちパン角及びチルト角を制御する。

ステップＳ０７に進み、図１の認識用画像生成装置２は、３つの狭角カメラ１２を用いて、広角画像Ｗｄに含まれ且つ広角画像Ｗｄよりも狭い画角（Ｎａｇ１、Ｎａｇ２、Ｎａｇ３）で自車の周囲を撮像して、水平方向に隣接する３つの狭角画像を取得する。

次に、ステップＳ０９に進み、座標変換部（１６、１７）は、広角画像及び狭角画像に対して、対数極座標変換をそれぞれ行い、広角対数極画像及び狭角対数極画像を取得する。ここで、座標変換部１７は、図８〜１０を参照して説明したように、車道形状判断部１９の判断結果に基づいて、座標変換の対象とする狭角画像を選択してもよい。

ステップＳ１１に進み、画像合成部１８は、広角対数極画像及び狭角対数極画像を合成して、合成画像を生成する。ステップＳ０１〜Ｓ１１までが図１の認識用画像生成装置２の動作例である。

ステップＳ１３に進み、物体検出部２０は、たとえば、エイダブースト（AdaBoost）、ニューラルネットワーク（neural network, NN）を合成画像Ｃｐに対して適用して、自車２１の周囲に存在する他車を検出する。

以上説明したように、本発明の第１実施形態によれば、以下の作用効果が得られる。

広角対数極画像ＴＷｄと狭角対数極画像ＴＮａを合成した単一の合成画像Ｃｐが画像処理の対象となるため、広角画像Ｗｄと狭角画像Ｎａの切替による遅れ、或いは検出位置のジャンプを抑制することができる。

パンチルト制御部１５は、３つの狭角画像のうち中央に位置する狭角画像の中心が広角画像上の消失点Ｖｐと一致するように、狭角カメラ１２の撮像方向を制御する。これにより、水平方向に隣接する少なくとも３つの狭角画像から、広い範囲を拡大した３つの狭角対数極画像（ＴＮａ１、ＴＮａ２、ＴＮａ３）を得ることができる。また、３つの狭角対数極画像（ＴＮａ１、ＴＮａ２、ＴＮａ３）と広角対数極画像ＴＷｄとを１つの合成画像に合成することができる。

消失点Ｖｐを中心とする対数極座標変換を行っても、合成画像Ｃｐ上における物体の形状に大きな変化は生じないため、単純な学習検出器による画像処理によって、合成画像Ｃｐから物体を検出することができる。また、車道の形状が直線路２２ａである場合、車線は中央の狭角画像に写る。座標変換の対象として中央の狭角画像を選択することにより、画像処理の負担を軽減して、画像処理を高速化できる。また、無関係な領域からの誤検出を抑制できる。

車道の形状がカーブ路（２２ｂ、２２ｃ）である場合、車線は中央及びカーブ側の狭角画像に写る。座標変換の対象としてカーブ側の狭角画像を選択することにより、画像処理の負担を軽減して、画像処理を高速化できる。また、無関係な領域からの誤検出を抑制できる。

（第２実施形態）
図１３を参照して、第２実施形態に係わる認識用画像生成装置２及び物体検出装置１ｂの構成を説明する。第２実施形態に係わる物体検出装置１ｂは、車道形状判断部１９の代わりに、他車判断部３１を備えている点で、図１の物体検出装置１ａと相違している。その他の構成は図１と同じであり、説明を省略する。

他車判断部３１は、広角画像または狭角画像から、自車２１の前方であって、且つ自車２１からしきい距離未満の位置に他車が存在するか否かを判断する。他車判断部３１は、広角画像または狭角画像に対して既存の画像処理を施すことにより、自車２１の前方に存在する他車及び他車までの距離を検出すればよい。自車２１からしきい距離内に他車が存在すると他車判断部３１が判断した場合、座標変換部１７は、３つの狭角画像のうち中央に位置する狭角画像を除く他の２つの狭角画像に対して、対数極座標変換を行い、２つの狭角対数極画像（ＴＮａ２、ＴＮａ３）を取得する。

図１１（ａ）は、自車２１が走行する車道２２ａの前方に他車２３が存在する様子を示す。他車２３は、画角Ｗａｇを有する広角カメラ１１により撮像された広角画像、或いは、画角（Ｎａｇ２、Ｎａｇ３）を有する左右の狭角カメラ１２により撮像された狭角画像から、検出される。図１１（ｂ）は、２つの狭角対数極画像（ＴＮａ２、ＴＮａ３）と広角対数極画像ＴＷｄとを合成した合成画像を示す。画像合成部１８は、２つの狭角対数極画像（ＴＮａ２、ＴＮａ３）と広角対数極画像ＴＷｄを合成して、合成画像を生成する。

３つの狭角画像のうち中央に位置する狭角画像に写る中央の長距離領域は、狭角画像を包含する広角画像にも写る。このため、広角画像から物体を検出できれば、中央に位置する狭角画像から得られる情報の有用性が低くなる。一方、左右の狭角対数極画像（ＴＮａ２、ＴＮａ３）からは、中央に位置する狭角画像に写る物体の後ろに隠れた他の物体を検出することができるので、左右の狭角対数極画像（ＴＮａ２、ＴＮａ３）から得られる情報の有用性は高い。そこで、中央に位置する狭角画像を座標変換の対象から除外し、左右の狭角対数極画像（ＴＮａ２、ＴＮａ３）に対して対数極座標変換を行って合成画像を生成する。これにより、画像処理の負担を軽減して、画像処理を高速化できる。

なお、物体検出装置（１ａ、１ｂ）に含まれる画像処理機能に係わる構成要素及びパンチルト制御部１５は、図１２に示す手順を記述したコンピュータプログラムを汎用のマイクロコンピュータにインストールし、マイクロコンピュータがコンピュータプログラムを実行することにより、実現される。画像処理機能に係わる構成要素には、消失点算出部１４、座標変換部１６、座標変換部１７、画像合成部１８、車道形状判断部１９、物体検出部２０、及び他車判断部３１が含まれる。或いは、画像処理機能及びパンチルト制御部１５として専用に設計された電子回路または半導体集積回路（ＡＳＩＣ）を用いて実現してもよい。

以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。

１ａ、１ｂ 物体検出装置
２ 認識用画像生成装置
１１ 広角カメラ（広角画像取得部）
１２ 狭角カメラ（狭角画像取得部）
１４ 消失点算出部
１５ パンチルト制御部（撮像方向制御部）
１６、１７ 座標変換部
１８ 画像合成部
１９ 車道形状判断部
２０ 物体検出部
２１ 自車
２２ａ 直線路
２２ｂ、２２ｃ カーブ路
２３ 他車
３１ 他車判断部
Ｃｐ 合成画像
Ｎａ 狭角画像
ＴＮａ、ＴＷｄ 対数極画像
Ｖｐ 消失点
Ｗｄ 広角画像

Claims (6)

1. 自車に搭載され、前記自車の周囲を撮像して、広角画像を取得する広角画像取得部と、
   前記自車に搭載され、前記広角画像に含まれ且つ前記広角画像よりも狭い画角で前記自車の周囲を撮像して、１又は２以上の狭角画像を取得する狭角画像取得部と、
   前記広角画像上の消失点の位置を算出する消失点算出部と、
   前記狭角画像の中心が前記広角画像上の消失点と一致するように、前記狭角画像取得部の撮像方向を制御する撮像方向制御部と、
   前記広角画像上の消失点を原点として、前記広角画像及び前記狭角画像に対して、対数極座標変換をそれぞれ行い、広角対数極画像及び狭角対数極画像を取得する座標変換部と、
   前記広角対数極画像及び前記狭角対数極画像を合成して、合成画像を生成する画像合成部と
   を備えることを特徴とする認識用画像生成装置。
2. 前記狭角画像取得部は、水平方向に隣接する少なくとも３つの前記狭角画像を取得し、
   前記撮像方向制御部は、前記３つの狭角画像のうち中央に位置する前記狭角画像の中心が前記広角画像上の消失点と一致するように、前記狭角画像取得部の撮像方向を制御する
   ことを特徴とする請求項１に記載の認識用画像生成装置。
3. 請求項２に記載の認識用画像生成装置を備える物体検出装置であって、
   前記広角画像または前記狭角画像から、前記自車が走行する車道の形状を判断する車道形状判断部と、
   前記画像合成部により合成された前記合成画像の中から物体を検出する物体検出部と、を更に備え、
   前記車道形状判断部が前記車道の形状を直線路と判断した場合、前記座標変換部は、前記３つの狭角画像のうち中央に位置する狭角画像に対して、対数極座標変換を行い、前記狭角対数極画像を取得する
   ことを特徴とする物体検出装置。
4. 請求項２に記載の認識用画像生成装置を備える物体検出装置であって、
   前記広角画像または前記狭角画像から、前記自車が走行する車道の形状を判断する車道形状判断部と、
   前記画像合成部により合成された前記合成画像の中から物体を検出する物体検出部と、を更に備え、
   前記車道形状判断部が前記車道の形状をカーブ路と判断した場合、前記座標変換部は、前記３つの狭角画像のうちカーブ側に位置する２つの狭角画像に対して、対数極座標変換を行い、前記狭角対数極画像を取得する
   ことを特徴とする物体検出装置。
5. 請求項２に記載の認識用画像生成装置を備える物体検出装置であって、
   前記広角画像または前記狭角画像から、前記自車の前方に他車が存在するか否かを判断する他車判断部と、
   前記画像合成部により合成された前記合成画像の中から物体を検出する物体検出部と、を更に備え、
   前記自車の前方に他車が存在すると前記他車判断部が判断した場合、前記座標変換部は、前記３つの狭角画像のうち中央に位置する狭角画像を除く他の２つの狭角画像に対して、対数極座標変換を行い、前記狭角対数極画像を取得する
   ことを特徴とする物体検出装置。
6. 自車に搭載された広角画像取得部を用いて、前記自車の周囲を撮像して、広角画像を取得し、
   前記広角画像上の消失点の位置を算出し、
   狭角画像の中心が前記広角画像上の消失点と一致するように、自車に搭載された狭角画像取得部の撮像方向を制御し、
   前記狭角画像取得部を用いて、前記広角画像に含まれ且つ前記広角画像よりも狭い画角で前記自車の周囲を撮像して、１又は２以上の前記狭角画像を取得し、
   前記広角画像上の消失点を原点として、前記広角画像及び前記狭角画像に対して、対数極座標変換をそれぞれ行い、広角対数極画像及び狭角対数極画像を取得し、
   前記広角対数極画像及び前記狭角対数極画像を合成して、合成画像を生成する
   ことを特徴とする認識用画像生成方法。

Images