JP4869745B2 - 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置 - Google Patents

Description

この発明は、車載のカメラで撮像された複数の画像から当該カメラの俯角を算出する俯角算出装置、俯角算出方法および俯角算出プログラムおよび画像処理装置に関する。

従来より、車載のカメラ（例えば、単眼カメラやステレオカメラ）で撮像された画像内の前方物体までの距離を算出する従来技術がある（例えば、特許文献１参照）。かかる距離の算出にはカメラの俯角を必要とするが、この俯角を算出する方法としては、例えば、単眼カメラで撮像された画像内に道路白線等の平行線が映し出されている場合には、この平行線の交点から画像消失点を算出し、この画像消失点に基づいて俯角を算出するのが一般的な手法である。

具体的には、カメラの俯角とは、水平な道路面に対するカメラの光軸の取付け角度を示す。そして、画像消失点から俯角変動量を算出する原理としては、例えば、車両が水平な道路上にいる場合、画像消失点の画像上の位置が常に一定であると仮定すると、車両が道路上にある凹凸を通過する場合には、その凹凸の傾きに応じて画像消失点の位置がずれ、そのずれ量から、図８に例示するように、俯角変動量を把握することができる。

また、同図に示すように、画像上に見える物体の位置（例えば、Ｌ）に基づき、その物体までの距離を算出する場合には、画像消失点のずれ量から把握された俯角変動量から現在の光軸と水平道路との絶対俯角を求め、その絶対俯角で物体までの距離を補正することにより正確な距離が算出される。

特開平９−４８２９８号公報

ところで、上記した従来の技術は、以下に説明するように、カメラの俯角を算出できない場合があるという問題点があった。すなわち、例えば、車載の単眼カメラで撮像された画像内に道路白線等の平行線が映し出されていない場合（つまり、単眼カメラで道路白線等が存在しない道路を撮像している場合）には、画像消失点を算出することができず、結果的に単眼カメラの俯角を算出することもできないという問題点があった。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、車載のカメラで撮像された画像内に道路白線等の平行線が映し出されていない場合であってもカメラの俯角を算出することが可能な距離算出装置、距離算出方法および距離算出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、車載のカメラで撮像された複数の画像から当該カメラの俯角を算出する俯角算出装置において、前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出手段と、前記シフト量算出手段により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出手段と、を備えたことを特徴とする。

また、請求項２に係る発明は、上記の発明において、前記現画像および前記前画像を重ね合わせて、両画像を垂直方向および水平方向にシフトさせ、当該両画像の間で最も相関が高くなるシフト位置を検出するシフト位置検出手段をさらに備え、前記シフト量算出手段は、前記シフト位置検出手段により検出されたシフト位置に基づいて、前記対象物のシフト量を算出することを特徴とする。

また、請求項３に係る発明は、上記の発明において、車両の水平方向の移動量の情報を取得する情報取得手段をさらに備え、前記シフト位置検出手段は、前記情報取得手段により取得された前記車両の水平方向の移動量の情報に基づいて、前記シフト位置を水平方向に補正して検出することを特徴とする。

また、請求項４に係る発明は、上記の発明において、前記シフト位置検出手段は、前記現画像および前記前画像の中央を低く、外側を高く重み付けした上で、前記両画像の間で最も相関が高くなる前記シフト位置を検出することを特徴とする。

また、請求項５に係る発明は、上記の発明において、前記カメラで撮像された画像内の平行線から画像消失点を取得する画像消失点取得手段をさらに備え、前記俯角算出手段は、前記画像消失点取得手段により画像消失点が取得された場合には、前記シフト量算出手段により算出された前記対象物のシフト量ではなく、当該画像消失点に基づいて前記カメラの俯角を算出することを特徴とする。

また、請求項６に係る発明は、車載のカメラで撮像された複数の画像から当該カメラの俯角を算出する俯角算出方法において、前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出工程と、前記シフト量算出工程により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出工程と、を含んだことを特徴とする。

また、請求項７に係る発明は、車載のカメラで撮像された複数の画像から当該カメラの俯角を算出する方法をコンピュータに実行させる俯角算出プログラムにおいて、前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出手順と、前記シフト量算出手順により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出手順と、をコンピュータに実行させることを特徴とする。

また、請求項８に係る発明は、車載のカメラで撮像された複数の画像から当該カメラの俯角を算出し、当該俯角を用いて画像処理を行う画像処理装置において、前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出手段と、前記シフト量算出手段により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出手段と、前記俯角算出手段により算出された前記カメラの俯角を用いて、前記カメラで撮像された候補物体までの距離を補正する距離補正手段と、を備えたことを特徴とする。

請求項１、６および７の発明によれば、車載のカメラ（例えば、単眼カメラやステレオカメラ）で撮像された複数の画像のうち、現画像とその現画像の前に入力された前画像とに基づいて、現画像内および前画像内に映し出されている特定の対象物（例えば、画像内の電柱や道路標識などの構造物や歩行者など）のシフト量を算出し、取得したシフト量を画像における消失点の俯角変動量とみなして単眼カメラの俯角を算出するので、車載のカメラで撮像された画像内に道路白線等の平行線が映し出されていない場合であっても、車載のカメラの俯角を算出することが可能となる。

また、請求項２の発明によれば、現画像および前画像を重ね合わせた状態でシフトさせ、現画像および前画像の間で最も相関が高くなるシフト位置（例えば、現画像と前画像との重ね合せ部分の画素値の相関が最も大きくなる位置）を検出し、このシフト位置に基づいて現画像内および前画像内に映し出されている対象物のシフト量を算出するので、画像内に映し出された物体の認識を必要とすることなく、対象物のシフト量を簡易に算出することができ、車載のカメラの俯角を簡易に算出することが可能となる。

また、請求項３の発明によれば、現画像および前画像の最も相関の高くなるシフト位置を検出し、かかるシフト位置を車両の水平方向の移動量の情報（例えば、操舵角やヨーレートによる情報）に基づいて、両画像の間で最も相関が高くなるシフト位置を水平方向に補正して検出するので、両画像のシフト位置を精度よく検出することができ、車両が左右に操舵しても、車載のカメラの俯角を精度よく算出することが可能となる。

また、請求項４の発明によれば、現画像および前画像の中央を低く、外側を高く重み付けした上で、両画像の間で最も相関が高くなるシフト位置を検出するので、車両や歩行者などの移動物体が映し出されている可能性の高い画像の中央の重みが低く、建物や電柱、道路標識などの静止物体が映し出されている画像外側の重みが高くなる結果、両画像の間で最も相関が高くなるシフト位置を的確に検出することができ、車載のカメラの俯角を的確に算出することが可能となる。

また、請求項５の発明によれば、車載のカメラ（例えば、単眼カメラやステレオカメラ）で撮像された画像から画像消失点を取得できた場合には、画像消失点に基づいてカメラの俯角を算出するので、現画像内および前画像内に映し出されている特定の対象物（例えば、画像内の電柱や道路標識などの構造物や歩行者など）のシフト量に基づく俯角の算出よりも、画像消失点に基づく俯角の算出を優先することができ、常に対象物のシフト量に基づいて車載のカメラの俯角を算出するのに比較して、精度よく単眼カメラの俯角を算出することが可能となる。

また、請求項８の発明によれば、複数の画像のうち、現に入力されている現画像と現画像の前に入力された前画像とに基づいて、現画像内および前画像内に映し出されている特定の対象物（例えば、画像内の電柱や道路標識などの構造物や歩行者など）の垂直方向のシフト量を算出し、その対象物のシフト量を画像における消失点の俯角変動量とみなして算出したカメラの俯角を用いて、候補物体（例えば、歩行者）までの距離を補正するので、路上の凹凸によるピッチングなどによりカメラの俯角に変化がある場合であっても、画像上の対象物のシフト量に基づいて算出した俯角変動量を加算したカメラの俯角を用いて、画像上の候補物体までの実距離を補正して得ることが可能となる。

以下に添付図面を参照して、この発明に係る俯角算出装置、俯角算出方法および俯角算出プログラムの実施例を詳細に説明する。なお、以下では、本発明に係る俯角算出手法を実現する画像処理装置を車両制御装置に適用した場合の実施例を説明する。

以下の実施例１では、実施例１に係る車両制御装置の概要及び特徴、この車両制御装置を適用した車両の構成、車両制御装置の処理の流れを順に説明し、最後に実施例１による効果を説明する。

［車両制御装置の概要および特徴（実施例１）］
まず最初に、図１を用いて、実施例１に係る車両制御装置の概要および特徴を説明する。図１は、実施例１に係る車両制御装置の概要および特徴を説明するための図である。

実施例１に係る車両制御装置は、車載のカメラ（例えば、単眼カメラやステレオカメラ）で撮像された複数の画像からカメラの俯角を算出することを概要とするものであるが、カメラで撮像された画像内に道路白線等の平行線が映し出されていない場合であってもカメラの俯角を算出する点に主たる特徴がある。

この概要および特徴を具体的に説明すると、この車両制御装置は、例えば、単眼カメラで撮像された画像内に道路白線等の平行線があるか否かの認識を行う（図１の（１）参照）。その結果、画像内に平行線を認識した場合には、この車両制御装置は、画像内の平行線に基づいて画像消失点の取得を行う（図１の（２）参照）。そして、取得した画像消失点に基づいて、この車両制御装置は、単眼カメラの俯角の算出を行う（図１の（３）参照）。

一方、画像内に平行線を認識できなかった場合には、この車両制御装置は、特定の対象物（例えば、木、道路標識や建物など構造物や歩行者など）のシフト量の算出を行う（図１の（４）参照）。具体的には、この車両制御装置は、例えば、現に入力されている現画像および現画像の直前に入力された直前画像を垂直方向および水平方向にシフトさせ、両画像が最も相関の高くなるシフト位置（例えば、（ｘ，ｙ））を検出し、検出したこのシフト位置に基づいて、現画像および直前画像に映し出されている対象物（例えば、木）の垂直方向のシフト量（例えば、ｙ）を算出する。そして、この車両制御装置は、算出したこの垂直方向のシフト量に基づいて、単眼カメラの俯角を算出する（図１の（３）参照）。

より詳細には、画像の各フレームを、例えば、１０ｍｓｅｃの間隔で取り込むとすると、車両の移動量に比べ取込間隔が極めて短いため、画像内の物体の移動量は無視することができる。一方、ピッチングが起こるような凹凸のある道路上を車両が通過すると、その凹凸の度合いによっては、車両の移動に比べてカメラの俯角の変化による画像への影響は非常に大きくなる（図２参照）。

すなわち、ピッチングが起こるような凹凸のある道路上を車両が通過する場合には、車両が道路上の凹凸にさしあたった瞬間、車両とともにカメラが垂直方向に移動し、１フレーム間であっても画像内の物体は大きく変化するので、この画像内の物体のシフト量を利用してカメラの俯角変動量を算出する。なお、車両移動や物体移動によるノイズを避けるため、フィルタリングをかけて、ある一定以上の垂直移動量があれば、ピッチングによる俯角変化量があるものと判断することが望ましい。

また、この車両制御装置は、俯角変化量があるものと判断した場合には、この俯角変化量から現在の光軸と水平道路との絶対俯角を求め、物体の位置（例えば、歩行者の足元位置）によって算出した画像上の距離を絶対俯角により補正して、実距離を算出するようにしてもよい。

このようなことから、実施例１に係る車両制御装置は、上記した主たる特徴の如く、車載のカメラで撮像された画像内に道路白線等の平行線が映し出されていない場合であっても、車載のカメラの俯角を算出することが可能となる。また、路上の凹凸によるピッチングなどによりカメラの俯角に変化がある場合であっても、画像上の対象物のシフト量に基づいて算出した俯角変動量を加算したカメラの俯角を用いて、画像上の候補物体までの実距離を補正して得ることが可能となる。

［車両の構成（実施例１）］
次に、図３を用いて、実施例１に係る車両制御装置を適用した車両の構成を説明する。図３は、実施例１に係る車両制御装置を適用した車両の構成を示すブロック図である。同図に示すように、この車両は次のような構成を有している。すなわち、この車両は、撮像装置（単眼カメラ）１０と、ナビ部１１、前処理部１２と、車内通知部１３と、画像処理装置２０とから構成される。

このうち、ナビ部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を、後述する車内通知部１３を介して運転者に供給する。

前処理部１２は、撮像装置１０（例えば、単眼カメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１２ａと輪郭抽出部１２ｂとから構成される。このうち、フィルタ部１２ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１２ｂは、フィルタ部１２ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。

車内通知部１３は、ナビ部１１や後述する報知制御部２３からの情報を通知する手段であり、モニタやスピーカなどで構成される。例えば、報知制御部２３からの指令を受け付けて、歩行者の存在を示す画像をモニタに出力して運転者の注意を促したり、メッセージやアラーム音をスピーカから流すことにより運転者に対して警告を行ったりする。

画像処理装置２０の記憶部２１は、制御部２２による各種処理に必要なデータおよびプログラムを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、画像記憶部２１ａと俯角記憶部２１ｂとを備える。

このうち、画像記憶部２１ａは、撮像装置１０（例えば、単眼カメラ）で撮像された画像の画像データを記憶する手段である。具体的には、後述する画像取得部２２ａから画像データを受け付けて記憶する。

俯角記憶部２１ｂは、撮像装置１０（例えば、単眼カメラ）の俯角を記憶する手段である。具体的には、車両走行前に予め設定された撮像装置１０の俯角を記憶するほか、後述する俯角算出部２２ｅにより算出された撮像装置１０（単眼カメラ）の最新の俯角を、この俯角算出部２２ｅから受け付けて記憶する。

画像処理装置２０の制御部２２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、画像取得部２２ａと、画像消失点取得部２２ｂと、画像シフト位置検出部２２ｃと、シフト量算出部２２ｄと、俯角算出部２２ｅと、距離算出部２２ｆとを備える。

なお、画像消失点取得部２２ｂは、特許請求の範囲に記載の「画像消失点取得手段」に対応し、画像シフト位置検出部２２ｃは、同じく「シフト位置検出手段」に対応し、シフト量算出部２２ｄは、同じく「シフト量算出手段」に対応し、俯角算出部２２ｅは、同じく「俯角算出手段」に対応する。

このうち、画像取得部２２ａは、撮像装置１０（単眼カメラ）から入力された画像を受け付けて取得する処理部であり、受け付けた画像を画像データとして画像記憶部２１ａに出力する。

画像消失点取得部２２ｂは、画像取得部２２ａが撮像装置１０から画像の入力を受け付けると、画像内に道路白線などの平行線があるか否かを認識し、平行線を認識した場合には、その平行線に基づいて画像消失点を取得する処理部である。具体的には、この画像消失点取得部２２ｂは、画像記憶部２１ａから読み出した画像データについてＨｏｕｇｈ変換（ハフ変換）等を行い、平行線を認識（抽出）した場合には、例えば、オプティカルフロー法などによって算出した平行線の交点から画像消失点を取得する。そして、画像消失点取得部２２ｂは、取得した画像消失点を俯角算出部２２ｅに対して出力する。一方、平行線を認識（抽出）できなかった場合には、画像消失点取得部２２ｂは、画像シフト位置検出部２２ｃに対して処理開始信号を出力する。

画像シフト位置検出部２２ｃは、撮像装置１０（単眼カメラ）から現に入力されている現画像と現画像の直前に入力された直前画像との間の最も相関の高いシフト位置を検出する処理部である。具体的には、この画像シフト位置検出部２２ｃは、画像消失点取得部２２ｂから処理開始信号を受け付けると、画像記憶部２１ａから現画像データおよび直前画像データを読み出して、現画像および直前画像を水平方向および垂直方向にシフトさせ、両画像の最も相関の高いシフト位置（例えば、現画像と直前画像との重ね合せ部分の画素値から算出される相関値が最も大きくなる位置（ｘ，ｙ））を検出する。そして、画像シフト位置検出部２２ｃは、検出したシフト位置（例えば、（ｘ，ｙ））をシフト量算出部２２ｄに対して出力する。

また、画像シフト位置検出部２２ｃは、直前画像に物体認識（例えば、パターンマッチングによる物体認識）を行って、認識された物体を画像のシフト位置検出のためのターゲットとなる特定の対象物（例えば、画像内の電柱や道路標識などの構造物や歩行者など）して記憶しておき、ターゲットとされた対象物が現画像において略一致するかどうかを判断し、略一致する場合には、ターゲットとされた対象物の相関性は高いものとして、その物体のシフト位置を検出することにより、画像のシフト位置を検出するようにしてもよい。

なお、直前画像から現画像までの１フレーム間では、車両の移動に伴う画像内の物体の変化量は無視できるため、静止物体でも歩行者などの移動物体であっても、画像のシフト位置を検出するための対象物とすることができる。なお、静止物体を画像のシフト位置を検出するための対象物とすれば、対象物自体の移動によるノイズを少なくすることができ、精度よくシフト位置を検出することができる。

また、実施例１においては、画像フレームの取り込み間隔を基準として、現フレームの画像である現画像と現フレームの一つ前のフレームの画像である直前画像とを比較対象としているが、本発明はこれに限定されるものではなく、例えば、直前画像のさらに一つ前のフレームの画像である直前々画像と直前画像との平均画像を生成し、現画像と生成した平均画像とを比較するようにしてもよい。

シフト量算出部２２ｄは、現画像および直前画像に映し出されている対象物のシフト量を算出する処理部である。具体的には、このシフト量算出部２２ｄは、画像シフト位置検出部２２ｃから受け付けた現画像および直前画像の最も相関の高いシフト位置（例えば、（ｘ，ｙ））に基づいて、両画像に映し出されている対象物（例えば、木）の垂直方向のシフト量（例えば、ｙ）を算出する。すなわち、シフト量算出部２２ｄにより算出されたシフト量が俯角変動量となる。そして、シフト量算出部２２ｄは、算出したシフト量を俯角算出部２２ｅに対して出力する。

俯角算出部２２ｅは、画像消失点または画像シフト量に基づいて撮像装置１０（例えば、単眼カメラ）の俯角を算出する処理部である。具体的には、この俯角算出部２２ｅは、画像消失点取得部２２ｂによって画像消失点の位置にずれを検出すると、そのずれ量から把握した俯角変動量を、車両走行前に予め設定されている俯角に加算することにより現在の俯角（絶対俯角）を算出する。

一方、画像消失点取得部２２ｂによって画像消失点が取得されなかった場合には、俯角算出部２２ｅは、シフト量算出部２２ｄから受け付けた対象物の垂直方向のシフト量に基づいて俯角変動量を算出し、車両走行前に予め設定されている俯角に加算することにより現在の俯角（絶対俯角）を算出する。そして、俯角算出部２２ｅは、算出した俯角を距離算出部２２ｆに対して出力する。

距離算出部２２ｆは、画像内に映し出された物体までの距離を算出する処理部である。具体的には、距離算出部２２ｆは、画像内に映し出された物体の接地位置（例えば、歩行者の足元位置）に基づいて、その物体までの画像上の距離を算出する。また、距離算出部２２ｆは、画像上の物体の位置によって算出した物体までの距離を、俯角算出部２２ｅから受け付けた絶対俯角により補正して実距離を算出する。そして、距離算出部２２ｆは、算出した物体までの距離情報を報知制御部２３および車両制御部２４に出力する。

報知制御部２３は、距離算出部２２ｆから受け付けたデータ（候補物体までの距離データ）に基づいて、報知制御を行う処理部である。具体的には、この実施例１では、距離算出部２２ｄから画像内の物体（例えば、歩行者）までの距離を受け付け、その物体までの距離に応じて、報知制御部２３は、車内通知部１３に対し、例えば、歩行者の存在を示す画像や音声による警告の指令を出力する。

車両制御部２４は、距離算出部２２ｆから受け付けたデータ（候補物体までの距離データ）に基づいて、車両走行制御を行う処理部である。具体的には、この実施例１では、距離測定部２２ｄから画像内の物体（例えば、歩行者）までの距離を受け付け、その物体までの距離に応じて、車両制御部２４は、例えば、ブレーキ制御による速度減速指令、ハンドル制御による衝突回避指令や車両制動制御によるプリクラッシュ指令を各処理部に対して出力する。

［車両制御装置の処理（実施例１）］
続いて、図４を用いて、実施例１に係る車両制御装置の処理の流れを説明する。図４は、実施例１に係る車両制御装置の処理の流れを示すフローチャートである。なお、以下に説明する処理は、車両制御装置の動作中に繰り返し実行される。

同図に示すように、車両制御装置の電源（例えば、イグニッション）がオンされ（ステップ４０１肯定）、撮像装置１０（例えば、単眼カメラ）によって撮像された画像（１フレーム）の入力を受け付けると（ステップＳ４０２肯定）、画像消失点取得部２２ｂは、画像記憶部２１ａから画像データを読み出し、平行線認識処理を行う（ステップＳ４０３）。その結果、平行線を認識した場合には（ステップＳ４０４肯定）、画像消失点取得部２２ｂは、画像消失点取得処理を行う（ステップＳ４０５）。続いて、画像消失点取得部２２ｂは、かかる画像消失点取得処理により取得した画像消失点を俯角算出部２２ｅに対して出力する。画像消失点取得部２２ｂから画像消失点を取得した俯角算出部２２ｅは、撮像装置１０の俯角を算出する（ステップＳ４０６）。

具体的には、俯角算出部２２ｅは、画像消失点取得部２２ｂによって画像消失点が取得された場合には、画像消失点の位置のずれ量から把握した俯角変動量を、車両走行前に予め設定されている俯角に加算することにより現在の俯角（絶対俯角）を算出する。

ここで、ステップＳ４０４の説明に戻ると、平行線を認識できなかった場合には（ステップＳ４０４否定）、画像シフト位置検出部２２ｃは、画像のシフト位置を検出する（ステップＳ４０７）。具体的には、この画像シフト位置検出部２２ｃは、画像記憶部２１ａから現画像データと直前画像データとを読み出して、現画像および直前画像を水平方向および垂直方向にシフトさせ、両画像の最も相関の高いシフト位置（例えば、現画像と直前画像との重ね合せ部分の画素値から算出される相関値が最も大きくなる位置（ｘ，ｙ））を検出し、検出したシフト位置（例えば、（ｘ，ｙ））をシフト量算出部２２ｄに対して出力する。

画像シフト位置検出部２２ｃからシフト位置を受け付けて、シフト量算出部２２ｄは、画像のシフト量を算出する（ステップＳ４０８）。具体的には、このシフト量算出部２２ｄは、画像シフト位置検出部２２ｃから受け付けた現画像および直前画像の最も相関の高いシフト位置（例えば、（ｘ，ｙ））に基づいて、両画像に映し出されている対象物（例えば、木）の垂直方向のシフト量（例えば、ｙ）を算出し、算出したシフト量を俯角算出部２２ｅに対して出力する。

シフト量算出部２２ｄからシフト量を受け付けて、俯角算出部２２ｅは、上述した画像消失点ではなく、対象物の垂直方向のシフト量に基づいて、撮像装置１０の俯角を算出する（ステップＳ４０６）。具体的には、シフト量算出部２２ｄから受け付けた対象物の垂直方向のシフト量に基づいて俯角変動量を算出し、車両走行前に予め設定されている俯角に加算することにより現在の俯角（絶対俯角）を算出する。

続いて、画像認識装置２０の制御部２２により画像内に歩行者が認識された場合には（ステップＳ４０９肯定）、距離算出部２２ｆは、例えば、歩行者の足元位置に基づいて、その歩行者の画像上の距離を算出する（ステップＳ４１０）。次に、距離算出部２２ｆは、歩行者の画像上の距離を、俯角算出部２２ｅにより受け付けた絶対俯角により補正して実距離を算出する（ステップＳ４１１）。そして、画像認識装置２０の制御部２２は、歩行者情報を報知制御部２３および車両制御部２４に対して出力し、距離算出部２２ｆは、距離情報を報知制御部２３および車両制御部２４に対して出力する（ステップＳ４１２）。なお、図には示していないが、距離算出部２２ｆから距離の出力を受け付けた報知制御部２３および車両制御部２４は、受け付けた歩行者情報および距離情報に応じてそれぞれ報知制御や車両走行制御を行う。

ここで、ステップＳ４０９の説明に戻ると、画像認識装置２０の制御部２２により画像内に歩行者が認識されなかった場合には（ステップＳ４０９否定）、車両制御装置は、この画像（フレーム）に対する処理を終了する。

［実施例１の効果］
上述してきたように、実施例１によれば、この車両制御装置は、車載のカメラ（例えば、単眼カメラやステレオカメラ）で撮像された複数の画像のうち、現画像とその現画像の直前に入力された直前画像とに基づいて、現画像内および直前画像内に映し出されている対象物（例えば、画像内の電柱や道路標識などの構造物や歩行者など）のシフト量を算出し、取得したシフト量に基づいて単眼カメラの俯角を算出するので、車載のカメラで撮像された画像内に道路白線等の平行線が映し出されていない場合であっても、車載のカメラの俯角を算出することが可能となる。

また、実施例１によれば、この車両制御装置は、現画像および直前画像を重ね合わせた状態でシフトさせ、現画像および直前画像の間で最も相関が高くなるシフト位置（例えば、現画像と直前画像との重ね合せ部分の画素値から算出される相関値が最も大きくなる位置）を検出し、このシフト位置に基づいて現画像内および直前画像内に映し出されている対象物のシフト量を算出するので、画像内に映し出された物体が静止物体であるか否かの認識を必要とすることなく、対象物のシフト量を簡易に算出することができ、車載のカメラの俯角を簡易に算出することが可能となる。

また、実施例１によれば、この車両制御装置は、車載のカメラで撮像された画像から画像消失点を取得できた場合には、画像消失点に基づいてカメラの俯角を算出するので、現画像内および直前画像内に映し出されている対象物（例えば、画像内の電柱や道路標識などの構造物や歩行者など）のシフト量に基づく俯角の算出よりも、画像消失点に基づく俯角の算出を優先することができ、常に対象物のシフト量に基づいて車載のカメラの俯角を算出するのに比較して、精度よく単眼カメラの俯角を算出することが可能となる。

また、実施例１によれば、複数の画像のうち、現に入力されている現画像と現画像の前に入力された前画像とに基づいて、現画像内および前画像内に映し出されている特定の対象物（例えば、画像内の電柱や道路標識などの構造物や歩行者など）の垂直方向のシフト量を算出し、その対象物のシフト量に基づいて算出したカメラの俯角を用いて、候補物体（例えば、歩行者）までの距離を補正するので、路上の凹凸によるピッチングなどによりカメラの俯角に変化がある場合であっても、画像上の対象物のシフト量に基づいて算出した俯角変動量を加算したカメラの俯角を用いて、画像上の候補物体までの実距離を補正して得ることが可能となる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

（１）車両の水平方向の移動量を考慮したシフト位置検出
上記の実施例１おいて、画像シフト位置検出部は、車両の水平方向の移動量の情報（例えば、操舵角やヨーレート）を取得して、画像のシフト位置を水平方向に補正して検出するようにしてもよい。例えば、直前画像において物体認識を行ってターゲットとなる対象物（例えば、木など）を記憶しておき、図５に例示するように、車両の水平方向の移動量だけ対象物を元に戻す補正をしてからシフト位置を検出する。

このようなことから、この車両制御装置は、現画像および直前画像の最も相関の高くなるシフト位置を検出し、かかるシフト位置を車両の水平方向の移動量の情報（例えば、操舵角やヨーレートによる情報）に基づいて、両画像の間で最も相関が高くなるシフト位置を水平方向に補正して検出するので、両画像のシフト位置を精度よく検出することができ、車両が左右に操舵しても、車載のカメラの俯角を精度よく算出することが可能となる。

（２）画像の外側の重みを高く、中央の重みを低くしてシフト位置を検出
また、上記の実施例１において、画像シフト位置検出部は、画像位置検出部現画像および直前画像の外側の重みを高く、中央の重みを低くして画像のシフト位置を検出するようにしてもよい。例えば、図６に例示するように、木などの静止物体が画像内に映し出される可能性の高い画像の外側の重みを高く、人などの移動物体が画像内に映し出される可能性の高い画像の中央の重みを低くして、画像のシフト位置を検出する。

このようなことから、この車両制御装置は、現画像および直前画像の中央を低く、外側を高く重み付けした上で、両画像の間で最も相関が高くなるシフト位置を検出するので、車両や歩行者などの移動物体が映し出されている可能性の高い画像の中央の重みが低く、建物や電柱、道路標識などの静止物体が映し出されている画像外側の重みが高くなる結果、両画像の間で最も相関が高くなるシフト位置を的確に検出することができ、単眼カメラの俯角を的確に算出することが可能となる。

また、画像の外側、内側でそれぞれ対象物のシフト量を先に検出し、図７に示す式により、最終的なシフト量を算出するようにしてもよい。

（３）シフト量のみで俯角算出
上記の実施例１では、画像から画像消失点が取得できなかった場合には、現画像および直前画像のシフト量に基づいて、車載のカメラの俯角を算出する場合を説明したが、本発明はこれに限定されるものではなく、常に現画像および直前画像のシフト量に基づいて、車載のカメラの俯角を算出するようにしてもよい。例えば、車両に単眼カメラを取り付ける際の取り付け角に基づく単眼カメラの最初の俯角を俯角記憶部に記憶させておき、現画像および直前画像のシフト量に基づいて算出された俯角の変化量を、この俯角記憶部に記憶されている単眼カメラの最初の俯角に加算することによって、単眼カメラの俯角を算出する。

このようなことから、この車両制御装置は、車載のカメラで撮像された画像内に道路白線等の平行線が映し出されておらず、画像消失点を取得できない場合であっても、車載のカメラの俯角を算出することが可能となる。

（４）装置構成等
また、上記の実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図２に示した画像処理装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置２０の分散・統合の具体的形態は図示のものに限られず、例えば、画像シフト位置検出部２２ｃとシフト量算出部２２ｄとを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、画像処理装置２０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上記の実施例１で説明したように、俯角算出部において算出された俯角を受け付けて、距離算出部は画像内の候補物体（例えば、歩行者）までの実距離を算出し、その実距離に基づいて車両制御部が車両走行制御が行い、報知制御部が報知制御を行う車両制御装置を構成するようにしてもよい。

なお、上記の実施例１で説明した俯角算出方法（図３参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上のように、本発明に係る俯角算出装置、俯角算出方法および俯角算出プログラムは、車載の単眼カメラで撮像された複数の画像から当該単眼カメラの俯角を算出する場合に有用であり、特に、単眼カメラで撮像された画像内に道路白線等の平行線が映し出されていない場合であっても単眼カメラの俯角を算出することに適する。

実施例１に係る車両制御装置の概要および特徴を説明するための図である。 実施例１に係る車両制御装置の概要および特徴を説明するための図である。 実施例１に係る車両制御装置を適用した車両の構成を示すブロック図である。 実施例１に係る車両制御装置の処理の流れを示すフローチャートである。 実施例２に係る車両の水平方向の移動量の情報に基づいて画像のシフト位置を補正する場合を説明するための図である。 実施例２に係る画像の外側の重みを高く、中央の重みを低くしてシフト位置を検出する場合を説明するための図である。 実施例２に係る数式を示す図である。 従来技術を説明するための図である。

符号の説明

１０ 撮像装置
１１ ナビ部
１２ 前処理部
１３ 車内通知部
２０ 画像処理装置
２１ 記憶部
２１ａ 画像記憶部
２１ｂ 俯角記憶部
２２ 制御部
２２ａ 画像取得部
２２ｂ 画像消失点取得部
２２ｃ 画像シフト位置検出部
２２ｄ シフト量算出部
２２ｅ 俯角算出部
２２ｆ 距離算出部
２３ 報知制御部
２４ 車両制御部

Claims (8)

1. 車載のカメラで撮像された複数の画像から当該カメラの俯角を算出する俯角算出装置において、
   前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出手段と、
   前記シフト量算出手段により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出手段と、
   を備えたことを特徴とする俯角算出装置。
2. 前記現画像および前記前画像を重ね合わせて、両画像を垂直方向および水平方向にシフトさせ、当該両画像の間で最も相関が高くなるシフト位置を検出するシフト位置検出手段をさらに備え、
   前記シフト量算出手段は、前記シフト位置検出手段により検出されたシフト位置に基づいて、前記対象物のシフト量を算出することを特徴とする請求項１に記載の俯角算出装置。
3. 車両の水平方向の移動量の情報を取得する情報取得手段をさらに備え、
   前記シフト位置検出手段は、前記情報取得手段により取得された前記車両の水平方向の移動量の情報に基づいて、前記シフト位置を水平方向に補正して検出することを特徴とする請求項２に記載の俯角算出装置。
4. 前記シフト位置検出手段は、前記現画像および前記前画像の中央を低く、外側を高く重み付けした上で、前記両画像の間で最も相関が高くなる前記シフト位置を検出することを特徴とする請求項２または３に記載の俯角算出装置。
5. 前記カメラで撮像された画像内の平行線から画像消失点を取得する画像消失点取得手段をさらに備え、
   前記俯角算出手段は、前記画像消失点取得手段により画像消失点が取得された場合には、前記シフト量算出手段により算出された前記対象物のシフト量ではなく、当該画像消失点に基づいて前記カメラの俯角を算出することを特徴とする請求項１に記載の俯角算出装置。
6. 車載のカメラで撮像された複数の画像から当該カメラの俯角を算出する俯角算出方法において、
   前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出工程と、
   前記シフト量算出工程により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出工程と、
   を含んだことを特徴とする俯角算出方法。
7. 車載のカメラで撮像された複数の画像から当該カメラの俯角を算出する方法をコンピュータに実行させる俯角算出プログラムにおいて、
   前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出手順と、
   前記シフト量算出手順により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出手順と、
   をコンピュータに実行させることを特徴とする俯角算出プログラム。
8. 車載のカメラで撮像された複数の画像から当該カメラの俯角を算出し、当該俯角を用いて画像処理を行う画像処理装置において、
   前記複数の画像のうち、現に入力されている現画像と当該現画像の前に入力された前画像とに基づいて、当該現画像内および当該前画像内に映し出されている特定の対象物の垂直方向のシフト量を算出するシフト量算出手段と、
   前記シフト量算出手段により算出された前記対象物のシフト量を前記画像における消失点の俯角変動量とみなして前記カメラの俯角を算出する俯角算出手段と、
   前記俯角算出手段により算出された前記カメラの俯角を用いて、前記カメラで撮像された候補物体までの距離を補正する距離補正手段と、
   を備えたことを特徴とする画像処理装置。

Images