JP6028848B2 - 車両の制御装置、及びプログラム - Google Patents

Description

本発明の実施形態は、車両の制御装置、及びプログラムに関する。

従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。運転者に提供する際に、撮像された画像データを車両の挙動に応じて補正する技術が提案されている。また、周辺の環境を認識しやすいように、俯瞰視点で車両の周辺の地面を表した鳥瞰図画像データを生成する技術が提案されている。

特開２００９−２１２７０３号公報 特開平９−５２５５５号公報 特開２００３−００９１４１号公報 特開２００３−２４４６８８号公報

しかしながら、従来技術では、例えば、運転者の指示があった場合のみ画像データが補正されるため、リアルタイムに補正できないという問題や、車高センサで車両の傾きを検出しているため、タイヤが接地していない場合等に傾きが精度良く把握できず、画像データの適切な表示が十分にできない等の問題が生じている。また、そのような画像データに基づく表示では、車両の周辺状況を正確に把握ことが難い等の問題を生じている。

本発明の実施形態にかかる車両の制御装置は、一例として、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御部と、を備え、前記制御部は、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する。よって、一例としては、撮像画像データに基づく車両周辺の状況把握が容易になるという効果を奏する。

また、前記車両の制御装置では、一例として、前記車両状態検出部は、前記車両状態データとして前記車両に設けられた加速度検出部から出力された加速度データを取得し、前記制御部は、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて、前記撮像画像データを回転制御する。よって、一例として、撮像画像データに基づく車両周辺の状況把握が容易になるという効果を奏する。また、高低差が視覚的に認識しやすくなるという効果を奏する。

また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記撮像画像データの拡大処理又は縮小処理行う。よって、一例としては、出力先に応じて撮像画像データの拡大又は縮小が行われることで、視認性が向上するという効果を奏する。

また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記撮像画像データに対して前記レンズの中心に対応する位置座標を前記表示領域の中心から移動させる。よって、一例としては、出力先に応じて撮像画像データの移動制御が行われることで、視認性が向上するという効果を奏する。

また、前記車両の制御装置では、一例として、前記制御部は、さらに、前記レンズの中心に対応する位置座標を前記表示領域の中心から前記表示領域内の上方向に移動させる。よって、一例としては、撮像画像データに含まれている、水平線より下方の領域が主に表示されるので、車両周辺の状況を容易に把握できるという効果を奏する。

また、前記車両の制御装置では、一例として、前記撮像画像データが表示される表示装置には、前記車両の前後軸周りの傾きを示したロール角と前記車両の左右軸周りの傾きを示したピッチ角の少なくとも一方を表した情報が前記撮像画像データと共に表示される。よって、一例としては、車両状態と車両周辺の状況の両方の把握が容易になるという効果を奏する。

また、前記車両の制御装置では、一例として、前記取得部は、さらに、前記車両がオフロード用のモードに切り替えられているか否かを示す情報を取得し、前記制御部は、前記車両がオフロード用のモードに切り替えられている場合に、先記車両状態データに応じて前記撮像画像データを回転制御する。よって、一例としては、オフロード用のモードでは、車両周辺の状況が視覚的に認識しやすくなるという効果を奏する。

また、前記車両の制御装置では、一例として、前記制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成部をさらに備える。よって、一例としては、回転制御して水平化してから視点変更が行われた鳥瞰図画像データを参照することで、車両の周辺を俯瞰的に認識できるため、車両周囲の状況を視覚的に認識しやすくなるという効果を奏する。

また、本発明の実施形態にかかるプログラムでは、一例として、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御ステップであって、当該制御ステップは、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転制御する制御ステップと、をコンピュータに実行させる。よって、一例としては、撮像画像データに基づく車両周辺の状況把握が容易にできるという効果を奏する。

また、前記プログラムでは、一例として、前記制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成ステップをさらに前記コンピュータに実行させる。一例としては、回転制御して水平化してから視点変更が行われた鳥瞰図画像データが作成される。その結果、車両の周辺を俯瞰的に認識できるため、車両周囲の状況を視覚的に認識しやすくなるという効果を奏する。

図１は、実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。 図４は、実施形態にかかる加速度センサの検出方向の一例を示した図である。 図５は、第１の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図６は、第１の実施形態にかかる撮像部により撮像された撮像画像データの一例とする。 図７は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の一例を示した図である。 図８は、第１の実施形態にかかる回転制御部により回転補正を行った後の撮像画像データの一例を示した図である。 図９は、第１の実施形態にかかる合成部が合成した後の画像データの一例を示した図である。 図１０は、第１の実施の形態にかかる周辺監視部における、表示装置への表示処理の手順を示すフローチャートである。 図１１は、第２の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図１２は、第２の実施形態にかかる車両のオフロード走行時に当該車両が石等に乗り上げた状況の例を示した図である。 図１３は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の例を示した図である。 図１４は、第２の実施形態にかかる移動量算出部により算出されるオプティカルフローの概念を示した図である。 図１５は、オプティカルフローの平均値と、車両の移動量との関係を示した図である。 図１６は、第２の実施形態にかかる車両の傾きによる撮像画像データの歪みと、変換部で変換した後の撮像画像データの表示範囲と、を示した図である。 図１７は、第２の実施形態にかかる合成部により合成された後の鳥瞰図画像データの例を示した図である。 図１８は、第２の実施形態にかかる俯瞰画像記憶部に記憶された鳥瞰図画像データの例を示した図である。 図１９は、第２の実施形態にかかる出力部が出力する画面情報の例を示した図である。 図２０は、第２の実施形態にかかる周辺監視部における、表示装置８への表示処理の手順を示すフローチャートである。 図２１は、第３の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。 図２２は、第３の実施形態にかかる出力部が出力する画面情報の例を示した図である。

以下の複数の実施形態には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付与される。また、重複する説明が省略される。

＜第１の実施形態＞
実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

図１に示されるように、車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。また、音声出力装置９の他に、ブザー２４（図３参照）等の音声出力部から、警報音等が出力されるように構成することができる。

また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、周辺監視ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ，１３ａを動作させる。前輪操舵システム１２ならびに後輪操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。前輪操舵システム１２ならびに後輪操舵システム１３は、アクチュエータ１２ａ，１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ，１３ａは、一つの車輪３を操舵しても良いし、複数の車輪３を操舵しても良い。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。

なお、水平方向とは、重力方向（鉛直方向）に対して垂直な水平面に含まれている方向である。

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。

周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１（車体２）を上方から見た仮想的な鳥瞰図画像（平面画像）を生成したりすることができる。

また、本実施形態では、一例として、図３に示されるように、周辺監視システム１００では、周辺監視ＥＣＵ１４や、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２や、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、タイヤ角センサ１３ｂ（後輪３Ｒ用）、アクチュエータ１８ａ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（Electronic Stability Control）搭載車両とする。そして、ＥＳＣ（Electronic Stability Control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。

図４は、加速度センサ２６ａ、２６ｂの検出方向の例を示した図である。検出方向４０１は、加速度センサ２６ａの検出方向であり、検出方向４０２は、加速度センサ２６ｂの検出方向とする。図４に示す検出方向４０１は、地面（車両１が移動可能な平面）に平行な平面上で、車両１の進行方向（前後方向）から４５度傾いた方向とする。また、検出方向４０２は、地面に平行な平面上であり、検出方向４０１との間の角度は９０度とする。このように地面に平行な平面上に異なる２つの検出方向を有しているため、前後方向の加速度及び左右方向の加速度を導出することができる。なお、本実施形態は、検出方向を制限するものではなく、少なくとも左右方向の加速度を導出できれば良い。なお、前後方向の加速度及び左右方向の加速度の算出は、周辺監視ＥＣＵ１４で行われる。

車両１の前後方向とは、車両１の進行方向及び進行方向の反対方向を示し、車両１の左右方向とは、車両１の進行方向に垂直な面に含まれている方向とする。

図３に戻り、周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。

図５は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部５００の構成を示すブロック図である。図５に示す周辺監視部５００内の各構成は、図４の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで実現される。

周辺監視部５００は、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、取得部５０１と、角度算出部５０２と、フィルタリング制御部５０３と、画像処理部５０４と、出力部５０５と、を実現する。なお、ソフトウエア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。

そして、本実施形態にかかる周辺監視部５００は、車両１が移動して駐車を行う際に、撮像部１６から入力された撮像画像データ、及び車両状態検出部の一例として機能する、加速度センサ２６（加速度検出部）から取得した、車両状態データの一例としての加速度データに基づいて、車両１の周辺の状況を認識できる画像データを表示することで、運転者の運転を支援する。

取得部５０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部５０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。さらには、取得部５０１は、操作入力部１０に設けられたスイッチで設定されているモードが、オフロードモードであるか否かを示す情報も取得する。取得部５０１は、取得した情報を角度算出部５０２及び画像処理部５０４に出力する。

また、取得部５０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。

角度算出部５０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸（図４の軸４１２）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ピッチ角が０度となる。

ロール角とは、車両１の前後軸（図４の軸４１１）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ロール角が０度となる。そして、角度算出部５０２は、ピッチ角及びロール角を算出するために、まず車両１の前後方向の加速度ａ１と、左右方向の加速度ａ２と、を算出する。

なお、角度算出部５０２は、前後方向の加速度ａ１を、以下の式（１）を用いて算出する。検出方向４０１の加速度をＧＬ１とし、検出方向４０２の加速度をＧＬ２とする。なお、本実施形態では、ピッチ角０°の場合（車両１が水平の場合）に、前後方向の加速度ａ１が０Ｇとなり、ピッチ角９０°の場合（車両１が垂直の場合）に、前後方向の加速度ａ１が１Ｇとなる例とする。

ａ１＝ＧＬ１×ｃｏｓ４５°−ＧＬ２×ｃｏｓ４５°…（１）

次に、角度算出部５０２は、左右方向の加速度ａ２を、以下の式（２）を用いて算出する。

ａ２＝−（ＧＬ１×ｓｉｎ４５°＋ＧＬ２×ｓｉｎ４５°）…（２）

さらに、角度算出部５０２は、以下の式（３）を用いて、ピッチ角ＰＡを算出する。

ＰＡ[deg]＝９０[deg]×ａ１[Ｇ]…（３）

さらに、角度算出部５０２は、以下の式（４）を用いて、ロール角ＲＡを算出する。

ＲＡ[deg]＝９０[deg]×ａ１[Ｇ]…（４）

また、角度算出部５０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。

フィルタリング制御部５０３は、角度算出部５０２により算出されたロール角ＲＡ及びピッチ角ＰＡに対して、ローパスフィルタによるフィルタリングを行う。

本実施形態では、ローパスフィルタをかけることで、ロール角ＲＡ及びピッチ角ＰＡが急峻に変化すること、換言すれば表示装置８に表示される画像データが急峻に切り替わることを抑止する。これにより、運転者は快適に表示装置８に表示される画像データを視聴することができる。なお、本実施形態では、周辺監視部５００内に設けられたフィルタリング制御部５０３によるデジタルフィルタを用いる例について説明するが、例えば、加速度センサ２６から出力された信号に対して行うアナログフィルタ等であっても良い。

画像処理部５０４は、制御部としてそれぞれ機能する、回転制御部５２１と、縮小・拡大制御部５２２と、移動制御部５２３と、合成部５２４と、を備え、表示装置８に表示するための画像データを生成する。

回転制御部５２１は、撮像部１６ａにより撮像された、車両１の前方周辺を写した撮像画像データに対して、回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。

図６は、撮像部１６ａにより撮像された撮像画像データの例とする。図６に示す撮像画像データは、傾いた車両１から撮像されている。運転者は、表示装置８に表示される映像は客観的なものとして捉える傾向が高く、表示装置８に表示された撮像画像データで、縦軸方向で同じ高さの領域であれば、実際の高さも同じ又は実際の高低差ほどないと認識する傾向になる。図６に示す例では、領域６０１と領域６０２とが同じ高さであると認識する可能性がある。

そこで、本実施形態にかかる回転制御部５２１は、加速度センサ２６から求められるロール角に応じて、撮像画像データを回転補正する。言い換えれば、回転制御部５２１は、車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、車両の左右方向の傾きに基づいて、撮像画像データを回転補正（制御）する。例えば、回転制御部５２１は、撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転補正（制御）する。

本実施形態にかかる回転制御部５２１は、撮像部１６が撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。

図７は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の例を示した図である。図７に示す座標系に含まれている各位置座標について、回転制御部５２１が、以下に示す式（５）で位置座標を変換することで、撮像画像データの回転補正を実現できる。なお、dx0、dy0は、レンズ中心を原点とした座標値とする。また、θは、算出されたロール角とする。

図８は、回転制御部５２１により回転補正を行った後の撮像画像データの例を示した図である。図８に示す例では、撮像画像データに写っている被写体（車両１外部の環境）に含まれている水平線が、表示装置８の表示領域の横方向の辺に略平行になるように回転補正されている。換言すれば、撮像画像データの下方向が、当該撮像画像データに写っている被写体（車両１外部の環境）の重力方向になるように回転補正されている。なお、完全に下方向と重力方向とを完全に一致させる必要はなく、撮像画像データ内の高さ関係が認識可能な程度に一致させれば良い。

例えば、図６では同じ高さに見えた領域６０１と領域６０２について、図８では領域６０２が領域６０１より高い位置に存在することが認識できる。このため、運転者は、車両１の周辺の環境について、客観的な高さを認識できる。これにより適切な運転が可能となり、安全性を向上させることができる。

制御部として機能する、縮小・拡大制御部５２２は、回転制御部５２１により回転補正が行われた後の撮像画像データに対して拡大処理又は縮小処理を行う。縮小・拡大制御部５２２が、以下に示す式（６）で位置座標を変換することで、撮像画像データの拡大補正又は縮小補正を実現できる。なお、dx1、dy1は、回転補正が行われた後のレンズ中心を原点とした座標値とする。なお、magＸ、magＹは、縦、横の拡大、縮小率とする。なお、拡大・縮小率は、撮像画像データの表示サイズと、表示装置８の表示領域の画素数との関係に基づいて決定される。

制御部として機能する、移動制御部５２３は、縮小・拡大制御部５２２により拡大又は縮小処理が行われた後の撮像画像データに対して、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から移動させる制御を行う。本実施形態においては、移動制御部５２３は、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から、表示領域内の上方向に移動させる制御を行う。

つまり、車両１が傾くような状況では、運転者は、地面の状況を確認したい傾向が高い。このため、移動制御部５２３が、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から、表示領域内の上方向に移動させる処理を行うこととした。これにより、例えば、撮像画像データに写っている空など、車両１より上方の状況が非表示となり、車両１より下方の状況が表示されることになる。よって、利用者は、表示装置８に表示された撮像画像データを参照することで、車両１周辺の地面の状況を認識できる。これにより、適切な操舵支援を実現できる。

移動制御部５２３は、以下に示す式（７）で位置座標を変換することで、撮像画像データの位置座標の移動を実現できる。なお、dx2、dy2は、拡大、縮小補正を行った後のレンズ中心を原点とした座標値とする。なお、移動前のレンズの中心の位置座標の移動先を（ｃｘ、ｃｙ）とする。

合成部５２４は、移動制御部５２３が移動制御を行った後の撮像画像データに対して、表示装置８の表示領域に合わせて切り出しした後、運転手の操舵を支援するための表示情報を合成する。

図９は、合成部５２４が合成した後の画像データの例を示した図である。図９に示す例では、表示領域９０１には、撮像部１６ｂより撮像された、車両１の左側の前輪周辺の状況が映し出されている。また、表示領域９０２には、撮像部１６ｄより撮像された、車両１の右側の前輪周辺の状況が映し出されている。さらに、表示領域９０３には、車両１のピッチ角及びロール角が認識可能な情報が表示されている。つまり、車両１を示したアイコン９２１の傾きでロール角を示す一方、当該アイコン９２１を通る中心線９１２と線９１１と間の距離でピッチ角を示している。このように、本実施形態では、ロール角及びピッチ角を認識可能な情報を示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。

このように、本実施形態にかかる車両１においては、オフロード走行時に車両１のロール、ピッチ状態をリアルタイムに表示することを可能とする。これにより、運転者は、車両１の周辺の客観的な状況を認識することが容易となる。

また、表示領域９０４には、合成部５２４により切り出された後の撮像画像データが映し出されている。撮像画像データ内の映像内の水平線が、表示装置８の横枠と略平行になるように補正されている。換言すれば、撮像画像データ内の映像の下方向が、重力方向になるように補正されている。これにより、運転者は周辺の状況を認識するのが容易になる。

そして、出力部５０５は、合成部５２４により合成された画像データを、表示装置８に出力する。これにより、補正処理が行われた後の記撮像画像データ共に、ロール角及びピッチ角が認識可能な情報が、表示装置８に表示される。

図８，９の例では、前輪３Ｆの予想進路線９０５が含まれている。周辺監視ＥＣＵ１４（ＣＰＵ１４ａ）は、舵角センサ１９，タイヤ角センサ１３ｂの検出結果等に基づいて予定進路を算出することができ、出力される画像に予定進路に対応した予想進路線９０５を含める（重畳する）ことができる。予想進路線９０５は、予定された進路を示す表示要素の一例である。周辺監視ＥＣＵ１４は、上述した回転、拡大・縮小、移動補正に対応して、予想進路線９０５の表示位置や、大きさ、姿勢（傾き）等を補正する。また、周辺監視ＥＣＵ１４は、予想進路線９０５の位置が画面の中央から大きくずれるような場合には、ずれが減る方向に表示領域と予想進路線９０５の位置を補正することも可能である。

また、図９の例では、表示領域９０３，９０４の横方向の辺（図９の上辺または下辺）に対するアイコン９２１の傾きが、車両１のロール角度となる。したがって、周辺監視ＥＣＵ１４は、出力される画像に、アイコン９２１の周囲を取り囲む角度スケール９０６ａ（傾斜スケール）を、表示領域９０３に対して角度が不変となる状態に含めることにより、アイコン９２１を利用した傾斜計９０６（ロール角度表示部）を構成することができる。例えば、表示領域９０４の表示のみでは、水平方向、鉛直方向、車両１の姿勢（ロール角度やピッチ角）が分かり難い場合がある。この点、図９の例のように、ロール角度やピッチ角に応じて画面に対して回転（ロール）やピッチングされるアイコン９２１が表示されたり、傾斜計９０６が表示されたりすることで、表示領域９０４の画像の状態によらず、水平方向、鉛直方向、車両１の姿勢（ロール角度）が分かり易くなる。このように、表示領域９０４と表示領域９０３を一緒に表示する（同一画面内に表示するまたは並列して表示する）ことにより、車両周辺の状況や車両の姿勢の状況がいっそう理解し易くなる。

また、本実施形態は、上述した回転、拡大・縮小、移動補正を常に行うものではなく、車両１がオフロードモードになった場合に行うように設定しても良い。例えば、取得部５０１が取得したオフロードモードであるか否かを示す情報を参照し、画像処理部５０４がオフロードモードの場合に、画像処理部５０４が、上述した回転、拡大・縮小、移動補正を行う。

なお、オフロードモードとは、オフロード走行において、車両１の４ＷＤの性能を引き出すためのモードとし、トランスファーギアの全体を低く設定するモードとする。つまり、本実施形態は、オフロード走行を行う際の操作に連動して、表示装置８に表示される撮像画像データが切り替わることとする。なお、本実施形態は、表示装置８に表示される映像の切替は、オフロードモードに切り替えられた場合に制限するものではなく、例えば、２−４ＷＤ切替で４ＷＤに切り替えられた場合に、回転補正が行われた映像を表示するように制御を行っても良い。

次に、本実施の形態にかかる周辺監視部５００における、表示装置８への表示処理について説明する。図１０は、本実施の形態にかかる周辺監視部５００における上述した処理の手順を示すフローチャートである。

まず、取得部５０１が、撮像部１６から撮像画像データを取得する（ステップＳ１００１）。次に、取得部５０１が、加速度センサ２６から加速度データを取得する（ステップＳ１００２）。

そして、角度算出部５０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１００３）。

次に、フィルタリング制御部５０３が、算出されたロール角及びピッチ角に対して、ローパスフィルタによるフィルタリングを行う（ステップＳ１００４）。

そして、回転制御部５２１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１００５）。

次に、縮小・拡大制御部５２２及び移動制御部５２３が、回転制御が行われた後の撮像画像データに対して、拡大制御及び移動制御を行う（ステップＳ１００６）。

そして、合成部５２４が、拡大制御及び移動制御が行われた後の撮像画像データに対して、表示装置８で表示される表示領域に応じた切り出しを行う（ステップＳ１００７）。

次に、合成部５２４が、切り出した撮像画像データに対して、前輪周辺の状況を示した撮像画像データや、ピッチ角及びロール角を認識可能な表示情報を合成する（ステップＳ１００８）。

そして、出力部５０５が、合成部５２４により合成された後の画像データを、表示装置８に出力する（ステップＳ１００９）。

本実施形態にかかる周辺監視部５００では、上述した構成を備えることで、車両１周辺の高低差を認識することが容易になる。これにより操舵の負担を軽減し、安全性を向上させることができる。

＜第２の実施形態＞
図１１は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部７００の構成を示すブロック図である。図４の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで、図１１に示される、取得部７０１と、角度算出部７０２と、フィルタリング制御部７０３と、画像処理部７０４と、出力部７０５と、を実現する。また、周辺監視部７００は、ＲＡＭ１４ｃ上に鳥瞰図画像記憶部７０６を実現する。

取得部７０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部７０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられて車両状態検出部の一例として機能する、加速度センサ２６ａ、２６ｂ（加速度検出部）から出力された、車両状態データの一例としての加速度データと、を取得する。取得部７０１は、取得した情報を角度算出部７０２及び画像処理部７０４に出力する。

また、取得部７０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。

角度算出部７０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸（図４の軸４１２）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ピッチ角が０度となる。

ロール角とは、車両１の前後軸（図４の軸４１１）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ロール角が０度となる。そして、角度算出部７０２は、ピッチ角及びロール角を算出するために、まず車両１の前後方向の加速度ａ１と、左右方向の加速度ａ２と、を算出する。

なお、角度算出部７０２は、前後方向の加速度ａ１を、以下の式（１）を用いて算出する。検出方向４０１の加速度をＧＬ１とし、検出方向４０２の加速度をＧＬ２とする。なお、本実施形態では、ピッチ角０°の場合（車両１が水平の場合）に、前後方向の加速度ａ１が０Ｇとなり、ピッチ角９０°の場合（車両１が垂直の場合）に、前後方向の加速度ａ１が１Ｇとなる例とする。

ａ１＝ＧＬ１×ｃｏｓ４５°−ＧＬ２×ｃｏｓ４５°…（１）

次に、角度算出部７０２は、左右方向の加速度ａ２を、以下の式（２）を用いて算出する。

ａ２＝−（ＧＬ１×ｓｉｎ４５°＋ＧＬ２×ｓｉｎ４５°）…（２）

さらに、角度算出部７０２は、以下の式（３）を用いて、ピッチ角ＰＡを算出する。

ＰＡ[deg]＝９０[deg]×ａ１[Ｇ]…（３）

さらに、角度算出部７０２は、以下の式（４）を用いて、ロール角ＲＡを算出する。

ＲＡ[deg]＝９０[deg]×ａ２[Ｇ]…（４）

また、角度算出部７０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。

フィルタリング制御部７０３は、角度算出部７０２により算出されたロール角ＲＡ及びピッチ角ＰＡに対して、ローパスフィルタによるフィルタリングを行う。

本実施形態では、ローパスフィルタをかけることで、ロール角ＲＡ及びピッチ角ＰＡが急峻に変化すること、換言すれば表示装置８に表示される画像データが急峻に切り替わることを抑止する。これにより、運転者は快適に表示装置８に表示される画像データを視聴することができる。なお、本実施形態では、周辺監視部７００内に設けられたフィルタリング制御部７０３によるデジタルフィルタを用いる例について説明するが、例えば、加速度センサ２６から出力された信号に対して行うアナログフィルタ等であっても良い。

画像処理部７０４は、制御部としてそれぞれ機能する、回転制御部７１１と、鳥瞰図画像生成部７１２（生成部）と、移動量算出部７１３と、変換部７１４と、合成部７１５と、を備え、表示装置８に表示するための画像データを生成する。

回転制御部７１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、車両状態データから算出される水平方向に対する車両の左右方向の傾きに基づいて（換言すればロール角に応じて）回転補正する。水平方向は、例えば、進行方向に対して垂直な方向である。また、撮像画像データは、車両状態データから算出される車両の左右方向の傾きに基づいて、車両を水平になるような回転方向と同方向に回転補正しても良い。この回転補正は、換言すると、車両１の左右方向が水平な状態（重力方向に垂直な水平面上に車両１が配置された状態）で撮影したかのように、撮像画像データを回転補正させるものでもよい。なお、本実施形態では、車両状態データとして、加速度を用いた例とするが、加速度に制限するものではなく車両１の状態に関する情報であれば良い。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。

図１２は、オフロード走行時に車両１が石等に乗り上げた状況の例を示した図である。図１２に示す例では、車両１が乗り上げたためロール角θだけ傾いている。このような状態で撮像部１６ａにより撮像された撮像画像データから鳥瞰図画像データを作成すると、ロール角θに応じた歪みが生じる。

そこで、本実施形態にかかる回転制御部７１１は、加速度センサ２６から求められるロール角θに応じて、撮像画像データを回転補正する。

本実施形態にかかる回転制御部７１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。

図１３は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の例を示した図である。図１３に示す座標系に含まれている各位置座標について、回転制御部７１１が、以下に示す式（５）で位置座標を変換することで、撮像画像データの回転補正を実現できる。なお、ｄｘ０、ｄｙ０は、レンズ中心を原点とした座標値とする。また、図１３で示される角度θは、算出されたロール角とする。

回転制御部７１１が回転補正を、表示領域８０１に含まれている全ての画素に対して行うことで、表示領域８０１が角度θだけ回転した表示領域８０２が生成される。そして、周辺監視部７００は、回転制御された後の表示領域８０２を有する撮像画像データに基づいて、鳥瞰図画像データを生成する。これにより、車両１に生じたロール角θによる傾きが補正された鳥瞰図画像データを生成できる。

また、本実施形態にかかる回転制御部７１１は、撮像画像データを回転制御する角度を、水平の地面から車両１が傾いたロール角に制限するものではなく、前回算出されたロール角と、今回算出されたロール角との差に応じて、撮像画像データの回転制御を行っても良い。これは、例えば、車両１が所定の角度（前回算出されたロール角）だけ傾いた地面上を走行している際に車両１を垂直方向上からの鳥瞰図画像データを作成するよりも、垂直方向上から所定の角度だけ傾いた角度からの鳥瞰図画像データを作成した方が、車両１周辺の地面の状況を認識しやすいためである。このような場合において、回転制御部７１１は、車両１が石等に乗り上げた場合に、石等に乗り上げて傾いたロール角の差分（前回算出されたロール角と今回算出されたロール角の差分）だけ、撮像画像データの回転制御を行う。

鳥瞰図画像生成部７１２は、回転制御された後の撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルも用いて変換しても良い。

鳥瞰図画像データの生成は、撮像画像データを取得する毎に行われる。換言すれば、鳥瞰図画像生成部７１２は、回転制御部７１１により回転制御された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部７１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成する。

本実施形態では表示装置８に表示する画像データは、車両１が所定の移動量を移動する毎に更新する。そこで、移動量算出部７１３は、鳥瞰図画像生成部７１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、車両１の移動量を算出する。

しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかる移動量算出部７１３は、鳥瞰図画像生成部７１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。

具体的には、本実施形態にかかる移動量算出部７１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図より後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリア（表示範囲）を切り出して、オプティカルフローを算出する。

図１４は、移動量算出部７１３により算出されるオプティカルフローの概念を示した図である。図１４の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとし、図１４の（Ｂ）を、今回鳥瞰図画像生成部７１２により生成された第２の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとする。

そして、移動量算出部７１３は、図１４の（Ａ）で示した画像データと、図１４の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図１４の（Ｃ）が算出されたオプティカルフローの例を示している。図１４の（Ｃ）で示す例では、図１４の（Ａ）内で示された特徴点（“×”で示される）が、図１４の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。

そして、移動量算出部７１３は、算出されたオプティカルフローの平均値から、車両１の移動量を算出する。

図１５は、オプティカルフローの平均値と、車両１の移動量との関係を示した図である。図１５に示す例では、矢印９０１を、オプティカルフローの平均値とする。車両１は、後輪軸を中心に旋回を行う。このため、オプティカルフローの平均値９０１の場合に、車両１は旋回角θ1で旋回していることになる。これにより、移動量算出部７１３は、車両１の旋回角θ1を算出する。さらに、移動量算出部７１３は、オプティカルフローの長さから、車両１の移動量を算出する。また、移動量算出部７１３は、車両１の前後軸方向の移動量と、車両１の左右軸方向の移動量と、をそれぞれ分けて算出しても良い。

変換部７１４は、移動量算出部７１３により算出された移動量が所定の距離以上の場合に、鳥瞰図画像生成部７１２により今回生成された鳥瞰図画像データを、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと合成するための鳥瞰図画像データに変換する。

ところで、車両１が傾いた場合に、回転制御部７１１で傾きは修正するが、撮像部１６により撮像される撮像画像データには傾きが原因の歪みが残った状態となる。そこで、変換部７１４が歪みを低減するように、鳥瞰図画像データに対して射影変換を行う。

本実施形態では、射影変換を、車両１の傾きにより生じる、撮像画像データ内の路面の歪みを、車両１が傾いていない場合に変換するために用いるものであり、例えば、撮像画像データ内の、台形形状の領域を、長方形や正方形の領域に変換する、いわゆる台形補正等も含まれる。

図１６は、車両１の傾きによる撮像画像データの歪みと、変換部７１４で変換した後の撮像画像データの表示範囲と、を示した図である。図１６に示す例では、車両１がロール状態の場合に生じる鳥瞰図画像データの歪み状態（ａ１）、（ａ２）を示すと共に、車両１がピッチ状態の場合に生じる鳥瞰図画像データの歪み状態（ｂ１）、（ｂ２）を示している。このように車両１の傾きで鳥瞰図画像データが歪んでいる状態で、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと合成すると、歪みが蓄積されていくことになる。

そこで、本実施形態にかかる変換部７１４は、撮像画像データを撮像したときに取得した加速度データから求められるロール角に基づいて特定される表示範囲（（ａ１）、（ａ２）、（ｂ１）、（ｂ２））で切り出した第２の撮像画像データに対して、図１６の当該第２のロール角に基づいて定められる射影変換を行うこととした。当該射影変換により、表示範囲（（ａ１）、（ａ２）、（ｂ１）、（ｂ２））が、図１６の（ｃ）で示される表示範囲に変換される。なお、ロール角に基づいて、射影変換の対象となる表示領域を示す４点の位置座標を特定する手法は、従来の手法を問わずどのような手法を用いても良く、例えば、ロール角θと４点の位置座標との対応関係を予め備えていても良い。

合成部７１５は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと、変換部７１４により射影変換した後の鳥瞰図画像データと、を合成する。

図１７は、合成部７１５により合成された後の鳥瞰図画像データの例を示した図である。図１７に示す鳥瞰図画像データのうち、表示範囲１１０１が、もっとも最近合成された範囲である。そして、表示範囲１１０２が、その前に合成された範囲であり、表示範囲１１０３が、さらにその前に合成された範囲とする。このように本実施形態では、車両１が移動する毎に、鳥瞰図画像データが合成されていく。

鳥瞰図画像記憶部７０６は、合成部７１５により合成された後の鳥瞰図画像データを記憶する。このように、鳥瞰図画像記憶部７０６が、車両１が所定の移動量を移動する毎に、新たに生成された鳥瞰図画像データを合成され、記憶されることで、車両１の下の地面の状況を示した鳥瞰図画像データが鳥瞰図画像記憶部７０６に記憶されることになる。

図１８は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データの例を示した図である。図１８に示す様に、鳥瞰図画像データには、現在撮像された撮像画像データから生成された鳥瞰図画像データの他に、前回までに撮像された撮像画像データから生成された鳥瞰図画像データと、が合成されて記憶されている。図１８に示す様に、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データには、車両１の下の地面も含まれている。なお、図１８で示された車両１の形状は、説明を容易にするために示したもので、鳥瞰図画像記憶部７０６に記憶された実際の鳥瞰図画像データには含まれていないものとする。

また、合成部７１５は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと、変換部７１４により射影変換した後の鳥瞰図画像データと、を合成する際に、車両１が旋回角θ1で旋回している場合に、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データを当該旋回角θ1で回転処理を行ってから、変換部７１４により射影変換した後の鳥瞰図画像データと合成する。これにより、車両１の旋回に合わせた鳥瞰図画像データを表示できる。

出力部７０５は、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと共に、様々な情報を合成した画像データを、表示装置８に出力する。図１９は、出力部７０５が出力する画面情報の例を示した図である。図１９に示す画面情報の例では、鳥瞰図画像データ１３０１の他に、撮像部１６ａにより車両１の進行方向を撮像した撮像画像データ１３０２と、撮像部１６ｂより撮像された、車両１の左側の前輪周辺の撮像画像データ１３０３と、撮像部１６ｄより撮像された、車両１の右側の前輪周辺の撮像画像データ１３０４と、が映っている。さらには、表示領域１３０５には、車両１のピッチ角及びロール角が認識可能な情報として表示されている。つまり、車両１を示したアイコンの傾きでロール角を示す一方、当該アイコンを通る中心線と、水平線と間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。

また、出力部７０５が出力する、撮像部１６ａにより車両１の進行方向を撮像した撮像画像データ１３０２は、回転制御が行われた後の撮像画像データとする。これにより、撮像画像データ内の高さ関係を、運転者は認識することが可能となる。

次に、本実施形態にかかる周辺監視部７００における、表示装置８への表示処理について説明する。図２０は、本実施形態にかかる周辺監視部７００における上述した処理の手順を示すフローチャートである。

まず、取得部７０１が、撮像部１６から撮像画像データを取得する（ステップＳ１４０１）。次に、取得部７０１が、加速度センサ２６から加速度データを取得する（ステップＳ１４０２）。

そして、角度算出部７０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１４０３）。算出されたロール角及びピッチ角は、フィルタリング制御部７０３がローパスフィルタによるフィルタリングを行うものとする。

そして、回転制御部７１１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１４０４）。

次に、鳥瞰図画像生成部７１２が、回転制御をした後の撮像画像データから、車両１の進行方向であり且つ当該車両１の周辺に存在する所定の領域を俯瞰的に示した鳥瞰図画像データを生成する（ステップＳ１４０５）。

移動量算出部７１３が、生成された鳥瞰図画像データから、予め定められた表示範囲（エリア）の画像データを抽出する（ステップＳ１４０６）。また、移動量算出部７１３は、過去（例えば前回移動量が所定の閾値以上と判定された際）に鳥瞰図画像データから同様の範囲から抽出された画像データを保持している。

そして、移動量算出部７１３は、鳥瞰図画像データから抽出された予め定められた表示範囲（エリア）の画像データに基づいて、車両１の移動量を算出する（ステップＳ１４０７）。

そして、画像処理部７０４は、算出された移動量が所定の閾値以上であるか否かを判定する（ステップＳ１４０８）。閾値としては、例えば１０ｃｍ等するが、実施の態様に応じて適切な閾値が設定されていればよい。

画像処理部７０４は、移動量が所定の閾値以上と判定した場合（ステップＳ１４０８：Ｙｅｓ）、鳥瞰図画像生成部７１２が、現在撮像された撮像画像データであって、ステップＳ１４０４の回転制御を行う前の撮像画像データから、鳥瞰図画像データを生成する（ステップＳ１４０９）。

その後、変換部７１４が、現在の車両１のロール角及びピッチ角に応じて、鳥瞰図画像データの射影変換を行う（ステップＳ１４１０）。ロール角及びピッチ角のうちいずれか一つ以上により生じた、鳥瞰図画像データの歪みを、台形補正を含む射影変換で補正する。また、車両１においてロール角が生じた場合に、重心を基準として傾くのではなく、車輪３等を軸として傾くので、左右方向にズレが生じる。そこで、本実施形態にかかる変換部７１４は、左右方向のずれについてオフセット修正を行う。同様に、ピッチ角が生じた場合にも、前後方向のずれについてオフセット修正を行う。

次に、合成部７１５が、射影変換された後の現在の鳥瞰図画像データを、鳥瞰図画像記憶部に記憶されている鳥瞰図画像データと合成する（ステップＳ１４１１）。なお、合成部７１５は、車両１が旋回角θ1で旋回した場合に、鳥瞰図画像記憶部７０６に記憶されている鳥瞰図画像データを合成前の当該旋回角θ1に合わせた回転制御を行っておく。

そして、出力部７０５が、鳥瞰図画像記憶部７０６に記憶されている鳥瞰図画像データから、表示装置８に表示する鳥瞰図画像データを切り出す（ステップＳ１４１２）。その後、出力部７０５が、切り出した鳥瞰図画像データに様々な情報を付与した上で、表示装置８に出力する（ステップＳ１４１３）。

一方、画像処理部７０４は、移動量が所定の閾値より小さいと判定した場合（ステップＳ１４０８：Ｎｏ）、既に表示装置８に表示されている鳥瞰図画像データ等の出力を継続する（ステップＳ１４１４）。

＜第３の実施形態＞
第２の実施形態では車両１の状況を確認するための鳥瞰図画像データを表示する実施形態について説明した。しかしながら、鳥瞰図画像データのみを表示することに制限するものではなく、鳥瞰図画像データに対して、現在の状況を確認するための様々な情報を付与してもよい。そこで、第３の実施形態では、鳥瞰図画像データに対して、様々な情報を付与する例について説明する。

まずは、第３の実施形態にかかる周辺監視部１７００の構成について説明する。図２１は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部１７００の構成を示すブロック図である。

図２１に示す周辺監視部１７００は、第１の実施の形態の周辺監視部７００と比べて、取得部７０１と実施する処理が異なる取得部１７０１に変更され、画像処理部７０４と実施する処理が異なる画像処理部１７０２に変更されている点で異なる。

取得部１７０１は、第２の実施形態と同様に、撮像画像データと、加速度データと、を取得するほか、（図示しない）ストロークセンサから前輪３Ｆのサスペンションの沈み具合が示されたサス検出結果と、舵角センサ１９から前輪３Ｆ及び後輪３Ｒの操舵角の検出結果と、を取得する。本実施形態では、取得されたサス検出結果、及び操舵角の検出結果は、画像処理部１７０２に出力される。

画像処理部１７０２は、第２の実施形態の画像処理部７０４と比べて、タイヤ外形算出部１７１１が追加され、軌跡算出部１７１２が追加され、第２の実施形態の合成部７１５と実施する処理が異なる合成部１７１３に変更された点で、第２の実施形態と異なる。

タイヤ外形算出部１７１１は、取得部１７０１が取得したサス検出結果、及び操舵角の検出結果に基づいて、鳥瞰図画像データに重畳すべきタイヤの外形を算出する。例えば、鳥瞰視点でカメラを設置した場合に、前輪３Ｆ及び後輪３Ｒは、サスペンションが沈み込むとカメラに近づくため大きく写り、サスペンションが伸びるとカメラから遠ざかるため小さく写り込む。そこで、本実施形態では、鳥瞰図画像データに車両１のタイヤ外形を表すために、タイヤ外形算出部１７１１が、サス検出結果及び操舵角に基づいて、鳥瞰図画像データに重畳すべきタイヤ外形形状（前輪３Ｆの大きさ、及び角度）を算出する。

軌跡算出部１７１２は、前輪３Ｆの操舵角、及び後輪３Ｒの操舵角に基づいて、車両１の進行方向における移動予測軌跡を算出する。本実施形態にかかる軌跡算出部１７１２は、前輪３Ｆの移動予測軌跡として、現在の撮像画像データに付与すべき移動予測軌跡を算出し、後輪３Ｒの移動予測軌跡として、鳥瞰図画像データに付与すべき移動予測軌跡を算出する。算出された移動予測軌跡は、出力部７０５により撮像画像データ及び鳥瞰図画像データに付与された上で、出力される。

また、合成部１７１３は、第２の実施形態と同様の処理で、鳥瞰図画像記憶部７０６に記憶された鳥瞰図画像データと、変換部７１４により射影変換した後の鳥瞰図画像データと、を合成した後に、合成された後の鳥瞰図画像データに対して、現在、前輪３が存在すると推定される位置に、前輪３Ｆの操舵角及び大きさを認識できるマークを付与する。

合成部１７１３が合成する毎に、前輪３Ｒが存在する位置にマークを付与することで、前輪３Ｒの移動軌跡が鳥瞰図画像データに表されることになる。そして、出力部７０５は、合成部１７１３により合成された鳥瞰図画像データに基づいて、表示装置８に画面情報の出力を行う。

図２２は、第３の実施形態にかかる出力部７０５が出力する画面情報の例を示した図である。図２２に示す例では、鳥瞰図画像データ１６０１の他に、撮像部１６ａにより車両１の進行方向を撮像した撮像画像データ１６０２等が写っている。

進路方向を撮像した撮像画像データ１６０２では、軌跡算出部１７０２により算出された、前輪３Ｆの移動予測軌跡１６１１、１６１２（予定進路を示す表示要素）が表されている。

一方、鳥瞰図画像データ１７０１では、前輪３Ｆの外形に基づいて付与されたマークが連続的に付与されたことから生じている、車両１の移動軌跡１６２１、１６２２が表されている。また、移動軌跡１６２１、１６２２に含まれているマークの大きさにより、運転者は、路面における凹凸を認識することができる。つまり、大きいマークが付与された箇所は、サスペンションが深く沈んでいる、換言すれば石等の障害物がある可能性が高いと考えられる。このため、運転者は、当該マークを確認しながら運転を行うことで、後輪３Ｆや、（図示しない）ディファレンシャルが衝突しないよう操作を行うことができる。

また、鳥瞰図画像データ１６０２には、軌跡算出部１７０３により算出された、後輪３Ｆの移動予測軌跡１６３１、１６３２が表されている。運転者は、移動予測軌跡１６３１、１６３２を確認できるので、例えば、後輪３Ｒを、障害物に衝突しなかった前輪３Ｆの移動軌跡に重なるよう運転等を行うことで、後輪３Ｒが障害物に衝突すること等を抑止できる。

なお、鳥瞰図画像生成部１７０２が、過去の鳥瞰図画像データに、前輪３Ｆの位置を示すマークを付与する際に、サス検出結果以外の情報に基づいて色や形状を異ならせても良い。例えば、前輪３Ｆがスリップ等した位置の色や形状を異ならせても良い。これにより、運転者が運転する際の安全性を向上させることができる。

上述した実施形態にかかる周辺監視部では、上述した構成を備えることで、車両１の下の地面を含む周辺の状況を認識することが容易になる。これにより運転の負担を軽減し、安全性を向上させることができる。

第２の実施形態あるいは第３の実施形態は、次の［１］〜［８］のうちいずれかの車両の制御装置あるいはプログラムの一例である。
［１］
車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮影画像データを回転制御する回転制御部と、
前記回転制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成部と、
を備える車両の制御装置。
［２］
前記生成部は、前記回転制御部により回転制御された第１の撮像画像データに基づいて、第１の鳥瞰図画像データを生成し、前記第１の撮像画像データを撮像してから前記車両が移動した後に前記撮像部により撮像され且つ前記回転制御部により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成し、
前記第１の鳥瞰図画像データと前記第２の鳥瞰図画像データとを合成する合成部を、さらに備える、
［１］に記載の車両の制御装置。
［３］
前記取得部は、前記車両状態検出部から、前記車両状態データとして、前記車両の加速度を取得し、
前記回転制御部は、さらに、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて前記撮像画像データを回転制御する、
［１］又は［２］に記載の車両の制御装置。
［４］
前記第２の撮像画像データを撮像したときに取得した第２の前記加速度データから求められる第２のロール角に基づいて特定される表示範囲で切り出した前記第２の撮像画像データに対して、当該第２のロール角に基づいて定められる射影変換を行う変換部をさらに備え、
前記合成部は、前記第１の鳥瞰図画像データと、前記変換部に変換された前記第２の鳥瞰図画像データとを合成する、
［１］乃至［３］のいずれか１つに記載の車両の制御装置。
［５］
前記回転制御部は、前記第１の撮像画像データを撮像したときに取得した第１の前記加速度データから求められる第１のロール角と、前記第２の撮像画像データを撮像したときに取得した第２の前記加速度データから求められる第２のロール角と、の差に応じて、前記撮像画像データを回転制御する、
［１］乃至［４］のいずれか１つに記載の車両の制御装置。
［６］
前記合成部は、前記車両が移動する前に撮像された、前記車両の下の地面を含んだ前記第１の鳥瞰図画像データと、前記第２の鳥瞰図画像データとを合成する、
［１］乃至［５］のいずれか一つに記載の車両の制御装置。
［７］
前記ロール角、又は前記車両の左右軸周りの傾きを示したピッチ角、のうちいずれか一つ以上を表した情報と、前記合成部により合成された鳥瞰図画像データと、を出力する出力部を、
さらに備える［１］乃至［６］のいずれか一つに記載の車両の制御装置。
［８］
車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップと、
前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する回転制御ステップと、
前記回転制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両周辺の地面を表した鳥瞰図画像データを生成する生成ステップと、
をコンピュータに実行させるためのプログラム。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

５００…周辺監視部、５０１…取得部、５０２…角度算出部、５０３…フィルタリング制御部、５０４…画像処理部、５０５…出力部、５２１…回転制御部、５２２…縮小・拡大制御部、５２３…移動制御部、５２４…合成部、７００…周辺監視部、７０１…取得部、７０２…角度算出部、７０３…フィルタリング制御部、７０４…画像処理部、７０５…出力部、７０６…鳥瞰図画像記憶部、７１１…回転制御部、７１２…鳥瞰図画像生成部、７１３…移動量算出部、７１４…変換部、７１５…合成部

Claims (9)

1. 車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得部と、
   前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御部と、
   を備え、
   前記取得部は、前記車両状態検出部から、前記車両状態データとして、前記車両の加速度データを取得し、
   前記制御部は、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように前記撮像画像データを回転制御する車両の制御装置。
2. 前記制御部は、さらに、前記撮像画像データの拡大処理又は縮小処理行う請求項１に記載の車両の制御装置。
3. 前記制御部は、さらに、前記撮像画像データに対して前記レンズの中心に対応する位置座標を前記表示領域の中心から移動させる請求項１または３に記載の車両の制御装置。
4. 前記制御部は、さらに、前記レンズの中心に対応する位置座標を前記表示領域の中心から前記表示領域内の上方向に移動させる請求項４に記載の車両の制御装置。
5. 前記撮像画像データが表示される表示装置には、前記車両の前後軸周りの傾きを示したロール角と前記車両の左右軸周りの傾きを示したピッチ角の少なくとも一方を表した情報が前記撮像画像データと共に表示される請求項１，３，４，５のいずれか１項に記載の車両の制御装置。
6. 前記取得部は、さらに、前記車両がオフロード用のモードに切り替えられているか否かを示す情報を取得し、
   前記制御部は、前記車両がオフロード用のモードに切り替えられている場合に、前記車両状態データに応じて前記撮像画像データを回転制御する請求項１，３，４，５，６のいずれか１項に記載の車両の制御装置。
7. 前記制御部により回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成部をさらに備える請求項１，３，４，５，６，７のいずれか１項に記載の車両の制御装置。
8. 車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データと、当該車両に設けられた車両状態検出部から出力された車両状態データと、を取得する取得ステップであって、前記車両状態データとして、前記車両の加速度データを取得する取得ステップと、
   前記車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の左右方向の傾きに基づいて、前記撮像画像データを回転制御する制御ステップであって、当該制御ステップは、前記撮像部が撮像に用いるレンズの中心に対応する、前記撮像画像データの表示領域内の位置座標を原点として、前記加速度データから求められる、前記車両の前後軸周りの傾きを示したロール角に応じて、前記撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように前記撮像画像データを回転制御する制御ステップと、
   をコンピュータに実行させるためのプログラム。
9. 前記制御ステップにより回転制御された前記撮像画像データに基づいて、俯瞰視点で前記車両の周辺の地面を表した鳥瞰図画像データを生成する生成ステップをさらに前記コンピュータに実行させる請求項９に記載のプログラム。

Images