JP5042794B2 - 車両周辺画像提供装置及び車両周辺画像表示方法 - Google Patents

Description

本発明は、駐車場や車庫等において運転者の便宜（駐車支援）を図るのに有用な技術に関し、より詳細には、駐車の際に当該車両の画像とその周辺の画像を合成して運転者に提供する車両周辺画像提供装置及び車両周辺画像表示方法に関する。

上述した車両周辺画像提供装置は、多くの場合、ナビゲーション装置を搭載した車両に搭載されている。典型的な車載用ナビゲーション装置には、ナビゲーションに係る一切の処理を制御するＣＰＵ、地図データを格納したＤＶＤ−ＲＯＭやＨＤＤ等の記憶装置、画面を通して案内情報を提供するディスプレイ装置、自車の現在位置を検出するためのＧＰＳ受信機、自車の進行方位や走行速度等を検出するためのジャイロや車速センサ等が設けられている。そして、ＣＰＵにより、自車の現在位置を含む地図データを記憶装置から読み出し、この地図データに基づいて自車位置周囲の地図画像を表示装置の画面に描画すると共に、自車の現在位置を指示する自車位置マークを画面上に重ね合わせて表示し、自車の移動に応じて地図画像をスクロール表示したり、地図画像を画面に固定して自車位置マークを移動させたりして、自車が現在何処を走行しているのかを一目で分かるようにしている。さらにナビゲーション装置には、ユーザが設定した目的地に向けて道路を間違うことなく容易に走行できるように案内する機能（経路誘導機能）が搭載されている。

かかるナビゲーション装置の地図データベースには駐車場の情報も含まれており、当然のことながら、その駐車場を目的地として設定すれば上記の経路誘導機能に基づいて自車両を当該駐車場の場所まで誘導することができる。あるいは、ナビゲーション装置による経路誘導機能に頼らずに、運転者が車両を走行中にたまたま駐車場を見つけて立ち寄る場合もある。いずれにせよ、駐車場に到着後は、その駐車場内で適当な空きスペース（駐車スペース）を見つけてその場所に自車両を停めることになる。

その際、従来の駐車の仕方では、運転者がルームミラー等を見ながら、もしくは窓から顔を出して後ろを確認しながら、あるいは同乗者もしくは第三者の誘導に基づき、車両を後ろ向きに移動させて当該駐車スペースに収まるようにしていた。しかし、このような方法では、駐車スペース内にきっちり収まるように車両を操作するのは非常に難しく、かなりの熟練を必要とする。また、窓から顔を出して車両を操作する方法では、安全性の面から好ましいとはいえない。

そこで、かかる不都合に対処するための技術として、車両周囲の所要箇所にそれぞれカメラを搭載し、各カメラで取得した車両周辺の画像（動画像）を車載ディスプレイの画面に表示することで、運転者が車両の全周囲を確認できるようにした方法が提案されている。この技術では、各カメラはそれぞれレンズを下方に向けて広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されており、また、各カメラで撮影された画像の視点を車両上方からの視点に変換し、視点変換後の画像（俯瞰画像）を合成して車両周辺の画像を生成して、画面に表示している。その際、画面上で自車両に相当する部分は「空いた」ままであるので、この「空いた」部分に自車両の画像を表示するようにしている。

現状の技術では、画面上で自車両を真上から見た表示を行う場合、あらかじめ自車両の画像（自車画像）をメモリ等に準備しておき、駐車時など必要なときにこの自車画像を視点変換後の車両周辺の画像に合成して、ディスプレイの画面に表示するようにしている。なお、以下の記述において、視点変換後の車両周辺の画像（俯瞰画像）に自車画像を合成して画面に表示したものは、自車両を真上から見ているという意味で、便宜上、「トップビュー画像（表示）」ともいう。

上記の従来技術に関連する技術としては、例えば、特許文献１に記載されているように、各カメラで撮影された画像に対し、隣接するカメラ画像の画素データ間の差異が小さくなるように補正してから、各カメラの画像を視点変換して合成したものがある。
特開２００２−３２４２３５号公報

ところで、トップビュー画像を生成する際には、各カメラで撮影された車両周辺の画像のうち所定の領域を抽出し、抽出した各カメラの撮像画像を視点変換して合成している。つまり、カメラの撮像画像のうち抽出された部分が表示装置の画面に表示される画像となる。なお、この「所定の領域」は、車両が工場から出荷される前に、所定の設定条件（例えば、乗員の人数及びその座席位置）のもとで設定されたものである。

一方、各カメラが搭載されている車両においては、乗員の人数やその座席位置、あるいは積載物の重量やその積載位置によって姿勢が変化する。例えば、乗員が車両の後部に集中して座ったときには車両の後部が沈み込む（車両の後部が路面に近づく）。このとき、車両の後部が沈み込む前の車両の姿勢と、車両の後部が沈み込んだ後の車両の姿勢が大きく異なる場合には、以下に示すような問題が生じることがある。

図１は、車両の後部が沈み込む前の車両の後部に搭載されたカメラ（以下、単に「後方カメラ」という）の路面に対する位置及びそのときの後方カメラによる表示画像の範囲と、車両の後部が沈み込んだ後の後方カメラの路面に対する位置及びそのときの後方カメラによる表示画像の範囲との関係を示す図である。また、図２は、車両の後部が沈み込む前の車両の左側部に搭載されたカメラ（以下、単に「左方カメラ」という）の路面に対する位置及びそのときの左方カメラによる表示画像の範囲と、車両の後部が沈み込んだ後の左方カメラの路面に対する位置及びそのときの左方カメラによる表示画像の範囲との関係を示す図である。

図１に示すように、車両の後部が沈み込むと後方カメラは路面に近づき、当該カメラによる表示画像の範囲（図１では破線で示した範囲）が沈み込む前の表示範囲（図１では実線で示した範囲）よりも狭くなる。また、図２に示すように、車両の後部が沈み込むと左方カメラも、後方カメラほどではないものの路面に近づく。これにより、当該カメラによる表示画像の範囲（図２では破線で示した範囲）も、沈み込む前の表示範囲（図２では実線で示した範囲）よりも狭くなる。なお、車両の後部が沈み込むと、車両の前部に搭載されたカメラ（以下、単に「前方カメラ」という）は路面から遠ざかる。これにより、上記の場合とは逆に、当該カメラによる表示画像の範囲は沈み込む前のそれよりも広くなる。

このように、車両の姿勢が変化すると、各車載カメラの撮像範囲が変化し、これに伴い各車載カメラの表示画像の範囲も変化する。これにより、各車載カメラの撮像画像を合成して生成されるトップビュー画像において、隣接する撮像画像の境界（例えば、後方カメラの撮像画像と左方カメラによる撮像画像との境界や、前方カメラの撮像画像と左方カメラの撮像画像との境界）で同じ対象物（例えば、駐車場においては駐車枠）がずれて不連続に表示されたり、隣接する撮像画像の両方で同じ対象物が表示される筈なのに一方で表示されなかったりするなど不具合が発生することがある。

本発明は、かかる従来技術における課題に鑑み創作されたもので、車両の姿勢が変化しても不具合のない車両周辺画像を提供することができる車両周辺画像提供装置及び車両周辺画像表示方法を提供することを目的とする。

上記の従来技術の課題を解決するために、本発明の一形態に係る車両周辺画像提供装置は、画面を通して情報を提供する表示手段と、車両の周辺を撮像可能に設けられた複数の撮像手段と、前記複数の撮像手段から出力された撮像データを部分的に抽出して第１の表示用画像データを生成する撮像データ抽出手段と、前記撮像データ抽出手段から出力された前記第１の表示用画像データを格納するメモリ手段と、各撮像手段にそれぞれ対応する前記第１の表示用画像データを部分的に抽出し、さらに当該車両の上方向の視点から見下ろすような視点変換処理を施して第２の表示用画像データを生成する画像処理手段と、前記画像処理手段から出力された各撮像手段にそれぞれ対応する前記第２の表示用画像データを合成し、当該車両の周辺画像として前記表示手段の画面に表示させる画像合成手段と、前記撮像データ抽出手段、前記メモリ手段、前記画像処理手段及び前記画像合成手段に動作可能に接続された制御手段とを備え、前記制御手段は、前記撮像データ抽出手段を介して前記撮像データを第１の範囲で抽出して第１の表示用画像データを生成している場合に、当該車両が駐車状態になったと判定したときに、当該表示用画像データを前記メモリ手段に格納し、当該車両が駐車状態でなくなったと判定したときに、前記撮像データ抽出手段を介して前記撮像データを前記第１の範囲で抽出して第１の表示用画像データとし、当該表示用画像データを前記メモリ手段に格納すると共に、前記メモリ手段に格納した駐車状態となったときの前記第１の表示用画像データと駐車状態でなくなったときの前記第１の表示用画像データとを比較し、駐車状態でなくなったときの前記第１の表示用画像データの表示範囲が駐車状態となったときの前記第１の表示用画像データの表示範囲と異なっていると判定した場合に、前記撮像データ抽出手段を介して前記撮像データを前記第１の範囲と異なる第２の範囲で抽出して当該車両が駐車状態となったときの前記第１の表示用画像データと同じ表示範囲の第１の表示用画像データを生成し、前記画像処理手段に対し、当該第１の表示用画像データを用いて第２の表示用画像データを生成させることを特徴とする。

本発明に係る車両周辺画像提供装置においては、各撮像手段で取得した撮像データに対して撮像データを部分的に抽出して第１の表示用画像データを生成し、各撮像手段に係る第１の表示用画像データに対して第１の表示用画像データを部分的に抽出し、さらに当該車両の上方向の視点から見下ろすような視点変換処理を施して第２の表示用画像データを生成する。そして、各撮像手段に係る第２の表示用画像データを合成して車両の周辺画像を生成する。

そして、各撮像手段の撮像データを第１の範囲で抽出して第１の表示用画像データを生成している場合に、車両が駐車状態になったと判定したときに、当該表示用画像データをメモリ手段に格納する（以下、このときの第１の表示用画像データを「駐車前画像データ」という）。その後、当該車両が駐車状態でなくなったと判定したときに、各撮像手段の撮像データを第１の範囲で抽出して第１の表示用画像データを生成し、当該表示用画像データをメモリ手段に格納する（以下、このときの第１の表示用画像データを「駐車後画像データ」という）。そして、メモリ手段に格納された駐車前画像データと駐車後画像データとを比較する。その結果、駐車後画像データの表示範囲が駐車前画像データの表示範囲と異なっていると判定した場合に、各撮像手段の撮像データを第１の範囲と異なる第２の範囲で抽出して駐車前画像データと同じ表示範囲の第１の表示用画像データを生成する。

このため、本発明においては、駐車前の第１の表示用画像データに含まれる対象物の全てが、駐車後の第１の表示用画像データにも含まれることになる。従って、このような第２の範囲の第１の表示用画像データを用いて第２の表示用画像データを生成し、さらに各撮像手段に係る第２の表示用画像データを合成することによって生成された車両の周辺画像においては、各第２の表示用画像データに対応する表示領域のうち隣接する表示領域の一方で表示されるべき対象物（例えば、駐車場においては駐車枠など）が表示されないという不具合を回避することができ、良好な表示となる。

また、本発明においては、第１の表示用画像データ（第２の抽出範囲の第１の表示用画像データ）を用いて第２の表示用画像データを生成する際に、各撮像手段に係る第１の表示用画像データに対し、撮像データの抽出範囲を第１の抽出範囲から第２の抽出範囲にしたときの変化量に基づいて当該第１の表示用画像データの抽出範囲を決定することが好ましい。

このようにして決定された抽出範囲により抽出して生成された各撮像手段に係る第２の表示用画像データは、駐車前後の車両の姿勢の変化量に対応した適切な表示範囲となる。このため、このような各撮像手段に係る第２の表示用画像データを合成することによって生成された車両の周辺画像においては、表示領域間で同じ対象物がずれて不連続に表示されるという不具合を回避することができ、より一層良好な表示となる。

また、本発明の他の形態によれば、表示手段と、車両の周辺を撮像可能に設けられた複数の撮像手段と、前記複数の撮像手段から出力された撮像データを部分的に抽出して第１の表示用画像データを生成する撮像データ抽出手段と、前記撮像データ抽出手段から出力された前記第１の表示用画像データを格納するメモリ手段と、各撮像手段にそれぞれ対応する前記第１の表示用画像データを部分的に抽出し、さらに当該車両の上方向の視点から見下ろすような視点変換処理を施して第２の表示用画像データを生成する画像処理手段と、前記画像処理手段から出力された各撮像手段にそれぞれ対応する前記第２の表示用画像データを合成し、当該車両の周辺画像として前記表示手段の画面に表示させる画像合成手段とを備えた車両周辺画像提供装置において、前記撮像データ抽出手段にて前記撮像データを第１の範囲で抽出して第１の表示用画像データを生成している場合に、当該車両が駐車状態になったと判定したときに、当該表示用画像データを前記メモリ手段に格納し、当該車両が駐車状態でなくなったと判定したときに、前記撮像データ抽出手段にて前記撮像データを前記第１の範囲で抽出して第１の表示用画像データとし、当該表示用画像データを前記メモリ手段に格納すると共に、前記メモリ手段に格納した駐車状態となったときの前記第１の表示用画像データと駐車状態でなくなったときの前記第１の表示用画像データとを比較し、駐車状態でなくなったときの前記第１の表示用画像データの表示範囲が駐車状態となったときの前記第１の表示用画像データの表示範囲と異なっていると判定した場合に、前記撮像データ抽出手段にて前記撮像データを前記第１の範囲と異なる第２の範囲で抽出して当該車両が駐車状態となったときの前記第１の表示用画像データと同じ表示範囲の第１の表示用画像データを生成し、前記画像処理手段にて当該第１の表示用画像データを用いて第２の表示用画像データを生成することを特徴とする車両周辺画像表示方法が提供される。

以下、本発明の実施の形態について、添付の図面を参照しながら説明する。

図３は本発明の実施形態に係る車両周辺画像提供装置の構成を概略的に示したものである。本実施形態では、本発明に係る車両周辺画像提供装置を車載用ナビゲーションシステムの一部として組み込み、トップビュー表示機能を備えた車載用ナビゲーションシステムとして適用した場合の構成例を示している。「トップビュー表示」とは、モニタの画面上で自車両の上方から見た車両周辺の表示であり、典型的なトップビュー表示機能によれば、あらかじめ自車両の画像（データ）をメモリ等に記憶させておき、その一方で複数の車載カメラにより車両周辺の各方向の画像を取得し、取得した各画像（データ）を自車両の上方の視点から見下ろすような画像に変換し、その視点変換した車両周辺の画像（俯瞰画像）と自車両の画像とを合成し、モニタの画面に表示する。

本実施形態に係る車両周辺画像提供装置１０は、図示のように５台の車載カメラ１１ａ，１１ｂ，１１ｃ、１１ｄ及び１１ｅ、画像入力部１２、撮影画像用メモリ１３、撮像データ抽出部１４、抽出画像用メモリ１５、画像処理部１６、画像合成部１７、画像出力部１８、制御部１９、モニタ２０、操作部２１及び車両情報検出部２２を備えている。

各車載カメラ１１ａ，１１ｂ，１１ｃ，１１ｄ及び１１ｅは、それぞれ自車両の左前方、右前方、後方、左方及び右方の画像を継続的に取得するためのものであり、自車両外部の適当な箇所に設置されている。図４はその設置例を模式的に示したものであり、図示のように左前方カメラ１１ａは車両の左前部に、右前方カメラ１１ｂは車両の右前部に、後方カメラ１１ｃは車両の後部に、左方カメラ１１ｄ及び右方カメラ１１ｅはそれぞれ車両の左側部及び右側部（図示の例では、ドアミラーの下部）にそれぞれ設置されている。また、各車載カメラ１１ａ〜１１ｅは、各々のレンズが若干下方を向くように位置決めされ、図中破線で示すように広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１１ａ〜１１ｅが協働して自車両の全周囲（車両周辺）を撮影できるように配置されている。各車載カメラ１１ａ〜１１ｅは光学撮像系を内蔵しており、この光学撮像系には、特に図示はしないが当業者には周知の一般的な光学部材、例えば、外部からの光を透過させるレンズ、このレンズを通して入射された光から映像（電気信号）を検出するための撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ）、レンズと撮像素子の間に介在された赤外線カットフィルタ等が含まれている。

画像入力部１２は、制御部１９からの制御に基づき、各車載カメラ１１ａ〜１１ｅから出力されたＮＴＳＣ等のアナログの画像信号（撮像データ）をデジタルの画像信号に変換するものである。

撮影画像用メモリ１３には、制御部１９からの制御に基づき、画像入力部１２を介して供給される各車載カメラ１０ａ〜１０ｅの撮像データ（車両の各方向の撮像データ）が所定のタイミングで逐次格納されるようになっている。

撮像データ抽出部１４は、制御部１９からの制御に基づき、撮影画像用メモリ１３に格納された各方向の撮像データに対し、撮像データを部分的に抽出し、後述するサブビュー画像として表示させるための表示用画像データ（第１の表示用画像データ）とするものである。なお、サブビュー画像（本実施形態では、各カメラに対応する５種類の画像）は、後述するようにトップビュー画像を生成するのに用いられる。

抽出画像用メモリ１５には、制御部１９からの制御に基づき、撮像データ抽出部１４から出力された第１の表示用画像データが格納されるようになっている。

画像処理部１６は、制御部１９からの制御に基づき、各方向の第１の表示用画像データに対し、第１の表示用画像データを部分的に抽出し、抽出した画像データに対して自車両の上方からの視点に変換した画像（俯瞰画像）のデータ（第２の表示用画像データ）を生成するものである。

画像合成部１７はフレームメモリ等により構成されている。画像処理部１６で生成した各方向の第２の表示用画像データは、フレームメモリ（画像合成部１７）の所定の描画位置に格納される。格納された各方向の第２の表示用画像データ（俯瞰画像のデータ）は、制御部１９からの制御に基づき、自車画像のデータと共に合成され、自車の上方から見た画像（トップビュー画像）として後段の画像出力部１８に出力される。また、撮像データ抽出部１４から出力された各方向の第１の表示用画像データも、フレームメモリ（画像合成部１７）の所定の描画位置に格納される。格納された各方向の第１の表示用画像データは、制御部１９からの制御に基づき、車両の各方向のうちいずれか１方向の画像データが選択され、自車の左前方、右前方、後方、左方及び右方のいずれかの方向を見た画像（サブビュー画像）として画像出力部１８に出力される。

画像出力部１８は、制御部１９からの制御に基づき、画像合成部１７から出力されたデジタルの画像データをアナログの画像データに変換してモニタ２０に送出するものである。

モニタ２０は、液晶表示（ＬＣＤ）パネルや有機ＥＬパネル等からなる表示画面を有していて、車両のセンターコンソールのほぼ中間位置に設置されている。このモニタ２０の画面には、上述したように制御部１９からの制御に基づいて画像処理されたデータ（トップビュー画像及びサブビュー画像）が表示される。表示の態様としては、後述するようにモニタ２０の画面を左右に２分割し、一方の画面にトップビュー画像を表示し、他方の画面（左側の表示領域）にサブビュー画像を拡大表示する（図８参照）。

操作部２１は、ユーザが指示もしくは設定（選択）した情報を入力するためのものであり、例えば、赤外線通信等により制御部１９に接続されるリモコン送信機（リモコン）の形態を有している。かかるリモコンには、モニタ２０の表示画面に各種操作画面を表示させたり、画面上の各種メニューや各種項目等を選択したり、選択したメニュー等を実行させるための各種操作キー、ボタン、ジョイスティック等が設けられている。この操作部２１は、本発明に関連する入力指示として、トップビュー表示機能を「オン」させるための入力指示や、トップビュー画像と共に表示されるサブビュー画像の表示切替を行うための入力指示を与える。なお、操作部２１の形態としては、リモコン以外に、センターコンソール上に固定的に設けられた「操作パネル」であってもよいし、必要に応じてモニタ２０の画面上に配置される「タッチパネル」であってもよい。

車両情報検出部２２は、車両に装備された各種センサ等（図示せず）の出力から自車の走行状態を指示する情報（以下、「車両走行状態指示信号」という）を検出するためのブロックである。この車両走行状態指示信号としては、例えば、シフト位置検出センサから出力されるシフト位置信号、パーキングブレーキセンサで検出されたパーキングブレーキの状態を示す信号、自立航法センサ（ジャイロ等の角度センサや距離センサ等）から出力される車速信号やヨーレート（yaw-rate）信号、エンジンの起動／停止信号などが含まれる。車両情報検出部２２で検出された車両走行状態指示信号は、後述するようにトップビュー表示機能を「オン」させたり、トップビュー画像と共に表示されるサブビュー画像の表示切替を行うためのトリガとして用いられる。

制御部１９はマイクロコンピュータにより構成され、画像表示に係る各種処理を制御するための中央処理演算装置（ＣＰＵ）と、このＣＰＵで行う処理を規定したプログラムを格納したＲＯＭと、その処理の過程で発生するデータを一時格納しておくためのＲＡＭなどを備えている。さらに、書き換え可能なメモリ（図示せず）を備えていて、このメモリに、トップビュー表示を行う際に用いられる自車画像のデータや、車両の姿勢の変化量と第１の表示用画像データの抽出範囲との関係を示すテーブル（データ）が格納されている。

この制御部１９は、他の機能ブロック１２〜１８、２１及び２２と協働して、基本的には、各車載カメラ１０ａ〜１０ｅから出力された撮影画像データに基づいてトップビュー表示に係る各種画像処理（画像抽出処理、視点変換処理等）を制御する。また、制御部１９は、ナビゲーションに係る種々の処理（ＧＰＳ受信機の出力から自車の現在位置を検出したり、自律航法センサの出力から自車の方位や走行速度を検出したり、地図データベースを参照して設定された探索条件で自車の現在位置から目的地までの誘導経路を探索するなど）を制御する。

さらに制御部１９は、本発明に関連する処理として、後述するように車両の駐車前画像データ及び駐車後画像データ（ともに、第１の抽出範囲の第１の表示用画像データ）を抽出画像用メモリ１５に格納したり、駐車後画像データの表示範囲が駐車前画像データの表示範囲と異なっているか否かを判定したり、それらが異なっていると判定した場合に、各方向の撮像データに対して撮像データの抽出範囲を第１の抽出範囲から第２の抽出範囲に変更し、駐車前の第１の表示用画像データと同じ表示範囲の第１の表示用画像データを生成したりする際の制御を行う。

以上のように構成された車両周辺画像提供装置１０において、車載カメラ１１ａ〜１１ｅは「撮像手段」に、撮像データ抽出部１４は「撮像データ抽出手段」に、抽出画像用メモリ１５は「メモリ手段」に、画像処理部１６は「画像処理手段」に、画像合成部１７は「画像合成手段」に、制御部１９は「制御手段」に、モニタ２０は「表示手段」にそれぞれ対応する。

以下、本実施形態に係る車両周辺画像提供装置１０において行うトップビュー画像及びサブビュー画像の表示に係る処理について、その一例を示す図５を参照しながら説明する。併せて、図６，図７に示す撮像データの抽出範囲の変更の態様や、図８に示す画面表示例も参照しながら補足説明する。

まず、初期状態として、本装置１０を搭載した車両は、ナビゲーションシステムによる経路誘導機能に基づいて設定された目的地（この場合、駐車場）に到着し、その駐車場内で適当な空きスペースを見つけてその場所に駐車すべく、車両を後ろ向きに移動させようとしている状態にあるものとする。

このように車両を後ろ向き（バック）で駐車しようとしている状態で、最初のステップＳ１１では、制御部１９により、例えば、車両情報検出部２２で検出された車両走行状態指示信号（この場合、シフト位置検出センサから出力される、シフト位置が「バック」の位置にあることを指示する信号）に基づいてトップビュー表示機能を「オン」にする。これにより、各車載カメラ１１ａ〜１１ｅが起動し、それぞれ自車両の左前方、右前方、後方、左方及び右方の撮像を開始する。そして、各車載カメラ１１ａ〜１１ｅから取り込まれた撮像データは、画像入力部１２を介して撮影画像用メモリ１３に格納される。なお、車両走行状態指示信号をトリガとして利用する代わりに、操作部２１からのユーザ指示に基づいてトップビュー表示機能を「オン」させるようにしてもよい。

次のステップＳ１２では、制御部１９からの制御に基づき撮像データ抽出部１４において、撮影画像用メモリ１３に格納された各車載カメラ１１ａ〜１１ｅの撮像データ（車両の各方向の撮像データ）に対し、撮像データを第１の抽出範囲で抽出して第１の表示用画像データを生成する。すなわち、各方向の撮像データの一部分を抽出して第１の表示用画像データを生成する。

次のステップＳ１３では、制御部１９からの制御に基づき画像処理部１６、画像合成部１７及び画像出力部１８において、撮像データ抽出部１４で生成された各方向の第１の表示用画像データ（第１の抽出範囲の第１の表示用画像データ）を用いてトップビュー画像及びサブビュー画像を生成し、モニタ２０の画面に表示する。

すなわち、制御部１９からの制御に基づき画像処理部１６において、各方向の第１の表示用画像データ（第１の抽出範囲の第１の表示用画像データ）に対し、第１の表示用画像データを所定の抽出範囲で抽出し、抽出した画像データに対して自車両の上方からの視点に変換した画像のデータ（俯瞰画像のデータ：第２の表示用画像データ）を生成する。次に、制御部１９からの制御に基づき画像合成部１７において、各方向の第２の表示用画像データを自車画像のデータと共に合成し、トップビュー画像として出力する。

また、制御部１９からの制御に基づき画像合成部１７において、車両走行状態指示信号に基づいて撮像データ抽出部１４から出力された各方向の第１の表示用画像データ（第１の抽出範囲の第１の表示用画像データ）のうちのいずれか１つを選択し、それをサブビュー画像として出力する。前述した車両の状態のときには、車両走行状態指示信号としてシフト位置が「バック」の位置にあることを指示する信号が車両情報検出部２２で検出されているので、制御部１９は画像合成部１７に対して車両後方の第１の表示用画像データを出力することを指示する。

そして、画像合成部１７から出力されたトップビュー画像及びサブビュー画像を画像出力部１８を介して出力し、モニタ２０の画面に表示する。その際、図８に示すように、画面を２分割し、一方の画面（右側の表示領域）にトップビュー画像５１を表示し、他方の画面（左側の表示領域）にサブビュー画像５２を拡大表示する。なお、車両走行状態指示信号を、出力する第１の表示用画像データの選択条件として利用する代わりに、操作部２１からのユーザ指示に基づいて第１の表示用画像データの選択を行うようにしてもよい。

次のステップＳ１４では、制御部１９において、車両情報検出部２２で検出された車両走行状態指示信号に基づいて車両が駐車状態になった（ＹＥＳ）か否（ＮＯ）を判定する。制御部１９においては、例えば、車両情報検出部２２でシフト位置が「パーキング」の位置にあることを指示する信号や、パーキングブレーキが所定の位置まで引かれてブレーキ状態であることを示す信号を検出したときに車両が駐車状態になったと判定する。判定結果がＹＥＳの場合にはステップＳ１５に進む。

ステップＳ１５では、制御部１９からの制御に基づき、撮像データ抽出部１４において第１の抽出範囲で抽出した各方向の第１の表示用画像データを、駐車前画像データとして抽出画像用メモリ１５の所定の領域に格納する。

次のステップＳ１６では、制御部１９において、車両情報検出部２２で検出された車両走行状態指示信号に基づいて車両が駐車状態でなくなった（ＹＥＳ）か否（ＮＯ）を判定する。制御部１９においては、例えば、車両情報検出部２２でシフト位置が「パーキング」以外の位置にあることを指示する信号や、パーキングブレーキのブレーキ状態が解除されたことを示す信号を検出したときに車両が駐車状態でなくなったと判定する。判定結果がＹＥＳの場合にはステップＳ１７に進む。

ステップＳ１７では、制御部１９からの制御に基づき、撮像データ抽出部１４において第１の抽出範囲で抽出した各方向の第１の表示用画像データを、駐車後画像データとして抽出画像用メモリ１５の所定の領域（駐車前画像データが格納される領域と異なる領域）に格納する。

次のステップＳ１８では、制御部１９において、抽出画像用メモリ１５に格納された駐車前画像データと駐車後画像データとを比較し、駐車前画像データの特定対象物が駐車後画像データにも存在する（ＹＥＳ）か否（ＮＯ）かを判定する。具体的には、制御部１９は、「特定対象物」として、例えば、駐車場においては自車両近傍の駐車車両を採用する。そして、制御部１９は、各方向の駐車前画像データ及び駐車後画像データに対し、駐車前画像データの特定対象物（自車両近傍の駐車車両）が駐車後画像データにも存在するか否かを確認する。制御部１９は、駐車後画像データにおいて、例えば、特定した車両が移動して、当該駐車位置に当該車両が存在しなくなってしまったり、あるいは当該駐車位置に他の車両が存在したりしたときに、駐車前画像データの特定対象物が駐車後画像データに存在しないと判断する。判定結果がＹＥＳの場合にはステップＳ１９に進み、判定結果がＮＯの場合にはステップＳ２６に進む。ここでは、判定結果がＹＥＳであり、ステップＳ１９に進んだものとする。

ステップＳ１９では、制御部１９において、特定対象物の移動した方向や移動量に基づいて駐車後画像の表示範囲が駐車前画像の表示範囲と異なっている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ２０に進み、判定結果がＮＯの場合にはステップＳ２６に進む。ここでは、判定結果がＹＥＳであり、ステップＳ２０に進んだものとする。

ステップＳ２０では、制御部１９において、各方向の撮像データに対し、特定対象物の移動した方向や移動量に基づいて駐車後画像の表示範囲が駐車前画像の表示範囲と同じになる撮像データの抽出範囲（第２の抽出範囲）を算出する。

次のステップＳ２１では、制御部１９からの制御に基づき撮像データ抽出部１４において、撮影画像用メモリ１３に格納された各方向の撮像データに対し、撮像データを第２の抽出範囲で抽出して第１の表示用画像データを生成する。

図６は車両後方の撮像データ（車載カメラ１１ｃの撮像データ）に関する抽出範囲の変更の態様を説明する図であり、図７は車両左方の撮像データ（車載カメラ１１ｄの撮像データ）に関するそれを説明する図である。これらの図６及び図７において、実線は駐車前における第１の抽出範囲の第１の表示用画像データの表示範囲（駐車前画像データの表示範囲）を示し、破線は駐車後における第１の抽出範囲の第１の表示用画像データの表示範囲（駐車後画像データの表示範囲）を示し、一点鎖線は第２の範囲の第１の表示用画像データの表示範囲を示している。また、黒丸（●）は駐車前の路面に対する車載カメラの位置を示し、白丸（○）は駐車後の路面に対する車載カメラの位置を示している。なお、図６及び図７においては、駐車前及び駐車後で車載カメラの車両に対する位置が変化しているように描かれているが、実際にはそうではなく、車載カメラの路面に対する位置が変化している。

図６及び図７に示すように、例えば、駐車前の車両の姿勢と比較して駐車後においては車両の後部が沈み込んだ（車両の後部が路面に近づいた）場合、駐車後における第１の抽出範囲の第１の表示用画像データの表示範囲３２，４２は駐車前のそれ３１，４１よりも狭くなる。この場合、本実施形態においては、撮像データの抽出範囲を第１の抽出範囲から第２の抽出範囲に変更し（この場合では、撮像データの抽出範囲を広くし）、駐車前の第１の表示用画像データの表示範囲３１，４１と同じ表示範囲３３，４３の第１の表示用画像データを生成する。なお、図示していないが、車両左前方、右前方及び右方の撮像データ（車載カメラ１１ａ、１１ｂ及び１１ｅの撮像データ）についても、撮像データの抽出範囲を第１の抽出範囲から第２の抽出範囲に変更し、駐車前の第１の表示用画像データの表示範囲と同じ表示範囲の第１の表示用画像データを生成する。

そして、次のステップＳ２２では、制御部１９からの制御に基づき画像処理部１６、画像合成部１７及び画像出力部１８において、撮像データ抽出部１４で生成された第１の表示用画像データ（第２の抽出範囲の第１の表示用画像データ）を用いてトップビュー画像及びサブビュー画像を生成し、モニタ２０の画面に表示する。

すなわち、まず、制御部１９において、各方向の第１の表示用画像データ（第２の抽出範囲の第１の表示用画像データ）に対し、第１の抽出範囲から第２の抽出範囲にしたときの変化量（撮像データの抽出範囲の変化量）を算出し、それらの変化量に基づいて駐車前後の車両の姿勢の変化量を算出し、さらに制御部１９のメモリ（図示せず）に格納された車両の姿勢の変化量と第１の表示用画像データの抽出範囲との関係を示すテーブルを参照して、算出した車両の姿勢の変化量に応じた第１の表示用画像データの抽出範囲を決定する。次に、制御部１９からの制御に基づき画像処理部１６において、各方向の第１の表示用画像データに対し、決定した抽出範囲で第１の表示用画像データを抽出し、抽出した画像データに対して自車両の上方からの視点に変換した画像のデータ（俯瞰画像のデータ：第２の表示用画像データ）を生成する。そして、制御部１９からの制御に基づき画像合成部１７において、車両の各方向の第２の表示用画像データを自車画像のデータと共に合成し、トップビュー画像として出力する。

また、制御部１９からの制御に基づき画像合成部１７において、車両走行状態指示信号に基づいて撮像データ抽出部１４から出力された各方向の第１の表示用画像データ（第２の抽出範囲の第１の表示用画像データ）のうちのいずれか１つを選択し、それをサブビュー画像（この場合、車両後方のサブビュー画像）として出力する。

そして、画像合成部１７から出力されたトップビュー画像及びサブビュー画像を画像出力部１８を介して出力し、モニタ２０の画面に表示する（図８参照）。この後、本処理フローは「終了」となる。

一方、前述したように、ステップＳ１８の判定結果がＮＯの場合、及び、ステップＳ１９の判定結果がＮＯの場合には、ステップＳ２６に進む。このステップＳ２６では、制御部１９からの制御に基づき撮像データ抽出部１４において、撮影画像用メモリ１３に格納された各方向の撮像データに対し、撮像データを第１の抽出範囲のままで抽出して第１の表示用画像データを生成する。

そして、次のステップＳ２７では、制御部１９からの制御に基づき画像処理部１６、画像合成部１７及び画像出力部１８において、撮像データ抽出部１４で生成された第１の表示用画像データ（第１の抽出範囲の第１の表示用画像データ）を用いてトップビュー画像及びサブビュー画像を生成し、モニタ２０の画面に表示する（図８参照）。この後、本処理フローは「終了」となる。

以上説明したように、本実施形態に係る車両周辺画像提供装置１０によれば、各車載カメラ１１ａ〜１１ｅで取得した撮像データ（車両の各方向の撮像データ）に対して撮像データを部分的に抽出して第１の表示用画像データを生成し、各方向の第１の表示用画像データに対して第１の表示用画像データを部分的に抽出し、さらに当該車両の上方向の視点から見下ろすような視点変換処理を施して第２の表示用画像データを生成する。そして、各方向の第２の表示用画像データを合成してトップビュー画像を生成する。

このような車両周辺画像提供装置１０において、各方向の撮像データを第１の範囲で抽出して第１の表示用画像データを生成している場合に、車両が駐車状態になったと判定したときに、当該表示用画像データを駐車前画像データとして抽出画像用メモリ１５に格納する。その後、当該車両が駐車状態でなくなったと判定したときに、各方向の撮像データを第１の範囲で抽出して第１の表示用画像データを生成し、当該表示用画像データを駐車後画像データとして抽出画像用メモリ１５に格納する。そして、メモリ１５に格納された駐車前画像データと駐車後画像データとを比較する。その結果、駐車後画像データの表示範囲が駐車前画像データの表示範囲と異なっていると判定した場合に、各方向の撮像データを第１の範囲と異なる第２の範囲で抽出して駐車前画像データと同じ表示範囲の第１の表示用画像データを生成する。

このため、本発明においては、駐車前の第１の表示用画像データに含まれる対象物の全てが、駐車後の第１の表示用画像データにも含まれることになる。従って、このような第２の範囲の第１の表示用画像データを用いて第２の表示用画像データを生成し、さらに各方向の第２の表示用画像データを合成することによって生成されたトップビュー画像においては、各第２の表示用画像データに対応する表示領域のうち隣接する表示領域の一方で表示されるべき対象物（例えば、駐車場においては駐車枠など）が表示されないという不具合を回避することができ、良好な表示となる。

また、本実施形態に係る車両周辺画像提供装置１０によれば、第１の表示用画像データ（第２の抽出範囲の第１の表示用画像データ）を用いて第２の表示用画像データを生成する際に、各方向の第１の表示用画像データに対し、撮像データの抽出範囲を第１の抽出範囲から第２の抽出範囲にしたときの変化量に基づいて当該第１の表示用画像データの抽出範囲を決定している。

このようにして決定された抽出範囲により抽出して生成された各方向の第２の表示用画像データは、駐車前後の車両の姿勢の変化量に対応した適切な表示範囲となる。このため、このような各方向の第２の表示用画像データを合成することによって生成された車両の周辺画像においては、表示領域間で同じ対象物がずれて不連続に表示されるという不具合を回避することができ、より一層良好な表示となる。

なお、上述した実施形態においては、各方向の第１の表示用画像データ（第２の抽出範囲の第１の表示用画像データ）に対して撮像データの抽出範囲の変化量を算出し、それらの変化量に基づいて駐車前後の車両の姿勢の変化量を算出しているが、駐車前後の車両の姿勢の算出方法はこれに限定されるものではない。例えば、車両のいずれか１方向の第１の表示用画像データに対して撮像データの抽出範囲の変化量を算出し、その変化量に応じた他の方向の第１の表示用画像データに対して撮像データの抽出範囲の変化量を算出し、それらの変化量に基づいて駐車前後の車両の姿勢の変化量を算出してもよい。この例は、例えば制御部のメモリに、車両のいずれか１方向の撮像データの抽出範囲の変化量と、その変化量に対する車両の他の方向の撮像データの抽出範囲の変化量との関係を示すテーブル（データ）を格納しておくことにより実現することができる。

従来の車両周辺画像表示に係る問題点を説明するための図（その１）である。 従来の車両周辺画像表示に係る問題点を説明するための図（その２）である。 本発明の一実施形態に係る車両周辺画像提供装置の構成を示す図である。 図３の装置における各カメラの設置例を示す図である。 図３の装置において行うトップビュー画像及びサブビュー画像（車両周辺画像）の表示に係る処理の一例を示すフロー図である。 車両後方の撮像データに関する抽出範囲の変更の態様を説明する図である。 車両左方の撮像データに関する抽出範囲の変更の態様を説明する図である。 図３の装置によるトップビュー画像及びサブビュー画像の画面表示例を示す図である。

符号の説明

１０…車両周辺画像提供装置、
１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅ…車載カメラ（撮像手段）、
１４…撮像データ抽出部（撮像データ抽出手段）、
１５…抽出画像用メモリ（メモリ手段）、
１６…画像処理部（画像処理手段）、
１７…画像合成部（画像合成手段）、
１９…制御部（制御手段）、
２０…モニタ（表示手段）、
２１…操作部、
２２…車両情報検出部、
３１，４１…駐車前における第１の抽出範囲の第１の表示用画像データの表示範囲、
３２，４２…駐車後における第１の抽出範囲の第１の表示用画像データの表示範囲、
３３，４３…第２の抽出範囲の第１の表示用画像データの表示範囲、
５１…トップビュー画像（車両周辺画像）、
５２…サブビュー画像。

Claims (4)

1. 画面を通して情報を提供する表示手段と、
   車両の周辺を撮像可能に設けられた複数の撮像手段と、
   前記複数の撮像手段から出力された撮像データを部分的に抽出して第１の表示用画像データを生成する撮像データ抽出手段と、
   前記撮像データ抽出手段から出力された前記第１の表示用画像データを格納するメモリ手段と、
   各撮像手段にそれぞれ対応する前記第１の表示用画像データを部分的に抽出し、さらに当該車両の上方向の視点から見下ろすような視点変換処理を施して第２の表示用画像データを生成する画像処理手段と、
   前記画像処理手段から出力された各撮像手段にそれぞれ対応する前記第２の表示用画像データを合成し、当該車両の周辺画像として前記表示手段の画面に表示させる画像合成手段と、
   前記撮像データ抽出手段、前記メモリ手段、前記画像処理手段及び前記画像合成手段に動作可能に接続された制御手段とを備え、
   前記制御手段は、前記撮像データ抽出手段を介して前記撮像データを第１の範囲で抽出して第１の表示用画像データを生成している場合に、当該車両が駐車状態になったと判定したときに、当該表示用画像データを前記メモリ手段に格納し、
   当該車両が駐車状態でなくなったと判定したときに、前記撮像データ抽出手段を介して前記撮像データを前記第１の範囲で抽出して第１の表示用画像データとし、当該表示用画像データを前記メモリ手段に格納すると共に、前記メモリ手段に格納した駐車状態となったときの前記第１の表示用画像データと駐車状態でなくなったときの前記第１の表示用画像データとを比較し、
   駐車状態でなくなったときの前記第１の表示用画像データの表示範囲が駐車状態となったときの前記第１の表示用画像データの表示範囲と異なっていると判定した場合に、前記撮像データ抽出手段を介して前記撮像データを前記第１の範囲と異なる第２の範囲で抽出して当該車両が駐車状態となったときの前記第１の表示用画像データと同じ表示範囲の第１の表示用画像データを生成し、前記画像処理手段に対し、当該第１の表示用画像データを用いて第２の表示用画像データを生成させることを特徴とする車両周辺画像提供装置。
2. 前記制御手段は、前記画像処理手段を介して前記第２の抽出範囲の第１の表示用画像データを用いて第２の表示用画像データを生成する際に、前記撮像データの抽出範囲を前記第１の抽出範囲から前記第２の抽出範囲にしたときの変化量に基づいて当該第１の表示用画像データの抽出範囲を決定することを特徴とする請求項１に記載の車両周辺画像提供装置。
3. 表示手段と、車両の周辺を撮像可能に設けられた複数の撮像手段と、前記複数の撮像手段から出力された撮像データを部分的に抽出して第１の表示用画像データを生成する撮像データ抽出手段と、前記撮像データ抽出手段から出力された前記第１の表示用画像データを格納するメモリ手段と、各撮像手段にそれぞれ対応する前記第１の表示用画像データを部分的に抽出し、さらに当該車両の上方向の視点から見下ろすような視点変換処理を施して第２の表示用画像データを生成する画像処理手段と、前記画像処理手段から出力された各撮像手段にそれぞれ対応する前記第２の表示用画像データを合成し、当該車両の周辺画像として前記表示手段の画面に表示させる画像合成手段とを備えた車両周辺画像提供装置において、
   前記撮像データ抽出手段にて前記撮像データを第１の範囲で抽出して第１の表示用画像データを生成している場合に、当該車両が駐車状態になったと判定したときに、当該表示用画像データを前記メモリ手段に格納し、
   当該車両が駐車状態でなくなったと判定したときに、前記撮像データ抽出手段にて前記撮像データを前記第１の範囲で抽出して第１の表示用画像データとし、当該表示用画像データを前記メモリ手段に格納すると共に、前記メモリ手段に格納した駐車状態となったときの前記第１の表示用画像データと駐車状態でなくなったときの前記第１の表示用画像データとを比較し、
   駐車状態でなくなったときの前記第１の表示用画像データの表示範囲が駐車状態となったときの前記第１の表示用画像データの表示範囲と異なっていると判定した場合に、前記撮像データ抽出手段にて前記撮像データを前記第１の範囲と異なる第２の範囲で抽出して当該車両が駐車状態となったときの前記第１の表示用画像データと同じ表示範囲の第１の表示用画像データを生成し、前記画像処理手段にて当該第１の表示用画像データを用いて第２の表示用画像データを生成することを特徴とする車両周辺画像表示方法。
4. 前記第２の抽出範囲の第１の表示用画像データを用いて前記第２の表示用画像データを生成する際に、前記撮像データの抽出範囲を前記第１の抽出範囲から前記第２の抽出範囲にしたときの変化量を算出し、その変化量に基づいて当該第１の表示用画像データの抽出範囲を決定することを特徴とする請求項３に記載の車両周辺画像表示方法。

Images