以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
本実施形態において、周辺監視装置を搭載する車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4や、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。
また、車室2a内には、表示出力部としての表示装置8や、音声出力部としての音声出力装置9が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向すなわち左右方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、車室2a内には、表示装置8とは別の表示装置12が設けられている。図3に例示されるように、表示装置12は、例えば、ダッシュボード24の計器盤部25に設けられ、計器盤部25の略中央で、速度表示部25aと回転数表示部25bとの間に位置されている。表示装置12の画面12aの大きさは、表示装置8の画面8a(図3)の大きさよりも小さい。この表示装置12には、主として車両1の駐車支援に関する情報を示す画像が表示されうる。表示装置12で表示される情報量は、表示装置8で表示される情報量より少なくてもよい。表示装置12は、例えば、LCDや、OELD等である。なお、表示装置8に、表示装置12で表示される情報が表示されてもよい。
また、図1、図2に例示されるように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。これら四つの車輪3は、いずれも転舵可能に構成されうる。図4に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(electronic control unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。
また、図2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで動画データ(撮像画像データ)を出力することができる。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜190°の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている。よって、撮像部15は、車両1が移動可能な路面や車両1が駐車可能な領域を含む車両1の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
撮像部15aは、例えば、車体2の後側の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパー等に設けられている。撮像部15dは、例えば、車体2の左側、すなわち車幅方向の左側の端部2dに位置され、左側の突出部としてのドアミラー2gに設けられている。ECU14は、複数の撮像部15で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な俯瞰画像を生成したりすることができる。
また、ECU14は、撮像部15から提供される撮像画像データを、車両1に臨む撮像方向となる複数の仮想視点から撮像したような仮想画像データに変換することができる。また、この複数の仮想画像データを表示装置8に順次表示して、ユーザ(運転者、利用者)が乗り込んでいる車両1を中心に周囲遠方より当該車両1を臨むような視点変換画像(実質的な動画)を表示させることができる。仮想画像データの表示の詳細については後述する。また、ECU14は、撮像部15から提供される撮像画像データから車両1の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出(抽出)して、駐車支援を実行することもできる。
図1、図2に例示されるように、車体2には、複数の測距部16,17として、例えば四つの測距部16a〜16dと、八つの測距部17a〜17hとが設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。測距部16は、本実施形態において、車両1を駐車する際に、車両1と並ぶ第一の障害物(隣接車両)や駐車するためのスペースの奥側に存在する第二の障害物(例えば、縁石や段差、壁、フェンス等)を検出し、その障害物までの距離を測定することができる。また、測距部17は、車両1に対して障害物(物体)が所定距離を超えて接近した場合、接近する障害物(物体)を検出し、その障害物までの距離を測定することができる。特に、車両1の後方両側に配置された測距部17a,17dは、車両1が後退しながら縦列駐車のスペースに進入する場合の車両1の後方コーナ部と第一の障害物(隣接車両)との距離や、進入後さらに後方コーナ部と第二の障害物(壁等)との距離を測定するセンサ(クリアランスソナー)として機能する。ECU14は、測距部16,17の検出結果により、車両1の周囲に位置された障害物等の物体の有無や当該物体までの距離を取得することができる。すなわち、測距部16,17は、物体を検出する検出部の一例である。なお、測距部17は、例えば、比較的近距離の物体の検出に用いられ、測距部16は、例えば、測距部17よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部17は、例えば、車両1の前方および後方の物体の検出に用いられ、測距部16は、車両1の側方の物体の検出に用いられうる。測距部17は、物体(障害物)が所定の距離まで接近したことを検出する接近センサとして機能しうる。
また、図4に例示されるように、周辺監視システム100(周辺監視装置)では、ECU14や、モニタ装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16、測距部17、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。
ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8,12で表示される画像に関連した画像処理や、車両1の移動目標位置(駐車目標位置、目標位置)の決定、車両1の誘導経路(誘導経路、駐車経路、駐車誘導経路)の演算、物体との干渉の有無の判断、車両1の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、表示装置8で表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。
舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。
シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果をブレーキシステム18を介して取得する。また、車輪速センサ22は、車両1が走行していることを示す走行確認情報または車両1が停止していることを示す停止確認情報を出力することができる。停止確認情報は、例えば、車輪速センサ22からの信号が未出力であることを示す情報であり、後述する視点変換画像の表示を許可するか否かを示す許可情報とすることができる。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
ECU14は、周辺監視システムを実現する。例えば、車両1を中心として当該車両1を遠方から見たような画像(視点変換画像)を撮像画像データを視点変換した仮想画像データに基づいて生成する。そして、この視点変換画像を用いた表示態様として、例えば、仮想視点を車両1の一方側(例えば正面域、フロント領域)から車両1の上空域を経て、車両1の反対側(例えば後面域、リア領域)に移動させながら実質的な動画表示を行う。この表示を行うことで、車両1の周囲に存在する物体の位置関係やその姿勢、大きさ等をユーザに認識させやすくしている。
ECU14に含まれるCPU14aは、上述したような視点変換画像の実質的な動画表示を実現するために、図5に示されるように画像取得部30、画像変換部32、操作受付部34、画像制御部36(制御部)等を含む。そして、CPU14aは、例えば、撮像部15で得られた撮像画像データを用いた画像処理を実行する。画像取得部30、画像変換部32、操作受付部34、画像制御部36は、ROM14b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
画像取得部30は、車両1に設けられて当該車両1の周辺を撮像する撮像部15から出力された撮像画像データを表示制御部14dを介して取得する。なお、表示制御部14dは、撮像部15で撮像した撮像画像データをそのままの状態で表示装置8や表示装置12に出力してもよい。この場合、操作部14g等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部14dは、操作部14gの操作により選択された画像を選択的に表示する。例えば撮像部15aで撮像した車両1の後方画像を表示させたり、撮像部15dで撮像した左側方画像を表示させたりすることができる。
画像変換部32は、画像取得部30が取得した撮像画像データを、例えば車両1を遠方から臨む撮像方向となる複数の仮想視点による仮想画像データに変換する。仮想視点による仮想画像データの変換は、周知の種々の処理手法で実行することができる。一例として、画像変換部32は、撮像部15により撮像された車両1の外部の環境を表した撮像画像データと、例えばROM14b等に保持されたマッピングテーブルの変換情報とに基づいて、車両1の周囲外部の環境を車両1から離間して当該車両1を臨む視点位置から見た場合の仮想画像データ(視点変換画像)を生成する。本実施形態の場合、ROM14bは、例えば、車両1を中心に半径数m(例えば5m)の半円軌道から車両1を臨む仮想視点が移動した場合に得られる仮想画像データが得られるような変換情報(マッピングテーブル)を複数種類予め保持している。なお、マッピングテーブルの変換情報は、仮想視点の位置ごとに準備することが望ましい。また、本実施形態の場合、視点変換画像は、連続性のあるスムーズな動画で表示されることが望ましい。そのため、マッピングテーブルの変換情報は、仮想視点が例えばα°移動するごと仮想画像データを生成できるように準備される。なお、マッピングテーブルの変換情報の数を増やせば、生成される仮想画像データの数(フレーム数)は増加して滑らかな動画が作成できるが、CPU14aの処理負荷が増加する傾向がある。逆に、マッピングテーブルの変換情報の数を少なくすれば生成される仮想画像データの数も減少し動画品質が低下する場合があるが、CPU14aの処理負荷は軽減可能となる。したがって、要求される視点変換画像(実質的な動画)の品質に応じて、マッピングテーブルの変換情報の数を決定することができる。なお、マッピングテーブルの変換情報の数を少なくする場合、動画を作成する際に前後の仮想画像データに基づく補間処理等を行い動画の修正(コマ落ち補正)を行うようにしてもよい。
操作受付部34は、操作部14gの操作入力による信号を取得する。操作部14gは、例えば、押しボタンやスイッチ等であり、ユーザによる視点変換画像の表示の要求やキャンセルを行うことができる。また、操作受付部34は、図示しないイグニッションスイッチのON信号を受け付け、そのON信号を契機に視点変換画像の表示要求を取得したと見なしてもよい。例えば、ユーザが車両1に乗り込み、イグニッションスイッチをONすることにより、車両1を発進させるのに先立ち、車両1の周囲の状況をユーザに通知するように視点変換画像を自動的に表示するようにしてもよい。
画像制御部36は、データ制御部36a、経時計測部36b、差分抽出部36c、発進操作受付部36d等を含む。データ制御部36aは、画像変換部32が生成した複数の仮想画像データを、仮想視点が車両1の周囲を移動しているような動画になるように配列し、表示制御部14dに供給して表示装置8に表示させる。例えば、データ制御部36aは、図6に示すように、仮想視点38が第1の仮想視点位置Aから第2の仮想視点位置Bを経て第3の仮想視点位置Cの順に移動したように仮想画像データを表示するように準備する。第1の仮想視点位置Aは、車両1の一方側から車両1を挟んで反対側(他方側)を臨む位置である。図6の場合、車両1のフロント側に設定されている例が示されている。第2の仮想視点位置Bは、車両1の上空域から当該車両1を臨む位置である。第3の仮想視点位置Cは、第1の仮想視点位置Aの反対側から車両1を挟んで一方側を臨む位置である。図6の場合、車両1のリア側に設定されている例が示されている。
また、データ制御部36aは、仮想視点38が第2の仮想視点位置Bを通過するように仮想画像データを表示する間に仮想視点38の視線(車両1の上空域から当該車両1を臨む視線(例えば鉛直軸O))を中心に仮想画像データを回転させる。仮想視点38を第1の仮想視点位置Aから第3の仮想視点位置Cに移動させる場合、仮想画像データをそのまま連続的に表示した場合、第2の仮想視点位置Bを通過する前後で車両1の周囲に存在する物体の天地が逆転してしまう。その結果、物体の位置や姿勢が把握し難くなる。そこで、データ制御部36aは、車両1の周囲全体が見渡せる車両1の直上位置(第2の仮想視点位置B)で仮想画像データを180°回転させている。その結果、第2の仮想視点位置Bを通過した以降も物体の天地は第1の仮想視点位置Aで表示していた状態と同じ方向で、車両1の周囲の状況が把握しやすい状態で、物体の位置関係の認識度の低下を抑制しつつ、第3の仮想視点位置Cへの画像の移行をスムーズに行うことができる。つまり、第3の仮想視点位置Cで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性を向上することができる。また、仮想画像データの回転に伴い車両1の周囲に存在する物体の表示位置が変化するので、その物体の存在に注目させやすくなり、物体の認識度を向上させることができる。すなわち、物体の存在を気づかせ易くすることができる。なお、車両1の周囲全体が見渡せる車両1の直上位置とは、例えば、車両1のフロントバンパの鉛直延長線上の位置でもよいし、ルーフの鉛直延長線上の位置でもよいし、リアバンパの鉛直延長線上の位置でもよい。また、それらの間の位置でもよい。この中で、ルーフの鉛直延長線上の位置が、車両1と周辺の物体との位置関係を把握させやすい表示ができる点、仮想画像データを回転させる場合に車両1の偏心回転が少なく違和感なく表示できる点等で好ましい。
ところで、仮想画像データは、車両1に搭載された撮像部15で撮像された撮像画像データに基づき生成されているため、撮像画像データには自車(車両1)は一部しか存在しない場合がある。例えば、バンパの一部やドアの一部しか映り込んでいない場合がある。その結果、撮像画像データに基づいて生成する仮想画像データには車両1の全体像は反映されない場合がある。そこで、データ制御部36aは、例えばROM14bやSSD14fに予め記憶しておいた自車(車両1)の車両外形データを仮想画像データに重畳して、表示装置8に表示する視点変換画像に車両1が存在するようにして表示するようにしてもよい。その結果、車両1(自車)の周囲に存在する物体と車両1との位置関係をより容易にユーザに理解させやすい表示ができる。なお、仮想視点38の移動に対応して車両1の見え方も刻々と変化するので、車両外形データはマッピングテーブルの変換情報の数に対応して準備しておくことが望ましい。
車両外形データは、実際の車両1の撮影データを用いて作成してもよいし、アニメーションでもよい。また、車両外形データは、車両1を半透明や線図で表現したものを用いてもよい。車両外形データを半透明や線図で表現する場合、車両の奥側に存在する物体の存在や形状、大きさ等も把握させやすくすることができる。一方、車両外形データを実体表現で表示した場合、現実世界(現実空間)との乖離を少なくできるので、ユーザに受け入れられ易い画像を提供することができる。
データ制御部36aは、仮想視点38を移動させる場合、その移動開始位置を予め決定することができる。データ制御部36aは、例えば第3の仮想視点位置Cを車両1が発進する際の進行予定方向に対して後ろ側に位置するように決定することができる。図6は、車両1が前進発進する場合の第1の仮想視点位置A、第2の仮想視点位置B、第3の仮想視点位置Cの設定位置を示している。逆に、車両1が後退発進する場合は、車両1のリア側に第1の仮想視点位置Aが設定され、フロント側に第3の仮想視点位置Cが設定される。このように、第3の仮想視点位置Cを設定することにより、車両1を発進させるときに最終的に注意を払う可能性の高い視認方向の画像を最後に提供できるので、ユーザに車両1の周囲の状況をより理解させやすい表示ができる。
なお、データ制御部36aは、車両1が発進する際の進行予定方向を、例えば車両1のイグニッションスイッチのOFF操作直前、すなわち駐車直前の変速操作部7の位置をSSD14f等に記憶しておくことにより判定することができる。つまり、イグニッションスイッチOFF直前の変速操作部7の位置が「Rレンジ」で後退走行により駐車した場合、車両1は駐車状態から発進するとき前進発進する可能性が高い。したがって、視点変換画像の最後に車両1の前方の状況が認識しやすいようにリア側に第3の仮想視点位置Cを設定することが望ましい。逆にイグニッションスイッチOFF直前の変速操作部7の位置が「Dレンジ」で前進走行により駐車した場合、車両1は駐車状態から発進するとき後退発進する可能性が高い。したがって、視点変換画像の最後に車両1の後方の状況が認識しやすいようにフロント側に第3の仮想視点位置Cを設定することが望ましい。また、車両1を駐車支援システムを用いて駐車した場合、車両1のECU14は、駐車時の車両1の進入方向や出庫時の進出方向をSSD14fに記憶している場合がある。この場合は、SSD14fに記憶された駐車支援時の情報を用いて車両1が発進する際の進行予定方向を判定してもよい。なお、車両1の駐車中に当該車両1の周囲の状況が変化して、発進時の進行予定方向を変更した方がよい場合がある。この場合、データ制御部36aは、イグニッションスイッチのONのときに、車両1の発進方向をユーザに問い合わせるメッセージを表示装置8や表示装置12に表示して、操作部14gから進行予定方向、つまり視点変換画像をどの方向からどの方向に見たいかを入力させるようにしてもよい。
周辺監視システム100は、一例として上述のように仮想視点38が移動することにより取得される複数の仮想画像データを順次表示することで一連の動画表示を実現するが、この一連の動画表示は、一度表示が終了した後でも所定条件が満たされれば、複数回表示される。本実施形態において、例えば、始めに表示される一連の画像を「第一次画像」(第一次の撮像画像データ(仮想画像データ)によって形成される画像)と称し、この「第一次画像」の表示終了後に同様な一連の画像が表示される場合、この一連の画像を「第二次画像」(第一次画像より後の周囲状況を示す第二次の撮像画像データ(仮想画像データ)によって形成される画像)と称する。また、この「第二次画像」の表示終了後に、再び所定条件が満たされて同様な一連の画像が表示される場合、当該「第二次画像」が「第一次画像」と見なされ、その後に表示さる同様な一連の画像が「第二次画像」と見なされる。以下、所定条件が満たされれば、同様な表示が繰り返される。なお、周辺監視システム100により表示される画像は、上述したような仮想画像データを順次表示することにより得られる動画のみならず、一つの仮想画像データを用いた静止画像、例えばトップビュー画像でもよい。また、撮像画像データに視点変換処理を加えず、例えばフロント画像やリア画像等をそのままの状態で表示してもよい。これらの場合も、先に表示される画像を「第一次画像」と称し、それに続いて表示される画像を「第二次画像」と称する。なお、第一次の撮像画像データは、第一の撮像画像データ、第一の撮像データと称する場合もある。第一次画像は、第一の画像と称する場合もある。同様に、第二次の撮像画像データは、第二の撮像画像データ、第二の撮像データと称する場合もある。第二次画像は、第二の画像と称する場合もある。
経時計測部36bは、車両1が停止している場合(車輪速センサ22からの停止確認情報を画像制御部36が取得している状態)において、「第一次画像」の表示が終了してからの経過期間(例えば経過時間)を計測する。そして、経時計測部36bは、所定期間が経過した場合に経過情報をデータ制御部36aに提供する。データ制御部36aは、経過情報を取得すると「第二次画像」を表示するための所定条件が満たされたか否かを判定する。そして、データ制御部36aは、「第一次画像」と同様な画像、例えば上述したような仮想視点38が第1の仮想視点位置Aから第2の仮想視点位置Bを経て第3の仮想視点位置Cに移動したように見えるように、第一次画像より後の周囲状況を示す撮像画像データ(好ましくは、所定条件が満たされたときに撮像された撮像画像データに基づく最新の仮想画像データ)に基づく順次表示(動画表示)を実行する。つまり、「第二次画像」として表示する。経時計測部36bは、この「第二次画像」の表示終了後にこの「第二次画像」を「第一次画像」と見なし、再び経時計測を実行する。そして、所定期間の経過が計測された場合、第二次の撮像画像データ(好ましくは、所定条件が満たされたときの最新の撮像画像データに基づく仮想画像データ)に基づく「第二次画像」の表示を実行する。なお、所定期間の経過前に車両1が発進した場合(車輪速センサ22からの走行確認情報を画像制御部36が取得している場合)、データ制御部36aは、「第二次画像」の表示は行わない。ここで、「第二次画像」を表示するための所定条件とは、車両1の停止状態で「第一次画像」の表示終了後、例えば「60秒」が経過したこととすることができる。なお、所定期間の設定は、「60秒」に限らず、適宜設定することができる。例えば、車両1の起動後、ナビゲーションシステム等の操作をいつも行うユーザの場合、ナビゲーションシステムの設定に要する時間を考慮して、長めの所定期間の設定、例えば、「180秒」を設定してもよい。逆に、車両1の起動後から発進までの時間がいつも短いユーザの場合、短めの所定時間の設定、例えば「20秒」を設定してもよい。
このように、周辺監視システム100は、「第一次画像」の表示終了後、所定期間(所定時間)の経過後に、第二次の撮像画像データ(例えば、所定条件が満たされたときに撮像された新たな(最新の)撮像画像データに基づく仮想画像データ)に基づく「第二次画像」の表示を自動的に行う。すなわち、車両1が起動(イグニッションスイッチのON等)され、「第一次画像」が表示され後に、車両1を発進させることなく時間が経過した場合でも、所定期間経過後に自動的に「第二次画像」が表示される。その結果、ユーザにより新しい仮想画像データに基づく車両1の周辺状況を示す画像情報(「第二次画像」)を確実に提供することができる。
差分抽出部36cは、「第一次画像」の表示終了後で車両1が発進するまでを条件として、上述したように車両1の周辺状況を示す画像(動画)を表示するための仮想画像データまたは撮像画像データに生じる差分を抽出する。例えば、「第一次画像」の表示終了後に、当該「第一次画像」を形成した仮想画像データのそれぞれについて、同じ視点位置の現在の仮想画像データとを比較する。そして、差分抽出部36cは、所定値以上の差異が検出された場合に差分情報をデータ制御部36aに提供する。データ制御部36aは、差分情報を取得すると「第二次画像」を表示するための所定条件が満たされた判定する。つまり、データ制御部36aは、車両1の周辺状況に注目すべき変化(例えば、移動物体の接離)が生じたと判定して、「第二次画像」を表示する。そして、データ制御部36aは、第一次画像より後の周囲状況を示す撮像画像データ(好ましくは、所定条件が満たされたときに撮像された撮像画像データに基づく新たな仮想画像データ(最新の画像データ))に基づき「第一次画像」と同様な画像である「第二次画像」を表示する。なお、差分抽出部36cによる差分検出は、例えば、仮想画像データや撮像画像データの画素単位で行ってもよいし、仮想画像データや撮像画像データにおける表示領域をマトリックス状に複数の分割領域に分割し、この分割領域ごとに比較するようにしてもよい。画素単位で比較を行う場合は詳細な差分検出が実行できるが処理負荷が高くなる。一方、分割領域単位の比較の場合、分割数で差分検出の精度調整ができるとともに、分割数に応じて処理負荷の調整が可能になる。なお、仮想画像データ(撮像画像データ)に注目すべき変化が生じたか否かを判定する所定値とは、例えば、画素単位の比較の場合、全体の10%以上の画像が変化した場合に変化ありと判定してもよい。また、分割領域ごとの比較の場合、分割領域ごとに二値化を行い、変化の有無を判定するようにしてもよい。
このように、「第一次画像」の表示終了後、車両1が発進するまでの間に仮想画像データ(表示画像)に所定値以上の差異が発見された場合に、新たな仮想画像データに基づく「第二次画像」の表示を自動的に行う。すなわち、車両1の周辺状況に大きな変化(注目すべき変化)が生じるごとに「第二次画像」が表示される。前述した経時計測部36bからの情報を「第二次画像」を表示するための所定条件とする場合、車両1が起動した後、発進するまで所定期間(所定時間)ごとに「第二次画像」が表示される。そのため、必要以上に「第二次画像」が表示される場合がある。一方、差分抽出部36cからの情報を「第二次画像」を表示するための所定条件とする場合、車両1の周辺状況に大きな変化(注目すべき変化)が生じた場合のみ「第二次画像」が表示されるので、必要最小限の「第二次画像」の表示ができる。
発進操作受付部36dは、「第一次画像」の表示終了後で、車両1の発進準備操作が開始された場合、その操作内容に関する情報を取得する。車両1を起動(例えばイグニッションスイッチをON)させた後、ユーザが実行する発進準備操作としては、例えば、変速操作部7(シフトレバー)の操作(Dポジション、またはRポジションへの移動)と、パーキングブレーキの解除操作等がある。発進操作受付部36dは、シフトレバーの操作とパーキングブレーキの解除操作の有無を受け付け、データ制御部36aに提供する。そして、データ制御部36aは、いずれか一方の操作が実行され、かつ他方の操作が未実行である場合に、「第二次画像」を表示するための所定条件が満たされた判定する。つまり、データ制御部36aは、車両1が発進直前状態であると判定して、第一次画像より後の周囲状況を示す撮像画像データ(好ましくは、所定条件が満たされたときに撮像された撮像画像データに基づく新たな(最新の)仮想画像データ)に基づき「第一次画像」と同様な画像である「第二次画像」を表示する。なお、シフトレバーの操作とパーキングブレーキの解除操作の両方が実行された場合、車両1は実質的に発進してしまったと見なし、「第二次画像」の表示は行わない。
このように、「第一次画像」の表示終了後、車両1の発進準備操作が開始され、かつその発進準備操作が全て完了する前に所定条件が満たされたときの最新の仮想画像データに基づく「第二次画像」の表示を自動的に行う。すなわち、発進直前に、発進操作の一連の動作の間に最新の「第二次画像」の表示を実行するように割り込み処理を行う。なお、データ制御部36aは、発進準備操作が全て完了する前、すなわち、車両1が動き出す前に「第二次画像」の表示を行うので、当該第二次画像の表示が直接運転操作に影響することが抑制できる。
データ制御部36aは、経時計測部36b、差分抽出部36c、発進操作受付部36dの全てからの情報を取得可能とし、いずれかの情報を取得した場合に「第二次画像」を表示するか否かを判定してもよいし、いずれか1つの構成またはいくつかの構成を用いて、「第二次画像」を表示するタイミングを決定するようにしてもよい。例えば、経時計測部36bの設定期間を例えば180秒等のように長めに設定し、その間に差分抽出部36cからの情報(差分情報)が取得された場合に所定条件が満たされたと判定してもよい。この場合、頻繁に「第二次画像」が表示されることを抑制しつつ、車両1の周辺状況に所定値を越える注目すべき変化が生じた場合には迅速に「第二次画像」を表示することができる。また、車両1の周辺状況に所定値を越える注目すべき変化が生じない場合でも、所定期間(例えば、180秒)が経過した場合、ユーザに煩わしさを感じさせない程度に「第二次画像」を定期的に表示し、注意喚起することができる。また、発進操作受付部36dからの情報と経時計測部36bや差分抽出部36cからの情報とを組み合わせて利用することにより、発進直前に「第二次画像」が確実に表示できるので、車両1が起動してから実際に発進するまでの間の適切なタイミングで「第二次画像」の表示ができる。
なお、車両1の起動とともに表示される「第一次画像」は、発進準備操作を行っているユーザに見落とされる可能性がある。そこで、「第二次画像」を表示する場合、データ制御部36aは「第二次画像」の表示に先立ち表示開始情報を出力させるようにしてもよい。表示開始情報は、例えば、音声メッセージにより「新たな(最新の)周辺画像を表示します。ご確認ください。」等である。また、表示開始情報は、ピープ音や所定の警告音等でもよい。特に、差分抽出部36cまたは発進操作受付部36dからの情報により「第二次画像」を表示する場合は、ユーザが周辺状況を再確認することが望ましいので、表示開始情報の出力は有効である。
なお、図6の場合、車両1のフロント側に第1の仮想視点位置Aを設定し、車両1の上空域に第2の仮想視点位置Bを設定し、リア側に第3の仮想視点位置Cを設定した例を示した。第1の仮想視点位置A、第3の仮想視点位置Cの設定位置は、仮想画像データが第2の仮想視点位置B(車両1の上空域)で例えば鉛直軸Oの周りを180°回転させられればよく適宜選択することが可能で同様の効果を得ることができる。例えば、別の実施形態では、車両1の右側方に第1の仮想視点位置Aを設定し、車両1の上空域に第2の仮想視点位置Bを設定し、車両1の左側方に第3の仮想視点位置Cを設定して、視点変換画像(実質的な動画)を表示してもよい。この場合、車両1の側方の状況に注意を払わせやすい周辺監視情報の提供ができる。また、車両1の左斜め前方を第1の仮想視点位置Aとし、車両1の上空域である第2の仮想視点位置Bを経て、車両1の右斜め後方を第3の仮想視点位置Cとしてもよい。同様に、車両1の右斜め前方を第1の仮想視点位置Aとし、車両1の上空域である第2の仮想視点位置Bを経て、車両1の左斜め後方を第3の仮想視点位置Cとしてもよい。この場合、車両1のコーナ部分の状況に注意を払わせやすい周辺監視情報の提供ができる。
このように構成される周辺監視システム100の動作を以下に説明する。図7は、車両1が駐車されている現実世界(現実空間)の一例を示す斜視図である。図7の場合、車両1は、フロント側の物体40およびリア側の物体42、物体44に挟まれた空間に駐車されている例を示している。なお、物体40と物体42は小径の円柱物体であり、物体44は、物体40,42より大径の円柱物体である。以下の説明では、図7の状態から車両1を前進発進させようとする場合の視点変換画像の表示処理を一例として説明する。
CPU14a(ECU14)は、まず、視点変換画像の表示要求があるか否かを判定する(S100)。例えば、イグニッションスイッチの操作状態を確認し、イグニッションスイッチがONされた場合、車両1は発進準備中であり、表示要求ありと判定する。この場合、イグニッションスイッチの操作に伴い視点変換画像は自動表示モードで表示されることになる。また、別の実施形態では、操作部14g等を介してユーザが視点変換画像の表示を要求した場合、表示要求ありと判定する。この場合、視点変換画像は手動表示モードで表示されることになる。
CPU14aは、「表示要求なし」と判定した場合(S100のNo)、このフローを一旦終了する。一方、CPU14aは、「表示要求あり」と判定した場合(S100のYes)、データ制御部36aは、車両1の発進予定方向を取得する(S102)。データ制御部36aは、例えば、SSD14f等に記録されていた駐車直前の変速操作部7のシフト位置や駐車支援を行ったときの駐車状況等に基づき、車両1の発進予定方向を取得する。データ制御部36aは、さらに、取得した発進予定方向に基づき、表示開始視点位置を決定する(S104)。例えば、車両1が前進発進すると判定した場合、データ制御部36aは、第3の仮想視点位置Cを車両1のリア側、第1の仮想視点位置Aを車両1のフロント側に設定する。逆に車両1が後退発進すると判定した場合、データ制御部36aは、第3の仮想視点位置Cを車両1のフロント側、第1の仮想視点位置Aを車両1のリア側に設定する。
続いて、画像取得部30は、表示制御部14dを介して各撮像部15a〜15dが撮像した車両1の周辺の撮像画像データ(現在画像)を取得する(S106)。そして、画像変換部32は、取得された撮像画像データをROM14bが記憶するマッピングテーブルの変換情報を用いて、仮想画像データを生成(変換)する(S108)。なお、本実施形態では、画像変換部32は、撮像画像データを車両1の位置を中心とする曲面に投影するように仮想画像データに変換している。
データ制御部36aは、S104で決定した表示開始視点位置(例えば、図6の第1の仮想視点位置A)に仮想視点38が存在する場合の仮想画像データから表示を開始する。そして、データ制御部36aは、仮想視点38が第2の仮想視点位置Bに向かい移動するように仮想画像データを所定のフレームレートで順次表示して、視点変換画像の実質的な動画表示を開始する(S110)。本実施形態の場合、前述したように、画像変換部32は、撮像画像データを曲面投影を用いて仮想画像データを生成する。例えば、平面投影を用いて仮想画像データを生成した場合、車両1に対して水平方向に第1の仮想視点位置Aを設定すると、車両1の周囲の物体に対応する画素は水平線上に並び(直線で表現されてしまい)、物体を表現することが困難になる。一方、曲面投影を用いて仮想画像データを生成した場合、車両1に対して水平方向に第1の仮想視点位置Aを設定すると、第1の仮想視点位置Aに近い位置に存在する物体は、路面に寝転がった状態に表示される。また、奥側(第1の仮想視点位置Aから遠い側)に存在する物体は、立像として立体的に表示される。図9は、仮想視点38が第1の仮想視点位置Aに存在する場合に曲面投影を用いた仮想画像データにより表示される視点変換画像の一例である。この場合、車両1の前方に物体40が存在し、車両1の後方に物体42,44が存在することをユーザに認識させることができる。
データ制御部36aは、順次表示する仮想画像データ(実質的な動画)が第2の仮想視点位置Bの位置における仮想画像データ、すなわち、仮想画像データを鉛直軸Oの周りを180°回転させる位置の仮想画像データの表示タイミングになったか否かを判定する(S112のNo)。仮想画像データを回転する位置(タイミング)に到達した場合(S112のYes)、データ制御部36aは、仮想視点38の移動を一時的に停止して仮想画像データの回転を行う(S114)。図10は、仮想視点38が、第2の仮想視点位置Bに到達した場合の仮想画像データに基づき表示装置8に表示された視点変換画像である。図10に示しように、仮想画像データの回転前においては、車両1のフロント側が表示装置8の画面下端側に向いているとともに、物体40が表示装置8の画面下端側に存在し、物体42,44が表示装置8の画面上端側に存在する状態で表示される。図11は、仮想視点38が、第2の仮想視点位置Bに到達した後、そこで鉛直軸O(図6参照)を中心として水平方向に180°回転させた後の仮想画像データに基づき表示装置8に表示された視点変換画像である。図11に示すように、仮想画像データの回転後においては、車両1のリア側が表示装置8の画面下端側に向いているとともに、物体42,44が表示装置8の画面下端側に存在し、物体40が表示装置8の画面上端側に存在する状態で表示される。このように、車両1の周囲の全体状況が把握しやすい状態で仮想画像データを回転させることで、物体40〜44の存在や車両1との位置関係をユーザに認識させやすくするとともに、注意を払う物体に対する注目度を向上させることができる。
データ制御部36aは、第2の仮想視点位置Bにおいてデータ制御部36aの回転が完了したか否かを確認し(S116のNo)、回転が完了した場合(S116のYes)、仮想視点38の第3の仮想視点位置Cに向かう移動を開始する(S118)。なお、仮想画像データは、第2の仮想視点位置Bで180°回転しているので、仮想視点38を第3の仮想視点位置Cに向けて移動させても車両1の天地は逆転せず、第3の仮想視点位置Cで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性が向上できる。
次に、データ制御部36aは、仮想視点38の位置が表示最終位置に到達したか否か判定する(S120のNo)。仮想視点38が第3の仮想視点位置C(C1)に到達した、つまり、第3の仮想視点位置C(C1)に対応する仮想画像データの表示を実行した場合(S120のYes)、CPU14a(操作受付部34)は、このフローを一旦終了し、次の視点変換画像の表示要求の受け付けを待つ。この時点で「第一次画像」の表示が終了したことになる。
このように、データ制御部36aは、仮想画像データを表示する場合に、仮想視点38を第1の仮想視点位置A、第2の仮想視点位置B、第3の仮想視点位置Cに連続的に移動させるとともに、第2の仮想視点位置Bの位置で、仮想画像データを水平方向に180°回転させる。その結果、車両1の周囲の状況を仮想視点38から見た視点変換画像により実質的な動画によりユーザに提供することが可能になり、車両1の周囲の状況(現実世界、現実空間)をより容易にユーザに把握させることができる。また、仮想視点38の位置を高さ方向および第1の仮想視点位置Aから第3の仮想視点位置Cの方向に連続的に移動させることにより、車両1の周囲に存在する物体(例えば物体40〜44)の見え方が刻々と変化する。その変化の過程(連続変化の過程)で物体(立体物)の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化を把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両1の周囲の状況をユーザに理解させやすく表示することができる。
また、第3の仮想視点位置Cを車両1が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図12に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。
ところで、画像変換部32が曲面投影を用いて撮像画像データから仮想画像データを生成する場合、CPU14aの処理負荷が増大してしまう場合がある。一方、平面投影を用いて撮像画像データから仮想画像データを生成する場合、CPU14aの処理負荷は曲面投影の場合に比べ軽減できる場合がある。前述したように平面投影を用いた場合、仮想視点38が車両1と水平の位置にある場合、物体の表示が困難になる場合がある。そこで、図6に示すように、仮想視点38の移動開始位置および移動終了位置を車両1に対する水平の位置より上方に移動して、第1の仮想視点位置A1、第3の仮想視点位置C1とする。例えば、水平に対する第1の仮想視点位置A1の仰角をα=15°とする。同様に水平に対する第3の仮想視点位置C1の仰角をβ=15°とする。このように、仮想視点38の移動開始位置および移動終了位置を変更するのみで、物体が表示し難いという不都合を容易に回避することができる。さらに、CPU14aの処理負荷を容易に軽減することができる。
図13〜図16は、平面投影を用いて生成した仮想画像データを用いた視点変換画像による表示例を示している。図13に示すように、第1の仮想視点位置A1に仮想視点38が存在する場合、重畳される車両1は前方やや上方から俯瞰した状態となる。その結果、物体40は、水平線から起き上がった状態で表示され、物体40の存在をユーザに認識させ易くなる。データ制御部36aは、仮想視点38が第2の仮想視点位置Bに到達した場合に、曲面投影で仮想画像データを生成した場合と同様に、仮想画像データを鉛直軸Oの周りで水平方向に180°回転させる(図14、図15)。平面投影を用いた場合、第2の仮想視点位置Bにおける仮想画像データで表示される物体40〜44は、ほぼ上面視像となり、物体40〜44と車両1との位置関係が曲面投影を用いた場合に比べて明確になる。仮想画像データの回転が完了すると、データ制御部36aは、仮想視点38が第3の仮想視点位置C1に向かい移動を再開したように見えるように仮想画像データの順次表示を再開し、第3の仮想視点位置C1に対応する仮想画像データの表示を行い(図16)、一連の表示処理を完了させる。図16に示すように、第3の仮想視点位置C1に仮想視点38が存在する場合、重畳される車両1は後方やや上方から俯瞰した状態となる。
このように、平面投影を用いて仮想画像データを生成して表示する場合も、仮想視点38を第1の仮想視点位置A1、第2の仮想視点位置B、第3の仮想視点位置C1に連続的に移動させるとともに、第2の仮想視点位置Bの位置で、仮想画像データを水平方向に180°回転させる。その結果、車両1の周囲の状況を仮想視点38から見た視点変換画像による実質的な動画によりユーザに提供することが可能になり、車両1の周囲の状況(現実世界、現実空間)をより容易に把握させることができる。また、仮想視点38の位置を高さ方向および第1の仮想視点位置A1から第3の仮想視点位置C1の方向に連続的に移動させることにより、車両1の周囲に存在する物体(例えば物体40〜44)の見え方が刻々と変化する。その変化の過程(連続変化の過程)で物体(立体物)の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化が把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両1の周囲の状況をユーザに理解させやすく表示することができる。
また、第3の仮想視点位置C1を車両1が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図16に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。
図17は、図9〜図12または図13〜図16に示す「第一次画像」の表示終了後に「第二次画像」の表示を行う場合の処理を説明するフローチャートである。
まず、データ制御部36aは、「第一次画像」の表示が終了していない場合(S200のNo)、つまり、図8に示すフローチャートが終了している場合、図17のフローを一旦終了する。一方、「第一次画像」の表示が終了している場合(S200のYes)、画像制御部36は、車輪速センサ22からの情報に基づき車両1が停止中か否かを確認する(S202)。すなわち、画像制御部36は、停止確認情報の取得確認、言い換えれば、車輪速センサ22が未出力状態であることの確認を行う。車両1が停止中でない場合(S202のNo)、すなわち、既に発進済みの場合は、一旦このフローを終了する。
S202において、車両1が停止中の場合(S202のYes)、データ制御部36aは、「第二次画像」を表示するための所定条件が満たされているか否かを確認する(S204)。例えば、経時計測部36bからの情報により所定条件が満たされているか否かを判定する場合、「第一次画像」の表示終了後に所定期間(例えば60秒)が経過した場合、画像の再表示条件、すなわち、「第一次画像」の表示終了後に所定条件が満たされたときの最新の第二次の撮像画像データによる仮想画像データに基づく「第二次画像」の表示条件が満たされたと見なす(S204のYes)。データ制御部36aは車輪速センサ22からの情報に基づき車両1が所定条件の成立待ちの間に発進していないか否かを確認し(S206)、発進済みでない場合(S206のNo)、「第二次画像」の表示を行う(S208)。この場合、図8において、S100を「第二次画像」の表示要求あり?」と読み替え、S102の発進予定方向およびS104の表示開始視点位置は、「第一次画像」の表示を行ったときの値をそのまま使用し、S106以降の処理を実行する。その結果、所定条件が満たされたときの最新の第二次の仮想画像データを用いた「第二次画像」の表示が実行される。また、「第二次画像」の表示に先立ち、データ制御部36aは、音声制御部14eを介して表示開始情報(表示メッセージ)を出力する(S210)。表示開始情報は、例えば、音声メッセージによる「新たな(最新の)周辺画像を表示します。ご確認ください。」等である。なお、S206において車両1が既に発進している場合(S206のYes)、S208、S210の処理をスキップして一旦このフローを終了する。また、S204において、所定条件が満たされていない場合(S204のNo)、一旦このフローを終了する。
なお、S204において、所定条件の成立の有無を、例えば差分抽出部36cからの情報や発進操作受付部36dからの情報で判定する場合、それぞれの条件が成立した場合に最新の(第二次の)仮想画像データに基づく「第二次画像」の表示条件が満たされたと見なす。そして、上述と同様な処理を実行して、「第二次画像」の表示を行う。また、この「第二次画像」の表示終了後、再び所定条件が成立した場合、再度最新の(第二次の)仮想画像データに基づく「第二次画像」を実行する。なお、車両1が発進されない場合、複数回「第二次画像」が表示される場合があるが、それぞれの「第二次画像」を表示するための所定条件は、毎回同じでもよいし、一定の規則にしたがって異ならせてもよい。例えば、初回の「第二次画像」の表示は経時計測部36bからの情報を用いて所定期間が経過したら実行する。それ以降は、差分抽出部36cからの情報を用いて、車両1の周辺状況に注目すべき変化が確認できた場合にのみ「第二次画像」を表示するようにしてもよい。また、初回の「第二次画像」の表示は経時計測部36bからの情報を用いて所定期間が経過したら実行する。それ以降は、発進操作受付部36dからの情報を用いて、車両1の発進準備操作が行われ、かつ、その発進準備操作が全て完了していないことが確認できた場合にのみ「第二次画像」を表示するようにしてもよい。このような所定条件の使い分けを行うことにより、必要以上に「第二次画像」が表示されることを抑制しつつ、適切なタイミングで「第二次画像」を提供する周辺監視システム100が実現できる。
なお、差分抽出部36cからの情報を用いて「第二次画像」を表示する場合、図18に示すように、仮想画像データにおける表示領域をマトリックス状に複数の分割領域48に分割し、「第一次画像」で用いた第一次の仮想画像データと最新の第二次の仮想画像データとを分割領域48ごとに比較して差分を検出してもよい。また、検出された変化部分(物体46)を強調表示、例えば強調枠50で囲って表示してもよい。例えば、図18の場合、「第一次画像」に存在していた物体40、物体42、物体44の加え、新たに物体46が仮想画像データ上出現した(車両1に接近してきた移動物体、歩行者等が出現した)場合が示されている。差分抽出部36cは物体46の位置を特定する情報をデータ制御部36aに提供し、データ制御部36aは、該当する分割領域48を強調枠50で囲むように表示制御部14dに強調枠50の重畳表示要求信号を提供する。強調枠50は、「赤色」表示されたり、点滅表示され、ユーザの注意喚起を行いやすい態様で表示されることが望ましい。また、データ制御部36aは、音声制御部14eを介して、例えば「新たに接近した物体を検出しました。注意してください。」等の音声メッセージを出力するようにしてもよい。
このように、車両1が発進準備状態の間、つまり車両1が起動したもののまだ発進していない状態のときに、第一次の撮像画像データ(仮想画像データ)を用いて車両1の周辺状況を示す「第一次画像」を表示する。そして、この「第一次画面」の表示終了後に所定条件が満たされた場合に、新たな(最新の)第二次の撮像画像データ(仮想画像データ)を用いた「第二次画像」を表示する。その結果、車両1の発進前のユーザに車両1の周辺状況の認識をさせやすくすることができる。
データ制御部36aは、仮想視点38の移動速度、つまり、視点変換画像の動画表示速度を変更してもよい(可変できるようにしてもよい)。例えば、操作部14gを介してユーザの希望する表示速度を受け付け、その表示速度に設定してもよい。この場合、ユーザの好みに沿う表示ができる。また、「第一次画像」を表示する場合と「第二次画像」を表示する場合で、仮想視点38の移動速度(仮想画像データの順次表示の速度、動画速度)を変えてもよい。例えば、初回の「第一次画像」の表示では標準的な第1速度で表示し、2回目以降の「第二次画像」の表示では、第1速度より遅い第2速度で表示するようにしてもよい。この場合、車両1の周囲の状況をより理解させやすい表示ができる。
なお、上述した各実施形態では、仮想画像データを回転させる第2の仮想視点位置Bの位置を車両1の上空域のうち車両1を基準とした鉛直軸Oを含む位置(直上位置)として説明した。別の実施形態では、仮想画像データを回転させる位置は、鉛直軸Oを含む位置に限られず、鉛直軸Oの位置から所定量前後にずれた位置でもよく、同様の効果を得ることができる。また、仮想視点38が第1の仮想視点位置A(A1)、第2の仮想視点位置B、第3の仮想視点位置C(C1)を移動しているように仮想画像データを表示する場合、実質的に動画として表示することが望ましいが、仮想画像データの表示は第1の仮想視点位置A(A1)から第3の仮想視点位置C(C1)に至るまで必ずしも連続していなくてもよい。例えば、動画の途中に静止画が存在するように表示してもよい。また、ユーザが操作部14g等を操作することにより、注目したい仮想視点の位置で仮想画像データによる表示を静止させてもよい。例えば、車両1の周辺の状況を表示しているときに、注目したい場面で仮想画像データによる表示を一時的に静止画とすることで、車両1と物体との位置関係や発進経路を検討し易くすることができる。
また、図6において、仮想視点38は、車両1を中心とするほぼ半円軌道で移動する例を示したが、仮想視点38が第2の仮想視点位置Bの位置またはその前後位置で180°回転すれば、その移動態様は適宜変更可能である。例えば、仮想視点38が第1の仮想視点位置A(A1)から所定の高さに上昇した後、仮想視点38を車両1の上空域を水平移動させる。その水平移動の間に仮想視点38を水平方向に180°回転させて、その後、第3の仮想視点位置C(C1)に向けて下降させてもよい。この場合、車両1を俯瞰している状態が長くなり車両1と物体との位置関係をより把握させやすい表示ができる。
上述した実施形態では、撮像画像データから仮想画像データを生成する場合に曲面投影か平面投影かのいずれかを用いる例を示したがこれに限らない。曲面投影と平面投影とを適宜組み合わせて用いてもよい。例えば、第1の仮想視点位置Aや第3の仮想視点位置Cの付近では曲面投影を用い、その他の部分では平面投影を用いてもよい。この場合、表示開始および終了位置の変更による視点変換画像の表示範囲の拡大ができるとともに、画像変換部32における処理負荷の軽減が可能になる。
また、上述した実施形態では、撮像部15が撮像した現在画像(リアルタイム画像)により仮想画像データを生成する例を示したが、撮像画像データを一時的にRAM14c等に保存して仮想画像データをタイミングを遅らせて生成するようにしてもよい。この場合、表示のリアルタイム性は僅かに低下する場合があるが、処理速度の遅いCPU14aの利用も可能になり、周辺監視装置のコスト削減に寄与できる。また、撮像部15で撮像してRAM14c等に保存しておいた過去画像を用いて、本実施形態で示した視点変換画像を表示するようにしてもよい。この場合、現在の車両1の周囲のみならず、移動してきた領域(現在の車両1の位置から離れた位置)の状況(過去の状況)の把握も可能になり、周辺監視装置の利用機会を増やすことができる。
また、上述した実施形態では、仮想画像データを用いた視点変換画像(動画)を「第一次画像」および「第二次画像」として表示する例を示した。他の実施形態では、例えば、仮想画像データを用いた静止画像、例えば、トップビュー画像を「第一次画像」および「第二次画像」として表示するようにしてもよく、本実施形態と同様の効果を得ることができる。また、撮像部15で撮像した撮像画像データをそのまま用いた動画や静止画像、または一部加工した動画や静止画像を用いて「第一次画像」および「第二次画像」を提供してもよい。例えば、撮像部15cで撮像した車両1の前方向を示す撮像画像データを用いて「第一次画像」および「第二次画像」を表示してもよく、本実施形態と同様の効果を得ることができる。また、別の実施形態では、「第一次画像」を静止画像で表示し、「第二次画像」を動画で表示するようにしてもよい。この場合、「第一次画像」を表示するための処理が簡略化され、CPU14aの処理負荷が低減できる。
なお、図5の説明では、画像制御部36の構成が機能ごとに分割されたデータ制御部36a、経時計測部36b、差分抽出部36c、発進操作受付部36dを含む場合を説明した。別の実施形態では、複数の機能を統合したり、逆に機能を分割してもよい。また、画像制御部36が全ての機能を実行するものとしてもよい。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。