以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
本実施形態において、周辺監視装置を搭載する車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4や、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。
また、車室2a内には、表示出力部としての表示装置8や、音声出力部としての音声出力装置9が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向すなわち左右方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、車室2a内には、表示装置8とは別の表示装置12が設けられている。図3に例示されるように、表示装置12は、例えば、ダッシュボード24の計器盤部25に設けられ、計器盤部25の略中央で、速度表示部25aと回転数表示部25bとの間に位置されている。表示装置12の画面12aの大きさは、表示装置8の画面8a(図3)の大きさよりも小さい。この表示装置12には、主として車両1の駐車支援に関する情報を示す画像が表示されうる。表示装置12で表示される情報量は、表示装置8で表示される情報量より少なくてもよい。表示装置12は、例えば、LCDや、OELD等である。なお、表示装置8に、表示装置12で表示される情報が表示されてもよい。
また、図1、図2に例示されるように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。これら四つの車輪3は、いずれも転舵可能に構成されうる。図4に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(electronic control unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。
また、図2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで動画データ(撮像画像データ)を出力することができる。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜190°の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている。よって、撮像部15は、車両1が移動可能な路面や車両1が駐車可能な領域を含む車両1の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
撮像部15aは、例えば、車体2の後側の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパー等に設けられている。撮像部15dは、例えば、車体2の左側、すなわち車幅方向の左側の端部2dに位置され、左側の突出部としてのドアミラー2gに設けられている。ECU14は、複数の撮像部15で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な俯瞰画像を生成したりすることができる。
また、ECU14は、撮像部15から提供される撮像画像データを、車両1に臨む撮像方向となる複数の仮想視点から撮像したような仮想画像データに変換することができる。また、この複数の仮想画像データを表示装置8に順次表示して、ユーザ(運転者、利用者)が乗り込んでいる車両1を中心に周囲遠方より当該車両1を臨むような画像(実質的な動画)を表示させたり、その動画を一時的に停止させて静止画像を表示したりすることができる。仮想画像データの表示や一時停止等の詳細については後述する。また、ECU14は、撮像部15から提供される撮像画像データから車両1の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出(抽出)して、駐車支援を実行することもできる。
図1、図2に例示されるように、車体2には、複数の測距部16,17として、例えば四つの測距部16a〜16dと、八つの測距部17a〜17hとが設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。測距部16は、本実施形態において、車両1を駐車する際に、車両1と並ぶ第一の障害物(隣接車両)や駐車するためのスペースの奥側に存在する第二の障害物(例えば、縁石や段差、壁、フェンス等)を検出し、その障害物までの距離を測定することができる。また、測距部17は、車両1に対して障害物(物体)が所定距離を超えて接近した場合、接近する障害物(物体)を検出し、その障害物までの距離を測定することができる。特に、車両1の後方両側に配置された測距部17a,17dは、車両1が後退しながら縦列駐車のスペースに進入する場合の車両1の後方コーナ部と第一の障害物(隣接車両)との距離や、進入後さらに後方コーナ部と第二の障害物(壁等)との距離を測定するセンサ(クリアランスソナー)として機能する。ECU14は、測距部16,17の検出結果により、車両1の周囲に位置された障害物等の物体の有無や当該物体までの距離を検出することができる。すなわち、測距部16,17は、物体を検出する検出部の一例である。なお、測距部17は、例えば、比較的近距離の物体の検出に用いられ、測距部16は、例えば、測距部17よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部17は、例えば、車両1の前方および後方の物体の検出に用いられ、測距部16は、車両1の側方の物体の検出に用いられうる。測距部17は、物体(障害物)が所定の距離まで接近したことを検出する接近センサとして機能しうる。
また、図4に例示されるように、周辺監視システム100(周辺監視装置)では、ECU14や、モニタ装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、舵角センサ19a、ステアリング感圧センサ19b、アクセルセンサ20、シフトセンサ21a、レバー感圧センサ21b、車輪速センサ22等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19a、ステアリング感圧センサ19b、測距部16、測距部17、アクセルセンサ20、シフトセンサ21a、レバー感圧センサ21b、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。ブレーキセンサ18b、舵角センサ19a、ステアリング感圧センサ19b、レバー感圧センサ21b等は、後述する視点変換画像の表示速度の変更、例えば、順次表示される視点変換画像(動画)の一時停止やその一時停止した視点変換画像の前後の画像の表示を要求する場合の操作入力情報を出力することができる。つまり、操作部材の操作状態を検出するセンサとして機能する。なお、視点変換画像の表示態様を変化させる操作入力情報は、操舵部4、制動操作部6、変速操作部7のうち少なくともいずれか1つから入力できればよい。例えば、操舵部4のみを操作部材として用いる場合、レバー感圧センサ21bは省略できる。同様に、制動操作部6のみを操作部材として用いる場合、ステアリング感圧センサ19b、レバー感圧センサ21bは省略できる。また、操舵部4、制動操作部6、変速操作部7の全てを操作部材として用いて、ユーザにいずれかを用いて入力させるようにしてもよい。
ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8,12で表示される画像に関連した画像処理や、車両1の移動目標位置(駐車目標位置、目標位置)の決定、車両1の誘導経路(誘導経路、駐車経路、駐車誘導経路)の演算、物体との干渉の有無の判断、車両1の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、表示装置8で表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。また、ブレーキペダル(制動操作部6)が前述したような視点変換画像の表示速度の変更(例えば、順次表示される視点変換画像の一時停止)を要求するときの操作部材として機能する場合、ブレーキセンサ18bが検出するブレーキペダルの位置(踏み込み量、ストローク)が操作入力情報となりうる。
舵角センサ19aは、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19aは、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19aから取得して各種制御を実行する。なお、舵角センサ19aは、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19aは、角度センサの一例である。また、ステアリング感圧センサ19bは、ステアリングホイールに内蔵された周知の感圧センサ(圧力センサ)であり、ステアリングホイールが把持されているか否かを検出したり、またはその把持の強さを検出したりすることができる。例えば、ステアリングホイールの把持とその解放を短時間で行う場合の把持回数を検出したり、弱く把持している場合と強く把持している場合の把持状態の変化を検出することができる。そして、ステアリングホイール(操舵部4)が視点変換画像の表示速度の変更(例えば、順次表示される視点変換画像の一時停止)を要求するときの操作部材として機能する場合、舵角センサ19aが検出する回転角度や回転方向が操作入力情報となりうる。また、ステアリング感圧センサ19bが検出するステアリングホイールの把持状態が操作入力情報となりうる。
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。
シフトセンサ21aは、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21aは、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21aは、変位センサを含んでもよいし、スイッチとして構成されてもよい。また、レバー感圧センサ21bは、可動部の把持部(レバーやアーム)に内蔵された周知の感圧センナ(圧力センサ)であり、把持部が把持されているか否かを検出したり、またはその把持の強さを検出したりすることができる。例えば、把持部の把持とその解放を短時間で行う場合の把持回数を検出したり、弱く把持している場合と強く把持している場合の把持状態の変化を検出したりする。そして、把持部(変速操作部7)が視点変換画像の表示速度の変更(例えば、順次表示される視点変換画像の一時停止)を要求するときの操作部材として機能する場合、レバー感圧センサ21bが検出する把持部の把持状態が操作入力情報となりうる。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果をブレーキシステム18を介して取得する。また、車輪速センサ22は、車両1が走行していることを示す走行確認情報または車両1が停止していることを示す停止確認情報を出力することができる。停止確認情報は、例えば、視点変換画像の表示を許可するか否かを示す許可情報や操作部材として制動操作部6、操舵部4、変速操作部7が利用される場合、ブレーキセンサ18b、ステアリング感圧センサ19b、レバー感圧センサ21bの検出結果を視点変換画像の表示を制御する場合の操作入力情報として採用するか否かの判断情報として利用することができる。つまり、本実施形態においては、車両1が停止していることが、視点変換画像の表示許可および操作入力情報の採用許可となる。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
ECU14は、周辺監視システムを実現する。具体的には、車両1を中心として当該車両1を遠方から見たような画像(視点変換画像)を生成する。そして、この視点変換画像を用いた表示態様として、例えば、仮想視点を車両1の一方側(例えば正面域、フロント領域)から車両1の上空域を経て、車両1の反対側(例えば後面域、リア領域)に移動させながら実質的な動画表示を行う。この表示を行うことで、車両1の周囲に存在する物体の位置関係やその姿勢、大きさ等をユーザに認識させやすくしている。
また、図5に示されるように、ECU14は、CPU14aと当該CPU14aでの演算で用いられる、あるいはCPU14aでの演算で算出されたデータを記憶する記憶部60を備える。また、CPU14aは、ROM14b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される各種モジュールを備える。例えばCPU14aは、上述したような視点変換画像の実質的な動画表示を実現するために、画像取得部30、画像変換部32、操作受付部34、データ制御部36(制御部)を備える。同様に、プログラムを読み出し実行することで実現される各種モジュールとして、ブレーキセンサ受付部62、アクセルセンサ受付部64、シフトセンサ受付部66、舵角センサ受付部68、車輪速センサ受付部70、感圧センサ受付部72等を備える。
画像取得部30は、車両1に設けられて当該車両1の周辺を撮像する撮像部15から出力された撮像画像データを表示制御部14dを介して取得する。なお、表示制御部14dは、撮像部15で撮像した撮像画像データをそのままの状態で表示装置8や表示装置12に出力してもよい。この場合、操作部14g等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部14dは、操作部14gの操作により選択された画像を選択的に表示する。例えば撮像部15aで撮像した車両1の後方画像を表示させたり、撮像部15dで撮像した左側方画像を表示させたりすることができる。
画像変換部32は、画像取得部30が取得した撮像画像データを、例えば車両1を遠方から臨む撮像方向となる複数の仮想視点による仮想画像データに変換する。仮想視点による仮想画像データの変換は、周知の種々の処理手法で実行することができる。一例として、画像変換部32は、撮像部15により撮像された車両1の外部の環境を表した撮像画像データと、例えばROM14b等に保持されたマッピングテーブルの変換情報とに基づいて、車両1の周囲外部の環境を車両1から離間して当該車両1を臨む視点位置から見た場合の仮想画像データ(視点変換画像)を生成する。本実施形態の場合、ROM14bは、例えば、車両1を中心に半径数m(例えば5m)の半円軌道から車両1を臨む仮想視点が移動した場合に得られる仮想画像データが得られるような変換情報(マッピングテーブル)を複数種類予め保持している。なお、マッピングテーブルの変換情報は、仮想視点の位置ごとに準備することが望ましい。また、本実施形態の場合、視点変換画像は、連続性のあるスムーズな動画で表示されることが望ましい。そのため、マッピングテーブルの変換情報は、仮想視点が例えばα°移動するごと仮想画像データを生成できるように準備される。なお、マッピングテーブルの変換情報の数を増やせば、生成される仮想画像データの数(フレーム数)は増加して滑らかな動画が作成できるが、CPU14aの処理負荷が増加する傾向がある。逆に、マッピングテーブルの変換情報の数を少なくすれば生成される仮想画像データの数も減少し動画品質が低下する場合があるが、CPU14aの処理負荷は軽減可能となる。したがって、要求される視点変換画像(実質的な動画)の品質に応じて、マッピングテーブルの変換情報の数を決定することができる。なお、マッピングテーブルの変換情報の数を少なくする場合、動画を作成する際に前後の仮想画像データに基づく補間処理等を行い動画の修正(コマ落ち補正)を行うようにしてもよい。
操作受付部34は、操作部14gの操作入力による信号を取得する。操作部14gは、例えば、押しボタンやスイッチ等であり、ユーザによる視点変換画像の表示の要求やキャンセルを行うことができる。また、操作受付部34は、図示しないイグニッションスイッチのON信号を受け付け、そのON信号を契機に視点変換画像の表示要求を取得したと見なしてもよい。例えば、ユーザが車両1に乗り込み、イグニッションスイッチをONすることにより、車両1を発進させるのに先立ち、車両1の周囲の状況をユーザに通知するように視点変換画像を自動的に表示するようにしてもよい。
データ制御部36は、画像変換部32が生成した複数の仮想画像データを、仮想視点が車両1の周囲を移動しているような動画になるように配列し、表示制御部14dに供給して表示装置8に表示させる。データ制御部36は、例えば、図6に示すように、仮想視点38が第1の仮想視点位置Aから第2の仮想視点位置Bを経て第3の仮想視点位置Cの順に移動したように仮想画像データを表示するように準備する。第1の仮想視点位置Aは、車両1の一方側から車両1を挟んで反対側(他方側)を臨む位置である。図6の場合、車両1のフロント側に設定されている例が示されている。第2の仮想視点位置Bは、車両1の上空域から当該車両1を臨む位置である。第3の仮想視点位置Cは、第1の仮想視点位置Aの反対側から車両1を挟んで一方側を臨む位置である。図6の場合、車両1のリア側に設定されている例が示されている。
また、データ制御部36は、仮想視点38が第2の仮想視点位置Bを通過するように仮想画像データを表示する間に仮想視点38の視線(車両1の上空域から当該車両1を臨む視線(例えば鉛直軸O))を中心に仮想画像データを回転させる。仮想視点38を第1の仮想視点位置Aから第3の仮想視点位置Cに移動させる場合、仮想画像データをそのまま連続的に表示した場合、第2の仮想視点位置Bを通過する前後で車両1の周囲に存在する物体の天地が逆転してしまう。その結果、物体の位置や姿勢が把握し難くなる。そこで、データ制御部36は、車両1の周囲全体が見渡せる車両1の直上位置(第2の仮想視点位置B)で仮想画像データを180°回転させている。その結果、第2の仮想視点位置Bを通過した以降も物体の天地は第1の仮想視点位置Aで表示していた状態と同じ方向で、車両1の周囲の状況が把握しやすい状態で、物体の位置関係の認識度の低下を抑制しつつ、第3の仮想視点位置Cへの画像の移行をスムーズに行うことができる。つまり、第3の仮想視点位置Cで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性を向上することができる。また、仮想画像データの回転に伴い車両1の周囲に存在する物体の表示位置が変化するので、その物体の存在に注目させやすくなり、認識度を向上させることができる。すなわち、物体の存在を気づかせ易くすることができる。なお、車両1の周囲全体が見渡せる車両1の直上位置とは、例えば、車両1のフロントバンパの鉛直延長線上の位置でもよいし、ルーフの鉛直延長線上の位置でもよいし、リアバンパの鉛直延長線上の位置でもよい。また、それらの間の位置でもよい。この中で、ルーフの鉛直延長線上の位置が、車両1と周囲の物体との位置関係を把握させやすい表示ができる点、仮想画像データを回転させる場合に車両1の偏心回転が少なく違和感なく表示できる点等で好ましい。
ところで、仮想画像データは、車両1に搭載された撮像部15で撮像された撮像画像データに基づき生成されているため、撮像画像データには自車(車両1)は一部しか存在しない場合がある。例えば、バンパの一部やドアの一部しか映り込んでいない場合がある。その結果、撮像画像データに基づいて生成する仮想画像データには車両1の全体像は反映されない場合がある。そこで、データ制御部36は、例えばROM14bやSSD14fに予め記憶しておいた自車(車両1)の車両外形データを仮想画像データに重畳して、表示装置8に表示する視点変換画像に車両1が存在するようにして表示するようにしてもよい。その結果、車両1(自車)の周囲に存在する物体と車両1との位置関係をより容易にユーザに理解させやすい表示ができる。なお、仮想視点38の移動に対応して車両1の見え方も刻々と変化するので、車両外形データはマッピングテーブルの変換情報の数に対応して準備しておくことが望ましい。
車両外形データは、実際の車両1の撮影データを用いて作成してもよいし、アニメーションでもよい。また、車両外形データは、車両1を半透明や線図で表現したものを用いてもよい。車両外形データを半透明や線図で表現する場合、車両の奥側に存在する物体の存在や形状、大きさ等も把握させやすくすることができる。一方、車両外形データを実体表現で表示した場合、現実世界(現実空間)との乖離を少なくできるので、ユーザに受け入れられ易い画像を提供することができる。
データ制御部36は、仮想視点38を移動させる場合、その移動開始位置を予め決定することができる。データ制御部36は、例えば第3の仮想視点位置Cを車両1が発進する際の進行予定方向に対して後ろ側に位置するように決定することができる。図6は、車両1が前進発進する場合の第1の仮想視点位置A、第2の仮想視点位置B、第3の仮想視点位置Cの設定位置を示している。逆に、車両1が後退発進する場合は、車両1のリア側に第1の仮想視点位置Aが設定され、フロント側に第3の仮想視点位置Cが設定される。このように、第3の仮想視点位置Cを設定することにより、車両1を発進させるときに最終的に注意を払う可能性の高い視認方向の画像を最後に提供できるので、ユーザに車両1の周囲の状況をより理解させやすい表示ができる。
なお、データ制御部36は、車両1が発進する際の進行予定方向を、例えば車両1のイグニッションスイッチのOFF操作直前、すなわち駐車直前の変速操作部7の位置をSSD14f等に記憶しておくことにより判定することができる。つまり、イグニッションスイッチOFF直前の変速操作部7の位置が「Rレンジ」で後退走行により駐車した場合、車両1は駐車状態から発進するとき前進発進する可能性が高い。したがって、視点変換画像の最後に車両1の前方の状況が認識しやすいようにリア側に第3の仮想視点位置Cを設定することが望ましい。逆にイグニッションスイッチOFF直前の変速操作部7の位置が「Dレンジ」で前進走行により駐車した場合、車両1は駐車状態から発進するとき後退発進する可能性が高い。したがって、視点変換画像の最後に車両1の後方の状況が認識しやすいようにフロント側に第3の仮想視点位置Cを設定することが望ましい。また、車両1を駐車支援システムを用いて駐車した場合、車両1のECU14は、駐車時の車両1の進入方向や出庫時の進出方向をSSD14fに記憶している場合がある。この場合は、SSD14fに記憶された駐車支援時の情報を用いて車両1が発進する際の進行予定方向を判定してもよい。なお、車両1の駐車中に当該車両1の周囲の状況が変化して、発進時の進行予定方向を変更した方がよい場合がある。この場合、データ制御部36は、イグニッションスイッチのONのときに、車両1の発進方向をユーザに問い合わせるメッセージを表示装置8や表示装置12に表示して、操作部14gから進行予定方向、つまり視点変換画像をどの方向からどの方向に見たいかを入力させるようにしてもよい。
ブレーキセンサ受付部62は、ブレーキセンサ18bから出力される信号、すなわち制動操作部6、例えばブレーキペダルの操作入力に基づく信号を取得する。ブレーキセンサ受付部62は、運転者(ユーザ)の減速や駐停車の意志確認信号を取得する意志確認部として機能する。なお、ブレーキセンサ受付部62は、図示しないパーキングブレーキの操作入力を取得してもよく、この操作入力に基づき、運転者の駐停車の意志確認信号を取得するように機能してもよい。また、ブレーキセンサ受付部62は、車両1が停止状態(車輪速センサ22が停止確認情報を出力している状態(すなわち、検出信号を出力していない状態))のときに、視点変換画像の順次表示の表示速度を変化させる(例えば停止させる)ことを要求する操作入力情報を取得することができる。車両1の停止中で視点変換画像が表示されている間に、例えば、ブレーキペダルが所定ストロークを越えて一度強く踏み込まれた場合、ブレーキセンサ受付部62は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なすことができる。また、視点変換画像の順次表示の一時停止中に、再度ブレーキペダルが所定ストロークを越えて一度強く踏み込まれた場合、ブレーキセンサ受付部62は、視点変換画像の順次表示の一時停止を解除する操作入力情報を受け付けたと見なすことができる。
視点変換画像の順次表示の一時停止中に、ブレーキペダルが所定ストロークを越えて短い間隔で例えば二度強く踏み込まれた場合、ブレーキセンサ受付部62は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以前の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。同様に、視点変換画像の順次表示の一時停止中に、ブレーキペダルが所定ストロークを越えて短い間隔で例えば三度強く踏み込まれた場合、ブレーキセンサ受付部62は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以降の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。つまり、ブレーキペダルの操作により静止画像の表示や遡り表示、先送り表示を実現することができる。なお、遡り表示とは、仮想視点38をそれまでの視点移動方向とは逆方向に移動させた場合に表示できる動画表示で、いわゆる「巻き戻し表示」のことをいう。また、先送り表示とは、仮想視点38をそれまでの視点移動方向と同方向で、かつそれまでの移動速度(表示速度)とは異なる速度で動画表示を行うもので、いわゆる「早送り表示」のことをいう。なお、遡り表示および先送り表示の表示速度は、適宜変更してもよい。例えば、遡り表示の場合、それまでの仮想視点38の移動速度(表示速度)と同じでもよい。つまり標準速度で巻き戻してもよい。また、標準速度より早い「早戻し表示」でもよいし、標準速度より遅い「スロー戻し表示」でもよい。また、先送り表示の場合、それまでの仮想視点38の移動速度(表示速度)、つまり標準速度より遅い「スロー再生」でもよい。
アクセルセンサ受付部64は、アクセルセンサ20から出力される信号、すなわち加速操作部5、例えばアクセルペダルの操作入力に基づく信号を取得する。アクセルセンサ受付部64は、運転者の走行や加速や意志確認信号を取得する意志確認部として機能する。
シフトセンサ受付部66は、シフトセンサ21aから出力される信号、すなわち変速操作部7、例えばシフトレバーの操作入力に基づく信号を取得する。シフトセンサ受付部66は、「Dポジション」を示す信号の受け付けにより、運転者の前進走行の意志確認信号を取得し、「Rポジション」を示す信号の受け付けにより運転者の後進走行の意志確認信号を取得する意志確認部として機能する。同様に、「Pポジション」を示す信号の受け付けにより、運転者の駐停車の意志確認信号を取得する意志確認部として機能する。
舵角センサ受付部68は、舵角センサ19aから出力される信号、すなわち操舵部4、例えばステアリングホイールの操作入力に基づく信号を取得する。舵角センサ受付部68は、車両1の操舵状態を取得すると共に、運転者の操舵の意志を示す意志確認信号を取得する意志確認部として機能する。また、舵角センサ受付部68は、車両1が停止状態(車輪速センサ22が停止確認情報を出力している状態(すなわち、検出信号を出力していない状態))のときに、視点変換画像の順次表示の表示速度を変化させる(例えば停止させる)ことを要求する操作入力情報を取得することができる。車両1の停止中で視点変換画像が表示されている間に、例えば、ステアリングホイールが左右いずれかの方向に所定角度以上回動(例えば、微動)させられた場合、舵角センサ受付部68は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なすことができる。また、視点変換画像の順次表示の一時停止中に、再度ステアリングホイールが左右いずれかの方向に所定角度以上回動させられた場合、視点変換画像の順次表示の一時停止を解除する操作入力情報を受け付けたと見なすことができる。
視点変換画像の順次表示の一時停止中に、ステアリングホイールが左右いずれかの方向に所定角度以上短い間隔で二度回動させられた場合、舵角センサ受付部68は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以前の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。同様に、視点変換画像の順次表示の一時停止中に、ステアリングホイールが左右いずれかの方向に所定角度以上短い間隔で三度回動させられた場合、舵角センサ受付部68は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以降の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。つまり、ステアリングホイールの回動操作により静止画像の表示や遡り表示、先送り表示を実現することができる。
車輪速センサ受付部70は、車輪速センサ22から出力される信号を取得し、車両1の走行状態または停止状態を車速に基づいて判定する情報(走行確認情報(信号出力状態)、停止確認情報(信号非出力状態))を取得すると共に、駐車のために自動で誘導する場合の誘導状態の良否判定を行う場合の情報の取得部として機能する。
感圧センサ受付部72は、ステアリング感圧センサ19bやレバー感圧センサ21bから出力される信号を取得し、ステアリングホイールの把持状態やシフトレバーの把持状態を示す情報を取得する。感圧センサ受付部72は、車両1が停止状態(車輪速センサ22が停止確認情報を出力している状態(すなわち、検出信号を出力していない状態))のときに、視点変換画像の順次表示の表示速度を変化させる(例えば停止させる)ことを要求する操作入力情報を取得することができる。車両1の停止中で視点変換画像が表示されている間に、例えば、ステアリングホイールが所定圧力を超えて強く一度把持された場合、感圧センサ受付部72は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なすことができる。また、視点変換画像の順次表示の一時停止中に、再度ステアリングホイールが所定圧力を超えて強く一度把持された場合、感圧センサ受付部72は視点変換画像の順次表示の一時停止を解除する操作入力情報を受け付けたと見なすことができる。
視点変換画像の順次表示の一時停止中に、ステアリングホイールが所定圧力を超えて短い間隔で二度把持された場合、感圧センサ受付部72は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以前の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。同様に、視点変換画像の順次表示の一時停止中に、ステアリングホイールが所定圧力を超えて短い間隔で三度把持された場合、感圧センサ受付部72は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以降の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。つまり、ステアリングホイールの把持操作により静止画像の表示や遡り表示、先送り表示を実現することができる。なお、ステアリング感圧センサ19bは、ステアリングホイールの全周において圧力検出可能なように配置されてもよいし、ステアリングホイールの一部に配置するようにしてもよい。
車両1の停止中で視点変換画像が表示されている間に、例えば、シフトレバーが所定圧力を超えて強く一度把持された場合、感圧センサ受付部72は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なすことができる。また、視点変換画像の順次表示の一時停止中に、再度シフトレバーが所定圧力を超えて一度強く把持された場合、感圧センサ受付部72は視点変換画像の順次表示の一時停止を解除する操作入力情報を受け付けたと見なすことができる。
また、視点変換画像の順次表示の一時停止中に、シフトレバーが所定圧力を超えて短い間隔で二度把持された場合、感圧センサ受付部72は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以前の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。同様に、視点変換画像の順次表示の一時停止中に、シフトレバーが所定圧力を超えて短い間隔で三度把持された場合、感圧センサ受付部72は、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以降の静止画像の表示を要求する変更入力情報を受け付けたと見なすことができる。つまり、シフトレバーの把持操作により静止画像の表示や遡り表示、先送り表示を実現することができる。
なお、上述した各モジュールは、機能ごとに分けて構成する例を示したが、2つの機能またはそれ以上の機能を統合した構成にしてもよい。例えば、ブレーキセンサ受付部62、アクセルセンサ受付部64、シフトセンサ受付部66、舵角センサ受付部68、車輪速センサ受付部70、感圧センサ受付部72はセンサ受付部として統合してもよい。また、データ制御部36がセンサ受付部を含んでもよく、各センサからの操作入力情報や変更入力情報を取得してもよい。上述した操作入力情報や変更入力情報の入力態様は一例であり、適宜変更可能である。
図6の場合、車両1のフロント側に第1の仮想視点位置Aを設定し、車両1の上空域に第2の仮想視点位置Bを設定し、リア側に第3の仮想視点位置Cを設定した例を示した。第1の仮想視点位置A、第3の仮想視点位置Cの設定位置は、仮想画像データが第2の仮想視点位置B(車両1の上空域)で例えば鉛直軸Oの周りを180°回転させられればよく適宜選択することが可能で同様の効果を得ることができる。例えば、別の実施形態では、車両1の右側方に第1の仮想視点位置Aを設定し、車両1の上空域に第2の仮想視点位置Bを設定し、車両1の左側方に第3の仮想視点位置Cを設定して、視点変換画像(実質的な動画)を表示してもよい。この場合、車両1の側方の状況に注意を払わせやすい周辺監視情報の提供ができる。また、車両1の左斜め前方を第1の仮想視点位置Aとし、車両1の上空域である第2の仮想視点位置Bを経て、車両1の右斜め後方を第3の仮想視点位置Cとしてもよい。同様に、車両1の右斜め前方を第1の仮想視点位置Aとし、車両1の上空域である第2の仮想視点位置Bを経て、車両1の左斜め後方を第3の仮想視点位置Cとしてもよい。この場合、車両1のコーナ部分の状況に注意を払わせやすい周辺監視情報の提供ができる。
このように構成される周辺監視システム100の動作を以下に説明する。図7は、車両1が駐車されている現実世界(現実空間)の一例を示す斜視図である。図7の場合、車両1は、フロント側の物体40およびリア側の物体42、物体44に挟まれた空間に駐車されている例を示している。なお、物体40と物体42は小径の円柱物体であり、物体44は、物体40,42より大径の円柱物体である。以下の説明では、図7の状態から車両1を前進発進させようとする場合の視点変換画像の表示処理を一例として説明する。
CPU14a(ECU14)は、まず、視点変換画像の表示要求があるか否かを判定する(S100)。例えば、イグニッションスイッチの操作状態を確認し、イグニッションスイッチがONされた場合、車両1は発進準備中であり、表示要求ありと判定する。この場合、イグニッションスイッチの操作に伴い視点変換画像は自動表示モードで表示されることになる。また、別の実施形態では、操作部14g等を介してユーザが視点変換画像の表示を要求した場合、表示要求ありと判定する。この場合、視点変換画像は手動表示モードで表示されることになる。
CPU14aは、「表示要求なし」と判定した場合(S100のNo)、このフローを一旦終了する。一方、CPU14aは、「表示要求あり」と判定した場合(S100のYes)、データ制御部36は、車両1の発進予定方向を取得する(S102)。データ制御部36は、例えば、SSD14f等に記録されていた駐車直前の変速操作部7のシフト位置や駐車支援を行ったときの駐車状況等に基づき、車両1の発進予定方向を取得する。データ制御部36は、さらに、取得した発進予定方向に基づき、表示開始視点位置を決定する(S104)。例えば、車両1が前進発進すると判定した場合、データ制御部36は、第3の仮想視点位置Cを車両1のリア側、第1の仮想視点位置Aを車両1のフロント側に設定する。逆に車両1が後退発進すると判定した場合、データ制御部36は、第3の仮想視点位置Cを車両1のフロント側、第1の仮想視点位置Aを車両1のリア側に設定する。
続いて、画像取得部30は、表示制御部14dを介して各撮像部15a〜15dが撮像した車両1の周辺の撮像画像データ(現在画像)を取得する(S106)。そして、画像変換部32は、取得された撮像画像データをROM14bが記憶するマッピングテーブルの変換情報を用いて、仮想画像データを生成(変換)する(S108)。なお、本実施形態では、画像変換部32は、撮像画像データを車両1の位置を中心とする曲面に投影するように仮想画像データに変換している。
データ制御部36は、S104で決定した表示開始視点位置(例えば、図6の第1の仮想視点位置A)に仮想視点38が存在する場合の仮想画像データから表示を開始する。そして、データ制御部36は、仮想視点38が第2の仮想視点位置Bに向かい移動するように仮想画像データを所定のフレームレートで順次表示して、視点変換画像の実質的な動画表示を開始する(S110)。本実施形態の場合、前述したように、画像変換部32は、撮像画像データを曲面投影を用いて仮想画像データを生成する。例えば、平面投影を用いて仮想画像データを生成した場合、車両1に対して水平方向に第1の仮想視点位置Aを設定すると、車両1の周囲の物体に対応する画素は水平線上に並び(直線で表現されてしまい)、物体を表現することが困難になる。一方、曲面投影を用いて仮想画像データを生成した場合、車両1に対して水平方向に第1の仮想視点位置Aを設定すると、第1の仮想視点位置Aに近い位置に存在する物体は、路面に寝転がった状態に表示される。また、奥側(第1の仮想視点位置Aから遠い側)に存在する物体は、立像として立体的に表示される。図9は、仮想視点38が第1の仮想視点位置Aに存在する場合に曲面投影を用いた仮想画像データにより表示される視点変換画像の一例である。この場合、車両1の前方に物体40が存在し、車両1の後方に物体42,44が存在することをユーザに認識させることができる。
データ制御部36は、順次表示する仮想画像データ(実質的な動画)が第2の仮想視点位置Bの位置における仮想画像データ、すなわち、仮想画像データを鉛直軸Oの周りを180°回転させる位置の仮想画像データの表示タイミングになったか否かを判定する(S112のNo)。仮想画像データを回転する位置(タイミング)に到達した場合(S112のYes)、データ制御部36は、仮想視点38の移動を一時的に停止して仮想画像データの回転を行う(S114)。図10は、仮想視点38が、第2の仮想視点位置Bに到達した場合の仮想画像データに基づき表示装置8に表示された視点変換画像である。図10に示しように、仮想画像データの回転前においては、車両1のフロント側が表示装置8の画面下端側に向いているとともに、物体40が表示装置8の画面下端側に存在し、物体42,44が表示装置8の画面上端側に存在する状態で表示される。図11は、仮想視点38が、第2の仮想視点位置Bに到達した後、そこで鉛直軸O(図6参照)を中心として水平方向に180°回転させた後の仮想画像データに基づき表示装置8に表示された視点変換画像である。図11に示すように、仮想画像データの回転後においては、車両1のリア側が表示装置8の画面下端側に向いているとともに、物体42,44が表示装置8の画面下端側に存在し、物体40が表示装置8の画面上端側に存在する状態で表示される。このように、車両1の周囲の全体状況が把握しやすい状態で仮想画像データを回転させることで、物体40〜44の存在や車両1との位置関係をユーザに認識させやすくするとともに、注意を払う物体に対する注目度を向上させることができる。
データ制御部36は、第2の仮想視点位置Bにおいてデータ制御部36の回転が完了したか否かを確認し(S116のNo)、回転が完了した場合(S116のYes)、仮想視点38の第3の仮想視点位置Cに向かう移動を開始する(S118)。なお、仮想画像データは、第2の仮想視点位置Bで180°回転しているので、仮想視点38を第3の仮想視点位置Cに向けて移動させても車両1の天地は逆転せず、第3の仮想視点位置Cで仮想画像データによる画像を表示する際に天地が適切な表示態様になるので現実世界の再現性が向上できる。
次に、データ制御部36は、仮想視点38の位置が表示最終位置に到達したか否か判定する(S120のNo)。仮想視点38が第3の仮想視点位置C(C1)に到達した、つまり、第3の仮想視点位置C(C1)に対応する仮想画像データの表示を実行した場合(S120のYes)、CPU14a(操作受付部34)は、このフローを一旦終了し、次の視点変換画像の表示要求の受け付けを待つ。
また、データ制御部36は、1回の表示要求に対して、視点変換画像を所定回数繰り返し表示するようにしてもよい。視点変換画像を複数回表示する場合、毎回新規の視点変換画像を表示するようにしてもよい。つまり、リアルタイムで変化する視点変換画像の表示を行うようにしてもよい。この場合、急な物体の接近、例えば歩行者等の接近を視点変換画像に反映することが可能で、より現実世界の状況をユーザに提供することができる。また、別の実施形態では、初回に表示する視点変換画像の内容をRAM14c等に保存しておき、2回目以降にその保存した視点変換画像を再生表示するようにしてもよい。この場合、CPU14aの処理負荷を軽減することができる。
データ制御部36は、仮想視点の移動速度、つまり、視点変換画像の動画表示速度を変更してもよい(可変できるようにしてもよい)。例えば、操作部14gを介してユーザの希望する表示速度を受け付け、その表示速度に設定してもよい。この場合、ユーザの好みに沿う表示ができる。また、視点変換画像の表示を複数回行う場合は、初回の表示では標準的な第1速度で表示し、2回目以降は、第1速度より遅い第2速度で表示するようにしてもよい。この場合、車両1の周囲の状況をより理解させやすい表示ができる。
このように、データ制御部36は、仮想画像データを表示する場合に、仮想視点38を第1の仮想視点位置A、第2の仮想視点位置B、第3の仮想視点位置Cに連続的に移動させるとともに、第2の仮想視点位置Bの位置で、仮想画像データを水平方向に180°回転させる。その結果、車両1の周囲の状況を仮想視点38から見た視点変換画像により実質的な動画によりユーザに提供することが可能になり、車両1の周囲の状況(現実世界、現実空間)をより容易にユーザに把握させることができる。また、仮想視点38の位置を高さ方向および第1の仮想視点位置Aから第3の仮想視点位置Cの方向に連続的に移動させることにより、車両1の周囲に存在する物体(例えば物体40〜44)の見え方が刻々と変化する。その変化の過程(連続変化の過程)で物体(立体物)の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化を把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両1の周囲の状況をユーザに理解させやすく表示することができる。
また、第3の仮想視点位置Cを車両1が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図12に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。
ところで、画像変換部32が曲面投影を用いて撮像画像データから仮想画像データを生成する場合、CPU14aの処理負荷が増大してしまう場合がある。一方、平面投影を用いて撮像画像データから仮想画像データを生成する場合、CPU14aの処理負荷は曲面投影の場合に比べ軽減できる場合がある。前述したように平面投影を用いた場合、仮想視点38が車両1と水平の位置にある場合、物体の表示が困難になる場合がある。そこで、図6に示すように、仮想視点38の移動開始位置および移動終了位置を車両1に対する水平の位置より上方に移動して、第1の仮想視点位置A1、第3の仮想視点位置C1とする。例えば、水平に対する第1の仮想視点位置A1の仰角をα=15°とする。同様に水平に対する第3の仮想視点位置C1の仰角をβ=15°とする。このように、仮想視点38の移動開始位置および移動終了位置を変更するのみで、物体が表示し難いという不都合を容易に回避することができる。さらに、CPU14aの処理負荷を容易に軽減することができる。
図13〜図16は、平面投影を用いて生成した仮想画像データを用いた視点変換画像による表示例を示している。図13に示すように、第1の仮想視点位置A1に仮想視点38が存在する場合、重畳される車両1は前方やや上方から俯瞰した状態となる。その結果、物体40は、水平線から起き上がった状態で表示され、物体40の存在をユーザに認識させ易くなる。データ制御部36は、仮想視点38が第2の仮想視点位置Bに到達した場合に、曲面投影で仮想画像データを生成した場合と同様に、仮想画像データを鉛直軸Oの周りで水平方向に180°回転させる(図14、図15)。平面投影を用いた場合、第2の仮想視点位置Bにおける仮想画像データで表示される物体40〜44は、ほぼ上面視像となり、物体40〜44と車両1との位置関係が曲面投影を用いた場合に比べて明確になる。仮想画像データの回転が完了すると、データ制御部36は、仮想視点38が第3の仮想視点位置C1に向かい移動を再開したように見えるように仮想画像データの順次表示を再開し、第3の仮想視点位置C1に対応する仮想画像データの表示を行い(図16)、一連の表示処理を完了させる。図16に示すように、第3の仮想視点位置C1に仮想視点38が存在する場合、重畳される車両1は後方やや上方から俯瞰した状態となる。
このように、平面投影を用いて仮想画像データを生成して表示する場合も、仮想視点38を第1の仮想視点位置A1、第2の仮想視点位置B、第3の仮想視点位置C1に連続的に移動させるとともに、第2の仮想視点位置Bの位置で、仮想画像データを水平方向に180°回転させる。その結果、車両1の周囲の状況を仮想視点38から見た視点変換画像による実質的な動画によりユーザに提供することが可能になり、車両1の周囲の状況(現実世界、現実空間)をより容易に把握させることができる。また、仮想視点38の位置を高さ方向および第1の仮想視点位置A1から第3の仮想視点位置C1の方向に連続的に移動させることにより、車両1の周囲に存在する物体(例えば物体40〜44)の見え方が刻々と変化する。その変化の過程(連続変化の過程)で物体(立体物)の特徴が分かり易くなる。さらに、視点変換画像を連続的に実質的な動画として表示することにより物体の形状変化が把握し易くすることができる。つまり、視点変換画像を間欠的、または個別に表示する場合に比べ、車両1の周囲の状況をユーザに理解させやすく表示することができる。
また、第3の仮想視点位置C1を車両1が発進する際の進行予定方向に対して後ろ側に位置するように設定して、仮想画像データの表示を終わらせることにより、図16に示すように、発進方向の状況をユーザに印象付け易くなり、発進時の注意喚起をより強く行うことができる。
なお、上述した各実施形態では、仮想画像データを回転させる第2の仮想視点位置Bの位置を車両1の上空域のうち車両1を基準とした鉛直軸Oを含む位置(直上位置)として説明した。別の実施形態では、仮想画像データを回転させる位置は、鉛直軸Oを含む位置に限られず、鉛直軸Oの位置から所定量前後にずれた位置でもよく、同様の効果を得ることができる。
また、仮想視点38が第1の仮想視点位置A(A1)、第2の仮想視点位置B、第3の仮想視点位置C(C1)を移動しているように仮想画像データを表示する場合、実質的に動画として表示することが望ましいが、仮想画像データの表示は第1の仮想視点位置A(A1)から第3の仮想視点位置C(C1)に至るまで必ずしも連続していなくてもよい。例えば、視点変換画像(仮想画像データ)を順次表示(動画表示)している間に、その表示画像に注目したい部分が存在した場合、例えば、障害物らしきものが表示された場合、動画表示の途中に仮想画像データの順次表示を一時的に停止させて、詳細確認ができるような静止画像が存在するような表示をしてもよい。例えば、ユーザが操作部14g等を操作することにより、注目したい仮想視点の位置で仮想画像データによる表示を静止させてもよい。このように、車両1の周辺の状況を表示しているときに、注目したい場面で仮想画像データによる表示を一時的に静止画像とすることで、表示内容の詳細検討や車両1と物体との位置関係や発進経路の検討を行いやすくすることができる。
ところで、上述したように視点変換画像(仮想画像データ)の順次表示(動画表示)を一時的に停止させる場合、操作部14gや表示装置8のタッチスクリーンを操作しようとすると、操作遅れが生じることがある。仮想視点38が第1の仮想視点位置A(A1)から第2の仮想視点位置Bを経て第3の仮想視点位置C(C1)に移動する時間(表示時間)は、順次表示の速度(動画表示速度)に応じて変化するが、10秒程度である。したがって、注目したい場面の表示時間は短く、その場面を認識した場合、迅速に表示速度の調整(例えば、停止調整)ができることが望ましい。
そこで、本実施形態においては、データ制御部36(図5参照)は、複数の仮想画像データを、仮想視点が車両1の周囲を移動しているような動画になるように配列して、表示制御部14dに供給して表示装置8に表示させているときに、車両1の走行操作を行うための操作部材から所定の操作入力情報を受け付けた場合に、仮想画像データの順次表示の速度を変化させる制御部として機能することができる。データ制御部36は、動画の表示速度を変更することで、例えば、順次表示される仮想画像データの表示を一時的に停止して、静止画像とすることができる。また、一時停止した静止画像の前後の仮想画像データを用いて、静止タイミングを調整することができる。車両1の走行操作を行うための操作部材としては、前述した操舵部4(ステアリングホイール)、制動操作部6(ブレーキペダル)、変速操作部7(シフトレバー)のうち少なくとも一つを利用することができる。
図17は、図8に示す仮想画像データを用いた表示処理と同時に実行される、例えば一時停止処理を実行する割り込み処理の一例を示すフローチャートである。なお、図17のフローは所定周期で繰り返し実行されているものとする。
まず、データ制御部36は、仮想画像データによる順次表示(動画表示)が表示開始済み(実行中)であるか常時確認し(S200)、表示が開始されていない場合(S200のNo)、このフローを一旦終了する。一方、S200において、表示開始済みの場合(S200のYes)、データ制御部36は、操作部材を介して動画表示の一時停止を要求する操作入力情報を受け付けたか否かを確認する(S202)。なお、操作部材は、前述したように走行操作を行うための部材(操舵部4、制動操作部6、変速操作部7等)を用いる。そのため、車輪速センサ受付部70が車輪速センサ22からの停止確認情報を取得した場合(車輪速センサ22からの信号が未入力の場合)に限り、データ制御部36は、操作部材の操作に基づく情報(ブレーキセンサ18b、舵角センサ19a、ステアリング感圧センサ19b、レバー感圧センサ21b等からの情報)を仮想画像データの表示速度の変更(例えば、一時停止等)を要求する情報として認識するようにしている。なお、操舵部4、制動操作部6、変速操作部7の全てを仮想画像データの順次表示の速度変化を実行する契機となる情報を生成する部材としてもよいし、いずれか一つまたは複数が速度変化を実行する契機となる情報を生成する部材としてもよい。
例えば、操作部材が、操舵部4(ステアリングホイール)の場合、データ制御部36は、感圧センサ受付部72がステアリング感圧センサ19bから信号を受け付けたか否か確認する。ステアリングホイールが所定圧力を超えて強く一度把持された場合、感圧センサ受付部72は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なす。また、別の実施形態の場合、データ制御部36は、舵角センサ受付部68が舵角センサ19aから信号を受け付けたか否か確認する。ステアリングホイールが左右いずれかの方向に所定角度以上回動させられた場合、舵角センサ受付部68は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なす。
また、別の実施形態の場合、データ制御部36は、ブレーキセンサ受付部62がブレーキセンサ18bから信号を受け付けたか否か確認する。ブレーキペダルが所定ストロークを越えて一度強く踏み込まれた場合、ブレーキセンサ受付部62は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なす。
また、別の実施形態の場合、データ制御部36は、感圧センサ受付部72がレバー感圧センサ21bから信号を受け付けたか否か確認する。シフトレバーが所定圧力を超えて強く把持された場合、感圧センサ受付部72は、視点変換画像の順次表示を一時停止させる操作入力情報を受け付けたと見なす。
S202において、データ制御部36が一時停止を要求する操作入力情報の取得を確認した場合(S202のYes)、データ制御部36は、仮想画像データの順次表示を一時停止する。つまり、仮想画像データによる静止画像を表示装置8に表示する(S204)。静止画像を表示することにより、ユーザに動画表示中に気になった場面を静止状態で提供し、その内容を詳細に確認させることができる。
上述したように走行操作するための操作部材は、ユーザ(運転者)が運転席に着座した姿勢で無理なく運転者の身体の一部と接触できる位置に存在する。したがって、表示装置8の内容を目視している最中でもユーザに操作準備姿勢をとらせやすい。その結果、仮想画像データの順次表示を一時停止させるための操作を迅速に行わせることができる。つまり、気になる場面の認識と実際の静止画像表示のタイムラグを低減させることができる。
なお、上述のように、走行操作をするための操作部材を用いて一時停止を要求した場合でも、ユーザの技量(反射神経等)により僅かなタイムラグが生じてしまう場合もある。そこで、データ制御部36は、所定の操作入力情報を受け付けた場合、所定期間過去に表示した仮想画像データを使用した静止画像を表示させることができる。例えば、データ制御部36は操作入力情報を受け付けたタイミングを基準に所定期間、例えば0.5秒前に表示した仮想画像データを用いた静止画像を表示装置8に表示する。このように、静止画像を表示する際に所定期間遡った仮想画像データを用いることでタイムラグの影響をさらに軽減することができる。なお、遡る期間は適宜設定可能でユーザの嗜好に合わせられるようにしてもよい。また、時間単位以外に、仮想画像データのフレーム数単位で遡っても同様の効果を得ることができる。
続いて、データ制御部36は、静止画像の変更要求(変更入力情報の入力)がなされたか否か確認する(S206)。例えば、操作部材が、操舵部4(ステアリングホイール)の場合、データ制御部36は、静止画像の表示中に、ステアリングホイールが所定圧力を超えて短い間隔で二度把持されたか否か確認する。データ制御部36は、そのような操作を確認した場合、遡りのための変更入力情報を取得したと見なし(S206のYes)、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以前の静止画像(変更静止画像)の表示を実行する(S208)。この場合、変更入力情報の入力の回数にしたがい、静止画像の表示を過去に向けて遡るようにしてもよい。例えば、ステアリングホイールを短い間隔で二度把持する動作を1セットとした場合、その動作が1セット行われるたびに、静止画像の表示を例えば0.3秒ずつ遡る。逆に、データ制御部36は、静止画像の表示中に、ステアリングホイールが所定圧力を超えて短い間隔で三度把持されたか否か確認する。データ制御部36は、そのような操作を確認した場合、先送りのための変更入力情報を取得したと見なし、一時停止中の視点変換画像(静止画像)を基準画像としてそれ以降の静止画像(変更静止画像)の表示を実行する。この場合、変更入力情報の入力の回数にしたがい、静止画像の表示を先送りする。例えば、ステアリングホイールを短い間隔で三度把持する動作を1セットとした場合、その動作が1セット行われるたびに、静止画像の表示を例えば0.3秒ずつ先送りするようにしてもよい。このように、静止画像の静止場面の変更を行うことにより、表示された静止画像がユーザの希望するタイミングの静止画像でない場合でも調整して所望する静止画像を提供することができる。また、注目したい場面の前後の静止画像の確認も可能になり、気になる物体等の詳細を把握させやすくすることができる。
なお、変更入力情報は、舵角センサ19aの入力に基づいて取得される場合、ステアリングホイールが左右いずれかの方向に所定角度以上短い間隔で二度(三度)回動させられた場合に発生する。このほか、変更入力情報は、ブレーキペダルが所定ストロークを越えて短い間隔で例えば二度強く踏み込まれた場合(遡り表示の場合)や三度強く踏み込まれた場合(先送り表示の場合)に発生する。このほか、シフトレバーに内蔵されたレバー感圧センサ21bで把持力の変化を検出した場合も同様である。
データ制御部36は、S206において、変更入力情報の入力がないと判定した場合(S206のNo)、または、変更入力情報の取得に基づき静止画像の変更を行った場合(S208)、静止画像の表示解除要求(解除の操作入力情報の入力)がなされたか否かを確認する(S210)。例えば、操作部材が、操舵部4(ステアリングホイール)の場合、データ制御部36は、静止画像の表示中に、ステアリングホイールが所定圧力を超えて再度一度だけ把持されたことを示す操作入力情報を取得した場合(S210のYes)、一時停止中の視点変換画像(静止画像)を最初の画像として、その仮想画像データから順次表示を再開させる(S212)。つまり、動画表示を再開する。表示再開のための操作入力情報は、ステアリングホイールを回動させたり、ブレーキペダルを踏み込んだり、シフトレバーを把持しても入力できる。
データ制御部36は、仮想画像データの順次画像が再開された場合、仮想画像データの表示が表示終点位置、例えば仮想視点38が第3の仮想視点位置C(C1)の位置に到達したか否かを確認する(S216)。つまり、仮想視点38が表示終点位置に到達して、周辺監視のための一連の順次表示が終了した場合(S216のYes)、このフローを一旦終了する。一方、仮想視点38が表示終点位置に到達していない場合(S216のNo)、S202に戻りS202からの処理を繰り返す。
S210において、データ制御部36が、静止画像の表示中に静止画像の表示解除を要求する操作入力情報を取得できない場合(S210のNo)、データ制御部36は現在表示中の静止画像の表示から所定期間が経過したか否かを確認する(S214)。例えば、現在表示中の静止画像の表示から60秒が経過した場合(S214のYes)、データ制御部36は静止画像は十分に表示されたと見なして、S212に移行して仮想画像データによる順次表示(動画表示)を再開する。また、S214において、所定期間が経過していない場合(S214のNo)、S206に移行して、データ制御部36は変更入力情報があるか確認し、S206からの処理を再度行う。
また、S202において、データ制御部36が一時停止を要求する操作入力情報を取得していない場合(S202のNo)、S216に移行して、仮想画像データの表示が表示終点位置に到達したか否かを確認するS216の処理を実行する。
なお、上述した実施形態では、データ制御部36が操作入力の取得を確認した場合、仮想画像データによる順次表示を一時的に停止して静止画像を表示装置8に表示する例をした。別の実施形態では、仮想画像データによる順次表示の表示速度(動画表示速度)を一時的にそれまでの表示速度より遅くしてもよい。この場合、ユーザが注目したいと感じた場面からスロー再生のような表示が行われることになり、例えば表示画像に移り込んだ物体の認識が容易になるとともに、動画再生を継続することができるので、動画表示の内容確認精度を向上させつつ、周囲状況の確認時間を短縮することができる。また、逆に確認不要と感じる場面は早送りするように仮想画像データによる順次表示の速度を早くしてもよい。この場合、周囲状況の確認時間を短縮することができる。なお、このように仮想画像データによる順次表示の速度を変更する場合も前述した一時停止と同様に、走行操作を行う操作部材(操舵部4、制動操作部6、変速操作部7等)を用いて同様に行うことが可能で同様の効果を得ることができる。
また、図6において、仮想視点38は、車両1を中心とするほぼ半円軌道で移動する例を示したが、仮想視点38が第2の仮想視点位置Bの位置またはその前後位置で180°回転すれば、その移動態様は適宜変更可能である。例えば、仮想視点38が第1の仮想視点位置A(A1)から所定の高さに上昇した後、仮想視点38を車両1の上空域を水平移動させる。その水平移動の間に仮想視点38を水平方向に180°回転させて、その後、第3の仮想視点位置C(C1)に向けて下降させてもよい。この場合、車両1を俯瞰している状態が長くなり車両1と物体との位置関係をより把握させやすい表示ができる。
上述した実施形態では、撮像画像データから仮想画像データを生成する場合に曲面投影か平面投影かのいずれかを用いる例を示したがこれに限らない。曲面投影と平面投影とを適宜組み合わせて用いてもよい。例えば、第1の仮想視点位置Aや第3の仮想視点位置Cの付近では曲面投影を用い、その他の部分では平面投影を用いてもよい。この場合、表示開始および終了位置の変更による視点変換画像の表示範囲の拡大ができるとともに、画像変換部32における処理負荷の軽減が可能になる。
また、上述した実施形態では、撮像部15が撮像した現在画像(リアルタイム画像)により仮想画像データを生成する例を示したが、撮像画像データを一時的にRAM14c等に保存して仮想画像データをタイミングを遅らせて生成するようにしてもよい。この場合、表示のリアルタイム性は僅かに低下する場合があるが、処理速度の遅いCPU14aの利用も可能になり、周辺監視装置のコスト削減に寄与できる。また、撮像部15で撮像してRAM14c等に保存しておいた過去画像を用いて、本実施形態で示した視点変換画像を表示するようにしてもよい。この場合、現在の車両1の周囲のみならず、移動してきた領域(現在の車両1の位置から離れた位置)の状況(過去の状況)の把握も可能になり、周辺監視装置の利用機会を増やすことができる。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。