JP6130118B2 - 画像処理システム、画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、車両の周辺を示す画像を処理する技術に関する。

従来より、自動車等の車両周辺を撮影した画像を合成し、運転席から見える車両周辺の様子を表示するシステムが知られている。このようなシステムにより、ユーザ（代表的には車両のドライバ）は、車両内にいながら車両周辺の様子を確認することができる。

また、近年では、車両の周辺を移動するように示す複数の画像を生成し、生成した画像を連続的に表示する技術が提案されている（例えば、特許文献１参照）。ユーザは、このような画像を視認することで、車両周辺の広い範囲を自身の位置を中心として、所定の方向から順に見渡すように確認することができる。

特開２０１１−６６７６３号公報

しかしながら、このような連続的な画像表示において、最初に表示される方向は、車両の状態に関わらず常に固定されていた。すなわち、車両が前進しようとする場合であっても、また後進しようとする場合であっても必ず決まった方向から連続的な画像の表示が開始されていた。車両状態によっては確認したい方向や領域が異なるため、ドライバは確認したい方向や領域が表示されるまで、連続的な画像表示を参照し続けなければならず、円滑に運転操作を開始することができない恐れが生じていた。

本発明は、上記課題に鑑みてなされたものであり、連続的に車両周辺を示す画像を表示する場合、車両の状態に応じて確認すべき方向から優先的に車両の周辺を確認できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、前記車両の車両状態に応じて前記仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定する起点決定手段と、前記生成手段に生成された合成画像を表示装置に出力して表示させる出力手段と、を備え、前記生成手段は、前記仮想視点の方向を前記起点方向から連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺を移動するように示す複数の合成画像を生成する。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する領域決定手段、をさらに備え、前記生成手段は、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成する。

また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記車両状態は、前記車両の進行方向を含む。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記車両状態は、前記車両の運転席の位置を含む。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像生成装置において、前記生成手段は、前記仮想視点の方向を連続的に変化させる場合に、前記仮想視点の位置を固定する。

また、請求項６の発明は、請求項５に記載の画像生成装置において、前記仮想視点の位置は、前記車両のドライバの視点に相当する位置である。

また、請求項７の発明は、車両において用いられる画像生成装置であって、前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定し、該仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する領域決定手段と、前記生成手段に生成された合成画像を表示装置に出力して表示させる出力手段と、
を備え、前記生成手段は、前記仮想視点の方向を連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成する。

また、請求項８の発明は、車両において用いられる画像表示システムであって、請求項１ないし７のいずれかに記載の画像生成装置と、前記画像生成装置から出力される合成画像を表示する表示装置と、を備える。

また、請求項９の発明は、車両において用いられる画像生成方法であって、（ａ）前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、（ｂ）前記車両の車両状態に応じて前記仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定する工程と、（ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示する工程と、を備え、前記工程（ａ）は、前記仮想視点の方向を前記起点方向から連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺を移動するように示す複数の合成画像を生成する。

また、請求項１０の発明は、車両において用いられる画像生成方法であって、（ａ）前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定し、該仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、（ｂ）前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する工程と、（ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示させる工程と、を備え、前記工程（ａ）は、前記仮想視点の方向を連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成する。

また、請求項１１の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータに、（ａ）車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、（ｂ）前記車両の車両状態に応じて前記仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定する工程と、（ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示する工程と、を実行させ、前記工程（ａ）は、前記仮想視点の方向を前記起点方向から連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺を移動するように示す複数の合成画像を生成する。

また、請求項１２の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータに、（ａ）車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定し、該仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、（ｂ）前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する工程と、（ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示させる工程と、を実行させ、前記工程（ａ）は、前記仮想視点の方向を連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成する。

請求項１から６、８、９、及び１１の発明によれば、車両の車両状態に応じて仮想視点の方向を変化させる際の起点方向が決定されるため、ユーザは、車両の車両状態に応じて確認すべき方向から優先的に車両の周辺を確認することができる。

また、特に請求項２の発明によれば、車両の車両状態に応じて特定領域が決定されるため、ユーザは、車両の車両状態に応じて車両の周辺のうちの確認すべき領域のみを的確に確認できる。

また、特に請求項３の発明によれば、ユーザは、車両の進行方向に応じて車両の周辺のうちの確認すべき領域を迅速に確認できる。

また、特に請求項４の発明によれば、ユーザは、車両の運転席の位置に応じて車両の周辺のうちの確認すべき領域を迅速に確認できる。

また、特に請求項５の発明によれば、ユーザは、固定的な位置からみた車両の周辺を示す合成画像を視認するため、車両の周辺の様子を直感的に把握することができる。

また、特に請求項６の発明によれば、ユーザは、ドライバの視点からみた車両の周辺を示す合成画像を視認するため、車両の周辺の様子を直感的に把握することができる。

また、請求項７、１０、及び１２の発明によれば、車両の車両状態に応じて特定領域が決定されるため、ユーザは、車両の車両状態に応じて車両の周辺のうちの確認すべき領域のみを的確に確認できる。

図１は、画像処理システムの構成を示す図である。 図２は、複数のカメラが撮影する方向を示す図である。 図３は、画像生成部が合成画像を生成する手法を説明する図である。 図４は、仮想視点が変化する領域を示す図である。 図５は、仮想視点が変化する領域を示す図である。 図６は、表示される合成画像の遷移を説明する図である。 図７は、仮想視点が変化する領域を示す図である。 図８は、仮想視点が変化する領域を示す図である。 図９は、仮想視点が変化する領域を示す図である。 図１０は、画像処理装置の処理手順を示す図である。 図１１は、画像処理装置の処理手順の詳細を示す図である。 図１２は、仮想視点が変化する領域を示す図である。 図１３は、仮想視点が変化する領域を示す図である。 図１４は、仮想視点が変化する領域を示す図である。 図１５は、仮想視点が変化する領域を示す図である。 図１６は、仮想視点が変化する領域を示す図である。 図１７は、仮想視点が変化する領域を示す図である。 図１８は、仮想視点が変化する領域を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞

＜１−１．構成＞

図１は、第１の実施の形態における画像処理システム１００の構成を示す図である。画像処理システム１００は、車両１（本実施の形態では、自動車）に搭載され、車両１の周辺領域を示す画像を生成し、車室内に設置されたディスプレイに表示する機能を有する。画像処理システム１００のユーザとなる車両１のドライバは、この画像処理システム１００を利用して、車両１周辺の様子を車室内から確認することができる。

画像処理システム１００は、画像処理装置１０及び表示装置２０を備える。画像処理装置１０は、入力された撮影画像を用いて各種の画像処理を行い、後述する表示装置２０に表示するための画像を生成する。また、画像処理装置１０は、複数のカメラで構成される撮影部４０を備えている。この撮影部４０は、車両１の周辺を撮影して取得した画像を画像処理装置１０の本体部３０へ送信する。

撮影部４０の複数のカメラはそれぞれ、レンズと撮像素子とを備え、車両１の周辺を示す撮影画像を電子的に取得する。複数のカメラは、フロントカメラ４０Ｆ、リアカメラ４０Ｂ、左サイドカメラ４０Ｌ、及び右サイドカメラ４０Ｒを含む。これら４つのカメラ４０は、車両１において互いに異なる位置に配置され、車両１の周辺の異なる方向を撮影する。

図２は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ４０Ｆは、車両１の前端に設けられ、その光軸４０Ｆａは車両１の直進方向に向けられる。リアカメラ４０Ｂは、車両１の後端に設けられ、その光軸４０Ｂａは車両１の直進方向の逆方向に向けられる。左サイドカメラ４０Ｌは、左側の左サイドミラーＭＬに設けられ、その光軸４０Ｌａは車両１の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ４０Ｒは、右側の右サイドミラーＭＲに設けられ、その光軸４０Ｒａは車両１の右側方（直進方向の直交方向）に向けられる。

これらのカメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのレンズは、魚眼レンズ等の広角レンズが採用され、１８０度以上の画角θを有する。このため、４つのカメラ４０を利用し、車両１の全周囲を撮影することが可能である。

図１に戻り、画像処理システム１００の構成の説明を行う。表示装置２０は、画像を表示する液晶等の表示部２０ａ、及びユーザの入力操作を検知する操作部２０ｂを備え、画像処理装置１０で生成された画像の表示やユーザの入力操作の制御を行う。表示装置２０は、ドライバが車両１の運転席に着座した状態で表示部２０ａを視認できる位置に配置される。

画像処理装置１０は、各種の画像処理が可能な電子装置であり、本体部３０、前述の撮影部４０、及び操作スイッチ５０を備えている。

本体部３０は、画像取得部３１、画像処理部３２、画像出力部３３、制御部３４、記憶部３５、カード読取部３６、及び信号受信部３７を備える。

画像取得部３１は、４つのカメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒでそれぞれ得られた撮影画像を取得する。画像取得部３１は、アナログの撮影画像をデジタルの撮影画像に変換する等の画像処理機能を有する。画像取得部３１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像処理部３２に入力する。

画像処理部３２は、撮影画像に対して各種の画像処理を行うための画像処理を行うハードウェア回路である。画像処理部３２は、仮想視点からみた車両１周辺の様子を示す合成画像を生成する機能として画像生成部３２ａを有している。

画像生成部３２ａは、複数のカメラ４０で取得された複数の撮影画像を合成し、仮想視点からみた車両１周辺の様子を示す合成画像を生成する。また、画像生成部３２ａは、生成した合成画像に対し、車両１の車体や車室の画像を合成画像に重畳する処理を行う。仮想視点は、代表的には、車両１の外部の位置から車両１を俯瞰する俯瞰視点、及び、車両１に乗車したドライバの視点に相当する位置から外部をみるドライバ視点などである。画像生成部３２ａは、仮想視点の方向を連続的に変化させ、連続表示により車両１の周辺を移動するように示す複数の合成画像を生成することができる。画像生成部３２ａが合成画像を生成する手法については後に詳述する。

画像出力部３３は、合成画像等の表示すべき画像を表示装置２０に出力する。これにより、画像が出力された表示装置２０に当該画像が表示される。

制御部３４は、例えば、マイクロコンピュータであり、画像処理装置１０の全体を統括的に制御する。制御部３４は、ＣＰＵ、ＲＡＭ、及びＲＯＭを備える。制御部３４の各種の機能は、記憶部３５に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。また、制御部３４は、プログラムに従って実現される機能として開始判定部３４ａ、起点決定部３４ｂ、領域決定部３４ｃ、及び画像制御部３４ｄを備える。

開始判定部３４ａは、車両１の状態に基づき、仮想視点の方向を連続的に変化させる処理を開始するための条件が成立したか否かを判定する。起点決定部３４ｂは、車両１の状態に応じ、仮想視点の方向を連続的に変化させる際の変化の開始方向、すなわち起点方向を決定する。領域決定部３４ｃは、車両１の状態に応じ、仮想視点の方向を連続的に変化させる際の変化の終点方向、及び起点方向から終点方向へ向けた仮想視点の変化方向を決定する。なお、起点決定部３４ｂによる起点方向、及び領域決定部３４ｃによる終点方向並びに変化方向の３つの方向が決定されることにより、複数の合成画像によって車両１周辺の一部を移動するように示すべき領域が特定される。画像制御部３４ｄは、画像取得部３１、画像処理部３２、及び画像出力部３３の制御を行う。

記憶部３５は、例えば、フラッシュメモリ等の不揮発性メモリであり、各種の情報を記憶する。記憶部３５は、視点データ３５ａ、運転席データ３５ｂ、起点データ３５ｃ、終点データ３５ｄ、変化データ３５ｅ、ファームウェアとしてのプログラム３５ｆ、及び、制御部３４の制御に用いる各種データを記憶する。視点データ３５ａは、車両１を俯瞰した位置、及び運転席に着座したドライバの視点位置を示すデータであり、合成画像を生成する際に設定される仮想視点の位置を規定するデータとなる。運転席データ３５ｂは、画像処理システム１００が設置される車両１の運転席の位置を示すデータである。すなわち、運転席が車両１の右側（いわゆる右ハンドル）の場合は「右」、車両１の左側（いわゆる左ハンドル）の場合は「左」を示すデータである。この運転席データ３５ｂは、画像処理システム１００が車両１に設置された際、又は画像処理システム１００が設置後最初に起動された際に、ユーザ等により入力されて記憶部３５に記憶され、画像生成部３２ａが合成画像を生成する際に制御部３４により参照される。起点データ３５ｃは、仮想視点の起点方向を角度で示すデータであり、仮想視点の方向を連続的に変化させる際の変化の開始点を示すデータとなる。終点データ３５ｄは、仮想視点の終点方向を角度で示すデータであり、仮想視点の方向を連続的に変化させる際の変化の終了点を示すデータとなる。変化データ３５ｅは、仮想視点の方向を起点方向から終点方向へ向けて変化させる際の変化の方向を示すデータである。起点データ３５ｃ、終点データ３５ｄ、及び変化データ３５ｅのいずれも、車両１の状態に応じた方向を示すデータである。

カード読取部３６は、メモリーカードＭＣが挿入され、メモリーカードＭＣに記憶されたデータを読み取るカードスロットである。カード読取部３６は、読み取ったデータを記憶部３５へ送信する。

信号受信部３７は、他の装置からの信号を受信し、制御部３４へ送信する。信号受信部３７は、受信した信号を制御部３４に入力する。信号受信部３７は、表示装置２０の操作部２０ｂ、後述の操作スイッチ５０、シフトセンサ６０、及びＩＧスイッチ７０から送信される各信号を受信する。

操作スイッチ５０は、ユーザの操作を受け付ける操作部材である。操作スイッチ５０は、画像処理装置１０に一体として備えられる。また、車両のステアリングホイールの一部として設けられてもよい。操作スイッチ５０がユーザに操作された場合、操作内容を示す操作信号が信号受信部３７を介して制御部３４へ入力される。

シフトセンサ６０は、「Ｐａｒｋｉｎｇ」、「Ｒｅｖｅｒｓｅ」、「Ｎｅｕｔｒａｌ」「Ｄｒｉｖｅ」等のシフトポジションを検知し、現在入力されているシフトポジションの位置データを信号受信部３７へ出力する。

ＩＧスイッチ７０は、車両１の駆動システムが起動する際にドライバによりオンとされるスイッチである。ドライバがＩＧスイッチ７０をオンにすると、ＩＧスイッチ７０は信号受信部３７へオン信号を送信する。ＩＧスイッチ７０はシリンダ形状の機械的なスイッチ機構の他、電子的にオンとオフを検知するボタンが含まれる。

＜１−２．合成画像の生成＞

次に、画像生成部３２ａが、車両１周辺を示す合成画像を生成する手法について説明する。図３は、画像生成部３２ａが合成画像を生成する手法を説明する図である。

フロントカメラ４０Ｆ、リアカメラ４０Ｂ、左サイドカメラ４０Ｌ、及び、右サイドカメラ４０Ｒのそれぞれで撮影が行われると、車両１の前方、後方、左側方、及び、右側方をそれぞれ示す４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲが取得される。これら４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲには、車両１の全周囲のデータが含まれている。

画像生成部３２ａは、まず、これら４つの画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両１の位置として定められている。また、投影面ＴＳの中心以外の部分は、画像ＰＦ，ＰＢ，ＰＬ，ＰＲのいずれかと対応付けられている。

画像生成部３２ａは、この投影面ＴＳの中心以外の部分に、画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータを投影する。画像生成部３２ａは、投影面ＴＳにおいて車両１の前方に相当する領域に、フロントカメラ４０Ｆの画像ＰＦのデータを投影する。また、画像生成部３２ａは、投影面ＴＳにおいて車両１の後方に相当する領域に、リアカメラ４０Ｂの画像ＰＢのデータを投影する。さらに、画像生成部３２ａは、投影面ＴＳにおいて車両１の左側方に相当する領域に左サイドカメラ４０Ｌの画像ＰＬのデータを投影し、投影面ＴＳにおいて車両１の右側方に相当する領域に右サイドカメラ４０Ｒの画像ＰＲのデータを投影する。

このように投影面ＴＳの各部分にデータを投影すると、次に、画像生成部３２ａは、車両１の外観及び車室内部の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両１のモデルは、投影面ＴＳが設定される三次元空間において、車両１の位置と定められた投影面ＴＳの中心部分に配置される。

次に、画像生成部３２ａは、三次元空間に対して仮想視点の位置ＶＰを設定する。画像生成部３２ａは、三次元空間における任意の視点位置（仮想視点の位置ＶＰ）に任意の視野方向（仮想視点の方向ＶＤ）に向けて仮想視点を設定できる。そして、画像生成部３２ａは、投影面ＴＳのうち、設定した仮想視点の位置ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像生成部３２ａは、設定した仮想視点の位置ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像ＰＧを、切り出した画像に対して重畳する。これにより、画像生成部３２ａは、仮想視点の位置ＶＰから仮想視点の方向ＶＤをみた車両１の外観又は車室内、及び車両１の周辺の領域を示す合成画像ＣＰを生成する。

例えば図に示すように、視点位置を車両１の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両１及び車両１の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を車両１の右後方、視野方向を車両１の前方とした仮想視点ＶＰｂを設定した場合には、車両１の右後方からその周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す合成画像ＣＰｂが生成される。また、視点位置を車両１の運転席、視野方向を車両１の直進方向とした仮想視点ＶＰｃを設定した場合には、車両１の車室内及び車両１の周辺の領域を示す合成画像ＣＰａが生成される。

＜１−３．仮想視点の方向の変化＞

画像処理装置１０は、車両１の状態に応じてこのような仮想視点の方向ＶＤを連続的に変化させ、これにより生成した複数の合成画像が示す範囲が車両１の周辺を連続的に移動するよう表示する。合成画像にドライバが運転する際に注意すべき車両１の周辺箇所を含めることで、ドライバは、車両１の状態に応じて確認すべき方向から優先的に車両周辺を確認することができる。

なお、車両１の状態とは、例えば運転席の位置やシフトのポジションが示す進行方向等である。運転席の位置や車両１の進行方向等により、ドライバが運転する際に優先的に注意すべき車両１周辺の箇所が異なるからである。例えば、右側運転席ではドライバは車両左側が見難いため、車両左側箇所に特に注意を要する。また、「Ｄｒｉｖｅ」のシフトポジションにおいて車両１の進行方向が前方の場合には前方箇所、「Ｒｖｅｒｓｅ」のシフトポジションにおいて車両１の進行方向が後方の場合には後方箇所にドライバは注意を要する。さらに、このような車両１の状態には、図示しないウインカースイッチ（方向指示器）の状態や、ステアリングの回転状態、ナビゲーションシステムによる経路案内状態の他、車両１の周囲の明るさ、降雨や積雪による天候状態も含まれる。すなわち、車両１の状態は、車両１が進行しようとする状態、ドライバが車両１を操作しようとする状態、及び、車両１の周囲の状態を含む。これらによっても、ドライバが運転する際に優先的に注意すべき車両１周辺の箇所が異なるからである。

図４は、車両１が前進する際の仮想視点の方向ＶＤを変化させる範囲を説明する図である。図に示す車両１は運転席位置が右側、いわゆる右ハンドルの車両である。以下、特に断らない限り、図に示される車両１の運転席位置は右側である。

まず、画像生成部３２ａが、仮想視点の位置ＶＰを決定する。図４の例では、仮想視点の位置ＶＰは、車両１の運転席に着座したドライバーの視点に相当する位置に設定されている。この仮想視点の高さは、運転席に着座したドライバの一般的な目線の高さに基いて決定される。

次に、起点決定部３４ｂが、運転席が右側かつシフトポジションが「Ｄｒｉｖｅ」である車両１の状態において設定されるべき起点方向ＯＤを記憶部３５の起点データ３５ｃから読み出して設定する。なお、起点方向ＯＤは、複数の合成画像が連続表示される際に、最初に表示される方向、すなわち最初に設定される仮想視点の方向ＶＤを示す。このような車両１の状態において、起点方向ＯＤは、運転席位置から前進方向ＤＦの右側３０［°］の方向、すなわちフロントフェンダ右側箇所よりドライバから見て外側（右側）となる方向へ設定される。起点方向ＯＤが前進方向ＤＦの右側３０［°］の方向へ設定されることで、車両１を前進させる際に注意を要するフロントフェンダ右側箇所を示す合成画像から優先的に表示することができるからである。なお、車両１の前進方向ＤＦは、運転席に着座したドライバの位置から見た車両１の進行方向である。

次に、領域決定部３４ｃは、運転席が右側かつシフトポジションが「Ｄｒｉｖｅ」である車両１の状態において設定されるべき終点方向ＦＤ及び変化方向ＭＤを記憶部３５の終点データ３５ｄ及び変化データ３５ｅから読み出して設定する。なお、終点方向ＦＤは複数の合成画像が連続表示される際に、最後に表示される方向、すなわち最後に設定される仮想視点の方向ＶＤを示す。また、変化方向ＭＤは、起点方向ＯＤから終点方向ＦＤへ向けた仮想視点の方向を変化させる方向を示す。起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤが設定されることで、仮想視点の方向が変化する領域、すなわち連続表示される複数の合成画像が動画的に示すべき車両１の周辺の領域である変化領域ＰＸが設定される。このような車両１の状態において、変化領域ＰＸは、前進方向ＤＦの右側３０［°］から前進方向ＤＦの左側６０［°］であって車両１の前方の領域に設定される。変化領域ＰＸがこのような範囲へ設定されることで、車両１を前進させる際に注意を要するフロントフェンダ右側箇所から左側箇所を含めて表示することができるからである。

図５は、仮想視点の方向を連続的に変化させた様子を示す図である。画像生成部３２ａは、仮想視点の位置ＶＰ、起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤが設定されると、仮想視点の方向ＶＤを起点方向ＯＤから終点方向ＦＤへ向けて変化方向ＭＤに沿って連続的に変化させつつ、前述の手法で複数の合成画像を連続的に生成する。これにより、連続表示した場合に車両１の周辺を移動するように示す複数の合成画像が生成される。なお、画像生成部３２ａは、仮想視点の方向ＶＤを連続的に変化させる場合には、仮想視点の位置ＶＰを固定する。この場合、ドライバは、固定的な位置からみた車両１周辺を示す合成画像を視認するため、車両１周辺の様子を直感的に把握できるからである。

図に示すように、画像生成部３２ａは、仮想視点の方向ＶＤを起点方向ＯＤの方向（ＶＤ１）から変化領域ＰＸの端部である前進方向ＤＦの左側６０［°］（ＶＤ４）へ向けて、変化方向ＭＤに沿って変化させる。

画像生成部３２ａは、仮想視点の方向ＶＤ（ＶＤ１）が起点方向ＯＤの方向である場合に、合成画像を生成し表示装置２０へ出力する。仮想視点の方向ＶＤに変化方向ＭＤへ向けて所定角度、たとえば３０［°］を加算し、新たな仮想視点の方向ＶＤ（ＶＤ２）でさらに合成画像を生成、出力する。また、同様に仮想視点の方向ＶＤをさらに変化させ、新たな仮想視点の方向ＶＤ３で合成画像を生成、出力する。そして、仮想視点の方向ＶＤが変化領域ＰＸの端部である終点方向ＦＤと合致するまで、このように仮想視点の方向に所定角度の加算を繰り返しつつ複数の合成画像の生成と出力を実行する。やがて仮想視点の方向ＶＤが変化領域ＰＸの端部である終点方向ＦＤ（ＶＤ４）と合致すると、合成画像の生成を終了する。

図６は、連続的に表示される合成画像を示す図である。合成画像には、画像生成部３２ａにより、車両１の周辺を示す画像にドライバから見た車室内の透過画像ＰＧが重畳されている。透過画像ＰＧは透過して重畳されるため、ドライバは車室内の画像ＰＧとともに、すなわち車両１の位置関係とともに周辺を示す画像を視認することができる。

表示画像ＰＶＤ１は、図５における仮想視点の方向ＶＤ１で生成された合成画像を表示部２０ａへ表示した画像である。仮想視点の方向ＶＤ１は、前進方向ＤＦの右側３０［°］を示すため、ドライバは表示画像ＰＶＤ１を視認することで、フロントフェンダ右側付近の車両１周辺を最初に確認できる。

表示画像ＰＶＤ２は、図５における仮想視点の方向ＶＤ２で生成された合成画像を表示部２０ａへ表示した画像である。仮想視点の方向ＶＤ２は、仮想視点の方向ＶＤ１に３０［°］加算した方向である。仮想視点の方向ＶＤ２は、前進方向ＤＦを示すため、ドライバは表示画像ＰＶＤ１を視認することで、運転席正面の車両１周辺を確認できる。

表示画像ＰＶＤ３は、図５における仮想視点の方向ＶＤ３で生成された合成画像を表示部２０ａへ表示した画像である。仮想視点の方向ＶＤ３は、仮想視点の方向ＶＤ２に３０［°］加算した方向である。仮想視点の方向ＶＤ３は、前進方向ＤＦの左側３０［°］を示すため、ドライバは表示画像ＰＶＤ３を視認することで、助手席正面の車両１周辺を確認できる。

表示画像ＰＶＤ４は、図５における仮想視点の方向ＶＤ４で生成された合成画像を表示部２０ａへ表示した画像である。仮想視点の方向ＶＤ４は、仮想視点の方向ＶＤ３に３０［°］加算した方向である。仮想視点の方向ＶＤ４は、前進方向ＤＦの左側６０［°］を示すため、ドライバは表示画像ＰＶＤ４を視認することで、フロントフェンダ左側付近の車両１周辺を確認できる。

このような仮想視点の方向ＶＤが異なる複数の合成画像が表示部２０ａに連続的に表示されることで、複数の合成画像は、運転席から見た車両１の周辺、特に前進する際に注意を要するフロントフェンダの左右端を含めた車両１前方の変化領域ＰＸ中を移動するように動画的に示すことになる。このため、ドライバは安全に車両１を前進させることができる。また、右側運転席において、前進方向ＤＦの右側３０［°］の方向から連続表示が開始されるので、ドライバは特に注意を要する方向から車両１の周辺を確認できる。なお、この例では説明のため、仮想視点の方向を３０［°］づつ変化させたが、実際には微小な角度（例えば１［°］）づつ変化させて合成画像の生成及び表示を行うことで、より円滑な連続表示を行うことが望ましい。

図７は、車両１が後進する際の仮想視点の方向ＶＤが変化する範囲を説明する図である。画像生成部３２ａが前述のように仮想視点の位置ＶＰを決定すると、起点決定部３４ｂが、運転席が右側かつシフトポジションが「Ｒｅｖｅｒｓｅ」である車両１の状態において設定されるべき起点方向ＯＤを記憶部３５の起点データ３５ｃから読み出して設定する。このような車両１の状態において、起点方向ＯＤは、運転席位置から後進方向ＤＢの左側３０［°］の方向、すなわちリアフェンダ端部よりドライバから見て外側となる方向へ設定される。起点方向ＯＤが後進方向ＤＢの左側３０［°］の方向へ設定されることで、車両１を後進させる際に注意を要するリアフェンダ端部を示す合成画像から優先的に表示できるからである。

次に、領域決定部３４ｃは、運転席が右側かつシフトポジションが「Ｒｅｖｅｒｓｅ」である車両１の状態において設定されるべき終点方向ＦＤ及び変化方向ＭＤを記憶部３５の終点データ３５ｄ及び変化データ３５ｅから読み出して設定する。起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤが設定されることで、仮想視点の方向ＶＤが変化する領域、すなわち複数の合成画像が動画的に示すべき変化領域ＰＸが設定される。このような車両１の状態において、変化領域ＰＸは、後進方向ＤＢの左側３０［°］から後進方向ＤＢの右側６０［°］であって車両１の後方領域に設定される。変化領域ＰＸがこのような範囲へ設定されることで、車両１を後進させる際に注意を要するリアフェンダの左右端部を含めて表示することができるからである。

画像生成部３２ａは、仮想視点の位置ＶＰ、起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤが設定されると、仮想視点の方向ＶＤを起点方向ＯＤから終点方向ＦＤへ向けて変化方向ＭＤに沿って所定角度づつ変化させながら、複数の合成画像を連続的に生成する。すなわち、画像生成部３２ａは、仮想視点の方向を起点方向から連続的に変化させ、連続表示により車両１の周辺を移動するように示す複数の合成画像を生成する。

このように生成された合成画像を表示させることにより、ドライバは車両１を後進させる際、すなわちシフトポジションを「Ｒｅｖｅｒｓｅ」に切替えた際、運転席位置から車両後方を見た場合のリアフェンダ左右端部を含む範囲について、起点方向ＯＤから連続的に移動して表示される合成画像で確認できる。したがって、ドライバは車両１を後進させる際、車両１の周辺のうち確認すべき領域、すなわちリアフェンダ左右端部を含む範囲のみを的確に確認できる。

図８は、画像処理システム１００が起動した直後において、仮想視点の方向が変化する変化領域ＰＸを説明する図である。画像処理システム１００が起動した直後は、車両１は発進前の停車中であるため、ドライバは車両１の周囲の安全確認を要する。この際、ドライバの死角となりやすい側面、すなわち運転席位置が右側であれば車両１の左側面については特に注意を要する。したがって、この範囲を変化領域ＰＸとし、この変化領域ＰＸについて複数の合成画像を動画的に示すことにより、ドライバは容易に周囲の安全を確認でき、安心して車両１を発進させることができる。

なお、画像処理システム１００の起動直後の他、シフトポジションが「Ｐａｒｋｉｎｇ」及び「Ｎｅｕｔｒａｌ」に切替えられた際やドライバによる表示させるべき旨の操作（操作スイッチ５０の操作）があった際にも行われる。このような場合も、車両１は発進前の停車中であるため、ドライバの死角となりやすい側面について、合成画像の連続表示を行うことで安全確認を容易にするからである。

画像処理システム１００が起動した直後における仮想視点の方向を変化させる処理は、以下のように実行される。

まず、画像生成部３２ａが前述のように仮想視点の位置ＶＰを決定すると、起点決定部３４ｂが、画像処理システム１００が起動した直後、すなわちＩＧスイッチ７０がオンとなった直後の状態において設定されるべき起点方向ＯＤを記憶部３５の起点データ３５ｃから読み出して設定する。このような車両１の状態において、起点方向ＯＤは、運転席位置から前進方向ＤＦの方向へ設定される。起点方向ＯＤが前進方向ＤＦの方向へ設定されることで、車両１を発進させる際に注意を要する車両１前方を示す合成画像から優先的に表示することができ、また、ドライバが正面を向いた視線方向と合致させることでドライバは違和感なく合成画像を視認できるからである。なお、ＩＧがオンとなった直後の状態とは、所定周期で繰り返し実行されるプログラム３５ｆが画像処理システム１００の起動後最初に実行される場合である。

次に、領域決定部３４ｃは、運転席が右側かつＩＧがオンとなった直後の状態において設定されるべき終点方向ＦＤ及び変化方向ＭＤを記憶部３５の終点データ３５ｄ及び変化データ３５ｅから読み出して設定する。このようなＩＧオン直後の状態において、変化領域ＰＸは、前進方向ＤＦから後進方向ＤＢまでの車両左側の範囲に設定される。変化領域ＰＸがこのような範囲へ設定されることで、車両１を発進させる際に特に注意を要する車両左側面の全体を表示することができるからである。

画像生成部３２ａは、仮想視点の位置ＶＰ、起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤが設定されると、仮想視点の方向ＶＤを起点方向ＯＤから終点方向ＦＤへ向けて変化方向ＭＤに沿って所定角度づつ変化させながら、連続的に複数の合成画像の生成と出力を行う。これにより、ドライバは車両１を発進させる際、すなわちＩＧオン直後やシフトポジションが「Ｐａｒｋｉｎｇ」に設定している際に、運転席位置から車両左側面を見た場合の範囲について、起点方向ＯＤから連続的に移動するように示す合成画像を確認できる。

図９は、運転席が左側に位置する車両１における仮想視点の方向が変化する変化領域ＰＸを説明する図である。図に示すように、運転席が左側（いわゆる左ハンドル）に位置する車両１においては、複数の合成画像が動画的に示すべき変化領域ＰＸは、運転席が右側に位置する車両１で設定された場合に対し、運転席を基準とした車両１の前後方向について左右反対、すなわち前進方向ＤＦ及び後進方向ＤＢを対称軸として線対称となる位置に設定される。運転席が反対側に位置すれば、ドライバの死角となる箇所や特に注意を要する箇所も左右反対となるからである。このような変化領域ＰＸは、起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤを運転席位置に応じて左右反対に設定すればよい。このように変化領域ＰＸが設定されると、左側運転席に着座したドライバは、運転席から見難い車両１の右側全体を合成画像により的確に確認することができる。なお、図９はＩＧオン直後等の停車中に設定される変化領域ＰＸを示すが、車両発進時、すなわちシフトポジションの切替え時等であっても、運転席位置が異なれば変化領域ＰＸは左右反対に設定される。

＜１−４．処理手順＞

次に、合成画像を生成する画像処理装置１０の処理手順について説明する。図１０は、画像処理装置１０の処理手順を示す図である。図に示す処理は、所定の周期（例えば、１／３０秒周期）で繰り返し実行される。

まず、開始判定部３４ａが、記憶部３５に記憶された運転席データ３５ｂを参照し、車両１の運転席の位置を判断する（ステップＳ１１）。運転席データ３５ｂは、「右」又は「左」を示すデータであり、画像処理システム１００が車両１に設置された際や最初に起動した際に設置者やドライバにより入力される。

開始判定部３４ａが、運転席データ３５ｂが「左」を示すデータであると判断すると（ステップＳ１１で「左」）、左側運転席処理が実行される（ステップＳ１２）。左側運転席処理の詳細は後述する。

一方、開始判定部３４ａが、運転席データ３５ｂが「右」を示すデータであると判断すると（ステップＳ１１で「右」）、画像処理システム１００が起動直後であるか判断する（ステップＳ１３）。開始判定部３４ａは、プログラム３５ｆがＩＧスイッチ７０によるオン信号送信後の最初に実行された処理であるかを判断し、画像処理システム１００が起動直後であるか判断する。

開始判定部３４ａが画像処理システム１００が起動直後であると判断すると（ステップＳ１３でＹｅｓ）、起点決定部３４ｂが、起点方向ＯＤを車両１の前進方向に設定する（ステップＳ１４）。

起点決定部３４ｂが起点方向ＯＤを設定すると、領域決定部３４ｃは、仮想視点の変化が終了する終点方向ＦＤを起点方向ＯＤの角度から１８０［°］加算した角度、すなわち車両１の後進方向に設定する（ステップＳ１５）。また、領域決定部３４ｃは、仮想視点を変化させる変化方向ＭＤを車両左側方に設定する（ステップＳ１６）。これにより、図８に示したように、仮想視点を所定角度毎に変化させた場合に、車両１の前方から仮想視点の方向変化が開始し、車両１の左側方全体の領域において仮想視点の方向が連続的に変化する。

一方、開始判定部３４ａは、画像処理システム１００が起動直後でないと判断すると（ステップＳ１３でＮｏ）、操作スイッチ５０がドライバにより操作されたか判断する（ステップＳ１７）。開始判定部３４ａは、操作スイッチ５０から信号受信部３７を介して送信される操作信号が制御部３４へ入力された場合に、操作スイッチ５０がドライバにより操作されたと判断する。なお、前述の通り、操作スイッチ５０が操作された場合とは、ドライバが任意のタイミングで車両１の側方全体を画像表示により確認を欲する場合である。

開始判定部３４ａが、操作スイッチ５０が操作されたと判断すると（ステップＳ１７でＹｅｓ）、起点決定部３４ｂによる起点方向ＯＤの設定（ステップＳ１４）、及び領域決定部３４ｃによる終点方向ＦＤ並びに仮想視点の変化方向ＭＤの設定が実行される（ステップＳ１５、Ｓ１６）。

一方、開始判定部３４ａが、操作スイッチ５０が操作されていないと判断すると（ステップＳ１７でＮｏ）、シフトポジションが切替えられたか判断する（ステップＳ１８）。開始判定部３４ａは、シフトセンサ６０から信号受信部３７を介して送信されるシフト信号に基づき、シフトポジションがどの位置へ切替えられたか判断する。

開始判定部３４ａが、シフトポジションが「Ｐａｒｋｉｎｇ」又は「Ｎｅｕｔｒａｌ」へ切替えられたと判断すると（ステップＳ１８で「Ｐ」又は「Ｎ」）、起点決定部３４ｂによる起点方向ＯＤの設定（ステップＳ１４）、及び領域決定部３４ｃによる終点方向ＦＤ並びに仮想視点の変化方向ＭＤの設定が実行される（ステップＳ１５、Ｓ１６）。なお、シフトポジションが「Ｐａｒｋｉｎｇ」又は「Ｎｅｕｔｒａｌ」に切替えられる場合とは、車両１が駐車又は停車する場合であり、ドライバは車両１の駐車位置の適切さや他の駐車車両との間隔、歩行者や障害物との距離に注意を要する場合であるため、ステップＳ１４〜Ｓ１６の実行により車両１の側方全体について前方から表示されることが好ましい。

一方、開始判定部３４ａがシフトポジションが「Ｄｒｉｖｅ」へ切替えられたと判断すると（ステップＳ１８で「Ｄ」）、起点決定部３４ｂが、起点方向ＯＤを車両１の右前方向に設定する（ステップＳ１９）。

起点決定部３４ｂが起点方向ＯＤを設定すると、領域決定部３４ｃが、終点方向ＦＤを起点方向ＯＤの角度から９０［°］加算した角度、すなわち車両１の左前方向に設定する（ステップＳ２０）。また、領域決定部３４ｃは、仮想視点の方向ＶＤが変化する方向ＭＤを車両１の前方を含むよう右側から左側方向に設定する（ステップＳ２１）。これにより、図４に示したように、所定角度毎に仮想視点の方向ＶＤを変化させた場合に、車両１の右前方から仮想視点の方向変化が開始し、車両１の前方領域において仮想視点の方向ＶＤが左前方へ連続的に変化する。なお、シフトポジションが「Ｄｒｉｖｅ」に切替えられる場合とは、車両１が前進する場合であり、ドライバは車両１の前方、特にフロントフェンダ左右端に注意を要する場合であるため、ステップＳ１９からステップＳ２１の実行により車両１の前方が右側から表示されることが好ましい。

一方、開始判定部３４ａがシフトポジションが「Ｒｅｖｅｒｓｅ」へ切替えられたと判断すると（ステップＳ１８で「Ｒ」）、起点決定部３４ｂが、起点方向ＯＤを車両１の右後方（車両１の前進方向ＤＦに向かって右後方）に設定する（ステップＳ２２）。

起点決定部３４ｂが起点方向ＯＤを設定すると、領域決定部３４ｃは、仮想視点の変化が終了する終点方向ＦＤを起点方向ＯＤの角度から９０［°］加算した角度、すなわち車両１の左後方（車両１の前進方向ＤＦに向かって左後方）に設定する（ステップＳ２３）。また、領域決定部３４ｃは仮想視点の方向ＶＤを変化させる変化方向ＭＤを車両１の後方を含むよう右側から左側方向に設定する（ステップＳ２４）。これにより、図７に示したように、所定角度毎に仮想視点を変化させた場合に、車両１の右後方から仮想視点の方向変化が開始し、車両１の後方領域において仮想視点の方向が左後方まで連続的に変化する。なお、シフトポジションが「Ｒｅｖｅｒｓｅ」に切替えられる場合とは、車両１が後進する場合であり、ドライバは車両１の後方、特にフロントフェンダ左右端に注意を要する場合であるため、ステップＳ２２からステップＳ２４の実行により車両１の後方が画像表示されることが好ましい。

一方、開始判定部３４ａがシフトポジションが切替えられていないと判断すると（ステップＳ１８でＮｏ）、画像処理装置１０の処理は終了する。画像処理システム１００の起動直後でなく、操作スイッチがオンされず、またシフトポジションが切替えられていない車両状態においては、ドライバに車両１周辺の画像を表示部２０ａにより表示する必要性が低いからである。この場合、表示部２０ａには、図示しないナビゲーション装置により生成された経路案内画面等が表示される。

ステップＳ１６、ステップＳ２１、又はステップＳ２４が実行されると、画像取得部３１が撮影部４０の各カメラで撮影された撮影画像を取得する（ステップＳ２５）。

画像取得部３１が撮影画像を取得すると、画像制御部３４ｄは設定された起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤを画像処理部３２の画像生成部３２ａに送信する。画像生成部３２ａは、画像取得部３１で取得された撮影画像、及び送信された起点方向ＯＤ、終点方向ＦＤ並びに変化方向ＭＤを用いて、合成画像を生成する（ステップＳ２６）。この際、画像生成部３２ａは起点方向ＯＤの方向を示す合成画像を最初に生成する。

画像生成部３２ａが合成画像を生成すると、画像出力部３３は、生成された合成画像を表示装置２０へ出力する（ステップＳ２７）。表示装置２０が画像出力部３３により出力された合成画像を表示部２０ａに表示することで、ドライバは表示部２０ａを参照して車両１周辺を確認することができる。

次に、画像生成部３２ａは、起点方向ＯＤの角度が終点方向ＦＤの角度と一致するか判断する（ステップＳ２８）。起点方向ＯＤの角度が終点方向ＦＤの角度と一致する場合は、起点方向ＯＤの変化が終点方向ＦＤに達した場合であるので、連続表示により車両１の周辺を移動するように示す複数の合成画像の生成は終了する。したがって、画像生成部３２ａが、起点方向ＯＤの角度が終点方向ＦＤの角度と一致すると判断すると画像処理装置１０の処理は終了する。

一方、画像生成部３２ａは、起点方向ＯＤの角度が終点方向ＦＤの角度と一致しないと判断する場合（ステップＳ２８でＮｏ）、仮想視点の方向を所定角度だけ変化方向ＭＤの方向へ向けて変化させる（ステップＳ２９）。

画像生成部３２ａが仮想視点の方向を変化させると、画像取得部３１が撮影部４０の各カメラで撮影された撮影画像を再度取得する（ステップＳ２５）。以後、起点方向ＯＤが終点方向ＦＤと一致するまで、ステップＳ２５からＳ２９の処理が繰り返し実行され、所定角度毎に合成画像が繰り返し生成され、表示装置２０へ出力される。このような合成画像を表示部２０ａに表示することで、ドライバは起点方向ＯＤから終点方向ＦＤまで変化方向ＭＤの方向へ向けて移動して車両１周辺を示す合成画像を参照することができる。

次に、ステップＳ１２における左側運転席処理について説明する。図１０は、左側運転席処理の処理手順の詳細を示す図である。ステップＳ１２が実行されると、画像処理システム１００が起動直後であるか判断する（ステップＳ５１）。

開始判定部３４ａが画像処理システム１００が起動直後であると判断すると（ステップＳ５１でＹｅｓ）、起点決定部３４ｂが、起点方向ＯＤを車両１の前進方向に設定する（ステップＳ５２）。

起点決定部３４ｂが起点方向ＯＤを設定すると、領域決定部３４ｃは、仮想視点の変化が終了する方向を起点方向ＯＤの角度から１８０［°］加算した角度、すなわち車両１の後進方向に設定する（ステップＳ５３）。また、領域決定部３４ｃは仮想視点が変化する方向ＭＤを車両１の右側面に設定する（ステップＳ５４）。これにより、図９に示したように、所定角度毎に仮想視点を変化させた場合に、車両１の前方から仮想視点の方向変化が開始し、車両１の右側方全体の領域において仮想視点の方向が連続的に変化する。

一方、開始判定部３４ａは、画像処理システム１００が起動直後でないと判断すると（ステップＳ５１でＮｏ）、操作スイッチ５０がドライバにより操作されたか判断する（ステップＳ５５）。

開始判定部３４ａが、操作スイッチ５０が操作されたと判断すると（ステップＳ５５でＹｅｓ）、起点決定部３４ｂによる起点方向ＯＤの設定（ステップＳ５２）、及び領域決定部３４ｃによる終点方向ＦＤ並びに仮想視点の変化方向ＭＤの設定が実行される（ステップＳ５３、Ｓ５４）。

一方、開始判定部３４ａが操作スイッチ５０が操作されていないと判断すると（ステップＳ５５でＮｏ）、シフトポジションが切替えられたか判断する（ステップＳ５６）。

開始判定部３４ａが、シフトポジションが「Ｐａｒｋｉｎｇ」又は「Ｎｅｕｔｒａｌ」へ切替えられたと判断すると（ステップＳ５５で「Ｐ」又は「Ｎ」）、起点決定部３４ｂによる起点方向ＯＤの設定（ステップＳ５２）、及び領域決定部３４ｃによる終点方向ＦＤ並びに仮想視点の変化方向ＭＤの設定が実行される（ステップＳ５３、Ｓ５４）。

一方、開始判定部３４ａがシフトポジションが「Ｄｒｉｖｅ」へ切替えられたと判断すると（ステップＳ５６で「Ｄ」）、起点決定部３４ｂが、起点方向ＯＤを車両１の左前方向に設定する（ステップＳ５７）。

起点決定部３４ｂが起点方向ＯＤを設定すると、領域決定部３４ｃは、仮想視点の方向変化が終了する方向を起点方向ＯＤから９０［°］、すなわち車両１の左前方に設定する（ステップＳ５８）。また、領域決定部３４ｃは仮想視点が変化する方向ＭＤを車両１の前方を含むよう左側から右側方向に設定する（ステップＳ５９）。

一方、開始判定部３４ａがシフトポジションが「Ｒｅｖｅｒｓｅ」へ切替えられたと判断すると（ステップＳ５６で「Ｒ」）、起点決定部３４ｂが、起点方向ＯＤを車両１の左後方（車両１の前進方向ＤＦに向かって左後方）に設定する（ステップＳ６０）。

起点決定部３４ｂが起点方向ＯＤを設定すると、領域決定部３４ｃは、仮想視点の変化が終了する方向を起点方向ＯＤの角度から９０［°］加算した角度、すなわち車両１の右後方（車両１の前進方向ＤＦに向かって右後方）に設定する（ステップＳ６１）。また、領域決定部３４ｃは仮想視点が変化する方向ＭＤを車両１の後方に設定する（ステップＳ６２）。

一方、開始判定部３４ａがシフトポジションが切替えられていないと判断すると（ステップＳ５６でＮｏ）、画像処理装置１０の処理は終了する。

ステップＳ５４、ステップＳ５９、又はステップＳ６２が実行されると、処理は図１０の処理に戻り、ステップＳ２５以下が実行される。すなわち、左側運転席処理で設定された起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤに基づき、合成画像が生成され、表示部へ出力する等の各処理が実行される。

以上のように、画像処理装置１０は仮想視点の方向ＶＤを連続的に変化させる際、車両１の状態に応じて起点方向ＯＤを設定する。このため、ドライバは車両１の状態に応じて確認すべき方向から優先的に車両１の周辺を確認することができる。また、画像処理装置１０は車両１の状態に応じて変化領域ＰＸ（起点方向ＯＤ、終点方向ＦＤ、及び変化方向ＭＤ）を設定する。このため、ドライバは車両１の状態に応じて車両１周辺のうち確認すべき領域のみを的確に確認できる。

＜２．変形例＞

以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

また、仮想視点の方向ＶＤの変化する方向ＭＤは、仮想視点の位置ＶＰを中心として、いわゆる反時計回りとして説明したが、時計回りでもよい。

＜２−１＞

上記実施の形態では、起点方向ＯＤ及び終点方向ＦＤが、仮想視点の方向ＶＤの変化する変化領域ＰＸの両端となる方向を規定していたが、必ずしもこのような形態に限定されるものではない。すなわち、仮想視点の方向ＶＤの変化する変化領域ＰＸ内の途中位置に起点方向ＯＤを設定してもよい。この場合、仮想視点の方向ＶＤの変化は、起点方向ＯＤから開始して一方方向へ変化させて変化領域ＰＸの一端に達した後、変化領域ＰＸ内を折り返し、他方方向へ変化させて他端である終点方向ＦＤに達する。このような仮想視点の方向ＶＤの変化方向の折り返し点となる方向については、折り返し点方向ＲＤとして設定すればよい。

図１２は、このような折り返し点方向ＲＤを設定し、仮想視点の方向ＶＤの変化を説明する図である。図に示すように、起点方向ＯＤを車両１の前進方向ＤＦに設定し、折り返し点方向ＲＤを右前方に設定し、終点方向ＦＤを左前方に設定する。

このような設定において、仮想視点の方向ＶＤの変化方向ＭＤが起点方向ＯＤから車両１の右側方に変化することで、仮想視点の方向ＶＤは折り返し点方向ＲＤに達する。仮想視点の方向ＶＤが折り返し点方向ＲＤに達すると、変化方向ＭＤは一転して車両１の左側方に変化し、仮想視点の方向ＶＤが変化領域ＰＸ内を折り返す。変化領域ＰＸ内を折り返した仮想視点の方向ＶＤは、変化方向ＭＤに沿って終点方向ＦＤに達する。

このような形態とすることで、最初に表示される合成画像が運転席正面から見える車両１の周辺を示す画像となる。合成画像の生成がドライバの目線に近い方向から開始されるため、ドライバは違和感なく合成画像を参照できる。

なお、折り返し点ＲＤは、折り返し点データとして車両１の状態毎に記憶部３５に記憶され、合成画像生成時に起点決定部３４ｂにより読み出されて設定されればよい。

＜２−２＞

上記実施の形態では、仮想視点の方向ＶＤの変化する変化領域ＰＸを車両１の周辺の一部に限定していたが、必ずしもこのような形態に限定されるものではない。すなわち、仮想視点の方向ＶＤの変化する変化領域ＰＸを車両１の全周囲（３６０°）に設定してもよい。この場合、起点方向ＯＤと終点方向ＦＤとは一致するよう設定すればよい。

図１３は、起点方向ＯＤと終点方向ＦＤとを一致するよう設定し、仮想視点の方向ＶＤの変化を説明する図である。図に示すように、車両１の状態に応じて起点方向ＯＤが設定され、終点方向ＦＤを起点方向ＯＤと一致するよう設定する。そして、変化方向ＭＤを車両１の全周囲となるよう設定する。このため、仮想視点の方向ＶＤの変化する領域ＰＸは、車両１の全周囲となる。

このような形態とすることで、ドライバは車両１の状態に応じて確認すべき方向から優先的に車両１の全周囲を確認することができる。

＜２−３＞

上記実施の形態では、仮想視点の方向ＶＤの変化する方向ＭＤを車両１の前進方向ＤＦに対して水平に設定していたが、必ずしもこのような形態に限定されるものではない。すなわち、仮想視点の方向ＶＤの変化について、変化の途中で下向きとしてもよい。

図１４は、仮想視点の方向ＶＤの変化方向ＭＤが変化の途中で下向きとなるよう設定し、仮想視点の方向ＶＤの変化を説明する図である。図に示すように、仮想視点の方向ＶＤの変化が開始されると、変化方向ＭＤが下向きとなり、仮想視点の方向ＶＤも下向きとなる（仮想視点の方向ＶＤ´）。仮想視点の方向ＶＤは、車両１の略正面において最も下向きとなった後、一転して上向きとなり起点方向ＯＤと同じ高さの終点方向ＦＤに達する。仮想視点の方向ＶＤが下向きになる程、仮想視点の方向ＶＤは車両１のより近傍へ向けられる。

このような形態とすることで、ドライバは車両１の近傍を確認することができるので、車両１近傍に子供の歩行者や小さな障害物等が存在した場合であっても適切に確認できる。

＜２−４＞

上記実施の形態では、仮想視点の位置ＶＰを車両１の運転席の位置に設定していたが、必ずしもこのような形態に限定されるものではない。すなわち、仮想視点の位置ＶＰを車両１の上方に設定してもよい。

図１５は、仮想視点の位置ＶＰを車両１の上方に設定し、仮想視点の方向ＶＤの変化を説明する図である。図に示すように、仮想視点の位置ＶＰを車両１の上方Ｈの高さに設定すると、仮想視点の方向ＶＰは車両１を見下ろすような方向となる。仮想視点の方向ＶＰを起点方向ＯＤから終点方向ＦＤへ変化方向ＭＤに向けて変化させると、車両１の前方を高さＨの上方から見渡す合成画像が生成される。なお、合成画像に重畳される車両１の外観画像は透過するよう画像処理されるため、仮想視点の方向ＶＰが車両１を見下ろすような方向とした場合でも、ドライバは車両１の外観を透過して周辺画像を参照できる。

このような形態とすることで、ドライバは車両１の周辺を上方から見下ろしたように確認することができるので、車両１周辺の障害物等の位置関係を適切に把握できる。

なお、仮想視点の位置ＶＰは、車両１上方の高さＨを視点データ３５ａに含めておけばよい。このような視点データ３５ａが合成画像生成時に読み出されて設定されればよい。

＜２−５＞

上記実施の形態では、仮想視点の位置ＶＰを車両１の運転席の位置に設定し、仮想視点の方向ＶＤを車両１外側に向けていたが、必ずしもこのような形態に限定されるものではない。すなわち、仮想視点の位置ＶＰを車両１外側に設定し、仮想視点の方向ＶＤをドライバ（運転席）に向けて設定してもよい。

図１６は、仮想視点の位置ＶＰを車両１の右側前方に設定し、仮想視点の方向ＶＤを車両１の運転席に向けて設定した場合における、仮想視点の方向ＶＤの変化を説明する図である。図に示すように、仮想視点の位置ＶＰを車両１の外側Ｄの位置に設定すると、仮想視点の方向ＶＤは車両１を見る方向となる。この場合、仮想視点の方向ＶＰを起点方向ＯＤから終点方向ＦＤに変化方向ＭＤに向けて変化させると、仮想視点の位置ＶＰは仮想視点の位置ＶＰ´から仮想視点の位置ＶＰ´´へと変化し、仮想視点の方向ＶＤは仮想視点の方向ＶＤ´から仮想視点の方向ＶＤ´´へと変化する。これにより、合成画像は車両１の外側の位置Ｄから車両１を見る合成画像となる。なおこの場合、合成画像に重畳される車両１の外観画像は透過するよう画像処理する必要はない。仮想視点の位置ＶＰと車両１との間に存在する障害物等が表示されればよいからである。

このような形態とすることで、ドライバは車両１の周辺を車両１外側から見た場合のように確認することができるので、車両１周辺の障害物等と車両１との位置関係を適切に把握できる。

なお、仮想視点の位置ＶＰは、車両１の外側の位置Ｄを視点データ３５ａに含めておけばよい。このような視点データ３５ａが合成画像生成時に読み出されて設定されればよい。

＜２−６＞

上記変形例２−５では、仮想視点の変化方向ＭＤを車両１の運転席の位置に対して周回するよう設定していたが、必ずしもこのような形態に限定されるものではない。すなわち、仮想視点の位置ＶＰの変化方向ＭＤを起点方向ＯＤから終点方向ＦＤに向けて直線的に設定してもよい。

図１７は、仮想視点の変化方向ＭＤを起点方向ＯＤから終点方向ＦＤに向けて直線的に設定した場合における、仮想視点の方向ＶＤの変化を説明する図である。図に示すように、仮想視点の変化方向ＭＤを起点方向ＯＤから終点方向ＦＤに向けて直線的に設定し、仮想視点の方向ＶＰを起点方向ＯＤから終点方向ＦＤに変化方向ＭＤに向けて変化させると、仮想視点の位置ＶＰは仮想視点の位置ＶＰ´から仮想視点の位置ＶＰ´´へと変化し、仮想視点の方向ＶＤは仮想視点の方向ＶＤ´から仮想視点の方向ＶＤ´´へと変化する。この際、仮想視点の方向ＶＤ´は、仮想視点の方向ＶＤ及び仮想視点の方向ＶＤ´´に比較して、より車両１に接近する。これにより、合成画像は車両１の外側から車両１に接近後遠ざかるような合成画像となる。

このような形態とすることで、ドライバは仮想視点の位置ＶＰと運転席の位置との位置関係を適切に把握できる。

＜２−７＞

上記実施の形態では、仮想視点の方向ＶＤを車両１の前進方向ＤＦに対して水平に設定していたが、必ずしもこのような形態に限定されるものではない。すなわち、仮想視点の方向ＶＤを下向きとしてもよい。特に、車両１周囲の照度が低い場合に仮想視点の方向ＶＤを下向きとすることが好ましい。仮想視点の方向ＶＤを下向きとすると、車両１近傍の合成画像が生成される。夜間等において車両１周囲の照度が低い場合には、車両１の遠方は明瞭な画像が生成され難いが、車両１近傍は比較的明瞭な画像を生成し得る。また、夜間等はドライバの目視でも車両１近傍が見難い場合も生じるため、仮想視点の方向ＶＤを下向きとすることが好ましい。

図１８は、仮想視点の方向ＶＤを車両の前進方向ＤＦから角度θ下向きとなるよう設定し、仮想視点の方向ＶＤの変化を説明する図である。図に示すように、仮想視点の方向ＶＤは、車両の前進方向ＤＦから角度θ下向きのまま、起点方向ＯＤから終点方向ＦＤへ変化方向ＭＤに沿って変化する。この際、仮想視点の方向ＶＤは、向きが下向きになる程、車両１のより近傍へ向けられる。なお、車両１に照度センサを設け、照度センサからの照度情報に基づき仮想視点の方向を下向きにしてもよい。

このような形態とすることで、ドライバは車両１の近傍を明瞭に確認できるので、夜間等の照度の低い場合でも車両１の近傍を適切に確認できる。

１ 車両
１０ 画像処理装置
２０ 表示装置
３０ 本体部
４０ 撮影部
５０ 操作スイッチ
６０ シフトセンサ
７０ ＩＧスイッチ
１００ 画像処理システム

Claims (12)

1. 車両において用いられる画像生成装置であって、
   前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
   前記車両の車両状態に応じて前記仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定する起点決定手段と、
   前記生成手段に生成された合成画像を表示装置に出力して表示させる出力手段と、
   を備え、
   前記生成手段は、前記仮想視点の方向を前記起点方向から連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺を移動するように示す複数の合成画像を生成することを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する領域決定手段、
   をさらに備え、
   前記生成手段は、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成することを特徴とする画像生成装置。
3. 請求項１または２に記載の画像生成装置において、
   前記車両状態は、前記車両の進行方向を含むことを特徴とする画像生成装置。
4. 請求項１ないし３のいずれかに記載の画像生成装置において、
   前記車両状態は、前記車両の運転席の位置を含むことを特徴とする画像生成装置。
5. 請求項１ないし４のいずれかに記載の画像生成装置において、
   前記生成手段は、前記仮想視点の方向を連続的に変化させる場合に、前記仮想視点の位置を固定することを特徴とする画像生成装置。
6. 請求項５に記載の画像生成装置において、
   前記仮想視点の位置は、前記車両のドライバの視点に相当する位置及び高さであることを特徴とする画像生成装置。
7. 車両において用いられる画像生成装置であって、
   前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定し、該仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
   前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する領域決定手段と、
   前記生成手段に生成された合成画像を表示装置に出力して表示させる出力手段と、
   を備え、
   前記生成手段は、前記仮想視点の方向を連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成することを特徴とする画像生成装置。
8. 車両において用いられる画像表示システムであって、
   請求項１ないし７のいずれかに記載の画像生成装置と、
   前記画像生成装置から出力される合成画像を表示する表示装置と、
   を備えることを特徴とする画像表示システム。
9. 車両において用いられる画像生成方法であって、
   （ａ）前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
   （ｂ）前記車両の車両状態に応じて前記仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定する工程と、
   （ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示する工程と、
   を備え、
   前記工程（ａ）は、前記仮想視点の方向を前記起点方向から連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺を移動するように示す複数の合成画像を生成することを特徴とする画像生成方法。
10. 車両において用いられる画像生成方法であって、
    （ａ）前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定し、該仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
    （ｂ）前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する工程と、
    （ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示させる工程と、
    を備え、
    前記工程（ａ）は、前記仮想視点の方向を連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成することを特徴とする画像生成方法。
11. コンピュータによって実行可能なプログラムであって、
    前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
    （ａ）車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
    （ｂ）前記車両の車両状態に応じて前記仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定する工程と、
    （ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示する工程と、
    を実行させ、
    前記工程（ａ）は、前記仮想視点の方向を前記起点方向から連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺を移動するように示す複数の合成画像を生成することを特徴とするプログラム。
12. コンピュータによって実行可能なプログラムであって、
    前記コンピュータによる前記プログラムの実行は、前記コンピュータに、
    （ａ）車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を用いて、仮想視点の起点方向を、車両の運転席に着座したドライバの視点に相当する位置からドライバが正面を向いた視線方向に決定し、該仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
    （ｂ）前記車両の車両状態に応じて前記車両の周辺の一部を特定領域に決定する工程と、
    （ｃ）前記工程（ａ）で生成された合成画像を表示装置に出力して表示させる工程と、
    を実行させ、
    前記工程（ａ）は、前記仮想視点の方向を連続的に前記車両を発進させる際に注意を要する一方方向へ変化させた後、折り返して前記起点方向を越えて前記車両を発進させる際に注意を要する他方方向へ変化させ、連続表示により前記車両の周辺のうち前記特定領域のみを移動するように示す複数の合成画像を生成することを特徴とするプログラム。

Images