JP5479639B2

JP5479639B2 - 画像処理装置、画像処理システム、および、画像処理方法

Info

Publication number: JP5479639B2
Application number: JP2013128429A
Authority: JP
Inventors: 功太郎木下; 順子任
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2013-06-19
Filing date: 2013-06-19
Publication date: 2014-04-23
Anticipated expiration: 2030-01-19
Also published as: JP2013225903A

Description

本発明は、車両に搭載された表示装置に画像を表示する技術に関する。

一般に、車両に搭載した複数のカメラにより車両周辺の画像を取得し、自動的に、または、ユーザの操作によって、表示装置に表示することで車両周辺の監視を行う装置がある。また、カメラで撮影した画像をカメラによる視点とは異なる複数の仮想視点から見た画像となるように仮想視点の角度を調整する切替ボタンを備えた車両周囲監視装置の技術が開示されている（例えば、特許文献１参照。）。

特開２００４−３２４６４号公報

しかしながら、特許文献１に記載の技術は、切替ボタンによって仮想視点の視点位置を調整した後に表示装置に合成画像の画面を表示させてユーザの希望する合成画像の表示がなされているか否かを確認する。そして、ユーザが希望する表示範囲の合成画像が表示されていない場合は、再度設定画面から、切替ボタンにより仮想視点の視点位置を変更して調整をやり直すという煩わしい作業になるという問題があった。

本発明は、上記課題に鑑みてなされたものであり、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがユーザにひと目でわかる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、前記車両の側面に対する前記仮想視点の視点位置からの視野範囲に、前記車両の車体の略全体を含むことを示すモデル図を表示装置に出力する出力手段と、を備え、前記出力手段は、前記車両のユーザの操作に応じて前記視点位置を変更した前記モデル図を出力する。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記出力手段は、前記視点位置が前記ユーザの操作に応じて変更された場合でも、前記視野範囲に前記車両の車体の略全体を含むことを示すモデル図を出力する。

また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記出力手段は、前記視点位置を変更した前記モデル図とともに、変更された前記視点位置に応じて生成された前記合成画像を出力する。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記視点位置は、２つの視点位置変更アイコンを用いた前記ユーザの操作により変更される。

また、請求項５の発明は、車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、前記車両の側面に対する前記仮想視点の視点位置からの視野範囲に、前記車両の車体の略全体を含むことを示すモデル図を表示装置に出力する出力手段と、を備え、前記出力手段は、前記車両のユーザの操作に応じて前記視野範囲を変更した前記モデル図を出力する。

また、請求項６の発明は、請求項５に記載の画像処理装置において、前記出力手段は、前記視野範囲を変更した前記モデル図とともに、変更された前記視野範囲に応じて生成された前記合成画像を出力する。

また、特に請求項２の発明によれば、視点位置を変更したモデル図とともに、変更された視点位置に応じて生成された合成画像を出力することで、ユーザは生成された合成画像がどの視点位置からみた合成画像なのかを確認できる。

また、特に請求項３の発明によれば、視点位置が２つの視点位置変更アイコンを用いたユーザの操作により変更されることで、ユーザはモデル図における視点位置の変更を確認しながら視点位置を変更する操作を行える。

また、特に請求項４の発明によれば、車両のユーザの操作に応じて視野範囲を変更した車両の側面に対するモデル図を出力することで、ユーザは側面からみた車両に対する仮想視点の視野範囲を確認できる。

さらに、特に請求項５の発明によれば、視野範囲を変更したモデル図とともに、変更された視野範囲に応じて生成された合成画像を出力することで、ユーザは生成された合成画像がどの視野範囲からみた合成画像なのかを確認できる。

図１は、画像処理システムの構成を示した図である。図２は、車載カメラが車両に配置される位置を示す図である。図３は、合成画像を生成する手法を説明するための図である。図４は、画像処理システムの動作モードの遷移を示す図である。図５は、モデル図の第１の例を示した図である。図６は、モデル図の第２の例を示した図である。図７は、モデル図と合成画像とをともに表示した第１の例を示した図である。図８は、モデル図と合成画像とをともに表示した第２の例を示した図である。図９は、モデル図による視点位置設定処理のフローチャートである。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１−１．システム構成＞
図１は、画像処理システム１２０の構成を示すブロック図である。この画像処理システム１２０は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、その生成した画像を車室内のナビゲーション装置２０などの表示装置に出力する機能を有している。画像処理システム１２０のユーザ（代表的にはドライバ）は、この画像処理システム１２０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。

図１に示すように、画像処理システム１２０は、車両の周辺を示す周辺画像を生成してナビゲーション装置２０などの表示装置に画像情報を出力する画像処理装置１００と、車両の周囲を撮影するカメラを備えている撮影部５とを主に備えている。

ナビゲーション装置２０は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ユーザが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がユーザから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

ナビゲーション装置２０は、画像処理装置１００と通信可能に接続され、画像処理装置１００との間で各種の制御信号の送受信や、画像処理装置１００で生成された周辺画像の受信が可能となっている。ディスプレイ２１には、制御部２３の制御により、通常はナビゲーション装置２０単体の機能に基づく画像が表示されるが、所定の条件下で画像処理装置１００で生成された車両の周辺の様子を示す周辺画像が表示される。これにより、ナビゲーション装置２０は、画像処理装置１００で生成された周辺画像を受信して表示する表示装置としても機能する。

画像処理装置１００は、その本体部１０が周辺画像を生成する機能を有するＥＣＵ（Electronic Control Unit）として構成され、車両の所定の位置に配置される。画像処理装置１００は、車両の周辺を撮影する撮影部５を備えており、この撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。これらの撮影部５が備える複数の車載カメラ５１，５２，５３は、本体部１０とは別の車両の適位置に配置されるが詳細は後述する。

画像処理装置１００の本体部１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像生成部３と、ナビゲーション装置２０との間で通信を行うナビ通信部４２とを主に備えている。

ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部４２によって受け付けられて制御部１に入力される。また、画像処理装置１００は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ４３を備えている。この切替スイッチ４３からもユーザの指示を示す信号が制御部１に入力される。これにより、画像処理装置１００は、ナビゲーション装置２０に対するユーザの操作、及び、切替スイッチ４３に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ４３は、ユーザが操作しやすいように、本体部１０とは別に車両の適位置に配置される。

画像生成部３は、各種の画像処理が可能なハードウェア回路として構成されており、合成画像生成部３１を主な機能として備えている。

合成画像生成部３１は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３１が仮想視点からみた合成画像を生成する手法については後述する。

ナビ通信部４２は、画像生成部３で生成された合成画像やその合成画像の仮想視点からの視野範囲を示すモデル図をナビゲーション装置２０へ出力する出力部４２ａと、ナビゲーション装置２０のタッチパネル機能を備えたディスプレイ２１や操作部２２からのユーザが操作した情報を受信する受付部４２ｂとを備えている。ここでいうモデル図とは、実際の車両を模したモデル車両の画像に対するユーザが選択可能な仮想視点の視点位置の複数の候補が示されており、視点位置をユーザが視点位置変更アイコン用いて変更するための画像である。そして、視点位置の変更はナビゲーション装置のタッチパネル機能を備えたディスプレイ２１や操作部２２を操作することで、任意の仮想視点の視点位置に変更可能である。なお、以下では合成画像とモデル図とをあわせて画像情報ということもある。

出力部４２ａからの画像情報の出力は制御部１の画像情報出力指示信号に基づいて行われる。この信号を受けて、たとえば合成画像によって表現可能な、車両に対する仮想視点からの視野範囲を示すモデル図が出力される。これにより、ユーザは合成画像としてナビゲーション装置２０に表示される画像の仮想視点からの視野範囲を示すモデル図を確認できる。

また、出力部４２ａは上述のモデル図とともに合成画像をナビゲーション装置２０に出力することもできる。これにより、車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像をナビゲーション装置２０の一つの画面で確認しながら、視点位置の設定を行える。

受信部４２ｂはモデル図がナビゲーション装置２０に表示された状態で、後述する仮想視点の視点位置の変更をユーザから受け付け、その結果、仮想視点の視点位置が変更されたモデル図が出力部４２ａから出力される。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部１１および表示制御部１２は、このようにして実現される制御部１の機能のうちの一部を示している。

画像制御部１１は、画像生成部３によって実行される画像処理を制御するものである。例えば、画像制御部１１は、合成画像生成部３１が生成する合成画像の生成に必要な各種パラメータなどを指示する。

表示制御部１２は、主に画像処理装置１００で処理された画像情報をナビゲーション装置２０に表示させる場合の制御を行う。たとえば、合成画像生成部３１で生成された合成画像情報のナビゲーション装置２０への出力制御や、モデル図のナビゲーション装置２０への出力制御などを行う。

また、画像処理装置１００の本体部１０は、不揮発性メモリ４０、カード読取部４４、及び、信号入力部４１をさらに備えており、これらは制御部１に接続されている。

不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、主に車種別データ４ａ、および、モデル図データ４ｂが記憶されている。

車種別データ４ａは、合成画像生成部３１が合成画像を生成する際に必要となる車両の種別に応じたデータなどである。

また、モデル図データ４ｂは、主に車種ごとのモデル図である車両と複数の仮想視点の視点位置候補、および、ユーザの操作により視点位置の変更を行う視点位置候補変更アイコンなどを含むデータである。このモデル図データ４ｂは制御部１の表示制御部１２の画像情報出力指示信号により出力部４２ａを介してナビゲーション装置２０に出力される。

カード読取部４４は、可搬性の記録媒体であるメモリカードＭＫの読み取りを行う。カード読取部４４は、メモリカードＭＫの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＫに記録されたデータを読み取る。カード読取部４４で読み取られたデータは、制御部１に入力される。

メモリカードＭＫは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像処理装置１００はメモリカードＭＫに記憶された種々のデータを利用できる。例えば、メモリカードＭＫにプログラムを記憶させ、これを読み出すことで、制御部１の機能を実現するプログラム（ファームウェア）を更新することが可能である。また、メモリカードＭＫに不揮発性メモリ４０に記憶された車種別データ４ａとは異なる種別の車両に応じた車種別データを記憶させ、これを読み出して不揮発性メモリ４０に記憶させることで、画像処理システム１２０を異なる種別の車両に対応させることも可能である。

また、信号入力部４１は、車両に設けられた各種装置からの信号を入力する。この信号入力部４１を介して、画像表示システム１２０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、および、車速度センサ８２などから、各種情報を示す信号が制御部１に入力される。

シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。

＜１−２．撮影部＞
次に、画像処理装置１００の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。

撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５１，５２，５３はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。

図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。なお、以下の説明においては、方向及び向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両９の右側、＋Ｙ側を車両９の後側、＋Ｚ側を上側とする。

フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。

＜１−３．画像変換処理＞
次に、画像生成部３の合成画像生成部３１が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された車種別データ４ａが利用される。図３は、合成画像を生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰ２に投影される。立体曲面ＳＰ２は、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰ２の各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰ２の各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

なお、撮影画像Ｐ１〜Ｐ４の撮影は、上記のとおり車載カメラ５１，５２，５３は１８０度以上の画角αを有している広角カメラを用いている。このように広角カメラで撮影を行った場合、画像の一部がカメラのフードやフィルター枠などの障害物に遮られて周辺領域の光量低下がおこることにより、画面内に撮影者が意図しない陰りが生じることがある。このように陰りが生じている現象を一般に「ケラレ」という。

図３に示す立体曲面ＳＰ１は、撮影画像Ｐ１〜Ｐ４の一部のケラレの発生により、それらの画像を投影した立体曲面ＳＰ１の周辺の所定領域に光量低下による陰りが生じている状態を示している。このように陰りが生じている立体曲面をそのままナビゲーション装置２０に表示すると、所定の仮想視点からみた合成画像が略半球状（お椀形状）とはならない。

そのため、立体曲面ＳＰ１のうちケラレによる光量低下が生じている周辺領域を除いた中央の略半球状（お椀形状）の領域である立体曲面ＳＰ２を用いて、任意の仮想視点に応じた合成画像を生成する。たとえば図４に示すように、立体曲面ＳＰ１の破線部分を境界として、ケラレによる光量低下が生じている周辺領域を取り除いて、立体曲面ＳＰ２とする。これにより、略半球状（お椀形状）の被写体の画像を形成でき、ユーザがお椀を上から覗き込んだように立体的に表示された車両と障害物との位置関係を把握できる画像を提供できる。

なお、上記では一例としてケラレによる光量低下の場合の処理について述べたが、ケラレ以外の光量低下（たとえば、口径食による光量低下など）が発生した場合にも適用可能である。

また、撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１，５２，５３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４０に記憶された車種別データ４ａに含まれている。

また、車種別データ４ａに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、上記のように立体曲面ＳＰ２における必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９及びその車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ１２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像）及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰ２の全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

＜１−４．動作モード＞
次に、画像処理システム１２０の動作モードについて説明する。図４は、画像処理システム１２０の動作モードの遷移を示す図である。画像処理システム１２０は、ナビモードＭ０、周囲確認モードＭ１、フロントモードＭ２、及び、バックモードＭ３の４つの動作モードを有している。これらの動作モードは、ドライバの操作や車両９の走行状態に応じて制御部１の制御により切り替えられるようになっている。

ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、画像処理装置１００の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。

これに対して、周囲確認モードＭ１、フロントモードＭ２及びバックモードＭ３は、画像処理装置１００の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。

周囲確認モードＭ１は、車両９を見下ろした状態で車両９の周囲を周回するようなアニメーション表現を行う動作モードである。フロントモードＭ２は、前進時に必要となる車両９の前方や側方を主に示す表示用画像を表示する動作モードである。また、バックモードＭ３は、後退時に必要となる車両９の後方を主に示す表示用画像を表示する動作モードである。

画像処理システム１２０は起動すると、最初に周囲確認モードＭ１となる。周囲確認モードＭ１の場合には、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にフロントモードＭ２に切り替えられる。また、フロントモードＭ２の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。なお、ドライバからの所定の指示で、周囲確認モードＭ１からフロントモードＭ２に切り替えるようにしてもよい。

また、フロントモードＭ２の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。逆に、ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ２に切り替えられる。

車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ２が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、ナビモードＭ０からフロントモードＭ２に切り替えられる。なお、ナビモードＭ０からフロントモードＭ２に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。

また、ナビモードＭ０の場合において、走行速度が例えば０ｋｍ／ｈの状態（停止状態）で切替スイッチ４３が所定時間以上継続して押下されると、周囲確認モードＭ１に切り替えられる。そして、車両９の周囲を周回するようなアニメーション表現がなされた後に所定時間（例えば、６秒）が経過すると、自動的にもとのモードであるナビモードＭ２に切り替える。

また、ナビモードＭ０あるいはフロントモードＭ２の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ３に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方を主に示すバックモードＭ３に切り替えられる。

一方、バックモードＭ３の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ２に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ２に切り替えられる。
＜１−５．モデル図＞
次に、画像処理装置１００に備えられたナビ通信部４２の出力部４２ａから出力され、ナビゲーション装置２０に表示されるモデル図について、モデル図の第１の例を示した図５を用いて説明する。

図５に示すモデル図ＭＤ１には、モデル車両ＭＣに対して複数の仮想視点の視点位置の候補ＶＰ１〜ＶＰ５が設けられている。ユーザは視点位置変更アイコン６１を操作することでこれらの候補から任意の視点位置に変更する。なおこの操作は、ナビゲーション装置２０のタッチパネル機能を備えたディスプレイ２１や操作部２２を用いて行われる。

図５に示されている例では、モデル車両ＭＣの後方に位置する視点位置ＶＰ１が選択されており、この視点位置ＶＰ１からの視野範囲ＦＥ１が斜線にて表示されている。この視野範囲ＦＥ１は、たとえば、上記のバックモードやフロントモードの際にナビゲーション装置２０に表示される合成画像の表示範囲に対応している。

戻るボタン７１は、ひとつ前の画面である図示しない設定画面に戻る際に、ユーザにより選択される。また、完了ボタン７２は、仮想視点の位置の変更情報を不揮発性メモリ４０に記憶してひとつ前の画面である図示しない設定メニュー画面に戻る際に、ユーザにより選択される。そして、設定された仮想視点の視点位置に基づいて、上記のバックモードやフロントモードの合成画像の表示が行われる。

次に、別の視点位置からの視野範囲を示したモデル図を第２の例とし、図６を用いて説明する。図６において上記図５に示すモデル図と異なる点は、仮想視点の視点位置がモデル車両ＭＣの後方の視点位置ＶＰ１からモデル車両ＭＣの直上（真上）の視点位置ＶＰ３に変更された点である。この変更はユーザのタッチパネル機能を備えたディスプレイ２１や操作部２２の操作に基づいて行われる。

そして、この視点位置の変更に伴い、視野範囲も視点位置ＶＰ１に対応するＦＥ１の視野範囲から視点位置ＶＰ３に対応する視野範囲ＦＥ３に変更される。これにより、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付けることができる。また、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがユーザはひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が示されていない場合は、設定をやり直すという煩わしい作業を解消できる。

また、選択された視点位置の表示態様を他の視点位置の候補の表示態様とは異ならせる。これにより、ユーザは表示装置をみて選択している視点位置をひと目で確認できる。

このようにユーザにより選択されている視点位置の表示態様と選択されていない視点位置の表示態様とを異ならせる方法としては、それぞれの表示の明るさを変えることがあげられる。たとえば、選択されている視点位置を明るい色（黄色や赤色などの光で照らされているような色）とし、選択されていない視点位置を暗い色（黒色や茶色などの光が遮られているような色）とする。

なお、視点位置がＶＰ１からＶＰ３に変更されたことにより車両後方の後部ガラス上端部のルーフスポイラーの付近（図６では黒塗りで表示されている部分の死角領域ＦＳ３）が仮想視点の視点位置ＶＰ３から死角となる範囲として表示されている。このようにユーザに選択された視点位置から死角となる範囲は視野範囲ＦＥ３の表示態様と異なる表示態様とする。これにより、ユーザが設定する仮想視点から死角となって合成画像によって表示されない部分がひと目で確認できる。

視野範囲の表示態様と死角となる範囲の表示態様とを異ならせる方法としては、両者の明るさを変える。たとえば、視野範囲を明るい色（黄色や赤色などの光で照らされているような色）とし、死角となる範囲を暗い色（黒色や茶色などの光が遮られているような色）とする。

さらに、別の例としてモデル図と合成画像とを組み合わせてナビゲーション装置２０に表示する第１の例を図７に示し、第２の例を図８に示す。図７では、上述の図５において説明したモデル図とともにその表示範囲ＦＥ１に対応して表示される合成画像ＣＩ１をナビゲーション装置２０の一画面で表示している。これにより、ユーザは車両に対する仮想視点からの視野範囲を示すモデル図と、ユーザが選択した仮想視点の視点位置に基づいて生成される合成画像とを一画面で実際に確認しながら、視点位置の設定を行える。

図８は上述の図６において説明したモデル図とともにその表示範囲ＦＥ３に対応して表示される合成画像ＣＩ３をナビゲーション装置２０の一画面で表示している。そして、図７から図８へのモデル図および合成画像の変更は、ユーザが視点位置変更アイコン６１を操作して行う。これにより、ユーザは仮想視点の視点位置とその視点位置に対応したナビゲーション装置２０に表示される合成画像の表示範囲を確認しながら、視点位置の変更を行える。

なお、上述の実施の形態では、視点位置の変更はＶＰ１からＶＰ３への変更について述べたがこれ以外の視点位置への変更も可能であり、また実施の形態で述べた５箇所の視点位置に限定されることはなく、この５箇所以外の位置に視点位置を設けてもよい。また、視点位置の数を５箇所よりも減らしてもよい。

さらに、モデル図と合成画像とをともに表示する場合、一画面で表示する以外にそれぞれを別画面として表示してもよい。

＜２．動作＞
次に、モデル図による視点位置設定処理を図９に示すフローチャートを用いて説明する。画像処理装置１００は、ユーザが合成画像の仮想視点の視点位置を設定するためにタッチ機能を備えたディスプレイ２１や操作部２２を操作した旨の設定ボタン押下信号を受信する（ステップＳ１０１がＹｅｓ）と、不揮発性メモリ４０に記憶されている図示しない設定画面の情報をナビゲーション装置２０へ出力して（ステップＳ１０２）、次の処理であるステップＳ１０３へ進む。なお、設定ボタン押下信号を受信していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。

次に、ステップＳ１０３では設定画面のうちの仮想視点の視点位置設定ボタンが押下された信号を受信する（ステップＳ１０３がＹｅｓ）と、現在設定されている視点位置に対応した視野範囲を示すモデル図を不揮発性メモリ４０のモデル図データ４ｂから読み出して、出力部４２ａを介してナビゲーション装置２０へ出力する（ステップＳ１０４）。なお、画像処理装置１００の受信部４２ｂが仮想視点の視点位置設定ボタンの押下信号を受信していない場合（ステップＳ１０３がＮｏ）は、処理を終了する。

そして、ナビゲーション装置２０に表示されたモデル図の視点位置変更アイコン６１をユーザが操作したことで、視点位置を所定の位置に変更した場合はその信号を受付部４２ｂが受信する（ステップＳ１０５がＹｅｓ）と、不揮発性メモリ４０に変更した視点位置情報を記憶する（ステップＳ１０６）。

なお、視点位置の変更に伴う信号を受付部４２ｂが受信していない場合は、ナビゲーション装置２０に同一の視点位置のモデル図がそのまま表示された状態となり、次の処理であるステップＳ１０８へ進む。

ステップＳ１０６にて視点位置の情報を記憶した後は、変更された視点位置でその視点位置に対応した視野範囲を示すモデル図情報をモデル図データ４ｂから読み出して、出力部４２ａからナビゲーション装置２０へ出力する（ステップＳ１０７）。これにより、車両に対する仮想視点からの視野範囲を示すモデル図を出力しつつ、仮想視点の視点位置の変更を受け付ける。

そして、仮想視点の視点位置の変更に応じて、視野範囲を変更したモデル図を出力することで、仮想視点の視点位置に応じて車両の周辺のいずれの領域が合成画像として表示装置に表示されるのかがひと目でわかる。このため、仮想視点の位置を設定した後に合成画像を表示させて確認した結果、ユーザが希望する合成画像が示されていない場合は、設定をやり直すという煩わしい作業を解消できる。

次に、モデル図内の完了ボタン７２が押下された信号を受信する（ステップＳ１０８がＹｅｓ）と、変更後の視点位置の設定のまま処理を終了して、設定ボタン押下前の画面（例えば、ナビモードの画面）に戻る。なお、完了ボタンが押下された信号を受信していない場合（ステップＳ１０８がＮｏ）の場合は、ナビゲーション装置２０にモデル図がそのまま表示された状態となる。または、所定時間経過後にナビモードの画面に戻る。

なお、上記処理で説明した不揮発性メモリ４０に記憶されているモデルデータ４ｂや図示しない設定画面のデータなどはナビゲーション装置２０に備えられた図示しないメモリに記憶していてもよい。
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、画像処理装置１００とナビゲーション装置２０とは別の装置であるとして説明したが、画像処理装置１００とナビゲーション装置２０とが同一の筐体内に配置されて一体型の装置として構成されてもよい。

また、上記実施の形態では、画像処理装置１００で生成された画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。

また、上記実施の形態において、画像処理装置１００の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。

また、上記実施の形態において、信号入力部４１を介して画像処理装置１００の制御部１に入力されると説明した信号の一部または全部は、ナビゲーション装置２０に入力されるようになっていてもよい。この場合は、ナビ通信部４２を経由して、画像処理装置１００の制御部１に当該信号を入力すればよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１制御部
３画像生成部
５撮影部
２０ナビゲーション装置
４０不揮発性メモリ
４１信号入力部
４２ナビ通信部
８１シフトセンサ
８２車速度センサ

Claims

車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、
前記車両の側面に対する前記仮想視点の視点位置からの視野範囲に、前記車両の車体の略全体を含むことを示すモデル図を表示装置に出力する出力手段と、
を備え、
前記出力手段は、前記車両のユーザの操作に応じて前記視点位置を変更した前記モデル図を出力すること、
を特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記出力手段は、前記視点位置が前記ユーザの操作に応じて変更された場合でも、前記視野範囲に前記車両の車体の略全体を含むことを示すモデル図を出力すること、
を特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
前記出力手段は、前記視点位置を変更した前記モデル図とともに、変更された前記視点位置に応じて生成された前記合成画像を出力すること、
を特徴とする画像処理装置。
請求項１ないし３のいずれかに記載の画像処理装置において、
前記視点位置は、２つの視点位置変更アイコンを用いた前記ユーザの操作により変更されること、
を特徴とする画像処理装置。
車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、
前記車両の側面に対する前記仮想視点の視点位置からの視野範囲に、前記車両の車体の略全体を含むことを示すモデル図を表示装置に出力する出力手段と、
を備え、
前記出力手段は、前記車両のユーザの操作に応じて前記視野範囲を変更した前記モデル図を出力すること、
を特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記出力手段は、前記視野範囲を変更した前記モデル図とともに、変更された前記視野範囲に応じて生成された前記合成画像を出力すること、
を特徴とする画像処理装置。