JP6148896B2 - 画像生成装置及び画像生成方法 - Google Patents

Description

本発明は、車両の周辺を示す画像を生成する技術に関する。

従来より、自動車などの車両に設けられたカメラで得られた撮影画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。

また、近年では、カメラで得られた撮影画像を用いて仮想視点からみた車両の周辺を示す仮想視点画像を生成し、その仮想視点画像を表示する画像表示システムも提案されている（例えば、特許文献１参照。）。このような画像表示システムは、例えば、撮影画像のデータを仮想の投影面に投影し、投影面上のデータを用いて仮想視点画像を生成する。このような画像表示システムでは、例えば、車両の上部から車両の周辺を見下ろすような仮想視点画像を表示することができる。

国際公開第００−６４１７５号

近年、上記のような仮想視点画像の画質の改善が要望されている。このため、比較的画素数の大きな撮像素子を有するカメラを採用して画質（解像度）の高い撮影画像を取得し、画像生成装置がこのような画質の高い撮影画像を用いて仮想視点画像を生成することが検討されている。

ただし、このような画質の高い撮影画像はサイズ（データ量）が大きくなる。このため、伝送路の制約などから、カメラの撮像素子の全領域で得られた撮影画像である全領域画像をカメラから画像生成装置に伝送することが困難となる場合がある。これを解消するため、全領域画像のうちの仮想視点画像に必要となる一部の領域のみを、カメラから画像生成装置に伝送することが考えられる。

しかしながら、このように全領域画像の一部の領域のみを画像生成装置に伝送すると、撮影画像のデータと投影面上の位置との対応関係が伝送される領域に応じて変わってしまう。このため、画像生成装置が、撮影画像のデータを投影面上の正しい位置に投影できなくなり、その結果、仮想視点画像を正しく生成できなくなる。

本発明は、上記課題に鑑みてなされたものであり、画質の高い撮影画像を用いて仮想視点画像を正しく生成できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、カメラを備える車両において用いられる画像生成装置であって、前記カメラの撮像素子の全領域で得られた全領域画像の一部のデータを仮想の投影面に投影し、該投影面上のデータを用いて仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する生成手段と、前記全領域画像のうち前記仮想視点画像の生成に必要となる対象領域を前記仮想視点に応じて指定する指定手段と、前記全領域画像のうちの前記対象領域に対応する伝送画像を、前記カメラから伝送路を介して受信する受信手段と、前記受信手段が受信した前記伝送画像を記憶領域に記憶する記憶手段と、
前記記憶領域の位置と前記投影面上の位置との対応関係を示すテーブルデータを、前記仮想視点に応じて選択する選択手段と、を備え、前記生成手段は、前記選択手段に選択されたテーブルデータを用いて、前記記憶領域に記憶された前記伝送画像のデータを前記投影面に投影し、前記記憶手段において前記伝送画像のために確保される前記記憶領域のサイズは、前記全領域画像のサイズと一致し、前記記憶手段は、前記記憶領域に前記全領域画像を記憶させたと仮定した場合に前記対象領域に対応する前記記憶領域中の位置に、前記伝送画像を記憶する。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記受信手段は、前記対象領域のサイズが前記伝送路において許容される許容サイズを超える場合は、前記許容サイズまで縮小された前記伝送画像を受信する。

また、請求項３の発明は、請求項１に記載の画像生成装置において、前記受信手段は、前記対象領域のサイズが前記伝送路において許容される許容サイズを超える場合は、前記許容サイズまで縮小された前記伝送画像を受信するものであり、前記画像生成装置は、前記受信手段が前記許容サイズまで縮小された前記伝送画像を受信した場合に、前記伝送画像を前記記憶領域に記憶させる前に、前記伝送画像を前記対象領域のサイズまで拡大する拡大手段、をさらに備える。

また、請求項４の発明は、カメラを備える車両において用いられる画像生成方法であって、（ａ）前記カメラの撮像素子の全領域で得られた全領域画像の一部のデータを仮想の投影面に投影し、該投影面上のデータを用いて仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する工程と、（ｂ）前記全領域画像のうち前記仮想視点画像の生成に必要となる対象領域を前記仮想視点に応じて指定する工程と、（ｃ）前記全領域画像のうちの前記対象領域に対応する伝送画像を、前記カメラから伝送路を介して受信する工程と、 （ｄ）前記工程（ｃ）で受信した前記伝送画像を記憶領域に記憶する工程と、（ｅ）前記記憶領域の位置と前記投影面上の位置との対応関係を示すテーブルデータを、前記仮想視点に応じて選択する工程と、を備え、前記工程（ａ）は、前記工程（ｅ）で選択されたテーブルデータを用いて、前記記憶領域に記憶された前記伝送画像のデータを前記投影面に投影し、前記工程（ｄ）において前記伝送画像のために確保される前記記憶領域のサイズは、前記全領域画像のサイズと一致し、前記工程（ｄ）は、前記記憶領域に前記全領域画像を記憶させたと仮定した場合に前記対象領域に対応する前記記憶領域中の位置に、前記伝送画像を記憶する。

請求項１ないし４の発明によれば、仮想視点に応じて選択したテーブルデータを用いて
伝送画像のデータを投影面に投影するため、全領域画像の一部の伝送画像のみを受信して
記憶領域に記憶する場合においても投影面上の正しい位置にデータを投影できる。その結
果、画質の高い撮影画像を用いて仮想視点画像を正しく生成できる。
また、全領域画像において対象領域がいずれの位置に指定されたとしても、全領域画像中の同一位置のデータは記憶領域中の同一位置に記憶される。このため、テーブルデータを容易に生成することができる。

また、特に請求項２の発明によれば、伝送路において許容される許容サイズを超える対象領域に対応する伝送画像を受信することができる。

また、特に請求項３の発明によれば、許容サイズまで縮小された伝送画像を受信した場合であっても、対象領域に対応する記憶領域中の位置に伝送画像を記憶することができる。

図１は、第１の実施の形態の画像表示システムの構成を示す図である。 図２は、４つのカメラがそれぞれ撮影する方向を示す図である。 図３は、仮想視点画像を生成する手法の概要を説明する図である。 図４は、フロントモードで表示される表示画像の一例を示す図である。 図５は、サイドモードで表示される表示画像の一例を示す図である。 図６は、上部俯瞰モードで表示される表示画像の一例を示す図である。 図７は、後方俯瞰モードで表示される表示画像の一例を示す図である。 図８は、バックモードで表示される表示画像の一例を示す図である。 図９は、第１の実施の形態における伝送画像を説明する図である。 図１０は、カメラの処理の例を示す図である。 図１１は、第１の実施の形態の対応テーブルを説明する図である。 図１２は、第１の実施の形態の画像表示システムの処理の流れを示す図である。 図１３は、第２の実施の形態の画像表示システムの構成を示す図である。 図１４は、第２の実施の形態における伝送画像を説明する図である。 図１５は、画像生成装置の処理の例を示す図である。 図１６は、第２の実施の形態の対応テーブルを説明する図である。 図１７は、第２の実施の形態の画像表示システムの処理の流れを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。

図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３、及び、操作ボタン４を備えている。複数のカメラ５はそれぞれ、車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に送信する。画像生成装置２は、複数のカメラ５で取得された撮影画像を受信し、これらの撮影画像を用いて表示装置３に表示するための表示画像を生成する。表示装置３は、画像生成装置２で生成された表示画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。

複数のカメラ５はそれぞれ、ＣＣＤなどの撮像素子とレンズとを備えており、車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、左サイドカメラ５Ｌ、右サイドカメラ５Ｒ及びリアカメラ５Ｂを含んでいる。これら４つのカメラ５Ｆ，５Ｌ，５Ｒ，５Ｂは、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

図２は、４つのカメラ５Ｆ，５Ｌ，５Ｒ，５Ｂがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の前後方向に沿って前方に向けられる。左サイドカメラ５Ｌは、左側の左サイドミラー９５Ｌに設けられ、その光軸５Ｌａは車両９の左右方向に沿って左側方に向けられる。右サイドカメラ５Ｒは、右側の右サイドミラー９５Ｒに設けられ、その光軸５Ｒａは車両９の左右方向に沿って右側方に向けられる。また、リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の前後方向に沿って後方に向けられる。

これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｌ，５Ｒ，５Ｂを利用することで、車両９の全周囲を撮影することが可能である。

図１に示すように、これら４つのカメラ５はそれぞれ、取得した撮影画像を映像ケーブルなどの伝送路９２を介して画像生成装置２に伝送する。各カメラ５は、取得した撮影画像を例えばＮＴＳＣ方式の映像信号に変換し、この映像信号を伝送路９２を介して画像生成装置２に送信する。

表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザが表示パネルの画面を視認できるように、車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。また、表示装置３は、表示パネルに重ねてタッチパネル３１を備えており、ユーザの操作を受け付けることが可能である。表示装置３は、画像等を表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。

操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４、及び、表示装置３のタッチパネル３１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。

画像生成装置２は、各種の画像処理が可能な電子装置である。画像生成装置２は、画像取得部２１と、画像メモリ２２と、画像生成部２３と、画像出力部２４とを備えている。

画像取得部２１は、４つのカメラ５でそれぞれ得られた撮影画像を取得する。画像取得部２１は、各カメラ５から送信された例えばＮＴＳＣ方式の映像信号を伝送路９２を介して受信する。画像取得部２１は、受信した映像信号に含まれる撮影画像をデジタルの撮影画像に変換し、そのデジタルの撮影画像を画像メモリ２２に記憶させる。

画像メモリ２２は、例えば、ＤＲＡＭなどの揮発性のメモリであり、内部の記憶領域に撮影画像を記憶する。画像メモリ２２の記憶領域は、処理の対象とする撮影画像を一時的に記憶するバッファとして機能する。

画像生成部２３は、所定の画像処理を行うハードウェア回路である。画像生成部２３は、画像メモリ２２に記憶された４つの撮影画像（４つのカメラ５で得られた４つの撮影画像）の少なくとも一部のデータを用いて、仮想視点からみた車両９の周辺を示す仮想視点画像を生成する。この仮想視点画像を生成する手法の詳細については後述する。

画像出力部２４は、表示用の表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。画像出力部２４は、画像生成部２３で生成された仮想視点画像を含む表示画像を生成し、この表示画像を表示装置３に出力する。これにより、仮想視点からみた車両９の周辺を示す仮想視点画像が表示装置３に表示される。

また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、信号送信部２７と、記憶部２８とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像表示システム１０の全体を統括的に制御する。

操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１から送出される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

信号受信部２６は、画像生成装置２とは別に車両９に設けられる他の装置から送出される信号をＣＡＮなどの車載ネットワーク９３を介して受信する。信号受信部２６は、受信した信号を制御部２０に入力する。信号受信部２６は、例えば、シフトセンサ９１から送出される信号を受信可能となっている。シフトセンサ９１は、車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を画像生成装置２に送出する。

信号送信部２７は、制御部２０の制御により、画像生成装置２とは別に車両９に設けられる他の装置に対して各種の制御信号をＣＡＮなどの車載ネットワーク９４を介して送信する。信号送信部２７は、例えば、４つのカメラ５のそれぞれに対して車載ネットワーク９４を介して信号を送信可能となっている。車載ネットワーク９３と車載ネットワーク９４とは別のネットワークであっても、同一のネットワークであってもよい。

記憶部２８は、例えば、フラッシュメモリなどの不揮発性のメモリであり、画像処理に必要な各種の情報を記憶する。記憶部２８は、ファームウェアとしてのプログラム２８ａの他、領域データ２８ｂ及び対応テーブル２８ｃを記憶する。領域データ２８ｂ及び対応テーブル２８ｃはそれぞれ、画像表示システム１０の動作モードに対応する複数のものが予め記憶部２８に記憶されている（詳細は後述。）。

制御部２０の各種の機能は、記憶部２８に記憶されたプログラム２８ａの実行（プログラム２８ａに従ったＣＰＵの演算処理）によって実現される。図中に示すモード制御部２０ａ、領域指定部２０ｂ及びテーブル選択部２０ｃは、プログラム２８ａの実行により実現される機能部の一部である。

モード制御部２０ａは、画像表示システム１０の動作モードに関する制御を行う。領域指定部２０ｂは、カメラ５が取得する撮影画像のうちの仮想視点画像の生成に必要となる対象領域を指定する。また、テーブル選択部２０ｃは、仮想視点画像の生成に用いる対応テーブル２８ｃを選択する。これらの機能の詳細については、後述する。

＜１−２．仮想視点画像の生成＞
次に、画像生成部２３が、仮想視点からみた車両９の周辺の様子を示す仮想視点画像を生成する手法の概要について説明する。図３は、画像生成部２３が仮想視点画像を生成する手法の概要を説明する図である。

４つのカメラ５は、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＦＰを取得する。これら４つの撮影画像ＦＰには、車両９の全周囲のデータが含まれている。

画像生成部２３は、これら４つの撮影画像ＦＰに含まれるデータ（画素データ）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影（マッピング）する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置となる車両領域Ｒ０として定められている。

また、投影面ＴＳにおける車両領域Ｒ０の外側の領域である投影領域Ｒ１は、車両９の周辺の領域に相当する。画像生成部２３は、撮影画像ＦＰに含まれるデータをこの投影面ＴＳの投影領域Ｒ１に投影する。画像生成部２３は、フロントカメラ５Ｆの撮影画像ＦＰのデータを車両９の前方、左サイドカメラ５Ｌの撮影画像ＦＰのデータを車両９の左側方、右サイドカメラ５Ｒの撮影画像ＦＰのデータを車両９の右側方、リアカメラ５ｂの撮影画像ＦＰのデータを車両９の後方にそれぞれ相当する投影面ＴＳの部分に投影する。

このように投影面ＴＳの投影領域Ｒ１に撮影画像のデータを投影すると、次に、画像生成部２３は、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、投影面ＴＳが設定される三次元空間における車両９の位置である車両領域Ｒ０に配置される。

次に、画像生成部２３は、モード制御部２０ａが設定した仮想視点ＶＰを三次元空間に設置する。この仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部２３は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを３次元空間に設置できる。

次に、画像生成部２３は、投影面ＴＳのうち、仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像生成部２３は、仮想視点ＶＰに基づいて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を切り出した画像に対して重畳する。これにより、画像生成部２３は、仮想視点ＶＰからみた車両９及び車両９の周辺の様子を示す仮想視点画像ＣＰを生成する。

例えば、図３に示すように、視点位置を車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺を俯瞰する仮想視点画像ＣＰａを生成できる。また、視点位置を車両９の左後方、視線方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からみた車両９及び車両９の周辺を示す仮想視点画像ＣＰｂを生成できる。

このような仮想視点画像ＣＰの生成においては、４つの撮影画像ＦＰに含まれる全てのデータを投影面ＴＳに投影する必要はない。画像生成部２３は、４つの撮影画像ＦＰに含まれる全てのデータのうちの一部の、仮想視点画像ＣＰの生成に必要となる領域のデータを投影面ＴＳに投影する。仮想視点画像ＣＰの生成に必要となる領域は、仮想視点ＶＰごとに異なる。そして、この仮想視点ＶＰは、画像表示システム１０の動作モードに応じて設定されることになる。

＜１−３．動作モード＞
次に、画像表示システム１０の動作モードについて説明する。画像表示システム１０は、表示装置３が表示する仮想視点画像が互いに異なる５つの動作モードを備えている。この５つの動作モードは、例えば、フロントモード、サイドモード、上部俯瞰モード、後方俯瞰モード及びバックモードである。

図４は、フロントモードＭ１で表示される仮想視点画像ＣＰ１を含む表示画像ＤＰの一例を示す図である。フロントモードＭ１の仮想視点画像ＣＰ１は、フロントカメラ５Ｆの位置からみた車両９の前方を示している。フロントモードＭ１では、視点位置をフロントカメラ５Ｆの位置とした仮想視点ＶＰが設定される。

図５は、サイドモードＭ２で表示される仮想視点画像ＣＰ２を含む表示画像ＤＰの一例を示す図である。サイドモードＭ２の仮想視点画像ＣＰ２は、左サイドカメラ５Ｌの位置からみた車両９の左側方を示している。サイドモードＭ２では、視点位置を左サイドカメラ５Ｌの位置とした仮想視点ＶＰが設定される。

図６は、上部俯瞰モードＭ３で表示される仮想視点画像ＣＰ３を含む表示画像ＤＰの一例を示す図である。上部俯瞰モードＭ３の仮想視点画像ＣＰ３は、車両９の直上から俯瞰するように車両９の周辺を示している。上部俯瞰モードＭ３では、視点位置を車両９の直上とした仮想視点ＶＰが設定される。

図７は、後方俯瞰モードＭ４で表示される仮想視点画像ＣＰ４を含む表示画像ＤＰの一例を示す図である。後方俯瞰モードＭ４の仮想視点画像ＣＰ４は、車両９の後方上部から俯瞰するように車両９の周辺を示している。後方俯瞰モードＭ４では、視点位置を車両９の後方上部とした仮想視点ＶＰが設定される。

図８は、バックモードＭ５で表示される仮想視点画像ＣＰ５を含む表示画像ＤＰの一例を示す図である。バックモードＭ５の仮想視点画像ＣＰ５は、リアカメラ５Ｂの位置からみた車両９の後方を示している。バックモードＭ５では、視点位置をリアカメラ５Ｂの位置とした仮想視点ＶＰが設定される。

このようにこれら５つの動作モードにおいては、仮想視点画像を生成する際に設定される仮想視点ＶＰが互いに異なっている。モード制御部２０ａは、ユーザの操作やシフトポジションなどに基づいてこのような動作モードを変更する。モード制御部２０ａは、動作モードを変更すると、変更後の動作モードに応じた仮想視点ＶＰを設定し、設定した仮想視点ＶＰを画像生成部２３に入力する。これにより、画像生成部２３は、設定された仮想視点ＶＰからみた仮想視点画像を生成する。

また、このように動作モード（仮想視点ＶＰ）が異なると、それに応じて、４つの撮影画像ＦＰに含まれる全てのデータのうち仮想視点画像の生成に必要となる領域も異なることになる。例えば、サイドモードＭ２では、左サイドカメラ５Ｌで得られた撮影画像のうちの、車両９のフロントフェンダ付近の領域のみが仮想視点画像の生成に必要となる。また、例えば、後方俯瞰モードＭ４では、４つのカメラ５で得られた４つの撮影画像それぞれの比較的広い領域が仮想視点画像の生成に必要となる。

＜１−４．伝送画像の伝送＞
ところで、４つのカメラ５のそれぞれは、例えば、縦９６０×横１２８０画素の撮像素子を備えている。このため、各カメラ５では、比較的画質（解像度）の高い縦９６０×横１２８０画素の撮影画像が得られる。以下、各カメラ５の撮像素子の全領域で得られる縦９６０×横１２８０画素の撮影画像を「全領域画像」という。

一方で、カメラ５から画像生成装置２へ撮影画像を伝送する際の経路となる伝送路９２を介して伝送できる画像のサイズには制限がある。本実施の形態では、カメラ５から画像生成装置２へ伝送路９２を介して伝送できる画像のサイズは、最大で縦４８０×横７２０画素である。

このため、本実施の形態では、各カメラ５で得られた全領域画像のうち仮想視点画像の生成に必要となる対象領域に対応する撮影画像のみを伝送画像として、カメラ５から画像生成装置２へ伝送するようにしている。これにより、伝送路９２において伝送できる画像のサイズに制限がある場合であっても、比較的画質（解像度）の高い撮影画像をカメラ５から画像生成装置２へ伝送できるようになっている。

画像生成装置２の領域指定部２０ｂは、各カメラ５の全領域画像のうち仮想視点画像の生成に必要となる対象領域を、動作モード（仮想視点ＶＰ）に応じて特定する。記憶部２８には、５つの動作モードにそれぞれ対応した５つの領域データ２８ｂが予め記憶されている。これらの領域データ２８ｂは、対応する動作モードにおいて仮想視点画像の生成に必要となる対象領域を示している。領域指定部２０ｂは、その時点の動作モードに対応した領域データ２８ｂを参照することで、仮想視点画像の生成に必要となる対象領域を仮想視点に応じて特定する。

領域指定部２０ｂは、対象領域を特定すると、特定した対象領域を指定する信号である領域指定信号を信号送信部２７を介して各カメラ５に送信する。これにより、領域指定部２０ｂは、各カメラ５の全領域画像のうち仮想視点画像の生成に必要となる対象領域を指定する。各カメラ５は、この領域指定信号に基づいて、全領域画像のうち領域指定信号が指定する対象領域に対応する伝送画像を、伝送路９２を介して画像生成装置２に送信することになる。

図９は、４つのカメラ５から画像生成装置２へ伝送される伝送画像ＴＰを説明するための図である。前述のように４つのカメラ５のそれぞれは、縦９６０×横１２８０画素の撮像素子を備えている。このため、図９に示すように、各カメラ５においては、縦９６０×横１２８０画素の全領域画像ＦＰが取得される。

このような全領域画像ＦＰのうち、仮想視点画像の生成に必要となる対象領域ＤＡが画像生成装置２から送信される領域指定信号によって指定される。全領域画像ＦＰのうち対象領域ＤＡとして指定される領域は、各カメラ５ごとに異なっている。

各カメラ５は、全領域画像ＦＰから指定された対象領域ＤＡを切り出し、対象領域ＤＡに対応する伝送画像ＴＰを伝送路９２を介して画像生成装置２に伝送する。伝送される伝送画像ＴＰのサイズは、伝送路９２において許容される最大のサイズ（以下、「許容サイズ」という。）に合わせて、縦４８０×横７２０画素とされる。

また、領域指定部２０ｂは、対象領域ＤＡとして許容サイズ以上のサイズの領域を指定できるようになっている。各カメラ５は、指定された対象領域ＤＡのサイズが許容サイズ（縦４８０×横７２０画素）と同一の場合は、全領域画像ＦＰのうちから対象領域ＤＡを切り出した切出画像を、そのまま伝送画像ＴＰとして画像生成装置２に送信する。一方、各カメラ５は、指定された対象領域ＤＡのサイズが許容サイズを超える場合は、全領域画像ＦＰのうちから対象領域ＤＡを切り出した切出画像を許容サイズまで縮小し、縮小した切出画像を伝送画像ＴＰとして画像生成装置２に送信する。

図１０は、対象領域ＤＡのサイズが許容サイズを超える場合におけるカメラ５の処理の例を示す図である。図１０は、全領域画像ＦＰのうち許容サイズを超える縦７００×横９００画素の領域が対象領域ＤＡとして指定された場合を示している。

全領域画像ＦＰからこの対象領域ＤＡを切り出した切出画像ＰＰのサイズは、縦７００×横９００画素となる。このため、切出画像ＰＰは、そのままでは伝送路９２を介して画像生成装置２に伝送することができない。このため、カメラ５は、切出画像ＰＰに縮小処理を行い、許容サイズ（縦４８０×横７２０画素）まで縮小した切出画像を伝送画像ＴＰとして生成する。そして、カメラ５は、この伝送画像ＴＰを伝送路９２を介して画像生成装置２に送信する。

＜１−５．投影面への投影＞
画像生成装置２の画像取得部２１は、このようにして各カメラ５から伝送路９２を介して伝送された伝送画像ＴＰを受信する。対象領域ＤＡのサイズが許容サイズを超える場合においては、画像取得部２１は、カメラ５において許容サイズまで縮小された伝送画像ＴＰを受信することになる。

図９に示すように、画像取得部２１は、４つのカメラ５から受信した４つの伝送画像ＴＰを画像メモリ２２に記憶させる。画像メモリ２２には、これら４つの伝送画像ＴＰをそれぞれ記憶するために、４つの記憶領域２２ａが確保されている。各記憶領域２２ａのサイズ（記憶容量）は、伝送画像ＴＰのサイズ（データ量）と一致している。すなわち、各記憶領域２２ａのサイズは、縦４８０×横７２０画素の画像を記憶するサイズとなっている。したがって、各記憶領域２２ａは、伝送画像ＴＰをそのままのサイズで記憶することができる。

画像生成部２３は、このようにして画像メモリ２２の各記憶領域２２ａに記憶された伝送画像ＴＰを用いて仮想視点画像を生成する。図１１に示すように、画像生成部２３は、記憶領域２２ａの位置（アドレス）と投影面ＴＳ上の位置との対応関係を示すテーブルデータである対応テーブル２８ｃを用いて、記憶領域２２ａに記憶された伝送画像ＴＰのデータを投影面ＴＳに投影する。

前述のように、伝送画像ＴＰは、全領域画像ＦＰのうち動作モード（仮想視点ＶＰ）に応じて指定された対象領域ＤＡに対応する撮影画像である。このため、記憶領域２２ａの位置と投影面ＴＳ上の位置との対応関係は、動作モード（仮想視点ＶＰ）ごとに異なる。

このため、画像生成装置２のテーブル選択部２０ｃは、画像生成部２３が用いるべき対応テーブル２８ｃを、動作モード（仮想視点ＶＰ）に応じて選択する。記憶部２８には、５つの動作モードにそれぞれ対応した５つの対応テーブル２８ｃが予め記憶されている。これらの対応テーブル２８ｃは、対応する動作モードにおける、記憶領域２２ａの位置と投影面ＴＳ上の位置との適切な対応関係を示している。テーブル選択部２０ｃは、その時点の動作モードに対応した対応テーブル２８ｃを選択することで、画像生成部２３が用いるべき対応テーブル２８ｃを選択できる。

画像生成部２３は、このように選択された対応テーブル２８ｃを用いて、記憶領域２２ａに記憶された伝送画像ＴＰのデータを投影面ＴＳに投影する。これにより、投影面ＴＳ上の正しい位置に伝送画像ＴＰのデータを投影できる。すなわち、全領域画像ＦＰの一部の対象領域ＤＡに対応する伝送画像ＴＳのみを伝送し、その伝送画像ＴＳを記憶領域２２ａに記憶した場合においても、投影面ＴＳ上の正しい位置に撮影画像のデータを投影できることになる。

＜１−６．処理の流れ＞
次に、画像表示システム１０の処理の流れについて説明する。図１２は、画像表示システム１０の処理の流れを示す図である。図中の左側は画像生成装置２の処理を示し、図中の右側はカメラ５の処理を示している。なお、画像表示システム１０は、４つのカメラ５を備えているが、これら４つのカメラ５の処理は同一であることから、図１２では１つのカメラ５の処理を代表的に示している。図１２の処理は、画像生成装置２のモード制御部２０ａが、画像表示システム１０の動作モードを変更した時点を開始時点としている。

まず、モード制御部２０ａが、変更後の動作モードに応じた仮想視点ＶＰを設定する（ステップＳ１１）。モード制御部２０ａは、設定した仮想視点ＶＰを画像生成部２３に入力する。

次に、領域指定部２０ｂが、領域データ２８ｂに基づいて、変更後の動作モード（仮想視点ＶＰ）に応じて各カメラ５の全領域画像ＦＰのうち仮想視点画像の生成に必要となる対象領域ＤＡを特定する。そして、領域指定部２０ｂは、特定した対象領域ＤＡを指定する領域指定信号を信号送信部２７を介して各カメラ５に送信する（ステップＳ１２）。

カメラ５は、領域指定部２０ｂから送信された領域指定信号を受信する（ステップＳ５１）。以降、カメラ５は、ステップＳ５２〜Ｓ５６の処理を所定周期（例えば、１／３０秒周期）で繰り返す。

具体的にはまず、カメラ５は、撮像素子の全領域を用いて、比較的画質（解像度）の高い全領域画像ＦＰを取得する（ステップＳ５２）。次に、カメラ５は、全領域画像ＦＰのうち領域指定信号が指定する対象領域ＤＡを切り出して切出画像を生成する（ステップＳ５３）。

次に、カメラ５は、指定された対象領域ＤＡのサイズが、伝送路９２において許容される許容サイズを超えるか否かを判定する（ステップＳ５４）。対象領域ＤＡのサイズが許容サイズを超える場合は（ステップＳ５４にてＹｅｓ）、切出画像を許容サイズまで縮小して伝送画像ＴＰを生成する（ステップＳ５５）。一方、対象領域ＤＡのサイズが許容サイズと一致する場合は、切出画像をそのまま伝送画像ＴＰとする。

そして、カメラ５は、生成した伝送画像ＴＰを、伝送路９２を介して画像生成装置２に送信する（ステップＳ５６）。このような処理により、比較的画質（解像度）の高い撮影画像がカメラ５から画像生成装置２へ伝送される。このようなステップＳ５２〜Ｓ５６の処理が所定周期が繰り返されるため、伝送画像ＴＰが所定周期で繰り返しカメラ５から画像生成装置２へ伝送されることになる。

画像生成装置２の画像取得部２１は、このようにして各カメラ５から伝送路９２を介して伝送された伝送画像ＴＰを受信する（ステップＳ１３）。そして、画像取得部２１は、受信した伝送画像ＴＰをそのままのサイズで画像メモリ２２の対応する記憶領域２２ａに記憶させる（ステップＳ１４）。これにより、画像メモリ２２は、４つの伝送画像ＴＰを４つの記憶領域２２ａにそれぞれ記憶する。

次に、テーブル選択部２０ｃが、その時点の動作モード（仮想視点ＶＰ）に応じて、画像生成部２３が用いるべき対応テーブル２８ｃを選択する（ステップＳ１５）。なお、この対応テーブル２８ｃを選択する処理は、ステップＳ１３より前に行われてもよい。

次に、画像生成部２３は、選択された対応テーブル２８ｃを用いて、画像メモリ２２の記憶領域２２ａに記憶された伝送画像ＴＰのデータを投影面ＴＳに投影する。そして、画像生成部２３は、投影面ＴＳ上に投影されたデータを用いて仮想視点画像を生成する（ステップＳ１６）。画像生成部２３は、選択された対応テーブル２８ｃを用いることで、投影面ＴＳ上の正しい位置に伝送画像ＴＰのデータを投影できる。その結果、画像生成部２３は、比較的画質（解像度）の高い撮影画像を用いて仮想視点画像を正しく生成できる。

次に、画像出力部２４は、画像生成部２３で生成された仮想視点画像を含む表示画像を生成し、この表示画像を表示装置３に出力する（ステップＳ１７）。これにより、仮想視点ＶＰからみた車両９の周辺を示す仮想視点画像が表示装置３に表示される。

次に、モード制御部２０ａが、現在の動作モードを維持するかどうかを判定し（ステップＳ１８）、動作モードを維持する場合は処理はステップＳ１３に戻る。これにより、再び、画像取得部２１が各カメラ５から伝送された伝送画像ＴＰを受信することになる。

以上のように、本実施の形態の画像生成装置２では、画像生成部２３が、カメラ５の撮像素子の全領域で得られた全領域画像ＦＰの一部のデータを仮想の投影面ＴＳに投影し、該投影面ＴＳ上のデータを用いて仮想視点ＶＰからみた車両の周辺を示す仮想視点画像を生成する。また、領域指定部２０ｂは、全領域画像ＦＰのうち仮想視点画像の生成に必要となる対象領域ＤＡを仮想視点ＶＰに応じて指定する。画像取得部２１は全領域画像ＦＰのうちの対象領域ＤＡに対応する伝送画像ＴＰをカメラ５から伝送路９２を介して受信し、この画像取得部２１が受信した伝送画像ＴＰを画像メモリ２２が記憶領域２２ａに記憶する。そして、テーブル選択部２０ｃが記憶領域２２ａの位置と投影面ＴＳ上の位置との対応関係を示す対応テーブル２８ｃを仮想視点ＶＰに応じて選択し、画像生成部２３は選択された対応テーブル２８ｃを用いて記憶領域２２ａに記憶された伝送画像ＴＰのデータを投影面ＴＳに投影する。

このように仮想視点ＶＰに応じて選択した対応テーブル２８ｃを用いて、伝送画像ＴＰのデータを投影面ＴＳに投影する。このため、伝送路９２の制約により、全領域画像ＦＰの一部の伝送画像ＴＰのみを伝送して記憶領域２２ａに記憶する場合においても、投影面ＴＳ上の正しい位置にデータを投影できる。その結果、画質の高い撮影画像を用いて仮想視点画像を正しく生成できる。

また、画像メモリ２２において伝送画像ＴＰのために確保される記憶領域２２ａのサイズは、伝送画像ＴＰのサイズと一致する。このため、伝送画像ＴＰのために確保される記憶領域２２ａのサイズを最小限にすることができる。

また、画像取得部２１は、対象領域ＤＡのサイズが伝送路９２において許容される許容サイズを超える場合は、許容サイズまで縮小された伝送画像ＴＰを受信する。このため、画像生成装置２は、許容サイズを超える対象領域ＤＡに対応する伝送画像ＴＰを取得することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態では、画像メモリ２２において伝送画像ＴＰのために確保される記憶領域２２ａのサイズは、伝送画像ＴＰのサイズと一致していた。これに対して、第２の実施の形態では、画像メモリ２２において伝送画像ＴＰのために確保される記憶領域のサイズは、カメラ５の撮像素子の全領域で得られる全領域画像ＦＰのサイズと一致している。

図１３は、第２の実施の形態の画像表示システム１０の構成を示す図である。第２の実施の形態の画像表示システム１０においては、画像取得部２１が、伝送画像ＴＰを拡大する拡大処理を行う拡大部２１ａを備えている。また、記憶部２８は、第１の実施の形態の対応テーブル２８ｃとは異なる対応テーブル２８ｄを記憶している。記憶部２８には、５つの動作モードにそれぞれ対応した５つの対応テーブル２８ｄが予め記憶される。画像表示システム１０のその他の構成は、図１に示す第１の実施の形態の構成と同様である。

図１４は、第２の実施の形態において、４つのカメラ５から画像生成装置２へ伝送される伝送画像ＴＰを説明するための図である。第２の実施の形態におけるカメラ５の処理は、第１の実施の形態と同一である。したがって、各カメラ５は、指定された対象領域ＤＡのサイズが許容サイズ（縦４８０×横７２０画素）と同一の場合は、全領域画像ＦＰのうちから対象領域ＤＡを切り出した切出画像を、そのまま伝送画像ＴＰとして画像生成装置２に送信する。また、各カメラ５は、指定された対象領域ＤＡのサイズが許容サイズを超える場合は、全領域画像ＦＰのうちから対象領域ＤＡを切り出した切出画像を許容サイズまで縮小し、縮小した切出画像を伝送画像ＴＰとして画像生成装置２に送信する。

画像生成装置２の画像取得部２１は、このようにして各カメラ５から伝送路９２を介して伝送された伝送画像ＴＰを受信する。そして、画像取得部２１は、４つのカメラ５から受信した４つの伝送画像ＴＰを画像メモリ２２に記憶させる。本実施の形態においても、画像メモリ２２には、これら４つの伝送画像ＴＰをそれぞれ記憶するために、４つの記憶領域２２ｂが確保されている。ただし、各記憶領域２２ｂのサイズ（記憶容量）は、伝送画像ＴＰのサイズより大きく、全領域画像ＦＰのサイズ（データ量）と一致している。すなわち、各記憶領域２２ｂのサイズは、例えば、縦９６０×横１２８０画素の画像を記憶するサイズとなっている。

画像取得部２１は、このような記憶領域２２ｂに伝送画像ＴＰを記憶させる場合に、記憶領域２２ｂにおいて伝送画像ＴＰを記憶させる位置を、全領域画像ＦＰにおける対象領域ＤＡの位置に合うように調整する。これにより、画像取得部２１は、記憶領域２２ｂに全領域画像ＦＰを記憶させたと仮定した場合に対象領域ＤＡに対応する記憶領域２２ｂ中の位置に、伝送画像ＴＰを記憶させる。すなわち、全領域画像ＦＰにおける対象領域ＤＡの位置と、記憶領域２２ｂにおける伝送画像ＴＰの位置とが一致される。

また、画像取得部２１は、対象領域ＤＡのサイズが許容サイズを超える場合においては、許容サイズまで縮小された伝送画像ＴＰを受信することになる。この場合は、画像取得部２１の拡大部２１ａが、伝送画像ＴＰを記憶領域２２ｂに記憶させる前に、伝送画像ＴＰを対象領域ＤＡのサイズまで拡大する。

図１５は、許容サイズまで縮小された伝送画像ＴＰを受信した場合における画像生成装置２の処理の例を示す図である。図１５は、図１０と同様の縦７００×横９００画素の対象領域ＤＡが指定され、許容サイズ（縦４８０×横７２０画素）まで縮小された伝送画像ＴＰがカメラ５から画像生成装置２に伝送された場合を示している。

画像取得部２１の拡大部２１ａは、このように許容サイズまで縮小された伝送画像ＴＰを、縦７００×横９００画素の対象領域ＤＡのサイズまで拡大する。そして、画像取得部２１は、伝送画像ＴＰを記憶させる位置を全領域画像ＦＰにおける対象領域ＤＡの位置に合うように調整しつつ、拡大した伝送画像ＴＰを記憶領域２２ｂに記憶させる。したがって、この場合も、全領域画像ＦＰにおける対象領域ＤＡの位置と、記憶領域２２ｂにおける伝送画像ＴＰの位置とが一致される。

このようにして画像メモリ２２は、記憶領域２２ｂに全領域画像ＦＰを記憶させたと仮定した場合に対象領域ＤＡに対応する記憶領域２２ｂ中の位置に、伝送画像ＴＰを記憶することになる。画像メモリ２２が、このように伝送画像ＴＰを記憶することで、全領域画像ＦＰにおいて対象領域ＤＡがいずれの位置に指定されたとしても、全領域画像ＦＰ中の同一位置のデータは、記憶領域２２ｂ中の同一位置に記憶できることになる。したがって、記憶領域２２ｂの位置（アドレス）と投影面ＴＳ上の位置との対応関係は、動作モード（仮想視点ＶＰ）が変更されたとしても不変となる。

本実施の形態においては、図１６に示すように、画像生成部２３は、記憶領域２２ｂの位置（アドレス）と投影面ＴＳ上の位置との対応関係を示すテーブルデータである対応テーブル２８ｄを用いて、記憶領域２２ｂに記憶された伝送画像ＴＰのデータを投影面ＴＳに投影する。そして、画像生成部２３が用いるべき対応テーブル２８ｄは、テーブル選択部２０ｃが動作モード（仮想視点ＶＰ）に応じて選択する。

ただし、本実施の形態においては、記憶領域２２ｂの位置と投影面ＴＳ上の位置との対応関係は不変のため、動作モードごとの対応テーブル２８ｄは、仮想視点画像ＣＰの生成に必要となる領域（投影面ＴＳに投影する領域）のみを動作モードに応じて変えたものとすればよい。このため、動作モードに応じた対応テーブル２８ｄを容易に生成することが可能となる。

次に、第２の実施の形態の画像表示システム１０の処理の流れについて説明する。図１７は、第２の実施の形態の画像表示システム１０の処理の流れを示す図である。図中の左側は画像生成装置２の処理を示し、図中の右側はカメラ５の処理を示している。図１７の処理も、画像生成装置２のモード制御部２０ａが、画像表示システム１０の動作モードを変更した時点を開始時点としている。

まず、モード制御部２０ａが、変更後の動作モードに応じた仮想視点ＶＰを設定する（ステップＳ２１）。次に、領域指定部２０ｂが、変更後の動作モード（仮想視点ＶＰ）に応じて全領域画像ＦＰのうちの対象領域ＤＡを特定する。そして、領域指定部２０ｂは、特定した対象領域ＤＡを指定する領域指定信号を信号送信部２７を介して各カメラ５に送信する（ステップＳ２２）。

カメラ５は、領域指定部２０ｂから送信された領域指定信号を受信する（ステップＳ５１）。以降、第１の実施の形態と同様に、カメラ５は、ステップＳ５２〜Ｓ５６の処理を所定周期（例えば、１／３０秒周期）で繰り返す。これにより、伝送画像ＴＰが所定周期で繰り返しカメラ５から画像生成装置２へ伝送される。

画像生成装置２の画像取得部２１は、各カメラ５から伝送路９２を介して伝送された伝送画像ＴＰを受信する（ステップＳ２３）。次に、画像取得部２１は、受信した各伝送画像ＴＰが許容サイズまで縮小されたものであるか否かを判定する（ステップＳ２４）。画像取得部２１は、領域指定部２０ｂが特定した対象領域ＤＡのサイズに基づいて、伝送画像ＴＰが許容サイズまで縮小されたものであるか否かを判定できる。

伝送画像ＴＰが許容サイズまで縮小されたものである場合は（ステップＳ２４にてＹｅｓ）、拡大部２１ａが伝送画像ＴＰを対象領域ＤＡのサイズまで拡大する（ステップＳ２５）。一方、伝送画像ＴＰが縮小されたものでない場合は、伝送画像ＴＰをそのままのサイズとする。

そして、画像取得部２１は、伝送画像ＴＰを記憶させる位置を全領域画像ＦＰにおける対象領域ＤＡの位置に合うように調整しつつ、伝送画像ＴＰを記憶領域２２ｂに記憶させる（ステップＳ２６）。これにより、画像メモリ２２は、記憶領域２２ｂに全領域画像ＦＰを記憶させたと仮定した場合に対象領域ＤＡに対応する記憶領域２２ｂ中の位置に、伝送画像ＴＰを記憶する。画像メモリ２２は、４つの伝送画像ＴＰを４つの記憶領域２２ｂにそれぞれ記憶する。

次に、テーブル選択部２０ｃが、その時点の動作モード（仮想視点ＶＰ）に応じて、画像生成部２３が用いるべき対応テーブル２８ｄを選択する（ステップＳ２７）。次に、画像生成部２３が、選択された対応テーブル２８ｄを用いて、画像メモリ２２の記憶領域２２ｂに記憶された伝送画像ＴＰのデータを投影面ＴＳに投影する。そして、画像生成部２３は、投影面ＴＳ上に投影されたデータを用いて仮想視点画像を生成する（ステップＳ２８）。

次に、画像出力部２４は、画像生成部２３で生成された仮想視点画像を含む表示画像を生成し、この表示画像を表示装置３に出力する（ステップＳ２９）。これにより、仮想視点ＶＰからみた車両９の周辺を示す仮想視点画像が表示装置３に表示される。次に、モード制御部２０ａが、現在の動作モードを維持するかどうかを判定し（ステップＳ３０）、動作モードを維持する場合は処理はステップＳ２３に戻る。

以上のように第２の実施の形態の画像生成装置２では、画像メモリ２２において伝送画像ＴＰのために確保される記憶領域２２ｂのサイズは、全領域画像ＦＰのサイズと一致する。画像メモリ２２は、記憶領域２２ｂに全領域画像ＦＰを記憶させたと仮定した場合に対象領域ＤＡに対応する記憶領域２２ｂ中の位置に、伝送画像ＴＰを記憶する。これにより、全領域画像ＦＰにおいて対象領域ＤＡがいずれの位置に指定されたとしても、全領域画像ＦＰ中の同一位置のデータは記憶領域２２ｂ中の同一位置に記憶される。このため、対応テーブル２８ｄを容易に生成することができる。

また、拡大部２１ａは、画像取得部２１が許容サイズまで縮小された伝送画像ＴＰを受信した場合に、伝送画像ＴＰを記憶領域２２ａに記憶させる前に、伝送画像ＴＰを対象領域ＤＡのサイズまで拡大する。このため、許容サイズまで縮小された伝送画像ＴＰを受信した場合であっても、対象領域ＤＡに対応する記憶領域２２ｂ中の位置に伝送画像ＴＰを記憶することができる。

＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、領域指定部２０ｂは、対象領域ＤＡとして許容サイズ以上のサイズの領域を指定するようになっていたが、対象領域ＤＡとして許容サイズ未満のサイズの領域を指定できるようになっていてもよい。

また、上述した全領域画像ＦＰのサイズや伝送画像ＴＰのサイズは一例であり、これらは他のサイズであってもよい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

２ 画像生成装置
５ カメラ
１０ 画像表示システム
２０ｂ 領域指定部
２０ｃ テーブル選択部
２１ 画像取得部
２２ 画像メモリ
２２ａ 記憶領域
２２ｂ 記憶領域
２３ 画像生成部
９２ 伝送路

Claims (4)

1. カメラを備える車両において用いられる画像生成装置であって、
   前記カメラの撮像素子の全領域で得られた全領域画像の一部のデータを仮想の投影面に投影し、該投影面上のデータを用いて仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する生成手段と、
   前記全領域画像のうち前記仮想視点画像の生成に必要となる対象領域を前記仮想視点に応じて指定する指定手段と、
   前記全領域画像のうちの前記対象領域に対応する伝送画像を、前記カメラから伝送路を介して受信する受信手段と、
   前記受信手段が受信した前記伝送画像を記憶領域に記憶する記憶手段と、
   前記記憶領域の位置と前記投影面上の位置との対応関係を示すテーブルデータを、前記仮想視点に応じて選択する選択手段と、
   を備え、
   前記生成手段は、前記選択手段に選択されたテーブルデータを用いて、前記記憶領域に記憶された前記伝送画像のデータを前記投影面に投影し、
   前記記憶手段において前記伝送画像のために確保される前記記憶領域のサイズは、前記全領域画像のサイズと一致し、
   前記記憶手段は、前記記憶領域に前記全領域画像を記憶させたと仮定した場合に前記対象領域に対応する前記記憶領域中の位置に、前記伝送画像を記憶することを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記受信手段は、前記対象領域のサイズが前記伝送路において許容される許容サイズを超える場合は、前記許容サイズまで縮小された前記伝送画像を受信することを特徴とする画像生成装置。
3. 請求項１に記載の画像生成装置において、
   前記受信手段は、前記対象領域のサイズが前記伝送路において許容される許容サイズを超える場合は、前記許容サイズまで縮小された前記伝送画像を受信するものであり、
   前記画像生成装置は、
   前記受信手段が前記許容サイズまで縮小された前記伝送画像を受信した場合に、前記伝送画像を前記記憶領域に記憶させる前に、前記伝送画像を前記対象領域のサイズまで拡大する拡大手段、
   をさらに備えることを特徴とする画像生成装置。
4. カメラを備える車両において用いられる画像生成方法であって、
   （ａ）前記カメラの撮像素子の全領域で得られた全領域画像の一部のデータを仮想の投影面に投影し、該投影面上のデータを用いて仮想視点からみた前記車両の周辺を示す仮想視点画像を生成する工程と、
   （ｂ）前記全領域画像のうち前記仮想視点画像の生成に必要となる対象領域を前記仮想視点に応じて指定する工程と、
   （ｃ）前記全領域画像のうちの前記対象領域に対応する伝送画像を、前記カメラから伝送路を介して受信する工程と、
   （ｄ）前記工程（ｃ）で受信した前記伝送画像を記憶領域に記憶する工程と、
   （ｅ）前記記憶領域の位置と前記投影面上の位置との対応関係を示すテーブルデータを、前記仮想視点に応じて選択する工程と、
   を備え、
   前記工程（ａ）は、前記工程（ｅ）で選択されたテーブルデータを用いて、前記記憶領域に記憶された前記伝送画像のデータを前記投影面に投影し、
   前記工程（ｄ）において前記伝送画像のために確保される前記記憶領域のサイズは、前記全領域画像のサイズと一致し、
   前記工程（ｄ）は、前記記憶領域に前記全領域画像を記憶させたと仮定した場合に前記対象領域に対応する前記記憶領域中の位置に、前記伝送画像を記憶することを特徴とする画像生成方法。

Images