JP5064201B2 - 画像表示システム及びカメラ出力制御方法 - Google Patents

Description

本発明は、複数のカメラによって撮像された画像をモニタ等の画面に同時に表示する技術に関し、特に、車両に搭載された高解像度対応の複数のデジタルカメラにより車両周辺を撮影して得られた画像を合成して画面に表示するよう適応された画像表示システム及びカメラ出力制御方法に関する。

デジタルカメラは、撮影した画像を即時に再生することができ、また、パーソナルコンピュータ等の画像入力装置として簡便に利用できる等の利点から、様々な分野で利用されている。例えば、車載用として利用する場合、車両周辺を撮影してその撮像画像をＬＣＤモニタ等の表示装置の画面に表示すれば、パーキングエリアでの駐車や車庫入れ等の際に運転者の便宜（駐車支援）を図ることができる。この場合、車載カメラ（撮像装置）で取得された画像のデータは車載ＥＣＵ（電子制御ユニット）等のコンピュータに転送され、コンピュータにおいて適宜画像処理がなされた後、表示装置に供給されてその画面に車両周辺画像が表示される。

このように撮像装置で取得された画像をコンピュータを介して表示装置に転送するよう適応されたシステムでは、撮像装置とコンピュータの接続は、従来、ＮＴＳＣ信号等のコンポジット映像信号による伝送ラインを用いて行うのが一般的であり、これは車載システムにおいても同様であった。その理由は、コンポジット映像信号は、テレビジョン映像を構成する輝度信号、色信号を合成して同時に扱えるようにした複合映像信号であって、現行アナログテレビ放送の方式であり、過去の膨大な映像ソフトウエア資産の記録方式でもあるＮＴＳＣ信号やＰＡＬ信号がそのまま扱えるからである。

その一方で、最近では、車載カメラとして上記のＮＴＳＣ（アナログ）出力するカメラ以外に、５０万画素や１３０万画素等の高解像度対応のカメラも開発されており、実用化されつつある。かかる車載カメラ（ＮＴＳＣ出力カメラ、デジタル出力カメラ）で取得された車両周辺画像（例えば、前後左右の４方向の撮像画像）のデータは、車載ＥＣＵに設けられたキャプチャ用メモリに格納された後、所要の画像処理がなされ、表示装置に供給されるようになっている。

現状の技術では、キャプチャ用メモリはメモリ内蔵ＬＳＩの形態で実現されており、そのキャプチャ容量は１６ＭＢ程度である。これは、現状のＬＳＩの規模では、１６ＭＢ以上のキャプチャ用メモリを実現することは、部品コストや開発コスト上、難しいからである。また、キャプチャ容量を増やすには外付けメモリを追加することが考えられるが、この方策では、メモリの追加によりコスト上昇を招き、撮像データの格納及びその読み出しの際にＬＳＩ内のメモリと外付けメモリの双方にアクセスする必要があるため、その処理速度が低下するといった不利がある。かかる現状から、当該ＬＳＩには１６ＭＢ容量のキャプチャ用メモリが内蔵されている。

上述した従来技術に関連する技術としては、例えば、特許文献１に記載されるように、車両の周囲を撮影する複数のカメラの撮像画像を入力とし、これらのカメラ画像から、仮想視点から見た合成画像を生成する機能を備えた画像処理装置において、前記仮想視点の位置、視線の向き、及び焦点距離のうち少なくともいずれか１つを、車両の走行状態もしくは走行速度に応じて変更するようにしたものがある。
特許第３３００３３４号公報

上述したように従来の車載用の画像表示システムでは、複数の車載カメラでそれぞれ取得された車両周辺画像のデータは車載ＥＣＵ内のキャプチャ用メモリ（ＬＳＩ）に格納されるが、このキャプチャ用メモリは、現状の技術では、その容量が１６ＭＢ程度のＬＳＩの形態で実現されている。このため、各車載カメラの解像度（出力可能な画素数）によっては、各カメラで撮像されたそれぞれの画像の全ての画素データを必ずしもキャプチャ用メモリに取り込むことができない場合が起こり得る。

例えば、車載カメラとしてＮＴＳＣ（アナログ）出力するカメラを使用した場合、図７に例示するように、１台につき概ね２ＭＢ分の画像データを出力するので、車両の前後左右に４台設置されていても、合計８ＭＢ分の画像データをキャプチャすることができる。また、より高解像度の５０万画素（デジタル）出力するカメラを使用した場合でも、１台につき概ね２．７５ＭＢ分の画像データを出力するので、４台分（＝１１ＭＢ分）の画像データをキャプチャすることが可能である。

しかし、それより更に高解像度の１３０万画素（デジタル）出力するカメラを使用した場合、図７に示すように、１台につき概ね７．５ＭＢ分の画像データを出力するので、４台分（＝３０ＭＢ分）の画像データはキャプチャすることができない。この場合、図示のように後方撮影用のカメラのみを１３０万画素出力カメラとし、他の３台のカメラを５０万画素出力カメラとすれば、４台分（＝１５．７ＭＢ分）の画像をキャプチャすることは可能である。つまり、１台のカメラを１３０万画素出力にすると、他の３台のカメラの出力画素数は５０万画素以下にする必要がある。

このような対処法では、例えば、パーキングエリアでの駐車の際に、モニタ画面に表示させる車両周辺画像として、後方画像から左方画像もしくは右方画像への画面切替を行った場合、それまで高解像度（１３０万画素）で表示されていた画像がより低い解像度（５０万画素）で表示されることになり、画面を継続的に確認している運転者にとっては違和感を覚えることになり、画像提供態様として好ましいとはいえない。つまり、せっかく高解像度対応のデジタルカメラを車両に搭載しても、その高解像度のメリットを常に活かすことができないといった課題があった。

本発明は、かかる従来技術における課題に鑑み創作されたもので、複数のカメラで取得された撮像画像データをキャプチャするメモリの容量は現状のままで、各カメラを高解像度対応のカメラにしても対応することができる画像表示システム及びカメラ出力制御方法を提供することを目的とする。

上記の従来技術の課題を解決するため、本発明の一形態によれば、画面を通して情報を提供する表示装置と、それぞれ撮像した画像を画像要求信号に応答して選択的に所定の出力画像サイズに変換して出力可能な複数のカメラと、前記複数のカメラから出力された撮像データを画像処理して前記表示装置の画面に表示させる制御装置とを具備し、前記制御装置は、前記複数のカメラから出力された撮像データを格納する第１の記憶手段と、前記表示装置の画面に表示させる撮像画像の各画面毎に前記複数のカメラの各々について当該カメラの撮像データの画素取得位置と前記表示装置の画面に表示すべき描画位置との対応関係を規定した複数のマッピングテーブルを保有する画像処理手段と、を備え、前記表示装置の画面に表示させる撮像画像の表示切替を伴う要因が発生したことを検知したときに、前記複数のカメラに前記画像要求信号を供給して、各カメラから出力される撮像データの合計データ量が前記第１の記憶手段に格納可能な容量以下となるよう制御するとともに、前記画像処理手段は、前記第１の記憶手段に格納された各カメラの撮像データから各々の画像を合成して前記表示装置の画面に表示させる機能を有し、当該合成画像を表示させる際に、各カメラから出力された撮像データの画素数の変更に応じて前記複数のマッピングテーブルのうち関連する部分のみを変更することを特徴とする画像表示システムが提供される。

本発明に係る画像表示システムによれば、表示装置の画面に表示させる撮像画像の表示切替を伴う要因（例えば、車載用に適用した場合、車両の進行方向の変化や、車両周辺における障害物の存在など）が発生したときに、制御装置から各カメラに画像要求信号を供給することで、各カメラから出力される撮像データの合計量が第１の記憶手段（キャプチャ用のメモリ）に格納可能な容量以下となるように制御している。これにより、キャプチャ用のメモリの容量が現状のままで、各カメラを全て高解像度対応のカメラ（例えば、１３０万画素出力カメラ）にしても、従来技術に見られたような、各カメラの解像度によってはそれぞれの撮像画像を全てキャプチャ用メモリに取り込むことができないといった不都合を生じることなく、対応することが可能となる。

この形態に係る画像表示システムによれば、各カメラの撮像画像を合成して表示装置の画面に表示する際に、撮像画像の表示切替に伴って各カメラからの出力画素数に変更が生じた場合でも、その画素数変更に応じて複数のマッピングテーブルのうち関連する部分のみを変更するようにしている。これにより、関連しない部分のマッピングテーブルの変更は必要ないので、全体としてマッピングテーブルの変更に要する時間を短縮することが可能となる。

また、本発明の他の形態によれば、それぞれ撮像した画像を画像要求信号に応答して選択的に所定の出力画像サイズに変換して出力可能な複数のカメラと、各カメラから出力された撮像データを格納しておくためのメモリ手段を備え、表示装置の画面に表示させる撮像画像の各画面毎に前記複数のカメラの各々について当該カメラの撮像データの画素取得位置と前記表示装置の画面に表示すべき描画位置との対応関係を規定した複数のマッピングテーブルに基づいて前記メモリ手段に格納された各カメラの撮像データから各々の画像を合成して前記表示装置の画面に表示させる機能を備えた画像表示システムにおいて、前記表示装置の画面に表示させる撮像画像の表示切替を伴う要因が発生したときに、前記複数のカメラに前記画像要求信号を供給して、各カメラから出力される撮像データの合計データ量が前記メモリ手段に格納可能な容量以下となるよう制御するとともに、前記合成された画像を表示させる際に、各カメラから出力された撮像データの画素数の変更に応じて前記複数のマッピングテーブルのうち関連する部分のみを変更することを特徴とするカメラ出力制御方法が提供される。

本発明に係る画像表示システムの他の構成上の特徴及びそれに基づく処理態様、有利な利点等については、以下に記述する発明の実施の形態を参照しながら説明する。

以下、本発明の好適な実施の形態について、添付の図面を参照しながら説明する。

図１は本発明の一実施形態に係る画像表示システムの概略構成を示したものである。本実施形態では、本発明に係る画像表示システムを車載用ナビゲーションシステムの一部として組み込み、トップビュー表示機能を備えた車載用画像表示システムとして適用した場合の構成例を示している。「トップビュー表示」とは、モニタの画面上で自車両の上方から見た車両周辺の表示であり、典型的なトップビュー表示機能によれば、あらかじめ自車画像（データ）をメモリ等に記憶させておき、その一方で複数の車載カメラにより車両周辺の各方向の画像を取得し、取得した各画像（データ）を自車両の上方向の視点から見下ろすような画像に変換し、その視点変換された車両周辺の画像（俯瞰画像）と上記の自車画像とを合成して、モニタの画面に表示する。

本実施形態に係る画像表示システム５０は、図１に示すように４台の車載カメラ（前方カメラ１０ａ、後方カメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄ）と、電子制御ユニット（ＥＣＵ）２０と、モニタ３０とを備えている。

各車載カメラ１０ａ，１０ｂ，１０ｃ及び１０ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、車両の適当な箇所に設置されている。特に図示はしないが、前方カメラ１０ａは車両の前部（例えば、車室内のルームミラーの近傍）に、後方カメラ１０ｂは車両の後部（リヤ側の後ろ側の天井部分の近傍）に、左方カメラ１０ｃ及び右方カメラ１０ｄはそれぞれ車両の左側部及び右側部（例えば、ドアミラーの下部）に設置されている。また、各車載カメラ１０ａ〜１０ｄは、各々のレンズ（魚眼レンズ）が若干下方を向くように位置決めされ、広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１０ａ〜１０ｄは協働して自車両の全周囲を撮像できるように配置されている。各車載カメラ１０ａ〜１０ｄの詳細（内部構成）については後で説明する。

電子制御ユニット（ＥＣＵ）２０は、車室内のセンターコンソールの内側（ダッシュボードの内部）に設置されている。このＥＣＵ２０は、各車載カメラ１０ａ〜１０ｄで撮像された画像（データ）を取り込んで、トップビュー表示に必要な画像処理（後述するマッピング処理、視点変換処理等）を行うものであり、その詳細（内部構成）については後で説明する。

モニタ３０は、液晶表示（ＬＣＤ）パネルや有機ＥＬパネル等からなる表示画面（例えば、８００×４８０ドットの解像度を有したＷＶＧＡ画面）を有しており、センターコンソールのほぼ中間位置において内側に収納され、必要に応じてその表示画面がセンターコンソール上に現れるように設置されている。このモニタ３０の画面には、ＥＣＵ２０を通して画像処理されたデータ（情報）が表示される。具体的には、ＥＣＵ２０からの制御に基づき、後述するように各車載カメラ１０ａ〜１０ｄで画像リサイジングが適宜行われて転送されてきた各方向の撮像データ（車両周辺画像）や、これら撮像データを視点変換処理して得られた各方向の車両周辺画像（俯瞰画像）に自車画像を合成して得られたトップビュー画像が表示される。表示の態様としては、後述するようにモニタ３０の画面を左右に２分割し（図６参照）、一方の画面（右側の表示領域）にトップビュー画像を表示し、他方の画面（左側の表示領域）に前後左右いずれかの方向の撮像画像（車両周辺画像）を拡大表示する。

次に、本実施形態に係る画像表示システム５０において使用される各車載カメラ１０ａ〜１０ｄの内部構成について、図２を参照しながら説明する。

図示のように車載カメラ１０ａ（１０ｂ，１０ｃ，１０ｄ）は、被写体で反射された光を透過させる光学レンズ１１と、このレンズ１１を通して入射された光を当該被写体に応じた映像信号（アナログの電気信号）に変換する電荷結合素子（ＣＣＤ）イメージセンサ１２と、このＣＣＤイメージセンサ１２を駆動するＣＣＤドライバ１３と、ＣＣＤイメージセンサ１２から出力されるアナログの画像データに対して各種処理を行うアナログフロントエンド（Ｆ／Ｅ）１４と、このアナログＦ／Ｅ１４の後段に接続されたデジタル信号プロセッサ（ＤＳＰ）からなる画像処理部１５と、この画像処理部１５に接続されたメモリ１６と、画像処理部１５の後段に接続された画像出力部１７とを備えている。さらに、電源部（図示せず）も備えており、必要に応じてＥＣＵ２０からの制御により、当該カメラ内の各機能ブロックにそれぞれ所要の電源電圧が供給されるようになっている。

ＣＣＤイメージセンサ１２は高解像度対応のものであり、本実施形態では、１３０万画素のデータを出力する。従って、１台のカメラ１０ａ（１０ｂ，１０ｃ，１０ｄ）では、図７に示したように概ね７．５ＭＢ分の画像データを出力可能であり、そのまま単純に出力した場合、４台のカメラ１０ａ〜１０ｄで合計３０ＭＢ分の画像データを出力することになる。なお、図示の例ではＣＣＤイメージセンサ１２を使用しているが、これに代えてＣＭＯＳイメージセンサを使用してもよい。

アナログＦ／Ｅ１４は、特に図示はしないが、ＣＣＤイメージセンサ１２で取得されたアナログの画像信号（撮像データ）からノイズ成分を除去するためのフィルタ、そのアナログの画像信号を増幅するアンプ、その増幅されたアナログ信号をデジタル画像信号に変換するＡ／Ｄ変換器等の機能ブロックを有している。このアナログＦ／Ｅ１４は、基本的には、ＣＣＤイメージセンサ１２の出力をＡ／Ｄ変換する際の入力ゲインを制御したり、ＣＣＤドライバ１３に対してＣＣＤイメージセンサ１２を駆動するのに必要な制御信号を供給するものである。メモリ１６は、例えば、フラッシュメモリ等の半導体メモリからなる。このメモリ１６には、ＤＳＰ１５からの制御に基づき、アナログＦ／Ｅ１４を通して適宜画像処理されたデジタル画像データが格納される。

画像処理部（ＤＳＰ１５）は、基本的には、メモリ１５にいったん格納されたデジタル画像データ（カメラの撮像データ）に対し、一般的なデジタルカメラにおいて行われているのと同様の画像処理（自動焦点、自動露光、自動ホワイトバランス調整、画像空間解像度スケーリング、画像圧縮など）を行う。また、画像処理部（ＤＳＰ１５）には、イメージセンサ１２で取得された１３０万画素の撮像画像（データ）をモニタ３０の表示能力に合わせた所定の出力画像サイズに変換（リサイジング）する機能が備えられている。本実施形態では、リサイジングされる出力画像サイズを５０万画素（図７参照）に設定している。リサイジングの態様としては、イメージセンサ１２で取得された画像（マトリクス状の画素群）に対し、全体を一定に間引く方法（例えば、水平方向の１ライン毎に交互に画素を間引く方法、所定数単位の画素毎に１画素ずつ間引く方法等）や、画像の一部の領域を切り取る方法等が用いられる。

画像処理部（ＤＳＰ１５）では、本発明に関連する処理として、後述するようにＥＣＵ２０からの画像要求信号ＲＱを受信したときに、イメージセンサ１２で取得した１３０万画素の撮像画像データと、上記のリサイジング機能により画像サイズを圧縮した５０万画素の画像データとを選択的に切り替えて出力する。ＥＣＵ２０から供給される画像要求信号ＲＱには、当該カメラで撮像された画像データを要求するか否かを指示する制御情報が含まれており、この制御情報が当該カメラの撮像画像データを要求している場合には１３０万画素の撮像画像データがそのまま出力され、その制御情報が当該カメラの撮像画像データを要求していない場合には当該撮像画像データをリサイジングした５０万画素の画像データが出力される。このようにして出力された１３０万画素又は５０万画素のデジタル画像データは、画像出力部１７に送られる。

画像出力部１７では、画像処理部（ＤＳＰ１５）から並列（パラレル）形態で入力されたデジタル画像信号を直列（シリアル）形態に変換して、ＥＣＵ２０への伝送ライン上に出力する。つまり、画像出力部１７を介在させることで、当該カメラ１０ａ（１０ｂ，１０ｃ，１０ｄ）とＥＣＵ２０を接続する信号線の数を減らしている。

次に、ＥＣＵ２０の内部構成について、図３を参照しながら説明する。

図示のようにＥＣＵ２０は、制御部２１と、各車載カメラ１０ａ〜１０ｄから直列（シリアル）形態で転送されてきたデジタル画像データ（当該カメラの撮像画像データ、又は当該撮像画像データをリサイジングした画像データ）を並列（パラレル）形態に変換する画像入力部２２と、この画像入力部２２を介して供給される撮像画像データを格納しておくためのキャプチャ用メモリ２３と、このキャプチャ用メモリ２３の後段に接続された画像処理部２４と、この画像処理部２４を通してマッピング処理、視点変換処理等の画像処理が施された表示用の画像データを格納しておくための画像表示用メモリ２５と、この画像表示用メモリ２５から読み出された表示用のデジタル画像データをアナログ画像データに変換してモニタ３０に送出する画像出力部２６と、車両情報検出部２７と、障害物検出部２８と、ユーザインタフェースとしての操作部２９とを備えている。２２〜２９の各機能ブロックは、それぞれ制御部２１に動作可能に接続されている。

車両情報検出部２７は、車両に装備された各種センサ等（図示せず）の出力から自車の走行状態を指示する情報（以下、「車両走行状態指示信号」という）を検出するためのブロックである。例えば、ＧＰＳ受信機の出力から車両位置を検出し、自立航法センサ（距離センサやジャイロ等の角度センサや加速度センサなど）の出力、ステアリング回転角信号などから車速や車両方位等を検出し、シフト位置検出センサの出力から車両の進行方向を検出し、イグニション・キーのオン／オフ出力からエンジン起動／停止の状態を検出する。車両情報検出部２７で検出された車両走行状態指示信号は、後述するようにトップビュー表示機能を「オン」させたり、トップビュー画像と共に表示される車両周辺画像（前後左右のいずれかの方向のカメラ撮像画像）の表示切替を行うためのトリガとして用いられる。

障害物検出部２８は、例えば、超音波センサやレーダなどから構成される。超音波センサを使用する場合、車両外部の適当な箇所（例えば、前方、後方の各バンパーの近傍）に複数個設置し、各々の送信機から発信される超音波が車両周辺の方向に均等に指向されるよう配置する。これにより、車両周辺の所定の距離の範囲内に障害物が存在するか否かを検出することができる。レーダを使用する場合には、各車載カメラ１０ａ〜１０ｄの撮像方向に合わせて当該方向に信号を放射できるように車両の適当な箇所（例えば、車体の頂上部）に設置する。これにより、レーダの発信部から当該方向に向けてミリ波等の電波信号を発信すると、発信された電波信号は、当該方向に何らかの障害物が有れば当該障害物で反射され、反射波信号として戻ってくる。受信部では、当該障害物からの反射波を受信し、受信された反射波の強度と所定のしきい値とを比較して、反射波強度が当該しきい値以上である場合に、当該障害物の存在を検出する。つまり、レーダも超音波センサと同様に、車両周辺の所定の距離の範囲内に障害物が存在するか否かを検出することができる。障害物検出部２８で検出された結果（障害物の存在の検出）は、同様に、トップビュー表示機能を「オン」させたり、トップビュー画像と共に表示される車両周辺画像の表示切替を行うためのトリガとして用いられる。

操作部２９は、ユーザが指示もしくは設定（選択）した情報を入力するためのものであり、例えば、赤外線通信等により制御部２１に接続されるリモコン送信機（リモコン）の形態を有している。かかるリモコンには、モニタ３０の表示画面に各種操作画面を表示させたり、画面上の各種メニューや各種項目等を選択したり、選択したメニュー等を実行させたりするための各種操作キーやボタン、ジョイスティック等が設けられている。この操作部２９は、本発明に関連する入力指示として、トップビュー表示機能を「オン」させるための入力指示や、トップビュー画像と共に表示される車両周辺画像の表示切替を行うための入力指示を与える。なお、操作部２９の形態としては、リモコン以外に、センターコンソール上に固定的に設けられた「操作パネル」であってもよいし、必要に応じてモニタ３０の画面上に配置される「タッチパネル」であってもよい。

制御部２１はマイクロコンピュータにより構成され、画像表示に係る各種処理を制御するための中央処理演算装置（ＣＰＵ）と、このＣＰＵで行う処理を規定したプログラムを格納したＲＯＭと、その処理の過程で発生するデータを一時格納しておくためのＲＡＭなどを備えている。さらに、書き換え可能なメモリ（図示せず）を備えており、このメモリに、トップビュー表示を行う際に用いられる自車画像のデータが格納されている。

この制御部２１は、他の機能ブロック２２〜２９と協働して、基本的には、各車載カメラ１０ａ〜１０ｄから出力された撮像画像データに基づいてトップビュー表示に係る各種画像処理（マッピング処理、視点変換処理等）を制御し、さらに、モニタ３０の画面に表示させる車両周辺画像（前後左右のいずれかの方向のカメラ撮像画像）の表示切替を制御する。この表示切替は、車両情報検出部２７で検出された車両走行状態指示信号、障害物検出部２８で検出された「障害物の存在を指示する」信号、又は操作部２９からのユーザ指示に基づいて行われる。

さらに制御部２１は、本発明に関連する処理として、車両周辺画像の表示切替を行う際に、その表示切替に関連する車両周辺画像を取得すべきカメラを選択するための画像要求信号ＲＱを生成する。例えば、車両走行状態指示信号を受信した場合、その車両走行状態指示信号を適宜演算処理することで、「車両が後ろ向き（バック）に駐車しようとしている状態」にあることを判別することができる。この場合、その判別結果に基づき、各車載カメラ１０ａ〜１０ｄのＤＳＰ１５に対してその時点での車両周辺近傍の画像を取得したい旨の画像要求信号ＲＱを生成する。また、演算処理に基づいて「車両が左折しようとしている状態」にあることを判別した場合には、その時点での車両左方の画像を取得したい旨の画像要求信号ＲＱを生成する。

このようにして生成された画像要求信号ＲＱには、上述したように当該カメラで撮像された画像データを要求するか否かを指示する制御情報が含まれている。従って、各車載カメラ１０ａ〜１０ｄ（ＤＳＰ１５）に対してそれぞれ画像要求信号ＲＱが供給されると、当該表示切替の対象とされたカメラからは当該撮像画像がそのまま出力され（本実施形態では、１３０万画素出力）、他の３台のカメラからはそれぞれ所定の出力画像サイズにリサイジングされた画像データが出力される（本実施形態では、５０万画素出力）。

キャプチャ用メモリ２３は、各車載カメラ１０ａ〜１０ｄに対応してそれぞれ１対のラインバッファを含んでいる。各１対のラインバッファは、制御部２１からの制御に基づいて、一方のラインバッファに当該カメラからの撮像データが取り込まれているとき、他方のラインバッファに蓄積された撮像データが読み出されるようになっている。一方、画像表示用メモリ２５は１対のフレームメモリを含んでおり、制御部２１からの制御に基づいて、一方のフレームメモリに画像データが書き込まれているとき、他方のフレームメモリに格納された画像データが読み出されるようになっている。各フレームメモリは、モニタ３０に対応するクロックで動作し、読み出された画像データは画像出力部２６を介してモニタ３０の画面に描画される。キャプチャ用メモリ２３及び画像表示用メモリ２５には、例えば、デュアルポート型の同期型ＤＲＡＭもしくは同期型ＳＲＡＭが用いられる。

画像処理部２４は、モニタ３０の画面に表示させるカメラ撮像画像の各画面毎にそれぞれ規定された複数のマッピングテーブル（ＭＰＴ）を格納したフラッシュメモリ２４ａを備えている。図４は各マッピングテーブル（ＭＰＴ）に登録される内容を説明するための図である。

図４（ａ）に示すように、マッピングテーブル（ＭＰＴ）には、各車載カメラ１０ａ，１０ｂ，１０ｃ及び１０ｄから出力される各々の撮像データの開始位置及び終了位置と、それぞれのカメラの撮像データ毎に、当該撮像データからどの画素を取得するのかを判別するための画素取得位置（ｐｘ，ｐｙ）を指示する座標情報と、モニタ３０の画面上の表示領域に対応するフレームメモリ（画像表示用メモリ２５）の描画位置（ｄｘ，ｄｙ）を指示する座標情報との関係が対となって登録されている。図４（ｂ）は、マッピングテーブルの１レコード分の内容を示しており、図示のようにカメラＩＤ（各車載カメラ１０ａ〜１０ｄをそれぞれ固有に識別するための番号）に対応させて画素取得位置と描画位置との対応関係が登録されている。好ましい登録の態様では、マッピングテーブルに含まれる各レコードは、画素取得位置（ｐｘ，ｐｙ）の座標順にソートされている。

画像処理部２４は、制御部２１からの制御に基づいて、キャプチャ用メモリ２３に格納された各カメラ１０ａ〜１０ｄの撮像データに対し、所要のマッピング処理（マッピングテーブル（ＭＰＴ）を参照して、撮像データから引き当てされる画素データを抽出し、抽出した画素データを画像表示用メモリ２５の対応する描画位置に格納する処理）を行う。処理されたデータは車両周辺画像として、制御部２１からの制御に基づき画像出力部２６を介してモニタ３０に供給され、その画面に表示される。

この画像処理部２４で行うマッピング処理について説明する。

先ず、カメラ１０ａ（１０ｂ，１０ｃ，１０ｄ）から取得された撮像データは、キャプチャ用メモリ２３内の対応するラインバッファに取り込まれる。画像処理部２４は、このラインバッファから撮像データを受け取り、マッピングテーブル（ＭＰＴ）のうち当該カメラについて設定された部分のマッピングテーブルを参照し、その撮像データから所定の画素データを取得し、これをフレームメモリ（画像表示用メモリ２５）の描画位置に書き込む。

次に、画像処理部２４は、当該カメラのマッピングテーブル（図４）から画素取得位置（ｐｘ，ｐｙ）と対応する描画位置（ｄｘ，ｄｙ）とを読み出し、ラインバッファから入力された撮像データの入力画素位置（ｉｘ，ｉｙ）を算出する。ラインバッファは一定のクロック周波数で撮像データを出力し、そのクロックをカウントすることで、ｘ方向（表示画面の水平方向）の画素位置を判別する。１ライン分の撮像データの読み出しが終了したとき、ｙ方向のカウント値に１を加算することで、ｙ方向の画素位置を算出する。

次に、画像処理部２４は、入力画素位置（ｉｘ，ｉｙ）と画素取得位置（ｐｘ，ｐｙ）を比較し、一致した場合には、入力画素位置の画素データを対応する描画位置（ｄｘ，ｄｙ）に格納する。そして、マッピングテーブルから次の１レコード分（図４（ｂ））を読み出し、現在の入力画素位置と画素取得位置とを再度比較する。一方、（ｐｘ，ｐｙ）＞（ｉｘ，ｉｙ）であれば、次の撮像データとの比較を行い、（ｐｘ，ｐｙ）＜（ｉｘ，ｉｙ）であれば、マッピングテーブルの次の１レコード分を取得し、再度比較する。このようにして、当該カメラから順に入力された撮像データの各画素について引き当て処理を実行する。

さらに画像処理部２４は、制御部２１からの制御に基づき、キャプチャ用メモリ２３に格納されている各車載カメラ１０ａ〜１０ｄの撮像画像データから、各車載カメラ１０ａ〜１０ｄで取得された各方向の画像の視点をそれぞれ自車両の上方からの視点に変換した車両周辺画像（俯瞰画像）を生成する。生成された画像データは、フレームメモリ（画像表示用メモリ２５）の所定の描画位置に格納される。格納された各方向の俯瞰画像（車両周辺画像）は、制御部２１からの制御に基づき、トップビュー表示を行う際に自車画像と共に合成され、自車の上方から見た画像（トップビュー画像）としてモニタ３０の画面に表示される。その際、画面を左右に２分割して一方の画面にトップビュー画像を表示し、他方の画面に前後左右のいずれかの方向の撮像画像（車両周辺画像）を拡大表示する。

以下、本実施形態に係る画像表示システム５０において行うカメラ出力制御及びそれに基づくトップビュー画像の表示に係る処理について、その一例を示す図５を参照しながら説明する。併せて、図６に示す画面表示例も参照しながら補足説明する。

先ず、初期状態として、本システム５０を搭載した車両は、ナビゲーションシステムによる経路誘導機能に基づいて設定された目的地（この場合、駐車場）に到着し、その駐車場内で適当な空きスペースを見つけてその場所に駐車すべく、車両を後ろ向きに移動させようとしている状態にあるものとする。

このように車両を後ろ向き（バック）で駐車しようとしている状態で、最初のステップＳ１では、制御部２１により、例えば、車両情報検出部２７で検出された車両走行状態指示信号（この場合、シフト位置検出センサから出力される、シフト位置が「バック」の位置にあることを指示する信号）に基づいてトップビュー表示機能を「オン」にする。これにより、各車載カメラ１１ａ〜１１ｄは起動し、それぞれ自車両の前方、後方、左方及び右方の撮像を開始する。なお、車両走行状態指示信号をトリガとして利用する代わりに、操作部２９からのユーザ指示に基づいてトップビュー表示機能を「オン」させるようにしてもよい。

次のステップＳ２では、制御部２１から各車載カメラ１０ａ〜１０ｄ（ＤＳＰ１５）に対して、その時点（トップビュー表示機能の「オン」直後）での車両周辺画像を出力するよう要求する。すなわち、その時点でモニタ３０の画面に表示させる車両周辺画像を取得すべきカメラを選択するための制御情報を含む画像要求信号ＲＱを生成し、各車載カメラ１０ａ〜１０ｄに送出する。

次のステップＳ３では、制御部２１からの制御に基づき、各車載カメラ１０ａ〜１０ｄから撮像画像データを取り込む。この場合、上記のように車両走行状態指示信号から「車両が後ろ向きに駐車しようとしている状態」にあることが判別されるので、画像要求信号ＲＱには後方カメラ１０ｂで撮像された画像データを要求する旨を指示する制御情報が含まれている。従って、取得要求の対象とされた後方カメラ１０ｂからは当該撮像画像がそのまま出力され（１３０万画素出力）、他の３台のカメラ１０ａ，１０ｃ，１０ｄからはそれぞれ所定の出力画像サイズ（５０万画素出力）にリサイジングされた画像データが出力される。このようにして各カメラから取り込まれた撮像画像データは、画像入力部２２を介してキャプチャ用メモリ２３に格納される。

次のステップＳ４では、制御部２１からの制御に基づき画像処理部２４において、キャプチャ用メモリ２３に格納された各カメラ１０ａ〜１０ｄの撮像データに対し、上述したようなマッピング処理を行う。その際、画像処理部２４（フラッシュメモリ２４ａ内のマッピングテーブル（ＭＰＴ））に対し、各カメラから出力された撮像データの画素数の変更に応じて、複数のＭＰＴのうち関連する部分（この場合、後方カメラ１０ｂで取得された撮像データ（表示すべき車両周辺画像）に関連する部分）のみを変更する。本実施形態では、このＭＰＴを変更する方法として、１３０万画素出力のカメラ（この場合、後方カメラ１０ｂ）のＭＰＴを基準とし、他の５０万画素出力のカメラのＭＰＴについては、座標計算の際に５０／１３０＝０．３８倍させて処理することで、それぞれの内容を書き替えないようにする。つまり、トップビュー用のＭＰＴとして、１つのＭＰＴでカメラ画素の変更に対応している。

次のステップＳ５では、制御部２１からの制御に基づき画像処理部２４において、キャプチャ用メモリ２３に格納されている各カメラ１０ａ〜１０ｄの撮像データ（車両周辺画像）から、上述したように自車両の上方からの視点に変換した画像（俯瞰画像）を生成する。生成された画像データは、フレームメモリ（画像表示用メモリ２５）の所定の描画位置に格納される。

次のステップＳ６では、制御部２１からの制御に基づき、フレームメモリに格納された各方向の俯瞰画像（車両周辺画像）のデータを、制御部２１内のメモリ（図示せず）に格納されている自車画像のデータと合成してトップビュー画像を生成し、後方カメラ１０ｂで取得された車両周辺画像と共に、モニタ３０の画面に表示させる。その際、画面を左右に２分割して一方の画面にトップビュー画像を表示し、他方の画面に車両周辺画像（この場合、後方カメラ１０ｂの撮像画像）を拡大表示する。具体的な表示態様については、後で説明する。

次のステップＳ７では、制御部２１において、モニタ３０の画面に表示させる撮像画像の表示切替を伴う要因が発生した（ＹＥＳ）か否（ＮＯ）かを判定する。この判定は、車両情報検出部２７から車両走行状態指示信号が出力されたか否か、又は障害物検出部２８から「障害物の存在を指示する」信号が出力されたか否か、あるいは操作部２９からのユーザ指示があった否かを検出することにより、行われ得る。そして、判定結果がＹＥＳの場合にはステップＳ８に進み、判定結果がＮＯの場合にはステップＳ９に進む。

ステップＳ８では（表示切替を行う場合）、制御部２１において、その表示切替に関連する車両周辺画像を取得すべきカメラを選択する。例えば、車両走行状態指示信号から、車両が現在移動している後ろ向き（バック方向）から「左折しようとしている状態」に変化したことを検知した場合には、その時点での車両左方の周辺画像を取得すべき左方カメラ１０ｃを選択する。この後、ステップＳ２に戻って上記の処理を繰り返す。

一方、ステップＳ９では、制御部２１において、車両走行状態指示信号（この場合、エンジン停止信号）に基づいて、エンジンが停止した（ＹＥＳ）か否（ＮＯ）か、つまり、駐車を完了したか否かを判定する。判定結果がＹＥＳの場合には本処理フローは「終了」となり、判定結果がＮＯの場合にはステップＳ７に戻って上記の処理を繰り返す。

図６は、本システム５０において行う車両周辺画像（前方（フロント）画像、後方（リア）画像、左方（レフト）画像、右方（ライト）画像）の表示切替に係る画面表示例を概略的に示したものである。図示の例では、モニタ３０の画面３１を左右に２分割し、左側の表示領域３２Ｌに車両周辺画像を、右側の表示領域３２Ｒにトップビュー画像をそれぞれ表示している。

左側の表示領域３２Ｌに表示される車両周辺画像は、後方カメラ１０ｂで撮像されたリア画像４０ｂを拡大表示している状態（図６（ａ））から、左方カメラ１０ｃで撮像されたレフト画像４０ｃを拡大表示する状態（図６（ｂ））に切り替えられている。一方、右側の表示領域３２Ｒに映し出されるトップビュー画像は、上述したように前後左右の各方向のカメラ１０ａ，１０ｂ，１０ｃ及び１０ｄにより撮像された画像の視点を車両上方からの視点に変換し、視点変換後の各々の画像（俯瞰画像）を合成し、さらに自車画像を合成して得られたものである。図中、４２ａ，４２ｂ，４２ｃ及び４２ｄは、それぞれ前方カメラ１０ａ、後方カメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄで撮像されて視点変換処理が施された後の車両周辺画像（俯瞰画像）、４４は予め用意された自車両の画像（自車画像）を示している。

右側の表示領域３２Ｒに表示されるトップビュー画像は、左側の表示領域３２Ｌに映し出される車両周辺画像の表示切替（リア画像４０ｂ→レフト画像４０ｃ）に連動して、現在表示中のリア画像４０ｂの視点変換後の画像４２ｂ（１３０万画素）を組み込んだトップビュー画像４５を表示している状態（図６（ａ））から、表示切替の対象となったレフト画像４０ｃの視点変換後の画像４３ｃ（１３０万画素）を組み込んだトップビュー画像４６を表示する状態（図６（ｂ））に切り替えられている。なお、図６（ａ）において、トップビュー画像４５に含まれる他の３つの車両周辺画像（俯瞰画像）４２ａ，４２ｃ及び４２ｄはそれぞれ５０万画素の表示であり、同様に図６（ｂ）において、トップビュー画像４６に含まれる他の３つの車両周辺画像（俯瞰画像）４２ａ，４３ｂ及び４２ｄもそれぞれ５０万画素の表示である。

図６に示すように、画面切替前と画面切替後とでは、画像表示の見かけ上は変化しないが、ステップＳ４（図５）の「マッピング処理」において説明したように、各カメラから出力された撮像データの画素数の変更に応じて複数のＭＰＴのうち関連する部分のＭＰＴデータ（図示の例では、車両周辺画像の部分（画面左半分）のみ）が更新されている。

以上説明したように、本実施形態に係る画像表示システム５０によれば、モニタ３０の画面に表示させる撮像画像（車両周辺画像）の表示切替を伴う要因が発生したとき（車両情報検出部２７から車両走行状態指示信号が出力されたり、障害物検出部２８から「障害物の存在を指示する」信号が出力されたり、操作部２９からのユーザ指示があった場合）に、ＥＣＵ２０から各車載カメラ１０ａ〜１０ｄに画像要求信号ＲＱを供給することで、各カメラから出力される撮像データの合計データ量がキャプチャ用メモリ２３に格納可能な容量（この場合、１６ＭＢ）以下となるように制御している。

これにより、キャプチャ用メモリ２３の容量が現状（１６ＭＢ）のままで、各車載カメラを全て高解像度対応のカメラ（１３０万画素出力カメラ）にしても対応することが可能となる。つまり、従来技術に見られたような不都合（各カメラの解像度によってはそれぞれの撮像画像を全てキャプチャ用メモリに取り込むことができないといった不都合）を解消することができる。

また、拡大表示をしている画面（図６において左側の表示領域）には、いずれの車載カメラ１０ａ（１０ｂ，１０ｃ，１０ｄ）でも常に１３０万画素表示が可能となるので、高解像度のメリットを十分に活かすことができる。

また、各カメラ１０ａ〜１０ｄの撮像画像を合成してモニタ３０の画面にトップビュー画像を表示する際に、撮像画像の表示切替に伴う出力画素数の変更に応じて複数のマッピングテーブル（ＭＰＴ）のうち関連する部分（表示切替に関連する車両周辺画像）のみを変更するようにしている。その際、１３０万画素出力のカメラ（後方カメラ１０ｂ）のＭＰＴを基準とし、他の５０万画素出力の３台のカメラのＭＰＴについては、座標計算の際にそれぞれ５０／１３０＝０．３８倍させて処理することで、それぞれの内容を書き替えないようにしている。つまり、トップビュー画像の部分（画面右半分）については、ＭＰＴ自体は更新しないで、座標計算の際の倍率だけを変える形になるので、車両周辺画像の部分（画面左半分）のみを更新するだけで済み、ＭＰＴの変更に要する時間を短縮することが可能となる。

さらに、トップビュー画像の部分（画面右半分）はマッピングテーブル（ＭＰＴ）が１つだけで済む（つまり、他の３つの画像部分は座標計算に基づいて求めている）ので、マッピングテーブル（ＭＰＴ）を格納するフラッシュメモリ２４ａの容量を削減することができる。

上述した実施形態では、本発明に係る画像表示システムを車載用ナビゲーションシステムの一部として組み込み、トップビュー表示機能を備えた車載用画像表示システムとして適用した場合を例にとって説明したが、本発明に係る画像表示システムは、その要旨からも明らかなように、必ずしも車両に搭載される必要がないことはもちろんである。

本発明の一実施形態に係る画像表示システムの概略構成を示す図である。 図１のシステムにおけるカメラの内部構成を示すブロック図である。 図１のシステムにおけるＥＣＵの内部構成を示すブロック図である。 図３のＥＣＵにおいてマッピングテーブル（ＭＰＴ）に登録される内容を説明するための図である。 図１の画像表示システムにおいて行うカメラ出力制御及びそれに基づくトップビュー画像の表示に係る処理の一例を示すフロー図である。 図５の処理フローを補足説明するための画面表示例を示す図である。 車載カメラとして適用される各種カメラの撮像画像のデータ量の関係を示す図である。

符号の説明

１０ａ，１０ｂ，１０ｃ，１０ｄ…車載カメラ、
１２…（高解像度対応の）イメージセンサ、
１５…画像処理部（ＤＳＰ）、
２０…電子制御ユニット（ＥＣＵ／制御装置）、
２１…制御部、
２３…キャプチャ用メモリ（第１の記憶手段）、
２４…画像処理部、
２４ａ…（マッピングテーブル（ＭＰＴ）を格納する）フラッシュメモリ、
２５…画像表示用メモリ（第２の記憶手段）、
２７…車両情報検出部（車両走行状態検出手段）、
２８…障害物検出部、
２９…操作部、
３０…モニタ（表示装置）、
３１…モニタの画面、
３２Ｌ，３２Ｒ…（分割された）表示領域、
４０ｂ，４０ｃ…車両周辺画像（撮像画像）、
４２ａ，４２ｂ，４２ｃ，４２ｄ，４３ｂ，４３ｃ…車両周辺画像（俯瞰画像）、
４４…自車画像、
４５，４６…トップビュー画像、
ＲＱ…画像要求信号。

Claims (13)

1. 画面を通して情報を提供する表示装置と、
   それぞれ撮像した画像を画像要求信号に応答して選択的に所定の出力画像サイズに変換して出力可能な複数のカメラと、
   前記複数のカメラから出力された撮像データを画像処理して前記表示装置の画面に表示させる制御装置とを具備し、
   前記制御装置は、
   前記複数のカメラから出力された撮像データを格納する第１の記憶手段と、
   前記表示装置の画面に表示させる撮像画像の各画面毎に前記複数のカメラの各々について当該カメラの撮像データの画素取得位置と前記表示装置の画面に表示すべき描画位置との対応関係を規定した複数のマッピングテーブルを保有する画像処理手段と、を備え、
   前記表示装置の画面に表示させる撮像画像の表示切替を伴う要因が発生したことを検知したときに、前記複数のカメラに前記画像要求信号を供給して、各カメラから出力される撮像データの合計データ量が前記第１の記憶手段に格納可能な容量以下となるよう制御するとともに、
   前記画像処理手段は、前記第１の記憶手段に格納された各カメラの撮像データから各々の画像を合成して前記表示装置の画面に表示させる機能を有し、当該合成画像を表示させる際に、各カメラから出力された撮像データの画素数の変更に応じて前記複数のマッピングテーブルのうち関連する部分のみを変更することを特徴とする画像表示システム。
2. 前記複数のカメラは、それぞれ高解像度の画素数を有したイメージセンサを備えることを特徴とする請求項１に記載の画像表示システム。
3. 前記制御装置は、前記画像処理手段により画像処理された表示用の画像データを前記表示装置の表示領域に対応するフレームに格納する第２の記憶手段を備えることを特徴とする請求項１に記載の画像表示システム。
4. 車両に搭載されていることを特徴とする請求項１に記載の画像表示システム。
5. 前記制御装置は、当該車両の走行状態を指示する情報を検出する手段を備え、該検出された情報に基づいて前記画像要求信号を生成することを特徴とする請求項４に記載の画像表示システム。
6. 前記制御装置は、当該車両の周辺に障害物が存在するか否かを検出する手段を備え、障害物の存在を検出したときに前記画像要求信号を生成することを特徴とする請求項４に記載の画像表示システム。
7. 前記制御装置は、ユーザインタフェースとしての操作手段を備え、前記撮像画像の表示切替を指示する旨の操作があったときに前記画像要求信号を生成することを特徴とする請求項４に記載の画像表示システム。
8. 前記複数のカメラは、それぞれ協働して当該車両の全周囲を撮影可能に配置されていることを特徴とする請求項４に記載の画像表示システム。
9. 前記画像処理手段は、前記第１の記憶手段に格納されている各カメラのそれぞれの方向の撮像データに対して当該車両の上方向の視点から見下ろすような視点変換処理を施し、視点変換処理後の車両周辺の各画像を合成して前記表示装置の画面に表示させることを特徴とする請求項４に記載の画像表示システム。
10. それぞれ撮像した画像を画像要求信号に応答して選択的に所定の出力画像サイズに変換して出力可能な複数のカメラと、各カメラから出力された撮像データを格納しておくためのメモリ手段を備え、表示装置の画面に表示させる撮像画像の各画面毎に前記複数のカメラの各々について当該カメラの撮像データの画素取得位置と前記表示装置の画面に表示すべき描画位置との対応関係を規定した複数のマッピングテーブルに基づいて前記メモリ手段に格納された各カメラの撮像データから各々の画像を合成して前記表示装置の画面に表示させる機能を備えた画像表示システムにおいて、
    前記表示装置の画面に表示させる撮像画像の表示切替を伴う要因が発生したときに、前記複数のカメラに前記画像要求信号を供給して、各カメラから出力される撮像データの合計データ量が前記メモリ手段に格納可能な容量以下となるよう制御するとともに、
    前記合成された画像を表示させる際に、各カメラから出力された撮像データの画素数の変更に応じて前記複数のマッピングテーブルのうち関連する部分のみを変更することを特徴とするカメラ出力制御方法。
11. 前記画像表示システムにユーザインタフェースとしての操作手段を備え、前記撮像画像の表示切替を指示する旨の操作があったときに前記画像要求信号を生成することを特徴とする請求項１０に記載のカメラ出力制御方法。
12. 前記画像表示システムが車両に搭載されている場合に、当該車両の走行状態を指示する情報が検出されたときに、該検出された情報に基づいて前記画像要求信号を生成することを特徴とする請求項１０に記載のカメラ出力制御方法。
13. 前記画像表示システムが車両に搭載されている場合に、当該車両の周辺に障害物の存在が検出されたときに前記画像要求信号を生成することを特徴とする請求項１０に記載のカメラ出力制御方法。

Images