JP5047650B2 - 車載カメラシステム - Google Patents

Description

本発明は、車両周辺の画像を取得して表示する車載カメラシステムに関する。

車両に搭載したカメラにより車両周辺の画像を取得し、取得した画像を表示装置に表示することで、車両周辺の監視を可能とする装置がある（特許文献１等参照）。

特開２００６−２９８２１７号公報

しかし、撮像した画像を単に表示するだけでは、車両周辺の状況を確認したいユーザにとって使い勝手がよいとは言えない。

本発明は、上記課題を解決すべくなされたものであり、車両周辺の状況を確認したいユーザにとって使い勝手のよい車載カメラシステムを提供することを目的とする。

上記課題を解決すべく、本発明は、複数のカメラで撮像された車両周辺の画像を、ユーザが車両の周囲を徒歩で一周したならば見えるであろう順番に対応させて表示する。

例えば、本発明は、車載カメラシステムであって、
車両に搭載された当該車両の近傍を撮像するための複数のカメラと、
前記複数のカメラにより撮像された画像を取得する撮像画像取得手段と、
前記撮像画像取得手段で取得した撮像画像を、表示のための画像に変換する手段と、
前記変換した画像を、車両の周囲を順に一周する順番で、表示する表示手段とを備える。

また、本発明は、車載カメラシステムであって、車両に搭載された複数のカメラと、前記複数のカメラにより撮像された前記車両の近傍の画像を取得する撮像画像取得手段と、前記撮像画像取得手段で取得した画像を、地上面に投影して地上面投影画像を生成する手段と、車両周囲の軌跡を示す位置情報を取得する手段と、前記位置情報が示す車両周囲の軌跡上に所定の高さの視点を設定する視点設定手段と、前記地上面投影画像を、前記視点設定手段で設定した車両周囲の軌跡上の視点から所定の視線方向を見た場合の画像に変換する画像変換手段と、前記画像変換手段で変換した画像を表示する表示手段と、を備える。そして、前記視点設定手段は、前記車両周囲の軌跡に沿って一周するように視点の位置を更新し、前記表示手段は、前記更新された視点の位置に応じた画像を表示する。

以下に、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態が適用された車載カメラシステム１の概略構成図である。なお、車載カメラシステム１は、ナビゲーション機能を備え、ナビゲーション装置と呼ばれるものであってもよい。図示するように、車両に搭載される車載カメラシステム１は、制御装置１０と、カメラ２０と、入力装置３０と、表示装置４０と、音声出力装置５０とを備えて構成される。

カメラ２０は、車両周辺（近傍）の画像を取得するための撮像装置である。

図２（ａ）、（ｂ）、（ｃ）、（ｄ）、及び(ｅ)は、車両を、前面、右側面、上面、左側面、背面からみた様子を示す。図示すように、カメラ２０は、車両５００の前後左右に搭載された４台の小型カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒからなる。それぞれのカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒは、やや下を向いており、車両の前方、後方、左側方向、右側方向の地上面を撮像する。カメラ２０は、台座の回転により撮像範囲の変更が可能である。台座の回転は、モータにより行われ、後述するカメラ制御部１２で制御される。

図１に戻って説明する。入力装置３０は、ユーザからの指示を受け付けるための装置であり、タッチパネルやハードスイッチなどで構成される。

表示装置４０は、液晶表示装置などからなり、制御装置１０で生成されたグラフィックス情報を表示するユニットである。

音声出力装置５０は、スピーカなどからなり、制御装置１０で生成された音声情報を出力するユニットである。

制御装置１０は、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０など）を制御するための装置である。制御装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０）とのインターフェース、これらを接続するバス、などからなる汎用的なコンピュータシステムにより構成される。

制御装置１０は、その機能部として、主制御部１１と、カメラ制御部１２と、カメラ画像処理部１３と、入力内容解析部１４と、表示処理部１５と、音声処理部１６とを備える。これらの機能部は、ＣＰＵがメモリにロードした所定のプログラムを実行することにより達成される。そのため、ＲＯＭには、各処理を行うためのプログラムが記憶されている。

主制御部１１は、様々な処理を行う中心的ユニットである。例えば、カメラ制御部１２に、カメラ２０の制御を指示する。また、カメラ画像処理部１３に、カメラ２０で撮像した画像を取得するように指示したり、取得した画像を、地上面に投影した画像（「地上投影画像」という）に変換するように指示したりする。また、入力内容解析部１４を介してユーザからの要求を受け付け、受け付けた要求に対応する処理が実行されるように、各機能部を制御する。また、表示処理部１５を介して、表示装置４０に、画像の表示を行う。また、音声処理部１６を介して、音声出力装置５０から、音声の出力を行う。

カメラ制御部１２は、各カメラ２０の動作を制御する。例えは、各カメラ２０の撮像の開始・終了タイミングや、撮像範囲を設定する。また、各カメラ２０が撮像した画像のカメラ画像処理部１３への送信を制御する。また、各カメラ２０の撮像範囲を特定するための情報として、各カメラ２０の視点位置及び撮像方向を、カメラ画像処理部１３に送る。なお、カメラ制御部１２は、車両を基準とした各カメラ２０の設置位置を予め記憶している。カメラ２０の向きを変更した場合は、変更した角度に基づいて、視点位置及び撮像方向を算出し直す。

カメラ画像処理部１３は、各カメラ２０で撮像した画像を、画像データとして取得する。また、各カメラ２０の撮像範囲を特定する情報（視点位置、撮像方向）に基づいて、取得した画像を、公知の方法により、地上投影画像に変換する。

図３は、地上投影画像の生成の方法を説明するための図である。カメラ画像処理部１３は、カメラ制御部１２から、各カメラ２０の視点Ｐの位置（車両内の所定の位置を原点Ｏとした三次元空間における座標位置）と視線方向Ｋを取得している。そこで、カメラ画像処理部１３は、撮像画像５１０を、カメラ２０の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。なお、撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラの視点Ｐから撮像画像５１０までの距離は、予め定められている。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。

図１に戻って説明する。入力内容解析部１４は、入力装置３０を介して入力されたユーザからの要求を解析し、その結果を主制御部１１に送る。

表示処理部１５は、表示装置４０に、ユーザからの指示を受け付けるためのメニューや、カメラ画像処理部１３で生成された車両周辺の地上投影画像を表示する。

音声処理部１６は、主制御部１１からの指示に従って、音声出力装置５０を介して、警告音や、ユーザに対するメッセージを音声出力する。

［動作の説明］次に、本実施形態の車載カメラシステム１の特徴的な動作について説明する。

図４は、車両周辺の表示処理の流れを示すフロー図である。

このフローは、ユーザから入力装置３０を介して車両周辺の表示を要求された場合に定期的に行われる。

まず、カメラ画像処理部１３は、各カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒから、撮像して得られた画像（「カメラ画像」という）を取得する（Ｓ１１）。

次に、カメラ画像処理部１３は、取得した各カメラ画像に基づいて、上述したように、地上投影画像を生成する（Ｓ１２）。

図５は、生成された地上投影画像を示す図である。地上投影画像２１０は、４台のカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒの画像から生成される。したがって、車両５０１の周辺の地上投影画像２１０は、車両５０１の周辺を４つに分割したエリアに対応した４つの画像（前方エリア画像２１０Ｆ、後方エリア画像２１０Ｂ、左側エリア画像２１０Ｌ、右側エリア画像２１０Ｒ）からなる。

次に、主制御部１１は、表示処理部１５に、車両周辺の画像を表示するように指示する。

これを受けて、表示処理部１５は、まず、視点位置と視線方向を設定する（Ｓ１３）。

図５及び図６を用いて、具体的に説明する。図６は、車両内の所定の位置を原点Ｏとする三次元空間における、地上投影画像２１０と、視点Ｐの移動軌跡２２０の関係を示す図である。

本実施形態では、ユーザが車両の周りを歩いたときに見えるであろう画像を生成し順に表示する。そのため、標準的な人間の目の高さｈに視点ｐを設定し、その視点ｐを車両の周囲を一周する軌跡２２０に沿って移動させる。その際、視線方向ｋを、視点ｐの移動方向に対してやや前方にする。

そのため、表示処理部１５は、図７に示すように、視点設定テーブル６００を保持している。視線設定テーブル６００には、移動させていく視点ｐの番号６０１ごとに、視点位置６０２と、視線方向６０３とが格納されている。視点位置ｐは、図５及び図６に示すように、地上面から所定の高さｈにあり、車両の周囲の長方形の軌跡２２０上の点である。視点位置ｐは、三次元空間における座標で表される。視線方向６０３は、視点位置ｐから、視線方向ｋにある地面上の点Ｍへ向かう方向で表される。点Ｍは、視点ｐの移動方向に対してやや前方に設定されている。

表示処理部１５は、現在設定されている視点番号６０１（初期値は「０」）の次の視点番号６０１を設定し、視点位置設定テーブル６００の中から、その視点番号６０１に対応する視点位置６０２と視線方向６０３とを取得する。

次に、表示処理部１５は、Ｓ１３で所得した視点位置及び視線方向にて、地上投影画像２１０を俯瞰した場合の俯瞰図を生成する（Ｓ１４）。なお、表示処理部１５は、図３で示した方法と同様にして、視点ｐから所定の距離にある投影面（図３の取得画像５１０の面に対応）に、地上投影画像２１０（地上投影画像５３０に対応）を投影することにより、俯瞰図を生成する。

そして、表示処理部１５は、図８に示すように、表示装置４０の表示画面４００に俯瞰図を表示する（図４のＳ１５）。

図８に示すように、表示処理部１５は、表示画面４００に、車両周辺の画像を表示するための領域４１０と、視点の位置を示す画像を表示するための領域４２０とを設ける。領域４１０には、Ｓ１４で生成した画像を表示する。領域４２０には、車両を示すアイコン（「車両アイコン」という）４２１を表示し、その周辺に、視点の移動軌跡４２２を示し、さらに現在設定している視点位置ｐを示す。

その後、表示処理部１５は、Ｓ１１に戻って処理が続行されるようにする。

こうして、図４で示したフローが定期的に繰り返し行われる。

以上、本発明の一実施形態について説明した。

上記実施形態によれば、ユーザが車両の周囲を歩いたならば見えるであろう状況を、表示装置に表示することができる。

したがって、ユーザは、自ら車両周囲を歩いて確認している気になることができ、車両周囲の状況が把握しやすくなる。

なお、表示処理部１５は、ユーザから入力装置３０を介して、視点ｐの軌跡２２０の設定、変更を受け付けてもよい。例えば、視点ｐの高さの指定を受け付け、受け付けた高さになるように、視点設定テーブル６００の視点位置ｐを変更する。

また、視点ｐの移動の出発点を、変更できるようにしてもよい。例えば、運転手席に近い側からにするか、助手席に近い側からにするかの選択を受け付けて、上記のＳ１３の処理では、視点設定テーブル６００の中から、選択された位置に近い視点ｐから順に選択するようにする。

また、車両の発進時に、図４で示したフローが開始されるようにしてもよい。例えば、主制御部１１は、車載カメラシステム１の電源がＯＮされた場合に、図４のフローが開始されるようにする。または、車両のイグニッションのＯＮ／ＯＦＦを検知するセンサを設け、主制御部１１は、イグニッションがＯＮされたことを検知して、図４のフローを開始するようにする。

こうすれば、車両周辺の確認が必要な場面で、ユーザに車両周辺の確認を促すことができる。

本発明は、経路探索や経路誘導を行う車載用ナビゲーション装置に適用することができる。

また、通信ネットワークにより撮像画像を外部の機器に送信して、外部の機器において、上記した方法で撮像画像を表示するようにしてもよい。

図１は、本発明の一実施形態が適用された車載カメラシステムの概略構成図である。 図２は、カメラの搭載位置を示す図である。 図３は、撮像画像を地上面に投影する様子を示す図である。 図４は、車両周囲の表示処理のフロー図である。 図５は、移動する視点位置を説明するための図である。 図６は、移動する視点位置を説明するための図である。 図７は、視点設定テーブルの構成を示す図である。 図８は、表示画面の一例を示す図である。

符号の説明

１・・・車載カメラシステム、
１０制・・・御装置、１１・・・主制御部、１２・・・カメラ制御部、１３・・・カメラ画像処理部、１４・・・入力内容解析部、１５・・・表示処理部、１６・・・音声処理部、
２０・・・カメラ、
３０・・・入力装置、
４０・・・表示装置、
５０・・・音声出力装置

Claims (3)

1. 車載カメラシステムであって、
   車両に搭載された複数のカメラと、
   前記複数のカメラにより撮像された前記車両の近傍の画像を取得する撮像画像取得手段と、
   前記撮像画像取得手段で取得した画像を、地上面に投影して地上面投影画像を生成する手段と、
   車両周囲の軌跡を示す位置情報を取得する手段と、
   前記位置情報が示す車両周囲の軌跡上に所定の高さの視点を設定する視点設定手段と、
   前記地上面投影画像を、前記視点設定手段で設定した車両周囲の軌跡上の視点から所定の視線方向で見た場合の画像に変換する画像変換手段と、
   前記画像変換手段で変換した画像を表示する表示手段と、を備え、
   前記視点設定手段は、
   前記車両周囲の軌跡に沿って一周するように視点の位置を更新し、
   前記表示手段は、前記更新された視点の位置に応じた画像を表示する
   ことを特徴とする車載カメラシステム。
2. 請求項１に記載の車載カメラシステムであって、
   前記表示手段は、
   表示している画像と共に、該画像が見える車両周囲の軌跡上の位置を示す情報を表示する
   ことを特徴とする車載カメラシステム。
3. 車両に搭載された複数のカメラを有する車載カメラシステムの表示方法であって、
   前記複数のカメラにより撮像された前記車両の近傍の画像を取得する撮像画像取得ステップと、
   前記撮像画像取得ステップで取得した画像を、地上面に投影して地上面投影画像を生成するステップと、
   車両周囲の軌跡を示す位置情報を取得するステップと、
   前記位置情報が示す車両周囲の軌跡上に所定の高さの視点を設定する視点設定ステップと、
   前記地上面投影画像を、前記視点設定ステップで設定した車両周囲の軌跡上の視点から所定の視線方向で見た場合の画像に変換する画像変換ステップと、
   前記画像変換ステップで変換した画像を表示する表示ステップと、を行い、
   前記視点設定ステップでは、
   前記車両周囲の軌跡に沿って一周するように視点の位置を更新し、
   前記表示ステップでは、前記更新された視点の位置に応じた画像を表示する
   ことを特徴とする車載カメラシステムの表示方法。

Images