JP4449537B2 - 車外情報表示装置 - Google Patents

Description

この発明は、車両に搭載された車外情報表示装置に係り、詳しくは、車両の外側の透過画像を表示する車外情報表示装置に関するものである。

従来、自動車の運転者が、車両の周囲を視認する際、車体自体の影となって視覚が遮られ、認識できない死角領域が、車両の周囲に存在する。従来では、運転操作の補助として死角領域をカメラ等の画像取得機器で取得し、画像を車内のモニターに映し出す構成が提案されている。例えば、車両後尾に、車両の後尾に近接した領域を映し出すカメラを設置し、後退時には自動的に車内モニターに後方の撮影画像が映し出される構成などが提案されている。
特開２００２−２６２２８０

特許文献１に代表されるように、画像が映し出されるモニターは、車両側に固定されている。このため、肉眼で確認したい方向と、モニターの設置位置が一致しない場合には、肉眼で車外を確認し、かつモニターに顔を向けて死角領域を確認するといった煩わしい動作を行う必要がある。

例えば、車両後方の死角領域を映し出すバックモニターでは、後退時に後方を肉眼で確認するために、顔をバックシートの方向へ向けつつ操舵するとともに、死角領域の確認をする際には、運転席の前方に配置されたモニターを見る必要がある。この様に、後退時には、顔を前後に頻繁に向き直らせなければならず、かえって操作がやりづらくなるといった問題がある。

また、従来の装置ではモニターは固定されているので、運転者が見たいところを見るためには、本体やリモコンに設置されたジョイスティックやタッチパネル装置を用いてメニュー画面からカメラを切り替え、或は、カメラをパン・チルトさせるといった手段を取っていた。運転者はこれらの手段により、カメラ画像をスクロールさせ、或は、カメラ画像の切り替えを行う必要があり、運転者にとっては大変煩わしいものであった。

この発明は、任意の方向の車外状況を、使用者の視点位置から見た画像として、使用者の視線上に表示できる車外情報表示装置を提供することを目的とする。

以上のような問題を解決する本発明は、以下のような構成を有する。
（１） 車両の周囲を撮像する撮像手段と、
車両に対して着脱可能に設けられ、画像表示面を有するディスプレイと、
該ディスプレイに配設され、車両室内の画像を撮像する車内撮像手段と、
該撮像した車両室内の画像に基づき、予め定められた起点と前記ディスプレイとの位置関係を検出する位置検出手段と、
前記撮像手段が撮像した画像から、前記位置検出手段により検出した位置関係に基づき、基準点からディスプレイの延長線上に存在する車両周囲の画像を抽出する画像抽出手段と、
前記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、
を有することを特徴とする車外情報表示装置。

（２） 車両の輪郭を記憶する車両情報記憶手段と、を備え、
前記位置検出手段は、前記車内撮像手段が撮像した複数の画像の変化に基づき前記ディスプレイの位置関係を推定し、当該推定した位置関係における前記車両の輪郭と前記車両室内の画像に含まれる輪郭とが合致した場合、推定した位置関係を、前記ディスプレイの位置関係として検出する
ことを特徴とする上記（１）に記載の車外情報表示装置。

（３） 前記基準点は、前記ディスプレイ使用者の視点位置を想定した位置であることを特徴とする上記（１）に記載の車外情報表示装置。

（４） 前記位置検出手段によって検出された位置関係に基づき、前記ディスプレイを使用している使用者の視点位置を特定する視点位置特定手段と、
前記画像抽出手段によって抽出した画像を、前記視点位置特定手段によって特定された視点から見た画像に視点変換処理する視点変換手段と
を有する上記（１）に記載の画像表示装置。

（５） 前記車両情報記憶手段に記憶されている車両の輪郭から、前記視点位置特定手段によって特定された視点位置から視認した場合の車両輪郭を形成する輪郭形成手段と、
前記輪郭形成手段によって形成された車両の輪郭を前記表示手段に表示される画像に合成する画像合成手段と
を有する上記（４）に記載の画像表示装置。

請求項１に記載の発明によれば、基準点からディスプレイ方向の延長線上に存在する車両周囲の画像がディスプレイに写し出されるので、車両の陰になって死角となる領域の状況を正確に把握することができる。また、車内の画像に基づきディスプレイの位置を決定するため、傾斜センサや加速度センサなどのセンサ類により位置検出する場合に比較して、構成が簡易となり、ディスプレイの軽量化を図ることができる。

請求項２に記載の発明によれば、ディスプレイの位置を決定するための基準となる輪郭画像が予め車両情報記憶手段記憶されており、この記憶されている輪郭と車両室内の画像に含まれている輪郭とを合致させることにより、ディスプレイの位置関係を決定するため、より精度の高い位置検出を行うことができる。

請求項３に記載の発明によれば、基準点を、ディスプレイ使用者の視点位置を仮想的に想定した位置とすることによって、画面が向けられている方向の反対方向の車両周囲画像が表示され、表示されている画像の向きと、使用者が向いている向きが合致し、あたかも画面に車両の透視画像が表示されるように認識でき、使用者の方向感覚や距離感覚に合致した画像を表示することができる。

請求項４に記載の発明によれば、ディスプレイに表示される画像は、特定された視点位置から使用者が外部を見た場合の画像に視点変換されるため、表示されている画像の内容について、使用者の位置している場所からの相対位置が感覚的に把握し易い。
請求項５に記載の発明によれば、車両の輪郭が画像に合成されて表示されるため、ディスプレイに表示された車両周囲の状況と車両との位置関係が把握し易い。

次にこの発明の車外情報表示装置１の好適実施形態について説明する。本発明の車外情報表示装置１は、自動車に搭載され、画像取得装置１Ａと画像表示装置１Ｂとを有している。図１は、画像取得装置１Ａの構成を示すブロック図である。画像取得装置１Ａは、車両１０に取り付けられ車両の周囲を撮像する撮像手段である複数のカメラ３Ｆ〜３Ｂと、画像処理等の演算及び制御を行う演算処理装置４Ａと、メモリ５Ａと、画像表示装置１Ｂとの通信を行う通信装置６１Ａと、画像表示装置１Ｂの接続を行う接続部６２Ａと、各座席毎に設けられている座席センサ７１Ａ、７２Ａ・・７ｎＡと、これらの装置の通信を媒体するシステムバス１１Ａとを備えている。

カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、図２に示されているように、車両１０の側面に、外側に向けて設けられている。車両１０において、カメラ３Ｆは車体前部中央に、カメラ３Ｂは、車体後部中央に、カメラ３Ｒは、車体右側面運転席側方に、カメラ３Ｌは、車体左側面運転席側方にそれぞれ設けられている。本実施形態での各カメラは、魚眼レンズであり、１８０°の画角を有している。側面に設けられたカメラ３Ｒ、３Ｌは、車体の中央部でなく、運転席の側方に設けられている。これは、本装置を使用するのは運転者であることが多いので、カメラ３Ｒ、３Ｌの撮影位置を、使用者（運転者）の視点位置に近づけるために、そのような位置としている。後述する視点変換処理をする際に、変換処理の負担が軽減されるとともに、変換後の画像の歪みも抑えることができるからである。

カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、それぞれ魚眼レンズを用いており、例えばＣＣＤ（Charge-Coupled Devices）により、光（画像）信号を電気信号に変換する構成を備えている。それぞれのカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、Ａ/Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂを介してシステムバス１１Ａに各々接続される。カメラ３Ｆは、車両１０の前方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｒは、車両１０の右側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｌは、車両１０の左側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｂは、車両１０の後方にレンズの光軸を向け、その周囲の景色を画像として取得する。

各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂから出力された画像信号は、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂによって、それぞれデジタル信号に変換される。また、接続されたカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが、デジタル信号出力が可能なものである場合には、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂには不要である。なお、本実施形態では、上述のように、撮像手段は、魚眼レンズを用いたカメラ４つを有しているが、車両の周囲３６０°の画像を取得できれば、どのようなカメラを用いても構わない。例えば、５つ以上の複数のカメラを、車両の外側に向けて設置してもよく、また、３６０°の画像を取得できるカメラを１つ用いてもよい。

演算処理装置４Ａは、中央処理装置［ＣＰＵ（Central Processing Unit）］４１Ａと、リードオンリーメモリ［ＲＯＭ］４２Ａと、ランダムアクセスメモリ［ＲＡＭ］４３Ａとを備えている。中央処理装置４１は、例えば、画像取込装置１Ａと、画像表示装置１Ｂとの相対位置を演算し、或は、各カメラから取得された画像に基づいて、車体１０周囲の３６０°画像を合成し、或は、合成した画像から画像表示装置１Ｂへ送る画像を切り取り（抽出し）、また、切り取った画像を使用者の視点位置に視点変換し、切り取った画像に、車両の輪郭を合成する、或は画像表示装置１Ｂとのデータの送受信などの処理及び演算を行う。
ＲＯＭ４２には、例えば、中央処理装置４１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ４３は、例えば、各種画像処理等を行う場としてのワーキングエリアとして使用される。

メモリ５Ａは、各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが撮影した画像を経時的に連続してそれぞれ記録するカメラ画像バッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂと、描画用画像バッファ５２と、画像処理情報メモリ５３と、車両情報記憶手段である車体データメモリ５４と、ワークメモリ５５とを備えている。

描画用画像バッファ５２には、カメラ画像に画像処理を施して生成した画像が保存される。画像処理情報メモリ５３には、視点変換、歪み補正、合成等画像処理を実行するために必要な変数が保存される。例えば、ＧＵＩで構成されたメニュー画面等を介して設定値の入力や変更は適宜可能となっている。車体データメモリ５４には、表示画像に重ねて、車体透過イメージを作るために必要な輪郭情報が格納されている。輪郭情報には、車体の輪郭やタイヤ位置等を表現した３Ｄモデリングデータまたは３Ｄに見えるように描かれたビットマップデータなどが保存されている。この車体データメモリ５４に保存されるデータには、カメラ画像または画像処理後のカメラ画像と合成するために使用するマスクデータも含まれる。

座席センサ７ｎＡは、各座席の下側に設けられ、座席の前後方向移動をガイドするレールに沿って設けられ、座席の前後方向の移動量を検出する。また、背もたれ基端部の揺動支持部にも設けられ、背もたれの傾斜角度を検出する。このような、前後方向の移動距離により、座席の位置（座標）を特定することができ、さらに、背もたれの傾斜角度が特定されることから、その座席に座った者の頭部の位置、ひいては視点位置を特定することがでる。

通信装置６１Ａは、画像表示装置１Ｂからのセンサデータ受信、画像表示装置１Ｂへの描画用画像データ送信を行う。通信手段としては、有線と無線があるが、無線の場合は、無線ＬＡＮ（ＩＥＥＥ802．11ａ／ｂ／ｇ）、Ｂｌｕｅｔｏｏｔｈ、赤外線（ＩｒＤＡ）、小電力ＦＭトランスミッター、ＵＷＢ（Ultra Wide Band）、スペクトラム拡散（ＳＳ）等が考えられる。

接続部６２Ａは、接続端子を備え、画像表示装置１Ｂの接続部６２Ｂに設けられた接続端子と接続するものである。画像表示装置１Ｂの接続部６２Ｂと接続することによって、通信装置６１Ａと同様の作用をする。この接続部６２Ａは、例えば、画像表示装置１Ｂと接続するための保持位置として機能する。

図３は、画像表示装置１Ｂの構成を示すブロック図である。画像表示装置１Ｂは、画像処理等の演算及び制御を行う演算処理装置４Ｂと、通信装置６１Ｂと、接続部６２Ｂと、メモリ５Ｂと、位置・角度検出装置７Ｂと、Ａ/Ｄ変換装置７１Ｂと、表示装置８と、Ｄ／Ａ変換装置８１と、室内カメラ９と、Ａ／Ｄ変換装置９１と、これらの装置の通信を媒体するシステムバス１１Ｂを有している。

演算処理装置４Ｂは、中央処理装置［ＣＰＵ（Central Processing Unit）］４１Ｂと、リードオンリーメモリ［ＲＯＭ］４２Ｂと、ランダムアクセスメモリ［ＲＡＭ］４３Ｂとを備えている。中央処理装置４１Ｂは、例えば、位置・角度検出装置７からの位置と角度のデータ(センサデータ)、室内カメラ９による画像データ等をメモリ５Ｂへ書き込みおよび演算、データ送受信の制御、画像の描画、カメラ画像と車室内輪郭データとのマッチング処理等を行う。通信装置６１Ｂは、画像取込装置１Ａからの座席位置の受信やセンサデータ送信、画像表示装置１Ａからの描画用画像データ受信を行う。接続部６２Ｂは、接続端子を備え、画像取得装置１Ａの接続部６２Ａに設けられた接続端子と接続することによって、通信装置６１Ｂと同様の作用をする。

位置・角度検出装置７Ｂは、画像表示装置１Ｂの基準点からの位置および角度を検出する。位置・角度検出装置７Ｂは、ジャイロセンサ、加速度センサ、地磁気センサ等により構成される。これらのセンサは画像取得装置1Ａと画像表示装置1Ｂとの相対距離(位置関係)及び相対角度(方向)を算出するために用いるものであり、相対距離及び相対角度を算出できるものであれば、上述のセンサのうち１つの使用でも複数の使用でもかまわない。さらに、本発明は上述のセンサに限られるものではなく、相対距離及び相対角度を検出できるものであれば、どのようなセンサを用いてもかまわない。

ジャイロセンサ、地磁気センサによって、画像表示装置１Ｂの向きが検出され、加速度センサによって移動距離や角度（仰角・俯角）が検出される。さらに、車内に設けられた３つの測量点から、電波・超音波等によって画像表示装置１Ｂの位置を三点測量し、位置検出する方法などが採られる。具体的には、上記センサ類による位置検出と、三点測量による位置検出とを複合的に用いて、位置検出が行われる。この位置検出の演算は、センサ類が検出したデータに基づく演算及び三点測量による演算は、中央処理装置４１Ｂで行われる。さらに、画像表示装置１Ｂの姿勢は、ＧＰＳや電波測量と同じように、画像表示装置１Ｂ側の３点の位置をそれぞれ検出することによっても、検出することができる。

Ａ/Ｄ変換器７１Ｂは、アナログ出力であるセンサ出力を中央処理装置４Ｂが扱えるようにデジタルデータに変換する。なお、位置・角度検出装置７Ｂからの出力が予めデジタル出力の場合には、Ａ/Ｄ変換器７１Ｂは不要である。

本発明の表示手段である表示装置８は、受信した描画用画像データを表示する。表示装置８は、ディプレイ画面を備え、ディスプレイ画面は、例えば液晶パネルやＥＬパネル等が用いられる。Ｄ／Ａ変換器８１は、表示装置８がアナログ入力の場合、中央処理装置１Ｂが扱うデジタルデータをアナログデータに変換する。表示装置８がデジタル入力対応であれば不要となる。

車内撮像手段としての室内カメラ９は、例えばＣＣＤ（Charge-Coupled Devices）により、光（画像）信号を電気信号に変換する構成を備えている。画像信号は、Ａ/Ｄ変換器９１によってデジタル信号に変換され、バスライン１１Ｂを介してメモリ５Ｂのカメラ画像バッファ５１Ｂに供給される。室内カメラ９は、画像表示装置１Ｂにおいて、例えば、表示装置８のディスプレイ画面の裏側に設けられる。そして、室内カメラ９の向きは、ディスプレイ画面に対して反対方向（ディスプレイ画面を見る操作者の視線の方向）に向けられる。また、室内カメラ９の設置位置は、特に限定されないが、ディスプレイ画面の反対側面の略中央であることが好ましい。後述するように、室内カメラ９によるカメラ画像により、画像表示装置１Ｂの位置を検出するため、室内カメラ９の位置が位置検出の基準となる位置となるからである。

メモリ５Ｂは、カメラ画像バッファメモリ５１Ｂと、描画用画像バッファメモリ５２Ｂと、車室内輪郭データメモリ５３Ｂと、マッチング用画像データメモリ５４Ｂと、画像処理用設定値メモリ５５Ｂと、センサデータバッファメモリ５６Ｂと、ワークメモリ５７Ｂとを有している。

カメラ画像バッファメモリ５１Ｂには、室内カメラ９で撮影した画像が蓄積される。描画用画像バッファメモリ５２Ｂは、画像取得装置１Ａから供給された画像を蓄積する。車室内輪郭データメモリ５３Ｂは、車の室内の３次元輪郭情報が蓄積される。輪郭情報には、フロントガラスの輪郭、左右窓の輪郭、ハンドルの輪郭、各座席の輪郭などが含まれる。このデータは、画像取得装置１Ａが持つ車体データ５４Ａを通信インターフェース６１Ｂを介して取得したものを格納してもよい。

マッチング用画像データメモリ５４には、車室内輪郭データメモリ５３Ｂに蓄積されている輪郭情報から、画像表示装置１Ｂの推定された位置情報に基づいて、中央処理装置４１Ｂが作成した室内輪郭のマッチング用画像が蓄積される。画像処理用設定値メモリ５５Ｂには、輪郭検出、動き検出、各種フィルタリング処理、マッチング等を実行するために必要な変数を格納する。これらの値は、入力装置を介して設定値の入力や変更が可能である。センサデータバッファメモリ５６Ｂは、位置・角度検出装置７Ｂで検出された数値を格納する。
ワーキングメモリ５７Ｂは、マッチング用画像と室内カメラ９で撮影した室内画像に含まれる輪郭との比較等の処理において、ワーキングエリアとして用いられる。

以上のように構成された本発明の車外情報表示装置１の作用について、図４に示されているフローチャートに基づき説明する。
システムが起動すると、まず画像取込装置１Ａ及び画像表示装置１Ｂの初期化処理が行われる（ステップＳ１０１、Ｓ２０１）。システム起動は、イグニッションON、スイッチ操作等によって行われ、シフトポジションや車速に応じて動作するといった動作制限を設けても良い。例えば、シフトポジションが、ドライブギアからバックギアに変更された動作を検出して、システムが起動する構成としてもよい。また、画像表示装置1Ｂを保持位置（接続部６２Ａ）から離脱させた場合に、即ち、接続部６２Ａと接続部６２Ｂの接続が切り離された場合に、システム起動する構成としてもよい。

画像取込装置１Ａの初期化処理としては、カメラ３Ｆ〜Ｒ電源のオンや明るさ・コントラスト設定等のカメラの初期化を行い、画像取込のための準備を行う。また、画像処理に必要となるパラメータを、メモリ５Ａに格納されたデフォルト値を読み出す、或はユーザー入力を促す等の方法で設定する。また、画像表示装置１Ｂの初期化処理としては、位置・角度検出のために用いるセンサ類の初期化が行われ、また、測定基準点を保持位置に設定するなどの処理が行われる。また、画像取込装置１Ａと同様に、室内カメラ９の電源オンや明るさ・コントラスト設定等のカメラの初期化を行い、画像取込のための準備を行う。また、画像処理に必要となるパラメータを、メモリ５Ｂに格納されたデフォルト値を読み出すなどの処理がおこなわれる。このような、画像表示装置１Ｂ側の初期化処理において、画像表示装置１Ｂの位置検出を行うために装備されている構成要素（例えば、位置・角度検出装置７Ｂ、室内カメラ９）の初期化は、接続部６２Ａと接続部６２Ｂの接続が切り離された場合にのみ行われる構成としてもよい。

画像取込装置１Ａと画像表示装置１Ｂとの間で、通信回線の接続処理を行う（ステップＳ１０３、Ｓ２０３）。そして、回線が確立すると、画像取込装置１Ａ側では、各カメラから画像取込を開始する（ステップＳ１０５）。取込まれた画像データはメモリ５Ａに確保されたバッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂに随時格納される。また、画像表示装置１Ｂでは、室内カメラ９により車室内の画像の取り込みが開始される（ステップＳ２０５）。取込まれた画像データはメモリ５Ｂに確保されたカメラ画像バッファ５１Ｂに格納される。

次に、画像取込装置１Ａでは、座席センサ７１Ａ〜７ｎＡで検出された座席位置データを画像表示装置１Ｂに送信する（ステップＳ１０７）。この座席位置データは、各座席の前後方向の位置（後述のＸＹ座標で示される）と、背もたれの角度が含まれる。

画像表示装置１Ｂでは、供給された座席位置データに基づいて、車室内の輪郭データを補正する（ステップＳ２０７）。つまり、座席位置は、デフォルト位置となっているので、実際の座席位置に応じて輪郭データを変更し、実際の座席の輪郭に合致するように輪郭データを補正する。次に画像表示装置１Ｂでは、画像表示装置１Ｂの位置・角度検出処理（ステップＳ２０９）が行われる。

図５は、画像表示装置１Ｂの位置・角度検出処理を示すフローチャートである。
ステップＳ２０５で取得したカメラ画像において、動き検出処理を行う（ステップＳ３０１）。即ち、カメラ画像から動き検出を行い、画像表示装置の保持部（起点）から動いた方向を検出する。動き検出とは、動画像中で移動する静止物体の（画像中での）座標変化を検出することにより、相対的に画像表示装置１Ｂの移動方向や距離を検出することができる。動き検出処理には、全探索法や勾配法による動きベクトルの検出等の公知の技術を用いることとし、必要であれば公知のフィルタリング処理も行ってよい。

ステップＳ３０１で検出した動きに基づいて、車室内輪郭データ５３Ｂから画像を抽出し、マッチング用モデルを作成する（ステップＳ３０２）。具体的な処理としては、ステップＳ３０１で検出した、画像表示装置１Ｂの動きに基づいて、室内カメラ９に映し出されていると予想される範囲を推定（推定範囲）する。そして、車室内輪郭データメモリ５３Ｂに格納されている３Ｄモデリングデータにおいて、上記推定範囲に該当する画像を設定し（例えば、視点は車室中央で、方向は車両前方等）、検出した動きに対応させた傾斜（例えば、固定物の像（例えば、座席の像）の画像中での１０ドットの動きは、画像表示装置１Ｂの1°傾斜に相当する等）を加えた画像を抽出してマッチング用モデル画像を作成する。

次にマッチング用モデル画像と比較しやすいようにカメラ画像に対して輪郭検出を行う（ステップＳ３０３）。必要であれば、公知のフィルタリング処理が行われる。輪郭検出は、固定物の輪郭を検出する。例えば、座席、フロントガラス等の輪郭である。

公知のパターン認識等を用いて、ステップＳ３０２で作成したマッチング用モデル画像とステップＳ３０３で作成した輪郭検出済みのカメラ画像とを比較することによりマッチングを行う（ステップＳ３０４）。

マッチング用モデル画像と輪郭検出済みのカメラ画像とを比較して、両者が合致するか（マッチングしたか）否かを判断する（ステップＳ３０５）。重ならない場合には、その誤差を検出し、ステップＳ３０２で推定した位置や角度を変更して、マッチング用モデルを再生成し（ステップＳ３０６）、再度ステップＳ３０５を実行する。

ステップＳ３０５で、マッチした場合には、その時点での、マッチングモデルを生成するために用いた画像表示装置１Ｂの位置・角度を、画像表示装置１Ｂの位置関係として決定する（ステップＳ３０７）。決定される値は、画像表示装置１Ｂのディスプレイ画面の姿勢（仰角又は俯角、画面の向き（車に対しての水平方向の回転角度））、車室内における位置（ＸＹ座標）である。このステップＳ３０１からステップＳ３０７の処理により、本願発明における位置検出手段が構成される。また、ステップＳ２０９による画像表示装置位置角度検出処理は、室内カメラ９からではなく、位置角度検出センサ７Ｂによって検出してもよい。

ステップＳ３０７で決定された画像表示装置１Ｂの位置・角度データを画像取得装置１Ａへ送信する（ステップＳ２１１）。画像取得装置１Ａでは、受信した位置・角度データに基づき描画データを作成する（ステップＳ１１１）。図６は描画データ作成処理を示すフローチャートであり、この処理は、画像抽出処理（ステップＳ４０１）と、画像処理（ステップＳ４０３）とを有している。図７は、画像抽出処理を示すフローチャートである。

ステップＳ２０９で決定された位置及び姿勢から使用者の視点位置（基準点）を特定する（ステップＳ５０３）。この実施形態では、視点位置は、座席センサ７１Ａ〜７ｎＡの検出結果に基づき、各座席毎の座標が画像処理情報メモリ５３Ａに記憶されている。例えば、運転席１１１には、視点位置Ｅ1が座標（ｘｅ1，ｙｅ1，ｚｅ1）として記憶されている。助手席１１２には、視点位置Ｅ2が座標（ｘｅ2，ｙｅ2，ｚｅ2）として、その他３人掛けの後部座席１１３には、視点位置Ｅ３、Ｅ４、Ｅ５が、座席１１４には、視点位置Ｅ６、Ｅ７、Ｅ８をそれぞれ検出し、それぞれ固有の座標が記憶されている。そして、各視点位置に応じた領域が予め定められており、どの領域内に画像表示装置1Ｂが含まれているかを判断し、その領域に対応した視点位置が決定される。

この領域は、各座席毎に設定され、座席の第１列目の背もたれよりも前方側の領域であって、運転席と助手席に対応した領域、この領域には、視点位置Ｅ１、Ｅ２がそれぞれ対応している。

第２列目の座席１１３の背もたれと、第１列目の座席１１１、１１２の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ３、Ｅ４、Ｅ５がそれぞれ対応している。

第３列目の座席１１４の背もたれと、第２列目の座席１１３の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ６、Ｅ７、Ｅ８がそれぞれ対応している。

そして、各領域の境目に画像表示装置1Ｂが位置する場合には、表示装置であるディスプレイ８が表示する側にある視点位置が選択される。このような作用を有するステップＳ５０３によって、視点位置特定手段が構成される。このように、画像表示装置1Ｂの位置と、姿勢が特定されると、視点位置（基準点）が決定される。この実施形態では、運転席の運転手の視点位置Ｅ１となる。

視点位置の特定方法として、予め座席位置に応じた視点位置の座標を決めておき、これを記憶しておく構成の他、位置特定された画像表示装置１Ｂのディスプレイ画面８の中心を通る垂直線（軸線）上に位置し、ディスプレイ画面８から所定の距離（例えば、３５〜５０ｃｍ程度の範囲内で予め定められた距離）離れて位置する点を視点位置と想定し、その位置の座標を算出する方法を摂ってもよい。さらに他の方法としては、ディスプレイ画面８が設けられている側において、画像表示装置１Ｂに最も近い視点位置を、８つの視点位置の中から選択する方法としてもよい。

以上のとおり、視点位置Ｅ１が特定されると、該視点位置Ｅ１と、ディスプレイの中央部とを結ぶ直線が特定され、この直線の延長線上において、視点位置Ｅ１からディスプレイ８へ向かう方向が、画像を取得する方向として特定される（ステップＳ５０４）。このステップＳ５０４によって方向検出手段が構成される。

次に、視点位置Ｅ１とディスプレイ８とを結ぶ直線を平面に投影した場合の直線Ｌ1と、車両の軸線（Ｙ軸）との成す角α（回転角）を算出する（ステップＳ５０５）。ステップＳ５０２及びステップＳ５０５により角度検出手段が構成される。
次に、角度αに基づき、抽出画像を抽出する画像を取り込むカメラを選択する（ステップＳ５０７）。このステップＳ５０７によって、選択手段が構成される。

角度αについては、図２に示されているように、カメラレンズの光軸の交差点を中心として、前方を0°後方を±180°、左方向をマイナス値、右方向をプラス値と設定する。そして、- 25°<α< 25°の場合には、前方カメラ３Ｆ、-160°<α<-25°の場合には、左側方カメラ３Ｌ、25°<α<160°の場合には、右側方カメラ３Ｒ、-160°<α<-180°の場合又は160°<α<180°の場合には、後方カメラ３Ｂを選択する。このように、切り出す画像の領域、車両の側面のカメラ３Ｒ、３Ｌで取得された画像がより広く、車両の前後のカメラ３Ｆ、３Ｂで取得された画像が狭く構成されている。車両に並走する自転車やオートバイを捕えるためには、側面のカメラの画像が有用であるからである。換言すると、側面のカメラ３Ｒ、３Ｌを原則として用い、これらのカメラで捕えられない領域、即ち、真正面、真後などの領域では、前方に設けられたカメラＦと後方に設けられたカメラＢを用いる。

この他、ステップＳ５０７によって構成さる選択手段の他の実施形態として、撮像方向に向けられたカメラレンズの光軸（ベクトル）と、特定された視点位置から画像表示装置１Ｂへ向かう延長線（ベクトル）との交差角度が、最も小さいカメラを選択する構成としてもよい。カメラの光軸と視線とが最も平行に近いカメラが選択されるので、視点変換された画像の歪みが抑制され、より鮮明な画像を得ることができる。このような選択方法は、魚眼レンズを有さないカメラを多数設け、これらのカメラ画像を繋ぎ合わせて画像を構成する場合に特に有用である。

さらに、その他の方法として、直線Ｌ１が、車体の側面の輪郭線と交差する場合には、側面に設けられたカメラ３Ｒ、３Ｌを選択し、車体の正面の輪郭と交差する場合には、正面のカメラ３Ｆを選択し、車体の背面の輪郭と交差する場合には、背面のカメラ３Ｂを選択する構成としてもよい。また、ステップＳ５０５によって検出された角度αではなく、車両に対するディスプレイの向いている方向のカメラを選択する構成としてもよい。

次に、選択されたカメラの魚眼画像内において、抽出する画像の抽出位置を決定する（ステップＳ５０９）。図７に示されているように、選択されたカメラ画像（魚眼画像Ｐｃ１）から、抽出画像Ｐｃ２を決定する。具体的には、カメラ選択に使用した角度αを魚眼画像Ｐｃ１の横方向の座標に変換する。魚眼画像の縦方向の座標については、画像表示装置の仰角または俯角に対応させる。例えば、α=-70°、ステップＳ２０９で決定した俯角データが-20°であれば、魚眼画像内の位置では、水平方向20°（＝90°−70°）、垂直方向-20°となる。（ただし、魚眼画像の中心を0°とし、中心から右・上方向を＋値、左・下方向を−値とした場合。）
このようにして抽出される画像の中心点Ｐ０が決定される（ステップＳ５０９）。そして、この中心点Ｐ０を中心とした抽出画像Ｐｃ２が抽出される（ステップＳ５１１）。このステップＳ５０１〜Ｓ５１１によって、画像抽出手段が構成される。

次に、抽出された画像の画像処理が行われる（ステップＳ４０３）。図１０は、ステップＳ４０３の画像処理の内容を示すサブルーチンである。抽出画像Ｐｃ２に正像変換処理を行うことで、歪みを補正する（ステップＳ６０１）。次に視点変換処理（ステップＳ６０３）を行い、車体データを合成する画像合成処理を行う。

ステップＳ５０３において決められた視点位置（図８においては、運転車の視点位置Ｅ1）が基準点とされる。この視点位置に基づき、ステップＳ６０１で処理された画像を、アフィン変換により、カメラ視点の画像から決められた視点位置からの視点画像になるように画像処理する（ステップＳ６０３）。これにより、取得された画像が、特定された視点位置から見た場合の画像に変換される。このステップＳ６０３によって視点変換手段が構成される。

以上のように視点変換処理を行った後、画像合成処理を行う。即ち、車体データメモリ５４に格納されている車体輪郭データ、タイヤ設置位置データ等を読み出す（ステップＳ６０５）。これらのデータは、車体輪郭やタイヤなどを、画面に映し出す画像化するために必要なデータである。これらのデータを用いて、ステップＳ５０１〜５０９で得られた画像抽出方向のデータに基づき、ステップＳ５１１で抽出される画像と同じ視線方向の車体輪郭画像を生成する（ステップＳ６０７）。

車体輪郭画像とは、具体的には、例えば、車体の輪郭を示すワイヤーフレーム画像、或は、車体内部を映した半透明画像などがある。これらの画像は、車体全部を表している必要はなく、車体の一部であってもよい。車体と外部状況との位置関係が把握できる程度のものでよい。例えば、窓枠、車輪、テールランプ、ヘッドランプなどの内の１つ又は２つ以上のワイヤーフレーム（又は、半透明画像）でもよい。

生成された車体輪郭画像について、ステップＳ６０３で決定された視点位置に基づき、視点変換処理を行う（ステップＳ６０９）。変換方法は、ステップＳ６０３で行った変換方法と同様である。ステップＳ６０５〜Ｓ６０９によって、輪郭形成手段が構成される。

また、輪郭形成手段は、上記ワイヤーフレームの画像を各使用者毎(座席毎)に格納されていてもよく、その場合には、ステップＳ６０３にて特定された使用者（視点位置）に応じたワイヤーフレームを読み込み合成する。こうすることにより画像処理負荷を軽減することが可能である。

ステップＳ６０９で得られた車体輪郭画像を、視点変換処理（ステップＳ６０３）が終了した、車外画像に合成する（ステップＳ６１１）。このように合成された画像は、車体の輪郭が把握できるとともに、車体を透視して視認できる車外状況が同時に把握できる画像である。ステップＳ６１１によって、画像合成手段が構成される。

上記画像処理におけるステップＳ６０１、Ｓ６０３及びＳ６０５〜６１１の３つの処理は、必ずしも上記順番で行われる必要はなく、これらの３つの処理が行われるのであれば、処理の順番は、特に限定されない。例えば、視点変換、画像合成をした後、正像変換してもよく、最初又は最後に視点変換を行ってもよい。

以上のように生成された描画データを、通信装置６１Ａを介して、画像表示装置１Ｂへ送信する（ステップＳ１１３）。画像表示装置１Ｂでは、画像取込装置1Ａから送信された描画データを通信装置６１Ｂを介して受信する（ステップＳ２１３）。受信した描画データをディスプレイ画面８に画像表示する（ステップＳ２１５）。このステップＳ２１５によって表示手段が構成される。図１１に示されているように、ディスプレイ画面８に表示された画像８２は、そのディスプレイ画面８を見ている使用者にとっては、その視線の延長線上にある車外画像に、車体の輪郭Ｂｄが重ねて表示されたものである。つまり、車体によって死角となっている車外の状況を把握することができ、かつ、車体との位置関係も把握することが容易となる。

一方、画像取込装置１Ａでは、描画データを送信した（ステップＳ１１３）のち、シート位置・角度に変更があるか判断する（ステップＳ１１５）。変更がある場合には、ステップＳ１０７にリターンされ、変更後のシート位置・角度を画像表示装置１Ｂに送信する。

シート位置に変更がない場合には、画像取込装置1Ａ及び画像表示装置1Ｂともに、終了トリガーが検出されたか判断する（ステップＳ１１７及びＳ２１７）。終了トリガーには、スイッチのＯＦＦ操作、イグニッションスイッチのＯＦＦ、シフトポジションや車速が予め定められた動作条件からはずれた場合、或は、画像表示装置１Ｂの保持位置（接続部６２Ａ）へのセット等がある。これらの動作があった場合には、画像取込装置1Ａと画像表示装置1Ｂとの通信は必要がなくなったものとして、通信装置６１Ａと通信装置６１Ｂと通信回線は絶たれる（ステップＳ１１９及びＳ２１９）。

終了トリガーが検出されない場合には、画像取込装置1Ａでは、ステップＳ１０９へ、画像表示装置1Ｂでは、ステップＳ２０９へ、それぞれリターンされ、画像表示動作が継続される。
既述のように、画像表示装置１Ｂは、保持位置に対して着脱自在に構成されている。そして、保持位置に固定された状態では、画像表示装置１Ｂのみを、他の装置の表示画面として用いることもできる。

以上説明した構成において、ステップＳ３０１において、画像表示装置1Ｂの向きや位置を推定するに際して、カメラ画像の動き検出処理に代えて、位置・角度検出装置７Ｂから得られた検出値に基づいて画像表示装置1Ｂの向きや位置を推定してもよい。この場合には、画像処理の精度を向上させることができる。

さらに、マッチング処理（ステップＳ３０５）をした時点で、マッチング用モデルとカメラ画像との誤差を検出し、マッチング用モデル再作成（ステップＳ３０６）を行わずに、この誤差に基づいて画像表示装置1Ｂの位置・角度を演算する構成としてもよい。

画像取込装置の構成を示すブロック図である。 カメラ取り付け位置を示す、車両の平面図である。 画像表示装置の構成を示すブロック図である。 フローチャートである。 位置角度検出処理のフローチャートである。 描画データ作成処理のフローチャートである。 画像抽出処理のフローチャートである。 車内の座席配置を示す模式図である。 魚眼レンズの画像図である。 画像合成処理の内容を示すフローチャートである。 表示画像図である。

符号の説明

１Ａ 画像取込装置
１Ｂ 画像表示装置
３Ｆ、３Ｒ、３Ｌ、３Ｂ カメラ
８ 表示装置（ディスプレイ）
９ 車内カメラ

Claims (5)

1. 車両の周囲を撮像する撮像手段と、
   車両に対して着脱可能に設けられ、画像表示面を有するディスプレイと、
   該ディスプレイに配設され、車両室内の画像を撮像する車内撮像手段と、
   該撮像した車両室内の画像に基づき、予め定められた起点と前記ディスプレイとの位置関係を検出する位置検出手段と、
   前記撮像手段が撮像した画像から、前記位置検出手段により検出した位置関係に基づき、基準点からディスプレイの延長線上に存在する車両周囲の画像を抽出する画像抽出手段と、
   前記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、
   を有することを特徴とする車外情報表示装置。
2. 車両の輪郭を記憶する車両情報記憶手段と、を備え、
   前記位置検出手段は、前記車内撮像手段が撮像した複数の画像の変化に基づき前記ディスプレイの位置関係を推定し、当該推定した位置関係における前記車両の輪郭と前記車両室内の画像に含まれる輪郭とが合致した場合、推定した位置関係を、前記ディスプレイの位置関係として検出する
   ことを特徴とする請求項１に記載の車外情報表示装置。
3. 前記基準点は、前記ディスプレイ使用者の視点位置を想定した位置であることを特徴とする請求項１に記載の車外情報表示装置。
4. 前記位置検出手段によって検出された位置関係に基づき、前記ディスプレイを使用している使用者の視点位置を特定する視点位置特定手段と、
   前記画像抽出手段によって抽出した画像を、前記視点位置特定手段によって特定された視点から見た画像に視点変換処理する視点変換手段と
   を有する請求項１に記載の画像表示装置。
5. 前記車両情報記憶手段に記憶されている車両の輪郭から、前記視点位置特定手段によって特定された視点位置から視認した場合の車両輪郭を形成する輪郭形成手段と、
   前記輪郭形成手段によって形成された車両の輪郭を前記表示手段に表示される画像に合成する画像合成手段と
   を有する請求項４に記載の画像表示装置。

Images