JP5421788B2 - 車両周辺画像表示システム - Google Patents

Description

本発明は、車載外部カメラから取得されるカメラ映像に基づき、車室内のモニター画面に対し死角領域を含む車両周辺画像を表示する車両周辺画像表示システムに関する。

現在、実用化されているサイドビューモニターシステムは、サイドミラーの内部にサイドカメラ（CCDカメラ等）を設定し、ナビゲーションシステムと兼用されるフロントディスプレイユニットのモニター画面に、サイドカメラからの実カメラ映像を表示している。
つまり、モニター画面に、運転者の死角となる車両の前側方部分を表示することで、運転者が死角となる部分の状況を認識できるようにしている。

しかしながら、サイドカメラがサイドミラーの内部に配置されているため、カメラ視点と運転者視点の間に大きな視差を有し、障害物やその他物体の形状は、カメラ映像での形状と運転者の席から見える形状とが全く違うものとなる。

これに対し、通常の場合には、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。
一方、不慣れな運転者の場合や咄嗟の場合には、画面映像と運転者の席から見える映像との整合性が崩れて違和感を生じる。

このような違和感を解消するため、車体外側に設けられた死角カメラにより得られるカメラ映像を、あたかも運転者の視点位置から見た仮想カメラ映像へと画像変換して変換外部画像を生成する。
また、運転者の視点位置近くに設けられた運転者視点カメラにより得られるカメラ映像から、死角領域を除いた視認領域画像を生成する。
そして、視認領域画像から除かれた死角領域に変換外部画像を合成した合成画像を得る車両周辺画像表示システムが提案されている（例えば、特許文献１参照）。

具体的に述べると、車両外部のトランク部分に取り付けられたバックカメラの映像を画像変換により運転者の視点部分から後方を見た映像に視点変換を行う。
ここで、画像を合成する訳であるが、この合成された後方視界の映像の内、窓から見える部分は内部カメラ映像からのライブ映像（生映像）とし、そのカメラでは捕らえられないシートやトランクによって死角となる部分は、画像処理による外部カメラの映像を重ね合わせ映像を得ている。

この場合に、２つの画面を完全に滑らかに連続した画面に変換することは、技術的にも非常に難易度が高いため、画像を切り出す境界線を車両形状の窓枠、その他のものと合わせ、窓枠等のエッジ部分を太枠形状のスーパーインポーズとして重畳することで、分割線を目立たなくする工夫を行っている。
特開２００４−３５０３０３号公報

しかしながら、従来の車両周辺画像表示システムにあっては、下記に列挙するような問題があった。

(1) 死角カメラと運転者視点カメラの２つのカメラを用い、既存システムに対し運転者視点カメラの追加が必要であるため、システムのコストアップとなる。
加えて、運転者視点カメラは、運転者の視点位置近くに設けられるもので、運転者視点の位置には設けることができないため、運転者視点カメラから得られるカメラ映像は、実際に運転者の視点から見える像に対して視差が生じる。

(2) 主に２つのカメラ映像を切り出し合成することと、同映像の窓枠等のエッジ部分を強調検知し、これを用いてスーパーインポーズを行うことで死角の解消と違和感の解消に努めていたが、そのことにも限界はあり、映像に違和感を生じてしまう。

(3) 例として述べているような、仰角・俯角方向の上下方向に対する広角な死角カメラを用いた場合、室内カメラ（運転者視点カメラ）の視界を十分カバーしており、室内カメラの映像の死角解消への寄与は、トランク上部等の一部の視界のみであり、システム的に無駄な部分が多い。

(4) カメラ映像を合成する際に使用されているエッジ強調によるスーパーインポーズ枠は、画像処理機能の追加を必要とするものであるにも拘らず、運転者へ対して車両の死角部分を見ているとの認識を与えるのに、その効果が不十分である。

本発明は、上記問題に着目してなされたもので、車載外部カメラのみを用いる安価なシステムとしながら、運転者からの死角部分を視差無く直感的に把握できると共に、運転者から死角となる外部状況を自車両との位置関係にて明確に視認できる車両周辺画像表示システムを提供することを目的とする。

本発明では、自車両に取り付けられ、車両周辺を撮像する車載外部カメラと、運転者が視認できる車室内位置に設定したモニターと、前記車載外部カメラから入力される現在の実カメラ映像に基づき、前記モニターへの表示映像を生成するモニター映像生成手段と、を備えた車両周辺画像表示システムにおいて、前記モニター映像生成手段は、前記車載外部カメラから入力される現在の実カメラ映像を、運転者の視点位置から見た仮想カメラ画像に視点変換する画像処理部と、運転者の視点から予め撮影された車室内映像を車室内画像として記憶しておく画像記憶部と、前記画像記憶部からの車室内画像を半透明化することにより半透明車室内画像とし、前記画像処理部からの仮想カメラ画像に前記半透明車室内画像を重ね合わせる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する合成画像を生成する画像合成回路と、を備え、前記画像合成回路は、前記車室内映像のうち、自車両の大きさ・形状を垂直に道路面に投影した領域を、車室内画像の透過率が０％の不透明部分として設定し、自車両の窓ガラスに相当する領域を、車室内画像の透過率が１００％の透明部分として設定し、前記自車両の大きさ・形状を垂直に道路面に投影した領域と前記窓ガラスに相当する領域以外の領域を、任意の透過率を持つ半透明部分として設定するブレンド回路部を有することを特徴とする。

よって、本発明の車両周辺画像表示システムにあっては、モニター映像生成手段の画像
記憶部に、運転者の視点から予め撮影された車室内映像を記憶しておく。
モニター映像生成手段の画像処理部では、車載外部カメラから入力される現在の実カメ
ラ映像が、運転者の視点位置から見た仮想カメラ画像に視点変換される。
そして、画像合成回路において、画像記憶部からの車室内画像を半透明化することによ
り半透明車室内画像とし、画像処理部からの仮想カメラ画像に半透明車室内画像を重ね合
わせる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する合成画像
が生成される。
このように、画像処理部では、車載外部カメラから入力される現在の実カメラ映像が、
運転者の視点位置から見た仮想カメラ画像に視点変換されることで、モニターに表示され
た合成画像を見た運転者は、仮想カメラ画像に含まれる運転者からの死角部分を視差無く
直感的に把握できる。
そして、画像合成回路では、運転者の視点から予め撮影された車室内映像を半透明車室
内画像としておくことで、モニターに表示された合成画像は、半透明車室内画像を透過し
て仮想カメラ画像が表現されることになり、仮想カメラ画像による運転者から死角となる
外部状況を、半透明車室内画像による自車両との位置関係にて明確に視認できる。
この結果、車載外部カメラのみを用いる安価なシステムとしながら、運転者からの死角
部分を視差無く直感的に把握できると共に、運転者から死角となる外部状況を自車両との
位置関係にて明確に視認できる。

実施例１のサイドビューモニターシステムＡ１（車両周辺画像表示システムの一例）を示す全体システムブロック図である。 実施例１のサイドビューモニターシステムＡ１における制御回路４５にて実行される合成画像輝度制御処理の流れを示すフローチャートである。 運転者の視点位置から左前側方に向かって予め撮影された車室内映像を示す図である。 実施例１のサイドビューモニターシステムＡ１が搭載されている車両から路面に対し車体形状を投影している様子をイメージして示した斜視図である。 実施例１のサイドビューモニターシステムＡ１が搭載されている車両から路面に対し垂直に車体形状を投影した像を運転者視点位置から透過して見た場合の映像（不透明部分）を示す図である。 実施例１のサイドビューモニターシステムＡ１において図３に示す車室内映像RPに対し図５の「不透明部分DE」を組み合わせた合成画像を示す図である。 実施例１のサイドビューモニターシステムＡ１において図３に示す車室内映像RPに対し「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」を組み合わせた半透明車室内画像RGを示す図である。 実施例１のサイドビューモニターシステムＡ１において図３に示す車室内映像RPのうち透過率が０％の「不透明部分DE」として設定した領域の外周に縁取り枠ELを表示したイメージを示す図である。 実施例２のバックビューモニターシステムＡ２（車両周辺画像表示システムの一例）を示す全体システムブロック図である。 実施例２のバックビューモニターシステムＡ２において車両後方の車室内映像RPに対し「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」を組み合わせた半透明車室内画像RGを示す図である。 実施例３のフロントビューモニターシステムＡ３（車両周辺画像表示システムの一例）を示す全体システムブロック図である。 実施例３のフロントビューモニターシステムＡ３における制御回路４５にて実行されるブレンド比率センサー連動制御処理の流れを示すフローチャートである。 運転者の視点位置から前方に向かって予め撮影された車室内映像を示す図である。 実施例３のフロントビューモニターシステムＡ３が搭載されている車両から路面に対し垂直に車体形状を投影した像を運転者視点位置から透過して見た場合の映像（不透明部分）を示す図である。 実施例３のフロントビューモニターシステムＡ３において左・右・中央のフロントカメラ映像の分割領域と図１４の「不透明部分DE」を組み合わせた合成画像を示す図である。 実施例３のフロントビューモニターシステムＡ３において図１３に示す車室内映像RPに対し「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」を組み合わせた半透明車室内画像RGを示す図である。

符号の説明

Ａ１ サイドビューモニターシステム（車両周辺画像表示システムの一例）
１ サイドカメラ（車載外部カメラ）
Ａ２ バックビューモニターシステム（車両周辺画像表示システムの一例）
２１ バックカメラ（車載外部カメラ）
Ａ３ フロントビューモニターシステム（車両周辺画像表示システムの一例）
３１Ｌ 左フロントカメラ（車載外部カメラ）
３１Ｒ 右フロントカメラ（車載外部カメラ）
３１Ｃ 中央フロントカメラ（車載外部カメラ）
２ 画像処理コントロールユニット（モニター映像生成手段）
４１ デコーダー
４１Ｌ 左デコーダー
４１Ｒ 右デコーダー
４１Ｃ 中央デコーダー
４２ 画像メモリ
４２Ｌ 左画像メモリ
４２Ｒ 右画像メモリ
４２Ｃ 中央画像メモリ
４３ 画像処理部
４４ 画像メモリ（画像記憶部）
４５ 制御回路（ＣＰＵ）
４６ スーパーインポーズ回路（画像合成回路）
４７ エンコーダ
４８ ブレンド外部制御部
４９ 輝度判定センサー（輝度検出手段）
３ モニター
４ ブレンド比率手動制御インターフェース
５ 外部センサー
５１ 舵角センサー
５２ 速度センサー
５３ イルミネーションスイッチ（点灯状態検出手段）
５４ 機能スイッチ
５５ ターンシグナルスイッチ
RP 車室内映像
SE 自車両の大きさ・形状を垂直に道路面に投影した領域
RG 半透明車室内画像
CE 100％透過部分
GE 任意の透過部分
DE 不透明部分

以下、本発明の車両周辺画像表示システムを実現する代表例として、３方向の死角解消カメラに関して、実施例１〜実施例３により各々説明する。

基本的に、全体のシステム構成は、図１に代表されるように、死角解消用のカメラとその映像を処理するデジタル画像処理部及び半透明映像のブレンド処理部から構成されている。
単一のカメラ映像を用いる場合は、基本構成は共通である。
ただし、カメラの配置・個数に関しては、コストその他を加味して構成を工夫することになる。

また、モニター上の半透明部分の透明度は、当初設定された透過率（透過率初期値）で表示されているが、透過率は固定されておらず、ユーザー（＝運転者）により、任意に透過率＝0〜100％まで変更可能なシステムを想定している。
また、それぞれの場所の透過率は、ユーザーの希望によりカスタマイズ可能なシステムを想定している。

実施例１は、車載外部カメラとして、サイドミラーに内蔵、あるいは、サイドミラー付近に配置される死角解消のためのサイドカメラを用い、運転者の死角となる車両の前側方部分を、車室内のモニターに表示するサイドビューモニターシステムの例である。

まず、構成を説明する。
図１は、実施例１のサイドビューモニターシステムＡ１（車両周辺画像表示システムの一例）を示す全体システムブロック図である。

実施例１のサイドビューモニターシステムＡ１は、図１に示すように、サイドカメラ１（車載外部カメラ）と、画像処理コントロールユニット２（モニター映像生成手段）と、モニター３と、ブレンド比率手動制御インターフェース４と、外部センサー５と、を備えている。

前記サイドカメラ１は、左サイドミラーに内蔵、あるいは、左サイドミラー付近に配置することで取り付けられ、運転者の死角となる車両の前側方部分を撮像する。
このサイドカメラ１は、撮像素子（CCD,CMOS等）により、車両の前側方部分の実カメラ映像データを取得する。

前記モニター３は、運転者が視認できる車室内位置（例えば、インストルメントパネル位置等）に設定され、画像処理コントロールユニット２からの表示映像を入力して画像表示する。
このモニター３には、液晶ディスプレイや有機ELディスプレイ等による表示画面３ａを有する。
ここで、モニター３としては、サイドビューモニターシステムＡ１に専用のモニターを設定しても良いし、また、死角解消用のカメラシステムに専用のモニターを設定しても良いし、また、ナビゲーションシステム等、他のシステムのモニターを流用しても良い。

前記画像処理コントロールユニット２は、サイドカメラ１から入力される現在の実カメ
ラ映像に基づき、前記モニター３への表示映像を生成する。
この画像処理コントロールユニット２は、図１に示すように、デコーダー４１と、画像
メモリ４２と、画像処理部４３と、画像メモリ４４（画像記憶部）と、制御回路（ＣＰＵ
）４５と、スーパーインポーズ回路４６（画像合成回路）と、エンコーダ４７と、ブレン
ド外部制御部４８と、輝度判定センサー４９（輝度検出手段）と、を備えている。

前記画像処理部４３は、サイドカメラ１から入力される現在の実カメラ映像を、運転者
の視点位置から見た仮想カメラ画像に視点変換する。
具体的には、サイドカメラ１から入力された現在の実カメラ映像は、デコーダー４１に
よりアナログ／デジタル変換され、画像メモリ４２に蓄えられる。
その後、画像処理部４３において、「各種処理（輝度調整・色味補正・エッジ補正等）
を含めた画像処理」と「運転者の視点付近に仮想カメラを配置したかのような視点変換処理」を施される。

前記画像メモリ４４は、運転者の視点から予め撮影された車室内映像RP（図３）を車室内画像として記憶しておく。

前記スーパーインポーズ回路４６は、画像メモリ４４からの車室内画像RPを半透明化することにより半透明車室内画像RG（図７）とし、前記画像処理部４３からの仮想カメラ画像に前記半透明車室内画像RGを重ね合わせる画像合成により、半透明車室内画像RGを透過して仮想カメラ画像を表現する合成画像を生成する。
このスーパーインポーズ回路４６は、運転者の視点から予め撮影された車室内映像RPのうち、自車両の大きさ・形状を垂直に道路面に投影した領域SE（図４）を影として表示する。
具体的には、車室内映像RPのうち自車両を道路面に投影した前記影の領域SEを、車室内画像の透過率が０％の「不透明部分DE」として設定し、自車両の窓ガラスに相当する領域を、車室内画像の透過率が１００％の「100％透過部分CE」として設定し、影領域と窓ガラス領域以外の領域を、任意の透過率を持つ「任意の透過部分GE」として設定するブレンド回路部４６ａを有する（図７）。
なお、ブレンド回路部４６ａは、車室内映像RPのうち、透過率が０％の「不透明部分DE」として設定した領域の外周に縁取り枠ELを表示設定するようにしても良い（図８）。

そして、スーパーインポーズ回路４６において、スーパーインポーズ手法により重畳された半透明車室内画像RGと仮想カメラ画像の合成画像は、エンコーダ４７に送られた後、エンコーダ４７でのデジタル／アナログ変換を経て、モニター３へ出力され、表示画面３ａに表示されることになる。

前記ブレンド比率手動制御インターフェース４は、例えば、モニター３のタッチパネルスイッチによる構成であり、車室内画像に設定された「任意の透過部分GE」の透過率を、手動操作により任意に調整する（ブレンド比率手動調整手段）。
すなわち、ブレンド比率手動制御インターフェース４からブレンド外部制御部４８に対し、透過率調整信号が入力されたら、制御回路４５を経過し、制御回路４５からの透過率設定指令に応じて、ブレンド回路部４６ａは、車室内画像に設定された「任意の透過部分GE」の透過率を、０％〜100％の範囲で任意に調整する。

前記外部センサー５は、画像処理コントロールユニット２に入力情報をもたらすセンサーやスイッチ等をいい、図１に示すように、舵角センサー５１と、速度センサー５２と、イルミネーションスイッチ５３（点灯状態検出手段）と、機能スイッチ５４と、他のセンサ・スイッチ等を備えている。
そして、機能スイッチ５４をONにしておくと、外部センサー５により得られる外部環境情報（昼間、夕方、夜間、天気等）や車両情報（舵角、車速等）に基づき、ブレンド回路部４６ａは、車室内画像に設定された「任意の透過部分GE」の透過率を、モニター３に表示される合成画像の視認性を高めるように自動的に調整する（ブレンド比率センサー連動調整手段）。

さらに、車室内のイルミネーションランプの点灯／消灯を検出する点灯状態検出手段と
してのイルミネーションスイッチ５３と、サイドカメラ１から入力される現在の実カメラ
映像の輝度を検出する輝度判定センサー４９を設けている。
そして、スーパーインポーズ回路４６は、イルミネーションランプの点灯条件と、輝度
検出値が設定値Ｙよりも低いという低輝度条件が共に成立すると、合成画像の輝度を反転すると共に黒線を白線で表示する。

図２は、実施例１のサイドビューモニターシステムＡ１における制御回路４５にて実行される合成画像輝度制御処理の流れを示すフローチャートであり、以下、各ステップについて説明する（合成画像輝度制御部）。

ステップＳ１では、機能スイッチ５４がONであるか否かを判断し、Yesの場合はステップＳ２へ移行し、Noの場合はステップＳ１の判断へ戻る。

ステップＳ２では、ステップＳ１での機能スイッチ５４がONであるとの判断に続き、イルミネーションスイッチ５３がON、つまり、イルミネーションランプが点灯であるか否かを判断し、Yesの場合はステップＳ３へ移行し、Noの場合はステップＳ１へ戻る。

ステップＳ３では、ステップＳ２でのイルミネーションスイッチ５３がONであるとの判断に続き、輝度判定センサー４９により検出される輝度検出値は設定値Ｙより低いか否かを判断し、Yesの場合はステップＳ４へ移行し、Noの場合はステップＳ５へ移行する。

ステップＳ４では、ステップＳ３での輝度検出値＜設定値Ｙであるとの判断に続き、スーパーインポーズの画像の輝度を反転し、黒線を白線で表示し、ステップＳ１へ戻る。

ステップＳ５では、ステップＳ３での輝度検出値≧設定値Ｙであるとの判断に続き、スーパーインポーズの画像の輝度を通常状態へ戻し、ステップＳ１へ戻る。

次に、作用を説明する。
実施例１〜実施例３を含む本発明の目的は、死角解消に寄与可能な外部カメラを持ち、カメラ映像を、画像処理を用いて表示可能なシステムのうち、運転者がその映像を見ただけで車両を透過した映像であると直感的に認識可能なシステムを安価に構築し、更に、車両の挙動をその映像中で把握可能な車両周辺画像表示システムを提案するものである。

そして、本発明者により提案されている表示システムの主な内容は下記の通りである。
・ モニターに表示される映像を見ただけで、直感的に車の進行方向、大きさ、その他の車両感覚が判る表示法を構築する。
・ 映像の透過率等を自由に運転者の嗜好にあわせ変化可能なシステムとする。
更に運転状況によって、基本的な透過率を自動変更可能な表示システムを構築する。
例えば、夕暮れ時などの外部映像の輝度により、透過率を変更し外部映像を見やすくする。
また、夜間等では、映像との重畳部分の画像を輝度反転し黒線を白線にするような、視点変換されたカメラ映像を見やすくする等の工夫を行う。

以下、実施例１のサイドビューモニターシステムＡ１における作用を、「透過映像によるモニター画像表示作用」、「半透明部分の透過率変更作用」、「合成画像の輝度制御作用」に分けて説明する。

［透過映像によるモニター画像表示作用］
サイドカメラ１から入力された現在の実カメラ映像は、デコーダー４１によりアナログ
／デジタル変換され、画像メモリ４２に蓄えられる。
その後、画像処理部４３において、「各種処理（輝度調整・色味補正・エッジ補正等）
を含めた画像処理」と「運転者の視点付近に仮想カメラを配置したかのような視点変換処理」を施され、仮想カメラ画像を取得する。

一方、画像メモリ４４は、運転者の視点から予め撮影された車室内映像RP（図３）を車室内画像として記憶しておく。

そして、スーパーインポーズ回路４６は、画像メモリ４４からの車室内画像RPを半透明化することにより半透明車室内画像RG（図７）とし、画像処理部４３からの仮想カメラ画像に半透明車室内画像RGを重ね合わせる画像合成により、半透明車室内画像RGを透過して仮想カメラ画像を表現する合成画像を生成する。

このスーパーインポーズ回路４６において重畳された合成画像は、エンコーダ４７に送られた後、エンコーダ４７でのデジタル／アナログ変換を経て、モニター３へ出力され、表示画面３ａに表示されることになる。

以下、半透明車室内画像RGを生成するにあたっての工夫について説明する。
図３は、運転者の視点位置から左前側方に向かって予め撮影された車室内映像を示す図である。
図４は、実施例１のサイドビューモニターシステムＡ１が搭載されている車両から路面に対し車体形状を投影している様子をイメージして示した斜視図である。
図５は、実施例１のサイドビューモニターシステムＡ１が搭載されている車両から路面に対し車体形状を投影した像を運転者視点位置から透過して見た場合の映像（不透明部分）を示す図である。
図６は、実施例１のサイドビューモニターシステムＡ１において図３に示す車室内映像RPに対し図５の「不透明部分DE」を組み合わせた合成画像を示す図である。
図７は、実施例１のサイドビューモニターシステムＡ１において図３に示す車室内映像RPに対し「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」を組み合わせた半透明車室内画像RGを示す図である。

図３に示す様な車室内映像RPの画面に対し、以下に述べる工夫を行う。
まず、図４では、判別し易いように空中高く車両が図示されているが、実際には、この投影面は道路等の路面に垂直投影されており、タイヤの接地面と同じ高さ位置に投影像があることになる。
図５に示す映像は、実際の運転の際に車体形状そのものを示しているため、運転者視点からの映像と重畳した場合、この投影像に触れることが即ち車体との接触を意味する。
言い換えると、視点変換映像とこの投影面を重畳表示することで、この映像（サイドビュー画面）を見るだけで、側溝への落輪回避や障害物回避の際に必要となる車両感覚が一目で判り、直感的把握が可能となるために、安全運転に対し寄与し得る度合いが大きくなる。
つまり、図６に示すように、車体形状を投影した部分は、透過率０％の「不透明部分DE」とし、車室内映像RPをそのまま表示する。

車体投影像と重ならない部分に関しては、サイドカメラ映像とのα（アルファ）ブレンドを用いて、任意の透過率により車室内映像RPを表示する。
具体的には、図７に示すように、窓ガラス部分に関しては、透過率100％による「100％透過部分CE」とし、残りを「任意の透過部分GE」とし、透過率０％の「不透明部分DE」を加えると、運転者視点による車室内映像RPを100％表示することにしている。

実際に実施した半透明車室内画像RGを確認した場合、車室内映像RPそのままの画面である床面と、透過率が10〜50％程度のドア付近とは明確に差が生じており車両形状の区別は容易である。

更に、実際に実施した半透明車室内画像RGに仮想カメラ画像を重ね合わせた場合、視点変換後のサイドカメラ映像（＝仮想カメラ画像）がドアを透過して見ている映像であることを認識することに対しては、車室内画像を用いたスーパーインポーズ手法であることで、非常に判り易くなっている。

上記のように、視点変換画像処理により、サイドミラーへ設置されたサイドカメラ１の
現在の実カメラ映像を変換処理し、あたかも運転者視点位置から仮想カメラで撮影したか
のような仮想カメラ画像へ変換し、この仮想カメラ画像と半透明化した車室内画像と組み
合わせ画像合成することで重畳表示し、より現実感のある透過映像を表現することができ
る。

加えて、半透明化した車室内画像に、実際の車両の大きさ・形状を垂直に道路面に投影した影として表示をすることで、外部の透過映像と実際の車両の位置関係がハッキリと判るように表示することができる。

また、上記の視点変換を行う場合の仮想空間スクリーンである道路上へ車体の大きさ・形状に合わせて投影した影の領域を、運転者視点位置から見た車室内映像RPのうち、透過率０％の「不透明部分DE」として表示し、それ以外は任意の透過率を持つ半透明領域（「100％透過部分CE」、「任意の透過部分GE」）として表示する。
したがって、画面上では車体の大きさ・形がハッキリとしたスーパーインポーズ画面として表示され、それ以外の部分はカメラ映像とのブレンド画面となる。
その結果、車両の挙動が一目瞭然となり脱輪の可能性等、判断が容易になる。

従来システムは、外部のバックカメラのみならず、室内カメラの配置も必須となっていて、コストアップの割に、殆ど実質的な効果は望めず、冗長なシステムとなっていた。
これに対し、本提案では、車室内映像に関しては、仮想カメラ視点である運転者視点から予め撮影された車室内映像RPの画像を用いることで、必要十分な効果を得ているし、車体の形状が一目で把握可能なため、進行方向や接近した障害物の回避の際に非常に判り易く、安全運転に寄与可能である。

図８は、実施例１のサイドビューモニターシステムＡ１において図３に示す車室内映像RPのうち透過率が０％の「不透明部分DE」として設定した領域の外周に縁取り枠ELを表示したイメージを示す図である。
半透明車室内画像RGの表現のうち、図７に示すように、透過率を異ならせるというブレンド比率による区別のみならず、図８に示すように、車体の投影像を透過率が０％の「不透明部分DE」として設定し、「不透明部分DE」領域の外周に縁取り枠ELを表示することで表現し、これを車室内映像RPと重畳表現しても、ブレンド比率による区別と同様な効果が得られる。

［半透明部分の透過率変更作用］
上記のように、スーパーインポーズ回路４６のブレンド回路部４６ａにおいて、車室内映像RPのうち自車両の形状を道路面へ垂直に投影した領域SEを、車室内画像の透過率が０％の「不透明部分DE」として設定し、自車両の窓ガラスに相当する領域を、車室内画像の透過率が１００％の「100％透過部分CE」として設定し、影領域と窓ガラス領域以外の領域を、任意の透過率を持つ「任意の透過部分GE」として設定している（図７）。

このように、一様な、半透明画像では無く、100％と100〜0％のブレンド可能な半透明領域と数段の透明度を持つ画像のブレンド合成を用いることで、一様な画面から生じる様々な誤解や認識の誤りを改善することができる。

しかし、「任意の透過部分GE」に関して、予め定められた単一の固定された透過率を用いた場合、ユーザーが任意で透過率を変化させることができず、使い勝手が悪くなるし、また、環境変化があっても透過率が一様な画面であることにより、視認性の低下を生じることがある。

これに対し、実施例１では、「任意の透過部分GE」の透過率を、手動操作により、あるいは、自動的に調整できるようにした。

すなわち、ブレンド比率手動制御インターフェース４に対する手動操作によりブレンド外部制御部４８に対し、透過率調整信号が入力されたら、制御回路４５を経過し、制御回路４５からの透過率設定指令に応じて、ブレンド回路部４６ａは、車室内画像に設定された「任意の透過部分GE」の透過率を、０％〜100％の範囲で任意に調整する。

また、機能スイッチ５４をONにしておくと、外部センサー５により得られる外部環境情報（昼間、夕方、夜間、天気等）や車両情報（舵角、車速等）に基づき、ブレンド回路部４６ａは、車室内画像に設定された「任意の透過部分GE」の透過率を、モニター３に表示される合成画像の視認性を高めるように自動的に調整する。

したがって、ブレンド比率を手動操作により可変にすることにより、自由に「任意の透過部分GE」の透過率を設定・更新することが可能なシステムとなっており、非常に使い勝手がよくなっている。
また、機能スイッチ５４をONにしておくと、ユーザー操作を要することなく、自動的に「任意の透過部分GE」の透過率を調整するシステムになっており、モニター３に表示される合成画像の高い視認性を維持することができる。

［合成画像の輝度制御作用］
イルミネーションスイッチ５３からのON信号は、夜間・薄暮および荒天時のように、外部視界が明瞭でない時に検出される。
このため、イルミネーションランプの点灯時には、モニター３の表示画面３ａの全体の輝度が落ち込み、通常のスーパーインポーズ画面では、暗闇の中に車室内画像が溶け込んでしまうことがある。
また、運転者の視力も闇反応が生じ、画面全体の輝度を下げる必要も生じる。

このシステムでは、機能スイッチ５４をONにし、イルミネーションランプの点灯条件と、輝度検出値が設定値Ｙよりも低いという低輝度条件が共に成立すると、図２のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４へと進み、ステップＳ４では、合成画像の輝度を反転すると共に黒線を白線で表示する。
そして、輝度検出値が設定値Ｙ以上になると、図２のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ３→ステップＳ５へと進み、ステップＳ５では、合成画像の輝度が通常状態へ戻される。

すなわち、制御回路４５において、カメラ映像の輝度判定センサー４９からの情報に基づき、最適な画面の明るさへ自動補正するが、この際、イルミネーションスイッチ５３からのON信号と、予め定められた輝度信号の設定値Ｙを基に、スーパーインポーズによる車室内映像も輝度反転を行い、今までは黒線で表現されたものを白線で表現する様に、反転映像を重畳する。
このように、反転映像を表示することで、スーパーインポーズによるモニター３の表示画面は、白抜きの線画に近い映像となり、暗い外部カメラ映像の中でも車両感覚を直感的に把握可能となる。

次に、効果を説明する。
実施例１のサイドビューモニターシステムＡ１にあっては、下記に列挙する効果を得ることができる。

(1) 自車両に取り付けられ、車両周辺を撮像する車載外部カメラ（サイドカメラ１）と
、運転者が視認できる車室内位置に設定したモニター３と、前記車載外部カメラから入力
される現在の実カメラ映像に基づき、前記モニター３への表示映像を生成するモニター映
像生成手段（画像処理コントロールユニット２）と、を備えた車両周辺画像表示システム
（サイドビューモニターシステムＡ１）において、前記モニター映像生成手段は、前記車
載外部カメラから入力される現在の実カメラ映像を、運転者の視点位置から見た仮想カメ
ラ画像に視点変換する画像処理部４３と、運転者の視点から予め撮影された車室内映像を
車室内画像として記憶しておく画像記憶部（画像メモリ４４）と、前記画像記憶部からの
車室内画像を半透明化することにより半透明車室内画像とし、前記画像処理部からの仮想
カメラ画像に前記半透明車室内画像を重ね合わせる画像合成により、半透明車室内画像を
透過して仮想カメラ画像を表現する合成画像を生成する画像合成回路（スーパーインポー
ズ回路４６）と、を有する。
このため、車載外部カメラのみを用いる安価なシステムとしながら、運転者からの死角
部分を視差無く直感的に把握できると共に、運転者から死角となる外部状況を自車両との位置関係にて明確に視認できる。

(2) 前記画像合成回路（スーパーインポーズ回路４６）は、運転者の視点から予め撮影された車室内映像の全領域のうち、自車両の大きさ・形状を垂直に道路面に投影した領域を影として表示する。
このため、運転者から死角となる外部に存在する障害物等と自車両を表す影との位置関係や距離関係や位置や距離の変化を明確に把握することができ、この結果、高い安全性により徐行運転や駐車運転を行うことができる。

(3) 前記画像合成回路（スーパーインポーズ回路４６）は、車室内映像のうち自車両を道路面に投影した前記影の領域SEを、車室内画像RPの透過率が０％の「不透明部分DE」として設定し、自車両の窓ガラスに相当する領域を、車室内画像の透過率が１００％の透明部分（「100％透過部分CE」）として設定し、影領域と窓ガラス領域以外の領域を、任意の透過率を持つ半透明部分（「任意の透過部分GE」）として設定するブレンド回路部４６ａを有する。
このため、モニター３に車体の大きさ・形がハッキリとしたスーパーインポーズ画面として表示され、例えば、一様な半透明画面にした場合に生じる様々な誤解や認識の誤りを改善することができ、その結果、車両の挙動が一目瞭然となり、脱輪等の回避判断が容易となる。

(4) 前記ブレンド回路部４６ａは、車室内画像の透過率が０％の「不透明部分DE」の外周に縁取り枠ELを表示設定する。
このため、透過率のブレンド比率を異ならせることのない簡単な手法により、運転者から死角となる外部に存在する障害物等と自車両を表す影との位置関係や距離関係や位置や距離の変化を明確に把握することができる。

(5) 前記ブレンド回路部４６ａは、車室内画像に設定された半透明部分（「任意の透過部分GE」）の透過率を、手動操作により任意に調整することができるブレンド比率手動調整手段（ブレンド比率手動制御インターフェース４，ブレンド外部制御部４８，制御回路４５）を有する。
このため、ユーザーの好みやモニター３の表示画像の視認性に応じて、手動操作により半透明部分の透過率を調整できるというように、使い勝手の良いシステムとすることができる。

(6) 前記ブレンド回路部４６ａは、車室内画像に設定された半透明部分（「任意の透過部分GE」）の透過率を、外部センサー５により得られる外部環境情報や車両情報に基づき、前記モニター３に表示される合成画像の視認性を高めるように自動的に調整するブレンド比率センサー連動調整手段（制御回路４５）を有する。
このため、ユーザー操作を要することなく、自動的に実行される調整動作により、モニター３に表示される合成画像の高い視認性を維持するシステムとすることができる。

(7) 車室内のイルミネーションランプの点灯／消灯を検出する点灯状態検出手段（イルミネーションスイッチ５３）と、前記車載外部カメラから入力される実カメラ映像の輝度を検出する輝度検出手段（輝度判定センサー４９）を設け、前記画像合成回路（スーパーインポーズ回路４６）は、イルミネーションランプの点灯条件と、輝度検出値が設定値Ｙよりも低いという低輝度条件が共に成立すると、合成画像の輝度を反転すると共に黒線を白線で表示する合成画像輝度制御部（図２）を有する。
このため、夜間・薄暮および荒天時のように、外部視界が明瞭でない時、暗い外部カメラ映像の中でも車両感覚を直感的に把握することができる。

(8) 前記車載外部カメラは、運転者の死角となる車両の前側方部分を、車室内のモニター３に表示するサイドビューモニターシステムＡ１に用いられるサイドカメラ１である。
このため、側溝への落輪回避や障害物回避の際に必要となる車両感覚が一目で判り、直感的把握が可能となり、安全運転に対して寄与し得る貢献度を大きくすることができる。

実施例２は、車載外部カメラとして、車両後部位置に配置される死角解消のためのバックカメラを用い、運転者の死角となる車両の後方部分を、車室内のモニターに表示するバックビューモニターシステムの例である。

まず、構成を説明する。
図９は、実施例２のバックビューモニターシステムＡ２（車両周辺画像表示システムの一例）を示す全体システムブロック図である。

実施例２のバックビューモニターシステムＡ２は、図９に示すように、バックカメラ２１（車載外部カメラ）と、画像処理コントロールユニット２（モニター映像生成手段）と、モニター３と、ブレンド比率手動制御インターフェース４と、外部センサー５と、を備えている。

前記画像処理コントロールユニット２は、図９に示すように、デコーダー４１と、画像メモリ４２と、画像処理部４３と、画像メモリ４４（画像記憶部）と、制御回路（ＣＰＵ）４５と、スーパーインポーズ回路４６（画像合成回路）と、エンコーダ４７と、ブレンド外部制御部４８と、輝度判定センサー４９（輝度検出手段）と、を備えている。

前記外部センサー５は、図９に示すように、舵角センサー５１と、速度センサー５２と、イルミネーションスイッチ５３（点灯状態検出手段）と、機能スイッチ５４と、他のセンサ・スイッチ等を備えている。

前記バックカメラ２１は、乗用車の場合はライセンスプレートのトランクリッドの内側付近、また、RV車の様な大型車の場合は後部ウィンドウの上端付近へ配置することで取り付けられ、運転者の死角となる車両の後方部分を撮像する。
このバックカメラ２１は、撮像素子（CCD,CMOS等）により、車両の後方部分の実カメラ映像データを取得する。

現在のバックビューモニターシステムでは、バンパー付近を映り込ませる形でカメラを設置し、その映り込んだバンパーや、車両軌跡線を表示することを手がかりに車両感覚を得させている。

実施例２の場合は、実施例１にて述べたサイドビューモニターシステムと同様に、運転者の視点から車室内後方に向けて予め撮影された車室内画像をスーパーインポーズすることで、車両感覚を直感的に得させようとする。
なお、他の構成は、実施例１の図１と同様であるので、対応する構成に同一符号を付して説明を省略する。

次に、作用を説明する。
図１０は、実施例２のバックビューモニターシステムＡ２において車両後方の車室内映像RPに対し「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」を組み合わせた半透明車室内画像RGを示す図である。

実施例２のバックビューモニターシステムＡ２は、サイドカメラ１を用いた実施例１の
サイドビューモニターシステムＡ１のサイドカメラ１をバックカメラ２１に置き換えた形
となっている。
前述のサイドカメラ１の場合と同様に、バックカメラ２１からの現在の実カメラ映像を
デジタル変換し、運転者視点からの仮想カメラ画像へ視点変換する。
この仮想カメラ画像に対し、図４の車体投影イメージを今度は車両後方に対して行い、
車体の投影図の領域を、バックカメラ２１の仮想カメラ映像とスーパーインポーズする車
室内映像に対して適応させる。

運転者視点からの車室内映像をスーパーインポーズする際に、図１０に示すように、車両の垂直投影による影SEに相当する斜線部分は、透過率０％の「不透明部分DE」とし、同じく窓ガラス部分は透過率１００％の「100％透過部分CE」とする。
更にその他の領域は、ユーザーの定めることが可能な任意の透過率でアルファブレンドされた半透明の「任意の透過部分GE」として設定される。

したがって、このバックビューモニターシステムＡ２で表現されている映像が、あたかも後方の車体を透過して見ていることを端的に表現可能としている。
なお、他の作用は、実施例１と同様であるので、説明を省略する。

次に、効果を説明する。
実施例２のバックビューモニターシステムＡ２にあっては、実施例１の(1)〜(7)の効果に加え、下記の効果を得ることができる。

(9) 前記車載外部カメラは、運転者の死角となる車両の後方部分を、車室内のモニター３に表示するバックビューモニターシステムＡ２に用いられるバックカメラ２１である。
このため、例えば、駐車での後退走行の際に必要となる車両停止ライン、車両停止縁石、壁等と自車両の位置感覚や距離感覚、あるいは、走行時、接近してくる後続車両と自車両の位置感覚や距離感覚を直感的把握することができ、迅速な駐車や安全運転に対して寄与し得る貢献度を大きくすることができる。

実施例３は、車載外部カメラとして、車両前部位置に配置される死角解消のためのフロントカメラを用い、運転者の死角となる車両の前方部分を、車室内のモニターに表示するフロントビューモニターシステムの例である。

まず、構成を説明する。
図１１は、実施例３のフロントビューモニターシステムＡ３（車両周辺画像表示システムの一例）を示す全体システムブロック図である。

実施例３のフロントビューモニターシステムＡ３は、図１１に示すように、左フロントカメラ３１Ｌ（車載外部カメラ）と、右フロントカメラ３１Ｒ（車載外部カメラ）と、中央フロントカメラ３１Ｃ（車載外部カメラ）と、画像処理コントロールユニット２（モニター映像生成手段）と、モニター３と、ブレンド比率手動制御インターフェース４と、外部センサー５と、を備えている。

前記画像処理コントロールユニット２は、図１１に示すように、左デコーダー４１Ｌと、右デコーダー４１Ｒと、中央デコーダー４１Ｃと、左画像メモリ４２Ｌと、右画像メモリ４２Ｒと、中央画像メモリ４２Ｃと、画像処理部４３と、画像メモリ４４（画像記憶部）と、制御回路（ＣＰＵ）４５と、スーパーインポーズ回路４６（画像合成回路）と、エンコーダ４７と、ブレンド外部制御部４８と、輝度判定センサー４９（輝度検出手段）と、を備えている。

前記外部センサー５は、図１１に示すように、舵角センサー５１と、速度センサー５２と、イルミネーションスイッチ５３（点灯状態検出手段）と、機能スイッチ５４と、ターンシグナルスイッチ５５と、他のセンサ・スイッチ等を備えている。

フロントビューモニターシステムの場合、現状でも多数のカメラが配置されていることが多く、左右及び中央の３カメラにて構成される場合もある。
このため、実施例３のフロントビューモニターシステムＡ３の場合も、左フロントカメラ３１Ｌと右フロントカメラ３１Ｒと中央フロントカメラ３１Ｃの３つのカメラを用いている場合を例として挙げている。

前記各フロントカメラ３１Ｌ，３１Ｒ，３１Ｃの映像は、実施例１のサイドカメラ１の場合と同様に、デジタル化され視点変換の画像処理を施された後に、車両形状の垂直投影像を加味された車室内映像であるスーパーインポーズ画面を重畳されて、合成映像を得ることになる。

実施例３では、３つのフロントカメラ３１Ｌ，３１Ｒ，３１Ｃにより映像領域を３分割していることに伴い、徐行や停止後に左右の何れかにハンドルを切ることで針路を変更する時にスイッチ信号が出力されるターンシグナルスイッチ５５に連動し、３分割された映像領域の「任意の透過部分GE」の透過率を自動的に調整するようにしている。

図１２は、実施例３のフロントビューモニターシステムＡ３における制御回路４５にて実行されるブレンド比率センサー連動制御処理の流れを示すフローチャートであり、以下、各ステップについて説明する（ブレンド比率センサー連動調整手段の一例）。
ここで、ユーザーが任意設定で左右のブレンド比を変更し、現在の透過率Tr1を、例えば、３０％のような値に設定している場合を想定する。

ステップＳ２１では、機能スイッチ５４がONであるか否かを判断し、Yesの場合はステップＳ２２へ移行し、Noの場合はステップＳ２１での判断を繰り返す。

ステップＳ２２では、ステップＳ２１での機能スイッチ５４がONであるとの判断に続き、ターンシグナルスイッチ５５からのON信号出力時（ターンシグナルの点滅動作中）であるか否かを判断し、Yesの場合はステップＳ２３へ移行し、Noの場合はステップＳ２１へ戻る。

ステップＳ２３では、ステップＳ２２でのターンシグナルスイッチ５５からON信号が出力されているとの判断に続き、ターンシグナルスイッチ５５からの信号は右への針路変更信号か否かを判断し、Yes（ターンシグナルは右）の場合はステップＳ２４へ移行し、No（ターンシグナルは左）の場合はステップＳ２６へ移行する。

ステップＳ２４では、ステップＳ２３でのターンシグナルは右であるとの判断に続き、現在の透過率Tr1は設定値Tr0より小さいか否かを判断し、Yes（Tr1＜Tr0）の場合はステップＳ２５へ移行し、No（Tr1≧Tr0）の場合はステップＳ２８へ移行する。
ここで、設定値Tr0は、線路変更方向である右への視界を確保するための透過率しきい値である。

ステップＳ２５では、ステップＳ２４でのTr1＜Tr0であるとの判断に続き、右側のフロントカメラ映像領域の透過率を、現在の透過率Tr1から透過率Ｔ（例えば、Tr0）へ強制的に変更し、ステップＳ２１へ戻る。

ステップＳ２６では、ステップＳ２３でのターンシグナルは左であるとの判断に続き、現在の透過率Tr1は設定値Tr0より小さいか否かを判断し、Yes（Tr1＜Tr0）の場合はステップＳ２７へ移行し、No（Tr1≧Tr0）の場合はステップＳ２８へ移行する。
ここで、設定値Tr0は、線路変更方向である左への視界を確保するための透過率しきい値である。

ステップＳ２７では、ステップＳ２６でのTr1＜Tr0であるとの判断に続き、左側のフロントカメラ映像領域の透過率を、現在の透過率Tr1から透過率Ｔ（例えば、Tr0）へ強制的に変更し、ステップＳ２１へ戻る。

ステップＳ２８では、ステップＳ２４またはステップＳ２６でのTr1≧Tr0であるとの判断に続き、現在の透過率Tr1を変更しないでそのまま維持し、ステップＳ２１へ戻る。

なお、他の構成は、実施例１の図１と同様であるので、対応する構成に同一符号を付して説明を省略する。

次に、作用を説明する。
図１３は、運転者の視点位置から前方に向かって予め撮影された車室内映像を示す図である。
図１４は、実施例３のフロントビューモニターシステムＡ３が搭載されている車両から路面に対し垂直に車体形状を投影した像を運転者視点位置から透過して見た場合の映像（不透明部分）を示す図である。
図１５は、実施例３のフロントビューモニターシステムＡ３において左・右・中央のフロントカメラ映像の分割領域と図１４の「不透明部分DE」を組み合わせた合成画像を示す図である。
図１６は、実施例３のフロントビューモニターシステムＡ３において図１３に示す車室内映像RPに対し「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」を組み合わせた半透明車室内画像RGを示す図である。

運転者の視点位置から前方に向かって予め撮影された図１３に示す車室内映像RPに対し、路面に対し垂直に車体形状を投影した領域を、図１４に示すように、透過率０％の「不透明部分DE」とする。
そして、車室内映像RPから「不透明部分DE」を除いた領域に、180度以上の広角画面映像を表示することになる。

この180度以上の広角画面映像を運転者視点からの視点変換画像とした場合は、図１５に示すように、中央領域に中央フロントカメラ３１Ｃからのカメラ映像、左領域に左フロントカメラ３１Ｌからのカメラ映像、右領域に右フロントカメラ３１Ｒからのカメラ映像が合成された画面が構成されることになる。
すなわち、カメラを用いた映像は、視界の確保を目的とする構成のため、左・右・中央のフロントカメラ３１Ｌ，３１Ｒ，３１Ｃのカメラ画像を１画面で表示することが多い。
この場合、通常、これらの各々のカメラ映像を合成し、180度以上の広角画面映像を表示することになる。

図１５に示す映像に対し、図１３及び図１４の画像が重畳され、さらに、図１３の車室内映像RPのブレンド比率が、「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」に区別され、結果として、図１６に示すように、車室内を透過して車両前方側の外部を見ているような映像が運転者に提供されることになる。

したがって、実施例３のフロントビューモニターシステムＡ３の場合も、先に述べたサイドビューモニターシステムＡ１やバックビューモニターシステムＡ２の映像と同様に、死角の解消と共に車両感覚と呼ばれる車両の形状・大きさが、一目瞭然であり突発的な可能性回避の際に直感的に把握しやすい映像を提供できることになる。

［ターンシグナル連動による透過率自動調整作用］
ターンシグナルスイッチ５５が反応する場合は、ハンドルを切る動作、即ち徐行・停止後に左右いずれかへ針路変更を行うことである。
この場合、中央部の視界より左右からの接近車両の情報が重要となってくる。

これに対し、実施例３では、右のターンシグナルを検知し、かつ、現在の透過率Tr1が設定値Tr0より小さい場合、図１２のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ２４→ステップＳ２５へと進む。
そして、ステップＳ２５では、画面の中央領域より右領域の視界が重要なので視界確保のために、システムは自動的に透過率を上げるというアルファブレンド動作を行う。

また、左のターンシグナルを検知し、かつ、現在の透過率Tr1が設定値Tr0より小さい場合、図１２のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ２６→ステップＳ２７へと進む。
そして、ステップＳ２７では、画面の中央領域より左領域の視界が重要なので視界確保のために、システムは自動的に透過率を上げるというアルファブレンド動作を行う。

したがって、右に針路変更を行う場合には、右の視界がより鮮明に確保されることになり、左に針路変更を行う場合には、左の視界がより鮮明に確保されることになる。
結果として、針路変更を行うとする側からの接近車両の情報を的確に把握することができる。
ここで、上記動作中、ターンシグナルの左右を判別し、そのどちらかのみを重み付けして透過率を変更するようにしても良い。
なお、他の作用は、実施例１と同様であるので、説明を省略する。

次に、効果を説明する。
実施例３のフロントビューモニターシステムＡ３にあっては、実施例１の(1)〜(7)の効果に加え、下記の効果を得ることができる。

(10) 前記車載外部カメラは、運転者の死角となる車両の前方部分を、車室内のモニター３に表示するフロントビューモニターシステムＡ３に用いられる左・右・中央の各フロントカメラ３１Ｌ，３１Ｒ，３１Ｃである。
このため、例えば、停止や徐行からの直進発進や旋回発進の際に必要となる車両前方の障害物等と自車両の位置感覚や距離感覚、あるいは、接近してくる車両と自車両の位置感覚や距離感覚を直感的把握することができ、安全運転に対して寄与し得る貢献度を大きくすることができる。

以上、本発明の車両周辺画像表示システムを実施例１〜実施例３に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１〜３では、仮想カメラ画像に重畳する半透明車室内画像として、予め用意した車室内映像RPを「不透明部分DE」と「100％透過部分CE」と「任意の透過部分GE」に区別する例と、これに加えて、「不透明部分DE」に縁取りを表示する例を示した。
しかし、「不透明部分DE」に代えて、塗りつぶしによる「影部分」とする例としても良い。
また、予め用意した車室内映像RPを「不透明部分DE」または「影部分」と「任意の透過部分GE」に区別する例としても良い。
さらに、予め用意した車室内映像RPを「不透明部分DE」または「影部分」と「グラデーション状に透過率を変化させた透過部分」に区別する例としても良い。

実施例１では、車両周辺画像表示システムとしてサイドカメラを用いたサイドビューモニターシステムＡ１の例を示した。
実施例２では、車両周辺画像表示システムとしてバックカメラを用いたバックビューモニターシステムＡ２の例を示した。
実施例３では、車両周辺画像表示システムとしてフロントカメラを用いたフロントビューモニターシステムＡ３の例を示した。
しかし、車両周辺画像表示システムとしては、モニターを共用し、サイドビューとバックビューとフロントビュー等のうち、何れかを選択できるモニターシステム、あるいは、所定の条件にて自動的に切り換えられるモニターシステムに対しても適用することができる。

Claims (8)

1. 自車両に取り付けられ、車両周辺を撮像する車載外部カメラと、運転者が視認できる車室内位置に設定したモニターと、前記車載外部カメラから入力される現在の実カメラ映像に基づき、前記モニターへの表示映像を生成するモニター映像生成手段と、を備えた車両周辺画像表示システムにおいて、
   前記モニター映像生成手段は、
   前記車載外部カメラから入力される現在の実カメラ映像を、運転者の視点位置から見た仮想カメラ画像に視点変換する画像処理部と、
   運転者の視点から予め撮影された車室内映像を車室内画像として記憶しておく画像記憶部と、
   前記画像記憶部からの車室内画像を半透明化することにより半透明車室内画像とし、前記画像処理部からの仮想カメラ画像に前記半透明車室内画像を重ね合わせる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する合成画像を生成する画像合成回路と、を備え、前記画像合成回路は、前記車室内映像のうち、自車両の大きさ・形状を垂直に道路面に投影した領域を、車室内画像の透過率が０％の不透明部分として設定し、自車両の窓ガラスに相当する領域を、車室内画像の透過率が１００％の透明部分として設定し、前記自車両の大きさ・形状を垂直に道路面に投影した領域と前記窓ガラスに相当する領域以外の領域を、任意の透過率を持つ半透明部分として設定するブレンド回路部を有することを特徴とする車両周辺画像表示システム。
2. 請求項１に記載された車両周辺画像表示システムにおいて、
   前記ブレンド回路部は、車室内画像の透過率が０％の不透明部分の外周に縁取り枠を表示設定することを特徴とする車両周辺画像表示システム。
3. 請求項１または請求項２に記載された車両周辺画像表示システムにおいて、
   前記ブレンド回路部は、車室内画像に設定された半透明部分の透過率を、手動操作により任意に調整することができるブレンド比率手動調整手段を有することを特徴とする車両周辺画像表示システム。
4. 請求項１または請求項２に記載された車両周辺画像表示システムにおいて、
   前記ブレンド回路部は、車室内画像に設定された半透明部分の透過率を、外部センサーにより得られる外部環境情報や車両情報に基づき、前記モニターに表示される合成画像の視認性を高めるように自動的に調整するブレンド比率センサー連動調整手段を有することを特徴とする車両周辺画像表示システム。
5. 請求項１乃至４の何れか１項に記載された車両周辺画像表示システムにおいて、
   車室内のイルミネーションランプの点灯／消灯を検出する点灯状態検出手段と、前記車載外部カメラから入力される実カメラ映像の輝度を検出する輝度検出手段を設け、
   前記画像合成回路は、イルミネーションランプの点灯条件と、輝度検出値が設定値よりも低いという低輝度条件が共に成立すると、合成画像の輝度を反転すると共に黒線を白線で表示する合成画像輝度制御部を有することを特徴とする車両周辺画像表示システム。
6. 請求項１乃至５の何れか１項に記載された車両周辺画像表示システムにおいて、
   前記車載外部カメラは、運転者の死角となる車両の前側方部分を、車室内のモニターに表示するサイドビューモニターシステムに用いられるサイドカメラであることを特徴とする車両周辺画像表示システム。
7. 請求項１乃至５の何れか１項に記載された車両周辺画像表示システムにおいて、
   前記車載外部カメラは、運転者の死角となる車両の後方部分を、車室内のモニターに表示するバックビューモニターシステムに用いられるバックカメラであることを特徴とする車両周辺画像表示システム。
8. 請求項１乃至５の何れか１項に記載された車両周辺画像表示システムにおいて、
   前記車載外部カメラは、運転者の死角となる車両の前方部分を、車室内のモニターに表示するフロントビューモニターシステムに用いられる単独あるいは複数のフロントカメラであることを特徴とする車両周辺画像表示システム。

Images