WO2007020840A1

WO2007020840A1 - 車載用画像表示装置

Info

Publication number: WO2007020840A1
Application number: PCT/JP2006/315669
Authority: WO
Inventors: Kaoru Kido
Original assignee: Adc Technology Inc.
Priority date: 2005-08-19
Filing date: 2006-08-08
Publication date: 2007-02-22
Also published as: JP4933669B2; US20130002412A1; JP2011076630A; US8264367B2; US20110046850A1; US20120296524A1; JP2011233173A; US20110291917A1; JP2011076631A; JP4740689B2; JP2011181110A; US8456290B2; JP4933658B2; US8022836B2; JP2007052719A; JP5019491B2; US8237580B2; JP5406321B2; EP1916645A1; JP2012185832A

Abstract

　車両に用いられる車載用画像表示装置であって、車両の周囲の状況を検出する状況検出手段と、車両の少なくとも前方の窓部全体に設けられ、その窓部全域に情報を表示可能な表示手段と、前記状況検出手段の検出結果に基づき、車両の周囲の画像を前記表示手段に表示するための画像データを生成する画像生成手段と、前記画像生成手段が生成した画像データが表す画像を、前記表示手段に表示させる表示制御手段と、を備えている車載用画像表示装置を提供する。

Description

明細書

車載用画像表示装置

技術分野

[0001] 本発明は、バス、タクシー、或いは自家用車等の車両の窓部に画像を表示する車載用画像表示装置に関する。

背景技術

[0002] 従来より、車両同士の事故や車両と通行人との事故等、車両に関係した事故が起こる原因として、例えば、天候（雨や雪など）により視界が悪ィ匕したり、或いは目の疲労等で運転手の視力が一時的に低下したりすることにより、運転手が、車両の周囲の通行人、他の車両、或いは障害物等を見落としてしまうことや、見間違えてしまうというようなことが考えられる。すなわち、運転手が車両の周囲の状況を正確に把握できず、危険回避が遅れて事故につながってしまうのである。逆に言うと、運転手が車両の周囲の状況を正確に把握できれば、事故の発生が防止される。

[0003] ところで、従来より、車両の窓ガラスに、外の状況や風景を映写することのできる画像表示装置が知られている (例えば、特許文献 1参照)。

[0004] この特許文献 1に記載の画像表示装置は、車両の状態 (位置や速度等)を観測する観測装置と、外の風景の画像情報を予め蓄積しておく蓄積装置とを備えており、観測装置により観測された車両の位置を表す情報に基づき、その観測された位置において車両の外に見えるであろう風景の画像情報を蓄積装置より取得し、その画像情報が表す画像を、窓ガラスに表示させる。なお、地名や河川名、山岳名等の地図情報を表示させることもできる。また、車両の速度情報に基づいて、速度に合わせて表示させる画像を順次切り換えることもできる。このように、車両の周囲の風景画像を車両の窓ガラスに表示させることのできるものがある。

特許文献 1：特開 2004— 20223号公報

発明の開示

発明が解決しょうとする課題

[0005] ところで、上述したような従来の画像表示装置においては、蓄積装置に予め蓄積された風景画像が車両の窓ガラスに表示されるのであり、走行中現在の車両の外の風景画像は表示させることができない。そして、前述したように、天候により視界が悪ィ匕したり、或いは運転手の視力が一時的に低下したりすると、運転手は周囲の状況を正確に把握できなくなり、運転の危険度、言い換えると、事故が生じる確率が増大する。よって、事故を防止するためには、走行中における車両の周囲の画像を、リアルタイムに表示させることが必要である。

[0006] 本発明は、こうした問題に鑑みなされたもので、車両の周囲の状況を画像で正確に再現して車両の窓部に表示することで、運転手が安全に車両を運転できるようにすることを目的とする。

課題を解決するための手段

[0007] 力かる問題を解決するためになされた請求項 1に記載の発明は、車両に用いられる車載用画像表示装置であって、

車両の周囲の状況を検出する状況検出手段と、

車両の少なくとも前方の窓部全体に設けられ、その窓部全域に情報を表示可能な表示手段と、

前記状況検出手段の検出結果に基づき、車両の周囲の画像を前記表示手段に表示するための画像データを生成する画像生成手段と、

前記画像生成手段が生成した画像データが表す画像を、前記表示手段に表示させる表示制御手段と、

を備えて、ることを特徴として、る。

[0008] この請求項 1に記載の車載用画像表示装置においては、車両の周囲の状況が状況検出手段により検出され、その検出結果に基づいて、車両の周囲の画像を表す画像データが画像生成手段により生成される。そして、車両の少なくとも前方の窓部全体に設けられた表示手段に、画像生成手段が生成した画像データにより表される画像が表示される。

[0009] よって、この請求項 1に記載の車載用画像表示装置によれば、車両の周囲の状況を表す画像が車両の窓部に表示されるため、運転手が車両の周囲の状況を確実に把握できるようになる。すなわち、状況検出手段の検出結果に基づいて、例えば移動物を強調表示するなど、運転手が見やす!ヽ画像を表示するように構成することができるため、運転手は、画像の内容、つまり周囲の状況を容易に認識できる。また、車両の遠方の状況であっても、運転手力近い窓部にその状況を表す画像が表示されることになるため、運転手にとって見やすいものとなり、その遠方の状況も容易に把握できるようになる。このように、運転手は車両の周囲の状況を確実に把握できるようになり、危険回避が遅れて事故の発生するということを確実に防止できるようになる。なお、少なくとも周囲に存在する物体が状況検出手段により検出されるように構成できる。

[0010] また、請求項 1に記載の車載用画像表示装置においては、請求項 2に記載のように、前記表示手段は、車両の内部及び外部からの光を透過させることにより、当該表示手段を挟んで車両の内部及び外部の景色が視認可能となる窓状態と、車両の内部及び外部からの光を遮断するとともに、前記表示制御手段により画像が表示されるようになる表示状態と、に切り換え可能に構成され、前記表示制御手段は、前記表示手段の状態を前記表示状態に切り換えた後、前記画像生成手段が生成した画像データが表す画像をその表示手段に表示させることが好ましい。

[0011] この請求項 2に記載の車載用画像表示装置においては、車両の窓部の表示手段は、通常の窓のように対向側の景色が視認できるような窓状態と、画像が表示される表示状態とに切り換えられる。

[0012] よって、この請求項 2に記載の車載用画像表示装置によれば、車両の周囲の画像を表示させる時のみ、表示手段を表示状態に切り換え、また、画像を表示しない時には、通常の窓のような窓状態に切り換えるように構成することができる。したがって、運転手、或いは搭乗者にとって使いやすいものとなる。

[0013] また、請求項 1又は請求項 2に記載の車載用画像表示装置においては、車両の側面及び後方の窓部にも表示手段が設けられることが考えられる。そして特に、請求項 2に記載の車載用画像表示装置のように表示手段の状態が切り換えられる場合は、請求項 3に記載のように、各窓部において、表示手段の状態を前記窓状態と前記表示状態とに切り換え可能に構成されることが好ましい。

[0014] この請求項 3に記載の車載用画像表示装置によれば、車両の全ての窓部に情報を表示させることができる。よって、車両の全ての窓部に車両の周囲の状況を表す画像を表示させることができるため、前述したような理由により、運転手はより安全に車両を運転できるようになる。し力も、その各窓部の表示手段は、通常の窓のような窓状態と、画像が表示される表示状態とに切り換え可能になっている。よって、例えば搭乗者が本物の風景を楽しめるように窓部毎に表示手段の状態を通常の窓状態に切り換えることもでき、本物の風景を楽しみた、と、う搭乗者のニーズにも応えることができる。

[0015] また、請求項 2又は請求項 3に記載の車載用画像表示装置においては、請求項 4 に記載のように、前記表示制御手段は、車両の搭乗者の入力に基づき、前記表示手段の状態を前記窓状態と前記表示状態とに切り換えることが好ましい。

[0016] この請求項 4に記載の車載用画像表示装置によれば、搭乗者は、車両の窓部の表示手段の状態を自由に表示状態と窓状態とに切り換ることができるため、搭乗者にとつて使い勝手が良い。

[0017] また、請求項 5に記載のように、請求項 2又は請求項 3に記載の車載用画像表示装置において、車両の速度、進行方向、或いは制動状態の少なくとも何れかを検出する運転状態検出手段を備え、

前記表示制御手段は、前記運転状態検出手段の検出結果に基づき、前記表示手段の状態を前記窓状態と前記表示状態とに切り換えるように構成することもできる。

[0018] この請求項 5に記載の車載用画像表示装置によれば、運転手が意図しなくても、車両の運転状態に合わせて、表示手段の状態が切り換えられる。そして例えば、車両の速度が一定の速度以上となった時に、窓部の表示手段の状態が表示状態に切り換えられるとともに、その表示手段に周囲の画像が表示されるように構成することが考えられる。また、車両が停止した際に、窓部の表示手段の状態が通常の窓状態に切り換えられるように構成することが考えられる。

[0019] すなわち、例えば前述したように車両の速度が一定速度以上になると運転手が周囲の状況を把握しにくくなることが考えられる力その時に窓部に周囲の画像が表示されて運転手が周囲の状況を把握できるようにすることができる。よって、運転手はより安全に車両を運転できるようになる。また、車両が停止した時に窓部の状態が通常の窓状態に切り換えられるようにすれば、搭乗者は本物の風景を十分に楽しむことがでさるよう〖こなる。

[0020] また、請求項 1な!、し請求項 5の何れか 1項に記載の車載用画像表示装置にぉ、ては、請求項 6に記載のように、前記表示制御手段は、車両力バックする際には、その車両における後方の周囲の画像を、前記表示手段に表示させることが好ましい。

[0021] この請求項 6に記載の車載用画像表示装置によれば、運転手が車両をその後方にノックさせる際には、窓部に車両の後方の画像が表示されるため、運転手はより安全に車両を運転できるようになる。なお、車両の後方の画像を表示させる窓部としては、車両の前方の窓部でもよいし、後方の窓部でもよい。さらには、側面の窓部でもよい。また、全ての窓部に表示させるようにしてもよい。

[0022] また、請求項 1な!、し請求項 6の何れか 1項に記載の車載用画像表示装置にぉ、ては、請求項 7に記載のように、前記状況検出手段の検出結果に基づき、車両の周囲の音を出力する音出力手段を備えていることが好ましい。

[0023] この請求項 7に記載の車載用画像表示装置によれば、車両の周囲の画像にカ卩えて音が音出力手段により出力されるので、よりリアルに車両の周囲の状況が再現され、運転手がより正確に車両の周囲の状況を把握できるようになる。

[0024] また、請求項 1な!、し請求項 7の何れか 1項に記載の車載用画像表示装置にぉ、ては、請求項 8に記載のように、前記画像生成手段が生成した画像データを記憶する記憶手段を備えて、ることが好ま、。

[0025] この請求項 8に記載の車載用画像表示装置によれば、記憶手段に画像データが記憶されるため、運転後においてもその画像データを読み出し、その画像データが表す画像を見ることができるようになる。よって、搭乗者にとっては使い勝手がよい。

[0026] また、請求項 1な!、し請求項 8の何れか 1項に記載の車載用画像表示装置にぉ、ては、請求項 9に記載のように、前記画像生成手段は、車両の周囲の通行人或いは他の車両が前記表示手段にて強調表示されるように画像データを生成することが好ましい。

[0027] この請求項 9に記載の車載用画像表示装置によれば、車両の周囲の通行人や他の車両等につ、ては、運転手が容易にそれらを認識できるようにその画像が生成されるため、運転手はその通行人や他の車両に対して注意を促されるようになる。すなわち、運転手の注意力を喚起できるようになる。

[0028] また、請求項 1な!、し請求項 9の何れか 1項に記載の車載用画像表示装置にぉ、ては、請求項 10に記載のように、前記表示手段は、車両の内側と外側とにおける両面に情報を表示可能であり、

前記表示制御手段は、前記表示手段の外側の面には、前記画像生成手段が生成した画像データが表す画像とは異なる画像を表示させることが好ましい。

[0029] この請求項 10に記載の車載用画像表示装置によれば、表示手段の両面に画像を表示することができるため、例えば内側面には、前述したように周囲の画像を表示させ、外側面には他の車両の運転者や通行人へのメッセージ等を表示させるようにすることができる。このようにメッセージを表示させて周囲とのコミュニケーションを図ることで、ひいては交通の円滑化も図ることができる。なお、外側面に広告を表示するように構成することも考えられる。

[0030] また、請求項 1ないし請求項 10の何れか 1項に記載の車載用画像表示装置においては、請求項 11に記載のように、記録媒体に記録された画像データを読み取る読取手段を備え、

前記表示制御手段は、前記読取手段が前記記録媒体から読み取った画像データが表す画像を、前記表示手段に表示させるように構成されることが好ましヽ。

[0031] この請求項 11に記載の車載用画像表示装置によれば、記録媒体に記録された画像データが表す画像も窓部に表示させることができるため、搭乗者にとって使いやすいものとなる。

[0032] また、請求項 1ないし請求項 11の何れか 1項に記載の車載用画像表示装置においては、請求項 12に記載のように、前記状況検出手段の検出結果に基づき、車両が他の車両との衝突を回避不能か否かを判定する衝突判定手段と、

前記衝突判定手段により、前記他の車両との衝突が回避不能と判定された場合に、前記状況検出手段の検出結果に基づき、前記他の車両以外の静止物のうち、衝突可能な静止物が有るか否かを判定する可能性判定手段と、

前記可能性判定手段により衝突可能な静止物が有ると判定されると、その静止物に衝突するように車両を制御する車両制御手段と、

を備えていることが好ましい。

[0033] そして特に、車両制御手段は、請求項 13に記載のように、車両のブレーキ、動力源

(例えば、内燃機関やモータ等)の出力、及び舵角を制御することが考えられる。

[0034] このような請求項 12又は請求項 13に記載の車載用画像表示装置が備えられた車両にお、ては、仮に周囲の他の車両との衝突が避けられな、と、う状況となった場合に、その他の車両の他に衝突の可能性のある対象物が検索され、もしそのような対象物があった場合には、その対象物に衝突するように車両が制御される。すなわち、他の車両以外の対象物に衝突してでも、他の車両との衝突を回避して被害を抑えるようにされる。よって、この車載用画像表示装置によれば、衝突の被害を最小限に抑免ることがでさるよう〖こなる。

図面の簡単な説明

[0035] [図 1]車載用画像表示装置が備えられた車両の外観を表す外観図である。

[図 2]車載用画像表示装置の構成を表すブロック図である。

[図 3]車載用画像表示装置の CPUが実行する処理の流れを表すフローチャートである。

[図 4]車載用画像表示装置の描画プロセッサが実行する処理の流れを表すフローチヤートである。

[図 5]車載用画像表示装置の CPUが実行する衝突軽減処理の流れを表すフローチヤートである。

[図 6]車両の窓部に画像が表示された状態を表す図である。

[図 7]第 2実施形態の車載用画像表示装置の構成を表すブロック図である。

[図 8]車両の窓部に画像が表示された状態を表す図である（第 2実施形態)。

[図 9]第 3実施形態の車載用画像表示装置の構成を表すブロック図である。

符号の説明

[0036] 1…車両、 2· ··フレーム部、 5…車載用画像表示装置、 10· ··赤外線センサ、 12· ··ミリ波レーダ、 14· ··超音波センサ、 16- CCDカメラ、 18· ··マイクロフォン、 20, 22- --1/ 0、 24- --CCDI/F, 30"-CPU、 32"-ROM、 34"-RAM、 36"-HDD、 37· ··読取装置、 38· ··フレームメモリ、 39· ··描画プロセッサ、 40· ··表示ガラスノ《ネル、 42· ··スピ一力、 44· ··操作部、 45· "プロジェクタ、 50· ··ノス、 80· ··検出ユニット、 90· ··車載ュニット、 95…入出力部。

発明を実施するための最良の形態

[0037] 以下に、本発明の一実施形態を図面に基づき説明する。

[実施形態 1]

図 1は、本実施形態の車載用画像表示装置 5 (図 2参照）が備えられた車両 1の外観を表す外観図である。図 1に示すように、車両 1のボディーの外部における複数箇所に、車載用画像表示装置 5のうち、車両 1の周囲の状況を検出するための検出ュニット 80が設けられている。この検出ユニット 80により、車両 1の周囲の状況として、周囲の景色や、周囲の人、他の車両 (以下、他車両とも言う）、或いは障害物等の態様が検出される。また、図 1には図示しないが、車載用画像表示装置 5を構成する車載ユニット 90 (図 2参照）が、検出ユニット 80とは別に車両 1内部に備えられている。そして、検出ユニット 80の検出結果に基づいて、車載ユニット 90により車両 1の周囲の状況を表す画像が生成されるようになって！/、る。

[0038] そして特に、本実施形態においては、車両 1の全ての窓部には、その窓部全体に画像を表示することのできる表示ガラスパネル 40が設けられて!/、る。この表示ガラスパネル 40は、液晶ディスプレイとして機能して画像が表示可能となる表示モードと、通常の窓のように透明な状態であって、窓を挟んだ対向側の景色が視認できる状態である通常モードとに切り換え可能に構成されている。そして、車載ユニット 90により生成された車両 1の周囲の画像は、表示ガラスパネル 40に表示される。なお、車両 1 の周囲の画像は、車両 1の内部力視認できるように、表示ガラスパネル 40において車両 1の内側に対応する面に表示されるようになっている。また、本実施形態では、車両 1の外側に対応する面にも画像が表示可能なように構成されている。

[0039] 次に、図 2は、車載用画像表示装置 5の構成を表すブロック図である。

[0040] この図 2に示すように、本実施形態の車載用画像表示装置 5は、前述した検出ュニット 80、車載ユニット 90、及び表示ガラスパネル 40を含む入出力部 95から構成されている。以下、各構成要素について詳述する。 [0041] まず、車載ユニット 90は、車両 1の内部に搭載されるものであり、各種処理を実行する CPU30と、この車載ユニット 90の起動時に CPU30が行う起動処理のプログラム（ BIOS)等を記憶した ROM32と、 CPU30が各種処理を行う際に記憶領域として用いる RAM34と、情報を記憶させるハードディスク（以下、 HDD) 36と、 CD— ROM /RAM, DVD— ROMZRAM等の記録媒体に記録された情報を読み取る読取装置 37と、検出ユニット 80から送信されるデータに基づいて、車両 1の周囲の状況を表す画像データを生成する描画プロセッサ 39と、描画プロセッサ 39により生成された画像データが記憶されるフレームメモリ 38と、検出ユニット 80とデータを送受信するための入出力インタフェース（以下、 IZO) 20と、入出力部 95とデータを送受信するための ΙΖ022と、を備えており、それらがバス 50を介して相互に接続されている。

[0042] 次に、検出ユニット 80は、赤外線センサ 10と、ミリ波レーダ 12と、超音波センサ 14と、マイクロフォン 18とから構成されており、それぞれにおいて、後述する各種データが微小時間 A t毎に検出される。

[0043] 検出ユニット 80において、赤外線センサ 10は、対象物から放射される赤外線を検出するものである。なお、赤外線はあらゆる物体カゝら放射される。そして、この赤外線センサ 10を用いて赤外線の放射源の範囲を特定することで、対象物のおおよその外形が分かる。また、その放射されている赤外線の強弱（赤外線の強度は、対象物の温度、或いは熱伝導率等の物性値により異なる）から、その対象物のおおよその形状や素材等を推測することも可能である。そして、本実施形態においては、赤外線センサ 10を構成する図示しないマイクロコンピュータにより、赤外線の強度力も対象物の素材 (例えば、金属であるかそうでないか)を予測する予測処理が実行される。なお、この予測処理は、赤外線センサにおいては従来より行われている処理であり、ここでは詳しい説明を省略する。そして、この予測結果を表すデータや、赤外線センサ 10 により検出された赤外線の放射源の範囲、及び赤外線の強度を表すデータは、車載ユニット 90に送信される。

[0044] ミリ波レーダ 12は、ミリ波（周波数 30〜300GHzの電波）を用いて、そのミリ波を照射する照射源 (ここでは、車両 1とする）と対象物との距離や、車両 1と対象物との相対速度を検出するものである。すなわち、ミリ波を照射するとともに、その照射波が対象物に反射して返ってくるまでの時間から、対象物との距離を検出する。また、所定時間 t毎 (t< A t)に対象物との距離を検出することで、対象物との相対速度も検出する。そして、このミリ波レーダ 12により検出された対象物との距離、及び相対速度を表すデータは、車載ユニット 90に送信される。

[0045] 超音波センサ 14は、超音波を周囲に照射するとともに、その照射した超音波の反射波から、対象物の位置、大きさ、形状、及び体積を計測するものである。なお、本実施形態においては、超音波センサ 14として、 3次元計測のできるものが用いられている。つまり、対象物の形状を 3次元で表すことができるようになつている。そして、この超音波センサ 14により計測された対象物の位置、外形、形状、及び体積を表すデータは、車載ユニット 90に送信される。

[0046] マイクロフォン 18は、車両 1の周囲の音を検出する。例えば、人の話し声や動物の鳴き声、或いは他の車両の走行音等である。そして、その検出した音を表すデータは、車載ユニット 90に送信される。

[0047] そして、検出ユニット 80において検出され車載ユニット 90に送信された各検出データは、車載ユニット 90において、 IZO20を介して受信されるとともに RAM34に格納される。そしてこの時、 CPU30は、描画プロセッサ 39に対して、検出データに基づいて画像データを生成するように指令する。すると、描画プロセッサ 39は、 RAM34から検出データを読み出して、その検出データに基づいて画像データを生成する。そして、その画像データにより表される画像は、表示ガラスパネル 40に表示される。

[0048] 次に、入出力部 95は、前述した表示ガラスパネル 40と、音を出力するスピーカ 42 と、情報を入力するための操作部 44と、力構成されている。

[0049] スピーカ 42は、前述した検出データのうち、マイクロフォン 18により検出された音を表すデータに基づ!/、て、周囲の音をこのスピーカ 42を介して出力するために設けられている。なお、車両 1に通常設けられているオーディオ装置（図示せず）のスピーカを禾 IJ用してもよヽ。

[0050] また、操作部 44は、車両 1の搭乗者が操作するものであり、搭乗者は、この操作部 44を操作することで、表示ガラスパネル 40のモードを、前述した表示モードと通常モードとに切り換えたりすることができる。なお、この切換は、窓部毎に行うことができる。 [0051] 次に、車載ユニット 90の CPU30が繰り返し実行する描画指令処理について、図 3 を用いて説明する。この処理は、描画プロセッサ 39に画像データを生成させるために実行される処理である。

[0052] この描画指令処理では、まず S310にて、検出ユニット 80から検出データを受信した力否かを判定する。受信したと判定すると、次に S320へ移行し、その受信した検出データを RAM34に記憶させる。また、この時、検出データに含まれる音のデータに基づいて、車両 1の周囲の音をスピーカ 42から出力させる。なお、検出データが表す対象物から発せられる音を予測して、その予測した音力スピーカ 42から発せられるようにしてもよい。例えば、他の車両が検出された場合には、その他車両力発せられると予測されるエンジン音やクラクションの音を、スピーカ 42から出力させてもよい。この場合、エンジン音やクラクションの音などの音を表す音データを、予め ROM 32や HDD36に記憶させておき、他の車両が検出された場合に、それらの音を表す音データを ROM32或、は HDD36から読み出すようにすると良、。

[0053] そして、次に S330へ移行し、描画プロセッサ 39に、画像データを生成させる指令である描画指令を送信する。そして、再び S310へ戻る。

[0054] なお、 S310にて検出データを受信していないと判定した場合も、再び S310の判定処理を繰り返すことになる。

[0055] 次に、描画プロセッサ 39が繰り返し実行する描画処理について、図 4を用いて説明する。

[0056] この描画処理においては、まず S410にて、描画指令を CPU30より受信したか否かを判定する。前述したように、描画指令は、この描画プロセッサ 39に画像データを生成させるための指令であり、図 2の S330の処理〖こて CPU30より送信される。 S41 0にて描画指令を受信していないと判定すると、再び S410の処理を実行することになる。

[0057] 一方、 S410にて描画指令を受信したと判定すると、次に S420へ移行し、 RAM34 力も検出データを読み込む。この検出データは、検出ユニット 80から送信され、 S32 0の処理で RAM34に記憶されるものである。

[0058] そして、続く S430にて、 S420で RAM34より読み出した検出データに基づいて、車両 1の周囲の画像データを生成する。ここで、画像データを生成する方法について具体的に説明する。

[0059] まず、前述したように、車載ユニット 90には、ミリ波レーダ 12から、車両 1と対象物との距離 (或いは対象物の位置)、及び相対速度を表す検出データが送信され、赤外線センサ 10からは、対象物の外形、形状、及び素材を表す検出データが送信され、超音波センサ 14からは、対象物の外形、形状、体積、及び位置を表す検出データが送信される。そして、それらの検出データは RAM34に記憶される。

[0060] そして、描画プロセッサ 39は、 RAM34に記憶された前述したような検出データから、車両の周囲の画像データを生成するのである力その画像データを構成するデータのうち、対象物の外形及び形状を表すデータについては、赤外線センサ 10及び超音波センサ 14の両方から送信される検出データに基づいて生成する。すなわち、赤外線センサ 10から送信される外形、或いは形状を表すデータと、超音波センサ 14 から送信される外形、或いは形状を表すデータとの平均をとり、その結果得られたデータを、対象物の外形、或いは形状を表すデータとする。また、対象物の位置のデータにつヽても同様に、ミリ波レーダ 12及び超音波センサ 14の両方から送信される位置を表すデータの平均をとり、その結果得られたデータを、対象物の位置のデータとする。

[0061] ところで、例えば天候の影響など、外乱によって一方のセンサ (ここでは、赤外線センサ 10、超音波センサ 14、或いはミリ波レーダ)の検出精度が低下してしまうような場合には、他方のセンサの検出データを採用する。なお、両方のセンサの検出精度が同時に低下する確率は小さくなつている。言い換えると、両方のセンサの検出精度が同時に低下すると、うことは生じ難、。

[0062] そして、少なくとも、このようにして生成された対象物の外形、形状、及び位置のデータがあれば、そのデータに基づき、車両の周囲の状況が表される。

[0063] そして特に、本実施形態においては、描画プロセッサ 39は、対象物の外形、及び形状のデータに加え、対象物の素材や体積のデータに基づいて、対象物が何である力を予測する。例えば、対象物が人であるとか、木であるとか、或いは車両であるということを予測する。本実施形態では、 ROM32には、対象物として例えば木や人、或いは車両について、その外形、形状、素材、体積、色彩等を表すデータが、複数種類 (或いは複数タイプ)の木、人、車両について記憶されており、描画プロセッサ 39 は、自身が生成した対象物のデータと、 ROM32に記憶された対象物のデータとにおいて、データの要素を対応させて比較するようになっている。すなわち、外形、形状、素材、及び体積のデータについてそれぞれ、自身が生成したデータと ROM32 に記憶されたデータとを比較する。そして、比較した結果、生成したそれぞれのデータカ ROM32に記憶された対応するデータの何れに近いか、すなわち、生成した対象物のデータがどのようなもの（人、木、或いは車両、又はそれらのタイプ）を表しているかを結論付ける。なお、木や人、車両等の対象物を表すデータは、データべ一スとして HDD36に記憶させてお!、てもよ!/、。

[0064] このようにして対象物を予測することで、色彩が施された画像を生成することができる。例えば、生成したデータにより表される対象物が木であると結論付た場合には、 R OM32に記憶されている木についてのデータ力色彩のデータを抽出し、その抽出した色彩のデータを生成した対象物のデータに付加することで、その対象物について、色彩を施した画像を表示させることができる。

[0065] なお、本実施形態においては、対象物が人や車両等などの移動体の場合には、その対象物の画像について、表示ガラスパネル 40にて強調表示されて運転手がより認識しゃすくなる色彩を施すようになって!/ヽる。強調表示されて運転手が認識しやすくなる色としては、蛍光色や原色が考えられる。

[0066] また、本実施形態においては、検出された対象物について、ミリ波レーダ 12により検出される相対速度を表すデータに基づき、その対象物の所定時間後の外形 (言い換えると、大きさ）及び位置についての予測のデータを生成することもできる。そして、対象物の画像を表示ガラスパネル 40に表示させる際には、その予測のデータに基づく対象物の画像を表示させるようにすることもできる。

[0067] このように、検出ユニット 80の検出データに基づき、車両 1の周囲の状況について、 V、わゆるコンピュータグラフィック（CG)画像が生成される。

[0068] また、 S430においては、前述したように画像データを生成するとともに、その画像データをフレームメモリ 38に一時的に記憶させるようになつている。また、操作部 44 を介して車載ユニット 90が所定の設定状態に設定されることにより、 HDD36にも画像データが記憶される。

[0069] HDD36に画像データを記憶させるように設定すれば、車両 1の搭乗者は、その H DD36に記憶された画像データを読み出して後から見ることもできるようになる。すなわち、例えばドライブ時の画像データを記憶させておくことにより、後からドライブ時の画像をみて楽しむことができる。また、走行経路が複雑で迷いやすいような目的地へいく時に周囲の画像を記憶しておけば、後から画像を見直して走行経路を確認することができる。そして、そのようにすれば次からはスムーズにその目的地に迪り着けるようになる。

[0070] また、本実施形態においては、 CD— ROMZRAM, DVD— ROMZRAM等の記録媒体に記録されたデータを読み取ることのできる読取装置 37が設けられている。そして、この読取装置 37により記録媒体に記録された画像データを読み出して、その画像データが表す画像を表示ガラスパネル 40に表示できるようになって、る。このため、地図データが記憶された記録媒体を利用して、表示ガラスパネル 40に、周囲の画像とともに地図情報を表示できるようになる。よって、運転手にとって使い勝手がよい。また、映画やライブ映像が記録された記録媒体を利用して、その映画やライブ映像を表示ガラスパネル 40に表示させることもできる。よって、搭乗者は、車両 1にお Vヽて映画やライブ映像を楽しむことができる。

[0071] ところで、本実施形態においては、車両 1の表示ガラスパネル 40について、その状態を表示モードと通常モードとに切り換え可能になっており、さらに、その切り換えのモードとしては、自動で切り換えを行う自動モードと、操作部 44からの入力に基づヽて切り換えを行う手動モードとがある。なお、自動モード或いは手動モードの何れにするかは、操作部 44を介して予め設定することができる。

[0072] そして、 S430力ら続く S510では、切り換えのモードが自動モードであるか否かを判定する。自動モードであると判定すると、次に S520へ移行し、車両 1は走行中である力否かを判定する。具体的には、車両 1に備えられた図示しない速度センサにより検出される検出結果に基づき、車両 1の速度が 0でないか否かを判定する。

[0073] S520にて車両 1が走行中であると判定すると、次に S530へ移行し、表示ガラスパネル 40を表示モードに設定する。なお、本実施形態においては、車両 1の全ての窓部の表示ガラスパネル 40を表示モードに設定する。

[0074] そして、続く S540にて、表示ガラスパネル 40に、 S430にて生成した画像データが表す画像を表示させる（図 6参照)。なお、図示はしないが、車両 1が後方へバックしている場合には、車両 1の後方の画像が前面の表示ガラスパネル 40に表示される。なお、この時、車両 1の後方の画像を車両 1の後方の窓部（表示ガラスパネル 40)に表示させるようにしてもよいし、側面の窓部に表示させるようにしてもよい。或いは、全ての窓部に表示させるようにしてもょ、。

[0075] 一方、 S520にて走行中でないと判定すると、次に S550へ移行し、表示ガラスパネル 40を通常モードに設定する。そして再び、 S410へ戻る。

[0076] また、 S510にて、切り換えのモードが自動モードでない、つまり手動モードであると判定すると、次に S560へ移行し、操作部 44の入力に基づいて、表示モードへの切り換えがある力否かを判定する。表示モードへの切り換えがあると判定すると、次に S 530へ移行して、表示ガラスパネル 40を表示モードに設定する。

[0077] 一方、 S560にて表示モードへの切り換えがないと判定すると、次に S570へ移行し、通常モードへの切り換えがある力否かを判定する。

[0078] S570にて通常モードへの切り換えがあると判定すると、次に S550へ移行して、表示ガラスパネル 40を通常モードに設定する。

[0079] 一方、 S570にて通常モードへの切り換えがないと判定すると、次に S580へ移行し、現在のモードが表示モードであるか否かを判定する。表示モードであると判定すると、次に S 540へ移行し、表示ガラスパネル 40に画像を表示させる。

[0080] 一方、 S580にて現在のモードが表示モードでない、つまり通常モードであると判定すると、再び S410へ戻る。

[0081] なお、この描画処理において、車両が走行中か否か（S520)、つまり車両の速度に基づ、て表示ガラスパネル 40のモードが設定されるようになって!/、るが、車両の進行方向や制動状態等を加味するようにしてもよい。例えば、車両 1の側面の表示ガラスパネル 40については、車両 1が右へ旋回中の場合に、右側面の表示ガラスパネル 4 0が表示モードに設定され、車両 1が左へ旋回中の場合には、左側面の表示ガラスパネル 40が表示モードに設定されるようにしてもょ、。

[0082] また、前述したように、表示ガラスパネル 40にお、ては、その両面に画像を表示できるようになつている。そして、本実施形態においては、表示ガラスパネル 40の外側の面には、例えば車両 1に赤ちゃんが乗っていることを周囲に知らせるためのメッセージや、進路を譲ってもらった場合のお礼のメッセージ等が表示されるようになっている。このメッセージ等を表すデータは、 ROM32に予め記憶されており、搭乗者により操作部 44を介してメッセージの種類を表すメッセージ情報、及びメッセージを表示させる指令が入力されると、そのメッセージ情報に基づくメッセージが表示ガラスパネル 40の外側の面に表示されるようになっている。なお、操作部 44を介してメッセ一ジの本文を入力できるようにしてもょ、。

[0083] このように他の車両の運転手等に対するメッセージを表示することで、互いにコミュ二ケーシヨンが図られ、ひいては交通の円滑化も図ることができるため、事故の発生を防止できるようになる。なお、広告等を表示させるように構成することも考えられる。

[0084] 次に、図 5は、 CPU30において繰り返し実行される衝突軽減処理の流れを表すフローチャートである。

[0085] この衝突軽減処理においては、まず S610にて、車両 1の状態が他の車両との衝突を避けられない状態である力否かを判定する。具体的には、車両 1に備えられた図示しない車載センサ (例えば速度センサ）により検出される車両 1の速度、加速度や、検出ユニット 80により検出される他の車両の位置、速度、或いは車両 1との相対速度や、さらには、車両 1の制動性能や旋回性能等の各種性能に基づき判定する。なお、車両 1の性能を表す性能データは、 ROM32に予め記憶されている。

[0086] そして、 S610にて衝突を避けられない状態であると判定すると、次に S620へ移行する。一方、衝突が避けられると判定すると、そのまま当該処理を終了する。

[0087] S620では、衝突が避けられな、状態である他車両の他に、衝突可能な対象物が周囲にあるか否かを判定する。そして、この S620の処理においては、衝突可能な対象物として、例えばガードレール等の静止物が対象にされる。

[0088] そして、衝突可能な静止物があると判定すると、次に S630へ移行する。一方、衝突可能な静止物がないと判定すると、そのまま当該処理を終了する。 [0089] S630では、衝突可能な静止物に衝突するように、車両 1を制御する。具体的には、車両 1のブレーキ及びスロットル開度（ひいては、エンジンの出力）を制御して車両 1 の速度を調整するとともに、舵角を制御して車両 1の進行方向を調整する。そして、その静止物に車両 1を衝突させるようにするのである。すなわち、この衝突軽減処理は、車両 1を他の静止物に衝突させてでも、車両 1と周囲の他の車両との衝突を回避させるべく実行される処理である。そして、このような処理により車両 1と他の車両との衝突が回避されれば、仮に車両 1が静止物と衝突したとしても、その被害は抑えられることになる。

[0090] なお、本実施形態においては、検出ユニット 80が状況検出手段に相当し、描画プ口セッサ 39が画像生成手段及び表示制御手段に相当し、表示ガラスパネル 40が表示手段に相当し、 CPU30が運転状態検出手段に相当し、スピーカ 42が音出力手段に相当し、 HDD36が記憶手段に相当し、読取装置 37が読取手段に相当し、 S6 10の処理が衝突判定手段に相当し、 S620の処理が可能性判定手段に相当し、 S6 30の処理が車両制御手段に相当して、る。

[0091] 以上説明したように、本実施形態の車載用画像表示装置 5においては、検出ュ-ット 80により車両 1の周囲の状況が検出され、その検出結果に基づいて、車載ユニット 90の描画プロセッサ 39により車両 1の周囲の画像データが生成される（図 4の S430 )。そして、その生成された画像データが表す画像 (コンピュータグラフィック画像）は、車両 1の窓部に設けられた表示ガラスパネル 40に表示される（図 4の S540、及び図 6参照）。よって、車両 1の運転手は、窓部の表示ガラスパネル 40に表示される画像を見ることで、車両 1の周囲の状況を容易かつ確実に把握することができるため、運転手が、天候が悪ィ匕したり自身の視力が低下したりすることにより車両 1の周囲の状況を正確に把握できなくなって危険回避が遅れ、事故を起こしてしまうということを防止することができる。

[0092] また、本実施形態にぉ、ては、車両 1の窓部全てが表示ガラスパネル 40として構成されている。つまり、車両 1の窓部全てに周囲の画像を表示させることができる。よつて、運転手は周囲の状況をより正確に把握できるようになり、前述したような理由から、事故が生じることをより確実に防止することができる。 [0093] また、本実施形態にぉ、ては、表示ガラスパネル 40の状態力画像が表示可能な表示モードと、通常の窓のような状態である通常モードとに切り換えられるようになつている。そして、この切換は、車両 1の運転状態により自動で行われる（自動モード)ようにすることもできるし、車両 1の搭乗者の操作に基づいて行われる（手動モード)ようにすることもできる。自動モードにすれば、運転手が意図しなくても車両 1の窓部に周囲の画像が表示されるようになり、運転手は周囲の状況を確実に把握できるようになる。また、手動モードにすれば、搭乗者は自由に本物の風景を楽しむことができるようになる。

[0094] また、本実施形態においては、車両 1にスピーカが設けられており、検出ユニット 80 のマイクロフォン 18にて検出された車両 1の周囲の音力そのスピーカ 42から出力されるようになっている。よって、車両 1の周囲の状況がよりリアルに再現されるようになるため、運転手はより正確に周囲の状況を把握できるようになる。

[実施形態 2]

次に、第 2実施形態の車載用画像表示装置 5について、図 7及び図 8を用いて説明する。

[0095] 本第 2実施形態の車載用画像表示装置 5は、第 1実施形態と比較して、車両 1の窓部の表示ガラスパネル 40は、スクリーンとして機能するスクリーン表示モードと、通常の窓のような通常モードとに切り換え可能に構成されて、る。このスクリーン表示モードにおいては、車両 1の内部及び外部からの光を遮断させるようになつている。すなわち、表示ガラスパネル 40が曇ったような状態となり、スクリーンとして機能するようになるのである。そして、スクリーン表示モード状態である表示ガラスパネル 40には、プロジェクタ 45 (図 7参照）により画像が投影されるようになっている。

[0096] そして特に、本第 2実施形態においては、スクリーン表示モードの表示ガラスパネル 40の他、車両 1の Aピラー 2の内側（図 1及び図 2参照)もスクリーンに見立てて画像を表示させる。このように、車両 1の窓部及び Aピラー 2に周囲の画像を表示させると、あた力も車両 1内部からの死角がなくなつたかのようにできる（図 8参照)。よって、運転手はより正確に車両 1の周囲の状況を把握できるようになるため、事故の発生をより確実に防止できる。 [0097] なお、本第 2実施形態にお!、ては、プロジェクタ 45及び表示ガラスパネル 40が表示手段に相当している。

[0098] ところで、 Aピラーだけでなぐ Bピラー及び Cピラー、つまり、車両 1内部の全ての柱に、画像が投影されるようにしてもよい。また、第 1実施形態において、各ビラ一部分に液晶ディスプレイ等の表示パネルを設けるようにすれば、同様の効果が得られる。

[実施形態 3]

次に、第 3実施形態の車載用画像表示装置 5について、図 9を用いて説明する。

[0099] 本第 3実施形態の車載用画像表示装置 5は、第 1実施形態と比較して、検出ュニット 80のかわりに CCDカメラ 16が使用されている点が異なっている。また、車載ュ-ット 90において、 IZO20の代わりに CCDカメラ 16とデータをやり取りするための CCD インタフェース（以下、 CCDIZF) 24が設けられて!/、る。

[0100] そして、 CCDカメラ 16により撮像された画像を表す撮像データ (言い換えると、検出データ）は車載ユニット 90に送信され、車載ユニット 90の RAM34に記憶される。また、描画プロセッサ 39は、図 4の S430の処理において、 RAM34に記憶された撮像データ（検出データ）に色彩のデータを付カ卩して、コンピュータグラフィック画像を生成する。なお、 CCDカメラ 16により撮像された画像力直接表示ガラスパネル 40 に表示されるようにしてもょ、。

[0101] 本第 3実施形態の車載用画像表示装置 5によれば、 CCDカメラ 16により実際の周囲の状況が撮像されるため、周囲の状況を表すコンピュータグラフィック画像を生成することが容易となる。また、周囲の状況について、より正確にコンピュータグラフイツク画像を生成できるため、その画像に基づいて、運転手はより正確に周囲の状況を把握できるようになる。したがって、事故の発生をより確実に防止できるようになる。

[0102] なお、本第 3実施形態においては、 CCDカメラ 16が状況検出手段に相当している

[0103] 以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなぐ本発明の技術範囲内において種々の形態を採ることができる。

[0104] 例えば、本発明の車載用画像表示装置は、図 1に示すような車両（自家用車等）に限らず、バスやタクシー、或いは鉄道車両に用いることもできる。 [0105] また、さらに、周囲の状況が音声で運転手に伝えられるようにしてもよい。この場合には、例えば、対象物が存在する場合にその対象物が何であるかという情報や、対象物の大きさ、距離等の情報、或いは対象物との衝突の危険性に関する情報を、音声にて運転手に伝えるように構成することが考えられる。

[0106] また、第 1実施形態或いは第 2実施形態において、検出ユニット 80に CCDカメラを組み込むようにしてもよい。そして、この場合には、例えば昼の明るい時間帯には、 C CDカメラの撮像データを利用してコンピュータグラフィック画像を生成するようにし、夜の暗い時間帯や天候が悪い時などには、 CCDカメラ以外のセンサの検出データを利用するようにするとよい。

Claims

請求の範囲

[1] 車両に用いられる車載用画像表示装置であって、

車両の周囲の状況を検出する状況検出手段と、

を備えていることを特徴とする車載用画像表示装置。

[2] 請求項 1に記載の車載用画像表示装置において、

前記表示手段は、車両の内部及び外部からの光を透過させることにより、当該表示手段を挟んで車両の内部及び外部の景色が視認可能となる窓状態と、車両の内部及び外部からの光を遮断するとともに、前記表示制御手段により画像が表示されるようになる表示状態と、に切り換え可能に構成されており、

前記表示制御手段は、前記表示手段の状態を前記表示状態に切り換えた後、前記画像生成手段が生成した画像データが表す画像をその表示手段に表示させることを特徴とする車載用画像表示装置。

[3] 請求項 2に記載の車載用画像表示装置において、

前記表示手段は、車両の側面及び後方の窓部にも設けられており、各窓部において、表示手段の状態を前記窓状態と前記表示状態とに切り換え可能であることを特徴とする車載用画像表示装置。

[4] 請求項 2又は請求項 3に記載の車載用画像表示装置にお、て、

前記表示制御手段は、車両の搭乗者の入力に基づき、前記表示手段の状態を前記窓状態と前記表示状態とに切り換えることを特徴とする車載用画像表示装置。

[5] 請求項 2又は請求項 3に記載の車載用画像表示装置において、

車両の速度、進行方向、或いは制動状態の少なくとも何れかを検出する運転状態検出手段を備え、前記表示制御手段は、前記運転状態検出手段の検出結果に基づき、前記表示手段の状態を前記窓状態と前記表示状態とに切り換えることを特徴とする車載用画像表示装置。

[6] 請求項 1ないし請求項 5の何れか 1項に記載の車載用画像表示装置において、前記表示制御手段は、車両力 Sバックする際には、その車両における後方の周囲の画像を、前記表示手段に表示させることを特徴とする車載用画像表示装置。

[7] 請求項 1ないし請求項 6の何れか 1項に記載の車載用画像表示装置において、前記状況検出手段の検出結果に基づき、車両の周囲の音を出力する音出力手段を備えて!/ヽることを特徴とする車載用画像表示装置。

[8] 請求項 1ないし請求項 7の何れか 1項に記載の車載用画像表示装置において、前記画像生成手段が生成した画像データを記憶する記憶手段を備えていることを特徴とする車載用画像表示装置。

[9] 請求項 1ないし請求項 8の何れか 1項に記載の車載用画像表示装置において、前記画像生成手段は、車両の周囲の通行人或いは他の車両が前記表示手段にて強調表示されるように画像データを生成することを特徴とする車載用画像表示装置。

[10] 請求項 1ないし請求項 9の何れか 1項に記載の車載用画像表示装置において、前記表示手段は、車両の内側と外側とにおける両面に情報を表示可能であり、前記表示制御手段は、前記表示手段の外側の面には、前記画像生成手段が生成した画像データが表す画像とは異なる画像を表示させることを特徴とする車載用画像表示装置。

[11] 請求項 1ないし請求項 10の何れか 1項に記載の車載用画像表示装置において、記録媒体に記録された画像データを読み取る読取手段を備え、

前記表示制御手段は、前記読取手段が前記記録媒体から読み取った画像データが表す画像を、前記表示手段に表示させることを特徴とする車載用画像表示装置。

[12] 請求項 1ないし請求項 11の何れか 1項に記載の車載用画像表示装置において、前記状況検出手段の検出結果に基づき、車両が他の車両との衝突を回避不能か否かを判定する衝突判定手段と、

を備えていることを特徴とする車載用画像表示装置。

請求項 12に記載の車載用画像表示装置において、

前記車両制御手段は、車両のブレーキ、動力源の出力、及び舵角を制御することを特徴とする車載用画像表示装置。