JP5299026B2 - 車両用表示装置 - Google Patents
車両用表示装置 Download PDFInfo
- Publication number
- JP5299026B2 JP5299026B2 JP2009082598A JP2009082598A JP5299026B2 JP 5299026 B2 JP5299026 B2 JP 5299026B2 JP 2009082598 A JP2009082598 A JP 2009082598A JP 2009082598 A JP2009082598 A JP 2009082598A JP 5299026 B2 JP5299026 B2 JP 5299026B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- image
- vehicle
- background image
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 68
- 238000012937 correction Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 19
- 238000003702 image correction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000004297 night vision Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Instrument Panels (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
図1は本発明に係る実施形態の車両用表示装置を搭載した車両を示す平面図、図2は本実施形態の車両及び情報センタの機能ブロック図である。
図3は、本実施形態の車両及び情報センタにおける処理を示すフローチャートである。
本実施形態によれば、
(1)自車両又は他車両が昼間に走行したときに撮影した画像を位置情報とともに情報センタ100に送信する。
(2)情報センタ100では、略同じ位置及びアングルで撮影された複数枚の画像および、時系列で撮影された複数枚の画像から移動体を検出する。
(3)昼間画像中から移動体を削除することにより、移動体を削除した静止物及び地物だけの高輝度背景画像を作成し記憶する。
(4)自車両が夜間走行した場合に、現在位置情報を情報センタ100に送信して現在走行している位置での高輝度背景画像を取得する。
(5)距離センサ2によって自車両に接近する車両や歩行者などの移動体を検出し、移動体との距離を計測または3次元データを算出することで、高輝度背景画像に自車両と移動体との位置が一致するようにカラー合成画像を作成する(図4)。
(6)夜間やドライバの視程距離が短い場合に、カラー合成画像を自車両の現在位置情報に応じて更新しながら常時表示する。
・ドライバが遠くにいる歩行者などの移動体の存在を早期に容易に認識できる。
・夜間であっても昼間と同じ輝度で視認できるので周囲環境を正確に認識することができ、例えば、移動体がガードレールの内側にいるのか、車道にいるのかなども容易に把握することができる。
・夜間であっても昼間と同じようにドライバが周囲環境を認識できるので、移動体の危険予知などが容易にできる。
・道路の構造も正確に把握できるので、ドライバがなすべき運転行動も正確に判断することができる。
・夜間も明るく撮影できる超高感度カメラを使用することなく実現できるので、低コスト化になる。
・距離センサやブラインドモニタ用カメラの転用によってもシステムが実現できるので、低コスト化になる。
(7)図7,図8に示すように、高輝度背景画像において、現在の時刻と照度に合わせて空領域の輝度を下げて暗くしたり、R、G、Bのトーンカーブの変換により色調を変更する。あるいは、背景画像の上方領域を暗くし、下方領域を明るくするように輝度を変更する。
(8)図9に示すように、背景画像の集合から静止物の3次元データを作成する。そして、背景領域の3次元データを利用して遠い領域は暗く、近い領域は明るく表示する。あるいは、画像処理により道路の白線や縁石から消失点を検出し、消失点を中心付近を暗くし、消失点から画面縁部に向けて段々に輝度が上がるように表示する。
・ドライバが正確に危険な対象物を認識できる。
・ドライバが対象物の危険度合いを判断できる。
・ドライバが距離感や遠近感を認識しやすくなるので、最も危険な対象物が何か、衝突可能性がどのくらいあるのか、どの方向や場所に走行すべきか、判断や操作をするための情報として活用できる。
・ブレーキタイミングや操舵タイミングを判断しやすくなる。
(9)図5に示すように、距離センサ2により検出した移動体の画像あるいはノイズを含んだデータをそのまま合成せずに、背景領域の位置関係だけでなく、自車両との距離に応じて表示サイズを変更する。
(10)図10に示すように、移動体の行動予測がしやすい道路環境の特徴的な対象物(白線、ガードレール、など)と、ドライバが安全且つ適切な運転をするための道路標識や信号機などのランドマークを認識しやすく表示する。
・ドライバが周囲環境を認識できるので、歩行者の行動が予測しやすくなる。
・ドライバが危険予知をしやすくなり、例えば、歩道にガードレールがあれば、歩行者は車道へ飛び出す危険が少ないなどの判断ができる。
・夜間でドライバの視程が短い場合でも、安全且つ適切な運転をするのに有効な交通標識や道路案内などを認識することができるので、運転負担を減らすことができる。
(11)図10に示すように、ナビゲーションシステム8と連動して、地図データベース上で経路誘導に使用している物体と背景画像とを整合させ、経路誘導のランドマークの輝度を上げて強調表示する。また、交差点にある程度接近した場合に(例えば、交差点まで50m手前)、交差点進入時にドライバが注意を向けるべき領域の輝度を上げて強調表示し、ドライバへの注意喚起を促す。
・夜間や雨天などドライバの視程が短い状況であっても、ナビゲーションの経路誘導と実空間の物体やマークとの整合を取りやすくなるので、ドライバの運転負担を減らすことができる。
・ナビゲーションシステムと連動することで、ナビゲーションの経路誘導の効果を高めることができる。
・危険が発生する可能性の高い領域を指定せず、明示的な注意誘導の表示ではないので、ドライバ自身による安全確認を阻害せずに、かつドライバの危険予知の能力を向上させることができる。
(12)図6に示すように、自車両との距離や衝突時間などの危険度に応じて移動体の表示サイズを大きくしたり、輝度を上げるとともに周辺領域の色調を変更したり、注意喚起を意味するマークを表示することにより強調表示の度合いを切り替える。
(13)昼間画像の解析や情報センタ100から高輝度背景画像中の静止物の3次元データを取得し、撮影位置及びアングルが略同じ複数の高輝度背景画像から、当該高輝度背景画像中の静止物を除去した画像を比較することにより移動体を検出する。これにより、電柱や看板なども検出しノイズにより歩行者と誤検出しやすいレーザレーダや、距離検出精度が低いために遠方にいる歩行者を検出しにくいステレオカメラや、分解能が低いために物体識別性能が劣るミリ波レーダシステムなどを距離センサとして搭載した場合でも、道路領域や歩道領域を正確に検出し、高精度に歩行者などの移動体を検出する。
・正確な情報をドライバに提供できるので、ドライバのシステムへの不信感を低減できる。
・距離センサによる距離の計測や移動体の検出性能を向上できる。
・ノイズを除去するための、他のセンサや複雑な処理ロジックの追加などが不要になる。
Claims (11)
- 自車両の位置を検出する位置検出手段と、
自車両周囲の、地面に対して移動する移動体を検出する移動体検出手段と、
自車両周囲の画像を撮影する画像撮影手段と、
自車両周囲の照度を検出する照度検出手段と、
前記照度検出手段により検出された照度が所定閾値以下であるか否かを判定する判定手段と、
前記判定手段により照度が所定閾値を超えると判定された場合に、撮影された高輝度画像を前記自車両の位置情報とともに情報センタへ送信する送信手段と、
前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記情報センタから自車両の位置情報に対応する高輝度背景画像を受信する受信手段と、
前記受信手段により取得した前記自車両の位置情報に対応する高輝度背景画像と、前記移動体検出手段により検出された移動体とを合成する合成手段と、
前記合成手段により合成された画像を表示する表示手段とを有し、
前記情報センタは、
前記高輝度画像を前記自車両の位置情報とともに記憶する高輝度画像記憶手段と、
前記高輝度画像から抽出された移動体を前記高輝度画像から削除した高輝度背景画像を記憶する背景画像記憶手段とを有する
ことを特徴とする車両用表示装置。 - 前記表示手段は、前記移動体をアイコンとして表示することを特徴とする請求項1に記載の車両用表示装置。
- 前記情報センタから受信した高輝度背景画像の上方領域を暗く、下方領域を明るくなるように輝度を補正する輝度補正処理手段を更に有することを特徴とする請求項1に記載の車両用表示装置。
- 前記輝度補正処理手段は、前記照度が前記所定閾値以下の場合、前記画像撮影手段により撮影された画像と、前記高輝度背景画像とをオーバーラップすることにより輝度を補正することを特徴とする請求項3に記載の車両用表示装置。
- 前記輝度補正処理手段は、前記情報センタから受信した高輝度背景画像の上方領域の色調を変更することを特徴とする請求項3に記載の車両用表示装置。
- 前記合成手段は、前記高輝度背景画像から地面に対して静止した静止物の3次元データを作成し、当該3次元データを用いて自車両から遠い静止物ほど暗くなるよう輝度を補正することを特徴とする請求項1に記載の車両用表示装置。
- 前記合成手段は、前記高輝度背景画像から消失点を算出し、当該消失点に近いほど暗く、消失点から遠いほど明るくなるよう輝度を補正することを特徴とする請求項1に記載の車両用表示装置。
- 前記移動体検出手段により検出された移動体と自車両との間の距離を検出する距離検出手段と、
前記距離検出手段により検出された移動体と自車両との間の距離に応じて前記高輝度背景画像に合成される移動体の表示サイズを変更する表示サイズ補正手段と、を更に有することを特徴とする請求項1に記載の車両用表示装置。 - 前記合成手段は、前記高輝度背景画像からドライバに注意を向けさせたい対象物を特定し、当該特定された対象物を強調表示するよう補正する強調補正手段を更に有することを特徴とする請求項1に記載の車両用表示装置。
- 前記強調補正手段は、前記高輝度背景画像からドライバに危険予知をさせたい領域を特定し、当該特定された領域を強調表示するよう補正することを特徴とする請求項9に記載の車両用表示装置。
- 前記距離検出手段により検出された移動体と自車両との間の距離に応じて危険度を判定する危険度判定手段を更に有し、
前記合成手段は、前記危険度の高い移動体ほど強調表示するよう補正することを特徴とする請求項8に記載の車両用表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082598A JP5299026B2 (ja) | 2009-03-30 | 2009-03-30 | 車両用表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082598A JP5299026B2 (ja) | 2009-03-30 | 2009-03-30 | 車両用表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010234851A JP2010234851A (ja) | 2010-10-21 |
JP5299026B2 true JP5299026B2 (ja) | 2013-09-25 |
Family
ID=43089628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009082598A Expired - Fee Related JP5299026B2 (ja) | 2009-03-30 | 2009-03-30 | 車両用表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5299026B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5310760B2 (ja) * | 2011-03-04 | 2013-10-09 | トヨタ自動車株式会社 | 接近車両検出装置 |
DE112012005852T5 (de) * | 2012-02-10 | 2014-11-27 | Mitsubishi Electric Corporation | Fahrerassistenzvorrichtung und Fahrerassistenzverfahren |
KR20140028210A (ko) * | 2012-08-27 | 2014-03-10 | 주식회사 만도 | 차량 주변 환경 인식 시스템 |
JP6065766B2 (ja) * | 2013-06-28 | 2017-01-25 | 株式会社デンソー | 情報提供装置および情報提供方法 |
JP6233599B2 (ja) * | 2014-02-25 | 2017-11-22 | マツダ株式会社 | 車両用表示制御装置 |
WO2015152304A1 (ja) * | 2014-03-31 | 2015-10-08 | エイディシーテクノロジー株式会社 | 運転支援装置、及び運転支援システム |
JP2017028349A (ja) * | 2015-07-15 | 2017-02-02 | 株式会社デンソー | 映像処理装置、運転支援表示システム、及び映像処理方法 |
JP6617610B2 (ja) * | 2016-03-02 | 2019-12-11 | トヨタ自動車株式会社 | 車両用表示装置 |
JP6759072B2 (ja) * | 2016-11-21 | 2020-09-23 | 京セラ株式会社 | 画像処理装置、撮像装置、および表示システム |
EP3544293B1 (en) * | 2016-11-21 | 2024-02-28 | Kyocera Corporation | Image processing device, imaging device, and display system |
EP3683764A4 (en) * | 2017-09-12 | 2020-11-18 | Panasonic Intellectual Property Management Co., Ltd. | IMAGE GENERATION DEVICE AND METHOD |
JP6820561B2 (ja) * | 2017-12-28 | 2021-01-27 | パナソニックIpマネジメント株式会社 | 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム |
JP7082538B2 (ja) * | 2018-07-10 | 2022-06-08 | 本田技研工業株式会社 | 画像処理装置及びプログラム |
JP2020166584A (ja) * | 2019-03-29 | 2020-10-08 | トヨタ自動車株式会社 | 画像情報収集システム及び車両 |
JP2022100852A (ja) * | 2020-12-24 | 2022-07-06 | パナソニックIpマネジメント株式会社 | 注意喚起装置及び注意喚起方法 |
JP7399226B1 (ja) | 2022-07-13 | 2023-12-15 | 三菱電機株式会社 | 管制支援装置、管制支援方法及び管制支援プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3473321B2 (ja) * | 1997-05-09 | 2003-12-02 | トヨタ自動車株式会社 | 車両用表示装置 |
JP4366716B2 (ja) * | 2005-03-04 | 2009-11-18 | 株式会社デンソー | 車両用情報表示装置 |
JP4501778B2 (ja) * | 2005-05-24 | 2010-07-14 | 日産自動車株式会社 | 車両用情報表示方法及び車両用情報表示装置 |
JP4888761B2 (ja) * | 2005-10-31 | 2012-02-29 | 株式会社エクォス・リサーチ | 仮想車線表示装置 |
-
2009
- 2009-03-30 JP JP2009082598A patent/JP5299026B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010234851A (ja) | 2010-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5299026B2 (ja) | 車両用表示装置 | |
CN105620489B (zh) | 驾驶辅助系统及车辆实时预警提醒方法 | |
JP4970516B2 (ja) | 周囲確認支援装置 | |
US20050134479A1 (en) | Vehicle display system | |
EP2851864B1 (en) | Vehicular display apparatus, vehicular display method, and vehicular display program | |
JP4882285B2 (ja) | 車両用走行支援装置 | |
US8054201B2 (en) | Surroundings monitoring device for vehicle | |
US8543254B1 (en) | Vehicular imaging system and method for determining roadway width | |
JP5682304B2 (ja) | 画像提供装置 | |
US20110228980A1 (en) | Control apparatus and vehicle surrounding monitoring apparatus | |
JP6311646B2 (ja) | 画像処理装置、電子ミラーシステム、及び画像処理方法 | |
JP2003200755A (ja) | 車両用表示装置 | |
JPWO2012169029A1 (ja) | 車線逸脱防止支援装置、車線逸脱防止方法、記憶媒体 | |
US10546422B2 (en) | System and method for augmented reality support using a lighting system's sensor data | |
GB2550472A (en) | Adaptive display for low visibility | |
JP2008222153A (ja) | 合流支援装置 | |
JP2012027773A (ja) | 擬似濃淡画像生成装置及びプログラム | |
JP2016196233A (ja) | 車両用道路標識認識装置 | |
JP2011152865A (ja) | 車載撮像装置 | |
JP2005202787A (ja) | 車両用表示装置 | |
JP4986070B2 (ja) | 車両用周囲監視装置 | |
JP5192009B2 (ja) | 車両の周辺監視装置 | |
CN109987025B (zh) | 用于夜晚环境的车辆驾驶辅助系统及方法 | |
JP2012142832A (ja) | 撮像装置 | |
JP2020121615A (ja) | 車両用道路標識認識支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20101001 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20101001 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120123 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5299026 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |