JP6361986B2 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP6361986B2
JP6361986B2 JP2016107418A JP2016107418A JP6361986B2 JP 6361986 B2 JP6361986 B2 JP 6361986B2 JP 2016107418 A JP2016107418 A JP 2016107418A JP 2016107418 A JP2016107418 A JP 2016107418A JP 6361986 B2 JP6361986 B2 JP 6361986B2
Authority
JP
Japan
Prior art keywords
vehicle
virtual image
occupant
imaging
imaging information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016107418A
Other languages
English (en)
Other versions
JP2017213933A (ja
Inventor
誠一 伊藤
誠一 伊藤
茂之 森
茂之 森
英信 中島
英信 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2016107418A priority Critical patent/JP6361986B2/ja
Priority to US15/593,812 priority patent/US10168532B2/en
Priority to CN201710362208.1A priority patent/CN107444263B/zh
Priority to DE102017005040.6A priority patent/DE102017005040A1/de
Publication of JP2017213933A publication Critical patent/JP2017213933A/ja
Application granted granted Critical
Publication of JP6361986B2 publication Critical patent/JP6361986B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、車幅方向両端部から後方を撮像可能な撮像手段を備えた車両用表示装置に関し、特に撮像手段により撮像された撮像情報の光路を変更して虚像結像位置を調整可能な車両用表示装置に関する。
従来より、光源である光投射手段(プロジェクタ)と、この光投射手段に表示された表示情報を車両のフロントウインドガラスの投射エリアに向けて反射する反射手段とを有し、反射手段によって投射エリアに投射された表示情報の虚像を透かして車両の前景と重畳視認させるヘッドアップディスプレイ装置(HUD)が知られている。
このようなHUDでは、表示情報の光路を変更することによって、フロントウインドガラスの投射エリアではなくフロントウインドガラスよりも前方位置に表示情報の虚像が結像しているように乗員に知覚されることも知られている。
特許文献1の車両用視覚補助装置は、サイドミラーに映る視野とは異なる視野を撮像可能な複数の撮像手段と、これら複数の撮像手段の設置位置に夫々対応するように仮想サイドミラーを表示可能な仮想サイドミラー画像表示制御手段と、HUDとを備え、フロントウインドガラスに仮想サイドミラー画像とこの仮想サイドミラー画像に対応する撮像手段が撮像した撮像情報との虚像を同時に表示する構成が開示されている。
特許文献2の車両の表示装置は、乗員が認知すべき情報入手手段と、入手した情報をフロントウインドガラス上に表示可能な表示手段(HUD)と、乗員の視線方向を検出可能な視線方向検出手段とを備え、入手した情報をフロントウインドガラス上における乗員の視線方向の軸上乃至その近傍に表示する構成が開示されている。
この度、自動車のミラーに関する国際基準の改定を受けて道路運送車両法の保安基準が見直された結果、自動車のバックミラーやサイドミラー等の安全確認用ミラーを撮像カメラとモニタの組み合わせにより代用することが可能になり、ミラーレス車両による公道走行が認められることになった。
この保安基準の改定では、モニタ映像の視野角や画質が従前の後方確認用ミラーと同等以上であること等一定の基準を満足することが条件になっているものの、ミラーレス車両によって、視認性拡大に伴う安全性向上、空力特性向上に伴う燃費改善、ノイズ(風切音)低減等の効果が期待されている。
特許第4849333号公報 特許第4698002号公報
ミラーレス車両では、例えば、1対の左右側部後方カメラをサイドミラーの設置相当位置に夫々配設し、1対の左右側部後方カメラによって撮像された撮像画像をインスツルメントパネルに装着された専用モニタに夫々表示する仕様が採用されている。
乗員が側部後方を確認したい場合、乗員は進行方向前方に向けている視線方向を専用モニタの方向に変更する必要があるため、乗員にとって煩雑な動作になり負担が増すものであった。しかも、視線を一旦進行方向前方から外すため、安全性の面からも好ましいものではない。
特許文献1,2の技術をミラーレス車両に適用することにより、左右側部後方カメラで撮像された撮像情報(撮像画像)の虚像をHUDを用いてフロントウインドガラスに結像させて乗員による視線方向の移動を低減し、乗員の負担軽減を期待することが可能である。
しかし、ミラーレス車両には、車体前端における左右両側部に夫々設置されたサイドミラー(フェンダミラー)が存在していないため、乗員が進行方向の車線幅に対する自車両の車幅を直感的に認識することが難しく、車両の操作性が低下する虞がある。サイドミラーを備えた車両であっても、ドアミラーの場合、同様のことが言える。
特許文献1の車両用視覚補助装置は、仮想サイドミラー画像とこの仮想サイドミラー画像に対応する撮像手段の虚像とを同時に表示しているものの、撮像手段が撮像した撮像情報の虚像がフロントウインドガラスよりも前方に結像されているのか不明である。
しかも、虚像結像位置を正確に設定するためには、計測による具体的な乗員の眼球位置と虚像の表示位置とに基づき撮像情報の光路を設定する必要があるが、眼球位置検出手段や光路変更手段については一切示唆されていないため、運転姿勢の乗員の眼球位置によって撮像情報の虚像結像位置を設定することが難しく、当然、変更することもできない。
本発明の目的は、乗員の視線移動を伴うことなく、車両の側部後方情報と自車両の車幅感覚とを認識可能な車両用表示装置等を提供することである。
請求項1の車両用表示装置は、車幅方向両側部から後方を撮像可能な左右1対の撮像手段と、前記1対の撮像手段により撮像された撮像情報を反射手段に投射して虚像を乗員の前方に結像可能な光投射手段と前記撮像情報の光路を変更して虚像結像位置を調整可能な光路変更手段とを含む左右1対の光学装置とを有する車両用表示装置において、前記1対の光学装置の光投射手段及び光路変更手段を制御可能な制御手段と、運転姿勢の乗員の眼球位置を検出する眼球位置検出手段と、前記眼球位置検出手段によって検出された眼球位置と車体前端近傍且つ車幅方向端部近傍の虚像表示位置との距離を算出する離隔距離算出手段とを備え、前記1対の光学装置は、光路が異なる1対のレーザー式光投射手段を備えると共にインスツルメントパネル内において車幅方向中央部から運転席側部分に配設され、前記制御手段が、前記離隔距離算出手段によって算出された離隔距離に基づき前記撮像情報の虚像結像位置を前記虚像表示位置とするように前記左右一側の撮像手段が撮像した撮像情報の虚像を前記左右一側の光学装置によって表示し且つ前記左右他側の撮像手段が撮像した撮像情報の虚像を前記左右他側の光学装置によって表示すると共に、車速と乗員の視野角との相関関係に基づき求められた車体前端における乗員の視野角幅が車幅よりも小さいとき、前記1対の撮像情報の虚像を前記車体前端近傍且つ前記乗員の視野角幅の両端位置に夫々表示することを特徴としている。
この車両用表示装置では、眼球位置検出手段によって検出された眼球位置と車体前端近傍且つ車幅方向端部近傍の虚像表示位置との距離を算出する離隔距離算出手段を備えているため、乗員の眼球位置と車体前端近傍且つ車幅方向端部近傍の虚像表示位置との正確な位置関係を検出することができる。
前記1対の光学装置は、光路が異なる1対のレーザー式光投射手段を備えると共にインスツルメントパネル内において車幅方向中央部から運転席側部分に配設されるため、他の機器に影響を与えることなく、独立して光路を制御可能な1対の光学装置を配置することができる。
制御手段が、離隔距離算出手段によって算出された離隔距離に基づき撮像情報の虚像結像位置を虚像表示位置とするように前記左右一側の撮像手段が撮像した撮像情報の虚像を前記左右一側の光学装置によって表示し且つ前記左右他側の撮像手段が撮像した撮像情報の虚像を前記左右他側の光学装置によって表示するため、乗員は視線を進行方向前方に向けた状態で車両の左右側部後方情報を認識することができ、車両の左右側部後方情報の視認により自車両の車幅を直感的に認識することができる。
しかも、制御手段が、車速と乗員の視野角との相関関係に基づき求められた車体前端における乗員の視野角幅が車幅よりも小さいとき、前記1対の撮像情報の虚像を前記車体前端近傍且つ前記乗員の視野角幅の両端位置に夫々表示するため、車速に拘らず車両の側部後方情報を認識することができる。
請求項2の発明は、請求項1の発明において、乗員が操作可能な運転準備完了確認手段を有し、前記制御手段は、乗員によって運転準備完了が確認されたとき、前記撮像情報の虚像表示を開始することを特徴としている。
この構成によれば、確実に運転姿勢である乗員の眼球位置と虚像表示位置との位置関係に基づいて撮像情報の光路を設定することができる。
請求項3の発明は、請求項1又は2の発明において、イグニッションの操作状態を検出可能なイグニッション状態検出手段と、ドアロックの操作状態を検出可能なドアロック状態検出手段とを有し、前記制御手段は、前記イグニッションがオフ状態で且つドアロックが外部から施錠された状態のとき、前記撮像情報の虚像表示を終了することを特徴としている。
この構成によれば、乗員が降車完了するまで車両の側部後方情報の虚像を表示することができる。
本発明の車両用表示装置によれば、乗員の視線移動を伴うことなく、車両の側部後方情報と自車両の車幅感覚とを認識することができる。
実施例1に係る車両用表示置を備えた車両の側面図である。 各カメラの撮像エリアを示す平面図である。 車室内前方を視た図である。 制御ブロック図である。 通常モードにおける光路の説明図である。 バックモードにおける光路の説明図である。 通常モードの乗員の視界を示す図である。 白線モードの乗員の視界を示す図である。 バックモードの乗員の視界を示す図である。 表示制御処理手順を示すフローチャートである。 モード判定処理手順を示すフローチャートである。 バックモード処理手順を示すフローチャートである。 白線モード処理手順を示すフローチャートである。 通常モード処理手順を示すフローチャートである。 白線モードの別の表示例を示す図である。 バックモードの別の表示例を示す図であって、(a)はトップビューを補助ビューに表示した図であり、(b)はサイドビューを補助ビューに表示した図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を左右1対のサイドミラーを装備しないサイドミラーレス自動車の表示装置に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
以下、運転席に着座した乗員(運転者)から視て上下左右前後方向を、夫々、上下左右前後方向として説明する。
以下、本発明の実施例1について図1〜図14に基づいて説明する。
図1〜図4に示すように、車両Vは、サイドミラーに代えて、左右両側部後方の撮像情報をフロントウインドガラス2の前方に虚像として表示可能な表示装置1を備えている。
まず、この車両Vについて説明する。
車両Vには、乗員が進行方向前方を視認可能なフロントウインドガラス2と、乗員が後方を視認可能なリヤウインドガラス3と、フロントウインドガラス2の下方に空調装置等各種機器が収容された左右に延びるインスツルメントパネル4と、このインスツルメントパネル4の右側部分に配設されたステアリングホイール5と、インスツルメントパネル4の下側中央部分から後方に延びるセンターコンソール6と、駆動部7aによって左右軸回りの傾斜角度を調整可能なルームミラー7と、センターコンソール6に設置されたシフトレバー8と、乗員による車両Vの運転を安全性の観点から支援する運転支援装置9等が装備されている。
図1〜図4に示すように、車両Vは、車両Vの外部を動画で撮像可能な7つの外部カメラ11〜17(撮像手段)と、車両Vの乗員(運転者)を含む車室内部を静止画又は動画で撮像可能な前後1対の室内カメラ18a,18bとを備えている。
左後方カメラ11及び右後方カメラ12は、周知のイメージセンサ、例えばCCD(Charge Coupled Device)で構成され、フロントドアのベルトライン部分から遠距離に亙って車体後方の左後方撮像エリアA1及び右後方撮像エリアA2を撮像可能に夫々構成されている。具体的には、車両Vの後続車両及び車両Vの走行車線に隣り合う走行車線、或いは車両Vの走行車線が片側1車線の場合、後続車両と路肩や歩道を撮像している。
これらの側部後方カメラ11,12は、左右1対のサイドミラー(ドアミラー)に代えて左右フロントドアの前端側部分に夫々装着されている。
障害物カメラ13〜16は、運転席に着座した乗員から視て死角領域を撮像すると共に車両Vに接近した障害物を撮像するため、車両Vの近傍から中距離に亙る領域を広い視野角(例えば130°以上)を有する周知のイメージセンサ、例えば魚眼CCDによって夫々構成されている。
前方障害物カメラ13は、フロントグリル前端中央部分に水平前方から若干下向き姿勢で装着され、前方障害物エリアA3を撮像し、後方障害物カメラ14は、トランクリッド後端中央部分に水平後方から若干下向き姿勢で装着され、後方障害物エリアA4を撮像している。左方障害物カメラ15は、左側部後方カメラ11と一体形成され、左側部後方カメラ11の左側壁部に水平左方から若干下向き姿勢で装着され、左方障害物エリアA5を撮像している。右方障害物カメラ16は、右側部後方カメラ12と一体形成され、右側部後方カメラ12の右側壁部に水平右方から若干下向き姿勢で装着され、右方障害物エリアA6を撮像している。障害物エリアA3〜A6は、平面視にて乗員の死角になる隙間が存在しないように車両Vの全周に設定されている。
白線カメラ17は、ルーフ前端中央部分に装着されたCCDで構成され、車両V近傍から遠距離に亙って車両Vの走行車線を含む前方領域を撮像可能に構成されている。
白線カメラ17によって撮像された前方撮像情報は、運転支援装置9に出力される。
運転支援装置9では、前方撮像情報の輝度が水平方向に微分処理され、走行車線上の白線(区画線)の両端部に高周波成分となるエッジが発生することを利用して走行車線の左右1対の白線部分が推定されている。この推定された白線部分について、輝度及び路面とのコントラストから定められる閾値や白線幅の閾値等に基づき走行中の車線における左右1対の白線が抽出される。
運転支援装置9は、抽出された白線情報と、この白線と車両V(車輪)との離隔距離とを算出し、走行車線の白線から車両Vが逸脱する可能性があると判定されたときに乗員の注意を喚起する警報(例えばワーニング又はランプ点灯)を発生している。
図3,図4に示すように、室内カメラ18aは、運転席に着座した乗員の正面に位置するようにルーフ前端右側部分に装着されたCCDで構成され、室内カメラ18bは、運転席に着座した乗員の背面に位置するようにルーフ後端右側部分に装着されたCCDで構成されている。室内カメラ18a,18bは、乗員の顔を含む上半身を夫々撮像している。
撮像された上半身の乗員画像から顔部分の画像が切り出され、一般的な画像認識処理(例えばパターンマッチング等)によって乗員の眼球を特定した後、乗員の眼球位置をカメラ座標系から車両座標系(又はグローバル座標系)に変換して眼球位置の3次元座標が算出される。
次に、表示装置1について説明する。
本実施例における表示装置1は、1対の左右側部後方カメラ11,12により撮像された左右両側部後方の通常撮像情報の虚像をボンネット10の前端(車体前端)における左右両端近傍部に設定された通常虚像表示位置P1に夫々結像させる通常モード処理と、1対の左右側部後方カメラ11,12により撮像された通常撮像情報の虚像を車両Vが走行する車線の白線に少なくとも一部重畳するように設定された前方虚像表示位置P2に夫々結像させる白線モード処理と、後方障害物カメラ14により撮像された後方障害物撮像情報の虚像を車体後端における左右方向中間に設定された後方虚像表示位置P3に結像させるバックモード処理とを実行可能に構成されている。
以下、通常モードにおける1対の左右側部後方カメラ11,12の通常撮像情報に対応した左右1対の矩形状の虚像を通常メインビューv1、白線モードにおける1対の左右側部後方カメラ11,12の通常撮像情報に対応した左右1対の矩形状の虚像を前方メインビューv2、バックモードにおける後方障害物カメラ14の後方障害物撮像情報に対応した単一の矩形状の虚像を後方メインビューv3という。
表示装置1は、一定条件の下、障害物カメラ13〜16により撮像された障害物撮像情報の虚像を、通常モード又は白線モードのとき、障害物に近接した一方の通常メインビューv1の近傍位置に結像させ、バックモードのとき、後方メインビューv3の障害物側近傍位置に結像させている。
通常モード又は白線モードでは、障害物カメラ13〜16により撮像された障害物撮像情報の虚像を通常メインビューv1近傍且つボンネット10の前端よりも後側位置(乗員視にて下側位置)に結像させ、バックモードでは、左右側部後方カメラ11,12及び障害物カメラ13,15,16により撮像された障害物撮像情報の虚像を車体後端の後方メインビューv3の近傍位置に結像させる。
以下、一方の通常メインビューv1の近傍位置に結像された障害物撮像情報に対応した矩形状の虚像を通常補助ビューv4、後方メインビューv3の近傍位置に結像された障害物撮像情報に対応した矩形状の虚像を後方補助ビューv5という。
また、通常補助ビューv4及び後方補助ビューv5に表示される虚像は、障害物カメラ13〜16の撮像情報に基づいて作成されたトップビュー(鳥瞰図)を含んでいる。
図1〜図4に示すように、表示装置1は、左右側部後方カメラ11,12により撮像された撮像情報の虚像をメインビューv1,v2として結像可能な左右1対の主ヘッドアップディスプレイ(以下、主HUDと略す)20,30であって、一方が障害物カメラ14により撮像された後方障害物撮像情報の虚像を後方メインビューv3として結像し且つ他方が障害物カメラ13,15,16により撮像された障害物撮像情報の虚像を後方補助ビューv5として結像可能な左右1対の主HUD20,30(光学装置)と、これら1対の主HUD20,30の間に配設され且つ主に障害物カメラ13〜16により撮像された障害物撮像情報の虚像を補助ビューv4として結像可能な副ヘッドアップディスプレイ(以下、副HUDと略す)40と、ECU(Electronic Control Unit)50(制御手段)等を備えている。
主HUD20,30と副HUD40は、インスツルメントパネル4内に中央部から右側部分にかけて左右方向に並設され、乗員が手動操作可能なアジャスタ機構(図示略)により各光路を独立して調整可能に夫々形成されている。
図5,図6に示すように、左側主HUD20は、左後方カメラ11等により撮像された撮像情報を投射するレーザー式プロジェクタ21(光投射手段)と、このプロジェクタ21から投射された撮像情報をフロントウインドガラス2(又はルームミラー7)に向けて反射する反射ミラー22(反射手段)と、プロジェクタ21を前後方向に進退駆動可能な駆動部23と、反射ミラー22を上下軸回りに回動可能な駆動部24及び左右軸回りに回動可能な駆動部25と、主HUD20全体を左右軸回りに回動可能な駆動部26等を備えている。駆動部23〜26が、左側主HUD20の光路変更手段に相当している。
同様に、右側主HUD30は、右後方カメラ12等により撮像された撮像情報を投射するレーザー式プロジェクタ31と、このプロジェクタ31から投射された撮像情報をフロントウインドガラス2(又はルームミラー7)に向けて反射する反射ミラー32と、プロジェクタ31を前後方向に進退駆動可能な駆動部33と、反射ミラー32を上下軸回りに回動可能な駆動部34及び左右軸回りに回動可能な駆動部35と、主HUD30全体を左右軸回りに回動可能な駆動部36等を備えている。
副HUD40は、障害物カメラ13〜16等により撮像された撮像情報を投射するレーザー式プロジェクタ41と、このプロジェクタ41から投射された撮像情報をフロントウインドガラス2に向けて反射する反射ミラー42と、プロジェクタ41を前後方向に進退駆動可能な駆動部43と、反射ミラー42を上下軸回りに回動可能な駆動部44及び左右軸回りに回動可能な駆動部45と、副HUD40全体を左右軸回りに回動可能な駆動部46等を備えている。
駆動部33〜36が、右側主HUD30の光路変更手段に相当し、駆動部43〜46が、副HUD40の光路変更手段に相当している。
次に、ECU50について説明する。
ECU50は、CPU(Central Processing Unit)と、ROMと、RAMと、イン側インタフェースと、アウト側インタフェース等によって構成されている。
ROMには、表示制御するための種々のプログラムやデータが格納され、RAMには、CPUが一連の処理を行う際に使用される処理領域が設けられている。
図4に示すように、ECU50には、1対の左右側部後方カメラ11,12と、障害物カメラ13〜16と、白線カメラ17と、室内カメラ18a,18bと、イグニッションスイッチ61と、完了確認スイッチ62と、ドアロックセンサ63と、補助ビュースイッチ64と、障害物検出センサ65と、コマンドスイッチ66と、白線モードスイッチ67と、車速センサ68と、シフトポジションセンサ69と、左右1対の主HUD20,30と、副HUD40と、駆動部7aが電気的に接続されている。
白線カメラ17は、走行車線上の白線を検出して検出信号を運転支援装置9を介して出力している。運転支援装置9は、前述した白線逸脱警報に加え、障害物検出センサ65の検出結果に基づいて車両Vに接近する1又は複数の障害物の有無、及び、それら障害物が接近する方向を乗員に対して個々の障害物毎に報知可能に構成されている。
イグニッションスイッチ61は、車両Vのイグニッションのオンオフ状態を検出して検出信号を出力する。
完了確認スイッチ62は、ステアリングホイール5に配設され、乗員が運転席に着座してドライビングポジションをとったとき、及び通常メインビューv1の表示位置や焦点等の調整が完了したときにオン操作される。この完了確認スイッチ62は、乗員によってオン操作されたときのみH(論理ハイ)レベルの信号がECU50に出力され、それ以外のときはL(論理ロー)レベルの信号が出力されるモーメンタリ式切替スイッチによって構成されている。
ドアロックセンサ63は、乗員による携帯端末等の操作に基づいて乗員が外部からドアを施錠したドアロック状態を検出して検出信号をECU50に出力している。
補助ビュースイッチ64は、ステアリングホイール5に配設され、補助ビューv4,v5を表示するときに乗員によってオン操作される。この補助ビュースイッチ64は、乗員によってオン操作されたときのみHレベルの信号がECU50に出力され、それ以外のときはLレベルの信号が出力されるモーメンタリ式切替スイッチによって構成されている。
障害物検出センサ65は、障害物との離隔距離に基づき車両Vの全周に亙って車両Vに対して接近する複数の障害物を検出可能に構成され、障害物が接近する方向とそれら障害物の速度を検出して検出信号をECU50に出力している。
コマンドスイッチ66は、車両Vに搭載された複数の車載機器を操作可能に構成されていると共に補助ビューv4,v5に表示する障害物(障害物撮像情報)を選択可能に構成されている。このコマンドスイッチ66は、障害物を撮像したカメラ13〜16内、乗員によって表示対象に選択された障害物撮像情報に対応したカメラ決定情報を出力している。
白線モードスイッチ67は、ステアリングホイール5に配設され、乗員が通常モードから白線モードに切り替えるときにオン操作される。この白線モードスイッチ67は、乗員によってオン操作されたときのみHレベルの信号がECU50に出力され、それ以外のときはLレベルの信号が出力されるモーメンタリ式切替スイッチによって構成されている。
車速センサ68は、車両Vの走行速度を検出して検出信号をECU50に出力し、シフトポジションセンサ69は、乗員によるシフトレバー8の操作位置に基づきシフトポジションを検出して検出信号をECU50に出力している。
図4に示すように、ECU50は、表示装置1によって実行されるモード種類(通常モード、白線モード、バックモード)を判定するモード判定部51と、虚像結像位置と乗員の視点との距離を算出する離隔距離算出部52(離隔距離算出手段)と、メインビューv1〜v3の表示位置等を制御する表示制御部53と、補助ビューv4,v5の表示位置等を制御する補助表示制御部54等を備えている。
モード判定部51について説明する。
モード判定部51は、白線モードスイッチ67がオン操作されたとき、白線モードを判定し、室内カメラ18a,18bの検出結果に基づき乗員の姿勢が後向きで且つシフトポジションがリバースレンジのとき、バックモードを判定している。
モード判定部51は、白線モード及びバックモードの何れでもないとき、通常モードが判定される。尚、乗員が車両Vに乗車してイグニッションスイッチ61をオン操作したときには、表示装置1が待機状態であるため、通常モードとして処理されている。
次に、離隔距離算出部52について説明する。
離隔距離算出部52は、室内カメラ18a,18bによって検出された乗員の眼球位置の3次元座標と虚像を結像する各虚像表示位置の3次元座標とにより、乗員の視点と表示されるメインビューv1〜v3との離隔距離を算出している。
通常モードでは、通常メインビューv1がボンネット10の前端における左右両端近傍部に設定された通常虚像表示位置P1に表示され(図7参照)、白線モードでは、前方メインビューv2が走行中の白線に一部重畳する前方虚像表示位置P2に表示され(図8参照)、バックモードでは、後方メインビューv3が車体後端における左右方向中間に設定された後方虚像表示位置P3に表示されている(図9参照)。
図5に示すように、通常モードにおいて、通常メインビューv1を通常虚像表示位置P1に表示する場合、乗員の視点(眼球位置)から通常虚像表示位置P1までの距離LFは、プロジェクタ21から反射ミラー22までの距離をL1、反射ミラー22からフロントウインドガラス2までの距離をL2、フロントウインドガラス2から乗員の視点までの距離をL3、フロントウインドガラス2から通常虚像表示位置P1までの距離をL4、反射ミラー22の拡大率e1、フロントウインドガラス2の拡大率e2としたとき、次式(1)のように表すことができる。
LF=L3+L4
=L3+(L1×e1+L2)×e2 …(1)
乗員が運転席に着座してステアリングホイール5を把持した状態、所謂運転準備完了状態における眼球の3次元座標が判明した場合、プロジェクタ21から反射ミラー22までの光路距離と反射ミラー22からフロントウインドガラス2までの光路距離の少なくとも一方を調整することにより、通常メインビューv1の通常メインビュー光路を設定することができる。尚、左側主HUD20について説明したが、右側主HUD30の通常メインビュー光路及び副HUD40の通常補助ビュー光路についても同様である。
白線モードにおいて、前方メインビューv2を前方虚像表示位置P2に表示する場合、白線カメラ17によって撮像された前方撮像情報に基づき走行車線上の白線の3次元座標を算出し、乗員が視認し得る左右の白線に前方メインビューv2が夫々部分的に重なり合うように前方虚像表示位置P2が設定されていることを除き、通常モードと同様の処理にて前方メインビューv2の前方メインビュー光路が設定されている。
図6に示すように、バックモードにおいて、後方メインビューv3を後方虚像表示位置P3に表示する場合、乗員の視点から後方虚像表示位置P3までの距離LRは、プロジェクタ21から反射ミラー22までの距離をL1、反射ミラー22からルームミラー7までの距離をL5、ルームミラー7からリヤウインドガラス3までの距離をL6、リヤウインドガラス3から乗員の視点までの距離をL7、リヤウインドガラス3から虚像結像位置までの距離をL8、反射ミラー22の拡大率e1、ルームミラー7の拡大率e3、リヤウインドガラス3の拡大率e4としたとき、次式(2)のように表すことができる。
LR=L7+L8
=L7+((L1×e1+L5)×e3+L6)×e4 …(2)
乗員の運転準備完了状態における視点位置が判明した場合、プロジェクタ21から反射ミラー22までの光路距離と反射ミラー22からルームミラー7までの光路距離の少なくとも一方を調整することにより、後方メインビューv3の後方メインビュー光路を設定することができる。
尚、左側主HUD20によって後方メインビューv3を表示する例について説明したが、右側主HUD30によって後方メインビューv3を表示する場合についても同様である。
また、主HUD20,30のうち一方で後方補助ビューv5を表示する場合についても、同様に後方補助ビュー光路が設定される。
次に、表示制御部53について説明する。
表示制御部53は、1対のメインビューv1〜v3が夫々設定された虚像表示位置P1〜P3に表示されるように1対の主HUD20,30を制御している。
この表示制御部53は、乗員が完了確認スイッチ62をオン操作したとき、モード判定に基づいた虚像表示制御を開始し、イグニッションスイッチ61がオフ操作され且つドアロックセンサ63がドアロック状態を検出したとき、虚像表示制御を終了している。
表示制御部53は、完了確認スイッチ62のオン操作後、乗員の視点と通常虚像表示位置P1との離隔距離LFに基づいて、駆動部23〜26,33〜36等により通常メインビューv1を通常虚像表示位置P1に表示するための通常メインビュー光路を設定している。通常メインビュー光路は、1対の通常メインビューv1の下側の車幅方向外側角部を乗員の視認可能なボンネット10の前端における左右両端部と夫々略一致するように設定されている。これにより、図3,図7に示すように、通常メインビューv1の車幅方向外側端部が車両Vの車幅方向外側端部と上下に略連なるように配置される。
図7に示すように、左側通常メインビューv1には、後続車両と歩道、右側通常メインビューv1には、後続車両と隣接する走行車線が表示されている。
通常モードにおいて、表示制御部53は、車速と乗員の視野角との相関関係に基づいて乗員の視野角幅がボンネット10前端の左右幅よりも小さくなったとき、1対の通常メインビューv1の下側の車幅方向外側角部を視野角幅の車幅方向外側端部に夫々略一致するように通常メインビュー光路を補正している。ここで、視野角幅は、所定車速のときのボンネット10前端位置において、乗員が視認可能な左右方向幅である。
これにより、乗員は、車速に拘らず左右後方の撮像情報を通常メインビューv1を介して視認することができると共に、車幅感覚を認識することができる。
また、通常モード実行中に通常補助ビューv4を表示するとき、通常補助ビューv4を表示する側の通常メインビューv1の大きさ(サイズ)を通常補助ビューv4を表示しないときの大きさよりも小さくなるように表示している。これにより、表示された通常補助ビューv4への乗員の注視レベルを相対的に高めている。
図8に示すように、左右1対の前方メインビューv2には、後続車両と車両Vの走行車線に夫々隣り合う走行車線が表示されている。
白線モードにおいて、表示制御部53は、ボンネット10の前端部よりも前方に各前方メインビューv2を表示し、各前方メインビューv2内に表示された白線(虚像)の下端部を夫々対応した乗員が視認する走行車線上の白線に略一致させている。この表示制御部53は、白線カメラ17の撮像情報に基づき走行車線上の白線の車両座標系における3次元座標を求め、前方メインビューv2内に表示された白線の下端部が夫々対応した走行車線上の白線と略一致するように前方メインビュー光路を設定している。
これにより、乗員は車両Vが適正進路を走行していることを認識することができる。
また、車速が増加する程、各前方メインビューv2が前方に移行するように前方メインビュー光路を補正している。前方メインビューv2の前後移動の可動範囲は、車速と視野角の影響に基づき、左右端部から両眼視力0.7(免許基準)で十分内容が認知できる像の大きさに対応した距離までの間で車速に応じて変更可能に設定されている。
表示制御部53は、白線モード中に白線カメラ17が走行車線上の白線を検出できないとき、通常メインビュー光路を設定している。通常メインビュー光路が設定されたとき、通常モードと同様の処理が行われている。
図9に示すように、後方メインビューv3には、リバースレンジ選択時における進行方向の撮像画像が表示されると共に車両Vの予測移動軌跡(破線)が表示されている。
バックモードにおいて、表示制御部53は、左右側部後方カメラ11,12の通常撮像情報を表示する主HUD20,30の一方を用いて後方障害物カメラ14で撮像した障害物情報の虚像(後方メインビューv3)を後方虚像表示位置P3に表示している。
この表示制御部53は、室内カメラ18bによって乗員の後向姿勢が検出され且つシフトポジションセンサ69によってリバースレンジが検出されたとき、バックモード処理の実行を開始している。表示制御部53は、シフトレバー8のリバースレンジ操作後、室内カメラ18bにより撮像された後ろ向きの乗員の視点と後方虚像表示位置P3との離隔距離LRに基づいて、駆動部7a,23〜26,33〜36等により後方メインビューv3を後方虚像表示位置P3に表示するための後方メインビュー光路を設定している。
次に、補助表示制御部54について説明する。
補助表示制御部54は、車両Vに接近する他車両や縁石等の障害物を補助ビューv4,v5に表示するように1対の主HUD20,30及び副HUD40を制御している。
補助ビューv4は、通常モード及び白線モード中に副HUD40によって表示され、補助ビューv5は、バックモード中に主HUD20,30のうち表示される障害物に近い側(障害物寄り)の主HUD30(20)によって表示される。それ故、障害物に遠い側の主HUD20(30)が後方メインビューv3を表示している。
この補助表示制御部54は、障害物検出センサ65によって車両Vに接近する単一の障害物が検出されたとき、実行するモードに適合するように補助ビューv4,v5の何れかに障害物の表示を行う。車両Vに接近する複数の障害物が検出されて運転支援装置9が検出された複数の障害物を報知したとき、補助表示制御部54は、補助ビューv4,v5の何れかにコマンドスイッチ66によって表示対象に選択された障害物の表示を行う。
尚、単一の障害物が報知されたとき、その報知された障害物の表示を行う。
補助表示制御部54は、補助ビューv4,v5の外枠の色及び輝度をメインビューv1〜v3の外枠よりも色彩が濃く、また輝度が高くなるように設定している。
更に、補助表示制御部54は、表示対象に選択された障害物が車両Vに近い程、補助ビューv4,v5の外枠の色が濃く、また輝度が高くなるように設定している。
図7に示すように、補助ビューv4には、車両Vの隣接走行車線を走行する後続車両が車両Vに接近するトップビューが表示されている。
通常モードにおいて、補助表示制御部54は、補助ビューv4が障害物に近い側(障害物寄り)の通常メインビューv1の近傍位置、具体的には障害物に近い側の通常メインビューv1の下側近傍で且つボンネット10の前端よりも後側位置に表示されるように通常補助ビュー光路を設定している。
白線モードにおいて、補助表示制御部54は、補助ビューv4が障害物に近い側の前方メインビューv2側で且つボンネット10の前端よりも後側位置に表示されるように通常補助ビュー光路を設定している。
図9に示すように、バックモードにおいて、補助表示制御部54は、左側後方の補助ビューv5が後側メインビューv3の近傍位置で且つ車両Vに対して障害物が存在する左右方向一側と同じ左右方向一側に表示されるように後側補助ビュー光路を設定している。
次に、図10〜図14のフローチャートに基づいて、表示制御処理手順について説明する。尚、Si(i=1,2…)は、各処理のためのステップを示す。
図10のフローチャートに示すように、表示制御処理では、まず、S1にて、各種センサの検出値や各カメラが撮像した撮像情報等の情報を読み込み、S2へ移行する。
S2では、イグニッションスイッチ61がオン操作されたか否か判定する。
S2の判定の結果、イグニッションスイッチ61がオン操作された場合、S3に移行し、左右1対の主HUD20,30を起動する。
S2の判定の結果、イグニッションスイッチ61がオン操作されていない場合、オン操作されるまで待機する。
S4では、乗員によって完了確認スイッチ62がオン操作されたか否か判定する。これにより、乗員が運転姿勢であるか判定するためである。
S4の判定の結果、完了確認スイッチ62がオン操作された場合、乗員が運転姿勢であるため、乗員の視点の3次元座標に基づいて通常虚像表示位置P1までの離隔距離LFを算出し(S5)、通常メインビュー光路を設定した後(S6)、S7に移行する。
S4の判定の結果、完了確認スイッチ62がオン操作されていない場合、オン操作されるまで待機する。
S7では、完了確認スイッチ62がオン操作されたか否か判定する。これにより、通常メインビューv1が適正に表示されているか判定するためである。
S7の判定の結果、完了確認スイッチ62がオン操作された場合、通常メインビューv1が適正に表示されているため、S8に移行し、モード判定処理を行う。
S7の判定の結果、完了確認スイッチ62がオン操作されていない場合、アジャスタにて手動調整し(S18)、S7にリターンして再度判定する。
S9では、バックモード判定されたか否か判定する。
S9の判定の結果、バックモード判定された場合、バックモード処理を行い(S10)、S11に移行する。
S9の判定の結果、バックモード判定されていない場合、S15に移行し、白線モード判定されたか否か判定する。
S15の判定の結果、白線モード判定された場合、白線モード処理を行い(S16)、S11に移行する。
S15の判定の結果、白線モード判定されていない場合、通常モード処理を行い(S17)、S11に移行する。
S11では、イグニッションスイッチ61がオフ操作されたか否か判定する。
S11の判定の結果、イグニッションスイッチ61がオフ操作された場合、S12に移行し、ドアロックセンサ63の検出値に基づき外部から施錠されたか否か判定する。
S12の判定の結果、外部から施錠された場合、左右1対の主HUD20,30を停止し(S13)、終了する。
S12の判定の結果、外部から施錠されていない場合、S14に移行し、イグニッションスイッチ61がオフ操作されてから一定時間経過したか否か判定する。
S14の判定の結果、イグニッションスイッチ61がオフ操作されてから一定時間経過した場合、S13に移行し、一定時間経過していない場合、S8に移行する。
S11の判定の結果、イグニッションスイッチ61がオフ操作されていない場合、S8に移行する。
次に、モード判定処理(S8)について説明する。
図11のフローチャートに示すように、まず、S21にて、補助ビュースイッチ64がオン操作されたか否か判定する。
S21の判定の結果、補助ビュースイッチ64がオン操作された場合、副HUD40を起動し(S22)、S23に移行する。
S21の判定の結果、補助ビュースイッチ64がオン操作されていない場合、副HUD40を停止し(S29)、S23に移行する。
S23では、乗員が後ろ向き姿勢か否か判定する。
S23の判定の結果、乗員が後ろ向き姿勢の場合、S24に移行し、シフトポジションがリバースレンジか否か判定する。
S24の判定の結果、リバースレンジが選択された場合、バックモードを判定して(S25)、終了する。
S23の判定の結果、乗員が後ろ向き姿勢ではない場合、また、S24の判定の結果、リバースレンジが選択されていない場合、S26に移行し、白線モードスイッチ67がオン操作されたか否か判定する。
S26の判定の結果、白線モードスイッチ67がオン操作された場合、白線モードを判定して(S27)、終了する。
S26の判定の結果、白線モードスイッチ67がオン操作されていない場合、通常モードを判定して(S28)、終了する。
次に、バックモード処理(S10)について説明する。
図12のフローチャートに示すように、まず、S31にて、離隔距離LRに基づいて駆動部7aによりルームミラー7の傾斜角度を調整し、S32に移行する。
S32では、車両Vに対して接近する1又は複数の障害物が存在するか否か判定する。
S32の判定の結果、車両Vに対して接近する障害物が存在する場合、S33に移行し、補助ビュースイッチ64がオン操作されたか否か判定する。
S33の判定の結果、補助ビュースイッチ64がオン操作された場合、S34に移行し、表示対象となる障害物を決定する。
S34にて、複数の障害物が存在する場合、コマンドスイッチ66によって選択された障害物を表示対象となる障害物に決定する。
S35では、乗員の視点の3次元座標に基づいて後方メインビュー光路と後方補助ビュー光路を設定し、S36に移行する。
次に、後方メインビューv3を表示し(S36)、後方補助ビューv5を表示した後(S37)、S38に移行する。
S38では、乗員が後ろ向き姿勢か否か判定する。
S38の判定の結果、乗員が後ろ向き姿勢の場合、S32にリターンし、乗員が後ろ向き姿勢ではない場合、終了する。
S32の判定の結果、車両Vに対して接近する障害物が存在しない場合、また、S33の判定の結果、補助ビュースイッチ64がオン操作されていない場合、後方メインビュー光路を設定し(S39)、後方メインビューv3を表示した後(S40)、S38に移行する。
次に、白線モード処理(S16)について説明する。
図13のフローチャートに示すように、まず、S41にて、補助ビュースイッチ64がオン操作されたか否か判定する。
S41の判定の結果、補助ビュースイッチ64がオン操作された場合、S42に移行し、車両Vに対して接近する1又は複数の障害物が存在するか否か判定する。
S42の判定の結果、車両Vに対して接近する障害物が存在する場合、S43に移行し、表示対象となる障害物を決定する。複数の障害物が存在する場合、コマンドスイッチ66によって選択された障害物を表示対象となる障害物に決定する。
次に、S44にて、通常補助ビュー光路を設定し、障害物が存在する側のボンネット10の前端よりも後側位置に通常補助ビューv4を表示した後(S45)、S46に移行する。
S46では、走行車線上に白線を検出したか否か判定する。
S46の判定の結果、走行車線上に白線を検出した場合、前方メインビュー光路を設定し(S47)、前方メインビューv2内に表示された白線の下端部が夫々対応した走行車線上の白線と略一致し且つ車速が増加する程、前方に移行する前方メインビューv2を表示した後(S48)、終了する。
S46の判定の結果、走行車線上に白線を検出しない場合、S49に移行し、通常メインビュー光路を設定するに当り通常メインビュー光路の補正が必要か否か判定する。
ここで、通常メインビュー光路の補正とは、乗員の視野角幅がボンネット10前端の左右幅よりも小さくなったとき、通常メインビューv1の下側の車幅方向外側角部を視野角幅の車幅方向外側端部に一致させる補正であり、また、通常補助ビューv4を表示するとき、通常補助ビューv4を表示する側の通常メインビューv1の大きさを通常補助ビューv4を表示しないときの大きさよりも小さくする補正である。
S49の判定の結果、通常メインビュー光路の補正が必要である場合、通常メインビュー光路を補正し(S50)、通常メインビューv1を表示した後(S51)、終了する。
S49の判定の結果、通常メインビュー光路の補正が必要ではない場合、通常メインビュー光路を補正することなくS51に移行する。
次に、通常モード処理(S17)について説明する。
図14のフローチャートに示すように、まず、S61にて、乗員の視野角幅がボンネット10前端の左右幅よりも小さいか否か判定する。
S61の判定の結果、乗員の視野角幅がボンネット10前端の左右幅よりも小さい場合、S62に移行し、通常メインビュー光路の左右位置を1対の通常メインビューの間隔が視野角幅になるように補正する。
次に、S63にて、補助ビュースイッチ64がオン操作されたか否か判定する。
S63の判定の結果、補助ビュースイッチ64がオン操作された場合、S64に移行し、車両Vに対して接近する1又は複数の障害物が存在するか否か判定する。
S64の判定の結果、車両Vに対して接近する障害物が存在する場合、S65に移行し、表示対象となる障害物を決定する。複数の障害物が存在する場合、コマンドスイッチ66によって選択された障害物を表示対象となる障害物に決定する。
次に、S66にて、通常補助ビュー光路を設定し、障害物が存在する側のボンネット10の前端よりも後側位置に通常補助ビューv4を表示した後(S67)、S68に移行する。
S68では、通常補助ビューv4を表示する側の通常メインビューv1の大きさを通常補助ビューv4を表示しないときの大きさよりも小さくするための通常メインビュー光路の補正を行い、通常メインビューv1を表示した後(S69)、終了する。
S63の判定の結果、補助ビュースイッチ64がオン操作されていない場合、また、S64の判定の結果、車両Vに対して接近する障害物が存在しない場合、通常補助ビュー光路の設定及び通常メインビューv1のサイズを変更することなくS69に移行する。
S61の判定の結果、乗員の視野角幅がボンネット10前端の左右幅よりも小さくない場合、通常メインビュー光路の左右位置を変更することなく、S63に移行する。
次に、本実施例の車両用表示装置1における作用、効果について説明する。
この車両Vの表示装置1では、室内カメラ18aによって検出された乗員の眼球位置とボンネット10前端近傍且つ車幅方向端部近傍の通常虚像表示位置P1との距離を算出する離隔距離算出部52を備えているため、乗員の眼球位置と車体前端近傍且つ車幅方向端部近傍の通常虚像表示位置P1との正確な位置関係を検出することができる。
ECU50が、離隔距離算出部52によって算出された離隔距離に基づき通常メインビューv1を通常虚像表示位置P1に表示するように主HUD20,30を制御するため、乗員は視線を進行方向前方に向けた状態で車両Vの側部後方情報を認識することができ、車両Vの側部後方情報の視認により自車両Vの車幅を直感的に認識することができる。
乗員が操作可能な完了確認スイッチ62を有し、ECU50は、乗員によって運転準備完了が確認されたとき、通常メインビューv1の表示を開始するため、確実に運転姿勢である乗員の眼球位置と通常虚像表示位置P1との位置関係に基づいて通常メインビュー光路を設定することができる。
イグニッションの操作状態を検出可能なイグニッションスイッチ61と、ドアロックの操作状態を検出可能なドアロックセンサ68とを有し、ECU50は、イグニッションがオフ状態で且つドアロックが外部から施錠された状態のとき、通常撮像情報の虚像表示を終了するため、乗員が降車完了するまで車両Vの側部後方情報の虚像を表示することができる。
1対の左右側部後方カメラ11,12及び左右1対の主HUD20,30を有し、1対の主HUD20,30は、光路が異なる1対のレーザー式プロジェクタ21,31を備えると共にインスツルメントパネル4内において車幅方向中央部から運転席側部分に配設されたため、他の機器に影響を与えることなく、独立して光路を制御可能な1対の主HUD20,30を配置することができる。
車体前端における乗員の視野角幅が車幅よりも小さいとき、1対の通常メインビューv1をボンネット10前端近傍且つ乗員の視野角幅の両端位置に夫々表示するため、車速に拘らず車両Vの側部後方情報を認識することができる。
次に、前記実施形態を部分的に変更した変形例について説明する。
1〕前記実施形態においては、フェンダーミラーやドアミラー等のサイドミラーを備えていないサイドミラーレス自動車に適用した例を説明したが、サイドミラーを備えた車両に適用しても良い。特に、ドアミラーを備えていても、自車両の車幅感覚を直感的に得ることができ、フェンダーミラーを備えていても、視線移動を伴うことなく、車両の側部後方情報を認識することができる。
2〕前記実施形態においては、障害物カメラの障害物撮像情報をメインビューとは独立した補助ビューで表示した例を説明したが、障害物カメラに加えて、側部後方カメラの撮像情報を補助ビューに表示しても良い。具体的には、側部後方カメラの少なくとも一方に表示対象の障害物が撮像されている場合、障害物を撮像している通常メインビューの乗員側領域(ボンネット前端部よりも後側領域)を拡大して、メインビューと補助ビューとを一体的に表示する。
3〕前記実施形態においては、イグニッションオフと外部施錠又は一定時間経過を主HUDの停止条件とした例を説明したが、これらの条件にシートセンサのオフ信号や室内カメラの不在確認信号の少なくとも1つを加えても良い。これにより、確実に乗員の降車を検出することができる。
4〕前記実施形態においては、補助ビューの外枠の色及び輝度をメインビューの外枠の色及び輝度と異ならせた例を説明したが、障害物が閾値以内に接近したとき、補助ビューの外枠を点滅させても良い。また、乗員の注意レベルを喚起するため、運転支援装置のワーニングと併用しても良い。
5〕前記実施形態においては、補助ビューの外枠の色及び輝度を制御した例を説明したが、メインビューの外枠の色及び輝度を制御しても良い。具体的には、車両の右左折時、ウインカランプが点滅する側のメインビューの外枠を点滅させることも可能である。
6〕前記実施形態においては、白線モードで、車速が増加する程前方メインビューv2が予告なく前方に移行する例を説明したが、図15に示すように、前方メインビューv2が移行する移動可能範囲を予め左右1対の移動可能範囲虚像Gとして表示しても良い。
7〕前記実施形態においては、バックモードで、左側後方の補助ビューv5を表示した例を説明したが、図16(a)に示すように、補助ビューv5に移動中の自車両のトップビューを表示しても良い。また、図16(b)に示すように、補助ビューv5に側方の縁石等を撮像したサイドビューを表示することも可能である。
8〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
V 車両
1 表示装置
2 フロントウインドガラス
4 インスツルメントパネル
10 ボンネット
11,12 左右後方カメラ
18a 室内カメラ
20,30 主HUD
21,31 プロジェクタ
22,32 反射ミラー
23〜26,駆動部
33〜36
50 ECU
52 離隔距離算出部
61 イグニッションスイッチ
62 完了確認スイッチ
63 ドアロックセンサ
P1 通常虚像表示位置

Claims (3)

  1. 車幅方向両側部から後方を撮像可能な左右1対の撮像手段と、前記1対の撮像手段により撮像された撮像情報を反射手段に投射して虚像を乗員の前方に結像可能な光投射手段と前記撮像情報の光路を変更して虚像結像位置を調整可能な光路変更手段とを含む左右1対の光学装置とを有する車両用表示装置において、
    前記1対の光学装置の光投射手段及び光路変更手段を制御可能な制御手段と、
    運転姿勢の乗員の眼球位置を検出する眼球位置検出手段と、
    前記眼球位置検出手段によって検出された眼球位置と車体前端近傍且つ車幅方向端部近傍の虚像表示位置との距離を算出する離隔距離算出手段とを備え、
    前記1対の光学装置は、光路が異なる1対のレーザー式光投射手段を備えると共にインスツルメントパネル内において車幅方向中央部から運転席側部分に配設され、
    前記制御手段が、前記離隔距離算出手段によって算出された離隔距離に基づき前記撮像情報の虚像結像位置を前記虚像表示位置とするように前記左右一側の撮像手段が撮像した撮像情報の虚像を前記左右一側の光学装置によって表示し且つ前記左右他側の撮像手段が撮像した撮像情報の虚像を前記左右他側の光学装置によって表示すると共に、車速と乗員の視野角との相関関係に基づき求められた車体前端における乗員の視野角幅が車幅よりも小さいとき、前記1対の撮像情報の虚像を前記車体前端近傍且つ前記乗員の視野角幅の両端位置に夫々表示することを特徴とする車両用表示装置。
  2. 乗員が操作可能な運転準備完了確認手段を有し、
    前記制御手段は、乗員によって運転準備完了が確認されたとき、前記撮像情報の虚像表示を開始することを特徴とする請求項1に記載の車両用表示装置。
  3. イグニッションの操作状態を検出可能なイグニッション状態検出手段と、
    ドアロックの操作状態を検出可能なドアロック状態検出手段とを有し、
    前記制御手段は、前記イグニッションがオフ状態で且つドアロックが外部から施錠された状態のとき、前記撮像情報の虚像表示を終了することを特徴とする請求項1又は2に記載の車両用表示装置。
JP2016107418A 2016-05-30 2016-05-30 車両用表示装置 Expired - Fee Related JP6361986B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016107418A JP6361986B2 (ja) 2016-05-30 2016-05-30 車両用表示装置
US15/593,812 US10168532B2 (en) 2016-05-30 2017-05-12 Display apparatus for vehicle
CN201710362208.1A CN107444263B (zh) 2016-05-30 2017-05-22 车辆用显示装置
DE102017005040.6A DE102017005040A1 (de) 2016-05-30 2017-05-26 Anzeigeapparat für ein Fahrzeug, Verfahren zum Ausbilden eines virtuellen Bilds und Computerprogrammprodukt

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016107418A JP6361986B2 (ja) 2016-05-30 2016-05-30 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2017213933A JP2017213933A (ja) 2017-12-07
JP6361986B2 true JP6361986B2 (ja) 2018-07-25

Family

ID=60269224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016107418A Expired - Fee Related JP6361986B2 (ja) 2016-05-30 2016-05-30 車両用表示装置

Country Status (4)

Country Link
US (1) US10168532B2 (ja)
JP (1) JP6361986B2 (ja)
CN (1) CN107444263B (ja)
DE (1) DE102017005040A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
US10501018B2 (en) * 2016-07-18 2019-12-10 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up side view mirror
US11528413B2 (en) * 2016-08-22 2022-12-13 Sony Corporation Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP6725377B2 (ja) 2016-09-15 2020-07-15 株式会社小糸製作所 カメラモニターシステム
JP2018047833A (ja) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 車両周辺撮影表示装置及び車両周辺撮影表示プログラム
CN110035926A (zh) * 2016-12-07 2019-07-19 三菱电机株式会社 显示控制装置、显示系统及显示控制方法
CN106710497B (zh) * 2017-01-20 2020-05-12 京东方科技集团股份有限公司 显示系统及显示方法
DE102017001707A1 (de) * 2017-02-22 2018-08-23 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Benachrichtigung über einen geschätzten Bewegungspfad eines Fahrzeugs
US10735638B2 (en) * 2017-03-17 2020-08-04 Gentex Corporation Dual display reverse camera system
FR3068481B1 (fr) * 2017-06-29 2019-07-26 Airbus Operations (S.A.S.) Systeme et procede d'affichage pour un aeronef
KR102429490B1 (ko) * 2017-09-05 2022-08-05 현대자동차주식회사 Bvm 영상 제공 기능을 가지는 svm 시스템 및 그 동작 방법
JP7095291B2 (ja) * 2018-01-30 2022-07-05 トヨタ自動車株式会社 車両用表示装置
EP3549806B1 (en) * 2018-04-03 2020-09-09 Yasaki Corporation Vehicle interior display system
WO2019216087A1 (ja) * 2018-05-08 2019-11-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、移動装置、および方法、並びにプログラム
JP7026325B2 (ja) * 2018-06-21 2022-02-28 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
JP7038643B2 (ja) * 2018-11-26 2022-03-18 本田技研工業株式会社 映像表示装置
JP7011568B2 (ja) * 2018-11-26 2022-01-26 本田技研工業株式会社 車載装置
US10810966B1 (en) * 2019-01-15 2020-10-20 Ambarella International Lp Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety
DE112019006155B4 (de) * 2019-01-21 2021-12-23 Mitsubishi Electric Corporation Informationsdarstellungseinrichtung, Informationsdarstellungssteuerverfahren, Programm und Aufzeichnungsmedium
AU2020231338A1 (en) * 2019-03-01 2021-09-23 Kodiak Robotics, Inc. Sensor assembly for autonomous vehicles
JP7012038B2 (ja) * 2019-03-08 2022-01-27 日立建機株式会社 作業機械
CN110182157A (zh) * 2019-05-13 2019-08-30 管晨光 一种具有保护装置的汽车倒车影像系统
JP7262382B2 (ja) * 2019-12-27 2023-04-21 本田技研工業株式会社 情報提供装置
JP7327253B2 (ja) * 2020-04-06 2023-08-16 株式会社デンソー 虚像表示装置
JP7420019B2 (ja) * 2020-08-31 2024-01-23 トヨタ自動車株式会社 車両用表示制御装置、表示方法、プログラム及び車両用表示システム
CN114475434B (zh) * 2020-11-11 2023-08-04 广州汽车集团股份有限公司 一种倒车外后视镜控制调节方法及其系统、存储介质
KR20220145668A (ko) * 2021-04-22 2022-10-31 삼성전자주식회사 자유형상 곡면을 포함하는 디스플레이 장치 및 그 동작 방법
DE102021113893A1 (de) * 2021-05-28 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Monitorsystem für ein Fahrzeug
DE102021115158A1 (de) 2021-06-11 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Head-Up Anzeigevorrichtung für ein Fahrzeug
DE102021126195A1 (de) 2021-10-08 2023-04-13 Bayerische Motoren Werke Aktiengesellschaft Projektionsanzeigevorrichtung für zusätzliche Fahrerinformationen im Innenspiegel über Reflexion an der Heckscheibe

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5406171A (en) * 1992-04-14 1995-04-11 Motorola, Inc. Vehicle control module for courtesy light turn off when door lock is sensed no matter the state of the delay turn off circuit
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
DE19930710C2 (de) * 1999-07-02 2003-06-12 Eads Deutschland Gmbh Bilddarstellungssystem und -verfahren für Fahrzeuge
JP2002012058A (ja) * 2000-06-30 2002-01-15 Fuji Heavy Ind Ltd 車両用表示制御装置
JP4698002B2 (ja) 2000-07-11 2011-06-08 マツダ株式会社 車両の表示装置
JP2003200755A (ja) * 2001-12-28 2003-07-15 Yazaki Corp 車両用表示装置
JP2005247224A (ja) * 2004-03-05 2005-09-15 Sumitomo Electric Ind Ltd 車両用表示装置
JP4849333B2 (ja) 2006-12-04 2012-01-11 株式会社デンソー 車両用視覚補助装置
JP2010018201A (ja) * 2008-07-11 2010-01-28 Fujitsu Ten Ltd 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP4472766B2 (ja) * 2008-07-31 2010-06-02 本田技研工業株式会社 車両用情報報知装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
JP4949487B2 (ja) * 2010-01-13 2012-06-06 本田技研工業株式会社 車両用表示装置
JP2014010418A (ja) * 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法
JP2014026244A (ja) * 2012-07-30 2014-02-06 Jvc Kenwood Corp 表示装置
US9030749B2 (en) * 2012-08-01 2015-05-12 Microvision, Inc. Bifocal head-up display system
CN105008170B (zh) * 2013-02-22 2018-11-13 歌乐株式会社 车辆用平视显示器装置
JP6413207B2 (ja) * 2013-05-20 2018-10-31 日本精機株式会社 車両用表示装置
JP6232804B2 (ja) * 2013-07-25 2017-11-22 株式会社デンソー 車両用ユーザインタフェースシステム
JP2015054598A (ja) * 2013-09-11 2015-03-23 本田技研工業株式会社 車両用表示装置
JP6221942B2 (ja) * 2014-05-26 2017-11-01 株式会社デンソー ヘッドアップディスプレイ装置
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method

Also Published As

Publication number Publication date
JP2017213933A (ja) 2017-12-07
CN107444263B (zh) 2020-05-19
US10168532B2 (en) 2019-01-01
CN107444263A (zh) 2017-12-08
DE102017005040A1 (de) 2017-11-30
US20170343799A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6361986B2 (ja) 車両用表示装置
JP6361988B2 (ja) 車両用表示装置
US10029621B2 (en) Rear view camera system using rear view mirror location
JP6272375B2 (ja) 車両用表示制御装置
JP6259482B2 (ja) 車両用表示制御装置
JP6020507B2 (ja) 車両用画像表示装置及び車両用画像表示方法
JP2005223524A (ja) 車両周辺監視装置
US20070159317A1 (en) Display apparatus
US11601621B2 (en) Vehicular display system
JP2006248384A (ja) 車両周囲監視装置
KR101510655B1 (ko) 주변 영상 생성 방법 및 장치
JP2000168475A (ja) 駐車支援装置
JP4103518B2 (ja) 車載画像表示装置
JP6361987B2 (ja) 車両用表示装置
JP3884815B2 (ja) 車両用情報表示装置
JP6365600B2 (ja) 車両用表示装置
JP6459071B2 (ja) 車両用表示装置
WO2013144998A1 (ja) 車両用視認支援装置
JP4862775B2 (ja) 運転支援方法及び運転支援装置
JP5119675B2 (ja) 車両周辺監視装置
WO2016088150A1 (ja) 車載用表示装置、車両及び表示方法
JP4207299B2 (ja) 運転支援装置
JP2000194997A (ja) 車両の障害物警報装置
JP2001071790A (ja) 車両の表示装置
JP2000172996A (ja) 運転支援装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180614

R150 Certificate of patent or registration of utility model

Ref document number: 6361986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees