JP6639437B2 - 情報提示装置 - Google Patents

情報提示装置 Download PDF

Info

Publication number
JP6639437B2
JP6639437B2 JP2017083347A JP2017083347A JP6639437B2 JP 6639437 B2 JP6639437 B2 JP 6639437B2 JP 2017083347 A JP2017083347 A JP 2017083347A JP 2017083347 A JP2017083347 A JP 2017083347A JP 6639437 B2 JP6639437 B2 JP 6639437B2
Authority
JP
Japan
Prior art keywords
display
vehicle
image
displayed
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017083347A
Other languages
English (en)
Other versions
JP2018181168A (ja
Inventor
淳也 関
淳也 関
小西 英祐
英祐 小西
水谷 公一
公一 水谷
政之 村越
政之 村越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017083347A priority Critical patent/JP6639437B2/ja
Priority to CN201810289263.7A priority patent/CN108725321A/zh
Priority to US15/949,939 priority patent/US10836311B2/en
Priority to DE102018108438.2A priority patent/DE102018108438A1/de
Publication of JP2018181168A publication Critical patent/JP2018181168A/ja
Application granted granted Critical
Publication of JP6639437B2 publication Critical patent/JP6639437B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Description

本発明は、自動車等の車両に設けられる情報提示装置に関し、特に自車両側方を撮像した画像を表示する表示装置から対象物が逸脱する際にユーザが対象物を見失うことを防止したものに関する。
自動車等の車両において、車両の後側方監視手段として、既存のミラー類に代えて、あるいは、これらと併用して、車体側部、後部等に設けられたカメラによって撮像した画像を表示する画像表示装置(カメラモニタリングシステム)を用いることが提案されている。
このような画像表示装置に関する従来技術として、例えば特許文献1には、左右ドアミラー近傍に取り付けられたCCDカメラにより撮影した車両左右側方画像と、後部に取り付けられたCCDカメラにより撮影した車両後部画像とを、インストルメントパネルに設置した液晶パネルに表示する車両周辺状況表示装置において、左右側方及び後方の3つの画像の無限遠点を合わせて1つの無限遠点を設け、1つの仮想視点から見たように左右側方及び後部画像を画像合成することが記載されている。
特許文献2には、車体左右に設けられたカメラによる撮像画像を運転者に表示する車両の後方モニタ装置において、ステア操作、ウインカ操作、ブレーキ、トランスミッションの操作等に応じて、各画像の表示を拡大又は縮小することが記載されている。
また、特許文献2には、表示される各オブジェクトの危険度を判定し、判断した危険度が高い場合には、ディスプレイ上でオブジェクトや存在する領域の色を変化させたり、ブザー音発生などにより注意を喚起することが記載されている。
特開平10−257482号公報 特開平 6−227318号公報
上述したようなカメラモニタリングシステムを備えた車両において、例えば他車両が自車両を追越す場合を想定すると、他車両が後方から接近すると先ず画像表示装置の表示画像に出現し、その後自車両に対する相対位置の前進に応じて、表示画像の側端側へ移動し、最終的には消失することになる。
一方、ユーザが肉眼で直接目視可能な前方視界においては、他車両は、自車両に対する前進に応じて、例えばフロントウインドウガラスの側方から出現することになる。
ここで、表示画像と前方の実像とでは、対象物の大きさや移動方向といった見え方が異なる場合があり、また、一時的に前方画像、側方側画像とも対象物を目視できない時間帯が存在することもあり得る。
このような場合に、ユーザが対象物を見失うと、車両周囲の安全確認に不備が生じることが懸念される。
上述した問題に鑑み、本発明の課題は、自車両側方を撮像した画像を表示する表示装置から対象物が逸脱する際にユーザが対象物を見失うことを防止した情報提示装置を提供することである。
本発明は、以下のような解決手段により、上述した課題を解決する。
請求項1に係る発明は、自車両の側方を撮像する撮像手段と、前記撮像手段が撮像した撮像画像又は前記撮像画像に基づいて生成された生成画像を表示画像として表示する表示手段と、自車両の側方で自車両に対して相対移動する対象物を認識する対象物認識手段と、前記対象物認識手段が認識した対象物が前記表示手段における表示範囲から逸脱する際に、前記表示手段において前記対象物が最後に表示される箇所又はその近傍に消失箇所表示を表示する消失箇所表示手段と、乗員が車外を目視するウインドウ又は前記ウインドウの周辺部における前記対象物が前記ウインドウ越しに最初に目視可能となる箇所の近傍に、前記表示手段における表示範囲から逸脱した前記対象物の出現が予測される箇所を示す出現箇所表示を表示する出現箇所表示手段とを備えることを特徴とする情報提示装置である。
これによれば、対象物が自車両に対して相対変位し、表示手段に表示される画像の表示範囲から逸脱する際に、画像上で対象物が最後に表示される箇所の近傍に消失箇所表示を表示して、ユーザに画像上での確認が不可能となることを知らせることができる。
また、ウインドウ又はその周辺部において最初に対象物が目視可能となる箇所の近傍に出現箇所表示を表示して、ユーザの視線を対象物の出現箇所に誘導し、ユーザが対象物を見失うことを防止できる。
請求項2に係る発明は、前記消失箇所表示は前記表示手段の表示領域における車両前方側の端部近傍に表示され、前記出現箇所表示は、フロントウインドウガラスの側端部近傍に表示されることを特徴とする請求項1に記載の情報提示装置である。
これによれば、対象物が自車両に対して相対的に前進する際に、前方視界に対象物が出現する箇所にユーザの視線を誘導し、上述した効果を確実に得ることができる。
請求項3に係る発明は、ユーザの視点位置を検出する視点位置検出手段を備え、前記出現箇所表示手段は、前記ユーザの視点位置に基づいて前記出現箇所表示を表示する位置を設定することを特徴とする請求項1又は請求項2に記載の情報提示装置である。
これによれば、ユーザ(周辺監視に責任を持つ乗員・手動運転時におけるドライバ)の体格、着座位置、着座姿勢などが異なる場合であっても、適切な箇所に出現箇所表示を表示させることができる。
以上説明したように、本発明によれば、自車両側方を撮像した画像を表示する表示装置から対象物が逸脱する際にユーザが対象物を見失うことを防止した情報提示装置を提供することができる。
本発明を適用した情報提示装置の実施形態の構成を示すブロック図である。 実施形態の情報提示装置における後側方カメラ等の配置を示す模式的斜視図である。 実施形態の情報提示装置を有する車両におけるユーザ視界の一例を示す図である。 実施形態の情報提示装置における表示画像の一例であって、他車両が自車両の後方に存在する場合を示す図である。 実施形態の情報提示装置における表示画像の他の例であって、他車両が自車両の後側方に存在する場合を示す図である。 実施形態の情報提示装置を有する車両におけるユーザ視界の他の例を示す図であって、出現箇所表示が行われた状態を示す図である。
以下、本発明を適用した情報提示装置の実施形態について説明する。
実施形態の情報提示装置は、例えば乗用車等の自動車に設けられ、車体後側方をカメラによって撮像した画像を、LCDによってドライバ等のユーザに提示するカメラモニタリングシステムを含む。
図1は、実施形態の情報提示装置の構成を示すブロック図である。
情報提示装置1は、後側方画像処理ユニット10、後方カメラ11、左後側方カメラ12、右後側方カメラ13、ステレオカメラ処理ユニット20、左前方カメラ21、右前方カメラ22、環境認識ユニット30、左後側方レーダ31、右後側方レーダ32、ドライバモニタリングユニット40、ドライバモニタリングカメラ41、表示画像生成ユニット50、表示制御ユニット60、LCD70、HUD装置80等を有して構成されている。
後側方画像処理ユニット10は、後方カメラ11、左後側方カメラ12、右後側方カメラ13の出力信号を処理し、画像データとして出力するデジタル信号処理装置である。
後側方画像処理ユニット10が出力する映像信号は、環境認識ユニット30及び表示画像生成ユニット50に伝達される。
後方カメラ11、左後側方カメラ12、右後側方カメラ13は、車両周囲の状況を動画撮影して映像信号をリアルタイム出力するものであり、CMOS等の固体撮像素子及びその駆動装置、レンズ等を備えている。
図2は、実施形態の情報提示装置における後側方カメラ等の配置を示す模式的斜視図である。
後方カメラ11は、車体Bの後端部における車幅方向中央部に、光軸方向を車両後方側に向けて配置される。
左後側方カメラ12は、車体Bの左側面部に、光軸方向を後方側かつ車幅方向外側に向けて配置されている。
左後側方カメラ12は、例えば、サイドミラー130に隣接した箇所に配置される。
左後側方カメラ12の視野(撮像可能範囲)F12は、後方カメラ11の視野F11と部分的にラップし、自車両の後方から左側方に至る範囲の全てが少なくともいずれかのカメラによって、実質的に死角がないように撮像されるようになっている。
右後側方カメラ13(図2においては不図示)は、左後側方カメラ12と実質的に左右対称に配置されている。
ステレオカメラ処理ユニット20は、左前方カメラ21、右前方カメラ22がそれぞれ撮像した映像に、公知のステレオカメラ処理を施し、自車両前方の物体及びその自車両からの距離を検出するものである。
ステレオカメラ処理ユニット20の出力は、環境認識ユニット30に伝達される。
左前方カメラ21、右前方カメラ22は、車両前方の状況を動画撮影して映像信号をリアルタイム出力するものであり、CMOS等の固体撮像素子及びその駆動装置、レンズ等を備えている。
左前方カメラ21、右前方カメラ22は、例えば、車室内におけるフロントウインドウガラス上端部付近に、左右方向に離間して配置されている。
環境認識ユニット30は、後側方画像処理ユニット10、ステレオカメラ処理ユニット20、左後側方レーダ31、右後側方レーダ32等から提供される情報に基づいて、自車両周囲の環境を認識するものである。
環境認識ユニット30は、左後側方レーダ31、右後側方レーダ32と協働して本発明にいう対象物認識手段として機能する。
ここで、認識される環境として、自車両が走行する自車両走行車線の車線形状、自車両走行車線に隣接する隣接車線の車線形状、自車両の周囲を走行する他車両、歩行者、建造物(例えば、建物、ガードレール、標識、信号機、橋げた、トンネル、中央分離帯、路側帯等)等の障害物等を含む。
左後側方レーダ31、右後側方レーダ32は、自車両の後側方に存在する他車両等の物体を検出するものである。
左後側方レーダ31、右後側方レーダ32として、例えば、ミリ波レーダを用いることができる。
左後側方レーダ31、右後側方レーダ32は、他車両が存在する場合に自車両に対する他車両の相対位置を検出することが可能であり、この相対位置の推移に基づいて、他車両の自車両に対する相対速度を算出することが可能である。
左後側方レーダ31、右後側方レーダ32は、車体後部における左右(例えばリアバンパ内部等・図2参照)に配置されている。
ドライバモニタリングユニット40は、ドライバモニタリングカメラ41が撮像した画像に基づいて、ユーザ(手動運転時におけるドライバ)の姿勢、挙動、視線方向等を検出するものである。
ドライバモニタリングカメラ41は、車室内におけるドライバの前方側に設けられている。
ドライバモニタリングユニット40は、ユーザが肉眼により車外の状況を直接目視する場合の視点位置を検出する視点位置検出手段として機能する。
表示画像生成ユニット50は、後側方画像処理ユニット10、環境認識ユニット30、ドライバモニタリングユニット40からの入力に基づいて、LCD70に表示される表示画像を生成するものである。
表示画像生成ユニット50の機能及び生成される表示画像の例については、後に詳しく説明する。
なお、表示画像は、後方カメラ11、左後側方カメラ12、右後側方カメラ13が撮像した映像に所定の画像処理を施した実写画像(撮像画像)であってもよく、また、実写画像に対応する情報を表示するコンピュータグラフィックス等(撮像画像に基づいて生成した生成画像)であってもよい。また、実写画像とコンピュータグラフィックスとを重畳するなどして合成して用いてもよい。
また、表示画像生成ユニット50は、表示画像において後述する消失箇所表示Idを表示する際には、HUD装置80に指令を出して後述する出現箇所表示Iaを表示させる機能を有する。
表示制御ユニット60は、表示画像生成ユニット50が生成する表示画像を、LCD70に表示させるディスプレイ駆動装置である。
LCD70は、ユーザ(乗員・手動運転時における運転者)の前方側に設けられ、自車両の後側方の状況に関する情報を含む表示画像をユーザに対して表示する表示手段である。表示画像には、必要に応じて後述する消失箇所表示Idが重畳して表示される。
車室内におけるLCD70の配置については、後に詳しく説明する。
本実施形態において、LCD70は、表示手段、及び、消失箇所表示手段として機能する。
ヘッドアップディスプレイ(HUD)装置80は、表示画像生成ユニット50からの入力に応じて、後述するフロントガラス110に、画像や文字等の情報を表示するものである。
HUD装置80は、例えばLCDパネル等に表示される情報をミラーに反射させ、フロントガラス110に虚像として投影する機能を有する。
本実施形態において、HUD装置80は、出現箇所表示手段として機能する。
図3は、実施形態の情報提示装置を有する車両におけるユーザ視界の一例を示す図である。
図3に示すように、車両は、フロントガラス110、フロントドアガラス120、サイドミラー130、インストルメントパネル140、ステアリングホイール150、Aピラー160、ルーフ170、ルームミラー180等を有する。
フロントガラス110は、ユーザ(ドライバ)の前方側に配置されたウインドウガラスである。
フロントガラス110は、実質的に横長の矩形状に形成され、前方が凸となる方向に湾曲した2次曲面ガラスである。
フロントガラス110は、上端部が下端部に対して車両後方側となるように後傾して配置されている。
フロントドアガラス120は、乗員の乗降に用いられる左右フロントドアの上部であって、ドライバの側方に設けられている。
フロントドアガラス120は、昇降式の本体部121、及び、本体部121の前部に設けられた固定式の三角窓部122を有する。
サイドミラー130は、ドライバが左右後方視界を確認するものである。
サイドミラー130は、左右フロントドアのアウタパネルから車幅方向外側に突出している。
ユーザ視界において、サイドミラー130は、例えば、フロントドアガラス120の本体部121の前端部近傍に見えるようになっている。
インストルメントパネル140は、車室内においてフロントガラス110の下方に設けられた内装部材である。
インストルメントパネル140は、各種計器類、表示装置、スイッチ類、空調装置、助手席エアバッグ装置、膝部保護エアバッグ装置等が収容される筐体としても機能する。
インストルメントパネル140は、コンビネーションメータ141、マルチファンクションディスプレイ142、ナビゲーション装置ディスプレイ143等が設けられる。
コンビネーションメータ141は、運転席の正面に設けられ、速度計、エンジン回転計、距離計などの各種計器類をユニット化したものである。
コンビネーションメータ141には、LCD70が内蔵されている。
マルチファンクションディスプレイ142は、インストルメントパネル140の車幅方向中央部における上部に設けられた例えばLCD等の画像表示手段である。
ナビゲーション装置ディスプレイ143は、インストルメントパネル140の車幅方向中央部における下部に設けられている。
ステアリングホイール150は、ドライバが手動運転時に操舵操作を入力する環状の操作部材である。
ステアリングホイール150は、ドライバの前方に実質的に正対して設けられる。
コンビネーションメータ141は、ユーザ視界において、ステアリングホイール150の上半部における内径側から目視可能となっている。
Aピラー160は、フロントガラス110の側端部及びフロントドアガラス120の前端部に沿って配置された柱状の車体構造部材である。
Aピラー160の車室内側の面部は、樹脂製のピラートリムによってカバーされている。
ルーフ170は、フロントガラス110の上端部から後方にのびて形成されている。
ルーフ170の車室内側の面部は、樹脂製のルーフトリムによってカバーされている。
ルーフ170の車幅方向中央部における前端部には、左前方カメラ21、右前方カメラ22が収容されるステレオカメラ収容部171が設けられている。
ルームミラー180は、車室内に設けられた後方確認用のミラーである。
ルームミラー180は、図示しないステーを介してフロントガラス110の車幅方向中央部における上端部近傍に設けられている。
次に、本実施形態におけるLCD70の表示画像について説明する。
以下説明する表示画像は、表示画像生成ユニット50によって生成され、表示制御ユニット60を介してLCD70に表示させられる。
図4は、実施形態の情報提示装置における表示画像の一例であって、他車両が自車両の後方に存在する場合を示す図である。
図5は、実施形態の情報提示装置における表示画像の他の例であって、他車両が自車両の後側方に存在する場合を示す図である。
図4,5は、他車両が自車両に対して右側から追越を行う際の状態を時系列で示している。
実施形態においては、車体側部でありかつ車体後部に基準点P(図2参照)を設定し、車室内に設定される仮想視点から見て基準点Pよりも車両後方側に相当する領域を第1の領域A1とし、基準点Pよりも車両前方側に相当する領域を第2の領域A2とする。
仮想視点は、例えば、ドライバモニタリングユニット40が検出したユーザ(手動運転時のドライバ)の頭部位置に設定される。
図4、図5に示すように、第1の領域A1の画像と、左右それぞれの第2の領域A2の画像とは、同一の表示画像I1、I2に連続的に表示される。
表示画像I1、I2には、仮装視点から見たときの各ウインドウガラスの外周縁に相当する箇所を示すラインLgが、後側方画像処理ユニット10から提供される車両外部の画像と重畳して表示される。
このとき、表示画像I1,I2において、他車両等の物体をピラーに相当する範囲においても目視可能なよう、ピラーを透視した状態の画像となっている。
また、表示画像I1、I2は、ミラー類を利用して車両後側方を視認する際の見え方に対して違和感がないよう、左右逆像とすることができる。
すなわち、表示画像I1、I2において、右側に表示される第2の領域A2は、自車両の右後側方の状況を示し、左側に表示される第2の領域A2は、自車両の左後側方の状況を示している。
図4においては、他車両FVは、自車両の後方側に存在し、表示画像I1上において第1の領域A1に含まれる。
これに対し、図5においては、他車両FVは隣接車線に車線変更をして自車両を追い越しにかかっており、他車両FVは自車両の後側方に位置し、表示画像I2上において第2の領域A2に含まれている。
この状態から他車両FVが自車両に対して相対的にさらに前進した場合には、他車両FVは、表示画像I2の右側へ移動し、最終的には表示画像I2の右側端部において表示範囲から画角外へ逸脱し、画像から消失する。
そこで、本実施形態においては、表示画像から対象物が消失する箇所を示す表示である消失箇所表示Idを、対象物(ここでは他車両FV)が最後に表示される箇所(ここでは画面右端部)の近傍に表示している。
消失箇所表示Idは、例えば、対象物が実際に表示範囲から逸脱する前に、予告的に表示してもよい。また、対象物が実際に表示範囲から逸脱した後に事後的に表示することもできる。
消失箇所表示Idは、例えば、表示開始後、ドライバが消失箇所表示Idを認識可能な時間を考慮して設定された所定時間の経過後に消去される。
一方、本実施形態の情報提示装置1は、フロントガラス110越しの視界において対象物(ここでは他車両FV)の出現が予測される箇所に、対象物の実像と実質的に重畳するように、出現箇所表示IaをHUD装置80によって表示する。
図6は、実施形態の情報提示装置を有する車両におけるユーザ視界の他の例を示す図であって、出現箇所表示が行われた状態を示す図である。
出現箇所表示Iaは、対象物(ここでは他車両FV)が、フロントガラス110越しに最初に目視可能となる箇所の近傍に表示される。
図6に示す例においては、他車両FVが自車両の右側から追越を行う状態を示しており、出現箇所表示Iaは、フロントガラス110の右端部近傍に配置されている。
また、図6に示す状態では、LCD70には、図5に示した表示画像I2が表示されている。表示画像I2は、消失箇所表示Idを含む。
出現箇所表示Iaは、例えば、消失箇所表示Idの表示開始と同時に表示を開始され、その後少なくとも対象物がフロントガラス110越しの視界内に出現するまで表示継続される。
このとき、ドライバモニタリングユニット40は、ユーザの視線方向を検出し、視線方向が出現箇所表示Iaの方向を向いたことを確認後、HUD装置80は、出現箇所表示Iaを消去する構成とすることもできる。
なお、消失箇所表示Id、出現箇所表示Iaとして、任意の図形、記号、絵文字、文字、画像等を単独で、あるいは、組み合わせて使用することができる。
このような消失箇所表示Id、出現箇所表示Iaは、例えば、環境認識ユニット30によって認識され、かつ自車両との衝突リスクが所定以上であると判定された対象物について表示されるようになっている。
環境認識ユニット30は、例えば、自車両に対する相対位置、相対速度、対象物の大きさ、絶対速度等に基づいて、衝突リスクを判定する。
また、出現箇所表示Iaが表示される箇所は、ドライバモニタリングユニット40が検出するユーザ(手動運転時におけるドライバ)の視点位置を考慮し、ユーザの視点位置から見て対象物が最初に出現する箇所又はその近傍となるように設定されている。
表示画像生成ユニット50は、ドライバモニタリングユニット40から提供される視点位置の情報に基づいて、表示制御ユニット60を介してHUD装置80に出現箇所表示Iaの表示位置を指示する。
以上説明した実施形態によれば、他車両FVが自車両に対して前進し、LCD70に表示される表示画像I2から逸脱する際に、表示画像I2上で他車両FVが最後に表示される箇所の近傍に消失箇所表示Idを表示して、ユーザに画像上での確認が不可能となることを知らせることができる。
また、フロントガラス110上において最初に他車両FVが目視可能となる箇所の近傍に出現箇所表示Iaを表示して、ユーザの視線方向を出現箇所に誘導し、ユーザが他車両FVを見失うことを防止できる。
さらに、ユーザ(周辺監視に責任を持つ乗員・手動運転時におけるドライバ)の視点位置に基づいて出現箇所表示Iaの表示位置を設定することによって、ユーザの体格、着座位置、着座姿勢などが異なる場合であっても、適切な箇所に出現箇所表示Iaを表示させることができる。
(変形例)
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)情報提示装置やこれが搭載される車両の構成は、上述した実施形態に限定されず、適宜変更することができる。
例えば、カメラ、レーダ類の数量や配置は適宜変更することができる。実施形態においては、後方カメラ及び左右の後側方カメラをそれぞれ1つ備えているが、複数備える構成としてもよい。また、例えば単一の広角カメラを用いて、後方カメラと後側方カメラとを兼用する構成としてもよい。
(2)実施形態においては、HUD装置80を用いて、出現箇所表示をフロントガラス110に投射する構成としているが、出現箇所表示手段の構成はこれに限らず、適宜変更することが可能である。
例えば、Aピラーやインストルメントパネル等にLEDランプ等の光源を設けて、これを点灯させる構成としてもよい。また、サイドミラー等のウインドウガラスに隣接する他部品に光源や表示装置を設けてもよい。
(3)実施形態は、リアバンパの後部かつ側端部に基準点Pを設定しているが、基準点の設定は適宜変更することが可能である。例えば、トランクリッド上面部やルーフにおける後端部かつ側端部や、リアコンビネーションランプ近傍など、任意の箇所に基準点を設定してもよい。
また、このような基準点に代えて、仮想視点から見て車体最後部に設けられたピラー(3ボックス車等の場合はCピラー、ステーションワゴン車等の場合はDピラー)の前縁部、後縁部に実質的に沿って配置された基準線よりも前方側を第2の領域としてもよい。
また、仮想視点の位置もユーザ頭部に位置に限定されず、適宜変更することができる。例えば車室内に設けられるルームミラーの位置を仮想視点としてもよい。
1 情報提示装置 10 後側方画像処理ユニット
11 後方カメラ 12 左後側方カメラ
13 右後側方カメラ 20 ステレオカメラ処理ユニット
21 左前方カメラ 22 右前方カメラ
30 環境認識ユニット 31 左後側方レーダ
32 右後側方レーダ
40 ドライバモニタリングユニット 41 ドライバモニタリングカメラ
50 表示画像生成ユニット 60 表示制御ユニット
70 LCD 80 HUD装置
110 フロントガラス 120 フロントドアガラス
121 本体部 122 三角窓部
130 サイドミラー 140 インストルメントパネル
141 コンビネーションメータ
142 マルチファンクションディスプレイ
143 ナビゲーション装置ディスプレイ
150 ステアリングホイール 160 Aピラー
170 ルーフ 171 ステレオカメラ収容部
180 ルームミラー
I1,I2 表示画像 FV 他車両
A1 第1の領域 A2 第2の領域
F11 後方カメラ視野 F12 左後側方カメラ視野
Id 消失箇所表示 Ia 出現箇所表示

Claims (3)

  1. 自車両の側方を撮像する撮像手段と、
    前記撮像手段が撮像した撮像画像又は前記撮像画像に基づいて生成された生成画像を表示画像として表示する表示手段と、
    自車両の側方で自車両に対して相対移動する対象物を認識する対象物認識手段と、
    前記対象物認識手段が認識した対象物が前記表示手段における表示範囲から逸脱する際に、前記表示手段において前記対象物が最後に表示される箇所又はその近傍に消失箇所表示を表示する消失箇所表示手段と、
    乗員が車外を目視するウインドウ又は前記ウインドウの周辺部における前記対象物が前記ウインドウ越しに最初に目視可能となる箇所の近傍に、前記表示手段における表示範囲から逸脱した前記対象物の出現が予測される箇所を示す出現箇所表示を表示する出現箇所表示手段と
    を備えることを特徴とする情報提示装置。
  2. 前記消失箇所表示は前記表示手段の表示領域における車両前方側の端部近傍に表示され、
    前記出現箇所表示は、フロントウインドウガラスの側端部近傍に表示されること
    を特徴とする請求項1に記載の情報提示装置。
  3. ユーザの視点位置を検出する視点位置検出手段を備え、
    前記出現箇所表示手段は、前記ユーザの視点位置に基づいて前記出現箇所表示を表示する位置を設定すること
    を特徴とする請求項1又は請求項2に記載の情報提示装置。
JP2017083347A 2017-04-20 2017-04-20 情報提示装置 Active JP6639437B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017083347A JP6639437B2 (ja) 2017-04-20 2017-04-20 情報提示装置
CN201810289263.7A CN108725321A (zh) 2017-04-20 2018-04-03 信息提示装置
US15/949,939 US10836311B2 (en) 2017-04-20 2018-04-10 Information-presenting device
DE102018108438.2A DE102018108438A1 (de) 2017-04-20 2018-04-10 Informationdarstellungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017083347A JP6639437B2 (ja) 2017-04-20 2017-04-20 情報提示装置

Publications (2)

Publication Number Publication Date
JP2018181168A JP2018181168A (ja) 2018-11-15
JP6639437B2 true JP6639437B2 (ja) 2020-02-05

Family

ID=63714309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017083347A Active JP6639437B2 (ja) 2017-04-20 2017-04-20 情報提示装置

Country Status (4)

Country Link
US (1) US10836311B2 (ja)
JP (1) JP6639437B2 (ja)
CN (1) CN108725321A (ja)
DE (1) DE102018108438A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180236939A1 (en) * 2017-02-22 2018-08-23 Kevin Anthony Smith Method, System, and Device for a Forward Vehicular Vision System
JP7163748B2 (ja) * 2018-12-05 2022-11-01 トヨタ自動車株式会社 車両用表示制御装置
JP7196744B2 (ja) * 2019-04-10 2022-12-27 株式会社デンソー レーダ装置
JPWO2020241485A1 (ja) * 2019-05-31 2020-12-03

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6227318A (ja) 1985-07-29 1987-02-05 Kawasaki Steel Corp Sio微粉末の製造方法およびその装置
JPH06227318A (ja) 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JPH10257482A (ja) 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP2002101505A (ja) * 2000-09-19 2002-04-05 Nippon Telegraph & Telephone East Corp 配電盤
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
JP2012133699A (ja) * 2010-12-24 2012-07-12 Software Factory:Kk 車両用運転支援装置
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
FR3012718B1 (fr) * 2013-10-28 2015-12-04 Kontron Modular Computers Sas <p>verrouillage d'une carte electronique</p>
GB201818058D0 (en) * 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
JP6552285B2 (ja) * 2015-06-05 2019-07-31 アルパイン株式会社 車載表示装置及び車両後方映像表示方法
JP6749535B2 (ja) 2015-10-29 2020-09-02 Necマグナスコミュニケーションズ株式会社 絶縁監視装置およびこれに用いる試験電流発生装置ならびに試験装置

Also Published As

Publication number Publication date
JP2018181168A (ja) 2018-11-15
CN108725321A (zh) 2018-11-02
US20180304811A1 (en) 2018-10-25
DE102018108438A1 (de) 2018-10-25
US10836311B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
JP6649914B2 (ja) 画像表示装置
CN108602465B (zh) 车辆用图像显示系统及搭载了该图像显示系统的车辆
EP3313696B1 (en) Augmented reality system for vehicle blind spot prevention
US8350686B2 (en) Vehicle information display system
JP6639437B2 (ja) 情報提示装置
US20090009314A1 (en) Display system and program
CN108621944B (zh) 车辆用视觉辨认装置
JP2003081014A (ja) 車両周辺監視装置
JP2018173716A (ja) 情報出力装置
WO2018156760A1 (en) Method, system, and device for forward vehicular vision
JP6623910B2 (ja) 車両用表示装置
JP6889587B2 (ja) 画像表示装置
WO2013144998A1 (ja) 車両用視認支援装置
EP3888966A1 (en) Vehicle display device
JP6878109B2 (ja) 画像表示装置
JP6971087B2 (ja) 視認補助装置
JP2019038372A (ja) 画像表示装置
JP7278829B2 (ja) 情報処理装置及び情報処理方法
JP2018177133A (ja) 画像表示装置
JP2018177134A (ja) 画像表示装置
JP6894744B2 (ja) 画像表示装置
JP7272007B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
JP6618045B2 (ja) 車両用表示装置
CN117124985A (zh) 汽车a柱显示系统
JP2019110390A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191224

R150 Certificate of patent or registration of utility model

Ref document number: 6639437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250