JP7435465B2 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP7435465B2
JP7435465B2 JP2020557724A JP2020557724A JP7435465B2 JP 7435465 B2 JP7435465 B2 JP 7435465B2 JP 2020557724 A JP2020557724 A JP 2020557724A JP 2020557724 A JP2020557724 A JP 2020557724A JP 7435465 B2 JP7435465 B2 JP 7435465B2
Authority
JP
Japan
Prior art keywords
image
abnormal state
display
detection information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020557724A
Other languages
English (en)
Other versions
JPWO2020111036A1 (ja
Inventor
誠 秦
勇希 舛屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of JPWO2020111036A1 publication Critical patent/JPWO2020111036A1/ja
Application granted granted Critical
Publication of JP7435465B2 publication Critical patent/JP7435465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、表示装置に関する。
従来の表示装置として、特許文献1には、車両の前方風景と重なる虚像として視認者(主に車両の運転者)に視認される画像を表示するものが開示されている。特許文献1に開示された表示装置は、車両の前方に存在する前方対象の位置を検出し、当該前方対象の存在を報知する報知画像を表示する。
特許第6394940号公報
例えば、自車両と前方対象の間に障害物がある状態(オクルージョン)が生じ、前方対象の位置を特定するための検出情報が正常に取得できない場合に正常時と同じ態様で報知画像を表示すると、正常に前方対象が検知されているとの誤解を与える虞がある。
本発明は、上記実情に鑑みてなされたものであり、正常に前方対象が検知できていない場合に、正常に前方対象が検知されているとの誤解を与えてしまうことを防止することができる表示装置を提供することを目的とする。
上記目的を達成するため、本発明に係る表示装置は、
車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
前記車両の前方対象の位置を特定するための検出情報を検出手段から取得する取得手段と、
前記取得手段が所定期間内に取得した前記検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定する特定手段と、
前記重畳画像の表示領域内に表示される画像の制御を行い、前記取得手段が取得した前記検出情報に基づいて前方対象の位置を特定し、当該前方対象の存在を報知する報知画像を表示可能な表示制御手段と、を備え、
前記表示制御手段は、前記特定手段によって前記異常状態が特定された場合、前記報知画像よりも視認性が低い態様で、前記異常状態が発生していることを示す指示画像を表示する。
本発明によれば、正常に前方対象が検知できていない場合に、正常に前方対象が検知されているとの誤解を与えてしまうことを防止することができる。
本発明の一実施形態に係るヘッドアップディスプレイ(HUD)装置の車両への搭載態様を説明するための図である。 車両用表示システムのブロック図である。 表示制御処理の一例を示すフローチャートである。 (a)は、前方対象検出における正常状態を説明するための模式図であり、(b)及び(c)は、前方対象検出における異常状態を説明するための模式図である。 報知画像の表示例を示す図である。 (a)及び(b)は、指示画像の表示例を示す図である。 (a)及び(b)は、指示画像の表示例を示す図である。
本発明の一実施形態に係る表示装置について図面を参照して説明する。
本実施形態に係る表示装置は、図2に示す車両用表示システム100に含まれるHUD(Head-Up Display)装置10である。HUD装置10は、図1に示すように、車両1のダッシュボード2の内部に設けられ、車両1に関する情報(以下、車両情報と言う。)だけでなく、車両情報以外の情報も統合的にユーザ4(主に車両1の運転者)に報知する。なお、車両情報は、車両1自体の情報だけでなく、車両1の運行に関連した車両1の外部の情報も含む。
車両用表示システム100は、車両1内において構成されるシステムであり、HUD装置10と、前方対象検出部40と、視点検出部50と、ECU(Electronic Control Unit)60とを備える。
HUD装置10は、図1に示すように、フロントガラス3に向けて表示光Lを射出する。フロントガラス3で反射した表示光Lは、ユーザ4側へと向かう。ユーザ4は、視点をアイボックス5内におくことで、フロントガラス3の前方に表示される表示光Lが表す画像を、虚像Vとして視認することができる。これにより、ユーザ4は、虚像Vを前方風景と重畳させて観察することができる。
HUD装置10は、図2に示す表示部20及び制御部30と、図示しない反射部とを備える。
表示部20は、制御部30の制御により、虚像Vとしてユーザ4に視認される重畳画像を表示する。表示部20は、例えば、TFT(Thin Film Transistor)型のLCD(Liquid Crystal Display)や、LCDを背後から照明するバックライト等を有する。バックライトは、例えばLED(Light Emitting Diode)から構成されている。表示部20は、制御部30の制御の下で、バックライトに照明されたLCDが画像を表示することにより表示光Lを生成する。生成した表示光Lは、反射部で反射した後に、フロントガラス3に向けて射出される。反射部は、例えば、折り返しミラーと凹面鏡の二枚の鏡から構成される。折り返しミラーは、表示部20から射出された表示光Lを折り返して凹面鏡へと向かわせる。凹面鏡は、折り返しミラーからの表示光Lを拡大しつつ、フロントガラス3に向けて反射させる。これにより、ユーザ4に視認される虚像Vは、表示部20に表示されている画像が拡大されたものとなる。なお、反射部を構成する鏡の枚数は設計に応じて任意に変更可能である。
なお、以下では、虚像Vとしてユーザ4に視認される画像を表示部20が表示することを「重畳画像を表示する」とも言う。また、制御部30が表示部20の表示制御を行うことを「重畳画像の表示制御を行う」とも言う。また、表示部20は、重畳画像を表示することができれば、LCDを用いたものに限られず、OLED(Organic Light Emitting Diodes)、DMD(Digital Micro mirror Device)、LCOS(Liquid Crystal On Silicon)などの表示デバイスを用いたものであってもよい。
制御部30は、表示部20の動作を含むHUD装置10の全体動作を制御する。制御部30は、動作プログラムに従って各処理を行う処理部31と、当該動作プログラムや各種の画像データを予め記憶するROM(Read Only Memory)や、演算結果などを一時的に記憶するRAM(Random Access Memory)などから構成される記憶部32と、を備える。処理部31は、1つ又は複数の、マイクロプロセッサ、マイクロコントローラ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などから構成される。なお、記憶部32の少なくとも一部は、処理部31に内蔵されていてもよい。特に、制御部30は、虚像Vの表示領域内において、後述の報知画像Wや指示画像Cの表示を制御する。なお、図5等で虚像Vが示している点線の枠は、虚像Vの表示領域を示し、報知画像Wや指示画像Cは、当該表示領域内に虚像として視認される画像である。これは、虚像Vとしてユーザ4に視認される重畳画像を表示する表示部20において、当該重畳画像の表示領域内に報知画像Wや指示画像Cが表示されることと同義である。制御部30の他の機能については後に述べる。
制御部30は、表示部20、前方対象検出部40、視点検出部50及びECU60の各々と、バス6を介して通信可能に接続される。当該通信としては、例えば、CAN(Controller Area Network)、Ethernet、MOST(Media Oriented Systems Transport)、LVDS(Low Voltage Differential Signaling)などの方式を適用可能である。
前方対象検出部40は、前方対象Fを検出するものであり、次に述べる撮像装置とセンサ群のうち、1又は複数の組み合わせから構成される。撮像装置は、車両1(以下、自車1とも言う。)が走行する路面を含む前方風景を撮像するものであり、例えばステレオカメラなどで構成される。撮像装置は、撮像した画像のデータを、図示しない画像解析部を用いて、パターンマッチング法などの公知の手法により画像解析することで、前方対象Fの種類や大きさを特定するとともに、自車1から前方対象Fまでの距離と、自車1に対する前方対象Fの方向とを算出する。また、撮像装置は、当該距離を時間微分することで、自車1に対する前方対象Fの相対速度も算出することができる。センサ群は、例えば、自車1から前方対象Fまでの距離を測定するLIDAR(Laser Imaging Detection And Ranging)などの測距センサや、前方対象を検出するソナー、超音波センサ、ミリ波レーダ等から構成される。センサ群は、自車1から前方対象Fまでの距離と、自車1に対する前方対象Fの方向とを検出する。
制御部30は、上記のように構成される前方対象検出部40から、自車1から前方対象Fまでの距離、自車1に対する前方対象Fの方向、前方対象Fの種類や大きさなどを示す検出情報を取得し、取得した検出情報に基づいて、虚像Vの表示領域内における前方対象Fの位置を特定(算出)する。なお、前方対象検出部40において前方対象Fの位置を算出し、制御部30は、当該位置を示す検出情報を前方対象検出部40から直接取得してもよい。また、制御部30は、前方対象検出部40が検出した前方対象Fが複数ある場合には、複数の前方対象Fの各々に識別情報(ID)を付し、IDに対応する位置情報により、所定の前方対象Fの位置を特定する。なお、前方対象Fは、例えば、自車1の前方に存在する先行車、歩行者、障害物などである。
視点検出部50は、ユーザ4の視点位置(視線方向も含む)を検出する公知の構成であり、例えば、ユーザ4の顔を撮像する赤外線カメラと、赤外線カメラで撮像した画像のデータ(撮像データ)を解析する視点位置解析部と、を有する。視点位置解析部は、撮像データをパターンマッチング法などの公知の手法により画像解析することで、ユーザ4の視点位置を特定し、当該視点位置を示す情報を制御部30に供給する。
ECU60は、車両1の各部を制御するものであり、自車1に関する車両情報を制御部30に供給する。自車1に関する車両情報は、例えば、車速、エンジン回転数、警告情報(燃料低下や、エンジン油圧異常など)などである。制御部30は、ECU60から取得した車両情報に基づいて重畳画像の表示制御を行い、図5に示すように、虚像Vの表示領域内に所定の車両情報を示す画像V1を表示する。
制御部30は、前方対象検出部40からの検出情報に基づき特定した前方対象Fの位置に関する情報と、視点検出部50から入力されるユーザ4の視点位置に関する情報とに基づき、虚像Vの表示領域内における報知画像Wの表示位置を演算し、表示部20の表示動作を制御する。これにより、制御部30は、実景における前方対象Fに対する所望の位置に報知画像Wを重畳表示させる。制御部30は、前方対象検出部40からの検出情報に基づき、前方対象Fの位置を、例えば、二次元(直交座標や極座標)データとして算出する。なお、制御部30は、記憶部32のROMに予め記憶された3D画像データを用い、3D表示が可能であってもよい。この場合、前方対象Fの位置を、三次元データとして算出してもよい。車両用表示システム100の構成は以上である。
(表示制御処理)
続いて、前方対象Fの存在を報知する報知画像Wを表示するとともに、前方対象検出部40の検出精度が低下したと見做せる異常状態である場合には、異常状態が発生していることを示す指示画像Cを表示する表示制御処理について図3を参照して説明する。表示制御処理は、制御部30によって実行され、例えば、車両1のイグニッションがオンされた状態において継続して実行される。
表示制御処理を開始すると、まず、制御部30は、前方対象検出部40から所定の取得周期で検出情報を取得する(ステップS1)。
続いて、制御部30は、予め定めた所定期間内に取得した検出情報に基づき、前方対象Fの位置を正常に特定することができない状態である異常状態が発生しているか否かを判別する(ステップS2)。後述の手法で特定される異常状態が発生していない(ステップS2;No)、つまり正常状態である場合、制御部30は、ステップS1で取得した検出情報に基づき前方対象Fの位置を特定し、図5に示すように、実景における前方対象Fに対する所望の位置に報知画像Wを重畳表示させる(ステップS3)。図5は、前方対象Fが歩行者である例を示している。なお、報知画像Wは、前方対象Fの存在を報知することができれば、その表示態様は任意であり、実景における前方対象Fに重畳していても、重畳していなくともよい。また、報知画像Wは、後述の指示画像Cと形態が異なっていればよい。また、制御部30は、検出された前方対象Fが複数ある場合は、複数の前方対象Fの各々に対応して報知画像Wを表示する。
ここで、異常状態の特定手法について説明する。図4(a)~(c)は、一つの前方対象Fについて、所定の取得周期(例えばフレームレート)毎に取得される検出情報Pの時系列を模式的に表したものであり、図4(a)は正常状態を、図4(b)及び(c)は異常状態を示している。なお、検出情報Pが示す前方対象Fの位置は、例えば、二次元又は三次元の座標データで表すことができるが、図中では模式的に一次元で示している。制御部30は、前記の取得周期よりも長い期間として予め定められた所定期間A(例えば、数秒の期間)内において、正常に検出情報Pを取得することができた回数が所定回数以下である場合に、異常状態が発生していると特定する。制御部30が正常に検出情報Pを取得することができない場合とは、図4(b)に示すように、取得周期のタイミングにおいて検出情報P自体を取得することができなかった場合(検出情報Pの取りこぼしがあった場合)、又は検出情報Pの信号強度が所定の強度よりも小さかった場合や、図4(c)に示すように、検出情報Pは取得したが、取得した検出情報Pがエラー値を示す場合である。エラー値を示す場合とは、検出情報Pを構成するデータの一部が欠損している場合や、現在取得した検出情報Pが示す位置が前回以前に取得した検出情報Pが示す位置に対して予め定めた閾値を超えていた場合などである。
異常状態が発生している場合(ステップS2;Yes)、制御部30は、異常状態が発生する異常領域を推定するとともに、発生した異常状態の程度を特定する(ステップS4)。例えば、制御部30は、異常状態が発生する直前に取得した、複数の検出情報Pが示す位置の差分に基づいて、前方対象Fの推定移動量を算出し、算出した推定移動量と異常状態が発生している期間とに基づき異常領域を推定する。併せて、制御部30は、推定した異常領域を示す指示画像Cの虚像Vの表示領域内における表示位置を決定する。当該表示位置は、異常状態が発生する直前に取得した検出情報Pが示す位置に応じた位置であればよい。なお、制御部30は、異常領域として、単に、予め記憶部32に記憶しておいた大きさの領域を用いてもよい。また、制御部30は、異常状態の程度を、異常状態が発生している期間における、正常に検出情報Pを取得することができた回数に応じて特定する。当該期間において、正常に検出情報Pを取得することができた回数が少なければ少ないほど、異常状態の程度が高いと言える。例えば、制御部30は、記憶部32に予め記憶された、正常に検出情報Pを取得することができた回数と異常状態の程度(レベル)とが対応して構成されるテーブルデータを参照し、異常状態の程度を特定する。なお、制御部30は、正常に検出情報Pを取得することができた回数に応じて異常状態の程度を算出可能な数式データを用いて、異常状態の程度を算出してもよい。
続いて、制御部30は、異常状態が発生している前方対象Fが複数あるか否か判別し(ステップS5)、当該前方対象Fが複数ない場合(ステップS5;No)、異常状態の発生対象である一つの前方対象Fについて、図6(a)に示すように、ステップ4で推定した異常領域を示す指示画像Cを表示する(ステップS6)。図6(a)は、図5に例示する歩行者としての前方対象Fが、建物7の裏側に隠れてしまった例を示している。なお、所定の前方対象Fを報知する報知画像Wの表示中に、当該所定の前方対象Fについての異常状態が発生した場合は、表示されていた報知画像Wに代えて(報知画像Wを消去して)、指示画像Cを表示することが好ましい。
指示画像Cは、報知画像Wよりも視認性が低い態様で表示される。視認性が低い態様とは、例えば、(ア)報知画像Wよりも輝度、明度、彩度が低い態様や、(イ)暖色で表示される報知画像Wに対して指示画像Cのほうが寒色で表示される態様や、(ウ)報知画像Wよりも透明度が高い態様や、(エ)報知画像Wに含まれていた所定画像(アイコン画像やテキスト画像)が、指示画像Cでは無くなる態様などである。また、指示画像Cは、報知画像Wと異なる形態の画像であれば任意であり、例えば、枠状の画像、塗りつぶし状の画像、エクスクラメーションマークや矢印などを示すアイコン画像、テキスト画像などである。なお、報知画像Wよりも視認性が低い他の態様として、指示画像Cを全く表示しなくともよい。
また、制御部30は、異常状態が発生する直前に取得した、複数の検出情報Pが示す位置の差分に基づいて、前方対象Fの移動方向あるいは移動方向及び移動量を推定し、指示画像Cを表示する際に、図6(b)に示すように、推定した前方対象Fの移動方向あるいは移動方向及び移動量に応じて指示画像Cを拡大したり変形させたりしてもよい。なお、制御部30は、異常領域を示す画像と、推定した前方対象Fの移動方向あるいは移動方向及び移動量を示す画像(例えば矢印状の画像)とから構成される指示画像Cを表示してもよい。
異常状態が発生している前方対象Fが複数ある場合(ステップS5;Yes)、異常状態の発生対象である複数の前方対象Fの各々について、図7(a)に示すように、異常領域を示す指示画像Cを表示するとともに、異常の程度に応じて視認性を制御する(ステップS7)。
図7(a)は、自車1の前方に複数の前方物体Fとして、図示しない第1の前方物体F及び第2の前方物体Fがある場合、建物7の裏側に第1の前方物体Fが隠れ、建物8の裏側に第2の前方物体Fが隠れてしまった例を示している。この場合、制御部30は、指示画像Cとして、第1の前方物体Fについて第1の指示画像C1を表示し、第2の前方物体Fについて第2の指示画像C2を表示する。また、制御部30は、第1の指示画像C1と第2の指示画像C2とを、ステップS4で特定した異常状態の程度が高いものほど視認性を高く表示する。図7(a)は、第1の指示画像C1よりも第2の指示画像C2のほうが異常状態の程度が高く、第1の指示画像C1よりも第2の指示画像C2のほうが視認性が高い態様で表示されている例である。第1の指示画像C1よりも第2の指示画像C2のほうが視認性が高い態様とは、例えば、(カ)第2の指示画像C2のほうが輝度、明度、彩度が高い態様や、(キ)寒色で表示される第1の指示画像C1に対して第2の指示画像C2のほうが暖色で表示される態様や、(ク)第2の指示画像C2のほうが透明度が低い態様や、(ケ)第1の指示画像C1には含まれていない所定画像(アイコン画像やテキスト画像)が、第2の指示画像C2に含まれるでは無くなる態様などである。
なお、異常状態の発生対象である前方対象Fが3つ以上ある場合についても同様である。また、異常状態の発生対象である前方対象Fが複数ある場合も、複数の指示画像Cの各々を、前述のように推定された移動方向あるいは移動方向及び移動量を報知可能な態様で表示してもよい。
また、異常状態の発生対象である前方対象Fが1つである場合についても、異常状態の程度に応じて指示画像Cの視認性を制御してもよい。さらには、図7(b)に示すように、1つの前方対象Fに対応する1つの異常領域を示す指示画像C内において、異常状態の程度に応じて指示画像Cの視認性を制御してもよい。例えば、制御部30は、当該異常状態の程度を、異常状態が発生している期間を分割した期間毎に、正常に検出情報Pを取得することができた回数に応じて特定すればよい。図7(b)は、指示画像Cの表示領域のうち、左右両端部に比べて中央部の異常状態の程度が高いことを示している。
ステップS3、S6、S7の実行後、制御部30は、ステップS1で取得した検出情報に応じた前方対象Fが虚像Vの表示領域外にあるか否かを判別し(ステップS8)、前方対象Fが虚像Vの表示領域外にある場合(ステップS8;Yes)、表示していた報知画像W又は指示画像Cを消去する(ステップS9)。例えば、制御部30は、時系列で取得した複数の検出情報Pが示す位置の差分に基づいて、前方対象Fの移動方向あるいは移動方向及び移動量を推定し、前方対象Fが表示領域外にある(前方対象Fの一部が表示領域外にあることを含む)か否かを判別する。前方対象Fが虚像Vの表示領域外にない場合(ステップS8;No)、制御部30は、再びステップS1の処理から実行する。以上の表示制御処理は、例えばHUD装置10がオフされるまで継続して実行される。
(i)なお、以上の表示制御処理において、制御部30は、複数の前方対象Fについて異常状態を特定した場合、少なくとも、自車1からの距離が最も近い前方対象Fに関する指示画像Cを表示するようにしてもよい。例えば、制御部30は、3つの前方対象Fについて異常状態が特定した場合、自車1からの距離が最も近い前方対象Fに関する1つの指示画像Cだけを表示する、又は、自車1からの距離が最も遠い前方対象Fに関する1つの指示画像Cだけを表示しない、といった制御を行ってもよい。(ii)また、制御部30は、自車1の車速あるいは自車1に対する前方対象Fの相対速度が、所定速度以上の場合に報知画像W又は指示画像Cを表示し、当該所定速度未満の場合には報知画像W又は指示画像Cを表示しない、といった制御を行ってもよい。(iii)また、制御部30は、虚像Vの表示領域内に表示されているコンテンツ画像(報知画像Wや車両情報を示す画像V1を含む)の数が所定数以上の場合には、指示画像Cを表示しない制御を行ってもよい。(iv)また、制御部30は、視点検出部50からの視点情報に基づき、ユーザ4が報知画像W又は指示画像Cを視認していると特定した場合には、報知画像W又は指示画像Cを消去するようにしてもよい。
以上の(i)~(iv)の制御を追加することで、条件に応じて報知画像Wや指示画像Cを表示することができるとともに、情報過多によりユーザ4に煩雑さを与えることを抑制することができる。
なお、本発明は以上の実施形態、変形例、及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。
以上では、前方対象検出部40が自車1から前方対象Fをセンシングする構成例を説明したが、これに限られない。前方対象検出部40は、自車1の外部から前方対象Fの位置を特定するための検出情報を受信し、受信した検出情報を制御部30に供給する構成であってもよい。当該構成の前方対象検出部40は、車両1とワイヤレスネットワークとの通信(V2N:Vehicle To cellular Network)、車両1と他車両との通信(V2V:Vehicle To Vehicle)、車両1と歩行者との通信(V2P:Vehicle To Pedestrian)、車両1と路側のインフラとの通信(V2I:Vehicle To roadside Infrastructure)を可能とする各種モジュールから構成すればよい。例えば、(i)前方対象検出部40は、WAN(Wide Area Network)に直接アクセスできる通信モジュール、WANにアクセス可能な外部装置(モバイルルータなど)や公衆無線LAN(Local Area Network)のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行ってもよいし、人工衛星などから受信したGPS(Global Positioning System)信号に基づいて車両1の位置を算出するGPSコントローラを備えていてもよい。これらの構成により、V2Nによる通信が可能である。(ii)また、前方対象検出部40は、所定の無線通信規格に準拠した無線通信モジュールを備え、V2VやV2Pによる通信を行ってもよい。(iii)また、前方対象検出部40は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム(DSSS:Driving Safety Support Systems)の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、車両1の前方情報を取得してもよい。これによりV2Iによる通信が可能となる。
つまり、前方対象検出部40は、車両1と車両1の外部との間でV2X(Vehicle To Everything)による通信を可能とする構成であってもよい。そして、前方対象検出部40が、前記の撮像装置やセンサ群、V2Xによる通信を可能とする各種モジュールのうち、複数の装置の組み合わせから構成され、当該複数の装置の各々から検出情報を制御部30に供給する構成としてもよい。当該構成を採用した場合、制御部30は、当該複数の装置から取得可能な複数種類の検出情報のうち、一部が取得できなかった場合に、異常状態が発生していると特定してもよい。なお、検出情報の種別は、前方対象Fの位置を特定するために用いられる情報であれば、任意である。
以上では、所定の前方対象Fに係る検出情報に基づき、当該所定の前方対象Fの位置検出に関する異常が発生していることを特定した例を説明したが、これに限られない。例えば、制御部30は、前方対象検出部40から取得した、歩行者や先行車などの前方対象Fの位置を特定するための検出情報と、前方対象検出部40から取得した、オクルージョン要因となる建物7、8などの位置や大きさを特定するための検出情報とに基づき、異常状態の発生、異常領域の推定、異常程度の特定を行ってもよい。また、実際にオクルージョン要因となる建物7、8が存在しているか否かにかかわらず、上記の表示制御処理で異常状態の発生が特定できた場合は、指示画像Cを表示してもよいことは言うまでもない。
また、前方対象Fは、歩行者や先行車などの実在する物体に限られず、車両1の前方で特定される情報であってもよい。例えば、前方対象Fは、ユーザ4がカーナビゲーション装置などで予め設定した目的地や施設などのPOI(Point of Interest)であってもよいし、道路上における所定箇所の道路情報であってもよい。そして、異常状態が発生した場合は、POIや道路情報を報知するための報知画像Wに代えて、異常状態が発生していることを示す指示画像Cを表示するようにしてもよい。なお、ここで言う道路情報とは、案内標識、警戒標識、規制標識、指示標識などの各種の道路標識が示す情報に準じた情報であればよい。
以上では、指示画像Cが異常領域を示す画像である例を示したが、これに限られない。例えば、指示画像Cは、異常領域を示すものでなく、単に異常が発生していることを示すアイコン画像やテキスト画像であってもよい。
表示光Lの投射対象は、フロントガラス3に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。また、以上の表示制御処理を実行する表示装置としては、HUD装置10に限られない。表示装置は、車両1のユーザ4の頭部に装着されるヘッドマウントディスプレイ(HMD:Head Mounted Display)として構成されてもよい。そして、HMDが虚像として表示する画像において、報知画像Wや指示画像Cの表示制御を、前述と同様な手法で実行してもよい。つまり、表示装置は、車両1に搭載されているものに限られず、車両1で使用されるものであればよい。
以上に説明したHUD装置10(表示装置の一例)は、車両1の前方風景と重なる虚像Vとしてユーザ4(視認者の一例)に視認される重畳画像を表示する。HUD装置10は、取得手段、特定手段及び表示制御手段として機能する制御部30を備える。取得手段は、車両1の前方対象Fの位置を特定するための検出情報を前方対象検出部40(検出手段の一例)から取得する。特定手段は、取得手段が所定期間A内に取得した検出情報に基づき、前方対象Fの位置を正常に特定することができない状態である異常状態を特定する。表示制御手段は、重畳画像の表示領域内に表示される画像の制御を行い、取得手段が取得した検出情報に基づいて前方対象Fの位置を特定し、当該前方対象Fの存在を報知する報知画像Wを表示可能である。表示制御手段は、特定手段によって異常状態が特定された場合、報知画像Wよりも視認性が低い態様で、異常状態が発生していることを示す指示画像Cを表示する。
このように指示画像Cを表示することで、ユーザ4はセンシング精度が低下していることを認識することができる。つまり、正常に前方対象Fが検知できていない場合に、正常に前方対象Fが検知されているとの誤解をユーザ4に与えてしまうことを防止することができる。
以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。
100…車両用表示システム
10…HUD装置
20…表示部
30…制御部
40…前方対象検出部
50…視点検出部
60…ECU
1…車両、2…ダッシュボード、3…フロントガラス
4…ユーザ、5…アイボックス、6…バス
7,8…建物
F…前方対象
L…表示光
V…虚像
V1…車両情報を示す画像
W…報知画像
C…指示画像(C1…第1の指示画像、C2…第2の指示画像)

Claims (6)

  1. 車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
    前記車両の前方対象の位置を特定するための検出情報を検出手段から取得する取得手段と、
    前記取得手段が所定期間内に取得した前記検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定する特定手段と、
    前記重畳画像の表示領域内に表示される画像の制御を行い、前記取得手段が取得した前記検出情報に基づいて前方対象の位置を特定し、当該前方対象の存在を報知する報知画像を表示可能な表示制御手段と、を備え、
    前記表示制御手段は、前記特定手段によって前記異常状態が特定された場合、前記報知画像よりも視認性が低い態様で、前記異常状態が発生していることを示す指示画像を表示
    複数の前方対象について前記異常状態が特定された場合、少なくとも、前記車両からの距離が最も近い前方対象に関する前記指示画像を表示する、
    表示装置。
  2. 車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
    前記車両の前方対象の位置を特定するための検出情報を検出手段から取得する取得手段と、
    前記取得手段が所定期間内に取得した前記検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定し、前記取得手段が所定期間内に取得した前記検出情報に基づき、前記異常状態の程度を特定する特定手段と、
    前記重畳画像の表示領域内に表示される画像の制御を行い、前記取得手段が取得した前記検出情報に基づいて前方対象の位置を特定し、当該前方対象の存在を報知する報知画像を表示可能な表示制御手段と、を備え、
    前記表示制御手段は、前記特定手段によって前記異常状態が特定された場合、前記報知画像よりも視認性が低い態様で、前記異常状態が発生していることを示す指示画像を表示し、
    複数の前方対象について前記異常状態が特定された場合、前記異常状態の程度が高いものを示す前記指示画像ほど視認性を高く表示する、
    表示装置。
  3. 車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
    前記車両の前方対象の位置を特定するための検出情報を検出手段から取得する取得手段と、
    前記取得手段が所定期間内に取得した前記検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定し、前記取得手段が所定期間内に取得した前記検出情報に基づき、前記異常状態が発生する異常領域を推定する特定手段と、
    前記重畳画像の表示領域内に表示される画像の制御を行い、前記取得手段が取得した前記検出情報に基づいて前方対象の位置を特定し、当該前方対象の存在を報知する報知画像を表示可能な表示制御手段と、を備え、
    前記表示制御手段は、前記特定手段によって前記異常状態が特定された場合、前記報知画像よりも視認性が低い態様で、前記異常状態が発生していることを示す指示画像を表示し、
    前記指示画像として前記異常領域を示す画像を表示する、
    表示装置。
  4. 前記特定手段は、前記取得手段が所定期間内に取得した前記検出情報に基づき、前記異常領域における前方対象の移動方向を推定し、
    前記表示制御手段は、前記特定手段によって推定された移動方向を報知可能な態様で前記指示画像を表示する、
    請求項に記載の表示装置。
  5. 車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
    前記車両の前方対象の位置を特定するための検出情報を検出手段から取得する取得手段と、
    前記取得手段が所定期間内に取得した前記検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定する特定手段と、
    前記重畳画像の表示領域内に表示される画像の制御を行い、前記取得手段が取得した前記検出情報に基づいて前方対象の位置を特定し、当該前方対象の存在を報知する報知画像を表示可能な表示制御手段と、を備え、
    前記表示制御手段は、前記特定手段によって前記異常状態が特定された場合、前記報知画像よりも視認性が低い態様で、前記異常状態が発生していることを示す指示画像を表示し、
    前記指示画像は、前記報知画像と異なる形態で表示される、
    表示装置。
  6. 前記特定手段は、所定期間内において、前記取得手段が前記検出情報を正常に取得した回数が所定回数以下である場合に、前記異常状態が生じていると特定する、
    請求項1乃至のいずれか1項に記載の表示装置。
JP2020557724A 2018-11-28 2019-11-26 表示装置 Active JP7435465B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018222882 2018-11-28
JP2018222882 2018-11-28
PCT/JP2019/046082 WO2020111036A1 (ja) 2018-11-28 2019-11-26 表示装置

Publications (2)

Publication Number Publication Date
JPWO2020111036A1 JPWO2020111036A1 (ja) 2021-11-04
JP7435465B2 true JP7435465B2 (ja) 2024-02-21

Family

ID=70853926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557724A Active JP7435465B2 (ja) 2018-11-28 2019-11-26 表示装置

Country Status (2)

Country Link
JP (1) JP7435465B2 (ja)
WO (1) WO2020111036A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7388329B2 (ja) 2020-10-08 2023-11-29 トヨタ自動車株式会社 車両表示システム及び車両表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004330972A (ja) 2003-05-09 2004-11-25 Honda Motor Co Ltd 車両の走行安全装置
JP2005106651A (ja) 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004330972A (ja) 2003-05-09 2004-11-25 Honda Motor Co Ltd 車両の走行安全装置
JP2005106651A (ja) 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置

Also Published As

Publication number Publication date
JPWO2020111036A1 (ja) 2021-11-04
WO2020111036A1 (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
JP6303428B2 (ja) 車両情報投影システム
US9818206B2 (en) Display device
US20200012097A1 (en) Head-up display device, display control method, and control program
US20210016793A1 (en) Control apparatus, display apparatus, movable body, and image display method
EP3540712A1 (en) Information processing device, information processing method, program, and moving body
WO2015163205A1 (ja) 車両用表示システム
CN109968977B (zh) 显示系统
JP2019202589A (ja) 表示装置
US20220058998A1 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
JP2016112984A (ja) 車両用虚像表示システム、ヘッドアップディスプレイ
WO2019189515A1 (en) Control apparatus, display apparatus, movable body, and image display method
WO2020189238A1 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP7435465B2 (ja) 表示装置
US20210323403A1 (en) Image control apparatus, display apparatus, movable body, and image control method
JP7459883B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
JP2019206262A (ja) 表示装置
JP2020047153A (ja) 表示装置
WO2020246114A1 (ja) 表示制御装置および表示制御プログラム
WO2020040276A1 (ja) 表示装置
JP2019207632A (ja) 表示装置
JP7338632B2 (ja) 表示装置
JP6610376B2 (ja) 表示装置
JP2021037916A (ja) 表示制御装置及び表示制御プログラム
JP7434894B2 (ja) 車両用表示装置
JP2019121140A (ja) 表示制御装置、ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R150 Certificate of patent or registration of utility model

Ref document number: 7435465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150