JP6402684B2 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP6402684B2
JP6402684B2 JP2015117740A JP2015117740A JP6402684B2 JP 6402684 B2 JP6402684 B2 JP 6402684B2 JP 2015117740 A JP2015117740 A JP 2015117740A JP 2015117740 A JP2015117740 A JP 2015117740A JP 6402684 B2 JP6402684 B2 JP 6402684B2
Authority
JP
Japan
Prior art keywords
display
host vehicle
distance
threshold
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015117740A
Other languages
English (en)
Other versions
JP2017004265A (ja
Inventor
英嗣 坂口
英嗣 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015117740A priority Critical patent/JP6402684B2/ja
Priority to US15/176,451 priority patent/US10262629B2/en
Publication of JP2017004265A publication Critical patent/JP2017004265A/ja
Application granted granted Critical
Publication of JP6402684B2 publication Critical patent/JP6402684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/23
    • B60K35/60
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30Control of display attribute
    • B60K2360/785
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Description

本発明は、車両のフロントガラスに表示を投影する表示装置に関する。
従来、先行車等の対象物に関する情報を車両のフロントガラスに投影する表示装置に関する技術文献として、下記の特許文献1が知られている。特許文献1には、対象物の情報を自車両のフロントガラスに投影して表示するHUD[Head Up Display]を備えた装置が記載されている。
米国特許出願公開2010/0253539号明細書
例えば、フロントガラス上に対象物の情報が表示されていたとしても、自車両が駐車場で駐車しようとしている場合等、運転者が対象物を直接的に視認したい場合がある。このような場合、フロントガラス上の対象物の情報の表示が運転者による対象物の視認を妨げることがあった。
このため、本技術分野では、フロントガラス上の対象物に関する情報の表示によって運転者による対象物の視認が妨げられることを抑制することができる表示装置を提供することが望まれている。
本発明の一態様に係る表示装置は、自車両の前方に位置する対象物を検出する対象物検出部と、自車両と対象物との距離を検出する距離検出部と、対象物に関する情報の表示を自車両のフロントガラスに投影する表示部と、表示部を制御する表示制御部と、自車両の位置情報を取得する位置情報取得部と、駐車エリア情報を含む地図情報を記憶した地図情報記憶部と、自車両の位置情報と地図情報に基づいて、自車両が駐車エリアに位置するか否かを判定する駐車エリア判定部と、を備え、表示制御部は、駐車エリア判定部により自車両が駐車エリアに位置すると判定された場合であって、自車両と対象物との距離が第1の閾値未満であるときに、自車両と対象物との距離が第1の閾値以上であるときと比べて、表示の輝度又は表示の表示領域を小さくし、自車両と対象物との距離が第1の閾値より小さい第2の閾値未満であるときに表示を停止する、或いは、駐車エリア判定部により自車両が駐車エリアに位置すると判定された場合に、自車両と対象物との距離が小さいほど表示の輝度又は表示の表示領域を小さくし、駐車エリア判定部により自車両が駐車エリアに位置すると判定された場合に、自車両と対象物との距離が第3の閾値未満であるときに表示を停止する。
本発明の一態様に係る表示装置では、駐車エリアでは道路上と比べて運転者が車両周囲の状況を十分に確認する必要があることから、フロントガラス上の対象物の情報の表示が運転者の確認の妨げとなることを避けるため、駐車エリア内で自車両と対象物との距離が小さくなると、フロントガラス上の対象物に関する情報の表示の輝度又は表示領域を小さくする。また、この表示装置では、駐車エリア内で自車両と対象物との距離が第2の閾値又は第3の閾値未満になると、対象物に関する情報の表示を停止する。従って、この表示装置によれば、駐車エリア内において自車両と対象物との距離が小さくなり運転者が対象物を直接的に視認する際に、フロントガラス上の表示が運転者の視界を遮ることが少なくなり、表示によって運転者による対象物の視認が妨げられることを抑制することができる。
上述した本発明の一態様に係る表示装置において、自車両の周囲が昼であるか夜であるかを判定する昼夜判定部と、昼夜判定部により自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて、第1の閾値及び第2の閾値の少なくとも一方を大きな値に変更する、或いは、昼夜判定部により自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて、第3の閾値を大きな値に設定する閾値設定部と、を更に備えてもよい。
この表示装置によれば、昼よりも夜の方がフロントガラス上の表示が運転者の注意を奪って運転者による対象物の視認を妨げる場合が多いことから、夜であると判定された場合に、昼であると判定された場合と比べて第1の閾値を大きな値に設定することで、第1の閾値を用いたときの表示の輝度の低下又は表示領域の縮小を早期に行うことができる。或いは、この表示装置によれば、夜であると判定された場合に、昼であると判定された場合と比べて第2の閾値又は第3の閾値を大きな値に設定することで、自車両と対象物との距離に基づく表示の停止を早期に行うことができる。従って、この表示装置によれば、フロントガラス上の対象物の情報の表示が運転者による対象物の視認を妨げることを昼夜の区別に応じて適切に抑制することができる。
或いは、上述した本発明の一態様に係る表示装置において、自車両の周囲が昼であるか夜であるかを判定する昼夜判定部を更に備え、表示制御部は、昼夜判定部により自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて表示の輝度又は表示の表示領域を小さくしてもよい。
この表示装置によれば、昼よりも夜の方が、フロントガラス上の表示が運転者の注意を奪って運転者による対象物の視認を妨げる場合が多いことから、昼夜判定部により自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて表示の輝度又は表示の表示領域を小さくする。これにより、この表示装置によれば、フロントガラス上の対象物の情報の表示が運転者による対象物の視認を妨げることを昼夜の区別に応じて適切に抑制することができる。
以上説明したように、本発明の一態様に係る表示装置によれば、フロントガラス上の対象物に関する情報の表示によって運転者による対象物の視認が妨げられることを抑制することができる。
第1の実施形態に係る表示装置を示すブロック図である。 フロントガラス上の対象物情報の表示を説明するための図である。 (a)通常時の対象物情報の表示を示す図である。(b)輝度を小さくした場合の対象物情報の表示を示す図である。(c)表示領域を小さくした場合の対象物情報の表示を示す図である。 対象物情報の表示制御を示すフローチャートである。 対象物情報の表示変更制御を示すフローチャートである。 対象物情報の再表示制御を示すフローチャートである。 対象物情報の表示以外の表示の例を示す図である。 第2の実施形態に係る表示装置を示すブロック図である。 自車両と対象物との距離に応じて段階的に表示の輝度が変化する場合の第1の閾値及び第2の閾値の変化を説明するためのグラフである。 自車両と対象物との距離に応じて連続的に表示の輝度が変化する場合の第3の閾値の変化を説明するためのグラフである。 自車両と対象物との距離に応じて段階的に表示の輝度が変化する場合における昼夜の輝度変化を説明するためのグラフである。 自車両と対象物との距離に応じて連続的に表示の輝度が変化する場合における昼夜の輝度変化を説明するためのグラフである。 第2の実施形態に係る表示装置の閾値変更制御を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
[第1の実施形態]
図1に示す第1の実施形態に係る表示装置1は、例えば乗用車等の車両(以下、自車両と呼ぶ)に搭載され、自車両のフロントガラスに各種情報の表示を投影する装置である。各種情報には、少なくとも対象物に関する情報である対象物情報が含まれる。対象物とは例えば先行車である。先行車とは、自車両の走行する車線内で自車両の前方を走行する他車両を意味する。対象物には、自車両の前方に位置する歩行者、自転車、他車両、壁等の構造物が含まれていてもよい。対象物情報には、例えば、対象物の存在を示す情報が含まれる。対象物情報には、自車両が対象物に対する制御(例えば先行車に対する自車両の追従制御)を行っていることの情報を含んでもよい。
本実施形態に係る自車両には、表示装置1に加えて、運転者による自車両の運転を支援する運転支援装置が搭載されている。表示装置1は、運転支援装置の一部を構成していてもよい。運転支援装置は、例えば、自車両の前方を撮像するカメラの撮像情報に基づいて、自車両の走行する車線を形成する二本の白線(車線境界線、車両通行帯境界線等)を認識する。また、運転支援装置は、例えば、自車両の周囲の障害物を検出するレーダーの検出情報に基づいて、先行車を検出する。運転支援装置は、例えば、レーダーの検出情報に基づいて、自車両と先行車との距離を認識する。
運転支援装置は、例えば、運転者の操作に基づいてACC[Adaptive Cruise Control]を実行する。ACCとは、例えば、自車両の前方に先行車が存在しない場合は予め設定された設定速度で自車両を定速走行させる定速制御を行い、自車両の前方に先行車が存在する場合には先行車との車間距離に応じて自車両の車速を調整する追従制御を行う制御である。また、運転支援装置は、運転者の操作に基づいてLTC[Lane Trace Control]を実行してもよい。LTCとは、走行車線から逸脱しないように自動で自車両の操舵を行う制御である。LTCでは、例えば、運転者がステアリング操作をしない場合であっても、走行車線に沿って自動で自車両の操舵が行なわれる。運転支援装置は、LTCの実行中であっても、車両が走行車線を逸脱しない範囲(許容範囲)において運転者のステアリング操作を車両の操舵に反映してもよい。また、運転支援装置は、自車両のカーブ進入前に減速して速度調整を行うカーブ減速制御を実行してもよい。運転支援装置は、運転支援として周知の各種制御を行うことができる。なお、自車両は、必ずしも運転支援装置を搭載している必要はない。
ここで、図2は、フロントガラス上の対象物情報の表示を説明するための図である。図2に示すように、表示装置1は、例えば、フロントガラスWのうち、運転席の正面(運転者の頭部の正面)で、フロントガラスWの下半分の範囲に対象物情報の表示を行う。図2では、白線の表示51、先行車(対象物)の表示52、先行車に対する追従制御の表示53がフロントガラスW上に投影されている。
白線の表示51は、例えば、カメラによる白線認識を示す表示である。白線の表示51は、例えば、自車両がACC又はLTCを実行している場合に表示される。先行車の表示52は、例えば、自車両に搭載されたレーダーにより検出された先行車を示す表示である。対象物情報の表示には、少なくとも先行車の表示52が含まれる。先行車の表示52は、例えば、レーダーにより先行車が検出された場合にフロントガラスW上に表示される。
先行車に対する追従制御の表示53は、例えば、自車両がACCにおける先行車への追従制御を実行中であることを示す矢印の表示である。先行車に対する追従制御の表示53は、自車両が追従制御中である場合に表示される。本実施形態では、先行車に対する追従制御の表示53も対象物情報の表示に含まれる。先行車に対する追従制御の表示53は必ずしも表示する必要はない。
なお、図2は一例であり、対象物情報の表示は図2に示す表示態様に限られない。また、フロントガラスW上の対象物情報の表示領域も図2に示す領域に限られず、フロントガラスW上の領域であればよい。
表示装置1は、自車両と対象物との距離に応じて対象物情報の表示態様を変化させる。表示装置1は、自車両と対象物との距離が小さくなると、対象物情報の表示の輝度又は表示領域を小さくする。輝度とは、表示の明るさである。一つの表示の中に輝度の異なる箇所がある場合には、輝度の平均値を表示の輝度としてもよい。表示領域とは、フロントガラスWにおいて表示が占める領域(面積)である。
表示装置1は、例えば、自車両と対象物との距離に応じて、段階的に対象物情報の表示の輝度又は表示領域を小さくする。具体的に、表示装置1は、自車両と対象物との距離が第1の閾値未満である場合、自車両と対象物との距離が第1の閾値以上である場合と比べて、対象物情報の表示の輝度又は表示領域を小さくする。第1の閾値は、例えば、運転者が対象物を視認する際にフロントガラスW上の表示が妨げとなることを避ける観点から、表示の輝度又は表示領域を小さくするために予め適切に設定された値である。第1の閾値は、固定値(例えば20m)であってもよく、状況に応じて変動する値であってもよい。
また、表示装置1は、自車両と対象物との距離に応じて、連続的に対象物情報の表示の輝度又は表示領域を小さくしてもよい。すなわち、表示装置1は、自車両と対象物との距離が小さいほど、対象物情報の表示の輝度又は表示領域を小さくしてもよい。
ここで、図3(a)は、通常時の対象物情報の表示を示す図である。図3(b)は、輝度を小さくした場合の対象物情報の表示を示す図である。図3(b)では、表示の輝度を小さくした状況を破線として示している。図3(c)は、表示領域を小さくした場合の表示を示す図である。本実施形態では、白線の表示51、先行車の表示52、及び先行車に対する追従制御の表示53を一体として、表示態様を変化させている。このように、対象物情報以外の表示についても、対象物情報の表示と同様に表示態様を変化させてもよい。
図3(c)は、白線の表示51、先行車の表示52、及び先行車に対する追従制御の表示53の表示領域が右下に向かって縮小する態様を示している。なお、図3(c)に示す態様は一例である。対象物情報の表示は、表示領域が右上、左下、左上に向かって縮小する態様であってもよく、表示領域が中央に向かって縮小する態様であってもよい。なお、表示の上下幅又は左右幅が狭くなることで表示領域が縮小する態様であってもよい。
また、表示装置1は、自車両と対象物との距離が第1の閾値未満である場合、自車両と対象物との距離が第1の閾値以上である場合と比べて、表示の輝度及び表示領域の両方を小さくしてもよい。同様に、表示装置1は、自車両と対象物との距離が小さいほど、表示の輝度及び表示領域の両方を小さくしてもよい。
表示装置1は、例えば、自車両と対象物との距離が大きくなると、小さくした対象物情報の表示の輝度及び表示領域を元の大きさに戻す。表示装置1は、例えば、自車両と対象物との距離が第1の閾値未満になって表示の輝度を小さくした後、自車両と対象物との距離が第1の閾値以上となったときに、表示の輝度を元の大きさに戻す。表示装置1は、例えば、自車両と対象物との距離が小さいほど表示の輝度を小さくする場合には、自車両と対象物との距離が大きいほど表示の輝度を大きくする。表示領域についても同様である。表示装置1は、元の大きさを超えて表示の輝度又は表示領域を大きくしない。
表示装置1は、自車両と対象物との距離が第2の閾値未満である場合、対象物情報の表示を停止する。すなわち、表示装置1は、自車両と対象物との距離が第2の閾値未満である場合、対象物を検出していても、フロントガラスWへの対象物情報の表示を行わない。第2の閾値は、例えば、運転者が対象物を視認する際にフロントガラスW上の表示が妨げとなることを避ける観点から、表示を停止するために予め適切に設定された値である。第2の閾値は、固定値(例えば10m)であってもよく、状況に応じて変動する値であってもよい。第2の閾値は、表示装置1が第1の閾値を用いる場合、第1の閾値より小さい値として設定される。また、表示装置1は、自車両と対象物との距離が第2の閾値未満となって対象物情報の表示を停止した後、自車両と対象物との距離が第2の閾値以上となった場合、対象物情報の再表示を行う。
また、表示装置1は、自車両と対象物との距離に応じて連続的に表示の輝度又は表示領域を変化させる場合(第1の閾値を用いない場合)、自車両と対象物との距離が第3の閾値未満になったときに対象物情報の表示を停止する。第3の閾値は、例えば、運転者が対象物を視認する際にフロントガラスW上の表示が妨げとなることを避ける観点から、表示を停止するために予め適切に設定された値である。第3の閾値は、固定値(例えば10m)であってもよく、状況に応じて変動する値であってもよい。第2の閾値と第3の閾値は、どちらか一方のみ設定すればよい。
表示装置1は、特定の条件下でのみ、上述した表示態様の変更及び表示の停止を行ってもよい。具体的に、表示装置1は、例えば、GPS[Global Positioning System]により検出した自車両の位置情報及び地図情報に基づいて、自車両が駐車エリアに位置するか否かを判定する。駐車エリアとは、例えば、地図上における自車両が駐車可能なエリアである。駐車エリアには、例えば、地図上における駐車場(高速道路のサービスエリア及びパーキングエリア、立体駐車場等)が含まれる。駐車エリアには、施設内の駐車区画、広場、空き地が含まれていてもよい。表示装置1は、例えば、駐車エリアの位置情報である駐車エリア情報を含む地図情報を記憶している。なお、表示装置1は、無線通信によって情報管理センター等の施設のコンピュータから駐車エリア情報を含む地図情報を取得してもよい。
表示装置1は、自車両が駐車エリアに位置すると判定した場合に、自車両と対象物との距離に応じた表示の輝度の低下又は表示領域の変更を行う。すなわち、表示装置1は、自車両が駐車エリアに位置しないと判定した場合には、自車両と対象物との距離に応じた表示の輝度の変更又は表示領域の変更を行わない。表示装置1は、例えば、自車両が駐車エリアに位置すると判定した場合であって、自車両と対象物との距離が第1の閾値未満であるとき、自車両と対象物との距離が第1の閾値以上であるときと比べて、対象物情報の表示の輝度又は表示領域を小さくする。表示装置1は、例えば、自車両が駐車エリアに位置すると判定した場合に、自車両と対象物との距離が小さいほど対象物情報の表示の輝度又は表示領域を小さくする。
また、表示装置1は、自車両が駐車エリアに位置すると判定した場合に、自車両と対象物との距離が第2の閾値又は第3の閾値未満であるとき、対象物情報の表示を停止する。すなわち、表示装置1は、自車両が駐車エリアに位置しないと判定した場合には、自車両と対象物との距離が第2の閾値又は第3の閾値未満であるときであっても、対象物情報の表示を停止しない。
〈第1の実施形態に係る表示装置の構成〉
以下、第1の実施形態に係る表示装置1の構成について図面を参照して説明する。図1に示すように、表示装置1は、装置を統括的に制御するECU[Electronic Control Unit]2を備えている。
ECU2は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等からなる電子制御ユニットである。ECU2は、外部センサ3、内部センサ4、通信部5、ナビゲーションシステム6、及び表示部7と接続されている。
外部センサ3は、自車両の周辺情報である外部状況を検出する検出機器である。外部センサ3は、車載カメラ、レーダー[Radar]、及びライダー[LIDAR:LaserImaging Detection and Ranging]のうち少なくとも一つを含む。
車載カメラは、例えば、自車両のフロントガラスWの裏側に設けられている。車載カメラは、自車両の外部状況に関する撮像情報をECU2へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。ステレオカメラの撮像情報には、奥行き方向の情報(距離情報)も含まれている。
レーダーは、電波(例えばミリ波)を利用して自車両の外部の障害物を検出する。レーダーは、電波を自車両の周囲に送信し、障害物(他車両、歩行者、自転車、構造物等)で反射された電波を受信することで障害物を検出する。障害物とは、レーダー又はライダーの検出対象を意味する。障害物は、本実施形態における対象物と必ずしも一致しない。レーダーは、検出した障害物情報をECU2へ送信する。
ライダーは、光を利用して自車両の外部の障害物を検出する。ライダーは、光を自車両の周囲に送信し、障害物で反射された光を受信することで反射点までの距離を計測し、障害物を検出する。ライダーは、検出した障害物情報をECU2へ送信する。カメラ、ライダー及びレーダーは、必ずしも重複して備える必要はない。
内部センサ4は、自車両の走行状態を検出する検出機器である。内部センサ4は、車速センサを含む。車速センサは、自車両の速度を検出する検出器である。車速センサとしては、例えば、自車両の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報をECU2に送信する。内部センサ4は、加速度センサ及びヨーレートセンサを含んでもよい。また、内部センサ4は、運転者がステアリングホイールから手を放した手放し状態を検出する操舵タッチセンサを含んでいてもよい。
通信部5は、自車両と情報管理センター等の施設のコンピュータとの無線通信を行う。通信部5は、自車両と他車両の車々間通信が可能であってもよい。また、通信部5は、道路に対して設けられた路側送受信機(例えば光ビーコン)と自車両の路車間通信を行ってもよい。通信部5は、無線通信により取得した情報をECU2へ送信する。なお、自車両は、必ずしも通信部5を備えている必要はない。
ナビゲーションシステム6は、自車両の運転者によって設定された目的地まで、自車両の運転者に対して案内を行う装置である。ナビゲーションシステム6は、例えば、GPS受信部8及び地図情報記憶部9を有している。GPS受信部8は、3個以上のGPS衛星から信号を受信することにより、自車両の位置(例えば車両の緯度及び経度)を測定する。地図情報記憶部9は、地図情報を記憶したデータベースである。地図情報記憶部9は、例えば、自車両に搭載されたHDD[Hard disk drive]内に形成されている。地図情報記憶部9は、駐車エリア情報を含む地図情報を記憶している。
ナビゲーションシステム6は、例えば、GPS受信部8の測定した自車両の位置情報と地図情報記憶部9の地図情報とに基づいて、自車両の現在の位置から目的地に至るまでの目標ルートを演算する。ナビゲーションシステム6は、自車両の位置情報、地図情報、及び目標ルートに関するナビ情報をECU2へ送信する。なお、自車両は、必ずしもナビゲーションシステム6を備えている必要はない。
表示部7は、自車両に搭載され、各種情報の表示をフロントガラスWに投影するHUD[Head Up Display]である。表示部7は、HUDとして周知の構成を採用することができる。表示部7は、光を照射してフロントガラスW上に虚像を形成(投影)することにより、運転者の視野内に各種情報を表示する。表示部7は、ECU2からの制御信号に基づいてフロントガラスWに情報を表示する。また、表示部7は、ECU2からの制御信号に基づいて、表示の輝度を変更可能に構成されている。更に、表示部7は、ECU2からの制御信号に基づいて、フロントガラスW上の表示領域の大きさを変更可能に構成されている。表示部7は、例えば、自車両のダッシュボード内に埋め込まれた埋め込み式のHUDであってもよい。
次に、ECU2の機能的構成について説明する。なお、ECU2の機能の一部は、自車両と通信可能な情報管理センター等の施設のコンピュータで実行されてもよく、自車両と通信可能な携帯情報端末で実行されてもよい。ECU2は、対象物検出部10、距離検出部11、位置情報取得部12、駐車エリア判定部13、エリア学習部14、及び表示制御部15を有している。
対象物検出部10は、外部センサ3の検出結果に基づいて、自車両の前方に位置する対象物を検出する。対象物検出部10は、例えば、車載カメラの撮像情報に基づいて、周知の画像処理手法により先行車等の対象物を検出する。対象物検出部10は、レーダーの障害物情報に基づいて、周知の手法により対象物を検出してもよい。
距離検出部11は、対象物検出部10が対象物を検出した場合、外部センサ3の検出結果に基づいて自車両と対象物との距離を検出する。距離検出部11は、例えば、レーダーの障害物情報に基づいて、自車両と対象物との距離を検出する。距離検出部11は、車載カメラがステレオカメラである場合、ステレオカメラの撮像した視差画像に基づいて、自車両と対象物との距離を検出してもよい。
位置情報取得部12は、ナビゲーションシステム6のGPS受信部8の測定結果に基づいて、自車両の位置情報を取得する。位置情報取得部12は、通信部5による無線通信(例えば路側送受信機との路車間通信)により、自車両の位置情報を取得してもよい。位置情報取得部12は、GPS受信部8の測定結果に加えて、周知の手法により内部センサ4の検出結果を利用することで自車両の位置情報の精度を向上させてもよい。なお、ECU2は、必ずしも位置情報取得部12を有する必要はない。
駐車エリア判定部13は、例えば、ナビゲーションシステム6の地図情報記憶部9の地図情報と、位置情報取得部12の取得した自車両の位置情報に基づいて、自車両が駐車エリアに位置するか否かを判定する。また、駐車エリア判定部13は、通信部5を介して自車両の位置情報を情報管理センターに送り、情報管理センターから取得した判定情報に基づいて自車両が駐車エリアに位置するか否かの判定を行ってもよい。情報管理センターには、情報管理センターと通信可能な他車両から送信される各種情報が蓄積されている。情報管理センターでは、例えば、他車両からの情報に基づいて地図情報に新たな駐車エリアが設定される。
駐車エリア判定部13は、例えば、ナビゲーションシステム6の地図情報記憶部9の地図情報に基づく上記判定と情報管理センターの判定情報に基づく上記判定の結果が異なる場合、ナビゲーションシステム6の地図情報に基づく判定の結果を優先する。また、駐車エリア判定部13は、例えば、後述するエリア学習部14により自車両が学習した駐車エリアに基づいて自車両が駐車エリアに位置すると判定した場合、ナビゲーションシステム6の地図情報及び情報管理センターの判定情報に基づく判定結果が逆であっても、学習した駐車エリアに基づく判定の結果を優先する。なお、ECU2は、必ずしも駐車エリア判定部13を有する必要はない。
エリア学習部14は、予め設定された条件下で地図情報記憶部9の地図情報に駐車エリアを追加する。エリア学習部14は、例えば、自車両の位置情報及び地図情報に基づいて、自車両が道路上に位置するか否かを判定する。エリア学習部14は、自車両が道路上に位置すると判定した場合には、駐車エリアの学習を行わない。エリア学習部14は、自車両が道路上に位置しないと判定した場合、自車両の車速が学習車速閾値以下であり且つ自車両と対象物との距離が学習距離閾値以下であるか否かを判定する。学習車速閾値及び学習距離閾値は、駐車エリアとして学習すべきエリアか否かを判定するための閾値である。学習車速閾値及び学習距離閾値は、固定値であってもよく、変動する値であってもよい。学習車速閾値は、例えば10km/hとすることができる。学習距離閾値は、例えば、10mとすることができる。
エリア学習部14は、自車両が道路上に位置しないと判定した場合であって、自車両の車速が学習車速閾値以下であり且つ自車両と対象物との距離が学習距離閾値以下であると判定したとき、当該判定を行った自車両の位置を含むエリアを駐車エリアとして学習する。エリア学習部14は、例えば、判定を行った自車両の位置を中心とした半径50mの円内のエリアを駐車エリアとして学習する。エリア学習部14は、地図情報を参照して、判定を行った自車両の位置が広場である場合、当該広場を駐車エリアとして学習してもよい。なお、ECU2は、必ずしもエリア学習部14を有する必要はない。
表示制御部15は、表示部7を制御する。表示制御部15は、外部センサ3、内部センサ4、通信部5、ナビゲーションシステム6、対象物検出部10、距離検出部11、位置情報取得部12、駐車エリア判定部13、及び運転支援装置のうち少なくとも一つから得られた情報に基づいて、周知の手法により情報の表示内容を決定する。表示制御部15は、例えば、得られた情報に基づいて、予め記憶された表示パターンから表示内容を決定する。表示制御部15は、例えば、対象物検出部10が対象物を検出した場合、表示部7に制御信号を送信することで対象物情報をフロントガラスW上に表示させる。対象物情報の表示内容は、例えば、図2に示す先行車の表示52及び先行車に対する追従制御の表示53である。表示制御部15は、対象物検出部10が対象物を検出しなくなった場合、表示部7に制御信号を送信して対象物情報の表示を停止する。
表示制御部15は、表示部7を介してフロントガラスW上の情報の表示態様を変更する。表示制御部15は、例えば、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合、距離検出部11の検出結果に基づいて自車両と対象物との距離が第1の閾値未満であるか否かを判定する。表示制御部15は、自車両と対象物との距離が第1の閾値未満であると判定した場合、自車両と対象物との距離が第1の閾値以上であると判定した場合と比べて、対象物情報の表示の輝度又は表示領域を小さくする(図3(b)及び図3(c)参照)。表示制御部15は、対象物情報の表示の輝度及び表示領域の両方を小さくしてもよい。
或いは、表示制御部15は、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合、自車両と対象物との距離が小さいほど対象物情報の表示の輝度又は表示領域を小さくする。表示制御部15は、対象物情報の表示の輝度及び表示領域の両方を小さくしてもよい。
表示制御部15は、例えば、自車両と対象物との距離が第1の閾値未満であると判定して表示の輝度を小さくした後、自車両と対象物との距離が第1の閾値以上であると判定した場合、表示の輝度を元の大きさに戻す。表示制御部15は、自車両と対象物との距離が小さいほど表示の輝度を小さくした場合、自車両と対象物との距離が大きいほど表示の輝度を大きくする。表示領域についても同様である。表示制御部15は、表示の輝度又は表示領域を元の大きさを超えて大きくしない。また、表示制御部15は、例えば、駐車エリア判定部13により自車両が駐車エリアに位置しないと判定された場合、表示の輝度及び表示領域を元の大きさに戻す。
なお、表示制御部15は、自車両と対象物との距離に応じて、対象物情報の表示だけではなく、フロントガラスW上に投影された全ての表示の表示態様を変更してもよい。表示制御部15は、例えば、自車両と対象物との距離に応じて段階的に表示の輝度又は表示領域を小さくする。具体的に、表示制御部15は、自車両と対象物との距離が第1の閾値未満であると判定した場合、自車両と対象物との距離が第1の閾値以上であると判定した場合と比べて、フロントガラスW上に投影された全ての表示の輝度又は表示領域を小さくする。表示制御部15は、自車両と対象物との距離に応じて連続的に表示の輝度又は表示領域を小さくしてもよい。この場合、表示制御部15は、自車両と対象物との距離が小さいほど、フロントガラスW上に投影された全ての表示の輝度又は表示領域を小さくする。表示の輝度又は表示領域の大きさの復帰についても同様である。或いは、表示制御部15は、自車両と対象物との距離に応じて、フロントガラスW上で予め設定された範囲(例えば運転席の正面の範囲)に含まれる表示の表示態様を変更してもよい。予め設定された範囲には、対象物情報の表示が含まれる。
更に、表示制御部15は、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合、距離検出部11の検出結果に基づいて自車両と対象物との距離が第2の閾値未満であるか否かを判定する。ここでは、第2の閾値を用いた判定について説明する。表示制御部15は、自車両と対象物との距離に応じて連続的に表示の輝度又は表示領域を小さくする場合(第1の閾値を用いない場合)には、第2の閾値に代えて第3の閾値を用いた判定を行う。以後の説明においても、自車両と対象物との距離に応じて連続的に表示の輝度又は表示領域を小さくする場合には、第2の閾値に代えて第3の閾値を用いることができる。
表示制御部15は、自車両と対象物との距離が第2の閾値未満であると判定した場合、対象物情報の表示を停止する。表示制御部15は、自車両と対象物との距離が第2の閾値未満であると判定して対象物情報の表示を停止した後、自車両と対象物との距離が第2の閾値以上であると判定した場合、対象物情報の再表示を行う。表示制御部15は、例えば、自車両と対象物との距離に応じた表示の輝度又は表示領域による対象物情報の再表示を行う。また、表示制御部15は、駐車エリア判定部13により自車両が駐車エリアに位置しないと判定された場合も、対象物情報の再表示を行う。なお、対象物情報の再表示は必須ではない。
更に、表示制御部15は、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合であって、自車両の車速が第4の閾値未満であるときに、自車両と対象物との距離に応じた表示態様の変更及び表示の停止を行ってもよい。第4の閾値は、例えば、運転者が駐車エリアで周囲を確認する場合には自車両の速度を低速にする観点から、予め適切に設定された値である。第4の閾値は、固定値であってもよく、状況に応じて変動する値であってもよい。また、表示制御部15は、駐車エリア判定部13の判定結果に関わらず、自車両の車速が第4の閾値未満であるときに、自車両と対象物との距離に応じた表示態様の変更及び表示の停止を行ってもよい。
また、表示制御部15は、必ずしも自車両が駐車エリアに位置すると判定された場合にのみ、表示態様の変更及び表示の停止を行う必要はない。表示制御部15は、駐車エリア判定部13の判定結果に関わらず、自車両と対象物との距離に基づいて表示態様の変更及び表示の停止を行ってもよい。
なお、表示制御部15は、自車両と対象物との距離が第2の閾値未満であると判定した場合、対象物情報の表示だけではなく、フロントガラスW上に投影された全ての表示を停止してもよい。再表示についても同様である。或いは、表示制御部15は、自車両と対象物との距離が第2の閾値未満であると判定した場合、フロントガラスW上で予め設定された範囲(例えば運転席の正面の範囲)に含まれる表示の表示態様を変更してもよい。予め設定された範囲には、対象物情報の表示が含まれる。
〈第1の実施形態に係る表示装置の表示制御〉
次に、第1の実施形態に係る表示装置1の表示制御について説明する。図4は、第1の実施形態に係る表示装置1の表示制御を示すフローチャートである。図4に示すフローチャートの処理は、例えば、自車両がACCを開始した場合にECU2によって開始される。ECU2は、図4に示すフローチャートの処理がRETURNに至った場合、再びSTARTから処理を繰り返す。ECU2は、例えば、自車両がACCを停止した場合、途中であっても図4に示すフローチャートの処理を終了する。なお、ECU2は、対象物情報をACC等の運転支援の実行の有無に関わらず表示してもよい。
図4に示すように、表示装置1のECU2は、ステップS101において、対象物検出部10によって自車両の前方に位置する対象物を検出したか否かを判定する。対象物検出部10は、例えば、外部センサ3の検出結果に基づいて対象物を検出する。ECU2は、対象物を検出したと判定した場合(S101:YES)、ステップS102に移行する。ECU2は、対象物を検出しないと判定した場合(S101:NO)、ステップS103に移行する。
ステップS102において、ECU2は、表示制御部15により対象物情報を表示させる。表示制御部15は、例えば、対象物情報の表示に関する制御信号を表示部7に送信することにより、自車両のフロントガラスW上に対象物情報を表示させる。表示制御部15は、既に対象物情報を表示済みである場合は、表示を継続する。その後、ECU2は、今回の表示制御を終了し、予め設定された時間の経過後に再びステップS101から処理を繰り返す。
ステップS103において、ECU2は、表示制御部15により対象物情報を表示させていた場合、表示を停止する。表示制御部15は、例えば、表示部7に対する対象物情報の表示に関する制御信号の送信を停止することにより、表示を停止させる。表示制御部15は、対象物情報の表示を行っていない場合には、現在の状態を維持する。その後、ECU2は、今回の表示制御を終了し、予め設定された時間の経過後に再びステップS101から処理を繰り返す。
〈第1の実施形態に係る表示装置の表示変更制御〉
続いて、第1の実施形態に係る表示装置1の表示変更制御について説明する。図5は、第1の実施形態に係る表示装置1の表示変更制御を示すフローチャートである。図5に示すフローチャートの処理は、例えば、フロントガラスW上に対象物情報が表示された場合にECU2によって開始される。ECU2は、図5に示すフローチャートの処理がRETURNに至った場合、再びSTARTから処理を繰り返す。ECU2は、例えば、図4に示すステップS103により対象物情報の表示を停止した場合(対象物を検出しなくなったため対象物情報の表示を停止した場合)、途中であっても図5に示すフローチャートの処理を終了する。
図5に示すように、表示装置1のECU2は、ステップS201において、駐車エリア判定部13により自車両が駐車エリアに位置するか否かの判定を行う。駐車エリア判定部13は、例えば、ナビゲーションシステム6の地図情報記憶部9の地図情報と、位置情報取得部12の取得した自車両の位置情報に基づいて、車両が駐車エリアに位置するか否かを判定する。ECU2は、自車両が駐車エリアに位置すると判定された場合(S201:YES)、ステップS202に移行する。ECU2は、自車両が駐車エリアに位置しないと判定された場合(S201:NO)、ステップS204に移行する。
ステップS202において、ECU2は、表示制御部15により自車両と対象物との距離が第1の閾値未満であるか否かを判定する。表示制御部15は、距離検出部11の検出結果に基づいて、自車両と対象物との距離が第1の閾値未満であるか否かを判定する。ECU2は、自車両と対象物との距離が第1の閾値未満であると判定された場合(S202:YES)、ステップS203に移行する。ECU2は、自車両と対象物との距離が第1の閾値以上であると判定された場合(S202:NO)、ステップS204に移行する。
ステップS203において、ECU2は、表示制御部15により輝度低下処理又は表示領域縮小処理を行う。輝度低下処理とは、対象物情報の表示の輝度を小さくする処理である。表示領域縮小処理とは、対象物情報のフロントガラスW上の表示領域を小さくする処理である。ECU2は、輝度低下処理又は表示領域縮小処理を行った後、ステップS205に移行する。なお、ECU2は、既に輝度低下処理又は表示領域縮小処理により、対象物情報の表示の輝度又は表示領域が小さくなっている場合、更に輝度低下処理又は表示領域縮小処理を行うことなく、現在の状況を維持してステップS205に移行する
ステップS204において、ECU2は、表示制御部15により復帰処理を行う。復帰処理とは、輝度低下処理又は表示領域縮小処理により対象物情報の表示の輝度又は表示領域が小さくなっている場合に、輝度又は表示領域を元の大きさに復帰させる処理である。
ECU2は、復帰処理を行った後、今回の処理を終了する。ECU2は、対象物情報の表示の輝度又は表示領域が小さくなっていない場合は、復帰処理を行うことなく今回の処理を終了する。その後、ECU2は、予め設定された時間の経過後に再びステップS201から処理を繰り返す。
ステップS205において、ECU2は、表示制御部15により自車両と対象物との距離が第2の閾値未満であるか否かを判定する。表示制御部15は、距離検出部11の検出結果に基づいて、自車両と対象物との距離が第2の閾値未満であるか否かを判定する。ECU2は、自車両と対象物との距離が第2の閾値未満であると判定された場合(S205:YES)、ステップS206に移行する。ECU2は、自車両と対象物との距離が第2の閾値以上であると判定された場合(S205:NO)、今回の表示変更制御を終了して、予め設定された時間の経過後に再びステップS201から処理を繰り返す。
ステップS206において、ECU2は、表示制御部15により対象物情報の表示を停止させる。ECU2は、対象物情報の表示を停止させた場合、後述する再表示処理を実行する。ECU2は、対象物情報の表示の停止中は、図5に示す表示変更制御を実施しない。
なお、ECU2は、ステップS202及びステップS203に代えて、自車両と対象物との距離が小さいほど、対象物情報の表示の輝度又は表示領域を小さくする処理を行ってもよい。この場合には、ECU2は、ステップS204の復帰処理に代えて、自車両と対象物との距離が大きくなるほど、対象物情報の表示の輝度又は表示領域を大きくする処理を行う。また、ECU2は、必ずしもステップS201の判定を行う必要はない。図5に示すフローチャートは、ステップS201の判定が無く、ステップS202から処理を開始するフローチャートであってもよい。
〈第1の実施形態に係る表示装置の再表示制御〉
次に、第1の実施形態に係る表示装置1の再表示制御について説明する。図6は、第1の実施形態に係る表示装置1の再表示制御を示すフローチャートである。図6に示すフローチャートの処理は、図5のステップS206により対象物情報の表示が停止された場合にECU2によって開始される。ECU2は、図6に示すフローチャートの処理がRETURNに至った場合、再びSTARTから処理を繰り返す。ECU2は、例えば、図4に示すステップS103により対象物情報の表示を停止した場合、途中であっても図6に示すフローチャートの処理を終了する。
図6に示すように、表示装置1のECU2は、ステップS301として、駐車エリア判定部13により自車両が駐車エリアに位置するか否かの判定を行う。ECU2は、自車両が駐車エリアに位置すると判定された場合(S301:YES)、ステップS302に移行する。ECU2は、自車両が駐車エリアに位置しないと判定された場合(S301:NO)、ステップS303に移行する。
ステップS302において、ECU2は、表示制御部15により自車両と対象物との距離が第2の閾値未満であるか否かを判定する。ECU2は、自車両と対象物との距離が第2の閾値未満であると判定された場合(S302:YES)、今回の再表示制御を終了する。その後、ECU2は、予め設定された時間の経過後に再びステップS301から処理を繰り返す。ECU2は、自車両と対象物との距離が第2の閾値以上であると判定された場合(S302:NO)、ステップS303に移行する。
ステップS303において、ECU2は、表示制御部15により対象物情報の再表示を行う。表示制御部15は、例えば、現在の自車両と対象物との距離に応じた輝度又は表示領域となるように、フロントガラスW上に対象物情報を再表示する。ECU2は、対象物情報の再表示を行った場合、図6に示す再表示制御を終了する。その後、ECU2は、再び図5に示す表示変更制御を実施する。
〈第1の実施形態に係る表示装置1の作用効果〉
以上説明した第1の実施形態に係る表示装置1によれば、自車両と対象物との距離が小さくなると、フロントガラスW上の対象物に関する情報の表示の輝度又は表示領域を小さくする。また、この表示装置1では、自車両と対象物との距離が第2の閾値又は第3の閾値未満になると、対象物に関する情報の表示を停止する。従って、この表示装置1によれば、自車両と対象物との距離が小さくなり運転者が対象物を直接的に視認する際に、フロントガラスW上の表示が運転者の視界を遮ることが少なくなり、表示によって運転者による対象物の視認が妨げられることを抑制することができる。その結果、この表示装置1によれば、フロントガラスW上の対象物情報の表示に対して、運転者が煩わしさを感じることを低減することができる。
また、この表示装置1において、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合に、自車両の対象物との距離に応じた表示態様の変更及び表示の停止を行うようにしてもよい。この場合の表示装置1によれば、駐車エリアでは道路上と比べて運転者が車両周囲の状況を十分に確認する必要があることから、フロントガラスW上の対象物の情報の表示が運転者の確認の妨げとなることを避けるため、自車両に近い対象物の情報の表示の輝度又は表示領域を小さくすると共に自車両の近傍の対象物の情報の表示を停止することで、表示によって運転者による周囲の対象物の視認が妨げられることを抑制することができる。
〈対象物情報以外の表示について〉
図7は、対象物情報の表示以外の表示の例を示す図である。図7に示す表示は、例えば、フロントガラスWの運転席の正面でフロントガラスWの下半分の範囲に投影される。図7には、白線の表示51、先行車の表示52の他、現在の自車両の車速表示54、運転者の手放し状態の警告表示55、法定最低速度の表示56、カーブ減速制御の作動表示57、ACCの設定車速の表示58、ACCの設定車間時間の表示59、運転支援の制御停止地点の表示60、LTC作動表示61、及び経路案内表示62が示されている。
現在の自車両の車速表示54は、例えば、自車両の走行中に表示される。運転者の手放し状態の警告表示55は、例えば、運転者の手放し状態を検出したときに表示される。法定最低速度の表示56は、例えば、自車両が高速道路(自動車専用道路)を走行中の場合に表示される。なお、法定最高速度を表示してもよい。カーブ減速制御の作動表示57は、運転支援として自車両がカーブ減速制御を実行中の場合に表示される。ACCの設定車速の表示58及びACCの設定車間時間の表示59は、運転支援として自車両がACCを実行中の場合に表示される。運転支援の制御停止地点の表示60は、例えば、自車両の前方にLTC等の運転支援を継続できない地点を検出した場合に表示される。図7では、運転支援の制御停止地点の表示60として、車線数減少の地点が近づいていることが示されている。LTC作動表示61は、運転支援として自車両がLTCを実行中の場合に表示される。経路案内表示62は、自車両がナビゲーションシステム6による経路案内である場合に表示される。
表示制御部15は、図7に示す表示54〜62について、上述した対象物情報の表示と同様に、自車両と対象物との距離に応じた表示態様の変更及び表示の停止を行ってもよい。なお、表示制御部15は、図7に示す表示54〜62の全てではなく、表示54〜62の一部のみが自車両と対象物との距離に応じた表示態様の変更及び表示の停止を行ってもよい。
[第2の実施形態]
次に、第2の実施形態に係る表示装置21について図面を参照して説明する。図8は、第2の実施形態に係る表示装置21を示すブロック図である。なお、第1の実施形態と同じ構成については同じ符号を付して重複する説明を省略する。
図8に示すように、第2の実施形態に係る表示装置21は、第1の実施形態に係る表示装置1と比べて、昼夜判定部23及び閾値設定部24を有している点と、表示制御部25が追加の機能を備えている点が異なっている。
具体的に、第2の実施形態に係る表示装置21のECU22は、昼夜判定部23及び閾値設定部24を有している。昼夜判定部23は、自車両の周囲が昼であるか夜であるかを判定する。昼夜判定部23は、例えば、自車両が照度センサを備えている場合、自車両の周囲の照度に基づいて昼であるか夜であるかを判定する。昼夜判定部23は、例えば、自車両の周囲の照度が閾値以上である場合に昼であると判定し、照度が閾値未満である場合に夜であると判定する。昼夜判定部23は、自車両のヘッドライトの点灯を検出した場合に、夜であると判定してもよい。
昼夜判定部23は、自車両のタイマーに基づいて、昼であるか夜であるかを判定してもよい。この場合には、昼夜判定部23は、自車両の位置情報(緯度・経度)及び時季も踏まえて、昼夜の判定を行うことが望ましい。また、昼夜判定部23は、天候が雨天であると判定した場合、自車両の周囲が夜であるとみなす判定を行ってもよい。昼夜判定部23は、例えば、自車両のワイパーが作動状態に切り替えられた場合、天候が雨天であると判定する。
閾値設定部24は、昼夜判定部23が自車両の周囲は夜であると判定した場合、昼であると判定した場合と比べて、第1の閾値を大きな値に設定する。また、閾値設定部24は、昼夜判定部23が自車両の周囲は夜であると判定した場合、昼であると判定した場合と比べて、第2の閾値を大きな値に設定する。
ここで、図9は、自車両と対象物との距離に応じて段階的に表示の輝度が変化する場合の第1の閾値及び第2の閾値の変化を説明するためのグラフである。図9の縦軸は表示の輝度である。横軸は自車両と対象物との距離である。図9において、昼夜判定部23が自車両の周囲は昼であると判定した場合における表示の輝度Br1を実線として示す。また、昼夜判定部23が自車両の周囲は夜であると判定した場合における表示の輝度Br2を一点鎖線として示す。第1の閾値(昼)は、昼であると判定された場合の第1の閾値である。第2の閾値(昼)は、昼であると判定された場合の第2の閾値である。第1の閾値(夜)は、夜であると判定された場合の第1の閾値である。第2の閾値(夜)は、夜であると判定された場合の第2の閾値である。
図9に示すように、輝度Br1は、自車両と対象物との距離が第1の閾値(昼)未満である場合、第1の閾値(昼)以上である場合と比べて、小さい輝度となる。輝度Br1は、自車両と対象物との距離が第2の閾値(昼)未満である場合には、表示が停止されるため存在しない。同様に、輝度Br2は、自車両と対象物との距離が第1の閾値(夜)未満である場合、第1の閾値(夜)以上である場合と比べて、小さい輝度となる。輝度Br2は、自車両と対象物との距離が第2の閾値(夜)未満である場合には、表示が停止されるため存在しない。なお、図9では、自車両と対象物との距離が第1の閾値以上である場合には、輝度Br1及び輝度Br2は同じ値である。同様に、自車両と対象物との距離が第1の閾値未満且つ第2の閾値以上である場合には、輝度Br1及び輝度Br2は同じ値である。
また、図9に示すように、閾値設定部24は、昼であると判定された場合の第1の閾値(昼)及び第2の閾値(昼)と比べて、夜であると判定された場合の第1の閾値(夜)及び第2の閾値(夜)を大きな値にする。このように、表示装置21では、夜であると判定された場合に、昼であると判定された場合と比べて、第1の閾値を大きな値とすることで、自車両と対象物との距離に応じた表示の輝度の低下を早期に実施することができる。更に、表示装置21では、夜であると判定された場合に、昼であると判定された場合と比べて、第2の閾値を大きな値とすることで、自車両と対象物との距離に応じた表示の停止を早期に実施することができる。なお、図9では、縦軸を表示の輝度としたが、縦軸を表示領域の面積としてもよい。すなわち、表示領域についても、図9に示す関係が例示として成立する。また、閾値設定部24は、第1の閾値及び第2の閾値の両方ではなく一方のみを変更してもよい。
一方、閾値設定部24は、表示制御部15が自車両と対象物との距離に応じて連続的に表示の輝度又は表示領域を小さくする場合(第1の閾値及び第2の閾値を用いない場合)には、第1の閾値及び第2の閾値に代えて、第3の閾値を大きな値にする。
ここで、図10は、自車両と対象物との距離に応じて連続的に表示の輝度が変化する場合の第3の閾値の変化を説明するためのグラフである。図10の縦軸及び横軸が示す内容は図9と同じである。また、図10において、図9と同様に、昼と判定された場合の輝度Br1、夜と判定された場合の輝度Br2とする。第3の閾値(昼)は、昼であると判定された場合の第3の閾値である。第3の閾値(夜)は、夜であると判定された場合の第3の閾値である。
図10に示すように、輝度Br1及び輝度Br2は、自車両と対象物との距離が小さいほど、小さい値となる。輝度Br1は、自車両と対象物との距離が第3の閾値(昼)未満である場合には、表示が停止されるため存在しない。同様に、輝度Br2は、自車両と対象物との距離が第3の閾値(夜)未満である場合には、表示が停止されるため存在しない。
また、図10に示すように、閾値設定部24は、昼であると判定された場合の第3の閾値(昼)と比べて、夜であると判定された場合の第3の閾値(夜)を大きな値にする。このように、表示装置21では、夜であると判定された場合に、昼であると判定された場合と比べて、第3の閾値を大きな値とすることで、自車両と対象物との距離に応じた表示の停止を早期に実施することができる。なお、図10では、縦軸を表示の輝度としたが、縦軸を表示領域の面積としてもよい。その他、第2の実施形態に係るECU22は、必ずしも閾値設定部24を有する必要はない。
表示制御部25は、第1の実施形態の表示制御部15と同様の機能を有する。表示制御部25は、例えば、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合、距離検出部11の検出結果に基づいて自車両と対象物との距離が第1の閾値未満であるか否かを判定する。表示制御部25は、自車両と対象物との距離が第1の閾値未満であると判定した場合、対象物情報の表示の輝度又は表示領域を小さくする。表示制御部25は、対象物情報の表示の輝度及び表示領域の両方を小さくしてもよい。
また、表示制御部25は、例えば、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合、距離検出部11の検出結果に基づいて自車両と対象物との距離が第2の閾値未満であるか否かを判定する。表示制御部25は、自車両と対象物との距離が第2の閾値未満であると判定した場合、対象物情報の表示を停止する。
更に、表示制御部25は、追加の機能として、駐車エリア判定部13により自車両が駐車エリアに位置すると判定された場合であって、昼夜判定部23が自車両の周囲は夜であると判定したとき、昼であると判定した場合と比べて対象物情報の表示の輝度又は表示領域を小さくする。
ここで、図11は、自車両と対象物との距離に応じて段階的に表示の輝度が変化する場合における昼夜の輝度変化を説明するためのグラフである。図11の縦軸及び横軸が示す内容は図9と同じである。また、図11において、図9と同様に、昼と判定された場合の輝度Br1、夜と判定された場合の輝度Br2とする。なお、図11に示す例では、昼夜の判定結果に応じて第1の閾値及び第2の閾値が変化しない場合について説明する。
図11に示すように、表示制御部25は、昼夜判定部23により自車両の周囲は夜であると判定されたとき、昼であると判定されたときと比べて、対象物情報の表示の輝度を小さくしてもよい。言い換えると、表示制御部25は、例えば、昼であると判定された場合の輝度Br1より、夜であると判定された場合の輝度Br2を小さくする。表示制御部25は、昼夜判定部23の判定結果に応じて、予め設定された昼用の輝度Br1と夜用の輝度Br2とを切り替える態様であってもよい。
図12は、自車両と対象物との距離に応じて連続的に表示の輝度が変化する場合における昼夜の輝度変化を説明するためのグラフである。図12の縦軸及び横軸が示す内容は図9と同じである。また、図12において、図9と同様に、昼と判定された場合の輝度Br1、夜と判定された場合の輝度Br2とする。なお、図12に示す例では、昼夜の判定結果に応じて第3の閾値が変化しない場合について説明する。
図12に示すように、表示制御部25は、昼夜判定部23により自車両の周囲は夜であると判定されたとき、昼であると判定されたときと比べて、対象物情報の表示の輝度を小さくしてもよい。言い換えると、表示制御部25は、例えば、昼であると判定された場合の輝度Br1より、夜であると判定された場合の輝度Br2を小さくする。表示制御部25は、図12に示すように昼と夜で自車両と対象物との距離の変化に対する輝度の変化率を変えてもよい。
なお、図11及び図12では、縦軸を表示の輝度としたが、縦軸を表示領域の面積としてもよい。また、表示装置21は、閾値設定部24による昼夜の判定結果に応じた第1の閾値又は第2の閾値の変化と、表示制御部25による昼夜の判定結果に応じた表示の輝度(又は表示領域の面積)の変化との両方を行ってもよい。表示装置21は、例えば、図9に示すような昼夜の判定結果に応じた第1の閾値又は第2の閾値の変化と、図11に示すような昼夜の判定結果に応じた表示の輝度(又は表示領域の面積)の変化の両方を行う。同様に、表示装置21は、例えば、図10に示すような昼夜の判定結果に応じた第3の閾値の変化と、図12に示すような昼夜の判定結果に応じた表示の輝度(又は表示領域の面積)の変化の両方を行う。一方で、表示装置21は、上述した表示制御部25の追加の機能を必ずしも備える必要はない。表示装置21は、表示制御部25の追加の機能と、閾値設定部24による閾値変化の機能のうち、何れか一方の機能のみを有していてもよい。
〈第2の実施形態に係る表示装置の閾値変更制御〉
以下、第2の実施形態に係る表示装置21の閾値変更制御について説明する。図13は、第2の実施形態に係る表示装置21の閾値変更制御を示すフローチャートである。図13に示すフローチャートは、例えば、対象物情報がフロントガラスWに表示された場合にECU22によって開始される。ECU22は、図13に示すフローチャートの処理がRETURNに至った場合、再びSTARTから処理を繰り返す。なお、表示装置21は、例えば、表示制御、表示変更制御、及び再表示制御については第1の実施形態と同じ制御することができる。ECU2は、例えば、図4に示すステップS103により対象物情報の表示を停止した場合、途中であっても図13に示すフローチャートの処理を終了する。
図13に示すように、表示装置21のECU22は、ステップS401として、昼夜判定部23により自車両の周囲が昼であるか夜であるかを判定する。昼夜判定部23は、例えば、照度センサの検出した自車両の周囲の照度に基づいて、昼であるか夜であるかを判定する。ECU22は、自車両の周囲が夜であると判定された場合(S401:YES)、ステップS402に移行する。ECU22は、自車両の周囲が昼であると判定された場合(S401:NO)、ステップS403に移行する。
ステップS402において、ECU22は、閾値設定部24により第1の閾値及び第2の閾値を大きい値に変更(設定)する閾値変更制御を行う。閾値設定部24は、ステップS401で昼であると判定された場合と比べて大きな値となるように第1の閾値及び第2の閾値の値を変更する。閾値設定部24は、表示制御部15が自車両と対象物との距離が小さいほど表示の輝度又は表示領域を小さくする場合(第1の閾値及び第2の閾値を用いない場合)には、第1の閾値及び第2の閾値に代えて第3の閾値を大きな値にする。なお、閾値設定部24は、既に閾値を大きな値に変更済みの場合は現在の状態を維持する。その後、ECU22は、今回の閾値変更制御を終了し、予め設定された時間の経過後に再びステップS401を実行する。
ステップS403において、ECU22は、閾値設定部24により大きな値に変更された第1の閾値及び第2の閾値(或いは第3の閾値)を元の値に戻す復帰処理を行う。なお、閾値設定部24は、ステップS402で第1の閾値及び第2の閾値(或いは第3の閾値)が大きな値に変更されていない場合には現在の状態を維持する。その後、ECU22は、今回の閾値変更制御を終了し、予め設定された時間の経過後に再びステップS401を実行する。
なお、図13のステップS402において、閾値設定部24は第1の閾値及び第2の閾値の両方ではなく一方のみを変更してもよい。この場合、ステップS403において、閾値設定部24は、変更された閾値のみを元の値に戻す。
〈第2の実施形態に係る表示装置の作用効果〉
以上説明した第2の実施形態に係る表示装置21によれば、昼よりも夜の方が、フロントガラスW上の表示が運転者の注意を奪って運転者による対象物の視認を妨げる場合が多いことから、夜であると判定された場合に、昼であると判定された場合と比べて第1の閾値を大きな値に設定することで、自車両と対象物との距離に基づく表示の輝度の低下又は表示領域の縮小を早期に行うことができる。また、この表示装置21によれば、夜であると判定された場合に、昼であると判定された場合と比べて第2の閾値又は第3の閾値を大きな値に設定することで、自車両と対象物との距離に基づく表示の停止を早期に行うことができる。
更に、この表示装置21によれば、昼夜判定部により自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて表示の輝度又は表示の表示領域を小さくすることができる。従って、この表示装置21によれば、フロントガラスW上の対象物の情報の表示が運転者による対象物の視認を妨げることを昼夜の区別に応じて適切に抑制することができる。
以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
1、21…表示装置、2、22…ECU、3…外部センサ、4…内部センサ、5…通信部、6…ナビゲーションシステム、7…表示部、8…GPS受信部、9…地図情報記憶部、10…対象物検出部、11…距離検出部、12…位置情報取得部、13…駐車エリア判定部、14…エリア学習部、15、25…表示制御部、23…昼夜判定部、24…閾値設定部、51-61…表示、52、53…対象物情報の表示、W…フロントガラス。

Claims (3)

  1. 自車両の前方に位置する対象物を検出する対象物検出部と、
    前記自車両と前記対象物との距離を検出する距離検出部と、
    前記対象物に関する情報の表示を前記自車両のフロントガラスに投影する表示部と、
    前記表示部を制御する表示制御部と、
    前記自車両の位置情報を取得する位置情報取得部と、
    駐車エリア情報を含む地図情報を記憶した地図情報記憶部と、
    前記自車両の前記位置情報と前記地図情報に基づいて、前記自車両が前記駐車エリアに位置するか否かを判定する駐車エリア判定部と、
    を備え、
    前記表示制御部は、
    前記駐車エリア判定部により前記自車両が前記駐車エリアに位置すると判定された場合であって、前記自車両と前記対象物との距離が第1の閾値未満であるときに、前記自車両と前記対象物との距離が前記第1の閾値以上であるときと比べて、前記表示の輝度又は前記表示の表示領域を小さくし、前記自車両と前記対象物との距離が前記第1の閾値より小さい第2の閾値未満であるときに前記表示を停止する、
    或いは、前記駐車エリア判定部により前記自車両が前記駐車エリアに位置すると判定された場合に、前記自車両と前記対象物との距離が小さいほど前記表示の輝度又は前記表示の表示領域を小さくし、前記駐車エリア判定部により前記自車両が前記駐車エリアに位置すると判定された場合に、前記自車両と前記対象物との距離が第3の閾値未満であるときに前記表示を停止する、表示装置。
  2. 前記自車両の周囲が昼であるか夜であるかを判定する昼夜判定部と、
    前記昼夜判定部により前記自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて、前記第1の閾値及び前記第2の閾値の少なくとも一方を大きな値に設定する、或いは、前記昼夜判定部により前記自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて、前記第3の閾値を大きな値に設定する閾値設定部と、を更に備える、請求項1に記載の表示装置。
  3. 前記自車両の周囲が昼であるか夜であるかを判定する昼夜判定部を更に備え、
    前記表示制御部は、前記昼夜判定部により前記自車両の周囲が夜であると判定された場合、昼であると判定された場合と比べて前記表示の輝度又は前記表示の表示領域を小さくする、請求項1に記載の表示装置。
JP2015117740A 2015-06-10 2015-06-10 表示装置 Active JP6402684B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015117740A JP6402684B2 (ja) 2015-06-10 2015-06-10 表示装置
US15/176,451 US10262629B2 (en) 2015-06-10 2016-06-08 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015117740A JP6402684B2 (ja) 2015-06-10 2015-06-10 表示装置

Publications (2)

Publication Number Publication Date
JP2017004265A JP2017004265A (ja) 2017-01-05
JP6402684B2 true JP6402684B2 (ja) 2018-10-10

Family

ID=57517242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015117740A Active JP6402684B2 (ja) 2015-06-10 2015-06-10 表示装置

Country Status (2)

Country Link
US (1) US10262629B2 (ja)
JP (1) JP6402684B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10081370B2 (en) * 2012-12-21 2018-09-25 Harman Becker Automotive Systems Gmbh System for a vehicle
US10140870B1 (en) 2015-09-30 2018-11-27 Waymo Llc Occupant facing vehicle display
JP6589760B2 (ja) * 2016-07-07 2019-10-16 株式会社デンソー 車両制御装置
JP6515250B2 (ja) * 2016-09-16 2019-05-15 富士フイルム株式会社 投写型表示装置、表示制御方法、及び表示制御プログラム
KR101982774B1 (ko) 2016-11-29 2019-05-27 엘지전자 주식회사 자율 주행 차량
US11906625B2 (en) * 2018-01-08 2024-02-20 The Regents Of The University Of California Surround vehicle tracking and motion prediction
JP7187820B2 (ja) * 2018-05-29 2022-12-13 セイコーエプソン株式会社 制御装置、ヘッドマウントディスプレイ、及びロボットシステム
WO2020022239A1 (ja) * 2018-07-24 2020-01-30 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置
JP6857695B2 (ja) * 2018-09-14 2021-04-14 シャープ株式会社 後方表示装置、後方表示方法、およびプログラム
JP7172529B2 (ja) * 2018-12-06 2022-11-16 トヨタ自動車株式会社 車両制御装置
FR3090138B1 (fr) * 2018-12-17 2022-08-05 Psa Automobiles Sa Procédé et dispositif de réglage de la luminance d’un afficheur tête haute embarqué dans un véhicule
US11210946B2 (en) * 2019-07-15 2021-12-28 Verizon Patent And Licensing Inc. Content sharing between vehicles based on a peer-to-peer connection
US11749105B2 (en) * 2020-10-01 2023-09-05 Magna Electronics Inc. Vehicular communication system with turn signal identification
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
JP2023017648A (ja) * 2021-07-26 2023-02-07 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム
US20230280188A1 (en) * 2022-03-02 2023-09-07 Henderson Carter System and method for facilitating real-time sharing of location of points of interest

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3394585B2 (ja) * 1994-03-31 2003-04-07 マツダ株式会社 車両の表示装置
US8029710B2 (en) * 2006-11-03 2011-10-04 University Of Southern California Gantry robotics system and related material transport for contour crafting
JP2008055943A (ja) * 2006-08-29 2008-03-13 Hino Motors Ltd 夜間前方情報提供装置
JP4867761B2 (ja) * 2007-03-30 2012-02-01 トヨタ自動車株式会社 夜間視界支援装置
ITBO20080236A1 (it) * 2008-04-17 2009-10-18 Philogen Spa Apparecchiatura e metodo per la preparazione di medicinali contenenti sostanze radioattive.
US8269652B2 (en) 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
JP5198346B2 (ja) * 2009-04-23 2013-05-15 本田技研工業株式会社 車両周辺監視装置
US8396653B2 (en) * 2010-02-12 2013-03-12 Robert Bosch Gmbh Dynamic range display for automotive rear-view and parking systems
CN102783144B (zh) * 2010-03-01 2016-06-29 本田技研工业株式会社 车辆的周围监测装置
WO2013142277A1 (en) * 2012-03-22 2013-09-26 Research In Motion Limited Handling services during device backoff
ITMI20121183A1 (it) * 2012-07-05 2014-01-06 Ngc Medical S P A Dispositivo per il trattamento di un vaso sanguigno
US9656690B2 (en) * 2012-10-30 2017-05-23 Robert Bosch Gmbh System and method for using gestures in autonomous parking
JP5983547B2 (ja) * 2013-07-02 2016-08-31 株式会社デンソー ヘッドアップディスプレイ及びプログラム
DE202013006676U1 (de) * 2013-07-25 2014-10-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) System zur Warnung vor einer möglichen Kollision einesKraftfahrzeuges mit einem Objekt
KR101561917B1 (ko) * 2014-04-10 2015-11-20 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US10262629B2 (en) 2019-04-16
JP2017004265A (ja) 2017-01-05
US20160365068A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
JP6402684B2 (ja) 表示装置
US9896094B2 (en) Collision avoidance control system and control method
EP3324556B1 (en) Visual communication system for autonomous driving vehicles (adv)
US10643474B2 (en) Vehicle control device, vehicle control method, and recording medium
US10745016B2 (en) Driving system for vehicle and vehicle
US20180319402A1 (en) System and method for automatic activation of driver assistance feature
US10452930B2 (en) Information display device mounted in vehicle including detector
US20190138002A1 (en) Vehicle control system, vehicle control method, and vehicle control program
US20190315348A1 (en) Vehicle control device, vehicle control method, and storage medium
US20200174470A1 (en) System and method for supporting autonomous vehicle
US20080015772A1 (en) Drive-assist information providing system for driver of vehicle
JP2023010800A (ja) 表示装置
US20190071071A1 (en) Vehicle control device, vehicle control method, and storage medium
US20190073540A1 (en) Vehicle control device, vehicle control method, and storage medium
US20210269063A1 (en) Electronic device for vehicles and operating method of electronic device for vehicle
US20210362733A1 (en) Electronic device for vehicle and method of operating electronic device for vehicle
US11801859B2 (en) Driver assistance system
JP7371783B2 (ja) 自車位置推定装置
WO2017104209A1 (ja) 運転支援装置
KR101281499B1 (ko) 자동차 자동 운행 시스템
JP2021088289A (ja) 運転支援装置
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
JP2020107163A (ja) 報知装置及び車両制御装置
JP7304334B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP7116670B2 (ja) 走行制御装置、制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R151 Written notification of patent or utility model registration

Ref document number: 6402684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151