JP7263962B2 - VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD - Google Patents
VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD Download PDFInfo
- Publication number
- JP7263962B2 JP7263962B2 JP2019137311A JP2019137311A JP7263962B2 JP 7263962 B2 JP7263962 B2 JP 7263962B2 JP 2019137311 A JP2019137311 A JP 2019137311A JP 2019137311 A JP2019137311 A JP 2019137311A JP 7263962 B2 JP7263962 B2 JP 7263962B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- activation
- aeb
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- 230000004913 activation Effects 0.000 claims description 176
- 230000000116 mitigating effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 description 29
- 238000012544 monitoring process Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Instrument Panels (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、ヘッドアップディスプレイ装置(以下、HUDという)などの表示装置を制御して自車の前景にコンテンツを重畳表示させる車両用表示制御装置および車両用表示制御方法に関するものである。 The present invention relates to a vehicle display control device and a vehicle display control method for controlling a display device such as a head-up display device (hereinafter referred to as HUD) to superimpose content on the foreground of the vehicle.
近年、先行車などの障害物との衝突を回避したり、衝突時の衝撃を軽減したりできるように、衝突被害軽減ブレーキ(以下、AEBという)などのアプリケーションが車両に搭載されている。 In recent years, vehicles are equipped with applications such as collision damage mitigation braking (hereinafter referred to as AEB) so as to avoid collisions with obstacles such as preceding vehicles and to reduce the impact of collisions.
AEBでは、先行車などの障害物との衝突の可能性を判定し、例えば自動ブレーキを掛けることで車両を停止させたり、ステアリング制御を行うことで車両を回避走行させたりすることで、障害物との衝突を回避する。そして、AEBの起動の直前、例えば0.8秒前にドライバへの起動通知を行うことで、ドライバにAEBが起動されることが把握できるようにしている。 AEB determines the possibility of a collision with an obstacle such as a preceding vehicle. avoid conflicts with By notifying the driver of the activation immediately before the activation of the AEB, for example, 0.8 seconds before, the driver can recognize that the AEB will be activated.
しかしながら、従来では、AEBの起動の直前にしかドライバに通知されないため、どのタイミングでAEBによる制御が起動するのか、ドライバが的確に把握することが難しかった。また、AEBの起動が決定してから、その直前にドライバに起動通知が行われるため、通知後にドライバが自らAEBの起動を回避するための操作を行う余裕がなかった。 However, conventionally, the driver is notified only immediately before the activation of the AEB, so it is difficult for the driver to accurately grasp at what timing the control by the AEB is activated. In addition, since the driver is notified of the activation immediately after the activation of the AEB is determined, there is no time for the driver to perform an operation to avoid the activation of the AEB after the notification.
本発明は上記点に鑑みて、AEBの起動タイミングをドライバに的確に把握させられ、AEBの起動の通知に先立ち、ドライバに自らAEBの起動を回避する操作を行わせる余裕を持たせられるようにできる車両用表示制御装置および車両用表示制御方法を提供することを目的とする。 In view of the above points, the present invention is designed to allow the driver to accurately grasp the AEB activation timing and to allow the driver to perform an operation to avoid the activation of the AEB prior to notification of the AEB activation. It is an object of the present invention to provide a display control device for a vehicle and a display control method for a vehicle.
上記目的を達成するため、請求項1に記載の発明は、自車が該自車の前方に存在する対象物と接触することを避けるべくAEBを起動する車両に適用され、表示装置(230)を制御して自車の前景にコンテンツを重畳表示させる車両用表示制御装置であって、AEBが起動される予定の場所もしくは起動される予定の時期を示す起動予定表示に関する情報を取得する情報取得部(204)と、表示装置にて、AEBの起動が衝突被害軽減ブレーキを実行する運転支援制御装置(6)により決定される前に、起動予定表示を、自車と対象物との間の道路もしくは対象物に対して重畳表示させる表示制御部(207)を備えている。
In order to achieve the above object, the invention according to
このように、AEBの起動警告の前に、AEBの起動される予定の場所もしくは起動される予定の時期を示す起動予定表示を行うようにしている。このため、AEBの起動タイミングをドライバが的確に把握でき、ドライバへのAEBの起動の通知に先立ち、ドライバに自らAEBの起動を回避する操作を行わせる余裕を持たせられるようにすることが可能な車両用表示制御装置にできる。 In this manner, before the AEB activation warning, the activation schedule display indicating the location where the AEB is scheduled to be activated or the timing when it is scheduled to be activated is displayed. Therefore, the driver can accurately grasp the AEB activation timing, and it is possible to allow the driver to perform an operation to avoid the activation of the AEB before the driver is notified of the AEB activation. A display control device for a vehicle can be made.
請求項13に記載の発明は、自車が該自車の前方に存在する対象物と接触することを避けるべくAEBを起動する車両に適用され、表示装置(230)を制御して自車の前景にコンテンツを重畳表示させる車両用表示制御方法であって、AEBが起動される予定の場所もしくは起動される予定の時期を示す起動予定表示に関する情報を取得することと、表示装置にて、AEBの起動が衝突被害軽減ブレーキを実行する運転支援制御装置(6)により決定される前に、起動予定表示を、自車と対象物との間の道路もしくは対象物に対して重畳表示させることと、を行う。 The invention according to claim 13 is applied to a vehicle that activates AEB in order to avoid contact with an object existing in front of the vehicle, and controls a display device (230) to A vehicular display control method for superimposing and displaying content on a foreground, comprising acquiring information related to an activation schedule display indicating a place where an AEB is scheduled to be activated or a time when an AEB is scheduled to be activated; Before the activation of is determined by the driving support control device (6) that executes the collision damage mitigation brake, the activation schedule display is superimposed on the road between the vehicle and the object or on the object. ,I do.
このように、AEBの起動警告の前に、AEBの起動される予定の場所もしくは起動される予定の時期を示す起動予定表示を行うようにしている。このため、AEBの起動タイミングをドライバが的確に把握でき、ドライバへのAEBの起動の通知に先立ち、ドライバに自らAEBの起動を回避する操作を行わせる余裕を持たせられるようにすることが可能な車両用表示制御方法にできる。 In this manner, before the AEB activation warning, the activation schedule display indicating the location where the AEB is scheduled to be activated or the timing when it is scheduled to be activated is displayed. Therefore, the driver can accurately grasp the AEB activation timing, and it is possible to allow the driver to perform an operation to avoid the activation of the AEB before the driver is notified of the AEB activation. A display control method for a vehicle can be realized.
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。 It should be noted that the reference numerals in parentheses attached to each component etc. indicate an example of the correspondence relationship between the component etc. and specific components etc. described in the embodiments described later.
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。 An embodiment of the present invention will be described below with reference to the drawings. In addition, in each of the following embodiments, portions that are the same or equivalent to each other will be described with the same reference numerals.
(第1実施形態)
以下、本実施形態について図面を用いて説明する。図1に示すように、車両用表示システム1は、HMI(Human Machine Interface)システム2、ADAS(Advanced Driver Assistance Systems)ロケータ3、周辺監視センサ4、車両制御ECU5および運転支援ECU6を有する。HMIシステム2、ADASロケータ3、周辺監視センサ4、車両制御ECU5および運転支援ECU6は、例えば車内LANに接続されており、相互間における情報の受け渡しが行えるようになっている。
(First embodiment)
Hereinafter, this embodiment will be described with reference to the drawings. As shown in FIG. 1, the
ADASロケータ3は、全球測位衛生システム(以下、GNSSという)受信機30、慣性センサ31および地図データベース(以下、地図DBという)32を備えている。
The ADAS
GNSS受信機30は、GPS(Global Positioning System)の受信機などであり、複数の人工衛星からの測位信号を受信する。慣性センサ31は、車両に生じる慣性力、つまり走行状態を検出するセンサで、例えばジャイロセンサや加速度センサを備えた構成とされる。ADASロケータ3は、GNSS受信機30で受信する測位信号と、慣性センサ31の計測結果とを組み合わせることにより、自車の車両位置を逐次測位する。そして、ADASロケータ3は、測位した車両位置を車内LANへ出力する。
The GNSS
地図DB32は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状データ等の地図データを高精度地図として格納している。道路形状のデータには、高度、横断勾配、縦断勾配、車線数等のデータが含まれている。高度、横断勾配、縦断勾配、車線数等のデータは、少なくとも道路上の地点別であればよく、例えば地図データの観測点別とすればよい。 The map DB 32 is a non-volatile memory and stores map data such as link data, node data, road shape data, etc. as a high-precision map. Road shape data includes data such as altitude, cross slope, longitudinal slope, and number of lanes. Data such as altitude, cross slope, longitudinal slope, number of lanes, etc. may be at least for each point on the road, for example, for each observation point of map data.
また、地図DB32は、地図データとして、道路形状および構造物の特徴点の点群からなる三次元地図を用いる構成であってもよい。ADASロケータ3は、この三次元地図を用いる場合、GNSS受信機30を用いずに、この三次元地図と、道路形状および構造物の特徴点の点群を検出するLIDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)等の周辺監視センサ4での検出結果とを用いて、自車の車両位置を特定する構成としてもよい。なお、地図データは、自車に搭載された車載通信モジュールを用いて自車の外部から取得する構成としてもよい。
Further, the map DB 32 may be configured to use a three-dimensional map including point groups of feature points of road shapes and structures as map data. When using this three-dimensional map, the ADAS
周辺監視センサ4は、自車の周辺環境を監視する自律センサである。一例として、周辺監視センサ4は、歩行者や他車両などの移動する動的物標および路上の構造物や走行区画線などの静止している静的物標といった自車周辺の対象物を検出する。例えば周辺監視センサ4としては、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、LIDAR等の探査波センサが挙げられる。周辺監視カメラは、撮像装置に相当するもので、自車の周辺画像を撮影し、その撮像データをセンシング情報として車内LANへ出力する。探査波センサは、探査波を出力すると共にその反射波を取得することで得られた物標との相対速度や相対距離および物標が存在する方位角などの測定結果をセンシング情報として車内LANへ逐次出力する。
The surroundings monitoring
本実施形態では、周辺監視センサ4として、少なくとも、自車の前方の所定範囲を撮像範囲とする前方カメラ41と、自車の前方の所定範囲に探査波を送信するミリ波レーダ42とを用いる構成としている。
In the present embodiment, as the
車両制御ECU5は、自車の加減速制御や操舵制御などの車両運動制御を行う電子制御装置である。ここでは、車両制御ECU5が1つのECUで構成された例を示してあるが、操舵制御を行う操舵ECU、加減速制御を行うパワーユニット制御ECUおよびブレーキECU等の複数のECUで構成されていても良い。車両制御ECU5は、自車に搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、車輪速センサ等の各センサから出力される検出信号を取得している。そして、車両制御ECU5は、取得した検出信号を処理することで、電子制御スロットル、ブレーキアクチュエータ、EPS(Electric Power Steering)モータ等の各走行制御デバイスへ制御信号を出力する。また、車両制御ECU5は、上述の各センサの検出信号や制御信号を車内LANへ出力している。
The
運転支援ECU6は、車両制御ECU5を制御することにより、ドライバによる運転操作の代行を行う自動運転機能を実行する。運転支援ECU6は、ADASロケータ3から取得する自車の車両位置や地図データおよび周辺監視センサ4でのセンシング情報をもとに、自車の走行環境を認識する。一例としては、周辺監視センサ4でのセンシング情報から、自車周辺に存在する物体などの対象物の形状および移動状態を認識したり、自車周辺の路面標示の形状を認識したりする。そして、自車の車両位置および地図データと組み合わせることで、実際の走行環境を三次元で再現した仮想三次元空間を生成する。
The driving
また、運転支援ECU6は、認識した走行環境に基づき、自動運転機能によって、ドライバが予め設定した目的地へ向かわせるために、自車を自動走行させる上での走行計画を設定する。運転支援ECU6は、走行計画として、自車を目的地へ辿り着かせるための予定走行ルートを算出し、その予定走行ルート情報を車内LANに出力している。また、運転支援ECU6は、走行計画として、生成した自車の周囲の仮想三次元空間を用いて、例えば先行車との目標車間距離を維持するための加減速度、車線追従や車線変更のための操舵、衝突回避のための急制動等を決定している。
Further, the driving
運転支援ECU6で実行する自動運転機能の一例としては、駆動力および制動力を調整することで、先行車との目標車間距離を維持するように自車の走行速度を制御するACC(Adaptive Cruise Control)機能がある。また、前方のセンシング情報をもとに制動力を発生させることで、自車を強制的に減速させるAEB機能がある。また、ドライバが予め設定した目的地に辿り着くまでの予定走行ルートをHMIシステム2に伝える機能もある。なお、ここで述べたのは、あくまで一例であり、自動運転の機能として他の機能を備えている構成としてもよい。
An example of the automatic driving function executed by the driving
HMIシステム2は、コックピット内の情報マネジメントを行うシステムであり、ドライバからの入力操作を受け付けたり、ドライバに向けて情報を提示したりする。具体的には、HMIシステム2は、HCU20、操作デバイス21、DSM(Driver Status Monitor)22および表示装置23を備えている。
The
操作デバイス21は、ドライバが操作するスイッチ群である。操作デバイス21は、各種の設定を行うために用いられ、例えばステアリングなどに備えられるスイッチなどで構成される。
The operating
DSM22は、ドライバの状態を認識する装置であり、例えば車室内に備えられた近赤外光源および近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。具体的には、DSM22では、近赤外光源からドライバに向けて近赤外光を照射し、近赤外カメラによって撮影すると共に、その撮像画像を制御ユニットによって画像解析し、ドライバの視点位置を測定している。そして、測定した視点位置の情報を車内LANを通じてHCU20へ出力する。
The
表示装置23は、重畳表示を行うための表示部を構成するものであり、ここではHUD装置230を用いている。図2を用いてHUD装置230について説明を行う。
The
図2に示すようにHUD230は、自車のインストルメントパネル12内に設置される。HUD230は、例えば液晶式又は走査式等のプロジェクタ231により、HCU20から出力される画像データに基づく表示画像を形成する。表示画像としては、走行計画に従った予定走行ルート、AEBの起動予定表示や起動警告の表示に関する画像などが挙げられる。ここでいう予定走行ルートが予想軌跡コンテンツに相当するものである。予定走行ルートは、自車がこれら走行すべき予想軌跡である。AEBの起動予定表示は、AEBが起動される可能性があることを前もってドライバに報知するための表示であり、どのタイミングでAEBが起動されるかという情報を示している。AEBの起動警告は、AEBが起動されることが決定された後に、それを予告して報知するための表示である。
As shown in FIG. 2, HUD230 is installed in the
HUD230は、プロジェクタ231によって形成される表示画像を、例えば凹面鏡等の光学系232を通じて、投影部材としてのフロントウインドシールド10に既定された投影領域に投影する。投影領域は、フロントウインドシールド10において表示画像の投影を可能にした領域であり、その領域内におけるドライバが視認しやすい画角に表示画像が投影される。フロントウインドシールド10によって車室内側に反射された表示画像は、運転席に着座するドライバによって知覚される。また、透光性ガラスにより形成されるフロントウインドシールド10を透過した、自車の前方に存在する風景としての前景も、運転席に着座するドライバによって知覚される。これにより、ドライバに対して、HUD230がフロントウインドシールド10の前方に結像させる表示画像の虚像100を自車の前景の一部に重畳表示させて視認させられ、所謂AR(Augmented Reality)表示が実現される。
The
なお、表示装置23として、HUD230を例に挙げたが、HUD230の他にも、画像を表示する装置を用いる構成としてもよい。例えば、コンビネーションメータ、CID(Center Information Display)等を表示装置23としても良い。
As the
HCU20は、プロセッサ、揮発性メモリ、不揮発性メモリ、I/O、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、HUD230と車内LANとに接続されている。HCU20は、不揮発性メモリに記憶された制御プログラムを実行することにより、HUD230による表示を制御する。このHCU20が車両用表示制御装置に相当する。プロセッサがこの制御プログラムを実行することにより、制御プログラムに対応する車両用表示制御方法が実行される。なお、ここで言うメモリが、コンピュータによって読み取り可能なプログラムおよびデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)に相当する。
The
HCU20は、HUD230での表示制御を行う機能ブロックとして、図3に示すブロック構成とされている。具体的にはHCU20は、撮像画像取得部200、距離方位取得部201、自車位置取得部202、高精度地図取得部203、三次元位置特定部204、視点位置特定部205、不可視領域推定部206および表示生成部207を備える。
The
撮像画像取得部200は、前方カメラ41で逐次撮像する撮像画像をセンシング情報として取得する。距離方位取得部201は、ミリ波レーダ42で逐次測定する対象物の距離および方位角をセンシング情報として取得する。自車位置取得部202は、ADASロケータ3で逐次測位する自車の現在の車両位置を取得する。高精度地図取得部203は、ADASロケータ3の地図DB32に格納されている地図データを取得する。高精度地図取得部203は、観測点別、つまり複数の地点別の道路形状データを含む高精度地図を取得することになる。
The captured
三次元位置特定部204は、運転支援ECU6から伝えられる予定走行ルート情報を取得し、仮想三次元空間上における予定走行ルートの表示位置を特定すると共に、どのように表示するかを特定する。具体的には、三次元位置特定部204は、高精度地図取得部203が取得した地図データと自車位置取得部202が取得した自車の車両位置および撮像画像取得部200や距離方位取得部201で取得した自車周辺のセンシング情報を入力する。そして、三次元位置特定部204は、入力した各種情報に基づいて、仮想三次元空間上において、自車の前方の道路形状などを把握した上で、道路のどの位置にどのように予定走行ルートを描画できるかを特定する。
The three-dimensional
また、三次元位置特定部204は、運転支援ECU6が生成した仮想三次元空間上において、先行車などの対象物が存在していれば、その対象物の三次元位置を特定する。例えば、三次元位置特定部204は、運転支援ECU6で認識する走行環境のうちから対象物を選定して三次元位置を特定している。一例としては、三次元位置特定部204は、自車の回避対象とする障害物を対象物として選定したり、ACC機能で追従させる先行車を対象物として選定したりしている。そして、先行車などの対象物が存在している場合、三次元位置特定部204は、その対象物の位置などを把握した上で、道路のどの位置にどのように予定走行ルートを描画できるかを特定する。例えば、対象物と重ならないようにしつつ、予定走行ルートを描画できる位置を特定すると共に、道路形状に対応してどのように描画するかを特定する。
In addition, if an object such as a preceding vehicle exists in the virtual three-dimensional space generated by the driving
さらに、三次元位置特定部204は、運転支援ECU6から伝えられる、AEBの起動予定表示や起動警告に関する情報を取得し、仮想三次元空間上におけるAEBの起動予定表示や起動警告の表示位置を特定すると共に、どのように表示するかを特定する。そして、対象物として先行車が存在している場合、三次元位置特定部204は、その先行車の位置などを把握した上で、道路や先行車のどの位置にAEBの起動予定表示や起動警告を描画できるかを特定する。AEBの起動予定表示については、例えば先行車の後方における道路上もしくは先行車と重なるような表示位置を特定する。また、AEBの起動警告については、例えば先行車に重なるような表示位置を特定する。
Furthermore, the three-dimensional
視点位置特定部205は、DSM22で逐次検出する視点位置の情報から自車の車両位置を基準とするドライバの視点位置を特定する。例えば、視点位置特定部205は、DSM22で検出する視点位置を、DSM22での視点位置の基準とする位置と自車における車両位置の基準となる位置とのずれをもとに、自車の車両位置を基準とする視点位置に変換する。これにより、自車の車両位置を基準としたドライバの視点位置が特定される。
The viewpoint
不可視領域推定部206は、路面の勾配変化によって自車のドライバから不可視となる不可視領域を推定する。具体的には、不可視領域推定部206は、高精度地図取得部203で取得する高精度地図に高度の情報が含まれている地点のうち自車と対象物との間の地点の高度の情報と、視点位置特定部205で特定する視点位置とをもとに、不可視領域を推定する。
The
表示生成部207は、自車に対する予定走行ルート、AEBの起動予定表示や起動警告の表示を道路や先行車に重畳表示させるための画像データを生成し、この画像データをHUD230に出力する。予定走行ルート、AEBの起動予定表示や起動警告の表示位置は、それらの表示画像が投影領域に投影されたときに、ドライバに視認可能な位置で、かつ、それらの表示画像に基づく虚像が前景中の道路や先行車上に表示されるように設定される。また、予定走行ルートの表示の形状は、道路形状に対応したものに特定されている。これにより、HUD230にて道路に貼り付けるように予定走行ルート、AEBの起動予定表示や起動警告の表示の虚像が重畳表示される。この表示生成部207が表示制御部に相当する。
The
一例としては、表示生成部207は、予定走行ルート、AEBの起動予定表示や起動警告の表示位置と視点位置および予めHCU20の不揮発性メモリに格納されている投影領域の設定位置の位置関係を把握する。そして、表示生成部207は、予定走行ルート、AEBの起動予定表示や起動警告の表示位置、自車と対象物との間の地点の高度、視点および投影領域の位置関係に基づき、各表示を道路や先行車に重畳表示できる虚像の結像位置を幾何学的に算出する。
As an example, the
このとき、表示生成部207は、不可視領域推定部206で推定される不可視領域が存在する場合には、この不可視領域を避けて、予定走行ルート、AEBの起動予定表示や起動警告を重畳表示させる。
At this time, if there is an invisible area estimated by the invisible
以上のようにして、本実施形態の車両用表示システム1が構成されている。続いて、本実施形態の車両用表示システム1のHUD表示制御について、図4に示すフローチャートを参照して運転支援制御と共に説明する。なお、図4に示すフローチャートは、運転支援制御とHUD表示制御の両方を纏めて記載してある。ただし、本フローに示される各処理のうち、車両の運動制御に関する部分は運転支援ECU6で実行され、表示に関する部分は車内LANを通じて運転支援ECU6などとの通信に基づいてHCU20で実行される。また、この図に示す処理の他にも、HUD表示制御の1つとして、HCU20では運転支援ECU6などから伝えられる情報に基づいて、自車を目的地に辿り着かせるための予定走行ルート表示を行っている。この予定走行ルート表示と共に、図4のフローチャートに示す処理について説明する。
The
まず、ドライバが運転支援制御の要求を行い、ナビゲーション装置などを通じて目的地を設定すると、自動運転などの運転支援制御が行われ、自車も走行開始する。これに基づき、運転支援ECU6では、上記のように設定した目的地へ向かわせるための走行計画が設定され、この走行計画に従った予定走行ルート情報がHCU20に伝えられる。この予定走行ルート情報は、自車がどのような経路で走行すれば目的地に辿り着くことができるかを示す情報となっている。HUD230では、予定走行ルートのうちの一部のみを表示することになるが、予定走行ルートは現在の自車の位置から目的地に至る迄の経路として決められている。
First, when the driver makes a request for driving support control and sets a destination through a navigation device or the like, driving support control such as automatic driving is performed, and the vehicle also starts running. Based on this, the driving
一方、HCU20は、周辺監視センサ4の検出結果を入力し、車両の周辺状況を取得する。具体的には、撮像画像取得部200にて、前方カメラ41が逐次撮像したセンシング情報を入力し、それから自車の前方の撮像画像を取得する。また、距離方位取得部201にて、ミリ波レーダ42のセンシング情報を入力し、先行車などの対象物との距離および方位角を取得する。
On the other hand, the
また、HCU20は、ADASロケータ3に備えられたGNSS受信機30や慣性センサ31および地図DB32から各種情報を入力し、自車の車両位置を逐次測位する。具体的には、自車位置取得部202にて、自車の車両位置の情報、つまりGNSS受信機30での受信結果に基づき自車の経緯度に関する情報を取得すると共に、慣性センサ31での検出結果に基づき自車が道路上のどちらを向いているかを取得する。これにより、HCU20は、自車が道路上のどちらを向いているかの情報を含めた自車の車両位置の情報を取得する。また、高精度地図取得部203にて、地図DB32から現在走行中の道路の地図情報など、例えば道路形状や勾配、車線数などの情報を取得する。
In addition, the
さらに、HCU20は、三次元位置特定部204にて、予定走行ルート情報を取得し、周辺監視センサ4やADASロケータ3から得た各種情報に基づき、仮想三次元空間上における予定走行ルートの表示位置などを特定する。すなわち、三次元位置特定部204にて、仮想三次元空間上において、道路に対してどのように予定走行ルートを描画できるかを特定する。
Furthermore, the
また、HCU20は、視点位置特定部205にて、DSM22での検出結果に基づいてドライバの視点位置を特定し、不可視領域推定部206にて、自車のドライバの不可視領域を推定する。これにより、投影領域のうちのどの画角に表示するとドライバが視認しやすいかを割り出す。
The
このように、三次元位置特定部204で仮想三次元空間上にどのように予定走行ルートを描画するかが特定され、不可視領域推定部206にてドライバが視認しやすい領域の割り出しが行われる。そして、表示生成部207において、三次元位置特定部204での特定結果と不可視領域推定部206での推定結果に基づいて、実際にHUD230の投影領域におけるどの画角に予定走行ルートを表示するかを決める。これにより、表示生成部207より、HUD230に対して制御信号を出力してHUD230を制御し、ドライバが視認しやすい領域の画角に予定走行ルートを表示させる。
In this way, the three-dimensional
この場合、図4に示されるように投影領域の所定の画角70において予定走行ルート71の重畳表示が行われる。すなわち、道路に対して、フロントウインドシールド10の前方に結像される虚像で表された一本のライン状の予定走行ルート71が重畳表示される。高速道路などの複数車線存在する道路においては、走行中の車線上に予定走行ルート71が重畳表示される。このようにして、実景の一部に予定走行ルート71を重畳表示させたAR表示が行われ、道路に予定走行ルート71が描画されているかのようにドライバに視認させることができる。なお、ここでは車線が直線状になっている場合を図示してあるが、道路が直線状ではない場合には、その道路形状に沿って予定走行ルート71が描画される。
In this case, as shown in FIG. 4, a
一方、上記のような予定走行ルート表示とは別に、図4のフローチャートに示す処理も所定の制御周期毎に実行されている。 On the other hand, apart from the display of the planned travel route as described above, the processing shown in the flowchart of FIG. 4 is also executed at each predetermined control cycle.
まず、ステップS100では、操作デバイス21に備えられたACCの実行スイッチがオンされているか否かを判定する。本判定は、例えば、ACCの実行スイッチがオンであれば肯定判定、オフであれば否定判定となる。ここで肯定判定されるとステップ105に進み、否定判定されるとステップ135に進む。
First, in step S100, it is determined whether or not the ACC execution switch provided in the
ステップS105では、先行車が存在するか否かを判定する。この判定は、周辺監視センサ4による周辺監視結果に基づいて行われる。そして、ステップS105で肯定判定されるとステップS110に進み、先行車に追従する制御が実行される。すなわち、自車と先行車との車間距離が予め設定された第1所定距離に保たれるように制駆動トルクが調整される。この後、ステップS115に進み、自車と先行車との車間距離が第1所定距離よりも短いか否かが判定され、肯定判定されるまで本ステップの処理を繰り返し、肯定判定されるとステップS125に進む。例えば、先行車が急ブレーキを掛けた場合や先行車と自車両との間に割り込み車両が有った場合には、ステップS115で肯定判定される。
In step S105, it is determined whether or not there is a preceding vehicle. This determination is made based on the result of monitoring the periphery by the
一方、ステップS105で先行車が存在しないと判定された場合には、ステップS120に進み、自車両が衝突しそうな対象物が有るか否かを判定する。この判定も、周辺監視センサ4での周辺監視結果に基づいて行っている。ここでも否定判定された場合には再びステップS100に戻り、肯定判定された場合にはステップS125に進む。
On the other hand, if it is determined in step S105 that there is no preceding vehicle, the process advances to step S120 to determine whether or not there is an object with which the vehicle is likely to collide. This determination is also made based on the peripheral monitoring result of the
ステップS125では、ACCのブレーキ作動が可能な状態であるか否かを判定する。ここで肯定判定されればACCのブレーキを作動させて、先行車や割り込み車両、自車両と衝突しそうな対象物との衝突が回避されるようにすれば良い。このため、ステップS130に進んでACCのブレーキを作動させて処理を終了する。この場合、ACCのブレーキが作動させられることで自車両が減速させられ、先行車もしくは割り込み車両との間の車間距離が再び第1所定距離となるように調整されたり、自車両に衝突しそうな対象物との衝突の危険が回避された上でACCが継続されたりする。そして、ステップS125で否定判定された場合、つまりACCのブレーキの作動では十分ではない場合には、ステップS135に進む。例えば、ACCでは、乗り心地などを考慮してブレーキ力もしくはブレーキにより発生させる減速度に上限値が設定されている場合があり、その上限値を超えるようなブレーキ力もしくは現速度が必要な場合にはステップS125で否定判定される。 In step S125, it is determined whether or not the ACC brake operation is possible. If an affirmative determination is made here, the ACC brake is operated to avoid collision with a preceding vehicle, a cut-in vehicle, or an object that is likely to collide with the own vehicle. Therefore, the process proceeds to step S130, the ACC brake is operated, and the process ends. In this case, the vehicle is decelerated by activating the brake of the ACC, and the inter-vehicle distance to the preceding vehicle or the cut-in vehicle is adjusted to the first predetermined distance again, or the vehicle is likely to collide. ACC is continued after the risk of collision with the object is avoided. If a negative determination is made in step S125, that is, if the ACC braking is not sufficient, the process proceeds to step S135. For example, in ACC, there are cases where an upper limit is set for the braking force or the deceleration generated by the brake in consideration of ride comfort. is negatively determined in step S125.
ステップS135では、先行車もしくは割り込み車両や衝突しそうな対象物との距離が第2所定距離として設定される閾値以下であるか否かを判定する。ここでの閾値は、AEB起動の決定前に、前もってAEBが起動される可能性があることを示す情報、具体的には後述するAEBの起動予定表示の表示開始の判定基準となる値である。 In step S135, it is determined whether or not the distance to the preceding vehicle, the intruding vehicle, or the object likely to collide is equal to or less than a threshold value set as the second predetermined distance. The threshold value here is information indicating that the AEB may be activated in advance before the decision to activate the AEB is made, specifically, a value that serves as a criterion for starting display of an AEB activation schedule display, which will be described later. .
従来は、AEBの起動が決まってから、起動の直前、例えば0.8秒前、先行車との車間距離で言えば14m程度に至ったタイミングでAEBの起動通知を行っていた。このため、どのタイミングでAEBによる制御が起動するのかドライバが感覚的に把握することが難しかった。したがって、本実施形態では、AEB起動の決定前に、AEBの起動予定表示を行い、それをドライバが把握できる余裕があるように、閾値を設定している。閾値については、仮にAEBが起動されるとした場合に、その起動されるタイミングから遡った所定時間、例えば2秒前程度を目安として設定される。例えば、自車が車速60km/hで走行している場合を想定すると、2秒間に約33m走行する。その場合、閾値が33mに設定される。なお、閾値については固定値であっても良いが、例えば自車と先行車との相対速度に応じた可変値であっても良い。 Conventionally, after the AEB activation is determined, the AEB activation notification is given immediately before the activation, for example, 0.8 seconds before, when the inter-vehicle distance to the preceding vehicle is about 14 m. For this reason, it was difficult for the driver to intuitively grasp at what timing the control by the AEB is activated. Therefore, in the present embodiment, the AEB activation schedule is displayed before the AEB activation is determined, and the threshold is set so that the driver can grasp it. Assuming that the AEB is activated, the threshold value is set with reference to a predetermined time, for example, about two seconds before the activation timing. For example, assuming that the vehicle is traveling at a speed of 60 km/h, the vehicle travels about 33 m in 2 seconds. In that case, the threshold is set to 33m. The threshold value may be a fixed value, or may be a variable value according to the relative speed between the own vehicle and the preceding vehicle, for example.
ステップS135で肯定判定されるとステップS140に進み、AEBの起動予定表示が行われるようにする。起動予定表示としては、AEBの起動される予定の場所もしくは起動される予定の時期が挙げられる。AEBの起動される予定の場所、つまり自車がどの場所まで走行するとAEBが起動されるかについてはAEB起動ゾーンとして表示を行う。また、AEBの起動される予定の時期についてはカウントゲージとして表示を行う。AEBの起動される予定の場所や時期については、例えば自車と先行車との相対速度や相対距離に基づいて算出される。 If an affirmative determination is made in step S135, the process proceeds to step S140 to display an AEB activation schedule. The activation schedule display includes the location where the AEB is scheduled to be activated or the time when the AEB is scheduled to be activated. The location where the AEB is scheduled to be activated, that is, the location to which the vehicle should travel to activate the AEB is displayed as an AEB activation zone. Also, the time when the AEB is scheduled to be activated is displayed as a count gauge. The place and time when the AEB is scheduled to be activated are calculated, for example, based on the relative speed and relative distance between the host vehicle and the preceding vehicle.
さらに、本実施形態の場合、本ステップでの処理として先行車と自車との車間距離に基づいて、フロントウインドシールド10の投影領域にAEB起動ゾーンを表示した場合に、先行車と自車との間にAEB起動ゾーンを表示できるか否かを判定している。そして、AEB起動ゾーンを表示できるのであればAEB起動ゾーンを表示し、表示できないのであればカウントゲージを表示するようにしている。
Furthermore, in the case of this embodiment, when the AEB activation zone is displayed in the projection area of the
具体的には、三次元位置特定部204において、仮想三次元空間上でAEB起動ゾーンやカウントゲージをどのように表示するかを特定している。先行車と自車との車間距離が先行車の後方の道路にAEB起動ゾーンを表示できる値であれば、仮想三次元空間上における先行車の後方の道路の形状に合わせてAEB起動ゾーンを表示することが特定される。例えば、自車および先行車の走行車線の車線幅分がAEB起動ゾーンの表示として特定される。また、先行車と自車との車間距離が先行車の後方の道路にAEB起動ゾーンを表示できる値未満であれば、仮想三次元空間上における先行車の位置に合わせてカウントゲージを表示することが特定される。
Specifically, the three-dimensional
AEB起動ゾーンは、AEBが起動される予定の場所を示す表示として、先行車の後方位置から後方、つまり自車に向かう方に伸ばされた表示であり、自車の走行予定の道路に重なるように重畳表示される。AEB起動ゾーンの表示は、自車および先行車が移動しても、所定位置、ここでは先行車の後方位置に表示が維持されることで重畳表示が為される。なお、このとき投影領域のうちのどの画角に起動予定表示を行うかの決定方法については、上記した予定走行ルート表示の際と同様である。また、この起動予定表示を行う際には、それまで行われていた予定走行ルート表示を中断し、予定走行ルート表示に代えて起動予定表示が行われるようにしている。 The AEB activation zone is a display that indicates the location where the AEB is scheduled to be activated, and is a display extending from the rear position of the preceding vehicle toward the vehicle, so that it overlaps the road on which the vehicle is scheduled to travel. is superimposed on the Even if the own vehicle and the preceding vehicle move, the display of the AEB activation zone is superimposed by maintaining the display at a predetermined position, here the position behind the preceding vehicle. At this time, the method of determining which angle of view in the projection area is used to display the start schedule is the same as in the case of displaying the planned travel route described above. When the activation schedule display is performed, the scheduled travel route display that has been performed up to that time is interrupted, and the activation schedule display is performed instead of the scheduled travel route display.
また、本実施形態の場合、AEB起動ゾーンを起動するまでの距離に応じてAEB起動ゾーンの表示態様を変化させている。例えば、図6A~図6Cに示すように、AEB起動ゾーン72を先行車80の後方位置から表示し、距離が短くなるほどAEB起動ゾーン72の表示が濃くなるようにしている。例えば、第1閾値L1とそれよりも短い第2閾値L2を設定し、自車からAEB起動ゾーン72までの距離が第1閾値L1よりも長ければ図6A、第1閾値L1より短く第2閾値L2より長ければ図6B、第2閾値L2より短ければ図6Cとする。このように、AEB起動ゾーン72の表示を距離に応じて変化させることにより、ドライバに対してAEBが起動されるまでの距離が近づいてきたことを視覚的に認識させることができる。このため、例えばドライバにAEBの起動を回避させるための対応を取らせ易くすることができる。
Further, in the case of this embodiment, the display mode of the AEB activation zone is changed according to the distance until the AEB activation zone is activated. For example, as shown in FIGS. 6A to 6C, the
AEBのカウントゲージは、AEBが起動される予定の時期を示す表示であり、先行車80に重畳表示される。先行車80と自車との車間距離が短くなっているような場合には、AEB起動ゾーン72を重畳表示する道路面積が足りず、AEB起動ゾーン72を効果的に表示できない場合がある。このような場合に、先行車80に対してカウントゲージを重畳表示している。AEBのカウントゲージの表示は、自車および先行車80が移動しても、所定位置、ここでは先行車80の位置に表示が維持されることで重畳表示が為される。
The AEB count gauge is a display indicating when the AEB is scheduled to be activated, and is superimposed on the preceding
本実施形態の場合、AEBの起動までの残り時間に応じてカウントゲージを変化させており、例えば図7A、図7Bに示すように、残り時間が短くなるほどAEBのカウントゲージ73が少ない表示となるようにしている。このように、AEBの起動までの残り時間に応じてカウントゲージ73の表示を変化させることによっても、ドライバに対してAEBが起動されるまでの時間が短くなってきたことを視覚的に認識させることができる。このため、例えばドライバにAEBの起動を回避させるための対応を取らせ易くすることができる。
In the case of this embodiment, the count gauge is changed according to the remaining time until AEB activation. For example, as shown in FIG. 7A and FIG. I'm trying Thus, by changing the display of the
この後、ステップS145に進み、ドライバの回避行動が有ったか否かを判定する。ここでいう回避行動とは、ドライバによるステアリング操作やブレーキ操作などを意味している。ステアリング操作やブレーキ操作については、車両制御ECU5で舵角センサやブレーキ踏力センサの検出信号に基づいて検出でき、車両制御ECU5から車内LANを通じてその検出結果を運転支援ECU6やHCU20で取得できる。したがって、その検出結果に基づいて、例えば舵角変化量が所定値以上あった場合やブレーキ踏力が所定値以上あった場合に、本処理で肯定判定されるようにしている。
After that, the process proceeds to step S145, and it is determined whether or not the driver has taken an avoidance action. The evasive action here means steering operation, braking operation, and the like by the driver. Steering operation and braking operation can be detected by the
そして、ステップS145で肯定判定された場合にはステップS150に進み、回避行動に対応した処理を実行する。具体的には、ブレーキ操作が行われた場合にはAEBが起動し得る状況が解除されたと想定されるため、AEBの起動予定表示をオフする。また、ステアリング操作を行った場合には、例えば車線変更などを行うことでAEBが起動し得る状況が解除されることもあり得るが、まだAEBが起動し得る状況が継続している可能性もある。このため、この場合にはステップS140よりも前の処理、例えばステップS135に戻り、再びAEBの起動予定表示を行うべき状況か否かが判定されるなど、上記した処理が繰り返される。 Then, when the determination in step S145 is affirmative, the process proceeds to step S150, and the process corresponding to the avoidance action is executed. Specifically, when the brake operation is performed, it is assumed that the situation in which the AEB can be activated has been resolved, so the AEB activation schedule display is turned off. Also, if the steering operation is performed, the situation in which the AEB can be activated may be canceled by, for example, changing lanes, but there is a possibility that the situation in which the AEB can be activated still continues. be. Therefore, in this case, the process before step S140, for example, the process returns to step S135, and it is determined whether or not the AEB activation schedule should be displayed again, and the above-described processes are repeated.
このとき、例えば前回の処理時よりも自車と先行車80との距離が短くなっていれば、図6Aであった表示が図6Bの表示に変化したり、図6Cであった表示が図7Aの表示に変化したりするなど、その距離に応じて表示が変化し得る。これにより、ドライバに対してよりAEBの起動タイミングが近づいてきたことを認識させられ、よりドライバにAEBの起動を回避させるための対応を取らせやすくすることができる。
At this time, for example, if the distance between the own vehicle and the preceding
一方、ステップS145で否定判定された場合、AEBの起動が決定し、起動予定表示に代えてAEBの起動警告を行うための各種処理を実行する。具体的には、ステップS155に進み、ステア回避が可能か、つまりステアリング操作による回避が実行可能か否かを判定する。この判定は、周辺監視センサ4の検知結果に基づいて行われる。ステアリング操作による回避が実行可能な条件とは、例えば自車と先行車80との相対速度および相対距離に基づいてステアリング操作を行った場合に先行車80と接触することなく回避できることが挙げられる。それに加えて、先行車80以外の周辺車両や自車の周囲における壁などの障害物の存在、車線数などに基づいて、ステアリング操作を行っても障害物に衝突するような状況ではないことなどが挙げられる。
On the other hand, if a negative determination is made in step S145, it is determined that the AEB is to be activated, and instead of displaying the activation schedule, various processes are executed to issue an AEB activation warning. Specifically, the process proceeds to step S155, and it is determined whether steering avoidance is possible, that is, whether avoidance by steering operation can be executed. This determination is made based on the detection result of the
ここで肯定判定されれば、ステップS160に進み、AEBの起動予定表示を終了し、ステア回避を伴うAEB起動を行うのに先だって、回避ルート表示を含むAEBの起動警告を行う。 If the determination here is affirmative, the process proceeds to step S160, where the AEB activation schedule display is ended, and an AEB activation warning including an avoidance route display is performed prior to AEB activation with steering avoidance.
回避ルート表示については、AEB起動時にステアリング操作によってどの方向に自車が曲がるかを表示することでドライバに車両の挙動を認識させるために行う。すなわち、上記ステップS155でステア回避が可能か否かを判定する際に、どの方向にステアリング操作が可能かも判定されるため、そのステアリング操作が可能な方向に向かう回避ルート表示を行う。例えば、図8に示すように、ステアリング操作がされる方向を指示する方向指示印74を表した回避ルート表示を先行車80に対して重畳表示させることができる。勿論、自車と先行車80との間に回避ルート表示を行える距離が空いていれば、道路に対して回避ルート表示を重畳表示しても良い。
The avoidance route display is performed to make the driver aware of the behavior of the vehicle by displaying in which direction the vehicle turns by steering operation when AEB is activated. That is, when it is determined in step S155 whether or not the steering operation can be avoided, the direction in which the steering operation is possible is also determined, so the avoidance route is displayed in the direction in which the steering operation is possible. For example, as shown in FIG. 8, an avoidance route display showing a
AEBの起動警告については、AEBが起動されることをドライバに認識させるために行われる。例えば、音声、振動、シートベルトの締付、LED(Light Emission Diode)の点滅など、聴覚、触覚、視覚などの感覚を通じてAEBの起動警告が行われ、上記した回避ルート表示もAEBの起動警告の一形態に含まれる。 The AEB activation warning is performed to make the driver aware that the AEB will be activated. For example, AEB activation warning is performed through auditory, tactile, visual, and other senses such as sound, vibration, seat belt tightening, LED (Light Emission Diode) flashing, and the above-mentioned avoidance route display is also an AEB activation warning Included in one form.
続けてステップS165に進み、AEBの起動警告から所定時間、例えば0.8秒後にステア回避を伴うAEB起動を行う。具体的には、EPSモータやブレーキアクチュエータに対して制御信号を送り、回避ルート表示を行った方向にステアリング操作させることで先行車80などの対象物との接触を回避し、さらにブレーキ力を発生させて自車を停止させる。この後、自車が対象物と接触することが回避されることでAEBが終了するため、AEBの起動に関わる各種表示やAEBの起動警告について終了し、図4に示す処理も終了する。
Subsequently, the process proceeds to step S165, and after a predetermined time, for example, 0.8 seconds from the AEB activation warning, AEB activation with steering avoidance is performed. Specifically, a control signal is sent to the EPS motor and brake actuator to steer the vehicle in the direction indicated by the avoidance route, thereby avoiding contact with an object such as the preceding
一方、ステップS155で否定判定された場合には、ステップS170に進み、ステア回避が不可能な状況であるため、AEBの起動予定表示に代えて、ステップS160で説明したAEBの起動警告のみを行う。このとき、例えば図9に示すように、AEBによるブレーキ動作が行われることを示す「ブレーキ!」などのブレーキ動作表示75を起動警告表示として行うこともできる。そして、ステップS175に進み、AEBの起動警告から所定時間、例えば0.8秒後に、ステア回避を伴わないAEB起動を行う。具体的には、ブレーキアクチュエータに対して制御信号を送り、ブレーキ力を発生させて自車を停止させる。この後、自車が対象物と接触することが回避されることでAEBが終了するため、AEBの起動に関わる各種表示やAEBの起動警告について終了し、図4に示す処理も終了する。
On the other hand, if a negative determination is made in step S155, the process proceeds to step S170, and since the situation is such that the steering cannot be avoided, only the AEB activation warning described in step S160 is performed instead of the AEB activation schedule display. . At this time, as shown in FIG. 9, for example, a
以上のようにして、運転支援制御およびそれに伴うHUD表示制御が行われる。このような制御を行っていることから、以下に示す効果を奏することができる。 As described above, driving support control and accompanying HUD display control are performed. Since such control is performed, the following effects can be obtained.
(1)AEBの起動警告の前に、AEBの起動される予定の場所もしくは起動される予定の時期を示す起動予定表示を行うようにしている。このため、AEBの起動タイミングをドライバが的確に把握でき、AEBの起動警告というドライバへのAEBの起動の通知に先立ち、ドライバに自らAEBの起動を回避する操作を行わせる余裕を持たせられるようにすることが可能となる。 (1) Before the AEB activation warning, an activation schedule display indicating the location where the AEB is scheduled to be activated or the time when it is scheduled to be activated is displayed. Therefore, the driver can accurately grasp the AEB activation timing, and prior to the notification of the AEB activation to the driver called the AEB activation warning, the driver is allowed to perform an operation to avoid the activation of the AEB. It becomes possible to
(2)AEBの起動予定表示として、AEBの起動される予定の場所をAEB起動ゾーン72とし、AEB起動ゾーン72を道路に対して重畳表示している。このため、ドライバは先行車80に対してどの位置まで近づくとAEBが起動されるかを視覚的に把握できる。
(2) As an AEB activation schedule display, an
(3)また、AEB起動ゾーン72の表示を自車と先行車80との距離に応じて変化させるようにしており、例えば図6A~図6Cに示すように、距離が短くなるほどAEB起動ゾーン72の表示が濃くなるようにしている。このため、ドライバにAEBが起動されるまでの距離が近づいてきたことを視覚的に認識させることができる。
(3) Also, the display of the
(4)AEBの起動予定表示として、AEBの起動される予定の時期をカウントゲージ73とし、カウントゲージ73を先行車80に対して重畳表示している。このため、ドライバはカウントゲージ73を確認することでAEBが起動されるまでの時間が短くなってきたことを視覚的に把握できる。
(4) As an AEB activation schedule display, the time when the AEB is scheduled to be activated is set as a
(5)AEBを起動させる際に、AEBの起動警告としてステア回避が可能な場合にはそのステア回避を行う方向を示す回避ルート表示を先行車80に対して重畳表示している。同様に、AEBの起動警告としてステア回避が不可能な場合にはAEBによるブレーキ動作が行われることを示す表示を行うようにしている。このため、ドライバに対してAEBが起動されることを報知できると共に、ドライバにAEBの起動に対して身構えさせることが可能となる。
(5) When the AEB is activated, if steering avoidance is possible as an AEB activation warning, an avoidance route display indicating the direction in which the steering is to be avoided is superimposed on the preceding
(第2実施形態)
第2実施形態について説明する。本実施形態は、第1実施形態に対してAEB起動ゾーン72の表示方法を変更したものであり、その他については第1実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
(Second embodiment)
A second embodiment will be described. This embodiment differs from the first embodiment in the display method of the
本実施形態では、第1実施形態で説明した図4に示すフローチャート中のステップS140でのAEBの起動予定表示について、自車と先行車80との距離ではなく、AEBを起動した場合に生じる減速度に応じて表示態様を変化させる。 In this embodiment, the display of the AEB activation schedule in step S140 in the flowchart shown in FIG. The display mode is changed according to the speed.
具体的には、ステップS140の処理として、周辺監視センサ4での検知結果に基づいて、AEBを起動した場合に生じる減速度を算出する。これについては、自車の車速と自車と先行車80との距離などに基づいて接触を回避するために必要な減速度を算出している。
Specifically, as the process of step S140, the deceleration caused when the AEB is activated is calculated based on the detection result of the
そして、AEB起動ゾーン72を表示しつつ、AEBを起動した場合に生じる減速度に応じてその表示態様を変化させる。例えば、図10A~図10Cに示すように、減速度が大きくなるほどAEB起動ゾーン72の表示が濃くなるようにしている。例えば、第1閾値G1とそれよりも大きい第2閾値G2を設定し、AEBを起動した場合に生じる減速度が第1閾値G1未満なら図10A、第1閾値G1以上かつ第2閾値G2未満なら図10B、第2閾値G2以上なら図10Cとする。このように、AEB起動ゾーン72の表示を減速度に応じて変化させることにより、ドライバに対してAEBが起動される際に生じる減速度を視覚的に認識させることができる。このため、例えばドライバにAEBの起動を回避させるための対応を取らせ易くすることができる。
While displaying the
(第3実施形態)
第3実施形態について説明する。本実施形態は、第1実施形態に対してステア回避に関する表示の仕方を変更したものであり、その他については第1実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
(Third embodiment)
A third embodiment will be described. This embodiment is different from the first embodiment in the display method related to steering avoidance, and is otherwise the same as the first embodiment. Therefore, only the portions different from the first embodiment will be described.
本実施形態では、AEBの起動予定表示に先だってステア回避可能か否かについて判定するようにし、起動予定表示としてステア回避に関する表示も行えるようにする。具体的には、本実施形態の車両用表示システム1では、図11に示す処理を実行する。
In the present embodiment, it is determined whether or not steering avoidance is possible prior to the display of the AEB activation schedule, and display regarding steering avoidance can also be performed as the activation schedule display. Specifically, in the
まず、図11に示すステップS100~S135については、第1実施形態で説明した図4に示すステップS100~S135と同様の処理を行う。続いて、ステップS136において、図4のステップS155と同様に、ステア回避が可能か否かを判定する。そして、ステップS140のAEBの起動予定表示の際に、ステップS136での判定結果を反映した表示を行うようにする。具体的には、AEBの起動時に、ステア回避が可能と判定された場合に、ステア回避を予定していることを示す表示を行うことで、AEBの起動予定表示とする。例えば、図12に示すように、回避ルートの矢印76を表示する。また、ステア回避を予定していなければ、図6A~図6Cに示す表示を行うことで、AEBの起動予定表示とする。
First, for steps S100 to S135 shown in FIG. 11, the same processes as steps S100 to S135 shown in FIG. 4 described in the first embodiment are performed. Subsequently, in step S136, similarly to step S155 in FIG. 4, it is determined whether or not the steering can be avoided. Then, when the AEB activation schedule is displayed in step S140, the display reflects the determination result in step S136. Specifically, when it is determined that steering avoidance is possible at the time of AEB activation, a display indicating that steering avoidance is planned is displayed to display the AEB activation schedule. For example, as shown in FIG. 12, an
このように、AEBの起動予定表示としてステア回避に関する表示を行うようにしても良い。 In this manner, a display regarding steering avoidance may be displayed as the AEB activation schedule display.
この後の処理については、図11のステップS145~S175において図4のステップS145~S175と同様の処理を行う。なお、ステップS150では、ステップS136で既にステア回避が可能か否かの判定を行っているため、その判定結果を用いて判定を行っても良いし、改めてステア回避が可能か否かを判定するようにしても良い。そして、ステップS155でステア回避可能という判定結果であった場合には、AEBの起動警告として回避ルート表示を行いつつステア回避のためのステアリング動作および車両停止のためのブレーキ動作を行う。この場合のAEBの起動警告の表示としては、例えば図8の表示とすることができる。また、ステップS155でステア回避が可能ではないという判定結果であった場合には、AEBの起動警告を行いつつ、車両停止のためのブレーキ動作を行う。この場合のAEBの起動警告の表示としては、例えば図9の表示とすることができる。 As for subsequent processing, the same processing as steps S145 to S175 in FIG. 4 is performed in steps S145 to S175 in FIG. In step S150, since it has already been determined in step S136 whether or not the steering can be avoided, the determination result may be used to determine whether the steering can be avoided or not. You can do it. If it is determined in step S155 that the steering can be avoided, the steering operation for avoiding the steering and the braking operation for stopping the vehicle are performed while the avoidance route is displayed as an AEB activation warning. In this case, the display of the AEB startup warning can be, for example, the display of FIG. If it is determined in step S155 that the steering cannot be avoided, a braking operation is performed to stop the vehicle while issuing an AEB activation warning. In this case, the display of the AEB activation warning can be, for example, the display of FIG.
(第4実施形態)
第4実施形態について説明する。本実施形態は、第3実施形態に対してAEB起動予定表示を想定される減速度に応じた表示にするものであり、その他については第3実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
(Fourth embodiment)
A fourth embodiment will be described. In contrast to the third embodiment, the present embodiment displays the AEB activation schedule display according to the expected deceleration. Only different parts will be explained.
本実施形態では、第3実施形態で説明した図11に示すフローチャート中のステップS140でのAEBの起動予定表示について、AEBを起動した場合に生じる減速度を加味した表示が行われるようにする。 In the present embodiment, the display of the AEB activation schedule in step S140 in the flowchart shown in FIG. 11 described in the third embodiment is made to take into consideration the deceleration that occurs when the AEB is activated.
具体的には、ステップS140の処理として、第2実施形態と同様に、周辺監視センサ4での検知結果に基づいて、AEBを起動した場合に生じる減速度を算出する。そして、ステップS140でのAEBの起動予定表示を行う際に、ステップS136においてステア回避可能か否かの判定結果に応じた表示を行う。
Specifically, as the process of step S140, the deceleration caused when the AEB is activated is calculated based on the detection result of the
すなわち、ステア回避が可能と判定されていた場合には、回避ルートを矢印で示すと共に、減速度がドライバに作用する方向において表示濃度が徐々に濃くなるグラデーションを付けて示す。すなわち、回避ルート表示にしたがってステアリング操作が行われた場合、そのステアリング操作による車両の旋回方向と逆方向において減速度がドライバに作用する。このため、図13に示すように、回避ルートの矢印76のうちの旋回方向外側の位置を内側や先端部よりも濃くするようなグラデーションとする。
That is, when it is determined that the steering can be avoided, the avoidance route is indicated by an arrow and indicated by a gradation in which the display density gradually increases in the direction in which the deceleration acts on the driver. That is, when the steering operation is performed according to the avoidance route display, deceleration acts on the driver in the direction opposite to the turning direction of the vehicle caused by the steering operation. For this reason, as shown in FIG. 13, the gradation is set such that the outer position of the
また、ステア回避が可能ではないと判定されていた場合、つまりステア回避を行わずにAEBのブレーキ動作のみを行う場合にも、図14に示すように、減速度がドライバに作用することを表す表示77を行い、表示77において減速度の作用する方向をグラデーションで示す。すなわち、ブレーキ動作のみが行われる場合には、ドライバに対して減速度が自車の前方に向かうように作用するため、自車から遠い側において濃くするようなグラデーションとする。
Also, when it is determined that steering avoidance is not possible, that is, when only the AEB brake operation is performed without steering avoidance, deceleration acts on the driver as shown in FIG. A
このように、AEBの起動が行われる際には、ドライバに対して減速度が作用する方向を視覚的に把握できる形態で起動予定表示を行うこともできる。これにより、ドライバは減速度が作用する方向を把握でき、AEBの起動時に身構えることが可能となる。 In this manner, when the AEB is activated, the activation schedule can be displayed in a form that allows the driver to visually grasp the direction in which the deceleration acts. This allows the driver to grasp the direction in which the deceleration will act and prepare himself when the AEB is activated.
(他の実施形態)
本開示は、上記した実施形態に準拠して記述されたが、当該実施形態に限定されるものではなく、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
(Other embodiments)
Although the present disclosure has been described based on the above embodiment, it is not limited to the embodiment, and includes various modifications and modifications within the equivalent range. In addition, various combinations and configurations, as well as other combinations and configurations, including single elements, more, or less, are within the scope and spirit of this disclosure.
一例を挙げると、上記各実施形態では、AEBの起動予定表示としてAEB起動ゾーン72やカウントゲージ73の表示例を示したが、他の表示形態であっても構わない。例えば、先行車80の後方において走行車線の車線幅分にAEB起動ゾーン72の表示を行うようにしたが、車線幅の全域に表示しなくても良い。また、AEBの起動される予定の時期をカウントゲージ73で表示したが、カウント値を示しても良い。
As an example, in each of the above-described embodiments, the display examples of the
また、上記各実施形態では、自車と先行車80との距離が近く、先行車80の後方において道路上にAEB起動ゾーン72の表示が行えない場合にカウントゲージ73の表示が行われるようにしている。しかしながら、これはAEB起動ゾーン72の表示とカウントゲージ73の表示とを併用する場合の一例を示したに過ぎず、これらの一方のみが行われる形態であっても良い。その場合、カウントゲージ73の表示については、自車と先行車80との距離が短い場合には先行車80に重畳表示すれば良く、自車と先行車80との距離に余裕が有る場合には、道路上にカウントゲージ73を重畳表示しても良い。勿論、回避ルートの矢印76など、他の表示についても、自車と先行車80との距離が道路に表示できる余裕が有るか否かに応じて、道路に重畳表示するか先行車80に重畳表示するかを選択すれば良い。
In each of the above-described embodiments, the
また、道路上にAEB起動ゾーン72の表示が行えない場合、先行車80に重畳表示されるカウントゲージ73や方向指示印74については、先行車80に重畳表示せずに、例えば単なるアイコンとして表示してもよい。
Further, when the
また、上記各実施形態では、車両の運動制御に関する部分運転支援ECU6で実行され、表示に関する部分はHCU20で実行される場合について説明した。しかしながら、HCU20において、表示に関する部分のみしか行わないという意味では無く、車両の運動制御に用いられる情報を用いた各種演算や判定などを行っても良い。一例を挙げると、図4のフローチャート中のステップS135のような自車と対象物との距離が閾値以下であるかの判定、ステップS155のようなステア回避が可能か否かの判定など、HCU20で実行されるようにしても良い。
Further, in each of the above-described embodiments, a case has been described in which the partial
また、上記実施形態では、HCU20に備えられる各機能部の構成例を示したが、必ずしも上記実施形態で示した構成例通りでなくても良い。例えば、各機能部が別々に備えられている必要はなく、複数の機能部が1つの共通する機能部として構成されていても良いし、1つの機能部が複数に分かれていても良い。一例を示すと、三次元位置特定部204は、予想軌跡コンテンツとなる予定走行ルート71、AEBの起動予定表示、起動警告の表示位置等を特定する機能に加えて、これらに関する情報を取得する情報取得部としての機能も備えている。これらが別々の機能部として存在していても良い。
Also, in the above-described embodiment, an example of the configuration of each functional unit provided in the
なお、本開示に記載の表示制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の表示制御部およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の表示制御部およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。 It should be noted that the display controller and techniques thereof described in the present disclosure may be provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. It may be realized by Alternatively, the display controller and techniques described in this disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits. Alternatively, the display controller and techniques described in this disclosure are a combination of a processor and memory programmed to perform one or more functions and a processor configured by one or more hardware logic circuits. may be implemented by one or more dedicated computers configured by The computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible recording medium.
1…車両用表示システム、2…HMIシステム、3…ADASロケータ、4…周辺監視センサ、5…車両制御ECU、6…運転支援ECU、10…フロントウインドシールド、70…画角、71…予定走行ルート、72…AEB起動ゾーン、73…カウントゲージ、74…方向指示印、75…ブレーキ動作表示、76…回避ルーツの矢印、77…減速度の表示、200…撮像画像取得部、201…距離方位取得部、202…自車位置取得部、203…高精度地図取得部、204…三次元位置特定部、205…視点位置特定部、206…不可視領域推定部、207…表示生成部、230…HUD装置
1... vehicle display system, 2... HMI system, 3... ADAS locator, 4... periphery monitoring sensor, 5... vehicle control ECU, 6... driving support ECU, 10... front windshield, 70... angle of view, 71... scheduled run
Claims (14)
前記衝突被害軽減ブレーキが起動される予定の場所もしくは起動される予定の時期を示す起動予定表示に関する情報を取得する情報取得部(204)と、
前記表示装置にて、前記衝突被害軽減ブレーキの起動が前記衝突被害軽減ブレーキを実行する運転支援制御装置(6)により決定される前に、前記起動予定表示を、前記自車と前記対象物との間の道路もしくは前記対象物に対して重畳表示させる表示制御部(207)を備えている、車両用表示制御装置。 Applied to a vehicle that activates a collision damage mitigation brake to avoid contact with an object in front of the vehicle, and controls a display device (230) to superimpose content on the foreground of the vehicle. A vehicle display control device for displaying,
an information acquisition unit (204) for acquiring information related to an activation schedule display indicating a place or time when the collision damage mitigation brake is scheduled to be activated;
In the display device, before activation of the collision damage mitigation brake is determined by a driving support control device (6) that executes the collision damage mitigation brake , the activation schedule display is displayed on the vehicle and the object. A display control device for a vehicle, comprising a display control unit (207) that superimposes display on a road between or the object.
道路形状データを含む地図データを取得する高精度地図取得部(203)と、
前記自車位置取得部が取得した前記車両位置と前記高精度地図取得部で取得する前記地図データとを用いて、仮想三次元空間上において、前記道路もしくは前記対象物での前記起動予定表示の表示位置および該起動予定表示をどのように描画するかを特定する三次元位置特定部(204)と、を有し、
前記表示制御部は、前記三次元位置特定部での特定結果に基づいて、前記道路もしくは前記対象物に対して前記起動予定表示を重畳表示させる、請求項1に記載の車両用表示制御装置。 an own vehicle position acquisition unit (202) for acquiring the current vehicle position of the own vehicle;
a high-precision map acquisition unit (203) for acquiring map data including road shape data;
Using the vehicle position acquired by the vehicle position acquisition unit and the map data acquired by the high-precision map acquisition unit, the activation schedule display on the road or the object in the virtual three-dimensional space is performed. a three-dimensional position specifying unit (204) for specifying a display position and how to draw the activation schedule display;
2. The vehicle display control device according to claim 1, wherein said display control unit superimposes and displays said activation schedule display on said road or said object based on a result of identification by said three-dimensional position identification unit.
前記衝突被害軽減ブレーキが起動される予定の場所もしくは起動される予定の時期を示す起動予定表示に関する情報を取得することと、
前記表示装置にて、前記衝突被害軽減ブレーキの起動が前記衝突被害軽減ブレーキを実行する運転支援制御装置(6)により決定される前に、前記起動予定表示を、前記自車と前記対象物との間の道路もしくは前記対象物に対して重畳表示させることと、を行う、車両用表示制御方法。 Applied to a vehicle that activates a collision damage mitigation brake to avoid contact with an object in front of the vehicle, and controls a display device (230) to superimpose content on the foreground of the vehicle. A display control method for a vehicle that causes
Acquiring information related to an activation schedule display that indicates the location or timing at which the collision damage mitigation brake is scheduled to be activated;
In the display device, before activation of the collision damage mitigation brake is determined by a driving support control device (6) that executes the collision damage mitigation brake , the activation schedule display is displayed on the vehicle and the object. and superimposing the display on the road between or on the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019137311A JP7263962B2 (en) | 2019-07-25 | 2019-07-25 | VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019137311A JP7263962B2 (en) | 2019-07-25 | 2019-07-25 | VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021020518A JP2021020518A (en) | 2021-02-18 |
JP7263962B2 true JP7263962B2 (en) | 2023-04-25 |
Family
ID=74575042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019137311A Active JP7263962B2 (en) | 2019-07-25 | 2019-07-25 | VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7263962B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11634071B2 (en) * | 2021-01-12 | 2023-04-25 | Ford Global Technologies, Llc | Trailer sideswipe avoidance system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034684A (en) | 2005-07-27 | 2007-02-08 | Nissan Motor Co Ltd | Obstacle display device for vehicle |
JP2015170233A (en) | 2014-03-10 | 2015-09-28 | 日立オートモティブシステムズ株式会社 | System for avoiding collision/crash with multiple mobile bodies |
JP2016104603A (en) | 2014-12-01 | 2016-06-09 | 日本精機株式会社 | Display system for vehicle |
WO2018056058A1 (en) | 2016-09-26 | 2018-03-29 | 富士フイルム株式会社 | Projection-type display device, projection display method, and projection display program |
WO2018062477A1 (en) | 2016-09-30 | 2018-04-05 | パイオニア株式会社 | Vehicle-mounted device, control method, and program |
WO2018168418A1 (en) | 2017-03-14 | 2018-09-20 | パイオニア株式会社 | Display device, display method, and program |
-
2019
- 2019-07-25 JP JP2019137311A patent/JP7263962B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007034684A (en) | 2005-07-27 | 2007-02-08 | Nissan Motor Co Ltd | Obstacle display device for vehicle |
JP2015170233A (en) | 2014-03-10 | 2015-09-28 | 日立オートモティブシステムズ株式会社 | System for avoiding collision/crash with multiple mobile bodies |
JP2016104603A (en) | 2014-12-01 | 2016-06-09 | 日本精機株式会社 | Display system for vehicle |
WO2018056058A1 (en) | 2016-09-26 | 2018-03-29 | 富士フイルム株式会社 | Projection-type display device, projection display method, and projection display program |
WO2018062477A1 (en) | 2016-09-30 | 2018-04-05 | パイオニア株式会社 | Vehicle-mounted device, control method, and program |
WO2018168418A1 (en) | 2017-03-14 | 2018-09-20 | パイオニア株式会社 | Display device, display method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021020518A (en) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10293748B2 (en) | Information presentation system | |
US20220121200A1 (en) | Automatic driving system | |
US9902399B2 (en) | Vehicle travelling control device for controlling a vehicle in traffic | |
JP6544320B2 (en) | Control system and control method of autonomous driving vehicle | |
US20160304126A1 (en) | Vehicle control device | |
US9896098B2 (en) | Vehicle travel control device | |
US20160214612A1 (en) | Autonomous driving device | |
US20170028995A1 (en) | Vehicle control apparatus | |
US11755022B2 (en) | Vehicle control device | |
JP6512194B2 (en) | Control system and control method of autonomous driving vehicle | |
US12112085B2 (en) | Vehicle display control device, vehicle display control method, and vehicle display control program product | |
JP2020077266A (en) | Vehicle control device | |
US20160264087A1 (en) | Vehicle movement control device, non-transitory computer readable medium, and vehicle | |
JP7400242B2 (en) | Vehicle display control device and vehicle display control method | |
JP7263962B2 (en) | VEHICLE DISPLAY CONTROL DEVICE AND VEHICLE DISPLAY CONTROL METHOD | |
JP2023112053A (en) | Image processing device | |
JP7302311B2 (en) | Vehicle display control device, vehicle display control method, vehicle display control program | |
US11491986B2 (en) | Moving body control apparatus, moving body, and moving body control method | |
US11097734B2 (en) | Vehicle control device, vehicle, and vehicle control method | |
JP2021037895A (en) | Display control system, display control device, and display control program | |
JP2021028587A (en) | In-vehicle display control device | |
JP2021037894A (en) | Display control device and display control program | |
JP7172730B2 (en) | Vehicle display control device, vehicle display control method, vehicle display control program | |
JP2020040533A (en) | Travel control system for vehicle | |
JP7367380B2 (en) | Display control device and display control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230327 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7263962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |