JP6958229B2 - 走行支援装置 - Google Patents

走行支援装置 Download PDF

Info

Publication number
JP6958229B2
JP6958229B2 JP2017205328A JP2017205328A JP6958229B2 JP 6958229 B2 JP6958229 B2 JP 6958229B2 JP 2017205328 A JP2017205328 A JP 2017205328A JP 2017205328 A JP2017205328 A JP 2017205328A JP 6958229 B2 JP6958229 B2 JP 6958229B2
Authority
JP
Japan
Prior art keywords
vehicle
symbol
unit
locus
future
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017205328A
Other languages
English (en)
Other versions
JP2019079242A (ja
Inventor
真貴 森
武藤 健二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017205328A priority Critical patent/JP6958229B2/ja
Publication of JP2019079242A publication Critical patent/JP2019079242A/ja
Application granted granted Critical
Publication of JP6958229B2 publication Critical patent/JP6958229B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、車両の走行支援を行う走行支援装置に関するものである。
特許文献1には、隣接する車両のGPSデータ,車両動特性,車両速度,長手方向加速度,横方向加速度,ヨーレート,操舵角といった情報を通信によって取得し、自車と他車とのこれらの情報から予測した走行軌跡が交差することに基づいて警告等を行う技術が開示されている。
特表2009−537367号公報
しかしながら、特許文献1に開示の技術では、GPSデータ,車両動特性,車両速度,長手方向加速度,横方向加速度,ヨーレート,操舵角といった数値的特徴量を有する車両挙動に関する情報をそのまま走行軌跡の予測に用いるため、この数値的特徴量による車両の挙動への影響を個々に計算して走行軌跡を予測しなければならない。よって、予測にかかる処理負荷が大きくなってしまう問題点がある。また、他車両の車両挙動に関する情報を利用しようとする場合には、このような複数種類の車両挙動に関する情報を他車両と通信によって送受信するため、通信量が多くなってしまい、通信負荷が大きくなってしまう問題点も生じる。
この開示のひとつの目的は、走行支援のための負荷をより低減することを可能にする走行支援装置を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
上記目的を達成するために、本開示の走行支援装置は、車両で用いられ、自車周辺の障害物を回避するための走行支援を行う走行支援部(213)を備える走行支援装置であって、自車の挙動に関する数値的特徴量を有する挙動関連情報を逐次取得する挙動取得部(201)と、挙動取得部で取得する挙動関連情報を、離散化によって記号的特徴量を有する記号情報に逐次変換する記号変換部(204)と、記号変換部で過去に得られた記号情報から将来の記号情報を予測する記号予測部(208)と、記号予測部で予測する将来の記号情報から将来の走行軌跡を予測する軌跡予測部(211)と、軌跡予測部で予測する将来の走行軌跡を用いて自車が回避対象とする障害物を特定する回避対象特定部(212)とを備え、走行支援部は、回避対象特定部で自車が回避対象とする障害物と特定する障害物を回避するための走行支援を行う。
これによれば、自車の挙動に関する数値的特徴量を有する挙動関連情報を、離散化によって記号的特徴量を有する記号情報に変換した過去の記号情報から、将来の記号情報を予測し、その将来の記号情報から将来の走行軌跡を予測することになる。よって、数値的特徴量を有する挙動関連情報をそのまま用いて将来の走行軌跡を予測するのに比べ、挙動関連情報よりも単純化された記号情報を用いて将来の走行軌跡を予測する分だけ、予測にかかる処理負荷を低減することが可能になる。従って、将来の走行軌跡を用いて回避対象とする障害物を特定し、この障害物を回避するための走行支援を行う場合に、この走行支援のための負荷をより低減することが可能になる。
支援システム100の概略的な構成の一例を示す図である。 車両側ユニット1の概略的な構成の一例を示す図である。 走行支援ECU2の概略的な構成の一例を示す図である。 自車と他車との将来の走行軌跡の一例を示す図である。 自車が回避対象とする障害物の特定の一例を説明するための図である。 走行支援ECU2での記号予測DB更新関連処理の流れの一例を示すフローチャートである。 走行支援ECU2での記号予測関連処理の流れの一例を示すフローチャートである。 走行支援ECU2での走行軌跡DB更新関連処理の流れの一例を示すフローチャートである。 走行支援ECU2での軌跡予測関連処理の流れの一例を示すフローチャートである。 走行支援ECU2での回避対象特定関連処理の流れの一例を示すフローチャートである。
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
(実施形態1)
<支援システム100の概略構成>
以下、本実施形態について図面を用いて説明する。図1に示す支援システム100は、複数の車両の各々で用いられる車両側ユニット1を含んでいる。各車両で用いられる車両側ユニット1は、無線通信によって通信を行うことができるものとする。ここで言うところの車両は、例えば自動車であるものとして以降の説明を行うが、自動車以外の車両に適用する構成としてもよい。
<車両側ユニット1の概略構成>
車両側ユニット1は、図2に示すように、走行支援ECU2、通信機3、ロケータ4、地図データベース(以下、DB)5、車両状態センサ6、車両制御ECU7、HMI(Human Machine Interface)システム8、及び周辺監視センサ9を含んでいる。走行支援ECU2、通信機3、ロケータ4、地図DB5、車両状態センサ6、車両制御ECU7、及びHMI(Human Machine Interface)システム8は、例えば車内LANに接続されているものとする。
通信機3は、他車で用いられる車両側ユニット1の通信機3、路側に設置された路側機、若しくは自車の外部のセンタとの間で情報を送受信する通信を行う。通信機3は、送信部30及び受信部31を備え、送信部30が情報を送信し、受信部31が情報を受信する。
以降では、他車で用いられる車両側ユニット1の通信機3との無線通信を車車間通信、路側機との無線通信を路車間通信、センタとの通信を広域通信と呼ぶものとする。車車間通信及び路車間通信は、例えば700MHz帯,760MHz帯,2.4GHz帯,5.9GHz帯等の電波を利用して行う構成とすればよい。また、広域通信は、携帯電話網,インターネット等の公衆通信網を介して行う構成とすればよい。なお、広域通信によってセンタを介して異なる車両の通信機3同士が情報を送受信する場合には、車両位置を含んだ情報を送受信することで、センタにおいてこの車両位置をもとに、一定範囲内の車両の通信機3同士で情報が送受信されるように調整することが好ましい。
ロケータ4は、例えばGNSS(Global Navigation Satellite System)受信機及び慣性センサを備えている。GNSS受信機は、複数の人工衛星からの測位信号を受信する。慣性センサとしては、例えばヨーレートを検出するジャイロセンサ及び加速度を検出する加速度センサを用いる構成とすればよい。ロケータ4は、GNSS受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、ロケータ4を搭載した自車の車両位置を逐次測位する。なお、車両位置の測位には、自車に搭載された車速センサから逐次出力される信号から求めた走行距離を用いる構成としてもよい。
地図DB5は、例えば不揮発性メモリであって、リンクデータ,ノードデータ,道路形状,構造物等の地図データを格納している。リンクデータは、リンクを特定するリンクID,リンクの長さを示すリンク長,リンク方位,リンク旅行時間,リンクの形状情報,リンクの始端と終端とのノード座標(緯度/経度),道路種別等の各データから構成される。なお、地図データは、道路形状及び構造物の特徴点の点群からなる三次元地図を含む構成であってもよい。また、地図データは、通信機3を介して自車の外部から取得する構成としてもよい。
なお、地図データとして、道路形状及び構造物の特徴点の点群からなる三次元地図を用いる場合、ロケータ4は、GNSS受信機を用いずに、この三次元地図と、道路形状及び構造物の特徴点の点群を検出するLIDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)等の周辺監視センサ9での検出結果とを用いて、自車の車両位置を特定する構成としてもよい。
車両状態センサ6は、自車の走行状態,操作状態等の各種状態を検出するためのセンサ群である。車両状態センサ6としては、自車の車速を検出する車速センサ,自車のステアリングの操舵角を検出する舵角センサ,自車のアクセルペダルの開度(以下、アクセル開度)を検出するアクセルポジションセンサ,自車のブレーキペダルの踏み込み量を検出するブレーキ踏力センサ等がある。車両状態センサ6は、検出結果を車内LANへ出力する。なお、車両状態センサ6での検出結果は、自車に搭載されるECUを介して車内LANへ出力される構成であってもよい。
車両制御ECU7は、自車の加減速制御及び/又は操舵制御を行う電子制御装置である。車両制御ECU7としては、操舵制御を行う操舵ECU,加減速制御を行うパワーユニット制御ECU及びブレーキECU等がある。
HMIシステム8は、HCU(Human Machine Interface Control Unit)80、表示装置81、及び音声出力装置82を備えている。HMIシステム8は、自車のドライバに向けて情報を提示したりする。
表示装置81としては、例えばコンビネーションメータ、CID(Center Information Display)、HUD(Head-Up Display)、LED等がある。コンビネーションメータは、運転席の前方に配置される。CIDは、車室内にてセンタクラスタの上方に配置される。HUDは、HCU80から取得した画像データに基づく画像の光を、ウインドシールド,コンバイナ等に規定された投影領域に投影する。この投影領域によって車室内側に反射された画像の光は、運転席に着座するドライバによって知覚され、ドライバは、HUDによって投影された画像の虚像を、自車前方の外界風景と重ねて視認可能となる。LEDは、インストルメントパネル等のドライバの目に付く位置に配置され、HCU80によって発光が制御される。音声出力装置82としては、例えば音声を出力するオーディオスピーカ,音を出力するブザー等がある。HCU80は、表示装置81に表示を行わせたり、音声出力装置82から音声出力を行わせたりする電子制御装置である。
周辺監視センサ9は、歩行者、人間以外の動物、自転車、オートバイ、及び他車等の移動物体、さらに路上の落下物、ガードレール、縁石、及び樹木等の静止物体といった自車周辺の障害物を検出する。他にも、自車周辺の走行区画線、停止線等の路面標示を検出する。周辺監視センサ9としては、自車の周辺の所定範囲を撮像範囲とする周辺監視カメラ90を用いる構成とすればよい。周辺監視センサ9としては、ミリ波レーダ,ソナー,LIDAR(Light Detection and Ranging/Laser Imaging Detect ion and Ranging)等を用いる構成としてもよい。周辺監視カメラ90は、逐次撮像する撮像画像をセンシング情報として走行支援ECU2へ逐次出力する。ソナー,ミリ波レーダ,LIDAR等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として走行支援ECU2へ逐次出力する。
走行支援ECU2は、プロセッサ、メモリ、I/O、これらを接続するバスを備え、メモリに記憶された制御プログラムを実行することで自車の走行支援に関する各種の処理を実行する。プロセッサがこの制御プログラムを実行することは、制御プログラムに対応する方法が実行されることに相当する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体(non- transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。この走行支援ECU2が走行支援装置に相当する。走行支援ECU2での処理の詳細については後述する。
<走行支援ECU2の概略構成>
続いて、図3を用いて、走行支援ECU2の概略構成について説明を行う。走行支援ECU2は、挙動取得部201、参考情報取得部202、挙動記号DB203、記号変換部204、他車情報取得部205、記号予測DB206、第1更新部207、記号予測部208、走行軌跡DB209、第2更新部210、軌跡予測部211、回避対象特定部212、及び走行支援部213を機能ブロックとして備えている。なお、挙動記号DB203,記号予測DB206,走行軌跡DB209は、電気的に書き換え可能な不揮発性メモリによって実現すればよい。
なお、走行支援ECU2が実行する機能の一部または全部を、1つあるいは複数のIC等によりハードウェア的に構成してもよい。また、走行支援ECU2が備える機能ブロックの一部又は全部を、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現してもよい。また、挙動記号DB203,記号予測DB206,走行軌跡DB209は、走行支援ECU2に備えられるメモリによって実現する構成に限らず、走行支援ECU2の外部に接続される記憶装置によって実現する構成としてもよい。
挙動取得部201は、ロケータ4の慣性センサ,車両状態センサ6で検出する自車の挙動に関する数値的特徴量を有する挙動関連情報を逐次取得する。挙動関連情報としては、ジャイロセンサで検出するヨーレート,加速度センサで検出する加速度,車速センサで検出する車速,舵角センサで検出する操舵角,アクセルポジションセンサで検出するアクセル開度,ブレーキ踏力センサで検出するブレーキの踏み込み量等がある。加速度センサで検出する加速度としては、前後加速度,横加速度等がある。
参考情報取得部202は、ロケータ4,地図DB5,周辺監視センサ9等から各種の情報を取得する。例えば、ロケータ4から自車の車両位置を取得したり、地図DB5から地図データを取得したりする。また、周辺監視センサ9から自車周辺の撮像画像,自車周辺の物体の情報を取得する。自車周辺の物体の情報としては、例えば周辺監視センサ9で得られたセンシング情報から物体の種類,自車と物体との距離,自車に対する物体の相対速度等の周辺物体属性を推定して取得する構成とすればよい。物体の種類については、センシング情報のうちの撮像画像をもとにパターンマッチング等を行うことで推定すればよい。他にも、自車を運転中のドライバを識別するための識別子(以下、ドライバID)を取得する構成としてもよい。一例として、ドライバIDは、例えば自車の車室内で照合が成立している電子キーのコードを、ドライバIDとして取得する構成とすればよい。
挙動記号DB203は、挙動関連情報を、記号的特徴量を有する記号情報である挙動記号に変換するのに必要な、記号のパターン情報が格納されている。記号変換部204は、挙動取得部201で逐次取得する時系列データとしての挙動関連情報に対して離散化を行う。離散化には、例えば階層ディリクレ過程隠れマルコフモデル,一般的な隠れマルコフモデル,N次マルコフモデル,階層マルコフモデル,スイッチングARモデル,スイッチングカルマンフィルタモデル等を用いればよい。そして、記号変換部204は、離散化によって区分けされた挙動関連情報を、挙動記号DB203に格納されているパターン情報をもとにして記号に変換する。これにより、数値的特徴量を有する挙動関連情報を、自車の運転シーン別にまとめた記号に簡潔化することができる。
記号変換部204は、複数種類の挙動関連情報をまとめて、この複数種類の挙動関連情報の組に対応する1つの挙動記号に変換することが好ましい。また、記号変換部204は、離散化によって得られた記号列を、運転シーンを意味する記号列ごとに分節化し、同じ分節内の挙動記号を統合して新たな挙動記号にまで変換することが好ましい。この構成を採用する場合には、数値的特徴量を有する挙動関連情報を、自車の運転シーンの変化別にまとめた記号に簡潔化することができる。また、この構成を採用する場合には、分節内の記号を統合して新たな記号に変換するためのパターン情報を挙動記号DB203に格納しておく構成とすればよい。
記号変換部204で逐次変換する自車の挙動記号は、送信部30から送信する構成とすればよい。送信部30から自車の挙動記号を送信する場合には、自車の車両位置,自車を識別するための識別(以下、車両ID)等も送信する構成とすればよい。送信部30から送信した自車の挙動記号等の情報は、送信部30の通信範囲内に位置する他車の通信機3の受信部31で受信されることになる。
他車情報取得部205は、受信部31で受信した、他車で用いられる車両側ユニット1の通信機3から送信されてくるこの他車についての情報を取得する。他車情報取得部205で取得する他車の情報としては、他車の記号変換部204で変換されたその他車の挙動記号,他車のロケータ4で測位したその他車の車両位置,その他車の車両ID等が挙げられる。
記号予測DB206は、将来の挙動記号の予測に必要な情報を格納している。この記号予測DB206が記号予測用格納部に相当する。一例としては、記号予測DB206は、記号変換部204で逐次変換される時系列データとしての挙動記号の記号列のパターン別に、そのパターンの記号列に続いて過去に記号変換部204で得られた挙動記号とその頻度とが定義された対応関係(以下、記号予測対応関係)を格納している。記号予測対応関係の詳細については後述する。
また、記号予測DB206は、将来の挙動記号の予測精度を向上させるための情報も格納していることが好ましい。一例として、車両の走行環境に関する情報別,ドライバ別に車両の挙動の傾向が定義された情報(以下、傾向情報)を格納する構成とすればよい。車両の走行環境に関する情報の一例としては、車両周辺の物体の種類,車両とその車両周辺の物体との距離,車両に対するその車両周辺の物体の相対速度,車両に対する他車の挙動といった、車両の運転に影響を生じさせる周辺の物体の情報が挙げられる。他にも、車両の走行地点の情報が挙げられる。
車両の走行環境に関する情報別,ドライバ別の挙動の傾向の一例としては、以下が挙げられる。例えば、車両の左右のうち、壁等の障害物が存在する側には車線変更を行わない傾向が挙げられる。他にも、右折レーンの存在する交差点に近接している場合に右側への車線変更を行いやすい傾向が挙げられる。また、右後方の他車が接近していきている場合に右側への車線変更が行われにくい傾向が挙げられる。さらに、特定のドライバの急ブレーキを多用する傾向等も挙げられる。
第1更新部207は、記号変換部204で逐次変換される挙動記号をもとに、記号予測DB206に格納される記号予測対応関係を逐次更新する。第1更新部207での記号予測対応関係の更新の詳細については後述する。
記号予測部208は、記号変換部204で逐次変換された自車の過去の挙動記号から自車の将来の挙動記号を予測する。一例としては、直近の過去に記号変換部204で得られたn個の挙動記号の記号列(つまり、n‐gram)をもとに、記号予測DB206に格納している記号予測対応関係において、この記号列の後に記号変換部204で最も高頻度に得られた種類の挙動記号を、将来の挙動記号として予測する構成とすればよい。つまり、過去の挙動記号の記号列での挙動記号の変遷の傾向から将来の挙動記号を予測する。また、記号予測部208は、他車情報取得部205で取得した他車の過去の挙動記号からも、同様にして他車の将来の挙動記号を予測する。なお、記号予測部208は、過去の挙動記号から将来の挙動記号を予測できる方法であれば、上述した以外の方法によって将来の挙動記号を予測する構成としてもよい。
また、記号予測部208は、記号変換部204で逐次変換された過去の挙動記号に加え、参考情報取得部202で取得する情報、若しくは他車情報取得部205で取得する他車の情報も補強的に用いて、自車の将来の挙動記号の予測精度を向上させてもよい。この場合、記号予測DB206に格納している傾向情報を参照して、参考情報取得部202で取得する情報、若しくは他車情報取得部205で取得する他車の情報に対応する傾向を特定すればよい。そして、例えば特定した傾向に合致した挙動記号の頻度に重み付けを行うことで、特定した傾向に合致した挙動記号が将来の挙動記号と予測されやすくすればよい。
例えば、参考情報取得部202で取得する、周辺監視カメラ90で撮像した自車周辺の撮像画像をもとに、記号予測DB206に格納している傾向情報を参照して、この撮像画像が示す自車の走行環境に対応する自車の挙動の傾向を特定すればよい。また、参考情報取得部202で取得する、周辺監視センサ9で得られたセンシング情報から推定される物体の種類,自車と物体との距離,自車に対する物体の相対速度等の周辺物体属性をもとに、記号予測DB206に格納している傾向情報を参照して、この周辺物体属性が示す自車の走行環境に対応する自車の挙動の傾向を特定してもよい。さらに、他車情報取得部205で取得する、他車の挙動記号及び他車の車両位置をもとに、記号予測DB206に格納している傾向情報を参照して、この他車の挙動記号及び他車の車両位置から特定される自車に対する他車の挙動に対応する自車の挙動の傾向を特定してもよい。これらによれば、自車の挙動に影響のある周辺の情報を考慮して、将来の挙動記号の予測精度を向上させることが可能になる。
また、参考情報取得部202で取得する、地図データ及びロケータ4で測位した自車の車両位置をもとに、記号予測DB206に格納している傾向情報を参照して、この地図上の自車の車両位置が示す自車の走行環境に対応する自車の挙動の傾向を特定してもよい。これによれば、自車の走行地点による自車の挙動の偏りを考慮して、将来の挙動記号の予測精度を向上させることが可能になる。他にも、他車情報取得部205で取得する、ドライバIDをもとに、記号予測DB206に格納している傾向情報を参照して、このドライバIDが示すドライバに対応する自車の挙動の傾向を特定してもよい。これによれば、ドライバによる自車の挙動の偏りを考慮して、将来の挙動記号の予測精度を向上させることが可能になる。
走行軌跡DB209は、挙動記号から走行軌跡を予測する際に参照する、挙動記号別に代表的な走行軌跡が対応付けられた情報(以下、軌跡予測用対応関係)を格納している。この走行軌跡DB209が軌跡予測用格納部に相当する。一例として、軌跡予測用対応関係では、記号変換部204で変換された過去の挙動記号と、その挙動記号に対応する走行区間での自車の走行軌跡とから、挙動記号別に最も通過し得る車両周辺の領域を、その挙動記号に対する代表的な走行軌跡として定義している構成とすればよい。軌跡予測用対応関係の詳細については後述する。
第2更新部210は、記号変換部204で逐次変換される挙動記号をもとに、走行軌跡DB209に格納される軌跡予測用対応関係を逐次更新する。第2更新部210での軌跡予測用対応関係の更新の詳細については後述する。
軌跡予測部211は、記号予測部208で予測した自車の将来の挙動記号をもとに、走行軌跡DB209に格納している軌跡予測用対応関係を参照して、自車の将来の挙動記号に対応する走行軌跡を、自車の将来の走行軌跡として予測する。また、軌跡予測部211は、記号予測部208で予測した他車の将来の挙動記号をもとに、走行軌跡DB209に格納している軌跡予測用対応関係を参照して、他車の将来の挙動記号に対応する走行軌跡を、他車の将来の走行軌跡として予測する。一例として、将来の走行軌跡は、図4のA,Bに示すように、基準とする車両の周囲を所定間隔で区分したグリッドのうちの、将来の走行軌跡と重なるグリッドで定義する構成とすればよい。図4のAが自車の将来の走行軌跡の一例を示しており、Bが他車の将来の走行軌跡の一例を示している。
回避対象特定部212は、軌跡予測部211で予測する将来の走行軌跡を用いて自車が回避対象とする障害物を特定する。回避対象特定部212は、軌跡予測部211で予測する自車の将来の走行軌跡と他車の将来の走行軌跡とを用いて、自車が回避対象とする他車を特定すればよい。これによれば、他車の将来の走行軌跡を考慮することで、より精度良く回避対象を特定することが可能になる。
また、回避対象特定部212は、軌跡予測部211で予測する自車の将来の走行軌跡と、参考情報取得部202で取得した自車周辺の物体の位置等の情報とを用いて、自車が回避対象とする物体を特定してもよい。これによれば、他車以外の回避対象を特定することが可能になるとともに、他車の挙動記号を他車から受信できない場合であっても、その他車を回避対象として特定することが可能になる。
回避対象特定部212は、例えば軌跡予測部211で予測する自車の将来の走行軌跡を起点とした、所定距離以内の範囲に存在することになる物体を、自車が回避対象とする障害物として特定する構成とすればよい。ここで言うところの所定距離は回避が好ましい距離であればよく、任意に設定可能である。例えば、所定距離を「0」としても構わない。なお、自車の将来の走行軌跡と他車の将来の走行軌跡とを、例えば数mといった所定間隔で区分したグリッドで定義した走行軌跡を用いる場合に、図5に示すようにグリッドで定義した走行軌跡同士が重なる他車を回避対象として特定する構成としてもよい。
また、自他車の将来の走行軌跡には、自他車の平均速度等の速度の情報をもとに時間の情報を持たせ、同じタイミングにおいて自車の将来の走行軌跡と他車の将来の走行軌跡とが重なる場合に、この他車を回避対象として特定する構成としてもよい。一方、同じタイミングにおいて自車の将来の走行軌跡と他車の将来の走行軌跡とが重ならない場合は、この他車を回避対象として特定しない構成とすればよい。
走行支援部213は、回避対象特定部212で自車が回避対象とする障害物と特定した、自車周辺の障害物を回避するための走行支援を行う。走行支援の一例としては、HCU80に指示を行い、表示装置81のHUDによって、自車前方の外界風景上の回避対象とする障害物に重ねて注意を促すための表示を行わせることが挙げられる。なお、HCU80に指示を行い、音声出力装置82から注意を促すための音声出力を行わせたり、HUD以外の表示装置81から注意を促すための表示を行わせたりしてもよい。また、車両制御ECU7に指示を行い、回避対象とする障害物を回避するように自車の加減速制御及び/又は操舵制御を行わせてもよい。
<走行支援ECU2での記号予測DB更新関連処理>
続いて、図6のフローチャートを用いて、走行支援ECU2での記号予測DB206の更新に関連する処理(以下、記号予測DB更新関連処理)の流れの一例について説明を行う。図6のフローチャートは、例えば、自車のイグニッション電源がオンになったときに開始する構成とすればよい。なお、図6のフローチャートは、自車のイグニッション電源がオンになっている状況で、一定時間ごと,一定走行距離ごと等の所定のタイミングごとに行う構成としてもよい。
まず、ステップS1では、記号変換部204が、挙動取得部201で取得する挙動関連情報を挙動記号に逐次変換し、n個よりも多い一定数以上の挙動記号の記号列Sを得る。ステップS2では、第1更新部207が、S1で得た記号列Sから、n個分の部分列としての記号列Snと、その記号列Snの次に記号変換部204で得られた挙動記号sとの組(Sn、s)を抽出する。
ステップS3では、第1更新部207が、記号列Snごとに、sの頻度fnew(s|Sn)を計算する。具体的には、記号列Sに、同じパターンの記号列Snが複数存在する場合に、この複数の記号列Snごとに、sの頻度fnew(s|Sn)を計算する。ステップS4では、記号列Snについて、S3で計算したsの頻度f(s|Sn)が記号予測DB206で既に定義されている場合(S4でYES)には、ステップS5に移る。一方、記号列Snについて、S3で計算したsの頻度f(s|Sn)が記号予測DB206で定義されていない場合(S4でNO)には、ステップS6に移る。
ステップS5では、第1更新部207が、(1−αf)・f(s|Sn)+αf・fnew(s|Sn)を新たなf(s|Sn)として、記号予測DB206における、記号列Snについて定義されているsの頻度f(s|Sn)を更新し、記号予測DB更新関連処理を終了する。ここで、αfはfの学習率であって、0以上1以下の値を予め設定するものとする。なお、αfは、挙動記号sごとに予め設定される値であってもよいし、共通の値であってもよい。一方、ステップS6では、第1更新部207が、fnew(s|Sn)を新たなf(s|Sn)として、記号予測DB206における、記号列Snについてのsの頻度f(s|Sn)を定義し、記号予測DB更新関連処理を終了する。
<走行支援ECU2での記号予測関連処理>
続いて、図7のフローチャートを用いて、走行支援ECU2での将来の挙動記号の予測に関連する処理(以下、記号予測関連処理)の流れの一例について説明を行う。図7のフローチャートは、例えば、自車のイグニッション電源がオンになったときに開始する構成とすればよい。
まず、ステップS21では、記号予測部208が、直近の過去に記号変換部204で得られたn個の挙動記号の記号列Snを取得する。ステップS22では、記号予測部208が、S21で取得した記号列Snをもとに、この記号列Snの次に記号変換部204で過去に得られた挙動記号sの頻度f(s|Sn)を、記号予測DB206から取得する。
ステップS23では、記号予測部208が、S22で取得した挙動記号sの頻度f(s|Sn)のうち、頻度が最大であった挙動記号sを、記号列Snに続く、将来の挙動記号と予測する。ステップS24では、記号予測関連処理の終了タイミングであった場合(S24でYES)には、記号予測関連処理を終了する。一方、記号予測関連処理の終了タイミングでなかった場合(S24でNO)には、S21に戻って処理を繰り返す。記号予測関連処理の終了タイミングとしては、例えば自車のイグニッション電源がオフになったとき等が挙げられる。
なお、ここでは、自車の将来の挙動記号の予測を行う場合の例について述べたが、他車の将来の挙動記号の予測を行う場合には、S21において、記号予測部208が、直近の過去に他車情報取得部205で得られたn個の挙動記号の記号列Snを、例えば車両IDをもとにして車両別に取得する構成とすればよい。
<走行支援ECU2での走行軌跡DB更新関連処理>
続いて、図8のフローチャートを用いて、走行支援ECU2での走行軌跡DB209の更新に関連する処理(以下、走行軌跡DB更新関連処理)の流れの一例について説明を行う。図8のフローチャートは、例えば、記号変換部204で新たな挙動記号が得られるごとに開始される構成とすればよい。
まず、ステップS41では、第2更新部210が、記号変換部204で得られた新たな挙動記号sを取得する。また、この挙動記号sに変換された挙動関連情報が取得された走行区間内の実際の走行軌跡tを、参考情報取得部202で取得したこの走行区間(以下、記号区間)内の自車の車両位置の時系列データから特定することで取得する。
ステップS42では、第2更新部210が、自車の周囲を数m等の所定間隔で区分したグリッドに一対一に対応する要素をもつ配列Gnew(s)のうち、挙動記号sに対応する走行軌跡tと重なるグリッドに対応する要素に「1」を付与する一方、走行軌跡tと重ならないグリッドに対応する要素には「0」を付与する。これにより、走行軌跡tは、基準となる車両周辺を所定間隔で区分したグリッドに対応する要素をもつ配列Gnew(s)で簡略に表されることになる。以降では、配列Gnew(s)を走行軌跡Gnew(s)と呼ぶ。
ステップS43では、挙動記号sについて、走行軌跡を表す走行軌跡G(s)が走行軌跡DB209で既に定義されている場合(S43でYES)には、ステップS44に移る。一方、挙動記号sについて、走行軌跡G(s)が走行軌跡DB209で定義されていない場合(S43でNO)には、ステップS45に移る。
ステップS44では、第2更新部210が、(1−αG)・G(s)+αG・Gnew(s)を新たなG(s)として、走行軌跡DB209における、挙動記号sについて定義されている走行軌跡G(s)を更新し、走行軌跡DB更新関連処理を終了する。ここで、αGはGの学習率であって、0以上1以下の値を予め設定するものとする。なお、αGは、挙動記号sごとに予め設定される値であってもよいし、共通の値であってもよい。S44の処理では、挙動記号sについて実際に通過した頻度の多いグリッドに対応する要素ほど数値が加算されていくことなる。一方、ステップS45では、第2更新部210が、Gnew(s)を新たなG(s)として、走行軌跡DB209における、挙動記号sについてのG(s)を定義し、走行軌跡DB更新関連処理を終了する。
<走行支援ECU2での軌跡予測関連処理>
続いて、図9のフローチャートを用いて、走行支援ECU2での将来の走行軌跡の予測に関連する処理(以下、軌跡予測関連処理)の流れの一例について説明を行う。図9のフローチャートは、例えば、自車のイグニッション電源がオンになったときに開始する構成とすればよい。
まず、ステップS61では、軌跡予測部211が、記号予測部208で予測した将来の挙動記号sと、車両位置とを取得する。軌跡予測部211は、記号予測部208で予測した自車の将来の挙動記号sに対しては、参考情報取得部202で取得した直近の自車の車両位置を取得する。また、軌跡予測部211は、記号予測部208で予測した他車の将来の挙動記号sに対しては、他車情報取得部205で取得した直近のその他車の車両位置を取得する。
ステップS62では、軌跡予測部211が、S61で取得した挙動記号sをもとに、この挙動記号sと対応付けて定義されている、走行軌跡を表す配列G(s)を、走行軌跡DB209から取得する。ステップS63では、軌跡予測部211が、地図座標系上に、S61で取得した車両位置を起点として、S62で取得した配列G(s)を重畳し、地図座標系上に重畳された配列G(s)の要素のうちの値が1以上の要素を将来の走行軌跡と予測する。
ステップS64では、軌跡予測関連処理の終了タイミングであった場合(S64でYES)には、軌跡予測関連処理を終了する。一方、軌跡予測関連処理の終了タイミングでなかった場合(S64でNO)には、S61に戻って処理を繰り返す。軌跡予測関連処理の終了タイミングとしては、例えば自車のイグニッション電源がオフになったとき等が挙げられる。
<走行支援ECU2での回避対象特定関連処理>
続いて、図10のフローチャートを用いて、走行支援ECU2での回避対象の特定に関連する処理(以下、回避対象特定関連処理)の流れの一例について説明を行う。図10のフローチャートは、例えば、自車のイグニッション電源がオンになり、軌跡予測関連処理で自車の将来の走行軌跡の予測が行われたときに開始する構成とすればよい。
まず、ステップS81では、回避対象特定部212が、軌跡予測部211で予測した自車の将来の走行軌跡G(s)と、参考情報取得部202で取得した自車周辺の物体の位置とから、走行軌跡G(s)の要素のうち、値が閾値以上の要素に対応する領域に自車周辺の物体が位置する場合に、この物体を回避対象として特定する。走行軌跡G(s)の要素は、所定間隔で区分したグリッドに対応するので、要素に対応する領域に位置する物体を回避対象として特定することは、自車の将来の走行軌跡を起点とした、所定距離以内の範囲に存在することになる物体を回避対象として特定することに該当する。
なお、ここで言うところの閾値は、1よりも大きい値であればよく、任意に設定可能である。走行軌跡DB209に格納される走行軌跡G(s)では、実際に車両が通過した頻度の多いグリッドに対応する要素ほど数値が加算されていくことなるため、車両が通過する可能性の高い領域に対応する要素ほど大きな値となっている。よって、値が閾値以上の要素に対応する領域に自車周辺の物体が位置する場合に、この物体を回避対象として特定することで、回避対象をより精度よく特定することが可能になる。
ステップS82では、回避対象特定部212が、軌跡予測部211で予測した自車の将来の走行軌跡G(s)と、軌跡予測部211で予測した他車の将来の走行軌跡G(s)とから、自車の走行軌跡G(s)の要素のうちの値が前述の閾値以上の要素に対応する領域と、他車の走行軌跡G(s)の要素のうちの値が前述の閾値以上の要素に対応する領域とが重なる場合に、この他車を回避対象として特定する。走行軌跡G(s)の要素は、所定間隔で区分したグリッドに対応するので、要素に対応する領域同士が重なる他車を回避対象として特定することは、自車の将来の走行軌跡を起点とした、所定距離以内の範囲に存在することになる他車を回避対象として特定することに該当する。
ステップS83では、回避対象特定関連処理の終了タイミングであった場合(S83でYES)には、回避対象特定関連処理を終了する。一方、回避対象特定関連処理の終了タイミングでなかった場合(S64でNO)には、S61に戻って処理を繰り返す。回避対象特定関連処理の終了タイミングとしては、例えば自車のイグニッション電源がオフになったとき等が挙げられる。
<実施形態1のまとめ>
実施形態1では、車両の挙動に関する数値的特徴量を有する挙動関連情報を離散化処理によって記号的特徴量を有する挙動記号に変換し、過去の挙動記号から将来の挙動記号を予測した上で、将来の挙動記号から将来の走行軌跡を予測する。また、自車周辺の他車の走行軌跡を予測するためには、自車周辺の他車の挙動記号を受信し、受信した挙動記号から他車の走行軌跡を予測する。
この実施形態1の構成によれば、走行軌跡を挙動関連情報から直接予測する処理を、離散的な挙動記号の予測と、挙動記号に対応した走行軌跡の参照で代替することで、予測にかかる処理負荷を低減することが可能になる。また、将来の挙動記号の予測は、過去に得られた挙動記号の記号列に続いて得られた挙動記号別の頻度を参照することで行うことができるので、この点でも予測にかかる処理負荷を低減することが可能になる。自車周辺の他車と走行軌跡を共有する上で、離散的な挙動記号のインデックスのみを送受信すればよくなるので、通信量が減り、通信負荷も低減することが可能になる。
(実施形態2)
実施形態1では、送信部30から自車の記号変換部204で逐次変換する自車の挙動記号を送信する構成を示したが、必ずしもこれに限らない。例えば、送信部30から自車の記号変換部204で逐次変換する自車の挙動記号を送信する代わりに、自車の記号予測部208で逐次予測する自車の将来の挙動記号を送信する構成としてもよい。
この場合、他車情報取得部205は、受信部31で受信した、他車で用いられる車両側ユニット1の通信機3から送信されてくるこの他車の記号予測部208で予測されたその他車の将来の挙動記号を取得する構成とすればよい。また、軌跡予測部211は、他車情報取得部205で取得する他車の将来の挙動記号をもとに、走行軌跡DB209に格納している軌跡予測用対応関係を参照して、他車の将来の挙動記号に対応する走行軌跡を、他車の将来の走行軌跡として予測する構成とすればよい。
実施形態2の構成であっても、走行軌跡を挙動関連情報から直接予測する処理を、離散的な挙動記号の予測と、挙動記号に対応した走行軌跡の参照で代替することで、予測にかかる処理負荷を低減することが可能になる。また、自車周辺の他車と走行軌跡を共有する上で、離散的な挙動記号のインデックスのみを送受信すればよくなるので、通信量が減り、通信負荷も低減することが可能になる。
(実施形態3)
前述の実施形態では、送信部30から自車の挙動記号,自車の将来の挙動記号等を送信し、受信部31で他車の挙動記号,他車の将来の挙動記号等を受信する構成を示したが、必ずしもこれに限らない。例えば、送信部30から自車の挙動記号,自車の将来の挙動記号を送信せず、受信部31で他車の挙動記号,他車の将来の挙動記号等を受信しない構成としてもよいし、通信機3自体を車両側ユニット1に含まない構成としてもよい。
この場合、回避対象特定部212は、他車の将来の走行軌跡を用いずに、軌跡予測部211で予測する自車の将来の走行軌跡と、参考情報取得部202で取得した自車周辺の物体の位置等の情報とを用いて、自車が回避対象とする物体を特定する構成とすればよい。
なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
1 車両側ユニット、2 走行支援ECU(走行支援装置)、3 通信機、4 ロケータ、5 地図DB、6 車両状態センサ、7 車両制御ECU、8 HMIシステム、9 周辺監視センサ、30 送信部、31 受信部、80 HCU、81 表示装置、82 音声出力装置、90 周辺監視カメラ、100 支援システム、201 挙動取得部、202 参考情報取得部、203 挙動記号DB、204 記号変換部、205 他車情報取得部、206 記号予測DB(記号予測用格納部)、207 第1更新部、208 記号予測部、209 走行軌跡DB(軌跡予測用格納部)、210 第2更新部、211 軌跡予測部、212 回避対象特定部、213 走行支援部

Claims (10)

  1. 車両で用いられ、自車周辺の障害物を回避するための走行支援を行う走行支援部(213)を備える走行支援装置であって、
    自車の挙動に関する数値的特徴量を有する挙動関連情報を逐次取得する挙動取得部(201)と、
    前記挙動取得部で取得する前記挙動関連情報を、離散化によって記号的特徴量を有する記号情報に逐次変換する記号変換部(204)と、
    前記記号変換部で過去に得られた記号情報から将来の記号情報を予測する記号予測部(208)と、
    前記記号予測部で予測する将来の記号情報から将来の走行軌跡を予測する軌跡予測部(211)と、
    前記軌跡予測部で予測する将来の走行軌跡を用いて自車が回避対象とする障害物を特定する回避対象特定部(212)とを備え、
    前記走行支援部は、前記回避対象特定部で自車が回避対象とする障害物と特定する障害物を回避するための走行支援を行う走行支援装置。
  2. 前記記号予測部は、前記記号変換部で過去に得られた記号情報の列である記号情報列での記号情報の変遷の傾向から将来の記号情報を予測する請求項1に記載の走行支援装置。
  3. 前記記号情報列別に、前記記号変換部で過去にその記号情報列が得られた後に得られた記号情報の種類別の頻度が対応付けられた記号予測対応関係を格納している記号予測用格納部(206)を備え、
    前記記号予測部は、前記記号予測用格納部に格納している前記記号予測対応関係をもとに、直近の過去に前記記号変換部で得られた記号情報列の後に前記記号変換部で最も高頻度に得られた種類の記号情報を、将来の記号情報として予測する請求項2に記載の走行支援装置。
  4. 前記記号情報別に走行軌跡が対応付けられた軌跡予測用対応関係を格納している軌跡予測用格納部(209)を備え、
    前記軌跡予測部は、前記軌跡予測用格納部に格納している前記軌跡予測用対応関係をもとに、前記記号予測部で予測する自車の将来の記号情報に対応する前記走行軌跡を自車の将来の走行軌跡として予測する請求項1〜3のいずれか1項に記載の走行支援装置。
  5. 前記軌跡予測用格納部は、前記記号情報別に、その記号情報が過去に得られた際の代表的な走行軌跡が対応付けられた前記軌跡予測用対応関係を格納している請求項4に記載の走行支援装置。
  6. 前記回避対象特定部は、前記軌跡予測部で予測する自車の将来の走行軌跡を起点とした、所定距離以内の範囲に存在することになる物体を、自車が回避対象とする障害物として特定する請求項1〜5のいずれか1項に記載の走行支援装置。
  7. 他車から送信されてくる、他車の前記記号予測部で予測されたその他車の将来の前記記号情報を受信する受信部(31)を備え、
    前記軌跡予測部は、自車の前記記号予測部で予測する将来の記号情報から自車の将来の走行軌跡を予測する一方、前記受信部で受信する前記他車で予測された将来の前記記号情報からは、前記他車の将来の走行軌跡を予測し、
    前記回避対象特定部は、前記軌跡予測部で予測する自車の将来の走行軌跡と前記他車の将来の走行軌跡とを用いて自車が回避対象とする障害物を特定する請求項1〜6のいずれか1項に記載の走行支援装置。
  8. 他車から送信されてくる、他車の前記記号変換部でその他車の前記挙動関連情報が変換された前記記号情報を受信する受信部(31)を備え、
    前記記号予測部は、自車の前記記号変換部で過去に得られた記号情報から自車の将来の記号情報を予測する一方、前記受信部で受信する前記他車の前記挙動関連情報が変換された前記記号情報からは、前記他車の将来の記号情報を予測し、
    前記軌跡予測部は、前記記号予測部で予測する自車の将来の記号情報から自車の将来の走行軌跡を予測する一方、前記記号予測部で予測する前記他車の将来の記号情報から前記他車の将来の走行軌跡を予測し、
    前記回避対象特定部は、前記軌跡予測部で予測する自車の将来の走行軌跡と前記他車の将来の走行軌跡とを用いて自車が回避対象とする障害物を特定する請求項1〜6のいずれか1項に記載の走行支援装置。
  9. 前記回避対象特定部は、前記軌跡予測部で予測する自車の将来の走行軌跡に基づいて定義する領域と、前記軌跡予測部で予測する前記他車の将来の走行軌跡に基づいて定義する領域とが重複する場合に、その他車を、自車が回避対象とする障害物として特定する請求項7又は8に記載の走行支援装置。
  10. 前記記号変換部で自車の前記挙動関連情報を変換した自車の記号情報、若しくは前記記号予測部で自車の前記記号情報から予測した自車の将来の記号情報を送信する送信部(30)を備える請求項1〜9のいずれか1項に記載の走行支援装置。
JP2017205328A 2017-10-24 2017-10-24 走行支援装置 Active JP6958229B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017205328A JP6958229B2 (ja) 2017-10-24 2017-10-24 走行支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017205328A JP6958229B2 (ja) 2017-10-24 2017-10-24 走行支援装置

Publications (2)

Publication Number Publication Date
JP2019079242A JP2019079242A (ja) 2019-05-23
JP6958229B2 true JP6958229B2 (ja) 2021-11-02

Family

ID=66626569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017205328A Active JP6958229B2 (ja) 2017-10-24 2017-10-24 走行支援装置

Country Status (1)

Country Link
JP (1) JP6958229B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020241273A1 (ja) * 2019-05-31 2020-12-03 住友電気工業株式会社 車両用通信システム、車載機、制御方法及びコンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3436207B2 (ja) * 1999-01-12 2003-08-11 トヨタ自動車株式会社 車々間通信装置
WO2007131801A1 (de) * 2006-05-17 2007-11-22 Continental Teves Hungary Kft. Verfahren und vorrichtung zur vermeidung von kollisionen von fahrzeugen
US8315756B2 (en) * 2009-08-24 2012-11-20 Toyota Motor Engineering and Manufacturing N.A. (TEMA) Systems and methods of vehicular path prediction for cooperative driving applications through digital map and dynamic vehicle model fusion
JP5658125B2 (ja) * 2011-11-14 2015-01-21 本田技研工業株式会社 車両の運転支援装置
JP6330651B2 (ja) * 2014-12-19 2018-05-30 株式会社デンソー 異常検出装置
JP6466191B2 (ja) * 2015-02-12 2019-02-06 株式会社デンソー 運転支援情報生成装置、運転支援装置

Also Published As

Publication number Publication date
JP2019079242A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
US10867510B2 (en) Real-time traffic monitoring with connected cars
CN109421742B (zh) 用于监测自主车辆的方法和设备
CN109421738B (zh) 用于监视自主车辆的方法和装置
JP6523361B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US20200307634A1 (en) Vehicle control apparatus, vehicle control method, and storage medium
JP7029322B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP2017151041A (ja) 走行支援装置及びセンタ
JP2010072973A (ja) 走行環境認識装置
WO2020031689A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
WO2017104209A1 (ja) 運転支援装置
US11556127B2 (en) Static obstacle map based perception system
JP6524956B2 (ja) 運転支援装置及びセンタ
JP2022041923A (ja) 接続されたデータ分析プラットフォームを用いた車両経路指定
JP2023085371A (ja) 走行記憶システム、および走行記憶方法
JP6958229B2 (ja) 走行支援装置
US11468767B2 (en) Map information system
US20230256994A1 (en) Assessing relative autonomous vehicle performance via evaluation of other road users
US20230080281A1 (en) Precautionary observation zone for vehicle routing
JP6668915B2 (ja) 移動体の自動運転制御システム
US20230251846A1 (en) Information processing apparatus, information processing method, information processing system, and program
US20230393280A1 (en) Retrofit light detection and ranging (lidar)-based vehicle system to operate with vision-based sensor data
WO2022202001A1 (ja) 処理方法、処理システム、処理プログラム
CN115440025B (zh) 信息处理服务器、信息处理服务器的处理方法、非临时性存储介质
CN113496189B (zh) 基于静态障碍物地图的感知方法及系统
WO2023149003A1 (ja) 車両制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R151 Written notification of patent or utility model registration

Ref document number: 6958229

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151