JP7081098B2 - 走行環境認識装置、走行環境認識方法、プログラム - Google Patents
走行環境認識装置、走行環境認識方法、プログラム Download PDFInfo
- Publication number
- JP7081098B2 JP7081098B2 JP2017168536A JP2017168536A JP7081098B2 JP 7081098 B2 JP7081098 B2 JP 7081098B2 JP 2017168536 A JP2017168536 A JP 2017168536A JP 2017168536 A JP2017168536 A JP 2017168536A JP 7081098 B2 JP7081098 B2 JP 7081098B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- grid
- map
- moving
- existence probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本開示の更なるもう一つの局面は、コンピュータを機能させるプログラムであって、情報取得部(S10)と、属性特定部(S40)と、マップ生成部(S50)として、コンピュータを機能させる。情報取得部は、車両の周囲において車両の走行の障害となる物体を表す立体物を検出する検出装置(20)からの情報を表す検出情報を取得する。属性特定部は、検出情報に基づき、立体物が移動体であることを特定する。マップ生成部は、車両が走行可能な領域である走行可能領域を表すマップを生成する。マップ生成部は、マップにおいて、属性特定部で移動体であると特定された立体物である移動立体物を表す領域の少なくとも一部を含む領域、を走行可能領域として表す。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
図1に示す走行環境認識システム1は、車両に搭載されるシステムである。以下では、走行環境認識システム1が搭載される車両を自車両ともいう。走行環境認識システム1は、信号処理ECU10を備える。走行環境認識システム1は、周辺監視センサ20、車速センサ30、ヨーレートセンサ40、車両制御装置50、及び表示装置60を備えていてもよい。なお、本実施形態では、走行環境認識システム1は、図1において点線で示されている無線通信機70を備えてなくてもよい。走行環境認識システム1が無線通信機70を備える例については、他の実施形態にて説明する。
位置を原点とする、(x、y、z)座標で表される。
[2.処理]
[2-1.概要]
次に、本実施形態の走行環境認識システム1において実行される処理の概要について説明する。
生成されたOGM、及びOGMに基づく走行可能領域の認識結果は、車両制御装置50において、例えば、アダプティブクルーズ制御やプリクラッシュセーフティ制御等といった前方監視制御を実現するための衝突系アプリケーションによって利用されても良い。
信号処理ECU10は、図2に示す領域判定処理を実施する。領域判定処理は、例えば車両の電源が投入されると開始される処理であり、その後、一定の周期毎に繰り返し実施される処理である。
具体的には、信号処理ECU10は、周辺監視センサ20から検出情報を取得する。そして、信号処理ECU10は、本領域判定処理とは別処理によって該検出情報に基づいて上記点群データを生成し、生成された点群データを取得する。
続いて、信号処理ECU10は、S20では、検出情報に基づいて生成された点群データを用いて、立体物の判定を行う。具体的には、信号処理ECU10は、点群データの高さ情報、すなわちz座標に基づいて、「立体物上の点」と「路面上の点」とを判定する。ここで、信号処理ECU10は、点群データの高さ情報が所定の路面高さ閾値以上である場合に、該点群データに対応する観測点が「立体物上の点」であると判断する。一方、信号処理ECU10は、点群データの高さ情報が路面高さ閾値未満である場合に、該点群データに対応する観測点が「路面上の点」であると判断する。路面高さ閾値は、実験等に基づいて予め定められており、メモリに予め記憶されている。路面高さの閾値は、例えば、数cm~数十cm程度であり得る。
される。信号処理ECU10は、このようにして、立体物が移動体であることを判定し、移動体のサイズや移動速度を特定し、更にその属性を特定する。
これにより、図9に示すように、「路面上の点」として観測された観測点を含むグリッドが走行可能領域として特定される。更に、移動立体物を表す領域の少なくとも一部を含む領域、具体的には移動車両領域が走行可能領域として特定される。
以上詳述した実施形態によれば、以下の効果を奏する。
(3a)信号処理ECU10は、S10では、検出情報を取得する。信号処理ECU10は、S40では、検出情報に基づき、立体物が移動立体物であることを特定する。信号処理ECU10は、S50では、OGMを走行可能領域を表すマップとして生成し、該マップにおいて移動立体物を表す領域の少なくとも一部を含む領域、を走行可能領域として表す。
(3b)走行可能領域を表すマップは複数のグリッドを含む。信号処理ECU10は、S120では、存在確率をグリッド毎に算出し、上記マップであって存在確率をグリッド毎に記憶したOGMを生成する。信号処理ECU10は、S130では、OGMにおいて、移動立体物を表すグリッドに記憶する存在確率を、立体物が存在しない場合の存在確率に近い値であって所定の走行領域閾値未満の値に更新する。信号処理ECU10は、S70では、OGMにおいて、存在確率が走行領域閾値未満であるグリッドを走行可能領域として特定する。
(3c)信号処理ECU10において、走行領域閾値は、立体物が存在する場合の存在確率αと、立体物が存在しない場合の存在確率βとの中間的な値Mよりも小さい値である。
(3d)信号処理ECU10は、S130では、占有グリッドマップにおいて、移動立体物を表すグリッドに記憶する存在確率を、立体物が無いことを表す存在確率β、具体的には0、とするように構成されている。その結果、移動立体物を表すグリッドを、確実に、走行可能領域として特定することができる。
センサ20が検出装置に相当する。また、S10が情報取得部としての処理に相当し、S40が属性特定部としての処理に相当し、S50がマップ生成部としての処理に相当し、S70が領域特定部としての処理に相当する。S120がグリッドマップ部としての処理に相当し、S130が更新部としての処理に相当する。また、占有グリッドマップが、マップ、グリッドマップに相当する。
(4a)変形例1
信号処理ECU10では、更新部は、特定精度を取得し、移動立体物を表すグリッドに記憶する存在確率を、前記特定精度が大きいほど小さく算出するように構成されていてもよい。特定精度とは、属性特定部が移動立体物を特定する正確さの度合いを表す値であって、正確であるほど大きい値で表される値である。
具体的には、信号処理ECU10では、情報取得部は、検出情報を繰り返し取得するように構成されていてもよい。更新部は、検出情報に基づいて移動立体物が連続して検出されている回数を特定し、移動立体物が連続して検出されている回数が多いほど特定精度を大きい値とするように構成されてもよい。そして、更新部は、該特定精度に基づいて、移動立体物を表すグリッドに記憶する存在確率を算出するように構成されていてもよい。
信号処理ECU10では、属性特定部は、移動立体物が、自車両と同一の大きさであることを特定するように構成されていてもよい。そして、更新部は、自車両と同一の大きさであると特定された移動立体物を表すグリッドに記憶する存在確率を、自車両と同一の大きさであると特定されなかった移動立体物を表すグリッドに記憶する存在確率よりも小さくする、ように構成されてもよい。
信号処理ECU10では、領域特定部は、占有グリッドマップを表す画像であって、占有グリッドマップ上に走行領域を表した画像、を生成し、生成した画像を表示装置60に表示させるように構成されてもよい。また、信号処理ECU10では、領域特定部は、OGM又はOGMにおける走行可能領域の認識結果を車両制御装置50に出力するように構成されてもよい。
信号処理ECU10では、複数の移動立体物、例えば図10や図11に示すように、自車両100の周囲に複数の移動車両が存在する場合も、上記実施形態と同様にして、マップ上において走行可能領域を特定してもよい。具体的には、信号処理ECU10は、上記実施形態と同様にして、ベースマップを生成し、該ベースマップにおける複数の移動車両それぞれを表すグリッドに記憶する存在確率を更新してもよい。
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
Claims (10)
- 走行環境認識装置(10)であって、
車両の周囲において前記車両の走行の障害となる物体を表す立体物を検出する検出装置(20)からの情報を表す検出情報を取得する情報取得部(S10)と、
前記検出情報に基づき、前記立体物が移動体であることを特定する属性特定部(S40)と、
前記車両が走行可能な領域である走行可能領域を表すマップを生成するマップ生成部であって、前記マップにおいて、前記属性特定部で前記移動体であると特定された前記立体物である移動立体物を表す領域の少なくとも一部を含む領域、を前記走行可能領域として表すマップ生成部(S50)と、
を備え、
前記マップは複数のグリッドを含み、
前記マップ生成部は、
前記検出情報に基づき、前記立体物が存在する確率であって前記立体物が存在する場合に前記立体物が存在しない場合よりも大きく設定される存在確率を前記グリッド毎に算出し、前記マップであって前記存在確率を前記グリッド毎に記憶したグリッドマップ、を生成するグリッドマップ部(S120)と、
前記グリッドマップにおいて、前記移動立体物を表す前記グリッドに記憶する前記存在確率を、前記立体物が存在しない場合の存在確率に近い値に更新するように構成された更新部(S130)と、
を備え、
当該走行環境認識装置は、
前記グリッドマップにおいて、存在確率が走行領域閾値未満である前記グリッドを前記走行可能領域として特定する領域特定部(S70)
を更に備え、
前記更新部は、前記属性特定部が前記移動立体物を特定する正確さの度合いを表す値であって正確であるほど大きい値で表される特定精度を取得し、前記移動立体物を表すグリ
ッドに記憶する存在確率を、前記特定精度が大きいほど小さく算出するように構成された 走行環境認識装置。 - 請求項1に記載の走行環境認識装置であって、
前記走行領域閾値は、前記立体物が存在する場合の存在確率と、前記立体物が存在しない場合の存在確率との中間的な値よりも小さい値である
走行環境認識装置。 - 請求項1又は請求項2に記載の走行環境認識装置であって、
前記情報取得部は前記検出情報を繰り返し取得するように構成されており、
前記更新部は、前記検出情報に基づいて前記検出装置によって前記移動立体物が連続して検出されている回数を特定し、前記移動立体物が連続して検出されている回数が多いほど前記特定精度を大きい値とし、該特定精度に基づいて前記移動立体物を表すグリッドに記憶する存在確率を算出するように構成された
走行環境認識装置。 - 請求項1から請求項3のいずれか一項に記載の環境認識装置であって、
前記属性特定部は、前記移動立体物が、前記車両と同一の大きさであることを特定するように構成されており、
前記更新部は、前記車両と同一の大きさであると特定された前記移動立体物を表す前記グリッドに記憶する存在確率を、前記車両と同一の大きさであると特定されなかった前記移動立体物を表す前記グリッドに記憶する存在確率よりも小さくするように構成された
走行環境認識装置。 - 走行環境認識装置(10)であって、
車両の周囲において前記車両の走行の障害となる物体を表す立体物を検出する検出装置(20)からの情報を表す検出情報を取得する情報取得部(S10)と、
前記検出情報に基づき、前記立体物が移動体であることを特定する属性特定部(S40)と、
前記車両が走行可能な領域である走行可能領域を表すマップを生成するマップ生成部であって、前記マップにおいて、前記属性特定部で前記移動体であると特定された前記立体物である移動立体物を表す領域の少なくとも一部を含む領域、を前記走行可能領域として表すマップ生成部(S50)と、
を備え、
前記マップは複数のグリッドを含み、
前記マップ生成部は、
前記検出情報に基づき、前記立体物が存在する確率であって前記立体物が存在する場合に前記立体物が存在しない場合よりも大きく設定される存在確率を前記グリッド毎に算出し、前記マップであって前記存在確率を前記グリッド毎に記憶したグリッドマップ、を生成するグリッドマップ部(S120)と、
前記グリッドマップにおいて、前記移動立体物を表す前記グリッドに記憶する前記存在確率を、前記立体物が存在しない場合の存在確率に近い値に更新するように構成された更新部(S130)と、
を備え、
当該走行環境認識装置は、
前記グリッドマップにおいて、存在確率が走行領域閾値未満である前記グリッドを前記走行可能領域として特定する領域特定部(S70)
を更に備え、
前記属性特定部は、前記移動立体物が、前記車両と同一の大きさであることを特定するように構成されており、
前記更新部は、前記車両と同一の大きさであると特定された前記移動立体物を表す前記グリッドに記憶する存在確率を、前記車両と同一の大きさであると特定されなかった前記移動立体物を表す前記グリッドに記憶する存在確率よりも小さくするように構成された
走行環境認識装置。 - 請求項5に記載の走行環境認識装置であって、
前記走行領域閾値は、前記立体物が存在する場合の存在確率と、前記立体物が存在しない場合の存在確率との中間的な値よりも小さい値である
走行環境認識装置。 - 車両の周囲において前記車両の走行の障害となる物体を表す立体物を検出する検出装置(20)からの情報を表す検出情報を取得し、
前記検出情報に基づき、前記立体物が移動体であることを特定し、
前記車両が走行可能な領域である走行可能領域を表すマップを生成し、前記マップにおいて、前記移動体であると特定された前記立体物である移動立体物を表す領域の少なくとも一部を含む領域、を前記走行可能領域として表し、
前記マップは複数のグリッドを含み、
前記検出情報に基づき、前記立体物が存在する確率であって前記立体物が存在する場合に前記立体物が存在しない場合よりも大きく設定される存在確率を前記グリッド毎に算出し、前記マップであって前記存在確率を前記グリッド毎に記憶したグリッドマップ、を生成し、
前記グリッドマップにおいて、前記移動立体物を表す前記グリッドに記憶する前記存在確率を、前記立体物が存在しない場合の存在確率に近い値に更新し、
前記グリッドマップにおいて、存在確率が走行領域閾値未満である前記グリッドを前記走行可能領域として特定し、
前記移動立体物を特定する正確さの度合いを表す値であって正確であるほど大きい値で表される特定精度を取得し、前記移動立体物を表すグリッドに記憶する存在確率を、前記特定精度が大きいほど小さく算出する
走行環境認識方法。 - 車両の周囲において前記車両の走行の障害となる物体を表す立体物を検出する検出装置(20)からの情報を表す検出情報を取得し、
前記検出情報に基づき、前記立体物が移動体であることを特定し、
前記車両が走行可能な領域である走行可能領域を表すマップを生成し、前記マップにおいて、前記移動体であると特定された前記立体物である移動立体物を表す領域の少なくとも一部を含む領域、を前記走行可能領域として表し、
前記マップは複数のグリッドを含み、
前記検出情報に基づき、前記立体物が存在する確率であって前記立体物が存在する場合に前記立体物が存在しない場合よりも大きく設定される存在確率を前記グリッド毎に算出し、前記マップであって前記存在確率を前記グリッド毎に記憶したグリッドマップ、を生成し、
前記グリッドマップにおいて、前記移動立体物を表す前記グリッドに記憶する前記存在確率を、前記立体物が存在しない場合の存在確率に近い値に更新し、
前記グリッドマップにおいて、存在確率が走行領域閾値未満である前記グリッドを前記走行可能領域として特定し、
前記移動立体物が、前記車両と同一の大きさであることを特定し、
前記車両と同一の大きさであると特定された前記移動立体物を表す前記グリッドに記憶する存在確率を、前記車両と同一の大きさであると特定されなかった前記移動立体物を表す前記グリッドに記憶する存在確率よりも小さくする
走行環境認識方法。 - 車両の周囲において前記車両の走行の障害となる物体を表す立体物を検出する検出装置(20)からの情報を表す検出情報を取得する情報取得部(S10)と、
前記検出情報に基づき、前記立体物が移動体であることを特定する属性特定部(S40)と、
前記車両が走行可能な領域である走行可能領域を表すマップを生成するマップ生成部であって、前記マップにおいて、前記属性特定部で前記移動体であると特定された前記立体物である移動立体物を表す領域の少なくとも一部を含む領域、を前記走行可能領域として表すマップ生成部(S50)として、
コンピュータを機能させるプログラムであって、
前記マップは複数のグリッドを含み、
前記マップ生成部は、
前記検出情報に基づき、前記立体物が存在する確率であって前記立体物が存在する場合に前記立体物が存在しない場合よりも大きく設定される存在確率を前記グリッド毎に算出し、前記マップであって前記存在確率を前記グリッド毎に記憶したグリッドマップ、を生成するグリッドマップ部(S120)と、
前記グリッドマップにおいて、前記移動立体物を表す前記グリッドに記憶する前記存在確率を、前記立体物が存在しない場合の存在確率に近い値に更新するように構成された更新部(S130)と、
を備え、
当該プログラムは、更に、
前記グリッドマップにおいて、存在確率が走行領域閾値未満である前記グリッドを前記走行可能領域として特定する領域特定部(S70)として前記コンピュータを機能させ、
前記更新部は、前記属性特定部が前記移動立体物を特定する正確さの度合いを表す値であって正確であるほど大きい値で表される特定精度を取得し、前記移動立体物を表すグリッドに記憶する存在確率を、前記特定精度が大きいほど小さく算出するように構成された プログラム。 - 車両の周囲において前記車両の走行の障害となる物体を表す立体物を検出する検出装置(20)からの情報を表す検出情報を取得する情報取得部(S10)と、
前記検出情報に基づき、前記立体物が移動体であることを特定する属性特定部(S40)と、
前記車両が走行可能な領域である走行可能領域を表すマップを生成するマップ生成部であって、前記マップにおいて、前記属性特定部で前記移動体であると特定された前記立体物である移動立体物を表す領域の少なくとも一部を含む領域、を前記走行可能領域として表すマップ生成部(S50)として、
コンピュータを機能させるプログラムであって、
前記マップは複数のグリッドを含み、
前記マップ生成部は、
前記検出情報に基づき、前記立体物が存在する確率であって前記立体物が存在する場合に前記立体物が存在しない場合よりも大きく設定される存在確率を前記グリッド毎に算出し、前記マップであって前記存在確率を前記グリッド毎に記憶したグリッドマップ、を生成するグリッドマップ部(S120)と、
前記グリッドマップにおいて、前記移動立体物を表す前記グリッドに記憶する前記存在確率を、前記立体物が存在しない場合の存在確率に近い値に更新するように構成された更新部(S130)と、
を備え、
当該プログラムは、更に、
前記グリッドマップにおいて、存在確率が走行領域閾値未満である前記グリッドを前記
走行可能領域として特定する領域特定部(S70)として前記コンピュータを機能させ、
前記属性特定部は、前記移動立体物が、前記車両と同一の大きさであることを特定するように構成されており、
前記更新部は、前記車両と同一の大きさであると特定された前記移動立体物を表す前記グリッドに記憶する存在確率を、前記車両と同一の大きさであると特定されなかった前記移動立体物を表す前記グリッドに記憶する存在確率よりも小さくするように構成された
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017168536A JP7081098B2 (ja) | 2017-09-01 | 2017-09-01 | 走行環境認識装置、走行環境認識方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017168536A JP7081098B2 (ja) | 2017-09-01 | 2017-09-01 | 走行環境認識装置、走行環境認識方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019046147A JP2019046147A (ja) | 2019-03-22 |
JP7081098B2 true JP7081098B2 (ja) | 2022-06-07 |
Family
ID=65815726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017168536A Active JP7081098B2 (ja) | 2017-09-01 | 2017-09-01 | 走行環境認識装置、走行環境認識方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7081098B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112020004545T5 (de) * | 2019-09-25 | 2022-08-18 | Sony Group Corporation | Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und mobile vorrichtung |
JP7344743B2 (ja) * | 2019-10-09 | 2023-09-14 | 日産自動車株式会社 | 占有マップの作成方法、及び、占有マップの作成装置 |
JP7343446B2 (ja) * | 2020-06-16 | 2023-09-12 | Kddi株式会社 | モデル生成装置、方法及びプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012048642A (ja) | 2010-08-30 | 2012-03-08 | Denso Corp | 走行環境認識装置 |
-
2017
- 2017-09-01 JP JP2017168536A patent/JP7081098B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012048642A (ja) | 2010-08-30 | 2012-03-08 | Denso Corp | 走行環境認識装置 |
Non-Patent Citations (1)
Title |
---|
Naoki Suganuma, et al,Robust environment perception based on occupancy grid maps for autonomous vehicle,Proceedings of SICE Annual Conference 2010,米国,IEEE,2010年,2354-2357 |
Also Published As
Publication number | Publication date |
---|---|
JP2019046147A (ja) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5206752B2 (ja) | 走行環境認識装置 | |
US10325163B2 (en) | Vehicle vision | |
US11506502B2 (en) | Robust localization | |
JP6520740B2 (ja) | 物体検出方法、物体検出装置、およびプログラム | |
JP6453701B2 (ja) | 姿勢推定装置 | |
JP7077967B2 (ja) | 走行車線推定装置、走行車線推定方法、及び制御プログラム | |
JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
US20210302582A1 (en) | A point cloud feature-based obstacle filter system | |
US12085403B2 (en) | Vehicle localisation | |
JP7081098B2 (ja) | 走行環境認識装置、走行環境認識方法、プログラム | |
US11400923B2 (en) | Information processing device, vehicle control device, and mobile object control method | |
CN112824997A (zh) | 用于局部行进车道感知的方法和系统 | |
KR20230031344A (ko) | 자동차를 둘러싼 영역 내 장애물을 검출하기 위한 시스템 및 방법 | |
US11693110B2 (en) | Systems and methods for radar false track mitigation with camera | |
JP7322845B2 (ja) | 自動運転装置 | |
CN112744217A (zh) | 碰撞检测方法、行驶路径的推荐方法及其装置和存储介质 | |
JP6705270B2 (ja) | 移動体の自動運転制御システム | |
JPWO2019123582A1 (ja) | 物体情報生成装置及び物体情報生成プログラム | |
CN112613335B (zh) | 识别装置、识别方法及存储介质 | |
CN116724248A (zh) | 用于产生非模态长方体的系统和方法 | |
JP7028838B2 (ja) | 周辺認識装置、周辺認識方法、およびプログラム | |
JP2018185156A (ja) | 物標位置推定方法及び物標位置推定装置 | |
KR20230015658A (ko) | 그리드 맵 생성 장치 및 방법 | |
JP7567848B2 (ja) | 車両制御装置 | |
JP2024139348A (ja) | 外界認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220509 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7081098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |