JP6834920B2 - 物標判別装置 - Google Patents

物標判別装置 Download PDF

Info

Publication number
JP6834920B2
JP6834920B2 JP2017224742A JP2017224742A JP6834920B2 JP 6834920 B2 JP6834920 B2 JP 6834920B2 JP 2017224742 A JP2017224742 A JP 2017224742A JP 2017224742 A JP2017224742 A JP 2017224742A JP 6834920 B2 JP6834920 B2 JP 6834920B2
Authority
JP
Japan
Prior art keywords
point
target
vehicle
point cloud
point group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017224742A
Other languages
English (en)
Other versions
JP2019095290A (ja
Inventor
明久 古橋
明久 古橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017224742A priority Critical patent/JP6834920B2/ja
Publication of JP2019095290A publication Critical patent/JP2019095290A/ja
Application granted granted Critical
Publication of JP6834920B2 publication Critical patent/JP6834920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、車両に搭載され、車両の周囲の物標を判別する物標判別装置に関する。
特許文献1は、車両の周囲に存在する物標を検出する物標検出装置を開示している。その物標検出装置は、レーダを用いて取得した測距データをクラスタリングし、クラスタが示す物標が壁であるか否かを判定する。具体的には、同一クラスタに属する二つの反射点間を結ぶ直線の傾きが許容範囲内にある場合、当該クラスタが示す物標は壁であると判定される。
特許文献2は、道路構造物を検出する前方物体検出装置を開示している。その前方物体検出装置は、レーザレーダを用いて前方物体を計測し、計測した複数の検出点から構成される近似線を算出し、当該近似線の近傍に存在する検出点をグルーピングする。
特開2013−036978号公報 特開2004−271513号公報
上記の特許文献1に開示された技術によれば、同一クラスタに属する二つの反射点間を結ぶ直線の傾きが許容範囲内にある場合、当該クラスタが示す物標は壁であると判定される。従って、曲率の大きなカーブなどでは、壁と認識されるべき物標が、先行車両等の道路上物標として誤まって認識される可能性がある。そのような誤認識が発生した場合、認識結果に基づいて車両走行制御を行う車両は、不必要な減速を行うおそれがある。不必要な減速に対して、車両のドライバは違和感や不安感を抱く。また、不必要な減速は、車両走行制御に対する信頼の低下につながる。
本発明の1つの目的は、車両の周囲の物標を精度良く判別することができる技術を提供することにある。
本発明の1つの観点において、車両に搭載される物標判別装置が提供される。
前記物標判別装置は、
前記車両の周囲の物標を検出する物標検出装置と、
前記物標検出装置により得られる物標検出情報に基づいて、物標判別処理を行う制御装置と
を備える。
前記物標検出装置は、ライダーを含む。
第1点群は、前記ライダーにより計測される、基準長さよりも長い点群である。
第2点群は、前記ライダーにより計測される、前記第1点群以外の点群である。
前記物標検出情報は、前記第1点群及び前記第2点群に含まれる各計測点に関する前記車両からの距離及び方向を含む。
前記物標判別処理は、
前記物標検出情報に基づいて、前記第1点群を壁として分類し、前記第2点群を物標候補として分類する処理と、
単一の壁を表す前記第1点群が複数存在する場合、前記複数の第1点群の間のギャップの端を表す第1点群端点を抽出する処理と、
前記第2点群の端を表す第2点群端点を抽出する処理と、
前記第1点群端点の前記方向と前記第2点群端点の前記方向との差が第1所定値以下であり、且つ、前記第1点群端点の前記距離が前記第2点群端点の前記距離よりも第2所定値以上大きい場合、前記物標候補を有効物標として判定する処理と
を含む。
壁の手前に先行車両等の有効物標が存在する場合、ライダーは、有効物標の背後に存在する一部の壁を計測することはできない。よって、ライダーからは、壁にギャップ(間隔)が存在するように見える。このギャップは、単一の壁を表す第1点群が複数存在することから認識される。ギャップが存在する場合、有効物標とギャップとは、次のような関係を有する。すなわち、有効物標の計測点の端点の方向は、ギャップの端点の方向とほぼ一致しており、且つ、有効物標の計測点の端点までの距離は、ギャップの端点までの距離よりも小さい。逆に言えば、ギャップに対してこのような関係を有する物標候補は、道路外の壁ではなく、道路上の有効物標である可能性が極めて高い。従って、ギャップとの関係性をチェックすることによって、道路外の壁と道路上の有効物標とを精度良く判別することが可能となる。
具体的には、第1点群は、ライダーにより計測される、基準長さよりも長い点群である。第2点群は、ライダーにより計測される、第1点群以外の点群である。まず、第1点群は壁として分類され、第2点群は物標候補として分類される。単一の壁を表す第1点群が複数存在する場合、それら複数の第1点群の間のギャップの端を表す第1点群端点が抽出される。また、第2点群の端を表す第2点群端点が抽出される。そして、第1点群端点の方向と第2点群端点の方向との差が第1所定値以下であり、且つ、第1点群端点の距離が第2点群端点の距離よりも第2所定値以上大きい場合、物標候補は有効物標として判定される。
このようにして、壁と有効物標とを精度良く判別することが可能となる。その結果、物標の認識結果に基づく車両走行制御を正常に実行することが可能となる。例えば、物標の誤認識に起因する不必要な減速の発生が抑制される。これらのことは、車両走行制御に対する信頼の向上に寄与する。
本発明の実施の形態に係る車両の走行状況の一例を示す概念図である。 本発明の実施の形態の概要を説明するための概念図である。 本発明の実施の形態に係る物標判別装置の構成例を示すブロック図である。 本発明の実施の形態に係る物標判別装置による物標判別処理を示すフローチャートである。 本発明の実施の形態に係る物標判別処理におけるステップS10を説明するための概念図である。 本発明の実施の形態に係る物標判別処理におけるステップS20及びステップS30を説明するための概念図である。 本発明の実施の形態に係る物標判別処理におけるステップS40を説明するための概念図である。 本発明の実施の形態に係る物標判別処理におけるリンク条件を説明するための概念図である。 本発明の実施の形態に係る物標判別処理におけるリンク条件を説明するための概念図である。
添付図面を参照して、本発明の実施の形態を説明する。
1.概要
図1は、本実施の形態に係る車両1の走行状況の一例を示す概念図である。車両1は、道路上を走行している。車両1の前方の道路上には、先行車両2が存在している。また、車両1の左側及び右側にはそれぞれ壁3、4が存在している。
本実施の形態に係る車両1は、周囲の物標を認識し、その認識結果に基づいて車両走行制御を行う機能を有している。そのような車両走行制御としては、例えば、先行車両2と一定の車間距離を保ちながら先行車両2に追従するACC(Adaptive Cruise Control)が挙げられる。あるいは、車両1は、自動運転車両であってもよい。いずれの場合であっても、車両1の周囲の物標を正確に認識することは重要である。
例えば、壁4が誤って先行車両2と認識された場合、車両1は不必要に減速制御を行う可能性がある。そのような不必要な減速に対して、車両1のドライバは違和感や不安感を抱く。また、不必要な減速は、車両走行制御に対する信頼の低下につながる。
他の例として、先行車両2が誤って壁4と認識された場合、ACCが正常に作動しなくなる。また、車両1が先行車両2に近づきすぎるおそれもある。これらのことも、車両走行制御に対する信頼の低下につながる。
正常な車両走行制御を実現するためには、先行車両2と壁4とを正確に判別することが重要である。そこで、本実施の形態は、車両1の周囲の物標を精度良く判別することができる技術を提案する。
図2は、本実施の形態の概要を説明するための概念図である。本実施の形態では、ライダー(LIDAR: Laser Imaging Detection and Ranging)が利用される。ライダーは、レーザー光を出射し、反射光を受け取ることによって、周囲の物体を検出する。より詳細には、ライダーは、周囲の物体の表面上の反射点の方向、及び反射点までの距離を計測することができる。ライダーの空間分解能及び計測精度は非常に高い。また、計測波として用いられるレーザー光の直進性は高い。
図2に示される状況において、車両1に搭載されたライダーは、先行車両2及び壁3、4を計測する。但し、ライダーは、先行車両2の背後に存在する一部の壁4を計測することはできない。よって、ライダーからは、壁4にギャップ(間隔)5が存在するように見える。
ここで、上述の通り、ライダーは、高い空間分解能、計測精度、及び直進性を有している。従って、ライダーから見たとき、先行車両2の計測点とギャップ5とは、次のような関係を有する。すなわち、先行車両2の計測点の端点の方向は、ギャップ5の端点の方向とほぼ一致しており、且つ、先行車両2の計測点の端点までの距離は、ギャップ5の端点までの距離よりも小さい。逆に言えば、ギャップ5に対してこのような関係を有する物標は、道路外の壁4ではなく、道路上の有効物標(例:先行車両2)である可能性が極めて高い。従って、ギャップ5との関係性をチェックすることによって、道路外の壁4と道路上の有効物標とを精度良く判別することが可能となる。
以上に説明されたように、本実施の形態によれば、ライダーにより得られる計測情報を利用することによって、道路外の壁4と道路上の有効物標とを精度良く判別することが可能となる。これにより、物標の認識結果に基づく車両走行制御を正常に実行することが可能となる。例えば、物標の誤認識に起因する不必要な減速の発生が抑制される。これらのことは、車両走行制御に対する信頼の向上に寄与する。
以下、本実施の形態に係る物標判別装置について詳しく説明する。
2.物標判別装置の構成例
図3は、本実施の形態に係る物標判別装置100の構成例を示すブロック図である。物標判別装置100は、車両1に搭載される。この物標判別装置100は、制御装置110、記憶装置120、物標検出装置130、位置特定装置140、地図データベース150、及び走行装置160を含んでいる。
制御装置110は、車両1の走行を制御する。この制御装置110は、プロセッサ及び記憶装置120を備えるマイクロコンピュータである。制御装置110は、ECU(Electronic Control Unit)とも呼ばれる。プロセッサが記憶装置120に格納された制御プログラムを実行することにより、制御装置110による各種処理が実現される。記憶装置120には、制御プログラムの他にも各種情報が格納される。
物標検出装置130は、車両1の周囲の物標を検出する。物標検出装置130は、少なくともライダー131を含んでいる。物標検出装置130は、ライダー131の他にも、ミリ波レーダーやカメラを含んでいてもよい。ライダー131、ミリ波レーダー、カメラ、あるいは、それらの組み合わせによる物標検出方法は、周知であり、その詳細な説明は省略する。
物標検出装置130により得られる情報は、物標検出情報DTである。物標検出情報DTは、物標検出装置130によって検出された検出点に関する情報を含んでいる。特に、物標検出情報DTは、ライダー131により計測された計測点(反射点)に関する車両1からの距離及び方向の情報を含んでいる。制御装置110は、物標検出装置130を用いることによって、車両1の周囲の物標を検出し、物標検出情報DTを取得することができる。
位置特定装置140は、車両1の現在位置を特定する。例えば、位置特定装置140は、GPS(Global Positioning System)受信器を含んでいる。制御装置110は、位置特定装置140から、車両1の現在位置を示す位置情報DPを取得する。
地図データベース150は、高精度地図のデータベースである。制御装置110は、位置情報DPを用いることによって、車両1の周囲の地図情報DMを地図データベース150から取得することができる。地図情報DMは、車両1の周囲のレーン配置、壁形状、等の情報を含んでいる。尚、地図データベース150は、必ずしも車両1に搭載されていなくてもよく、例えば、通信によりアクセス可能な外部サーバにあってもよい。
走行装置160は、操舵装置、駆動装置、制動装置を含んでいる。操舵装置は、車輪を転舵する。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、電動機やエンジンが例示される。制動装置は、制動力を発生させる。制御装置110は、走行装置160を制御することによって、車両1の走行を制御することができる。例えば、制御装置110は、車両1の周囲の物標の認識結果に基づいて、車両走行制御(例:ACC、自動走行)を行う。
制御装置110は、物標検出情報DT、位置情報DP、及び地図情報DMに基づいて、車両1の周囲の物標を判別する「物標判別処理」を行う。以下、本実施の形態に係る物標判別処理について詳しく説明する。
3.物標判別処理
図4は、本実施の形態に係る物標判別処理を示すフローチャートである。図4に示される処理フローは、一定時間毎に繰り返し実行される。
3−1.ステップS10
まず、制御装置110は、物標検出情報DTに基づいて、計測点のグルーピングを行う。上述の通り、物標検出情報DTは、ライダー131により計測された計測点(反射点)に関する車両1からの距離及び方向の情報を含んでいる。それら計測点のうち、連続性を有する計測点の集合は、以下「点群」と呼ばれる。グルーピングとは、連続性を有する計測点を、点群として抽出することを意味する。
連続性を有する計測点は、次のように定義される。隣接する2つの計測点間を考える。それら2つの計測点間の距離Δが所定値未満の場合、それら2つの計測点は連続性を有する。例えば、距離Δが次の式(1)で表される条件を満たす場合、それら2つの計測点は連続性を有する。
Figure 0006834920
ここで、パラメータβは、ライダー131の角度分解能である。パラメータlは、計測点までの距離である。
図5は、ステップS10において抽出される点群の例を示している。ライダー131によって計測された計測点がXY座標系で示されている。X方向は車両1の進行方向であり、Y方向はX方向と直交する平面方向である。既出の図2で示された状況の場合、点群PG−1〜PG−4が抽出される。点群PG−1は、左側の壁3に相当する点群である。点群PG−2及び点群PG−3は、右側の壁4に相当する点群である。点群PG−4は、先行車両2に相当する点群である。
3−2.ステップS20
続いて、制御装置110は、各点群PGを分類する。具体的には、制御装置110は、基準長さよりも長い点群PGを「壁」として分類し、それ以外の点群PGを「物標候補」として分類する。例えば、基準長さとして、法規上の車両長の上限値が用いられる。基準長さよりも長く、壁を表す点群PGは、以下「第1点群10」と呼ばれる。第1点群10以外の点群PG(物標候補として分類された点群PG)は、以下「第2点群20」と呼ばれる。
図6は、既出の図5で示された状況の場合の第1点群10及び第2点群20を示している。第1点群10−1は、点群PG−1である。第1点群10−2は、点群PG−2である。第1点群10−3は、点群PG−3である。第2点群20は、点群PG−4である。
3−3.ステップS30
続いて、制御装置110は、地図情報DMを参照して、壁3、4を特定する。具体的には、地図情報DMは、車両1の周囲のレーン配置、壁形状、等の情報を含んでいる。制御装置110は、第1点群10の形状と地図情報DMとを比較することによって、壁3、4を特定することができる。
図6に示される例では、第1点群10−1は、左側の壁3を表していると特定される。第1点群10−2は、右側の壁4を表していると特定される。第1点群10−3も、右側の壁4を表していると特定される。
ここで、2つの第1点群10−2、10−3は共に、連続する単一の壁4を表していることに留意されたい。2つの第1点群10−2、10−3間のスペースは、図2で示された「ギャップ5」に相当する。制御装置110は、単一の壁4を表す2つの第1点群10−2、10−3間のスペースを、ギャップ5(図2参照)として認識する。
3−4.ステップS40
続いて、制御装置110は、第1点群10及び第2点群20の中から「点群端点」を抽出する。具体的には、制御装置110は、第1点群10のうちギャップ5の端を表す計測点を「第1点群端点」として抽出する。また、制御装置110は、第2点群20の端を表す計測点を「第2点群端点」として抽出する。
図7は、既出の図6で示された状況の場合の点群端点を示している。ギャップ5の両端は、左側の第1点群端点11と右側の第1点群端点12で表される。第2点群20の両端は、左側の第2点群端点21と右側の第2点群端点22で表される。
3−5.ステップS50
続いて、制御装置110は、判定処理を行う。まず、制御装置110は、第2点群端点21、22が第1点群10(壁)と重なるか否かを判定する(ステップS51)。第2点群端点21、22が第1点群10と重なる場合(ステップS51;Yes)、制御装置110は、第2点群20で表される物標候補を「壁の一部」として判定する(ステップS52)。それ以外の場合(ステップS51;No)、処理は、ステップS53に進む。
ステップS53において、制御装置110は、第1点群端点11、12と第2点群端点21、22とが、以下に説明される「リンク条件」を満たすか否かを判定する。
図8に示されるように、左側の第1点群端点11の車両1からの距離及び方向は、それぞれ、L11及びθ11で表される。ここでは、方向を表すパラメータとして、Y軸からの角度が用いられている。同様に、右側の第1点群端点12の車両1からの距離及び方向は、それぞれ、L12及びθ12で表される。また、図9に示されるように、左側の第2点群端点21の車両1からの距離及び方向は、それぞれ、L21及びθ21で表される。同様に、右側の第2点群端点22の車両1からの距離及び方向は、それぞれ、L22及びθ22で表される。これらパラメータ(L11、L12、L21、L22、θ11、θ12、θ21、θ22)は、物標検出情報DTから得られる。
リンク条件は、方向に関する条件と、距離に関する条件を含んでいる。方向に関する条件と距離に関する条件は、それぞれ、次の式(2)、(3)で表される。
Figure 0006834920
Figure 0006834920
方向に関する条件は、第1点群端点11の方向θ11と第2点群端点21の方向θ21との差が第1所定値θth以下であることを含んでいる。また、方向に関する条件は、第1点群端点12の方向θ12と第2点群端点22の方向θ22との差が第1所定値θth以下であることである。第1所定値θthは、例えば、3βに設定される。
距離に関する条件は、第1点群端点11の距離L11が第2点群端点21の距離L21よりも第2所定値Lth以上大きいことを含んでいる。また、距離に関する条件は、第1点群端点12の距離L12が第2点群端点22の距離L22よりも第2所定値Lth以上大きいことを含んでいる。第2所定値Lthは、例えば、小型バイクの長さに設定される。
リンク条件が満たされる場合(ステップ53;Yes)、制御装置110は、第2点群20で表される物標候補を「有効物標」として判定する(ステップS54)。有効物標とは、先行車両2等の、道路上に存在する物標である。一方、リンク条件が満たされない場合(ステップS53;No)、制御装置110は、第2点群20で表される物標候補を「無効物標」として判定する(ステップS55)。
4.効果
以上に説明されたように、本実施の形態によれば、道路外の壁3、4と道路上の先行車両2等の有効物標とを精度良く判別することが可能となる。これにより、物標の認識結果に基づく車両走行制御を正常に実行することが可能となる。例えば、物標の誤認識に起因する不必要な減速の発生が抑制される。これらのことは、車両走行制御に対する信頼の向上に寄与する。
1 車両
2 先行車両
3、4 壁
5 ギャップ
10 第1点群
20 第2点群
11、12 第1点群端点
21、22 第2点群端点
100 物標判別装置
110 制御装置
120 記憶装置
130 物標検出装置
131 ライダー
140 位置特定装置
150 地図データベース
160 走行装置
DM 地図情報
DP 位置情報
DT 物標検出情報

Claims (1)

  1. 車両に搭載される物標判別装置であって、
    前記車両の周囲の物標を検出する物標検出装置と、
    前記物標検出装置により得られる物標検出情報に基づいて、物標判別処理を行う制御装置と
    を備え、
    前記物標検出装置は、ライダーを含み、
    第1点群は、前記ライダーにより計測される、基準長さよりも長い点群であり、
    第2点群は、前記ライダーにより計測される、前記第1点群以外の点群であり、
    前記物標検出情報は、前記第1点群及び前記第2点群に含まれる各計測点に関する前記車両からの距離及び方向を含み、
    前記物標判別処理は、
    前記物標検出情報に基づいて、前記第1点群を壁として分類し、前記第2点群を物標候補として分類する処理と、
    単一の壁を表す前記第1点群が複数存在する場合、前記複数の第1点群の間のギャップの端を表す第1点群端点を抽出する処理と、
    前記第2点群の端を表す第2点群端点を抽出する処理と、
    前記第1点群端点の前記方向と前記第2点群端点の前記方向との差が第1所定値以下であり、且つ、前記第1点群端点の前記距離が前記第2点群端点の前記距離よりも第2所定値以上大きい場合、前記物標候補を有効物標として判定する処理と
    を含む
    物標判別装置。
JP2017224742A 2017-11-22 2017-11-22 物標判別装置 Active JP6834920B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017224742A JP6834920B2 (ja) 2017-11-22 2017-11-22 物標判別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017224742A JP6834920B2 (ja) 2017-11-22 2017-11-22 物標判別装置

Publications (2)

Publication Number Publication Date
JP2019095290A JP2019095290A (ja) 2019-06-20
JP6834920B2 true JP6834920B2 (ja) 2021-02-24

Family

ID=66971463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017224742A Active JP6834920B2 (ja) 2017-11-22 2017-11-22 物標判別装置

Country Status (1)

Country Link
JP (1) JP6834920B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11337643A (ja) * 1998-05-27 1999-12-10 Mitsubishi Motors Corp 車両用後方モニタシステム
JP3649163B2 (ja) * 2001-07-12 2005-05-18 日産自動車株式会社 物体種別判別装置及び物体種別判別方法
JP3690366B2 (ja) * 2001-12-27 2005-08-31 日産自動車株式会社 前方物体検出装置
JP4715579B2 (ja) * 2006-03-23 2011-07-06 株式会社豊田中央研究所 潜在危険度推定装置
JP6202517B2 (ja) * 2013-03-07 2017-09-27 株式会社国際電気通信基礎技術研究所 地図作成装置、地図作成プログラムおよび地図作成方法
JP6660228B2 (ja) * 2016-03-31 2020-03-11 セコム株式会社 物体検出センサ
JP6782589B2 (ja) * 2016-09-06 2020-11-11 株式会社Ihi 移動体の認識装置及び認識方法

Also Published As

Publication number Publication date
JP2019095290A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
US10836388B2 (en) Vehicle control method and apparatus
US9711049B2 (en) Collision probability determination apparatus and program
US10217024B2 (en) Object detection apparatus
JP4420011B2 (ja) 物体検知装置
JP5152244B2 (ja) 追従対象車特定装置
US11003927B2 (en) Target recognition apparatus, target recognition method, and vehicle control system
JP5363921B2 (ja) 車両用白線認識装置
US11719555B2 (en) Map information system
US10431088B2 (en) Object detection apparatus
US10583737B2 (en) Target determination apparatus and driving assistance system
US11119210B2 (en) Vehicle control device and vehicle control method
JP2018200267A (ja) 上方構造物判定装置及び運転支援システム
KR102115905B1 (ko) 운전자 보조 시스템 및 그 제어방법
US20230221451A1 (en) Driver assistance system and driver assistance method
US11009589B2 (en) Vehicle exterior environment recognition apparatus
JP6834920B2 (ja) 物標判別装置
US20230176204A1 (en) Vehicle sensor fusion apparatus and method thereof
KR20210080024A (ko) 운전자 보조 시스템 및 그 제어방법
JP6390459B2 (ja) 光軸ずれ検出装置
US20230008853A1 (en) Radar device
US20230146935A1 (en) Content capture of an environment of a vehicle using a priori confidence levels
JP6082293B2 (ja) 車両用白線認識装置
US20240059288A1 (en) Vehicle control device, storage medium storing computer program for vehicle control, and method for controlling vehicle
US20240123976A1 (en) Vehicle controller, method, and computer program for vehicle control
CN117962898A (zh) 车道识别方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R151 Written notification of patent or utility model registration

Ref document number: 6834920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151