JP7184481B2 - キャリブレーション装置、キャリブレーション方法 - Google Patents

キャリブレーション装置、キャリブレーション方法 Download PDF

Info

Publication number
JP7184481B2
JP7184481B2 JP2018150004A JP2018150004A JP7184481B2 JP 7184481 B2 JP7184481 B2 JP 7184481B2 JP 2018150004 A JP2018150004 A JP 2018150004A JP 2018150004 A JP2018150004 A JP 2018150004A JP 7184481 B2 JP7184481 B2 JP 7184481B2
Authority
JP
Japan
Prior art keywords
vehicle
target
sensor
position data
extraction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018150004A
Other languages
English (en)
Other versions
JP2020026955A (ja
Inventor
誠 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bosch Corp
Original Assignee
Bosch Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bosch Corp filed Critical Bosch Corp
Priority to JP2018150004A priority Critical patent/JP7184481B2/ja
Publication of JP2020026955A publication Critical patent/JP2020026955A/ja
Application granted granted Critical
Publication of JP7184481B2 publication Critical patent/JP7184481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、キャリブレーション装置、キャリブレーション方法に関する。
近年、車両に搭載され当該車両の外部の対象物の当該車両に対する相対位置を検出するセンサの検出結果を用いた障害物の検知や自動運転等の種々の技術が提案されている。ここで、センサの検出結果を用いて適切に障害物の検知や自動運転等を実現するためには、センサのキャリブレーションを行う必要がある(例えば、特許文献1参照。)。具体的には、当該キャリブレーションでは、センサの車両への取り付け姿勢のばらつき等に起因して生じる車両進行方向に対するセンサの座標軸のずれを補正することが行われる。
特開2014-045336号公報
ところで、対象物の車両に対する相対位置を検出するセンサのキャリブレーションとして、ターゲットが設置された走行路上で車両を走行させ、車両の走行時にセンサにより検出されるターゲットの相対位置の推移を示すターゲット位置データを利用することによって、車両進行方向に対するセンサの座標軸のずれを算出する方法がある。しかしながら、この方法において、センサにより検出される検出データには、ターゲット以外の走行路の周囲の対象物(例えば、建物や草木等)の相対位置の推移を示すデータが含まれてしまう。特に、走行路が狭い場合には、検出データには、ターゲット以外の走行路の周囲の対象物の相対位置の推移を示すデータが多く含まれてしまう。ゆえに、従来の技術では、検出データからターゲット位置データを抽出することが困難となる場合があった。それにより、センサのキャリブレーションを適切に行うことが困難となる場合があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、対象物の車両に対する相対位置を検出するセンサのキャリブレーションを適切に行うことが可能な、新規かつ改良されたキャリブレーション装置及びキャリブレーション方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、車両に搭載され当該車両の外部の対象物の当該車両に対する相対位置を検出するセンサのキャリブレーションを行うキャリブレーション装置であって、当該対象物は、互いに基準間隔を空けて配置された複数のターゲットを含み、当該キャリブレーション装置は、当該車両の走行時に当該センサにより検出された検出データを取得する取得部と、当該検出データの中から当該ターゲットの相対位置の推移を示すターゲット位置データを当該基準間隔に基づいて抽出する抽出部と、を備え、当該抽出部は、当該検出データと、車両進行方向に対応する当該センサの座標軸の方向における当該対象物の相対位置の推移及び当該車両の車速と、に基づいて、当該ターゲットの基準時刻での相対位置の候補である複数の位置候補を算出し、当該複数の位置候補の中から当該ターゲットの当該基準時刻での相対位置を当該基準間隔に基づいて特定することによって、当該ターゲット位置データを抽出する、キャリブレーション装置が提供される。
上記課題を解決するために、本発明のある観点によれば、車両に搭載され当該車両の外部の対象物の当該車両に対する相対位置を検出するセンサのキャリブレーションを行うキャリブレーション方法であって、当該対象物は、互いに基準間隔を空けて配置された複数のターゲットを含み、当該キャリブレーション方法は、当該車両の走行時に当該センサにより検出された検出データを取得するステップと、当該検出データの中から当該ターゲットの相対位置の推移を示すターゲット位置データを当該基準間隔に基づいてキャリブレーション装置により抽出するステップと、を備え、当該ターゲット位置データを抽出するステップでは、当該検出データと、車両進行方向に対応する当該センサの座標軸の方向における当該対象物の相対位置の推移及び当該車両の車速と、に基づいて、当該ターゲットの基準時刻での相対位置の候補である複数の位置候補を算出し、当該複数の位置候補の中から当該ターゲットの当該基準時刻での相対位置を当該基準間隔に基づいて特定することによって、当該ターゲット位置データを抽出する、キャリブレーション方法が提供される。
以上説明したように本発明によれば、対象物の車両に対する相対位置を検出するセンサのキャリブレーションを適切に行うことが可能となる。
本発明の実施形態に係るキャリブレーション装置を備えるキャリブレーションシステムの概略構成を示す模式図である。 同実施形態に係るキャリブレーション装置の機能構成の一例を示すブロック図である。 同実施形態に係るキャリブレーション装置の抽出部が行うターゲット位置データの抽出処理の流れの一例を示すフローチャートである。 各位置データに対応する基準時刻(t=0)でのx座標であるx0_estについて説明するための図である。 各位置データに対応する基準時刻(t=0)でのx座標であるx0_estの分布を示すヒストグラムについて説明するための図である。 ターゲットの基準時刻(t=0)でのx座標であるx0_refの候補である複数のx0_ref候補について説明するための図である。 ターゲットの基準時刻(t=0)でのx座標であるx0_ref及び車速に基づくターゲット位置データの抽出範囲について説明するための図である。 t-x平面上でのターゲット位置データのノイズ成分の除去について説明するための図である。 t-y平面上でのターゲット位置データのノイズ成分の除去について説明するための図である。 車両進行方向に対するセンサのx軸のなす角度について説明するための図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<キャリブレーションシステムの構成>
図1及び図2を参照して、本発明の実施形態に係るキャリブレーションシステム1の構成について説明する。
図1は、本発明の実施形態に係るキャリブレーション装置40を備えるキャリブレーションシステム1の概略構成を示す模式図である。なお、図1は、車両10の進行方向である車両進行方向をx’方向とし、x’方向と直交する車両10の幅方向である車両幅方向をy’方向として示されている。
キャリブレーションシステム1は、車両に搭載され当該車両の外部の対象物の当該車両に対する相対位置を検出するセンサのキャリブレーションを行うためのシステムである。
図1に示されるように、キャリブレーションシステム1は、車両10と、当該車両10に搭載されるセンサ20fc,20fl,20fr,20rc,20rl,20rrと、ターゲット30a,30b,30cと、キャリブレーション装置40とを備える。
なお、以下では、センサ20fc,20fl,20fr,20rc,20rl,20rrを特に区別しない場合には単にセンサ20と呼ぶ。また、図1では、車両10に6つのセンサ20が搭載されている例が示されているが、車両10に搭載されるセンサ20の数はこのような例に限定されず、単数であってもよく、複数であってもよい。また、以下では、ターゲット30a,30b,30cを特に区別しない場合には単にターゲット30と呼ぶ。また、図1では、3つのターゲット30が配置されている例が示されているが、ターゲット30の数は、複数であればよく、このような例に限定されない。
センサ20は、車両10の外部の対象物の当該車両10に対する相対位置を検出するセンサである。センサ20としては、例えば、レーダーセンサ、赤外線センサ又は超音波センサ等が用いられ、対象物の車両10に対する相対位置を検出する方式は特に限定されない。後述するように、センサ20による相対位置の検出の対象である対象物は、複数のターゲット30を含む。具体的には、センサ20fc,20fl,20fr,20rc,20rl,20rrは、それぞれ車両10の前中央部、前左部、前右部、後中央部、後左部、後右部に取り付けられており、車両10の前方、前左方、前右方、後方、後左方、後右方の対象物の相対位置を検出可能である。
ターゲット30は、センサ20による相対位置の検出の対象となるものである。また、ターゲット30a,30b,30cは、互いに基準間隔を空けて配置されている。具体的には、ターゲット30a,30b,30cは、互いに等しい基準間隔Δdで車両進行方向x’に沿ってこの順に並設されている。後述するように、センサ20のキャリブレーションに用いられる空間を小型化する観点では、このように、ターゲット30a,30b,30cは、車両進行方向x’に沿って並設されていることが好ましい。
キャリブレーション装置40は、センサ20のキャリブレーションを行う装置である。
キャリブレーション装置40は、具体的には、演算処理装置であるCPU(Central Processing Unit)、CPUが使用するプログラムや演算パラメータ等を記憶する記憶素子であるROM(Read Only Memory)及びCPUの実行において適宜変化するパラメータ等を一時記憶する記憶素子であるRAM(Random Access Memory)等で構成される。
なお、キャリブレーション装置40が有する機能は複数の装置により少なくとも部分的に分割されてもよく、複数の機能が1つの装置によって実現されてもよい。キャリブレーション装置40が有する機能が複数の装置により少なくとも部分的に分割される場合、当該複数の装置は、互いに通信可能であってもよい。
キャリブレーションシステム1では、車両10を直進させ、車両10の走行時にセンサ20により検出された検出データを用いてキャリブレーション装置40によってセンサ20のキャリブレーションが行われる。ここで、キャリブレーション装置40は、検出データからターゲット30の相対位置の推移を示すターゲット位置データを抽出し、ターゲット位置データに基づいてセンサ20のキャリブレーションを行う。
例えば、図1に示されるように、車両10の前左方向にターゲット30a,30b,30cが配置されている状態で車両10を前方向に直進させる場合、車両10の走行時にセンサ20fc,20flの各々によってターゲット30a,30b,30cの相対位置の検出が行われる。ゆえに、この場合、センサ20fc,20flのキャリブレーションを行うことができる。なお、センサ20fc,20fl以外のセンサ20のキャリブレーションは、車両10とターゲット30a,30b,30cとの位置関係及び車両10の進行方向を適宜設定することによって実現可能である。
図2は、キャリブレーション装置40の機能構成の一例を示すブロック図である。
図2に示されるように、キャリブレーション装置40は、例えば、取得部41と、抽出部42と、キャリブレーション部43とを含む。
取得部41は、車両10の走行時にセンサ20により検出された検出データを取得する。当該検出データは、ターゲット30及びターゲット30以外の種々の対象物の検出が行われた時刻と検出された相対位置(具体的には、後述するx座標及びy座標)とが紐付けられている複数の位置データを含む。例えば、車両10の走行及びセンサ20による対象物の相対位置の検出が終わった後に、センサ20及びキャリブレーション装置40はケーブルを介して接続されて通信可能になる。この状態で、取得部41は、センサ20から検出データを取得することができる。なお、取得部41はセンサ20と無線通信してもよく、さらに、その場合において、取得部41は車両10の走行中にセンサ20と通信してもよい。取得部41により取得されたセンサ20の検出データは、抽出部42に出力される。
抽出部42は、検出データの中からターゲット30の相対位置の推移を示すターゲット位置データを抽出する。抽出部42により抽出されたターゲット位置データは、キャリブレーション部43に出力される。
キャリブレーション部43は、ターゲット位置データに基づいて、センサ20のキャリブレーションを行う。
ここで、センサ20は、当該センサ20の座標軸が車両進行方向x’と一致するように車両10へ取り付けられる。しかしながら、センサ20の車両10への取り付け姿勢のばらつき等に起因して車両進行方向x’に対するセンサ20の座標軸のずれが生じる場合がある。具体的には、以下では、センサ20の直交座標系としてx-y座標系を設定し、当該x-y座標系のx軸が車両進行方向x’と一致するようにセンサ20を車両10に取り付けた場合について説明する。この場合、x軸が車両進行方向x’に対してずれる場合がある。そこで、キャリブレーション部43は、具体的には、センサ20のキャリブレーションにおいて、車両進行方向x’に対応するセンサ20の座標軸であるx軸の車両進行方向x’に対するずれをターゲット位置データに基づいて補正する。
キャリブレーション装置40では、抽出部42によって、検出データの中からターゲット位置データが基準間隔Δdに基づいて抽出される。それにより、センサ20のキャリブレーションを適切に行うことが実現される。このような抽出部42が行うターゲット位置データの抽出処理については、後述にて詳細に説明する。
<キャリブレーション装置の動作>
図3~図10を参照して、本発明の実施形態に係るキャリブレーション装置40の動作について説明する。具体的には、以下では、キャリブレーション装置40の動作のうちターゲット位置データの抽出処理に関する動作について主に説明する。
図3は、キャリブレーション装置40の抽出部42が行う処理の流れの一例を示すフローチャートである。
図3に示される処理フローが開始されると、ステップS501において、抽出部42は、センサ20の検出データに対してフィルタを施すフィルタリング処理を実行する。ここで、検出データに含まれる各位置データでは、上述したように、検出が行われた時刻と、検出されたx座標と、検出されたy座標とが紐付けられている。
例えば、抽出部42は、時刻に関するフィルタを用いたフィルタリング処理を実行する。当該フィルタでは、時刻下限値及び時刻上限値が設定されており、抽出部42は、当該フィルタリング処理において、検出データから時刻下限値より以前の時刻を有する位置データ及び時刻上限値より以後の時刻を有する位置データを除去する。
また、例えば、抽出部42は、x座標に関するフィルタを用いたフィルタリング処理を実行する。当該フィルタでは、x座標下限値及びx座標上限値が設定されており、抽出部42は、当該フィルタリング処理において、検出データからx座標下限値より小さいx座標を有する位置データ及びx座標上限値より大きいx座標を有する位置データを除去する。
また、例えば、抽出部42は、y座標に関するフィルタを用いたフィルタリング処理を実行する。当該フィルタでは、y座標下限値及びy座標上限値が設定されており、抽出部42は、当該フィルタリング処理において、検出データからy座標下限値より小さいy座標を有する位置データ及びy座標上限値より大きいy座標を有する位置データを除去する。
なお、抽出部42は、上記以外のフィルタを用いたフィルタリング処理を実行してもよい。例えば、センサ20としてレーダーセンサが用いられる場合において、検出データに含まれる各位置データにレーダー反射断面積(RCS:Radar cross-section)が含まれる場合、レーダー反射断面積下限値及びレーダー反射断面積上限値が設定されているフィルタを用いたフィルタリング処理を実行してもよい。
次に、ステップS502において、抽出部42は、車両10の車速を推定する。
例えば、抽出部42は、検出データにより示される対象物のx座標の推移に基づいて、車速を推定する。具体的には、抽出部42は、t-x平面上にプロットされた複数の位置データを用いて、車速を推定する。より詳細には、抽出部42は、各位置データに対応する基準時刻(例えば、t=0)でのx座標であるx0_estの分布を示すヒストグラムを各車速候補について生成することによって、車速を推定する。ここで、各位置データに対応する基準時刻(t=0)でのx座標であるx0_estは、各位置データに対応する対象物が基準時刻(t=0)において存在すると想定されるx座標を意味する。
図4は、各位置データに対応する基準時刻(t=0)でのx座標であるx0_estについて説明するための図である。
図4では、具体的には、t-x平面上にプロットされた複数の位置データのうちのk個目の位置データを示すプロット点Pが示されている。プロット点Pのt座標はtであり、x座標はxである。ここで、車速候補をVego_estとすると、図4に示される直線Lは、プロット点Pを通り、傾きが-Vego_estである直線である。ゆえに、プロット点Pに対応するx0_estは、図4に示される直線Lのx切片に相当する。よって、k個目の位置データに対応するx0_estは、下記の式(1)によって表される。
Figure 0007184481000001
抽出部42は、例えば、式(1)を用いて、t-x平面上にプロットされた各プロット点についてx0_estを算出する。そして、抽出部42は、各位置データに対応するx0_estの分布を示すヒストグラムを生成する。
図5は、各位置データに対応する基準時刻(t=0)でのx座標であるx0_estの分布を示すヒストグラムについて説明するための図である。
図5では、具体的には、横軸にx0_estをとり、縦軸に度数Freqをとったヒストグラムが示されている。なお、図5では、互いに異なる2つの車速候補の各々について生成されたヒストグラムH,Hがそれぞれ実線及び一点鎖線で例示されている。抽出部42により生成されるヒストグラムでは、x0_estの存在する範囲が複数の区間に分けられており、各区間についての度数が示されているが、各区間の幅は適宜設定されてもよく、隣り合う区間どうしが部分的に重複していてもよい。
抽出部42は、上述したように、各位置データに対応するx0_estの分布を示すヒストグラムを各車速候補Vego_estについて生成する。例えば、抽出部42は、車両10を直進させる際の目標車速を含む車速範囲内から複数の車速候補Vego_estを選択し、選択した車速候補Vego_estの各々についてヒストグラムを生成する。
ここで、t-x平面において、同一の対象物の相対位置を示す複数のプロット点は車速と一致する大きさの傾きの直線上に並んでいる。ゆえに、車速候補Vego_estが実際の車速に近いほど、同一の対象物の相対位置を示す複数のプロット点にそれぞれ対応するx0_estは互いに近い値をとる。よって、車速候補Vego_estが実際の車速に近いほど、生成されるヒストグラムのピークは高くなる。例えば、図5では、各ヒストグラムにおいて6つのピークが存在しており、実線のヒストグラムHの各ピークが、一点鎖線のヒストグラムHの各ピークと比較して高くなっている。ゆえに、ヒストグラムHに対応する車速候補Vego_estの方がヒストグラムHに対応する車速候補Vego_estよりも実際の車速に近いと判断することができる。
抽出部42は、生成されたx0_estの分布を示す複数のヒストグラムにそれぞれ対応する複数の車速候補Vego_estの中から、例えば上記のように、各ヒストグラムのピークの高さに基づいて、実際の車速に最も近いと想定される車速候補Vego_estを車速として推定する。
上記のように、抽出部42は、例えば、車両進行方向x’に対応するセンサ20の座標軸の方向における対象物の相対位置(具体的には、x座標)の推移に基づいて、車速を推定する。より詳細には、抽出部42は、各位置データに対応する基準時刻でのx軸の方向における相対位置(具体的には、x0_est)の分布を示すヒストグラムを車速の候補である複数の車速候補Vego_estの各々について生成することによって、車速を推定する。
次に、ステップS503において、抽出部42は、ターゲット30の基準時刻(t=0)での相対位置の候補である複数の位置候補を算出する。具体的には、抽出部42は、ターゲット30の基準時刻(t=0)でのx座標であるx0_refの候補である複数のx0_ref候補を算出する。
例えば、抽出部42は、各位置データに対応するx0_estの分布を示すヒストグラムとして車速に基づいて生成されたヒストグラムにおけるピークに対応するx0_estをx0_ref候補として算出する。具体的には、抽出部42は、複数の車速候補Vego_estの中から車速として推定された値を用いて生成されたヒストグラムにおけるピークに対応するx0_estをx0_ref候補として算出する。なお、当該ヒストグラムは、ステップS502において生成されている。
図6は、ターゲットの基準時刻(t=0)でのx座標であるx0_refの候補である複数のx0_ref候補について説明するための図である。
図6では、具体的には、複数の車速候補Vego_estの中から車速として推定された値を用いて生成されたヒストグラムHが示されている。図6に示されるように、ヒストグラムHでは、6つのピークQ,Q,Q,Q,Q,Qが存在している。ピークQに対応するx0_estはxpks_iであり、度数FreqはFreqである(i=1,2,3,4,5,6)。ヒストグラムHは、具体的には、各x0_estの度数Freqを示す複数の点の集合となっており、抽出部42は、例えば、ヒストグラムHにおける度数Freqを示す点のうち隣り合う点のいずれと比較しても高い度数Freqを有する点をピークとして特定する。それにより、抽出部42は、ヒストグラムHにおけるピークQ,Q,Q,Q,Q,Qを特定することができる。そして、抽出部42は、例えば、各ピークに対応するx0_estであるxpks_1,xpks_2,xpks_3,xpks_4,xpks_5,xpks_6をx0_ref候補として算出する。
ここで、抽出部42は、ピークを適切に決定する観点では、特定された複数のピークの中で隣り合うピークにそれぞれ対応するx0_refの差が基準差よりも小さい場合、当該隣り合うピークのうち低い度数Freqを有するピークをノイズとして除去することが好ましい。基準差は、具体的には、基準間隔Δdより小さい値に設定される。それにより、ターゲット30以外の対象物の基準時刻(t=0)でのx座標に対応するピークをノイズとして適切に除去することができる。
また、抽出部42は、ピークを適切に決定する観点では、特定された複数のピークの中で基準度数Freqよりも低い度数Freqを有するピークをノイズとして除去することが好ましい。基準度数Freqは、例えば、上記複数のピークの度数Freqの中で最も大きな度数Freqに1より小さい係数を乗じて得られる値に設定される。それにより、ターゲット30以外の対象物の基準時刻(t=0)でのx座標に対応するピークをノイズとして適切に除去することができる。
抽出部42は、例えば、上記のようにノイズとして除去されずに特定されたピークに対応するx0_estをx0_ref候補として算出する。例えば、図6に示される例では、ピークQの度数Freqが基準度数Freqよりも低いので、抽出部42は、ピークQをノイズとして除去し、x0_ref候補からxpks_2を除き、xpks_1,xpks_3,xpks_4,xpks_5,xpks_6をx0_ref候補として算出する。
上記のように、抽出部42は、例えば、車両進行方向に対応するセンサ20の座標軸の方向における対象物の相対位置(具体的には、x座標)の推移及び車両10の車速に基づいて、複数の位置候補(具体的には、x0_ref候補)を算出する。より詳細には、抽出部42は、各位置データに対応する基準時刻でのx軸の方向における相対位置(具体的には、x0_est)の分布を示すヒストグラムを車速に基づいて生成し、当該ヒストグラムにおけるピークに対応する相対位置(具体的には、x0_est)を位置候補(具体的には、x0_ref候補)として算出する。
次に、ステップS504において、抽出部42は、複数の位置候補の中からターゲット30の基準時刻での相対位置を特定する。具体的には、抽出部42は、複数のx0_ref候補の中からターゲット30の基準時刻(t=0)でのx座標であるx0_refを特定する。ここで、抽出部42は、複数のx0_ref候補の中から基準間隔Δdに基づいてx0_refを特定する。
例えば、抽出部42は、ステップS503で算出された複数のx0_ref候補の中で隣り合う3つのx0_ref候補における各x0_ref候補の間隔と基準間隔Δdとの比較結果に基づいて、x0_refを特定する。
以下、ステップS503でx0_ref候補として、xpks_1,xpks_3,xpks_4,xpks_5,xpks_6が算出された場合におけるx0_refの特定処理について具体的に説明する。
例えば、抽出部42は、まず、隣り合う3つのx0_ref候補として、xpks_1,xpks_3,xpks_4を選択する。次に、これらの3つのx0_ref候補のうち、最も小さいx0_ref候補であるxpks_1及び二番目に小さいx0_ref候補であるxpks_3の間隔と基準間隔Δdとの差eを算出する。また、これらの3つのx0_ref候補のうち、二番目に小さいx0_ref候補であるxpks_3及び最も大きいx0_ref候補であるxpks_4の間隔と基準間隔Δdとの差eを算出する。そして、これらの3つのx0_ref候補について算出された差eと差eの合計を算出する。
そして、抽出部42は、隣り合う3つのx0_ref候補として、xpks_3,xpks_4,xpks_5を選択する。次に、これらの3つのx0_ref候補のうち、最も小さいx0_ref候補であるxpks_3及び二番目に小さいx0_ref候補であるxpks_4の間隔と基準間隔Δdとの差eを算出する。また、これらの3つのx0_ref候補のうち、二番目に小さいx0_ref候補であるxpks_4及び最も大きいx0_ref候補であるxpks_5の間隔と基準間隔Δdとの差eを算出する。そして、これらの3つのx0_ref候補について算出された差eと差eの合計を算出する。
そして、抽出部42は、隣り合う3つのx0_ref候補として、xpks_4,xpks_5,xpks_6を選択する。次に、これらの3つのx0_ref候補のうち、最も小さいx0_ref候補であるxpks_4及び二番目に小さいx0_ref候補であるxpks_5の間隔と基準間隔Δdとの差eを算出する。また、これらの3つのx0_ref候補のうち、二番目に小さいx0_ref候補であるxpks_5及び最も大きいx0_ref候補であるxpks_6の間隔と基準間隔Δdとの差eを算出する。そして、これらの3つのx0_ref候補について算出された差eと差eの合計を算出する。
抽出部42は、上記のように算出される差eと差eの合計が最も小さくなる隣り合う3つのx0_ref候補を各ターゲット30のx0_refとして特定する。このように、抽出部42は、複数のx0_ref候補の中で隣り合う3つのx0_ref候補のうち、各x0_ref候補の間の位置関係が各ターゲット30の間の位置関係と近い3つのx0_ref候補を各ターゲット30のx0_refとして特定する。
次に、ステップS505において、抽出部42は、ターゲット30の相対位置の推移を示すターゲット位置データを抽出する。具体的には、抽出部42は、3つのターゲット30の各々のターゲット位置データを抽出する。
なお、以下では、理解を容易にするために、3つのターゲット30のうちの1つのターゲット30のターゲット位置データを抽出する処理について具体的に説明するが、抽出部42は、具体的には、他のターゲット30のターゲット位置データについても同様の処理を行うことによって、3つのターゲット30の各々のターゲット位置データを抽出する。
例えば、抽出部42は、ステップS504で特定されたターゲット30のx0_ref及び車速に基づいて、t-x平面上にプロットされた複数の位置データのうちターゲット位置データとして抽出される位置データを規定する範囲である抽出範囲を決定する。具体的には、抽出部42は、複数の車速候補Vego_estの中から車速として推定された値を用いて、ターゲット位置データの抽出範囲を決定する。
図7は、ターゲット30の基準時刻(t=0)でのx座標であるx0_ref及び車速に基づくターゲット位置データの抽出範囲について説明するための図である。
ここで、複数の車速候補Vego_estの中から車速として推定された値をVegoとすると、図7に示されるt-x平面上の直線Lは、x切片がx0_refであり、傾きが-Vegoである直線である。ゆえに、直線Lは、ターゲット30の基準時刻(t=0)でのx座標が理想的にx0_refと一致し、車速が理想的に一定でVegoと一致する場合において、t-x平面上でターゲット位置データが存在する位置を示す直線に相当する。直線Lは、下記の式(2)によって表される。
Figure 0007184481000002
抽出部42は、例えば、式(2)により表される直線Lをt-x平面上でx方向の正方向に基準値xtol_0だけ移動させて得られる直線L2uと、直線Lをt-x平面上でx方向の負方向に基準値xtol_0だけ移動させて得られる直線L2dとにより挟まれる範囲を、ターゲット位置データの抽出範囲として決定する。基準値xtol_0は、具体的には、基準間隔Δdより小さい値に設定される。それにより、互いに異なるターゲット30の相対位置を示すプロット点が抽出範囲内に混在することを抑制することができる。次に、抽出部42は、t-x平面上のプロット点のうち抽出範囲内のプロット点に対応する位置データをターゲット位置データとして抽出する。
ここで、抽出部42は、抽出されたターゲット位置データをより適正化する観点では、抽出されたターゲット位置データからターゲット30以外の対象物の相対位置を示す位置データである可能性が高いノイズ成分の除去をさらに行うことが好ましい。
例えば、抽出部42は、t-x平面上でターゲット位置データのノイズ成分の除去を行う。
図8は、t-x平面上でのターゲット位置データのノイズ成分の除去について説明するための図である。
図8に示されるt-x平面上の直線Lは、抽出されたターゲット位置データを示す複数のプロット点を表す近似直線である。まず、抽出部42は、例えば最小二乗法を用いて、このような直線Lを算出する。そして、抽出部42は、直線Lをt-x平面上でx方向の正方向に基準値xtol_1だけ移動させて得られる直線L3uと、直線Lをt-x平面上でx方向の負方向に基準値xtol_1だけ移動させて得られる直線L3dとにより挟まれる範囲より外側のプロット点(例えば、図8において、破線で囲まれているプロット点)に対応するターゲット位置データをノイズ成分として除去する。基準値xtol_1は、具体的には、ターゲット位置データからノイズ成分を適切に除去し得る値に適宜設定される。
さらに、抽出部42は、上記のノイズ成分の除去が行われた後のターゲット位置データを示すt-x平面上の複数のプロット点を表す近似直線を算出する。そして、抽出部42は、当該近似直線をt-x平面上でx方向の正方向に基準値xtol_1だけ移動させて得られる直線と、当該近似直線をt-x平面上でx方向の負方向に基準値xtol_1だけ移動させて得られる直線とにより挟まれる範囲より外側のプロット点に対応するターゲット位置データをノイズ成分として除去する。
ここで、抽出されたターゲット位置データをより適正化する観点では、抽出部42は、上記のように、t-x平面上でのターゲット位置データのノイズ成分の除去を複数回繰り返すことが好ましい。また、この場合において、抽出部42は、例えば、ノイズ成分の除去を繰り返すたびに基準値xtol_1を徐々に小さく変化させる。
また、例えば、抽出部42は、t-y平面上でターゲット位置データのノイズ成分の除去を行う。
図9は、t-y平面上でのターゲット位置データのノイズ成分の除去について説明するための図である。
図9に示されるt-y平面上の直線Lは、抽出されたターゲット位置データを示す複数のプロット点を表す近似直線である。まず、抽出部42は、例えば最小二乗法を用いて、このような直線Lを算出する。そして、抽出部42は、直線Lをt-y平面上でy方向の正方向に基準値ytol_1だけ移動させて得られる直線L4uと、直線Lをt-y平面上でy方向の負方向に基準値ytol_1だけ移動させて得られる直線L4dとにより挟まれる範囲より外側のプロット点(例えば、図9において、破線で囲まれているプロット点)に対応するターゲット位置データをノイズ成分として除去する。基準値ytol_1は、具体的には、ターゲット位置データからノイズ成分を適切に除去し得る値に適宜設定される。
さらに、抽出部42は、上記のノイズ成分の除去が行われた後のターゲット位置データを示すt-y平面上の複数のプロット点を表す近似直線を算出する。そして、抽出部42は、当該近似直線をt-y平面上でy方向の正方向に基準値ytol_1だけ移動させて得られる直線と、当該近似直線をt-y平面上でy方向の負方向に基準値ytol_1だけ移動させて得られる直線とにより挟まれる範囲より外側のプロット点に対応するターゲット位置データをノイズ成分として除去する。
抽出されたターゲット位置データをより適正化する観点では、抽出部42は、上記のように、t-y平面上でのターゲット位置データのノイズ成分の除去を複数回繰り返すことが好ましい。また、この場合において、抽出部42は、例えば、ノイズ成分の除去を繰り返すたびに基準値ytol_1を徐々に小さく変化させる。
なお、上記のt-x平面上でのノイズ成分の除去及びt-y平面上でのノイズ成分の除去の一方のみが行われてもよく、双方が行われてもよい。ここで、抽出されたターゲット位置データをより適正化する観点では、特に、t-y平面上でのノイズ成分の除去が行われることが好ましい。また、t-x平面上でのノイズ成分の除去及びt-y平面上でのノイズ成分の除去の各々において、ノイズ成分の除去は上記のように複数回繰り返されてもよく、繰り返されなくてもよい。
次に、図3に示される処理フローは、終了する。
上述したように、抽出部42によって検出データから抽出されたターゲット位置データを用いて、キャリブレーション部43によるセンサ20のキャリブレーションが行われる。以下、図10を参照して、キャリブレーション部43によるターゲット位置データを用いたキャリブレーションについて説明する。
具体的には、キャリブレーション部43は、x-y平面上にプロットされたターゲット位置データを用いて、センサ20のキャリブレーションを行う。
図10は、車両進行方向x’に対するセンサ20のx軸のなす角度について説明するための図である。
図10では、具体的には、x-y平面上にプロットされたターゲット位置データ(具体的には、3つのターゲット30のうちのいずれか1つのターゲット30のターゲット位置データ)を示す複数のプロット点が示されている。図10に示されるx-y平面上の直線Lは、ターゲット位置データを示す複数のプロット点を表す近似直線である。
まず、キャリブレーション部43は、例えば最小二乗法を用いて、このような直線Lを算出する。ここで、センサ20のx軸が車両進行方向x’と一致する場合、x-y平面上において、ターゲット位置データを示す複数のプロット点は、x軸と平行な直線上に並ぶ。ゆえに、直線Lとx軸とのなす角度θが、車両進行方向x’に対するセンサ20のx軸のなす角度に相当する。よって、キャリブレーション部43は、直線Lとx軸とのなす角度θを算出し、角度θだけセンサ20の座標系を水平面内で回転させることによって、車両進行方向x’に対応するセンサ20の座標軸であるx軸の車両進行方向x’に対するずれをターゲット位置データに基づいて補正する。
ここで、センサ20のキャリブレーションをより適切に行う観点では、キャリブレーション部43は、3つのターゲット30の各々のターゲット位置データを用いて、センサ20のキャリブレーションを行うことが好ましい。例えば、キャリブレーション部43は、各ターゲット30のターゲット位置データの各々について、上記のように、x-y平面上の複数のプロット点を表す近似直線を算出する。次に、キャリブレーション部43は、各ターゲット30のターゲット位置データの各々について、当該近似直線とx軸とのなす角度θを算出し、各ターゲット30に対応する3つの角度θの平均値を算出する。そして、キャリブレーション部43は、3つの角度θの平均値だけセンサ20の座標系を水平面内で回転させる。
<キャリブレーション装置の効果>
本発明の実施形態に係るキャリブレーション装置40の効果について説明する。
本実施形態に係るキャリブレーション装置40は、車両10の走行時にセンサ20により検出された検出データを取得する取得部41と、検出データの中からターゲット30の相対位置の推移を示すターゲット位置データを複数のターゲット30の間の基準間隔Δdに基づいて抽出する抽出部42を備える。それにより、検出データにおいて、ターゲット30以外の対象物の相対位置の推移を示すデータとターゲット位置データとを基準間隔Δdに基づいて適切に判別し、検出データからターゲット位置データを適切に抽出することができる。特に、走行路が狭い場合等の検出データにターゲット30以外の走行路の周囲の対象物の相対位置の推移を示すデータが多く含まれてしまう場合であっても、検出データからターゲット位置データを適切に抽出することができる。よって、キャリブレーション装置40によれば、対象物の車両10に対する相対位置を検出するセンサ20のキャリブレーションを適切に行うことができる。
また、本実施形態に係るキャリブレーション装置40では、抽出部42は、検出データに基づいてターゲット30の基準時刻での相対位置の候補である複数の位置候補を算出し、複数の位置候補の中からターゲット30の基準時刻での相対位置を基準間隔Δdに基づいて特定することによって、ターゲット位置データを抽出することが好ましい。それにより、検出データからターゲット位置データを基準間隔Δdに基づいて抽出することを適切に実現することができる。
また、本実施形態に係るキャリブレーション装置40では、抽出部42は、車両進行方向x’に対応するセンサ20の座標軸の方向における対象物の相対位置の推移及び車両10の車速に基づいて、複数の位置候補を算出することが好ましい。それにより、車両10の走行時にセンサ20により検出された検出データを利用することによって、適切に複数の位置候補を算出することができる。
また、本実施形態に係るキャリブレーション装置40では、抽出部42は、位置データの各々に対応する基準時刻での上記座標軸の方向における相対位置の分布を示すヒストグラムを車速に基づいて生成し、当該ヒストグラムにおけるピークに対応する相対位置を位置候補として算出することが好ましい。それにより、検出データに基づいて複数の位置候補を算出することを適切に実現することができる。
また、本実施形態に係るキャリブレーション装置40では、抽出部42は、上記座標軸の方向における対象物の相対位置の推移に基づいて、車速を推定することが好ましい。ここで、センサ20のキャリブレーションにおいて、車両10を車速が目標車速に近づくように直進させることが行われるが、例えばドライバの操作に依存すること等に起因して、実際の車速が目標車速から乖離する場合がある。ゆえに、上記のように車速を推定することによって、より適切に複数の位置候補を算出することができる。
また、本実施形態に係るキャリブレーション装置40では、抽出部42は、位置データの各々に対応する基準時刻での上記座標軸の方向における相対位置の分布を示すヒストグラムを車速の候補である複数の車速候補の各々について生成することによって、車速を推定することが好ましい。それにより、車両10の走行時にセンサ20により検出された検出データを利用することによって、車速を適切に推定することができる。
また、本実施形態に係るキャリブレーション装置40では、抽出部42は、検出データの中から複数のターゲット30の各々のターゲット位置データを抽出することが好ましい。それにより、複数のターゲット30の各々のターゲット位置データに基づいて、センサ20のキャリブレーションを行うことができるので、キャリブレーションの精度を向上させることができる。ゆえに、センサ20のキャリブレーションをさらに適切に行うことができる。
また、本実施形態に係るキャリブレーション装置40により行われるキャリブレーションで用いられる複数のターゲット30は、車両進行方向x’に沿って並設されていることが好ましい。それにより、複数のターゲット30を設置するための空間が車両幅方向y’に拡大することを抑制することができる。ゆえに、センサ20のキャリブレーションに用いられる空間を小型化することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は応用例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、例えば、上記で説明したキャリブレーション装置40による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、情報処理装置の内部又は外部に設けられる記憶媒体に予め格納される。
また、例えば、上記では、ターゲット30a,30b,30cは、互いに等しい基準間隔Δdで車両進行方向x’に沿って並設されている例を説明したが、複数のターゲット30の配置及び基準間隔は上記の例に特に限定されない。例えば、複数のターゲット30は車両進行方向x’に対して傾斜した方向に沿って並設されていてもよく、車両幅方向y’に沿って並設されていてもよい。また、例えば、複数のターゲット30は直線上に並設されていなくてもよい。また、例えば、複数のターゲット30は等間隔に並設されていなくてもよく、具体的には、ターゲット30a及びターゲット30bの間の基準間隔と、ターゲット30b及びターゲット30cの間の基準間隔とは、互いに異なっていてもよい。
1 キャリブレーションシステム
10 車両
20,20fc,20fl,20fr,20rc,20rl,20rr センサ
30,30a,30b,30c ターゲット
40 キャリブレーション装置
41 取得部
42 抽出部
43 キャリブレーション部

Claims (7)

  1. 車両(10)に搭載され前記車両(10)の外部の対象物の前記車両(10)に対する相対位置を検出するセンサ(20)のキャリブレーションを行うキャリブレーション装置(40)であって、
    前記対象物は、互いに基準間隔を空けて配置された複数のターゲット(30)を含み、
    前記キャリブレーション装置(40)は、
    前記車両(10)の走行時に前記センサ(20)により検出された検出データを取得する取得部(41)と、
    前記検出データの中から前記ターゲット(30)の相対位置の推移を示すターゲット位置データを前記基準間隔に基づいて抽出する抽出部(42)と、を備え
    前記抽出部(42)は、前記検出データと、車両進行方向に対応する前記センサ(20)の座標軸の方向における前記対象物の相対位置の推移及び前記車両(10)の車速と、に基づいて、前記ターゲット(30)の基準時刻での相対位置の候補である複数の位置候補を算出し、前記複数の位置候補の中から前記ターゲット(30)の前記基準時刻での相対位置を前記基準間隔に基づいて特定することによって、前記ターゲット位置データを抽出する、
    キャリブレーション装置。
  2. 前記検出データは、前記対象物の検出が行われた時刻と検出された相対位置とが紐付けられている複数の位置データを含み、
    前記抽出部(42)は、前記位置データの各々に対応する前記基準時刻での前記座標軸の方向における相対位置の分布を示すヒストグラムを前記車速に基づいて生成し、前記ヒストグラムにおけるピークに対応する相対位置を前記位置候補として算出する、
    請求項に記載のキャリブレーション装置。
  3. 前記抽出部(42)は、前記座標軸の方向における前記対象物の相対位置の推移に基づいて、前記車速を推定する、
    請求項1又は2に記載のキャリブレーション装置。
  4. 前記検出データは、前記対象物の検出が行われた時刻と検出された相対位置とが紐付けられている複数の位置データを含み、
    前記抽出部(42)は、前記位置データの各々に対応する前記基準時刻での前記座標軸の方向における相対位置の分布を示すヒストグラムを前記車速の候補である複数の車速候補の各々について生成することによって、前記車速を推定する、
    請求項に記載のキャリブレーション装置。
  5. 前記抽出部(42)は、前記検出データの中から前記複数のターゲット(30)の各々の前記ターゲット位置データを抽出する、
    請求項1~のいずれか一項に記載のキャリブレーション装置。
  6. 前記複数のターゲット(30)は、車両進行方向に沿って並設されている、
    請求項1~のいずれか一項に記載のキャリブレーション装置。
  7. 車両(10)に搭載され前記車両(10)の外部の対象物の前記車両(10)に対する相対位置を検出するセンサ(20)のキャリブレーションを行うキャリブレーション方法であって、
    前記対象物は、互いに基準間隔を空けて配置された複数のターゲット(30)を含み、
    前記キャリブレーション方法は、
    前記車両(10)の走行時に前記センサ(20)により検出された検出データを取得するステップと、
    前記検出データの中から前記ターゲット(30)の相対位置の推移を示すターゲット位置データを前記基準間隔に基づいてキャリブレーション装置(40)により抽出するステップと、を備え、
    前記ターゲット位置データを抽出するステップでは、前記検出データと、車両進行方向に対応する前記センサ(20)の座標軸の方向における前記対象物の相対位置の推移及び前記車両(10)の車速と、に基づいて、前記ターゲット(30)の基準時刻での相対位置の候補である複数の位置候補を算出し、前記複数の位置候補の中から前記ターゲット(30)の前記基準時刻での相対位置を前記基準間隔に基づいて特定することによって、前記ターゲット位置データを抽出する、
    キャリブレーション方法。
JP2018150004A 2018-08-09 2018-08-09 キャリブレーション装置、キャリブレーション方法 Active JP7184481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018150004A JP7184481B2 (ja) 2018-08-09 2018-08-09 キャリブレーション装置、キャリブレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018150004A JP7184481B2 (ja) 2018-08-09 2018-08-09 キャリブレーション装置、キャリブレーション方法

Publications (2)

Publication Number Publication Date
JP2020026955A JP2020026955A (ja) 2020-02-20
JP7184481B2 true JP7184481B2 (ja) 2022-12-06

Family

ID=69619908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018150004A Active JP7184481B2 (ja) 2018-08-09 2018-08-09 キャリブレーション装置、キャリブレーション方法

Country Status (1)

Country Link
JP (1) JP7184481B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001066361A (ja) 1999-08-30 2001-03-16 Denso Corp 車両用障害物検出装置の中心軸偏向量算出装置及び中心軸偏向量補正装置、操舵角中立学習装置並びに車間制御装置
JP2003207571A (ja) 2002-01-16 2003-07-25 Nissan Motor Co Ltd 車両用レーダ装置の軸ずれ検出装置
WO2006051603A1 (ja) 2004-11-12 2006-05-18 Mitsubishi Denki Kabushiki Kaisha 軸ずれ角推定方法及びその装置
JP2008087676A (ja) 2006-10-03 2008-04-17 National Institute Of Advanced Industrial & Technology 移動物体の指標位置への相対角度及び位置計測方法及び、それを利用した駐車支援方法及びシステム
JP2014089114A (ja) 2012-10-30 2014-05-15 Denso Corp 軸ずれ判定装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62130500A (ja) * 1985-12-02 1987-06-12 日産自動車株式会社 衝突警報装置
JP2789437B2 (ja) * 1995-03-13 1998-08-20 富士通テン株式会社 車間距離警報装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001066361A (ja) 1999-08-30 2001-03-16 Denso Corp 車両用障害物検出装置の中心軸偏向量算出装置及び中心軸偏向量補正装置、操舵角中立学習装置並びに車間制御装置
JP2003207571A (ja) 2002-01-16 2003-07-25 Nissan Motor Co Ltd 車両用レーダ装置の軸ずれ検出装置
WO2006051603A1 (ja) 2004-11-12 2006-05-18 Mitsubishi Denki Kabushiki Kaisha 軸ずれ角推定方法及びその装置
JP2008087676A (ja) 2006-10-03 2008-04-17 National Institute Of Advanced Industrial & Technology 移動物体の指標位置への相対角度及び位置計測方法及び、それを利用した駐車支援方法及びシステム
JP2014089114A (ja) 2012-10-30 2014-05-15 Denso Corp 軸ずれ判定装置

Also Published As

Publication number Publication date
JP2020026955A (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
US10501059B2 (en) Stereo camera device
JP4687563B2 (ja) 車両用レーンマーク認識装置
US10776634B2 (en) Method for determining the course of the road for a motor vehicle
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
CN109946703B (zh) 一种传感器姿态调整方法及装置
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
JP2011065338A (ja) 対象物追跡装置及びプログラム
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
EP3333829B1 (en) Step detection device and step detection method
CN113379776A (zh) 一种道路边界检测方法
JP6936098B2 (ja) 対象物推定装置
WO2019065970A1 (ja) 車両用外界認識装置
JP6115429B2 (ja) 自車位置認識装置
KR101428373B1 (ko) 주차가능구획 판단 장치 및 방법
JP2020118575A (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP3925285B2 (ja) 走行路環境検出装置
JP7184481B2 (ja) キャリブレーション装置、キャリブレーション方法
US10339394B2 (en) Step detection device and step detection method
JPH10187974A (ja) 物流計測装置
JP7344032B2 (ja) 画像処理装置
CN115214681A (zh) 借助人工神经网络确定地平面的方法和系统
JP7344744B2 (ja) 路側端検出方法、及び、路側端検出装置
JP4151631B2 (ja) 物体検出装置
JP7134780B2 (ja) ステレオカメラ装置
JP6451544B2 (ja) 道路境界検出装置、自己位置推定装置及び道路境界検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220606

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221123

R151 Written notification of patent or utility model registration

Ref document number: 7184481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151