JP7381939B2 - 3次元構造推定方法及び3次元構造推定システム - Google Patents

3次元構造推定方法及び3次元構造推定システム Download PDF

Info

Publication number
JP7381939B2
JP7381939B2 JP2021502247A JP2021502247A JP7381939B2 JP 7381939 B2 JP7381939 B2 JP 7381939B2 JP 2021502247 A JP2021502247 A JP 2021502247A JP 2021502247 A JP2021502247 A JP 2021502247A JP 7381939 B2 JP7381939 B2 JP 7381939B2
Authority
JP
Japan
Prior art keywords
marker
vehicle
estimation
relative position
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021502247A
Other languages
English (en)
Other versions
JPWO2020175439A5 (ja
JPWO2020175439A1 (ja
Inventor
道治 山本
均 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aichi Steel Corp
Original Assignee
Aichi Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aichi Steel Corp filed Critical Aichi Steel Corp
Publication of JPWO2020175439A1 publication Critical patent/JPWO2020175439A1/ja
Publication of JPWO2020175439A5 publication Critical patent/JPWO2020175439A5/ja
Application granted granted Critical
Publication of JP7381939B2 publication Critical patent/JP7381939B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、走行環境を表す3次元地図における自車両の位置を推定することにより、自車両の前方の3次元構造を推定するための方法及びシステムに関する。
近年、自動車庫入れや車線追従走行や自動運転など、車両の運転を支援するための技術が各種提案され、実現のための技術開発が盛んである。自動運転などの高度な運転支援を実現するためには、走行環境を表す精度の高い3次元地図が不可欠である。そこで、例えば3次元地図の元データとなる点群データを移動しながら取得するモービルマッピングシステムが提案されている(例えば特許文献1参照。)。このモービルマッピングシステムによれば、精度の高い3次元地図を効率良く作製できる。
例えば下記の特許文献2には、レーンマークや縁石やガードレールなどの3次元的な位置情報を含む高精度な3次元地図を参照することで、前方の走行環境の3次元構造を把握する技術が記載されている。そしてこの文献には、前方の3次元構造を精度高く把握することで、自動操舵や自動ブレーキなどを含む自動走行を実現できる旨が記載されている。
特開2018-128364号公報 特開2014-34251号公報
高精度な3次元地図が利用可能であっても、その3次元地図における自車両の位置推定の精度が十分でない場合、3次元地図の高精度を十分に活かすことができず、高精度な運転支援を実現できないおそれがある。
本発明は、前記従来の問題点に鑑みてなされたものであり、3次元地図において自車両の位置を精度高く推定することにより、自車両の前方の3次元構造を精度高く推定するための方法及びシステムを提供しようとするものである。
本発明の一態様は、走行環境を表す3次元地図を元にして自車両の前方の3次元構造を推定する方法であって、
3次元地図は、少なくとも道路の構造、建物の領域、及び走行環境を構成する地物の位置が特定された2次元地図に対して、高さ方向の空間的な情報が付加された3次元的な地図であって、当該3次元地図では、走行路に敷設された各マーカに対して、少なくともマーカの識別情報がひも付けられて各マーカの位置が特定され、
前記マーカを検出するマーカ検出処理と、
前記マーカの識別情報を提供するためにマーカに対応して設けられた情報提供部から識別情報を読み取る固有情報読取処理と、
前記マーカに対する自車両の相対位置を推定する相対位置推定処理と、
前記マーカ検出処理により検出されたマーカの識別情報、及び該マーカに対する相対位置のデータ、を含むマーカ基準データを生成する処理と、
前記マーカ基準データに含まれる識別情報を利用して対応するマーカを特定し、特定されたマーカに対する自車両の相対位置に基づいて3次元地図における自車両の位置を推定する絶対位置推定処理と、
自車両の絶対方位を推定する絶対方位推定処理と、
自車両の前方の3次元構造を表す3Dデータを演算する処理と、を含み、
前記絶対方位推定処理では、自車両に取り付けられたセンサを利用して前記地物を検出して自車両を基準とするローカル座標系における当該地物の位置を特定すると共に、前記3次元地図における当該地物の位置を、当該ローカル座標系における当該地物の位置に変換するための座標変換を調べることで3次元地図における自車両の方位を推定し、
前記3次元構造を演算する処理において、前記3次元地図における自車両の位置及び方位を利用し、3次元地図が表すグローバル座標系における3Dデータを、自車両の方位を基準としたローカル座標系で表される自車両の前方の3次元構造を表す3Dデータに変換する3次元構造推定方法にある。
本発明の一態様は、走行環境を表す3次元地図を元にして自車両の前方の3次元構造を推定するシステムであって、
3次元地図は、少なくとも道路の構造、建物の領域、及び走行環境を構成する地物の位置が特定された2次元地図に対して、高さ方向の空間的な情報が付加された3次元的な地図であって、当該3次元地図では、走行路に敷設された各マーカに対して、少なくともマーカの識別情報がひも付けられて各マーカの位置が特定され、
前記マーカを検出するマーカ検出部と、
前記マーカの識別情報を提供するためにマーカに対応して設けられた情報提供部と、
前記マーカの識別情報を読み取る固有情報読取部と、
前記マーカに対する相対位置を推定する相対位置推定部と、
前記マーカ検出部が検出したマーカの識別情報、及び該マーカに対する相対位置のデータ、を含むマーカ基準データを生成する構成と、
前記マーカ基準データに含まれる識別情報を利用して対応するマーカを特定し、特定されたマーカに対する相対位置に基づいて3次元地図における自車両の位置を推定する絶対位置推定部と
自車両の絶対方位を推定する絶対方位推定部と、
自車両の前方の3次元構造を表す3Dデータを演算する演算処理部と、を含み、
前記絶対方位推定部は、自車両に取り付けられたセンサを利用して前記地物を検出して自車両を基準とするローカル座標系における当該地物の位置を特定すると共に、前記3次元地図における当該地物の位置を、当該ローカル座標系における当該地物の位置に変換するための座標変換を調べることで3次元地図における自車両の方位を推定し、
前記演算処理部は、前記3次元地図における自車両の位置及び方位を利用し、3次元地図が表すグローバル座標系における3Dデータを、自車両の方位を基準としたローカル座標系で表される自車両の前方の3次元構造を表す3Dデータに変換する3次元構造推定システムにある。
本発明は、走行路に敷設されたマーカの位置が特定された3次元地図を前提とし、マーカを利用して自車両の前方の3次元構造を推定する発明である。走行路に敷設されたマーカは、走行環境側に固定されているため、位置的な変動がほとんどない。位置が固定されているマーカを利用すれば、3次元地図における自車両の絶対位置を精度高く推定でき、自車両の前方の3次元構造を精度高く推定できる。
実施例1における、位置推定システムの説明図。 実施例1における、車両側のシステム構成を示すブロック図。 実施例1における、磁気マーカの説明図。 実施例1における、RFIDタグの正面図。 実施例1における、磁気マーカを通過する際の進行方向の磁気計測値の変化を例示する説明図。 実施例1における、車幅方向に配列された磁気センサCnによる車幅方向の磁気計測値の分布を例示する説明図。 実施例1における、自車位置推定処理の流れを説明するフロー図。 実施例1における、方位推定処理の流れを示すフロー図。 実施例2における、方位推定処理の流れを示すフロー図。 実施例2における、2つの磁気マーカを通過したときの横ずれ量の差分Ofdと、方位ずれ角Rfと、の関係を示す説明図。 実施例2における、直線路に沿って車両が走行する状況を例示する説明図。 実施例2における、直線路を車両が斜行する状況を例示する説明図。 実施例2における、曲線路に沿って車両が走行する状況を例示する説明図。 実施例2における、曲線路を車両が斜行する状況を例示する説明図。 実施例3における、2つの磁気マーカに対する横ずれ量の差分Ofdと、方位ずれ角Rfと、の関係を示す説明図。
本発明の実施の形態につき、以下の実施例を用いて具体的に説明する。
(実施例1)
本例は、走行環境を表す3次元地図における自車両の絶対位置を精度高く推定することにより、自車両の前方の3次元構造を推定するための3次元構造推定方法及び3次元構造推定システム1に関する例である。この内容について、図1~図8を用いて説明する。
まず、自動運転を実現するための3次元地図と、車両5の前方の走行環境を表す3次元構造と、の関係を説明する。3次元地図は、東西南北などの方位によって規定されるグローバル座標系(ワールド座標系)において表現された地図である。そして、この3次元地図を表す3Dマップデータは、グローバル座標系の3Dデータである。一方、車両5の前方の3次元構造は、車両5を基準としたローカル座標系で表示される。この3次元構造を表す3Dデータは、ローカル座標系の3Dデータである。グローバル座標系の3Dデータからローカル座標系の3Dデータへの置換、あるいはその逆の置換には、座標変換が必要になる。この座標変換には、グローバル座標系におけるローカル座標系の座標軸の方向が特定されている必要がある。例えば、グローバル座標系における車両5の前後方向の向きである方位が特定されていれば、3次元地図の3Dマップデータに座標変換を施し、前方の3次元構造を表す3Dデータに置換できる。
本例の位置推定システム1は、3次元地図における自車両の絶対位置(自車位置という。)を推定するためのシステムである。この位置推定システム1は、例えば自動運転を実現するための自動運転システム(図示略)と組み合わせられる。例えば自動運転システムは、位置推定システム1が推定した自車位置を利用して、前方の走行環境の3次元構造を認識する。そして自動運転システムは、各種の車載センサを利用して周囲の状況を把握した上で、前方の3次元構造に応じた車両制御を実行し、車両の自動走行を実現する。
位置推定システム1は、図1及び図2のごとく、マーカの一例である磁気マーカ10を検出するセンサアレイ21、慣性航法のためのIMU(Inertial Measurement Unit)22、前方を撮影するカメラ35、磁気マーカ10の固有情報を読み取るタグリーダ34、3次元地図の地図データである3Dマップデータを格納する地図データベース(地図DB)40、及び絶対位置推定処理等を実行する制御ユニット32、などを含んで構成されている。なお、本例では、センサアレイ21と、IMU22と、が一体化された計測ユニット2を例示する。
以下、走行路の一例である道路に敷設される磁気マーカ10を概説した後、計測ユニット2、タグリーダ34、制御ユニット32など車両5側の構成を説明する。
磁気マーカ10は、図3のごとく、車両5が走行する道路の路面100S(図1)に敷設される道路マーカである。磁気マーカ10は、左右のレーンマークで区分された車線の中央に沿って例えば10m間隔で配置されている。
磁気マーカ10は、図3のごとく、直径20mm、高さ28mmの柱状をなしている。この磁気マーカ10は、路面100Sに設けた孔に収容された状態で敷設される(図1参照。)。磁気マーカ10をなす磁石は、磁性材料である酸化鉄の磁粉を基材である高分子材料中に分散させたフェライトプラスチックマグネットである。この磁石は、最大エネルギー積(BHmax)=6.4kJ/mという特性を備えている。
本例の磁気マーカ10の仕様の一部を表1に示す。
Figure 0007381939000001
この磁気マーカ10は、計測ユニット2の取付け高さとして想定する範囲100~250mmにおける上限の250mm高さにおいて、8μT(マイクロテスラ)の磁束密度の磁気を作用する。
本例の磁気マーカ10では、図3及び図4のごとく、無線により情報を出力するRFIDタグ(Radio Frequency Identification、無線タグ)15が、上端面に取り付けられている。RFIDタグ15は、無線による外部給電により動作し、磁気マーカ10の固有情報の一例であるマーカID(識別情報)を送信する。
なお、本例の磁気マーカ10が採用する磁石は、酸化鉄の磁粉を高分子材料中に分散させた磁石である。この磁石は、導電性が低く無線給電時に渦電流等が生じ難い。それ故、磁気マーカ10に付設されたRFIDタグ15は、無線伝送された電力を効率良く受電できる。
情報提供部の一例をなすRFIDタグ15は、例えばPET(Polyethylene terephthalate)フィルムから切り出したタグシート150(図4)の表面にICチップ157が実装された電子部品である。タグシート150の表面には、ループコイル151及びアンテナ153の印刷パターンが設けられている。ループコイル151は、外部からの電磁誘導によって励磁電流が発生する受電コイルである。アンテナ153は、位置データ等を無線送信するための送信アンテナである。
次に、車両5が備える(1)計測ユニット2、(2)タグリーダ34、(3)制御ユニット32について説明する。さらに、地図DB40に格納された(4)3次元地図の構造を説明する。
(1)計測ユニット
計測ユニット2(図2)は、センサアレイ21とIMU(Inertial Measurement Unit)22と、が一体化されたユニットである。センサアレイ21は、マーカ検出部の一例をなすと共に、横ずれ量の計測部及び相対位置推定部としての機能を備えている。IMU22は、相対位置推定部の一例をなしている。車幅方向に長い棒状のこの計測ユニット2は、例えば車両5のフロントバンパーの内側において、路面100Sと対面する状態で取り付けられる(図1参照。)。本例の車両5の場合、路面100Sを基準とした計測ユニット2の取付け高さが200mmとなっている。
計測ユニット2のセンサアレイ21(図2)は、車幅方向に沿って一直線上に配列された15個の磁気センサCn(nは1~15の整数)と、図示しないCPU等を内蔵した検出処理回路212と、を備えている。なお、センサアレイ21では、15個の磁気センサCnが10cmの等間隔で配置されている。
磁気センサCnは、アモルファスワイヤなどの感磁体のインピーダンスが外部磁界に応じて敏感に変化するという公知のMI効果(Magnet Impedance Effect)を利用して磁気を検出するセンサである。磁気センサCnでは、アモルファスワイヤなどの図示しない感磁体が直交する2軸方向に沿って配置されている。これにより磁気センサCnは、直交する2軸方向に作用する磁気の検出が可能である。本例では、進行方向及び車幅方向の磁気成分を検出できるように磁気センサCnがセンサアレイ21に組み込まれている。
磁気センサCnは、磁束密度の測定レンジが±0.6mTであって、測定レンジ内の磁束分解能が0.02μTという高感度のセンサである。本例では、車両5の高速走行に対応できるよう、計測ユニット2の各磁気センサCnによる磁気計測の周波数が3kHzに設定されている。
磁気センサCnの仕様の一部を表2に示す。
Figure 0007381939000002
上記のように、磁気マーカ10は、磁気センサCnの取付け高さとして想定する範囲100~250mmにおいて8μT以上の磁束密度の磁気を作用できる。磁束密度8μT以上の磁気を作用する磁気マーカ10であれば、磁束分解能が0.02μTの磁気センサCnを用いて確実性高く検出可能である。
センサアレイ21の検出処理回路212(図2)は、磁気マーカ10を検出するためのマーカ検出処理などを実行する演算回路である。この検出処理回路212は、各種の演算を実行するCPU(central processing unit)のほか、ROM(read only memory)やRAM(random access memory)などのメモリ素子等を利用して構成されている。
検出処理回路212は、磁気センサCnが出力するセンサ信号を3kHzの周波数で取得してマーカ検出処理を実行する。そして、検出処理回路212は、マーカ検出処理の検出結果を制御ユニット32に入力する。詳しくは後述するが、このマーカ検出処理では、磁気マーカ10の検出に加えて、検出した磁気マーカ10に対する車両5の横ずれ量の計測が行われる。検出処理回路212は、磁気マーカ10に対する自車両の横ずれ量を計測する計測部としての機能を有している。
計測ユニット2に組み込まれたIMU22は、慣性航法により車両5の運動を推定する処理を実行する慣性航法ユニットである。IMU22は、方位を計測する電子コンパスである2軸磁気センサ221と、加速度を計測する2軸加速度センサ222と、角速度を計測する2軸ジャイロセンサ223と、を備えている。自車両の運動を推定する運動推定部の一例をなすIMU22は、加速度、角速度、方位などの計測値を利用し、車両5が過去に所在した特定の位置を起点(基準)として移動後(運動後)の相対位置を推定する。
IMU22は、加速度の二階積分により時々刻々の変位量を演算すると共に、角速度の積分である方位の変化量や計測方位等を利用して車両5の時々刻々の方位を精度高く算出する。そしてIMU22は、車両5の方位に沿って変位量を積算することで基準位置に対する相対位置を演算する。IMU22が推定する相対位置を利用すれば、隣り合う磁気マーカ10の中間に車両5が位置するときにも自車位置の推定が可能になる。
(2)タグリーダ
固有情報読取部の一例をなすタグリーダ34は、磁気マーカ10に取り付けられて保持されたRFIDタグ15(図3)と無線で通信する通信ユニットである。タグリーダ34は、RFIDタグ15の動作に必要な電力を無線で送電し、RFIDタグ15が送信するマーカID(固有情報)を受信する(固有情報読取処理)。
(3)制御ユニット
制御ユニット32は、計測ユニット2やタグリーダ34を制御すると共に、自車位置を推定する位置推定部(相対位置推定部、絶対位置推定部)としての機能を備えるユニットである。この制御ユニット32は、各種の演算を実行するCPU、ROMやRAMなどのメモリ素子、等が実装された電子基板(図示略)を備えている。詳しくは後述するが、位置推定部としての制御ユニット32は、磁気マーカ10に対する自車両の相対位置を利用して(相対位置推定処理)、3次元地図における自車両の絶対位置である自車位置を推定する(絶対位置推定処理)。
(4)3次元地図の構造
3次元地図は、道路の構造や建物の領域などが特定された2次元地図に対して、高さ方向の空間的な情報が付加された3次元的な地図である。さらに、本例の位置推定システム1が採用する3次元地図では、車線に沿って配列された磁気マーカ10の敷設位置が特定されている。
3次元地図が含む空間的な情報としては、道路の脇の縁石の高さや、ガードレールの高さ、車線の真上に張り出した標識板などの空間的な位置の情報などがある。3次元地図には、車線を区画するレーンマーク(白線)の位置を表すレーンマーク情報なども含まれている。また、3次元地図では、走行環境を構成する地物に対して属性情報がひも付けられている。例えば、3次元地図中の縁石には、高さの情報に加えて、縁石である旨の属性情報がひも付けられている。3次元地図中の各磁気マーカ10には、磁気マーカ10である旨を表す属性情報、固有情報であるマーカID、3次元地図における位置を表す位置情報など、がひも付けられている。
次に、本例の(A)マーカ検出処理、(B)自車位置推定処理、(C)方位推定処理、の内容を説明する。(A)マーカ検出処理、及び(C)方位推定処理は、(B)自車位置推定処理の中で実行される処理である。
(A)マーカ検出処理
マーカ検出処理は、計測ユニット2のセンサアレイ21(検出処理回路212)が実行する処理である。センサアレイ21は、上記の通り、磁気センサCnを用いて3kHzの周波数でマーカ検出処理を実行する。
上記のごとく、磁気センサCnは、車両5の進行方向及び車幅方向の磁気成分を計測可能である。例えばこの磁気センサCnが、進行方向に移動して磁気マーカ10の真上を通過するとき、進行方向の磁気計測値は、図5のごとく磁気マーカ10の前後で正負が反転すると共に、磁気マーカ10の真上の位置でゼロを交差するように変化する。したがって、車両5の走行中では、いずれかの磁気センサCnが検出する進行方向の磁気について、その正負が反転するゼロクロスZcが生じたとき、計測ユニット2が磁気マーカ10の真上に位置すると判断できる。検出処理回路212は、このように計測ユニット2が磁気マーカ10の真上に位置し、進行方向の磁気計測値のゼロクロスZcが生じたとき、磁気マーカ10を検出したと判断する。
また、例えば、磁気センサCnと同じ仕様の磁気センサについて、磁気マーカ10の真上を通過する車幅方向の仮想線に沿う移動を想定すると、車幅方向の磁気計測値は、磁気マーカ10を挟んだ両側で正負が反転すると共に、磁気マーカ10の真上の位置でゼロを交差するように変化する。15個の磁気センサCnを車幅方向に配列した計測ユニット2の場合には、図6の例の通り、磁気マーカ10を介してどちらの側にあるかによって磁気センサCnが検出する車幅方向の磁気の正負が異なってくる。
計測ユニット2の各磁気センサCnの車幅方向の磁気計測値を例示する図6の分布曲線に基づけば、車幅方向の磁気の正負が反転するゼロクロスZcを利用して磁気マーカ10の車幅方向の位置を特定可能である。隣り合う2つの磁気センサCnの中間(中央とは限らない)にゼロクロスZcが位置している場合には、ゼロクロスZcを挟んで隣り合う2つの磁気センサCnの中間の位置が、磁気マーカ10の車幅方向の位置となる。あるいはいずれかの磁気センサCnの位置にゼロクロスZcが一致している場合、すなわち車幅方向の磁気計測値がゼロであって両隣りの磁気センサCnの磁気計測値の正負が反転している磁気センサCnが存在する場合には、その磁気センサCnの直下の位置が、磁気マーカ10の車幅方向の位置となる。
相対位置推定部の一例をなす検出処理回路212は、計測ユニット2の中央の位置(磁気センサC8の位置)に対する磁気マーカ10の車幅方向の位置の偏差を、磁気マーカ10に対する車両5の横ずれ量として計測する(横ずれ量を計測する処理)。例えば、図6の場合であれば、ゼロクロスZcの位置がC9とC10との中間辺りのC9.5に相当する位置となっている。上記のように磁気センサC9とC10の間隔は10cmであるから、磁気マーカ10に対する車両5の横ずれ量は、車幅方向において計測ユニット2の中央に位置するC8を基準として(9.5-8)×10cmとなる。なお、磁気マーカ10に対する横ずれ量を計測する処理が、相対位置推定部による第1の相対位置推定処理の一例である。
(B)自車位置推定処理
自車位置推定処理は、3次元地図における自車位置(自車両の絶対位置)を推定する処理である。なお、図7の処理の流れには、自車位置推定処理のほか、3次元地図における自車両の方位を推定する方位推定処理、及び自車両基準の3次元構造を演算する処理が含まれている。以下、図7を参照してこれらの処理の内容を説明する。
制御ユニット32は、車両5が走行している間、図7の自車位置推定処理を繰り返し実行する。この自車位置推定処理において、制御ユニット32は、まず計測ユニット2を制御してマーカ検出処理P1を実行させる。制御ユニット32は、磁気マーカ10が検出されたとき(S101:YES)、磁気マーカ10に対する自車両の相対位置である上記の横ずれ量を計測ユニット2から取得する(S102)。さらに、制御ユニット32は、タグリーダ34を制御してタグ読取処理P2を実行させ、磁気マーカ10の固有情報であるマーカIDを取得して記録する。なお、このタグ読取処理P2の実行によって取得されて記録されたマーカIDは、新たな磁気マーカ10の検出に応じて新たなマーカIDが取得されたときに書き換えられる。
一方、磁気マーカ10が未検出の場合は(S101:NO)、制御ユニット32は、前回磁気マーカを検出したときの自車位置を基準としてIMU22が推定した相対位置を利用し、当該磁気マーカを基準とした自車両の相対位置の推定処理を実行する(S112、第2の相対位置推定処理の一例)。
具体的には、制御ユニット32は、前回の磁気マーカが検出されたときに計測された横ずれ量、及びIMU22が推定した相対位置に基づき、前回検出された磁気マーカに対する自車両の相対位置を推定する。前回検出された磁気マーカを基準とした自車両の相対位置は、前回の磁気マーカが検出されたときの横ずれ量分の車幅方向のベクトルと、前回磁気マーカを検出したときの自車位置を基準とする相対位置(IMU22が推定する相対位置)を表すベクトルと、の和により特定される。
続いて制御ユニット32は、マーカIDと、磁気マーカ10に対する相対位置のデータと、を含むマーカ基準データを生成する(S103)。このとき、直近のタグ読取処理P2の実行に応じて記録されたマーカIDが採用される。また、上記のステップS102による横ずれ量、あるいは上記のステップ112により推定された相対位置が、マーカ基準データに含める相対位置のデータとなる。
制御ユニット32は、マーカ基準データに含まれるマーカIDを利用して地図DB40を参照し、マーカ基準データに係る磁気マーカ10を特定する(S104)。そして、制御ユニット32は、マーカ基準データに含まれる相対位置のデータを利用し、磁気マーカ10の敷設位置(絶対位置)を基準として自車位置(自車両の絶対位置)を推定する(S105、絶対位置推定処理の一例)。
さらに制御ユニット32は、方位推定処理P3(図8を参照して後述する。)を実行することで、車両5の方位を推定する。そして制御ユニット32は、推定した車両5の方位に基づき、自車両を基準とした3次元構造を演算する(S106)。具体的には、地図DB40から読み出した周辺の3次元地図の3次元情報(3次元データ)に対して座標変換を施すことにより、自車両を基準とした3次元構造を演算する。自車両を基準とした3次元構造は、車両5を自動で走行させるための有用な情報となる。
(C)方位推定処理
前出の方位推定処理P3(図8)は、3次元地図における車両方位(自車両の絶対方位)を推定する処理である。この方位推定処理P3は、図7の自車位置推定処理の中で制御ユニット32が実行する絶対方位推定処理の一例である。方位推定処理P3の実行に当たって、制御ユニット32は、カメラ35による前方画像に対して画像処理を施すことで、自車両の車線を区画するレーンマークを前方画像の中から検出する(S301)。
そして、制御ユニット32は、カメラ35の光学的仕様(光軸方向、画角など)に基づき、検出されたレーンマークの3次元的な位置を表す3Dデータを演算する(S302)。このレーンマークの3Dデータは、カメラ35による画像由来の3Dデータであり、カメラ35を含む車両5側を中心とした前出のローカル座標系の3Dデータである。以下、ローカル座標系の3Dデータをローカル3Dデータという。
続いて、制御ユニット32は、地図DB40を参照して3次元地図を表す3Dマップデータの中からレーンマークに関する3Dデータを読み出す(S303)。このレーンマークの3Dデータは、3次元地図を規定するグローバル座標系の3Dデータである。以下、グローバル座標系の3Dデータをグローバル3Dデータという。
制御ユニット32は、レーンマークのグローバル3Dデータに対してどのような座標変換を施せば、上記のステップS302で演算したローカル3Dデータに変換できるかを調べる。具体的には、制御ユニット32は、グローバル座標系で表現される3次元地図における絶対方位であって、レーンマークのグローバル3Dデータをローカル3Dデータに座標変換可能な方位を演算により求める。この絶対方位が、3次元地図における車両方位である。本例の制御ユニット32は、このようにレーンマークを利用して、3次元地図における車両方位を推定する(S304、絶対方位推定処理)。
以上のように、本例の位置推定システム1は、磁気マーカ10を利用して3次元地図における自車位置を推定すると共に、前方画像のレーンマークを利用して3次元地図における車両方位を推定する。3次元地図における自車位置と車両方位が分れば、車両5の前方の3次元構造を演算でき、自動運転等の制御が可能になる。
このように位置推定システム1は、走行路に敷設された磁気マーカ10の位置情報を含む3次元地図を前提とするシステムである。この位置推定システム1は、磁気マーカ10を利用して3次元地図における自車両の絶対位置の推定等を実現する。走行路に敷設された磁気マーカ10は、路面に固定されているため、位置的な変動がほとんどない。位置が固定されている磁気マーカ10を利用すれば、3次元地図における自車両の絶対位置を精度高く推定できる。本例の位置推定システム1は、GPS電波等の受信を前提としないので、例えばトンネルやビルの谷間などGPS電波が受信できなかったり不安定になる場所であっても位置の推定精度が不安定になることがない。
本例では、全ての磁気マーカ10にRFIDタグ15が付設された構成を例示している。これに代えて、一部の磁気マーカ10にRFIDタグ15を付設することも良い。この場合には、RFIDタグ15が付設されない磁気マーカ10を検出したとき、慣性航法によって推定された車両位置を利用して3次元地図を参照すると良い。そして、3次元地図上の磁気マーカのうち、慣性航法による車両位置の近傍に位置するものを、検出された磁気マーカ10と特定すると良い。検出された磁気マーカ10を特定できれば、その磁気マーカ10の敷設位置を基準として横ずれ量の分だけずらした位置が新たな車両位置となる。
なお、RFIDタグ15に代えて、路側等に設置される電波ビーコンや赤外線ビーコン等の通信ユニットを採用しても良い。この場合には、タグリーダ34に代えて、電波ビーコン等に対応する受信装置を車両に搭載すれば良い。
本例では、位置推定システム1と組み合わせるシステムとして、自動運転システムを例示している。自動運転システムに代えて、車線からの逸脱を警報する逸脱警報システムや、車線に沿ってハンドルを自動操舵したり車線からの逸脱を回避するための操舵アシスト力を発生させるレーンキープシステムを適用することも良い。
なお、インターネット等の通信回線に接続可能な車両5であれば、地図DB40としての機能をサーバ装置に持たせることも良い。車両5は、車両の位置を推定するために必要な情報をサーバ装置に送信すると良い。前方画像を処理する機能についてもサーバ装置に持たせても良い。車両の加速度等を計測するセンサを車両側に設ける一方、センサ出力を取得したサーバ装置が相対位置を演算する構成であっても良い。
なお、本例では、磁気マーカ10の固有情報としてマーカIDを例示している。これに代えて、あるいは加えて磁気マーカ10の敷設位置を表す位置情報を固有情報として採用しても良い。
また、マーカとして磁気マーカ10を例示したが、道路に配設された各種のマーカに代えることができる。例えば、路面100Sに印刷されたマーカであっても良く、キャッツアイのようなマーカであっても良い。
本例では、車両方位を推定するためのローカル3Dデータとグローバル3Dデータとの対応付けに当たって、画像処理により検出されたレーンマークを利用している。これに代えて、あるいは加えて、レーザーレーダやミリ波レーダ等により検出された信号機や標識などを利用し、ローカル3Dデータとグローバル3Dデータとを対応付けることも良い。
(実施例2)
本例は、実施例1の位置推定システムに基づき、方位推定処理の内容を変更した位置推定システム1の例である。この内容について、図9~図14を参照して説明する。
本例の位置推定システム1は、車線の中央に沿って磁気マーカ10が2m(マーカスパンS=2m)毎に配置された走行路を対象としている。この位置推定システム1では、2つの磁気マーカ10を利用して車両5の相対方位が推定される。なお、本例では、車線方向に沿って磁気マーカ10が配列されているので、隣り合う2つの磁気マーカ10を結ぶ方位は、車線方向に略一致する。
本例の制御ユニット(図1中の符号32)は、3次元地図における車両方位(前後方向の向き、車体の中心軸の方位)を推定する機能を備えている。この機能は、隣り合う2つの磁気マーカ10を結ぶ方位に対する自車両の相対方位を推定する相対方位推定部としての機能と、3次元地図における自車両の絶対方位を推定する絶対方位推定部としての機能と、を組み合わせて実現される。
相対方位推定部は、隣り合う2つの磁気マーカ10を結ぶ方位、すなわち車線方向を基準として自車両の相対方位を推定する。絶対方位推定部は、自車両の相対方位に基づいて3次元地図における自車両の絶対方位を推定する。
制御ユニットは、図9の方位推定処理を実行して、車線方向に対する自車両の相対方位を推定する。この方位推定処理は、2つの磁気マーカ10に対する横ずれ量の差分を演算するステップ(S311)と、2つの磁気マーカ10の位置を結ぶ線分方向Mx(図10)に対する車両5の相対方位である方位ずれ角Rf(図10)を演算するステップ(S312)と、を含む相対方位推定処理の一例である。
上記のごとく、隣り合う2つの磁気マーカ10の位置を結ぶ線分方向Mxは、車線方向(道路の方向)に略一致する。したがって、線分方向Mxに対する車両5の相対方位である方位ずれ角Rfは、車線方向に対する自車両の相対方位となる。
ステップS311では、図10のごとく、隣り合う2つの磁気マーカ10を車両5が通過したとき、1つ目の磁気マーカ10に対する横ずれ量Of1と、2つ目の磁気マーカ10に対する横ずれ量Of2と、の差分Ofdを次式により演算する。なお、同図の場合、Of1とOf2とで正負が異なることから、差分に応じてOfdの絶対値は、Of1及びOf2の絶対値を超える値となる。
Figure 0007381939000003
続くステップS312では、図12のごとく、2つの磁気マーカ10の位置を結ぶ線分方向Mxに対する車両5の方位Dirのなす角(旋回方向の角度の偏差)である方位ずれ角Rfを演算する。この方位ずれ角Rfは、横ずれ量の差分Ofd及びマーカスパンSを含む次式により算出される。
Figure 0007381939000004
例えば直線路に沿って車両5が走行している場合、車両5の向きが車線方向に沿うことになる(図11)。この場合には、2つの磁気マーカ10の位置を結ぶ線分方向Mxに対する車両5の方位Dirのなす角である方位ずれ角Rfがゼロに近くなる。一方、車両5の向きが車線方向に沿っていない場合には(図12)、線分方向Mxに対して車両5の方位Dirがずれて、方位ずれ角Rfが大きくなる。曲線路に沿って車両5が走行している場合には(図13)、曲線路である車線の接線方向に、2つの磁気マーカ10の位置を結ぶ線分方向Mxが一致し、この線分方向Mxに対する車両5の方位Dirのなす角である方位ずれ角Rfがゼロとなる。一方、曲線路である車線を斜行する場合には(図14)、曲線路である車線の接線方向に対する車両5の方位Dirのずれが大きくなり方位ずれ角Rfが大きくなる。
上記の通り、線分方向Mxに対する車両5の方位Dirのなす角である方位ずれ角Rfは、車線方向に対する自車両の相対方位である。図9の方位推定処理によれば、磁気マーカ10を利用して車線方向に対する自車両の相対方位を精度高く推定できる(相対方位推定処理)。磁気マーカ10は、道路に敷設されており位置が固定されているので、2つの磁気マーカ10を結ぶ方位の誤差は小さいと期待できる。よって、磁気マーカ10に基づく車両5の相対方位は精度の高いものである。
そして絶対方位推定部としての制御ユニットは、車線方向に対する自車両の相対方位と、3次元地図に基づく車線方向の絶対方位と、を組み合わせて、3次元地図における自車両の絶対方位を推定する(絶対方位推定処理)。例えば制御ユニットは、3次元地図における車線方向の絶対方位を基準として自車両の相対方位の分だけ方位をずらすことで、3次元地図における自車両の絶対方位を推定する。
なお、その他の構成要件及び作用効果については、実施例1と同様である。
(実施例3)
本例は、実施例2の位置推定システムに基づいて、車線方向に対する自車両の相対方位を推定する相対方位推定処理の内容を変更した位置推定システム1の例である。この位置推定システム1では、車両5の前後に設けた計測ユニット2を利用して自車両の相対方位を推定する。この内容について、図15を参照して説明する。
本例の車両5では、4mの間隔をあけて計測ユニット2が配置されている。前後の計測ユニット2の間隔である4mは、1つおきの2つの磁気マーカ10の間隔4m(マーカスパンS1とする。)と同一である。4m間隔で配置された計測ユニット2によれば、1つの磁気マーカ10を挟んで隣り合う2つの磁気マーカ10をほぼ同じタイミングで検出できる。
図15のように、前側の計測ユニット2が計測した横ずれ量をOf1、後ろ側の計測ユニットが計測した横ずれ量をOf2とし、両者の差分をOfdとしたとき、方位ずれ角Rfは、次式で演算可能である。
Figure 0007381939000005
実施例2と同様、方位ずれ角Rfは、2つの磁気マーカ10を結ぶ方位に対する車両5の方位のなす角である。2つの磁気マーカ10を結ぶ方位は、車線方向に略一致するため、この方位ずれ角Rfは、車線方向に対する自車両の相対方位を表している。
なお、4m間隔の前後の計測ユニット2の中央に、計測ユニットを追加して配置することも良い。この場合には、前側の計測ユニット2と中央の計測ユニットとの組み合わせ、及び後ろ側の計測ユニット2と中央の計測ユニットとの組み合わせのうちの少なくともいずれか一方で、2m間隔で隣り合う磁気マーカ10を同じタイミングで検出して横ずれ量を計測できるようになる。速度に応じて、2m間隔の2つの磁気マーカ10を利用するか、4m間隔の2つの磁気マーカ10を利用するか、を切り換えることも良い。
なお、その他の構成及び作用効果については、実施例2と同様である。
以上、実施例のごとく本発明の具体例を詳細に説明したが、これらの具体例は、特許請求の範囲に包含される技術の一例を開示しているにすぎない。言うまでもなく、具体例の構成や数値等によって、特許請求の範囲が限定的に解釈されるべきではない。特許請求の範囲は、公知技術や当業者の知識等を利用して前記具体例を多様に変形、変更あるいは適宜組み合わせた技術を包含している。
1 位置推定システム
10 磁気マーカ(マーカ)
15 RFIDタグ(情報提供部)
2 計測ユニット
21 センサアレイ(マーカ検出部)
212 検出処理回路(相対位置推定部、横ずれ量の計測部)
22 IMU(相対位置推定部、運動推定部)
32 制御ユニット(相対位置推定部、絶対位置推定部、相対方位推定部、絶対方位推定部)
34 タグリーダ(固有情報読取部)
5 車両

Claims (8)

  1. 走行環境を表す3次元地図を元にして自車両の前方の3次元構造を推定する方法であって、
    3次元地図は、少なくとも道路の構造、建物の領域、及び走行環境を構成する地物の位置が特定された2次元地図に対して、高さ方向の空間的な情報が付加された3次元的な地図であって、当該3次元地図では、走行路に敷設された各マーカに対して、少なくともマーカの識別情報がひも付けられて各マーカの位置が特定され、
    前記マーカを検出するマーカ検出処理と、
    前記マーカの識別情報を提供するためにマーカに対応して設けられた情報提供部から識別情報を読み取る固有情報読取処理と、
    前記マーカに対する自車両の相対位置を推定する相対位置推定処理と、
    前記マーカ検出処理により検出されたマーカの識別情報、及び該マーカに対する相対位置のデータ、を含むマーカ基準データを生成する処理と、
    前記マーカ基準データに含まれる識別情報を利用して対応するマーカを特定し、特定されたマーカに対する自車両の相対位置に基づいて3次元地図における自車両の位置を推定する絶対位置推定処理と、
    自車両の絶対方位を推定する絶対方位推定処理と、
    自車両の前方の3次元構造を表す3Dデータを演算する処理と、を含み、
    前記絶対方位推定処理では、自車両に取り付けられたセンサを利用して前記地物を検出して自車両を基準とするローカル座標系における当該地物の位置を特定すると共に、前記3次元地図における当該地物の位置を、当該ローカル座標系における当該地物の位置に変換するための座標変換を調べることで3次元地図における自車両の方位を推定し、
    前記3次元構造を演算する処理において、前記3次元地図における自車両の位置及び方位を利用し、3次元地図が表すグローバル座標系における3Dデータを、自車両の方位を基準としたローカル座標系で表される自車両の前方の3次元構造を表す3Dデータに変換する3次元構造推定方法。
  2. 請求項1において、前記マーカ検出処理により検出されたマーカに対する自車両の車幅方向の横ずれ量を計測する処理と、
    前記自車両の運動を推定する処理と、を含み、
    前記相対位置推定処理は、前記マーカ検出処理により前記マーカが検出された場合に実行される第1の相対位置推定処理であるか、前記マーカ検出処理により前記マーカが検出された後、新たなマーカが検出されるまでの間に実行される第2の相対位置推定処理であるか、に応じて処理の内容が相違し、
    前記第1の相対位置推定処理は、前記マーカが検出された際に計測された横ずれ量に基づいて自車両の相対位置を推定する処理であり、
    前記第2の相対位置推定処理は、いずれかのマーカが検出された際に計測された横ずれ量、及び当該いずれかのマーカを検出した後の自車両の運動の推定結果に基づき、当該いずれかのマーカに対する自車両の相対位置を推定する処理である3次元構造推定方法
  3. 請求項1または2において、前記情報提供部は、前記マーカに保持された無線タグである3次元構造推定方法
  4. 請求項1~3のいずれか1項において、前記地物は、車両の走行領域を区画するレーンマーク、信号機、及び標識のうちのいずれかである3次元構造推定方法
  5. 走行環境を表す3次元地図を元にして自車両の前方の3次元構造を推定するシステムであって、
    3次元地図は、少なくとも道路の構造、建物の領域、及び走行環境を構成する地物の位置が特定された2次元地図に対して、高さ方向の空間的な情報が付加された3次元的な地図であって、当該3次元地図では、走行路に敷設された各マーカに対して、少なくともマーカの識別情報がひも付けられて各マーカの位置が特定され、
    前記マーカを検出するマーカ検出部と、
    前記マーカの識別情報を提供するためにマーカに対応して設けられた情報提供部と、
    前記マーカの識別情報を読み取る固有情報読取部と、
    前記マーカに対する相対位置を推定する相対位置推定部と、
    前記マーカ検出部が検出したマーカの識別情報、及び該マーカに対する相対位置のデータ、を含むマーカ基準データを生成する構成と、
    前記マーカ基準データに含まれる識別情報を利用して対応するマーカを特定し、特定されたマーカに対する相対位置に基づいて3次元地図における自車両の位置を推定する絶対位置推定部と
    自車両の絶対方位を推定する絶対方位推定部と、
    自車両の前方の3次元構造を表す3Dデータを演算する演算処理部と、を含み、
    前記絶対方位推定部は、自車両に取り付けられたセンサを利用して前記地物を検出して自車両を基準とするローカル座標系における当該地物の位置を特定すると共に、前記3次元地図における当該地物の位置を、当該ローカル座標系における当該地物の位置に変換するための座標変換を調べることで3次元地図における自車両の方位を推定し、
    前記演算処理部は、前記3次元地図における自車両の位置及び方位を利用し、3次元地図が表すグローバル座標系における3Dデータを、自車両の方位を基準としたローカル座標系で表される自車両の前方の3次元構造を表す3Dデータに変換する3次元構造推定システム。
  6. 請求項において、前記マーカ検出部によりマーカが検出された場合に、当該マーカに対する自車両の車幅方向の横ずれ量を計測する計測部と、
    前記自車両の運動を推定する運動推定部と、を含み、
    前記相対位置推定部は、前記マーカ検出部により前記マーカが検出された場合、当該マーカについて前記計測部が計測した横ずれ量に基づいて当該マーカに対する自車両の相対位置を推定する一方、
    いずれかのマーカが検出された後、新たなマーカが検出されるまでの間は、当該いずれかのマーカについて前記計測部が計測した横ずれ量、及び当該いずれかのマーカが検出されてから前記運動推定部により推定された自車両の運動の推定結果に基づいて、当該いずれかのマーカに対する自車両の相対位置を推定するように構成されている3次元構造推定システム
  7. 請求項5または6において、前記地物は、車両の走行領域を区画するレーンマーク、信号機、及び標識のうちのいずれかである3次元構造推定システム
  8. 請求項5~7のいずれか1項において、前記情報提供部は、前記マーカに保持された無線タグである3次元構造推定システム
JP2021502247A 2019-02-27 2020-02-25 3次元構造推定方法及び3次元構造推定システム Active JP7381939B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019034972 2019-02-27
JP2019034972 2019-02-27
PCT/JP2020/007364 WO2020175439A1 (ja) 2019-02-27 2020-02-25 位置推定方法及び位置推定システム

Publications (3)

Publication Number Publication Date
JPWO2020175439A1 JPWO2020175439A1 (ja) 2020-09-03
JPWO2020175439A5 JPWO2020175439A5 (ja) 2022-01-31
JP7381939B2 true JP7381939B2 (ja) 2023-11-16

Family

ID=72239101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021502247A Active JP7381939B2 (ja) 2019-02-27 2020-02-25 3次元構造推定方法及び3次元構造推定システム

Country Status (2)

Country Link
JP (1) JP7381939B2 (ja)
WO (1) WO2020175439A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7373815B1 (ja) 2022-10-03 2023-11-06 株式会社Life 位置検出システム及び倉庫内安全管理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119090A (ja) 2004-10-25 2006-05-11 Mitsubishi Electric Corp ナビゲーション装置
JP2013148356A (ja) 2012-01-17 2013-08-01 Nissan Motor Co Ltd 車両位置算出装置
JP2015184155A (ja) 2014-03-25 2015-10-22 株式会社日立製作所 地図データ構造、地図データ更新方法、自車位置修正方法、車載機、サーバおよび自車位置データ修正システム
JP2018169301A (ja) 2017-03-30 2018-11-01 愛知製鋼株式会社 マーカシステム
JP2018189463A (ja) 2017-05-01 2018-11-29 株式会社Soken 車両位置推定装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119090A (ja) 2004-10-25 2006-05-11 Mitsubishi Electric Corp ナビゲーション装置
JP2013148356A (ja) 2012-01-17 2013-08-01 Nissan Motor Co Ltd 車両位置算出装置
JP2015184155A (ja) 2014-03-25 2015-10-22 株式会社日立製作所 地図データ構造、地図データ更新方法、自車位置修正方法、車載機、サーバおよび自車位置データ修正システム
JP2018169301A (ja) 2017-03-30 2018-11-01 愛知製鋼株式会社 マーカシステム
JP2018189463A (ja) 2017-05-01 2018-11-29 株式会社Soken 車両位置推定装置及びプログラム

Also Published As

Publication number Publication date
WO2020175439A1 (ja) 2020-09-03
JPWO2020175439A1 (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
CN110419067B (zh) 标识器系统
JP6946695B2 (ja) マーカシステム
JP6766527B2 (ja) 車両用システム及び進路推定方法
US8510027B2 (en) Method for judging vehicle traveling position and vehicle traveling position judgment device
JP7421111B2 (ja) ジャイロセンサの補正方法
CN111108344B (zh) 位置捕捉系统以及位置捕捉方法
US11454516B2 (en) Gyro sensor calibration method
US11933633B2 (en) Point cloud data acquiring method and point cloud data acquiring system
JP7328178B2 (ja) 車両制御装置、および、自車位置推定方法
WO2019065176A1 (ja) 車両用システム及びタグ通信方法
JP7047506B2 (ja) 車両用システム及びタグ通信方法
JP7381939B2 (ja) 3次元構造推定方法及び3次元構造推定システム
JP2024020294A (ja) 地図データ記録媒体及び地図データの生成方法
JP7389360B2 (ja) 走行路診断システム
JP7360059B2 (ja) 位置推定方法及び位置推定システム
JP2021012702A (ja) 車両用システム及び進路推定方法
WO2022270365A1 (ja) 車両用システム
WO2024063078A1 (ja) 3次元地図データの生成方法及び生成システム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20210817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7381939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150