JP7308772B2 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

データ処理装置、データ処理方法及びデータ処理プログラム Download PDF

Info

Publication number
JP7308772B2
JP7308772B2 JP2020009173A JP2020009173A JP7308772B2 JP 7308772 B2 JP7308772 B2 JP 7308772B2 JP 2020009173 A JP2020009173 A JP 2020009173A JP 2020009173 A JP2020009173 A JP 2020009173A JP 7308772 B2 JP7308772 B2 JP 7308772B2
Authority
JP
Japan
Prior art keywords
feature
point cloud
cloud data
travel
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020009173A
Other languages
English (en)
Other versions
JP2021117043A (ja
Inventor
由華子 ▲高▼橋
昌志 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2020009173A priority Critical patent/JP7308772B2/ja
Publication of JP2021117043A publication Critical patent/JP2021117043A/ja
Application granted granted Critical
Publication of JP7308772B2 publication Critical patent/JP7308772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)

Description

本開示は、三次元点群データを処理する技術に関する。
近年、MMS(Mobile Mapping System)を用いた測量車両(以下、MMS車両という)の活用が進んでいる。MMSはレーザスキャナー、GNSS(Global Navigation Satellite System)受信機、カメラ、IMU(Inertial Measurement Unit)等のセンサを具備する。そして、MMSは、MMS車両の走行ルート周辺の環境の三次元点群データを取得することができる。MMSにより取得された三次元点群データは、道路、トンネルなどのインフラストラクチャー設備の点検、高精度な地図の生成などに利用される。
MMSによって取得される三次元点群データの各点の座標値は、GNSSやIMUなどによって算出されたMMS車両の位置と、レーザスキャナーによって取得されたMMS車両の位置と周辺環境との相対距離によって導出される。しかし、電波の受信状況の影響等により、GNSSによるMMS車両の位置の計算結果にはある程度の誤差が含まれる。このため、MMS車両が同一の走行ルートを複数回走行し、複数の三次元点群データを取得した場合に、三次元点群データの各々が完全に一致するわけではない。つまり、三次元点群データ間で座標値にずれが生じる場合がある。このようなずれが生じると、インフラストラクチャー設備の点検及び高精度な地図の生成に支障をきたす。このため、三次元点群データ間の座標値のずれを補正する必要がある。従来は、人手作業により、三次元点群データ間の座標値のずれを補正していた。
特許文献1では、地図データと三次元点群データとに共通する地物の位置のずれ量に基づいて三次元点群データの座標値を補正する技術が開示されている。
国際公開WO2017/208503号
特許文献1の技術は、地図データを用いて三次元点群データを補正する。しかし、特許文献1の技術は、三次元点群データを用いて三次元点群データを補正するものではない。このため、特許文献1の技術では、三次元点群データ間のずれを補正することができないという課題がある。
本開示は、三次元点群データ間のずれを補正することを主な目的とする。
本開示に係るデータ処理装置は、
第1の車両の走行軌跡である第1の車両走行軌跡と前記第1の車両の走行により生成された第1の三次元点群データとを含む第1の計測データと、第2の車両の走行軌跡である第2の車両走行軌跡と前記第2の車両の走行により生成された第2の三次元点群データとを含む第2の計測データとを取得するデータ取得部と、
前記第1の三次元点群データに含まれる特徴物である第1の特徴物と、前記第2の三次元点群データに含まれる、前記第1の特徴物に相当する特徴物である第2の特徴物とを特徴物ペアとして対応付け、前記第1の三次元点群データと前記第2の三次元点群データとから、特徴物ペアを生成する特徴物対応付け部と、
前記特徴物ペア同士の間のずれ量を算出するずれ量算出部と、
前記ずれ量と前記第2の計測データとに基づき、前記第2の車両走行軌跡を補正する走行軌跡補正部と、
補正後の前記第2の車両走行軌跡に基づき、前記第2の三次元点群データを補正する点群データ補正部とを有する。
本開示では、三次元点群データを用いて、三次元点群データを補正する。このため、本開示によれば、三次元点群データ間のずれを補正することができる。
実施の形態1に係るデータ処理装置の機能構成例を示す図。 実施の形態1に係るデータ処理装置のハードウェア構成例を示す図。 実施の形態1に係るデータ処理装置の動作例を示すフローチャート。 実施の形態1に係る地物の対応付け例を示す図。 実施の形態1に係る地物の対応付け例を示す図。 実施の形態1に係る地物の対応付け例を示す図。 実施の形態1に係るベース地物及びターゲット地物が破線区画線である場合の特徴点の対応付け例を示す図。 実施の形態1に係る車両位置の補正例を示す図。
以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
実施の形態1.
***構成の説明***
図1は、本実施の形態に係るデータ処理装置100の機能構成例を示す。
データ処理装置100は、三次元点群データから、区画線、路肩縁、標識、道路標示、円柱状地物、停止線、トンネルの出入り口位置、信号機等の地物または地物の特徴点を特徴物として抽出する。そして、データ処理装置100は、複数の点群データ間でのこれら特徴物の位置のずれを認識することでMMS車両の走行軌跡を補正する。そして、データ処理装置100は、補正後の走行軌跡をもとに点群データを再生成することで、点群のずれを補正する。
データ処理装置100は、コンピュータである。また、データ処理装置100の動作手順は、データ処理方法に相当する。また、データ処理装置100の動作を実現するプログラムは、データ処理プログラムに相当する。
データ取得部101は、MMS車両に搭載されているセンサで計測された計測データを取得する。センサは、前述のように、レーザスキャナー、GNSS受信機、カメラ、IMU等である。
データ取得部101が取得する計測データには、例えば、三次元点群データ及び走行軌跡データが含まれる。
三次元点群データは、MMS車両が走行ルートを走行することにより生成された、走行ルートの周囲に存在する地物が時刻ごとに点群で表されるデータである。走行ルートの周囲に存在する地物には、走行ルートである道路の近傍に所在する地物と、道路上に所在する地物とが含まれる。
走行軌跡データは、MMS車両が走行ルートを走行した際のMMS車両の走行軌跡が示されるデータである。走行軌跡データは、時刻ごとのMMS車両の位置の座標値が時系列に連結されて構成される。
より具体的には、データ取得部101は、第1の計測データと第2の計測データを取得する。第1の計測データには、ベース点群データとベース走行軌跡データが含まれる。第2の計測データには、ターゲット点群データとターゲット走行軌跡データとが含まれる。
ベース点群データは、第1のMMS車両が走行ルートを走行することにより生成された三次元点群データである。ベース点群データは第1の三次元点群データに相当する。
また、ターゲット点群データは、第2のMMS車両が走行ルートを走行することにより生成された三次元点群データである。ターゲット点群データは第2の三次元点群データに相当する。
ベース走行軌跡データは、第1のMMS車両が走行ルートを走行した際の走行軌跡を示す車両位置軌跡データである。ベース走行軌跡データは第1の走行軌跡データに相当する。
ターゲット走行軌跡データは、第2のMMS車両が走行ルートを走行した際の走行軌跡を示す車両位置軌跡データである。ターゲット走行軌跡データは第1の走行軌跡データに相当する。
第1のMMS車両と第2のMMS車両は同一のMMS車両でもよいし、別のMMS車両でもよい。第1のMMS車両と第2のMMS車両が走行する走行ルートは同じであってもよいし、異なっていてもよい。但し、ベース点群データ及びターゲット点群データには同じ地物が含まれる必要がある。このため、第1のMMS車両と第2のMMS車両が走行する走行ルートが異なっている場合でも、第1のMMS車両と第2のMMS車両が走行する走行ルートは接近している必要がある。
第1のMMS車両は第1の車両に相当し、第2のMMS車両は第2の車両に相当する。
また、データ取得部101により行われる処理はデータ取得処理に相当する。
地物抽出部102は、ベース点群データから複数の地物を抽出する。また、地物抽出部102は、ターゲット点群データから複数の地物を抽出する。
以下では、地物抽出部102がベース点群データから抽出する地物をベース地物という。また、地物抽出部102がターゲット点群データから抽出する地物をターゲット地物という。
特徴物対応付け部103は、ベース点群データに含まれる特徴物であるベース特徴物と、ターゲット点群データに含まれる、ベース特徴物に相当する特徴物であるターゲット特徴物とを特徴物ペアとして対応付ける。特徴点対応付け部103は、ベース点群データとターゲット点群データから、複数の特徴物ペアを生成する。
具体的には、特徴物対応付け部103は、ベース点群データに表されるベース地物ごとに、ターゲット点群データから、ベース地物と同一のターゲット地物を抽出する。より具体的には、特徴物対応付け部103は、座標値がベース地物の座標値と近接する、ベース地物と同一種類の地物を、ベース地物と同一のターゲット地物として抽出する。
なお、ターゲット点群データには、必ずしも、全てのベース地物について、同一のターゲット地物が含まれているとは限らない。
特徴物対応付け部103は、ベース地物をベース特徴物として扱い、ターゲット地物をターゲット特徴物として扱ってもよいし、ベース地物の特定の点であるベース特徴点をベース特徴物として扱い、ターゲット地物の特定の点であるターゲット特徴点をターゲット特徴物として扱ってもよい。本実施の形態では、ベース特徴点をベース特徴物として扱い、ターゲット特徴点をターゲット特徴物として扱う例を説明する。
このため、本実施の形態では、特徴物対応付け部103は、ベース特徴点とターゲット特徴点とを特徴点ペアとして対応付ける。特徴点ペアは特徴物ペアの例である。
特徴物対応付け部103は、ベース特徴点及びターゲット特徴点として、例えば、地物の重心に相当する点又は地物の端に相当する点を抽出する。特徴物対応付け部103は、複数のベース地物のベース特徴点と複数のターゲット地物のターゲット特徴点とを対応付けて、複数の特徴点ペアを生成する。
ベース特徴物(ベース特徴点)は、第1の特徴物に相当する。また、ターゲット特徴物(ターゲット特徴点)は、第2の特徴物に相当する。
なお、特徴物対応付け部103により行われる処理は特徴物対応付け処理に相当する。
ずれ量算出部104は、特徴点ペアごとに、特徴点ペアを構成するベース特徴点の座標値とターゲット特徴点の座標値との間のずれ量を算出する。
ずれ量算出部104により行われる処理はずれ量算出処理に相当する。
走行軌跡補正部105は、各特徴点ペアのずれ量に基づき、ターゲット走行軌跡データに示される第2のMMS車両の走行軌跡を補正する。
走行軌跡補正部105により行われる処理は走行軌跡補正処理に相当する。
点群データ補正部106は、補正後の第2のMMS車両の走行軌跡に基づき、ターゲット点群データを補正する。
点群データ補正部106により行われる処理は点群データ補正処理に相当する。
出力部107は、補正後のターゲット点群データ及び補正後のターゲット走行軌跡データを出力する。
図2は、本実施の形態に係るデータ処理装置100のハードウェア構成例を示す。
データ処理装置100は、ハードウェアとして、プロセッサ901、メモリ902、補助記憶装置903、入力装置904、表示装置905及び通信装置906を備える。
補助記憶装置903には、前述のデータ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置903からメモリ902にロードされる。そして、プロセッサ901がこれらプログラムを実行して、データ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の機能の動作を行う。
図2では、プロセッサ901がデータ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の機能の機能を実現するプログラムを実行している状態を模式的に表している。
入力装置904は、データ処理装置100のユーザからの指示等を入力する。
表示装置905は、補正後のターゲット点群データ、補正後のターゲット走行軌跡データ等を表示する。
通信装置906は、例えば、MMSから計測データを受信する。
***動作の説明***
次に、図3に示すフローチャートを参照して、本実施の形態に係るデータ処理装置100の動作例を説明する。
先ず、ステップS301において、データ取得部101が例えば通信装置906を用いてMMSから計測データを取得する。
具体的には、データ取得部101は、第1の計測データと第2の計測データを取得する。前述のように、第1の計測データには、ベース点群データ及びベース走行軌跡データが含まれる。第2の計測データには、ターゲット点群データ、及びターゲット走行軌跡データが含まれる。
次に、ステップS302において、地物抽出部102がベース点群データ及びターゲット点群データの各々から地物を抽出する。
より具体的には、地物抽出部102は、ベース点群データ及びターゲット点群データの各々から、地物を構成する点群を抽出する。地物抽出部102は、例えば、区画線、路肩縁、標識、道路標示、円柱状地物等を構成する点群を抽出する。
ここで、地物抽出部102による地物の抽出方法の例を説明する。
地物抽出部102は、以下の方法にて、区画線を抽出する。
地物抽出部102は、MMS車両が走行する道路の横断方向(水平方向)に連続する点群を取得する。そして、地物抽出部102は、当該点群の反射強度に変化がある箇所を区画線の候補点として抽出する。この候補点が道路の進行方向に連続する場合に、地物抽出部102は、この連続する候補点を区画線の点群として抽出する。
また、地物抽出部102は、以下の方法にて、路肩縁を抽出する。
地物抽出部102は、区画線と同様に、MMS車両が走行する道路の横断方向に連続する点群を取得する。そして、地物抽出部102は、当該点群の高度情報に変化がある箇所を路肩縁の候補点として抽出する。この候補点が道路の進行方向に連続する場合に、地物抽出部102は、この連続する候補点を路肩縁の点群として抽出する。
また、地物抽出部102は、以下の方法にて、標識を抽出する。
地物抽出部102は、走行軌跡よりも既定値以上高い位置に取得された点群について、距離の近い点同士をクラスタとしてグループ化する。また、地物抽出部102は、このクラスタを平面近似し、平面としてフィッティングされるものを標識の点群として抽出する。また、この標識の抽出方法では、標識以外の建造物も抽出される可能性があるが、このような建造物も位置補正に利用するための標識として抽出しても問題ない。
また、地物抽出部102は、以下の方法にて、道路標示を抽出する。
地物抽出部102は、区画線と同様に道路の横断方向に連続する点群を取得する。そして、地物抽出部102は、当該点群の反射強度に変化がある箇所を道路標示の候補点として抽出する。ただし、地物抽出部102は、事前に抽出した区画線点列の付近で取得された候補点は道路標示の候補点からは除外する。地物抽出部102は、道路標示の候補点のうち位置の近い点同士をクラスタとしてグループ化し、グループ化により得られた点群を道路標示の点群として抽出する。
また、地物抽出部102は、以下の方法により、円柱状地物を抽出する。
地物抽出部102は、点群を水平方向のメッシュに投影する。そして、地物抽出部102は、メッシュパターンと円柱状地物のテンプレートパターンとを比較する。メッシュパターンと円柱状地物のテンプレートパターンとの一致度が高い場合に、地物抽出部102は、当該点群を円柱状地物の点群として抽出する。
地物抽出部102は、その他の地物、例えば、トンネルの出入り口位置、信号機等についても同様の手法により抽出する。
次に、ステップS303において、特徴物対応付け部103が、ベース特徴点とターゲット特徴点とを対応付けて特徴点ペアを生成する。
具体的には、特徴物対応付け部103は、標識、道路標示、円柱状地物などの地物でのベース特徴点とターゲット特徴点との対応付けを試みる。これらの地物は、道路の周辺に存在する数が比較的少なく、また、属性が取得できるため、他の地物に比べて対応付けが行いやすい。これら地物での特徴点の対応付けを行う場合には、特徴物対応付け部103は、まず、点群間の想定されるずれが小さい領域にある地物から対応付けを試みる。特徴物対応付け部103は、MMS車両の走行時のGNSSの受信状況などから、領域ごとの点群間のずれ量を推定することができる。
特徴物対応付け部103は、現在着目している領域にあるターゲット地物の種類を識別する。そして、特徴物対応付け部103は、現在着目している領域において想定されるずれの最大量の範囲で、ベース地物と同一種類でサイズ、属性などが同一のターゲット地物を検索する。サイズとは、地物が標識であれば標示面の幅、高さなどであり、地物が円柱状地物であれば直径、高さなどである。属性とは、地物が標識であれば、標識が速度制限標識なのか、案内なのかといった区別である。
検索によって取得されたターゲット地物が一つである場合は、特徴物対応付け部103は、そのベース地物とターゲット地物とを対応付ける。
図4の例では、ベース地物Aと同一種類、同一サイズ、同一属性の地物を検索した結果、想定ずれ量が小さいターゲット地物Aのみが得られたので、特徴物対応付け部103は、ベース地物Aとターゲット地物Aとを対応付ける。同様にして、特徴物対応付け部103は、ベース地物Bと次に想定ずれ量が小さいターゲット地物Bとの対応付けを行う。また、特徴物対応付け部103は、最後に、ベース地物Cとターゲット地物Cとの対応付けを行う。
検索によって取得されたターゲット地物が複数ある場合は、特徴物対応付け部103は、複数のターゲット地物のそれぞれとベース地物との対応付けをした場合の他の周辺の地物の間の対応関係を評価して評価値を算出する。そして、特徴物対応付け部103は、評価値が高い組合せに含まれるベース地物とターゲット地物を対応付ける。
図5の例では、ベース地物Aとの対応付けの候補として、ターゲット地物Aとターゲット地物Bが存在する。特徴物対応付け部103は、ベース地物A-ターゲット地物Aとベース地物Bターゲット-地物Bとの組合せにおける評価値を算出する。また、特徴物対応付け部103は、ベース地物A-ターゲット地物Bとベース地物B-ターゲット地物Aとの組合せにおける評価値を算出する。前者の組合せでは位置関係に齟齬が生じないが、後者の組合せでは位置関係に齟齬が生じる。このため、前者の評価値が高くなる。この結果、特徴物対応付け部103は、ベース地物Aとターゲット地物Aとを対応付ける。
また、特徴物対応付け部103は、対応付けが完了しているベース地物とターゲット地物との位置関係を用いて他のベース地物に対応付けるターゲット地物を検索してもよい。例えば、特徴物対応付け部103は、対応付けが完了しているベース地物とターゲット地物との間のずれ量を用いて他のベース地物に対応付けるターゲット地物を検索してもよい。図6の例では、ベース地物Aとターゲット地物Aは対応付けが完了しており、地物Aベースとターゲット地物Aの間のずれ量が判明している。特徴物対応付け部103は、ベース地物Aとターゲット地物Aの間のずれ量を用いて、地物ベースBに対応付けるターゲット地物を検索してもよい。
標識、道路標示、円柱状地物などの地物でのベース地物とターゲット地物との対応付けが完了したら、特徴物対応付け部103は、ベース特徴点とターゲット特徴点とを対応付けて、対応特徴点ペアを生成する。特徴物対応付け部103は、標識、道路標示、円柱状地物などの地物の重心に相当する点をベース特徴点及びターゲット特徴点に指定する。
そして、特徴物対応付け部103は、ベース特徴点の座標値とターゲット特徴点の座標値とを対応付ける。ベース特徴点の座標値は、ベース特徴点が計測された時刻での第1のMMS車両の位置の座標値からの相対距離及び相対方位から求められる座標値である。ターゲット特徴点の座標値は、ターゲット特徴点が計測された時刻での第2のMMS車両の位置の座標値からの相対距離及び相対方位から求められる座標値である。
標識、道路標示、円柱状地物などの地物でのベース地物とターゲット地物との対応付けが完了したら、特徴物対応付け部103は、区画線、路肩縁についてもベース地物とターゲット地物との間の対応付けを行う。区画線、路肩縁の構成点が判明している場合は、特徴物対応付け部103は、構成点を利用して対応付けを行う。特徴物対応付け部103は、例えば、破線区画線の端点位置に相当する点を構成点として利用することができる。また、特徴物対応付け部103は、路肩の特定の位置(ガードレールの端、ガードレールの角)に相当する点を構成点として利用することができる。
ターゲット地物において構成点が判明していない場合は、特徴物対応付け部103は、線としての位置合わせを実施する。特徴物対応付け部103は、例えば、図7に示すように、ベース構成点から、ターゲット候補点列に対して垂線を引き、垂線との交点にあるターゲット候補点とベース構成点とを対応づけるようにする。
図7では、ベース地物及びターゲット地物はともに破線区画線であるとする。ベース構成点列は、ベース構成点で構成される列である。ベース構成点は、破線区画線を構成する点群のうちの端点位置に相当する点のみである。一方、ターゲット候補点列は、ターゲット候補点で構成される列である。ターゲット候補点は、破線区画線を構成する全ての点である。
特徴物対応付け部103は、図7において、ベース構成点からターゲット候補点列へ垂線を引き、垂線との交点にあるターゲット候補点(黒丸)を抽出する。そして、特徴物対応付け部103は、ベース構成点と、抽出したターゲット候補点(黒丸)とを、特徴点ペアとして対応付ける。つまり、図7の例では、特徴物対応付け部103は、ベース構成点をベース特徴点として扱い、ターゲット候補点(黒丸)をターゲット特徴点として扱う。
図3に戻り、ステップS304において、ずれ量算出部104が、特徴点ペアごとに、特徴点ペアを構成するベース特徴点の座標値とターゲット特徴点の座標値との間のずれ量を算出する。ずれ量算出部104は、ベース特徴点の座標値とターゲット特徴点の座標値との間のずれ量をベクトルとして算出する。
次に、ステップS305において、走行軌跡補正部105が、ターゲット走行軌跡を補正する。
具体的には、走行軌跡補正部105は、時刻ごとの第2のMMS車両の位置の座標値を、各時刻に対応するターゲット特徴点の特徴点ペアに対して算出されたずれ量分移動させる。
図8は、走行軌跡補正部105の動作例を示す。
図8において、車両位置(補正前)は、補正前の第2のMMS車両の走行軌跡を示す。t1~t4は、時刻を示す。すなわち、車両位置(補正前)では、t1~t4の各時刻における第2のMMS車両の補正前の位置が表される。以下では、t1~t4の各時刻における第2のMMS車両の補正前の位置を、それぞれ、車両位置(t1)~車両位置(t4)と表記する。なお、車両位置(t1)~車両位置(t4)は、ターゲット走行軌跡データから得られる。
ターゲット特徴点には、t1~t4の各時刻におけるターゲット特徴点が表される。以下では、t1~t4の各時刻におけるターゲット特徴点を、それぞれターゲット特徴点(t1)~ターゲット特徴点(t4)と表記する。ターゲット特徴点(t1)は、車両位置(t1)で計測されたターゲット地物の特徴点である。なお、ターゲット特徴点(t1)~ターゲット特徴点(t4)は、それぞれ異なるターゲット地物の特徴点でも同じターゲット地物の特徴点でもよい。
また、各ターゲット特徴点から伸びる矢印の先にあるベース特徴点は、各ターゲット特徴点と対応付けられているベース特徴点である。以下では、ターゲット特徴点(t1)と対応付けられているベース特徴点をベース特徴点(t1)と表記する。
また、ターゲット特徴点とベース特徴点との間の矢印は、ターゲット特徴点の座標値とターゲット特徴点の座標値との間のずれ量(ベクトル)を表す。
出力部107は、車両位置(t1)の座標値を、ターゲット特徴点(t1)とベース特徴点(t1)とのずれ量分移動させる。この結果、車両位置(t1)は、車両位置(t1)から伸びる矢印の先の位置に移動する。出力部107は、車両位置(t2)の座標値、車両位置(t3)の座標値、車両位置(t4)の座標値についても同様に対応するずれ量分移動させる。この結果、第2のMMS車両の走行軌跡が車両位置(補正後)に示すように補正される。
なお、ターゲット特徴点が取得できなかった非取得区間が存在する場合は、非取得区間の前後で取得できたターゲット特徴点の特徴点ペアに対して算出されたずれ量を用いた線形補間を行って、非取得区間での第2のMMS車両の位置補正を行う。
次に、ステップS306において、点群データ補正部106が、ステップS305で補正されたターゲット走行軌跡を用いて、ターゲット点群データを補正する。
具体的には、補正後の時刻ごとの第2のMMS車両の位置の座標値に、補正前の時刻ごとの第2のMMS車両からターゲット点群データの各点への相対距離及び方位を適用して、ターゲット点群データの各点の座標値を補正する。
ターゲット点群データの点群は第2のMMS車両の位置を中心として、レーザレーダの相対位置情報を利用して生成されているが、点群データ補正部106は、補正後の第2のMMS車両の位置を中心にして同様の処理を行うことで、補正された点群を得ることができる。
この後、出力部107が補正後のターゲット走行軌跡データ及び補正後のターゲット点群データを表示装置905に出力してもよい。
なお、ターゲット走行軌跡データには、時刻ごとの第2のMMS車両の位置の情報の他に、ヨー、ピッチ及びロールで表される姿勢情報が含まれている場合がある。ターゲット走行軌跡データに姿勢情報が含まれている場合は、走行軌跡補正部105は、ステップS305において姿勢情報も補正する。具体的には、走行軌跡補正部105は、補正されたターゲット走行軌跡データからヨーの値を補正することができる。また、走行軌跡補正部105は、左右路肩縁の傾きを合わせるようにロールの値を補正することができる。また、走行軌跡補正部105は、地面の傾きのずれなどからピッチの値補正することができる。
このように、走行軌跡補正部105は、並進移動の3自由度と回転移動の3自由度からなる6自由度において第2のMMS車両の走行軌跡を補正することができる。
また、特徴物対応付け部103により水平方向に連続する点群で表される地物(区画線、路肩縁、道路標示等)について特徴点ペアが生成された場合に、走行軌跡補正部105は、当該特徴点ペアのずれ量に基づき、走行ルート上の道路の横断方向での第2のMMS車両の走行軌跡を補正するようにしてもよい。
また、特徴物対応付け部103により垂直方向に連続する点群で表される地物(標識、円柱状地物、トンネルの出入り口位置、信号機等)について特徴点ペアが生成された場合に、走行軌跡補正部105は、当該特徴点ペアのずれ量に基づき、道路の進行方向での第2の車両の走行軌跡を補正するようにしてもよい。
***実施の形態の効果の説明***
以上のように、本実施の形態では、ベース点群データを用いてターゲット点群データを補正する。このため、本実施の形態によれば、三次元点群データ間の座標値のずれを補正することができる。
また、本実施の形態では、対応関係にあるターゲット特徴点とベース特徴点とのずれ量を用いてターゲット走行軌跡を補正し、補正後のターゲット走行軌跡に基づきターゲット点群データを補正する。このため、本実施の形態によれば、高精度にターゲット点群データを補正することができる。
また、本実施の形態では、すれ量が少ないと想定される領域のターゲット地物を優先して抽出する。また、本実施の形態では、対応付けが完了しているベース地物とターゲット地物のずれ量を用いて対応付けが完了していないベース地物とターゲット地物の対応付けを行う。このため、本実施の形態によれば、ベース地物とターゲット地物の対応付けを効率的に行うことができ、この結果、特徴点ペアの生成、ターゲット走行軌跡データの補正、ターゲット点群データの補正を効率的に行うことができる。
更に、本実施の形態では、区画線、路肩縁、道路標示、標識、円柱状地物、停止線、トンネルの出入り口位置、信号機等の様々な地物を用いてターゲット点群データを補正することができる。このため、本実施の形態によれば、高精度にターゲット点群データを補正することができる。
なお、以上では、主にベース特徴点とターゲット特徴点を特徴物として扱う例を説明した。前述のように、これに代えて、ベース地物とターゲット地物のそのものを特徴物として扱うことができる。ベース地物とターゲット地物のそのものを特徴物として扱う場合は、ずれ量算出部104が、角度等により、ベース地物とターゲット地物との間のずれを算出することが想定される。例えば、電柱、標識等のポール状の地物をベース地物及びターゲット地物として用いる場合を想定する。この場合に、ベース地物とターゲット地物との間で、ポールの傾きがずれていた場合には、ずれ量算出部104は、座標値のずれではなくベクトル化したポールの傾き(角度)のずれを算出する。そして、走行軌跡補正部105は、ポールの傾き(角度)のずれに基づいて、ターゲット走行軌跡を補正する。また、このようにベース地物とターゲット地物のそのものを特徴物として扱う場合は、対応付けが完了しているベース地物とターゲット地物との間の形状の類似性を用いて、他のベース地物とターゲット地物との関係を判定してもよい。図6の例では、対応付けが完了しているベース地物とターゲット地物との位置関係を用いて、他のベース地物とターゲット地物との関係を判定している。これに代えて、対応付けが完了しているベース地物とターゲット地物との間の形状の類似性(例えば、ベクトル化した後の形状(傾き、角度等含む)を用いて、他のベース地物とターゲット地物との関係を判定してもよい。
実施の形態2.
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
本実施の形態に係るデータ処理装置100の機能構成例は図1に示す通りである。また、本実施の形態に係るデータ処理装置100のハードウェア構成例は図2に示す通りである。
本実施の形態では、ベース点群データの例として、再計測が不要な点群データであるリファレンス点群データを用いる。
リファレンス点群データも第1の三次元点群データに相当する。
ベース点群データの代わりにリファレンス点群データを用いる点を除いて、データ処理装置100の動作は実施の形態1に示したものと同じである。
本実施の形態では、再計測が不要な精度のよいリファレンス点群データを利用してターゲット走行軌跡データ及びターゲット点群データを補正する。このため、本実施の形態によれば、高精度に補正されたターゲット走行軌跡データ及びターゲット点群データを生成することができる。
また、リファレンス点群データを用いることで、補正後のターゲット点群データに衛星不可視区間で積算された位置誤差が残留することがなく、高精度なターゲット点群データを得ることができる。
以上、実施の形態1及び2を説明したが、これら2つの実施の形態を組み合わせて実施しても構わない。
あるいは、これら2つの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これら2つの実施の形態を部分的に組み合わせて実施しても構わない。
また、これら2つの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
***ハードウェア構成の補足説明***
最後に、データ処理装置100のハードウェア構成の補足説明を行う。
図2に示すプロセッサ901は、プロセッシングを行うIC(Integrated Circuit)である。
プロセッサ901は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等である。
図2に示すメモリ902は、RAM(Random Access Memory)である。
図2に示す補助記憶装置903は、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である。
図2に示す通信装置906は、データの通信処理を実行する電子回路である。
通信装置906は、例えば、通信チップ又はNIC(Network Interface Card)である。
また、補助記憶装置903には、OS(Operating System)も記憶されている。
そして、OSの少なくとも一部がプロセッサ901により実行される。
プロセッサ901はOSの少なくとも一部を実行しながら、データ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の機能を実現するプログラムを実行する。
プロセッサ901がOSを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、データ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、メモリ902、補助記憶装置903、プロセッサ901内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、データ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記録媒体に格納されていてもよい。そして、データ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
また、データ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107の「部」を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
また、データ処理装置100は、処理回路により実現されてもよい。処理回路は、例えば、ロジックIC(Integrated Circuit)、GA(Gate Array)、ASIC(Application Specific Integrated
Circuit)、FPGA(Field-Programmable Gate Array)である。
この場合は、データ取得部101、地物抽出部102、特徴物対応付け部103、ずれ量算出部104、走行軌跡補正部105、点群データ補正部106及び出力部107は、それぞれ処理回路の一部として実現される。
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
100 データ処理装置、101 データ取得部、102 地物抽出部、103 特徴物対応付け部、104 ずれ量算出部、105 走行軌跡補正部、106 点群データ補正部、107 出力部、901 プロセッサ、902 メモリ、903 補助記憶装置、904 入力装置、905 表示装置、906 通信装置。

Claims (12)

  1. 第1の走行ルートの走行時の第1の車両の時刻ごとの位置が時系列に連結されてなる走行軌跡である第1の車両走行軌跡と前記第1の車両の前記第1の走行ルートの走行時にセンサ計測により生成され、前記第1の走行ルートの周囲に存在する複数の地物が表された第1の三次元点群データとを含む第1の計測データと、
    前記第1の走行ルートと同じ又は前記第1の走行ルートに近接する第2の走行ルートの走行時の第2の車両の時刻ごとの位置が時系列に連結されてなる走行軌跡である第2の車両走行軌跡と前記第2の車両の前記第2の走行ルートの走行時にセンサ計測により生成され、前記第2の走行ルートの周囲に存在する複数の地物が表された第2の三次元点群データとを含む第2の計測データとを取得するデータ取得部と、
    前記第1の三次元点群データに表されるそれぞれの地物に対して、前記第2の三次元点群データから、座標値が近接する同一種類の地物を同一の地物として抽出し、
    前記第1の三次元点群データから抽出した地物から得られる特徴物である第1の特徴物と、前記第2の三次元点群データから抽出した第1の特徴物と同一の地物から得られる特徴物である第2の特徴物とを特徴物ペアとして対応付け、
    前記第1の三次元点群データと前記第2の三次元点群データとから、前記第1の走行ルートと前記第2の走行ルートの周囲に存在する複数の特徴物ペアを生成する特徴物対応付け部と、
    前記特徴物ペアごとに、前記特徴物ペアの間のずれ量を算出するずれ量算出部と、
    前記ずれ量算出部の算出した複数のずれ量と前記第2の計測データとに基づき、前記第2の車両走行軌跡を補正する走行軌跡補正部と、
    補正後の前記第2の車両走行軌跡に基づき、前記第2の三次元点群データを補正する点群データ補正部と
    備えるデータ処理装置。
  2. 前記特徴物対応付け部は、
    前記第2の三次元点群データ内のずれ量が少ないと想定される領域を優先して、前記第1の三次元点群データに表される地物と同一の地物を抽出する請求項1に記載のデータ処理装置。
  3. 前記特徴物対応付け部は、
    前記第1の三次元点群データに表される地物に対して前記第2の三次元点群データから同一の地物を抽出した場合に、前記第1の三次元点群データに表される地物と前記第2の三次元点群データから抽出された同一の地物との間の位置関係または形状の類似性を用いて、前記第1の三次元点群データに表される他の地物に対して、前記第2の三次元点群データから同一の地物を抽出する請求項2に記載のデータ処理装置。
  4. 前記走行軌跡補正部は、
    前記特徴物対応付け部により水平方向に連続する点群で表される地物について特徴物ペアが生成された場合に、当該特徴物ペアのずれ量に基づき、道路の横断方向での前記第2の車両走行軌跡を補正し、
    前記特徴物対応付け部により垂直方向に連続する点群で表される地物について特徴物ペアが生成された場合に、当該特徴物ペアのずれ量に基づき、前記道路の進行方向での前記第2の車両走行軌跡を補正する請求項1に記載のデータ処理装置。
  5. 前記走行軌跡補正部は、
    並進移動の3自由度と回転移動の3自由度からなる6自由度において前記第2の車両の走行軌跡を補正する請求項1に記載のデータ処理装置。
  6. 前記第1の三次元点群データが、再計測が不要な点群データである請求項1に記載のデータ処理装置。
  7. 前記地物は破線区画線であって、前記第1の特徴物及び前記第2の特徴物の各構成点は点列をなし、
    前記特徴物対応付け部は、
    前記破線区画線に対応する地物の前記第1の特徴物の各構成点から前記第2の特徴物の点列に対して垂線を引き、当該垂線との交点に該当する点を前記破線区画線に対応する地物の前記第2の特徴物の構成点として抽出して、前記第1の特徴物の構成点と抽出した前記第2の特徴物の構成点とを特徴点ペアとして対応付ける請求項1に記載のデータ処理装置。
  8. データ処理装置は、更に
    前記第1の三次元点群データ及び第2の三次元点群データにそれぞれ表される区画線、路肩縁、標識、道路標示、円柱状地物を含む種類の異なる地物を構成する点群を、前記特徴物対応付け部による前記特徴物ペアの生成に用いられる地物としてそれぞれ抽出する地物抽出部を備え、
    前記特徴物対応付け部は、
    着目している領域にある前記第2の三次元点群データから抽出した地物の種類を識別して、当該着目している領域において想定されるずれの最大量の範囲で、前記第1の三次元点群データから抽出した地物と同一種類でサイズまたは属性が同一の地物を検索し、
    地物の種類が標識であれば当該サイズは標示面の幅、高さを含み、地物の種類が円柱状地物であれば当該サイズは円柱の直径、高さを含み、地物の種類が標識であれば当該属性は標識が速度制限標識であるか案内であるかの区別を含み、
    地物の種類が区画線、路肩縁であれば、区画線、路肩縁の構成点が判明している場合は構成点を利用して対応付けを行い、区画線、路肩縁の構成点が判明していない場合は線としての位置合わせを実施する請求項1、請求項3及び請求項7のいずれか一項に記載のデータ処理装置。
  9. 前記特徴物対応付け部は、
    着目している領域にある前記第2の三次元点群データから抽出した円柱状地物がポール状である場合、地物の形状をベクトル化した後の傾き、角度を含む形状を用いて地物を抽出する請求項8に記載のデータ処理装置。
  10. 前記地物抽出部は、
    前記第1の走行ルート及び前記第2の走行ルートの各々の道路の横断方向に連続する点群を取得し、当該点群の反射強度に変化がある箇所を区画線の候補点とし、当該候補点が道路の進行方向に連続する場合に、区画線の点群として抽出し、
    前記第1の走行ルート及び前記第2の走行ルートの各々の道路の横断方向に連続する点群を取得し、当該点群の高度情報に変化がある箇所を路肩縁の候補点とし、当該候補点が道路の進行方向に連続する場合に、路肩縁の点群として抽出し、
    前記第1の車両走行軌跡及び前記第2の車両走行軌跡について、各走行軌跡よりも既定値以上高い位置に取得された点群について、距離の近い点同士をクラスタとしてグループ化し、当該クラスタを平面近似して標識の点群として抽出し、
    前記第1の走行ルート及び前記第2の走行ルートの各々の道路の横断方向に連続する点群を取得し、当該点群の反射強度に変化がある箇所を道路標示の候補点とし、事前に抽出した区画線点列の付近で取得された候補点は道路標示の候補点からは除外し、道路標示の候補点のうち位置の近い点同士をクラスタとしてグループ化し、グループ化により得られた点群を道路標示の点群として抽出し、
    点群を水平方向のメッシュに投影し、メッシュパターンと円柱状地物のテンプレートパターンとを比較し、メッシュパターンと円柱状地物のテンプレートパターンとの一致度が高い場合に、当該点群を円柱状地物の点群として抽出する請求項8に記載のデータ処理装置。
  11. コンピュータが、第1の走行ルートの走行時の第1の車両の時刻ごとの位置が時系列に連結されてなる走行軌跡である第1の車両走行軌跡と前記第1の車両の前記第1の走行ルートの走行時にセンサ計測により生成され、前記第1の走行ルートの周囲に存在する複数の地物が表された第1の三次元点群データとを含む第1の計測データを取得し
    前記コンピュータが、前記第1の走行ルートと同じ又は前記第1の走行ルートに近接する第2の走行ルートの走行時の第2の車両の時刻ごとの位置が時系列に連結されてなる走行軌跡である第2の車両走行軌跡と前記第2の車両の前記第2の走行ルートの走行時にセンサ計測により生成され、前記第2の走行ルートの周囲に存在する複数の地物が表された第2の三次元点群データとを含む第2の計測データを取得し、
    前記コンピュータが、前記第1の三次元点群データに表されるそれぞれの地物に対して、前記第2の三次元点群データから、座標値が近接する同一種類の地物を同一の地物として抽出し、
    前記コンピュータが、前記第1の三次元点群データから抽出した地物から得られる特徴物である第1の特徴物と、前記第2の三次元点群データから抽出した第1の特徴物と同一の地物から得られる特徴物である第2の特徴物とを特徴物ペアとして対応付け、
    前記コンピュータが、前記第1の三次元点群データと前記第2の三次元点群データとから、前記第1の走行ルートと前記第2の走行ルートの周囲に存在する複数の特徴物ペアを生成し、
    前記コンピュータが、前記特徴物ペアごとに、前記特徴物ペアの間のずれ量を算出し、
    前記コンピュータが、算出された複数のずれ量と前記第2の計測データとに基づき、前記第2の車両走行軌跡を補正し、
    前記コンピュータが、補正後の前記第2の車両走行軌跡に基づき、前記第2の三次元点群データを補正する
    データ処理方法。
  12. 第1の走行ルートの走行時の第1の車両の時刻ごとの位置が時系列に連結されてなる走行軌跡である第1の車両走行軌跡と前記第1の車両の前記第1の走行ルートの走行時にセンサ計測により生成され、前記第1の走行ルートの周囲に存在する複数の地物が表された第1の三次元点群データとを含む第1の計測データと、
    前記第1の走行ルートと同じ又は前記第1の走行ルートに近接する第2の走行ルートの走行時の第2の車両の時刻ごとの位置が時系列に連結されてなる走行軌跡である第2の車両走行軌跡と前記第2の車両の前記第2の走行ルートの走行時にセンサ計測により生成され、前記第2の走行ルートの周囲に存在する複数の地物が表された第2の三次元点群データとを含む第2の計測データとを取得するデータ取得処理と、
    前記第1の三次元点群データに表されるそれぞれの地物に対して、前記第2の三次元点群データから、座標値が近接する同一種類の地物を同一の地物として抽出し、
    前記第1の三次元点群データから抽出した地物から得られる特徴物である第1の特徴物と、前記第2の三次元点群データから抽出した第1の特徴物と同一の地物から得られる特徴物である第2の特徴物とを特徴物ペアとして対応付け、
    前記第1の三次元点群データと前記第2の三次元点群データとから、前記第1の走行ルートと前記第2の走行ルートの周囲に存在する複数の特徴物ペアを生成する特徴物対応付け処理と、
    前記特徴物ペアごとに、前記特徴物ペアの間のずれ量を算出するずれ量算出処理と、
    前記ずれ量算出処理により算出された複数のずれ量と前記第2の計測データとに基づき、前記第2の車両走行軌跡を補正する走行軌跡補正処理と、
    補正後の前記第2の車両走行軌跡に基づき、前記第2の三次元点群データを補正する点群データ補正処理と
    をコンピュータに実行させるデータ処理プログラム。
JP2020009173A 2020-01-23 2020-01-23 データ処理装置、データ処理方法及びデータ処理プログラム Active JP7308772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020009173A JP7308772B2 (ja) 2020-01-23 2020-01-23 データ処理装置、データ処理方法及びデータ処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020009173A JP7308772B2 (ja) 2020-01-23 2020-01-23 データ処理装置、データ処理方法及びデータ処理プログラム

Publications (2)

Publication Number Publication Date
JP2021117043A JP2021117043A (ja) 2021-08-10
JP7308772B2 true JP7308772B2 (ja) 2023-07-14

Family

ID=77174589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009173A Active JP7308772B2 (ja) 2020-01-23 2020-01-23 データ処理装置、データ処理方法及びデータ処理プログラム

Country Status (1)

Country Link
JP (1) JP7308772B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252833A (ja) 2010-06-03 2011-12-15 Mitsubishi Electric Corp 位置標定装置、位置標定方法および位置標定プログラム
WO2017208503A1 (ja) 2016-05-30 2017-12-07 三菱電機株式会社 地図データ更新装置、地図データ更新方法および地図データ更新プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011252833A (ja) 2010-06-03 2011-12-15 Mitsubishi Electric Corp 位置標定装置、位置標定方法および位置標定プログラム
WO2017208503A1 (ja) 2016-05-30 2017-12-07 三菱電機株式会社 地図データ更新装置、地図データ更新方法および地図データ更新プログラム

Also Published As

Publication number Publication date
JP2021117043A (ja) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108765487B (zh) 重建三维场景的方法、装置、设备和计算机可读存储介质
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
JP4232167B1 (ja) 対象特定装置、対象特定方法および対象特定プログラム
US8625851B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN105512646B (zh) 一种数据处理方法、装置及终端
JP5062498B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
JP5388082B2 (ja) 静止物地図生成装置
JP5404861B2 (ja) 静止物地図生成装置
JP4978615B2 (ja) 対象特定装置
CN108345008A (zh) 一种目标物检测方法、点云数据提取方法及装置
JP5339953B2 (ja) 三次元地図補正装置及び三次元地図補正プログラム
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
JP2009180631A (ja) ナビゲーション装置、ナビゲーション方法およびプログラム
CN113177974B (zh) 一种点云配准方法、装置、电子设备及存储介质
JP2011252833A (ja) 位置標定装置、位置標定方法および位置標定プログラム
KR102480972B1 (ko) 고정밀지도생성장치 및 고정밀지도생성방법
JP2008065088A (ja) 静止物地図生成装置
CN112505671B (zh) Gnss信号缺失环境下毫米波雷达目标定位方法及装置
KR102291805B1 (ko) 중복영역에서의 3차원 정밀지도 비교를 통한 gps오차 보정 방법
CN114187357A (zh) 一种高精地图的生产方法、装置、电子设备及存储介质
CN114593739B (zh) 基于视觉检测与参考线匹配的车辆全局定位方法及装置
KR101323971B1 (ko) 모바일 맵핑 시스템을 이용한 터널 정보 자동 취득 방법
JP2019100924A (ja) 車両軌跡補正装置
CN115493603B (zh) 地图对齐方法、计算机设备及计算机可读存储介质
JP7308772B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230704

R150 Certificate of patent or registration of utility model

Ref document number: 7308772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150