JP7226714B2 - 位置ずれ補正システム及びプログラム - Google Patents

位置ずれ補正システム及びプログラム Download PDF

Info

Publication number
JP7226714B2
JP7226714B2 JP2019100567A JP2019100567A JP7226714B2 JP 7226714 B2 JP7226714 B2 JP 7226714B2 JP 2019100567 A JP2019100567 A JP 2019100567A JP 2019100567 A JP2019100567 A JP 2019100567A JP 7226714 B2 JP7226714 B2 JP 7226714B2
Authority
JP
Japan
Prior art keywords
target
vehicle
targets
group
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019100567A
Other languages
English (en)
Other versions
JP2020193907A (ja
Inventor
章弘 渡邉
晋也 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Central R&D Labs Inc
Original Assignee
Denso Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Central R&D Labs Inc filed Critical Denso Corp
Priority to JP2019100567A priority Critical patent/JP7226714B2/ja
Publication of JP2020193907A publication Critical patent/JP2020193907A/ja
Application granted granted Critical
Publication of JP7226714B2 publication Critical patent/JP7226714B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、位置ずれ補正システム及びプログラムに関する。
従来から、自動運転等では、走行環境の地図に含まれる物標と、車載センサにより物標とを対応付け、地図に対する車両の位置を推定する技術が使われている。また、SLAM(simultaneous Localization And Mapping)のように、車両等の移動体搭載の周辺環境認識装置を用いて物標の位置を推定し、走行環境の地図を生成する技術がある(例えば、特許文献1)。
特開2018-081252号公報
しかし、SLAM等の技術により相対精度の高い物標の位置の推定は可能であるが、絶対位置に関しては、絶対位置が既知の物標を用いる必要があるため、絶対位置の精度が必ずしも十分ではない状況においては物標の位置の推定精度が落ちてしまう、という問題があった。
また、高精度な測位システムを用いて車両の絶対位置の精度を確保することが考えられるが、高コストになってしまう、という問題があった。
本発明は、上記問題点を解決するためになされたもので、車両の絶対位置の精度が必ずしも十分ではない状況であっても、低コスト、かつ、精度よく物標の絶対位置を推定することができる位置ずれ補正システム及びプログラムを提供することを目的とする。
上記の目的を達成するために、本発明の位置ずれ補正システムは、車両に搭載された第1測位装置により検出された前記車両の世界座標系の位置である第1車両位置を取得する第1取得部と、前記車両に搭載された第2測位装置により前記車両の位置の変化に基づいて検出された前記車両の世界座標系の位置である第2車両位置を取得する第2取得部と、前記車両に搭載されたセンサを用いて検出された前記車両の周辺の物標の車両座標系における位置を取得する物標検出部と、前記第1取得部が取得した前記第1車両位置と、前記第1車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第1物標位置を算出する第1物標位置算出部と、前記第2取得部が取得した前記第2車両位置と、前記第2車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第2物標位置を算出する第2物標位置算出部と、前記物標検出部によって検出された複数の物標の各々について、複数回の走行において前記第1物標位置算出部により算出された前記物標の前記第1物標位置や前記物標の大きさ等に基づいて、同一物標に対する第1物標群を生成し、前記第1物標群内の前記物標の前記第1物標位置のばらつきを求め、前記複数の物標のうち前記ばらつきが所定の第1閾値以下である物標前記第1物標群から選択する第1物標群選択部と、前記第1物標群選択部により選択された前記第1物標群に含まれる物標の各々について、前記物標の前記第1物標位置の平均位置である第1平均位置を算出する第1物標群平均位置算出部と、前記第1物標群平均位置算出部で算出された前記第1平均位置に基づいて、同一の走行において前記センサを用いて検出された前記物標の各々について算出された前記第2物標位置の各々を補正する第2物標群位置補正部と、前記前記第2物標群位置補正部により補正された前記物標の前記第2物標位置の平均位置である第2平均位置を算出する第2物標群平均位置算出部と、前記第2物標群平均位置算出部で算出された第2平均位置を、前記第1物標群に含まれる物標各々の最終的な位置として出力する出力部と、を含んで構成されている。
また、本発明のプログラムは、コンピュータを、車両に搭載された第1測位装置により検出された前記車両の世界座標系の位置である第1車両位置を取得する第1取得部、前記車両に搭載された第2測位装置により前記車両の位置の変化に基づいて検出された前記車両の世界座標系の位置である第2車両位置を取得する第2取得部、前記車両に搭載されたセンサを用いて検出された前記車両の周辺の物標の車両座標系における位置を取得する物標検出部、前記第1取得部が取得した前記第1車両位置と、前記第1車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第1物標位置を算出する第1物標位置算出部、前記第2取得部が取得した前記第2車両位置と、前記第2車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第2物標位置を算出する第2物標位置算出部、
前記物標検出部によって検出された複数の物標の各々について、複数回の走行において前記第1物標位置算出部により算出された前記物標の前記第1物標位置や前記物標の大きさ等に基づいて、同一物標に対する第1物標群を生成し、前記第1物標群内の前記物標の前記第1物標位置のばらつきを求め、前記複数の物標のうち前記ばらつきが所定の第1閾値以下である物標前記第1物標群から選択する第1物標群選択部、前記第1物標群選択部により選択された前記第1物標群に含まれる物標の各々について、前記物標の前記第1物標位置の平均位置である第1平均位置を算出する第1物標群平均位置算出部、前記第1物標群平均位置算出部で算出された前記第1平均位置に基づいて、同一の走行において前記センサを用いて検出された前記物標の各々について算出された前記第2物標位置の各々を補正する第2物標群位置補正部、前記前記第1物標群に含まれる物標の各々について、前記第2物標群位置補正部により補正された前記物標の前記第2物標位置の平均位置である第2平均位置を算出する第2物標群平均位置算出部、及び前記第2物標群平均位置算出部で算出された第2平均位置を、前記第1物標群に含まれる物標各々の最終的な位置として出力する出力部、として機能させるためのプログラムである。
本発明の補正システム及びプログラムによれば、第1取得部が、車両に搭載された第1測位装置により検出された当該車両の世界座標系の位置である第1車両位置を取得し、第2取得部が、当該車両に搭載された第2測位装置により当該車両の位置の変化に基づいて検出された当該車両の世界座標系の位置である第2車両位置を取得し、物標検出部が、当該車両に搭載されたセンサを用いて検出された当該車両の周辺の物標の車両座標系における位置を取得し、第1物標位置算出部が、第1取得部が取得した第1車両位置と、第1車両位置の検出に対応して物標検出部により取得された物標の位置とに基づいて、当該物標の世界座標系における位置である第1物標位置を算出し、第2物標位置算出部が、第2取得部が取得した第2車両位置と、第2車両位置の検出に対応して物標検出部により取得された物標の位置とに基づいて、当該物標の世界座標系における位置である第2物標位置を算出する。
そして、第1物標群選択部が、物標検出部によって検出された複数の物標の各々について、複数回の走行において第1物標位置算出部により算出された当該物標の第1物標位置や当該物標の大きさ等に基づいて、同一物標に対する第1物標群を生成し、第1物標群内の物標の第1物標位置のばらつきを求め、当該複数の物標のうち当該ばらつきが所定の第1閾値以下である物標の第1物標群を選択し、第1物標群平均位置算出部が、第1物標群選択部により選択された第1物標群に含まれる物標の各々について、当該物標の第1物標位置の平均位置である第1平均位置を算出し、第2物標群位置補正部が、第1物標群に含まれる物標の各々の第1平均位置に基づいて、同一の走行において当該センサを用いて検出された当該物標の各々について算出された第2物標位置の各々を補正し、第2物標群平均位置算出部が、第1物標群に含まれる物標の各々について、当該第2物標群位置補正部により補正された当該物標の第2物標位置の平均位置である第2平均位置を算出する。
このように、車両に搭載されたセンサを用いて検出された当該車両の周辺の物標の車両座標系における位置と、車両の世界座標系の位置である第1車両位置とに基づいて当該物標の世界座標系における位置である第1物標位置を算出し、当該物標の位置と、当該車両の位置の変化に基づいて検出された当該車両の世界座標系の位置である第2車両位置とに基づいて当該物標の世界座標系における位置である第2物標位置を算出し、検出された複数の物標の各々について、複数回の走行において算出された当該物標の第1物標位置や当該物標の大きさ等に基づいて、同一物標に対する第1物標群を生成し、第1物標群内の物標の第1物標位置のばらつきを求め、当該ばらつきが所定の第1閾値以下である物標の第1物標群を選択し、第1物標群に含まれる物標の各々について算出した当該物標の第1物標位置の平均位置である第1平均位置に基づいて、同一の走行において当該センサを用いて検出された当該物標の各々について算出された第2物標位置の各々を補正し、第1物標群に含まれる物標の各々について、補正された当該物標の第2物標位置の平均位置である第2平均位置を算出することにより、低コスト、かつ、精度よく物標の絶対位置を推定することができる。
また、本発明の位置ずれ補正システムの前記第2物標群位置補正部は、前記第1物標群に含まれる物標の前記第1平均位置と、同一の走行において前記センサを用いて検出された前記物標の各々の前記第2物標位置との対応付けを行い、前記物標の各々の前記第2物標位置を座標変換した結果と、前記物標の各々の前記第2物標位置と対応付けられた前記第1物標群に含まれる物標の前記第1平均位置の各々との位置ずれが最小となる第1座標変換行列を算出し、前記第1座標変換行列に基づいて、同一の走行において前記センサを用いて検出された前記物標の各々について算出された前記第2物標位置の各々を補正することができる。
また、本発明の位置ずれ補正システムの前記第2物標群位置補正部は、前記第1座標変換行列を算出し、前記第1座標変換行列に基づいて前記物標の前記第2物標位置を座標変換した結果と、前記物標の前記第2物標位置と対応付けられた前記第1物標群に含まれる物標の前記第1平均位置との位置ずれである残差が所定の第2閾値より大きい物標を、同一の走行において前記センサを用いて検出された前記物標から除外し、前記第1物標群に含まれる物標の前記第1平均位置と、同一の走行において前記センサを用いて検出された前記物標の各々の前記第2物標位置との対応付けを行い、前記位置ずれが最小となる前記第2座標変換行列を算出し、前記第2座標変換行列に基づいて、前記センサを用いて同時に検出された前記物標の各々について算出された前記第2物標位置の各々を補正することができる。
以上説明したように、本発明の位置ずれ補正システム及びプログラムによれば、低コスト、かつ、精度よく物標の絶対位置を推定することができる、という効果が得られる。
本発明の第1の実施の形態における位置ずれ補正装置の概略構成を示すブロック図である。 本発明の第1の実施の形態における世界座標系における車両の位置・姿勢と車両座標系との関係を示すイメージ図である。 本発明の第1の実施の形態における車両座標系における物標の位置の例を示すイメージ図である。 本発明の第1の実施の形態における走行環境における物標の位置の真値の例を示すイメージ図である。 本発明の第1の実施の形態における複数走行における第1物標位置の例を示すイメージ図である。 本発明の第1の実施の形態における複数走行の第1物標位置の重ね合わせの例を示すイメージ図である。 本発明の第1の実施の形態における各物標の第1物標位置の平均位置の例を示すイメージ図である。 本発明の第1の実施の形態における複数走行の第1物標位置群と第1平均位置と真値との比較を表すイメージ図である。 本発明の第1の実施の形態における第1物標群の選択の例を示すイメージ図である。 本発明の第1の実施の形態における第1平均位置の例を示すイメージ図である。 本発明の第1の実施の形態における物標の第1平均位置と真値との比較例を示すイメージ図である。 本発明の第1の実施の形態における第1平均位置群への物標位置群2の位置合わせの例を示すイメージ図である。 本発明の第1の実施の形態における複数走行の各物標の第2物標位置の集合である、物標位置群2の例を示すイメージ図である。 本発明の第1の実施の形態における複数走行の物標位置群2の重ね合わせの例を示すイメージ図である。 本発明の第1の実施の形態における第2平均位置の例を示すイメージ図である。 本発明の第1の実施の形態における物標の第2平均位置と真値との比較例を示すイメージ図である。 本発明の第1の実施の形態における物標位置収集処理ルーチンの内容を示すフローチャートである。 本発明の第1の実施の形態における位置ずれ補正処理ルーチンの内容を示すフローチャートである。 本発明の第2の実施の形態における位置ずれ補正システムの概略構成を示すブロック図である。 本発明の第2の実施の形態における車載器の概略構成を示すブロック図である。 本発明の第2の実施の形態における位置ずれ補正装置の概略構成を示すブロック図である。 本発明の第2の実施の形態における位置あわせに用いる第2物標群の選択例を示すイメージ図である。 本発明の第2の実施の形態における物標位置収集処理ルーチンの内容を示すフローチャートである。 本発明の第2の実施の形態における位置ずれ補正処理ルーチンの内容を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
<本発明の第1の実施の形態に係る位置ずれ補正システム1の構成>
図1を用いて、本発明の実施の形態にかかる位置ずれ補正システム1について説明する。図1に示すように、本発明の実施の形態に係る位置ずれ補正システム1は、カメラ10と、第1測位装置11と、第2測位装置12と、位置ずれ補正装置20とを備えて構成される。
カメラ10は、車両に搭載され、当該車両が走行している際に、当該車両の周辺を撮影する。例えば、カメラ10はステレオカメラであり、車両の前方に搭載され、1秒毎に車両前方を撮影する(図3)。そして、カメラ10は、撮影した画像を位置ずれ補正装置20に渡す。
第1測位装置11は、車両に搭載され、当該車両の世界座標系の位置である第1車両位置を測位する。具体的には、第1測位装置11は、図2に示すように、測位衛星等を用いて得られる緯度・経度等を用いて、世界座標系(固定座標系)上で表現される車両の位置及び姿勢(方位)を測位する。以下では、第1測位装置11により測位された車両の位置及び姿勢を第1車両位置と呼ぶこととする。
図2に示すように、世界座標系(Xw,Yw,Zw)は固定されているのに対し、車両座標系(Xv,t,Yv,t,Zv,t)は各時刻tの車両位置・姿勢により変化する。このため、第1車両位置は誤差を持つものの、測位衛星等の観測状況が良好な場所では、真値を中心に小さな誤差内に分布することが期待できる。一方、衛星の観測状況が不良な場所では、誤差が大きくなる。また、第1車両位置を時系列で見た場合、誤差の蓄積による影響はない。そして、第1測位装置11は、測位した第1車両位置を、位置ずれ補正装置20に渡す。
第2測位装置12は、車両に搭載され、車両の位置の変化に基づいて検出された当該車両の世界座標系の位置である第2車両位置を測位する。具体的には、第2測位装置12は、ジャイロセンサ等を用いて取得した車両の相対的な位置や姿勢の変化を積算することにより、相対的な位置・姿勢(車両軌跡)を算出する。第2車両位置の初期値として、ある時刻において第1測位装置11により測位された第1車両位置を採用することで、車両の相対的な位置や姿勢の変化から、世界座標系上の車両の位置・姿勢を得ることができる。以下では、第2測位装置12により算出された車両の世界座標系上の位置・姿勢を第2車両位置と呼ぶこととする。時系列で見た場合、第2車両位置は各時刻間の位置・姿勢の相対的な変化の誤差は小さいが、初期位置のずれ及び誤差の積算により、世界座標系における真値に対する誤差は大きくなる。そして、第2測位装置12は、測位した第2車両位置を、位置ずれ補正装置20に渡す。
位置ずれ補正装置20は、走行環境に含まれる物標を検出し、検出された物標の世界座標系における位置情報を推定する。物標とは、路側の立体物(標識、信号等)や路面標示(区画線、横断歩道等)等の標識となるものである。
具体的には、位置ずれ補正装置20は、CPUと、RAMと、後述する物標位置収集処理ルーチン及び位置ずれ補正処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。位置ずれ補正装置20は、物標位置収集部210と、物標位置記憶部220と、位置ずれ補正部230と、出力部240とを備えて構成される。
物標位置収集部210は、車両の走行における、車両の周辺の物標の第1車両位置に基づく第1物標位置と、車両の周辺の物標の第2車両位置に基づく第2物標位置とを、複数回の走行について収集する。
具体的には、物標位置収集部210は、画像取得部211と、物標検出部212と、第1取得部213と、第1物標位置算出部214と、第2取得部215と、第2物標位置算出部216とを備えて構成される。
画像取得部211は、カメラ10により撮影された画像を取得し、物標検出部212に渡す。
物標検出部212は、車両に搭載されたセンサを用いて検出された当該車両の周辺の物標の車両座標系における位置を取得する。具体的には、物標検出部212は、カメラ10により撮影された画像を用いて、画像解析処理により、画像に写っている物標を検出し、当該物標の画像上の位置から、車両座標系における位置を検出する(図3の座標(Xp,Yp,Zp))。そして、物標検出部212は、検出した物標の車両座標系における位置を、第1物標位置算出部214及び第2物標位置算出部216に渡す。
第1取得部213は、車両に搭載された第1測位装置11により検出された当該車両の第1車両位置を取得する。具体的には、第1取得部213は、第1測位装置11により測位された、物標検出部212が検出した物標が撮影された時刻における第1車両位置を取得する。そして、第1取得部213は、取得した第1車両位置を、第1物標位置算出部214に渡す。
第1物標位置算出部214は、第1取得部213が取得した第1車両位置と、第1車両位置が測位された時刻に対応して物標検出部212により取得された物標の位置とに基づいて、当該物標の世界座標系における位置である第1物標位置を算出する。具体的には、第1物標位置算出部214は、車両座標系における物標の位置を、第1車両位置を用いて世界座標系に変換することにより、第1物標位置を算出する。そして、第1物標位置算出部214は、算出した第1物標位置を、物標位置記憶部220に格納する。
第2取得部215は、車両に搭載された第2測位装置12により当該車両の第2車両位置を取得する。具体的には、第2取得部215は、第2測位装置12により測位された物標検出部212が検出した物標が撮影された時刻における第2車両位置を取得する。そして、第2取得部215は、取得した物標の第2車両位置を、第2物標位置算出部216に渡す。
第2物標位置算出部216は、第2取得部215が取得した第2車両位置と、第2車両位置が測位された時刻に対応して物標検出部212により取得された物標の位置とに基づいて、当該物標の世界座標系における位置である第2物標位置を算出する。具体的には、第2物標位置算出部216は、車両座標系における物標の位置を、第2車両位置を用いて世界座標系に変換することにより、第2物標位置を算出する。そして、第2物標位置算出部216は、算出した第2物標位置を、物標位置記憶部220に格納する。
物標位置記憶部220には、ある走行環境での車両の同一走行において検出された物標の各々についての第1物標位置及び第2物標位置が、車両の走行毎に格納されている。具体的には、物標位置記憶部220には、車両の同一走行において検出された各物標の車両座標系の位置と、車両の同一走行における各時刻の第1車両位置及び第2車両位置とから算出した、各物標の第1物標位置及び第2物標位置が格納される。当該車両が、当該走行環境を複数回走行することにより、複数の走行の各々についての、各物標の第1物標位置及び第2物標位置が、物標位置記憶部220に蓄積される。
位置ずれ補正部230は、物標位置記憶部220に各物標について格納された複数の第1物標位置及び第2物標位置に基づいて、走行環境に含まれる複数の物標の世界座標系における位置を推定する。図4に、走行環境上に6つの物標が含まれる場合の、物標の世界座標系における位置の真値の例を示す。図4において、座標軸は世界座標系を、矢印(座標軸を除く)は車両が走行する走行経路を、各点は各物標の位置の真値を表す。すなわち、位置ずれ補正部230は、各物標の世界座標系における位置の真値を、物標位置収集部210により収集された第1物標位置及び第2物標位置を用いて推定する。
具体的には、位置ずれ補正部230は、第1物標群選択部231と、第1物標群平均位置算出部232と、第2物標群位置補正部233と、第2物標群平均位置算出部234とを備えて構成される。
図5に、4回の走行(走行1~走行4)において算出された各物標の第1物標位置の集合である、物標位置群1の例を示す。図6に、図5における各走行の物標位置群1を重ね合わせたもの示す。図5及び図6に示すように、各走行における物標位置群1には、観測のばらつきが生じる。測位衛星の状態に基づく第1車両位置の誤差と、車両に搭載されたセンサにより検出した物標の位置の差とが存在するためである。ここで、車両に搭載されたセンサにより検出した物標の位置誤差は、第1車両位置の誤差と比較して相対的に小さいものとする。誤差の大きい第1物標位置を含む物標を真値の推定に用いると、推定結果にも誤差が含まれてしまう。例えば図7に示すように各物標の第1物標位置の平均位置を採用すると、第1物標位置のばらつきが大きい物標が存在する場合には、図8に示すように真値との位置誤差が大きい物標が存在する。
そこで、第1物標群選択部231は、物標検出部212によって検出された複数の物標の各々について、複数回の走行において第1物標位置算出部214により算出された当該物標の第1物標位置や物標の大きさ等に基づいて、同一物標に対する第1物標群を生成し、第1物標群内の物標の第1物標位置のばらつきを求め、複数の物標のうちばらつきが所定の第1閾値以下である物標の第1物標群を選択する。具体的には、第1物標群選択部231は、図9に示すように、同一の物標に対する第1物標位置の分布を求め、ばらつき(分散)が所定の第1閾値以下である物標のみを選択して、第1物標群とする。図9において、白抜きの円が、第1物標位置のばらつきが、第1閾値以下でない物標の第1物標位置を示している。また、図9において、黒塗りの円が、第1物標位置のばらつきが、第1閾値以下となる物標の第1物標位置を示している。このように、観測誤差が大きい物標については、第1物標位置を用いると精度が下がるため、これを排除しておくことができる。そして、第1物標群選択部231は、第1物標群を、第1物標群平均位置算出部232に渡す。
第1物標群平均位置算出部232は、第1物標群選択部231により選択された第1物標群に含まれる物標の各々について、当該物標の第1物標位置の平均位置である第1平均位置を算出する。具体的には第1物標群平均位置算出部232は、図10に示すように第1物標群に含まれる物標の各々について、当該物標の第1物標位置(図10の白抜きの円)の平均位置である第1平均位置(図10の黒塗りの円の位置)を算出する。第1平均位置は単純な算術平均でもよいし、物標検出の結果に対して信頼度が付与されている場合は加重平均でもよい。算出した第1平均位置の集合を物標平均位置群1とする。図11に示すように、図8と比較して、位置誤差の大きい物標が排除され、第1平均位置が真値に近いものとなり、誤差が小さくなっていることが分かる。
第2物標群位置補正部233は、第1物標群に含まれる物標の各々の第1平均位置と、同一の走行においてセンサを用いて検出された物標の各々の第2物標位置との対応付けを行い、当該物標の各々の第2物標位置を座標変換した結果と、当該物標の各々の第2物標位置と対応付けられた第1物標群に含まれる物標の第1平均位置の各々との位置ずれが最小となる第1座標変換行列を算出し、第1座標変換行列に基づいて、同一の走行においてセンサを用いて検出された当該物標の各々について算出された第2物標位置の各々を補正する。
具体的には、第2物標群位置補正部233は、まず、図12に示すように、第1物標群平均位置算出部232により算出された物標平均位置群1に対して、当該第1物標群に含まれる物標の各々の第2物標位置である第2物標位置群を対応付ける。ここで、物標平均位置群1は、真値との誤差が小さいものである。図13に、上述の4回の走行(走行1~走行4)において算出された各物標の第2物標位置の集合である、物標位置群2の例を示す。図14に、図13における各走行の物標位置群2を重ね合わせたもの示す。
次に、第2物標群位置補正部233は、対応付けの結果に基づいて、当該物標の各々の第2物標位置を座標変換した結果と、当該物標の各々の第2物標位置と対応付けられた第1物標群に含まれる物標の第1平均位置の各々との位置ずれが最小となる第1座標変換行列を算出する。第1座標変換行列は、回転・並進から構成される。第2物標群位置補正部233は、算出した第1座標変換行列により、第2物標位置群を変換することにより補正した補正第2物標位置群を算出する。なお、ある物標が物標検出部212により検出されていない場合には、第2物標群位置補正部233は、当該物標を位置合わせから除外する。そして、第2物標群位置補正部233は、補正第2物標位置群を第2物標群平均位置算出部234に渡す。
第2物標群平均位置算出部234は、第1物標群に含まれる物標の各々について、第2物標群位置補正部233により補正された当該物標の第2物標位置の平均位置である第2平均位置を算出する。具体的には、第2物標群平均位置算出部234は、第2物標群位置補正部233で算出した補正第2物標位置群に対して、第1物標群選択部231及び第1物標群平均位置算出部232と同様に、位置のばらつきが所定の第1閾値(第1閾値と異なる閾値を用いてもよい)以下の物標の集合である第2物標群を選択し、第2物標群に含まれる物標の各々について、補正された当該物標の第2物標位置の平均位置である第2平均位置を算出する(図15)。図16に、各物標の第2平均位置と、真値との比較を示す。図16に示すように、各物標の第2平均位置は、各物標の真値にほぼ等しい結果が得られる。
出力部240は、第1物標群に含まれる物標の各々について、当該物標の第2平均位置を当該物標の最終的な位置として出力する。
<本発明の第1の実施の形態に係る位置ずれ補正システム1の作用>
次に、図17を参照して、本実施形態の位置ずれ補正システム1の物標位置収集処理ルーチンについて説明する。物標位置収集処理ルーチンは、車両が走行する毎に、繰り返し実行される。
まず、ステップS100において、画像取得部211は、カメラ10により撮影された画像を取得する。
ステップS110において、物標検出部212は、上記ステップS100により取得した画像を用いて検出された当該車両の周辺の物標の車両座標系における位置を取得する。
ステップS120において、第1取得部213は、車両に搭載された第1測位装置11により検出された当該車両の第1車両位置を取得する。
ステップS130において、第1物標位置算出部214は、上記ステップS120により取得した第1車両位置と、第1車両位置が測位された時刻に対応して上記ステップS110により取得された物標の位置とに基づいて、当該物標の世界座標系における位置である第1物標位置を算出する。
ステップS140において、第1物標位置算出部214は、上記ステップS130により算出された第1物標位置を、物標位置記憶部220に格納する。
ステップS150において、第2取得部215は、車両に搭載された第2測位装置12により当該車両の第2車両位置を取得する。
ステップS160において、第2物標位置算出部216は、上記ステップS150により取得した第2車両位置と、第2車両位置が測位された時刻に対応して上記ステップS110により取得された物標の位置とに基づいて、当該物標の世界座標系における位置である第2物標位置を算出する。
ステップS170において、第2物標位置算出部216は、上記ステップS160により算出された第2物標位置を、物標位置記憶部220に格納する。
ステップS180において、物標位置収集部210は、走行が終了したか否かを判定する。
走行が終了していない場合(ステップS180のNO)、ステップS190において、所定時間待機し、ステップS100に戻り、再度ステップS100~S170の処理を繰り返す。
一方、走行が終了している場合(ステップS180のYES)、物標位置収集処理ルーチンを終了する。上記ステップS140で物標位置記憶部220に格納された第1物標位置は、同一走行における第1物標位置として物標位置記憶部220に格納される。また、上記ステップS170で物標位置記憶部220に格納された第2物標位置は、同一走行における第2物標位置として物標位置記憶部220に格納される。
次に、図18を参照して、本実施形態の位置ずれ補正システム1の位置ずれ補正処理ルーチンについて説明する。位置ずれ補正処理ルーチンは、上記物標位置収集処理ルーチンが、所定回数実行される毎に実行される。
まず、ステップS200において、第1物標群選択部231は、上記物標位置収集処理ルーチンにより検出された複数の物標の各々について、第1物標群選択部231は、物標検出部212によって検出された複数の物標の各々について、複数回の走行において上記ステップS140により算出された当該物標の第1物標位置や物標の大きさ等に基づいて、同一物標に対する第1物標群を生成し、第1物標群内の物標の第1物標位置のばらつきを求め、複数の物標のうちばらつきが所定の第1閾値以下である物標の第1物標群を選択する。
ステップS210において、第1物標群平均位置算出部232は、上記ステップS200により選択された第1物標群に含まれる物標の各々について、当該物標の第1物標位置の平均位置である第1平均位置を算出する。
ステップS220において、第2物標群位置補正部233は、第1物標群に含まれる物標の第1平均位置と、同一の走行においてセンサを用いて検出された当該物標の各々の第2物標位置との対応付けを行い、当該物標の各々の第2物標位置を座標変換した結果と、当該物標の各々の第2物標位置と対応付けられた第1物標群に含まれる物標の第1平均位置の各々との位置ずれが最小となる第1座標変換行列を算出し、第1座標変換行列に基づいて、同一の走行においてセンサを用いて検出された当該物標の各々について算出された第2物標位置の各々を補正する。
ステップS230において、第2物標群平均位置算出部234は、第1物標群に含まれる物標の各々について、上記ステップS220により補正された当該物標の第2物標位置の平均位置である第2平均位置を算出する。
ステップS240において、出力部240は、第1物標群に含まれる物標の各々について、当該物標の第2平均位置を当該物標の最終的な位置として出力する。
以上説明したように、本発明の第1の実施の形態に係る位置ずれ補正装置によれば車両に搭載されたセンサを用いて検出された当該車両の周辺の物標の車両座標系における位置と、車両の世界座標系の位置である第1車両位置とに基づいて当該物標の世界座標系における位置である第1物標位置を算出し、当該物標の位置と、当該車両の位置の変化に基づいて検出された当該車両の世界座標系の位置である第2車両位置とに基づいて当該物標の世界座標系における位置である第2物標位置を算出し、検出された複数の物標の各々について、複数回の走行において算出された当該物標の第1物標位置や当該物標の大きさ等に基づいて、同一物標に対する第1物標群を生成し、第1物標群内の物標の第1物標位置のばらつきを求め、当該ばらつきが所定の第1閾値以下である物標の第1物標群を選択し、第1物標群に含まれる物標の各々について算出した当該物標の第1物標位置の平均位置である第1平均位置に基づいて、同一の走行において当該センサを用いて検出された当該物標の各々について算出された第2物標位置の各々を補正し、第1物標群に含まれる物標の各々について、補正された当該物標の第2物標位置の平均位置である第2平均位置を算出することにより、低コスト、かつ、精度よく物標の絶対位置を推定することができる。
<本発明の第2の実施の形態に係る位置ずれ補正システム2の構成>
図19を用いて、本発明の第2の実施の形態に係る位置ずれ補正システム2の構成について説明する。なお、第1の実施の形態に係る位置ずれ補正システム1と同様の構成については、同一の符号を付して詳細な説明は省略する。
第1の実施の形態に係る位置ずれ補正システム1では、1台の車両により走行環境を複数回走行することにより、第1物標位置及び第2物標位置を収集する構成とした。第2の実施の形態に係る位置ずれ補正システム2では、複数台の車両により走行環境を走行することにより、第1物標位置及び第2物標位置を収集し、ネットワークを介してサーバが位置ずれ補正を行う構成を例に説明する。
位置ずれ補正システム2は、カメラ10、第1測位装置11、及び第2測位装置12を搭載した複数の車載器30と、位置ずれ補正装置40と、基地局50と、ネットワーク60とを備えて構成されている。
車載器30は、CPUと、RAMと、後述する物標位置収集処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。
図20に示すように、本発明の実施の形態に係る車載器30は、物標位置収集部210と、送信部300とを備えて構成される。
本実施の形態において、第1物標位置算出部214及び第2物標位置算出部216は、算出した第1物標位置及び第2物標位置を、送信部300に渡す。
送信部300は、基地局50及びネットワーク60を介して、位置ずれ補正装置40に、第1物標位置及び第2物標位置を送信する。基地局50はネットワーク60に接続された無線基地局であり、ネットワーク60は公衆網である。
位置ずれ補正装置40は、CPUと、RAMと、後述する位置ずれ補正処理ルーチンを実行するためのプログラムを記憶したROMとを備え、機能的には次に示すように構成されている。
図21に示すように、本発明の実施の形態に係る位置ずれ補正装置40は、受信部400と、第1物標群選択部231と、第1物標群平均位置算出部232と、第2物標群位置補正部433と、第2物標群平均位置算出部234と、出力部240とを備えて構成される。
受信部400は、第1物標位置及び第2物標位置を受信し、例えばバッファ(図示しない)等を用いて保持しておく。受信部400は、位置ずれ補正処理を開始する際に、保持している全ての第1物標位置及び第2物標位置を、第1物標群選択部231に渡す。
第2物標群位置補正部433は、まず、第2物標群位置補正部233と同様に、第1物標群に含まれる物標の各々の第1平均位置と、同一の走行においてセンサを用いて検出された物標の各々の第2物標位置との対応付けを行い、当該物標の各々の第2物標位置を座標変換した結果と、当該物標の各々の第2物標位置と対応付けられた第1物標群に含まれる物標の第1平均位置の各々との位置ずれが最小となる第1座標変換行列を算出し、第1座標変換行列に基づいて、同一の走行においてセンサを用いて検出された当該物標の各々について算出された第2物標位置の各々を座標変換する。
次に、第2物標群位置補正部433は、算出した第1座標変換行列に基づいて当該物標の当該第2物標位置を座標変換した結果と、当該物標の当該第2物標位置と対応付けられた第1物標群に含まれる物標の第1平均位置との位置ずれである残差が所定の第2閾値より大きい物標を、同一の走行においてカメラ10を用いて検出された物標からなる同一走行物標群から除外する。具体的には、第2物標群位置補正部433は、図21に示すように、第1座標変換行列による位置補正により、残差が第2閾値より大きい物標を、同一走行物標群から除外する。
次に、第2物標群位置補正部433は、第1物標群に含まれる物標の各々の第1平均位置と、残差が第2閾値より大きい物標が除外された、同一走行物標群に含まれる物標の各々の第2物標位置とを対応付けを行い、位置ずれが最小となる第2座標変換行列を算出し、第2座標変換行列に基づいて、同一走行物標群に含まれる物標の各々について算出された当該第2物標位置の各々を補正した補正第2物標位置群を算出する。第1座標変換行列による位置補正と比較し、残差が第2閾値より大きい物標が同一走行物標群から除外されていることから物標平均位置群1の絶対位置精度が向上している。このため、物標平均位置群2の絶対位置も向上することとなる。そして、第2物標群位置補正部433は、補正第2物標位置群を第2物標群平均位置算出部234に渡す。
<本発明の第2の実施の形態に係る位置ずれ補正システム2の作用>
図23は、本発明の第2の実施の形態に係る物標位置収集処理ルーチンを示すフローチャートである。なお、第1の実施の形態に係る物標位置収集処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。物標位置収集処理ルーチンは、車両の各々において、当該車両が走行する毎に、繰り返し実行される。
ステップS370において、送信部300は、基地局50及びネットワーク60を介して、位置ずれ補正装置40に、第1物標位置及び第2物標位置を送信する。
図24は、本発明の第2の実施の形態に係る位置ずれ補正処理ルーチンを示すフローチャートである。なお、第1の実施の形態に係る位置ずれ補正処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
ステップS470において、受信部400は、第1物標位置及び第2物標位置を受信する。
ステップS480において、受信部400は、位置ずれ補正を開始するか否かを判定する。
位置ずれ補正を開始しない場合、ステップS470に戻り、受信部400は、第1物標位置及び第2物標位置の受信を繰り返す。一方、位置ずれ補正を開始する場合、ステップS200に進む。
ステップS510において、第2物標群位置補正部433は、第1座標変換行列に基づいて当該物標の当該第2物標位置を座標変換した結果と、当該物標の当該第2物標位置と対応付けられた第1物標群に含まれる物標の第1平均位置との位置ずれである残差が所定の第2閾値より大きい物標を、同一の走行においてセンサを用いて検出された物標からなる同一走行物標群から除外する。
ステップS520において、第2物標群位置補正部433は、第1物標群に含まれる物標の各々の第1平均位置と、上記ステップS510により除外された、同一走行物標群に含まれる物標の各々の第2物標位置とを対応付けを行い、位置ずれが最小となる第2座標変換行列を算出し、第2座標変換行列に基づいて、同一走行物標群に含まれる物標の各々について算出された当該第2物標位置の各々を補正する。
以上説明したように、本発明の第2の実施の形態に係る位置ずれ補正装置によれば、第1座標変換行列に基づいて当該物標の当該第2物標位置を座標変換した結果と、当該物標の当該第2物標位置と対応付けられた第1物標群に含まれる物標の第1平均位置との位置ずれである残差が所定の第2閾値より大きい物標を、同一の走行においてセンサを用いて検出された当該物標から除外し、第1物標群に含まれる物標の第1平均位置と、同一の走行においてセンサを用いて検出された当該物標の各々の第2物標位置との対応付けを行い、位置ずれが最小となる第2座標変換行列を算出し、第2座標変換行列に基づいて、当該センサを用いて同時に検出された当該物標の各々について算出された当該第2物標位置の各々を補正することにより、更に精度よく物標の位置を推定することができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述の実施の形態では、車両を例に説明したが、これに限定されるものではなく、他の移動体を用いてもよい。また、車両と車両以外の移動体とを用いてもよい。
また、複数の車両により物標の位置を検出する場合、物標の密度が高くないものにより物標の位置の対応付けを予め行っておいてもよい。
また、上述の実施の形態では、物標検出部212は、カメラ10によって撮影された画像を用いて走行環境中の物標を検出したが、これに限定されるものではない。例えば、Lidar等の他のセンサを用いて走行環境中の物標を検出する構成としてもよい。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
1、2 位置ずれ補正システム
10 カメラ
11 第1測位装置
12 第2測位装置
20 位置ずれ補正装置
30 車載器
40 位置ずれ補正装置
50 基地局
60 ネットワーク
210 物標位置収集部
211 画像取得部
212 物標検出部
213 第1取得部
214 第1物標位置算出部
215 第2取得部
216 第2物標位置算出部
220 物標位置記憶部
230 位置ずれ補正部
231 第1物標群選択部
232 第1物標群平均位置算出部
233 第2物標群位置補正部
234 第2物標群平均位置算出部
240 出力部
300 送信部
400 受信部
433 第2物標群位置補正部

Claims (4)

  1. 車両に搭載された第1測位装置により検出された前記車両の世界座標系の位置である第1車両位置を取得する第1取得部と、
    前記車両に搭載された第2測位装置により前記車両の位置の変化に基づいて検出された前記車両の世界座標系の位置である第2車両位置を取得する第2取得部と、
    前記車両に搭載されたセンサを用いて検出された前記車両の周辺の物標の車両座標系における位置を取得する物標検出部と、
    前記第1取得部が取得した前記第1車両位置と、前記第1車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第1物標位置を算出する第1物標位置算出部と、
    前記第2取得部が取得した前記第2車両位置と、前記第2車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第2物標位置を算出する第2物標位置算出部と、
    前記物標検出部によって検出された複数の物標の各々について、複数回の走行において前記第1物標位置算出部により算出された前記物標の前記第1物標位置に基づいて、同一物標に対する第1物標群を生成し、前記第1物標群内の前記物標の前記第1物標位置のばらつきを求め、前記複数の物標のうち前記ばらつきが所定の第1閾値以下である物標前記第1物標群から選択する第1物標群選択部と、
    前記第1物標群選択部により選択された前記第1物標群に含まれる物標の各々について、前記物標の前記第1物標位置の平均位置である第1平均位置を算出する第1物標群平均位置算出部と、
    前記第1物標群平均位置算出部で算出された前記第1平均位置に基づいて、同一の走行において前記センサを用いて検出された前記物標の各々について算出された前記第2物標位置の各々を補正する第2物標群位置補正部と、
    前記第2物標群位置補正部により補正された前記物標の前記第2物標位置の平均位置である第2平均位置を算出する第2物標群平均位置算出部と、
    前記第2物標群平均位置算出部で算出された第2平均位置を、前記第1物標群に含まれる物標各々の最終的な位置として出力する出力部と、
    を含む位置ずれ補正システム。
  2. 前記第2物標群位置補正部は、前記第1物標群に含まれる物標の前記第1平均位置と、同一の走行において前記センサを用いて検出された前記物標の各々の前記第2物標位置との対応付けを行い、前記物標の各々の前記第2物標位置を座標変換した結果と、前記物標の各々の前記第2物標位置と対応付けられた前記第1物標群に含まれる物標の前記第1平均位置の各々との位置ずれが最小となる第1座標変換行列を算出し、前記第1座標変換行列に基づいて、同一の走行において前記センサを用いて検出された前記物標の各々について算出された前記第2物標位置の各々を補正する
    請求項1記載の位置ずれ補正システム。
  3. 前記第2物標群位置補正部は、前記第1座標変換行列を算出し、前記第1座標変換行列に基づいて前記物標の前記第2物標位置を座標変換した結果と、前記物標の前記第2物標位置と対応付けられた前記第1物標群に含まれる物標の前記第1平均位置との位置ずれである残差が所定の第2閾値より大きい物標を、同一の走行において前記センサを用いて検出された前記物標から除外し、
    前記第1物標群に含まれる物標の前記第1平均位置と、同一の走行において前記センサを用いて検出された前記物標の各々の前記第2物標位置との対応付けを行い、前記位置ずれが最小となる第2座標変換行列を算出し、前記第2座標変換行列に基づいて、前記センサを用いて同時に検出された前記物標の各々について算出された前記第2物標位置の各々を補正する
    請求項2記載の位置ずれ補正システム。
  4. コンピュータを、
    車両に搭載された第1測位装置により検出された前記車両の世界座標系の位置である第1車両位置を取得する第1取得部、
    前記車両に搭載された第2測位装置により前記車両の位置の変化に基づいて検出された前記車両の世界座標系の位置である第2車両位置を取得する第2取得部、
    前記車両に搭載されたセンサを用いて検出された前記車両の周辺の物標の車両座標系における位置を取得する物標検出部、
    前記第1取得部が取得した前記第1車両位置と、前記第1車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第1物標位置を算出する第1物標位置算出部、
    前記第2取得部が取得した前記第2車両位置と、前記第2車両位置の検出に対応して前記物標検出部により取得された物標の位置とに基づいて、前記物標の世界座標系における位置である第2物標位置を算出する第2物標位置算出部、
    前記物標検出部によって検出された複数の物標の各々について、複数回の走行において前記第1物標位置算出部により算出された前記物標の前記第1物標位置に基づいて、同一物標に対する第1物標群を生成し、前記第1物標群内の前記物標の前記第1物標位置のばらつきを求め、前記複数の物標のうち前記ばらつきが所定の第1閾値以下である物標前記第1物標群から選択する第1物標群選択部、
    前記第1物標群選択部により選択された前記第1物標群に含まれる物標の各々について、前記物標の前記第1物標位置の平均位置である第1平均位置を算出する第1物標群平均位置算出部、
    前記第1物標群平均位置算出部で算出された前記第1平均位置に基づいて、同一の走行において前記センサを用いて検出された前記物標の各々について算出された前記第2物標位置の各々を補正する第2物標群位置補正部、
    前記第2物標群位置補正部により補正された前記物標の前記第2物標位置の平均位置である第2平均位置を算出する第2物標群平均位置算出部、及び
    前記第2物標群平均位置算出部で算出された第2平均位置を、前記第1物標群に含まれる物標各々の最終的な位置として出力する出力部、
    として機能させるためのプログラム。
JP2019100567A 2019-05-29 2019-05-29 位置ずれ補正システム及びプログラム Active JP7226714B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019100567A JP7226714B2 (ja) 2019-05-29 2019-05-29 位置ずれ補正システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019100567A JP7226714B2 (ja) 2019-05-29 2019-05-29 位置ずれ補正システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2020193907A JP2020193907A (ja) 2020-12-03
JP7226714B2 true JP7226714B2 (ja) 2023-02-21

Family

ID=73547687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019100567A Active JP7226714B2 (ja) 2019-05-29 2019-05-29 位置ずれ補正システム及びプログラム

Country Status (1)

Country Link
JP (1) JP7226714B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330908A (ja) 2005-05-24 2006-12-07 Toyota Motor Corp 位置記録装置及び位置記録方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330908A (ja) 2005-05-24 2006-12-07 Toyota Motor Corp 位置記録装置及び位置記録方法

Also Published As

Publication number Publication date
JP2020193907A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
JP6821712B2 (ja) 自然光景中での統合センサの較正
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
US10909395B2 (en) Object detection apparatus
TWI534764B (zh) 車輛定位裝置與方法
WO2008001493A1 (fr) Dispositif d'estimation de position pour véhicules, procédé d'estimation de position pour véhicules, et programme d'estimation de position pour véhicules
US10996072B2 (en) Systems and methods for updating a high-definition map
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2008002906A (ja) 測位装置
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
CN112284416B (zh) 一种自动驾驶定位信息校准装置、方法及存储介质
CN112883058A (zh) 用于车辆定位的标定方法、装置、设备、车辆和介质
JP7456857B2 (ja) 自己位置推定装置
US11287281B2 (en) Analysis of localization errors in a mobile object
TW202018256A (zh) 多定位系統切換與融合校正方法及其裝置
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
JP7226714B2 (ja) 位置ずれ補正システム及びプログラム
CN112424568A (zh) 构建高清地图的系统和方法
JP2020046411A (ja) データ構造、記憶装置、端末装置、サーバ装置、制御方法、プログラム及び記憶媒体
JP5455037B2 (ja) 画像から平面を検出する平面検出装置及び検出方法
JP2020046413A (ja) データ構造、記憶装置、端末装置、サーバ装置、制御方法、プログラム及び記憶媒体
WO2023037570A1 (ja) 車載処理装置、車両制御装置、及び自己位置推定方法
JP6907952B2 (ja) 自己位置補正装置及び自己位置補正方法
WO2023026962A1 (ja) 自律走行システム及び自律走行システムにおける方法
WO2023132147A1 (ja) 情報管理システム、センター、情報管理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230131

R150 Certificate of patent or registration of utility model

Ref document number: 7226714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150