JP2023541167A - マップマッチング方法、装置、電子機器および記憶媒体 - Google Patents

マップマッチング方法、装置、電子機器および記憶媒体 Download PDF

Info

Publication number
JP2023541167A
JP2023541167A JP2023516484A JP2023516484A JP2023541167A JP 2023541167 A JP2023541167 A JP 2023541167A JP 2023516484 A JP2023516484 A JP 2023516484A JP 2023516484 A JP2023516484 A JP 2023516484A JP 2023541167 A JP2023541167 A JP 2023541167A
Authority
JP
Japan
Prior art keywords
semantic
candidate
map
positioning information
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023516484A
Other languages
English (en)
Other versions
JP7542284B2 (ja
Inventor
瀟 何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Technologies Beijing Co Ltd
Original Assignee
Uisee Technologies Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Technologies Beijing Co Ltd filed Critical Uisee Technologies Beijing Co Ltd
Publication of JP2023541167A publication Critical patent/JP2023541167A/ja
Application granted granted Critical
Publication of JP7542284B2 publication Critical patent/JP7542284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3859Differential updating map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/387Organisation of map data, e.g. version management or database structures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Navigation (AREA)

Abstract

マップマッチング方法、装置、電子機器および記憶媒体である。この方法は、車両の初期測位情報および車両センサデータを取得するステップ(601)と、初期測位情報に基づいて、複数の候補測位情報を決定するステップ(602)と、車両センサデータに基づいて、複数の観察セマンティック特徴を決定するステップ(603)と、車両の初期測位情報に基づいて、複数のマップセマンティック特徴を含むローカルマップ情報を取得するステップ(604)と、各候補測位情報に対して、候補測位情報に基づいて、複数のマップセマンティック特徴を車両センサの座標系下で変換して、この座標系下の複数の候補マップセマンティック特徴を取得すること(6051)、および複数の観察セマンティック特徴と複数の候補マップセマンティック特徴をマッチングしてマッチングペアを取得すること(6052)を含むステップ(605)と、各候補測位情報に対応するマッチングペアに基づいて、車両の最適化候補測位情報および最適化候補測位情報に対応するマッチングペアを決定するステップ(606)と、を含む。この方法は、ベクトルセマンティックマップに適用され、ベクトルセマンティックマップのベクトル情報のみを利用して、観察特徴とマップ特徴のリアルタイムマッチングを実現し、付加のディスクリプタや強度などの付加データに依存することなく、記憶容量および演算能力の使用量を低減した上で、良好なマッチング効果を実現することができる。【選択図】図6

Description

本出願の実施例は、知的運転技術の分野に関し、具体的にマップマッチング方法、装置、電子機器および非一時コンピューター可読記憶媒体に関する。
<関連出願>
本出願は、2020年09月27日に中国特許庁に出願された、出願番号2020110314570、発明名称「マップマッチング方法、装置、電子機器および記憶媒体」の中国特許出願の優先権を主張し、そのすべての内容が参照によって本出願に組み込まれる。
アシスト運転や自律運転などの知的運転技術の分野では、車両の測位技術は重要な位置を占めている。現在、車両測位技術の主流は、視覚を利用したvslam(visual simultaneous localization and mapping、ビジュアルシンセティックローカライゼーションマッピング)技術およびレザーレーダーを利用したlslam(laser simultaneous localization and mapping、レーザースタイミングローカライゼーションマッピング)技術などを含み、これらの方法は通常事前に高密度のローカライズマップを作成し、マッチングのためのディスクリプタや強度などの情報を保存する必要があり、格納資源を大きく消費する。
特定のシナリオにおける堅牢度を向上させながら、ローカライズマップのサイズを小さくするために、ベクトルセマンティックマップに基づいて測位を行う測位方法がある。しかしながら、ベクトルマップのスパース性は、大幅なサイズ縮小を可能にする一方で、ディスクリプタなどの情報を持たないため、効率的で高精度なリアルタイムマッチングを実現する上で課題となっている。
上記の問題発見プロセスの説明は、本願発明の技術的解決手段を理解するための一助としてのみ意図されており、上記が先行技術であることを認めるものではない。
先行技術における問題の少なくとも1つを解決するために、本出願の少なくとも1つの実施例は、マップマッチング方法、装置、電子機器および非一時コンピューター可読記憶媒体を提供する。
第1側面では、本出願の実施例は、マップマッチング方法を提供し、前記方法は、
車両の初期測位情報および車両センサデータを取得するステップと、
前記初期測位情報に基づいて、複数の候補測位情報を決定するステップと、
前記車両センサデータに基づいて、複数の観察セマンティック特徴を決定するステップと、
前記初期測位情報に基づいて、複数のマップセマンティック特徴を含むローカルマップ情報を取得するステップと、
各前記候補測位情報に対して、
この候補測位情報に基づいて、前記複数のマップセマンティック特徴を前記車両センサの座標系下で変換し、この座標系下の複数の候補マップセマンティック特徴を取得すること、
前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングしてマッチングペアを得ることを含むステップと、
各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報および前記最適化候補測位情報に対応するマッチングペアを決定するステップと、を含む。
第2側面では、本出願の実施例はマップマッチング装置をさらに提供し、前記装置は、
車両の初期測位情報および車両センサデータを取得し、前記初期測位情報に基づいて、複数のマップセマンティック特徴を含むローカルマップ情報を取得するための取得ユニットと、
前記初期測位情報に基づいて、複数の候補測位情報を決定し、前記車両センサデータに基づいて、複数の観察セマンティック特徴を決定するための第1決定ユニットと、
各前記候補測位情報に対して、
この候補測位情報に基づいて、前記複数のマップセマンティック特徴を前記車両センサの座標系下で変換し、この座標系下の複数の候補マップセマンティック特徴を取得し、
前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングしてマッチングペアを取得するための照合ユニットと、
各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報と前記最適化候補測位情報に対応するマッチングペアを決定するための第2決定ユニットと、を備える。
第3側面では、本出願の実施例は、プロセッサとメモリを備え、前記プロセッサは前記メモリに記憶されたプログラムまたは指令を呼び出して、第1側面に記載の方法のステップを実行する電子機器をさらに提供する。
第4側面では、本出願の実施例は、コンピューターに第1側面に記載の方法のステップを実行させるプログラムまたは指令が記憶される、非一時コンピューター可読記憶媒体をさらに提供する。
以上のように、本出願の少なくとも1つの実施例では、車両センサデータに基づいて、複数の観察セマンティック特徴を決定し、車両の初期測位情報に基づいて、ローカルマップ情報(ローカルマップ情報は複数のマップセマンティック特徴を含む)を取得し、および複数の候補測位情報(初期測位情報を含む)を決定し、さらに、各候補測位情報に対して、観察セマンティック特徴と候補マップセマンティック特徴のマッチングを行ってマッチングペアを取得し、各候補測位情報に対応するマッチングペアに基づいて、車両の最適化候補測位情報と最適化候補測位情報に対応するマッチングペアを決定する。
本出願の実施例はベクトルセマンティックマップに適用され、ベクトルセマンティックマップのベクトル情報(例えばマップセマンティック特徴の情報)のみを用いて、観察特徴とマップ特徴のリアルタイムマッチングを実現し、付加のディスクリプタ、強度などの付加データに依存することなく、記憶容量および演算能力を低減した上で、良好なマッチング効果を実現することができる。また、本出願の実施例では、センサの種類に特別な要件がない(カメラ、レザーレーダーなどすべて適用可能)。
本出願の実施例の技術的解決策をより明確に説明するために、以下、実施例または従来技術の説明で使用される図面を簡単に説明するが、明らかに、以下で説明される図面は本出願のいくつかの実施例に過ぎず、当業者はこれらの図面に基づいて他の図面を得ることができる。
本出願の実施例が提供するマッチング問題の例示的なシナリオ図である。 本出願の実施例が提供する知的運転車両の例示的な構造図である。 本出願の実施例が提供する知的運転システムの例示的なブロック図である。 本出願の実施例が提供するマップマッチング装置の例示的なブロック図である。 本出願の実施例が提供する電子機器の例示的なブロック図である。 本出願の実施例が提供するマップマッチング方法の例示的なフローチャートである。 本出願の実施例が提供するセマンティック-ユークリッド距離行列の一例を示す図である。 図7に示すセマンティック-ユークリッド距離行列に基づいて決定された距離ランキング行列の一例を示す図である。 図8に示す距離ランキング行列を更新した後得られた行列の一例を示す図である。
本出願の上記目的、特徴および利点をより明確に説明するために、以下、図面および実施例を参照しながら本出願をさらに詳細に説明する。なお、説明される実施例は本出願の一部の実施例に過ぎず、すべての実施例ではないことに理解されたい。ここで説明される具体的な実施例は、本出願を解釈するもので、本出願を限定するものではない。当業者は、説明される本出願の実施例に基づいて得られた他の実施例は、すべて本出願の保護範囲に含まれる。
なお、本明細書では、「第1」や「第2」などの関係用語は、ある実体または操作を別の実体または操作特別するためにのみ使用され、これらの実体または操作間にそのような実際の関係または順序が存在することを必ずしも要求したりまたは暗示したりしないことに留意されたい。
知的運転過程でマップマッチングをリアルタイムで行うために、本出願の実施例では、図1と併せてマッチング問題を以下のように説明する。
図1では、集合M{m1,m2}と集合M’{m’1,m’2}を設定し、最小距離の制約下で、M中の要素に対してできるだけ多くのマッチング要素をM’から見つけ、マッチングペアを形成し、各マッチングペアはM中の1つの要素およびM’中の1つの要素を含む。
図1では、(m1,m’2)、(m2,m’1)という2つのマッチングペアがあり、当然のことながら、最小距離の制約により、m1とm’2間の距離はm1とm’1間の距離よりも小さく、同様に、m2とm’1間の距離はm2とm’2間の距離よりも小さい。
マッチング問題の上記説明に基づき、マップマッチングに適用すると、集合Mは観察特徴の集合、集合M’はマップ特徴の集合として理解することができる。いくつかの実施例では、観察特徴はリアルタイム観察特徴であり得、観察特徴やマップ特徴はいずれもセマンティック特徴であり、すなわち観察特徴は観察セマンティック特徴であり、マップ特徴はマップセマンティック特徴である。
観察セマンティック特徴は、車両センサデータに基づいて決定された測位用のターゲットの観察セマンティック特徴として理解することができ、例えば、車両センサデータは画像データであり、ターゲット検出アルゴリズムによって画像データを処理することで、画像に含まれるターゲットの種類および位置を決定し、前記ターゲットは観察セマンティック特徴として理解することができる。例えば、画像は車線、交通標識(例えば直進、左折、右折など)、交通信号(信号機)、交通標識板などを含み、すべて測位用のターゲットの観察セマンティック特徴である。
マップセマンティック特徴は、マップ(例えばベクトルマップ)に含まれる測位用のターゲットのセマンティック特徴として理解することができ、例えばマップ中の車線、交通標識、交通信号、交通標識板などすべて測位用のターゲットのマップセマンティック特徴である。いくつかの実施例では、マップからマップセマンティック特徴を容易に取得するために、マップがマップセマンティック特徴の情報を含むように、マップを前処理することができ、例えばマップはマップセマンティック特徴のセマンティックラベルおよび位置などのマップセマンティック特徴に関連する情報を含み、マップを取得する同時にマップからマップセマンティック特徴の情報を取得することができる。
マップマッチングでは、ある制約条件に従って最も多いのマッチングペアを見つけ、さらに異なるの観察特徴それぞれに対応するマップ特徴を決定し、後の車両測位の基礎を提供する。なお、マップマッチングでは、制約条件は最小距離の制約のみならず他の制約条件も含み、これらの制約条件はマッチングペアの決定を共に決定し、制約条件に含まれる内容は以下で詳細に説明される。
したがって、本出願の実施例はマップマッチング方法を提供し、車両センサデータに基づいて、複数の観察セマンティック特徴を決定し、車両の初期測位情報に基づいて、ローカルマップ情報(ローカルマップ情報は複数のマップセマンティック特徴を含む)および複数の候補測位情報(初期測位情報を含む)を取得し、さらに各候補測位情報に対して、観察セマンティック特徴と候補マップセマンティック特徴のマッチングを行って、マッチングペアを取得し、各候補測位情報に対応するマッチングペアに基づいて、車両の最適化候補測位情報および最適化候補測位情報に対応するマッチングペアを決定する。
本出願の実施例はベクトルセマンティックマップに適用可能であり、ベクトルセマンティックマップのベクトル情報(例えばマップセマンティック特徴の情報)のみを用いて、観察特徴とマップ特徴のリアルタイムマッチングを実現し、付加のディスクリプタ、強度などの付加データに依存することなく、記憶容量および演算能力を低減した上で、良好なマッチング効果を実現する。また、本出願の実施例では、センサの種類に特別な要件がない(カメラ、レザーレーダーなどがすべて適用可能)。
いくつかの実施例では、マップセマンティック特徴と観察セマンティック特徴間のセマンティック-ユークリッド距離を決定し、さらに距離行列を決定して、距離行列に基づいてベクトルセマンティックマップマッチングを実現することができる。いくつかの実施例では、距離行列に基づくマッチング方法はメトリック距離を定義することができる様々なマッチングシナリオに幅広く適用可能である。
本出願の実施例は、知的運転車両や電子機器に適用可能である。前記知的運転車両は異なるクラスの知的運転システムを搭載した車両であり、知的運転システムは例えば、ドライバーレスシステム、アシスト運転システム、運転アシストシステム、高度自律運転システム、完全自律運転車両などが挙げられる。前記電子機器に知的運転システムが取り付けられ、例えば電子機器は、知的運転アルゴリズムのテストに適用可能であり、例えば、電子機器は車載装置であり得、いくつかの実施例では、電子機器は他の分野で適用可能である。なお、本出願の実施例の適用シナリオは本出願のいくつかの例示または実施例に過ぎず、当業者は、創造的な労働をすることなく、本出願を他の同様のシナリオに適用することが可能であることを理解されたい。以下、より明確かつ一義的に説明するために、本出願の実施例では、知的運転車両を例として、マップマッチング方法、マップマッチング装置、電子機器または非一時コンピューター可読記憶媒体を説明する。
図2は、本出願の実施例が提供する知的運転車両の例示的な構造図である。図2に示すように、知的運転車両は、センサセット、知的運転システム200、車両基礎作動システムおよび車両駆動および車両運転制御用のコンポーネント、例えばブレーキペダル、ステアリングホイールおよびアクセルペダルを含む。
センサセットは、車両外部環境のデータおよび車両位置の検出データを収集するために使用される。センサセットは例えばカメラ、レザーレーダー、ミリ波レーダー、超音波レーダー、GPS(Global Positioning System、全地球測位システム)およびIMU(Inertial Measurement Unit、慣性計測ユニット)中の少なくとも1つを含むが、これらに限定されない。
いくつかの実施例では、センサセットは、車両の動力学的データを収集するためにも使用され、センサセットは例えば車輪速度センサ、速度センサ、加速度センサ、ハンドルコーナリングセンサ、前輪コーナリングセンサ中の少なくとも1つを含むが、これらに限定されない。
知的運転システム200は、センサセットのセンシングデータを取得するために使用され、ここで、前記センシングデータは、画像、ビデオ、レザー点群、ミリ波、GPS情報、車両状態などを含むが、これらに限定されない。いくつかの実施例では、知的運転システム200は、前記センシングデータに基づいて環境センシングおよび車両測位を行い、センシング情報および車両姿勢を生成し、知的運転システム200は前記センシング情報および車両姿勢に基づいて計画および決定を行い、計画および決定情報を生成し、知的運転システム200は計画および決定情報に基づいて車両制御指令を生成し、車両基礎作動システムに送信する。
いくつかの実施例では、知的運転システム200は、ソフトウェアシステム、ハードウェアシステムまたはソフトウェア・ハードウェアの組み合わせたシステムであってもよい。例えば、知的運転システム200はオペレーティングシステム上で動作するソフトウェアシステムであり、車載ハードウェアシステムはオペレーティングシステムの動作をサポートするためのハードウェアシステムである。
いくつかの実施例では、知的運転システム200はクラウドサーバーと対話する。いくつかの実施例では、知的運転システム200はクラウドサーバーと無線通信ネットワーク(例えばGPRSネットワーク、Zigbeeネットワーク、Wifiネットワーク、3Gネットワーク、4Gネットワーク、5Gネットワークなどの無線通信ネットワークを含むが、これらに限定されない)を介して対話する。
いくつかの実施例では、クラウドサーバーは車両と対話するために使用される。ここで、前記クラウドサーバーは、車両に環境情報、測位情報、制御情報および車両知的運転過程に必要な他の情報を送信する。いくつかの実施例では、前記クラウドサーバーは車側からのセンシングデータ、車両状態情報、車両走行情報および車両要求の関連情報を受信するために使用される。いくつかの実施例では、クラウドサーバーはユーザ設定または車両要求に応じて前記車両を遠隔制御することができる。いくつかの実施例では、クラウドサーバーは単一のサーバーであってもよいし、サーバークラスタであってもよい。サーバークラスタは集中型でも分散型であってもよい。いくつかの実施例では、クラウドサーバーはローカルまたは遠隔であってもよい。
車両基礎作動システムは、車両制御指令を受信し、前記車両制御指令に基づいて車両走行を制御するために使用される。いくつかの実施例では、車両基礎作動システムは、ステアリングシステム、ブレーキシステムおよび駆動システムを含むが、これらに限定されない。いくつかの実施例では、前記車両基礎作動システムは、車両制御指令を解析し、ステアリングシステム、ブレーキシステムおよび駆動システムなどの対応のシステムにそれぞれ送信するための基礎コントローラーをさらに含む。
いくつかの実施例では、知的運転車両は、図1で示されていない車両CANバスをさらに含み、車両CANバスは車両基礎作動システムを接続するために使用される。知的運転システム200と車両基礎作動システム間の情報対話は車両CANバスを介して転送される。
図3は、本出願の実施例が提供する知的運転システム300の一例を示すブロック図である。いくつかの実施例では、知的運転システム300は、車両走行を制御するために、図2中の知的運転システム200または知的運転システム200の一部として実装される。
図3に示すように、知的運転システム300は、例えば、センシングモジュール301、計画モジュール302、制御モジュール303、マップマッチングモジュール304および他の知的運転用のモジュールなどの複数のモジュールに分割される。
センシングモジュール301は、環境センシングと測位のために使用される。いくつかの実施例では、センシングモジュール301はセンサデータ、V2X(Vehicle to X、車載無線通信)データ、高精度マップなどのデータを取得し、以上の少なくとも1つのデータに基づいて環境センシングと測位を行って、センシング情報および測位情報を生成するために使用される。ここで、センシング情報は、障害物情報、道路標識/マーク、歩行者/車両情報、走行可能領域中の少なくとも1つを含むが、これらに限定されない。測位情報は車両姿勢を含む。
計画モジュール302は、経路計画および決定のために使用される。いくつかの実施例では、計画モジュール302は、センシングモジュール301で生成されたセンシング情報および測位情報に基づいて、計画および決定情報を生成する。いくつかの実施例では、計画モジュール202は、V2Xデータ、高精度マップなどのデータ中の少なくとも1つを組み合わせて、計画および決定情報を生成してもよい。ここで、計画情報は、計画経路などを含むが、これに限定されなく、決定情報は挙動(例えば追従、追い越し、停車、迂回などを含むが、これらに限定されない)、車両方位、車両速度、車両の所望加速度、所望のハンドルコーナリングなどの少なくとも1つを含むが、これらに限定されない。
制御モジュール303は、計画および決定情報に基づいて車両基礎作動システムの制御指令を生成し、制御指令を送信して、車両基礎作動システムに車両走行を制御させるために使用される。ここで、制御指令は、ステアリングホイールステアリング、横方向制御指令、縦方向制御指令などを含むが、これらに限定されない。
マップマッチングモジュール304は、車両センサデータに基づいて、複数の観察セマンティック特徴を決定し、車両の初期測位情報に基づいて、ローカルマップ情報(ローカルマップ情報は複数のマップセマンティック特徴を含む)および複数の候補測位情報(初期測位情報を含む)を取得し、さらに各候補測位情報に対して、観察セマンティック特徴と候補マップセマンティック特徴のマッチングを行って、マッチングペアを得、各候補測位情報に対応するマッチングペアに基づいて、車両の最適化候補測位情報および最適化候補測位情報に対応するマッチングペアを決定するために使用される。
いくつかの実施例では、マップマッチングモジュール304の機能はセンシングモジュール301、計画モジュール302または制御モジュール303に統合されてもよく、知的運転システム300とは独立したモジュールとして構成されてもよく、マップマッチングモジュール304はソフトウェアモジュール、ハードウェアモジュールまたはソフトウェア・ハードウェア結合のモジュールであってもよい。例えば、マップマッチングモジュール304はオペレーティングシステム上で動作するソフトウェアモジュールであり、車載ハードウェアシステムはオペレーティングシステムの動作をサポートするハードウェアシステムである。
図4は、本出願の実施例が提供するマップマッチング装置400の一例を示すブロック図である。いくつかの実施例では、マップマッチング装置400は、図3中のマップマッチングモジュール304またはマップマッチングモジュール304の一部として実装され得る。
図4に示すように、マップマッチング装置400は、取得ユニット401、第1決定ユニット402、照合ユニット403および第2決定ユニット404を含むが、これらに限定されない。
取得ユニット401
取得ユニット401は、車両の関連情報を取得するために使用され、関連情報は例えば初期測位情報および車両センサデータなどの車両に直接または間接に関連する情報を含む。ここで、初期測位情報は、車両外部の先験的情報であってもよいし、第2決定ユニット404によって推定されもよく、車両センサデータは車両に搭載したセンサとデータ対話を介して取得することができる。
いくつかの実施例では、取得ユニット404は、初期測位情報に基づいて、ローカルマップ情報を取得することができる。いくつかの実施例では、取得ユニット404は、初期測位情報に基づいて、予め構築したベクトルセマンティックマップ中のローカルマップ情報を取得し、ローカルマップ情報はベクトルセマンティックマップの一部である。いくつかの実施例では、取得ユニット404は、初期測位情報に基づいて、高速最近傍などのアルゴリズムでベクトルセマンティックマップをインデックスしてローカルマップ情報を取得することができる。
予め構築したベクトルセマンティックマップは、マップセマンティック特徴の情報を含み、例えばマップ中の車線、交通標識、交通信号、交通標識板などはすべてマップセマンティック特徴である。マップセマンティック特徴の情報は、例えばマップセマンティック特徴のセマンティックラベルおよび位置などのマップセマンティック特徴に関連する情報を含む。
本実施例では、取得ユニット404はローカルマップ情報を取得する同時に、ローカルマップ情報からマップセマンティック特徴の情報を得ることができ、すなわち、ローカルマップ情報に含まれる複数のマップセマンティック特徴を得ることができる。
第1決定ユニット402
第1決定ユニット402は、初期測位情報に基づいて、複数の候補測位情報を決定するために使用され、これらの複数の候補挙動情報は初期測位情報を含む。本実施例では、初期測位情報は一般に大きな誤差がある同時に、マップセマンティック特徴は強いスパース性を有するため、初期測位情報をそのまま使用してマップマッチングすると、マッチング精度が低く、または有効マッチング特徴が少ない不具合が発生し、このため、複数の候補測位情報を決定することにより、後のマップマッチングの精度を向上させたり、有効マッチング特徴の数を増やしたりすることができる。
いくつかの実施例では、第1決定ユニット402は、初期測位情報の一定範囲内の空間に対して離散的なランダムサンプリングを行い、複数の候補測位情報を取得することができる。いくつかの実施例では、第1決定ユニット402は、モンテカルロ・ランダム・サンプリングにより、初期測位情報の一定空間範囲r内で一定の確率分布で初期測位情報を含むn個の候補測位情報を生成する。ここで、空間範囲rと候補測位情報の数nは両方とも初期測位情報の不確かさに関係し、初期測位情報の不確かさが高いほど、rとnの値が一般に大きくなる。
いくつかの実施例では、第1決定ユニット402は、車両センサデータに基づいて、複数の観察セマンティック特徴を決定することができ、これらの複数の観察セマンティック特徴はリアルタイム観察セマンティック特徴である。例えば、車両センサデータは画像データであり、第1決定ユニット402はターゲット検出アルゴリズムで画像データを処理して、画像に含まれるターゲットの種類および位置を決定し、前記ターゲットは観察セマンティック特徴として理解することができる。例を挙げると、画像に含まれる車線、交通標識(例えば直進、左折、右折など)、交通信号(すなわち信号機)、交通標識板などはすべて観察セマンティック特徴である。なお、上記のセンサデータの例は説明のみに使用され、本出願を限定するものではなく、実際の適用では、前記センサデータから観察セマンティック特徴を識別できれば、前記車両センサデータは任意であり得る(例えば、レザーレーダーデータ)。
照合ユニット403
照合ユニット403は、各候補測位情報に対して、マップマッチングを行うために使用される。いくつかの実施例では、照合ユニット403は各候補測位情報に対して、この候補測位情報に基づいて、複数のマップセマンティック特徴を車両センサの座標系下で変換して、この座標系下の複数の候補マップセマンティック特徴を得、さらに複数の観察セマンティック特徴と複数の候補マップセマンティック特徴をマッチングして、マッチングペアを得る。いくつかの実施例では、照合ユニット403は複数の観察セマンティック特徴を同一の車両センサの座標系下で変換し、さらに同一車両センサの座標系下で変換した複数の観察セマンティック特徴と複数の候補マップセマンティック特徴をマッチングして、マッチングペアを得る。
いくつかの実施例では、照合ユニット403は各候補マップセマンティック特徴に対して観察可能性フィルタリングを行い、すなわち候補マップセマンティック特徴が前記車両センサの不感帯内にあるかどうかを判定し、そうであると、この候補マップセマンティック特徴は観察セマンティック特徴によってマッチングされず、除去して後のマッチングに参加しないと判定する。
具体的に、照合ユニット403は各候補測位情報に対して、この候補測位情報に基づいて、複数のマップセマンティック特徴を車両センサの座標系下で変換して、この座標系下の複数の候補マップセマンティック特徴を得た後、前記車両センサの不感帯内の候補マップセマンティック特徴を除去し、さらに観察セマンティック特徴と残りの候補マップセマンティック特徴をマッチングしてマッチングペアを得る。
いくつかの実施例では、マップマッチングの精度を向上させたり、有効マッチング特徴の数を増やしたりするために、本実施例ではマッチングペアが以下の条件1~条件4を満たすことを明確にする。
条件1:候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴は一対一で対応する。すなわち、1つの候補マップセマンティック特徴は1つの観察セマンティック特徴にしかマッチングせず、1つの観察セマンティック特徴は1つの候補マップセマンティック特徴にしかマッチングしない。
条件2:候補マップセマンティック特徴のセマンティックラベルとそれにマッチングする観察セマンティック特徴のセマンティックラベルは同じである。
条件3:候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴間のセマンティック-ユークリッド距離がユークリッド距離閾値以下であり、前記セマンティック-ユークリッド距離は、1つの候補マップセマンティック特徴と1つの観察セマンティック特徴の類似程度を特徴付けるために使用され、前記ユークリッド距離閾値は、前記候補マップセマンティック特徴と候補測位情報間のユークリッド距離に逆相関する。ここで、候補マップセマンティック特徴と候補測位情報間のユークリッド距離は、候補マップセマンティック特徴に対応する位置(座標値)と候補測位情報(座標値)間のユークリッド距離として理解することができる。
いくつかの実施例では、ユークリッド距離閾値は以下の式によって決定され、
ここで、thはユークリッド距離閾値であり、thは設定された固定の先験的閾値であり、tは候補マップセマンティック特徴と候補測位情報間のユークリッド距離であり、f(t)はtに逆相関するマッピング関数である。候補マップセマンティック特徴と候補測位情報間のユークリッド距離tが大きいほど(すなわち候補マップセマンティック特徴が候補測位情報から遠いほど)、マッチングエラーを起こしやすいため、ユークリッド距離閾値thを小さくすることで正しいマッチングの可能性を向上させることができる。
条件4:候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴間のセマンティック-ユークリッド距離は、前記候補マップセマンティック特徴に対応するすべてのセマンティック-ユークリッド距離の中で最小であり、前記観察セマンティック特徴に対応するすべてのセマンティック-ユークリッド距離の中で最小である。いくつかの実施例では、この候補マップセマンティック特徴と各観察セマンティック特徴に基づいて1つのセマンティック-ユークリッド距離を算出する。いくつかの実施例では、あるセマンティック-ユークリッド距離は、この候補セマンティック特徴に対応する複数のセマンティック-ユークリッド距離の中で最小であり、しかし、観察セマンティック特徴に対応する複数のセマンティック-ユークリッド距離の中で最小ではないと、両者がマッチングペアではない。
いくつかの実施例では、マッチングペアは以下の条件5をさらに満たす。
条件5:候補マップセマンティック特徴が上位セマンティック特徴を有すると、前記候補マップセマンティック特徴の上位セマンティック特徴のセマンティックラベルとそれにマッチングする観察セマンティック特徴の上位セマンティック特徴のセマンティックラベルは同じである。いくつかの実施例では、前記候補マップセマンティック特徴の上位セマンティック特徴とそれにマッチングする観察セマンティック特徴の上位セマンティック特徴間のセマンティック-ユークリッド距離は、前記ユークリッド距離閾値以下である。
いくつかの実施例では、上位セマンティック特徴は、測位用のターゲットの全体的な情報を特徴付け、下位セマンティック特徴は、測位用のターゲットのローカルまたは終点を特徴付ける。例えば、上位セマンティック特徴は車線であり、下位セマンティック特徴は車線の終点である。
条件5を設定する目的は、マッチングエラーの確率を低減することであり、例えば、ある車線の終点と他の車線終点が一致するような事態の確率を低減する。
なお、現在のマッチングアルゴリズムには、最近傍マッチングやブルートフォースマッチングなどは、上記の条件1~条件5を満たさないものである。
いくつかの実施例では、照合ユニット403は、任意の候補マップセマンティック特徴と任意の観察セマンティック特徴のセマンティック-ユークリッド距離を以下の方法で決定し、
この観察セマンティック特徴のセマンティックラベルとこの候補マップセマンティック特徴のセマンティックラベルが異なると、前記セマンティック-ユークリッド距離は無効値INFであり、
この観察セマンティック特徴のセマンティックラベルとこの候補マップセマンティック特徴のセマンティックラベルは同じであると、
この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離およびユークリッド距離閾値を決定し、
この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離は前記ユークリッド距離閾値以下であると、前記セマンティック-ユークリッド距離はこの観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離であり、
この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離は前記ユークリッド距離閾値よりも大きいと、前記セマンティック-ユークリッド距離は無効値INFである。
いくつかの実施例では、セマンティック-ユークリッド距離は以下の式によって決定され、
ここで、dはセマンティック-ユークリッド距離であり、INFは無限に大きな値(すなわち無効値)であり、thはユークリッド距離閾値であり、de=f(m、m’)、f(m、m’)はユークリッド距離計算関数であり、その具体形はm、m’の幾何形態、例えば点と点の距離メトリック、線と線の距離メトリックによって異なるが、1つのオイラー距離値が得られ、mは観察セマンティック特徴であり、m’は候補マップセマンティック特徴であり、labelは観察セマンティック特徴のセマンティックラベルであり、label’は候補マップセマンティック特徴のセマンティックラベルである。
いくつかの実施例では、条件5を満たすために、観察セマンティック特徴のセマンティックラベルと候補マップセマンティック特徴のセマンティックラベルが同じであり、かつ前記観察セマンティック特徴または前記候補マップセマンティック特徴が上位セマンティック特徴を有することが観察されると、前記観察セマンティック特徴の上位セマンティック特徴のセマンティックラベルと前記候補マップセマンティック特徴の上位セマンティック特徴のセマンティックラベルが同じであるかどうかを判定し、異なると、前記観察セマンティック特徴と前記マップセマンティック特徴間のセマンティック-ユークリッド距離が無効値INFであると判定する。
いくつかの実施例では、照合ユニット403は複数の観察セマンティック特徴と複数の候補マップセマンティック特徴から構成されるセマンティック-ユークリッド距離行列を決定する。図7に示すセマンティック-ユークリッド距離行列において、m1、m2、m3、m4およびm5は観察セマンティック特徴であり、m’1、m’2、m’3、m’4およびm’5は候補マップセマンティック特徴である。図7では、m1とm’1間のセマンティック-ユークリッド距離は0.5、m1とm’2間のセマンティック-ユークリッド距離はINFであり、m1とm’3間のセマンティック-ユークリッド距離は0.1であり、これにより、図7に示すセマンティック-ユークリッド距離行列中の各要素はセマンティック-ユークリッド距離を表す。いくつかの実施例では、図7に示すセマンティック-ユークリッド距離行列に無効値INFがあるため、セマンティック-ユークリッド距離行列はスパース行列であり、無効値INFを記憶する必要がなく、有効値のみを記憶し、さらにその後のマッチング効率が向上する。
いくつかの実施例では、照合ユニット403はセマンティック-ユークリッド距離行列に基づいて、距離ランキング行列を決定し、前記距離ランキング行列中の各要素はバイナリグループであり、前記バイナリグループはセマンティック-ユークリッド距離が位置する行および列のランキングを表し、距離が小さいほど、ランキング値が小さくなり、ランキング値1が最も近い距離であることを示す。図8に示す距離ランキング行列は図7に示すセマンティック-ユークリッド距離行列に基づいて決定された距離ランキング行列である。例えば、図7では、m1とm’1間のセマンティック-ユークリッド距離が位置する行および列のランキングはそれぞれ1と3であるため、図8では、m1とm’1の対応する要素の値は(1、3)である。
いくつかの実施例では、照合ユニット403は、距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴をマッチングペアとして決定することができる。例えば、図8では、m1とm’3をマッチングペア、m5とm’5をマッチングペアとして決定する。
いくつかの実施例では、照合ユニット403は、距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴をマッチングペアとして決定した後、前記バイナリグループ(1,1)に対応する行および列のすべての要素を無効値INFに修正し、距離ランキング行列を更新する。
図9は、図8に示す距離ランキング行列を更新した後得られた行列の一例を示す図。条件1を満たすために、図8中のバイナリグループ(1,1)に対応する行および列のすべての要素を無効値INFに修正し、INFに修正した要素によって同じ行列の要素の値が変わり、図9のような新しい行列を形成する。なお、無効値INFへの修正は距離ランキング行列を更新する際の中間操作に過ぎず、セマンティック-ユークリッド距離が無効値INFであることを意味するものではない。
いくつかの実施例では、照合ユニット403は更新後の距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴とマップセマンティック特徴をマッチングペアとして決定することができる。例えば、図9では、m3とm’2、m4とm’4をマッチングペアとして決定する。
照合ユニット403は、距離ランキング行列を繰り返して更新し、更新後の距離ランキング行列にバイナリグループ(1,1)がなくなるまで、マッチングペアを決定する。
いくつかの実施例では、任意のマッチングシナリオにおいて、メトリック距離が定義されていれば、距離行列を構成することができ、さらにマッチングしてマッチング結果を得ることができるので、本出願の実施例が提出する距離行列に基づくマッチング方法は幅広い適用性を有する。
第2決定ユニット404
第2決定ユニット404は、各候補測位情報に対応するマッチングペアに基づいて、車両の最適化候補測位情報および最適化候補測位情報に対応するマッチングペアを決定するために使用される。いくつかの実施例では、最適化候補測位情報は初期測位情報として使用され、リアルタイムで取得した観察セマンティック特徴をマップマッチングする。
いくつかの実施例では、第2決定ユニット404は、マッチングペアの数が最も多い候補測位情報を車両の最適化候補測位情報として選択する。
いくつかの実施例では、第2決定ユニット404は異なる候補マップセマンティック特徴の車両測位に対する先験的貢献度と各候補測位情報に対応するマッチングペアに基づいて、各候補測位情報の評価値を決定することができる。ここで、例えば、道路標識などの非地上特徴よりも車両測位に対する貢献度が大きい地上のセマンティック特徴、例えば車線などの先験的貢献度は事前に設定されてもよいので、車線の先験的貢献度が道路標識の先験的貢献度よりも高く設定することができる。
いくつかの実施例では、候補測位情報の評価値は以下の式によって決定され、
ここで、scoreは候補測位情報の評価値であり、λとλは先験的割当重みであり、本実施例は具体的な値に限定されなく、cはi番目的マッチングペア中の候補マップセマンティック特徴の車両測位に対する先験的貢献度であり、dはi番目的マッチングペアのセマンティック-ユークリッド距離であり、f(d)はdに逆相関するマッピング関数であり、dが小さいほど、f(d)が大きくなる。
いくつかの実施例では、第2決定ユニット404は、評価値が最も高い候補測位情報を車両の最適化候補測位情報として選択することができる。
いくつかの実施例では、第2決定ユニット404は評価値が最も高い候補測位情報を選択した後、最も高い評価値が評価値の閾値未満であるかどうかを判定し、未満であると、マップマッチングが失敗したと決定する。ここで、評価値の閾値は先験的値、すなわち事前に決定された値であり、本実施例では具体的な値に限定されなく、当業者は実際のニーズに応じて設定すればよい。
いくつかの実施例では、マップマッチング装置400中の各ユニットの分割は論理的な機能分割に過ぎず、実際には別の分割であり得、例えば取得ユニット401、第1決定ユニット402、照合ユニット403および第2決定ユニット404中の少なくとも2つのユニットを1つのユニットとして実現でき、取得ユニット401、第1決定ユニット402、照合ユニット403または第2決定ユニット404は複数のサブユニットに分割してもよい。なお、各ユニットまたはサブユニットは電子ハードウェア、またはコンピューターソフトウェアと電子ハードウェアの組み合わせで実現できることを理解されたい。これらの機能はハードウェアで実現するか、ソフトウェアで実現するかは、技術的解決策の特定の用途および設計上の制約に依存する。当業者は各特定の適用シナリオごとに説明した機能を実現する異なる方法を使用することができる。
図5は本出願の実施例が提供する電子機器の構造を示す模式図である。
図5に示すように、電子機器は、少なくとも1つのプロセッサ501、少なくとも1つのメモリ502および少なくとも1つの通信インタフェース503を含む。電子機器中の各コンポーネントはバスシステム504を介して結合される。通信インタフェース503は、外部機器との情報転送のために使用される。なお、バスシステム504はこれらのコンポーネント間の接続および通信を実現するために使用される。バスシステム504はデータバスに加えて、電源バス、制御バスおよび状態信号バスも含む。説明を明らかにするために、図5では様々なバスを一緒にバスシステム504と表記する。
なお、本実施例中のメモリ502は揮発性メモリであっても不揮発性メモリであってもよく、または揮発性と不揮発性メモリ両者を含んでもよい。
いくつかの実施形態では、メモリ502は、実行可能ユニットまたはデータ構造、またはそれらのサブセット、またはオペレーティングシステムおよびアプリケーションプログラムなどのそれらの拡張セットを記憶する。
ここで、オペレーティングシステムは、各種のシステムプログラム、例えばフレームワーク層、コアライブラリ層、ドライバーなど、様々な基本的なタスクおよびハードウェアベースの処理タスクを含む。アプリケーションプログラムは、各種のアプリケーションプログラム、各種アプリケーションタスクを実現するためのメディアプレイヤー(Media Player)、ブラウザー(Browser)などを含む。本出願の実施例が提供するマップマッチング方法を実現するプログラムは、アプリケーションプログラムに含まれてもよい。
本出願の実施例では、プロセッサ501はメモリ502に記憶されたプログラムまたは指令、具体的に、アプリケーションプログラム中に記憶されたプログラムまたは指令を呼び出し、プロセッサ501は、本出願の実施例が提供するマップマッチング方法の各実施例のステップを実行するために使用される。
本出願の実施例が提供するマップマッチング方法はプロセッサ501において適用され、またはプロセッサ501によって実現され得る。プロセッサ501は、信号処理能力を有する集積回路チップであってもよい。実現過程で、上記方法の各ステップはプロセッサ501中のハードウェアの集積論理回路またはソフトウェア形の指令によって達成され得る。上記のプロセッサ501は、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor、DSP)、専用集積回路(Application Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサはマイクプロセッサまたは通常の任意プロセッサなどであってもよい。
本出願の実施例が提供するマップマッチング方法のステップは、ハードウェア復号化プロセッサによって実行されるように直接具体化してもよいし、復号化プロセッサ中のハードウェアとソフトウェアユニットの組み合わせによって実行されるように具体化してもよい。ソフトウェアユニットはランダムメモリ、フラッシュメモリ、リードオンリーメモリ、プログラマブルリードオンリーメモリまたは電器消去可能なプログラマブルメモリ、レジスタなどの本分野で成熟した記憶媒体に配置されることができる。この記憶媒体はメモリ502に配置され、プロセッサ501はメモリ502中の情報を読み出して、そのハードウェアと組み合わせて方法のステップを完了させる。
図6は、本出願の実施例が提供するマップマッチング方法の一例を示すフローチャートである。この方法の実行主体は電子機器であり、いくつかの実施例では、この方法の実行主体は車載機器によってサポートされる知的運転システムであってもよい。説明の便宜上、以下の実施例では電子機器を実行主体としてマップマッチング方法のフローを説明する。
図6に示すように、ステップ601では、電子機器は車両の初期測位情報および車両センサデータを取得する。
ステップ602では、電子機器は前記初期測位情報に基づいて、複数の候補測位情報を決定する。
ステップ603では、電子機器は前記車両センサデータに基づいて、複数の観察セマンティック特徴を決定する。
ステップ604では、電子機器は前記初期測位情報に基づいて、ローカルマップ情報を取得し、前記ローカルマップ情報は複数のマップセマンティック特徴を含む。
ステップ605では、電子機器は、各前記候補測位情報に対して、
6051、この候補測位情報に基づいて、前記複数のマップセマンティック特徴を前記車両センサの座標系下で変換し、この座標系下の複数の候補マップセマンティック特徴を得、
6052、前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングしてマッチングペアを得る。
ステップ606では、電子機器は、各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報と前記最適化候補測位情報に対応するマッチングペアを決定する。
いくつかの実施例では、前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングする前に、前記方法は、
前記車両センサの不感帯内の候補マップセマンティック特徴を除去するステップをさらに含む。
いくつかの実施例では、前記マッチングペアは以下の条件1~4を満たし、
条件1:候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴は一対一で対応する。
条件2:候補マップセマンティック特徴のセマンティックラベルとそれにマッチングする観察セマンティック特徴のセマンティックラベルは同じである。
条件3:候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴間のセマンティック-ユークリッド距離がユークリッド距離閾値以下であり、前記セマンティック-ユークリッド距離は、1つの候補マップセマンティック特徴と1つの観察セマンティック特徴の類似程度を特徴付け、前記ユークリッド距離閾値は、前記候補マップセマンティック特徴と候補測位情報間のユークリッド距離に逆相関する。
条件4:候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴間のセマンティック-ユークリッド距離は、前記候補マップセマンティック特徴に対応するすべてのセマンティック-ユークリッド距離の中で最小であり、前記観察セマンティック特徴に対応するすべてのセマンティック-ユークリッド距離の中で最小である。
いくつかの実施例では、前記マッチングペアはさらに以下の条件5を満たし、
条件5:候補マップセマンティック特徴が上位セマンティック特徴を有すると、前記候補マップセマンティック特徴の上位セマンティック特徴のセマンティックラベルとそれにマッチングする観察セマンティック特徴の上位セマンティック特徴のセマンティックラベルは同じである。
いくつかの実施例では、前記候補マップセマンティック特徴の上位セマンティック特徴とそれにマッチングする観察セマンティック特徴の上位セマンティック特徴間のセマンティック-ユークリッド距離は、前記ユークリッド距離閾値以下である。
いくつかの実施例では、任意の候補マップセマンティック特徴と任意の観察セマンティック特徴のセマンティック-ユークリッド距離は以下の方法で決定され、
この観察セマンティック特徴のセマンティックラベルとこの候補マップセマンティック特徴のセマンティックラベルが異なると、前記セマンティック-ユークリッド距離は無効値INFであり、
この観察セマンティック特徴のセマンティックラベルとこの候補マップセマンティック特徴のセマンティックラベルは同じであると、
この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離およびユークリッド距離閾値を決定し、
この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離が前記ユークリッド距離閾値以下であると、前記セマンティック-ユークリッド距離はこの観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離であり、
この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離が前記ユークリッド距離閾値よりも大きいと、前記セマンティック-ユークリッド距離は無効値INFである。
いくつかの実施例では、前記ユークリッド距離閾値は以下の式によって決定され、
ここで、thはユークリッド距離閾値であり、thは設定された固定の先験的閾値であり、tは候補マップセマンティック特徴と候補測位情報間のユークリッド距離であり、f(t)はtに逆相関するマッピング関数である。
いくつかの実施例では、観察セマンティック特徴のセマンティックラベルと候補マップセマンティック特徴のセマンティックラベルが同じであり、前記観察セマンティック特徴または前記候補マップセマンティック特徴が上位セマンティック特徴をゆうすると、前記観察セマンティック特徴の上位セマンティック特徴のセマンティックラベルと前記候補マップセマンティック特徴の上位セマンティック特徴のセマンティックラベルが同じであるかどうかを判定し、異なると、前記観察セマンティック特徴と前記マップセマンティック特徴間のセマンティック-ユークリッド距離が無効値INFであると決定する。
いくつかの実施例では、前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングしてマッチングペアを得るステップは、
前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴から構成されるセマンティック-ユークリッド距離行列を決定すること、
前記セマンティック-ユークリッド距離行列に基づいて、距離ランキング行列を決定すること、前記距離ランキング行列中の各要素はバイナリグループであり、前記バイナリグループはセマンティック-ユークリッド距離が位置する行および列のランキングを示し、
前記距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴をマッチングペアとして決定することを含む。
いくつかの実施例では、前記距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴をマッチングペアとして決定する後、前記方法は、
前記バイナリグループ(1,1)に対応する行および列のすべての要素を無効値INFに修正し、距離ランキング行列を更新するステップと、
更新後の距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴をマッチングペアとして決定するステップと、
更新後の距離ランキング行列にバイナリグループ(1,1)がなくなるまで、以上の2つのステップを繰り返すステップと、をさらに含む。
いくつかの実施例では、各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報と前記最適化候補測位情報に対応するマッチングペアを決定するステップは、
マッチングペアの数が最も多い候補測位情報を前記車両の最適化候補測位情報として選択することを含む。
いくつかの実施例では、各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報と前記最適化候補測位情報に対応するマッチングペアを決定するステップは、
異なる候補マップセマンティック特徴の車両測位に対する先験的貢献度と各前記候補測位情報に対応するマッチングペアに基づいて、各前記候補測位情報の評価値を決定すること、
評価値が最も高い候補測位情報を前記車両の最適化候補測位情報として選択することを含む。
いくつかの実施例では、前記候補測位情報の評価値は以下の式によって決定され、
ここで、scoreは候補測位情報の評価値であり、λとλは先験的割当重みであり、cはi番目的マッチングペア中の候補マップセマンティック特徴の車両測位に対する先験的貢献度であり、dはi番目的マッチングペアのセマンティック-ユークリッド距離であり、f(d)はdに逆相関するマッピング関数である。
いくつかの実施例では、評価値が最も高い候補測位情報を選択した後、前記方法は、
最も高い評価値が評価値の閾値よりも大きいかどうかを判定し、小さいと、マップマッチングが失敗したと決定する。
なお、前記の各方法の実施例について、説明を簡単にするために、それらをすべて一連の動作の組み合わせとして表現されているが、当業者は、本出願の実施例は説明した動作順序によって制限されず、本出願の実施例によれば、いくつかのステップは他の順序でまたは同時に行うことができることを理解されたい。また、当業者は、明細書で説明した実施例はすべて選択可能な実施例であることを理解されたい。
本出願の実施例は、非一時コンピューター可読記憶媒体をさらに提供し、前記非一時コンピューター可読記憶媒体は、コンピューターにマップマッチング方法の各実施例のステップを実行させるためのプログラムまたは指令を記憶し、重複した説明を避けるために、ここでは繰り返しない。
なお、本明細書では、「含む」、「備える」または他の任意変形は、非排他的な包含を意図しており、一連要素を含む過程、方法、物品または装置は、それらの要素だけでなく、明示的に列挙されていない他の要素も含み、またはこの過程、方法、物品または装置に固有である要素も含む。さらに限定することなく、「……を含む」という表現で定義されている要素は、この要素を含む過程、方法、物品または装置における他の同一要素の存在を排除するものではない。
前記のいくつかの実施例は他の実施例に含まれるいくつかの特徴を含み、他の特徴を含まないが、異なる実施例の特徴の組み合わせは、それらが本出願の範囲内にあり、異なる実施例を形成することを意味することが当業者によって理解されるであろう。
各実施例の説明は独自の焦点を持ち、ある実施例で詳細に説明されていない部分は、他の実施例の関連説明を参照すればよいことが、当業者によって理解されるであろう。
図面を参照しながら本出願の実施形態を説明したが、当業者は、本出願の精神および範囲から逸脱することなくなされた様々な修正や変形は、すべて特許請求の範囲内に含まれる。
<産業上の利用可能性>
本出願の実施例はベクトルセマンティックマップに適用可能であり、ベクトルセマンティックマップのベクトル情報(例えばマップセマンティック特徴の情報)を利用して、観察特徴とマップ特徴のリアルタイムマッチングを実現し、付加のディスクリプタ、強度などの付加データに依存することなく、記憶容量および演算能力を低減した上で、良好なマッチング効果を実現することができる。また、本出願の実施例センサの種類に特別な要件がない(カメラ、レザーレーダーなどがすべて適用可能)。産業上の利用可能性が高い。

Claims (17)

  1. 車両の初期測位情報および車両センサデータを取得するステップと、
    前記初期測位情報に基づいて、複数の候補測位情報を決定するステップと、
    前記車両センサデータに基づいて、複数の観察セマンティック特徴を決定するステップと、
    前記初期測位情報に基づいて、複数のマップセマンティック特徴を含むローカルマップ情報を取得するステップと、
    各前記候補測位情報に対して、
    この候補測位情報に基づいて、前記複数のマップセマンティック特徴を前記車両センサの座標系下で変換し、この座標系下の複数の候補マップセマンティック特徴を取得すること、
    前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングしてマッチングペアを得ることを含むステップと、
    各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報および前記最適化候補測位情報に対応するマッチングペアを決定するステップと、を含む、マップマッチング方法。
  2. 前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングする前に、前記方法は、前記車両センサの不感帯内の候補マップセマンティック特徴を除去するステップをさらに含む、請求項1に記載の方法。
  3. 前記マッチングペアは以下の条件を満たし、
    候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴が一対一で対応し、
    候補マップセマンティック特徴のセマンティックラベルとそれにマッチングする観察セマンティック特徴のセマンティックラベルが同じであり、
    候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴間のセマンティック-ユークリッド距離がユークリッド距離閾値以下であり、前記セマンティック-ユークリッド距離は、1つの候補マップセマンティック特徴と1つの観察セマンティック特徴の類似程度を特徴付けるために用いられ、前記ユークリッド距離閾値は、前記候補マップセマンティック特徴と候補測位情報間のユークリッド距離とは逆相関し、
    候補マップセマンティック特徴とそれにマッチングする観察セマンティック特徴間のセマンティック-ユークリッド距離は、前記候補マップセマンティック特徴に対応するすべてのセマンティック-ユークリッド距離の中で最小であり、前記観察セマンティック特徴に対応するすべてのセマンティック-ユークリッド距離の中で最小である、請求項1に記載の方法。
  4. 前記マッチングペアはさらに以下の条件を満たし、
    候補マップセマンティック特徴が上位セマンティック特徴を有すると、前記候補マップセマンティック特徴の上位セマンティック特徴のセマンティックラベルとそれにマッチングする観察セマンティック特徴の上位セマンティック特徴のセマンティックラベルは同じである、請求項3に記載の方法。
  5. 前記候補マップセマンティック特徴の上位セマンティック特徴とそれにマッチングする観察セマンティック特徴の上位セマンティック特徴間のセマンティック-ユークリッド距離は前記ユークリッド距離閾値以下である、請求項4に記載の方法。
  6. 任意の候補マップセマンティック特徴と任意の観察セマンティック特徴のセマンティック-ユークリッド距離は以下の方法で決定され、
    この観察セマンティック特徴のセマンティックラベルとこの候補マップセマンティック特徴のセマンティックラベルとは異なると、前記セマンティック-ユークリッド距離は無効値INFであり、
    この観察セマンティック特徴のセマンティックラベルとこの候補マップセマンティック特徴のセマンティックラベルは同じであると、
    この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離およびユークリッド距離閾値を決定し、
    この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離が前記ユークリッド距離閾値以下であると、前記セマンティック-ユークリッド距離は、この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離であり、
    この観察セマンティック特徴に対応する座標値とこの候補マップセマンティック特徴に対応する座標値間のユークリッド距離は前記ユークリッド距離閾値より大きいと、前記セマンティック-ユークリッド距離は無効値INFである、請求項3に記載の方法。
  7. 前記ユークリッド距離閾値は以下の式によって決定され、
    ここで、thはユークリッド距離閾値であり、thは設定された固定の先験的閾値であり、tは候補マップセマンティック特徴と候補測位情報間のユークリッド距離であり、f(t)はtに逆相関するマッピング関数である、請求項3に記載の方法。
  8. 観察セマンティック特徴のセマンティックラベルと候補マップセマンティック特徴のセマンティックラベルが同じであり、かつ前記観察セマンティック特徴または前記候補マップセマンティック特徴が上位セマンティック特徴を有すると、前記観察セマンティック特徴の上位セマンティック特徴のセマンティックラベルと前記候補マップセマンティック特徴の上位セマンティック特徴のセマンティックラベルが同じであるかどうかを判定し、異なると、前記観察セマンティック特徴と前記マップセマンティック特徴間のセマンティック-ユークリッド距離が無効値INFであると決定する、請求項6に記載の方法。
  9. 前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングしてマッチングペアを取得するステップは、
    前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴から構成されるセマンティック-ユークリッド距離行列を決定すること、
    前記セマンティック-ユークリッド距離行列に基づいて、距離ランキング行列を決定すること、前記距離ランキング行列中の各要素はバイナリグループであり、前記バイナリグループはセマンティック-ユークリッド距離が位置する行および列のランキングを表し、
    前記距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴を、マッチングペアとして決定すること、を含む、請求項3に記載の方法。
  10. 前記距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴をマッチングペアとして決定した後、前記方法は、
    前記バイナリグループ(1,1)に対応する行および列のすべての要素を無効値INFに修正し、距離ランキング行列を更新するステップと、
    更新後の距離ランキング行列中のバイナリグループ(1,1)に対応する観察セマンティック特徴と候補マップセマンティック特徴をマッチングペアとして決定するステップと、
    更新後の距離ランキング行列でバイナリグループ(1,1)がなくなるまで、以上の2つのステップを繰り返すステップと、をさらに含む、請求項9に記載の方法。
  11. 各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報と前記最適化候補測位情報に対応するマッチングペアを決定するステップは、
    マッチングペアの数が最も多い候補測位情報を前記車両の最適化候補測位情報として選択することを含む、請求項1に記載の方法。
  12. 各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報と前記最適化候補測位情報に対応するマッチングペアを決定するステップは、
    異なる候補マップセマンティック特徴の車両測位に対する先験的貢献度と、各前記候補測位情報に対応するマッチングペアに基づいて、各前記候補測位情報の評価値を決定すること、
    評価値が最も高い候補測位情報を前記車両の最適化候補測位情報として選択すること、を含む、請求項1に記載の方法。
  13. 前記候補測位情報の評価値は以下の式によって決定され、
    ここで、scoreは候補測位情報の評価値であり、λとλは先験的割当重みであり、cはi番目のマッチングペア中の候補マップセマンティック特徴の車両測位に対する先験的貢献度であり、dはi番目のマッチングペアのセマンティック-ユークリッド距離であり、f(d)はdに逆相関するマッピング関数である、請求項12に記載の方法。
  14. 評価値が最も高い候補測位情報を選択した後、前記方法は、
    最も高い評価値が評価値の閾値未満であるかどうかを判定し、未満である場合、マップマッチングが失敗したと判定するステップをさらに含む、請求項12に記載の方法。
  15. 車両の初期測位情報および車両センサデータを取得し、前記初期測位情報に基づいて、複数のマップセマンティック特徴を含むローカルマップ情報を取得するための取得ユニットと、
    前記初期測位情報に基づいて、複数の候補測位情報を決定し、前記車両センサデータに基づいて、複数の観察セマンティック特徴を決定するための第1決定ユニットと、
    各前記候補測位情報に対して、
    この候補測位情報に基づいて、前記複数のマップセマンティック特徴を前記車両センサの座標系下で変換し、この座標系下の複数の候補マップセマンティック特徴を取得し、
    前記複数の観察セマンティック特徴と前記複数の候補マップセマンティック特徴をマッチングしてマッチングペアを取得するための照合ユニットと、
    各前記候補測位情報に対応するマッチングペアに基づいて、前記車両の最適化候補測位情報と前記最適化候補測位情報に対応するマッチングペアを決定するための第2決定ユニットと、を備えるマップマッチング装置。
  16. プロセッサとメモリを備え、前記プロセッサは前記メモリに記憶されたプログラムまたは指令を呼び出して、請求項1に記載の方法のステップを実行する、電子機器。
  17. コンピューターに請求項1に記載の方法のステップを実行させるプログラムまたは指令が記憶される、非一時コンピューター可読記憶媒体。
JP2023516484A 2020-09-27 2020-10-23 マップマッチング方法、装置、電子機器および記憶媒体 Active JP7542284B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011031457.0A CN112179359B (zh) 2020-09-27 2020-09-27 一种地图匹配方法、装置、电子设备和存储介质
CN202011031457.0 2020-09-27
PCT/CN2020/123162 WO2022062019A1 (zh) 2020-09-27 2020-10-23 一种地图匹配方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2023541167A true JP2023541167A (ja) 2023-09-28
JP7542284B2 JP7542284B2 (ja) 2024-08-30

Family

ID=73944130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023516484A Active JP7542284B2 (ja) 2020-09-27 2020-10-23 マップマッチング方法、装置、電子機器および記憶媒体

Country Status (6)

Country Link
US (1) US20230358547A1 (ja)
EP (1) EP4206610A4 (ja)
JP (1) JP7542284B2 (ja)
KR (1) KR20230086664A (ja)
CN (1) CN112179359B (ja)
WO (1) WO2022062019A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022212704A1 (de) 2022-11-28 2024-05-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Abgleichen einer digitalen Straßenkarte
CN116105603B (zh) * 2023-04-13 2023-09-19 安徽蔚来智驾科技有限公司 用于确定移动物体在场所中的位置的方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4934167B2 (ja) * 2009-06-18 2012-05-16 クラリオン株式会社 位置検出装置および位置検出プログラム
CN102313547B (zh) * 2011-05-26 2013-02-13 东南大学 基于手绘轮廓语义地图的移动机器人视觉导航方法
US11761790B2 (en) 2016-12-09 2023-09-19 Tomtom Global Content B.V. Method and system for image-based positioning and mapping for a road network utilizing object detection
KR102463702B1 (ko) * 2016-12-15 2022-11-07 현대자동차주식회사 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법
US10430968B2 (en) 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
CN108732582B (zh) * 2017-04-20 2020-07-10 百度在线网络技术(北京)有限公司 车辆定位方法和装置
CN107144285B (zh) * 2017-05-08 2020-06-26 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107990899B (zh) * 2017-11-22 2020-06-30 驭势科技(北京)有限公司 一种基于slam的定位方法和系统
US10606269B2 (en) 2017-12-19 2020-03-31 X Development Llc Semantic obstacle recognition for path planning
CN109145171B (zh) * 2018-07-23 2020-09-08 广州市城市规划勘测设计研究院 一种多尺度地图数据更新方法
US10983526B2 (en) * 2018-09-17 2021-04-20 Huawei Technologies Co., Ltd. Method and system for generating a semantic point cloud map
JP7111586B2 (ja) 2018-11-09 2022-08-02 株式会社Soken 物体検出装置
CN109733383B (zh) * 2018-12-13 2021-07-20 初速度(苏州)科技有限公司 一种自适应的自动泊车方法及系统
CN111323029B (zh) * 2018-12-16 2022-05-27 北京魔门塔科技有限公司 导航方法及车载终端
CN111323004B (zh) * 2018-12-16 2022-05-13 北京魔门塔科技有限公司 初始位置的确定方法及车载终端
US10922558B2 (en) 2018-12-20 2021-02-16 Here Global B.V. Method and apparatus for localization using search space pruning
CN110807412B (zh) * 2019-10-30 2022-09-23 驭势科技(北京)有限公司 一种车辆激光定位的方法、车载设备和存储介质
CN110866079B (zh) * 2019-11-11 2023-05-05 桂林理工大学 一种智慧景区实景语义地图的生成与辅助定位方法

Also Published As

Publication number Publication date
EP4206610A4 (en) 2024-02-28
WO2022062019A1 (zh) 2022-03-31
KR20230086664A (ko) 2023-06-15
JP7542284B2 (ja) 2024-08-30
EP4206610A1 (en) 2023-07-05
CN112179359A (zh) 2021-01-05
CN112179359B (zh) 2022-09-23
US20230358547A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US11676364B2 (en) Real-time detection of lanes and boundaries by autonomous vehicles
US11594011B2 (en) Deep learning-based feature extraction for LiDAR localization of autonomous driving vehicles
EP3714290B1 (en) Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
US11073831B2 (en) Autonomous driving using a standard navigation map and lane configuration determined based on prior trajectories of vehicles
EP3714285B1 (en) Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
US20200302250A1 (en) Iterative spatial graph generation
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
US20200023838A1 (en) Methods and systems to predict object movement for autonomous driving vehicles
CN110345955A (zh) 用于自动驾驶的感知与规划协作框架
JP2023507695A (ja) 自律運転アプリケーションのための3次元交差点構造予測
CN110239562A (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
US11183059B2 (en) Parking management architecture for parking autonomous driving vehicles
WO2019182974A2 (en) Stereo depth estimation using deep neural networks
US20180143632A1 (en) Method for determining command delays of autonomous vehicles
JP7149288B2 (ja) 自動運転車両のための螺旋曲線に基づく垂直駐車計画システム
JP7147442B2 (ja) 地図情報システム
JP2023541167A (ja) マップマッチング方法、装置、電子機器および記憶媒体
JP7143269B2 (ja) 車両挙動予測のための圧縮環境特徴の表示
JP2020087191A (ja) 車線境界設定装置、車線境界設定方法
CN112446466A (zh) 在深度神经网络中测量置信度
JP6892516B2 (ja) 列挙に基づく自動運転車両の3ポイントターン計画
JP7261892B2 (ja) 占有格子地図管理装置
US20240010213A1 (en) Autonomous vehicle chassis frame estimation by minimizing distortion from cad model
JP2023070183A (ja) 単眼深度推定用のニューラルアーキテクチャ探索システム及びその使用方法
CN117842034A (zh) 参考线生成及车辆控制方法、装置、设备、车辆及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230313

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20230330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240813

R150 Certificate of patent or registration of utility model

Ref document number: 7542284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150