JP7328282B2 - 乗物を測位するための方法、装置、機器及び記憶媒体 - Google Patents

乗物を測位するための方法、装置、機器及び記憶媒体 Download PDF

Info

Publication number
JP7328282B2
JP7328282B2 JP2021111532A JP2021111532A JP7328282B2 JP 7328282 B2 JP7328282 B2 JP 7328282B2 JP 2021111532 A JP2021111532 A JP 2021111532A JP 2021111532 A JP2021111532 A JP 2021111532A JP 7328282 B2 JP7328282 B2 JP 7328282B2
Authority
JP
Japan
Prior art keywords
positioning
vehicle
data
feature points
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021111532A
Other languages
English (en)
Other versions
JP2021156905A (ja
Inventor
ワン,クン
ルイ,シャオフェイ
フ,シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021156905A publication Critical patent/JP2021156905A/ja
Application granted granted Critical
Publication of JP7328282B2 publication Critical patent/JP7328282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、データ処理分野に関し、特に、自動運転及びスマート交通の分野に関し、より具体的に、乗物を測位するための方法、装置、機器及び記憶媒体に関する。
自動運転技術の発展に伴い、現在、様々なシーンで自動運転を実現できるようになった。例えば、全地球航法衛星システム(Global Navigation Satellite System、GNSS)などのような、様々な測位信号の補助で自動運転を実現できるようになった。しかしながら、自動運転が直面するシーンが多様であり、例えば、ある特定のシーンで、測位信号が安定しない可能性がある。そのため、如何に様々な具体的なシーンで自動運転を実現するかは、研究のホットスポットとなっている。
本開示は、乗物を測位するための方法、装置、機器及び記憶媒体を提供する。
本開示の第1の態様によれば、乗物を測位するための方法を提供する。該方法は、領域に関連する地図を取得するステップであって、該領域が複数の測位標識を含み、該地図が複数の測位標識に対応する測位標識データを含むステップを含む。該方法は、乗物が該領域を走行して通過する際に、該領域に対する画像データをキャプチャするステップをさらに含む。該方法は、乗物の推定された姿勢に基づいて、画像データと地図における測位標識データとをマッチングして、乗物の測位情報を決定するステップをさらに含む。
本開示の他の態様によれば、乗物を測位するための装置を提供する。該装置は、領域に関連する地図を取得するように構成されている地図取得モジュールであって、該領域が複数の測位標識を含み、該地図が複数の測位標識に対応する測位標識データを含む地図取得モジュールを含む。該装置は、乗物が該領域を走行して通過する際に、該領域に対する画像データをキャプチャするように構成されている画像キャプチャモジュールをさらに含む。該装置は、乗物の推定された姿勢に基づいて、画像データと地図における測位標識データとをマッチングして、乗物の測位情報を決定するように構成されている測位情報決定モジュールをさらに含む。
本開示の他の態様によれば、電子機器を提供し、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、該メモリには、少なくとも1つのプロセッサによって実行可能な命令が記憶され、該命令は、少なくとも1つのプロセッサが本開示の第1の態様に記載の方法を実行できるように、少なくとも1つのプロセッサによって実行される。
本開示の他の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、該コンピュータ命令は、コンピュータに本開示の第1の態様に記載の方法を実行させる。
本開示の他の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに本開示の第1の態様に記載の方法を実行させる。
本出願の技術によれば、測位標識に基づく正確な測位を実現することができる。
なお、本部分に説明される内容は、本出願の実施例の肝心または重要な特徴を特定するためのものではなく、本出願の範囲を制限するためのものではないことを理解すべきである。本出願の他の特徴は、以下の明細書を通して、容易に理解されるようになる。
本開示の各実施例の上記及び他の特徴、利点及び態様は、図面と組み合わせて以下の詳細な説明を参照することにより、より明らかになる。図面では、同じまたは類似する符号は、同じまたは類似する要素を表す。
本開示の複数の実施例を実現できる例示的な環境100の概略図である。 本開示のいくつかの実施例に係る乗物を測位するための方法200の概略フローチャートである。 本開示のいくつかの実施例に係る測位標識の領域105での配置300の概略図である。 本開示のいくつかの実施例に係る地図を生成するためのプロセス400の概略図である。 本開示のいくつかの実施例に係る乗物の測位情報を決定するためのプロセス500の概略図である。 本開示のいくつかの実施例に係る乗物の測位情報を決定するためのプロセス600の概略図である。 本開示の実施例に係る乗物を測位するための装置700の概略ブロック図である。 本開示の複数の実施例を実施できる電子機器800のブロック図である。
以下、図面と組み合わせて、本出願の例示的な実施例について説明し、容易に理解するために、その中には本出願の実施例の各種の詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して各種の変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、下の説明では、周知の機能及び構成の説明を省略する。
本開示の実施例の説明では、「含む」という用語および類似の用語は、開放的に包含、すなわち、「含むが、これに限定されない」と理解されるべきである。「に基づいて」という用語は、「少なくとも部分的に基づいて」と理解されるべきである。「一実施例」または「該実施例」という用語は、「少なくとも1つの実施例」として理解されるべきである。「第1」、「第2」などの用語は、異なるまたは同じオブジェクトを指す場合がある。以下には、他の明示的および暗黙的な定義も含まれる場合がある。
安定で高精度の測位は、自動運転及びスマート交通の基礎であり、自動運転測位誤差は、センチレベルレベル以内に抑えるように求められる。開放領域では、高精度の測位は、様々な測位信号を使用してもよく、例えば、全地球航法衛星システム(GNSS)を単独で使用するか、または、GNSSとリアルタイムキネマティック技術(Real-time Kinematic、RTK)との2種類の測位信号を組み合わせるか、または、GNSSと慣性航法システム(Inertial Navigation System、INS)を組み合わせるなどの方法であってもよい。しかしながら、いくつかの比較的閉鎖的な領域(例えば、トンネル)では、測位信号が制限され、つまり、測位信号が弱いか、または受信できない可能性があり、さらに上記方法によって高精度の測位を実現することができない。
これらの比較的閉鎖的な環境に対して、現在、GNSSシミュレータ(例えば、擬似衛星技術)、超広帯域(Ultra Wideband、UWB)などに基づく測位技術案が提案され、これらの方法は、精度が高くないか、基地局などのハードウェアデバイスを大量に増設する必要があるため、トータルコストが高くなっている。
上記問題及び他の潜在的な問題のうちの1つまたは複数を少なくとも部分的に解決するために、本開示の実施例は、乗物を測位するための技術案を提供する。該技術案では、特定の環境の領域に測位標識を配置することにより、乗物は、測位標識データを含む高精度地図及びキャプチャされた測位標識に関する画像を使用して、位置姿勢(すなわち、位置と姿勢)を調整することにより、マッチングして、高精度の測位を実現する。このようにして、GNSS、RTKなどの測位信号が不足している領域では、他のハードウェアデバイスを付加的に配置することなく、乗物における既存の低コストのハードウェアデバイスを利用すれば、該乗物の高精度の測位を実現することができる。また、領域における既存の物体を、測位を補助する測位標識として直接使用することができ、測位標識を増設する必要がなく、または、少量の測位標識のみを増設して配置すればよく、トータルコストが低い。
以下、図面を参照して、本開示の実施例について具体的に説明する。
図1は、本開示の複数の実施例を実現できる例示的な環境100の概略図を示す。図1に示すように、乗物110が領域105を走行しており、該領域105は、GNSS信号などの測位信号が制限される領域(例えば、トンネル)であってもよい。該領域105には、測位標識120-1及び120-2など、複数の測位標識が配置されている。なお、図1に2つの測位標識が示されるが、測位標識の数が任意の数であってもよく、本開示では、これに限定されない。以下、図3を参照して、測位標識に関する詳細について詳しく説明する。
いくつかの実施例では、乗物110は、一定の自動運転能力を備えた乗物110であってもよく、ここで、自動運転能力は、運転補助能力、半自動運転能力、高度自動運転能力または完全自動運転能力を含んでもよいが、これらに限定されない。乗物110は、固定されたまたは取り付けられた画像キャプチャ装置115を介して、周囲環境の画像データ130をキャプチャし、特に、測位標識120-1及び120-2に関連付けられた画像データをキャプチャしてもよい。画像キャプチャ装置115は、1つのセンサを少なくとも含み、いくつかの実施例では、画像キャプチャ装置115は、1つまたは複数の広角または超広角を有するカメラであってもよく、これらのカメラは、周囲環境の360度以内のシーンをキャプチャすることができる。代替的に、乗物110の外部の複数の方向でのリアルタイムシーンを回転可能に検出するように、画像キャプチャ装置115は、回転可能な構造を使用してもよい。
乗物110は、様々なデータに基づいて乗物110の測位情報180を決定できる測位機器170をさらに含む。様々なデータは、画像データ130と、測位標識データ165を含む地図160とを含んでもよい。以下、詳細に解釈される通り、地図160及び測位標識データ165は、マッピング乗物150によって少なくとも収集装置155を介して生成される。いくつかの実施例では、測位情報180は、乗物110の位置と姿勢とのうちの少なくとも1つを含む。いくつかの実施例では、測位情報180は、位置と姿勢との両者を含む。いくつかの実施例では、測位情報180は、位置のみを含んでもよい。
本明細書では、「姿勢」という用語とは、乗物の特定の座標系での姿体を指す。例えば、2次元座標系及び3次元座標系では、乗物の姿勢は、針路角で表されてもよい。3次元座標系では、乗物の姿勢は、さらに、ピッチ角、針路角及び回転角で示されてもよい。以下、「姿勢」が針路角であることを例として本開示の実施例について検討する。しかしながら、これは、例示的なのものに過ぎず、本開示の範囲を制限するためのものではないことを理解すべきである。
また、「乗物」という用語については、以下、走行中の車両を乗物の例とする場合がある。なお、本開示の実施例は、航空機などの他のオブジェクトに類似に適用されてもよいことを理解すべきである。
地図160は、領域105に関連する地図であってもよい。地図160は、マッピング乗物150が同じ領域105を走行して通過する際に、予め決定されてもよく、乗物110の測位機器170に提供されてもよい。マッピング乗物150は、収集装置155を含んでもよく、収集装置155は、カメラなどの画像センサを含むに加えて、レーザーレーダー、ミリ波レーダー、GNSS及び慣性測定装置など、マッピング用の他のセンサ及び検出装置をさらに含む。レーザーレーダーとは、レーザビームを発射して、ターゲットの位置及び/または速度などの特徴量を検知するレーダー装置を指し、その動作原理は、ターゲットに検知信号(レーザビーム)を送信してから、受信された、ターゲットから反射された信号(ターゲットエコー)と送信された信号とを比較し、適切に処理した後、ターゲットの関連情報、例えば、ターゲット距離、方位、高さ、速度、姿勢、さらには形状などのパラメータのうちの1つまたは複数を取得できることである。ミリ波レーダーとは、動作周波数帯がミリ波周波数帯にあるレーダーであり、距離測定原理は、一般的なレーダーと類似し、ターゲットに検知信号(ラジオ電波)を送信し、次にエコーを受信し、受信と送信との時間差に基づいてターゲットに関連する情報を測定することである。GNSSも全地球測位システム(GPS)に限られず、ヨーロッパのガリレオ衛星測位システム、中国の北斗衛星測位システムなども、本開示の実施例と組み合わせて使用することができる。
地図160は、複数の測位標識(例えば、120-1及び120-2)に対応する測位標識データ165を含んでもよい。測位標識データ165は、複数の測位標識と地図160における複数の3次元位置との間の関連性を指示する。例えば、複数の測位標識のうちの1つの測位標識120-1に対して、マッピング乗物150で収集されたデータを処理することにより、該測位標識120-1の緯度、経度及び標高情報などのパラメータ、及び該測位標識120-1上の(複数の)キーポイントを決定することができ、上記両者が関連付けられて地図160に記憶されることができる。本明細書では、キーポイントは、特徴点と呼ばれる場合もある。
なお、いくつかの実施例では、乗物110は、画像キャプチャ装置115を含むに加えて、自動運転用の他のセンサまたは検出装置をさらに含んでもよく、例えば、乗物110は、レーザーレーダー、衛星測位システム及び慣性測定装置などをさらに含んでもよい。いくつかの実施例では、測位情報180は、測位制約とされてもよく、該測位制約が、他のセンサシステム(例えば、慣性航法、レーザーレーダー)などで決定された測位制約とカルマンフィルタリングのデータ融合を行って、マルチセンサが融合された高精度の測位を実現することができる。また、図1に示す環境100は、本開示の実施例の例示的な環境に過ぎず、本開示の範囲を制限するためのものではないことを理解すべきである。
明瞭に説明するために、以下、図1の環境100を参照しながら、本開示の実施例について説明する。本開示の実施例は、示されていない付加的な動作をさらに含んでもよいし、及び/または、示される動作を省略してもよいことを理解すべきである。本開示の範囲は、この点で制限されていない。理解の便利上のため、以下の説明に言及される具体的なデータは、すべて例示的なものであり、本開示の保護範囲を限定するためのものではない。
図2は、本開示のいくつかの実施例に係る乗物を測位するための方法200のフローチャートである。いくつかの実施例では、方法200は、図1に示す乗物110で実現されることができる。
ブロック202では、乗物110は、領域105に関連する地図160を取得することができ、ここで、領域105が複数の測位標識(120-1、120-2…)を含み、地図160が複数の測位標識に対応する測位標識データ165を含む。
領域105は、制限された測位信号(例えば、GNSS信号)を有する領域であってもよい。例えば、領域105は、トンネル、アーバンキャニオンなどであってもよい。このような領域では、これらの領域における既存のいくつかの物体を測位標識として使用してもよい。代替的には、領域に測位標識とすることができる物体が不足している場合、いくつかの物体を測位標識として人為的に配置することができる。
現在、図3を参照し、図3は、本開示のいくつかの実施例に係る測位標識の領域105での配置300の概略図である。一例として、該領域は、車道と、車道の両側での側壁とを有するトンネルであってもよい。複数の測位標識は、片側(例えば、走行している車両に接近する側)での側壁上の120-1、120-2及び120-3を含んでもよい。さらに、複数の測位標識は、反対側(例えば、走行している車両から離れる側)での側壁上の120-4、120-5をさらに含んでもよい。測位標識は、一定の3次元体積(例えば、長さ、幅、高さの合計>1.5メートル)を有し、認識しやすい材質で作成され(例えば、認識しやすい反射率、色などを有する)、認識しやすいテクスチャ(例えば、図案、数字など)を有してもよい。
いくつかの実施例では、測位標識は、領域105における既存の交通インフラ(例えば、測位標識120-1~120-5)であってもよく、電器キャビネット、交通標識、交通信号灯、壁の突起や凹み、壁画/看板、駅、シートなどを含むが、これらに限定されない。いくつかの実施例では、測位標識(例えば、測位標識120-6)は、領域105における測位精度ニーズに基づいて別途配置されてもよい。いくつかの実施例では、測位標識の車道路面からの取り付け高さは、通常、3メートル以下で、1メートル以上である。いくつかの実施例では、乗物110の画像キャプチャ装置115が認識できる限り、測位標識が領域105の頂部に取り付けられてもよい。
いくつかの実施例では、複数の測位標識は、予め設定された距離(例えば、50~100メートルおきに)に従って領域105に配置されてもよい。いくつかの実施例では、該予め設定された距離は、複数の測位標識のうちの各測位標識の大きさに基づいて決定されてもよい。なお、領域105内の測位標識が密集しているほど、達成可能な測位精度が高くなるが、多すぎる測位標識を配置すると、コストが増加する可能性がある。また、領域における潜在的な他の車両による反対側への遮蔽を考慮すると、該予め設定された距離は、同じ側での測位標識のみに基づいて決定されてもよい。
例えば、図3に示す実施例では、測位標識120-4の大きさ(及び/またはキーポイント情報、例えば、キーポイントの数)に基づいて、次の測位標識を測位標識120-4からの予め設定された距離(例えば、50メートル)内に配置する必要があることを決定することができ、測位標識120-5と測位標識120-4との間の距離121-1が該予め設定された距離(すなわち、50メートル)より小さいと、他の測位標識をさらに配置することなく、測位標識120-5を直接使用することができる。さらに、測位標識120-5の大きさに基づいて、次の測位標識を測位標識120-5からの他の予め設定された距離(例えば、60メートル)内に配置する必要があることを決定することができ、該範囲(すなわち、60メートル内)内に利用可能な測位標識がない場合、測位標識120-6を別途配置して、測位標識120-5と120-6との間の距離121-2を該予め設定された距離(すなわち、60メートル)以下にしてもよい。複数の測位標識は、互いに異なってもよいし、互いに同じまたは類似してもよい(例えば、大きさ、図案などの点で)。
図2に戻って参照し、領域105に関連する地図160は、例えば乗物110の測位機器170により取得され、地図160に複数の測位標識(例えば、120-1~120-6)に対応する測位標識データ165が含まれる。いくつかの実施例では、測位標識データ165は、予め決定され、測位標識データは、複数の測位標識に対する特徴データと、地図160における複数の3次元位置との間の関連性を指示する。以下、図4を参照して、地図160の生成に関する詳細について詳しく説明する。
いくつかの実施例では、乗物110が領域105に入ろうとすることが決定されたことに応答して、乗物110は、領域105に関連する地図160を取得することができる。いくつかの実施例では、乗物が領域105の一端(例えば、トンネル入口)から所定の距離離れたことに応答して、乗物110が領域105に入ろうとすることを決定することができ、該所定の距離は、乗物110が領域に入る前に、測位機器170が使用するように、地図を乗物110の記憶機器(図示せず)に送信(例えば、ダウンロード)できることを確保することができる。いくつかの実施例では、該決定は、GNSS信号に基づいて行われてもよい。該決定は、センサによる領域105の一端に対する感知データ(例えば、カメラによって撮影されたトンネル入口の画像)に基づいて行われてもよい。地図の送信プロセスは、無線周波数信号を介して実現されてもよいし、エッジクラウドのような技術により実現されてもよい。
ブロック204では、乗物110が領域105を走行して通過する際に、乗物110が領域105に対する画像データ130をキャプチャすることができる。
いくつかの実施例では、例えば、乗物110の視覚センサ(例えば、図1における画像キャプチャ装置115)によって画像をキャプチャし、さらなる処理により画像データ130を取得してもよい。いくつかの実施例では、乗物110は、レーザーレーダーデータ、GNSS信号、慣性航法データなどを使用することなく、視覚センサによりキャプチャされた画像のみに基づいて、地図165と一緒に測位プロセスを実現してもよい。以上に検討した通り、領域105に予め設定された距離に従って複数の測位標識が配置されているため、収集された画像には、通常、少なくとも1つの測位標識が含まれる。
ブロック206では、乗物110の推定された姿勢に基づいて、画像データ130と地図160における測位標識データ165とをマッチングして、乗物110が乗物110の測位情報180を決定することができる。
該ステップは、例えば、乗物110の測位機器170で実行されてもよい。測位機器170は、画像キャプチャ装置115によって画像データ130を取得し、記憶機器(図示せず)から地図160を取得してもよい。乗物が画像データ130をキャプチャする場合、ある姿勢(例えば、ある針路角)で測位標識から一定の距離離れる位置を走行する可能性があるため、該姿勢及び位置が地図160の測位標識データ165を生成するときの姿勢及び/または位置と異なる可能性がある。したがって、画像データ130と測位標識データ165とをマッチングするプロセスにおいて、測位機器170は、乗物110の姿勢に基づいて何らかの調整を行う必要がある。乗物110がトンネルなどの領域105を走行して通過する際に、長時間に測位信号を取得できない可能性があるため、乗物110が所定の精度に従って乗物の実際の姿勢を決定できなくなる可能性がある。このような場合、乗物110の実際の姿勢を推定し、推定された姿勢を使用して上記データ間のマッチングプロセスを行うことができる。例えば、前の時点での測位情報における姿勢及び/または乗物110の他のセンサによって決定された姿勢に基づいて、関連付けられた(複数の)推定された姿勢を決定してもよく、該(複数の)推定された姿勢と実際の姿勢との誤差が所定の範囲(例えば、±5%)内であってもよい。
いくつかの実施例では、乗物110の推定された姿勢に基づいて、測位機器170が画像データ130及び測位標識データ165のうちの少なくとも1つに対する調整プロセスを実行する。該調整プロセスは、調整された画像データ130及び測位標識データ165を該推定された姿勢に対応させることができる(例えば、両者を同じ針路角に対応させる)。いくつかの例では、該調整プロセスは、調整された画像データ130及び測位標識データ165を乗物110の推定された位置に対応させることもできる。次に、測位機器170は、調整プロセスの結果に基づいて、画像データ130と測位標識データ165との間のマッチング程度を決定する。いくつかの例では、該マッチング程度は、画像データ130を測位標識データ165に基づく画像に投影することによって決定されてもよい。続いて、マッチング程度が所定の閾値より大きいことが決定されたことに応答して、測位機器170は、測位標識の3次元位置に対して、乗物110の測位情報180を決定することができる。
具体的には、いくつかの実施例では、例えば、前の時点での測位情報に基づいて、測位機器170は、乗物110がいる可能性のある1組の推定された姿勢及び/または推定された位置を決定してもよい。次に、測位機器170は、該1組の推定された姿勢及び/または推定された位置に基づいて、画像データ130及び測位標識データ165を調整することにより、対応する1組のマッチング程度を決定してもよい。いくつかの例では、測位機器170は、1組のマッチング程度から最適なマッチング程度を選択し、該最適なマッチング程度に対応する推定された姿勢及び/または推定された位置、並びに対応する測位標識の3次元位置を使用して、乗物110の測位情報180を決定してもよい。いくつかの例では、測位機器170は、1組のマッチング程度からいくつかの最適なマッチング程度を選択し、該いくつかの最適なマッチング程度に対応するいくつかの推定された姿勢及び/または推定された位置、並びに対応する測位標識の3次元位置を使用して、加重平均などにより乗物110の測位情報180を決定してもよい。
したがって、本開示の実施例によれば、領域に測位標識を配置することにより、乗物は、測位標識データを含む高精度地図、及びキャプチャされた、測位標識に関する画像を使用して高精度の測位を実現することができる。このようにして、測位信号が不足している領域では、他のハードウェアデバイスを付加的に配置することなく、乗物における既存の低コストハードウェアデバイス(例えば、視覚センサ)を利用すれば、該乗物の高精度の測位を実現することができる。また、領域における既存の物体を、測位を補助する測位標識として直接使用することができ、測位標識を増設する必要がないか、または、少量の測位標識だけを増設して配置すればよく、該解決手段のトータルコストをさらに削減する。
図4は、本開示のいくつかの実施例に係る地図を生成するためのプロセス400の概略図である。プロセス400は、方法200に使用される地図を生成するために用いられる。いくつかの実施例では、プロセス400は、図1に示すマッピング乗物150で実現されてもよいし、または、一部がマッピング乗物150のローカルで実現されるとともに、一部がリモートサーバまたはクラウドに実現されてもよい。以下、領域105における複数の測位標識のうちの1つの測位標識120-1を例として説明する。
ブロック402では、マッピング乗物150が測位標識120-1に対する特徴データを取得することができる。
以上に検討した通り、測位標識120-1は、一定の3次元体積、一定のテクスチャ(例えば、図案)を有してもよい。いくつかの実施例では、マッピング乗物150は、視覚センサを使用して、領域105における異なる位置を走行する際に、測位標識120-1に関するマルチフレーム画像をキャプチャしてもよい。いくつかの実施例では、マッピング乗物150は、レーザーレーダーを使用して、領域105における異なる位置を走行する際に、測位標識120-1に関する点群データをキャプチャしてもよい。取得されたマルチフレーム画像及び/または点群データに対してさらなる処理(例えば、マルチフレーム画像データ、点群データなどを融合する)を行って、キーポイントを取得してもよく、これらのキーポイントは、ディープアテンション特徴のキーポイントであってもよい。いくつかの実施例では、特徴データの大きさを減少させるように、取得されたキーポイントに対して重複排除及び圧縮を行ってもよい。
ブロック404では、マッピング乗物150が測位標識120-1に関連付けられた3次元位置情報を感知することができる。
いくつかの実施例では、マッピング乗物150は、レーザーレーダー、慣性航法システムなどを使用して、測位標識120-1に関連付けられた3次元位置情報を感知してもよく、該3次元位置情報は、経度、緯度及び高さ(例えば、標高及び/または路面から離れる高さ)を含むが、これらに限定されない。いくつかの実施例では、マッピング乗物150は、ブロック402において認識されたキーポイントに対応する3次元位置情報を感知してもよい。
ブロック406では、上記3次元位置情報と特徴データとが関連付けられて地図160に含まれることができる。
なお、測位標識データ165を取得するように、プロセス400が複数の測位標識における他の測位標識に同様に適用されてもよい。いくつかの実施例では、測位標識データ165が地図160での1層として記憶されてもよい。いくつかの実施例では、最新の道路状況に適合することを確保するように、地図165が所定の周期おきに更新されてもよい。いくつかの実施例では、地図は、乗物110が使用するために、サーバまたはクラウドに記憶されてもよい。
このようにして、トンネルなど、測位信号が制限される領域105に対する高精度地図を予め決定でき、該地図に測位標識データ165が含まれ、測位標識データ165が、領域における複数の測位標識の特徴と、地図における複数の3次元位置との間の関連性を指示し、該地図は、同じ領域105を走行する乗物110に対する測位を実現する基礎とされてもよい。
図5は、本開示のいくつかの実施例に係る乗物の測位情報を決定するためのプロセス500の概略図である。例えば、プロセス500は、図2に示す方法200におけるブロック206の一例の実現として見なされてもよい。いくつかの実施例では、プロセス500は、図1に示す乗物110の測位機器170で実現されてもよい。
ブロック502では、測位機器170が画像データ130に基づいて、画像特徴点セットを決定することができる。
以上に検討した通り、画像データ130は、一般的に、複数の測位標識を含む。いくつかの実施例では、測位機器は、画像データ130を処理して、画像データ130の視角に含まれるすべての測位標識(例えば、図1における120-1及び120-2)に対応する画像特徴点セットを認識してもよい。
ブロック504では、測位機器170が測位標識データ165に基づいて、第1の特徴点セットを決定することができる。
以上に検討した通り、地図160における測位標識データ165は、測位標識に関連付けられた特徴データであってもよい。いくつかの実施例では、測位機器は、測位標識データ165を処理して、第1の特徴点セットを決定してもよく、該第1の特徴点セットが画像データ130に含まれるすべての測位標識(例えば、図1における120-1及び120-2)に関連付けられている。
ブロック506では、乗物110の推定された姿勢に基づいて、画像特徴点セットと第1の特徴点セットとをマッチングして、測位機器170が乗物110の測位情報180を決定することができる。
具体的には、該マッチングプロセスは、点-点のマッチングプロセスであってもよく、1つの特徴点セット(例えば、画像特徴点セット)を他の特徴点セット(例えば、第1の特徴点セット)に投影し、両者の重なり程度を計算することで実現されてもよい。以上に検討した通り、該マッチングプロセスを行う前に、画像特徴点セット及び第1の特徴点セットのうちの少なくとも1つは、乗物110の推定された姿勢に対応する状態に調整されるように、乗物110の推定された姿勢に基づいて調整されてもよい(例えば、推定された姿勢に対応する角度で回転する)。トンネルなど、測位信号が制限される領域105を走行して通過する際に、乗物110が異なる姿勢にある可能性があるため、乗物110の異なる姿勢でキャプチャされた画像データ130は、互い異なってもよく、地図160における測位標識データ165が収集されるときに対応するマッピング乗物の姿勢と一定の偏差が存在する可能性がある。このような場合、キャプチャされた画像データ130を直接使用して、地図160における測位標識データ165とマッチングすると、測位誤差を引き起こす可能性が存在する。乗物の推定された姿勢に基づいて調整して、画像データ130と測位標識データ165とをマッチングすることにより、姿勢による測位誤差の可能性を減少または解消することができ、それにより、測位精度を改良する。
画像特徴点セット及び第1の特徴点セットのうちの少なくとも1つは、乗物110の推定された位置に対応する状態に調整されるように、乗物110の推定された位置から測位標識(例えば、図1における120-1及び120-2)の3次元位置までの距離に基づいて調整されてもよい(例えば、拡大または縮小される)。
いくつかの実施例では、地図160の測位標識データ165には、測位標識(例えば、図1における120-1及び120-2)に関連付けられた複数の特徴点セットが記憶されてもよく、複数の特徴点セットが該複数の推定された位置に対応し、該複数の特徴点セットは、複数の推定された位置に基づいて予め生成されてもよいし、マッピング乗物150によって実際に収集されたデータに基づいて予め生成されてもよい。推定された姿勢を調整した後、画像特徴点セットと該複数の特徴点セットとをマッチングしてもよく、これによって、複数の推定された位置から、最もマッチング程度の高い推定された位置を乗物110の位置の指示として決定してもよい。
図6は、本開示のいくつかの実施例に係る乗物の測位情報を決定するためのプロセス600の概略図である。例えば、プロセス600は、図2に示す方法200におけるブロック206の一例の実現として見なされてもよい。いくつかの実施例では、プロセス600は、図1に示す乗物110の測位機器170で実現されてもよい。
ブロック602では、測位機器170が画像データ130に基づいて、画像特徴点のサブセットを決定することができる。
以上に検討した通り、画像データ130は、一般的に、複数の測位標識を含む。該複数の測位標識は、乗物が走行する側及び/または反対側に位置してもよい。いくつかの実施例では、領域における潜在的な他の車両による反対側上の測位標識に対する遮蔽を考慮し、遠くの測位標識を認識する効果が悪いことを考慮して、測位機器170は、画像データ130をさらに処理して、画像特徴点のサブセットを決定することにより、効果が悪いまたは遠くの特徴点を除去してもよい。いくつかの実施例では、測位機器170は、ブロック502に類似するプロセスで画像特徴点セットを認識し、その中から画像特徴点のサブセットを決定してもよい。いくつかの実施例では、測位機器170は、画像データ130の一部の画像データをインターセプトし、これで認識して画像特徴点のサブセットを決定することにより、計算量をさらに減少させてもよい。
ブロック604では、測位機器170が複数の測位標識の中から、画像特徴点のサブセットに対応する少なくとも1つの測位標識を決定することができる。
いくつかの実施例では、ブロック602で得られた画像特徴点のサブセットは、例えば、乗物110に近く、かつ遮蔽されていない(例えば、走行する側の)少なくとも1つの測位標識に関連付けられてもよい。測位機器170は、複数の測位標識の中から、画像特徴点のサブセットに対応する少なくとも1つの測位標識を決定することができる。いくつかの実施例では、測位機器170は、前の時点に車両が走行した位置に基づいて、該少なくとも1つの測位標識を決定してもよい。
ブロック606では、測位機器170が測位標識データに基づいて、少なくとも1つの測位標識に対応する第1の特徴点のサブセットを決定することができる。
ブロック604で決定された少なくとも1つの測位標識に基づいて、測位機器170は、測位標識データ165から第1の特徴点のサブセットを取り出すことができる。いくつかの実施例では、測位標識データ165は、複数の測位標識に対応する識別子でマークされてもよく、次に、測位機器170は、少なくとも1つの測位標識の識別子に基づいて、対応するデータ、すなわち、第1の特徴点のサブセットを取り出すことができる。
ブロック608では、乗物110の推定された姿勢に基づいて、画像特徴点セットと第1の特徴点のサブセットとをマッチングして、測位機器170が乗物110の測位情報180を決定することができる。
ブロック608のプロセスは、ブロック506のプロセスとほとんど同様であり、相違点は、マッチングするための特徴点セットにおける点の数がより少なく、乗物110の位置により一致することである。また、このようにして、測位プロセス中の計算量を減少させ、さらに測位プロセスの全体的な時間を減少させ、測位の正確性を向上させることができる。
図7は、本開示の実施例に係る乗物を測位するための装置700の概略ブロック図である。図7に示すように、装置700は、領域に関連する地図を取得するように構成されている地図取得モジュール702であって、該領域が複数の測位標識を含み、該地図が複数の測位標識に対応する測位標識データを含む地図取得モジュール702を含んでもよい。装置700は、乗物が領域を走行して通過する際に、領域に対する画像データをキャプチャするように構成されている画像キャプチャモジュール704をさらに含んでもよい。装置700は、乗物の推定された姿勢に基づいて、画像データと地図における測位標識データとをマッチングして、乗物の測位情報を決定するための測位情報決定モジュール706をさらに含んでもよい。
いくつかの実施例では、測位標識データは、予め決定され、測位標識データは、複数の測位標識に対する特徴データと地図における複数の3次元位置との間の関連性を指示する。
いくつかの実施例では、測位情報決定モジュール706は、画像データに基づいて、画像特徴点セットを決定するように構成されている画像特徴点決定モジュールと、測位標識データに基づいて、第1の特徴点セットを決定するように構成されている測位標識データ処理モジュールと、をさらに含む。測位情報決定モジュール706は、乗物の推定された姿勢に基づいて、画像特徴点セットと第1の特徴点セットとをマッチングして、乗物の測位情報を決定するように構成されている。
いくつかの実施例では、測位情報決定モジュール706は、画像データに基づいて、画像特徴点のサブセットを決定するように構成されている画像特徴点のサブセット決定モジュールと、複数の測位標識の中から、画像特徴点のサブセットに対応する少なくとも1つの測位標識を決定するように構成されている測位標識決定モジュールと、前記測位標識データに基づいて、少なくとも1つの測位標識に対応する第1の特徴点のサブセットを決定するように構成されている測位標識データ決定モジュールと、をさらに含む。測位情報決定モジュール706は、乗物の推定された姿勢に基づいて、画像特徴点のサブセットと第1の特徴点のサブセットとをマッチングして、乗物の測位情報を決定するように構成されている。
いくつかの実施例では、測位情報決定モジュール706は、乗物の推定された姿勢に基づいて、画像データ及び測位標識データのうちの少なくとも1つに対する調整プロセスを実行するように構成されているデータ調整モジュールと、調整プロセスの結果に基づいて、画像データと測位標識データとの間のマッチング程度を決定するように構成されているマッチング程度決定モジュールと、をさらに含む。測位情報決定モジュール706は、マッチング程度が所定の閾値より大きいことが決定されたことに応答して、測位標識の3次元位置に対して、乗物の測位情報を決定するように構成されている。
いくつかの実施例では、該領域の測位信号が制限されている。
いくつかの実施例では、複数の測位標識は、予め設定された距離に従って領域に配置され、予め設定された距離が複数の測位標識のうちの各測位標識の大きさに基づいて決定される。
いくつかの実施例では、地図取得モジュール702は、さらに、乗物が領域に入ろうとすることが決定されたことに応答して、領域に関連する地図を取得するように構成されている。
いくつかの実施例では、画像キャプチャモジュール704は、さらに、乗物の視覚センサによって画像データをキャプチャするように構成されている。
いくつかの実施例では、乗物の測位情報は、乗物の位置と姿勢とのうちの少なくとも1つを含む。
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本出願の実施例によれば、本出願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本出願によって提供される乗り物を測位するための方法を実行させる。
図8に示すように、本願の実施例に係る乗り物を測位するための方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/または要求される本願の実現を制限することを意図したものではない。
図8に示すように、該電子機器は、1つのまたは複数のプロセッサ801と、メモリ802と、高速インターフェースと低速インターフェースを含む、各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、または必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力/出力装置(例えば、インターフェースにカップリングされた表示機器)にGUIのグラフィック情報を表示するために、メモリ内またはメモリに記憶されている命令を含む、電子機器内に実行される命令を処理する。他の実施形態では、必要であれば、複数のプロセッサ及び/または複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の機器を接続することができ、各機器は、一部の必要な操作を(例えばサーババンク、1群のブレードサーバ、またはマルチプロセッサシステムとして)提供することができる。図8では、1つのプロセッサ801を例とする。
メモリ802は、本願に係る非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも1つのプロセッサが本願に係る乗り物を測位するための方法を実行するように、少なくとも1つのプロセッサによって実行可能な命令が記憶されている。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願の実施例に係る乗り物を測位するための方法を実行させるためのコンピュータ命令が記憶されている。
メモリ802は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例に係る乗り物を測位するための方法に対応するプログラム命令/モジュール(例えば、図7に示す地図取得モジュール702、画像キャプチャモジュール704及び測位情報決定モジュール706)のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するように構成される。プロセッサ801は、メモリ802に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記方法の実施例の乗り物を測位するための方法を実現する。
メモリ802は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、乗り物を測位するための電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ802は、高速ランダムアクセスメモリを含んでもよく、非一時的なメモリをさらに含んでもよく、例えば、少なくとも1つのディスクストレージデバイス、フラッシュメモリデバイス、または他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ802は、プロセッサ801に対して遠隔に設けられたメモリを含んでもよくこれらの遠隔メモリは、本実施例の乗り物を測位するための方法を実現するための電子機器にネットワークを介して接続されてもよい。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
本願の実施例の乗り物を測位するための方法を実現するための電子機器は、入力装置803及び出力装置804をさらに含んでもよい。プロセッサ801、メモリ802、入力装置803及び出力装置804は、バスまたは他の方式を介して接続することができ、図8では、バスを介して接続することを例とする。
入力装置803は、入力された数字またはキャラクタ情報を受信し、本願の実施例の乗り物を測位するための方法を実現するための電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成してもよく、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、1つのまたは複数のマウスキー、トラックボール、ジョイスティックなどの入力装置である。出力装置804は、表示機器、補助照明装置(例えば、LED)及び触覚フィードバック装置(例えばバイブラモータ)を含んでもよい。該表示機器は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ及びプラズマディスプレイを含んでもよいがこれらに限定されない。いくつかの実施形態では、表示機器は、タッチスクリーンであり得る。
ここで説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/またはそれらの組合せで実現することができる。これらの様々な実施形態は、1つまたは複数のコンピュータプログラムで実施されること、を含むことができ、該1つまたは複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び/または解釈でき、該プログラマブルプロセッサは、特定用途向けまたは汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、該ストレージシステム、該少なくとも1つの入力装置、及び該少なくとも1つの出力装置に伝送することができる。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも称される)は、プログラマブルプロセッサに対するマシン命令を含み、高レベル手続き型及び/または車両指向プログラミング言語、および/またはアセンブリ/マシン言語で実装することができる。本明細書で使用される際、「マシン可読媒体」及び「コンピュータ可読媒体」という用語は、マシン命令及び/またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/または装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))であり、マシン可読信号であるマシン命令を受信する機器可読媒体を含む。「マシン可読信号」という用語は、マシン命令及び/またはデータをプログラマブルプロセッサに提供するための任意の信号である。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、該コンピュータは、ユーザに情報を表示するための表示機器(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタと)、キーボード及びポインティングデバイス(例えば、マウスまたはトラックボール)とを有し、ユーザは、該キーボード及び該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられてもよい。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、(音響入力と、音声入力と、触覚入力と、を含む)任意の形態でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、またはミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、またはフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ、ユーザは、該グラフィカルユーザインタフェースまたは該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、及びフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態または媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されてもよい。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットと、を含む。
コンピュータシステムは、クライアント側とサーバと、を含むことができる。クライアント側とサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係が生成される。
本願の実施例の技術案によれば、領域に測位標識を配置することにより、乗物は、測位標識データを含む高精度地図、及びキャプチャされた、測位標識に関する画像を使用して高精度の測位を実現することができる。このようにして、測位信号が制限される領域では、他のハードウェアデバイスを付加的に配置することなく、乗物における既存の低コストハードウェアデバイス(例えば、視覚センサ)を利用すれば、該乗物の高精度の測位を実現することができる。また、領域における既存の物体を、測位を補助する測位標識として直接使用することができ、測位標識を増設する必要がないか、または、少量の測位標識だけを配置すればよく、該解決手段のトータルコストをさらに削減する。
なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、または削除することができることを理解されたい。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記の具体的な実施形態は、本願の保護範囲を制限するものではない。当業者は、設計要件及び他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換や改良などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (21)

  1. 乗物を測位するための方法であって、
    領域に関連する地図を取得するステップであって、前記領域が複数の測位標識を含み、前記地図が前記複数の測位標識に対応する測位標識データを含むステップと、
    前記乗物が前記領域を走行して通過する際に、前記領域に対する画像データをキャプチャするステップと、
    前記乗物の推定された姿勢に基づいて、前記画像データと前記地図における前記測位標識データとをマッチングして、前記乗物の測位情報を決定するステップと、を含み、
    前記乗物の測位情報を決定するステップが、
    前記乗物の推定された姿勢に基づいて、前記画像データと前記測位標識データとのうちの少なくとも1つに対する調整プロセスを実行するステップと、
    前記調整プロセスの結果に基づいて、前記画像データと前記測位標識データとの間のマッチング程度を決定するステップと、
    前記マッチング程度が所定の閾値より大きいことが決定されたことに応答して、前記測位標識の3次元位置に対して、前記乗物の前記測位情報を決定するステップと、を含む、
    ことを特徴とする乗物を測位するための方法。
  2. 前記測位標識データは、予め決定され、前記測位標識データは、前記複数の測位標識に対する特徴データと前記地図における複数の3次元位置との間の関連性を指示する、
    ことを特徴とする請求項1に記載の方法。
  3. 前記乗物の前記測位情報を決定するステップは、
    前記画像データに基づいて、画像特徴点セットを決定するステップと、
    前記測位標識データに基づいて、第1の特徴点セットを決定するステップと、
    前記乗物の推定された姿勢に基づいて、前記画像特徴点セットと前記第1の特徴点セットとをマッチングして、前記乗物の測位情報を決定するステップと、を含む、
    ことを特徴とする請求項1に記載の方法。
  4. 前記乗物の前記測位情報を決定するステップは、
    前記画像データに基づいて、画像特徴点のサブセットを決定するステップと、
    前記複数の測位標識の中から、前記画像特徴点のサブセットに対応する少なくとも1つの測位標識を決定するステップと、
    前記測位標識データに基づいて、前記少なくとも1つの測位標識に対応する第1の特徴点のサブセットを決定するステップと、
    前記乗物の前記推定された姿勢に基づいて、前記画像特徴点のサブセットと前記第1の特徴点のサブセットとをマッチングして、前記乗物の測位情報を決定するステップと、を含む、
    ことを特徴とする請求項1に記載の方法。
  5. 前記領域の測位信号が制限されている、
    ことを特徴とする請求項1に記載の方法。
  6. 前記複数の測位標識が予め設定された距離に従って前記領域に配置され、前記予め設定された距離が前記複数の測位標識のうちの各測位標識の大きさに基づいて決定される、
    ことを特徴とする請求項1に記載の方法。
  7. 前記地図を取得するステップは、
    前記乗物が前記領域に入ろうとすることが決定されたことに応答して、前記領域に関連する前記地図を取得するステップを含む、
    ことを特徴とする請求項1に記載の方法。
  8. 前記画像データをキャプチャするステップは、前記乗物の視覚センサによって前記画像データをキャプチャするステップを含む、
    ことを特徴とする請求項1に記載の方法。
  9. 前記乗物の前記測位情報は、前記乗物の位置と姿勢とのうちの少なくとも1つを含む、
    ことを特徴とする請求項1に記載の方法。
  10. 乗物を測位するための装置であって、
    領域に関連する地図を取得するように構成されている地図取得モジュールであって、前記領域が複数の測位標識を含み、前記地図が前記複数の測位標識に対応する測位標識データを含む地図取得モジュールと、
    前記乗物が前記領域を走行して通過する際に、前記領域に対する画像データをキャプチャするように構成されている画像キャプチャモジュールと、
    前記乗物の推定された姿勢に基づいて、前記画像データと前記地図における前記測位標識データとをマッチングして、前記乗物の測位情報を決定するように構成されている測位情報決定モジュールと、を含み、
    前記測位情報決定モジュールが、
    前記乗物の推定された姿勢に基づいて、前記画像データと前記測位標識データとのうちの少なくとも1つに対する調整プロセスを実行するように構成されているデータ調整モジュールと、
    前記調整プロセスの結果に基づいて、前記画像データと前記測位標識データとの間のマッチング程度を決定するように構成されているマッチング程度決定モジュールと、を含み、
    前記測位情報決定モジュールが、前記マッチング程度が所定の閾値より大きいことが決定されたことに応答して、前記測位標識の3次元位置に対して、前記乗物の前記測位情報を決定するように構成されている、
    ことを特徴とする乗物を測位するための装置。
  11. 前記測位標識データは、予め決定され、前記測位標識データは、前記複数の測位標識に対する特徴データと前記地図における複数の3次元位置との間の関連性を指示する、
    ことを特徴とする請求項1に記載の装置。
  12. 前記測位情報決定モジュールが、
    前記画像データに基づいて、画像特徴点セットを決定するように構成されている画像特徴点決定モジュールと、
    前記測位標識データに基づいて、第1の特徴点セットを決定するように構成されている測位標識データ処理モジュールと、をさらに含み、
    前記測位情報決定モジュールが、前記乗物の推定された姿勢に基づいて、前記画像特徴点セットと前記第1の特徴点セットとをマッチングして、前記乗物の測位情報を決定するように構成されている、
    ことを特徴とする請求項1に記載の装置。
  13. 前記測位情報決定モジュールが、
    前記画像データに基づいて、画像特徴点のサブセットを決定するように構成されている画像特徴点のサブセット決定モジュールと、
    前記複数の測位標識の中から、前記画像特徴点のサブセットに対応する少なくとも1つの測位標識を決定するように構成されている測位標識決定モジュールと、
    前記測位標識データに基づいて、前記少なくとも1つの測位標識に対応する第1の特徴点のサブセットを決定するように構成されている測位標識データ決定モジュールと、をさらに含み、
    前記測位情報決定モジュールが、前記乗物の前記推定された姿勢に基づいて、前記画像特徴点のサブセットと前記第1の特徴点のサブセットとをマッチングして、前記乗物の測位情報を決定するように構成されている、
    ことを特徴とする請求項1に記載の装置。
  14. 前記領域の測位信号が制限されている、
    ことを特徴とする請求項1に記載の装置。
  15. 前記複数の測位標識が予め設定された距離に従って前記領域に配置され、前記予め設定された距離が前記複数の測位標識のうちの各測位標識の大きさに基づいて決定される、
    ことを特徴とする請求項1に記載の装置。
  16. 前記地図取得モジュールが、さらに、前記乗物が前記領域に入ろうとすることが決定されたことに応答して、前記領域に関連する前記地図を取得するように構成されている、
    ことを特徴とする請求項1に記載の装置。
  17. 前記画像キャプチャモジュールが、さらに、前記乗物の視覚センサによって前記画像データをキャプチャするように構成されている、
    ことを特徴とする請求項1に記載の装置。
  18. 前記乗物の前記測位情報は、前記乗物の位置と姿勢とのうちの少なくとも1つを含む、
    ことを特徴とする請求項1に記載の装置。
  19. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は前記少なくとも1つのプロセッサが請求項1~のいずれかに記載の方法を実行できるように、前記少なくとも1つのプロセッサによって実行される、
    ことを特徴とする電子機器。
  20. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項1~のいずれかに記載の方法を実行させる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  21. コンピュータプログラムであって、
    前記コンピュータプログラムは、コンピュータに請求項1~のいずれかに記載の方法を実行させる、
    ことを特徴とするコンピュータプログラム。
JP2021111532A 2020-07-20 2021-07-05 乗物を測位するための方法、装置、機器及び記憶媒体 Active JP7328282B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010700675.2 2020-07-20
CN202010700675.2A CN111833717B (zh) 2020-07-20 2020-07-20 用于定位交通工具的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
JP2021156905A JP2021156905A (ja) 2021-10-07
JP7328282B2 true JP7328282B2 (ja) 2023-08-16

Family

ID=72924376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021111532A Active JP7328282B2 (ja) 2020-07-20 2021-07-05 乗物を測位するための方法、装置、機器及び記憶媒体

Country Status (5)

Country Link
US (1) US11828604B2 (ja)
EP (1) EP3889545A3 (ja)
JP (1) JP7328282B2 (ja)
KR (1) KR20210097656A (ja)
CN (1) CN111833717B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112596027A (zh) * 2020-11-06 2021-04-02 广州艾目易科技有限公司 一种隧道内列车高精度定位方法及系统
CN112556701A (zh) * 2020-12-23 2021-03-26 北京嘀嘀无限科技发展有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN113591847B (zh) * 2021-07-28 2022-12-20 北京百度网讯科技有限公司 一种车辆定位方法、装置、电子设备及存储介质
CN114125721A (zh) * 2021-11-16 2022-03-01 长江师范学院 基础设施受限场景下基于车辆运动状态的车辆定位方法
CN114111817B (zh) * 2021-11-22 2023-10-13 武汉中海庭数据技术有限公司 基于slam地图与高精度地图匹配的车辆定位方法及系统
KR102670522B1 (ko) * 2021-12-08 2024-05-31 (주)시스콘로보틱스 다중 관성측정장치와 카메라 센서 융합기반 위치 인식을 이용한 로더 용량별 결합이 가능한 자율주행 무인 운반차
CN114419187B (zh) * 2021-12-23 2023-02-24 北京百度网讯科技有限公司 地图构建方法、装置、电子设备和可读存储介质
CN114646320B (zh) * 2022-02-09 2023-04-28 江苏泽景汽车电子股份有限公司 一种路径引导方法、装置、电子设备及可读存储介质
CN114840626A (zh) * 2022-05-13 2022-08-02 阿波罗智联(北京)科技有限公司 高精地图数据处理方法、行车导航方法及相关装置
CN114623823B (zh) * 2022-05-16 2022-09-13 青岛慧拓智能机器有限公司 一种融合里程计的uwb多模态定位系统、方法及装置
CN115661395B (zh) * 2022-12-27 2023-04-11 安徽蔚来智驾科技有限公司 车位建图方法、车辆及存储介质
CN117360588B (zh) * 2023-10-24 2024-05-24 武汉理工大学 一种基于光栅阵列的列车识别及定位方法、装置和设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045364A (ja) 2017-09-05 2019-03-22 ソニー株式会社 情報処理装置、自己位置推定方法、及び、プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5168601B2 (ja) * 2010-03-31 2013-03-21 アイシン・エィ・ダブリュ株式会社 自車位置認識システム
EP3130945B1 (en) * 2015-08-11 2018-05-02 Continental Automotive GmbH System and method for precision vehicle positioning
US9727793B2 (en) 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
CN106323288A (zh) * 2016-08-01 2017-01-11 杰发科技(合肥)有限公司 一种交通工具的定位和搜寻方法、装置以及移动终端
JP2018031616A (ja) 2016-08-23 2018-03-01 住友電気工業株式会社 位置検出システム、車載装置、中央装置および位置検出プログラム
JP7050683B2 (ja) * 2016-08-26 2022-04-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元情報処理方法及び三次元情報処理装置
CN107024980A (zh) 2016-10-26 2017-08-08 阿里巴巴集团控股有限公司 基于增强现实的用户位置定位方法及装置
CN108230379B (zh) 2017-12-29 2020-12-04 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
KR102420476B1 (ko) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN110969055B (zh) * 2018-09-29 2023-12-19 阿波罗智能技术(北京)有限公司 用于车辆定位的方法、装置、设备和计算机可读存储介质
CN110136199B (zh) * 2018-11-13 2022-09-13 北京魔门塔科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN110954112B (zh) * 2019-03-29 2021-09-21 北京初速度科技有限公司 一种导航地图与感知图像匹配关系的更新方法和装置
CN110095752B (zh) * 2019-05-07 2021-08-10 百度在线网络技术(北京)有限公司 定位方法、装置、设备和介质
CN110017841A (zh) * 2019-05-13 2019-07-16 大有智能科技(嘉兴)有限公司 视觉定位方法及其导航方法
CN111220154A (zh) * 2020-01-22 2020-06-02 北京百度网讯科技有限公司 车辆定位方法、装置、设备和介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045364A (ja) 2017-09-05 2019-03-22 ソニー株式会社 情報処理装置、自己位置推定方法、及び、プログラム

Also Published As

Publication number Publication date
CN111833717A (zh) 2020-10-27
US20210326640A1 (en) 2021-10-21
EP3889545A3 (en) 2022-05-18
KR20210097656A (ko) 2021-08-09
US11828604B2 (en) 2023-11-28
JP2021156905A (ja) 2021-10-07
CN111833717B (zh) 2022-04-15
EP3889545A2 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
JP7328282B2 (ja) 乗物を測位するための方法、装置、機器及び記憶媒体
JP7262545B2 (ja) 車両位置の判定方法、車両位置の判定装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
US11675092B2 (en) Accuracy of global navigation satellite system based positioning using high definition map based localization
US10962366B2 (en) Visual odometry and pairwise alignment for high definition map creation
US11105638B2 (en) Method, apparatus, and computer readable storage medium for updating electronic map
CN110595494B (zh) 地图误差确定方法和装置
US10240934B2 (en) Method and system for determining a position relative to a digital map
JP5116555B2 (ja) 位置標定装置、位置標定システム、標定サーバ装置および位置標定方法
JP7241057B2 (ja) 車両測位方法、装置、電子機器、車両及び記憶媒体
CN110542436B (zh) 车辆定位系统的评测方法、装置、设备及存储介质
KR102564430B1 (ko) 차량의 제어 방법, 장치 및 차량
US11474193B2 (en) Camera calibration for localization
CN112147632A (zh) 车载激光雷达感知算法的测试方法、装置、设备和介质
US20220024482A1 (en) Method and apparatus for processing map data
CN112824936B (zh) 一种地物高度确定方法、装置、电子设备和介质
CN111766619A (zh) 一种道路标牌智能识别辅助的融合导航定位方法及装置
US20230115602A1 (en) Methods and Systems for Determining a Position and an Acceleration of a Vehicle
CN118444266A (zh) 雷达标定结果的验证方法、装置、存储介质和设备
CN112556701A (zh) 用于定位交通工具的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230803

R150 Certificate of patent or registration of utility model

Ref document number: 7328282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150