JP2023546813A - 自律車両用途のための速度推定および物体追跡 - Google Patents
自律車両用途のための速度推定および物体追跡 Download PDFInfo
- Publication number
- JP2023546813A JP2023546813A JP2023520411A JP2023520411A JP2023546813A JP 2023546813 A JP2023546813 A JP 2023546813A JP 2023520411 A JP2023520411 A JP 2023520411A JP 2023520411 A JP2023520411 A JP 2023520411A JP 2023546813 A JP2023546813 A JP 2023546813A
- Authority
- JP
- Japan
- Prior art keywords
- velocity
- sensing system
- movement
- return points
- physical object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims description 76
- 239000013598 vector Substances 0.000 claims description 57
- 230000008447 perception Effects 0.000 claims description 34
- 230000001427 coherent effect Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 8
- 239000004575 stone Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013479 data entry Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
1つの実装において、自律車両(AV)の感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、ことをし、複数の戻り点のそれぞれの速度値および1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、動きが、剛体の並進運動および回転運動の組み合わせである、ことをし、物理的対象の動きを考慮して、AVの運転経路を決定させる、方法が開示されている。
自律車両は、光検出および測距(lidar、ライダー)技術を用いて、環境中の様々な物体までの距離、および時には、こうした物体の速度を検出することができる。ライダーは、物体まで移動する1つ以上のレーザー信号(パルス)を放射し、その後、物体から反射された到着信号を検出する。信号放射と反射波の到着との間の時間遅延を決定することによって、飛行時間(ToF)ライダーは、物体までの距離を決定することができる。典型的なライダーは、外部環境の広い視野を得るために、複数の方向に信号を放射する。例えば、ライダー装置は、スキャンすることによって360度視野全体をカバーし、タイムスタンプで識別された一連の連続フレームを収集することができる。結果として、空間の各セクタは、ライダーのスキャンスピードの角速度によって決定される、時間増分Δτで感知される。本明細書で使用される「フレーム」または「感知フレーム」は、ライダーのスキャンで取得された環境の360度視野全体、または代替的に、任意のより小さなセクタ、例えば、1度、5度、10度、またはスキャンサイクル(回転)の小部分で、もしくは限定された角度をカバーするように設計されたスキャンで得られた任意の他の角度を指すことができる。
(以下、「速度」)によって説明されうる並進運動と、角速度
(以下、「角速度」)によって説明されうる回転運動との組み合わせとして説明されうる。最も一般的な場合、2つのベクトル速度は、6つの値、例えば、デカルト座標(または、代替的に、円筒形、球形、または任意の他の座標系)における、速度
の3つの成分および角速度
の3つの成分に等しい。以下で開示するように、速度についての情報は、AVの感知システムの単一フレームから決定することができる。フレームは、(異なる感知信号の反射に対応する)戻り点のメッシュを含むことができ、各戻り点(「点」)Pは、既知の座標(例えば、ライダートランスミッタの方向データおよび反射感知信号のToFから抽出されたレンジデータから既知)、および各点Pに対応する反射面の動径速度成分(本明細書では「動径速度」)Vr(P)(例えば、反射信号のドップラー周波数/位相シフトからコヒーレントライダーセンサによって抽出される)を含む。複数の点の座標および動径速度を、
および
によってパラメータ化された剛体方程式にフィッティングすることによって、処理装置(例えば、AVのデータ処理システムおよび/またはAVの知覚システムを実行する処理装置)は、例えば、様々なフィッティングアルゴリズムを使用して、単一のフレームに基づいて、速度および角速度の成分の一部または大部分の値を決定することができる。
および回転速度
を識別(例えば、距離および速度測定値の精度によって決定される正確さで推定)してもよい。一部の実装では、
および
の識別は、単一の感知フレームに基づいて実施することができる。一部の実装では、
および
の完全な識別は、複数の感知フレームを使用して実施することができる。一部の実装では、異なる感知フレーム(異なるタイムスタンプを有する感知フレーム)からの点のクラスタを使用して、物体の動きを追跡するために速度推定を使用しうる。
で並進し、物体210は角度Δφでこの基準点の周りを回転する。平坦な運転環境では、単一成分値Δφで回転運動を説明することが十分でありうるが、非平坦な3D(特に、飛行または航海)環境では、回転角度は、その3つの成分がそれぞれピッチ角、ヨー角、およびロール角を説明する、ベクトル
でありうる。物体210の角速度は、物体210が回転している(回っている)速度
を特徴付ける。基準点の線速度は、同様に、物体210が並進している速度
を決定する。物体210が剛直であることを条件として、何らかの基準点O(座標
および線速度
の知識は、以下でより詳細に説明するように、他の点の速度の決定を可能にする。
の成分と等しい動径速度Vr(j)を含みうる。動径速度は、センサ206に向かう(またはセンサ206から離れる)(単位ベクトル
で説明される)方向に沿ったベクトル速度の成分である:
一部の実装では、戻り点の一部のみが動径速度値を含むことができる。例えば、ToFレンジ測定は、各戻り点に対して実施することができるが、点の一部(例えば、5個目ごとに、10個目ごとになど)のみが、コヒーレントライダーで探られ、速度データを含むことができる。動径速度Vr(j)は、AV202の基準フレームで測定された速度である。よって、一般的な場合にはAV202も移動しているため、測定された速度Vr(j)は、地面に対するそれぞれの物理的反射点の速度とは異なることがあり、これはその後、AV202フレームで測定された物体210の速度を、地面に対するAV202の速度(例えば、速度計/オドメーターデータ、地図/GPSデータなどから独立して知られうる)に、(ベクトル形式で)加えることによって決定することができる。位置212(2)で、物体220は、同様に、センサ206によって出力される信号(破線によって示される)の新しいセットを反射し、第二のフレームのいくつかの戻り点を生成することができる。セグメンテーションモジュール182は、様々なセグメンテーションおよび点群マッピングアルゴリズムを実行して、運転環境内の様々な物体に対応する点のクラスタを出力しうる。
で移動しながら(例えば、前方に移動している)、同時に角速度
で回転している(例えば、左折している)物体310(例えば、車、トラックなど)が描写されている。また、センサ306がその上に取り付けられたAV302の一部も示す。センサ306は、外部(AV302に対して)環境を探る感知(例えば、レーザー、レーダーなど)信号を送信および受信する能力がある走査トランスミッタ/レシーバ308を含みうる。トランスミッタ308の単一サイクルに対応する1つの感知フレームは、物体310の様々な反射領域(黒丸で描写される)から複数の戻り点を生成することができる。
、球座標
円筒座標
、または任意の他の座標系など、任意の適切な座標系におけるものでありうる;など、感知信号320から抽出されうる様々なデータを含むことができ、座標系の原点は、示されるように、トランスミッタ/レシーバ308と関連付けられうる。戻り点はまた、動径速度Vr、感知信号320に関連付けられたタイムスタンプτ(例えば、信号放射または戻りの時間)、返された信号の強度、および放射および/または受信信号の偏波などの他の情報などの、データを含みうる。戻り点330に関連付けられたデータのみが、図3に描写されているが、黒丸で描写される反射領域に関連付けられた他の戻り点は、同じまたは類似のタイプの情報を含みうる。物体310は回転しているのでありうるため、反射領域のそれぞれの速度
、
、
、
...は、互いに異なりうる。対応して、各戻り点に関連付けられた検出された動径速度Vr(1)、Vr(2)、Vr(3)、Vr(4)...は、同様に互いに異なりうる。検出された動径速度のこの差異は、物体310の全動きの推定のためにVEM133によって使用されうる。
を有する物体の要素の速度は、剛体方程式から得られうる:
式中、
は、何らかの基準点の動径ベクトルである。基準点は、物体の任意の要素、例えば、戻り点(3)または任意の他の戻り点と関連付けられた要素とすることができる。以下のものとして任意の他の基準点O’に対して同じ剛体方程式が存在するため、基準点Oの選択は任意とすることができる。
式中、
は、他の基準点O’の線速度である。基準点が変更されると線速度は変化するが、角速度は基準点の選択から独立している。この独立性は、利便性(例えば、感知システム120によって検出された点のクラスタの中心の近く)に基づいて基準点を選択するための、さらなる柔軟性を提供する。
および角速度
を有する、移動および回転する物体410(例えば、車、飛行機、オートバイの本体など)が概略的に描写されている。示されているのは、例えば、AVに対して固定された方向を有する任意の軸で、AV(図示せず)と関連付けられうる、固定された座標系x,y,zである。基準点
は、戻り点のクラスタ内で(ある任意の様式で)選択されうる。基準点
は、戻り点の任意のクラスタに対して独立して選択することができる。例えば、AVに対して真っ直ぐ前方に位置するトラックに対応する点の第一のクラスタは、1つの基準点(例えば、クラスタの中央のある点)を使用して分析することができる一方、AVの左側に位置する車に対応する点の第二のクラスタは、全く異なる基準点
を使用して分析することができる。
の方向に対して平行であり、軸tが軸rに対して垂直であり、かつ水平面xyに対して平行であり、軸sが第一の軸および第二の軸の両方に対して垂直である、座標系r,s,tである。動径ベクトル
の極角θおよび方位角φに関する、第二の座標系の軸の方向(単位ベクトル)は、以下の通りである。
と、戻り点の動径ベクトル
の方向に沿った単位ベクトルとの点乗積
であり、式中、Rは動径ベクトルの大きさ(例えば、センサから戻り点までの距離)である。剛体方程式によれば、動径速度は以下の通りである。
座標系r,s,tにおいて、動径ベクトル
、および角速度
とすると、クロス積は
である。第二の座標系(
として)を使用して表される動径ベクトル
でクロス積の点乗積を計算して、動径速度は、以下のように表すことができる。
単一の(剛体)物体に対応するN点j=1、2、3...Nのクラスタは、N個の既知の動径ベクトル
およびN個の既知の動径速度Vr(j)を有しうる。よって、VEM133は、N線形方程式を形成することができ、
これは、並進速度の動径成分V0r、ならびにそれぞれ並進速度の1つの横方向成分および角速度の1つの横方向成分で構成された2つの組み合わせV0s-R0ΩtおよびV0t+R0Ωsなどの、3つの未知の量についてである。
これは、測定された動径速度Vr(j)と、評価された動径速度Vr(X1,X2,X3)、例えばVr(X1,X2,X3)=(rX1+sX2+tX3)/Rとの間のものである。このスキームでは、異なる戻り点jは同一に重み付けされるが、他の実装では、様々な点jに異なる重み付けをすることができる。例えば、センサにより近い点(より小さな距離R)は、センサからより遠く離れている点よりも多く重み付けされうる。
は、時間Δτ後に、(同じ第二の座標系における)新しい位置と関連付けられることが予想される。
成分では、これは(各点jについて)以下のようになる。
よって、第二のフレームは、6つの独立変数(V0r,V0s,V0t,Ωr,Ωs,Ωt)を決定するために使用されうる方程式の数を最大4Nにする、最大3Nの追加の線形方程式を提供することができる。提供されたデータの優決定特性は、上述の損失関数、または他の統計解析方法による、より正確な速度判定のために使用することができる。
は、オイラー角で、またはベクトル角速度
を一意に識別する任意の他の適切な選択で特徴付けることができる。
で(例えば、t軸に沿って)水平に移動しながら、同時に角速度
で放射軸rの周りを回転している物体510(例えば、車、トラックなど)が描写されている。示されるように、角速度は、物体510がその上を移動している不均一な地形によって、生じる。上述のように、単一フレーム(例えば、第一のフレーム512)の動径速度測定の測定値は、角速度Ωrに対して依存しないのでありうる一方で、横速度V0tは、角速度成分Ωsからの曖昧性解消を必要としうる。物体510の新しい位置511に対応する第二のフレーム513は、AV502上に取り付けられたセンサ506によって取得されうる。第二のフレーム513を取得するセンサ506は、第一のフレーム512を取得するセンサ、例えば、ライダーセンサ(複数可)122と同じセンサでありうる。別の方法として、または追加的に、第二のフレーム513は、カメラ(複数可)119によって取得されうる。捕捉された画像は、放射軸の周りの物体の回転角度を示すことができ、上述のように、角速度Ωsから横速度V0tをさらに曖昧性解消することができる。
および角速度
だけでなく、物体の並進座標
(例えば、物体に関連付けられたある基準点の座標)および角座標
(基準点に対する本体の回転の角度)を動的に追跡することができる。よって、1つの実装において、時間τにおける物体の状態は、例えば以下の、状態ベクトルによって特徴付けられうる。
d次元空間では、状態ベクトルは5d-4個の成分を有しうる。例えば、平坦な表面(または既知の地形を有する表面)上の車の平面(二次元)運動は、6つの成分、すなわち、動径ベクトル
の2つの成分(物体の回転中心の動径ベクトル
と同じかまたは異なりうる)、1つの回転角φ、線速度
の2つの成分、および1つの角速度
によって特徴付けられうる。同様に、物体(例えば、航空機)の完全な三次元運動は、11個の成分、すなわち、動径ベクトル
の3個の成分、物体の向きを説明する単位ベクトル
の2個の成分、線速度
の3個の成分、および角速度
の3個の成分によって特徴付けられうる。状態
に基づいて、時間
の後続インスタンスにおける状態は、差分方程式
から予測されえ、式中、
は、状態遷移行列であり、
は、系の線形および角加速度を説明するための制御入力行列であり、
は、対応するベクトルであり、
は、物体の動きのノイズ(例えば、ガウスノイズ)を説明する。状態遷移行列
および制御入力行列
は、運動の様々な方程式を具体化することができ、例えば、
は並進運動について、および同様に、
は回転運動についてである。量
、
、
、および
は、ノイズ
のそれぞれの成分を表す。
これは、追跡される物体に対応するクラスタのN点(下付き文字jで列挙される)のそれぞれに対して、d個の空間座標、
、および1つの動径速度成分Vj(τ)があるため、(d+1)N次元ベクトルでありうる。データベクトル
は、以下の状態ベクトルによって決定され、
これは、測定行列
(例えば、剛体方程式を使用して計算されうる)に関するものであり、ランダム測定ノイズ
次第である。
から、後の時間における物体の状態ベクトルの予測(推定)、
を行い、実際の測定データ
を取得し、推定された状態に基づいて、予想される測定データとの差、
を識別し、状態ベクトルの推定を改善することによって、実施することができ、
1つの実装では、カルマンゲイン行列
を使用しており、これは寸法(5d-4)×(Nd+N)を有する矩形行列でありうる。カルマンゲイン行列は、予想される測定データと実際の測定データとの間の差を最小化することによって、最小二乗誤差法を使用して取得してもよい。カルマンゲイン行列は、状態ベクトルの成分の分布を特徴付ける共分散行列、および測定ノイズを特徴付ける共分散行列を介して表すことができる。追跡の各ステップでは、新しい感知フレームが利用可能になるとき、VEM133は、1)以前の推定
に基づいて、新しい予想状態ベクトル
を生成する;2)測定データ
を取得する、3)(現在の反復τについて)カルマンゲイン行列を使用して、状態ベクトルの改善された推定
を取得する;4)状態ベクトルのその期待値からの偏差、
に対する、共分散行列
、および、ことによると、測定ノイズに対する共分散行列を取り込む;5)(現在の反復τについて)カルマンゲイン行列を使用して、改善された共分散行列を取得する;6)改善された共分散行列に基づいて、および動きの方程式(状態遷移行列)を使用して、次の反復τ+Δτに対する新しい共分散行列を生成する;など、などの動作を、物体が追跡され続ける限り実施することができる。
に対して、第二のセンサの最も近い戻り点
を識別し、2つの点を物体610の同じ反射部分と関連付けることができる。一部の実装では、処理論理は、反射部分が中間点
に位置すると近似することができる。
、および第二のセンサ607の視野の方向
上に別々に投影することができる。2つのそれぞれの動径速度(+符号は第一のセンサからの方向に対応し、-符号は第二のセンサからの方向に対応する)は、
であり、式中、
、および
である。各点について、2つの動径速度方程式があるため、3つの点は潜在的に、物体610の並進速度および角速度の6つの成分すべてを決定しうる。2つの動径方向は互いに異なっているため、得られる方程式の系に潜在変数は存在しない。移動している剛性物体当たり3つを超える点が利用可能である場合、完全な速度決定の正確さを改善するために統計解析の方法を使用することができる。点の所与のクラスタ内の複数の物体のセグメンテーションおよび検出、仮説の形成および検証、物体追跡など、単一センサセットアップに関連して上述した他の方法は、マルチセンサセットアップにおいても使用することができる。例えば、マルチセンサデータを使用してVEM133によって再構成された横速度に基づいて、知覚システム132は、類似の動径速度を有するが別個の横速度を有する物体(例えば、反対の方向にすれ違う車両)を、分離することができる。一部の場合、横速度決定の正確さは、レンジに固有であり、物体に対してより短い距離ではより高く、より長いレンジではより低くなりうる。例えば、動径速度が精度δVrで既知である(つまり、実際の速度が[Vr-δVr,Vr+ δVr]の区間内にあることを測定値Vrが示す)場合、横速度Vs(またはVt)は、以下の正確さで決定することができる。
例えば、δVr=0.1 m/sで、ライダーセンサ406および407が距離2a=1.2 mに位置する場合、距離R=60 mでの横速度決定の正確さは、δVx=5.0 m/sとなる。こうした精度は、反対の方向に移動する車両を(単一の感知フレームに基づいて)区別するために、または車と自転車(もしくは歩行者)をそれらの動きの方向に関係なく区別するために、非常に満足のいくものでありうる。
の3つの成分、および(2)物体の回転(角)速度
の3つの成分とすることができる。追加の変数には、回転中心の座標を含みうる。
を推定することを進めることができる。状態ベクトルは、物体の並進速度
(例えば、選択された座標系軸に沿った
の成分)および物体の回転(例えば、角)速度
(例えば、
の成分)を含みうる。状態ベクトルは、第一の複数の戻り点の中心付近のある中心点など、物体に関連付けられたある点
の座標をさらに含みうる。一部の実装では、点
は、物体の回転中心
とすることができる。並進運動の速度は、この回転中心と共に定義されうる。例えば、速度
は、回転中心の速度とすることができる。一部の実装では、状態ベクトルは、物体のロール角、ピッチ角、および/またはヨー角など、物体の様々な回転自由度をさらに含むことができる。任意の座標系(例えば、球、円筒、楕円などの座標系など、曲線系を含む)を使用することができる。
は、フレーム-Δτ,τ-2Δτなどを使用して取得された(反復追跡の一部としての)以前の感知データに基づいて推定されうる。例えば、状態ベクトル
の推定値は、第一の複数の戻り点と比較して、より早い時点τ-Δτで取得された第二の複数の戻り点に、少なくとも部分的に基づきうる。
を取得することを進めることができる。誤差測定は、(特に)第一の複数の戻り点の測定された速度値と、推定された状態ベクトルに基づいて予測された、第一の複数の戻り点の速度値との間の平均二乗誤差(差)を含みうる。一部の実装では、改善された状態ベクトル
を取得することには、物体の状態ベクトルの成分に対して推定共分散行列を使用することを含みうる。一部の実装では、改善された状態ベクトルを取得することには、カルマンフィルターを使用することを含みうる。一部の実装では、ブロック910、920、および930の動作は、例えば、物体が大きな距離にそれる、他の物体によって隠されるなどまで、所望の時間枠にわたって物体を追跡するために、フレームτ+Δτ,τ+2Δτ、τ+3Δτなどについて取得された追加的戻り点に対して繰り返されることができる。各追跡反復において、状態ベクトルおよび共分散に加えて、カルマンゲイン行列、測定ノイズ共分散行列、物体の動きノイズ共分散行列など、様々な他の補助量を使用および更新することができる。
Claims (20)
- 自律車両(AV)の感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、前記感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、ことと、
前記複数の戻り点のそれぞれの前記速度値および前記1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、前記動きが、剛体の並進運動と回転運動との組み合わせである、ことと、
前記物理的対象の前記動きを考慮して、前記AVの運転経路を決定させることと、を含む、方法。 - 前記AVの前記感知システムが、コヒーレント光検出および測距装置(ライダー)を備え、前記感知システムによって放射される前記信号が、位相変調または周波数変調電磁波を含む、請求項1に記載の方法。
- 前記コヒーレントライダーが、周波数変調連続波ライダーである、請求項2に記載の方法。
- 前記速度値が、前記感知システムのトランスミッタから前記反射領域への方向に沿った前記反射領域の速度の成分である、請求項1に記載の方法。
- 前記複数の戻り点が、前記感知システムのトランスミッタの1サイクルに対応する第一の感知フレームに属する、請求項1に記載の方法。
- 前記識別された関連付けを使用して、前記物理的対象の動きの表現を決定することをさらに含み、前記動きの表現が、
前記物理的対象の並進速度の1つ以上の成分と、
前記物理的対象の角速度の1つ以上の成分と、を含む、請求項1に記載の方法。 - 前記動きの表現を決定することが、
1つ以上の潜在速度成分を識別することであって、潜在速度成分が、前記識別された関連付けを使用して、目標正確度を下回る正確さで決定された、前記物理的対象の前記並進速度の成分または前記物理的対象の前記角速度の成分である、ことと、
前記感知システムによって、複数の追加的戻り点を取得することと、
前記複数の追加的戻り点を使用して、前記1つ以上の潜在速度成分を決定することと、を含む、請求項6に記載の方法。 - 前記複数の戻り点が、前記感知システムのトランスミッタの1サイクルに対応する第一の感知フレームに属し、前記複数の追加的戻り点が、前記感知システムの前記トランスミッタの異なるサイクルに対応する第二の感知フレームに属する、請求項7に記載の方法。
- 前記複数の戻り点が、前記感知システムの第一のセンサによって取得され、前記複数の追加的戻り点が、前記感知システムの第二のセンサを使用して取得され、前記第二のセンサが、前記第一のセンサとは異なって位置する、請求項7に記載の方法。
- 前記剛体が、任意の2つの点の間の距離が固定された、物体である、請求項1に記載の方法。
- 前記物理的対象の前記動きとの前記関連付けを識別することが、
剛体方程式およびフィッティングパラメータのセットを使用して、前記複数の戻り点の各戻り点の前記速度値をフィッティングすることによって、前記フィッティングパラメータのセットを決定することであって、前記フィッティングパラメータのセットが、前記物理的対象の並進速度の少なくとも一部の成分、および前記物理的対象の角速度の少なくとも一部の成分を表す、ことを含む、請求項1に記載の方法。 - 自律車両(AV)の感知システムによって、第一の複数の戻り点を取得することであって、前記第一の複数の、各戻り点が、測定された速度値と、前記感知システムによって放射されたそれぞれの信号を反射する反射領域の1つ以上の測定された座標とを含む、ことと、
前記第一の複数の戻り点に対応する物体の状態ベクトルを推定することであって、前記状態ベクトルが前記物体の並進速度および前記物体の回転速度を含む、ことと、
誤差測定を最小化することによって、前記物体の改善された状態ベクトルを取得することであって、前記誤差測定が、前記第一の複数の戻り点の前記測定された速度値と、前記推定された状態ベクトルに基づいて予測された、前記第一の複数の戻り点の速度値との間の差に少なくとも部分的に基づいている、ことと、
前記AVの運転経路を、前記物体の前記改善された状態ベクトルを考慮して決定させることと、を含む、方法。 - 前記改善された状態ベクトルを取得することが、前記物体の前記状態ベクトルの成分に対して推定共分散行列を使用することを含む、請求項12に記載の方法。
- 前記状態ベクトルを推定することが、少なくとも部分的に、第二の複数の戻り点に基づいており、前記第二の複数の戻り点が、前記第一の複数の戻り点と比較して、より早い時間に取得されている、請求項13に記載の方法。
- 自律車両(AV)の感知システムであって、
各戻り点が速度値と前記感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、複数の戻り点を取得する、感知システムと、
前記AVの知覚システムであって、
前記複数の戻り点のそれぞれの前記速度値および前記1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、前記動きが剛体の並進運動と回転運動との組み合わせである、ことをし、
前記物理的対象の前記動きを考慮して、前記AVの運転経路を決定させる、知覚システムと、を備えるシステム。 - 前記感知システムが、コヒーレント光検出および測距装置(ライダー)を備え、前記感知システムによって放射される前記信号が、位相変調または周波数変調電磁波を含む、請求項15に記載のシステム。
- 前記知覚システムがさらに、
前記識別された関連付けを使用して、前記物理的対象の動きの表現を決定し、前記動きの表現が、
前記物理的対象の並進速度の1つ以上の成分と、
前記物理的対象の角速度の1つ以上の成分と、を含む、請求項15に記載のシステム。 - 前記動作の表現を決定するために、前記知覚システムが、
1つ以上の潜在速度成分を識別することであって、潜在速度成分が、前記識別された関連付けを使用して、目標正確度を下回る正確さで決定された、前記物理的対象の前記並進速度の成分または前記物理的対象の前記角速度の成分である、ことをし、
前記感知システムから、複数の追加的戻り点を受信し、
前記追加的戻り点の第二のサブセットと前記物理的対象との対応を識別し、
前記識別された対応を考慮して、前記1つ以上の潜在速度成分を決定する、請求項17に記載のシステム。 - 前記複数の戻り点が、前記感知システムの第一のセンサによって取得され、前記複数の追加的戻り点が、前記感知システムの第二のセンサを使用して取得され、前記第二のセンサが、前記第一のセンサとは異なって位置する、請求項18に記載のシステム。
- コンピューティング装置によって実行されるとき、前記コンピューティング装置に、
自律車両(AV)の感知システムによって、複数の戻り点を取得することであって、各戻り点が、速度値と、前記感知システムによって放射される信号を反射する反射領域の1つ以上の座標とを含む、ことをさせ、
前記複数の戻り点のそれぞれの前記速度値および前記1つ以上の座標と、物理的対象の動きとの関連付けを識別することであって、前記動きが、剛体の並進運動と回転運動との組み合わせである、ことをさせ、
前記物理的対象の前記動きを考慮して、前記AVの運転経路を決定させる、命令を格納する、非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/949,275 US20220128995A1 (en) | 2020-10-22 | 2020-10-22 | Velocity estimation and object tracking for autonomous vehicle applications |
US16/949,275 | 2020-10-22 | ||
PCT/US2021/056105 WO2022087308A1 (en) | 2020-10-22 | 2021-10-21 | Velocity estimation and object tracking for autonomous vehicle applications |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023546813A true JP2023546813A (ja) | 2023-11-08 |
JP7506829B2 JP7506829B2 (ja) | 2024-06-26 |
Family
ID=81258316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023520411A Active JP7506829B2 (ja) | 2020-10-22 | 2021-10-21 | 自律車両用途のための速度推定および物体追跡 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220128995A1 (ja) |
EP (1) | EP4204856A1 (ja) |
JP (1) | JP7506829B2 (ja) |
CN (1) | CN116348789A (ja) |
WO (1) | WO2022087308A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11841439B2 (en) * | 2020-11-02 | 2023-12-12 | Waymo Llc | Point cloud segmentation using a coherent lidar for autonomous vehicle applications |
US11702102B2 (en) * | 2020-11-19 | 2023-07-18 | Waymo Llc | Filtering return points in a point cloud based on radial velocity measurement |
CN117336678A (zh) * | 2022-06-23 | 2024-01-02 | 中兴通讯股份有限公司 | 车辆跟踪方法、装置、通信单元及存储介质 |
CN117163050B (zh) * | 2023-10-11 | 2024-03-22 | 成都睿芯行科技有限公司 | 一种基于运动模型的预测控制算法 |
CN117140536B (zh) * | 2023-10-30 | 2024-01-09 | 北京航空航天大学 | 一种机器人控制方法、装置和机器人 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7071867B2 (en) * | 2004-06-25 | 2006-07-04 | The Boeing Company | Method, apparatus, and computer program product for radar detection of moving target |
US8050863B2 (en) * | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
AU2010257107B2 (en) | 2009-02-20 | 2015-07-09 | Digital Signal Corporation | System and method for generating three dimensional images using lidar and video measurements |
JPWO2017038659A1 (ja) | 2015-09-01 | 2018-06-14 | 国立大学法人 東京大学 | 運動検出装置及びそれを用いた三次元形状測定装置 |
US9983301B2 (en) | 2015-10-02 | 2018-05-29 | Delphi Technologies, Inc. | Automated vehicle radar system to determine yaw-rate of a target vehicle |
WO2018128655A2 (en) * | 2016-09-25 | 2018-07-12 | Okeeffe James | Distributed laser range finder with fiber optics and micromirrors |
EP3252501B1 (en) * | 2016-06-03 | 2022-06-08 | Veoneer Sweden AB | Enhanced object detection and motion state estimation for a vehicle environment detection system |
US10845470B2 (en) * | 2016-11-16 | 2020-11-24 | Waymo Llc | Methods and systems for protecting a light detection and ranging (LIDAR) device |
JP6592852B2 (ja) * | 2017-09-07 | 2019-10-23 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
WO2019136479A1 (en) * | 2018-01-08 | 2019-07-11 | The Regents On The University Of California | Surround vehicle tracking and motion prediction |
EP3525000B1 (en) * | 2018-02-09 | 2021-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene |
US10906536B2 (en) * | 2018-04-11 | 2021-02-02 | Aurora Innovation, Inc. | Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle |
US11550061B2 (en) * | 2018-04-11 | 2023-01-10 | Aurora Operations, Inc. | Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data |
KR102157582B1 (ko) * | 2018-07-25 | 2020-09-18 | 안세찬 | 라이다 센서 기반의 보행자 안전관리 시스템 |
US11124196B2 (en) * | 2019-07-02 | 2021-09-21 | Mitsubishi Electric Research Laboratories, Inc. | Receding horizon state estimator |
US20210229657A1 (en) * | 2020-01-27 | 2021-07-29 | Ford Global Technologies, Llc | Detection of vehicle operating conditions |
US11879980B2 (en) * | 2020-06-22 | 2024-01-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method for road debris detection using low-cost LIDAR |
US11029395B1 (en) * | 2020-06-30 | 2021-06-08 | Aurora Innovation, Inc. | Systems and methods for pulsed-wave LIDAR |
-
2020
- 2020-10-22 US US16/949,275 patent/US20220128995A1/en active Pending
-
2021
- 2021-10-21 CN CN202180072499.5A patent/CN116348789A/zh active Pending
- 2021-10-21 JP JP2023520411A patent/JP7506829B2/ja active Active
- 2021-10-21 WO PCT/US2021/056105 patent/WO2022087308A1/en active Application Filing
- 2021-10-21 EP EP21883928.0A patent/EP4204856A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022087308A1 (en) | 2022-04-28 |
JP7506829B2 (ja) | 2024-06-26 |
CN116348789A (zh) | 2023-06-27 |
EP4204856A1 (en) | 2023-07-05 |
US20220128995A1 (en) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7506829B2 (ja) | 自律車両用途のための速度推定および物体追跡 | |
CN110389586B (zh) | 用于地面和自由空间探测的系统和方法 | |
US9898005B2 (en) | Driving path determination for autonomous vehicles | |
US11702102B2 (en) | Filtering return points in a point cloud based on radial velocity measurement | |
US11841439B2 (en) | Point cloud segmentation using a coherent lidar for autonomous vehicle applications | |
JP6224370B2 (ja) | 車両用コントローラ、車両システム | |
US20220146676A1 (en) | Doppler-assisted object mapping for autonomous vehicle applications | |
US11954411B2 (en) | High fidelity simulations for autonomous vehicles based on retro-reflection metrology | |
US20230038842A1 (en) | Association of camera images and radar data in autonomous vehicle applications | |
EP4102251A1 (en) | Determination of atmospheric visibility in autonomous vehicle applications | |
US20230384441A1 (en) | Estimating three-dimensional target heading using a single snapshot | |
CN116125356A (zh) | 自主载具应用中传感器的校准 | |
US20230244242A1 (en) | Detection of particulate matter in autonomous vehicle applications | |
US11753045B2 (en) | Modeling positional uncertainty of moving objects using precomputed polygons | |
EP4170606A1 (en) | Identification of real and image sign detections in driving applications | |
US20220194424A1 (en) | Autonomous vehicle trajectory computed using box-based probabilistic overlap model | |
US20220135074A1 (en) | Classification of objects based on motion patterns for autonomous vehicle applications | |
EP4374189A1 (en) | Radar data analysis and concealed object detection | |
US20240025446A1 (en) | Motion planning constraints for autonomous vehicles | |
US20240036168A1 (en) | Radar point cloud multipath reflection compensation | |
US20230184890A1 (en) | Intensity-based lidar-radar target | |
Alfasi | Radar and LIDAR based monitoring schemes for confined Border Area with superior technical capabilities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240614 |