JP6729673B2 - 複数車両の協力による交通イベントの位置特定 - Google Patents
複数車両の協力による交通イベントの位置特定 Download PDFInfo
- Publication number
- JP6729673B2 JP6729673B2 JP2018235823A JP2018235823A JP6729673B2 JP 6729673 B2 JP6729673 B2 JP 6729673B2 JP 2018235823 A JP2018235823 A JP 2018235823A JP 2018235823 A JP2018235823 A JP 2018235823A JP 6729673 B2 JP6729673 B2 JP 6729673B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- situation
- vehicle
- objects
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 58
- 230000009466 transformation Effects 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims 2
- 238000012795 verification Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 description 30
- 230000015654 memory Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000004807 localization Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/091—Traffic information broadcasting
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Atmospheric Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
本出願は、「LOCALIZING TRAFFIC SITUATION USING MULTI-VEHICLE COLLABORATION」と題し、2018年1月13日に出願された米国特許出願第15/870,870号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。
通に影響を与えるイベントを指す)の位置を特定することに関する。より具体的な例では、本開示は、複数の協力車両からのデータを使用して、道路上の交通状況の位置を特定する技術に関する。
車両から画像を含む状況データを受信するステップと、車両の中から地理的領域内に位置する1つまたは複数の車両の状況データに含まれる画像を画像クラスタの中にクラスタリングするステップと、画像クラスタの1つまたは複数の画像内に1つまたは複数の関連状況物体を配置するステップと、画像クラスタ内の異なる車両からの画像を照合するステップであって、一致した画像が1つまたは複数の関連状況物体の1つまたは複数の対応する特徴を有する、ステップと、一致した画像内の1つまたは複数の関連状況の1つまたは複数の対応する特徴を使用して、一致した画像のうちの少なくとも1つに関連付けられた対象車両のセンサ位置に対する1つまたは複数の関連状況物体の3次元(3D)センサ座標を特定するステップと、一致した画像に関連付けられた異なる車両の地理的位置データを使用して、1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換するステップと、1つまたは複数の関連状況物体の地理的位置座標に基づいて、交通状況のカバレージエリアを特定するステップとを備える。
ラスタの1つまたは複数の画像内に1つまたは複数の関連状況物体を配置するステップと、画像クラスタ内の異なる車両からの画像を照合するステップであって、一致した画像が1つまたは複数の関連状況物体の1つまたは複数の対応する特徴を有する、ステップと、一致した画像内の1つまたは複数の関連状況の1つまたは複数の対応する特徴を使用して、一致した画像のうちの少なくとも1つに関連付けられた対象車両のセンサ位置に対する1つまたは複数の関連状況物体の3次元(3D)センサ座標を特定するステップと、一致した画像に関連付けられた異なる車両の地理的位置データを使用して、1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換するステップと、1つまたは複数の関連状況物体の地理的位置座標に基づいて、交通状況のカバレージエリアを特定するステップと、交通状況のカバレージエリアに基づいて、地理的領域に関連付けられたナビゲーション経路を決定するステップとを備えるコンピュータ実装方法において具現化されうる。
異なる車両からの一致した画像が異なるセンサ構成を有する画像センサによって取り込まれること、
1つまたは複数の関連状況物体の3Dセンサ座標を、1つまたは複数の関連状況物体の地理的位置座標に変換することが、一致した画像に関連付けられた異なる車両のセンサ位置の地理的位置座標を特定し、第1の関連状況物体の3Dセンサ座標を使用して、一致した画像に関連付けられた異なる車両のセンサ位置から1つまたは複数の関連状況物体の中の第1の関連状況物体への視野角を特定し、三角測量計算を使用して、異なる車両のセンサ位置の地理的位置座標、および異なる車両のセンサ位置から第1の関連状況物体への視野角に基づいて、第1の関連状況物体の地理的位置座標を特定することを含むこと、
交通状況のカバレージエリアを特定することが、1つまたは複数の関連状況物体の地理的位置座標を使用して、地理的領域に関連付けられた地理的地図上に1つまたは複数の関連状況物体を配置し、地理的地図上の1つまたは複数の関連状況物体を包含する凸状の地理的領域を交通状況のカバレージエリアであると決定することを含むこと、
第1の時間における交通状況の第1のカバレージエリアを特定し、第2の時間における交通状況の第2のカバレージエリアを特定し、第1のカバレージエリアと第2のカバレージエリアとの間の位置の差を特定し、第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすと判定し、第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすと判定したことに応答して、交通状況の第2のカバレージエリアを含むように地理的領域に関連付けられた地理的地図を更新すること、
第1のカバレージエリアと第2のカバレージエリアとの間の位置の差がしきい値を満たすと判定することが、第1のカバレージエリアに関連付けられた1つまたは複数の第1の車線を特定し、第2のカバレージエリアに関連付けられた1つまたは複数の第2の車線を特定し、1つまたは複数の第2の車線が1つまたは複数の第1の車線と異なると判定することを含むこと、
地理的領域に関連付けられた1つまたは複数の近接車両を特定し、1つまたは複数の近接車両に状況更新の通知を送信し、状況更新の通知が交通状況の第2のカバレージエリアを含むこと、地理的領域があらかじめ定義された道路セグメントであること、地理的領域内に位置する1つまたは複数の車両の状況データに含まれる画像をクラスタリングすることが、画像の画像タイムスタンプに基づいて画像をクラスタリングすることを含むこと、
車両の中の第1の車両から受信された状況データが、第1の車両の画像センサによって取り込まれた第1の画像、第1の画像に関連付けられた画像データ、画像センサのセンサ構成、および第1の画像に関連付けられた第1の車両の地理的位置データのうちの1つまたは複数を含むこと
のうちの1つまたは複数を含みうる。
また、前記位置特定ステップは、第一の車両が有する第一の画像センサから見た前記関連状況物体の角度を算出する第一ステップと、第二の車両が有する第二の画像センサから見た前記関連状況物体の角度を算出する第二ステップと、前記算出した二つの角度と、前記第一および第二の車両の地理的位置に基づいて、前記関連状況物体の地理的位置を特定する第三ステップと、を含むことを特徴としてもよい。
また、前記第三ステップでは、前記第一の車両における前記第一の画像センサの配置位置、および、前記第二の車両における前記第二の画像センサの配置位置にさらに基づいて、前記関連状況物体の地理的位置を特定することを特徴としてもよい。
また、前記範囲特定ステップでは、一つ以上の前記関連状況物体の地理的位置を使用して、前記マップ上に一つ以上の前記関連状況物体を配置し、前記マップ上にある一つ以上の関連状況物体を包含するエリアを生成し、前記交通イベントの範囲とすることを特徴としてもよい。
また、第一の時間における前記交通イベントに対応する第一の範囲を特定し、第二の時間における前記交通イベントに対応する第二の範囲を特定し、前記第一および第二の範囲の位置的差分が所定の値以上である場合に、前記交通イベントの第二の範囲によって、前記マップを更新することを特徴としてもよい。
また、第一の時間における前記交通イベントに対応する第一の範囲を特定し、第二の時間における前記交通イベントに対応する第二の範囲を特定し、前記第一および第二の範囲が支障する車線の数が異なる場合に、前記交通イベントの第二の範囲によって、前記マップを更新することを特徴としてもよい。
また、前記マップを更新した場合に、前記交通イベントに近接する車両に対して、前記交通イベントに対応する前記第二の範囲を含む状況更新通知を送信するステップと、をさらに含むことを特徴としてもよい。
また、前記分類ステップでは、所定の道路セグメントごとに前記画像を画像クラスタに分類することを特徴としてもよい。
また、前記分類ステップでは、前記画像のタイムスタンプにさらに基づいて前記画像を画像クラスタに分類することを特徴としてもよい。
また、前記状況データは、前記画像、前記画像を捉えた画像センサに関する情報、前記車両の位置情報を含むことを特徴としてもよい。
なお、本明細書における「交通状況(Traffic Situation)」とは、道路上で発生するイ
ベントないし当該イベントに関連する物体を指す。例えば、交通状況が「道路工事」であった場合、当該道路工事が行われている位置や領域を特定する。また、「関連状況物体(Related situation object)」とは、イベントに含まれる物体を指す。例えば、交通状況が「道路工事」であった場合、関連状況物体は、工事の実施を示す看板やカラーコーン(登録商標)等でありうる。
以下にさらに詳細に記載されるように、この技術は、複数の車両によって異なる視点から取り込まれた道路景観画像内の関連状況物体の対応する特徴に基づいて、関連状況物体の地理的位置座標を特定することができる方法および対応するシステムを含む。結果として、交通状況に含まれる関連状況物体の位置を地理的地図上で正確に特定することができ、それにより、交通状況のカバレージエリア(交通状況が存在する道路上の領域を指す)が示される。本開示では、交通状況の精細または正確な位置特定は、選択された基準点に対する交通状況の位置を推定するのではなく、関連状況物体の地理的位置(たとえば、GPS座標)を使用して、交通状況の位置を特定することを指しうる。
なお、本明細書における「地理的位置」とは、GPS座標等の絶対位置を表す。
ット(WS)、ワイヤレスアクセスプロトコル(WAP)、様々なメッセージングプロトコル(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAVなど)、または他の適切なプロトコルが含まれる。いくつかの実施形態では、ネットワーク105は、DSRC(専用短距離通信)、WAVE、802.11p、a、3G、4G、5G+ネットワーク、WiFi(登録商標)、衛星ネットワーク、車両間(V2V)ネットワーク、車両対基盤/基盤対車両(V2I/I2V)ネットワーク、または任意の他のワイヤレスネットワークなどの接続を使用するワイヤレスネットワークである。図1は、サーバ101および車両プラットフォーム103に結合するネットワーク105用の単一のブロックを示しているが、上述されたように、ネットワーク105は、実際にはネットワークの任意の数の組合せを備えうることを理解されたい。
うる。いくつかの実施形態では、状況位置特定アプリケーション120は、1つまたは複数のコンピュータデバイスの1つまたは複数のプロセッサによって実行可能なソフトウェア、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)などのハードウェア、またはハードウェアとソフトウェアの組合せなどを使用して実装されうる。状況位置特定アプリケーション120は、センサデータまたは車両データを受信および処理し、バス154を介して、メモリ117、通信ユニット119、車両データストア121などの車両プラットフォーム103の他の要素と通信しうる。状況位置特定アプリケーション120は、少なくとも図2〜図8Bを参照して以下で詳細に記載される。
センサ113は、車両プラットフォーム103またはその内部環境および外部環境の特性を特定するのに適した任意のタイプの信号データを収集するように構成されうる。センサ113の非限定的な例には、様々な光学センサ(CCD、CMOS、2D、3D、光検出および測距(LIDAR)、カメラなど)、音響センサ、動き検出センサ、気圧計、高度計、熱電対、湿気センサ、赤外線(IR)センサ、レーダーセンサ、他の光センサ、ジャイロスコープ、加速度計、速度計、ステアリングセンサ、ブレーキセンサ、スイッチ、車両インジケータセンサ、フロントガラスワイパセンサ、地理的位置センサ、方位センサ、ワイヤレストランシーバ(たとえば、セルラー、WiFi(登録商標)、近距離など)、ソナーセンサ、超音波センサ、タッチセンサ、近接センサ、距離センサなどが含まれる。いくつかの実施形態では、1つまたは複数のセンサ113は、車両プラットフォーム103のまわりの状況的背景を取り込むために、車両プラットフォーム103の前側、後側、右側、または左側に設けられた外向きセンサを含みうる。
限定的な例には、限定はしないが、視野(たとえば、視野角)、カメラの高さ(たとえば、画像センサから地面までの距離)などが含まれうる。いくつかの実施形態では、画像センサの外部カメラパラメータは、回転行列および並進ベクトルによって表されうる。
示的なシステムの代表であり、様々な異なるシステム環境およびシステム構成が考えられ、本開示の範囲内にあることを理解されたい。たとえば、様々な動作または機能は、サーバからクライアントへ、またはその逆に移動されうるし、データは単一のデータストアに集約されるか、またはさらなるデータストアにさらにセグメント化されうるし、いくつかの実装形態は、さらなるまたはより少ないコンピューティングデバイス、サービス、またはネットワークを含みうるし、クライアントまたはサーバ側の様々な機能を実装しうる。さらに、システムの様々なエンティティは、単一のコンピューティングデバイスもしくはシステムに統合されうるし、またはさらなるコンピューティングデバイスもしくはシステムなどに分割されうる。
は、車両プラットフォーム103は、道路に沿って移動するにつれて、交通状況を検出することができる。車両プラットフォーム103が交通状況に遭遇すると、車両プラットフォーム103は、交通状況を検出し、そのそれぞれの視点からローカルに知覚されたように交通状況を記述する状況データを生成し、システム100の処理エンティティ、たとえばサーバ101に状況データを送信する。
現場の交通状況に遭遇したと判断する。いくつかの実施形態では、ローカル状況検出器202は、特定されたタイプの交通状況または関連状況物体の物体カテゴリを、車両データストア121内の画像に関連付けられた画像データとして記憶しうる。
いかまたは含まれない、取り込まれた画像内のさらなる関連状況物体を識別する。
以降、「一致した画像」とは、同一の関連状況物体を含む複数の画像を意味する。
一致した画像は、1つまたは複数の関連状況物体の1つまたは複数の対応する特徴を有する。たとえば、カメラ座標プロセッサ206は、第1の車両プラットフォーム103の第1の画像センサによって取り込まれた第1の画像を、第2の車両プラットフォーム103の第2の画像センサによって取り込まれた第2の画像と照合しうる。第1の画像および第2の画像は、同じ画像クラスタに含まれうるし、第1の画像を取り込む第1の画像センサは、第2の画像を取り込む第2の画像センサとは異なるセンサ構成(たとえば、異なる外部カメラパラメータまたは異なる内部カメラパラメータ)を有しうる。
)は、回転行列Rおよび並進ベクトルtを使用して、第1の画像センサの第1のカメラ座標系(X1,Y1,Z1)に変換できる。回転行列Rおよび並進ベクトルtは、第1の画像センサの外部カメラパラメータ、第2の画像センサの外部カメラパラメータ、一致した画像が取り込まれたときの第1の画像センサと第2の画像センサとの間の距離などに基づいて決定できる。本明細書の他の箇所で説明されたように、画像センサの外部カメラパラメータは、その画像センサのセンサ位置およびセンサ方位を示す。一致した画像が取り込まれたときの第1の画像センサと第2の画像センサとの間の距離は、第1の画像702に関連付けられた第1の車両プラットフォーム103の車両の地理的位置および第2の画像704に関連付けられた第2の車両プラットフォーム103の車両の地理的位置から導出できる。図7Aに示されたように、第1の画像702は第1の画像座標系(a1,b1)によって表され、第2の画像704は第2の画像座標系(a2,b2)によって表される。第1の画像702の画像平面を表す第1の画像座標系(a1,b1)および第2の画像704の画像平面を表す第2の画像座標系(a2,b2)は、2次元(2D)座標系である。
座標系、たとえば、対象カメラ座標系(X1,Y1,Z1)に変換する。第1の画像特徴点P1および第2の画像特徴点P2が同じ対象カメラ座標系(X1,Y1,Z1)に関連付けられると、対象カメラ座標系(X1,Y1,Z1)における物理的特徴点Pの3Dカメラ座標は、上述されたように、第1の画像特徴点P1および第2の画像特徴点P2に基づいて特定される。カメラ座標系(X1,Y1,Z1)における物理的特徴点Pの3Dカメラ座標は、第1のカメラ座標系(X1,Y1,Z1)の第1の原点C1に対する物理的特徴点Pの3Dセンサ座標を示す。本明細書の他の箇所で記載されたように、第1の原点C1は、第1の画像702が取り込まれたときに対象車両プラットフォームとして選択された第1の車両プラットフォーム103の第1のセンサ位置を示す。
センサの第1のカメラ座標系(X1,Y1,Z1)における第1の画像特徴点P1の3Dカメラ座標に変換する。
一致した画像に関連付けられた異なる車両プラットフォーム103のセンサ位置の地理的位置座標を特定する。いくつかの実施形態では、一致した画像に関連付けられた異なる車両プラットフォーム103のセンサ位置の地理的位置座標は、一致した画像が取り込まれたときの車両プラットフォーム103の地理的位置座標であり、車両プラットフォーム103に関連付けられた状況データから取り出される。
の画像特徴点P2)の各照合ペアは、上述されたように物理的特徴点Pの地理的位置座標を算出するために使用される。いくつかの実施形態では、状況位置計算器208は、(第1の画像特徴点P1、第2の画像特徴点P2)の様々な照合ペアから計算された物理的特徴点Pの地理的位置座標を比較する。物理的特徴点Pのこれらの地理的位置座標間の差が所定の差のしきい値を満たす(たとえば、これらの地理的位置座標間の距離が25cmを下回る)場合、状況位置計算器208は、物理的特徴点Pの地理的位置座標が正確であることを検証する。
なお、凸状の地理的領域は、同一の属性を持つ関連状況物体を含むように生成してもよい。例えば、道路工事に関連する関連状況物体を包含する領域は、道路工事に対応するカバレージエリアとなる。
ョン122は、動的地図データを検索および処理して、ナビゲーションルート、交通渋滞推定を計算し、または、警報、更新、ルート再計算、もしくは他の情報を生成し提供する。たとえば、ナビゲーションアプリケーション122は、限定はしないが、車両が接近している可能性があるもの、事前に計算された移動ルートに沿ったもの、ユーザが横断している可能性がある任意のルートに沿ったものなどの関連交通状況のカバレージエリアの記述などの、車両プラットフォームのドライバまたは乗客への指示的フィードバック、警報などを、タッチセンサ式ディスプレイ上に表示し、またはスピーカを介して出力しうる。ナビゲーション情報は、交通状況を横断または回避するための最良の情報とともに、交通状況の最新の状態を反映しうる。たとえば、以前に開いていた車線はそれを占有するレッカー車を今や有しうるし、ナビゲーションアプリケーション122によって提示された動的交通情報は、交通状況の足跡、障害物(レッカー車、故障車、またはそれらを横断するためのルートなど)を示すグラフィック情報をディスプレイ上に動的に示す。
の実装形態では、1組の出力デバイス221は、車両プラットフォーム103の設定または制御(たとえば、ドライバ制御、インフォテインメント制御、ガイダンス制御、安全制御など)を調整するために人が対話する制御パネルに含まれるか、または制御パネルを形成する。
ジャ210は、交通状況の第2カバレージエリアを含むように、地理的領域に関連付けられた地理的地図を更新する。たとえば、状況位置特定マネージャ210は、第2の時間t=t2における交通状況を表す第2のカバレージエリア852を含むように、道路セグメント810の地理的地図を更新する。
ある。なお、本明細書において(また一般に)アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。
入力/出力(I/O)装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはI/Oコントローラを介して直接あるいは間接的にシステムに接続される。
ムに結合されうる。ワイヤレス(たとえば、Wi−Fi(登録商標))トランシーバ、イーサネット(登録商標)アダプタ、およびモデムは、ネットワークアダプタのほんの数例に過ぎない。プライベートネットワークおよびパブリックネットワークは、任意の数の構成および/またはトポロジを有しうる。データは、たとえば、様々なインターネットレイヤ、トランスポートレイヤ、またはアプリケーションレイヤのプロトコルを含む、様々な異なる通信プロトコルを使用して、ネットワークを介してこれらのデバイス間で送信されうる。たとえば、データは、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、伝送制御プロトコル(TCP)、ハイパーテキスト転送プロトコル(HTTP)、セキュアハイパーテキスト転送プロトコル(HTTPS)、動的適応ストリーミングオーバーHTTP(DASH)、リアルタイムストリーミングプロトコル(RTSP)、リアルタイムトランスポートプロトコル(RTP)およびリアルタイムトランスポート制御プロトコル(RTCP)、ボイスオーバーインターネットプロトコル(VOIP)、ファイル転送プロトコル(FTP)、ウェブソケット(WS)、ワイヤレスアクセスプロトコル(WAP)、様々なメッセージングプロトコル(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAVなど)、または他の既知のプロトコルを使用して、ネットワークを介して送信されうる。
101 サーバ
103 車両プラットフォーム
105 ネットワーク
113 センサ
115 プロセッサ
117 メモリ
119 通信ユニット
120 状況位置特定アプリケーション
121 車両データストア
122 ナビゲーションアプリケーション
124 データストア
152 コンピューティングデバイス
Claims (12)
- 道路上で発生する交通イベントに対応する範囲を特定する方法であって、
画像を含む状況データを一台以上の車両から受信する受信ステップと、
前記一台以上の車両から受信した前記状況データに含まれる画像を、前記一台以上の車両の位置に基づいて画像クラスタに分類する分類ステップと、
同一の前記画像クラスタに含まれる、異なる車両から送信された複数の画像から、一つ以上の関連状況物体を検出し、同一である一つ以上の前記関連状況物体を含む複数の画像を特定する照合ステップと、
前記一つ以上の関連状況物体の、カメラ座標系における3Dセンサ座標を、前記同一の関連状況物体を含む複数の画像に含まれる、前記一つ以上の関連状況物体の特徴に基づいて取得する取得ステップと、
前記画像を送信した車両の地理的位置を用いて、前記一つ以上の関連状況物体の3Dセンサ座標を地理的座標に変換する変換ステップと、
前記一つ以上の関連状況物体の地理的座標に基づいて、マップ上における前記交通イベントの範囲を特定する範囲特定ステップと、
を含む、方法。 - 前記範囲特定ステップでは、複数の前記関連状況物体の属性に基づいて、同一の属性を持つ前記関連状況物体を包含する領域を生成し、前記領域を、前記交通イベントの範囲とする、
請求項1に記載の方法。 - 前記変換ステップは、
第一の車両が有する第一の画像センサから見た前記関連状況物体の角度を算出する第一ステップと、
第二の車両が有する第二の画像センサから見た前記関連状況物体の角度を算出する第二ステップと、
前記算出した二つの角度と、前記第一および第二の車両の地理的位置に基づいて、前記関連状況物体の地理的座標を特定する第三ステップと、を含む、
請求項1または2に記載の方法。 - 前記第三ステップでは、前記第一の車両における前記第一の画像センサの配置位置、および、前記第二の車両における前記第二の画像センサの配置位置にさらに基づいて、前記関連状況物体の地理的座標を特定する、
請求項3に記載の方法。 - 前記範囲特定ステップでは、
一つ以上の前記関連状況物体の地理的座標を使用して、前記マップ上に一つ以上の前記関連状況物体を配置し、前記マップ上にある一つ以上の関連状況物体を包含するエリアを生成し、前記交通イベントの範囲とする、
請求項1から4のいずれかに記載の方法。 - 第一の時間における前記交通イベントに対応する第一の範囲を特定し、
第二の時間における前記交通イベントに対応する第二の範囲を特定し、
前記第一および第二の範囲の位置的差分が所定の値以上である場合に、前記交通イベントの第二の範囲によって、前記マップを更新する、
請求項1から5のいずれかに記載の方法。 - 第一の時間における前記交通イベントに対応する第一の範囲を特定し、
第二の時間における前記交通イベントに対応する第二の範囲を特定し、
前記第一および第二の範囲が支障する車線の数が異なる場合に、前記交通イベントの第二の範囲によって、前記マップを更新する、
請求項1から5のいずれかに記載の方法。 - 前記マップを更新した場合に、前記交通イベントに近接する車両に対して、前記交通イベントに対応する前記第二の範囲を含む状況更新通知を送信するステップと、
をさらに含む、
請求項6または7に記載の方法。 - 前記分類ステップでは、所定の道路セグメントごとに前記画像を画像クラスタに分類する、
請求項1から8のいずれかに記載の方法。 - 前記分類ステップでは、前記画像のタイムスタンプにさらに基づいて前記画像を画像クラスタに分類する、
請求項9に記載の方法。 - 前記状況データは、前記画像、前記画像を捉えた画像センサに関する情報、前記車両の位置情報を含む、
請求項1から10のいずれかに記載の方法。 - 道路上で発生する交通イベントに対応する範囲を特定する情報処理装置であって、
画像を含む状況データを一台以上の車両から受信する受信手段と、
前記一台以上の車両から受信した前記状況データに含まれる画像を、前記一台以上の車両の位置に基づいて画像クラスタに分類する分類手段と、
同一の前記画像クラスタに含まれる、異なる車両から送信された複数の画像から、一つ以上の関連状況物体を検出し、同一である一つ以上の前記関連状況物体を含む複数の画像を特定する照合手段と、
前記一つ以上の関連状況物体の、カメラ座標系における3Dセンサ座標を、前記同一の関連状況物体を含む複数の画像に含まれる、前記一つ以上の関連状況物体の特徴に基づい
て取得する取得手段と、
前記画像を送信した車両の地理的位置を用いて、前記一つ以上の関連状況物体の3Dセンサ座標を地理的座標に変換する変換手段と、
前記一つ以上の関連状況物体の地理的座標に基づいて、マップ上における前記交通イベントの範囲を特定する範囲特定手段と、
を含む、情報処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/870,870 US10586118B2 (en) | 2018-01-13 | 2018-01-13 | Localizing traffic situation using multi-vehicle collaboration |
US15/870,870 | 2018-01-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019125361A JP2019125361A (ja) | 2019-07-25 |
JP6729673B2 true JP6729673B2 (ja) | 2020-07-22 |
Family
ID=67213955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018235823A Active JP6729673B2 (ja) | 2018-01-13 | 2018-12-17 | 複数車両の協力による交通イベントの位置特定 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10586118B2 (ja) |
JP (1) | JP6729673B2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105446350B (zh) * | 2014-09-26 | 2018-05-29 | 科沃斯机器人股份有限公司 | 自移动机器人移动界限划定方法 |
GB201716442D0 (en) * | 2017-10-06 | 2017-11-22 | Highway Resource Solutions Ltd | Governing the operation of an asset within a geo-zone |
US11417107B2 (en) * | 2018-02-19 | 2022-08-16 | Magna Electronics Inc. | Stationary vision system at vehicle roadway |
US10306430B1 (en) * | 2018-04-27 | 2019-05-28 | Lyft, Inc. | Vehicle-to-infrastructure communication |
US11164015B2 (en) * | 2018-05-08 | 2021-11-02 | Ford Global Technologies, Llc | Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors |
US11669086B2 (en) * | 2018-07-13 | 2023-06-06 | Irobot Corporation | Mobile robot cleaning system |
US11184556B2 (en) * | 2018-10-31 | 2021-11-23 | Signify Holding B.V. | Camera vision system overlap management without network coordination |
CN111223302B (zh) * | 2018-11-23 | 2021-12-03 | 明创能源股份有限公司 | 移动载具用外部坐标实时三维路况辅助装置及该系统 |
US11151866B2 (en) | 2019-02-05 | 2021-10-19 | Intel Corporation | Enhanced high definition maps for a vehicle |
CN113454692B9 (zh) * | 2019-02-19 | 2024-07-02 | Sk电信有限公司 | 驾驶信息提供方法以及车辆地图提供服务器和方法 |
US10665109B1 (en) * | 2019-05-17 | 2020-05-26 | sibrtech inc. | Construction zone apparatus and method |
CN112435300B (zh) * | 2019-08-26 | 2024-06-04 | 华为云计算技术有限公司 | 定位方法及装置 |
KR20210037791A (ko) * | 2019-09-27 | 2021-04-07 | 현대모비스 주식회사 | 자율 주행 장치 및 방법 |
US11640675B2 (en) | 2019-12-13 | 2023-05-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for interpreting traffic scenes |
EP4107484A1 (en) | 2020-02-20 | 2022-12-28 | TomTom Global Content B.V. | Generating map change data |
CN111674388B (zh) | 2020-05-19 | 2022-02-22 | 阿波罗智联(北京)科技有限公司 | 用于车辆弯道行驶的信息处理方法和装置 |
US11368991B2 (en) | 2020-06-16 | 2022-06-21 | At&T Intellectual Property I, L.P. | Facilitation of prioritization of accessibility of media |
US11233979B2 (en) | 2020-06-18 | 2022-01-25 | At&T Intellectual Property I, L.P. | Facilitation of collaborative monitoring of an event |
US11037443B1 (en) | 2020-06-26 | 2021-06-15 | At&T Intellectual Property I, L.P. | Facilitation of collaborative vehicle warnings |
US11184517B1 (en) | 2020-06-26 | 2021-11-23 | At&T Intellectual Property I, L.P. | Facilitation of collaborative camera field of view mapping |
US11411757B2 (en) | 2020-06-26 | 2022-08-09 | At&T Intellectual Property I, L.P. | Facilitation of predictive assisted access to content |
US11356349B2 (en) | 2020-07-17 | 2022-06-07 | At&T Intellectual Property I, L.P. | Adaptive resource allocation to facilitate device mobility and management of uncertainty in communications |
US11768082B2 (en) | 2020-07-20 | 2023-09-26 | At&T Intellectual Property I, L.P. | Facilitation of predictive simulation of planned environment |
CN112015937B (zh) * | 2020-08-31 | 2024-01-19 | 核工业北京地质研究院 | 一种图片地理定位方法及系统 |
CN112965466B (zh) | 2021-02-18 | 2022-08-30 | 北京百度网讯科技有限公司 | 自动驾驶系统的还原测试方法、装置、设备及程序产品 |
JP7398498B2 (ja) * | 2022-03-25 | 2023-12-14 | 本田技研工業株式会社 | 制御装置 |
FR3135046B1 (fr) * | 2022-05-02 | 2024-03-15 | Psa Automobiles Sa | Système de commande d’un dispositif d’assistance au changement de voie |
JP7469401B2 (ja) | 2022-08-15 | 2024-04-16 | 株式会社Nttドコモ | 工事検出システム |
US20240183682A1 (en) * | 2022-12-06 | 2024-06-06 | Here Global B.V. | System and method for updating map data |
CN117576652B (zh) * | 2024-01-19 | 2024-04-26 | 福思(杭州)智能科技有限公司 | 道路对象的识别方法、装置和存储介质及电子设备 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000230834A (ja) * | 1999-02-10 | 2000-08-22 | Daihatsu Motor Co Ltd | 道路地図情報の更新装置及びその制御方法 |
JP4882289B2 (ja) | 2005-06-21 | 2012-02-22 | 日産自動車株式会社 | 地図情報生成システム |
EP1754621B1 (en) * | 2005-08-18 | 2009-10-14 | Honda Research Institute Europe GmbH | Driver assistance system |
JP2007122247A (ja) | 2005-10-26 | 2007-05-17 | Fujifilm Corp | 自動ランドマーク情報作成方法及びシステム |
JP2007206099A (ja) | 2006-01-30 | 2007-08-16 | Mobile Mapping Kk | 地図作成支援システム |
US8212812B2 (en) | 2007-05-21 | 2012-07-03 | Siemens Corporation | Active shape model for vehicle modeling and re-identification |
US8213706B2 (en) | 2008-04-22 | 2012-07-03 | Honeywell International Inc. | Method and system for real-time visual odometry |
WO2010044939A1 (en) | 2008-10-17 | 2010-04-22 | Honda Motor Co., Ltd. | Structure and motion with stereo using lines |
US8249361B1 (en) | 2010-04-22 | 2012-08-21 | Google Inc. | Interdependent learning of template map and similarity metric for object identification |
JP5258859B2 (ja) * | 2010-09-24 | 2013-08-07 | 株式会社豊田中央研究所 | 走路推定装置及びプログラム |
US9300947B2 (en) | 2011-03-24 | 2016-03-29 | Kodak Alaris Inc. | Producing 3D images from captured 2D video |
JP5617999B2 (ja) * | 2011-04-13 | 2014-11-05 | トヨタ自動車株式会社 | 車載周辺物認識装置及びこれを用いる運転支援装置 |
US8442307B1 (en) * | 2011-05-04 | 2013-05-14 | Google Inc. | Appearance augmented 3-D point clouds for trajectory and camera localization |
WO2013170882A1 (en) | 2012-05-15 | 2013-11-21 | Telefonaktiebolaget L M Ericsson (Publ) | Collaborative vehicle detection of objects with a predictive distribution |
EP2669845A3 (en) * | 2012-06-01 | 2014-11-19 | Ricoh Company, Ltd. | Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program |
US8805091B1 (en) * | 2012-08-17 | 2014-08-12 | Google Inc. | Incremental image processing pipeline for matching multiple photos based on image overlap |
US20140139635A1 (en) | 2012-09-17 | 2014-05-22 | Nec Laboratories America, Inc. | Real-time monocular structure from motion |
US9141107B2 (en) * | 2013-04-10 | 2015-09-22 | Google Inc. | Mapping active and inactive construction zones for autonomous driving |
CN105313782B (zh) * | 2014-07-28 | 2018-01-23 | 现代摩比斯株式会社 | 车辆行驶辅助系统及其方法 |
US9916508B2 (en) * | 2015-03-12 | 2018-03-13 | Toyota Jidosha Kabushiki Kaisha | Detecting roadway objects in real-time images |
JP5889463B1 (ja) * | 2015-03-30 | 2016-03-22 | ソフトバンク株式会社 | 画像管理システム、サーバ、画像管理方法、サーバ制御方法、及びサーバプログラム |
US9436895B1 (en) | 2015-04-03 | 2016-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining similarity of objects represented in images |
US11307042B2 (en) * | 2015-09-24 | 2022-04-19 | Allstate Insurance Company | Three-dimensional risk maps |
US9754490B2 (en) * | 2015-11-04 | 2017-09-05 | Zoox, Inc. | Software application to request and control an autonomous vehicle service |
US9911198B2 (en) | 2015-12-17 | 2018-03-06 | Canon Kabushiki Kaisha | Method, system and apparatus for matching moving targets between camera views |
US9805276B2 (en) * | 2016-03-31 | 2017-10-31 | Toyota Jidosha Kabushiki Kaisha | Generating real-time driver familiarity index for fine-grained dynamic road scenes |
US20180018757A1 (en) | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
EP3497550B1 (en) | 2016-08-12 | 2023-03-15 | Packsize, LLC | Systems and methods for automatically generating metadata for media documents |
US20180069937A1 (en) | 2016-09-02 | 2018-03-08 | VeriHelp, Inc. | Event correlation and association using a graph database |
US9979813B2 (en) * | 2016-10-04 | 2018-05-22 | Allstate Solutions Private Limited | Mobile device communication access and hands-free device activation |
US10254758B2 (en) * | 2017-01-18 | 2019-04-09 | Ford Global Technologies, Llc | Object tracking by unsupervised learning |
US10282999B2 (en) * | 2017-03-17 | 2019-05-07 | GM Global Technology Operations LLC | Road construction detection systems and methods |
US10725475B2 (en) | 2018-04-09 | 2020-07-28 | Toyota Jidosha Kabushiki Kaisha | Machine learning enhanced vehicle merging |
US10175340B1 (en) * | 2018-04-27 | 2019-01-08 | Lyft, Inc. | Switching between object detection and data transfer with a vehicle radar |
-
2018
- 2018-01-13 US US15/870,870 patent/US10586118B2/en not_active Expired - Fee Related
- 2018-12-17 JP JP2018235823A patent/JP6729673B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019125361A (ja) | 2019-07-25 |
US10586118B2 (en) | 2020-03-10 |
US20190220678A1 (en) | 2019-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6729673B2 (ja) | 複数車両の協力による交通イベントの位置特定 | |
JP6741107B2 (ja) | 交通状況のリアルタイム検出 | |
US10916135B2 (en) | Similarity learning and association between observations of multiple connected vehicles | |
US10867510B2 (en) | Real-time traffic monitoring with connected cars | |
US11465626B2 (en) | Virtualized driver assistance | |
US10867404B2 (en) | Distance estimation using machine learning | |
EP3511863B1 (en) | Distributable representation learning for associating observations from multiple vehicles | |
CN111332309B (zh) | 驾驶员监视系统及其操作方法 | |
US11238370B2 (en) | Approaches for determining sensor calibration | |
CN113302621A (zh) | 将运载工具中捕获的乘客关注数据用于定位和基于地点的服务 | |
JP2018027776A (ja) | 運転者行動予測モデルの個人適合 | |
US11796335B2 (en) | Method of and system for controlling operation of self-driving car | |
US11548528B2 (en) | Method of and system for computing data for controlling operation of self driving car (SDC) | |
WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20230347979A1 (en) | Methods and processors for controlling steering of self-driving car | |
WO2020031812A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び移動体 | |
US11568651B2 (en) | System and method for localization of traffic signs | |
US20230289980A1 (en) | Learning model generation method, information processing device, and information processing system | |
US20240160804A1 (en) | Surrogate model for vehicle simulation | |
KR20230033557A (ko) | 자율 주행 차량 사후 동작 설명 시스템 | |
US20240290108A1 (en) | Information processing apparatus, information processing method, learning apparatus, learning method, and computer program | |
US20240291993A1 (en) | Rule-based digitized image compression | |
WO2023090001A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US20230408644A1 (en) | Intrinsic noise characterizations for increased radar sensor sensitivity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6729673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |