JP2023508986A - 交通弱者の意図を予測する方法および装置 - Google Patents
交通弱者の意図を予測する方法および装置 Download PDFInfo
- Publication number
- JP2023508986A JP2023508986A JP2022539182A JP2022539182A JP2023508986A JP 2023508986 A JP2023508986 A JP 2023508986A JP 2022539182 A JP2022539182 A JP 2022539182A JP 2022539182 A JP2022539182 A JP 2022539182A JP 2023508986 A JP2023508986 A JP 2023508986A
- Authority
- JP
- Japan
- Prior art keywords
- vrus
- estimating
- computer system
- estimated
- video frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 230000009471 action Effects 0.000 claims abstract description 21
- 230000003542 behavioural effect Effects 0.000 claims description 44
- 230000006399 behavior Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000003997 social interaction Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 21
- 230000008447 perception Effects 0.000 description 13
- 230000003993 interaction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006854 communication Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000013016 learning Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000005021 gait Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 230000009326 social learning Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
・運動状態(歩き方):歩いている/立ち止まっている/座っている
・意識状態:注視している/注視していない
・注意散漫状態:デバイスでおしゃべりしている/他の人と話している
・向き:左/右/後方/前方
シーン内のVRUは、他の物体(他のVRU、車両など)と相互作用を行い、特定の定義済みの目標を念頭に移動している。シーン内のVRUと複数の歩行者との間、および/またはシーン内のVRUと他のVRUとの間に、モデルが道路上の各人に対して理解して正確に予測する必要がある社会的相互作用要素が存在する。VRUの意図を予測し、VRUの社会的相互作用を識別することで、VRUの将来の軌道および車両の経路を横切るVRUの意図を予測する際のシステムの精度が向上する。
特定の実施形態は、集団で歩いている歩行者、何かを運んでいる歩行者、他のユーザまたは物体を物理的に抱えている歩行者、および同種のものを含む運動状態を独自の方法で限定してモデル化する。行動の意図は、上記の場合のそれぞれに対して非常に異なっていることに留意されたい。一実施形態では、注釈付けされたラベルを、各VRUがグループに属しているか、または個人であるかを識別するモデルに加えることができる。モデル内にこの教師あり学習の能力を含めることで、歩行者/VRUが異なる集団運動状態を持つ場合にシステムが異なる反応をすることができる。符号化層の社会的プーリングが歩行者間の相互作用を学習するのに使用される。
本明細書で提示されるVRU意図予測システムは、歩行者および他の道路利用者の将来の経路を推定する精度を向上させる。各VRUについての低水準の情報を利用することで、意図予測システムは、VRUのそれぞれが近い将来に車道を横切る、または歩道に留まる意図を予測することができる。自動走行車または自律走行車は、VRU意図予測システムを利用して、市街地の道路を運転している間のその操作の総合的な安全性を向上させることができる。その結果、意図予測システムは、道路を車両と共有するVRUの安全性を向上させる。例として、VRUが道路を横切ろうとしていることを自動走行車または自律走行車が検出した場合、(例えば、VRUが優先権を持っている場合に)VRUに譲るために、自動走行車または自律走行車は、その速度を落とす、および/または停止することができる。VRUが優先権を持っていない(例えば、歩行者の信号が赤である)場合、自動走行車または自律走行車は、(例えば、そのVRUが車道へ足を踏み入れると決めた場合に)将来の事故を防ぐため、シーン内の危険性が高いVRUであると印が付けられたVRUに特別な注意を払いながら、その経路を維持しうる。
Claims (20)
- 1つまたは複数のセンサを含む車両のコンピュータシステムにより、前記車両の外のシーンに対応する連続するビデオフレームを取得することであって、前記連続するビデオフレームは前記1つまたは複数のセンサの少なくとも1つを用いてキャプチャされる、取得することと、
前記コンピュータシステムにより、前記連続するビデオフレーム内で1人または複数人の交通弱者(VRU)を検出することであって、前記検出された1人または複数人のVRUのそれぞれの姿勢を推定することを含む、検出することと、
前記コンピュータシステムにより、前記ビデオフレームの1つまたは複数を用いて前記シーンのセグメンテーションマップを生成することと、
前記コンピュータシステムにより、前記1人または複数人のVRUの推定される姿勢および前記セグメンテーションマップを用いて1つまたは複数の意図の確率を推定することであって、前記意図の確率はそれぞれ前記検出された1人または複数人のVRUのうちの1人に対応する、推定することと、
前記コンピュータシステムにより、前記推定される1つまたは複数の意図の確率に基づいて1つまたは複数の自動運転動作を調整することと、
を含む、方法。 - 前記コンピュータシステムにより、少なくとも前記1人または複数人のVRUの前記推定される姿勢に基づいて1つまたは複数の行動状態を推定することであって、各行動状態は、前記検出された1人または複数人のVRUのうちの1人に対応する、推定することと、
前記コンピュータシステムにより、前記推定される1つまたは複数の行動状態を用いて、前記1人または複数人のVRUの将来の軌道を推定することと、
をさらに含む、請求項1に記載の方法。 - 前記検出するステップ、前記生成するステップ、および前記推定するステップは、ホリスティックな深層学習ニューラルネットワークモデルを用いて、前記1人または複数人のVRUの前記推定される姿勢および前記1人または複数人のVRUの対応する行動状態を、前記1人または複数人のVRUのそれぞれの近くの分割されたシーンと順次関連付けることで行われる、請求項1に記載の方法。
- 前記1つまたは複数の意図の確率を推定することは、
マルチタスクモデルを用いて、少なくとも前記1人または複数人のVRUの前記推定される姿勢に基づいて前記1つまたは複数の行動状態を推定することと、
前記推定される1つまたは複数の行動状態に基づいて前記1つまたは複数の意図の確率を推定することと、
を含む、請求項1に記載の方法。 - 前記1つまたは複数の行動状態を推定することは、
ニューラルネットワークアーキテクチャを前記1人または複数人のVRUのそれぞれの連続した一連の姿勢に適用して、複数のあらかじめ定義された行動状態の中から前記VRUのための行動状態を選択すること、
を含む、請求項4に記載の方法。 - 前記セグメンテーションマップを生成することは、
ニューラルネットワークアーキテクチャを前記ビデオフレームの1つまたは複数に適用して、前記ビデオフレーム内の各画素を複数のあらかじめ定義されたクラスのうちの一つとして分類することを含み、それぞれのクラスは、前記セグメンテーションマップ内のあるセグメントに対応する、請求項1に記載の方法。 - 前記コンピュータシステムにより、前記予測される行動状態および前記VRUのそれぞれの前記車両への近さに基づいて、前記1人または複数人のVRUの中から少なくとも1人の危険性の高いVRUを選択すること、をさらに含む、請求項1に記載の方法。
- 前記コンピュータシステムにより、前記1人または複数人のVRUと前記セグメンテーションマップ内の物体に対応する1つまたは複数のクラスとの間の社会的相互作用を分析することで、前記1つまたは複数の意図の確率を推定すること、をさらに含む、請求項1に記載の方法。
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと結合された記憶装置であって、前記少なくとも1つのプロセッサは、
1つまたは複数のセンサによりキャプチャされる車両の外のシーンに対応する連続するビデオフレームを取得することと、
前記連続するビデオフレーム内で1人または複数人の交通弱者(VRU)を検出することであって、前記検出された1人または複数人のVRUのそれぞれの姿勢を推定することを含む、検出することと、
前記ビデオフレームの1つまたは複数を用いて前記シーンのセグメンテーションマップを生成することと、
前記1人または複数人のVRUの推定される姿勢および前記セグメンテーションマップを用いて1つまたは複数の意図の確率を推定することであって、前記意図の確率はそれぞれ前記検出された1人または複数人のVRUのうちの1人に対応する、推定することと、
前記推定される1つまたは複数の意図の確率に基づいて1つまたは複数の自動運転動作を調整することと、
を行うよう構成されている、記憶装置と、
を含むコンピュータシステム。 - 前記少なくとも1つのプロセッサはさらに、
少なくとも前記1人または複数人のVRUの前記推定される姿勢に基づいて1つまたは複数の行動状態を推定することであって、前記行動状態はそれぞれ前記検出された1人または複数人のVRUのうちの1人に対応する、推定することと、
前記推定される1つまたは複数の行動状態を用いて、前記1人または複数人のVRUの将来の軌道を推定することと、
を行うよう構成される、請求項9に記載のコンピュータシステム。 - 前記検出するステップ、前記生成するステップ、および前記推定するステップは、ホリスティックな深層学習ニューラルネットワークモデルを用いて、前記1人または複数人のVRUの前記推定される姿勢および前記VRUの対応する行動状態を前記1人または複数人のVRUのそれぞれの近くの分割されたシーンと順次関連付けることで行われる、請求項9に記載のコンピュータシステム。
- 前記少なくとも1つのプロセッサはさらに、
前記1つまたは複数の意図の確率を、
マルチタスクモデルを用いて、少なくとも前記1人または複数人のVRUの前記推定される姿勢に基づいて前記1つまたは複数の行動状態を推定し、
前記推定される1つまたは複数の行動状態に基づいて前記1つまたは複数の意図の確率を推定する、
ことにより推定するよう構成される、請求項9に記載のコンピュータシステム。 - 前記少なくとも1つのプロセッサはさらに、
ニューラルネットワークアーキテクチャを前記1人または複数人のVRUのそれぞれの連続した一連の姿勢に適用することで前記1つまたは複数の行動状態を推定して、複数のあらかじめ定義された行動状態の中から前記VRUに対してある行動状態を選択する、
よう構成される、請求項12に記載のコンピュータシステム。 - 前記少なくとも1つのプロセッサはさらに、
ニューラルネットワークアーキテクチャを前記ビデオフレームの1つまたは複数に適用することによって前記セグメンテーションマップを生成して、前記ビデオフレーム内の各画素を複数のあらかじめ定義されたクラスのうちの一つとして分類し、それぞれのクラスが前記セグメンテーションマップ内のあるセグメントに対応する、
よう構成される、請求項9に記載のコンピュータシステム。 - 前記少なくとも1つのプロセッサはさらに、
前記予測される行動状態および前記VRUのそれぞれの前記車両への近さに基づいて、前記1人または複数人のVRUの中から少なくとも1人の危険性の高いVRUを選択する、
よう構成される、請求項9に記載のコンピュータシステム。 - 前記少なくとも1つのプロセッサはさらに、
前記1人または複数人のVRUと前記セグメンテーションマップ内の物体に対応する1つまたは複数のクラスとの間の社会的相互作用を分析することで、前記1つまたは複数の意図の確率を推定する、
よう構成される、請求項9に記載のコンピュータシステム。 - 車両のコンピュータシステムの1つまたは複数のプロセッサにより実行された場合に前記1つまたは複数のプロセッサに、
1つまたは複数のセンサを用いてキャプチャされる前記車両の外のシーンに対応する連続するビデオフレームを取得することと、
前記連続するビデオフレーム内で1人または複数人の交通弱者(VRU)を検出することであって、前記検出された1人または複数人のVRUのそれぞれの姿勢を推定することを含む、検出することと、
前記ビデオフレームの1つまたは複数を用いて前記シーンのセグメンテーションマップを生成することと、
前記1人または複数人のVRUの推定される姿勢および前記セグメンテーションマップを用いて1つまたは複数の意図の確率を推定することであって、前記意図の確率はそれぞれ前記検出された1人または複数人のVRUのうちの1人に対応する、推定することと、
前記推定される1つまたは複数の意図の確率に基づいて1つまたは複数の自動運転動作を調整することと、
を行わせる命令を記憶する、コンピュータ可読記憶媒体。 - 前記命令はさらに、前記1つまたは複数のプロセッサに、
少なくとも前記1人または複数人のVRUの前記推定される姿勢に基づいて1つまたは複数の行動状態を推定することであって、前記行動状態はそれぞれ前記検出された1人または複数人のVRUのうちの1人に対応する、推定することと、
前記推定される1つまたは複数の行動状態を用いて、前記1人または複数人のVRUの将来の軌道を推定することと、
を行わせる、請求項17に記載のコンピュータ可読記憶媒体。 - 前記命令はさらに、前記1つまたは複数のプロセッサに、
マルチタスクモデルを用いて、少なくとも前記1人または複数人のVRUの前記推定される姿勢に基づいて前記1つまたは複数の行動状態を推定することと、
前記推定される1つまたは複数の行動状態に基づいて前記1つまたは複数の意図の確率を推定することと、
を行わせる、請求項17に記載のコンピュータ可読記憶媒体。 - 前記命令はさらに、前記1つまたは複数のプロセッサに、
ニューラルネットワークアーキテクチャを前記ビデオフレームの1つまたは複数に適用して、前記ビデオフレーム内の各画素を複数のあらかじめ定義されたクラスのうちの一つとして分類し、それぞれのクラスが前記セグメンテーションマップ内のあるセグメントに対応すること、
を行わせる、請求項17に記載のコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/727,926 US11587329B2 (en) | 2019-12-27 | 2019-12-27 | Method and apparatus for predicting intent of vulnerable road users |
US16/727,926 | 2019-12-27 | ||
PCT/US2020/066310 WO2021133706A1 (en) | 2019-12-27 | 2020-12-21 | Method and apparatus for predicting intent of vulnerable road users |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023508986A true JP2023508986A (ja) | 2023-03-06 |
JP7480302B2 JP7480302B2 (ja) | 2024-05-09 |
Family
ID=74191923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022539182A Active JP7480302B2 (ja) | 2019-12-27 | 2020-12-21 | 交通弱者の意図を予測する方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11587329B2 (ja) |
EP (1) | EP4081931A1 (ja) |
JP (1) | JP7480302B2 (ja) |
KR (1) | KR20220119720A (ja) |
CN (1) | CN115039142A (ja) |
WO (1) | WO2021133706A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11734907B2 (en) * | 2020-04-24 | 2023-08-22 | Humanising Autonomy Limited | Tracking vulnerable road users across image frames using fingerprints obtained from image analysis |
US11783710B2 (en) * | 2020-06-24 | 2023-10-10 | Humanising Autonomy Limited | Appearance and movement based model for determining risk of micro mobility users |
US11682272B2 (en) * | 2020-07-07 | 2023-06-20 | Nvidia Corporation | Systems and methods for pedestrian crossing risk assessment and directional warning |
KR20220039903A (ko) * | 2020-09-21 | 2022-03-30 | 현대자동차주식회사 | 자율주행 제어 장치 및 방법 |
US11724641B2 (en) * | 2021-01-26 | 2023-08-15 | Ford Global Technologies, Llc | Hazard condition warning for package delivery operation |
US20230196817A1 (en) * | 2021-12-16 | 2023-06-22 | Adobe Inc. | Generating segmentation masks for objects in digital videos using pose tracking data |
WO2023152422A1 (en) * | 2022-02-11 | 2023-08-17 | Teknologian Tutkimuskeskus Vtt Oy | Light-emitting device |
DE102022212869B3 (de) | 2022-11-30 | 2024-03-28 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben zumindest eines autonom betriebenen Fahrzeugs, Fahrzeugführungssystem, sowie Fahrzeug |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017056382A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2019048011A1 (de) * | 2017-09-11 | 2019-03-14 | Conti Temic Microelectronic Gmbh | Gestensteuerung zur kommunikation mit einem autonomen fahrzeug auf basis einer einfachen 2d kamera |
JP2019057247A (ja) * | 2017-09-22 | 2019-04-11 | アイシン精機株式会社 | 画像処理装置及びプログラム |
WO2019116099A1 (en) * | 2017-12-13 | 2019-06-20 | Humanising Autonomy Limited | Systems and methods for predicting pedestrian intent |
JP2019109691A (ja) * | 2017-12-18 | 2019-07-04 | 日立オートモティブシステムズ株式会社 | 移動体挙動予測装置および移動体挙動予測方法 |
CN110135304A (zh) * | 2019-04-30 | 2019-08-16 | 北京地平线机器人技术研发有限公司 | 人体位姿识别方法及装置 |
US20190279010A1 (en) * | 2018-03-09 | 2019-09-12 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method, system and terminal for identity authentication, and computer readable storage medium |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170329332A1 (en) | 2016-05-10 | 2017-11-16 | Uber Technologies, Inc. | Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object |
US9760806B1 (en) | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
US20180096595A1 (en) | 2016-10-04 | 2018-04-05 | Street Simplified, LLC | Traffic Control Systems and Methods |
KR101958868B1 (ko) | 2017-02-23 | 2019-07-02 | 계명대학교 산학협력단 | 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법 |
GB2560387B (en) | 2017-03-10 | 2022-03-09 | Standard Cognition Corp | Action identification using neural networks |
US10635116B2 (en) * | 2017-10-19 | 2020-04-28 | Ford Global Technologies, Llc | Video calibration with illumination invariant image |
US10733431B2 (en) * | 2017-12-03 | 2020-08-04 | Facebook, Inc. | Systems and methods for optimizing pose estimation |
DE102018104270A1 (de) | 2018-02-26 | 2019-08-29 | Connaught Electronics Ltd. | Verfahren zum Vorhersagen des Verhaltens mindestens eines Fußgängers |
US11257370B2 (en) | 2018-03-19 | 2022-02-22 | Derq Inc. | Early warning and collision avoidance |
US10824155B2 (en) | 2018-08-22 | 2020-11-03 | Ford Global Technologies, Llc | Predicting movement intent of objects |
US11816914B2 (en) * | 2019-09-05 | 2023-11-14 | Humanising Autonomy Limited | Modular predictions for complex human behaviors |
US11427210B2 (en) * | 2019-09-13 | 2022-08-30 | Toyota Research Institute, Inc. | Systems and methods for predicting the trajectory of an object with the aid of a location-specific latent map |
US11345342B2 (en) * | 2019-09-27 | 2022-05-31 | Intel Corporation | Potential collision warning system based on road user intent prediction |
US11205082B2 (en) * | 2019-10-08 | 2021-12-21 | Toyota Research Institute, Inc. | Spatiotemporal relationship reasoning for pedestrian intent prediction |
-
2019
- 2019-12-27 US US16/727,926 patent/US11587329B2/en active Active
-
2020
- 2020-12-21 JP JP2022539182A patent/JP7480302B2/ja active Active
- 2020-12-21 WO PCT/US2020/066310 patent/WO2021133706A1/en unknown
- 2020-12-21 KR KR1020227025914A patent/KR20220119720A/ko unknown
- 2020-12-21 CN CN202080090578.4A patent/CN115039142A/zh active Pending
- 2020-12-21 EP EP20842837.5A patent/EP4081931A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017056382A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2019048011A1 (de) * | 2017-09-11 | 2019-03-14 | Conti Temic Microelectronic Gmbh | Gestensteuerung zur kommunikation mit einem autonomen fahrzeug auf basis einer einfachen 2d kamera |
JP2019057247A (ja) * | 2017-09-22 | 2019-04-11 | アイシン精機株式会社 | 画像処理装置及びプログラム |
WO2019116099A1 (en) * | 2017-12-13 | 2019-06-20 | Humanising Autonomy Limited | Systems and methods for predicting pedestrian intent |
JP2019109691A (ja) * | 2017-12-18 | 2019-07-04 | 日立オートモティブシステムズ株式会社 | 移動体挙動予測装置および移動体挙動予測方法 |
US20190279010A1 (en) * | 2018-03-09 | 2019-09-12 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method, system and terminal for identity authentication, and computer readable storage medium |
CN110135304A (zh) * | 2019-04-30 | 2019-08-16 | 北京地平线机器人技术研发有限公司 | 人体位姿识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20220119720A (ko) | 2022-08-30 |
WO2021133706A9 (en) | 2021-08-12 |
EP4081931A1 (en) | 2022-11-02 |
JP7480302B2 (ja) | 2024-05-09 |
US11587329B2 (en) | 2023-02-21 |
US20210201052A1 (en) | 2021-07-01 |
WO2021133706A1 (en) | 2021-07-01 |
CN115039142A (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7480302B2 (ja) | 交通弱者の意図を予測する方法および装置 | |
JP7462665B2 (ja) | 外観に基づく動きの予測 | |
US10372130B1 (en) | Communicating reasons for vehicle actions | |
JP6833936B2 (ja) | 自己中心映像に基づく将来の車両位置特定のためのシステム及び方法 | |
US20210339741A1 (en) | Constraining vehicle operation based on uncertainty in perception and/or prediction | |
US11427210B2 (en) | Systems and methods for predicting the trajectory of an object with the aid of a location-specific latent map | |
US20190346844A1 (en) | System and method for learning and executing naturalistic driving behavior | |
CN113128326A (zh) | 具有语义地图和lstm的车辆轨迹预测模型 | |
US20240010241A1 (en) | Systems and Methods for Generating Motion Forecast Data for a Plurality of Actors with Respect to an Autonomous Vehicle | |
US11180156B2 (en) | Fault coordination and management | |
CN112368753A (zh) | 交互式外部运载工具-用户通信 | |
JP7072030B2 (ja) | アクション事前分布を使用して将来予測するためのシステム及び方法 | |
JP2021136021A (ja) | 運転者中心危険評価:意図認識運転モデルを用いた因果推論を介する危険物体識別 | |
US11789456B2 (en) | Object or person attribute characterization | |
US20210325880A1 (en) | Collaborative vehicle guidance | |
US11584389B2 (en) | Teleoperations for collaborative vehicle guidance | |
US11535270B2 (en) | Fault coordination and management | |
US11710352B1 (en) | Machine-learned model training for pedestrian attribute and gesture detection | |
CN112977473A (zh) | 用于预测移动障碍物驶出十字路口的方法及系统 | |
CN112977472A (zh) | 预测车辆的移动轨迹的方法及系统 | |
CN113557524A (zh) | 用于表示移动平台环境的方法 | |
CN116674593A (zh) | 用于自主车辆的具有异常检测的安全增强规划系统 | |
JP2023522844A (ja) | 協調的車両ガイダンスのための遠隔操作 | |
US11663913B2 (en) | Neural network with lane aggregation for lane selection prediction of moving objects during autonomous driving | |
Siboo et al. | An Empirical Study of DDPG and PPO-Based Reinforcement Learning Algorithms for Autonomous Driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7480302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |