WO2021180130A1 - 轨迹预测 - Google Patents

轨迹预测 Download PDF

Info

Publication number
WO2021180130A1
WO2021180130A1 PCT/CN2021/080016 CN2021080016W WO2021180130A1 WO 2021180130 A1 WO2021180130 A1 WO 2021180130A1 CN 2021080016 W CN2021080016 W CN 2021080016W WO 2021180130 A1 WO2021180130 A1 WO 2021180130A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
trajectory
value
trajectory data
historical
Prior art date
Application number
PCT/CN2021/080016
Other languages
English (en)
French (fr)
Inventor
孙健华
蒋沁宏
卢策吾
Original Assignee
商汤集团有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 商汤集团有限公司 filed Critical 商汤集团有限公司
Priority to KR1020227018513A priority Critical patent/KR20220087561A/ko
Priority to JP2022532611A priority patent/JP2023503527A/ja
Publication of WO2021180130A1 publication Critical patent/WO2021180130A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the network parameters of at least one of the decoding network, the first coding network, and the second coding network can be adjusted inversely.
  • the prediction processing module 53 is specifically configured to obtain the predicted trajectory of the target object in a third time period after the first time period according to the individual characterization vector and the group characterization vector of the target object.
  • the interactive obtaining submodule 522 is configured to obtain the interactive relationship value between two objects in the object set according to the multiple relationship matrices in the update process.
  • the object set includes a target object and at least one associated object; the interaction relationship value is used to characterize the correlation degree of walking behavior between the two objects.
  • Computers suitable for executing computer programs include, for example, general-purpose and/or special-purpose microprocessors, or any other type of central processing unit.
  • the central processing unit will receive instructions and data from a read-only memory and/or a random access memory.
  • the basic components of a computer include a central processing unit for implementing or executing instructions and one or more memory devices for storing instructions and data.
  • a computer will also include one or more mass storage devices for storing data, such as magnetic disks, magneto-optical disks, or optical disks, or the computer will be operatively coupled to this mass storage device to receive data from or send data to it. It transmits data, or both.
  • the computer does not have to have such equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种轨迹预测方法、装置、电子设备及介质。根据该轨迹预测方法的一个示例，可根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；以及，基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。然后，可根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。

Description

轨迹预测
相关申请的交叉引用
本专利申请要求于2020年3月13日提交的、申请号为202010177302.1、发明名称为“轨迹预测方法、装置、电子设备及介质”的中国专利申请的优先权，以上中国专利申请的全文以引用的方式并入本文中。
技术领域
本公开涉及机器学习技术，具体涉及轨迹预测。
背景技术
行人行走行为的分析与理解是计算机视觉和智能视频监控领域的一个重要研究方向。行走行为模型目前已经在很多领域有着重要的应用，如行走行为预测、行人检测与跟踪等。对人类行走行为的建模是一个复杂的问题，需要考虑内因和外因等很多重要的因素。例如，行人与行人之间交互关系，对于行走行为的理解与预测是至关重要的。
目前，在行人行走行为预测任务中，大多数方法采用的是基于设计者人为主观定义的先验知识来衡量关系强弱。比如，通过行人之间的相对距离的远近来映射行人之间的相互影响的程度，从而来建模行人间的交互。然而在实际场景下，行人很多情况下并没有对距离自己很近的人给予很强的关注。这一建模方法难以应对复杂场景中形形色色的行人的行为，有很强的局限性。
发明内容
本公开实施例至少提供一种轨迹预测方法、装置、电子设备及介质。
第一方面，提供一种轨迹预测方法，包括：根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
在一些实施例中，所述群体表征向量表示所述至少一个关联对象对所述目标对象的行为影响。所述目标对象的历史轨迹数据包括所述目标对象在第一时间段内的历史轨迹数据。所述至少一个关联对象的历史轨迹数据包括所述至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠。根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在所述第一时间段之后的第三时间段内的预测轨迹。
在一些实施例中，根据所述目标对象的历史轨迹数据，得到所述目标对象的个体表征向量，包括：获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息，所述环境信息包括涉及所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；根据所述环境信息的集合，得到所述目标对象的环境特征；根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
在一些实施例中，所述目标对象的历史轨迹数据包括所述目标对象在全局坐标系下 的多个轨迹坐标。所述方法还包括：在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
在一些实施例中，根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征，包括：通过编码网络对所述目标对象在所述第一时间段内的历史轨迹数据进行编码，得到所述目标对象的轨迹特征。其中，所述编码网络包括双向长短期记忆网络LSTM。
在一些实施例中，基于所述目标对象的历史轨迹数据、以及所述至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量，包括：根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵；根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件；根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值，所述对象集合包括所述目标对象及所述至少一个关联对象，所述交互关系值用于表征所述两两对象之间的行走行为相关程度；根据所述交互关系值确定所述目标对象的群体表征向量。
在一些实施例中，根据所述交互关系值确定所述目标对象的群体表征向量，包括：根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边；其中，每一个节点对应所述对象集合中的一个对象，所述节点的取值是所述节点所对应的对象的历史轨迹数据，所述连接边的取值是所述连接边所连接的两个节点间的交互关系值；对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值作为所述目标对象的群体表征向量。
在一些实施例中，得到所述目标对象的个体表征向量，包括：通过第一编码网络根据所述历史轨迹数据得到个体表征向量。获得所述目标对象的群体表征向量，包括：通过第二编码网络获得所述目标对象的群体表征向量。根据目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：根据解码网络得到所述预测轨迹。相应地，所述方法还可包括：在得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值，所述第一损失函数值根据指数均方误差损失函数得到；根据所述第一损失函数值，调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
在一些实施例中，所述第二编码网络中还包括图生成器，所述图生成器用于根据目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到对象集合中的两两对象之间的交互关系值。相应地，所述方法还包括：获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象间的行走行为相关程度是否满足预设相关条件；根据所述第二损失函数值，调整所述图生成器中的网络参数。
在一些实施例中，所述方法还包括：在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，确定所述目标对象行为异常。
在一些实施例中，所述方法还包括：在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹进行路径规划。
第二方面，提供一种轨迹预测装置，包括：个体表征模块，用于根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；群体表征模块，用于基于所述目标对 象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；预测处理模块，用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
在一些实施例中，所述群体表征向量表示所述至少一个关联对象对所述目标对象的行为影响。所述目标对象的历史轨迹数据包括所述目标对象在第一时间段内的历史轨迹数据。所述至少一个关联对象的历史轨迹数据包括所述至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠。所述预测处理模块，具体用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在所述第一时间段之后的第三时间段内的预测轨迹。
在一些实施例中，所述个体表征模块包括：环境处理子模块，用于获取所述目标对象对应的环境信息的集合，并根据所述环境信息的集合得到所述目标对象的环境特征，所述集合包括分别对应不同时刻的多个环境信息，环境信息包括涉及所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；轨迹处理子模块，用于根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；融合处理子模块，用于将所述环境特征与轨迹特征进行拼接，得到所述目标对象的个体表征向量。
在一些实施例中，所述目标对象的历史轨迹数据包括所述目标对象在全局坐标系下的多个轨迹坐标。相应地，所述装置还包括坐标转换模块，用于将所述目标对象的历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
在一些实施例中，所述群体表征模块包括关系获取子模块、交互获取子模块和表征处理子模块。其中，关系获取子模块用于：根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵；根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件。交互获取子模块用于根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值，所述对象集合包括所述目标对象及所述至少一个关联对象，所述交互关系值用于表征所述两两对象之间的行走行为相关程度。表征处理子模块用于根据所述交互关系值确定所述目标对象的群体表征向量。
在一些实施例中，所述表征处理子模块具体用于：根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点且任两个节点之间具有连接边，每一个节点对应所述对象集合中的一个对象，所述节点的取值是所述节点所对应的对象的历史轨迹数据，所述连接边的取值是所述连接边所连接的两个节点间的交互关系值；对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值作为所述目标对象的群体表征向量。
在一些实施例中，所述轨迹处理子模块具体用于：根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征。
在一些实施例中，所述个体表征模块具体用于通过第一编码网络根据目标对象的历史轨迹数据得到所述目标对象的个体表征向量，所述第一编码网络可包括双向长短期记忆网络LSTM。所述群体表征模块具体用于通过第二编码网络基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。所述预测处理模块具体用于通过解码网络根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。相应地，所述装 置还可包括：网络训练模块，用于在得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值，所述第一损失函数值根据指数均方误差损失函数得到；根据所述第一损失函数值，调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
在一些实施例中，所述第二编码网络中还包括图生成器，所述图生成器用于根据目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到所述目标对象与至少一个关联对象两两之间的交互关系值。相应地，所述网络训练模块还用于：获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象间的行走行为相关程度是否满足预设相关条件；根据所述第二损失函数值，调整所述图生成器中的网络参数。
在一些实施例中，所述装置还包括异常确定模块，用于在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，则确定所述目标对象行为异常。
在一些实施例中，所述装置还包括路径处理模块，用于在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹进行路径规划。
第三方面，提供一种电子设备，所述设备包括存储器和处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机可读指令，实现本公开任一实施例所述的轨迹预测方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的轨迹预测方法。
本公开实施例提供的轨迹预测方法、装置、电子设备及介质，综合了目标对象的个体表征向量和群体表征向量进行轨迹预测，并且群体表征向量根据目标对象和关联对象的历史轨迹数据来确定的，能够更准确的表征行人之间的交互影响，提升了轨迹预测结果的准确性。
附图说明
为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开至少一个实施例提供的一种轨迹预测方法的流程示意图。
图2示出了本公开至少一个实施例提供的另一种轨迹预测方法的流程图。
图3示出了本公开至少一个实施例提供的一种环境信息的示意图。
图4示出了本公开至少一个实施例提供的轨迹预测的网络框架图。
图5示出了本公开至少一个实施例提供的一种轨迹预测装置的结构示意图。
图6示出了本公开至少一个实施例提供的一种轨迹预测装置的结构示意图。
图7示出了本公开至少一个实施例提供的一种轨迹预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面 将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
本公开实施例提供一种轨迹预测方法，该方法可以用于对行人的行走行为进行预测。例如，可以根据行人已经走过的路径预测该行人未来的行走轨迹。
图1示例了该轨迹预测方法的流程图，如图1所示，该方法可以包括如下处理。
在步骤100中，根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量。
所述目标对象可以是要进行轨迹预测的对象。例如，假如要根据行人P1的已走过路径预测行人P1之后的行走路径，则可以将行人P1称为目标对象。
示例性的，所述目标对象的历史轨迹数据可以是该目标对象在第一时间段内的历史轨迹数据。例如，该历史轨迹数据可以对应行人P1在时间段[1,T obs]内的行走路径，该时间段[1,T obs]可以称为第一时间段。具体的，目标对象在第一时间段[1,T obs]内的历史轨迹数据可以包括该目标对象在第一时间段内的轨迹坐标序列，该轨迹坐标序列中可以包括多个轨迹坐标。
例如，轨迹坐标
Figure PCTCN2021080016-appb-000001
表示目标对象i在时刻t的坐标，横坐标x，纵坐标y。所述第一时间段内可以包括多个时刻t，相应的历史轨迹数据包括分别对应各个时刻t的轨迹坐标，形成一个轨迹坐标序列。
实际实施中，可以是获取到一个视频(Video)，该视频的时长对应所述第一时间段，该视频可以包括多个图像帧，其中至少部分图像帧可以包括目标对象。以每一个图像帧都包括所述目标对象为例。可以通过检测跟踪算法对该视频进行预处理，提取到所述目标对象在每一个图像帧中的轨迹坐标，最终得到该目标对象在该视频中的历史轨迹数据。
可通过根据目标对象在第一时间段内的历史轨迹数据进行处理，得到目标对象的个体表征向量。例如，可以通过根据历史轨迹数据进行编码，得到所述个体表征向量。
在步骤102中，基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。
示例性的，至少一个关联对象可以是在第一时间段内与目标对象在同一场景中的对象。例如，以上面的一个视频为例，该视频可以即所述的“场景”。在该视频中除了包括目标对象之外，还包括其他对象。比如，目标对象可以是行人P1，那么在上述的视频中，每一个图像帧中不仅包括该行人P1，还包括行人P2和行人P3，行人P2和P3则可以称为目标对象P1的关联对象。可见，行人P2和P3与行人P1同样都是存在于所述视频中的每一个图像帧，这三个行人的历史轨迹数据可对应于同一个第一时间段。关联对象的历史轨迹数据与目标对象的相同，也是一个轨迹坐标序列。
本步骤中可以通过对目标对象和关联对象的历史轨迹数据进行编码，得到目标对象的群体表征向量。该群体表征向量可以用于表示所述至少一个关联对象对目标对象的行为影响，包括关联对象的历史轨迹数据对目标对象的轨迹预测的关联影响。比如，两个行人相向而行要在某一处聚合，那么这两个行人的行走路径是有关系的，可以根据其中一个行人的行走路径辅助预测另一个行人的行走路径。
在步骤104中，根据所述目标对象的个体表征向量和群体表征向量，预测所述目标对象的预测轨迹。
其中，可以根据目标对象的个体表征向量和群体表征向量，综合预测目标对象未来 的行走轨迹。例如，所述个体表征向量和群体表征向量可以都是通过编码处理得到，本步骤可以通过对个体表征向量和群体表征向量进行解码处理，预测目标对象的轨迹。
示例性的，目标对象的历史轨迹数据可以包括其在第一时间段[1,T obs]内的轨迹坐标序列，该目标对象的关联对象的历史轨迹数据包括该关联对象在第二时间段内的轨迹坐标序列。其中，该第二时间段与所述第一时间段至少部分重叠，即关联对象和目标对象在同一场景中出现过。
在预测时，可以是预测该目标对象-行人P1在第三时间段[T obs+1,T obs+pred]内的行走路径，即预测目标对象在第一时间段之后的第三时间段内的预测轨迹，也即预测的是目标对象在第一时间段之后的一段时间的轨迹。
需要说明的是，图1仅为一种示例性的实现方式，并不作为对步骤100和步骤102在执行顺序上的限定。即在执行过程中，可以先执行步骤100再执行步骤102，或是先执行步骤102再执行步骤100，当然也可以同时执行步骤100和步骤102。
本实施例的轨迹预测方法，综合了目标对象的个体表征向量和群体表征向量进行轨迹预测，并且群体表征向量是根据目标对象和关联对象的历史轨迹数据来确定的，能够更准确的表征行人之间的交互影响，有助于提升轨迹预测结果的准确可靠性。
图2示例了另一种轨迹预测方法的流程图。该方法相对于图1所示的流程，对个体表征向量的获取过程进行了细化，以更准确全面的考虑目标对象的轨迹预测影响因素。如图2所示，该方法可以包括如下处理步骤200、202、204、206、208、210。
在步骤200中，获取目标对象对应的环境信息的集合。
所述集合中包括分别对应不同时刻的多个环境信息。环境信息包括涉及所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标。比如，预定区域指以目标对象的轨迹坐标为中心的周围区域。示例性的，该环境信息可是实时环境信息。采用实时环境信息来预测场景环境信息对目标对象的轨迹影响，可使得轨迹预测更加准确。如下的描述中，将以实时环境信息为例进行描述。
每一个实时环境信息是包括目标对象的轨迹坐标的一个图像块。例如，可以如下理解：对于获取到的目标对象在第一时间段内的多个图像帧，该多个图像帧分别对应第一时间段内的不同时刻t，每一个图像帧中都包括目标对象i的轨迹坐标
Figure PCTCN2021080016-appb-000002
该轨迹坐标可以表示目标对象在该图像帧中所处的位置；由该图像帧中截取一图像块，该图像块中包括该目标对象的轨迹坐标，该图像块即可称为在时刻t该目标对象对应的实时环境信息。该图像块即上述目标对象所在的图像帧中预定区域的图像内容，目标对象在该图像帧中的轨迹坐标也包括在该预定区域中。
仍以上面的一个视频为例，该视频的时长对应所述第一时间段，并且该视频中包括8个图像帧，每一个图像帧对应一个时刻t 0、t 1、t 2、t 3、t 4、t 5、t 6、t 7，其中的每一个时刻对应的图像帧中可以包括目标对象在内的多个对象。该目标对象在每一个图像帧中都有一个对应的轨迹坐标，则目标对象在该第一时间段内的历史轨迹数据是包括8个轨迹坐标的序列。
具体到其中一个图像帧，以该目标对象所在的轨迹坐标
Figure PCTCN2021080016-appb-000003
为中心，该轨迹坐标的周边预定区域的信息就可以称为实时环境信息。例如，可以以所述轨迹坐标为中心划定一个100*100像素的图像块，这个图像块中的信息就可以称为实时环境信息。
请参见图3的示意，图3示意了一个对应时刻t 0的图像帧，圆形的轨迹坐标31是目标对象在该时刻的轨迹坐标，方形的轨迹坐标32是另一个对象在该时刻的轨迹坐标，椭圆形的轨迹坐标33是又一个对象在该时刻的轨迹坐标。以轨迹坐标31为中心划定一 个框型区域A，该区域A是目标对象在时刻t 0对应的实时环境信息；同理，区域B是所述另一个对象在该时刻t 0对应的实时环境信息，区域C是所述又一个对象在该时刻t 0对应的实时环境信息。其中上述图3的框型区域的大小仅是示意，预定区域的大小可以自主设定。其中，上述不同对象对应的预定区域的大小是相同的，同一对象在不同图像帧中对应的预定区域的大小也是相同的。
如上，目标对象的历史轨迹数据中，每一个轨迹坐标可对应有以该轨迹坐标为中心的一个图像块(image patch)，这个图像块可以称为实时环境信息。第一时间段中的各个时刻对应的实时环境信息可以组成一集合，该集合(patch set)可以表示如下：
Figure PCTCN2021080016-appb-000004
其中，
Figure PCTCN2021080016-appb-000005
表示目标对象i在时刻t的实时环境信息，该时刻t为所述第一时间段中的一个时刻，S i表示在目标对象i第一时间段内的实时环境信息的集合，该集合中包括目标对象i在各个时刻t对应的实时环境信息。
在步骤202中，根据所述环境信息的集合，得到所述目标对象的环境特征。例如，可以通过对实时环境信息的集合进行编码，得到该环境特征。
在步骤204中，根据所述目标对象在第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征。
如果目标对象的历史轨迹数据是在全局坐标系下的轨迹坐标，可以在进行编码之前，将该轨迹坐标由全局坐标系转换至个体相对坐标系，该个体相对坐标系以所述历史轨迹数据中的初始轨迹点为原点。这种坐标转换方法更好的关注了个体的行为，也便于在统计学上进行更准确的拟合。
可通过编码网络对目标对象在第一时间段内的历史轨迹数据进行编码，并将得到的编码结果作为目标对象的轨迹特征。示例性的，考虑到一个行人的历史时间段的轨迹与未来时间段的轨迹之间可能会相互影响，在对历史轨迹数据进行编码的过程中，该编码网络可采用双向长短期记忆网络LSTM(Bidirectional Long-Short-Term-Memory，Bi-LSTM)。通过Bi-LSTM对目标对象在第一时间段内的历史轨迹数据进行编码，得到所述目标对象的轨迹特征。该方法能够更准确全面的表征目标对象的历史轨迹数据。
例如，可以将目标对象的个体相对坐标系下的轨迹坐标序列使用3层的Bi-LSTM进行编码，输出长度为96的一维张量，作为轨迹特征。
在步骤206中，将所述环境特征与所述轨迹特征进行拼接(concatenate)，得到所述目标对象的个体表征向量。
在步骤208中，基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景中的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。
在步骤210中，根据所述目标对象的个体表征向量和群体表征向量，预测所述目标对象的预测轨迹。
本实施例的轨迹预测方法，不仅综合目标对象的个体表征向量和群体表征向量进行轨迹预测，群体表征向量是根据目标对象和关联对象的历史轨迹数据确定的，更准确的表征行人之间的交互影响；并且，在个体表征向量的获取过程中综合了对象的实时环境信息，使得对轨迹预测的影响因素考虑更加全面，进一步提升轨迹预测的准确度。
如下将通过一个编码-解码的网络框架，来详细描述本公开实施例的轨迹预测方法。在该网络框架中，包括用于生成个体表征向量的第一编码网络、用于生成群体表征向量的第二编码网络、以及用于预测轨迹的解码网络。
请参见图4，图4中网络框架包括第一编码网络41、第二编码网络42和解码网络43。第一编码网络41可根据目标对象的历史轨迹数据和对应的实时环境信息的集合进行编码，得到目标对象的个体表征向量。第二编码网络42可根据目标对象及关联对象的历史轨迹数据进行编码，得到目标对象的群体表征向量。该个体表征向量和群体表征向量都输入解码网络43，由解码网络43进行解码处理，得到预测的目标对象的轨迹。
如下分别对第一编码网络41、第二编码网络42和解码网络43的处理进行详细说明。请参见图4所示，首先，提供一个场景，该场景可以是一个视频，其中示例性的包括四个行人(图中的每一条轨迹线a、b、c、d代表一个行人的行走轨迹)，在该视频的每一个图像帧中也均包括该四个行人。可以先通过检测跟踪算法对该场景进行预处理，提取出每一个行人的历史轨迹数据和实时环境信息的集合。
在下文，将以一个行人为例作为目标对象，描述其轨迹预测的过程。其他三个行人可以按照同样的方法进行轨迹预测，将不再描述。通过图4还可以看到，在解码网络43最终输出的结果中，这四个行人的轨迹各自相对于原有的轨迹已经多出了一段预测结果。例如，轨迹线a(实线表示)向前继续延伸了一段轨迹线a1(虚线表示)。轨迹线a相当于行人在第一时间段的历史轨迹数据，而轨迹线a1相当于通过上述第一编码网络41、第二编码网络42和解码网络43的处理后，预测得到的行走轨迹。
第一编码网络编码输出个体表征向量
请结合图4所示，将目标对象在场景中的历史轨迹数据和实时环境信息的集合输入第一编码网络41。其中，第一编码网络41可以包括第一子网络411和第二子网络412。
其中，第一子网络411用于对目标对象的历史轨迹数据进行编码，得到目标对象的轨迹特征。该第一子网络411以Bi-LSTM为例。例如，该轨迹特征可以是一个输出长度为96的一维张量。实际实施中，本实施例不限制该轨迹特征的输出长度，也可以是96之外的其他数值。
第二子网络412用于对目标对象的实时环境信息的集合进行编码，得到目标对象的环境特征。该第二子网络412以CNN为例，CNN可以对目标对象的实时环境信息的集合进行编码，通过全连接层对各个实时环境信息的编码结果进行整合，输出一个长度为4的一维张量作为环境特征。本实施例不限制该环境特征的输出长度，也可以是4之外的其他数值。
可以将轨迹特征和环境特征进行拼接操作，得到目标对象的个体表征向量。
第二编码网络编码输出群体表征向量
请参见图4所示，图生成器421(RSBG Generator)用于接收目标对象及其关联对象的历史轨迹数据，并基于这些历史轨迹数据生成递归社会行为图(Recursive Social Behavior Graph，RSBG)。该RSBG是用于表示目标对象及其关联对象之间关系的图。
以场景中包括N个行人为例，该N个行人包括目标对象。初始化的过程中，可以根据目标对象及至少一个关联对象的历史轨迹数据(可以是全局坐标系下的轨迹坐标)整合得到一个特征矩阵F。该特征矩阵F是一个N行L列的矩阵，每一行表示一个行人的特征，L列表示每一个行人的特征包括L个特征。该L的取值例如可以是2T obs，T obs为历史轨迹数据的长度。2T obs只是示例，本实施例不限制上述L的具体取值。
请参见如下公式(2)，使用两个不同的全连接层g s和g o分别将矩阵F映射到两个不同的函数空间后进行关系获取处理，该关系获取处理可以包括用于根据上述转换后的特征矩阵计算对象之间的关系。例如，该关系获取处理可以是将其中一个特征矩阵转置后与另一个特征矩阵相乘，之后通过softmax函数归一化，得到关系矩阵R，该R矩阵 大小为N*N，如下的公式(2)所示。实际实施中，关系获取处理不局限于该公式(2)的形式，比如，还可以采用softmax函数之外的其他归一化函数。
Figure PCTCN2021080016-appb-000006
其中，k表示递归层的深度，比如，在k＝1的情况下，R k表示第一次递归运算得到的关系矩阵，在k＝2的情况下，R k表示第二次递归运算得到的关系矩阵，等。
请继续参见公式(3)：
F k+1＝f c(F k+R kF k)………(3)
如上公式(3)，可以将关系矩阵R和特征矩阵F进行融合，得到更深层的特征矩阵(也可以称为更新后的特征矩阵)。例如，将k层的关系矩阵R k和特征矩阵F k融合后，得到用于参与k+1次运算的特征矩阵F k+1。其中，f c表示融合时使用的函数。
接着，返回重复执行公式(2)和公式(3)，即将特征矩阵F k+1引入到公式(2)中，得到关系矩阵R k+1，再将特征矩阵F k+1和关系矩阵R k+1引入公式(3)计算得到特征矩阵F k+2。如此重复，不再赘述。当达到预设的更新停止条件时，停止更新该关系矩阵。例如，该更新停止条件可以是达到了预定的迭代次数。
在上述更新过程中可得到多个关系矩阵，例如，抽取出一系列R 1，…，R k，k为递归层数。本实施例中，可将这些关系矩阵取算术平均，得到总的关系矩阵R。该总的关系矩阵R也是N*N，该矩阵中的每一个值表示目标对象与至少一个关联对象两两之间的交互关系值。比如，以N是4为例，四个行人P1、P2、P3和P4中的行人P1是目标对象，行人P2至P4可以称为目标对象的关联对象。如下示例一个4*4的关系矩阵R。
Figure PCTCN2021080016-appb-000007
其中，该关系矩阵中，由上到下的顺序看四个行，每一行分别对应“P1、P2、P3和P4”，由左到右的顺序看四个列，每一列分别对应“P1、P2、P3和P4”。例如，第一行第二列的取值“0.8”表示行人P1和行人P2之间的交互关系值。又例如，第三行第四列的取值“0.3”表示行人P3和行人P4之间的交互关系值。
关系矩阵R中每一个元素的取值，可以表征对象集合中的两两对象之间的行走行为相关程度，可称为交互关系值。如上面的关系矩阵的示例，所述对象集合包括目标对象及至少一个关联对象，所述的两两对象之间既可以是目标对象与关联对象之间，也可以是关联对象与关联对象之间。所述行走行为相关程度可以用于表示两个对象的行为之间有关系的概率，比如，两个对象的行走行为之间是80％的概率存在关系，或者只有20％的概率存在关系。所述行为相关可以包括多种情况，例如，相似的目的地、相似的运动轨迹、相似的运动等中的一项或是多项的组合。例如，如果两个人相向而行，要在同一个地点集合相聚，这两个人属于同一组。又例如，一家几口人出行，行走轨迹和目的地基本一致，这一家人可看作同一组。再例如，人行横道绿灯通行时，过马路的行人绝大多数会表现出一种趋同的行走轨迹，这些人可视为同一组。行为相关也可以是上述示例之外的其他示例。
当根据上述交互关系值确定两个对象的行为相关时，也可以称这两个对象属于同一组(group)。比如，上面示例的关系矩阵中的每一元素取值即为交互关系值，表示两个对象的行为相关程度。当该交互关系取值大于某个阈值时，就可以认为是同一组。示例性的，假设两个对象的交互关系值是0.8，大于阈值0.7，就可以认为两个对象是同一 组。
基于上述得到的总的关系矩阵R，可以确定目标对象的群体表征向量。
例如，可以根据关系矩阵R生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边。其中，每一个节点对应所述对象集合中的一个对象，所述节点的取值是该节点所对应的对象的历史轨迹数据，所述连接边的取值是所述连接边所连接的两个节点间的交互关系值。请参见如下的公式：
G RSB＝(V,ε)………(4)
V＝{v i＝t i|0≤i＜N}………(5)
Figure PCTCN2021080016-appb-000008
其中，该递归社会行为图RSBG具有顶点t i，该顶点t i可以是目标对象i的历史轨迹数据(共有N个对象，该历史轨迹数据可以是个体相对坐标系下的轨迹坐标)，该递归社会行为图中的连接边的取值是R a(i 1,i 2)，该连接边R a(i 1,i 2)表示在总的关系矩阵R的第i 1行第i 2列的取值，是对象i 1和i 2的交互关系值。
在生成RSBG后，可以对该图进行图卷积处理，得到目标对象对应的节点的取值，所述取值作为目标对象的群体表征向量。例如，可以通过GCN(Graph Convolutional Network)进行图卷积处理，相关处理公式可以参见如下公式7和公式8：
Figure PCTCN2021080016-appb-000009
Figure PCTCN2021080016-appb-000010
其中，m表示GCN的层数，fc表示全连接层的处理。例如，当使用一个两层的GCN网络的情况下，m＝2，可以按照公式(7)和公式(8)计算两次。比如，当m等1时计算得到向量
Figure PCTCN2021080016-appb-000011
再将该向量
Figure PCTCN2021080016-appb-000012
代入到公式中再计算一次最终得到向量
Figure PCTCN2021080016-appb-000013
即目标对象i的群体表征向量。
如上的计算过程，通过特征矩阵和关系矩阵的递归计算和融合，最终得到总的关系矩阵R，并且还利用图结构通过图卷积处理来得到行人之间的交互关系，使得所得到的群体表征向量对行人之间交互影响的表征更准确。
解码网络解码输出预测轨迹
在获得了个体表征向量和群体表征向量后，可将这两个向量输入解码网络43，该解码网络43可将目标对象的个体表征向量和群体表征向量拼接得到整体表征向量。该整体表征向量作为LSTM的输入，LSTM可输出该目标对象在第二时间段内的预测轨迹。
上述的第一解码网络41、第二解码网络42和解码网络43要先经过训练，再应用于对行人的轨迹预测。
在网络训练阶段，目标对象的预测轨迹可具有预测值和真实值，根据预测值和真实值计算第一损失函数。例如，该第一损失函数的函数值可根据如下公式(9)得到：
Figure PCTCN2021080016-appb-000014
如上的公式(9)是一个指数L2 loss(Exponential L2 Loss)，即均方误差损失函数。其中，t表示预测时间节点，i表示行人id，Y i t表示真实值，
Figure PCTCN2021080016-appb-000015
表示预测值，γ为超参数，实验中例如可以设定为20。该超参数γ可以随着预测的第二时间段的长度的不同而变化，比如，第二时间段的时长越长，该γ的取值可以越大。
通过使用指数L2loss计算第一损失函数值，能够使得在预测轨迹时，预测的时间节点越远损失权重逐渐增加，从而在监督训练中兼顾了各个轨迹坐标的平均预测结果的准确性、以及目的地预测的准确性，使得轨迹预测更准确。
根据上述计算得到的第一损失函数值，可以反向调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
在训练阶段，当使用RSBG进行图卷积的方式来获取行人之间的交互影响时，还可以预先获得场景中行人之间的真实的交互关系值，即关系矩阵R中的各个元素的标签值。该标签值用于表示所述交互关系值对应的两个对象是否属于同一组，其中，属于同一组的两个对象间的行走行为相关程度满足预设相关条件。该预设相关条件比如可以是上面示例的交互关系值大于预设的阈值，例如，交互关系值是0.8，大于阈值0.7，则认为该交互关系值对应的两个对象的行走行为相关程度满足预设相关条件，则认为这两个对象属于同一组。在具体实施中，该标签值的确定可以采用专家鉴定的方式。比如，图4的场景中有4个行人，可以通过专家鉴定的方式确定这四个行人中任意两人之间的关系，即两个行人之间是否属于同一组，若属于同一组，设置R a(i 1,i 2)的标签值是1；若不属于同一组，设置R a(i 1,i 2)的标签值是0。
在上面的描述中提到的由图生成器通过递归方式计算得到的总的关系矩阵R(例如，将递归过程中的多个关系矩阵平均后得到的关系矩阵R)是交互关系值的预测值。可以根据上述交互关系值的预测值与标签值计算第二损失函数值。例如，可以利用交叉熵计算该损失值。可根据所述第二损失函数值，调整图生成器中的网络参数。比如，该图生成器中包括多个全连接层，可以调整这些全连接层的网络参数。
本公开实施例的轨迹预测方法在得到预测的轨迹后，可以应用于多种场景。
例如，在得到目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，确定所述目标对象行为异常。所述不匹配可以是实际轨迹与预测轨迹不同，包括实际轨迹与预测轨迹偏差较大。可以通过如下指标来衡量实际轨迹和预测轨迹之间的距离：ADE(Average Displacement Error)或者FDE(Final Displacement Error)。并可以通过对上述指标设定一定的阈值来判断两个轨迹偏差的程度是否较大。实际应用的一个示例可以是，对某个行人P2预测出他将要在路口左转，结果实际上他在路口右转了，可以确定该行人存在行为异常的风险。比如，在发现行人的行为异常后，那就表示该行人可能是非法人员(比如小偷)。
又例如，在得到目标对象的预测轨迹之后，根据所述目标对象的预测轨迹进行路径规划。比如，在辅助智能机器人自助行走时，预测对面的某个行人的轨迹后，机器人可以根据预测的该行人的轨迹决策自己的下一步行动路线，比如，机器人可以修正自己的行走路线以防止与上述预测的行人相撞。此外，该方法还可以应用于其他智能行驶设备，该智能行驶设备可以根据预测的行人轨迹，修正或者规划自己下一步的行走路线，以避免与行人发生相撞。
本公开实施例提供了一种轨迹预测装置，该装置可以执行本公开任一实施例的轨迹预测方法。如下简单描述该装置，其各个模块的具体处理可以结合参见方法实施例。如图5所示，该装置可以包括个体表征模块51、群体表征模块52和预测处理模块53。
其中，个体表征模块51用于根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量。群体表征模块52用于基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量。预测处理模块53用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
在一个例子中，所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响。所述目标对象的历史轨迹数据包括所述目标对象在第一时间段内的历史轨迹数据。所述至少一个关联对象的历史轨迹数据包括所述至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠。
所述预测处理模块53具体用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在第一时间段之后的第三时间段内的预测轨迹。
在一个例子中，如图6所示，个体表征模块51可以包括环境处理子模块511、轨迹处理子模块512和融合处理子模块513。
其中，环境处理子模块511用于获取所述目标对象对应的环境信息的集合，并根据所述环境信息的集合得到所述目标对象的环境特征。所述集合包括分别对应不同时刻的多个环境信息。环境信息包括涉及所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标。轨迹处理子模块512用于根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征。融合处理子模块513用于将所述环境特征与所述轨迹特征进行拼接，得到所述目标对象的个体表征向量。
在一个例子中，所述目标对象的历史轨迹数据包括所述目标对象在全局坐标系下的多个轨迹坐标。所述装置还包括坐标转换模块54，用于在根据所述目标对象在所述第一时间段内的历史轨迹数据得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
在一个例子中，所述群体表征模块52可以包括关系获取子模块521、交互获取子模块522和表征处理子模块523。
其中，关系获取子模块521用于根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵，以根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件。
交互获取子模块522用于根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值。其中，所述对象集合包括目标对象及至少一个关联对象；所述交互关系值用于表征所述两两对象之间的行走行为相关程度。
表征处理子模块523用于根据所述交互关系值确定所述目标对象的群体表征向量。在一个例子中，表征处理子模块523具体用于：根据所述交互关系值生成递归社会行为图，所述递归社会行为图中包括多个节点，且任两个节点之间具有连接边，每一个节点对应所述对象集合中的一个对象，所述节点的取值是所述节点所对应的对象的历史轨迹数据，所述连接边的取值是所述连接边所连接的两个节点间的交互关系值；对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值作为所述目标对象的群体表征向量。
在一个例子中，所述个体表征模块51具体用于通过第一编码网络根据目标对象的历史轨迹数据得到所述目标对象的个体表征向量；所述群体表征模块52具体用于通过第二编码网络基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；所述预测处理模块53具体用于通过解码网络根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。其中，所述第一编码网络包括双向长短期记忆网络LSTM。
在一个例子中，如图7所示，所述装置还可包括网络训练模块55，用于：在得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值，所述第一损失函数值根据指数均方误差损失函数得到；根据所述第一损失函数值，调整所述解码网络、第一编码网络和第二编码网络中至少一个网络的网络参数。
在一个例子中，所述第二编码网络中还包括图生成器，所述图生成器用于根据目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到所述目标对象与至少一个关联对象两两之间的交互关系值。在此情况下，所述网络训练模块55还用于：获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象是否属于同一组，其中，属于同一组的两个对象间的行走行为相关程度满足预设相关条件；根据所述第二损失函数值，调整所述图生成器中的网络参数。
在一个例子中，所述装置还可包括异常确定模块56，用于在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，则确定所述目标对象行为异常。
在一个例子中，所述装置还可包括路径处理模块57，用于在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹进行路径规划。
在一些实施例中，上述装置可以用于执行上文所述的对应任意方法，为了简洁，这里不再赘述。
本公开实施例还提供了一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机指令，实现本说明书任一实施例的轨迹预测方法。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例的轨迹预测方法。
本申请还提供一种计算机程序，该计算机程序存储在存储介质中，当处理器执行该计算机程序时，所述处理器用于执行上述任一实施例上述的轨迹预测方法。
本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例描述的用于轨迹预测的神经网络的训练方法的步骤，和/或，实现本公开任一实施例描述的轨迹预测方法的步骤。
其中，本公开实施例所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部 分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多(现场可编程门阵列)或多SIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PD多)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系 统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims (21)

  1. 一种轨迹预测方法，包括：
    根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；
    基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景中的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；
    根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
  2. 根据权利要求1所述的方法，其特征在于，
    所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响，
    所述目标对象的历史轨迹数据包括所述目标对象在第一时间段内的历史轨迹数据；
    所述至少一个关联对象的历史轨迹数据包括所述至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠；
    根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在所述第一时间段之后的第三时间段内的预测轨迹。
  3. 根据权利要求2所述的方法，其特征在于，根据目标对象的历史轨迹数据，得到目标对象的个体表征向量，包括：
    获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息，所述环境信息包括涉及所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；
    根据所述环境信息的集合，得到所述目标对象的环境特征；
    根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；
    将所述环境特征与所述轨迹特征进行拼接，得到所述目标对象的个体表征向量。
  4. 根据权利要求3所述的方法，其特征在于，
    所述目标对象的历史轨迹数据包括所述目标对象在全局坐标系下的多个轨迹坐标；
    所述方法还包括：在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
  5. 根据权利要求3所述的方法，其特征在于，根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征，包括：
    通过编码网络对所述目标对象在第一时间段内的历史轨迹数据进行编码，得到所述目标对象的轨迹特征。
  6. 根据权利要求5所述的方法，其特征在于，所述编码网络包括双向长短期记忆网络LSTM。
  7. 根据权利要求1至6中任一所述的方法，其特征在于，基于所述目标对象的历史轨迹数据、以及所述至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量，包括：
    根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；
    将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；
    将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵；
    根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件；
    根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值，所述对象集合包括所述目标对象及所述至少一个关联对象，所述交互关系值用于表征所述两两对象之间的行走行为相关程度；
    根据所述交互关系值确定所述目标对象的群体表征向量。
  8. 根据权利要求7所述的方法，其特征在于，根据所述交互关系值确定所述目标对象的群体表征向量，包括：
    根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点且任两个所述节点之间具有连接边，每一个所述节点对应所述对象集合中的一个对象，所述节点的取值是所述节点所对应的对象的历史轨迹数据，所述连接边的取值是所述连接边所连接的两个节点间的交互关系值；
    对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值作为所述目标对象的群体表征向量。
  9. 根据权利要求1～8任一所述的方法，其特征在于，
    得到所述目标对象的个体表征向量，包括：通过第一编码网络根据所述历史轨迹数据得到个体表征向量；
    获得所述目标对象的群体表征向量，包括：通过第二编码网络获得所述目标对象的群体表征向量；
    根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹，包括：根据解码网络得到所述预测轨迹；
    所述方法还包括：
    在得到所述目标对象的预测轨迹之后，根据所述预测轨迹的预测值与真实值获得第一损失函数值，所述第一损失函数值根据指数均方误差损失函数得到；
    根据所述第一损失函数值，调整所述解码网络、所述第一编码网络和所述第二编码网络中至少一个网络的网络参数。
  10. 根据权利要求9所述的方法，其特征在于，
    所述第二编码网络包括图生成器，所述图生成器用于根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到对象集合中的两两对象之间的交互关系值，所述对象集合包括所述目标对象与所述至少一个关联对象，所述交互关系值用于表征所述两两对象之间的行走行为相关程度；
    所述方法还包括：
    获取所述交互关系值的预测值与标签值之间的第二损失函数值，所述交互关系值的标签值用于表示所述交互关系值对应的两个对象间的行走行为相关程度是否满足预设相关条件；
    根据所述第二损失函数值，调整所述图生成器中的网络参数。
  11. 根据权利要求1～10任一所述的方法，其特征在于，所述方法还包括：
    在得到所述目标对象的预测轨迹之后，若所述目标对象的实际轨迹与所述预测轨迹不匹配，确定所述目标对象行为异常。
  12. 根据权利要求1～10任一所述的方法，还包括：
    在得到所述目标对象的预测轨迹之后，按照所述目标对象的预测轨迹进行路径规划。
  13. 一种轨迹预测装置，包括：
    个体表征模块，用于根据目标对象的历史轨迹数据，得到所述目标对象的个体表征向量；
    群体表征模块，用于基于所述目标对象的历史轨迹数据、以及与所述目标对象在同一场景的至少一个关联对象的历史轨迹数据，获得所述目标对象的群体表征向量；
    预测处理模块，用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象的预测轨迹。
  14. 根据权利要求13所述的装置，其特征在于，
    所述群体表征向量用于表示所述至少一个关联对象对所述目标对象的行为影响，
    所述目标对象的历史轨迹数据包括所述目标对象在第一时间段内的历史轨迹数据；
    所述至少一个关联对象的历史轨迹数据包括所述至少一个关联对象在第二时间段内的历史轨迹数据，所述第二时间段与所述第一时间段至少部分重叠；
    所述预测处理模块具体用于根据所述目标对象的个体表征向量和群体表征向量，得到所述目标对象在所述第一时间段之后的第三时间段内的预测轨迹。
  15. 根据权利要求14所述的装置，其特征在于，所述个体表征模块包括：
    环境处理子模块，用于
    获取所述目标对象对应的环境信息的集合，所述集合包括分别对应不同时刻的多个环境信息，所述环境信息包括涉及所述目标对象的图像帧中预定区域的图像内容，所述预定区域包括所述目标对象在所述图像帧中的轨迹坐标；
    根据所述环境信息的集合，得到所述目标对象的环境特征；
    轨迹处理子模块，用于根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征；
    融合处理子模块，用于将所述环境特征与所述轨迹特征进行拼接，得到所述目标对象的个体表征向量。
  16. 根据权利要求15所述的装置，其特征在于，
    所述目标对象的历史轨迹数据包括所述目标对象在全局坐标系下的多个轨迹坐标；
    所述装置还包括坐标转换模块，用于：
    在根据所述目标对象在所述第一时间段内的历史轨迹数据，得到所述目标对象的轨迹特征之前，将所述历史轨迹数据由全局坐标系转换至个体相对坐标系，所述个体相对坐标系以所述目标对象的历史轨迹数据中的初始轨迹点为原点。
  17. 根据权利要求13至16任一所述的装置，其特征在于，所述群体表征模块包括：
    关系获取子模块，用于：
    根据所述目标对象的历史轨迹数据以及所述至少一个关联对象的历史轨迹数据，得到特征矩阵；
    将所述特征矩阵分别通过不同的全连接层映射到多个函数空间后，进行关系获取处理得到关系矩阵；
    将所述关系矩阵和所述特征矩阵进行融合，得到更新后的特征矩阵；
    根据所述更新后的特征矩阵继续更新所述关系矩阵，直至达到预设的更新停止条件；
    交互获取子模块，用于根据更新过程中的多个所述关系矩阵，得到对象集合中的两两对象之间的交互关系值，所述对象集合包括所述目标对象及所述至少一个关联对象，所述交互关系值用于表征所述两两对象之间的行走行为相关程度；
    表征处理子模块，用于根据所述交互关系值确定所述目标对象的群体表征向量。
  18. 根据权利要求17所述的装置，其特征在于，所述表征处理子模块具体用于：
    根据所述交互关系值，生成递归社会行为图，所述递归社会行为图中包括多个节点且任两个所述节点之间具有连接边，每一个所述节点对应所述对象集合中的一个对象，所述节点的取值是所述节点所对应的对象的历史轨迹数据，所述连接边的取值是所述连接边所连接的两个节点间的交互关系值；
    对所述递归社会行为图进行卷积处理，得到所述目标对象对应的节点的取值作为所述目标对象的群体表征向量。
  19. 一种电子设备，其特征在于，包括：
    存储器，用于存储计算机可读指令；
    处理器，用于调用所述计算机可读指令，实现权利要求1至12任一所述的方法。
  20. 一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至12任一所述的预测轨迹方法。
  21. 一种计算机程序，所述计算机程序存储在存储介质中，当处理器执行所述计算 机程序时，所述处理器用于执行权利要求1-12任一所述的预测轨迹方法。
PCT/CN2021/080016 2020-03-13 2021-03-10 轨迹预测 WO2021180130A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020227018513A KR20220087561A (ko) 2020-03-13 2021-03-10 궤적 예측
JP2022532611A JP2023503527A (ja) 2020-03-13 2021-03-10 軌跡予測方法、軌跡予測装置、電子機器、記録媒体及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010177302.1A CN111401233A (zh) 2020-03-13 2020-03-13 轨迹预测方法、装置、电子设备及介质
CN202010177302.1 2020-03-13

Publications (1)

Publication Number Publication Date
WO2021180130A1 true WO2021180130A1 (zh) 2021-09-16

Family

ID=71428717

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/080016 WO2021180130A1 (zh) 2020-03-13 2021-03-10 轨迹预测

Country Status (4)

Country Link
JP (1) JP2023503527A (zh)
KR (1) KR20220087561A (zh)
CN (1) CN111401233A (zh)
WO (1) WO2021180130A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239974A (zh) * 2021-12-21 2022-03-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114379595A (zh) * 2022-02-22 2022-04-22 无锡物联网创新中心有限公司 基于车辆行为特征与环境交互信息的车辆轨迹预测方法
CN115071762A (zh) * 2022-08-22 2022-09-20 北京理工大学前沿技术研究院 面向城市场景下行人轨迹预测方法、模型及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401233A (zh) * 2020-03-13 2020-07-10 商汤集团有限公司 轨迹预测方法、装置、电子设备及介质
CN111798492B (zh) * 2020-07-16 2024-04-19 商汤国际私人有限公司 轨迹预测方法、装置、电子设备及介质
CN111783738A (zh) * 2020-07-29 2020-10-16 中国人民解放军国防科技大学 一种通信辐射源异常运动轨迹检测方法
CN112541449A (zh) * 2020-12-18 2021-03-23 天津大学 一种基于无人机航拍视角的行人轨迹预测方法
CN112785075B (zh) * 2021-01-31 2022-11-25 江苏商贸职业学院 一种基于rfid定位的行人行为预测方法及系统
CN113033364A (zh) * 2021-03-15 2021-06-25 商汤集团有限公司 轨迹预测、行驶控制方法、装置、电子设备及存储介质
CN113177470B (zh) * 2021-04-28 2022-11-01 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
CN113360094B (zh) * 2021-06-04 2022-11-01 重庆紫光华山智安科技有限公司 数据预测方法和装置、电子设备及存储介质
CN114722232B (zh) * 2022-04-18 2023-12-12 北京航迹科技有限公司 预测运动轨迹的方法、装置、设备和存储介质
CN115205330B (zh) * 2022-06-17 2023-03-24 中关村科学城城市大脑股份有限公司 轨迹信息生成方法、装置、电子设备和计算机可读介质
CN117556376B (zh) * 2024-01-11 2024-04-30 宁波朗达工程科技有限公司 一种基于多源数据融合的船舶动态轨迹预测及跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558961A (zh) * 2017-09-25 2019-04-02 阿里巴巴集团控股有限公司 确定位置信息的方法和系统、存储介质、处理器以及装置
CN110516888A (zh) * 2019-09-02 2019-11-29 重庆紫光华山智安科技有限公司 轨迹预测方法、装置、电子设备和计算机可读存储介质
CN110610271A (zh) * 2019-09-17 2019-12-24 北京理工大学 一种基于长短记忆网络的多重车辆轨迹预测方法
CN111401233A (zh) * 2020-03-13 2020-07-10 商汤集团有限公司 轨迹预测方法、装置、电子设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082416A1 (en) * 2017-01-23 2020-03-12 Sony Corporation Information processing apparatus, information processing method, and computer program
CN107168342B (zh) * 2017-07-12 2020-04-07 哈尔滨工大智慧工厂有限公司 一种用于机器人路径规划的行人轨迹预测方法
CN108537818B (zh) * 2018-03-07 2020-08-14 上海交通大学 基于集群压力lstm的人群轨迹预测方法
CN109300144B (zh) * 2018-09-21 2021-12-24 中国矿业大学 一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558961A (zh) * 2017-09-25 2019-04-02 阿里巴巴集团控股有限公司 确定位置信息的方法和系统、存储介质、处理器以及装置
CN110516888A (zh) * 2019-09-02 2019-11-29 重庆紫光华山智安科技有限公司 轨迹预测方法、装置、电子设备和计算机可读存储介质
CN110610271A (zh) * 2019-09-17 2019-12-24 北京理工大学 一种基于长短记忆网络的多重车辆轨迹预测方法
CN111401233A (zh) * 2020-03-13 2020-07-10 商汤集团有限公司 轨迹预测方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUN JIANHUA; JIANG QINHONG; LU CEWU: "Recursive Social Behavior Graph for Trajectory Prediction", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 13 June 2020 (2020-06-13), pages 657 - 666, XP033805166, DOI: 10.1109/CVPR42600.2020.00074 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239974A (zh) * 2021-12-21 2022-03-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114239974B (zh) * 2021-12-21 2022-10-25 清华大学 多智能体的位置预测方法、装置、电子设备及存储介质
CN114379595A (zh) * 2022-02-22 2022-04-22 无锡物联网创新中心有限公司 基于车辆行为特征与环境交互信息的车辆轨迹预测方法
CN115071762A (zh) * 2022-08-22 2022-09-20 北京理工大学前沿技术研究院 面向城市场景下行人轨迹预测方法、模型及存储介质
CN115071762B (zh) * 2022-08-22 2022-12-16 北京理工大学前沿技术研究院 面向城市场景下行人轨迹预测方法、模型及存储介质

Also Published As

Publication number Publication date
CN111401233A (zh) 2020-07-10
JP2023503527A (ja) 2023-01-30
KR20220087561A (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
WO2021180130A1 (zh) 轨迹预测
Sadeghian et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints
Wang et al. Stepwise goal-driven networks for trajectory prediction
CN111091708B (zh) 车辆轨迹预测方法及装置
EP3427194B1 (en) Recurrent networks with motion-based attention for video understanding
WO2018059300A1 (zh) 行走行为的预测方法和装置、数据处理装置和电子设备
US20170262996A1 (en) Action localization in sequential data with attention proposals from a recurrent network
Cai et al. Environment-attention network for vehicle trajectory prediction
Saxena et al. D-GAN: Deep generative adversarial nets for spatio-temporal prediction
CN111798492B (zh) 轨迹预测方法、装置、电子设备及介质
CN113139446B (zh) 一种端到端自动驾驶行为决策方法、系统及终端设备
Li et al. Topology reasoning for driving scenes
Saleh et al. Long-term recurrent predictive model for intent prediction of pedestrians via inverse reinforcement learning
CN114419671A (zh) 一种基于超图神经网络的遮挡行人重识别方法
CN110163890B (zh) 一种面向空基监视的多目标跟踪方法
Da et al. Path-aware graph attention for hd maps in motion prediction
Bae et al. A set of control points conditioned pedestrian trajectory prediction
CN115690153A (zh) 一种智能体轨迹预测方法及系统
Ke et al. Deep multi-view depth estimation with predicted uncertainty
Zhao et al. End‐to‐end autonomous driving decision model joined by attention mechanism and spatiotemporal features
Zhang et al. Step attention: Sequential pedestrian trajectory prediction
Xiang et al. Map-free Trajectory Prediction in Traffic with Multi-level Spatial-temporal Modeling
CN116399360A (zh) 车辆路径规划方法
Xiang et al. A fast and map-free model for trajectory prediction in traffics
Kumar et al. Traffic density estimation using progressive neural architecture search

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767590

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532611

Country of ref document: JP

Kind code of ref document: A

Ref document number: 20227018513

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21767590

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28.03.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21767590

Country of ref document: EP

Kind code of ref document: A1