KR20240133384A - Pedestrian trajectory prediction method using trajectory descriptors representing actual walking patterns - Google Patents

Pedestrian trajectory prediction method using trajectory descriptors representing actual walking patterns Download PDF

Info

Publication number
KR20240133384A
KR20240133384A KR1020230027247A KR20230027247A KR20240133384A KR 20240133384 A KR20240133384 A KR 20240133384A KR 1020230027247 A KR1020230027247 A KR 1020230027247A KR 20230027247 A KR20230027247 A KR 20230027247A KR 20240133384 A KR20240133384 A KR 20240133384A
Authority
KR
South Korea
Prior art keywords
path
pedestrian
linear combination
walking
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020230027247A
Other languages
Korean (ko)
Other versions
KR102940350B1 (en
Inventor
전해곤
배인환
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020230027247A priority Critical patent/KR102940350B1/en
Publication of KR20240133384A publication Critical patent/KR20240133384A/en
Application granted granted Critical
Publication of KR102940350B1 publication Critical patent/KR102940350B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags or using precalculated routes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for extracting a plurality of path descriptors capable of reflecting an actual walking pattern of a pedestrian and learning and utilizing a pedestrian path prediction model using the same. According to an embodiment of the present invention, a method for predicting a pedestrian path comprises the steps of: applying singular value decomposition to a walking path of a plurality of pedestrians to define the walking path as a linear combination of path descriptors; and training a pedestrian path prediction model by setting a linear combination coefficient of the path descriptors as a training dataset.

Description

실 보행패턴을 나타내는 경로 기술자를 이용한 보행자 경로 예측 방법{PEDESTRIAN TRAJECTORY PREDICTION METHOD USING TRAJECTORY DESCRIPTORS REPRESENTING ACTUAL WALKING PATTERNS}{PEDESTRIAN TRAJECTORY PREDICTION METHOD USING TRAJECTORY DESCRIPTORS REPRESENTING ACTUAL WALKING PATTERNS}

본 발명은 보행자의 실제 보행패턴을 반영할 수 있는 복수의 경로 기술자를 추출하고, 이를 이용하여 보행자 경로 예측 모델을 학습 및 활용하는 방법에 관한 것이다.The present invention relates to a method for extracting a plurality of path descriptors capable of reflecting an actual walking pattern of a pedestrian, and learning and utilizing a pedestrian path prediction model using the same.

보행자 경로 예측 기술은 보행자의 과거 경로를 기반으로 미래 경로를 추정하는 기술로서, 행동 예측, 군중 이동 분석, 비정상 움직임 감지, 교통량 흐름 분석과 같은 다양한 영역에 적용될 수 있다.Pedestrian path prediction technology is a technology that estimates future paths based on the past paths of pedestrians, and can be applied to various fields such as behavior prediction, crowd movement analysis, abnormal movement detection, and traffic flow analysis.

보행자 경로 예측을 위해 다양한 컴퓨터 비전 기술이 이용되어 왔으며 최근에는 예측 정확도의 향상을 위해 딥러닝 기술이 적용되고 있다.Various computer vision technologies have been used to predict pedestrian paths, and deep learning technologies have recently been applied to improve prediction accuracy.

딥러닝을 적용한 전통적인 경로 예측 연구들은 보행자의 2차원 좌표(2D coordinate)에 기초하여 경로 예측 동작을 수행하였으나, 실제 보행자는 특정 좌표를 향해 움직이지 않으므로 경로 예측 모델이 실제 보행패턴을 반영하기 어렵다는 문제가 있었으며, 모델 학습에 이용해야 할 좌표의 수가 많아 데이터 차원이 매우 커져 경로 예측 모델이 매우 무거워지는 문제가 있었다.Traditional path prediction studies using deep learning performed path prediction actions based on the pedestrian's two-dimensional coordinates (2D coordinates). However, since actual pedestrians do not move toward specific coordinates, there was a problem that it was difficult for the path prediction model to reflect the actual walking pattern. In addition, since the number of coordinates that had to be used for model learning was large, the data dimension became very large, and there was a problem that the path prediction model became very heavy.

이를 해결하기 위해 최근에는 Bezier 곡선 함수 및 B-Spline 곡선 함수와 같은 파라메트릭(parametric) 곡선 피팅을 통해 데이터 차원을 줄이려는 시도가 이루어지고 있으나, 이러한 방법은 단순히 수학적 접근에 기반한 것으로 인간의 사회적 움직임을 표현하기에 적합하지 않다는 한계가 있다.To solve this problem, recent attempts have been made to reduce the data dimension through parametric curve fitting, such as the Bezier curve function and B-Spline curve function. However, these methods are based on a simple mathematical approach and have the limitation that they are not suitable for expressing human social movements.

본 발명은 신경망 모델을 이용하여 보행자 경로 예측을 수행함에 있어서, 2차원 좌표에 기초하여 경로를 예측하였던 전통적인 방법과 달리, 보행자의 실제 보행패턴을 나타내는 기술자(descriptor)를 이용하여 보행자 경로를 예측하는 것을 목적으로 한다.The present invention predicts a pedestrian path using a neural network model, and, unlike the traditional method of predicting a path based on two-dimensional coordinates, it aims to predict a pedestrian path using a descriptor representing the pedestrian's actual walking pattern.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The purposes of the present invention are not limited to the purposes mentioned above, and other purposes and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. In addition, it will be easily understood that the purposes and advantages of the present invention can be realized by the means and combinations thereof indicated in the claims.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 보행자 경로 예측 방법은 복수 보행자의 보행경로에 특이값 분해를 적용하여 상기 보행경로를 경로 기술자들의 선형 결합으로 정의하는 단계 및 상기 경로 기술자들의 선형 결합 계수를 훈련 데이터셋으로 설정하여 보행자 경로 예측 모델을 학습시키는 단계를 포함하는 것을 특징으로 한다.According to one embodiment of the present invention for achieving the above-described purpose, a pedestrian path prediction method comprises a step of applying singular value decomposition to a walking path of multiple pedestrians to define the walking path as a linear combination of path descriptors, and a step of training a pedestrian path prediction model by setting the linear combination coefficients of the path descriptors as a training data set.

일 실시예에서, 상기 특이값 분해를 적용하는 단계는, 상기 복수 보행자 각각에 대한 2차원 좌표로 정의되는 보행경로에 특이값 분해를 적용하는 단계를 포함하는 것을 특징으로 한다.In one embodiment, the step of applying the singular value decomposition is characterized by including the step of applying the singular value decomposition to a walking path defined by two-dimensional coordinates for each of the plurality of pedestrians.

일 실시예에서, 상기 경로 기술자는 상기 복수 보행자의 보행경로에 특이값 분해를 적용하여 결정된 정사각의 직교행렬 내 특이 벡터(singular vector)인 것을 특징으로 한다.In one embodiment, the path descriptor is characterized by being a singular vector within a square orthogonal matrix determined by applying singular value decomposition to the walking paths of the plurality of pedestrians.

일 실시예에서, 상기 보행경로를 경로 기술자들의 선형 결합으로 정의하는 단계는, 상기 특이값 분해를 통해 결정된 직교행렬의 전치행렬을 상기 보행경로에 곱하여 상기 선형 결합 계수를 산출하는 단계를 포함하는 것을 특징으로 한다.In one embodiment, the step of defining the walking path as a linear combination of path descriptors is characterized by including the step of multiplying the walking path by the transpose of an orthogonal matrix determined through the singular value decomposition to derive the linear combination coefficient.

일 실시예에서, 상기 복수 기술자는 상기 복수 보행자의 보행경로에 절두(truncated) 특이값 분해를 적용하여 결정된 직사각의 직교행렬 내 특이 벡터인 것을 특징으로 한다.In one embodiment, the plurality of descriptors are characterized by singular vectors within a rectangular orthogonal matrix determined by applying a truncated singular value decomposition to the walking paths of the plurality of pedestrians.

일 실시예에서, 상기 보행자 경로 예측 모델을 학습시키는 단계는, 상기 선형 결합 계수를 시간의 흐름에 따라 제1 및 제2 계수로 구분하는 단계와,In one embodiment, the step of training the pedestrian path prediction model comprises the step of dividing the linear combination coefficients into first and second coefficients over time;

상기 보행자 경로 예측 모델이 상기 제1 계수를 입력받아 상기 제2 계수를 출력하도록 지도 학습시키는 단계를 포함하는 것을 특징으로 한다.The above pedestrian path prediction model is characterized by including a step of supervised learning so that the above pedestrian path prediction model receives the first coefficient as input and outputs the second coefficient.

일 실시예에서, 상기 특이값 분해를 통해 결정된 직교행렬의 전치행렬을 타겟 보행자의 관측 보행경로에 곱하여 상기 관측 보행경로에 대한 관측 선형 결합 계수를 산출하는 단계 및 상기 관측 선형 결합 계수를 상기 보행자 경로 예측 모델에 입력하고, 상기 보행자 경로 예측 모델에서 출력된 예측 선형 결합 계수에 상기 특이값 분해를 통해 결정된 직교행렬을 곱하여 각 보행자의 예측 경로를 생성하는 단계를 더 포함하는 것을 특징으로 한다.In one embodiment, the method is characterized by further including a step of multiplying an observed walking path of a target pedestrian by a transpose of an orthogonal matrix determined through the singular value decomposition to derive an observed linear combination coefficient for the observed walking path, and a step of inputting the observed linear combination coefficient into the pedestrian path prediction model, and multiplying the predicted linear combination coefficient output from the pedestrian path prediction model by the orthogonal matrix determined through the singular value decomposition to generate a predicted path of each pedestrian.

일 실시예에서, 상기 보행자 경로 예측 모델을 학습시키는 단계는, 상기 선형 결합 계수가 형성하는 복수 군집의 대표값을 앵커(anchor)로 설정하는 단계와, 상기 선형 결합 계수를 시간의 흐름에 따라 제1 및 제2 계수로 구분하는 단계와, 상기 보행자 경로 예측 모델이 상기 제1 계수를 입력받아 상기 제2 계수와 상기 앵커 간의 차이를 출력하도록 지도 학습시키는 단계를 포함하는 것을 특징으로 한다.In one embodiment, the step of training the pedestrian path prediction model is characterized by including the steps of: setting a representative value of a plurality of clusters formed by the linear combination coefficients as an anchor; dividing the linear combination coefficients into first and second coefficients over time; and performing supervised learning so that the pedestrian path prediction model receives the first coefficient as input and outputs the difference between the second coefficient and the anchor.

일 실시예에서, 상기 특이값 분해를 통해 결정된 직교행렬의 전치행렬을 타겟 보행자의 관측 보행경로에 곱하여 상기 관측 보행경로에 대한 관측 선형 결합 계수를 산출하는 단계, 상기 관측 선형 결합 계수를 상기 보행자 경로 예측 모델에 입력하고, 상기 보행자 경로 예측 모델에서 출력된 차이를 상기 앵커에 적용하여 상기 예측 선형 결합 계수를 산출하는 단계 및 상기 예측 선형 결합 계수에 상기 특이값 분해를 통해 결정된 직교행렬을 곱하여 각 보행자의 예측 경로를 생성하는 단계를 더 포함하는 것을 특징으로 한다.In one embodiment, the method is characterized by further including a step of multiplying an observed walking path of a target pedestrian by a transpose of an orthogonal matrix determined through the singular value decomposition to derive an observed linear combination coefficient for the observed walking path, a step of inputting the observed linear combination coefficient into the pedestrian path prediction model, and a step of applying a difference output from the pedestrian path prediction model to the anchor to derive the predicted linear combination coefficient, and a step of multiplying the predicted linear combination coefficient by the orthogonal matrix determined through the singular value decomposition to generate a predicted path of each pedestrian.

본 발명은 사회적으로 통상 발생하는 보행경로가 몇 가지 보행패턴의 조합으로 나타낼 수 있다는 점에 착안하여, 보행경로를 소수의 경로 기술자들의 선형 결합으로 정의한 후 선형 결합 계수만을 이용하여 신경망 모델을 학습시킴에 따라, 모델이 보행자들의 실제 보행패턴을 학습할 수 있고, 학습을 위한 데이터 차원을 낮출 수 있어 모델의 학습 속도와 예측 정확도를 향상시킬 수 있다는 장점이 있다.The present invention takes into account the fact that a socially common walking path can be represented by a combination of several walking patterns, and by defining a walking path as a linear combination of a small number of path descriptors and then training a neural network model using only the linear combination coefficients, the model can learn the actual walking patterns of pedestrians, and the data dimension for learning can be reduced, thereby improving the learning speed and prediction accuracy of the model.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.In addition to the effects described above, specific effects of the present invention are described below together with specific details for carrying out the invention.

도 1은 본 발명의 일 실시예에 따른 보행자 경로 예측 방법을 도시한 순서도.
도 2는 보행자의 보행경로를 도시한 도면.
도 3은 도 2에 도시된 보행자의 예측 경로를 도시한 도면.
도 4는 보행자 경로 예측을 위한 전통적인 방법을 설명하기 위한 도면.
도 5는 보행경로에 특이값 분해를 적용하는 과정을 도시한 도면.
도 6은 보행경로에 절두 특이값 분해를 적용하는 과정을 도시한 도면.
도 7은 보행경로로부터 경로 기술자가 추출되는 과정을 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 경로 기술자를 시각화한 도면.
도 9는 특이값 분해를 통해 결정된 직교행렬을 이용하여 경로 기술자의 선형 결합 계수를 산출하는 모습을 도시한 도면.
도 10은 선형 결합 계수를 훈련 데이터셋으로 설정하여 보행자 경로 예측 모델을 학습시키는 과정을 도시한 도면.
도 11은 본 발명의 일 실시예에 따른 보행자 경로 예측 과정을 도시한 도면.
도 12는 보행자 경로 예측 모델의 학습에 선형 결합 계수에 대한 앵커를 이용하는 모습을 도시한 도면.
도 13은 본 발명의 다른 실시예에 따른 보행자 경로 예측 과정을 도시한 도면.FIG. 1 is a flowchart illustrating a pedestrian path prediction method according to one embodiment of the present invention.
Figure 2 is a drawing showing a pedestrian's walking path.
Figure 3 is a drawing illustrating the predicted path of the pedestrian illustrated in Figure 2.
Figure 4 is a diagram illustrating a traditional method for pedestrian path prediction.
Figure 5 is a diagram illustrating the process of applying singular value decomposition to a walking path.
Figure 6 is a diagram illustrating the process of applying truncated singular value decomposition to a walking path.
Figure 7 is a diagram illustrating the process of extracting a path descriptor from a walking path.
FIG. 8 is a diagram visualizing a path descriptor according to one embodiment of the present invention.
Figure 9 is a diagram illustrating a method of calculating linear combination coefficients of a path descriptor using an orthogonal matrix determined through singular value decomposition.
Figure 10 is a diagram illustrating the process of training a pedestrian path prediction model by setting linear combination coefficients as a training dataset.
FIG. 11 is a diagram illustrating a pedestrian path prediction process according to one embodiment of the present invention.
Figure 12 is a diagram illustrating the use of anchors for linear combination coefficients in learning a pedestrian path prediction model.
FIG. 13 is a diagram illustrating a pedestrian path prediction process according to another embodiment of the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above-mentioned objects, features and advantages will be described in detail below with reference to the attached drawings, so that those with ordinary skill in the art to which the present invention pertains can easily practice the technical idea of the present invention. In describing the present invention, if it is judged that a detailed description of a known technology related to the present invention may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted. Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the attached drawings. In the drawings, the same reference numerals are used to indicate the same or similar components.

본 명세서에서 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.Although the terms first, second, etc. are used in this specification to describe various components, it is to be understood that these components are not limited by these terms. These terms are merely used to distinguish one component from another, and unless otherwise specifically stated, it is to be understood that a first component may also be a second component.

또한, 본 명세서에서 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.Additionally, the phrase “upper (or lower)” or “upper (or lower)” of any component in the present specification may mean not only that any component is disposed in contact with the upper surface (or lower surface) of said component, but also that other components may be interposed between said component and any component disposed on (or below) said component.

또한, 본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.Additionally, when it is described herein that a component is “connected,” “coupled,” or “connected” to another component, it should be understood that the components may be directly connected or connected to one another, but that other components may be “interposed” between each component, or that each component may be “connected,” “coupled,” or “connected” through another component.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expressions used in this specification include the plural expressions unless the context clearly indicates otherwise. In this application, the terms "consisting of" or "comprising" should not be construed as necessarily including all of the various components or various steps described in the specification, and should be construed as not including some of the components or some of the steps, or may include additional components or steps.

또한, 본 명세서에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다Also, in this specification, when it says "A and/or B", it means A, B or A and B, unless otherwise specifically stated, and when it says "C to D", it means C or more and D or less, unless otherwise specifically stated.

본 발명은 보행자의 실제 보행패턴을 반영할 수 있는 복수의 경로 기술자를 추출하고, 이를 이용하여 보행자 경로 예측 모델을 학습 및 활용하는 방법에 관한 것이다. 이하, 도 1 내지 도 13을 참조하여 실 보행패턴을 나타내는 경로 기술자를 이용한 보행자 경로 예측 방법(이하, 보행자 경로 예측 방법)을 구체적으로 설명하도록 한다.The present invention relates to a method for extracting a plurality of path descriptors capable of reflecting an actual walking pattern of a pedestrian and learning and utilizing a pedestrian path prediction model using the same. Hereinafter, a pedestrian path prediction method (hereinafter, “pedestrian path prediction method”) using path descriptors representing an actual walking pattern will be specifically described with reference to FIGS. 1 to 13.

도 1은 본 발명의 일 실시예에 따른 보행자 경로 예측 방법을 도시한 순서도이다.FIG. 1 is a flowchart illustrating a pedestrian path prediction method according to one embodiment of the present invention.

도 2는 보행자의 보행경로를 도시한 도면이고, 도 3은 도 2에 도시된 보행자의 예측 경로를 도시한 도면이다.Figure 2 is a drawing illustrating a pedestrian's walking path, and Figure 3 is a drawing illustrating a predicted path of the pedestrian illustrated in Figure 2.

도 4는 보행자 경로 예측을 위한 전통적인 방법을 설명하기 위한 도면이다.Figure 4 is a diagram illustrating a traditional method for pedestrian path prediction.

도 5는 보행경로에 특이값 분해를 적용하는 과정을 도시한 도면이고, 도 6은 보행경로에 절두 특이값 분해를 적용하는 과정을 도시한 도면이다.Figure 5 is a diagram illustrating a process of applying singular value decomposition to a walking path, and Figure 6 is a diagram illustrating a process of applying truncated singular value decomposition to a walking path.

도 7은 보행경로로부터 경로 기술자가 추출되는 과정을 도시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 경로 기술자를 시각화한 도면이다.FIG. 7 is a diagram illustrating a process of extracting a path descriptor from a walking path, and FIG. 8 is a diagram visualizing a path descriptor according to one embodiment of the present invention.

도 9는 특이값 분해를 통해 결정된 직교행렬을 이용하여 경로 기술자의 선형 결합 계수를 산출하는 모습을 도시한 도면이다.Figure 9 is a diagram illustrating a method of calculating linear combination coefficients of a path descriptor using an orthogonal matrix determined through singular value decomposition.

도 10은 선형 결합 계수를 훈련 데이터셋으로 설정하여 보행자 경로 예측 모델을 학습시키는 과정을 도시한 도면이다.Figure 10 is a diagram illustrating the process of training a pedestrian path prediction model by setting linear combination coefficients as a training dataset.

도 11은 본 발명의 일 실시예에 따른 보행자 경로 예측 과정을 도시한 도면이다.FIG. 11 is a diagram illustrating a pedestrian path prediction process according to one embodiment of the present invention.

도 12는 보행자 경로 예측 모델의 학습에 선형 결합 계수에 대한 앵커를 이용하는 모습을 도시한 도면이다.Figure 12 is a diagram illustrating the use of anchors for linear combination coefficients in learning a pedestrian path prediction model.

도 13은 본 발명의 다른 실시예에 따른 보행자 경로 예측 과정을 도시한 도면이다.FIG. 13 is a diagram illustrating a pedestrian path prediction process according to another embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 보행자 경로 예측 방법은 크게 학습 단계와 적용 단계로 구분될 수 있다.Referring to FIG. 1, a pedestrian path prediction method according to one embodiment of the present invention can be broadly divided into a learning phase and an application phase.

먼저, 학습 단계는 특이값 분해를 통해 보행경로를 경로 기술자들의 선형 결합으로 정의하는 단계(S10) 및 경로 기술자들의 선형 결합 계수를 이용하여 보행자 경로 예측 모델을 학습시키는 단계(S20)를 포함할 수 있다.First, the learning step may include a step (S10) of defining a pedestrian path as a linear combination of path descriptors through singular value decomposition and a step (S20) of learning a pedestrian path prediction model using linear combination coefficients of the path descriptors.

또한, 적용 단계는 타겟 보행자의 관측 보행경로에 대한 관측 선형 결합 계수를 산출하는 단계(S30) 및 보행자 경로 예측 모델에 관측 선형 결합 계수를 입력하여 예측 경로를 생성하는 단계(S40)를 포함할 수 있다.Additionally, the application step may include a step (S30) of calculating an observed linear combination coefficient for an observed walking path of a target pedestrian and a step (S40) of inputting the observed linear combination coefficient into a pedestrian path prediction model to generate a predicted path.

다만, 도 1에 도시된 보행자 경로 예측 방법은 일 실시예에 따른 것이고, 발명을 이루는 각 단계들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 단계들이 부가, 변경 또는 삭제될 수 있다.However, the pedestrian path prediction method illustrated in FIG. 1 is according to one embodiment, and each step of the invention is not limited to the embodiment illustrated in FIG. 1, and some steps may be added, changed, or deleted as necessary.

도 1에 도시된 각 단계들은 프로세서에 의해 수행될 수 있으며, 프로세서는 후술하는 발명의 동작을 수행하기 위하여 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controller), 마이크로 컨트롤러(micro-controllers) 중 적어도 하나의 물리적인 요소를 포함할 수 있다.Each of the steps illustrated in FIG. 1 may be performed by a processor, and the processor may include at least one physical element among application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), controllers, and micro-controllers to perform the operations of the invention described below.

프로세서는 보행자 경로 예측 모델의 학습을 위해 적어도 한 명의 보행자가 포함된 복수의 보행 영상(100)을 수집할 수 있다. 이러한 보행 영상(100)은 다양한 시점의 영상일 수 있고, 예컨대 1인칭 시점(First Person View; FPV)의 영상이거나 버드 아이 뷰(bird's eye view)의 영상일 수 있다.The processor can collect a plurality of walking images (100) including at least one pedestrian for learning a pedestrian path prediction model. These walking images (100) can be images from various viewpoints, for example, images from a first person view (FPV) or a bird's eye view.

프로세서는 타 디바이스나 임의의 저장매체로부터 보행 영상(100)을 수집할 수 있다. 예를 들어, 프로세서는 프로세서는 차량으로부터 차량 전방의 보행 영상(100)을 수집할 수도 있고, CCTV로부터 관찰 영역(Field of View; FOV) 내 보행 영상(100)을 수집할 수도 있으며, 임의의 데이터베이스로부터 기 저장된 보행 영상(100)을 수집할 수도 있다.The processor may collect a walking video (100) from another device or any storage medium. For example, the processor may collect a walking video (100) in front of the vehicle from a vehicle, a walking video (100) within a field of view (FOV) from a CCTV, or a previously stored walking video (100) from any database.

프로세서는 보행 영상(100)에서 보행자의 보행경로(L)를 식별할 수 있다.The processor can identify a pedestrian's walking path (L) in a walking video (100).

도 2를 참조하면, 보행경로(L)는 보행 영상(100)에서 보행자(110)가 이동한 경로를 의미하며, 연속되는 프레임의 이미지로부터 식별될 수 있다. 즉, 보행경로(L)는 시간에 따라 연속되는 보행자(110)의 위치에 의해 정의될 수 있다.Referring to FIG. 2, a walking path (L) refers to a path along which a pedestrian (110) moves in a walking video (100), and can be identified from images of consecutive frames. That is, a walking path (L) can be defined by the positions of a pedestrian (110) that occur consecutively over time.

프로세서는 보행자(110)의 위치를 보행 영상(100)의 프레임별로 탐지할 수 있고, 시계열적으로 변화하는 위치에 기초하여 보행경로(L)를 식별할 수 있다. 이를 위해, 프로세서는 당해 기술분야에서 알려진 임의의 객체 탐지(detection) 및 추적(tracking) 알고리즘을 이용할 수 있다. The processor can detect the location of the pedestrian (110) for each frame of the walking video (100) and identify the walking path (L) based on the location that changes in time series. To this end, the processor can use any object detection and tracking algorithm known in the art.

도 3을 참조하면, 프로세서는 앞서 식별된 보행경로(L)에 기초하여 보행자(110)의 예측 경로(Lp)를 생성할 수 있다. 구체적으로, 프로세서는 제1 시간구간(t1)에 대한 보행경로(L)에 기초하여 제1 시간구간(t1)에 연속되는 제2 시간구간(t2)의 예측 경로(Lp)를 결정할 수 있다.Referring to FIG. 3, the processor may generate a predicted path (L p ) of a pedestrian (110) based on a previously identified walking path (L). Specifically, the processor may determine a predicted path (L p ) of a second time interval (t2) that is continuous to the first time interval (t1) based on the walking path (L) for the first time interval ( t1 ).

도 4를 참조하면, 전술한 보행자 경로 예측을 위해 전통적인 보행자 경로 예측 모델(200)은 보행자의 2차원 좌표(2D coordinate)에 기초하여 경로 예측 동작을 수행하였으며, 이 경우 도면에 도시된 것과 같이 입출력 파라미터가 매우 많아, 즉 데이터의 차원이 매우 커져 보행자 경로 예측 모델(200)이 매우 무거워지는 문제가 있었다.Referring to FIG. 4, for the aforementioned pedestrian path prediction, a traditional pedestrian path prediction model (200) performed a path prediction operation based on the pedestrian's two-dimensional coordinates (2D coordinate). In this case, as shown in the drawing, there was a problem in that the number of input/output parameters was very large, that is, the dimension of the data was very large, making the pedestrian path prediction model (200) very heavy.

또한, 실제 보행자는 특정 좌표를 향해 움직이지 않으므로 보행경로(L)를 좌표화하는 것이 실제 보행패턴을 반영하지 못한다는 근본적인 한계가 있었으며, 이에 따라 보행자 경로 예측 모델(200)이 인간의 사회적 움직임을 반영하기 어렵다는 한계가 있었다.In addition, since actual pedestrians do not move toward specific coordinates, there was a fundamental limitation in that coordinating the walking path (L) did not reflect the actual walking pattern, and accordingly, there was a limitation in that it was difficult for the pedestrian path prediction model (200) to reflect human social movements.

본 발명은 이러한 전통적인 방식의 문제를 해결하기 위해, 실제 사회적인 보행패턴을 반영할 수 있는 경로 기술자를 이용하는 것을 특징으로 하며, 이하 보행자 경로 예측 모델(200)의 학습 방법에 대해 먼저 설명하도록 한다.The present invention is characterized by using a path descriptor that can reflect actual social walking patterns to solve the problems of such traditional methods, and the learning method of a pedestrian path prediction model (200) will be described first below.

프로세서는 복수 보행자의 보행경로(L)를 실 보행패턴을 나타내는 몇가지의 경로 기술자로 표현할 수 있다. 이를 위해 프로세서는 복수 보행자의 보행경로(L)에 특이값 분해(Singular Value Decomposition; SVD)를 적용하여 보행경로(L)를 경로 기술자들의 선형 결합으로 정의할 수 있다(S10).The processor can express the walking path (L) of multiple pedestrians as several path descriptors representing the actual walking pattern. To this end, the processor can apply singular value decomposition (SVD) to the walking path (L) of multiple pedestrians to define the walking path (L) as a linear combination of the path descriptors (S10).

특이값 분해는 고유값 분해(Eigen Value Decomposition)의 일반화된 방식으로 행렬로 표현되는 데이터가 내포하는 중요한 정보, 즉 주성분을 추출하는데 이용될 수 있다. 특이값 분해 적용을 위해 프로세서는 복수 보행자 각각에 대한 보행경로(L)를 행렬로 정의할 수 있다.Singular value decomposition is a generalized form of eigenvalue decomposition and can be used to extract important information, i.e. principal components, contained in data expressed as a matrix. To apply singular value decomposition, the processor can define the walking path (L) for each of multiple pedestrians as a matrix.

구체적으로, 프로세서는 복수 보행자 각각에 대한 2차원 좌표로 보행경로(L)를 정의할 수 있고, 이에 특이값 분해를 적용할 수 있다. 도 4를 참조하여 설명한 것과 같이 보행경로(L)는 시간별 2차원 좌표의 집합일 수 있고, 프로세서는 시간에 따른 각 보행자의 좌표, (xn t, yn t)의 집합을 보행경로(L)로 정의할 수 있다.Specifically, the processor can define a walking path (L) as a two-dimensional coordinate for each of multiple pedestrians, and apply singular value decomposition thereto. As described with reference to Fig. 4, the walking path (L) can be a set of two-dimensional coordinates over time, and the processor can define a set of coordinates of each pedestrian over time, (x n t , y n t ), as the walking path (L).

도 5를 예로 들어 설명하면, 프로세서는 N명의 보행자에 대한 보행경로(L)를 의 행렬(이하 보행경로 행렬, T)로 정의하고, 아래 [수학식 1]로 정의되는 특이값 분해를 통해 두 직교행렬(U, VT)과 대각행렬()을 생성할 수 있다.As an example, in Figure 5, the processor generates a walking path (L) for N pedestrians. The matrix (hereinafter referred to as the walking path matrix, T) is defined as the matrix of the two orthogonal matrices (U, V T ) and the diagonal matrix ( ) can be created.

[수학식 1][Mathematical formula 1]

구체적으로, 프로세서는 보행경로 행렬(T)에 특이값 분해를 적용하여 의 직교행렬(이하 좌 직교행렬, U)과, 의 대각행렬(), 그리고 의 직교행렬(이하 우 직교행렬 VT)을 생성할 수 있다. 여기서 좌 직교행렬(U)에 속한 열 벡터와 우 직교행렬(VT)에 속한 행 벡터가 특이 벡터(singular vector)일 수 있다.Specifically, the processor applies singular value decomposition to the walking path matrix (T). The orthogonal matrix of (hereinafter referred to as the left orthogonal matrix, U) and Diagonal matrix of ( ), and It is possible to generate an orthogonal matrix (hereinafter referred to as a right orthogonal matrix V T ). Here, the column vector belonging to the left orthogonal matrix (U) and the row vector belonging to the right orthogonal matrix (V T ) can be singular vectors.

프로세서는 특이값 분해를 통해 결정된 정사각의 직교행렬, 다시 말해 좌 직교행렬(U) 내 특이 벡터(이하 좌 특이 벡터, u1 ~ uL) 또는 우 직교행렬(VT) 내 특이 벡터(이하 우 특이 벡터, v1 T ~ vN T)를 경로 기술자로 설정할 수 있다. 다만, 보행경로 행렬(T)을 구성하는 행(row)이 2차원 좌표에 대응하므로, 좌표가 내포하는 주요 특징을 경로 기술자로서 추출하기 위해, 프로세서는 그 성분의 수가 좌표의 수에 대응되는 좌 특이 벡터(u1 ~ uL)를 경로 기술자로 설정할 수 있다.The processor can set the singular vectors (hereinafter, left singular vectors, u 1 to u L ) in the left orthogonal matrix (U) or the singular vectors (hereinafter, right singular vectors, v 1 T to v N T ) in the right orthogonal matrix (V T ) as the path descriptor, since the rows constituting the walking path matrix (T) correspond to two-dimensional coordinates, in order to extract the main features contained in the coordinates as the path descriptor, the processor can set the left singular vectors (u 1 to u L ) of which the number of components corresponds to the number of coordinates, as the path descriptor.

경로 기술자가 설정된 후, 프로세서는 보행경로(L)를 경로 기술자들의 선형 결합으로 정의할 수 있다. 구체적으로, 프로세서는 보행자의 좌표를 아래 [수학식 2]과 같이 정의할 수 있다.After the path descriptors are set, the processor can define a walking path (L) as a linear combination of the path descriptors. Specifically, the processor can define the coordinates of the pedestrian as shown in [Mathematical Formula 2] below.

[수학식 2][Mathematical formula 2]

(여기서 n은 보행자 인덱스, cn은 선형 결합 계수)(where n is the pedestrian index and c n is the linear combination coefficient)

이어서, 프로세서는 특이값 분해를 통해 결정된 직교행렬의 전치행렬(UT)을 보행경로(L)에 곱하여 보행자별 선형 결합 계수를 산출할 수 있다. 구체적으로 [수학식 2]는 [수학식 3]으로 변형될 수 있고, 프로세서는 [수학식 3]에 기초하여 선형 결합 계수(cn)를 산출할 수 있다.Next, the processor can multiply the transpose matrix (U T ) of the orthogonal matrix determined through singular value decomposition by the walking path (L) to calculate the linear combination coefficient for each pedestrian. Specifically, [Mathematical Formula 2] can be transformed into [Mathematical Formula 3], and the processor can calculate the linear combination coefficient (c n ) based on [Mathematical Formula 3].

[수학식 3][Mathematical formula 3]

UL은 전술한 L개의 경로 기술자에 의해 정의되며 Ln은 각 보행자의 시간별 좌표에 의해 정의되므로, 프로세서는 각 보행자에 대한 선형 결합 계수를 정량적으로 산출할 수 있다.Since U L is defined by the L path descriptors mentioned above and L n is defined by the temporal coordinates of each pedestrian, the processor can quantitatively calculate the linear combination coefficients for each pedestrian.

전술한 [수학식 3]과 같이 선형 결합 계수를 산출하는 경우 선형 결합 계수의 차원 수는 보행자의 좌표 수에 대응하는데, 프로세서는 후술될 보행자 경로 예측 모델(200)의 학습 데이터 차원을 줄이기 위해 보행경로(L)를 정의하는 경로 기술자의 수를 더 적게 추출할 수 있다.When calculating the linear combination coefficient as in the aforementioned [Mathematical Formula 3], the number of dimensions of the linear combination coefficient corresponds to the number of coordinates of the pedestrian, and the processor can extract a smaller number of path descriptors defining the pedestrian path (L) in order to reduce the learning data dimension of the pedestrian path prediction model (200) to be described later.

이를 위해, 프로세서는 복수 보행자의 보행경로(L)에 절두(truncated) 특이값 분해를 적용할 수 있다. 여기서 절두 특이값 분해는 특이값 분해를 통해 생성되는 대각행렬()의 대각 원소 중 상위 k개만을 남겨 좌 직교행렬(U) 및 우 직교행렬(VT)을 정의하는 방법으로, 여기서 k는 사용자에 의해 설정될 수 있다.To this end, the processor can apply truncated singular value decomposition to the walking paths (L) of multiple pedestrians. Here, truncated singular value decomposition is a diagonal matrix ( ) by leaving only the upper k diagonal elements, where k can be set by the user to define the left orthogonal matrix (U) and the right orthogonal matrix (V T ).

도 6을 참조하여 구체적으로 설명하면, 프로세서는 보행경로 행렬(T)에 [수학식 4]로 정의되는 절두 특이값 분해를 적용하여 좌, 우 직교행렬(U, VT)과 대각행렬()을 생성할 수 있다. 이 때, 대각행렬()의 원소의 수(k)는 사용자에 의해 임의로 변경되므로 행렬 곱의 연산 결과는 실제 보행경로 행렬(T)이 아닌 이와 근사한 행렬(T')로 산출될 수 있다.Specifically, referring to Fig. 6, the processor applies the truncated singular value decomposition defined by [Mathematical Formula 4] to the walking path matrix (T) to produce left and right orthogonal matrices (U, V T ) and diagonal matrices ( ) can be generated. At this time, a diagonal matrix ( ) can be arbitrarily changed by the user, so the result of the matrix multiplication operation may be produced as an approximate matrix (T') rather than the actual walking path matrix (T).

[수학식 4][Mathematical Formula 4]

결과적으로, 절두 특이값 분해를 통해 프로세서는 의 좌 직교행렬(U)과, 의 대각행렬(), 그리고 의 우 직교행렬(VT)을 생성할 수 있다. 특이값 분해와 마찬가지로 좌 직교행렬(U)에 속한 열 벡터와 우 직교행렬(VT)에 속한 행 벡터가 특이 벡터(singular vector)일 수 있다.As a result, the processor uses truncated singular value decomposition The left orthogonal matrix (U) of , Diagonal matrix of ( ), and It is possible to generate a right orthogonal matrix (V T ). As with the singular value decomposition, the column vectors belonging to the left orthogonal matrix (U) and the row vectors belonging to the right orthogonal matrix (V T ) can be singular vectors.

프로세서는 절두 특이값 분해를 통해 결정된 좌 특이 벡터(u1 ~ uk) 또는 우 특이 벡터(v1 T ~ vk T)를 경로 기술자로 설정할 수 있다. 다만, 앞서 설명한 것과 같이 보행경로 행렬(T)을 구성하는 행(row)이 2차원 좌표에 대응하므로, 좌표가 내포하는 주요 특징을 경로 기술자로서 추출하기 위해, 프로세서는 그 성분의 수가 좌표의 수에 대응되는 좌 특이 벡터(u1 ~ uk)를 경로 기술자로 설정할 수 있다.The processor can set the left singular vectors (u 1 ~ u k ) or right singular vectors (v 1 T ~ v k T ) determined through truncated singular value decomposition as the path descriptor. However, as explained above, since the rows constituting the walking path matrix (T) correspond to two-dimensional coordinates, in order to extract the main features contained in the coordinates as the path descriptor, the processor can set the left singular vectors (u 1 ~ u k ) whose number of components corresponds to the number of coordinates as the path descriptor.

경로 기술자가 설정된 후, 프로세서는 각 보행자의 보행경로(L)를 경로 기술자들의 선형 결합으로 정의할 수 있다. 구체적으로, 프로세서는 보행경로(L)를 아래 [수학식 5]과 같이 정의할 수 있다.After the path descriptors are set, the processor can define the walking path (L) of each pedestrian as a linear combination of the path descriptors. Specifically, the processor can define the walking path (L) as shown in [Mathematical Formula 5] below.

[수학식 5][Mathematical Formula 5]

이어서, 프로세서는 절두 특이값 분해를 통해 결정된 직교행렬의 전치행렬을 보행경로(L)에 곱하여 보행자별 선형 결합 계수를 산출할 수 있다. 구체적으로 [수학식 5]는 [수학식 6]으로 근사될 수 있고, 프로세서는 [수학식 6]에 기초하여 선형 결합 계수(cn)를 산출할 수 있다.Next, the processor can multiply the transpose of the orthogonal matrix determined through the truncated singular value decomposition by the walking path (L) to calculate the linear combination coefficient for each pedestrian. Specifically, [Mathematical Formula 5] can be approximated by [Mathematical Formula 6], and the processor can calculate the linear combination coefficient (c n ) based on [Mathematical Formula 6].

[수학식 6][Mathematical Formula 6]

Uk은 전술한 k개의 경로 기술자에 의해 정의되며 Ln은 각 보행자의 시간별 좌표에 의해 정의되므로, 프로세서는 각 보행자에 대한 선형 결합 계수를 정량적으로 산출할 수 있다.Since U k is defined by the k path descriptors mentioned above and L n is defined by the temporal coordinates of each pedestrian, the processor can quantitatively calculate the linear combination coefficients for each pedestrian.

위와 같이 절두 특이값 분해를 적용하는 경우, 보행자별로 산출되는 L 차원의 선형 결합 계수는 사용자가 원하는 k 차원으로 줄어들 수 있고, 이를 통해 후술될 보행자 경로 예측 모델(200)의 학습 데이터 차원이 감소될 수 있다.When applying truncated singular value decomposition as above, the L-dimensional linear combination coefficients calculated for each pedestrian can be reduced to the k-dimensional dimension desired by the user, and through this, the learning data dimension of the pedestrian path prediction model (200) described below can be reduced.

도 7을 참조하여 정리하면, 프로세서는 각 보행자의 보행경로(L)에 절두 특이값 분해를 적용하여 직교행렬(U)을 생성할 수 있다. 이어서, 프로세서는 직교행렬 내 6개의 특이 벡터(u1 ~ u6)를 경로 기술자로 설정할 수 있다. 이 때, 6개의 특이 벡터(u1 ~ u6)는 사회적으로 통상 발생하는 실 보행패턴으로 가시화될 수 있다. Referring to Fig. 7, the processor can apply truncated singular value decomposition to the walking path (L) of each pedestrian to generate an orthogonal matrix (U). Then, the processor can set six singular vectors (u 1 to u 6 ) in the orthogonal matrix as path descriptors. At this time, the six singular vectors (u 1 to u 6 ) can be visualized as real walking patterns that commonly occur in society.

도 8을 예로 들어 설명하면, 6개의 특이 벡터(u1 ~ u6)는 가로축(X), 세로축(Y), 시간축(T)에 따라 가시화될 수 있다. 이하에서는 설명의 편의를 위해 +x축 방향을 직진 방향으로 설명하도록 한다.Taking Fig. 8 as an example, six singular vectors (u 1 to u 6 ) can be visualized along the horizontal axis (X), vertical axis (Y), and time axis (T). For convenience of explanation, the +x-axis direction is described as a straight direction in the following.

제1 특이 벡터(u1)는 보행자가 일정 거리 직진하는 보행패턴에 대응할 수 있고, 제2 특이 벡터(u2)는 보행자가 일정 거리 좌측으로 이동하는 보행패턴에 대응할 수 있다. 또한, 제3 특이 벡터(u3)는 보행자가 일정 거리 직진하다가 뒤로 돌아 반대 방향으로 돌아가는 보행패턴에 대응할 수 있고, 제4 특이 벡터(u4)는 보행자가 일정 거리 우측으로 이동하다가 뒤로 돌아 반대 방향으로 돌아가는 보행패턴에 대응할 수 있다. 또한, 제5 특이 벡터(u5)는 보행자가 직진과 후진을 반복하면서 서성이는 보행패턴에 대응할 수 있고, 제6 특이 벡터(u6)는 보행자가 좌우를 반복 이동하면서 서성이는 보행패턴에 대응할 수 있다.The first singular vector (u 1 ) can correspond to a walking pattern in which a pedestrian walks straight for a certain distance, and the second singular vector (u 2 ) can correspond to a walking pattern in which a pedestrian moves to the left for a certain distance. In addition, the third singular vector (u 3 ) can correspond to a walking pattern in which a pedestrian walks straight for a certain distance and then turns around and returns in the opposite direction, and the fourth singular vector (u 4 ) can correspond to a walking pattern in which a pedestrian moves to the right for a certain distance and then turns around and returns in the opposite direction. In addition, the fifth singular vector (u 5 ) can correspond to a walking pattern in which a pedestrian wanders while repeatedly moving straight and backward, and the sixth singular vector (u 6 ) can correspond to a walking pattern in which a pedestrian wanders while repeatedly moving left and right.

도 9를 참조하면, 프로세서는 각 보행자의 보행경로(L)에 앞서 결정된 직교행렬의 전치행렬(UT)을 곱하여 선형 결합 계수를 산출할 수 있고, 각 보행경로(L)를 경로 기술자들의 선형 결합으로 정의할 수 있다.Referring to FIG. 9, the processor can multiply the transpose matrix (U T ) of the previously determined orthogonal matrix by the walking path (L) of each pedestrian to produce a linear combination coefficient, and define each walking path (L) as a linear combination of path descriptors.

전술한 과정을 통해 선형 결합 계수들이 결정되면, 프로세서는 선형 결합 계수를 훈련 데이터셋(training dataset)으로 설정하여 보행자 경로 예측 모델(200)을 학습시킬 수 있다(S20).Once the linear combination coefficients are determined through the above-described process, the processor can train the pedestrian path prediction model (200) by setting the linear combination coefficients as a training dataset (S20).

본 발명에서 보행자 경로 예측 모델(200)의 학습 및 적용 방법은 두 가지로 구분될 수 있는데, 이하 첫번째 방법을 먼저 설명하도록 한다.In the present invention, the learning and application methods of the pedestrian path prediction model (200) can be divided into two types. The first method will be described below.

보행자 경로 예측 모델(200)은 훈련 데이터셋에 의해 지도 학습(supervised learning)될 수 있다. 도 4를 참조하여 설명한 것과 같이, 보행자 경로 예측 모델(200)은 과거의 보행경로(L)에 기초하여 미래의 보행경로(Lp)를 예측하는 태스크(task)를 수행하므로, 프로세서는 과거의 보행경로(L)에 대응하는 인자를 입력 데이터로 설정하고 미래의 보행경로(Lp)에 대응하는 인자를 출력 데이터로 설정할 수 있다.The pedestrian path prediction model (200) can be supervised learning by a training data set. As described with reference to FIG. 4, the pedestrian path prediction model (200) performs a task of predicting a future walking path (L p ) based on a past walking path (L), so the processor can set a factor corresponding to the past walking path (L) as input data and set a factor corresponding to the future walking path (L p ) as output data.

이를 위해, 프로세서는 단계(S10)에서 결정된 선형 결합 계수를 시간의 흐름에 따라 제1 및 제2 계수로 구분할 수 있다. 선형 결합 계수는 시간에 따라 관측된 각 보행자의 모든 보행경로(L)에 의해 결정될 수 있고, 프로세서는 전체 관측시간을 제1 시구간과 제1 시구간에 연속되는 제2 시구간으로 분할한 뒤, 제1 시구간의 보행경로(L)에 의해 산출된 선형 결합 계수를 제1 계수로, 제2 시구간의 보행경로(L)에 의해 산출된 선형 결합 계수를 제2 계수로 분할할 수 있다.To this end, the processor can divide the linear combination coefficient determined in step (S10) into first and second coefficients over time. The linear combination coefficient can be determined by all walking paths (L) of each pedestrian observed over time, and the processor can divide the entire observation time into a first time section and a second time section continuous to the first time section, and then divide the linear combination coefficient calculated by the walking path (L) of the first time section into the first coefficient, and the linear combination coefficient calculated by the walking path (L) of the second time section into the second coefficient.

이어서 도 10을 참조하면, 프로세서는 보행자 경로 예측 모델(200)이 제1 계수를 입력받아 제2 계수를 출력하도록 지도 학습시킬 수 있다. 다시 말해, 프로세서는 보행자 경로 예측 모델(200)의 입력 데이터 및 출력 데이터를 각각 제1 및 제2 계수로 설정하여 보행자 경로 예측 모델(200)을 지도 학습시킬 수 있다.Next, referring to FIG. 10, the processor can supervise learning so that the pedestrian path prediction model (200) receives a first coefficient as input and outputs a second coefficient. In other words, the processor can supervise learning the pedestrian path prediction model (200) by setting the input data and output data of the pedestrian path prediction model (200) as the first and second coefficients, respectively.

여기서 보행자 경로 예측 모델(200)은 당해 기술분야에서 보행자 경로 예측에 활용되는 다양한 베이스라인(baseline) 네트워크로, 예컨대 STGCNN(A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction), SGCN(Sparse Graph Convolution Network), STGAT(Spatial-Temporal Graph Attention network), PECNet(Predicted Endpoint Conditioned Network), Trajectron++, LB-EBM(Latent Belief Energy-Based Model), MID(Stochastic trajectory prediction via Motion Indeterminacy Diffusion) 등으로 구현될 수 있다.Here, the pedestrian path prediction model (200) can be implemented as various baseline networks used for pedestrian path prediction in the relevant technical field, such as STGCNN (A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction), SGCN (Sparse Graph Convolution Network), STGAT (Spatial-Temporal Graph Attention network), PECNet (Predicted Endpoint Conditioned Network), Trajectron++, LB-EBM (Latent Belief Energy-Based Model), MID (Stochastic trajectory prediction via Motion Indeterminacy Diffusion), etc.

지도 학습에 따라 보행자 경로 예측 모델(200)은 제1 시구간의 선형 결합 계수와 제2 시구간의 선형 결합 계수 간의 관련성을 학습하게 되고, 학습이 완료된 이후에는 학습에 이용되지 않았던 시구간의 선형 결합 계수를 입력받아 해당 시구간에 연속되는 다른 시구간의 선형 결합 계수()를 출력할 수 있다.According to supervised learning, the pedestrian path prediction model (200) learns the relationship between the linear combination coefficient of the first time section and the linear combination coefficient of the second time section, and after learning is completed, the linear combination coefficient of the time section that was not used for learning is input and the linear combination coefficient of other time sections consecutive to the corresponding time section is ) can be printed.

이하에서는 전술한 첫번째 방법에 따라 학습이 완료된 보행자 경로 예측 모델(200)을 이용하여 타겟 보행자의 예측 경로(Lp)를 생성하는, 본 발명의 적용 단계를 구체적으로 설명하도록 한다.Below, the application step of the present invention, which generates a predicted path (L p ) of a target pedestrian using a pedestrian path prediction model (200) that has completed learning according to the first method described above, will be specifically described.

먼저, 프로세서는 타겟 보행자의 관측 보행경로에 대한 관측 선형 결합 계수를 산출할 수 있다(S30).First, the processor can calculate the observed linear combination coefficients for the observed walking path of the target pedestrian (S30).

도 11을 참조하면, 경로 예측의 대상이 되는 타겟 보행자의 보행경로(L)가 관측된 경우, 프로세서는 앞서 특이값 분해를 통해 결정된 직교행렬의 전치행렬(UT)을 타겟 보행자의 관측 보행경로(L)에 곱하여 관측 보행경로(L)에 대한 관측 선형 결합 계수를 산출할 수 있다.Referring to FIG. 11, when a target pedestrian's walking path (L) that is the target of path prediction is observed, the processor can multiply the transpose matrix (U T ) of the orthogonal matrix previously determined through singular value decomposition by the observed walking path (L) of the target pedestrian to produce an observed linear combination coefficient for the observed walking path (L).

다음으로, 프로세서는 학습이 완료된 보행자 경로 예측 모델(200)에 관측 선형 결합 계수를 입력하여 예측 경로를 생성할 수 있다(S40).Next, the processor can input the observed linear combination coefficients into the pedestrian path prediction model (200) for which learning has been completed to generate a predicted path (S40).

다시 도 11을 참조하면, 프로세서는 관측 선형 결합 계수(c1 ~ c6)를 학습이 완료된 보행자 경로 예측 모델(200)에 입력할 수 있다. 도 10을 참조하여 설명한 것과 같이, 보행자 경로 예측 모델(200)은 연속되는 시구간에 대한 선형 결합 계수 간의 관련성을 학습한 상태이므로, 보행자 경로 예측 모델(200)은 타겟 보행자가 관측된 이후 시점에 대한 예측 선형 결합 계수를 출력할 수 있다.Referring back to FIG. 11, the processor can input the observed linear combination coefficients (c 1 to c 6 ) into the pedestrian path prediction model (200) whose learning has been completed. As described with reference to FIG. 10, since the pedestrian path prediction model (200) has learned the relationship between linear combination coefficients for consecutive time intervals, the pedestrian path prediction model (200) can output the predicted linear combination coefficients for the time points after the target pedestrian is observed.

프로세서는 보행자 경로 예측 모델(200)에서 출력된 예측 선형 결합 계수를 2차원상에 표현하기 위해, 앞서 특이값 분해를 통해 결정된 직교행렬(U)을 예측 선형 결합 계수에 곱하여 각 보행자의 예측 경로(Lp)를 생성할 수 있다.The processor can generate a predicted path (L p ) of each pedestrian by multiplying the predicted linear combination coefficients output from the pedestrian path prediction model ( 200 ) by an orthogonal matrix (U) previously determined through singular value decomposition to express the predicted linear combination coefficients in a two-dimensional plane.

다음으로, 보행자 경로 예측 모델(200)의 두번째 학습 및 적용 방법을 설명하도록 하며, 첫번째 방법에서 설명된 사항에 대해서는 더 이상의 설명을 생략하도록 한다. 이에 따라, 이하 설명되지 않은 내용은 첫번째 방법과 동일한 것으로 이해되어야 한다.Next, the second learning and application method of the pedestrian path prediction model (200) will be described, and any further explanation of the matters described in the first method will be omitted. Accordingly, any matters not described below should be understood to be the same as those in the first method.

도 12를 참조하면, 프로세서는 단계(S10)에서 결정된 모든 선형 결합 계수(도면에서는 설명의 편의를 위해 두 개의 선형 결합 계수(c1, c2)만을 도시함)를 군집화(clustering)하고, 복수 군집의 대표값을 앵커(anchor)로 설정한 뒤 앵커 뱅크(140)에 미리 저장해둘 수 있다. 이 때, 군집화와 대표값 설정에는 당해 기술분야에서 이용되는 다양한 방법이 적용될 수 있다. Referring to FIG. 12, the processor can cluster all linear combination coefficients determined in step (S10) (only two linear combination coefficients (c 1 , c 2 ) are shown in the drawing for convenience of explanation), set representative values of multiple clusters as anchors, and then store them in advance in the anchor bank (140). At this time, various methods used in the relevant technical field can be applied to clustering and setting representative values.

이어서, 프로세서는 첫번째 방법과 동일하게 단계(S10)에서 결정된 선형 결합 계수를 시간의 흐름에 따라 제1 및 제2 계수로 구분하고, 보행자 경로 예측 모델(200)이 제1 계수를 입력받아 제2 계수와 앵커 간의 차이(이하, 차이 벡터)를 출력하도록 지도 학습시킬 수 있다. 다시 말해, 프로세서는 보행자 경로 예측 모델(200)의 입력 데이터를 제1 계수로 설정하고, 출력 데이터를 차이 벡터로 설정하여 보행자 경로 예측 모델(200)을 지도 학습시킬 수 있다.Next, the processor can divide the linear combination coefficients determined in step (S10) into first and second coefficients over time in the same manner as the first method, and supervise learning so that the pedestrian path prediction model (200) receives the first coefficient as input and outputs the difference (hereinafter, difference vector) between the second coefficient and the anchor. In other words, the processor can supervise learning the pedestrian path prediction model (200) by setting the input data of the pedestrian path prediction model (200) as the first coefficient and setting the output data as the difference vector.

지도 학습에 따라 보행자 경로 예측 모델(200)은 제1 시구간의 선형 결합 계수와 제2 시구간의 차이 벡터 간의 관련성을 학습하게 되고, 학습이 완료된 이후에는 학습에 이용되지 않았던 시구간의 선형 결합 계수를 입력받아 해당 시구간에 연속되는 다른 시구간에 대한 차이 벡터를 출력할 수 있다. According to supervised learning, the pedestrian path prediction model (200) learns the relationship between the linear combination coefficient of the first time section and the difference vector of the second time section, and after learning is completed, the linear combination coefficient of the time section that was not used for learning can be input and the difference vector for other time sections that are consecutive to the corresponding time section can be output.

이와 같이, 앵커를 활용하는 경우 보행자 경로 예측 모델(200)이 선형 결합 계수를 직접 예측하는 대신 미세 조정 값(refinement value), 즉 차이 벡터만을 예측하면 되므로, 예측 정확도 및 학습 속도가 향상될 수 있다.In this way, when utilizing anchors, the pedestrian path prediction model (200) only needs to predict the refinement value, i.e., the difference vector, instead of directly predicting the linear combination coefficient, so that the prediction accuracy and learning speed can be improved.

이하에서는 전술한 두번째 방법에 따라 학습이 완료된 보행자 경로 예측 모델(200)을 이용하여 타겟 보행자의 예측 경로(Lp)를 생성하는, 본 발명의 적용 단계를 구체적으로 설명하도록 한다.Below, the application steps of the present invention, which generate a predicted path (L p ) of a target pedestrian using a pedestrian path prediction model (200) that has completed learning according to the second method described above, will be specifically described.

먼저, 프로세서는 타겟 보행자의 관측 보행경로에 대한 관측 선형 결합 계수를 산출할 수 있다(S30).First, the processor can calculate the observed linear combination coefficients for the observed walking path of the target pedestrian (S30).

도 13을 참조하면, 경로 예측의 대상이 되는 타겟 보행자의 보행경로(L)가 관측된 경우, 프로세서는 앞서 특이값 분해를 통해 결정된 직교행렬의 전치행렬(UT)을 관측 보행경로(L)에 곱하여 관측 보행경로(L)에 대한 관측 선형 결합 계수를 산출할 수 있다.Referring to FIG. 13, when a target pedestrian's walking path (L) that is the target of path prediction is observed, the processor can multiply the observed walking path (L) by the transpose matrix (U T ) of the orthogonal matrix previously determined through singular value decomposition to produce an observed linear combination coefficient for the observed walking path (L).

다음으로, 프로세서는 학습이 완료된 보행자 경로 예측 모델(200)에 관측 선형 결합 계수를 입력하여 예측 경로를 생성할 수 있다(S40).Next, the processor can input the observed linear combination coefficients into the pedestrian path prediction model (200) for which learning has been completed to generate a predicted path (S40).

다시 도 13을 참조하면, 프로세서는 관측 선형 결합 계수를 보행자 경로 예측 모델(200)에 입력할 수 있다. 도 12를 참조하여 설명한 것과 같이, 보행자 경로 예측 모델(200)은 연속되는 시구간에 대한 선형 결합 계수와 차이 벡터 간의 관련성을 학습한 상태이므로, 보행자 경로 예측 모델(200)은 타겟 보행자가 관측된 이후 시점에 대한 차이 벡터를 출력할 수 있다.Referring again to FIG. 13, the processor can input the observed linear combination coefficients into the pedestrian path prediction model (200). As described with reference to FIG. 12, the pedestrian path prediction model (200) has learned the relationship between the linear combination coefficients and the difference vectors for consecutive time intervals, so the pedestrian path prediction model (200) can output the difference vectors for the time points after the target pedestrian is observed.

프로세서는 차이 벡터를 앵커 뱅크(140)에 저장된 앵커에 적용하여 예측 선형 결합 계수를 산출할 수 있고, 예측 선형 결합 계수를 2차원상에 표현하기 위해, 앞서 특이값 분해를 통해 결정된 직교행렬(U)을 예측 선형 결합 계수에 곱하여 각 보행자의 예측 경로(Lp)를 생성할 수 있다The processor can apply the difference vector to the anchor stored in the anchor bank (140) to derive the predicted linear combination coefficient, and to express the predicted linear combination coefficient in two dimensions, the processor can multiply the predicted linear combination coefficient by the orthogonal matrix (U) determined through the singular value decomposition in advance to generate the predicted path (L p ) of each pedestrian.

전술한 바와 같이, 본 발명은 보행자 경로 예측 모델(200)의 학습을 위해, 복수 보행자의 보행경로가 내포하는 중요한 정보, 즉 주요 특징을 경로 기술자로서 추출하고, 보행경로를 경로 기술자들의 선형 결합으로 정의한 후, 선형 결합 계수만을 이용하여 모델을 학습시킴에 따라 모델이 사회적으로 발생하는 보행자들의 실제 보행패턴을 학습할 수 있다는 장점이 있다.As described above, the present invention extracts important information, i.e., key features, contained in the walking paths of multiple pedestrians as path descriptors for learning a pedestrian path prediction model (200), defines the walking path as a linear combination of the path descriptors, and then learns the model using only the linear combination coefficients, so that the model has the advantage of being able to learn the actual walking patterns of pedestrians that occur socially.

또한, 도 9를 참조하여 설명한 것과 같이 사회적으로 통상 발생하는 보행경로는 소수(예컨대, 6개)의 경로 기술자들의 선형 결합으로 정의될 수 있으며, 본 발명은 소수의 선형 결합 계수만을 이용하여 모델을 학습시킴에 따라 낮은 차원의 데이터만으로 높은 예측 성능의 모델을 생성할 수 있다는 효과가 있다.In addition, as described with reference to FIG. 9, a socially common walking path can be defined as a linear combination of a small number (e.g., 6) of path descriptors, and the present invention has the effect of generating a model with high prediction performance using only low-dimensional data by training a model using only a small number of linear combination coefficients.

정리하면, 본 발명은 사회적으로 통상 발생하는 보행경로가 몇 가지 보행패턴의 조합으로 나타낼 수 있다는 점에 착안하여, 보행경로를 소수의 경로 기술자들의 선형 결합으로 정의한 후 선형 결합 계수만을 이용하여 신경망 모델을 학습시킴에 따라, 모델이 보행자들의 실제 보행패턴을 학습할 수 있고, 학습을 위한 데이터 차원을 낮출 수 있어 모델의 학습 속도와 예측 정확도를 향상시킬 수 있다는 장점이 있다.In summary, the present invention takes into account the fact that a socially common walking path can be represented by a combination of several walking patterns, defines a walking path as a linear combination of a small number of path descriptors, and then trains a neural network model using only the linear combination coefficients, thereby enabling the model to learn the actual walking patterns of pedestrians and reducing the data dimension for learning, thereby improving the learning speed and prediction accuracy of the model.

이상과 같이 본 발명에 대 해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.Although the present invention has been described with reference to the drawings as exemplified above, it is obvious that the present invention is not limited to the embodiments and drawings disclosed in this specification, and that various modifications can be made by those skilled in the art within the scope of the technical idea of the present invention. In addition, even if the operation and effect according to the configuration of the present invention was not explicitly described while describing the embodiments of the present invention, it is natural that the effects predictable by the corresponding configuration should also be recognized.

Claims (9)

복수 보행자의 보행경로에 특이값 분해를 적용하여 상기 보행경로를 경로 기술자들의 선형 결합으로 정의하는 단계; 및
상기 경로 기술자들의 선형 결합 계수를 훈련 데이터셋으로 설정하여 보행자 경로 예측 모델을 학습시키는 단계를 포함하는
보행자 경로 예측 방법.
A step of applying singular value decomposition to the walking path of multiple pedestrians to define the walking path as a linear combination of path descriptors; and
A step of training a pedestrian path prediction model by setting the linear combination coefficients of the above path descriptors as a training dataset.
A method for predicting pedestrian paths.
 제1항에 있어서,
상기 특이값 분해를 적용하는 단계는
상기 복수 보행자 각각에 대한 2차원 좌표로 정의되는 보행경로에 특이값 분해를 적용하는 단계를 포함하는
보행자 경로 예측 방법.
In the first paragraph,
The steps for applying the above singular value decomposition are
A step of applying singular value decomposition to a walking path defined by two-dimensional coordinates for each of the above multiple pedestrians.
A method for predicting pedestrian paths.
 제1항에 있어서,
상기 경로 기술자는 상기 복수 보행자의 보행경로에 특이값 분해를 적용하여 결정된 정사각의 직교행렬 내 특이 벡터(singular vector)인
보행자 경로 예측 방법.
In the first paragraph,
The above path descriptor is a singular vector within a square orthogonal matrix determined by applying singular value decomposition to the walking paths of the multiple pedestrians.
A method for predicting pedestrian paths.
 제1항에 있어서,
상기 보행경로를 경로 기술자들의 선형 결합으로 정의하는 단계는
상기 특이값 분해를 통해 결정된 직교행렬의 전치행렬을 상기 보행경로에 곱하여 상기 선형 결합 계수를 산출하는 단계를 포함하는
보행자 경로 예측 방법.
In the first paragraph,
The step of defining the above walking path as a linear combination of path descriptors is
A step of calculating the linear combination coefficient by multiplying the transpose matrix of the orthogonal matrix determined through the singular value decomposition to the walking path.
A method for predicting pedestrian paths.
 제1항에 있어서,
상기 복수 기술자는 상기 복수 보행자의 보행경로에 절두(truncated) 특이값 분해를 적용하여 결정된 직사각의 직교행렬 내 특이 벡터인
보행자 경로 예측 방법.
In the first paragraph,
The above multiple descriptors are singular vectors in a rectangular orthogonal matrix determined by applying a truncated singular value decomposition to the walking paths of the above multiple pedestrians.
A method for predicting pedestrian paths.
 제1항에 있어서,
상기 보행자 경로 예측 모델을 학습시키는 단계는
상기 선형 결합 계수를 시간의 흐름에 따라 제1 및 제2 계수로 구분하는 단계와,
상기 보행자 경로 예측 모델이 상기 제1 계수를 입력받아 상기 제2 계수를 출력하도록 지도 학습시키는 단계를 포함하는
보행자 경로 예측 방법.
In the first paragraph,
The step of training the above pedestrian path prediction model is
A step of dividing the above linear combination coefficients into first and second coefficients over time,
The step of supervised learning includes the step of allowing the pedestrian path prediction model to input the first coefficient and output the second coefficient.
A method for predicting pedestrian paths.
 제1항에 있어서,
상기 특이값 분해를 통해 결정된 직교행렬의 전치행렬을 타겟 보행자의 관측 보행경로에 곱하여 상기 관측 보행경로에 대한 관측 선형 결합 계수를 산출하는 단계; 및
상기 관측 선형 결합 계수를 상기 보행자 경로 예측 모델에 입력하고, 상기 보행자 경로 예측 모델에서 출력된 예측 선형 결합 계수에 상기 특이값 분해를 통해 결정된 직교행렬을 곱하여 각 보행자의 예측 경로를 생성하는 단계를 더 포함하는
보행자 경로 예측 방법.
In the first paragraph,
A step of multiplying the transpose matrix of the orthogonal matrix determined through the singular value decomposition to the observed walking path of the target pedestrian to derive the observed linear combination coefficient for the observed walking path; and
The method further includes a step of inputting the above observed linear combination coefficients into the pedestrian path prediction model, and multiplying the predicted linear combination coefficients output from the pedestrian path prediction model by the orthogonal matrix determined through the singular value decomposition to generate the predicted path of each pedestrian.
A method for predicting pedestrian paths.
 제1항에 있어서,
상기 보행자 경로 예측 모델을 학습시키는 단계는
상기 선형 결합 계수가 형성하는 복수 군집의 대표값을 앵커(anchor)로 설정하는 단계와,
상기 선형 결합 계수를 시간의 흐름에 따라 제1 및 제2 계수로 구분하는 단계와,
상기 보행자 경로 예측 모델이 상기 제1 계수를 입력받아 상기 제2 계수와 상기 앵커 간의 차이를 출력하도록 지도 학습시키는 단계를 포함하는
보행자 경로 예측 방법.
In the first paragraph,
The step of training the above pedestrian path prediction model is
A step of setting the representative value of multiple clusters formed by the above linear combination coefficients as an anchor,
A step of dividing the above linear combination coefficients into first and second coefficients over time,
The step of supervised learning includes the step of allowing the pedestrian path prediction model to input the first coefficient and output the difference between the second coefficient and the anchor.
A method for predicting pedestrian paths.
 제8항에 있어서,
상기 특이값 분해를 통해 결정된 직교행렬의 전치행렬을 타겟 보행자의 관측 보행경로에 곱하여 상기 관측 보행경로에 대한 관측 선형 결합 계수를 산출하는 단계;
상기 관측 선형 결합 계수를 상기 보행자 경로 예측 모델에 입력하고, 상기 보행자 경로 예측 모델에서 출력된 차이를 상기 앵커에 적용하여 상기 예측 선형 결합 계수를 산출하는 단계; 및
상기 예측 선형 결합 계수에 상기 특이값 분해를 통해 결정된 직교행렬을 곱하여 각 보행자의 예측 경로를 생성하는 단계를 더 포함하는
보행자 경로 예측 방법.In Article 8,
A step of multiplying the transpose matrix of the orthogonal matrix determined through the singular value decomposition by the observed walking path of the target pedestrian to derive an observed linear combination coefficient for the observed walking path;
A step of inputting the above observed linear combination coefficients into the pedestrian path prediction model, and applying the difference output from the pedestrian path prediction model to the anchor to derive the predicted linear combination coefficients; and
It further includes a step of generating a predicted path of each pedestrian by multiplying the predicted linear combination coefficient by an orthogonal matrix determined through the singular value decomposition.
A method for predicting pedestrian paths.
KR1020230027247A 2023-02-28 2023-02-28 Pedestrian trajectory prediction method using trajectory descriptors representing actual walking patterns Active KR102940350B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230027247A KR102940350B1 (en) 2023-02-28 2023-02-28 Pedestrian trajectory prediction method using trajectory descriptors representing actual walking patterns

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230027247A KR102940350B1 (en) 2023-02-28 2023-02-28 Pedestrian trajectory prediction method using trajectory descriptors representing actual walking patterns

Publications (2)

Publication Number Publication Date
KR20240133384A true KR20240133384A (en) 2024-09-04
KR102940350B1 KR102940350B1 (en) 2026-03-18

Family

ID=92759749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230027247A Active KR102940350B1 (en) 2023-02-28 2023-02-28 Pedestrian trajectory prediction method using trajectory descriptors representing actual walking patterns

Country Status (1)

Country Link
KR (1) KR102940350B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119807553A (en) * 2025-03-17 2025-04-11 武汉东信同邦信息技术有限公司 Next point of interest recommendation method, device, equipment and storage medium
KR102819296B1 (en) * 2024-10-02 2025-06-11 수퍼게이트 주식회사 Behavior Inference Method Based on Transposition Transformation and Computing Device for Performing the Same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102819296B1 (en) * 2024-10-02 2025-06-11 수퍼게이트 주식회사 Behavior Inference Method Based on Transposition Transformation and Computing Device for Performing the Same
CN119807553A (en) * 2025-03-17 2025-04-11 武汉东信同邦信息技术有限公司 Next point of interest recommendation method, device, equipment and storage medium

Also Published As

Publication number Publication date
KR102940350B1 (en) 2026-03-18

Similar Documents

Publication Publication Date Title
Dong et al. Crowd counting by using top-k relations: A mixed ground-truth CNN framework
US12062249B2 (en) System and method for generating image landmarks
Chen et al. MICPL: Motion-inspired cross-pattern learning for small-object detection in satellite videos
Zhang et al. Unsupervised video object segmentation with joint hotspot tracking
Zhang et al. Fastersal: Robust and real-time single-stream architecture for rgb-d salient object detection
Yin et al. Efficient skeleton-based action recognition via multi-stream depthwise separable convolutional neural network
Chen et al. Pedestrian trajectory prediction in heterogeneous traffic using pose keypoints-based convolutional encoder-decoder network
Zhang et al. DeFlow: Decoder of scene flow network in autonomous driving
CN108416266A (en) A kind of video behavior method for quickly identifying extracting moving target using light stream
Sun et al. PGCNet: patch graph convolutional network for point cloud segmentation of indoor scenes
KR102940350B1 (en) Pedestrian trajectory prediction method using trajectory descriptors representing actual walking patterns
Han et al. Spatially adaptive feature refinement for efficient inference
CN107067410A (en) A kind of manifold regularization correlation filtering method for tracking target based on augmented sample
Zhang et al. SASAN: Shape-adaptive set abstraction network for point-voxel 3D object detection
Luo et al. FD-SLAM: A semantic SLAM based on enhanced fast-SCNN dynamic region detection and DeepFillv2-driven background inpainting
Bortolon et al. IFFNeRF: Initialisation Free and Fast 6DoF pose estimation from a single image and a NeRF model
Feng et al. Point-guided contrastive learning for monocular 3-D object detection
Nobari et al. NITO: Neural implicit fields for resolution-free topology optimization
Li et al. A synchronous bi-directional framework with temporally dependent interaction modeling for pedestrian trajectory prediction
Liu et al. Hyper-anchor based lane detection
Wang et al. Visual perception-inspired 3D point cloud sampling
Kumar et al. Evolution of transformer-based optical flow estimation techniques: a survey
Zheng et al. Pointmt: Efficient point cloud analysis with hybrid mlp-transformer architecture
Ma et al. Multi-granularity spatial temporal graph convolution network with consecutive attention for human motion prediction
CN120374677A (en) Particle image velocimetry method based on nerve operator

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13 Pre-grant limitation requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-E10-E13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11 Amendment of application requested

Free format text: ST27 STATUS EVENT CODE: A-2-2-P10-P11-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)