KR20230134827A - 비확률적 샘플링을 통한 보행자 경로 예측 방법 - Google Patents

비확률적 샘플링을 통한 보행자 경로 예측 방법 Download PDF

Info

Publication number
KR20230134827A
KR20230134827A KR1020220032099A KR20220032099A KR20230134827A KR 20230134827 A KR20230134827 A KR 20230134827A KR 1020220032099 A KR1020220032099 A KR 1020220032099A KR 20220032099 A KR20220032099 A KR 20220032099A KR 20230134827 A KR20230134827 A KR 20230134827A
Authority
KR
South Korea
Prior art keywords
path
sampling
pedestrian
walking
latent
Prior art date
Application number
KR1020220032099A
Other languages
English (en)
Inventor
전해곤
배인환
박진휘
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020220032099A priority Critical patent/KR20230134827A/ko
Priority to US18/174,716 priority patent/US20230342948A1/en
Publication of KR20230134827A publication Critical patent/KR20230134827A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 보행자 경로 예측을 실시함에 있어서, 입력 데이터에 비확률적 샘플링을 적용하는 방법에 관한 것이다. 본 발명의 일 실시예에 따른 비확률적 샘플링을 통한 보행자 경로 예측 방법은 타겟 보행자의 보행경로에 기초하여 상기 타겟 보행자의 의도에 대응하는 복수의 랜덤벡터 중 미리 설정된 수의 잠재벡터를 비확률적으로 샘플링하는 단계 및 상기 보행경로에서 보행 특징벡터를 추출하고, 상기 보행 특징벡터와 상기 잠재벡터를 신경망 모델에 적용하여 상기 타겟 보행자의 예상 경로를 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

비확률적 샘플링을 통한 보행자 경로 예측 방법{PEDESTRIAN TRAJECTORY PREDICTION METHOD USING NON-PROBABILITY SAMPLING}
본 발명은 보행자 경로 예측을 위한 신경망 모델을 학습시킴에 있어서, 보행자의 의도에 대응하는 랜덤벡터를 비확률적으로 샘플링하는 방법에 관한 것이다.
보행자 경로 예측 기술은 보행자의 과거 경로를 기반으로 미래 경로를 추정하는 기술로서, 행동 예측, 군중 이동 분석, 비정상 움직임 감지, 교통량 흐름 분석과 같은 다양한 영역에 적용될 수 있다.
보행자 경로 예측을 위해 다양한 컴퓨터 비전 기술이 이용되어 왔으며 최근에는 예측 정확도의 향상을 위해 딥러닝 기술이 적용되고 있다.
그 중 가장 대표적으로 이용되는 딥러닝 기술은 확률적 경로 예측(stochastic trajectory prediction) 기술로서, 도 1에 도시된 바와 같이, 가우시안 분포(Gaussian distribution, a), GAN(Generative Adversarial Network, b), CVAE(Conditional Variational AutoEncoder, c) 등의 접근법을 보행자 경로 예측에 이용할 때, 예측 경로에 대응하는 랜덤 벡터를, 주사위를 굴리는 것과 같이 확률적으로 샘플링하고, 샘플링된 랜덤 벡터를 이용하여 신경망 모델을 학습시키는 것을 특징으로 한다.
이러한 기술은 기본적으로 확률에 기반하므로 가능한 랜덤 벡터를 무한하게 분류하고, 학습 시행 횟수를 무한히 반복하는 경우 예측 정확도가 계속적으로 상승한다. 그러나, 샘플링 대상이 되는 예측 경로의 수는 실제 발생할 수 있는 모든 경로를 나타내기에 부족하며, 응용 프로그램에서 무한한 반복 시행을 실시하는 것 역시 불가능하므로 상기 기술을 통해 일정 수준의 예측 정확도를 확보하는 것이 매우 어렵다는 한계가 있다.
다시 말해, 앞서 예시된 기존 기술들은 근본적으로 고정된 샘플 수와 확률적 샘플링으로 인해 편향(bias)에 민감하며, 이에 따라 도 2에 도시된 바와 같이 실제 결과(ground truth)와는 전혀 다른 경로를 예측하게 되는 문제가 있다.
본 발명은 보행자 경로 예측을 위해 이용되는 다양한 신경망 모델을 학습시킬 때, 보행자의 의도에 대응하는 랜덤벡터를 비확률적으로 샘플링하고, 이를 신경망 모델의 학습에 이용하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비확률적 샘플링을 통한 보행자 경로 예측 방법은 타겟 보행자의 보행경로에 기초하여 상기 타겟 보행자의 의도에 대응하는 복수의 랜덤벡터 중 미리 설정된 수의 잠재벡터를 비확률적으로 샘플링하는 단계 및 상기 보행경로에서 보행 특징벡터를 추출하고, 상기 보행 특징벡터와 상기 잠재벡터를 신경망 모델에 적용하여 상기 타겟 보행자의 예상 경로를 결정하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 타겟 보행자가 포함된 보행영상을 수집하고, 상기 보행영상에서 상기 타겟 보행자의 보행경로를 식별하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 타겟 보행자의 보행경로를 식별하는 단계는 상기 타겟 보행자의 위치를 프레임별로 탐지하여 상기 보행경로를 식별하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 잠재벡터를 비확률적으로 샘플링하는 단계는 상기 신경망 모델의 학습 시 상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 가장 유사한 순서대로 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 잠재벡터를 비확률적으로 샘플링하는 단계는 상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 유사할수록 작아지는 손실함수(loss function)를 상기 신경망 모델에 적용하여 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 잠재벡터를 비확률적으로 샘플링하는 단계는 상기 신경망 모델의 학습 시 상기 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 가장 먼 순서대로 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 잠재벡터를 비확률적으로 샘플링하는 단계는 상기 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 멀수록 작아지는 손실함수(loss function)를 상기 신경망 모델에 적용하여 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 잠재벡터를 비확률적으로 샘플링하는 단계는 상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 가장 유사하면서 상기 랜덤벡터에 의해 예측되는 각 경로간의 거리가 가장 멀도록 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 잠재벡터를 비확률적으로 샘플링하는 단계는 상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 유사할수록 작아지는 제1 손실함수와, 상기 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 멀수록 작아지는 제2 손실함수를 선형 결합(linear combination)한 최종 손실함수를 상기 신경망 모델에 적용하여 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 잠재벡터를 비확률적으로 샘플링하는 단계는 상기 타겟 보행자와 주변 보행자 간 상호인지 특성을 추출하고, 상기 상호인지 특성을 반영하여 상기 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 상호인지 특성을 추출하는 단계는 GAT(Graph Attention Network)를 통해 상기 상호인지 특성을 추출하고, MLP(Multi-Layer Perceptron)에 상기 상호인지 특성을 입력하여 상기 잠재벡터를 샘플링하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 신경망 모델은 보행영상의 제1 시간구간에 대한 상기 타겟 보행자의 보행경로 및 상기 제1 시간구간에 연속되는 제2 시간구간에 대한 상기 타겟 보행자의 보행경로로 구성되는 훈련 데이터셋을 이용하여 학습되는 것을 특징으로 한다.
일 실시예에서, 상기 타겟 보행자의 예상 경로를 결정하는 단계는 상기 보행 특징벡터와 상기 잠재벡터를 가우시안 분포(Gaussian distribution), GAN(Generative Adversarial Network), CVAE(Conditional Variational AutoEncoder) 중 어느 하나에 적용하여 상기 타겟 보행자의 예상 경로를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 보행자 경로 예측을 위해 이용되는 다양한 신경망 모델을 학습시킬 때, 보행자의 의도에 대응하는 랜덤벡터를 비확률적으로 샘플링함으로써, 신경망 모델의 예측 정확도를 향상시킬 수 있을 뿐만 아니라 신경망 모델이 실현 가능한 다양한 예상 경로를 출력하도록 유도할 수 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 종래 확률적 샘플링을 통한 보행자 경로 예측 모델을 도시한 도면.
도 2는 도 1의 예측 모델에서 확률적 샘플링으로 인해 발생하는 편향을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 비확률적 샘플링을 통한 보행자 경로 예측 방법을 도시한 순서도.
도 4는 타겟 보행자의 보행경로를 도시한 도면.
도 5는 도 4에 도시된 타겟 보행자의 예상 경로를 도시한 도면.
도 6은 확률적 샘플링과 비확률적 샘플링 차이를 설명하기 위한 도면.
도 7은 비확률적으로 샘플링된 예상 경로별 잠재벡터를 도시한 도면.
도 8은 GAT(Graph Attention Network) 적용을 위한 보행자들 간의 관계를 나타낸 도면.
도 9는 잠재벡터를 설명하기 위한 신경망 아키텍쳐의 일 실시예를 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 보행자 경로 예측 모델을 도시한 도면.
도 11은 본 발명을 적용한 경우와 그렇지 않은 경우의 성능 비교 테이블을 도시한 도면.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
본 명세서에서 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.
또한, 본 명세서에서 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.
또한, 본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다
본 발명은 보행자 경로 예측을 위한 신경망 모델을 학습시킴에 있어서, 보행자의 의도에 대응하는 랜덤벡터를 비확률적으로 샘플링하는 방법에 관한 것이다. 이하, 도 3 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 비확률적 샘플링을 통한 보행자 경로 예측 방법을 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 비확률적 샘플링을 통한 보행자 경로 예측 방법을 도시한 순서도이다.
도 4는 타겟 보행자의 보행경로를 도시한 도면이고, 도 5는 도 4에 도시된 타겟 보행자의 예상 경로를 도시한 도면이다.
도 6은 확률적 샘플링과 비확률적 샘플링 차이를 설명하기 위한 도면이고, 도 7은 비확률적으로 샘플링된 예상 경로별 잠재벡터를 도시한 도면이다.
도 8은 GAT(Graph Attention Network) 적용을 위한 보행자들 간의 관계를 나타낸 도면이다.
도 9는 잠재벡터를 설명하기 위한 신경망 아키텍쳐의 일 실시예를 도시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 보행자 경로 예측 모델을 도시한 도면이다.
도 11은 본 발명을 적용한 경우와 그렇지 않은 경우의 성능 비교 테이블을 도시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 비확률적 샘플링을 통한 보행자 경로 예측 방법은 보행영상을 수집하는 단계(S10), 타겟 보행자의 보행경로를 식별하는 단계(S20), 타겟 보행자의 의도에 대응하는 잠재벡터(latent vector)를 비확률적으로 샘플링하는 단계(S31), 보행경로로부터 보행 특징벡터를 추출하는 단계(S32), 잠재벡터 및 보행 특징벡터를 신경망 모델에 적용하는 단계(S40) 및 신경망 모델의 출력에 기초하여 타겟 보행자의 예상 경로를 결정하는 단계(S50)를 포함할 수 있다.
다만, 도 3에 도시된 비확률적 샘플링을 통한 보행자 경로 예측 방법은 일 실시예에 따른 것이고, 발명을 이루는 각 단계들이 도 3에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 단계가 부가, 변경 또는 삭제될 수 있다.
도 3에 도시된 각 단계들은 프로세서에 의해 수행될 수 있으며, 프로세서는 후술하는 발명의 동작을 수행하기 위하여 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controller), 마이크로 컨트롤러(micro-controllers) 중 적어도 하나의 물리적인 요소를 포함할 수 있다.
이하, 도 3에 도시된 각 단계들을 구체적으로 설명하도록 한다.
프로세서는 타겟 보행자(110)가 포함된 보행영상(100)을 수집할 수 있다(S10).
타겟 보행자(110)는 경로 예측의 대상이 되는 보행자를 의미하며, 보행영상(100)은 타겟 보행자(110)가 이동하는 모습이 담긴 임의의 영상일 수 있다. 이러한 보행영상(100)은 다양한 시점의 영상일 수 있고, 구체적으로, 타겟 보행자(110)가 촬영된 1인칭 시점(First Person View; FPV)의 영상 또는 3인칭 관찰 시점(surveillance view)의 영상일 수 있다.
프로세서는 타 디바이스나 임의의 저장매체로부터 보행영상(100)을 수집할 수 있다. 예컨대, 프로세서는 차량으로부터 차량 전방의 보행영상(100)을 수집할 수도 있고, CCTV로부터 관찰 영역 내 보행영상(100)을 수집할 수도 있으며, 임의의 데이터베이스로부터 보행영상(100)을 수집할 수 있다.
이어서, 프로세서는 보행영상(100)에서 타겟 보행자(110)의 보행경로(120)를 식별할 수 있다(S20).
보행영상(100)의 일 예시가 도시되어 있는 도 4를 참조하면, 보행경로(120)는 보행영상(100)에서 타겟 보행자(110)가 이동한 경로를 의미하며, 연속되는 프레임에서 식별될 수 있다.
프로세서는 타겟 보행자(110)의 위치를 보행영상(100)의 프레임별로 탐지할 수 있고, 시계열적으로 변화하는 위치에 기초하여 보행경로(120)를 식별할 수 있다. 이를 위해 프로세서는 당해 기술분야에서 알려진 임의의 객체 탐지(object detection) 알고리즘을 이용할 수 있다. 구체적으로, 프로세서는 타겟 보행자(110)의 특정 신체부위, 예컨대 머리의 위치를 프레임별로 탐지할 수 있고, 프레임별로 탐지된 위치를 연결함으로써 보행경로(120)를 식별할 수 있다.
도 5를 참조하면, 본 발명은 전술한 바와 같이 식별된 보행경로(120)에 기초하여 이후 타겟 보행자(110)의 예상 경로(130)를 결정할 수 있다. 구체적으로, 본 발명은 제1 시간구간(T1)에 대한 보행경로(120)에 기초하여, 제1 시간구간(T1)에 연속되는 제2 시간구간(T2)의 예상 경로(130)를 결정할 수 있다.
여기서 제2 시간구간(T2)에서 보행자의 실제 경로는 보행자의 잠재적인 의도에 따라 비정형적으로 결정된다. 이에 따라, 종래 경로 예측 모델에서는 보행자의 잠재적 의도에 대응하는 랜덤벡터를, 예측하고자 하는 경로의 수만큼 무작위로 샘플링하고, 샘플링된 잠재벡터를 신경망 모델 학습에 이용함으로써 다양한 예상 경로(130)를 결정하는 방식을 이용하였다.
그런데 도 6을 참조하면, 기존 방식에서는 확률적 샘플링으로 인한 편향이 발생하게 되며, 본 발명은 이러한 편향을 없애기 위하여 랜덤벡터를 비확률적으로 샘플링함으로써, 보행자의 의도뿐만 아니라 목적성까지 고려하여 실현 가능한 예상 경로(130)를 결정할 수 있다.
구체적으로, 프로세서는 타겟 보행자(110)의 보행경로(120)에 기초하여 타겟 보행자(110)의 의도에 대응하는 복수의 랜덤벡터 중 미리 설정된 수의 잠재벡터를 비확률적으로 샘플링할 수 있다(S31). 여기서 랜덤벡터는 난수에 의해 정의되는 벡터로서, 몬테카를로(Monte Carlo) 방식 또는 준-몬테카를로(Quasi-Monte Carlo) 방식에 따라 결정될 수 있다. 또한, 잠재벡터 각각은 보행자의 잠재적 의도, 즉 예상 경로(130)에 대응하므로 미리 설정된 수는 신경망 모델을 통해 결정하고자 하는 예상 경로(130)의 수로 설정될 수 있다.
이하, 본 발명의 비확률적 샘플링 방법에 대해 설명하도록 한다.
제1 실시예에서, 후술되는 신경망 모델의 학습 시 프로세서는 복수의 랜덤벡터에 의해 예측되는 경로가 타겟 보행자(110)의 실제 경로와 가장 유사한 순서대로 미리 설정된 수의 잠재벡터를 샘플링할 수 있다. 즉, 랜덤벡터 중에서, 각 랜덤벡터에 의해 예측되는 경로와 실제 경로가 가장 유사한 순서에 따라 미리 설정된 수를 샘플링하고, 이를 잠재벡터로 결정할 수 있다.
본 발명에서 신경망 모델은 보행영상(100)의 제1 시간구간(T1)에 대한 타겟 보행자(110)의 보행경로(120)와, 제1 시간구간(T1)에 연속되는 제2 시간구간(T2)에 대한 타겟 보행자(110)의 보행경로(120)로 구성되는 훈련 데이터셋(training dataset)으로 학습될 수 있다.
다시 말해, 신경망 모델은 제1 시간구간(T1)에 대한 보행경로(120)를 입력하였을 때, 제2 시간구간(T2)에 대한 보행경로(120)를 출력하도록 학습될 수 있다. 이 때, 학습에 이용되는 제2 시간구간(T2)에 대한 보행경로(120)는 타겟 보행자(110)의 실제 경로(Ground Truth; GT)일 수 있다.
이러한 종단 간 학습(end-to-end learning)에서, 프로세서는 신경망 모델을 구성하는 각 레이어 및 노드의 파라미터(예컨대, 가중치(weight) 및 바이어스(bias))를, 랜덤벡터에 의해 예측되는 경로가 실제 경로와 유사하도록, 학습시킬 수 있다.
이를 위해, 프로세서는 복수의 랜덤벡터에 의해 예측되는 경로가 타겟 보행자(110)의 실제 경로와 유사할수록 작아지는 손실함수(loss function)를 신경망 모델에 적용할 수 있다.
신경망 모델은 경사하강법(gradient descent) 등을 이용하여 손실함수의 값이 최소가 되도록 모델 내 파라미터를 학습할 수 있고, 랜덤벡터 중에서 손실함수를 최소로 만드는 잠재벡터가 샘플링될 수 있다
구체적으로, 프로세서는 하기 [수학식 1]의 손실함수(Ldist)를 신경망 모델에 적용함으로써, 신경망 모델이 랜덤벡터에 의해 예측되는 경로와 실제 경로 사이의 유클리디언 거리(L2 distance)가 가깝도록 랜덤벡터를 샘플링하게 할 수 있다.
(L은 타겟 보행자(110)의 수, N은 랜덤벡터, 는 랜덤벡터에 의해 예측되는 경로, 는 실제 경로)
한편, 제1 실시예에 따라 잠재벡터를 샘플링하는 경우, 실제 경로에 대한 신경망 모델의 예측 정확도를 향상시킬 수 있으나, 신경망 모델의 학습이 진행될수록 신경망 모델이 실제 경로에 대해 과도하게 편향되는 문제가 발생할 수 있다.
즉, 보행자 경로 예측을 위한 신경망 모델의 경우 보행자의 잠재적인 의도를 예측하고 발생할 수 있는 다양한 경로를 제시해야 하는데, 제1 실시예의 샘플링 방식을 이용하는 경우 신경망 모델이 예측하는 경로의 다양성이 낮아질 수 있다.
이에 따라, 프로세서는 아래와 같은 방식으로 샘플링을 진행할 수도 있다.
제2 실시예에서, 신경망 모델의 학습 시 프로세서는 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 가장 먼 순서대로 미리 설정된 수의 잠재벡터를 샘플링할 수 있다. 즉, 랜덤벡터 중에서, 각 랜덤벡터에 의해 예측되는 경로간의 거리가 가장 먼 순서에 따라 미리 설정된 수를 샘플링하고, 이를 잠재벡터로 결정할 수 있다.
다시 말해, 신경망 모델에 종단 간 학습을 적용할 때, 프로세서는 신경망 모델을 구성하는 각 레이어 및 노드의 파라미터를, 랜덤벡터에 의해 예측되는 각 경로가 서로 멀도록 학습시킬 수 있다. 즉, 제1 실시예에서는 랜덤벡터에 의해 예측되는 경로와 실제 경로 간의 거리에 따라 랜덤벡터를 샘플링했다면, 제2 실시예에서는 랜덤벡터에 의해 예측되는 각각의 경로간의 거리에 따라 랜덤벡터를 샘플링할 수 있다.
이를 위해, 프로세서는 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 멀수록 작아지는 손실함수를 신경망 모델에 적용할 수 있다.
제1 실시예와 마찬가지로 신경망 모델은 경사하강법(gradient descent) 등을 이용하여 손실함수의 값이 최소가 되도록 모델 내 파라미터를 학습할 수 있고, 랜덤벡터 중에서 손실함수를 최소로 만드는 잠재벡터가 샘플링될 수 있다
구체적으로, 프로세서는 하기 [수학식 2]의 손실함수(Ldisc)를 신경망 모델에 적용함으로써, 신경망 모델이 랜덤벡터에 의해 예측되는 각 경로간의 유클리디언 거리(L2 distance)가 멀도록 랜덤벡터를 샘플링하게 할 수 있다.
(L은 타겟 보행자(110)의 수, N은 랜덤벡터, Sl,i, Sl,j는 각 랜덤벡터에 의해 예측되는 경로)
한편, 제2 실시예에 따라 잠재벡터를 샘플링하는 경우, 신경망 모델이 다양한 예상 경로(130)를 제시하게 할 수 있으나, 신경망 모델의 학습이 진행될수록 실제 경로에 대한 예측 정확도는 낮아질 수 있다는 문제가 있다.
즉, 일반적인 보행자는 목적지로 향하는 최단 경로로 보행하기 때문에, 대부분의 상황에서 기존의 보행 방향을 그대로 유지할 확률이 높다. 다시 말해, 타겟 보행자의 예상 경로는 기 식별된 보행경로를 연장한 것일 가능성이 높다.
이를 고려하면, 신경망 모델은 다양한 예상 경로(130)를 제공하면서도 일정 수준 이상의 예측 정확도를 확보해야 하는데, 제2 실시예의 경우 예상 경로(130)와 실제 경로 간의 거리 비교가 아닌, 예상 경로(130)간의 거리 비교를 통해 랜덤벡터를 샘플링하므로 학습이 진행될수록 실제 경로에 대한 예측 정확도가 낮아질 수 있다.
이에 따라, 프로세서는 전술한 제1 및 제2 실시예를 조합하여 랜덤벡터를 샘플링할 수 있다.
제3 실시예에서, 신경망 모델의 학습 시 프로세서는 복수의 랜덤벡터에 의해 예측되는 경로가 타겟 보행자(110)의 실제 경로와 가장 유사하면서 랜덤 벡터에 의해 예측되는 각 경로간의 거리가 가장 멀도록 미리 설정된 수의 잠재벡터를 샘플링할 수 있다.
즉, 랜덤벡터 중에서, 각 랜덤벡터에 의해 예측되는 경로와 실제 경로가 가장 유사한 순서 및 각 랜덤벡터에 의해 예측되는 경로간의 거리가 가장 먼 순서에 따라 미리 설정된 수를 샘플링하고, 이를 잠재벡터로 결정할 수 있다. 이 때, 예상 경로(130)와 실제 경로와의 유사도에 가중치를 부여할 것인지, 예상 경로(130)간의 거리차에 가중치를 부여할 것인지는 사용자의 설정에 따라 결정될 수 있다.
이를 위해, 프로세서는 복수의 랜덤벡터에 의해 예측되는 경로가 타겟 보행자(110)의 실제 경로와 유사할수록 작아지는 제1 손실함수와, 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 멀수록 작아지는 제2 손실함수를 선형 결합(linear combination)한 최종 손실함수를 신경망 모델에 적용할 수 있다.
제1 및 제2 실시예와 마찬가지로 신경망 모델은 경사하강법(gradient descent) 등을 이용하여 최종 손실함수의 값이 최소가 되도록 모델 내 파라미터를 학습할 수 있고, 랜덤벡터 중에서 최종 손실함수를 최소로 만드는 잠재벡터가 샘플링될 수 있다
구체적으로, 프로세서는 하기 [수학식 3]의 최종 손실함수(L)를 신경망 모델에 적용할 수 있다. [수학식 3]에 포함된 Ldist와 Ldisc는 각각 [수학식 1] 및 [수학식 2]에 기재된 것과 동일하며, Ldist와 Ldisc의 스케일(scale) 차이와, 상대적 가중치는 에 의해 조절될 수 있다.
도 7을 참조하면, 제3 실시예에 따라 다섯 개의 잠재벡터를 샘플링한 경우, 임의의 예상 경로(130)에 각각 대응하는 랜덤벡터 중, 좌측 방향의 예상 경로(130)에 대응하는 잠재벡터(○), 좌전방의 예상 경로(130)에 대응하는 잠재벡터(○), 전방의 예상 경로(130)에 대응하는 잠재벡터(○), 우전방의 예상 경로(130)에 대응하는 잠재벡터(), 우측 방향의 예상 경로(130)에 대응하는 잠재벡터()가 비확률적으로 샘플링될 수 있다.
한편, 보행자의 예상 경로(130)는 가까이에 위치한 주변 보행자(210)의 움직임에 영향을 받을 수 있다. 예를 들어, 보행자는 전방에서 빠르게 다가오는 타 보행자를 피하기 위하여 우회 이동할 수 있고, 근처에서 특정 보행자를 발견하여 그에게 다가갈 수도 있으며, 근처 보행자 무리에 합류하여 이동 경로가 변경될 수도 있다.
이러한 보행자 간의 상호 영향을 고려하기 위하여 프로세서는 전술한 잠재벡터 샘플링 동작에, 타겟 보행자(110)의 상호인지 특성(interaction-aware feature)을 반영할 수 있다. 이를 위해, 프로세서는 그래프 기반 딥러닝 네트워크(Graph based deep learning network)를 이용할 수 있고, 예컨대 GCN(Graph Convolutional Network), GraphSAGE, GAT(Graph Attention Network) 등을 이용할 수 있다. 다만, 앞서 설명한 바와 같이 보행자는 가까이 위치한 주변 보행자(210)에 더 크게 영향을 받는 것이 일반적이므로, 이웃 노드별 가중치를 달리 설정할 수 있는 GAT를 이용하는 것이 바람직할 수 있다.
도 8을 참조하면, 프로세서는 보행영상(100) 내 각 보행자들의 위치를 노드(node)로 설정하고, 각 노드를 연결하는 엣지(edge)를 정의하여 노드별 상호인지 특성을 추출할 수 있다. 구체적으로, 프로세서는 특정 노드(i)에 대해 인접 노드(j)가 갖는 중요도()를 어텐션 계수(attention coefficient)로서 연산할 수 있으며, 이를 정규화(normalize)함으로써 어텐션 스코어(attention score, )를 산출할 수 있다.
(여기서 ak, W는 모두 학습 파라미터(learnable parameter))
이어서, 프로세서는 어텐션 스코어()에 기초하여 노드별, 즉 보행자별 상호인지 특성()을 [수학식 5]에 따라 업데이트할 수 있다.
프로세서는 전술한 방법에 따라 결정된 상호인지 특성을 MLP(Multi-Layer Perceptron)에 입력함으로써 잠재벡터를 샘플링할 수 있다. 다시 말해, 프로세서는 상호인지 특성과 잠재벡터간의 비선형적 관계를 표현하도록 MLP를 학습시킬 수 있다.
도 9를 참조하여 구체적으로 설명하면, 프로세서는 보행경로(120)를 GAT에 입력하여 보행경로(120)에 기초한 타겟 보행자(110)의 상호인지 특성을 추출할 수 있다. 이어서, 프로세서는 추출된 상호인지 특성을 MLP에 입력할 수 있고, MLP는 전술한 잠재벡터를 출력할 수 있다. 도 9에 도시된 아키텍쳐(이하, NPSN: Non-Probability Sampling Network)는 앞서 설명한 신경망 모델의 일부를 구성할 수 있고, 이에 따라 NPSN은 전술한 손실함수에 따라 학습되어 잠재벡터를 출력할 수 있다.
상기와 같이 신경망 모델의 학습이 완료되면, 프로세서는 타겟 보행자(110)의 보행경로(120)에서 보행 특징벡터를 추출하고(S32), 추출된 보행 특징 벡터와 앞서 샘플링된 잠재벡터를 신경망 모델에 적용하여(S40) 타겟 보행자(110)의 예상 경로(130)를 결정할 수 있다(S50).
이 때, 보행 특징벡터를 추출(S32)하는 방법과 이를 신경망 모델에 적용(S40)하는 방법은 종래 보행자 경로 예측 모델에서 이용되는 방법과 동일할 수 있다. 즉, 본 발명은 도 1에서 설명한 종래 신경망 모델에서 주사위를 굴리는 것과 같은 확률적 샘플링 방식으로 적용되었던 랜덤벡터를, 비확률적으로 샘플링된 잠재벡터로 대체함으로써, 타겟 보행자(110)의 예상 경로(130)를 결정할 수 있다.
이에 따라, 본 발명은 도 1에 도시된 가우시안 분포(Gaussian distribution), GAN(Generative Adversarial Network), CVAE(Conditional Variational AutoEncoder) 기반의 모델 등에 모두 적용될 수 있다.
도 10에는 가우시안 분포 기반의 모델에 본 발명을 적용한 모습을 나타낸 도면이다. 도 10을 참조하면, 프로세서는 타겟 보행자(110)의 보행영상(100)을 신경망 모델에 입력할 수 있다. 신경망 모델을 구성하는 인코터/디코더는 인코딩 및/또는 디코딩 동작을 통해 보행영상(100)으로부터 보행경로(120)를 식별하고, 보행경로(120)로부터 보행 특징벡터를 추출할 수 있다. 이와 동시에 신경망 모델을 구성하는 NPSN는 미리 설정된 개수(N)의 잠재벡터를 샘플링할 수 있다.
이와 같이 추출 및 샘플링된 보행 특징벡터와 잠재벡터는 통합(aggregation)될 수 있고, 결과적으로 신경망 모델은 N개의 예상 경로(130)(클래스) 및 각 예상 경로(130)의 발생 확률(클래스별 확률)을 출력할 수 있다.
프로세서는 신경망 모델에서 출력된 N개의 예상 경로(130) 중 적어도 하나를 타겟 보행자(110)의 예상 경로(130)로 결정할 수 있다. 예컨대, 프로세서는 N개의 예상 경로(130) 모두를 타겟 보행자(110)의 예상 경로(130)로 결정할 수도 있으며, N개의 예상 경로(130) 중 가장 높은 확률을 갖는 하나의 경로만을 타겟 보행자(110)의 예상 경로(130)로 결정할 수 있다.
도 10에는 도 9에 도시된 NPSN 아키텍쳐가 도 1에 도시된 가우시안 분포 모델에 적용된 모습이 도시되어 있으나, 앞서 설명한 바와 같이 NPSN 아키텍쳐는 보행자 경로 예측을 위해 랜덤벡터를 이용하는 모든 신경망 모델, 예컨대 GAN, CVAE 기반의 모델에 적용될 수 있음은 당연하다.
도 11에는 보행자 경로 예측을 위한 종래 다양한 신경망 모델에 NPSN을 적용하였을 때, 벤치마크(benchmark)를 위해 통상 이용되는 데이터셋(ETH, HOTEL, UNIV, ZARA1, ZARA2)에 대한 성능(ADE/FDE)을 나타내었으며, 도 11에 도시된 바와 같이 어떠한 신경망 모델이라도 NPSN 아키텍쳐가 결합되면 그 성능이 매우 높아지는 것을 확인할 수 있다.
전술한 바와 같이, 본 발명은 보행자 경로 예측을 위해 이용되는 다양한 신경망 모델을 학습시킬 때, 보행자의 의도에 대응하는 랜덤벡터를 비확률적으로 샘플링함으로써, 신경망 모델의 예측 정확도를 향상시킬 수 있을 뿐만 아니라 신경망 모델이 실현 가능한 다양한 예상 경로(130)를 출력하도록 유도할 수 있다.
이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (13)

  1. 타겟 보행자의 보행경로에 기초하여 상기 타겟 보행자의 의도에 대응하는 복수의 랜덤벡터 중 미리 설정된 수의 잠재벡터를 비확률적으로 샘플링하는 단계; 및
    상기 보행경로에서 보행 특징벡터를 추출하고, 상기 보행 특징벡터와 상기 잠재벡터를 신경망 모델에 적용하여 상기 타겟 보행자의 예상 경로를 결정하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  2. 제1항에 있어서,
    상기 타겟 보행자가 포함된 보행영상을 수집하고, 상기 보행영상에서 상기 타겟 보행자의 보행경로를 식별하는 단계를 더 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  3. 제2항에 있어서,
    상기 타겟 보행자의 보행경로를 식별하는 단계는
    상기 타겟 보행자의 위치를 프레임별로 탐지하여 상기 보행경로를 식별하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  4. 제1항에 있어서,
    상기 잠재벡터를 비확률적으로 샘플링하는 단계는
    상기 신경망 모델의 학습 시 상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 가장 유사한 순서대로 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  5. 제4항에 있어서,
    상기 잠재벡터를 비확률적으로 샘플링하는 단계는
    상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 유사할수록 작아지는 손실함수(loss function)를 상기 신경망 모델에 적용하여 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  6. 제1항에 있어서,
    상기 잠재벡터를 비확률적으로 샘플링하는 단계는
    상기 신경망 모델의 학습 시 상기 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 가장 먼 순서대로 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  7. 제6항에 있어서,
    상기 잠재벡터를 비확률적으로 샘플링하는 단계는
    상기 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 멀수록 작아지는 손실함수(loss function)를 상기 신경망 모델에 적용하여 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  8. 제1항에 있어서,
    상기 잠재벡터를 비확률적으로 샘플링하는 단계는
    상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 가장 유사하면서 상기 랜덤벡터에 의해 예측되는 각 경로간의 거리가 가장 멀도록 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  9. 제8항에 있어서,
    상기 잠재벡터를 비확률적으로 샘플링하는 단계는
    상기 복수의 랜덤벡터에 의해 예측되는 경로가 상기 타겟 보행자의 실제 경로와 유사할수록 작아지는 제1 손실함수와, 상기 복수의 랜덤벡터에 의해 예측되는 각 경로간의 거리가 멀수록 작아지는 제2 손실함수를 선형 결합(linear combination)한 최종 손실함수를 상기 신경망 모델에 적용하여 상기 미리 설정된 수의 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  10. 제1항에 있어서,
    상기 잠재벡터를 비확률적으로 샘플링하는 단계는
    상기 타겟 보행자와 주변 보행자 간 상호인지 특성을 추출하고, 상기 상호인지 특성을 반영하여 상기 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  11. 제10항에 있어서,
    상기 상호인지 특성을 추출하는 단계는
    GAT(Graph Attention Network)를 통해 상기 상호인지 특성을 추출하고, MLP(Multi-Layer Perceptron)에 상기 상호인지 특성을 입력하여 상기 잠재벡터를 샘플링하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  12. 제1항에 있어서,
    상기 신경망 모델은 보행영상의 제1 시간구간에 대한 상기 타겟 보행자의 보행경로 및 상기 제1 시간구간에 연속되는 제2 시간구간에 대한 상기 타겟 보행자의 보행경로로 구성되는 훈련 데이터셋을 이용하여 학습되는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
  13. 제1항에 있어서,
    상기 타겟 보행자의 예상 경로를 결정하는 단계는
    상기 보행 특징벡터와 상기 잠재벡터를 가우시안 분포(Gaussian distribution), GAN(Generative Adversarial Network), CVAE(Conditional Variational AutoEncoder) 중 어느 하나에 적용하여 상기 타겟 보행자의 예상 경로를 출력하는 단계를 포함하는
    비확률적 샘플링을 통한 보행자 경로 예측 방법.
KR1020220032099A 2022-03-15 2022-03-15 비확률적 샘플링을 통한 보행자 경로 예측 방법 KR20230134827A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220032099A KR20230134827A (ko) 2022-03-15 2022-03-15 비확률적 샘플링을 통한 보행자 경로 예측 방법
US18/174,716 US20230342948A1 (en) 2022-03-15 2023-02-27 Pedestrian trajectory prediction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220032099A KR20230134827A (ko) 2022-03-15 2022-03-15 비확률적 샘플링을 통한 보행자 경로 예측 방법

Publications (1)

Publication Number Publication Date
KR20230134827A true KR20230134827A (ko) 2023-09-22

Family

ID=88190060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220032099A KR20230134827A (ko) 2022-03-15 2022-03-15 비확률적 샘플링을 통한 보행자 경로 예측 방법

Country Status (1)

Country Link
KR (1) KR20230134827A (ko)

Similar Documents

Publication Publication Date Title
Sadeghian et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints
Xu et al. Curvelane-nas: Unifying lane-sensitive architecture search and adaptive point blending
CN112639873A (zh) 基于单对象姿态估计器的多个对象的姿态跟踪设备和方法
Sillito et al. Semi-supervised learning for anomalous trajectory detection
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN106595665B (zh) 一种障碍空间中移动对象时空轨迹的预测方法
KR20180069452A (ko) 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치
JP6932395B2 (ja) イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置
KR20160091786A (ko) 사용자 관리 방법 및 사용자 관리 장치
CN111954860B (zh) 对细粒度对抗性多队员运动进行预测的系统和方法
CN111191667A (zh) 基于多尺度生成对抗网络的人群计数方法
KR20200027889A (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN113792930B (zh) 盲人行走轨迹预测方法、电子设备及存储介质
Chen et al. Adaptive human motion analysis and prediction
KR20180038169A (ko) 딥 러닝 기반의 데이터특징을 이용한 도시영상의 안전도 분류방법
JP2020119505A (ja) マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏａｄ ｕｓｅｒ ｅｖｅｎｔｓ ｕｓｉｎｇ ｄｏｕｂｌｅ ｅｍｂｅｄｄｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｎ ｍｕｌｔｉ−ｃａｍｅｒａ ｓｙｓｔｅｍ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR20080021427A (ko) 이동 경로 데이터에 기반한 이동 객체의 시공간 위치 예측방법
CN115544239A (zh) 一种基于深度学习模型的布局偏好预测方法
Wang et al. Reconstruction of missing trajectory data: a deep learning approach
CN114802303A (zh) 障碍物轨迹预测方法、装置、电子设备及存储介质
CN111178178A (zh) 结合区域分布的多尺度行人重识别方法、系统、介质及终端
KR102036182B1 (ko) 소프트 타겟 학습 기법에 의해 경량화된 랜덤 포레스트 분류 방법을 이용한 보행자 검출 방법 및 시스템
US20230342948A1 (en) Pedestrian trajectory prediction method
Firouznia et al. Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking
CN113610770A (zh) 一种车牌识别方法和装置及设备