KR20230152438A - 보행자 그룹화를 통한 경로 예측 방법 - Google Patents

Abstract

본 발명은 대다수의 보행자가 무리를 지어 이동한다는 사회 통계적인 요소를 딥러닝의 학습에 적용하여 보행자의 경로를 예측하는 방법에 관한 것이다. 본 발명의 일 실시예에 따른 보행자 그룹화를 통한 경로 예측 방법은 복수 보행자의 보행 경로에 기초하여 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계, 상기 보행 그룹의 관계에 따른 제1 그래프 데이터, 각 보행 그룹 내 보행자의 관계에 따른 제2 그래프 데이터 및 상기 복수 보행자 전체의 관계에 따른 제3 그래프 데이터를 각각 생성하는 단계 및 상기 제1 내지 제3 그래프 데이터를 신경망 모델에 입력하여 상기 복수 보행자별 예상 경로를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

보행자 그룹화를 통한 경로 예측 방법{PEDESTRIAN TRAJECTORY PREDICTION METHOD USING GROUPING PEDESTRIAN}

본 발명은 대다수의 보행자가 무리를 지어 이동한다는 사회 통계적인 요소를 딥러닝의 학습에 적용하여 보행자의 경로를 예측하는 방법에 관한 것이다.

보행자 경로 예측 기술은 보행자의 과거 경로를 기반으로 미래 경로를 추정하는 기술로서, 행동 예측, 군중 이동 분석, 비정상 움직임 감지, 교통량 흐름 분석과 같은 다양한 영역에 적용될 수 있다.

보행자 경로 예측을 위해 다양한 컴퓨터 비전 기술이 이용되어 왔으며 최근에는 예측 정확도의 향상을 위해 딥러닝 기술이 적용되고 있다.

딥러닝을 적용한 최근의 경로 예측 연구들은 보행자 개개인에 집중하였으며 GCN(Graph Convolutional Network), GAT(Graph Attention Network), GTN(Graph Transformer Network) 등의 그래프 기반(graph-based) 신경망 모델을 통해 각 보행자 사이의 상호작용이 충분히 반영될 것으로 기대하였으나, 각 보행자(node)를 연결하는 엣지(edge)가 증가할수록 신경망 모델의 학습이 매우 어려워져 보행자들로 혼잡한 환경에서는 경로 예측이 매우 부정확해진다는 한계가 있다.

본 발명은 신경망 모델을 이용한 보행자 경로 예측에 있어서, 대다수의 보행자가 무리를 지어 이동한다는 사회 통계적인 요소를 딥러닝의 학습에 적용하는 것을 목적으로 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 보행자 그룹화를 통한 경로 예측 방법은 복수 보행자의 보행 경로에 기초하여 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계, 상기 보행 그룹의 관계에 따른 제1 그래프 데이터, 각 보행 그룹 내 보행자의 관계에 따른 제2 그래프 데이터 및 상기 복수 보행자 전체의 관계에 따른 제3 그래프 데이터를 각각 생성하는 단계 및 상기 제1 내지 제3 그래프 데이터를 신경망 모델에 입력하여 상기 복수 보행자별 예상 경로를 생성하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자가 포함된 보행 영상을 수집하고, 상기 보행 영상에서 상기 복수 보행자의 보행 경로를 식별하는 단계를 더 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자의 보행 경로를 식별하는 단계는 각 보행자의 위치를 프레임별로 탐지하여 상기 보행 경로를 식별하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계는 상기 복수 보행자의 보행 경로 간의 거리에 기초하여 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계는 상기 복수 보행자의 보행 경로 간의 거리가 기준값 이하이면 상기 복수 보행자를 같은 그룹으로 분류하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계는 상기 복수 보행자의 보행 경로를 그루핑 신경망에 입력하는 단계를 포함하고, 상기 그루핑 신경망은 합성곱 레이어를 통해 상기 복수 보행자의 보행 경로에서 특징을 추출하고, 상기 추출된 특징 간의 거리가 상기 기준값 이하이면 상기 복수 보행자를 같은 보행 그룹으로 분류하는 것을 특징으로 한다.

일 실시예에서, 상기 그루핑 신경망은 STE(Straight-Through Estimator)를 이용한 경사 하강법(gradient descent)을 통해 학습되는 것을 특징으로 한다.

일 실시예에서, 상기 기준값은 상기 그루핑 신경망의 러너블(learnable) 파라미터인 것을 특징으로 한다.

일 실시예에서, 상기 제1 그래프 데이터를 생성하는 단계는 각 보행 그룹에 속한 보행자의 보행 경로를 풀링(pooling)하여 상기 각 보행 그룹의 대표 위치를 결정하고, 상기 대표 위치를 나타내는 노드(node)와 상기 보행 그룹별 대표 위치를 연결하는 엣지(edge)에 따라 상기 제1 그래프 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제2 그래프 데이터를 생성하는 단계는 상기 각 보행 그룹 내 보행자의 시간별 위치를 나타내는 노드와 상기 각 보행 그룹 내 보행자 간 위치를 연결하는 엣지에 따라 상기 제2 그래프 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 제3 그래프 데이터를 생성하는 단계는 상기 복수 보행자의 시간별 위치를 나타내는 노드와, 상기 복수 보행자 간 위치를 연결하는 엣지에 따라 상기 제3 그래프 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자별 예상 경로를 생성하는 단계는 파라미터를 공유하는 제1 내지 제3 그래프 기반 신경망에 상기 제1 내지 제3 그래프 데이터를 각각 입력하고, 상기 제1 내지 제3 그래프 기반 신경망의 출력을 통합(integration)하여 상기 복수 보행자별 예상 경로를 생성하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자별 예상 경로를 생성하는 단계는 같은 보행 그룹에 속한 보행자의 예상 경로가 동일하도록 상기 제1 그래프 데이터에 대한 상기 신경망 모델의 출력을 언풀링(unpooling)하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 복수 보행자별 예상 경로를 생성하는 단계는 상기 복수 보행자의 의도에 대응하는 잠재 벡터(latent vector)를 샘플링하고, 상기 잠재 벡터와 상기 제1 내지 제3 그래프 데이터를 상기 신경망 모델에 입력하여 상기 예상 경로를 생성하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 잠재 벡터를 샘플링하는 단계는 같은 보행 그룹에 속한 보행자에 대해서는 동일한 잠재 벡터를 샘플링하는 것을 특징으로 한다.

본 발명은 보행 그룹 간의 상호 작용을 데이터로 구조화함으로써, 경로 예측을 위한 신경망 모델이 사회적 상호작용의 내재적 복잡성을 학습하도록 할 수 있다.

또한, 본 발명은 각 보행 그룹을 그래프 데이터의 노드로 설정함에 따라 노드 수를 줄일 수 있어, 신경망 모델의 데이터 편향 문제를 방지할 수 있을 뿐만 아니라, 신경망 모델을 통한 경로 예측 시 보행자 수의 변화에 유연하게 대응할 수 있다는 장점이 있다.

또한, 본 발명은 하나의 보행 영상에서, 보행 그룹 간의 상호 작용, 보행 그룹 내 보행자 간의 상호 작용 및 모든 보행자 간의 상호 작용을 각각 그래프 데이터로 구조화 함으로써, 신경망 모델의 학습 시 데이터를 증강(augmentation)할 수 있는 효과가 있다.

상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명의 일 실시예에 따른 보행자 그룹화를 통한 경로 예측 방법을 도시한 순서도.
도 2는 보행자의 보행 경로를 도시한 도면.
도 3은 도 2에 도시된 보행자의 예상 경로를 도시한 도면.
도 4는 개별적 또는 그룹을 지어 이동하는 보행자를 도시한 도면.
도 5는 복수 보행자를 보행 그룹으로 분류하는 방법을 설명하기 위한 도면.
도 6은 보행자 그룹화를 통한 경로 예측 동작을 설명하기 위한 도면.
도 7 내지 도 9는 각각 제1 내지 제3 그래프 데이터를 설명하기 위한 도면.
도 10은 본 발명의 일 실시예에 따른 경로 예측 아키텍처를 도시한 도면.
도 11은 본 발명의 적용 여부에 따른 성능 비교 테이블을 도시한 도면.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.

본 명세서에서 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것으로, 특별히 반대되는 기재가 없는 한, 제1 구성요소는 제2 구성요소일 수도 있음은 물론이다.

또한, 본 명세서에서 "상부 (또는 하부)" 또는 구성요소의 "상 (또는 하)"에 임의의 구성이 배치된다는 것은, 임의의 구성이 상기 구성요소의 상면 (또는 하면)에 접하여 배치되는 것뿐만 아니라, 상기 구성요소와 상기 구성요소 상에 (또는 하에) 배치된 임의의 구성 사이에 다른 구성이 개재될 수 있음을 의미할 수 있다.

또한, 본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 상기 구성요소들은 서로 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 다른 구성요소가 "개재"되거나, 각 구성요소가 다른 구성요소를 통해 "연결", "결합" 또는 "접속"될 수도 있는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서, "A 및/또는 B" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, A, B 또는 A 및 B 를 의미하며, "C 내지 D" 라고 할 때, 이는 특별한 반대되는 기재가 없는 한, C 이상이고 D 이하인 것을 의미한다

본 발명은 대다수의 보행자가 무리를 지어 이동한다는 사회 통계적인 요소를 딥러닝의 학습에 적용하여 보행자의 경로를 예측하는 방법에 관한 것이다. 이하, 도 1 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 보행자 그룹화를 통한 경로 예측 방법(이하, 경로 예측 방법)을 구체적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 보행자 그룹화를 통한 경로 예측 방법을 도시한 순서도이다.

도 2는 보행자의 보행 경로를 도시한 도면이고, 도 3은 도 2에 도시된 보행자의 예상 경로를 도시한 도면이다.

도 4는 개별적 또는 그룹을 지어 이동하는 보행자를 도시한 도면이고, 도 5는 복수 보행자를 보행 그룹으로 분류하는 방법을 설명하기 위한 도면이다.

도 6은 보행자 그룹화를 통한 경로 예측 동작을 설명하기 위한 도면이다.

도 7 내지 도 9는 각각 제1 내지 제3 그래프 데이터를 설명하기 위한 도면이다.

도 10은 본 발명의 일 실시예에 따른 경로 예측 아키텍처를 도시한 도면이고, 도 11은 본 발명의 적용 여부에 따른 성능 비교 테이블을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 경로 예측 방법은 보행 영상을 수집하는 단계(S10), 보행 영상 내 복수 보행자의 보행 경로를 식별하는 단계(S20), 복수 보행자를 보행 그룹으로 분류하는 단계(S30)를 포함할 수 있다.

이어서, 경로 예측 방법은 보행 그룹의 관계에 따라 제1 그래프 데이터를 생성하는 단계(S41), 보행 그룹 내 보행자의 관계에 따라 제2 그래프 데이터를 생성하는 단계(S42), 복수 보행자 전체 관계에 따라 제3 그래프 데이터를 생성하는 단계(S43)를 포함할 수 있다.

이어서, 경로 예측 방법은 제1 내지 제3 그래프 데이터를 신경망 모델에 입력하는 단계(S50) 및 복수 보행자별 예상 경로를 생성하는 단계(S60)를 포함할 수 있다.

다만, 도 1에 도시된 경로 예측 방법은 일 실시예에 따른 것이고, 발명을 이루는 각 단계들이 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 일부 단계가 부가, 변경 또는 삭제될 수 있다.

도 1에 도시된 각 단계들은 CPU(central processing unit), GPU(graphics processing unit) 등과 같은 프로세서에 의해 수행될 수 있으며, 프로세서는 후술하는 발명의 동작을 수행하기 위하여 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controller), 마이크로 컨트롤러(micro-controllers) 중 적어도 하나의 물리적인 요소를 더 포함할 수 있다.

이하, 도 1에 도시된 각 단계들을 구체적으로 설명하도록 한다.

프로세서는 복수 보행자가 포함된 보행 영상(100)을 수집할 수 있다(S10).

복수 보행자는 경로 예측의 대상이 되는 보행자를 의미하며, 보행 영상(100)은 복수 보행자가 이동하는 모습이 담긴 임의의 영상일 수 있다. 이러한 보행 영상(100)은 다양한 시점의 영상일 수 있고, 예컨대 1인칭 시점(First Person View; FPV)의 영상 또는 3인칭 관찰 시점(surveillance view)의 영상일 수 있다.

프로세서는 타 디바이스나 임의의 저장매체로부터 보행 영상(100)을 수집할 수 있다. 예를 들어, 프로세서는 차량으로부터 차량 전방의 보행 영상(100)을 수집할 수도 있고, CCTV(Closed Circuit Television)으로부터 관찰 영역 내 보행 영상(100)을 수집할 수도 있으며, 임의의 데이터베이스로부터 기 저장된 보행 영상(100)을 수집할 수도 있다.

이어서, 프로세서는 보행 영상(100)에서 복수 보행자의 보행 경로(120)를 식별할 수 있다(S20).

보행 영상(100)의 일 예가 도시되어 있는 도 2를 참조하면, 보행 경로(120)는 보행 영상(100)에서 보행자(110)가 이동한 경로를 의미하며, 연속되는 프레임에서 식별될 수 있다. 즉, 보행 경로(120)는 시간에 따라 연속되는 보행자(110)의 위치에 의해 정의될 수 있다.

프로세서는 보행자(110)의 위치를 보행 영상(100)의 프레임별로 탐지할 수 있고, 시계열적으로 변화하는 위치에 기초하여 보행 경로(120)를 식별할 수 있다. 이를 위해, 프로세서는 당해 기술분야에서 알려진 임의의 객체 탐지(object detection) 알고리즘을 이용할 수 있다. 구체적으로, 프로세서는 보행자(110)의 특정 신체부위, 예컨대 머리의 위치를 프레임별로 탐지할 수 있고, 프레임별로 탐지된 위치를 연결함으로써 보행 경로(120)를 식별할 수 있다.

도 3을 참조하면, 본 발명은 앞서 식별된 보행 경로(120)에 기초하여 이후 보행자(110)의 예상 경로(130)를 생성할 수 있다. 구체적으로, 본 발명은 제1 시간구간(T1)에 대한 보행 경로(120)에 기초하여 제1 시간구간(T1)에 연속되는 제2 시간구간(T2)의 예상 경로(130)를 결정할 수 있다.

관련하여 종래 경로 예측 모델에서는 보행자 개개인에 집중하였으며 GCN(Graph Convolutional Network), GAT(Graph Attention Network), GTN(Graph Transformer Network) 등의 그래프 기반(graph-based) 신경망 모델을 통해 각 보행자 사이의 상호작용이 충분히 반영될 것으로 기대하였다. 그러나, 각 보행자(node) 간의 연결(edge)이 증가할수록, 신경망 모델이 개인 간 상호작용의 복잡성을 학습하기가 매우 어려워져 보행자들로 혼잡한 환경에서는 경로 예측이 매우 부정확해진다는 한계가 있었다.

본 발명은 보행자의 70% 이상이 그룹을 형성하며 해당 그룹은 일정한 대형을 이루어 동일한 목적지를 향해 보행한다는 사회과학 연구를 고려하여, 인공지능 신경망 모델을 통해 보행자의 경로를 예측함에 있어서, 개별적인 보행과는 다른 그룹 보행 특성을 신경망 모델에 학습시키는 것을 핵심 가치로 한다.

이를 위해, 프로세서는 복수 보행자의 보행 경로(120)에 기초하여 복수 보행자를 적어도 하나의 보행 그룹으로 분류할 수 있다(S30).

도 4를 참조하면, 보행 영상(100) 내에는 개별적으로 보행하는 보행자들(I1 내지 I3)과, 둘 이상이 무리지어 이동하는 보행자 그룹(G1 내지 G4)이 존재할 수 있다. 이 때, 프로세서는 각 보행자의 보행 경로(120)에 기초하여 일정한 대형을 이루는 보행자들을 동일한 보행 그룹으로 분류할 수 있다. 또한, 프로세서는 개별적으로 보행하는 보행자들 각각을 보행 그룹으로 분류할 수도 있다.

일 예에서, 프로세서는 복수 보행자의 보행 경로(120) 간의 거리에 기초하여 복수 보행자를 적어도 하나의 보행 그룹으로 분류할 수 있다. 앞서 설명한 바와 같이, 보행 경로(120)는 보행자의 연속되는 위치에 의해 정의되므로, 보행 경로(120) 간의 거리는 연속되는 시간에 따른 보행자 간 거리일 수 있다.

구체적으로, 프로세서는 연속되는 각 시간에서 복수 보행자의 위치 좌표를 특정하고, 각 위치 좌표에 기초하여 보행자 간 거리를 산출할 수 있다. 이 때, 산출되는 거리는 유클리디언 거리(L2 distance)일 수 있고, 각 보행자간 의 거리는 쌍별(pairwise) 행렬 형태로 산출될 수 있다.

프로세서는 복수 보행자의 보행 경로(120) 간의 거리가 기준값 이하이면 복수 보행자를 같은 보행 그룹으로 분류할 수 있다. 다시 말해, 프로세서는 연속되는 각 시간에서 산출되는 다수의 보행자 간의 거리가 기준값 이하인 경우, 해당 보행자들을 동일한 보행 그룹으로 분류할 수 있다.

도 5를 예로 들어 설명하면, 프로세서는 각 보행자 간의 거리를 쌍별 행렬 형태로 산출할 수 있다. 이 때, 행렬의 값은 보행자 간의 거리가 기준값 이하인지 여부에 따라 이진적인(binary) 값을 가질 수 있고, 프로세서는 이진 값에 따라 복수 보행자를 세 개의 보행 그룹으로 분류할 수 있다.

구체적으로, 도 5에 도시된 행렬을 참조하면 1번 및 2번 보행자 간의 거리와, 3번 및 5번 보행자 간의 거리가 기준값 이하일 수 있고, 4번 보행자는 자신을 제외한 다른 보행자 간의 거리가 모두 기준값을 초과할 수 있다. 이에 따라, 프로세서는 1번 및 2번 보행자를 하나의 보행 그룹(k=1)으로, 3번 및 5번 보행자를 다른 하나의 보행 그룹(k=2)으로, 4번 보행자를 별도 보행 그룹(k=3)으로 분류할 수 있다.

한편, 프로세서는 신경망을 이용하여 전술한 보행 그룹을 분류할 수도 있다. 일 예에서, 프로세서는 분류(classification) 동작을 수행하는 그루핑 신경망에 복수 보행자의 보행 경로(120)를 입력할 수 있고, 그루핑 신경망은 보행 경로(120)의 특징 간 거리에 기초하여 보행 그룹을 분류할 수 있다.

이를 위해, 그루핑 신경망은 합성곱(convolutional) 레이어를 포함할 수 있고, 합성곱 레이어를 통해 복수 보행자의 보행 경로(120)에서 특징을 추출할 수 있다. 이어서, 그루핑 신경망은 추출된 특징 간의 거리를 산출할 수 있고, 산출된 거리가 기준값 이하인 보행자들을 같은 보행 그룹으로 분류할 수 있다.

구체적으로, 그루핑 신경망은 아래 [수학식 1]에 따라 각 쌍(i,j)의 보행자에 대한 보행 경로(120)의 특징 간 거리(D_i,j)를 산출할 수 있고, 아래 [수학식 2]에 따라 특징 간의 거리가 기준값 이하인 보행자 집합의 인덱스()를 정의할 수 있으며, 아래 [수학식 3]에 따라 보행 그룹 인덱스(G)를 생성할 수 있다.

[수학식 1]

,

[수학식 2]

[수학식 3]

(수학식 1 내지 3에서, 는 합성곱 레이어, N은 전체 보행자, 는 t 시점에서의 보행자의 위치, 는 기준값, 는 k번째 보행 그룹)

전술한 바와 같이 그루핑 신경망은 보행 그룹의 인덱스를 이산적(discrete)으로 생성하는 구조를 가질 수 있다. 이 경우, 그루핑 신경망에 적용되는 함수가 미분이 불가하므로 보행 그룹의 인덱스는 일반적인 역전파(backpropagation) 알고리즘에 의해서는 학습되지 않을 수 있다.

본 발명은 그루핑 신경망이 학습 대상이 될 수 있도록 STE(Straight-Through Estimator)를 이용할 수 있다. 구체적으로, 프로세서는 학습 과정에서 그루핑 신경망의 정방향 전달(forward pass)와 역방향 전달(backward pass)을 분리할 수 있고, 예컨대 역방향 전달 과정에서 시그모이드(sigmoid) 함수와 해당 함수의 온도계수(temperature, )를 이용하여 그루핑 신경망에 적용되는 함수를 미분 가능한 형태로 근사할 수 있다.

구체적으로, 프로세서는 역방향 전달 과정에서, 각 쌍(i,j)의 보행자가 같은 보행 그룹에 속할 확률(A_i,j)을 아래 [수학식 4]에 따라 산출할 수 있고, 각 보행자의 위치를 아래 [수학식 5]와 같이 갱신할 수 있다.

[수학식 4]

[수학식 5]

(수학식 5에서, X'은 갱신된 보행자의 위치, 는 PyTorch의 detach 함수 또는 Tensorflow의 stop gradient 함수)

상기 예시와 같이 그루핑 신경망에 적용되는 함수를 미분 가능한 형태로 변환함에 따라, 그루핑 신경망에는 손실함수(loss function)를 줄이는 경사 하강법(gradient descent)이 적용될 수 있고, 이에 따라 그루핑 신경망에 적용되는 파라미터(가중치(weight), 편향(bias))가 학습될 수 있다.

구체적으로, 그루핑 신경망을 구성하는 합성곱 레이어에 적용되는 파라미터는, 그루핑 신경망에서 출력된 보행 그룹의 인덱스가 실제 보행 그룹(ground truth; GT)에 근사하도록 학습될 수 있다. 추가적으로, 프로세서는 상기 [수학식 2]에 적용되는 기준값()을 러너블(learnable) 파라미터로 설정할 수 있고, 이 때 기준값() 역시 그루핑 신경망에서 출력된 보행 그룹의 인덱스가 실제 보행 그룹에 근사하도록 학습될 수 있다.

전술한 방법에 따라 보행 그룹이 분류되면, 프로세서는 보행 그룹과 각 보행 그룹 내 보행자의 보행 경로(120)에 기초하여, 각 보행자의 예상 경로(130)를 예측할 수 있다.

도 6을 참조하여, 본 발명의 동작을 개략적으로 설명하면, 프로세서는 관측된 각 보행자의 보행 경로(120)를 입력받고, 이에 기초하여 각 보행자를 보행 그룹(G1, G2, G3)으로 분류할 수 있다. 이어서, 프로세서는 보행 그룹(G1, G2, G3) 간의 상호 작용(inter-group interaction), 보행 그룹(G1, G2, G3) 내 보행자 간의 상호 작용(intra-group interaction)을 고려하여 각 보행자의 예상 경로(130)를 예측할 수 있다.

보행 그룹 간의 상호 작용과, 보행자 간의 상호 작용은 그래프 데이터로 구조화될 수 있고, 프로세서는 각각의 상호 작용을 구조화하기 위하여 제1 내지 제3 그래프 데이터를 생성할 수 있다. 이하에서는 각 그래프 데이터를 생성하는 방법과, 이를 통한 경로 예측 방법에 대해 구체적으로 설명하도록 한다.

프로세서는 보행 그룹 간의 상호 작용을 구조화하기 위하여, 각 보행 그룹의 관계에 따른 제1 그래프 데이터를 생성할 수 있다(S41). 본 발명에서 그래프 데이터는 노드(node)와 엣지(edge)로 구성되는 데이터로서, 후술되는 신경망 모델에 입력으로 이용되는 데이터일 수 있다.

도 7을 참조하면, 보행 영상(100) 내 보행자들은 제1 내지 제3 보행 그룹(G1, G2, G3)으로 분류될 수 있다. 이 때, 프로세서는 각 보행 그룹(G1, G2, G3)을 노드로 설정하고, 각 보행 그룹(G1, G2, G3) 간의 연결을 엣지로 설정함으로써 제1 그래프 데이터를 생성할 수 있다.

구체적으로, 프로세서는 각 보행 그룹에 속한 보행자의 보행 경로(120), 즉 시간별 위치를 풀링(pooling)하여 각 보행 그룹의 대표 위치를 결정하고 이를 노드로 설정할 수 있다. 예컨대, 프로세서가 평균 풀링(average pooling)을 이용하는 경우 각 보행 그룹에 대응하는 노드()는 하기 [수학식 6]과 같이 설정될 수 있다.

[수학식 6]

이어서, 프로세서는 각 보행 그룹의 대표 위치 간 연결을 하기 [수학식 7]에 따라 엣지()로 설정할 수 있다.

[수학식 7]

(수학식 6 및 7에서, k는 각 보행 그룹)

프로세서는 이와 같이 설정된 노드()와 엣지()에 따라 제1 그래프 데이터(, 이하 GD1)를 아래 [수학식 8]과 같이 생성할 수 있다.

[수학식 8]

전술한 바와 같이, 본 발명은 보행 그룹 간의 상호 작용을 데이터로 구조화함으로써, 후술되는 신경망 모델이 사회적 상호작용의 내재적 복잡성을 학습하도록 할 수 있다. 또한, 각 보행 그룹을 노드로 설정함에 따라 노드 수를 줄일 수 있으므로, 신경망 모델의 데이터 편향 문제를 방지할 수 있다.

뿐만 아니라, 신경망 모델의 테스트 시 보행 영상(100) 내 보행자 수의 변화에 유연하게 대응할 수 있다는 장점이 있다. 예컨대, 신경망 모델이 10명 내외의 보행자를 포함하는 보행 영상(100)에 의해서만 학습된 경우라도, 테스트 단계에서 50명 내외의 보행자를 포함하는 보행 영상(100)을 신경망 모델에 하였을 때, 50명 내외의 보행자가 10개 내외의 보행 그룹으로 분류되는 경우라면 학습 시와 유사한 예측 정확도를 발휘할 수 있다.

한편, 프로세서는 보행 그룹 내 보행자 간의 상호 작용을 구조화하기 위하여, 각 보행 그룹 내 보행자의 관계에 따른 제2 그래프 데이터를 생성할 수 있다(S42).

도 8을 참조하면, 하나의 보행 그룹(G1) 내에는 3명의 보행자가 포함될 수 있다. 이 때, 프로세서는 보행 그룹(G1)에 속한 각 보행자들을 노드로 설정하고, 각 보행자 간의 연결을 엣지로 설정함으로써 제2 그래프 데이터를 생성할 수 있다.

구체적으로, 프로세서는 보행 그룹 내 보행자의 시간별 위치를 아래 [수학식 9]에 따라 노드()로 설정할 수 있고, 각 보행자 간의 연결을 아래 [수학식 10]에 따라 엣지()로 설정할 수 있다.

[수학식 9]

[수학식 10]

(여기서 K는 전체 보행 그룹)

프로세서는 이와 같이 설정된 노드()와 엣지()에 따라 제2 그래프 데이터(, 이하 GD2)를 아래 [수학식 11]과 같이 생성할 수 있다.

[수학식 11]

전술한 바와 같이, 본 발명은 보행 그룹 내 보행자 간의 상호 작용을 데이터로 구조화함으로써, 후술되는 신경망 모델에서 출력되는 동일 보행 그룹 내 보행자의 예상 경로(130)가 일정한 대형과 방향을 가지면서도 서로 충돌되는 것을 방지할 수 있다.

한편, 프로세서는 전체 보행자 간의 상호 작용을 구조화하기 위하여, 보행자 전체의 관계에 따른 제3 그래프 데이터를 생성할 수 있다(S43).

도 9를 참조하면, 4명의 보행자는 각각 서로 다른 보행 그룹에 속할 수 있다. 다시 말해, 어느 보행 그룹도 둘 이상의 보행자를 포함하지 않을 수 있다. 이 때, 프로세서는 각 보행자를 노드로 설정하고, 각 보행자 간의 연결을 엣지로 설정함으로써 제3 그래프 데이터를 생성할 수 있다.

구체적으로, 프로세서는 보행자 전체의 시간별 위치를 전술한 [수학식 9]에 따라 노드()로 설정할 수 있고, 각 보행자 간의 연결을 아래 [수학식 12]에 따라 엣지()로 설정할 수 있다.

[수학식 12]

프로세서는 이와 같이 설정된 노드()와 엣지()에 따라 제3 그래프 데이터(, 이하 GD3)를 아래 [수학식 13]과 같이 생성할 수 있다.

[수학식 13]

전술한 바와 같이, 본 발명은 하나의 보행 영상(100)에서, 보행 그룹 간의 상호 작용, 보행 그룹 내 보행자 간의 상호 작용 및 모든 보행자 간의 상호 작용을 각각 그래프 데이터로 구조화 함으로써, 후술되는 신경망 모델의 학습 시 데이터를 증강(augmentation)할 수 있는 효과가 있다.

제1 내지 제3 그래프 데이터(GD1, GD2, GD3)가 생성되면, 프로세서는 제1 내지 제3 그래프 데이터(GD1, GD2, GD3)를 신경망 모델에 입력할 수 있고(S50), 신경망 모델의 출력에 기초하여 복수 보행자별 예상 경로(130)를 생성할 수 있다(S60).

여기서 신경망 모델은 앞서 설명한 그래프 데이터를 입력으로 사용하는 신경망으로, 예컨대 GCN(Graph Convolutional Network), GAT(Graph Attention Network), GTN(Graph Transformer Network)를 포함할 수 있다.

본 발명에 적용되는 신경망 모델은 제1 내지 제3 그래프 데이터(GD1, GD2, GD3)를 입력받고, 보행자 전체의 예상 경로(130)(클래스) 및 예상 경로(130)별 발생 확률(클래스별 확률)를 출력하도록 학습될 수 있다.

프로세서는 신경망 모델에서 출력된 보행자별 복수 개의 예상 경로(130) 중 적어도 하나를 해당 보행자의 예상 경로(130)로 생성할 수 있다. 예컨대, 프로세서는 복수 개의 예상 경로(130)(클래스) 중 확률이 높은 순서대로 미리 설정된 개수만큼 선택된 경로만을 예상 경로(130)로 생성할 수 있다.

한편 제1 내지 제3 그래프 데이터(GD1, GD2, GD3)에 각각 내재된 속성을 모두 학습시키기 위하여, 신경망 모델은 제1 내지 제3 그래프 기반 신경망을 포함할 수 있다. 이 때, 제1 내지 제3 그래프 기반 신경망은 GCN(Graph Convolutional Network), GAT(Graph Attention Network), GTN(Graph Transformer Network) 등의 아키텍쳐를 가질 수 있다.

제1 내지 제3 그래프 기반 신경망은 서로 다른 아키텍처를 가질 수도 있으나, 파라미터(하이퍼파라미터(hyperparameter) 및/또는 러너블 파라미터)의 공유를 통해 각 신경망의 학습 속도를 증가시키기 위해 동일한 아키텍처를 가지는 것이 바람직하다.

프로세서는 파라미터를 공유하는 제1 내지 제3 그래프 기반 신경망에 제1 내지 제3 그래프 데이터(GD1, GD2, GD3)를 각각 입력할 수 있다. 구체적으로, 프로세서는 제1 그래프 데이터(GD1)를 제1 그래프 기반 신경망에 입력할 수 있고, 제2 그래프 데이터(GD2)를 제2 그래프 기반 신경망에 입력할 수 있으며, 제3 그래프 데이터(GD3)를 제3 그래프 기반 신경망에 입력할 수 있다.

이어서, 프로세서는 제1 내지 제3 그래프 기반 신경망의 출력을 통합(integration)하여 복수 보행자별 예상 경로(130)를 생성할 수 있다.

통합 방식에는 당해 기술분야에서 이용되는 다양한 방식이 적용될 수 있다. 예를 들어, 프로세서는 제1 내지 제3 그래프 기반 신경망의 출력을 요소별 덧셈(element-wise summation)할 수도 있고, 요소 별 곰셈(element-wise product)할 수도 있다. 또한, 프로세서는 제1 내지 제3 그래프 기반 신경망의 출력을 요소별로 평균할 수도 있고, 다층 퍼셉트론(multi-layer perceptron)을 이용하여 각 출력을 조합할 수도 있다.

한편, 신경망 모델은 모든 보행자 각각에 대한 예상 경로(130)를 출력해야 하는데, 앞서 설명한 바와 같이 제1 그래프 데이터(GD1)는 각 보행자가 아닌 보행 그룹에 대해 설정되므로, 신경망 모델에서 출력된 데이터의 수(보행 그룹의 수)는 보행자의 수와 일치하지 않을 수 있다.

이를 고려하여, 프로세서는 같은 보행 그룹에 속한 보행자의 예상 경로(130)가 동일하도록 제1 그래프 데이터(GD1)에 대한 신경망 모델의 출력을 언풀링(unpooling)할 수 있다.

구체적으로, 제1 그래프 기반 신경망에서 출력된 특징은 보행 그룹의 예상 경로(130)에 대응할 수 있다. 프로세서는 보행 그룹에 포함된 모든 보행자가 동일한 예상 경로(130)를 갖도록, 언풀링 기법을 통해 보행 그룹에 대응하는 특징을 해당 보행 그룹에 속한 모든 보행자에게 적용할 수 있다.

즉, 도 7을 예로 들어 설명하면, 제1 그래프 기반 신경망은 제1 내지 제3 보행 그룹(G1, G2, G3)의 예상 경로(130)를 출력할 수 있다. 한편, 신경망 모델은 모든 보행자 각각에 대한 예상 경로(130)를 출력해야 하므로, 프로세서는 제1 보행 그룹(G1)의 예상 경로(130)가 제1 보행 그룹(G1)에 포함된 세 명의 보행자에게 모두 적용되도록, 또한 제2 및 제3 보행 그룹(G2, G3)의 예상 경로(130)가 제2 및 제3 보행 그룹(G2, G3)에 각각 포함된 두 명의 보행자에게 각각 동일하게 적용되도록, 제1 그래프 기반 신경망의 출력을 언풀링할 수 있다.

한편, 다시 도 3을 참조하면, 제2 시간구간(T2)에서 보행자(110)의 실제 경로는 보행자의 잠재적인 의도에 따라 비정형적으로 결정될 수 있다. 이를 신경망 모델의 학습에 반영하기 위해, 프로세서는 복수 보행자(110)의 의도에 대응하는 잠재 벡터를 샘플링하고, 잠재 벡터와 제1 내지 제3 그래프 데이터(GD1, GD2, GD3)를 신경망 모델에 입력하여 예상 경로(130)를 생성할 수 있다.

구체적으로, 프로세서는 잠재 벡터를 몬테카를로(Monte Carlo) 방식 또는 준-몬테카를로(Quasi-Monte Carlo) 방식에 따라 결정되는 난수에 따라 랜덤하게 샘플링할 수 있다. 잠재 벡터 각각은 보행자의 잠재적 의도, 즉 예상 경로(130)에 대응하므로 프로세서는 신경망 모델을 통해 결정하고자 하는 예상 경로(130)의 수만큼 잠재 벡터를 샘플링할 수 있다.

추가적으로, 프로세서는 보행 그룹이 갖는 집단적 특성을 반영하기 위하여, 보행 그룹에 따라 잠재 벡터를 달리 샘플링할 수도 있다. 구체적으로, 프로세서는 같은 보행 그룹에 속한 보행자에 대해서는 동일한 잠재 벡터를 샘플링할 수 있다.

다시 도 7을 예로 들어 설명하면, 프로세서는 각 보행 그룹(G1, G2, G3)에 속한 보행자에 대한 잠재 벡터를 샘플링함에 있어서, 제1 보행 그룹(G1)에 속한 세 명의 보행자에 대해 동일한 잠재 벡터를 샘플링할 수 있고, 제2 보행 그룹(G2)에 속한 두 명의 보행자에 대해 동일한 잠재 벡터를 샘플링할 수 있으며, 제3 보행 그룹(G3)에 속한 두 명의 보행자에 대해 동일한 잠재 벡터를 샘플링할 수 있다. 이 때, 각 보행 그룹(G1, G2, G3)에 대해 설정되는 잠재 벡터는 각각 랜덤하게 샘플링될 수 있다.

이러한 방식으로 잠재 벡터를 샘플링하는 경우 신경망 모델이 같은 보행 그룹 내 보행자들은 동일한 목적지를 향해 이동한다는 사회 통계적인 특성을 학습할 수 있게 된다.

이하, 도 10을 참조하여 본 발명의 일 실시예에 따른 경로 예측 아키텍처와 그 동작 과정을 설명하도록 한다.

도 10을 참조하면, 프로세서는 보행 영상(100)에서 각 보행자의 보행 경로(120)를 식별하고, 식별된 보행 경로(120)를 그룹 할당 모듈(group assignment module, 10)에 입력할 수 있다. 그룹 할당 모듈은 그루핑 신경망을 통해 복수 각 보행자를 보행 그룹으로 분류할 수 있다.

프로세서는 각각의 보행 그룹에 속한 보행자들의 보행 경로(120)를 풀링(20)하여 각 보행 그룹의 대표 위치를 결정하고, 대표 위치 간의 관계에 기초하여 제1 그래프 데이터(GD1)를 생성할 수 있다. 또한 프로세서는 각 보행 그룹 내 보행자의 위치 관계에 따라 제2 그래프 데이터(GD2)를 생성할 수 있고, 보행 그룹과 관계 없이 개별 보행자의 위치 관계에 따라 제3 그래프 데이터(GD3)를 생성할 수 있다.

본 발명에 적용되는 신경망 모델(30)은 제1 내지 제3 그래프 기반 신경망(trajectory prediction baseline model)을 포함할 수 있고, 프로세서는 제1 그래프 데이터(GD1)를 제1 그래프 기반 신경망에, 제2 그래프 데이터(GD2)를 제2 그래프 기반 신경망에, 제3 그래프 데이터(GD3)를 제3 그래프 기반 신경망에 각각 입력할 수 있다.

제1 그래프 기반 신경망에서 출력되는 데이터의 수는 보행 그룹의 수에 대응하므로, 프로세서는 해당 출력을 언풀링(40)하여 제1 그래프 기반 신경망에서 출력된 데이터의 수가 보행자의 수에 대응되도록 변환한 뒤, 제1 내지 제3 그래프 기반 신경망의 출력을 그룹 통합 모듈(group integration module, 50)에 입력할 수 있다.

그룹 통합 모듈은 요소별 덧셈, 요소별 곱셈, 요소별 평균, 다층 퍼셉트론을 이용한 데이터 조합 등의 방식을 통해, 제1 내지 제3 그래프 기반 신경망의 출력을 통합할 수 있고, 프로세서는 통합된 데이터에 따라 각 보행자별 예상 경로(130)를 생성할 수 있다.

도 11에는 보행자 경로 예측을 위한 종래 다양한 신경망 모델(STGCNN, SGCN, STAR, PECNet)에, 보행 그룹의 사회적 특성을 반영하는 본 발명을 적용하였을 때의 성능(ADE, FDE, COL, TCC)을, 벤치마크(benchmark)를 위해 통상 이용되는 데이터셋(ETH, HOTEL, UNIV, ZARA1, ZARA2)에 대해 나타내었다. 도 11에 도시된 바와 같이, 어떠한 신경망 모델이라도 본 발명의 아키텍처가 결합되면 그 성능이 매우 높아지는 것을 확인할 수 있다.

이상과 같이 본 발명에 대해서 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시 예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상의 범위 내에서 통상의 기술자에 의해 다양한 변형이 이루어질 수 있음은 자명하다. 아울러 앞서 본 발명의 실시 예를 설명하면서 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을 지라도, 해당 구성에 의해 예측 가능한 효과 또한 인정되어야 함은 당연하다.

Claims (15)

1. 복수 보행자의 보행 경로에 기초하여 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계;
   상기 보행 그룹의 관계에 따른 제1 그래프 데이터, 각 보행 그룹 내 보행자의 관계에 따른 제2 그래프 데이터 및 상기 복수 보행자 전체의 관계에 따른 제3 그래프 데이터를 각각 생성하는 단계; 및
   상기 제1 내지 제3 그래프 데이터를 신경망 모델에 입력하여 상기 복수 보행자별 예상 경로를 생성하는 단계를 포함하는
   보행자 그룹화를 통한 경로 예측 방법.
   
2. 제1항에 있어서,
   상기 복수 보행자가 포함된 보행 영상을 수집하고, 상기 보행 영상에서 상기 복수 보행자의 보행 경로를 식별하는 단계를 더 포함하는
   보행자 그룹화를 통한 경로 예측 방법.
   
3. 제2항에 있어서,
   상기 복수 보행자의 보행 경로를 식별하는 단계는
   각 보행자의 위치를 프레임별로 탐지하여 상기 보행 경로를 식별하는 단계를 포함하는
   보행자 그룹화를 통한 경로 예측 방법.
   
4. 제1항에 있어서,
   상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계는
   상기 복수 보행자의 보행 경로 간의 거리에 기초하여 상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계를 포함하는
   보행자 그룹화를 통한 경로 예측 방법.
   
5. 제4항에 있어서,
   상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계는
   상기 복수 보행자의 보행 경로 간의 거리가 기준값 이하이면 상기 복수 보행자를 같은 그룹으로 분류하는 단계를 포함하는
   보행자 그룹화를 통한 경로 예측 방법.
   
6. 제1항에 있어서,
   상기 복수 보행자를 적어도 하나의 보행 그룹으로 분류하는 단계는
   상기 복수 보행자의 보행 경로를 그루핑 신경망에 입력하는 단계를 포함하고,
   상기 그루핑 신경망은 합성곱 레이어를 통해 상기 복수 보행자의 보행 경로에서 특징을 추출하고, 상기 추출된 특징 간의 거리가 상기 기준값 이하이면 상기 복수 보행자를 같은 보행 그룹으로 분류하는
   보행자 그룹화를 통한 경로 예측 방법.
   
7. 제6항에 있어서,
   상기 그루핑 신경망은 STE(Straight-Through Estimator)를 이용한 경사 하강법(gradient descent)을 통해 학습되는
   보행자 그룹화를 통한 경로 예측 방법.
   
8. 제6항에 있어서,
   상기 기준값은 상기 그루핑 신경망의 러너블(learnable) 파라미터인
   보행자 그룹화를 통한 경로 예측 방법.
   
9. 제1항에 있어서,
   상기 제1 그래프 데이터를 생성하는 단계는
   각 보행 그룹에 속한 보행자의 보행 경로를 풀링(pooling)하여 상기 각 보행 그룹의 대표 위치를 결정하고, 상기 대표 위치를 나타내는 노드(node)와 상기 보행 그룹별 대표 위치를 연결하는 엣지(edge)에 따라 상기 제1 그래프 데이터를 생성하는 단계를 포함하는
   보행자 그룹화를 통한 경로 예측 방법.
   
10. 제1항에 있어서,
    상기 제2 그래프 데이터를 생성하는 단계는
    상기 각 보행 그룹 내 보행자의 시간별 위치를 나타내는 노드와 상기 각 보행 그룹 내 보행자 간 위치를 연결하는 엣지에 따라 상기 제2 그래프 데이터를 생성하는 단계를 포함하는
    보행자 그룹화를 통한 경로 예측 방법.
    
11. 제1항에 있어서,
    상기 제3 그래프 데이터를 생성하는 단계는
    상기 복수 보행자의 시간별 위치를 나타내는 노드와, 상기 복수 보행자 간 위치를 연결하는 엣지에 따라 상기 제3 그래프 데이터를 생성하는 단계를 포함하는
    보행자 그룹화를 통한 경로 예측 방법.
    
12. 제1항에 있어서,
    상기 복수 보행자별 예상 경로를 생성하는 단계는
    파라미터를 공유하는 제1 내지 제3 그래프 기반 신경망에 상기 제1 내지 제3 그래프 데이터를 각각 입력하고, 상기 제1 내지 제3 그래프 기반 신경망의 출력을 통합(integration)하여 상기 복수 보행자별 예상 경로를 생성하는 단계를 포함하는
    보행자 그룹화를 통한 경로 예측 방법.
    
13. 제1항에 있어서,
    상기 복수 보행자별 예상 경로를 생성하는 단계는
    같은 보행 그룹에 속한 보행자의 예상 경로가 동일하도록 상기 제1 그래프 데이터에 대한 상기 신경망 모델의 출력을 언풀링(unpooling)하는 단계를 포함하는
    보행자 그룹화를 통한 경로 예측 방법.
    
14. 제1항에 있어서,
    상기 복수 보행자별 예상 경로를 생성하는 단계는
    상기 복수 보행자의 의도에 대응하는 잠재 벡터(latent vector)를 샘플링하고, 상기 잠재 벡터와 상기 제1 내지 제3 그래프 데이터를 상기 신경망 모델에 입력하여 상기 예상 경로를 생성하는 단계를 포함하는
    보행자 그룹화를 통한 경로 예측 방법.
    
15. 제14항에 있어서,
    상기 잠재 벡터를 샘플링하는 단계는
    같은 보행 그룹에 속한 보행자에 대해서는 동일한 잠재 벡터를 샘플링하는
    보행자 그룹화를 통한 경로 예측 방법.

Images