KR20230102871A

KR20230102871A - 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법

Info

Publication number: KR20230102871A
Application number: KR1020210193326A
Authority: KR
Inventors: 배상훈; 정보경; 박부기; 서성혁; 박다윤; 트란 홍 트린
Original assignee: 부경대학교 산학협력단
Priority date: 2021-12-30
Filing date: 2021-12-30
Publication date: 2023-07-07

Abstract

본 발명은 드론을 활용하여 교통정보를 수집하고, 딥러닝을 활용한 다중객체추적 알고리즘과 영상정합을 활용하여 영상보정을 수행하는 것에 의해 미시적 교통데이터를 효율적으로 수집할 수 있도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법에 관한 것으로, 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 학습 데이터 수집부;수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, DeepSORT를 통한 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행하는 다중객체추적부;다중객체추적 알고리즘을 통해 추적된 차량 객체에서 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보정을 수행하고, 특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집하는 미시적 교통데이터 추출부;를 포함하는 것이다.

Description

다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법{System and Method for Estimating Microscopic Traffic Parameters from UAV Video using Multiple Object Tracking of Deep Learning-based}

본 발명은 교통 데이터 추출에 관한 것으로, 구체적으로 드론을 활용하여 교통정보를 수집하고, 딥러닝을 활용한 다중객체추적 알고리즘과 영상정합을 활용하여 영상보정을 수행하는 것에 의해 미시적 교통데이터를 효율적으로 수집할 수 있도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법에 관한 것이다.

일반적으로 수집 단위에 따른 교통데이터는 거시적 교통데이터와 미시적 교통데이터로 나눌 수 있다.

도 1은 거시적 교통데이터의 일 예를 나타낸 구성도이다.(Yun et al. (2017) A Study on Allocation of Microscopic Traffic Volume by Space Syntax : Focusing on residential and Commercial Space)

거시적 교통데이터는 일반적인 도로에 대한 교통흐름을 대표하는 데이터로, 지점 및 구간 교통검지기를 통해 확보되는 교통량, 밀도, 속도 데이터를 포함하고, 주로 링크별 5분, 10분데이터 또는 도로별 30분, 1시간 데이터로 구성된다.

도 2는 미시적 교통데이터의 일 예를 나타낸 구성도이다.(Ruimin Ke et al. (2020) Advanced framework for microscopic and lane-level macroscopic traffic parameters estimation from UAV video)

미시적 교통데이터는 개별 차량의 주행 행태를 대표하는 데이터로, 차량 별로 획득되는 위치, 속도, 가속도 등 데이터를 포함하고, 수집기의 성능에 따라 다양한 수집단위를 갖는다.

도 3은 대표적인 미시적 교통정보 시뮬레이션인 VISSIM 구성도이다.

자율주행자동차의 안전 주행전략 구현을 위해 필수적인 미시적 교통데이터는 차량간 상호작용의 분석을 통해 고안전 주행전략 구현을 가능하게 하고, 차량의 가감속, 차로변경, 차량추종 등 미세한 교통흐름 분석을 위해 필수적이다.

사용자의 필요에 따라 다양한 수집 범위의 교통데이터 생성이 가능하다.

최근 자율주행자동차의 도입과 함께 자율주행자동차 주행관리 전략과 관련된 연구들이 대두되고 있다.

이러한 연구는 주로 자율주행차량과 비자율주행차량 간의 상호작용이나 자율주행자동차 자체의 개별 차량 주행행태를 기반으로 연구가 진행 중인데, 이러한 연구는 자율주행차량과 그 주변 차량에 대한 미시적인 교통데이터의 확보가 필수적이다.

반면에 대부분의 관련 연구들은 미시적인 교통데이터의 분석을 위하여 교통 시뮬레이션이나 주행 시뮬레이션을 바탕으로 연구가 진행되고 있다.

이는 미시적 교통데이터의 수집이 어려운 종래 기술의 교통데이터 수집 방식에 기반하는데, 실제 차량의 주행행태를 완벽하게 구현할 수 없는 시뮬레이션의 특성상 실질적으로 도로 전체에 대한 개별 차량의 주행행태를 수집할 수 있는 새로운 방법론의 제시가 필수적이다.

교통데이터 수집 방식은 크게 도로변 관점(point-based), 교통류 내 이동기반 관점(mobile-based), 항공에서 내려다보는 관점(aerial-based), 총 3가지로 나뉜다.

그중 기존의 활용되는 교통데이터 수집 방식은 주로 도로변 관점의 VDS, CCTV, AVI와 같은 지점·구간 검지기와, 이동기반 관점의 prove car, DTG와 같은 이동식 교통정보 검지기를 사용한다.

이때 도로변 관점의 검지기에서 취득한 교통데이터는 집계형 정보로서, 갑작스러운 정체상황을 감지하기 힘들거나 시간처짐(time lag) 현상이 발생하는 등 시공간적 제약이 존재하여, 개별차량의 세부적인 주행행태를 분석할 수 없다는 한계가 존재한다.

또한, 이동 기반 관점의 교통데이터 수집방식인 prove car와 DTG의 경우에는 차량의 미시적인 주행행태를 수집할 수 있으나, 교통데이터 수집 장치가 설치된 차량에 수집범위가 한정되어 해당 도로의 교통류를 대표하기에는 부족하다는 한계점이 존재한다.

반면에 항공에서 내려다보는 관점의 교통정보 수집 방식은 기존의 공간적, 시간적 한계를 보완하고, 미시적인 교통정보를 수집할 수 있기에 최근 드론을 활용한 교통정보 수집 방식 연구들이 진행되고 있다.

하지만 이러한 드론을 활용한 교통정보 수집 연구는 수집된 영상자료를 인적 데이터 추출 방식으로 판독하거나, 차량 객체를 추적하여 교통류 분석을 수행하는 대신 차량의 자동 검지를 수행하고 검지 성능에 대한 검증을 수행하는 데 그쳤다.

또한 미시적 교통정보를 획득하더라도, 외부적인 요인으로 인한 드론 기체의 자세 변화나, 산정된 GSD(Gound Sample Distance) 오차 값의 누적으로 인하여 정밀한 교통정보를 수집하기 힘들었다.

따라서, 종래 기술의 교통정보수집 방법론이 수집하기 힘든 미시적 교통데이터를 효율적으로 수집할 수 있게 하여 차량 객체의 검지와 추적의 정확도 문제를 개선할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.

대한민국 공개특허 제10-2021-0074961호 대한민국 등록특허 제10-1800767호 데한민국 공개특허 제10-2017-0116608호

본 발명은 종래 기술의 교통 데이터 추출 기술의 문제점을 해결하기 위한 것으로, 드론을 활용하여 교통정보를 수집하고, 딥러닝을 활용한 다중객체추적 알고리즘과 영상정합을 활용하여 영상보정을 수행하는 것에 의해 미시적 교통데이터를 효율적으로 수집할 수 있도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 YOLOv5와 DeepSORT를 통한 다중객체추적을 수행하고 불안정한 드론 항공영상에서 정밀한 미시적 교통데이터를 추출하기 위하여 영상정합과 삼변측량을 활용하여 영상보정을 수행하여 차량 객체의 검지와 추적의 정확도를 높일 수 있도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 추출된 차량 궤적 데이터와 보정된 영상을 바탕으로 미시적 교통데이터의 자동 추출이 가능하도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 드론을 통해 수집된 항공영상을 매개체로 미시적 교통데이터를 자동으로 수집하고, 드론이 수집한 영상에 포착된 차량으로부터 개별 차량의 속도, 가속도와 주행궤적과 같은 미시적 교통데이터를 수집하고, 이를 바탕으로 수집대상이 되는 도로의 방향별 지점 교통량, 구간속도와 같은 거시적 교통데이터를 자동으로 수집할 수 있도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 특징점 매칭 기반 영상정합 기술과 삼변측량을 활용하여 영상 내 기준점의 위치를 추적하는 알고리즘을 적용하여 개별 차량의 미시적 주행 데이터를 추출하고, 이를 기반으로 정확도를 높인 속도 데이터와 교통량 데이터를 추출할 수 있도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 속도와 교통량뿐만 아니라, 다양한 교통변수를 추출하고 추출된 미시적 차량 주행행태를 기반으로 특정 구간에 대한 정량적인 위험도 산출, 차량 주행행태 분석, 자율주행차량 주행전략 도출이 가능하도록 한 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치는 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 학습 데이터 수집부;수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, DeepSORT를 통한 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행하는 다중객체추적부;다중객체추적 알고리즘을 통해 추적된 차량 객체에서 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보정을 수행하고, 특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집하는 미시적 교통데이터 추출부;를 포함하는 것을 특징으로 한다.

여기서, YOLO Mark는, YOLO 모델의 학습데이터 수집을 위하여 이미지에서 객체의 경계 상자(bounding box)를 설정하기 위한 GUI 기반 프로그램으로, 수집된 항공영상 내 차량 객체의 차종과 위치정보를 명시하여 학습데이터를 구축하기 위하여 사용하는 것을 특징으로 한다.

그리고 학습 데이터 수집부는, 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집하는 드론 항공영상 수집부와, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 차량 객체 라벨링부를 포함하는 것을 특징으로 한다.

그리고 다중객체추적부는, 수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 영상 내 차량 객체 위치를 식별하고 차종을 구분하기 위한 차량 객체의 검지를 수행하는 차량 객체 검지부와, 연속적인 동영상 프레임에서 검지된 차량 객체에 ID를 부여 후, 동일 ID를 보유한 객체 간 위치정보를 연결하여 미시적 교통데이터를 추출할 수 있도록 하는 차량 객체 추적부를 포함하는 것을 특징으로 한다.

그리고 미시적 교통데이터 추출부는, 특징점 매칭을 통한 영상정합을 사용하여 항공영상 내 추적을 수행할 기준 이미지(Source image)를 선정하는 기준 이미지 추적부와, 도로 위 위치 좌표를 알고 있는 기준점(Control point)을 선정하여, 선정된 기준 이미지의 각 중심점을 바탕으로 삼변측량(Trilateration)을 통해 매 프레임마다 영상 내 기준점들의 위치를 갱신하는 기준점 선정부와, 갱신된 기준점들의 위치 관계를 활용하여 속도 및 교통량 데이터를 추출하는 속도 및 교통량 추정부를 포함하는 것을 특징으로 한다.

그리고 미시적 교통데이터 추출부는, 수집된 드론 항공영상의 첫 프레임에서 특정 지점을 중심점으로 가지는 일부 이미지를 잘라 기준 이미지(Source image)로 선정하고, 이 기준 이미지의 중심점(Center point)을 도출하고, 선정된 기준이미지와 원본인 드론 항공영상 간에 특징점 매칭을 활용한 영상 정합을 통하여 드론 항공영상 내 기준 이미지의 위치를 갱신하고, 갱신된 기준이미지의 위치를 기반으로 중심점의 위치를 추출하고, 이 과정을 드론 항공영상의 매 프레임마다 반복하는 것을 특징으로 한다.

그리고 영상 정합을 통해 추출된 기준 이미지(Source image)의 중심점(Center point)을 이미 알고 있는 도로 위 지점의 위치 좌표와 교통량 검지기의 위치를 갱신하기 위하여 사용하고, 위치 좌표는 도로 위 균등한 위치를 가지는 총 6개의 좌표를 선정하여 이를 기준점(Control point)으로 하고, 좌표의 개수는 카메라의 왜곡으로 인한 거리의 왜곡을 방지하기 위하여 서로 균등한 위치에 있는 좌표를 최소한 6점으로 선정하는 것을 특징으로 한다.

그리고 위치정보를 가지고 있는 6개의 기준점은, 영상 내 차량이 움직인 거리를 바탕으로 차량의 속도를 산출하기 위하여 사용하고, 기준점 간의 실제 거리비와 항공영상 내의 거리비를 활용하여 차량이 실제 움직인 거리를 산출하고, 이미 알고 있는 기준점 간의 실제 거리와 영상 내 기준점 픽셀 간의 거리의 비를 매 프레임마다 계산하여, 영상 내 차량이 이전 프레임의 위치에 비해 움직인 픽셀 크기 간의 거리와 곱해주어 차량 속도를 도출하는 것을 특징으로 한다.

그리고 삼변측량을 적용하기 위해 영상 정합을 통해 도출할 기준 이미지 3개를 선정하고, 기준 이미지의 중심점을 삼변측량을 위한 세 원의 중점으로 갖고, 도로 위 확보된 6개의 기준점을 삼변측량을 통해 산출할 목표지점으로 선정하고, 첫 프레임을 기준으로 세 원의 중점과 각 기준점 간의 거리를 반지름의 거리로 도출한 뒤, 이를 사용하여 다음 프레임의 기준점의 위치를 갱신하는 것을 특징으로 한다.

그리고 YOLOv5와 DeepSORT를 활용한 차량 객체의 검지 및 추적에 따라 개별 차량 객체는, 영상 내 bounding box의 위치 좌표와 차종, 해당 차종일 확률, 객체 id 정보를 갖게 되고, YOLOv5는 객체의 위치 좌표, 차종, 해당 차종일 확률을 가져 매 프레임마다 검지를 수행하고, DeepSORT는 객체의 위치 좌표, 차종, 객체 id 정보를 가져 객체의 이동 경로 및 주행행태에 대한 정보를 갖는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법은 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 학습 데이터 수집 단계;수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, DeepSORT를 통한 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행하는 다중객체추적 단계;다중객체추적 알고리즘을 통해 추적된 차량 객체에서 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보정을 수행하고, 특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집하는 미시적 교통데이터 추출 단계;를 포함하는 것을 특징으로 한다.

여기서, 다중객체추적 단계는, 수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 영상 내 차량 객체 위치를 식별하고 차종을 구분하기 위한 차량 객체의 검지를 수행하는 차량 객체 검지 단계와, 연속적인 동영상 프레임에서 검지된 차량 객체에 ID를 부여 후, 동일 ID를 보유한 객체 간 위치정보를 연결하여 미시적 교통데이터를 추출할 수 있도록 하는 차량 객체 추적 단계를 포함하는 것을 특징으로 한다.

그리고 미시적 교통데이터 추출 단계는, 특징점 매칭을 통한 영상정합을 사용하여 항공영상 내 추적을 수행할 기준 이미지(Source image)를 선정하는 기준 이미지 추적 단계와, 도로 위 위치 좌표를 알고 있는 기준점(Control point)을 선정하여, 선정된 기준 이미지의 각 중심점을 바탕으로 삼변측량(Trilateration)을 통해 매 프레임마다 영상 내 기준점들의 위치를 갱신하는 기준점 선정 단계와, 갱신된 기준점들의 위치 관계를 활용하여 속도 및 교통량 데이터를 추출하는 속도 및 교통량 추정 단계를 포함하는 것을 특징으로 한다.

그리고 미시적 교통데이터 추출 단계는, 수집된 드론 항공영상의 첫 프레임에서 특정 지점을 중심점으로 가지는 일부 이미지를 잘라 기준 이미지(Source image)로 선정하고, 이 기준 이미지의 중심점(Center point)을 도출하고, 선정된 기준이미지와 원본인 드론 항공영상 간에 특징점 매칭을 활용한 영상 정합을 통하여 드론 항공영상 내 기준 이미지의 위치를 갱신하고, 갱신된 기준이미지의 위치를 기반으로 중심점의 위치를 추출하고, 이 과정을 드론 항공영상의 매 프레임마다 반복하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법은 다음과 같은 효과가 있다.

첫째, 드론을 활용하여 교통정보를 수집하고, 딥러닝을 활용한 다중객체추적 알고리즘과 영상정합을 활용하여 영상보정을 수행하는 것에 의해 미시적 교통데이터를 효율적으로 수집할 수 있도록 한다.

둘째, YOLOv5와 DeepSORT를 통한 다중객체추적을 수행하고 불안정한 드론 항공영상에서 정밀한 미시적 교통데이터를 추출하기 위하여 영상정합과 삼변측량을 활용하여 영상보정을 수행하여 차량 객체의 검지와 추적의 정확도를 높일 수 있도록 한다.

셋째, 추출된 차량 궤적 데이터와 보정된 영상을 바탕으로 미시적 교통데이터의 자동 추출이 가능하도록 한다.

넷째, 드론을 통해 수집된 항공영상을 매개체로 미시적 교통데이터를 자동으로 수집하고, 드론이 수집한 영상에 포착된 차량으로부터 개별 차량의 속도, 가속도와 주행궤적과 같은 미시적 교통데이터를 수집하고, 이를 바탕으로 수집대상이 되는 도로의 방향별 지점 교통량, 구간속도와 같은 거시적 교통데이터를 자동으로 수집할 수 있도록 한다.

다섯째, 특징점 매칭 기반 영상정합 기술과 삼변측량을 활용하여 영상 내 기준점의 위치를 추적하는 알고리즘을 적용하여 개별 차량의 미시적 주행 데이터를 추출하고, 이를 기반으로 정확도를 높인 속도 데이터와 교통량 데이터를 추출할 수 있도록 한다.

여섯째, 속도와 교통량뿐만 아니라, 다양한 교통변수를 추출하고 추출된 미시적 차량 주행행태를 기반으로 특정 구간에 대한 정량적인 위험도 산출, 차량 주행행태 분석, 자율주행차량 주행전략 도출이 가능하도록 한다.

도 1은 거시적 교통데이터의 일 예를 나타낸 구성도
도 2는 미시적 교통데이터의 일 예를 나타낸 구성도
도 3은 대표적인 미시적 교통정보 시뮬레이션인 VISSIM 구성도
도 4는 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출 개념을 나타낸 구성도
도 5는 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치의 구성도
도 6은 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법을 나타낸 플로우 차트
도 7은 본 발명에 따른 드론 항공영상을 수집하기 위한 대상 지역의 일 예를 나타낸 구성도
도 8a내지 도 8c는 YOLO Mark를 활용한 객체 라벨링 및 라벨링된 객체의 예시 및 상관 도표(Correlation diagram)
도 9a 내지 도 9c는 YOLOv5 모델 학습 결과를 나타낸 그래프
도 10a 내지 도 10c는 다중 객체 추적(Multiple Object Tracking) 결과를 나타낸 구성도
도 11은 미시적 교통데이터 추출을 위한 영상정합(Image Registration)을 통한 효과를 나타낸 구성도
도 12a 내지 도 12c는 영상정합(Image Registration) 기반 기준이미지 추적의 일 예를 나타낸 구성도
도 13은 기준점(Control point) 설치와 삼변측량(Trilateration)을 통한 기준점 갱신의 일 예를 나타낸 구성도
도 14a 내지 14c는 기준점을 활용한 속도 추정 및 교통량 추정의 일 예를 나타낸 구성도
도 15는 미시적 교통데이터 추출의 일 예를 나타낸 구성도
도 16은 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출 과정에서의 속도 검증 결과 그래프

이하, 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 4는 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출 개념을 나타낸 구성도이다.

본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법은 드론을 활용하여 교통정보를 수집하고, 딥러닝을 활용한 다중객체추적 알고리즘과 영상정합을 활용하여 영상보정을 수행하는 것에 의해 미시적 교통데이터를 효율적으로 수집할 수 있도록 한 것이다.

이를 위하여, 본 발명은 도 4에서와 같이, YOLOv5와 DeepSORT를 통한 다중객체추적을 수행하고 불안정한 드론 항공영상에서 정밀한 미시적 교통데이터를 추출하기 위하여 영상정합과 삼변측량을 활용하여 영상보정을 수행하여 차량 객체의 검지와 추적의 정확도를 높일 수 있도록 하는 구성을 포할 수 있다.

본 발명은 드론을 통해 수집된 항공영상을 매개체로 미시적 교통데이터를 자동으로 수집하고, 드론이 수집한 영상에 포착된 차량으로부터 개별 차량의 속도, 가속도와 주행궤적과 같은 미시적 교통데이터를 수집하고, 이를 바탕으로 수집대상이 되는 도로의 방향별 지점 교통량, 구간속도와 같은 거시적 교통데이터를 자동으로 수집할 수 있도록 하는 구성을 포함할 수 있다.

본 발명은 특징점 매칭 기반 영상정합 기술과 삼변측량을 활용하여 영상 내 기준점의 위치를 추적하는 알고리즘을 적용하여 개별 차량의 미시적 주행 데이터를 추출하고, 이를 기반으로 정확도를 높인 속도 데이터와 교통량 데이터를 추출할 수 있도록 하는 구성을 포함할 수 있다.

도 5는 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치의 구성도이다.

본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치는 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 학습 데이터 수집부(10)와, 수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행하는 다중객체추적부(20)와, 다중객체추적 알고리즘을 통해 추적된 차량 객체에서 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보정을 수행하고, 특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집하는 미시적 교통데이터 추출부(30)를 포함한다.

여기서, 학습 데이터 수집부(10)는 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집하는 드론 항공영상 수집부(11)와, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 차량 객체 라벨링부(12)를 포함한다.

그리고 다중객체추적부(20)는 수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 영상 내 차량 객체 위치를 식별하고 차종을 구분하기 위한 차량 객체의 검지를 수행하는 차량 객체 검지부(21)와, 연속적인 동영상 프레임에서 검지된 차량 객체에 ID를 부여 후, 동일 ID를 보유한 객체 간 위치정보를 연결하여 미시적 교통데이터를 추출할 수 있도록 하는 차량 객체 추적부(22)를 포함한다.

그리고 미시적 교통데이터 추출부(30)는 특징점 매칭을 통한 영상정합을 사용하여 항공영상 내 추적을 수행할 기준 이미지(Source image)를 선정하는 기준 이미지 추적부(31)와,

도로 위 위치 좌표를 알고 있는 기준점(Control point)을 선정하여, 선정된 기준 이미지의 각 중심점을 바탕으로 삼변측량(Trilateration)을 통해 매 프레임마다 영상 내 기준점들의 위치를 갱신하는 기준점 선정부(32)와, 갱신된 기준점들의 위치 관계를 활용하여 속도 및 교통량 데이터를 추출하는 속도 및 교통량 추정부(33)를 포함한다.

본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법을 구체적으로 설명하면 다음과 같다.

도 6은 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법을 나타낸 플로우 차트이다.

먼저, 학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행한다.(S601)

이를 통해 수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행한다.(S602)

다중객체추적 알고리즘을 통해 추적된 차량 객체에서 정밀한 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보정을 수행한다.

특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집한다.(603)

본 발명은 이와 같이 추출된 데이터와 실측값의 비교를 통하여 데이터를 검증하는 단계를 더 포함할 수 있다.

이하에서 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법을 각 단계별로 더 구체적으로 설명하면 다음과 같다.

도 7은 본 발명에 따른 드론 항공영상을 수집하기 위한 대상 지역의 일 예를 나타낸 구성도이다.

드론 항공영상을 수집하기 위해 사용한 드론은 DJI사의 MAVIC2PRO로 정지 호버링이 가능한 멀티로터 회전익 UAV이고, 4K 영상(3840×2160)을 약 30fps (2997fps)로 촬영 가능한 카메라를 탑재하고 있고 3축 짐벌을 갖추고 있어 풍향, 풍속과 같은 외부요인에도 안정적으로 항공영상 수집이 가능하도록 할 수 있는데, 이로 제한되지 않는다.

학습 데이터 수집은 다음과 같다.

본 발명은 차량 객체를 검지하기 위하여 대표적인 실시간 객체 검지 알고리즘 중 하나인 YOLOv5 딥러닝 프레임워크(ultralytics, 2020)를 사용한다.

학습데이터 수집은 드론 항공영상 수집과 YOLO Mark를 활용한 항공영상 내 차량 객체 라벨링 두 단계로 수행된다.

드론 항공영상 수집은 다음과 같다.

YOLOv5 모델의 재학습을 위한 차량 데이터셋 수집을 위하여 드론 항공영상 수집을 수행한다.

YOLO 모델은 클래스별 데이터셋 구축에 따라 다양한 객체의 검지를 수행할 수 있는데, 본 발명에서는 승용차, 버스, 트럭, 세 가지 차종을 검지하기 위하여 클래스별 데이터 수집이 가능한 공간적 범위를 대상으로 항공영상을 수집할 수 있고, 이로 제한되지 않는다.

차량 객체 라벨링은 다음과 같다.

수집된 드론 항공영상에서 차량 객체를 라벨링(Labeling) 하기 위하여 YOLO Mark(AlexeyAB, 2018)를 사용할 수 있고, 이로 제한되지 않는다.

YOLO Mark는 YOLO 모델의 학습데이터 수집을 위하여 이미지에서 객체의 경계 상자(bounding box)를 설정하기 위한 GUI 기반 프로그램으로, 수집된 항공영상 내 차량 객체의 차종과 위치정보를 명시하여 학습데이터를 구축하기 위하여 사용한다.

도 8a내지 도 8c는 YOLO Mark를 활용한 객체 라벨링 및 라벨링된 객체의 예시 및 상관 도표(Correlation diagram)이다.

일 예로, 수집된 7개의 드론 항공영상에서 총 977장의 이미지 프레임을 추출하고, 프레임 내 승용차, 버스, 트럭 객체를 YOLO Mark를 통해 라벨링을 수행한다.

이때 각 클래스의 기준은 경차, 세단, 승합차는 car 클래스, 미니버스 크기 이상 버스는 bus 클래스, 25t 이상 트럭은 truck 클래스로 분류하여 표 1에서와 같이 학습데이터를 구성한다.

라벨링에 사용된 YOLO Mark의 예시는 도 8a에서와 같고, 라벨링된 객체의 예시는 도 8b에서와 같다.

또한, 라벨링 결과, 이미지 내 라벨링 된 객체의 중심점 위치와 높이 및 너비에 대한 상관 도표(Correlation diagram)는 도 8c에서와 같다.

다중객체추적(Multiple Object Tracking)을 설명하면 다음과 같다.

도 9a 내지 도 9c는 YOLOv5 모델 학습 결과를 나타낸 그래프이다.

드론 항공영상 내 차량 객체를 검지 및 추적을 수행하기 위하여 본 발명에서는 딥러닝 기반 다중객체추적(Multiple Object Tracking) 알고리즘을 사용한다.

다중객체추적 알고리즘이란 동영상 내 시간에 따라 움직이는 여러 개의 물체의 위치를 찾고 추적하는 알고리즘으로, 동영상 프레임마다 검지되는 객체에 ID를 부여하여 프레임 간에 검지된 객체의 정보를 연결하여 추적을 수행하는 알고리즘이다.

다중객체추적을 위해서는 검지(Detection)와 추적(Tracking) 두 가지의 단계가 필요한데, 본 발명에서는 Detector는 YOLOv5, Tracker는 DeepSORT를 사용하여 다중객체추적을 수행하는 것을 일 예로 설명한다.

다중객체추적의 첫 번째 단계인 객체 검지(Object Detection)의 목적은 영상 내 차량 객체 위치를 식별하고 차종을 구분하는 것이다.

딥러닝 프레임워크인 YOLOv5는 모델의 사이즈에 따라 YOLOv5s, YOLOv5m, YOLOv5l, YOLOv5x로 나누어진다.

YOLOv5 모델은 모델의 사이즈가 커질수록 모델의 정확도가 증가하는데, 대신 모델의 학습 시간이 증가하고, 더 많은 컴퓨터 자원이 소모된다. 이 외 모델의 성능은 학습데이터의 이미지 크기, 배치사이즈, Learning Rate, Momentum과 같은 다양한 하이퍼 파라미터로 인하여 결정된다.

본 발명에 활용된 환경에서 최적의 모델 성능을 도출하기 위하여 다양한 모델 크기와 하이퍼 파라미터를 활용하여 학습을 진행하고, 다음과 같은 최적의 모델 및 하이퍼 파라미터를 구축한다.

물론, 최적의 모델 및 하이퍼 파라미터가 표 2 및 표 3에에서와 같이 한정되는 것은 아니다.

일 예로, YOLO Mark를 통해 수집된 학습데이터 997장의 이미지를 8대2로 나누어 Train, Test 데이터셋으로 구성한다.

컴퓨터 자원을 고려하여 모델 사이즈는 YOLOv5s로 사용하였고, YOLOv5의 경우 학습데이터의 입력 이미지 크기를 640×640으로 리사이징 후 학습을 진행하는데, 리사이징 이미지 크기를 800×800으로 향상시켜 모델 정확도의 향상을 도모하였다.

배치 사이즈와 Epochs는 32, 2500으로 설정하였고, Learning rate schedule은 Warming up을 사용하여 0.001로 시작하여 Epoch가 75번째 반복에 도달함에 따라 001로 증가시켰고, Momentum과 Decay는 0.9와 0.00005로 설정하였다.

구축된 최적의 모델과 하이퍼 파라미터로 학습한 모델의 성능은 도 9a 내지 도 9c에서와 같다.

Precision과 Recall의 성능을 측정하기 위하여 Precision Recall Curve를 사용하여 모델을 평가하였다. 또한 클래스별 데이터셋이 불균형한 모델을 평가하기 위하여 F1 Score Curve를 사용하였다.

그 결과 mAP@05 일 때 AUC-PR 값은 모든 클래스에 대해 0.905의 수치를 도출하였고, Confidence 0.447에서 모든 클래스에 대해 0.9의 F1 Score를 도출하였다.

클래스별 F1 Score를 확인하였을 때, car 클래스와 bus 클래스의 경우 각 0.935, 0.955로 높은 수치를 획득하였다.

도 10a 내지 도 10c는 다중 객체 추적(Multiple Object Tracking) 결과를 나타낸 구성도이다.

다중객체추적의 두 번째 단계인 객체 추적(Object Tracking)의 목적은 연속적인 동영상 프레임에서 검지된 차량 객체에 ID를 부여 후, 동일 ID를 보유한 객체 간 위치정보를 연결하여 미시적 교통데이터를 추출하는 것이다.

본 발명의 일 실시 예에서는 YOLOv5를 통해 식별된 차량 객체의 위치와 정보를 연결하여 추적하기 위해, DeepSORT(N Wojke et al, 2017)를 사용한다. DeepSORT는 딥러닝 기반 실시간 객체추적 알고리즘으로, Kalman Filter와 Hungarian algorithm을 결합한 SORT(Simple Online Real-time Tracking)에 단순한 CNN 모델 추가하여 물체 겹침에도 강한 성능을 보여주는 추적 알고리즘이다.

DeepSORT를 위한 하이퍼 파라미터 설정은 기존 DeepSORT 코드의 기본 설정을 사용한다. 직하각에서 촬영한 드론 항공영상의 경우 물체간의 겹침 현상이 발생할 상황이 없고, 공간적 범위에서 차량이 가려질 상황이 존재하지 않는 경우에는 기본적인 하이퍼 파라미터 설정을 따른다.

경우에 따라 YOLOv5를 통해 검지된 객체 중 오검지된 객체의 추적 삭제를 위해 MAX_AGE와 MIN_CONFIDENCE 수치를 수정해준다.

YOLOv5와 DeepSORT를 활용한 차량 객체의 검지 및 추적에 따라 개별 차량 객체는 영상 내 bounding box의 위치 좌표와 차종, 해당 차종일 확률, 객체 id 정보를 가지게 된다. 그중 YOLOv5는 객체의 위치 좌표, 차종, 해당 차종일 확률을 가져 매 프레임마다 검지를 수행하고, DeepSORT는 객체의 위치 좌표, 차종, 객체 id 정보를 가져 객체의 이동 경로 및 주행행태에 대한 정보를 가지게 된다.

이는 이후 미시적 교통데이터인 차량 속도와 교통량을 산정하기 위하여 활용된다.

영상 정합(Image Registration)을 활용한 미시적 교통데이터 추출에 관하여 설명하면 다음과 같다.

도 11은 미시적 교통데이터 추출을 위한 영상정합(Image Registration)을 통한 효과를 나타낸 구성도이고, 도 12a 내지 도 12c는 영상정합(Image Registration) 기반 기준이미지 추적의 일 예를 나타낸 구성도이다.

드론 항공영상을 활용한 교통데이터 추출 연구는 주로 영상 내 이미 알고 있는 물체의 길이 및 거리를 활용하여 GSD(Ground Sample Distance)를 산정한 후, 이를 바탕으로 차량 객체의 이동 거리를 추정하여 미시적 교통데이터를 산정한다.

그러나 이러한 방식은 항공영상의 흔들림 및 움직임에 따라 GSD의 오차값이 누적되게 되어 정확한 미시적 교통데이터를 산정할 수 없게 되고, 이러한 GSD의 오차값을 보정해주는 방식 또한 드론 항공영상의 수집 이후 후처리 영상보정 방식을 사용하여 영상의 흔들림을 보정해야 한다.

본 발명에서는 특징점 매칭(Feature Matching)을 활용한 영상 정합(Image Registration)을 통한 영상 내 특정 지점을 지속해서 추적하고, 이를 기반으로 미시적 교통 데이터를 추출하여 이와 같은 문제를 해결할 수 있도록 후처리 영상보정이 아닌 자동으로 실시간 영상보정을 수행한다.

영상 정합을 통한 미시적 교통데이터 추출을 수행하기 위한 프로세스는 총 3단계로 이루어진다.

첫 번째로 특징점 매칭을 통한 영상정합을 사용하여 항공영상 내 추적을 수행할 기준 이미지(Source image) 3장을 선정한다.

두 번째로 도로 위 위치 좌표를 알고 있는 기준점(Control point) 6개를 선정하여, 선정된 기준 이미지 3장의 각 중심점을 바탕으로 삼변측량(Trilateration)을 통해 매 프레임마다 영상 내 기준점들의 위치를 갱신한다.

세 번째로 갱신된 기준점들의 위치 관계를 활용하여 속도 및 교통량 데이터를 추출한다.

영상 정합(Image Registration)을 통한 기준 이미지(Source image) 추적은 다음과 같다.

외부의 영향으로 인해 불안정한 드론 항공영상에 흔들리지 않는 기준점을 설치하기 위하여 특징점 매칭(Feature Matching) 작업을 통한 영상 정합(Image Registration) 방식을 사용한다.

특징점 매칭이란 두 이미지에서 추출한 특징점 기술자를 비교하여 서로 비슷한 특징점을 찾아 두 이미지 간 서로 매칭시키는 방법으로, 불안정하게 흔들리는 드론 항공영상 이미지 내 특정 지점을 지속해서 추적하기 위하여 사용한다.

수집된 드론 항공영상의 첫 프레임에서 특정 지점을 중심점으로 가지는 일부 이미지를 잘라 기준 이미지(Source image)로 선정하고, 이 기준 이미지의 중심점(Center point)을 도출한다.

선정된 기준이미지와 원본인 드론 항공영상 간에 특징점 매칭을 활용한 영상 정합을 통하여 드론 항공영상 내 기준 이미지의 위치를 갱신하고, 갱신된 기준이미지의 위치를 기반으로 중심점의 위치를 추출한다.

위 작업은 드론 항공영상의 매 프레임마다 반복되어 수행되고, 이를 통해 기준 이미지는 흔들리는 드론 항공영상 내 기존의 위치를 지속적으로 추적하게 된다.

이때 특징점 매칭을 위한 특징 디스크립터 검출기는 'BRISK', 특징 매칭기는 'Brute-Force Matcher', 매칭 함수는 'knnMatch'를 사용할 수 있다.

삼변측량(Trilateration)을 통한 기준점(Control point) 설치에 관하여 설명하면 다음과 같다.

도 13은 기준점(Control point) 설치와 삼변측량(Trilateration)을 통한 기준점 갱신의 일 예를 나타낸 구성도이다.

영상 정합을 통해 추출된 기준 이미지(Source image)의 중심점(Center point)은 이미 알고 있는 도로 위 지점의 위치 좌표와 교통량 검지기의 위치를 갱신하기 위하여 사용한다.

이때 이 위치좌표는 도로 위 균등한 위치를 가지는 총 6개의 좌표를 선정하고 이를 기준점(Control point)이라 칭한다. 이때 좌표의 개수는 카메라의 왜곡으로 인한 거리의 왜곡을 방지하기 위하여 서로 균등한 위치에 있는 좌표를 최소한 6점 이상 선정해 준다.

이 위치정보를 가지고 있는 6개의 기준점은 이후 차량의 속도 및 교통량을 산출하기 위하여 사용되는데, 매 프레임마다 변경되는 기준점의 위치를 추적하기 위해 위치 갱신을 수행하고, 이를 갱신하기 위한 방법으로 삼변측량 기법을 사용한다.

삼변측량이란 세 점과 목표지점까지의 거리를 통해 목표지점의 위치를 추정하는 방식으로, 세 점을 중점으로 하고 기준점까지의 길이를 반지름으로 가지는 세 원을 통해 기준점의 위치를 도출 할 수 있다.

삼변측량을 적용하기 위해 영상 정합을 통해 도출할 기준 이미지 3개를 선정하고, 기준 이미지의 중심점을 삼변측량을 위한 세 원의 중점으로 가진다. 이후 도로 위 확보된 6개의 기준점을 삼변측량을 통해 산출할 목표지점으로 선정하고, 첫 프레임을 기준으로 세 원의 중점과 각 기준점 간의 거리를 반지름의 거리로 도출한 뒤, 이를 사용하여 다음 프레임의 기준점의 위치를 갱신한다.

기준점을 활용한 속도 추정 및 교통량 추정에 관하여 설명하면 다음과 같다.

도 14a 내지 14c는 기준점을 활용한 속도 추정 및 교통량 추정의 일 예를 나타낸 구성도이다.

도 15는 미시적 교통데이터 추출의 일 예를 나타낸 구성도이다.

영상정합 및 삼변측량을 통해 갱신된 기준점 6개는 항공영상 내 차량의 속도와 교통량을 추정하기 위해 사용한다.

이 위치정보를 가지고 있는 6개의 기준점은 영상 내 차량이 움직인 거리를 바탕으로 차량의 속도를 산출하기 위하여 사용하는데, 이때 기준점 간의 실제 거리비와 항공영상 내의 거리비를 활용하여 차량이 실제 움직인 거리를 산출한다.

이미 알고 있는 기준점 간의 실제 거리와 영상 내 기준점 픽셀 간의 거리의 비를 매 프레임마다 계산하여, 영상 내 차량이 이전 프레임의 위치에 비해 움직인 픽셀 크기 간의 거리와 곱해주어 차량 속도를 도출한다.

이때 렌즈 왜곡에 의한 오차의 최소화를 위해 실제와 영상에서의 기준점 간의 거리비는 6개 기준점의 모든 점쌍에 대한 거리비의 값의 50% 절사평균 값을 사용한다.

방향별 지점 교통량을 추출하기 위하여 교통량 검지기를 설치한다.

첫 프레임을 기준으로 영상 내 교통량을 추출할 지점을 통과하는 직선을 선정하고 이를 교통량 검지기라 칭한다. 이후 이 교통량 검지기를 차량이 통과할 때마다 차량을 자동으로 계수하여 교통량 검지를 수행한다.

이때 교통량 검지기의 위치는 기준점과 같이 영상정합 및 삼변측량을 통해 매 프레임 갱신하여 영상의 흔들림에도 제 위치를 지키도록 해준다.

도 16은 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출 과정에서의 속도 검증 결과 그래프이다.

본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법에 의해 추출된 속도 데이터의 검증을 위하여 실측 속도 데이터와 비교 검증을 수행하였다.

본 발명의 알고리즘의 특성상 항공영상 내 존재하는 모든 차량의 속도를 10fps마다 추출 가능하고, 이를 통해 해당 공간적 범위의 시간평균속도, 공간평균속도를 모두 추출 가능하다.

해당 범위 내 수집되는 기존 데이터중, 모든 차량별 속도를 1초 내 시간간격마다 수집되는 실측값이 없어 검증이 불가능하기에 GPS기기를 포함한 프로브차량 1대를 사용하여 실측데이터를 확보하였다.

프로브 차량 1대의 속도값을 검증하여 공간적 범위 내 모든 개별차량의 속도값이 검증되었음을 가정하고, 이를 통해 공간적 범위에 대한 구간속도를 도출할 수 있다 가정하였다. 실측 데이터는 공간적 범위 내 프로브 차량 1대를 통해 총 4번의 실차 평가를 수행하였고, 프로브 차량 내에서 GPS와 GLONASS를 사용하는 GPS기기를 활용하여 10fps 단위로 차량의 위치 데이터를 수집하였다.

이때 수집된 차량의 위치 데이터는 10fps 라는 짧은 시간 간격에 의하여 일정 오차 값을 보유하고 있는데, 이를 보완하기 위하여 가우시안 필터를 활용하여 실측값을 평활화하고, 실측 데이터와 추출한 데이터 간의 비교 검증과 평활화된 데이터와 추출한 데이터 간의 비교 검증을 각각 수행하여 본 발명의 성능 평가를 수행하였다.

검증을 위한 성능 평가 지표는 MAE (Mean Absolute Error), RMSE (Root Mean Squared Error), MAPE (Mean Absolute Percentage Error)를 사용하여 모델 예측값의 평균 에러, 이상치 영향을 다각도로 분석하였다.

속도 데이터에 대한 검증 결과, 평활화를 거치지 않은 실측 데이터의 경우 평균 MAE 5.62 km/h, RMSE 7.81 km/h, MAPE 8.07%라는 준수한 연구 결과를 도출하였다. 또한 가우시안 필터를 통하여 평활화를 거친 데이터의 경우 평균 MAE 3.49 km/h, RMSE 4.43 km/h, MAPE 5.18%이라는 보다 개선된 결과를 획득하였다.

이는 10fps라는 짧은 시간 간격에 대한 순간속도의 정확도라는 것을 고려하였을 때 상당히 높은 수치이며, 구간 전체에 대한 운행속도를 상대오차(Relative Error)로 계산하여 66%의 결과를 도출한 MassDOT의 연구와 (Massachusetts Department of Transportation, 2019), 차선별 평균 순간 속도를 정확도(Accuracy)로 계산하여 97.3%, 96.6%, 96.6%라는 결과를 도출한 Ruimin et al의 연구와 비교 하였을 때 충분히 높은 수치의 연구 결과라는 것을 확인할 수 있다.

그리고 교통량 추출 방향별 지점 교통량을 추출하기 위하여 상,하행 도로의 각 분리도로 직전 구간에 설치한 교통량 검지기를 통해 교통량 데이터를 추출하였다.

교통량 검지기를 통해 추출된 데이터의 검증을 위하여 인력을 활용한 계수방식을 통해 실측값을 획득하여 Precision과 Recall을 사용한 성능평가를 수행하였다. 검증을 위한 테스트 영상은 연구의 공간적 범위를 포함하는 5분 길이의 드론 항공영상 6개를 사용하였다.

Precision과 Recall을 사용한 성능평가를 위해 각 드론 항공영상에 설치한 교통량 검지기별 Confusion matrix를 작성하였다. 차량 객체의 통과를 검지하여 계수한 경우를 True Positive, 차량이 통과하지 않았는데 계수한 경우 False Positive, 차량이 통과하였으나 계수하지 않은 경우를 False Negative로 선정하고, 이에 따른 Precision과 Recall을 산정하였다.

Precision과 Recall의 산정 결과 각각 전체 평균 98.07%와 97.86%의 높은 수치를 기록하였다. 사용된 테스트 영상과 방향에 따른 수치의 변동성은 크지 않았고, 다양한 테스트 영상에 대해 일정한 검지 성능을 보여줬다.

위와 같은 수치는 한국건설기술연구원의 주체로 일반국도 교통량 수시 및 상시조사에 사용되는 장비의 정확도인 95% 이상을 충족하는 수치로, 기존 교통량 조사 장비의 대체 가능성을 보여준다(Ministry of Land, Infrastructure and Transport, 2021) 또한 AVC, VDS와 같은 장비가 아닌 인력식 조사방식과 비교하면, 더욱 높은 정확도와 효율성을 보일 것으로 예상된다.

이상에서 설명한 본 발명에 따른 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치 및 방법은 드론을 활용하여 교통정보를 수집하고, 딥러닝을 활용한 다중객체추적 알고리즘과 영상정합을 활용하여 영상보정을 수행하는 것에 의해 미시적 교통데이터를 효율적으로 수집할 수 있도록 한 것이다.

본 발명은 YOLOv5와 DeepSORT를 통한 다중객체추적을 수행하고 불안정한 드론 항공영상에서 정밀한 미시적 교통데이터를 추출하기 위하여 영상정합과 삼변측량을 활용하여 영상보정을 수행하여 차량 객체의 검지와 추적의 정확도를 높일 수 있도록 한다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10. 학습 데이터 수집부
20. 다중객체추적부
30. 미시적 교통데이터 추출부

Claims

학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 학습 데이터 수집부;
수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, DeepSORT를 통한 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행하는 다중객체추적부;
다중객체추적 알고리즘을 통해 추적된 차량 객체에서 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보정을 수행하고, 특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집하는 미시적 교통데이터 추출부;를 포함하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 1 항에 있어서, YOLO Mark는,
YOLO 모델의 학습데이터 수집을 위하여 이미지에서 객체의 경계 상자(bounding box)를 설정하기 위한 GUI 기반 프로그램으로,
수집된 항공영상 내 차량 객체의 차종과 위치정보를 명시하여 학습데이터를 구축하기 위하여 사용하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 1 항에 있어서, 학습 데이터 수집부는,
학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집하는 드론 항공영상 수집부와,
수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 차량 객체 라벨링부를 포함하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 1 항에 있어서, 다중객체추적부는,
수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 영상 내 차량 객체 위치를 식별하고 차종을 구분하기 위한 차량 객체의 검지를 수행하는 차량 객체 검지부와,
연속적인 동영상 프레임에서 검지된 차량 객체에 ID를 부여 후, 동일 ID를 보유한 객체 간 위치정보를 연결하여 미시적 교통데이터를 추출할 수 있도록 하는 차량 객체 추적부를 포함하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 1 항에 있어서, 미시적 교통데이터 추출부는,
특징점 매칭을 통한 영상정합을 사용하여 항공영상 내 추적을 수행할 기준 이미지(Source image)를 선정하는 기준 이미지 추적부와,
도로 위 위치 좌표를 알고 있는 기준점(Control point)을 선정하여, 선정된 기준 이미지의 각 중심점을 바탕으로 삼변측량(Trilateration)을 통해 매 프레임마다 영상 내 기준점들의 위치를 갱신하는 기준점 선정부와,
갱신된 기준점들의 위치 관계를 활용하여 속도 및 교통량 데이터를 추출하는 속도 및 교통량 추정부를 포함하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 5 항에 있어서, 미시적 교통데이터 추출부는,
수집된 드론 항공영상의 첫 프레임에서 특정 지점을 중심점으로 가지는 일부 이미지를 잘라 기준 이미지(Source image)로 선정하고, 이 기준 이미지의 중심점(Center point)을 도출하고,
선정된 기준이미지와 원본인 드론 항공영상 간에 특징점 매칭을 활용한 영상 정합을 통하여 드론 항공영상 내 기준 이미지의 위치를 갱신하고,
갱신된 기준이미지의 위치를 기반으로 중심점의 위치를 추출하고, 이 과정을 드론 항공영상의 매 프레임마다 반복하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 6 항에 있어서, 영상 정합을 통해 추출된 기준 이미지(Source image)의 중심점(Center point)을 이미 알고 있는 도로 위 지점의 위치 좌표와 교통량 검지기의 위치를 갱신하기 위하여 사용하고,
위치 좌표는 도로 위 균등한 위치를 가지는 총 6개의 좌표를 선정하여 이를 기준점(Control point)으로 하고,
좌표의 개수는 카메라의 왜곡으로 인한 거리의 왜곡을 방지하기 위하여 서로 균등한 위치에 있는 좌표를 최소한 6점으로 선정하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 7 항에 있어서, 위치정보를 가지고 있는 6개의 기준점은,
영상 내 차량이 움직인 거리를 바탕으로 차량의 속도를 산출하기 위하여 사용하고, 기준점 간의 실제 거리비와 항공영상 내의 거리비를 활용하여 차량이 실제 움직인 거리를 산출하고,
이미 알고 있는 기준점 간의 실제 거리와 영상 내 기준점 픽셀 간의 거리의 비를 매 프레임마다 계산하여, 영상 내 차량이 이전 프레임의 위치에 비해 움직인 픽셀 크기 간의 거리와 곱해주어 차량 속도를 도출하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 5 항에 있어서, 삼변측량을 적용하기 위해 영상 정합을 통해 도출할 기준 이미지 3개를 선정하고,
기준 이미지의 중심점을 삼변측량을 위한 세 원의 중점으로 갖고, 도로 위 확보된 6개의 기준점을 삼변측량을 통해 산출할 목표지점으로 선정하고,
첫 프레임을 기준으로 세 원의 중점과 각 기준점 간의 거리를 반지름의 거리로 도출한 뒤, 이를 사용하여 다음 프레임의 기준점의 위치를 갱신하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
제 1 항에 있어서, YOLOv5와 DeepSORT를 활용한 차량 객체의 검지 및 추적에 따라 개별 차량 객체는,
영상 내 bounding box의 위치 좌표와 차종, 해당 차종일 확률, 객체 id 정보를 갖게 되고,
YOLOv5는 객체의 위치 좌표, 차종, 해당 차종일 확률을 가져 매 프레임마다 검지를 수행하고,
DeepSORT는 객체의 위치 좌표, 차종, 객체 id 정보를 가져 객체의 이동 경로 및 주행행태에 대한 정보를 갖는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 장치.
학습데이터의 구축을 위해 드론을 통해 직하각 항공영상을 수집한 뒤, 수집된 항공영상 내 학습데이터의 수집을 위해 YOLO Mark를 통하여 객체 라벨링을 수행하는 학습 데이터 수집 단계;
수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, DeepSORT를 통한 다중객체추적 알고리즘을 통해 차량 객체의 검지 및 추적을 수행하는 다중객체추적 단계;
다중객체추적 알고리즘을 통해 추적된 차량 객체에서 미시적 교통데이터를 추출하기 위하여 영상정합을 활용한 영상보정을 수행하고, 특징점을 활용한 영상정합과 삼변측량을 활용하여 영상 내 흔들리지 않는 기준점을 설치하고, 이를 바탕으로 개별 차량에 대한 속도 및 지점 교통량 데이터를 수집하는 미시적 교통데이터 추출 단계;를 포함하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법.
제 11 항에 있어서, 다중객체추적 단계는,
수집된 학습데이터로 YOLOv5 모델의 학습을 수행하고, 다중객체추적 알고리즘을 통해 영상 내 차량 객체 위치를 식별하고 차종을 구분하기 위한 차량 객체의 검지를 수행하는 차량 객체 검지 단계와,
연속적인 동영상 프레임에서 검지된 차량 객체에 ID를 부여 후, 동일 ID를 보유한 객체 간 위치정보를 연결하여 미시적 교통데이터를 추출할 수 있도록 하는 차량 객체 추적 단계를 포함하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법.
제 11 항에 있어서, 미시적 교통데이터 추출 단계는,
특징점 매칭을 통한 영상정합을 사용하여 항공영상 내 추적을 수행할 기준 이미지(Source image)를 선정하는 기준 이미지 추적 단계와,
도로 위 위치 좌표를 알고 있는 기준점(Control point)을 선정하여, 선정된 기준 이미지의 각 중심점을 바탕으로 삼변측량(Trilateration)을 통해 매 프레임마다 영상 내 기준점들의 위치를 갱신하는 기준점 선정 단계와,
갱신된 기준점들의 위치 관계를 활용하여 속도 및 교통량 데이터를 추출하는 속도 및 교통량 추정 단계를 포함하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법.
제 13 항에 있어서, 미시적 교통데이터 추출 단계는,
수집된 드론 항공영상의 첫 프레임에서 특정 지점을 중심점으로 가지는 일부 이미지를 잘라 기준 이미지(Source image)로 선정하고, 이 기준 이미지의 중심점(Center point)을 도출하고,
선정된 기준이미지와 원본인 드론 항공영상 간에 특징점 매칭을 활용한 영상 정합을 통하여 드론 항공영상 내 기준 이미지의 위치를 갱신하고,
갱신된 기준이미지의 위치를 기반으로 중심점의 위치를 추출하고, 이 과정을 드론 항공영상의 매 프레임마다 반복하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법.
제 14 항에 있어서, 영상 정합을 통해 추출된 기준 이미지(Source image)의 중심점(Center point)을 이미 알고 있는 도로 위 지점의 위치 좌표와 교통량 검지기의 위치를 갱신하기 위하여 사용하고,
위치 좌표는 도로 위 균등한 위치를 가지는 총 6개의 좌표를 선정하여 이를 기준점(Control point)으로 하고,
좌표의 개수는 카메라의 왜곡으로 인한 거리의 왜곡을 방지하기 위하여 서로 균등한 위치에 있는 좌표를 최소한 6점으로 선정하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법.
제 15 항에 있어서, 위치정보를 가지고 있는 6개의 기준점은,
영상 내 차량이 움직인 거리를 바탕으로 차량의 속도를 산출하기 위하여 사용하고, 기준점 간의 실제 거리비와 항공영상 내의 거리비를 활용하여 차량이 실제 움직인 거리를 산출하고,
이미 알고 있는 기준점 간의 실제 거리와 영상 내 기준점 픽셀 간의 거리의 비를 매 프레임마다 계산하여, 영상 내 차량이 이전 프레임의 위치에 비해 움직인 픽셀 크기 간의 거리와 곱해주어 차량 속도를 도출하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법.
제 13 항에 있어서, 삼변측량을 적용하기 위해 영상 정합을 통해 도출할 기준 이미지 3개를 선정하고,
기준 이미지의 중심점을 삼변측량을 위한 세 원의 중점으로 갖고, 도로 위 확보된 6개의 기준점을 삼변측량을 통해 산출할 목표지점으로 선정하고,
첫 프레임을 기준으로 세 원의 중점과 각 기준점 간의 거리를 반지름의 거리로 도출한 뒤, 이를 사용하여 다음 프레임의 기준점의 위치를 갱신하는 것을 특징으로 하는 다중객체추적 알고리즘을 활용한 드론 항공영상 기반 미시적 교통데이터 추출을 위한 방법.