KR20220080837A

KR20220080837A - 딥러닝을 활용한 교량통행 차량하중 분석시스템

Info

Publication number: KR20220080837A
Application number: KR1020200170029A
Authority: KR
Inventors: 조수진
Original assignee: 서울시립대학교 산학협력단
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2022-06-15

Abstract

본 발명은, 차량을 제1그룹, 제2그룹...제N그룹으로 이루어진 복수 개의 그룹으로 분류하는 1단계; 제1그룹에 속하는 복수 개의 차량 하중의 평균값인 제1평균하중과, 제2그룹에 속하는 복수 개의 차량 하중의 평균값인 제2평균하중과....제N그룹에 속하는 복수 개의 차량 하중의 평균값인 제N평균하중을 산정하는 2단계; 교량에 통과하는 차량을 CCTV로 촬영하는 3단계; 딥러닝 모델을 활용하여, 상기 CCTV로 촬영된 차량의 모델을 분석하고, 차량이 속하는 그룹을 분석하는 4단계; 및 CCTV에 촬영된 차량이 속하는 그룹의 평균하중을 이용하여, 교량 통과 차량의 하중을 산출하는 5단계;를 포함하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템을 제공한다.

Description

딥러닝을 활용한 교량통행 차량하중 분석시스템{ASSESSMENT OF BRIDGE VEHICLE LOADING USING DEEP LEARNING}

본 발명은 딥러닝을 활용한 교량통행 차량하중 분석시스템에 관한 것으로, 보다 구체적으로, 교량에 진입하는 진입차량의 시간대별 하중을 CCTV영상 데이터와 딥러닝을 이용하여 산출하고 그 결과를 이용하여 교량의 내구성 검토와 교량 설계 및 교량의 유지관리에 활용할 수 있도록 하는 분석시스템에 관한 것이다.

국내 교량 현황을 살펴보면 2018년 12월 31일 기준 총 34,298개의 교량이 존재하며, 이 중 2000년대 이전에 건설된 교량의 수가 14,112개 준공 후 30년이 지난 교량은 3,900여 개에 달한다. 노후 시설물 수의 폭발적인 증가에 대비하기 위해 적극적인 교량 유지 및 관리가 필요한 시점이다.

일반적으로, 도로포장 및 교량은 통행하는 차량의 하중을 모사한 설계하중을 적용하여 설계되고 시공된다. 이러한 설계하중을 초과하는 차량이 교량을 통행하는 경우, 교량에 손상을 발생시킬 수 있고, 이에 따라 도로포장의 유지보수가 필요하며, 특히, 75년 이상의 설계수명으로 시공된 교량의 경우 수명을 단축시킬 수 있다.

이에 따라, 도로관리청에서는 도로법에서 규정된 바와 같이 도로상 통행차량의 제한하중을 총중량 40톤과 축중10톤으로 제한하고 있고, 이러한 하중을 초과하는 차량을 과적차량으로 단속하고 있다. 이러한 과적 단속 방법은 크게 고정식과 이동식이 있는데, 예를 들면, 고정식은 도로 특정지점에 과적검문소를 설치하고 고정식 중량계를 이용하여 과적 여부를 판단하며, 또한, 이동식은 불시로 임의 지점에 이동식 중량계를 구비하여 과적 여부를 판단하고 있다.

도로와 교량 등의 기반시설은 효율적인 모니터링과 최적화된 유지관리가 가능할 때 장기적인 개발계획 수립이 가능하다. 30톤 트럭 1대가 일반 승용차 7500대 정도의 피해를 줄 수 있을 만큼 무겁고 과적된 상용차들은 노화된 도로와 교량을 훼손하고 무너뜨릴 우려가 있어 해당 사항을 감지하고 데이터화하는 기술의 중요성은 더욱 높아지는 추세이다.

종래 이러한 기술로 차축 부하 및 총 중량을 자동으로 측정하는 WIM(Weigh In Motion) 시스템이 존재하고 있으나, 설치 비용이 과다하고 보다 경제적인 교량 통행 차량의 하중 감지 기술이 요청되고 있다.

본 발명은 교량 상부에 설치된 CCTV의 영상과 딥러닝 모델을 이용하여 교량을 통행하는 차량의 하중 이력을 획득하는 기술을 제공하는 것을 목적으로 한다.

상기 1단계에서, 상기 차량 분류는, 차량의 하중을 고려하여, 차량 하중의 최소값과 최대값 사이에 복수 개의 구간을 나누어 각 구간에 해당하는 그룹으로 분류하고, 상기 4단계는 상기 딥러닝 모델은 차량 모델 분석 및 차량 위치 탐지를 위해 Faster R-CNN을 선정하고, 딥러닝 모델의 차량 모델 분석을 위해 학습하는 단계;를 더 포함한다.

상기 5단계는, 교량을 통과하는 개별 차량이 복수 개의 그룹 중 어느 그룹에 속하는지 소속그룹을 판단하는 5-1단계; 상기 개별 차량이 속하는 소속그룹의 평균하중을 개별 차량의 개별 교량통과하중으로 선택하는 5-2단계; 특정 시간대에 상기 개별 교량통과하중의 총합을 해당 시간대 교량 통과 차량의 총하중으로 산출하는 5-3단계;를 더 포함할 수 있다.

상기 5단계는, 상기 개별 차량이 속하는 소속그룹의 평균하중은, 개별차량이 승용차 또는 SUV 차량인 경우, 승차인원으로 성인 두명이 탑승한 것으로 가정하여 65kg*2의 하중을 더하여 계산하고, 개별차량이 트럭인 경우, 트럭 최대 적재 중량의 1/2을 더하여 계산하고, 개별차량이 버스인 경우 승차인원으로 성인 20명이 탑승한 것으로 가정하여 65kg*20의 하중을 더하여 계산할 수 있다.

그리고, 상기 3단계에서, 상기 CCTV는 교량을 따라 복수 개가 설치되어 있어서, 교량을 통행하는 차량의 이동 경로를 추적하여, 교량에 가해지는 하중의 패턴을 분석하는 단계;를 더 포함할 수도 있다.

본 발명은 상기 구성에 의해서, 교량 상부에 설치된 CCTV의 영상과 영상데이터를 딥러닝 모델을 이용하여 분석하여 교량을 통행하는 차량의 하중 이력을 획득하는 효과가 발생한다.

본 발명은 이를 위해 딥러닝 모델로 차종 분류 및 위치 탐지를 위해 Faster R-CNN을 선정하고, 학습된 모델의 정확도 검증을 위해 object detection 성능 평가 지표인 mAP 값을 도출한 결과, mAP(Mean Average Precision) 값이 mAP=0.7289로 높은 정확도를 나타낸 결과를 확인하여, 본 발명에 따라 학습된 모델은 검증 결과를 통해 신뢰성이 확인되었다.

본 발명을 활용하면, 국내 교량에 설치되어있는 CCTV 영상에 연구를 통해 개발한 딥러닝 모델 기술을 접목하여 교량을 통행하는 다양한 하중 이력 도출 시스템을 자동화할 수 있고, 장기적인 교량 유지관리 기술을 개발할 수 있고 수집한 데이터를 기반으로 하나의 교량 안전 시스템을 구축할 수 있다.

도 1은 본 발명에 따른 분석시스템에서 교량 통행 차량을 CCTV로 촬영하는 실험 모습이며,
도 2는 본 발명에 따른 분석시스템에서 도출된 교량 통행 차량의 하중 이력 그래프이다.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 또한, 사용된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들이며 이는 사용자 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서의 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 차량을 통행하는 차량 영상을 촬영하는 CCTV와 CCTV에서 촬영된 영상데이터를 딥러닝 모델을 이용하여 분석하는 것이며, 비접촉식 차량 탐지로 딥러닝 모델을 이용한 자동화 차량 탐지 기술이다.

본 발명에서는 촬영된 영상데이터 속 차량들의 차종을 딥러닝 모델을 이용하여 분석하고 이들 차량의 하중을 계산하되, 차량들 중 유사한 차량을 단일 차종으로 분류하고, 각 차종의 평균 하중을 고려하여 교량에 작용하는 하중 이력 데이터를 산출하는 것이 특징이다. 이를 바탕으로 CCTV 영상에서 탐지된 차량에 평균 하중을 적용하여 하중 이력을 획득하는 것이기 때문에 실제 차량 하중을 측정하는 과정이 불필요하다.

본 발명의 일 실시예로서 구체적인 과정을 보면 다음과 같다.

차량 모델을 분석하는 딥러닝 모델로는 차종 분류 및 위치 탐지를 위해 Faster R-CNN을 선정하였다. 그리고, 국내의 60개 차종에 대한 하중 분석을 통해 하중에 따라 7종의 모델을 제시하고, 가정을 통해 각 차종별 평균하중을 제시하였다. 즉, 국내 차종을 하중을 고려하여, 제1그룹, 제2그룹...제7그룹의 총 7개의 집단으로 분류하고, 각 7개의 집단별로 차량의 평균 하중을 고려하였다. 이를 통해, 제1그룹에 속하는 차량들의 평균하중은 제1평균하중이라 하고, 제2그룹에 속하는 차량들의 평균하중은 제2평균하중이라고,...제7그룹에 속하는 차량들의 평균하중은 제7평균하중이라고 하였다.

그리고, 각 평균하중에 추가 하중을 계산하되 가정 사항을 적용하였다. 예를 들면, 경차, 승용차, SUV 차량에는 승차인원을 성인 2명(65kg*2)이 탑승한 걸로 가정하고, 버스 에는 승차인원을 성인 20명(65kg*20)이 탑승한 걸로 가정하고, 트럭은 최대적재중량의 1/2에 해당하는 중량물을 적재한 것으로 가정하였다. 그리고, 교량을 통과하는 차량의 차종 모델명을 파악하기 위해서는 CCTV영상을 이용하여 촬영된 영상에서 Faster R-CNN 딥러닝 모델을 선정하여 분석하였다.

즉, 본 발명은 우선 차량을 하중을 기준으로 제1그룹, 제2그룹...제N그룹으로 이루어진 복수 개의 그룹으로 그룹핑하여 분류하는 1단계를 거친다. 제1그룹에 속하는 복수 개의 차량 하중의 평균값인 제1평균하중과, 제2그룹에 속하는 복수 개의 차량 하중의 평균값인 제2평균하중과....제N그룹에 속하는 복수 개의 차량 하중의 평균값인 제N평균하중을 산정하는 2단계를 통해, 개별 차량의 하중을 고려하지 않고, 이들 평균화된 평균값인 평균하중을 이용하여 교량통과 하중을 산출하도록 한다.

상기 차량 분류는, 차량의 하중을 고려하여, 차량 하중의 최소값과 최대값 사이에 복수 개의 구간을 나누어 각 구간에 해당하는 그룹으로 분류하게 되는데, 본 발명에서는 예시적으로 7개의 그룹으로 분류하여 검증하였다. 그리고, CCTV에 촬영된 차량이 속하는 그룹의 평균하중을 이용하여, 교량 통과 차량의 하중을 산출한다(5단계).

즉, 교량을 통과하는 개별 차량이 복수 개의 그룹 중 어느 그룹에 속하는지 소속그룹을 판단하고(5-1단계), 상기 개별 차량이 속하는 소속그룹의 평균하중을 개별 차량의 교량통과하중으로 일괄적으로 선택하는 것이다(5-2단계). 그리고, 특정 시간대에 상기 개별 교량통과하중의 총합을 해당 시간대 교량 통과 차량의 총하중으로 산출하게 된다(5-3단계).

그리고, 교량에 통과하는 차량을 CCTV로 촬영하고, 딥러닝 모델을 활용하여, 상기 CCTV로 촬영된 차량의 모델을 분석하고, 차량이 속하는 그룹을 분석하게 되는데, 상기 딥러닝 모델은 차량 모델 분석 및 차량 위치 탐지를 위해 Faster R-CNN을 선정하고, 딥러닝 모델의 차량 모델 분석을 위해 학습하는 단계를 거치는 것은 위에서 설명한 것과 같다.

그리고, 상기 CCTV를 교량을 따라 복수 개를 설치하고, 교량을 통행하는 차량의 이동 경로를 추적하여, 교량에 가해지는 하중의 패턴을 분석하는 단계를 더 포함할 수도 있다.

위와 같은 방법을 통해, 기존의 WiM(Weigh in Motion) 시스템보다 ‘경제적인’ 하중 감지 기술일 뿐만 아니라, Object Tracking 기술을 적용함으로써, 차량 탐지 능력 향상으로 차량 이동 경로를 보다 정확하게 파악할 수 있어 하중의 복잡한 패턴을 이해할 수 있게 되는 이점이 있다. 즉, 단순히 교량을 통과한 차량의 하중의 단순한 합이 아니라, 교량을 통과하는 차량의 이동 패턴을 분석하여 교량에 가해지는 하중의 복잡한 패턴의 분석이 가능한 것이며, 이것은 교량을 따라 복수 개의 CCTV을 설치하고 이들 영상을 분석함으로써 보다 정확한 데이터가 도출될 수 있다. 이러한 데이터를 기반으로 도로 계획이나 건설 부문에서 교량의 안전 여부 및 교량의 내구성 검토 등 교량 설계에 있어 필요한 기초 자료들을 다양하게 활용할 수 있다.

본 발명에 따른 분석시스템에서는, 딥러닝 모델 학습을 위해 독립문 교량 교통 CCTV를 선정하였으며, CCTV 영상은 서울지방경찰청 종합교통정보센터를 통해 획득하였다. 무작위로 추출한 CCTV 영상 프레임을 ‘MATLAB Image Labeler’를 통해 총 1,269장의 학습데이터를 구축하였다. 이 중 761장은 Training을 위한 학습용 데이터로, 508장은 학습 결과 도출을 위해 사용했다. 차량 탐지 딥러닝 모델 구현은 도 1을 참조할 수 있다. 그리고, 학습된 모델의 정확도 검증을 위해 object detection 성능 평가 지표인 mAP 값을 도출하였다. mAP(Mean Average Precision) 값은 0~1 사잇값을 가지며 1에 가까울수록 정확도가 높다고 판단되는데, 개발된 차량 탐지 모델의 mAP=0.7289로 검증된 모델이 높은 정확도를 나타내었다.

그리고, 도 2에서는 통과 차량의 하중 이력 곡선을 도출한 결과이며, 13~20시 사이 통행한 차량을 기준으로 총 13,572개의 차량을 탐지하였으며, 탐지한 값으로 하중 이력 그래프를 도출하였다. 그래프를 통해 시간에 따른 활하중 변화 양상을 파악할 수 있고, 최대하중이 작용했던 시점 및 교량에 작용하는 차량하중 분석이 시간대별로 도출되었다.

본 연구는 CCTV 영상만을 이용하여 교량을 통행하는 차량 하중 이력 데이터를 취득하는 기술의 가능성을 제시하였으며, 취득된 데이터는 향후 교량의 안전성을 확보하고 노후화를 예측하는 근거자료로 활용될 것으로 기대된다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

차량을 제1그룹, 제2그룹...제N그룹으로 이루어진 복수 개의 그룹으로 분류하는 1단계;
제1그룹에 속하는 복수 개의 차량 하중의 평균값인 제1평균하중과, 제2그룹에 속하는 복수 개의 차량 하중의 평균값인 제2평균하중과....제N그룹에 속하는 복수 개의 차량 하중의 평균값인 제N평균하중을 산정하는 2단계;
교량에 통과하는 차량을 CCTV로 촬영하는 3단계;
딥러닝 모델을 활용하여, 상기 CCTV로 촬영된 차량의 모델을 분석하고, 차량이 속하는 그룹을 분석하는 4단계; 및
CCTV에 촬영된 차량이 속하는 그룹의 평균하중을 이용하여, 교량 통과 차량의 하중을 산출하는 5단계;를 포함하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.
제1항에 있어서, 상기 1단계에서,
상기 차량 분류는, 차량의 하중을 고려하여, 차량 하중의 최소값과 최대값 사이에 복수 개의 구간을 나누어 각 구간에 해당하는 그룹으로 분류하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.
제1항에 있어서, 상기 4단계는,
상기 딥러닝 모델은 차량 모델 분석 및 차량 위치 탐지를 위해 Faster R-CNN을 선정하고, 딥러닝 모델의 차량 모델 분석을 위해 학습하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.
제1항에 있어서, 상기 5단계는,
교량을 통과하는 개별 차량이 복수 개의 그룹 중 어느 그룹에 속하는지 소속그룹을 판단하는 5-1단계;
상기 개별 차량이 속하는 소속그룹의 평균하중을 개별 차량의 개별 교량통과하중으로 선택하는 5-2단계;
특정 시간대에 상기 개별 교량통과하중의 총합을 해당 시간대 교량 통과 차량의 총하중으로 산출하는 5-3단계;를 더 포함하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.
제4항에 있어서, 상기 5단계는,
상기 개별 차량이 속하는 소속그룹의 평균하중은,
개별차량이 승용차 또는 SUV 차량인 경우, 승차인원으로 성인 두명이 탑승한 것으로 가정하여 65kg*2의 하중을 더하여 계산하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.
제4항에 있어서, 상기 5단계는,
상기 개별 차량이 속하는 소속그룹의 평균하중은,
개별차량이 트럭인 경우, 트럭 최대 적재 중량의 1/2을 더하여 계산하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.
제4항에 있어서, 상기 5단계는,
상기 개별 차량이 속하는 소속그룹의 평균하중은,
개별차량이 버스인 경우, 승차인원으로 성인 20명이 탑승한 것으로 가정하여 65kg*20의 하중을 더하여 계산하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.
제1항에 있어서, 상기 3단계에서,
상기 CCTV는 교량을 따라 복수 개가 설치되어 있어서,
교량을 통행하는 차량의 이동 경로를 추적하여, 교량에 가해지는 하중의 패턴을 분석하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝을 활용한 교량통행 차량하중 분석시스템.