KR102653270B1 - Cctv의 차선 변경 차량 탐지 방법 - Google Patents

Abstract

본 발명의 목적은 CCTV가 터널 내 우측 벽면에 비스듬히 설치되어 있는 상태에서 터널 내 차량의 차선 변경을 비교적 정확히 인지할 수 있도록 형성되는 AI(Artificial Intelligence) 기반의 CCTV의 차선 변경 차량 탐지 방법을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 CCTV의 차선 변경 차량 탐지 방법은, 우측 벽면에 설치된 CCTV로부터 영상 프레임을 획득하는 단계; 상기 획득된 영상 프레임 내에서의 차량을 검출하는 단계; 상기 검출된 차량의 폭(Width)을 감지하여 영상 프레임 내에 차량선을 표시하는 단계; 상기 영상 프레임 내에서의 차선을 감지하고 표시하는 단계; 및 상기 표시된 차선에 대해 차량선이 침범하는지 판단하는 단계;를 포함하는 것을 특징으로 한다.

Description

CCTV의 차선 변경 차량 탐지 방법{LANE-CHANGING VEHICLES DETECT METHOD OF CCTV}

본 발명은 CCTV의 차선 변경 차량 탐지 방법에 관한 것으로, 더욱 상세하게는 터널 내 설치 환경인 CCTV가 터널 내의 우측 벽면에 비스듬히 설치되어 있는 상태에서 차량의 차선 변경을 비교적 정확히 인지할 수 있도록 한 AI(Artificial Intelligence) 기반의 CCTV의 차선 변경 차량 탐지 방법에 관한 것이다.

국토부 통계 자료에 따르면, 2020년도에 발생한 전체 교통 사고 중 터널 안에서의 사고 빈도가 일반 도로보다 더 높게 나타났다.

또한, 터널 내부에서 발생하는 교통 사고는 시야의 한계성과 터널의 폐쇄성으로 인해 대형 사고로 이어질 수 있는 위험성을 내재하고 있다.

이러한 문제점을 보완하기 위해, 터널 내부에 고정되어 있는 CCTV(Closed Circuit Television) 영상을 기반으로 한 영상 유고 감시 시스템(Video Base Tunnel Accident Detection System)을 운용하고 있다.

영상 유고 감시 시스템은 사고 발생시, 초동 대응을 가능하게 함으로써 대형 사고를 줄일 수 있어 시스템들의 도입이 활발하게 진행되고 있지만, 터널 안의 열악한 환경 요인(조명, CCTV 노후화, 매연으로 인한 가시거리 미확보)으로 인해 실효를 거두지 못하고 있다.

특히, 영상 분석에 사용되고 있는 CCTV는 일반적으로 터널 내의 우측 벽면에 설치되어 있으므로 차량의 식별 및 분류가 원활하게 이루어지지 않은 문제가 있다.

이는, 영상 유고 감시 시스템이 움직이는 물체를 탐지하는 것으로부터 시작되지만, 움직이는 영상에는 흐려지는 블러(Blur) 현상이 발생하기 때문에 정확한 차량의 식별 및 분류가 이루어지지 않는다.

따라서, 터널 내부에서 발생하는 교통 사고에 대한 정확한 분석을 위해서는 단순 영상 분석이 아닌 새로운 접근 방법이 필요하다.

종래의 도로에서 주행 중인 차량에 대한 차선 변경을 인지하는 방법은 비전 알고리즘 사용하였다.

비전 알고리즘에 사용되는 컴퓨터 비전 기술은 큰 맥락에서 프레임 이미지(Frame Image) 속의 물체와 상태를 파악하는 것으로, 그 과정은 프레임 이미지를 획득하고, 특정한 대상을 탐지한 후 객체의 상태를 판단하도록 이루어진다.

즉, 종래에는 차선 변경 보조 시스템(LCAS: Lane Change Assist System)과 경고 시스템을 이용하는 것으로, 차선과 차량 탐지 방법을 결합하여 사용하였다.

구체적으로, 차선의 표시(도장)를 감지하고, 감지된 차선 영역 내에서 차량의 특징을 추출한 후에 비전 알고리즘을 활용하여 차량을 검출하는 방식으로, 차선 검출 과정에는 라인 추출, 소실점 추정, 차선 표시 감지 등의 단계가 포함된다.

라인 추출은 이미지에서 선을 추출하는 작업으로, 분석 속도가 중요하므로 ROI(Regin Of Interest)와 EDlines 알고리즘을 활용하여 선을 추출하며, 이 과정에서는 무의미한 선들이 많이 포함되어 있으므로 관련 없는 선을 제거하는 작업과 의미있는 선만 남기는 작업의 두 단계로 이루어진다.

여기서, 의미 있는 선은 차선 표식과 소실점에서 교차하는 선들로서, 가운데 차선의 중심으로부터 좌측 그룹과 우측 그룹으로 나누고 수평선과의 각도 범위를 좌측 그룹은 30° 내지 80°, 우측 그룹은 120° 내지 175° 범위에 속한 선만을 남겨 중심 차선과 양쪽 두 개 차선에 대하여 구분한다.

소실점은 라인 추출 과정에서 좌측 그룹과 우측 그룹의 라인간의 교차점으로, 소실점 추정은 허용된 오차 범위와 동일한 크기의 사각형 셀로 구성된 격자를 만들고, 모든 라인을 연장하면서 서로 만나게 되어 가장 많이 교차하는 셀의 중심 무게를 소실점의 근사치로 반환하여 추정한다.

차선 표시 감지는 도 1의 (a)에 도시된 바와 같이 수평의 직선을 생성하고 라인과 교차하는 지점간의 거리를 기반으로 하여 차선표를 감지한 후, 카메라 시점을 기준으로 하여 가운데에 속한 숫자 2와 3 사이 d의 거리를 차선으로 정의한다.

이때, 수평선과의 교차점 간의 거리를 d로 봤을 때, 좌측과 우측 차선 표시도 d와 근접한 거리여야 하며, 이 경우 도 1의 (b)와 같은 결과로 최종적으로 차선이 검출된다.

한편, 후방 차선 검출의 경우도 전방과 차선 검출 과정은 동일하게, 라인 추출, 소실점 추정, 차선 표시 감지 등의 단계로 이루어진다.

차량의 검출은 수평 모서리 필터(Horizontal Edge Filter)를 통해 처리되고 민감도(Thresholding)을 사용하여 도 2에 도시된 바와 같이 바이너리 이미지(Binary Image)로 변환하며, 바이너리 이미지를 얻은 후에는 검출된 차선 표시에 따라 이미지를 차선 영역으로 나눈다.

여기서, 차선의 영역 정보 내의 이미지를 차량의 후보군으로 선정하여 수평 모서리 필터를 사용하는데, 이때 차량의 그림자, 도로 보수의 흔적 등과 같은 노이즈를 차량으로 잘못 인식하는 현상이 발생할 수 있으므로, 이러한 노면 노이즈를 없애기 위해 차량의 특징과 검출된 차량 후보를 비교하는 과정을 수행한다.

이후, 차량의 모서리를 확인하기 위해 슬라이딩 윈도우(Sliding Window)를 생성하고, 슬라이딩 윈도우를 통해 왼쪽의 차량 후보는 오른쪽 가장자리를, 오른쪽 차량 후보는 왼쪽의 가장자리를, 중앙 차선의 차량 후보는 양쪽의 가장자리를 확인하면서, 수직 축을 따라가는 슬라이딩 윈도우의 픽셀 값의 합이 충분이 클 경우 차량으로 인식한다.

차량이 인식되면 정면 뷰를 중심으로 좌측의 차량과 우측의 차량의 속도와 라인과의 차이를 측정하고 이를 통해 차선의 변경을 유추한다.

상기와 같이 정면 뷰를 바탕으로 비전 기술을 이용하여 차선을 명확하게 인식하는 것과, 차선으로부터 차량의 떨어진 정도를 파악하는 비전 알고리즘은 높은 확률로 차선 변경 인지 검출을 보인다.

그러나, 실질적인 도로 환경은 불법적 차량 변경 상태를 감지하기 위한 카메라들이 대부분 정면 뷰가 아닌 비스듬히 설치되어 있고, 특히 터널 내의 차선 변경을 감지하기 위한 목적으로 설치된 CCTV는 터널 내 우측 벽면에 비스듬히 설치되어 있다.

이 때문에, 종래의 차선 변경 인지 알고리즘으로는 터널 내의 차선 변경을 감지하기가 어려운 실정에 있다.

이는, CCTV의 설치 위치로 인해 CCTV로부터 상대적으로 멀리 떨어진 1차선과 4차선 간의 원근감이 발생하기 때문으로, 차량과 차량의 상대적 측정 관계로 분석하는 종래 차선 변경 인지 알고리즘은 도 3에 도시된 원근감에 따른 다음의 이유로 정확한 결과를 기대할 수 없다.

첫째, 고속(50km 이상)으로 이동 중인 차량에는 블러(Blur) 현상이 발생한다.

둘째, CCTV에 근접해 있는 차량으로 인해 옆차로에 운행 중인 차량이 가려진다.

세째, 사선에서 촬영된 영상은 차선을 침범한듯한 왜곡을 유발한다.

네째, 서로 다른 위치에서 동일한 속도로 움직이는 차량은 구분하기 어렵다.

따라서, 상기와 같은 문제를 해결하기 위해서는 CCTV의 실질상 설치 환경에 적합한 새로운 방식의 차선변경 인지 알고리즘이 필요하다.

대한민국 등록특허공보 제10-1859402호

상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 CCTV가 터널 내 우측 벽면에 비스듬히 설치되어 있는 상태에서 터널 내 차량의 차선 변경을 비교적 정확히 인지할 수 있도록 형성되는 AI(Artificial Intelligence) 기반의 CCTV의 차선 변경 차량 탐지 방법을 제공하는 것이다.

상기 목적을 달성하기 위해, 본 발명에 따른 CCTV의 차선 변경 차량 탐지 방법은, 우측 벽면에 설치된 CCTV로부터 영상 프레임을 획득하는 단계; 상기 획득된 영상 프레임 내에서의 차량을 검출하는 단계; 상기 검출된 차량의 폭(Width)을 감지하여 영상 프레임 내에 차량선을 표시하는 단계; 상기 영상 프레임 내에서의 차선을 감지하고 표시하는 단계; 및 상기 표시된 차선에 대해 차량선이 침범하는지 판단하는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 차량 탐지 방법에서, 상기 차량을 검출하는 단계는, 상기 영상 프레임을 디블러링 이미지(Deblurring image) 처리 후에 차량을 검출하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 탐지 방법에서, 상기 디블러링 이미지 처리는 Difference of Gaussian Filter를 활용하여 처리하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 차량 탐지 방법에서, 상기 차량선을 표시하는 단계는, 상기 검출된 차량의 위치 정보를 추출하는 단계; 상기 차량의 위치 정보를 통해 차량 폭을 감지하는 단계; 및 상기 감지된 차량의 폭을 기초로 차량선으로 표시하는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 탐지 방법에서, 상기 차량의 위치 정보는 사각 바운더리로 형성되는 Rect(x, y, w, h) 정보이며, 상기 차량 폭은 상기 Rect(x, y, w, h) 정보의 사각 바운더리에서 추출되는 양측 모서리 또는 양측 꼭짓점간(P1, P2)의 거리인 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 차량 탐지 방법에서, 상기 차량의 폭은 차량 후면부의 폭인 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 차량 탐지 방법에서, 상기 차선의 표시 색은 상기 차량선의 표시 색과는 다른 색으로 표시되는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 차량 탐지 방법에서, 상기 표시된 차선에 대한 차량선이 침범하는지 판단하는 단계는, 차량선 방향을 따라 각 픽셀의 색에 대한 검증을 시작하는 단계; 상기 검증하는 픽셀이 차량의 폭 영역에 속한 픽셀인지 판단하는 단계; 상기 검증하는 픽셀이 차량의 폭 영역에 속한 픽셀일 경우 검증되는 픽셀의 색에서 차선의 색이 검출되는지 판단하는 단계; 및 상기 검증되는 픽셀의 색에서 차선의 색이 검출될 경우 상기 차량선이 차선을 침범하는 것으로 판단하는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 차량 탐지 방법에서, 상기 차량선은 영상 프레임을 획득하는 CCTV의 설치 위치와 차선의 거리를 고려한 마진(Margin)이 부여되어 표시되며, 상기 차량선은 CCTV의 설치 위치로부터 멀수록 더 큰 마진(Margin)이 부여되는 것을 특징으로 한다.

또한, 본 발명에 따른 CCTV의 차선변경 차량 탐지 방법에서, 상기 차량선은 차로폭에 비례한 최대 차폭으로 마진이 결정되는 것을 특징으로 한다.

기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 의하면, 기존에 설치된 유고 감시 시스템들이 터널 내 CCTV에 적용하였을 때 차선 변경 차량에 대한 탐지가 어렵지만, 운전자의 불법적 행위인 터널 내 차선 위반을 감지할 수 있어 사고를 미리 방지하는 효과가 있다.

또한, 본 발명에 의하면, 시스템 도입 측면에서 볼 때, 차선 변경 차량 탐지를 위해 새로운 시설 투자 비용이 소요되지 않고, 기존에 설치된 터널 내 CCTV로도 터널 내 차선 위반을 감지할 수 있는 효과가 있다.

도 1은 종래의 비전 알고리즘을 활용한 라인 추출 과정을 예시한 도면.
도 2는 종래의 비전 알고리즘을 활용한 차량 검출 과정을 예시한 도면.
도 3은 종래의 비전 알고리즘을 터널 내 설치된 CCTV에 적용하였을 때 발생되는 문제점을 보여주는 도면.
도 4는 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법을 구현하는 차선변경 차량 탐지 시스템의 구성도.
도 5는 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법의 흐름도.
도 6의 (a) 내지 (c)는 본 발명의 실시 예에 따라 터널 내 차량이 50km 이상의 속도로 주행하는 상황에서 YOLOv3 모델을 활용하여 차량을 검출하는 과정을 보여주는 도면이며, (d) 내지 (f)는 터널 내 차량이 30km 이하의 속도로 주행하는 상황에서 YOLOv3 모델을 활용하여 차량을 검출하는 과정을 보여주는 도면.
도 7 및 도 8은 각각 터널 내 차량이 50km 이상과 30km 이하의 속도로 주행하는 상황에서의 필터링을 적용하지 않고 차량 검출 과정을 보여주는 도면.
도 9는 및 도 10은 각각 터널 내 차량이 50km 이상과 30km 이하의 속도로 주행하는 상황에서의 배경추적 알고리즘을 통해 차량 검출 과정을 보여주는 도면.
도 11은 내지 도 13은 본 발명의 실시 예에 따른 차선 위반 감지 과정을 상세히 보여주는 도면.
도 14는 본 발명의 실시 예에 따라 터널 내 CCTV의 설치 위치 및 각도를 고려한 차량선 마진 설정을 예시하는 도면.
도 15는 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법의 전체 과정을 알고리즘화 하여 보여주는 도면.
도 16은 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법에 대해 검증하기 위해 제작된 테스트 어플리케이션을 보여주는 도면.
도 17은 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법에 대한 검증 시에 영상정보 송수신 검증을 위해 RTSP(Real Time Streaming Protocol)의 로그를 분석하는 것을 보여주는 화면.
도 18은 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법에 대한 검증 시에 정의되는 Recall value와 IoU value를 보여주는 도면.
도 19는 및 도 20은 각각 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법에 대해 속도 50km 이상 터널 구간과 30km 이하 터널 구간에서의 검증 상태를 보여주는 이미지.
도 21의 (a) 내지 (d)는 도 19의 검증 환경 하에서 도출된 차선별(1차선부터 4차선 순) Recall 및 IoU의 결과 값이고, 도 22의 (a) 내지 (d)는 도 19의 검증 환경 하에서 도출된 차선별(1차선부터 4차선 순) IoU 분포도.
도 23의 (a) 내지 (d)는 도 20의 검증 환경 하에서 도출된 차선별(1차선부터 4차선 순) Recall 및 IoU의 결과 값이고, 도 23의 (a) 내지 (d)는 도 20의 검증 환경 하에서 도출된 차선별(1차선부터 4차선 순) IoU 분포도.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.

이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.

도 4는 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법을 구현하는 차선 변경 차량 탐지 시스템의 구성도이다.

도 4를 참조하여, 본 발명의 실시 예에 따른 CCTV의 차선변경 차량 탐지 방법을 구현하는 차선변경 차량 탐지 시스템을 살펴보면, 차선 변경 차량 탐지 시스템은 CCTV(10), 영상 판독 서버(20) 및 설정된 기기(30)를 포함하여 구성될 수 있다.

구체적으로, CCTV(10)는 터널 내에 설치될 수 있으며, 종래에 설치되는 것과 같이 우측 벽면에 비스듬히 설치될 수 있다.

그러나, 이는 예시적인 것일 뿐 반드시 한정되는 사항은 아니며 설치의 위치는 달라질 수도 있다.

또한, CCTV(10)는 초당 27 프레임(27fps) 내지 초당 32 프레임(32fps)로 영상 프레임을 획득할 수 있으며 바람직하게는 초당 29 프레임(29fps)로 획득할 수 있으나, 이 또한 예시적인 것일 뿐 한정되는 것은 아니며 초당 영상 프레임의 획득 수는 CCTV의 성능에 따라 상술한 범위에 미달되거나 벗어날 수도 있다.

또한, CCTV(10)는 영상 판독 서버(20)와 연결되어 획득한 영상 프레임을 통신 모듈 또는 통신선 등의 통신 수단(미도시)을 통해 영상 판독 서버(20)로 실시간 또는 주기적으로 전송할 수 있다.

이러한 CCTV(10)는 동일 주행 방향 기준으로 터널 내의 한 개만 설치될 수도 있으나, 터널의 길이에 따라서 복수로 마련될 수도 있으며, 개수는 특별히 한정되지는 않는다.

영상 판독 서버(20)는 CCTV(10)로부터 촬영되어 획득된 영상 프레임을 전송받아 해당 영상 프레임 내에 감지된 차량이 차선을 변경하는 지를 판독하는 서버로, 바람직하게는 따로 독립적인 공간을 갖도록 설치되어 CCTV(10)와는 이분화 되도록 형성될 수도 있으나, 한편으론 다수의 데이터 처리를 위해 엣지 컴퓨팅(Edge computing)의 구조로 형성되어 CCTV(10) 내에 마련될 수도 있다.

영상 판독 서버(20)가 엣지 컴퓨팅의 구조로 형성될 경우에는 CCTV(10)마다 설치되며, 이에 따라 복수로 마련될 경우에는 복수의 영상 판독 서버(20) 중 하나가 설정되어 다른 영상 판독 서버(20)들을 제어하도록 형성되거나, 영상 판독 서버(20) 외에 영상 판독 서버(20)들을 제어할 제어 서버(미도시)가 따로 마련될 수도 있다.

영상 판독 서버(20)는 AI(Artificial Intelligence) 시스템을 이용하여 영상 프레임 내에 감지된 차량이 차선을 변경하는 지를 판독할 시에 영상 프레임 내에서 차량을 검출하고, 검출된 차량의 폭을 이용하여 차량선을 표시 후 표시된 차량선이 차선을 침범하는 지를 판단하여 차선 변경을 판독할 수 있으며, 알림부(25)를 마련하여 판독 결과에 따라 알림을 발생할 수 있다.

이에 대한 보다 상세한 설명은 CCTV의 차선변경 차량 탐지 방법을 설명할 때에 보다 구체적으로 설명하기로 한다.

설정된 기기(30)는 영상 판독 서버(20)와 연결되어 영상 판독 서버(20)로부터 차선 변경을 하는 차량이 탐지되었을 시 알람을 받고 관제하는 기기로, 바람직하게는 터널 내 상황을 실시간으로 모니터링 하는 관제 시스템일 수 있으나, 이에 반드시 한정되는 것은 아니며 모바일 단말 또는 태블릿 PC 등의 휴대 단말 기기 등 일 수 있고, 한편으론 터널 내 설치된 스피커 등이나 안내 표지판 등일 수도 있다.

이하, 첨부된 도면을 참조하여 상술한 차선 변경 차량 탐지 시스템에 의해 구현되는 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법을 상세히 살펴보기로 한다.

도 5는 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법의 흐름도이다.

도 5를 참조하면, 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법은, 영상 프레임을 획득하는 단계(S10), 획득된 영상 프레임 내에서의 차량을 검출하는 단계(S20), 검출된 차량의 폭(Width)을 감지하여 영상 프레임 내에 차량선을 표시하는 단계(S30), 영상 프레임 내에서의 차선을 감지하고 표시하는 단계(S40), 표시된 차선에 대해 차량선이 침범하는 지를 판단하는 단계(S50)를 포함하여 구성될 수 있다.

여기서, S10 단계는 CCTV(10)에서 이루어질 수 있으며, S20 내지 S50 단계는 영상 판독 서버(20)에서 이루어질 수 있다.

여기서, S10 단계는 CCTV(10)를 통해 단지 영상 프레임을 획득하는 것만 수행하므로, 실질적으로 차량이 차선을 변경하는 지에 대해 판독하는 S20 단계 내지 S50 단계에 대해서만 상세히 설명하기로 한다.

S20 단계는 획득된 영상 프레임 내에서의 차량을 검출하는 단계로, CCTV(10)를 통해 획득된 영상 프레임은 영상 판독 서버(20)로 전달되어 디코딩이 완료된 상태에서 차량 검출에 사용될 수 있다.

이때, 차량 검출은 단순 디코딩이 완료된 상태에서만 이루어질 수도 있으나, 바람직하게는 차량 검출은 정확도를 높이기 위해 디블러링 이미지(Deblurring image) 처리 후에 검출을 수행할 수 있다.

블러링(Blurring)이란 50Km 이상의 고속으로 주행하는 차량에서 급격한 변화로 인하여 이미지가 번지고 흐려지는 오류 현상으로서, 50Km 이상으로 고속 주행하는 차량에서는 대부분 나타나고 있으며, 빠르게 움직이는 차량이고 큰 차일수록 블러링 현상이 더욱 심하게 나타난다.

이 때문에 본 방법에서는 이러한 블러링 현상이 나타난 영상 프레임에 대해 디블러링 처리하여 노이즈를 최소화한 상태로 검출함으로써 빠르게 움직이는 차량에서 나타나는 흐려짐 현상을 줄일 수 있고, 결국 차량의 위치를 더욱 정확하게 탐색할 수 있다.

이때, 본 방법에서는 디블러링을 통한 노이즈를 줄이는 방법으로, Difference of Gaussian Filter(DoGF)를 활용하여 이미지 전처리 즉, 디블러링을 수행한다.

Difference of Gaussian Filter는 흐릿한 원본 이미지를 다른 덜 흐릿한 원본 이미지에서 빼는 기능 강화 알고리즘이다.

단순한 회색조 이미지 영상의 경우, 원본 회색조 이미지를 서로 다른 너비(표준 편차)를 갖는 가우시안 커널(Gaussian kernels)로 컨볼빙(Convolving)하여 흐릿한 이미지로 얻는다.

여기서, 가우시안 커널을 사용하여 이미지를 흐리게 처리하면 고주파 공간 정보만 억제된다.

이때, 한 이미지를 다른 이미지에서 빼게 되면 두 개의 흐린 이미지에서 보존되는 주파수 범위 사이에 있는 공간 정보가 보존된다.

즉, Difference of Gaussian Filter는 대역 중심에서 거리가 먼 회색조 이미지의 영상에서 주파수(Frequencies)를 감쇠시키는 공간 대역 통과 필터로서, 상기 의 방법을 통해 디블러링 이미지 전처리를 수행함으로써 차량 검출 정확도를 보다 높일 수 있다.

상기와 같이 Difference of Gaussian Filter에 의해 이미지 전처리 된 영상 프레임에서 차량 검출이 수행될 수 있는데, 이때 바람직하게는 차량 검출은 DNN(Deep Neural Network)를 통해 추론하여 검출을 수행할 수 있다.

DNN(Deep Neural Network)는 입력층(Input layer)과 출력층(Output Layer) 사이에 다중의 은닉층(Hidden layer)을 포함하는 인공 신경망으로서, 다양한 비선형적 관계를 학습하면서 문제를 해결할 수 있다.

차량을 정확히 검출하려면 서로 다른 독립된 개체 즉, 차량간의 간섭을 최소화하여 각 차량의 대해 좌표(Blob Position)를 획득하는 것이 중요한데, 종래의 물체의 좌표를 추출하기 위한 방법은 간섭을 해결하지 못하는 문제로 인하여 실효성이 높지 않았지만, 본 차선변경 차량 탐지 방법에 있어서는 이미지 전처리 후에 DNN(Deep Neural Network)를 통해 객체의 위치를 검출함으로써 차량 검출 및 검출된 차량에 대해 생성되는 좌표(Blob Position)의 정확도가 높을 수 있다.

이는, 실제 터널 영상을 바탕으로 차선을 따라 생성한 ROI(Resign Of Interest)에 1초 내지 2초간 노출된 객체의 위치를 비교한 결과, 탐지된 객체의 좌표의 정확도가 DNN 방법을 통해 하였을 때 가장 높은 것으로 확인된다.

특히, 본 발명의 실시 예에 따른 차선변경 차량 탐지 방법은 보다 바람직하게는 DNN 인공 신경망을 YOLOv3 모델로 구성할 수 있다.

입력된 이미지 프레임 한 장을 분석하기 위해서는 각 단계에 필요한 알고리즘이 각각 사용되는데, 블록을 쌓듯 개개별 알고리즘들을 중첩하게 되면 성능은 개선되지만 처리속도는 상대적으로 늦어지게 된다.

하지만, 객체만을 분리하는 컨볼루션 신경망(Convolution neural network, CNN) 계열의 분류(Classification)은 간단한 전처리 외에 추가적인 알고리즘은 필요로 하지 않고, 도 6에 도시된 바와 같이 비전 탐지 알고리즘을 사용했을 때와 비교했을 때 개선이 됨을 확인할 수 있다.

다만, 물체가 겹쳐지는 부분에서는 저속 운행 중인 차량의 그림자로 인해 바운더리 박스(Boundary box)의 세로 길이가 조금 길어지는 오류가 발생하고, 이런 오류는 터널 내부의 환경적인 요인이 절대적이며, 카메라의 설치 위치와 조명의 밝기 값에 따라 차이가 달라질 수 있다.

그러나, 환경적인 변화에 강점이 있는 YOLOv3의 경우에는 움직이는 객체 탐지에 있어서 훨씬 유용성이 높은 것으로 나타났으며, 고속으로 움직이는 차량에서도 흐려짐은 발생하지만 차량의 정확한 위치에 대한 바운더리 박스가 추출된다.

이는, 영상 처리 필터링이 적용이 되지 않은 상태로 차량 검출을 수행했을 때에는 매초 분석을 해야 하는 계산량을 줄일 수 있어 처리속도와 양은 개선되는 이점이 있지만, 도 7 및 도 8에 도시된 바와 같이 블러링과 객체간의 분리가 되지 않는 현상으로 인해 실질적으로 정확한 탐지가 되지 않는 것과, 배경 추정 알고리즘을 사용하여 차량 검출을 수행했을 때에는 도 9에 도시된 바와 같이 차량이 50km 이상의 고속 주행하는 환경에서는 차량 간의 분리는 확실한 개선을 보였지만, 블러링 현상으로 인하여 차선이탈 및 변경을 정확하게 판단하는 데 어려움을 보이고, 도 10에 도시된 바와 같이 차량이 30km 이하의 저속 주행하는 환경에서는 차량과 차량 사이가 분리되지 않고 하나로 인식되는 현상이 다수 발생하는 것과는 대조적인 형태로서, 다른 방법을 적용한 것에 대비 가장 뛰어난 차량 검출 효과를 나타내는 것으로 판단된다.

따라서, 상기와 같은 YOLOv3 모델을 사용하여 차량 검출을 수행하는 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법은 보다 정확한 차량 검출이 이루어지고, 이에 따라 차선변경 차량에 대한 탐지도 정확하게 이루어질 수 있다.

S30 내지 S50 단계는 도 11 내지 도 14를 참조하여 설명하기로 한다.

도 11 내지 도 13은 본 발명의 실시 예에 따른 차선 위반감지 과정을 상세히 보여주는 도면이며, 도 14는 본 발명의 실시 예에 따라 터널 내 CCTV의 설치 위치 및 각도를 고려한 차량선 마진 설정을 예시하는 도면이다.

도 11 내지 도 14를 참조하면, S30 단계는 검출된 차량이 차선을 침범하는 지에 대해 판독하기 위해 필요한 차량선을 표시하는 단계로서, 차량선은 검출된 차량의 폭(Width)을 감지하여 표시될 수 있다.

보다 구체적으로, S30 단계는 검출된 차량의 위치 정보를 추출하고, 추출된 차량의 위치 정보를 통해 차량의 폭을 감지하며, 감지된 차량의 폭을 차량선으로 표시하도록 구성될 수 있다.

여기서, 차량의 위치 정보는 사각 바운더리로 형성되는 Rect(x, y, w, h) 정보일 수 있고, 차량 폭은 Rect(x, y, w, h) 정보를 통해 형성되는 사각 바운더리에서 추출되는 양측 모서리의 거리를 감지하도록 구성될 수 있다.

이때, x, y는 검출된 차량의 기준 좌표로서 좌측 상단부를 기점으로 0(x), 0(y)의 값을 갖고, w, h는 각각 x, y의 원점을 기준으로 형성되는 폭 값과 높이 값을 의미한다.

즉, 임의의 x+w의 좌표에서 y+h의 값을 차량선으로 표시하도록 구성되는 것이다.

그러나, 보다 바람직하게는 검출된 차량의 후면부 폭을 감지하고 이를 차량선으로 표시하도록 형성될 수 있다.

이는, 실제 차량은 정상운행 중임에도 불구하고 CCTV가 측면에 설치되어 있어서 차선 위반과 같은 왜곡(Distortion) 현상이 발생하기 때문에, 영상을 분석하는 위치가 측면이라는 점을 고려할 때, 왜곡 현상과 움직인 위치에 따른 변화가 가장 최소화 되는 부분인 차량 후면부를 기준으로 한다.

즉, 상술한 차량 위치 정보가 담긴 사각 바운더리 형태의 Rect(x, y, w, h) 정보는 차량 후면부까지의 높이를 형성하게 되고 이로 인해, Rect(x, y, w, h) 정보의 사각 바운더리의 양측 꼭짓점 간의 길이가 차량 후면폭이 될 수 있다.

한편, 사각 바운더리는 좌측 상단 0(x), 0(y)로부터 w(width), h(height) 만큼의 픽셀 수를 갖는 것이므로, 특정 위치를 지정할 때 픽셀을 좌표로 대신하여 표시할 수 있다.

이로 인해, 사각 바운더리에서 양측 모서리 또는 양측 꼭짓점에는 P1 픽셀과 P2 픽셀이 각각 형성될 수 있고, P1 픽셀과 P2 픽셀간의 거리를 이루는 사각 바운더리의 양측 모서리 또는 양측 꼭짓점 간(P1, P2)의 거리를 계산하여 폭을 감지하고, 감지된 폭에 맞추어 차량선을 표시할 수 있다.

S40 단계는 검출된 차량이 차선을 침범하는 지에 대해 판독하기 위해 필요한 차선을 감지하고 표시하는 단계로서, 차선은 기설정된 기준에 따라 감지되고 표시될 수 있으며, 차선과 차량선은 동일한 색으로 표시될 수도 있으나, 바람직하게는 검증이 용이하도록 차선의 표시 색은 차량선의 표시색과는 다른 색으로 표시되도록 형성될 수 있다.

이때, 두 색상은 뚜렷이 구분되도록 차선은 노란색으로 표시되며, 차량선은 파란색 계통인 RGB(0,255,255) 내지 RGB(50,255,255) 중 하나의 색으로 표시될 수 있으나, 이는 바람직한 예에 불과한 것으로 반드시 한정되는 것은 아니며, 차선과 차량선은 상술한 색 이외에 다른 선으로 표시되도록 형성될 수도 있다.

S50 단계는 상기 표시된 차선과 차량선을 이용하여 차선에 대해 차량선이 침범하는지를 판단하는 단계로서, 상기 표시된 차선에 대한 차량선이 침범하는지 판단하는 단계는, 차량선 방향을 따라 각 픽셀의 색에 대한 검증을 시작하는 단계, 상기 검증하는 픽셀이 차량의 폭 영역에 속한 픽셀인지 판단하는 단계, 상기 검증하는 픽셀이 차량의 폭 영역에 속한 픽셀일 경우 검증되는 픽셀의 색에서 차선의 색이 검출되는지 판단하는 단계 및 상기 검증되는 픽셀의 색에서 차선의 색이 검출될 경우 상기 차량선이 차선을 침범하는 것으로 판단하는 단계를 포함하여 구성될 수 있다.

즉, 도 13의 (a) 내지 (e)와 같이 P1 픽셀부터 P2 픽셀을 따라 각 픽셀을 검증하면서 차량선의 색을 판별을 하게 되는데, 이때 도 13의 (a) 내지 (c)와 같이 P1 픽셀부터 P2 픽셀에 이르기까지 검증 과정에서 차량선과 다른 색 즉, 차선의 색이 발견될 경우 차선 이탈 상황으로 판단할 수 있고, 도 13의 (d) 및 (e)와 같이 P1 픽셀로부터 P2 픽셀에 이르기까지 검증 과정에서 차량선과 다른 색이 발견되지 않을 경우 정상 주행 상황으로 판단할 수가 있는 것이다.

다시 말해, P1 픽셀로부터 P2 픽셀에 이르기까지 차량선과 다른 색이 검출되는지 만을 판별하여 침범여부를 결정할 수 있는 것이다.

상기와 같은 차량선은 차량이 차선 변경 없이 정상적인 주행을 하였을 때에는 차선과 교차될 일이 없는 차량 후면부를 기준으로 그어졌으므로, 차선과 차량선이 교차되는 것만 감지하면 정확히 검출한 차량이 차선변경을 하는 것에 대해 판별할 수 있다.

한편, CCTV(10)가 터널 우측 벽면에 설치되는 것이 일반적임을 고려하면, CCTV(10)와 상대적으로 먼 거리에 위치한 1차선은 보다 가까운 거리에 위치한 4차선에 비하여 차선에 더 가깝게 붙어 있는 것으로 보일 수 있다.

이러한 문제를 해결하기 위해 차량선은 도 14에 도시된 바와 같이 얻어진 Rect(x, y, w, h) 값에서 비교할 전체 크기 w 값 보다 좌우로 픽셀 범위를 축소하여 값을 비교할 수 있다.

즉, 차량선은 영상 프레임을 획득하는 CCTV(10)의 설치 위치와 차선의 거리를 고려하여 원 픽셀에서 가감한 픽셀 값인 마진(Margin)이 부여되어 표시될 수 있다.

이때, 차량선은 차로폭에 비례한 최대 차폭으로 마진이 결정될 수도 있고, CCTV(10)의 설치 위치로부터 멀수록 더 큰 마진(Margin)이 부여될 수도 있다.

예컨대, 현행법상 승용 자동차, 소형 자동차, 대형 자동차, 세미 트레일러를 모두를 통틀어 자동차는 최대 25m의 폭으로 형성되며, 도로 규격은 고속도로와 일반 도로를 통틀어 최대 35m의 폭으로 형성된다.

즉, 최대 폭 차량이 중심에 위치한 것을 가정하였을 때 양쪽으로 50cm씩의 차선 여유폭이 존재하는데, 이를 고려하여 대략 차량선은 ±20cm (픽셀 기준으로 ± 20 Pixel)의 마진을 형성할 수 있는 것이다.

그러나, 이는 일례에 불과한 것으로 마진폭은 설정에 따라 달라질 수 있다.

또한, 상술한 바와 같이 CCTV(10)의 설치 위치로부터 멀수록 더 큰 마진(Margin)이 부여될 수도 있다.

예컨대, 4차선은 ±5cm 마진, 3차선은 ±10cm 마진, 2차선은 ±15cm 마진, 1차선은 ±20cm 마진 등일 수 있는 것이다.

이처럼 다양하게 CCTV(10)의 설치 위치와 차선의 거리를 고려하여 마진을 다양하게 설정할 수 있으며, CCTV(10)의 다양한 각도와 설치 위치에서도 보다 정확한 차선 변경 판독이 가능할 수 있다.

아울러, S50 단계를 완료하여 표시된 차선에 대해 차량선이 침범한다고 판단될 경우에, 영상 판독 서버(20) 내의 알림부(25)는 설정된 기기(30)로 알람(Alarm)을 발생시킬 수 있다.

여기서, 설정된 기기(30)에 대한 설명은 상술하였으므로 생략하기로 하며, 알람은 설정된 기기(30)의 형태에 따라 다양한 방식으로 알람을 수행할 수 있다.

예컨대, 설정된 기기(30)가 관제 시스템일 경우 소리 또는 화면 표시로 알람을 발생시킬 수 있고, 휴대용 단말일 경우 문자 등으로 알람을 발생하거나 해당 영상을 송출할 수 있는 것이다.

상술한 바와 같은 CCTV의 차선 변경 차량 탐지 방법의 전체 알고리즘은 도 15와 같다.

이하, 하기 실험예를 제시하여 상술한 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법에 대해 검증하나, 이는 본 발명을 예시하기 위한 것일 뿐 본 발명의 내용이 하기 실험예에 한정되는 것은 아니다.

[실험 예]

[테스트 어플리케이션]

상술한 본 발명의 실시 예에 따른 CCTV의 차선 변경 차량 탐지 방법에 대해 검증하기 위한 어플리케이션을 도 16과 같이 개발하여 본 발명에 대한 검증을 수행한다.

터널 내의 영상 탐지는 다양한 왜곡 현상이 일어날 수 있으므로, 차선 변경 왜곡 현상을 줄이기 위해 차량이 탐지된 영역을 탐색하는 방법을 구현하고, 차선 위반 검증 프로그램을 이용하여 왜곡 현상을 발견하고 수정한다.

이를 통해, CCTV 영상에서 정상적으로 주행 중인 차량이 차선을 침범하는 것처럼 보이는 왜곡 현상을 줄일 수 있었고, 영상 속 터널 내 차량 영상 탐지에 대한 신뢰성과 정확성을 높인다.

또한, 도 17과 같이 영상 정보 송수신 검증을 위해 RTSP(Real Time Streaming Protocol)의 로그 분석을 통한 영상 데이터의 정보와 상태를 확인한다.

입력되는 영상은 29fps만큼 모든 프레임을 영상 디코딩(Image Decoding) 하지만, 분석은 초당 100ms(초당 10프레임)만큼 이미지를 획득하여 분석한다.

[정확성 측정에 사용되는 값]

본 실험에서는 사폐산 터널에서 입수한 영상을 테스트 시료로 삼았으며, 초당 29fps 영상에 대해 10분간 테스트한 것으로 영상별 9000프레임을 가지고 기록한다.

정확도 산출을 위한 측정값(Measurement)은 도 18에서 정의한 Recall value와 IoU value를 기준으로 측정한다.

Recall이 높다는 것은 판별하고자 하는 물체 영역을 정확히 탐색하고 있다는 것을 의미하고, IoU가 높다는 것은 이동 중인 물체를 정확히 파악했다는 것을 나타낸다.

차량의 이동 속도가 서로 다른 터널 환경이 차량의 이동속도에 미치는 결과를 3가지 색의 선으로 표현하며, 빨간색 선은 평균값, 녹색 선은 Recall, 보라색 선은 IoU값을 의미한다.

그리고 각 도면의 수평축은 발견된 객체의 개수이며, 수직축은 IoU와 Recall 값을 나타낸다.

상기 측정값은 이동 중인 차량의 속도와 차선에 따라 값의 정확도를 측정함으로써 차선 변경 차량 검출의 정확도를 지표화한다.

[실험 조건]

본 발명에 대한 검증을 위해 RTSP(Real Time Streaming Protocol) 서버를 구축하고 터널 내부의 녹화된 CCTV 영상을 이용하여 분석을 진행한다.

테스트 영상은 50km 이상의 고속으로 이동 중인 차량의 영상과 30km 이하의 저속이동 중인 차량에 대하여 나타나는 현상을 살펴봄과 동시에 차량의 속도에 따른 차선을 변경하는 차량에 대한 탐지율과 정확성을 검토한다.

1. 속도 50km 이상 터널 구간에서의 실험

도 19의 (a) 내지 (f)에 도시된 바와 같이 CCTV 각도가 서로 다른 여러 터널에서 차량의 흐름이 원활한 시간대에 찍힌 영상들을 분석 자료로 사용하고, 차로를 넘는지 확인하기 위해 차선을 기준으로 ROI를 생성한다.

도 19에 도시된 모든 도로는 자동차 전용 도로로, 시속 60km 이상 운행이 가능하며, 30fps로 녹화되고 있어 빠르게 움직이는 물체가 프레임을 획득할 때 블러링(Blurring) 현상이 심하게 발생한다.

2. 속도 30km 이하 터널 구간에서의 실험

보다 다양한 환경을 검증하기 위해 도 20의 (a) 및 (b)에 도시된 바와 같이 저속으로 운행되는 서로 다른 터널에 설치된 CCTV의 영상도 수신하고, 다른 각도의 영상뿐만 아니라 1차선에서 4차선까지 각각의 차선에서 차이가 발생한 시점의 달라진 기울기를 검출하여 정확성을 비교한다.

[실험 결과]

1. 이동 속도 50km 이상에서의 실험 결과

이동 속도 50km 이상에서의 Recall 및 IoU의 결과 값인 도 21을 참조하면, 이동 속도 50km 이상에서는 IoU와 Recall 값이 차선별로 다소 차이를 보이고, IoU의 평균값은 1차선부터 4차선까지 각각 07, 08, 09, 09가 산출되며, Recall의 평균값은 각각 06, 065, 07, 08로 나타난다.

터널 내의 우측에서 멀어지는 1차선 차량 검출은 CCTV가 터널의 오른쪽 위에 설치되어 있으므로 4차선에 비하여 상대적인 정확도는 20% 낮은 상태의 값을 보이며, 1차선에서의 Recall은 IoU 값과 10% 차이를 보인다.

여기서, 범위가 좁아진 이유는 화면상의 객체 크기가 작아서 변화가 작게 발생한 것으로 해석된다.

또한, 데이터값들의 분산된 정도를 보여주는 분포도인 도 22를 참조하면, 1차선 데이터가 평균에서 분산된 정도가 가장 낮게 나타나고, 4차선 데이터의 경우 객체를 탐지하지 못하는 경우가 다른 차선들에 비하여 높다.

위의 결과들을 통해 객체 탐지율은 CCTV로부터 거리가 멀어질수록 IoU는 높고 대신 Recall의 값은 낮음을 확인할 수 있다.

2. 이동 속도 30km 이하에서의 실험 결과

이동 속도 30km 이하에서의 Recall 및 IoU의 결과 값인 도 23을 참조하면, 이동 속도 30km 이하에서는 IoU가 500프레임에서 600프레임, 그리고 700프레임에서 800프레임 부분으로 튀는 현상이 나타난다.

평균적으로 60% 정도가 되었으며 Recall은 500프레임에서 600프레임 그리고 800프레임에서 900프레임 부분으로 튀는 현상이 나타났고 데이터 80%는 IoU 평균에 가깝게 나타난다.

이를 통해 Recall은 50km 이상 실험 결과보다는 상대적으로 성능이 떨어지는 것을 확인할 수 있다.

이러한 이유는 차량이 서행함으로써 차량 사이를 분리하는데 정확한 분할(Segmentation)이 되지 않고 연속된 차량의 간섭현상(Correlation)으로 인하여 오류가 발생했기 때문으로 판단된다.

데이터값들의 분산된 정도를 보여주는 분포도인 도 24를 참조하면, IoU와 Recall의 평균값은 각각 075, 091이며 대부분 데이터가 평균에서 ±003값의 차이를 보여 평균에서 큰 차이가 없이 구성되어 있음을 확인할 수 있다.

이처럼 범위가 좁혀진 이유는 밀집도가 50km로 운행 중인 차량에 비해 IoU 값이 상대적으로 높아서 생기는 것으로 판단된다.

결과적으로, 이동속도 30km 이하에서는 50km 이상에서 테스트한 상태와 비교해 볼 때 4차선의 경우 0.05만큼 더 좋은 결과가 검출된다.

이것은 차량의 속도가 느린 상태이고 카메라와 근접해 있으므로 검지율이 더 높게 나타난 것으로 판단된다.

반면, CCTV와의 거리가 떨어진 1차선에서는 50km 이상 구간보다 평균값이 낮게 도출됨을 알 수 있다.

상기와 같은 본 발명의 실시 예에 따른 CCTV의 차선변경 차량 탐지 방법은, 50km 속도로 이동 중인 4차선 차량에 대해서 최대 80%의 탐지 정확성을 보인다.

이는, 기존에 설치된 유고 감시 시스템들이 터널 내 CCTV에 적용하였을 때 차선 변경 차량에 대한 탐지가 어렵지만, 운전자의 불법적 행위인 터널 내 차선 위반을 감지할 수 있어 사고를 미리 방지하는 효과가 있다.

또한, 시스템 도입 측면에서 볼 때, 차선 변경 차량 탐지를 위해 새로운 시설 투자 비용이 소요되지 않고, 기존에 설치된 터널 내 CCTV로도 터널 내 차선 위반을 감지할 수 있는 효과가 있다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

10 : CCTV
20 : 영상 판독 서버
25 : 알림부
30 : 설정된 기기

Claims (10)

1. 터널 내의 우측 벽면에 설치된 CCTV로부터 영상 프레임을 획득하는 단계;
   상기 획득된 영상 프레임 내에서의 차량을 검출하는 단계;
   상기 검출된 차량의 폭(Width)을 감지하여 영상 프레임 내에 차량선을 표시하는 단계;
   상기 영상 프레임 내에서의 차선을 감지하고 표시하는 단계; 및
   상기 표시된 차선에 대해 차량선이 침범하는지 판단하는 단계;를 포함하며,
   상기 차량선은 영상 프레임을 획득하는 CCTV의 설치 위치와 차선의 거리를 고려한 마진(Margin)이 부여되어 표시되고,
   상기 차량선은 CCTV의 설치 위치로부터 멀수록 더 큰 마진(Margin)이 부여되는 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
2. 제 1 항에 있어서,
   상기 차량을 검출하는 단계는,
   상기 영상 프레임을 디블러링 이미지(Deblurring image) 처리 후에 차량을 검출하는 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
3. 제 2 항에 있어서,
   상기 디블러링 이미지 처리는 Difference of Gaussian Filter를 활용하여 처리하는 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
4. 제 1 항에 있어서,
   상기 차량선을 표시하는 단계는,
   상기 검출된 차량의 위치 정보를 추출하는 단계;
   상기 차량의 위치 정보를 통해 차량 폭을 감지하는 단계; 및
   상기 감지된 차량의 폭을 기초로 차량선으로 표시하는 단계;를 포함하는 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
5. 제 4 항에 있어서,
   상기 차량의 위치 정보는 사각 바운더리로 형성되는 Rect(x, y, w, h) 정보이며,
   상기 차량 폭은 상기 Rect(x, y, w, h) 정보의 사각 바운더리에서 추출되는 양측 모서리 또는 양측 꼭짓점간(P1, P2)의 거리인 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
6. 제 4 항에 있어서,
   상기 차량의 폭은 차량 후면부의 폭인 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
7. 제 5 항에 있어서,
   상기 차선의 표시 색은 상기 차량선의 표시 색과는 다른 색으로 표시되는 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
8. 제 1 항에 있어서,
   상기 표시된 차선에 대한 차량선이 침범하는지 판단하는 단계는,
   차량선 방향을 따라 각 픽셀의 색에 대한 검증을 시작하는 단계;
   상기 검증하는 픽셀이 차량의 폭 영역에 속한 픽셀인지 판단하는 단계;
   상기 검증하는 픽셀이 차량의 폭 영역에 속한 픽셀일 경우 검증되는 픽셀의 색에서 차선의 색이 검출되는지 판단하는 단계; 및
   상기 검증되는 픽셀의 색에서 차선의 색이 검출될 경우 상기 차량선이 차선을 침범하는 것으로 판단하는 단계;를 포함하는 것을 특징으로 하는,
   CCTV의 차선변경 차량 탐지 방법.
   
9. 삭제
10. 제 1 항에 있어서,
    상기 차량선은 차로폭에 비례한 최대 차폭으로 마진이 결정되는 것을 특징으로 하는,
    CCTV의 차선변경 차량 탐지 방법.