KR20220009530A - 다중 영역대의 주파수 특성을 차량 검지에 활용한 영상 검지 방법 - Google Patents

Abstract

본 발명은 차량의 주행 정보를 검지하는 장치와 그 방법에 관한 것으로, 광학 센서의 검지 영역을 3- 14 ㎛ 영역과 400 -700 ㎚ 영역대의 표준 가시 광선 영역대 를 교차 참조 하여 도로면, 주행, 정차중인 교통정보 및 주행 정보를 자동으로 산출하는 방법에 관한 것이다.
본 발명에 따른 다중 영역대의 주파수 특성을 차량 검지에 활용한 영상 검지 방법은,
열상 카메라와 가시광성 영역대의 카메라를 준비하는 단계;
상기 열상 카메라에 의하여 촬영되는 차량 객체의 벡터 좌표값을 도출하는 단계;
상기 가시광선 영역대의 카메라에 의하여 촬영되는 상기 차량 객체에 상기 벡터 좌표값을 일치시켜 상기 차량 객체의 정보를 추출하는 단계를 구비하는 것을 특징으로 한다
본 발명 방법을 실시하는 경우, 기존의 영상 검지기 동작에 있어서 가시 광선 영역대의 영상뿐만 아니라 열상 화면을 수정된 CMDNN 에 적용하여 기존의 장비가 가지고 있는 환경의 취약함, 가림 현상 및 온도에 영향을 받지 않도록하여 교통정보 산출에 정확도를 높여 기존 도로 교통 관제 시스템에 사용되는 센서 데이타의 부적합 비율을 극도로 제어 하여 정확한 교통 관제 제어에 활용 할 수 있으며 도로면의 안정적인 유지보수와 도로교통 환경을 실시간, 실측 제어가 가능하여 물류비용의 절감 및 보다 빠르고 안전한 교통 환경을 제공 할 수 있다는 이점이 있다

Description

다중 영역대의 주파수 특성을 차량 검지에 활용한 영상 검지 방법{Image detection method using frequency characteristics of multi-area zones for vehicle detection}

본 발명은 차량의 주행 정보를 검지하는 장치와 그 방법에 관한 것으로, 광학 센서의 검지 영역을 3- 14 ㎛ 영역과 400 -700 ㎚ 영역대의 표준 가시 광선 영역대 를 교차 참조 하여 도로면, 주행, 정차중인 교통정보 및 주행 정보를 자동으로 산출하는 방법에 관한 것이다.

차량 영상 검지기술은 차량의 영상을 분석하여 교통 정보를 산출하는 기술이다. 즉, 주행중이거나 정차한 차량의 영상을 영상 처리 알골리듬을 통해 유용한 교통 정보로 산출하는 기술이다.

고전적인 영상 검지기술로는 주행차량의 영상을 배경 영상 과 비교하여 이동물체를 추출하여 주행 차량의 속도나 지점의 통과 차량수등을 산출한다.

일반적인 영상 검지 기술중 배경 영상을 추출하는 방법에는 이미지 블록 의 편차를 배경영상 즉 고정된 도로면 데이터라고 판단하는 방법이 있다.

이러한 방법에는 영상 시계열 노이즈가 발생 할 수 있으므로 때에 따라서 혹은 칼만과 같은 시계열 노이즈 제거 기법을 쓰기도 하며 원화상을 정보로 하지않고 선 미분과 같은 영상 처리후 배경 영상으로 만들기도 한다 .

주행하는 물체의 분류는 결국 배경 영상과 차분 된 결과를 가지고 판별을 하며 이러한 판별 기법에는 이동물체의 벡터 측정을 쓰기도 하며 계산된 벡터 혹은 영상 분포치를 선 학습된 데이터와 비교하여 차량의 형태를 분류 하기도 한다.

차량 검지 센서 및 장비의 분류는 크게 매립식과 비 매립식으로 분류되는데 도로면에 특정 센서를 시공하여 자장 혹은 압력을 측정하는 매립식과, 도로면 상단에 레이다 혹은 초음파, 카메라 등을 설치하는 비 매립식으로 분류 된다.

지능형 교통 정보체계에서 차량을 검지하는 센서가 산출하는 정보는 교통량(Volumn), 지점 점유 (Occupancy), 지점 주행속도 (Speed), 차량 분류 (Class), 주행 영상,유고 정보 (incident) ,등이며 특히 도로면의 공사를 지앙하고 비매립식을 선호 하고 있으며 교통정보의 수집 뿐만 아니라, 관리자에 의해 모니터링을 요구하여 한때 영상 검지지의 중요 특징인 차량 교통 정보의 산출 및 관제 기능을 를 요구하고 있어 별도의 관제 카메라를 설치하는 검지 센서보다 영상 검지 방식이 타 검지 센서보다 활용도 측면에서 활용도가 높다.

그러나 가시 광선 영역대의 차량 검지 방법은 빛의 조도에 매우 민감하게 반응하여 전이 시간 대에는 교통정보의 정확도가 현격하게 떨어지며 야간 주행차량 검지 또한 문제를 수반한다.

특히 차량간, 도로면 시설물 가림 현상 (Occlusion),과 악천후(비 눈), 기온등에 영향을 받아 현재 제한적인 환경에서만 활용하고 있기에 이를 극복하기 위한 연구가 진행중이다.

1. 특허출원번호 : 1020180128756, 발명의 명칭 : "이종 카메라 기반의 위험지역 안전관리 방법 및 장치" 2. 특허출원번호 : 1020170157271, 발명의 명칭 : "듀얼 카메라를 이용한 돌발 상황 감지방법"

본 발명은 차량을 검지하는 기술로서 다중 주파수 영역대를 활용하여 일반적인 가시광선 영역대의 차량 검지 기술에서 발생할수 있는 문제를 해결 하여 정확한 교통정보를 산출하는 방법에 대한 것이다.

본 발명에 따른 다중 영역대의 주파수 특성을 차량 검지에 활용한 영상 검지 방법은,

열상 카메라와 가시광성 영역대의 카메라를 준비하는 단계;

상기 열상 카메라에 의하여 촬영되는 차량 객체의 벡터 좌표값을 도출하는 단계;

상기 가시광선 영역대의 카메라에 의하여 촬영되는 상기 차량 객체에 상기 벡터 좌표값을 일치시켜 상기 차량 객체의 정보를 추출하는 단계를 구비하는 것을 특징으로 한다

본 발명은 물체를 추출 검지 추적하는 기법에 있어서 복수 주파수 영역대역 센서를 이용하여 주변 환경영향 요소를 줄여 정확한 개체를 판단할수 있으며 시계열간 물체의 벡터 추적기법을 단일 노드 다중 교차 순환 신경망에 적용하여 정확도를 높였다.

이는 기존의 영상 검지기 동작에 있어서 가시 광선 영역대의 영상뿐만 아니라 열상 화면을 수정된 CMDNN 에 적용하여 기존의 장비가 가지고 있는 환경의 취약함, 가림 현상 및 온도에 영향을 받지 않도록하여 교통정보 산출에 정확도를 높여 기존 도로 교통 관제 시스템에 사용되는 센서 데이타의 부적합 비율을 극도로 제어 하여 정확한 교통 관제 제어에 활용 할 수 있으며 도로면의 안정적인 유지보수와 도로교통 환경을 실시간,실측 제어가 가능하여 물류비용의 절감 및 보다 빠르고 안전한 교통 환경을 제공 할 수 있다.

도 1은 연속으로 이동하는 차량에 의한 가림현상을 설명하는 도면이다
도 2는 정상적인 기상 환경하에서의 영상을 보여주는 도면이다.
도 3은 우천시 환경하에서의 영상을 보야주는 도면이다
도 4는 CMRNN Network 개념도이다
도 5는 기존 검지기와 본 발명에 따른 검지기의 비교를 설명하는 도면이다
도 6은 열상 이미지 히스토그램 변환도이다
도 7은 열상 좌표 기준으로 원본 영상에서 추출된 주행차량의 영상의 일예이다

이하 본 발명에서 제안하는 다중 영역대의 주파수 특성을 차량 검지에 활용한 영상 검지 방법에 대하여 설명하기로 한다

일반적인 영상 센서의 가용 주파수 영역대는 400 -700 ㎚ 이며 이를 가시 영역이라 한다.

가시영역 대에서의 발생할수 있는 흔한 문제점은 도 1과 같은 개체 구별에서 한계점이다.

위와같은 개체의 연속화 현상은 이동 벡터 마져 같아 특이점을 구별할수 가 없다.

또한 도 2와 같은 우천, 강설시에는 선 학습된 개체의 정보와 일치하지 않으며 이에 발생할수 있는 오류 데이터가 증가한다.

도 1에서 발생하는 문제를 편의상 흑색 노이즈라 칭하고, 도 2에서 발생하는 문제를 편의상 백색 노이즈라 하기로 한다.

한편, 도 3과 같이 야간에서 발생되는 문제를 해결하기 위해서 차량 검지 기술과 물체를 식별하고 분류하는 고전적인 영상 처리 기술에서 본 발명은 열 화상 대역의 별도의 센서를 두어 가시 광선 대역의 센서와 열화상 대역의 센서의 특장점을 교차하여 일반적인 영상 검지기에서 발생 할수 있는 백색 ,흑색 노이즈를 제거 하려 한다.

따라서본 발명은 도5의 (가)에 도시된 기존의 영상검지기와는 하드웨어적으로 다른 구성을 갖는 도 5의 (나)와 같은 구성을 가진다

위와같이 주파수 영역대가 다른 두 종류 이미지 센서의 동기화에는 개체의 분류 기법부터 차이가 나는데 이를 극복하기 위해서 교차 순환 신경망에 가중치를 산출 하기 위해서 초기 가중치 자체를 고정하지 않고 DNN 과 같이 수정하는 방법을 사용한다.

특이점은 일반적인 단일 주파수 영역대의 센서를 사용하는 것이 아니라 가시 광선 과 열상 영역을 사용하므로 두 개의 신경망의 결과 값이 교차하여 적용하도록 한다. (도 4: CMRNN Modelling )

본 발명에 따른 하드웨어의 구성은 다음과 같다

도 5의 (나)에서 알 수 있듯이, 입력단은 두 개의 영상 센서로 구성되며 각각의 대역대는 가시광선 영역대와 열상 영역대로 나누어진다

독립된 두 개의 입력 소스는 네트워크제어부를 통해 중앙 처리 유닛을 통해 동기화되며 동일 프레임으로 병합되어 중앙처리 유닛내에서 영상 검지 알고리즘을 수행한다.

처리된 결과는 실시간 혹은 주기별로 관제 센터로 도로면 영상과 검지 데이터를 전송한다.

다음, 본 발명에 따른 열상 검지와 가시 영역대의 데이터를 통한 영상 검지방법은 다음과 같다.

열상 검지는 물체의 온도를 해상도라 부르며 픽셀단위가 해당 지점의 온도화상으로 변환하여 표출한다

따라서 열상의 장점은 환경 변화에 둔감하다는 점이다.

이런 열상 데이터를 가시 영역대의 영역과 매칭하기 위해서 다음과 같은 단계가 필요하다.

열상 데이터는 0-256 사이에 -40 ~ + 800c 의 데이터가 들어가므로 특정 영역 지점에서 가중치를 부여하여 확장하며 특정 영역은 대상 타겟의 이동 물체를 수렴하는 과정에서 온도가 결정된다.

수식은 다음과 같다 .

와 같이 평균 이동치의 B 값이 산출되면 열상 이퀼라이제이션은 다음과 같다.

열상 데이터의 기본 변화치를 이동물체를 기준으로 데이터를 증폭하여 나온 영상은 원본영상의 백색 노이즈에 비교하여 위 수식에 따라 B 인자가 0.14일 경우 0.14 만큼의 노이즈가 제거 된다.

변환된 기준 열상 영상의 분포는 도6과 같다 .

다음 일반 가시 광선 영역대에서 동일 좌표계의 영상 데이터의 분포는 전혀 상이한 패턴이며 열상 좌표계를 기준으로 1차 미분 처리된 엣지 벡터를 기준으로 대상 물체를 추출한다

따라서 일반적인 이동물체 추적의 라벨링 팩터는 다음과 같다.

따라서 도 7과 같이, 열상 데이터는 정확하게 물체를 검지하고 좌표계를 일반 영역대의 데이터에 투영하여 추적하려는 실제 객체의 트래킹 파라미터를 저장하여 다음 프레임에서 열상 벡터와 추출된 값으로 추적을 수행한다.

추출된 개체는 도 7의 (나)와 같다.

일반적인 영상의 추출 방법에 있어서 열화상을 교차 사용하여 다음과 같은 문제를 제거하고자 하였다 .

그림자, 야간 주행 라이트, 악천후 및 전이시간대의 광량의 변화 즉 위에 열거된 백색, 흑색 노이즈를 제거 함으로서 안정적인 교통정보 대상 물체를 추출한 것이다.

본 발명에서 사용되는 열상 개체와 백터 기반의 이동 물체의 유사성 검증은 CMRNN 이용하며 CMRNN을 통해 차종분류를 수행한다.

그러나 현장 장비의 특성상 학습데이타 셋의 규모가 한정되어 있으며 동일 개체에 제한된 학습 데이터 셋을 구성하여도 개체의 수가 많아서 열상 데이터를 추가하여 고전적인 CNN 의 Context를 하나더 추가한다.

일반적인 CNN 입력값은 위와 같다.

여기에 기준값(열상 factor)을 가중치로 두어 빠른 쉬퀀스내에 탈출할수 있도록 구성한다.

따라서, 도 4에서 알 수 있듯이, 개체를 판별하는 인자중 하나로 써멀 영상내의 특정 변화치 값을 이용하여 차종의 분류를 더욱 용이하게 도출할 수 있었다.

위와 같은 본 발명 방법을 실시하는 경우, 기존의 영상 검지기 동작에 있어서 가시 광선 영역대의 영상뿐만 아니라 열상 화면을 수정된 CMDNN 에 적용하여 기존의 장비가 가지고 있는 환경의 취약함, 가림 현상 및 온도에 영향을 받지 않도록하여 교통정보 산출에 정확도를 높여 기존 도로 교통 관제 시스템에 사용되는 센서 데이타의 부적합 비율을 극도로 제어 하여 정확한 교통 관제 제어에 활용 할 수 있으며 도로면의 안정적인 유지보수와 도로교통 환경을 실시간, 실측 제어가 가능하여 물류비용의 절감 및 보다 빠르고 안전한 교통 환경을 제공 할 수 있다는 이점이 있다

Claims (1)

1. 다중 영역대의 주파수 특성을 차량 검지에 활용한 영상 검지 방법으로서,
   열상 카메라와 가시광성 영역대의 카메라를 준비하는 단계;
   상기 열상 카메라에 의하여 촬영되는 차량 객체의 벡터 좌표값을 도출하는 단계;
   상기 가시광선 영역대의 카메라에 의하여 촬영되는 상기 차량 객체에 상기 벡터 좌표값을 일치시켜 상기 차량 객체의 정보를 추출하는 단계를 구비하는 것을 특징으로 하는 다중 영역대의 주파수 특성을 차량 검지에 활용한 영상 검지 방법.

Images