KR101026778B1 - 차량 영상 검지 장치 - Google Patents

Abstract

본 발명은 도로를 주행하는 차량의 영상을 검지하는 차량 영상 검지 장치에 관한 것으로서, 다수 개의 배경 영상을 생성한 후 무리화(Clustering) 과정을 통해 찾은 최종 배경 영상을 활용하여 차량의 검지 효율을 증대시키는 것을 목적으로 한다.
이를 위하여 본 발명은, 도로변에 설치된 카메라로 차량의 이미지를 촬영하는 이미지 획득부(11)와; 상기 이미지 획득부(11)에서 획득한 이미지 영상을 보정하는 영상보정 및 변환부(12)와; 입력 영상의 잡음을 제거하는 영상잡음 제거부(13)와; 검지 영역 내로 진입한 차량을 검지하는 차량 검지부(15)와; 영상 픽셀 이동량과 영상 프레임간 시간 간격에 근거하여 검지된 차량의 속도를 계산하는 차량속도 계산부(17)와; 차량 시작 위치 및 차량 종료 위치를 구하고, 픽셀 이동량, 프레임수 및 차량 높이를 고려하여 차량의 길이를 계산하고 차종을 구분하는 차량길이 계산 및 차종구분부(18);를 포함하여 이루어지는 차량 영상 검지 장치에 있어서, 도로면의 배경 영상을 갱신하는 배경 영상 갱신부(14)와, 옆차선 차량의 그림자를 제거하는 그림자 검출 및 제거부(16); 배경 영상의 밝기값이 주어진 임계치 이상이면 주간, 아니면 야간으로 판단하여 주/야간 알고리즘을 다르게 적용하는 주변환경 판단 및 처리부(19);를 더 포함하는 것을 특징으로 한다.

Description

차량 영상 검지 장치{VEHICLE IMAGE DETECTION APPARATUS}

본 발명은 도로를 주행하는 차량의 영상을 검지하는 차량 영상 검지 장치에 관한 것으로서, 다수 개의 배경 영상을 생성한 후 무리화(Clustering) 과정을 통해 찾은 최종 배경 영상을 활용하여 차량의 검지 효율을 증대시킬 수 있는 차량 영상 검지장치에 관한 것이다.

도로를 주행하는 차량의 속도 측정, 교통량 측정 및 수집, 방범자료 수집 등을 위해 고속도로 및 국도에는 차량 영상 검지 장치가 설치되어 있다.

이러한 차량 영상 검지 장치는, 카메라를 이용하여 차량의 이미지를 촬영하고, 촬영된 차량의 이미지로부터 차량의 속도, 차종 등 필요한 정보를 수집한다.

일반적인 차량 영상 검지 장치는, 도로를 주행하는 차량의 교통상황과 특정 지점을 통과하는 차량을 비디오 이미지 보드에 입력시키고, 아날로그 신호를 디지털 신호로 변환한 후 제어부에서 연산 처리하여 필요한 데이터를 얻는다.

이에 근거하여 총 통과 교통량, 차선별 통과 차량의 대수 및 속도, 차종 구분 등의 정보를 얻을 수 있다. 이렇게 획득된 정보는 필요 시 영상자료로 재생이 가능하고 교통분석 자료로 유용하게 사용될 수 있다.

이러한 차량 영상 검지 장치는, 지능형 교통 시스템(ITS), 위치 검출 시스템(GPS), 자동 추적 시스템 등과 연계되어 실시간 현장 제어 및 교통 통제용으로 활용될 수 있다.

도 1은 일반적인 차량 영상 검지 장치의 일례를 개략적으로 도시한 것이다.

일반적인 차량 영상 검지 장치는, 도로변의 높은 위치에 설치되어 차량을 촬영하는 카메라(100)와, 카메라(100)가 촬영한 영상을 디지털 신호로 변환하는 A/D 변환기(200)와, 변환된 디지털 신호를 저장하는 메모리(400)와, 메모리(400)에 저장된 디지털 신호를 처리하여 필요한 정보를 얻는 디지털신호 처리기(300)와, 추출된 정보를 통신수단을 통해 외부로 전송하는 모뎀(500)을 포함하여 이루어진다.

그런데 이러한 종래의 차량 영상 검지 장치는 하나의 배경 영상을 생성하고 이를 기 저장된 데이터와 비교하는 방식으로 차량의 정보를 판별하고 있다.

이에 따라 종래의 차량 영상 검지 장치는, 그림자, 차량 색상, 날씨 등 외부 환경 요인이 변화할 경우 차량의 정보를 정확히 검지하기 어렵다는 문제점이 지적되고 있다.

즉, 기초가 되는 배경 영상이 외부 조건에 위해 변화할 경우 이에 적절히 대응할 수 없다는 문제가 있다.

특히, 주간과 야간에 동일한 알고리즘이 적용됨으로써 차량의 정확한 검지가 어렵다는 문제점이 있다.

본 발명은 상기한 종래기술의 문제점을 개선하기 위해 제안된 것으로서, 그림자, 차량 색상, 날씨 등 외부 환경 요인에 영향을 받지 않고 차량을 정확하게 검지할 수 있도록 하는 것을 목적으로 한다.

본 발명의 다른 목적은, 다수의 후보 배경 영상을 생성하여 잘못된 후보 배경 영상은 새로운 배경 영상으로 등록하고, 정상적인 배경 영상을 보호하면서 무리화 과정을 통해 찾은 최종 배경 영상을 사용함으로써, 외부의 환경 요인 변화에 적절히 대응할 수 있도록 하는 데 있다.

본 발명의 또 다른 목적은, 차량의 검지 영역 내에서 배경 영상에 더하여 에지(edge) 영상을 활용하여 차량 정보를 판단함으로써 차량 검지의 정확도를 향상시키는 데 있다.

본 발명의 또 다른 목적은, 차량으로 오인될 수 있는 그림자를 검출하고 이를 제거하는 데 있다.

본 발명의 또 다른 목적은, 주간과 야간에 다른 알고리즘을 적용함으로써 차량 검지의 정확도를 향상시키는 데 있다.

상기한 목적을 달성하기 위한 본 발명의 차량 영상 검지 장치는, 도로변에 설치된 카메라로 차량의 이미지를 촬영하는 이미지 획득부와; 상기 이미지 획득부에서 획득한 이미지 영상을 보정하고, 실제거리와 화면 좌표와의 축척을 계산하여 보정하는 영상보정 및 변환부와; 획득된 영상의 차선과 평행하게 검지 영역을 설정하고 각 영역 특성에 대한 임계치 및 매개변수를 결정하여 입력 영상의 잡음을 제거하는 영상잡음 제거부와; 추정된 배경 영상을 에지(Edge) 영상으로 변환하거나, 현재의 에지 영상 위에서 얻어진 배경 영상에서 차량 에지 영상만을 추출하여, 검지 영역 내로 진입한 차량을 검지하는 차량 검지부와; 영상 픽셀 이동량과 영상 프레임간 시간 간격에 근거하여 검지된 차량의 속도를 계산하는 차량속도 계산부와; 차량이 검지된 시점 및 차량의 검지가 종료된 시점에서 이진화된 에지 영상을 스캔하여 차량 시작 위치 및 차량 종료 위치를 구하고, 픽셀 이동량, 프레임수 및 차량 높이를 고려하여 차량의 길이를 계산하고 차종을 구분하는 차량길이 계산 및 차종구분부;를 포함하여 이루어지는 차량 영상 검지 장치에 있어서, 도로면의 배경 영상을 계속적으로 갱신하는 배경 영상 갱신부와, 옆차선 차량의 그림자를 제거하는 그림자 검출 및 제거부; 배경 영상의 밝기값이 주어진 임계치 이상이면 주간, 아니면 야간으로 판단하여 주/야간 알고리즘을 다르게 적용하는 주변환경 판단 및 처리부;를 더 포함하는 것을 특징으로 한다.

또한, 상기 배경 영상 갱신부는, 검지 영역 내에 차량이 없는 상태에서 생성된 배경 영상에 차량 진입시 발생하는 픽셀값 변화를 추적하여 차량을 검지하되, 차량 검지 영역의 검지 값과 검지 값의 이동 평균값의 차이가 특정 값 이하이고, 검지 영역의 검지 값의 미분이 특정 값 이하이며, 위의 두 가지 상태가 일정 프레임 이상 반복되는 경우에만 검지 영역 내에 차량이 없는 안정 상태로 판단하고, 상기 3가지 조건에 의해 여러 개의 후보 배경 영상을 생성하여, 잘못된 후보 배경 영상은 새로운 배경 영상으로 등록하고 정상인 배경 영상은 보호하면서, 무리화(Clustering) 과정을 통해 찾은 최종 배경 영상으로 차량 검출에 필요한 정상 배경 영상을 계속적으로 갱신하는 것을 특징으로 한다.

또한, 상기 무리화(Clustering) 과정은, 후보 배경 영상

와 N개의 무리 중심 배경 영상들

에 대해 최소거리 무리 중심(배경 영상)

를 선택한 후,

를 새로운 무리 중심(배경 영상_으로 두고 무리 중심 개수 N을 증가시키고, 갱신된 무리 중심(배경 영상)을 이용하여, 검출 영역에서의 임의 영상과 배경 영상들 간에 최소거리 배경 영상을 선택하는 것을 특징으로 한다.

또한, 그림자 검출 및 제거부에서의 그림자 판단 및 제거는, 그림자 영역이 배경 영역보다 밝지 않고 도로면을 따라 균일하며, 위치가 옆차선과 유사하고 그 속도가 옆차선과 동일하다는 조건을 만족하고, 검출영역에서 차량으로 검출된 영상 화소들의 RGB 값들로부터 확률밀도함수 를 구하고 임계치보다 큰 화소들의 수가 일정 개수 이상이면 그림자로 판단한 후, 검출 영역에서 화소들의 RGB 히스토그램을 이용하여 그림자에 의한 차량 검출을 제거하는 것을 특징으로 한다.

본 발명에 의하면, 그림자, 차량 색상, 날씨 등 외부 환경 요인에 적절히 대응할 수 있으므로 차량 검지의 정확도를 향상시킬 수 있는 효과가 있다.

또한, 차량의 그림자를 파악하여 이를 제거함으로써 옆차선 차량의 그림자에 의한 차량 인식 오류를 미연에 방지할 수 있는 효과가 있다.

또한, 다수의 후보 배경 영상을 생성하여 잘못된 후보 배경 영상은 새로운 배경 영상으로 등록하고, 정상적인 배경 영상을 보호하면서 무리화 과정을 통해 찾은 최종 배경 영상을 사용함으로써, 외부의 환경 요인 변화에 적절히 대응할 수 있는 효과가 있다.

또한, 차량의 검지 영역 내에서 배경 영상에 더하여 에지(edge) 영상을 활용하여 차량 정보를 판단함으로써 차량 검지의 정확도를 향상시킬 수 있는 효과가 있다.

또한, 정확한 차량 인식 및 교통 흐름 파악이 가능하므로 지능형 교통시스템과 효과적으로 연계하여 사용할 수 있는 효과가 있다.

특히, 주간과 야간에 다른 알고리즘을 적용함으로써 차량 검지의 정확도를 향상시킬 수 있는 효과가 있다.

도 1은 종래의 차량 영상 검지 장치의 일례를 개략적으로 나타낸 구성도,
도 2는 본 발명에 따른 차량 영상 검지 장치를 개략적으로 나타낸 구성도.
도 3은 본 발명에 따른 차량 영상 검지 장치에서 차량의 속도를 계산하는 방법을 개략적으로 표시한 도면.

이하 본 발명의 바람직한 실시 예를 도 2을 참조하여 설명한다.

본 발명에 따른 차량 영상 검지 장치(10)는, 카메라로 차량의 이미지를 촬영하는 이미지획득부(11)와, 이미지 영상을 보정하는 영상보정 및 변환부(12)와, 입력된 영상의 잡음을 제거하는 영상잡음 제거부(13)와, 도로면의 배경 영상을 계속 갱신하는 배경영상 갱신부(14)와, 에지 영상을 사용하여 새로 진입한 차량을 검지하는 차량 검지부(15)와, 옆차선 차량의 그림자를 제거하는 그림자 검출 및 제거부(16)와, 검지된 차량의 속도를 계산하는 차량속도 계산부(17)와, 차량 길이를 계산하고 차종을 구분하는 차량길이 계산 및 차종구분부(18)와, 주변환경을 판단하여 처리하는 주변환경 판단 및 처리부(19)를 포함하여 이루어진다.

먼저, 이미지 획득부(11)는 도로변에 설치된 카메라에 의해 차량의 이미지를 촬영하며 영상 캡처 모듈에서 초당 30프레임의 카메라 영상을 실시간으로 획득한다.

영상 보정 및 변환부(12)는, 2차원 화면 좌표에 의해 3차원 좌표를 계산하여 도로 영상에서 도로의 4 모서리의 위치를 결정하고 도로폭의 실제 길이를 측정하여 입력한다.

또한, 실거리와 화면 좌표와의 축척을 계산하여 레퍼런스로 사용하기 위하여 도로에 2개의 기준점을 표시하고, 영상에서 레퍼런스의 위치를 설정하여 실제 거리를 입력한다.

위 2가지 계산 수치에 의해 카메라의 설정값 즉, 수평이동, 상하움직임(Tilt), 촛점(Focus)을 산정하고, 카메라의 설정값을 바탕으로 검지 영역의 크기, 차량속도, 차량길이를 측정한다.

영상 잡음 제거부(13)는, 획득된 영상의 차선과 평행하게 검지 영역을 설정하고 각 영역 특성에 대한 임계치 및 매개변수들을 결정하게 되는데, 안정된 처리를 위해 입력 영상의 잡음을 제거한다.

배경 영상 갱신부(14)는, 기본적으로 검지 영역 내의 안정 상태(Steady state), 즉 차량이 없는 상태일 때 생성된 배경 영상에 차량 진입시 발생하는 픽셀 값 변화를 추적하여 차량을 검지하는 방식을 채용한다.

검지 영역 내의 안정 상태(차량이 없는 상태)를 판별하는 조건으로는, 첫째, 검지 영역의 검지 값과 검지 값의 이동 평균값의 차이가 특정 값 이하이고, 둘째, 검지 영역의 검지 값의 미분이 특정 값 이하이며, 셋째 위의 두 가지 상태가 일정 프레임 이상 반복되는 경우에 검지 영역 내에 차량이 없는 것으로 판단한다.

위 3가지 조건이 모두 만족 되어야만 검지 영역이 안정 상태인 것으로 판단하는 것이다.

그러나 위와 같은 판단 방법은, 1개의 배경 영상으로 차량을 검지하는 경우나 차량이 많지 않아 소통이 원활한 도로에서는 적합하나, 차량이 도로상에 정체되어 있는 경우에는 정확한 판별이 어렵게 된다.

즉, 도로상에 차량이 정체되어 정지된 차량을 배경 영상으로 갱신하여야 하는 등 외부 환경이 급격히 변화하게 되면, 이러한 변화에 적절히 대응할 수 없게 된다.

본 발명은 바로 이러한 문제점을 개선하기 위한 것으로서, 배경 영상을 다수 생성하고 이를 활용하여 배경 영상을 용이하게 갱신할 수 있도록 한 것이다.

즉, 본 발명은, 전술한 3가지 조건에 의해 여러 개의 후보 배경 영상을 생성하고, 잘못된 후보 배경 영상은 새로운 배경 영상으로 등록하고 정상인 배경 영상은 보호하면서, 무리화(Clustering) 과정을 통해 찾은 최종 배경 영상으로 차량 검출에 필요한 정상 배경 영상을 갱신한다.

이하, 여러 개의 후보 배경 영상에서 무리과 과정을 통해 정상인 배경 영상을 찾는 방법을 설명한다.

전술한 3개의 안정 상태 조건을 만족하여 배경 영상 갱신에 사용되는 후보 배경 영상은, N개의 무리로 분할되며 각 무리의 중심이 배경 영상이 된다.

즉, 기존에는 1개의 배경 영상이 갱신되었으나 본 발명에 의하면 N개의 배경 영상들이 만들어지고 지속적으로 갱신된다.

일반적으로 무리화(Clustering)란 특정 공간에서 점들로 나타나는 벡터의 무리(Cluster)를 찾는 것을 말한다.

무리화는 왜곡(Distortion) 함수를 최소화하는 다차원 최적화가 문제가 되는데, 본 발명에서는 하나의 지역최소(Local Minimum)로 왜곡 함수를 단순 감소시키는 반복 감소(Iterative Descent) 방식을 사용한다.

본 발명과 같이 On-line 무리화의 경우에는, 안정 상태(차량이 없는 상태)에서 입력되는 후보 배경 영상을 M(높이 X 폭)개의 요소를 가지는 벡터

로 두고, 연속적으로 입력되는 벡터들로부터 무리화를 진행한다.

무리화 성능을 정량적으로 평가하기 위해 다음과 같은 왜곡 측정을 사용하는데, 이는 가장 일반적인 M-차 벡터간 유클리디언 거리(Eucledian Distance)의 제곱이다. 여기서

는 무리의 중심을 나타낸다.

다음은 무리 중심을 구하는 알고리즘을 각 스텝별로 설명한다.

먼저 초기화 단계에서는, 최초 입력되는

를 다음과 같이 할당하고 무리 개수 N은 1로 둔다.

이어서 제1단계에서는, 후보 배경 영상

와 N개의 무리 중심(배경 영상)들

에 대해, 최소거리 무리 중심(배경 영상)

를 선택한다.

위 식에서

는 K번째 무리 중심(배경 영상)을, N은 무리 중심(배경 영상) 개수를 나타낸 것이다.

이어서 제2단계에서는,

이면,

를 새로운 무리 중심(배경 영상)으로 두고 무리 중심 개수 N을 증가시킨다.

또는 후보 배경 영상

는

와 유사하므로 다음과 같이

를 갱신한다. 여기서

는 1보다 작은 상수로 입력 벡터

의 반영률이다.

,

또는

위와 같이 갱신된 무리 중심들(배경 영상)을 이용하여, 검출 영역에서 임의 영상과 배경 영상들 간에 다음 식에 의해 최소거리 배경 영상을 선택하고, 이를 다음 처리 과정에서 사용한다.

차량 검지부(15)는 새로 진입하는 차량을 검지하기 위해 에지(Edge) 영상을 사용하는데, 추정된 배경 영상을 에지 영상으로 변환하거나, 현재의 에지 영상에 위에서 얻어진 배경 영상에서 차량 에지 영상만을 추출한다.

에지 영상을 사용하는 이유는, 자동노출제어(Auto Iris)에 의한 점진적 영상 변화, 차량 이동시 발생하는 차량 주변 영상의 변화, 자동차 헤드라이트의 바닥 반사에 의한 변화를 제거하기 위함이다. 이러한 영상변화의 성분은 보통 저주파 성분으로서 에지로 나타나지 않는다.

이하, 검지 영역내에서 배경 영상 및 차량의 에지영상을 구하고 최종 차량정보를 추출하는 과정을 설명한다.

먼저 차량 에지 영상을 각 차선별로 설정된 영역에 대해 구한다.

여기서 특정 부분, 즉 차량이 진입하는 부분에 검지 영역을 설정하여 사용하면 좀더 정확한 차량 검지 및 연산량 감소를 얻을 수 있다.

이 설정된 영역 안의 차량 에지 영상의 절대 값의 합이 차량 검지 (Detection)를 위한 측정값이 된다.

상기한 측정값은 명암 변화가 심한 외부 환경에 대응하여 조정된다.

즉 외부 명암 변화에 상관없는 균일한 값의 분포를 갖게 되도록, 원하는 값의 분포를 미리 설정하고, 이 설정된 값과의 차이를 피드백시켜 측정값의 분포를 원하는 범위 내로 맞춘다.

이어서 차량의 길이 산정 및 다른 용도를 위해 상기한 에지 영상은 이진화된다.

상기한 영상 이진화는 이진화 임계치의 결정이 중요하다. 특히 영상 검지기와 같이 옥외 환경에서 동작하는 카메라 영상의 경우는 더욱 그러하다.

이진화 임계치는 배경 영상을 갱신할 시점인 안정상태에서 결정된다. 배경 영상을 갱신할 때는 현재 영상에 차량이 없는 경우로 가정할 수 있으며, 이때 이진화 임계치를 결정하게 된다.

이를 위해서 현재 이진화 영상과 원하는 이진화 영상과의 오차를 구하고, 이 오차를 피드백(Feed-back)하여 이진화 임계치를 조정한다.

이때 이진화 임계치 조정값

은 다음과 같이 계산된다.

여기서

는 이진화 임계치이고,

는 오차함수,

는 원하는 이진화 영상,

는 이진화 결과 영상이다.

이렇게 구한 이진화 임계치

는 주간에는 주간 에지 이진화값

가 사용되고, 야간에는 야간 에지 이진화값

,

가 사용된다.

즉, 야간에 사용되는 에지 이진화 값은

,

2개가 된다.

야간상태에서 차량은 두 개의 극단적인 에지 레벨을 가진다. 즉 헤드라이트는 매우 밝은 반면 차량 몸체는 매우 어둡게 된다.

또한, 일출이나 일몰 상황에서 많은 차들이 헤드라이트를 켜지만 그렇지 않은 경우도 상당수 있다.

따라서, 야간에는 에지가 선명한 헤드라이트가 검지 기준이 되고, 헤드라이트를 점등하지 않은 경우에는 어두운 차량 몸체를 검지한다.

헤드라이트 여부 판별은, 일정 크기 이상의 둥근 덩어리(Blob)가 2개 이상이면 헤드라이트로 판단한다.

그림자 검출 및 제거부(16)는, 주간에 옆 차선 차량의 그림자가 차량으로 검지되는 것을 방지하기 위한 것으로 그림자 특성을 이용하여 이를 제거한다.

그림자의 속성은 다음의 4가지로 특정할 수 있다.

첫째, 그림자 영역은 배경 영역보다 밝을 수 없고, 둘째, 그림자 영역은 도로면의 특성으로 인해 비교적 균일하고, 셋째, 그 위치가 옆 차선과 유사하며, 넷째 그 속도가 옆 차선과 동일하다는 것이다.

위 첫 번째 특성으로부터 배경 영상보다 밝게 검지된 것은 차량이라고 판단할 수 있다.

또한, 두 번째 특성인 균일성을 이용하여 차량과 그림자를 구분할 수 있다.

세 번째 특징과 네 번째 특징을 반영하면, 두 번째 특징에 의해 제거되지 않은 그림자를 추가로 제거할 수 있다.

그림자를 제거하기 위해서는 컬러 영상을 이용한 그림자 검출 제거방식이 사용된다.

주간에 차량 그림자가 존재할 때에는 광량이 충분하며 이 경우 차량의 색 성분 또한 명확하게 판별할 수 있다.

그림자는 색 성분이 없으므로, RGB 공간에서의 분포가 차량과는 다른 점을 이용하여 그림자를 검출하는 것이다.

그림자에 의해 차량으로 검출이 되면, 검출 영역에서 화소들의 RGB 히스토그램(Histogram)을 이용하여 그림자에 의한 차량 검출을 제거한다.

화소들의 RGB 히스토그램은 3차 가우스 확률분포(PDF : Probability Density Function)로 다음과 같이 모델링 될 수 있다.

여기서 백터

는 화소의 Red, Green, Blue 값 세 개로 구성되며, N은 샘플 개수이다.

RGB 컬러간 독립을 가정하면 공분산행렬(Covariance Matrix)

는 다음과 같다.

또한 그림자 영상 화소 값의 확률밀도함수는 다음과 같다.

그림자를 검출 및 제거하는 과정은, 먼저 샘플 그림자 영상으로부터 위 PDF의 6개 매개변수인

값을 구하여 설정값으로 설정한다.

이어서 검출영역에서 차량으로 검출된 영상의 화소들의 RGB값들로부터 확률밀도함수

를 구하고 임계치보다 큰 화소들의 수가 일정 개수 이상이면 그림자로 판단한다.

만일, 6개의 매개변수가 설정하기에 너무 많으면 RGB 공분산 세 개값

는 1로 두어 단순화할 수도 있다.

차량 속도 계산부(17)에서는 차량이 검지되면 속도를 구하기 위해 영상 프레임당 차량 이동량을 구한다.

차량 이동량은 도 3에 도시된 바와 같이, 이전 영상의 검지 영역에 있는 차량 머리 부분이 현재 영상 중 어디에 위치하는가를 탐색하여 구할 수 있다.

여기서 a는 차량 검지 영역을 나타낸 것이고, L은 차량의 머리 부분의 이동량을 나타낸 것이다. 상기 이동량 L로부터 차량의 속도를 계산할 수 있다.

이때 사용하는 수식은 다음과 같다.

여기서 V는 기 설정된 차량 이동 방향에서 결정되며 탐색 영역이 되고, Z는 검출영역을 나타낸다.

위 식에서

는 각각 현재, 과거 영상이며, 차량은 수직이동만 존재한다고 가정하고 y의 이동량만 탐색한다.

D는 코스트 함수(Cost Function)로 두 영상간 차이를 구하는 함수가 되며, 본 발명에서는 다음과 같이 두 픽셀간 유클리디언 거리(Eucledian Distance)의 제곱을 사용하거나 경우에 따라 절대값을 사용해도 된다

여기서

,

는 원 영상을 사용할 수도 있으나 주변 밝기 변화의 영향을 덜 받기 위해 에지 영상을 사용하는 것이 바람직하다.

는 과거 영상을,

는 현재 영상을 나타낸다.

위에서 구한 영상 픽셀(pixel) 이동량은 영상 프레임간 이동량이고, 프레임간 시간 간격은 1/30초이므로 이로부터 최종 차량 속도를 계산할 수 있다.

차량 길이 계산 및 차종 구분부(18)는, 검지 영역에서 차량이 검지된 후 연속된 프레임으로부터 차량이 검지되지 않을 때까지 기다린다.

만약 차량이 검지되지 않는다면 바로 이전 프레임에 차량의 끝 부분이 있게 되는 것을 의미한다.

이때 이전 프레임에서 초기 검지 영역에서 차량이 검지된 후 매 프레임마다 이동량을 구하므로, 이로부터 차량 시작부분 위치를 알 수 있고, 시작 부분부터 끝 부분까지 스캔하여 차량의 길이를 구할 수 있으며, 이 차량 길이에 따라 차종을 구분할 수 있다.

즉, 차량 길이는 다음과 같은 식에 의해 구할 수 있다.

차량길이(픽셀길이) = 차량시작위치 + 차량픽셀이동량 X 프레임수 - 차량종료위치 - 차량높이에 의한 길이 보상

위 식에서 차량 시작위치는, 차량이 검지된 시점에서 이진화된 에지 영상을 스캔하여 얻는다.

차량종료위치는 차량 검지가 종료된 시점에서 이진화된 에지 영상을 스캔하여 얻는다. 차량 높이에 의한 길이 보상은 차량 영상을 분석하여 얻은 차량 높이 성분에 의한 길이 감소 부분이다.

픽셀에 의한 차량길이는 최종적으로 보정하여 실제 길이로 변환한다.

주/야간, 일몰, 일출, 기상 악화 등 주변환경을 판단하는 주변환경 판단 및 처리부(19)는, 현재 배경 영상의 밝기값이 주어진 임계치 이상이면 주간, 아니면 야간으로 간주한다.

일출 및 일몰 시와 같은 주/야간 구분이 뚜렷하지 않은 경우에는 차량 헤드라이트가 켜있는 차량과 꺼져 있는 차량이 혼재하게 된다.

따라서, 우선 차량 헤드라이트를 먼저 검출해 보고 검출이 되면 야간 알고리즘을 적용하고, 헤드라이트가 검출이 되지 않으면 주간 알고리즘을 적용한다.

이때 일몰, 일출, 기상악화에 따라 차량 검지 기능이 떨어지지 않도록 영상의 잡음을 제거하여 처리하며, 차량 검지값을 외부 밝기 변화에 대응하여 변화시킨다.

또한 에지 영상의 이진화에 사용되는 이진화 임계치도 다음 식과 같이 오차함수값을 피드백(Feed-back)하여 구한다.

위 식에서

는 이진화 임계치 조정값이고,

는 이진화 임계치,

는 오차함수,

는 원하는 이진화 영상,

는 이진화 결과 영상이다.

본 발명에 따른 차량 영상 검지 장치에 의하면, 여러 개의 후보 배경 영상 중에서 최적의 배경 영상을 찾고, 이에 근거하여 차량 검지시 비교 데이터로 활용하게 되므로 차량 인식의 오차를 줄일 수가 있게 된다.

10: 차량 영상 검지 장치
11: 이미지 획득부
12: 영상 보정 및 변환부
13: 영상잡음 제거부
14: 배경영상 갱신부
15: 차량 검지부
16: 그림자 검출 및 제거부
17: 차량속도 계산부
18: 차량길이 및 차종구분부
19: 주변환경 판단 및 처리부

Claims (4)

1. 도로변에 설치된 카메라로 차량의 이미지를 촬영하는 이미지 획득부(11)와;
   상기 이미지 획득부(11)에서 획득한 이미지 영상을 보정하고, 실제거리와 화면 좌표와의 축척을 계산하여 보정하는 영상보정 및 변환부(12)와;
   획득된 영상의 차선과 평행하게 검지 영역을 설정하고 각 영역 특성에 대한 임계치 및 매개변수를 결정하여 입력 영상의 잡음을 제거하는 영상잡음 제거부(13)와;
   도로면의 배경 영상을 갱신하는 배경 영상 갱신부(14)와;
   추정된 배경 영상을 에지(Edge) 영상으로 변환하거나, 현재의 에지 영상 위에서 얻어진 배경 영상에서 차량 에지 영상만을 추출하여, 검지 영역 내로 진입한 차량을 검지하는 차량 검지부(15)와;
   옆차선 차량의 그림자를 제거하는 그림자 검출 및 제거부(16)와;
   영상 픽셀 이동량과 영상 프레임간 시간 간격에 근거하여 검지된 차량의 속도를 계산하는 차량속도 계산부(17)와;
   차량이 검지된 시점 및 차량의 검지가 종료된 시점에서 이진화된 에지 영상을 스캔하여 차량 시작 위치 및 차량 종료 위치를 구하고, 픽셀 이동량, 프레임수 및 차량 높이를 고려하여 차량의 길이를 계산하고 차종을 구분하는 차량길이 계산 및 차종구분부(18)와;
   배경 영상의 밝기 값이 주어진 임계치 이상이면 주간, 아니면 야간으로 판단하여 주/야간 알고리즘을 다르게 적용하는 주변환경 판단 및 처리부(19);를 포함하여 이루어지는 차량 영상 검지 장치에 있어서,
   상기 배경 영상 갱신부(14)는,
   검지 영역 내에 차량이 없는 상태에서 생성된 배경 영상에 차량 진입시 발생하는 픽셀값 변화를 추적하여 차량을 검지하되,
   차량 검지 영역의 검지 값과 검지 값의 이동 평균값의 차이가 특정 값 이하이고, 검지 영역의 검지 값의 미분이 특정 값 이하이며, 위의 두 가지 상태가 일정 프레임 이상 반복되는 3가지 조건을 모두 만족하는 경우에 검지 영역 내에 차량이 없는 안정 상태로 판단하고,
   상기 3가지 조건에 의해 여러 개의 후보 배경 영상을 생성하여, 잘못된 후보 배경 영상은 새로운 배경 영상으로 등록하고 정상인 배경 영상은 보호하면서, 무리화(Clustering) 과정을 통해 찾은 최종 배경 영상으로 차량 검출에 필요한 정상 배경 영상을 계속적으로 갱신하며,
   상기 무리화(Clustering) 과정에서,
   상기한 3가지 조건을 만족하는 후보 배경 영상을 N개의 무리로 분할하고, 각 무리의 중심을 배경 영상으로 하여 N개의 배경 영상을 지속적으로 갱신하되, 왜곡 함수를 감소시키기 위해 반복 감소(Iterative Descent) 방식을 사용하여 무리화를 진행하고,
   후보 배경 영상

   

   와 N개의 무리 중심 배경 영상들

   

   에 대해 최소거리 무리 중심(배경 영상)

   

   를 선택한 후,

   

   를 새로운 무리 중심(배경 영상)으로 두고 무리 중심 개수 N을 증가시키고,
   갱신된 무리 중심(배경 영상)을 이용하여, 검출 영역에서의 임의 영상과 배경 영상들 간에 최소거리 배경 영상을 선택하며,
   그림자 검출 및 제거부(16)에서의 그림자 판단 및 제거는,
   그림자 영역이 배경 영역보다 밝지 않고, 도로면을 따라 균일하며, 위치가 옆차선과 유사하고, 그 속도가 옆차선과 동일하다는 4가지 속성을 이용하여 차량과 그림자를 구분하되,
   검출영역에서 화소들의 RGB(Red, Green, Blue) 히스토그램(Histogram)을 3차 가우스 확률분포(PDF : Probability Density Function)로 모델링 하고, 샘플 그림자 영상으로부터 상기 PDF의 6개 매개변수인

   

   값을 구하여 설정값으로 설정한 후,
   검출영역에서 차량으로 검출된 영상의 화소들의 RGB 값들로부터 확률밀도함수

   

   를 구하고, 임계치 보다 큰 화소들의 수가 일정 개수 이상이면 그림자로 판단하여 이를 제거하는 것을 특징으로 하는 차량 영상 검지 장치.
2. 삭제
3. 삭제
4. 삭제

Images