KR20040061223A - 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치 - Google Patents

Abstract

본 발명은 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치에 관한 것으로 특히, CCD 카메라에서 얻은 영상을 영상검지에 적합한 영상으로 변환하고 이로부터 교통정보를 추출하는 카메라 캘리브레이션 기반 영상변환기법에 있어서, 영상을 직사각 형태로 변환하여 교통정보를 편리하게 추출하도록 함에 목적이 있다. 이러한 목적의 본 발명은 도로를 주행하는 차량의 영상을 촬영하는 제1 단계와, 상기에서 획득한 영상을 카메라 캘리브레이션 기법을 이용하여 직사각형으로 변환하는 제2 단계와, 상기에서 변환된 직사각형 영상에 포함된 잡음을 제거한 후 특징점을 추출하고 그 특징점을 추적하는 제3 단계와, 상기에서 추적한 특징점의 상호간 위치 관계를 분석하여 군집으로 분리하고 그 분리된 군집에 대해 일정 개수 이상의 특징점을 포함한 군집만을 차량으로 인식하여 교통 정보를 추출하는 제4 단계로 이루어짐을 특징으로 한다.

Description

카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치{TRAFFIC INFORMATION ACQUISITION METHOD AND APPARATUS USING CAMERA CALIBRATION}

본 발명은 교통 관제 시스템에 관한 것으로 특히, 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치에 관한 것이다.

통상적으로 교통 관제 시스템에서는 도로 또는 교차로 등에서 교통 정보를 수집하기 위하여 Loop Detector를 이용하고 있다.

Loop Detector는 전기가 통하는 선을 노면에 코일을 형성하도록 설치하고 이 도선에 전류를 흘려 차량이 지나갈 때 발생하는 전자기 유도 현상을 이용하여 차량의 존재 유무를 검출한다.

따라서, 한 차선에 2개의 코일을 소정 거리 만큼 이격하여 설치하고 2개의 코일 간의 감지 시간차를 계산하여 차량의 속도를 계산하고 각 코일에 점유된 시간의 대표값을 구하여 점유 시간을 구하며 그때 산출된 속도와 점유 시간의 관계를 이용하여 차량의 길이를 산출한다.

이러한 기존의 방식은 교통량, 점유율, 속도 정보에 대하여 높은 신뢰도를 제공하지만, 노면에 직접 공사를 하는 방식임으로 도로를 파손시키는 문제와 노면이 변형된 경우 코일이 끊어지는 문제가 발생하고 이로 인한 보수 공사시 교통에 불편을 가져오게 된다.

또한, 최근에는 기존의 통계적인 제어가 아닌 현재의 실시간 교통정보를 바탕으로 각 교차로에서의 신호 제어를 꾀하고 있어 교차로에서의 차량 대기 행렬 길이에 대한 정보의 필요성이 증대되었다.

그런데, 루프 코일을 이용하여 대기 행렬과 같은 일정 영역에 걸친 교통 정보를 획득하기 위해서는 여러 개의 루프 코일을 도로 바닥에 설치하여야 하므로 그 만큼 공사가 어려워지는 문제점이 있다.

따라서, 루프 코일 설치 공사의 어려움을 피하기 위해서 도로의 몇 군데 지점에만 루프 코일을 설치하여 대개 행렬 정보를 구하는 방식을 사용하고 있지만, 이 경우에는 각 지점에 설치된 루프에서의 지점 정보를 이용하여 대기 길이를 유추하게 되므로 대기 행렬 정보의 정확성이 근본적으로 저하되는 문제점이 있다.

한편, 도로에서의 교통량, 속도, 점유율, 차량 길이 등의 교통 정보를 추출하기 위하여 영상을 이용한 기술이 개발되어 현장에 적용되고 있다.

즉, 교통 관련 분야에서는 이미 CCTV 카메라를 주요 도로와 교차로에 설치하여 필요한 교통 정보를 제공하고 있다.

우리나라의 경우 1990년대 초에 ITS(Intellegent Transportation System)를 위한 '국가 지능형교통체계'라는 국책 사업에서 '첨단 교통관리 시스템(ATMS)' 분야의 개발 방안이 제시되었다.

이는 교통흐름을 최적화하기 위해 각종 교통정보 검지 기술을 활용하여 교통량 변화에 실시간으로 대응하고 도로 상의 각종 돌발 상황을 인지함으로써 신호 기간 및 도로 용량, 차량 흐름을 조절하는 방법을 모색하는 것이다.

이를 위하여 기존의 널리 쓰이는 교통정보 수집 센서인 Loop Detector의 단점을 극복하고자 차세대 교통정보 수집 센서 중의 하나로서 영상을 이용한 교통정보 수집 센서에 대한 연구도 활발히 진행되고 있고 있으며 고속도로의 일부에 영상을 이용한 검지 장치를 설치하여 현재 운영하고 있다.

또한, 교차로에서의 신호 제어에 이용하기 위하여 교차로에서의 차량 대기 행렬의 길이 측정 방법에 관한 연구도 진행되고 있다.

도1(a)은 일반적으로 차량 대기 행렬의 길이 측정을 위하여 카메라를 설치 위치를 보인 예시도로서, 교차로로 진입하는 차량의 정면 영상을 획득하도록 카메라를 교차로에 인접한 건물 또는 교통 신호등 설치대 등에 소정 높이로 설치하여 구성하게 된다.

이를 적용한 종래의 영상을 이용한 차량 대기 행렬의 길이 측정 기술은 차량을 도로 바닥이나 기타 노이즈와 구별하는 영상 처리 방식을 이용하는 것으로, 카메라로 획득한 영상에서 차량의 고유 특징인 차량의 수직, 수평, 대각선 등의 에지 성분 또는 이 특징들의 군집을 이용한 차량의 윤곽선 성분을 추출하여 차량을 검지하는 방식과, 도로에 차량이나 기타 오염이 없을 때의 영상으로부터 그 도로의 기준 영상을 만들어서 그 기준 영상과 현재 영상을 비교하여 그 차이가 일정한 임계치를 벗어났을 때 도로 상의 차량을 검지하는 방식을 사용한다.

종래 기술에서의 영상검지 방법은 일반적으로 일반적으로 노이즈 제거 등과 같은 영상입력 전처리 과정과, 영상처리 과정과, 교통정보 추출 과정으로 이루어진다.

즉, 종래 기술에서의 영상 검지 방법은 대부분 도로상에 설치된 카메라에서 입력된 영상을 그래버나 DSP 보드에서 디지털 신호로 변환하여 씨피유(CPU)에서 받아들인 후 디지털 신호로 변환된 영상에 대해 노이즈 제거나 필터링 등의 전처리 과정을 수행하고, 상기 전처리 과정 이후에 영상처리 기법을 적용하는 영상처리 과정과 이 영상처리 과정에서 얻은 결과를 해석하여 교통량, 속도, 점유율, 대기길이, 사고유무 등의 교통정보를 산출하는 교통정보 추출과정을 거치게 된다.

그러나, 종래의 기술은 카메라로부터 입력받은 영상을 그래버에서 디지털 신호로 변환한 후 그 영상을 그대로 사용하는데 보통 영상검지 카메라는 도로의 측면에 세워진 폴(Pole)에 설치되므로 화면에 나타나는 도로의 모습은 도2의 예시도에 도시된 바와 같이 기울어진 전경(Perspective View)을 갖는다.

즉, 차량의 모습이나 차선등 화면에 나타나는 모든 물체의 동일한 기울기를 가진 직선요소들이 카메라에서의 위치와 거리에 따라 다양한 기울기를 가진다. 실제로 평행한 도로의 차선이 화면에서는 차선마다 다른 기울기를 가진다. 물론 사람은 그것을 보고 평행하다고 알지만 영상처리에서는 그것을 동일한 것으로 간주할 수 있는 처리를 해주어야 한다. 마찬가지로 차량에 대해서도 대부분의 차량은 직사각형의 형태를 갖지만 영상에서는 차량의 외곽선은 다양한 기울기를 가진 부정 사각형의 모습을 가진다.

따라서, 영상처리 과정에서 직선 성분들을 추출하기 위해서 Kernel을 사용한다면 모든 위치에서 각각의 기울기에 알맞은 Kernel을 작성해야 한다. Kernel을 사용하지 않고 다른 방법으로는 Hough Transform을 사용하여 각각의 기울기 별 직선요소를 파악해야 하는데, 이때에도 어떤 위치에 있는 직선요소가 어떤 기울기를 갖는지 미리 알아야 한다. 즉, 모든 위치에 발생할 직선요소들에 대한 정보를 알아야 하는데 이것은 매우 많은 작업량을 필요로 하는 일이며 시간이 많이 걸려 실시간성을 잃어버리는 요인이 된다.

또한, 차량의 크기를 파악할 때도 동일한 차량에 대해서도 화면에서의 위치에 따라 차지하는 픽셀의 크기가 달라지므로 동일한 것으로 인식하기 위해서는 크기에 관한 정보의 처리를 필요로 한다.

이러한 문제로 인하여 종래의 단순한 알고리즘을 사용하는 영상검지 장치들은 좁은 영역 내에서 크기 변화가 없다는 가정 하에서 영상 내의 일정한 영역(가능한 좁은 영역) 안에서만 검지하였고 이에 필요한 실제 좌표를 입력하여 해결하였다.

그러나, 점점 영상검지장치에서 차량의 궤적을 추적하는 고급 기능들이 요구되면서 영상 전체의 실제 거리 좌표를 알아야 하는 필요성이 증대되고 있는 실정이다.

이에 부응하기 위하여 영상 전체에서 실제 거리에 관한 문제를 파악하는 방법으로 카메라 캘리브레이션 기법을 이용하고 있다.

그러나, 카메라 캘리브레이션(calibration) 방법을 이용하면 실제거리의 문제는 해결이 되지만, 영상 내에서 동일한 물체에 대해서 위치에 따라 픽셀의 크기가 달라지므로 처리해야할 픽셀의 수가 틀려지는 문제가 발생한다.

예를 들면, 화면의 진입시에는 10*10의 물체가 진출시에는 50*50이 된다. 무려 25배의 크기 변화가 발생한다. 물체를 검지하기 위해 10*10의 크기로 처리를 하면 진입에서는 만족하지만 그 이후에는 만족하지 못하므로 중간에 변환 과정을 거칠 때마다 위치에 따라 크기의 변화에 따른 배려를 해주어야 한다. 이는 영상처리 특성 상 매우 까다로운 일이다.

또한, 이로 인해 차량의 위치에 따른 연산량의 차이가 매우 심하게 발생한다. 이것은 실시간에 차량의 정보를 추출해야 하는 차량검지 장치에 있어서는 제한적 요소로 작용한다. 이는 종래의 영상검지 장치에서 영상의 일부만 사용하게된 이유가 된다.

그러나, 상기에서 언급한 대로 영상의 일부만을 사용할 때 영상을 이용한 차량검지 장치에서는 고기능의 정보인 유고기능이나 대기행렬의 측정 등과 같은 고급기능의 구현이 불가능하다.

이러한 영상의 크기문제를 해결하기 위해서 영상을 항상 동일한 크기와 모양으로 정규화해야 한다.

그러나, 영상을 동일한 크기와 모양으로 정규화하는 방법으로 이미지를 변형하는 여러가지 변환기법(Image Warping or Image Morphing)이 있지만, 이러한 방법들을 적용하여도 영상의 크기변화에 따른 대처를 위해 영상을 변환하는 경우 캘리브레이션이 적용된 화면은 변환 전의 영상이므로 그 영상으로부터 거리정보를 직접 구할 수 없다는 문제가 발생한다.

만일, 거리정보를 구하려면 카메라 캘리브레이션을 변환 후의 영상으로 적용해야 함으로 사용된 영상변환기법과 캘리브레이션 방법에 따라 세심한 작업이 필요하지만, 이는 매우 어렵다.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 CCD 카메라에서 얻은 영상을 영상검지에 적합한 영상으로 변환하고 이로부터 교통정보를 추출하는 카메라 캘리브레이션 기반 영상변환기법에 있어서, 영상을 직사각 형태로 변환하여 교통정보를 편리하게 추출하도록 창안한 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치를 제공함에 있다.

도1은 카메라 설치 상태를 보인 예시도.

도2는 종래의 도로 촬영 영상을 보인 예시도.

도3은 본 발명의 실시예에서 영상변환 과정을 보인 예시도.

도4는 도3에서 변환지도 작성 과정을 보인 예시도.

도5는 본 발명의 실시예에서 촬영 영상과 변환 영상의 관계를 보인 예시도.

도6은 본 발명의 실시예에서 교통정보 추출 과정을 보인 동작 순서도.

본 발명은 상기의 목적을 달성하기 위하여 도로를 주행하는 차량의 영상을 촬영하는 제1 단계와, 상기에서 획득한 영상을 카메라 캘리브레이션 기법을 이용하여 직사각형으로 변환하는 제2 단계와, 상기에서 변환된 직사각형 영상에 포함된잡음을 제거한 후 특징점을 추출하고 그 특징점을 추적하는 제3 단계와, 상기에서 추적한 특징점의 상호간 위치 관계를 분석하여 군집으로 분리하고 그 분리된 군집에 대해 일정 개수 이상의 특징점을 포함한 군집만을 차량으로 인식하여 교통 정보를 추출하는 제4 단계로 이루어짐을 특징으로 한다.

상기 제2 단계는 영상에서 식별 가능한 지점의 실제 위치 정보를 조사하여 영상 좌표와 조사한 실세계 좌표를 입력하는 카메라 캘리브레이션 단계와, 상기 카메라 캘리브레이션 정보를 바탕으로 감시 영역을 설정하고 그 설정된 감시 영역에 대해 변환지도를 생성하는 변환지도 생성 단계와, 상기에서 생성된 변환지도를 참조하여 감시 영역의 영상을 모든 픽셀의 크기가 동일하도록 직사각형으로 변환하는 영상변환 단계로 이루어짐을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

본 발명에서 카메라 캘리브레이션 기반 영상변환방법은 도6의 동작 순서도에 도시한 바와 같이, 카메라 캘리브레이션 단계와, 변환지도 생성 단계와, 영상변환 단계와, 교통정보 추출 단계로 이루어진다.

이를 도3 및 도5를 참조하여 설명하면 다음과 같다.

우선, 카메라 캘리브레이션 단계에서는 도3(a)와 같은 영상에서 식별 가능한 지점들의 실제 위치정보를 조사하여 영상좌표(Xi,Yi)와 조사한 실세계 좌표(Xw,Yw)를 입력한다. 이러한 지점의 영상좌표와 실세계좌표를 가지고 카메라 캘리브레이션을 수행한다.

카메라 캘리브레이션의 기본은 3차원 모델링 기법을 기본으로 3차원상의 물체가 어떻게 2차원 평면에 영상이 맺히는가를 알아내는 것으로, 카메라의 설치 위치와 각도, 도로 평면과 시선 벡터와의 관계정보를 기초로 한다.

카메라 캘리브레이션 단계를 거치면 화면 상의 도로면에 있는 모든 픽셀의 실제 좌표를 알 수 있다. 이 단계에서 도로의 방향과 변환 후의 영상에서의 수직 축과 나란한 방향이 되도록 실세계 좌표를 입력할 수 있도록 좌표계를 구성한다.

다음 단계로서 변환지도(Transformation Map) 생성 단계는 상기 카메라 캘리브레이션 단계에서 구한 카메라 캘리브레이션 정보를 바탕으로 변환 전의 영상에서 변환할 영역의 지정과 변환 후의 변환영상의 실제 크기와 픽셀크기를 지정하고 이를 구현하는 변환지도를 작성한다.

즉, 변환지도 생성 단계에서는 변환 전의 어떤 픽셀이 변환 후 영상의 어떤 픽셀에 어떻게 매칭되는가를 기술한 변환지도를 작성한다. 이는 도3(b)의 예시도와 같다.

이러한 변환지도 생성 단계를 보다 상세히 설명하면 다음과 같다.

변환 영상의 한 픽셀에 대응되는 변환 전 영상에서의 해당 영역의 4개의 꼭지점 좌표를 구하는데, 변환 영상의 픽셀의 실세계 좌표값을 WorldToImage 함수에 입력하여 4개의 꼭지점 좌표를 구한다.

WorldToImage 함수는 카메라 캘리브레이션 단계에서 얻은 카메라 캘리브레이션 결과에서 나온 캘리브레이션 정보를 바탕으로 작성한 함수로서 아래의 [수학식 1]과 같은 입출력 형식을 가진다.

(x,y) = WorldToImage(X,Y)

여기서, (x,y)는 변환전 영상에서의 픽셀좌표이고, (X,Y)는 실세계 좌표이다.

이를 도4를 참조하여 설명하면 다음과 같다.

도4에서 ①,②,③,④는 변환 영상의 한 픽셀에 대응되는 변환 전 영상에서의 해당 영역의 4개의 꼭지점 좌표를 나타낸다.

4개의 꼭지점 좌표는 변환 영상의 픽셀의 실세계 좌표값을 WorldToImage 함수에 입력하여 아래의 [수학식 2]와 같이 구한다.

② :

③ :

④ :

여기서,는 변환하고 싶은 영상의 실세계 너비,는 변환하고 싶은 영상의 실세계 높이,는 변환 후 영상의 너비,는 변환 후 영상의 높이,는변환 영상에서의 X 좌표,는 변환 영상에서의 Y 좌표,는 i에 해당하는 실세계 좌표,는 j에 해당하는 실세계 좌표,는 변환 영상에서 한 픽셀이 차지하는 실제 거리 중 수평거리(X축 방향),는 변환 영상에서 한 픽셀이 차지하는 실제거리 중 수직 거리(Y축 방향)이다.

즉, 변환지도 생성 단계에서는 모든 변환된 영상의 픽셀들에 대해 네 꼭지점 ①,②,③,④를 구하고 그 이 네 꼭지점으로 이루어진 영역 내의 픽셀들을 그레이 레벨(Gray level) 값을 하나의 대표값으로 변환하는 규칙이 기록되어 있는 변환지도를 작성한다.

다음 단계로서 영상변환 단계는 카메라가 실시간 속도로 쵤영하는 새로운 영상을 받아서 미리 작성된 변환지도를 적용하여 원하는 영상으로 변환한다. 이 과정에서 변환된 영상은 도3(c)의 예시도와 같다.

본 발명에서는 카메라로부터 새로운 영상이 입력될 때마다 상기의 단계를 적용하여 변환된 영상을 얻을 수 있다.

상기와 같은 과정으로 변환된 영상은 다음과 같은 특징을 가진다.

첫째, 실제로 평행한 차선은 변환된 영상에서도 평행으로 나타난다.

둘째, 영상 내의 모든 물체는 변환 된 영상의 위치와 상관없이 거의 동일한 픽셀 크기를 가진다.

셋째, 도로의 차선의 방향은 변환된 영상에서 수직으로 나타나고 차선에 수평인 직선성분은 변환된 영상에서 수평으로 나타난다.

넷째, 변환된 영상에서 단위픽셀당 가로, 세로 크기가 모든 픽셀에 대하여 동일하다. 이는 변환된 영상에서의 거리 계산을 예를 들면 픽셀의 개수를 세는 것으로 간단하게 구할 수 있음을 의미한다.

즉, 본 발명에서는 도5의 예시도에 도시한 바와 같이, 소정 높이에 설치된 카메라에서 촬영한 기울어진 영상에 변환기법을 적용함으로써 그 촬영 영역의 바로 상측에서 촬영한 것과 동일한 효과를 발휘하도록 하는 것이다.

이후, 상기와 같은 과정으로 영상 변환이 완료되면 다음 단계로서 교통정보를 추출한다. 즉, 교통정보 추출 단계에서는 상기 과정으로 직사각 형태로 변환된 영상으로부터 교통량, 속도, 점유율, 대기길이, 유고검지 등의 교통정보를 추출하게 된다.

한편, 본 발명의 실시예에서 변환 영상으로부터 교통정보를 추출하는 과정을 차량의 대기길이를 추출하는 경우를 예를 들어 설명하면 다음과 같다.

이를 위하여 본 발명의 실시예를 위한 장치는 차량의 후면 방향에서 도로의 영상을 획득하여 아날로그 영상 신호를 동축 케이블을 통해 전송하는 카메라와, 이 카메라에서 입력된 아날로그 영상신호를 직사각형으로 변환하는 이미지 변환기와, 이미지 변환기에서 변환된 직사각형 영상을 영상 처리 가능하도록 초당 30프레임의 디지털 신호로 변환하는 이미지 그래버(Image Grabber)와, 이 이미지 그래버에서 변환된 디지털 영상을 메모리 영역에 1프레임씩 저장한 후 실시간으로 처리하여 대기 행렬 길이를 산출하는 연산장치를 포함하여 구성할 수 있다.

본 발명의 실시예에서 영상 촬영 장치인 카메라는 15M 정도 높이의 폴(pole)에 차량의 지붕과 후면을 촬영하도록 설치한다.

즉, 본 발명의 실시예에서는 도1(a)의 예시도와 같이 카메라의 촬영 방향을 차량의 정면이 되도록 구성할 수도 있지만, 도1(b)의 예시도에 도시된 바와 같이, 카메라의 촬영 방향이 차량의 후면이 되도록 하여 영상에서 차량의 뒷 끝을 정확하게 추출할 수 있도록 함으로써 차량의 전면을 촬영할 때 발생하는 은폐 영역으로 인한 오차를 근본적으로 제거하며 아울러 야간의 경우에도 차량의 후면에 설치된 미등이나 브레이크 등의 불빛이 촬영됨으로 범짐 현상없이 미등이나 브레이크 등의 특징들이 뚜렸하게 나타나게 된다.

따라서, 본 발명을 차량 대기길이를 측정하는 경우에 적용한다면 야간에는 주로 차량의 미등과 브레이크 등의 특징들을 기준으로 차량의 맨 뒤 끝을 측정하여 야간에서의 정확도를 향상시켰으며 또한, 주간의 경우에도 특징점들이 후미등이나 브레이크 등이 있는 주변에서 동일하게 발생하므로 대기 길이 측정시 주야간의 변화에 영향을 받지 않아 정확한 대기 길이를 측정할 수 있는 효과를 발휘할 것이다.

상기 카메라에서 도로의 영상을 촬영하여 아날로그 영상신호를 전송하면 이미지 변환기는 카메라 캘리브레이션 단계, 변환지도 생성 단계, 영상 변환 단계를 수행하여 도3(c)와 같이 직사각형으로 변환된 영상을 이미지 그래버로 전송한다.

상기 이미지 그래버(Image Grabber)는 아날로그 영상 신호를 영상 처리가 가능하도록 디지털 신호로 변환하여 연산장치의 메모리 영역에 프레임 단위로 저장하게 된다. 이때, 이미지 그래버에서 변환된 영상은 각 픽셀이 0~255의 흑백 그레이 값을 갖는 영상 프레임으로 그 갱신 속도는 초당 30프레임이다.

이에 따라, 연산장치는 영상 프레임을 실시간으로 처리하여 차량 행렬의 대기 길이를 산출하게 된다.

상기 연산장치는 이미지 그래버에서의 프레임 데이터에 대해 X,Y 방향으로 가우스 필터링하여 잡음을 제거하는 전처리 과정과, 이 전처리 과정에서의 영상으로부터 X,Y 각 방향의 차분 영상을 생성하고 그 생성된 차분 영상에서 추적할 대상이 되는 특징점을 윈도우 단위로 추출하는 특징점 추출 과정과, 이 특징점 추출 과정에서 추출한 특징점의 위치에서 기준 탬플릿을 만들고 다음 프레임에서 위치를 예측하여 탐색 영역을 결정한 후 그 탐색 영역에서 윈도우 단위로 상기 기준 탬플릿과의 상관관계를 구하며 일정 임계치 이상의 윈도우중 최대 상관관계를 나타내는 윈도우를 탬플릿 매칭하여 새로운 특징점을 설정하는 특징점 추적 과정과, 이 특징점 추적 과정에서의 특징점들 상호간의 위치 관계를 분석하여 군집성을 검사하고 그 군집성 검사에 의해 차량으로 인식되면 특징점들의 위치 궤적이 일정 프레임동안 일정 크기 이상의 움직임이 없는 경우 정지 차량으로 판단하며 그 정지 차량에 속한 특징점들의 X,Y 방향의 최대, 최소 위치를 구한 후 각 차선의 차량 행렬의 대기 길이를 산출하는 대기길이 측정 과정을 수행하도록 구성할 수 있다.

이를 보다 상세히 설명하면 다음과 같다.

(1), 전처리 과정에서는 이미지 그래버에서 전송된 Raw 영상에 대해 X 방향으로 가우스 필터를 적용하고 그 결과 영상에 대해 다시 Y 방향으로 가우스 필터를 적용하여 노이즈 성분을 제거한다.

상기 가우스 필터(Gauss Filter)는 각 픽셀에 적용될 가중치를 선택할 때 가우스 분포(노말 분포)에 따라 가중치를 선택하게 된다. 이때, 가중치를 적용하면 가우스 필터가 적용된 중앙의 픽셀값에 많은 가중치가 적용되도록 하면서도 전체적으로 영상을 부드럽게 만든다.

따라서, 전처리 과정을 거친 영상에서 구한 특징은 미세한 노이즈 성분이 제거되어 상황에 민감하지 않은 좋은 성질을 가지게 된다.

(2), 다음으로 특징점 추출 과정은 전처리 과정을 거친 영상으로부터 특징을 추출하기 위해 가중치를 가진 필터를 적용하여 2개의 공간 차분 영상(,)을 구하게 된다. 이때의 가중치는 가우스 분포를 미분하여 얻은 가중치를 적용할 수 있다.

우선, 도3(c)의 영상에 대해 가중치 필터를 영상의 X 방향으로 적용하여 수직 성분을 찾고 Y 방향으로 적용하여 수평 성분을 찾아 각각의 X 방향 공간 차분 영상()과 Y 방향 공간 차분 영상()를 생성하게 된다.

이후, 전처리된 영상에서 X,Y 각 방향으로 구한 차분 영상(,)에서 추적할 대상이 되는 특징점을 소정의 크기를 갖는 윈도우 단위로 추출한다. 즉, 하나의 특징점의 크기는 소정의 윈도우 크기를 갖는다.

이때, 하나의 윈도우의 특징값()을 아래의 [수학식 3]과 같은 연산으로 구할 수 있다.

여기서,는영상에서 한 윈도우 내의 각 픽셀의 제곱값의 합,는영상의 한 윈도우 내의 각 픽셀이 제곱값의 합,는영상에서 한 윈도우 내의 한 픽셀과영상에서 같은 위치의 윈도우 내의 동일한 위치의 픽셀과의 곱을 윈도우 내의 모든 픽셀에서 구한 값들의 총합이다.

그런데, 윈도우 단위로 특징점을 구하는 연산을 수행할 때 윈도우는 1픽셀씩 상하좌우로 이동한다. 즉, 우선 맨 좌측에서 시작하여 1픽셀씩 우측으로 이동하다가 맨 우측에 도달한 경우 다시 맨 좌측에서 아래로 1픽셀 이동하여 다시 우측으로 이동한다.

따라서, 특징점 추출 과정에서는 [수학식 3]과 같은 연산으로 특징값()을 윈도우 단위로 계산한 후 다음과 같은 과정으로 추적 대상이 되는 특징값을 구하게 된다.

제1 단계에서는 특징값()이 임계치()보다 큰지 비교한다. 상기 임계치()는 날씨가 흐리거나 주야간이 바뀌는 주야간 전이 시간대에서 물체가 희미하게 되는 경우에도 특징이 검출되도록 가능한 낮게 설정한다.

제2 단계에서는 제1 단계를 통과한 임계치() 이상인 특징값()을 큰값부터 순서대로 정렬한다.

이후, 제3 단계에서는 제2 단계에서 순서대로 정렬된 특징값()을 이전에 선택된 특징값들과 근접 정도를 비교하여 윈도우가 겹치지 않는 일정 개수의 특징값을 선택하고 그 선택된 특징값을 특징값 추적부(333)로 전송하게 된다. 이 경우, 환경 변화에 따라 제1 단계를 통과하는 특징값의 개수가 다르지만 제2 단게에서 크기순으로 정렬을 하여 일정 개수의 특징값을 선택함으로 임의의 환경하에서도 가장 좋은 특징값들을 선택할 수 있게 된다.

(3), 그 다음으로 특징점 추적 과정은 현재 프레임의 특징점 위치에서 기준 탬플릿을 만들고 다음 프레임에서 위치를 예측하여 탐색 영역을 결정한 후 다음 프레임의 영상을 처리할 때 이전 프레임에서의 기준 탬플릿을 탐색 영역에서 탬플릿 매칭으로 탐색하여 특징값을 추적한다.

이러한 특징값 추적 과정은 다음과 같은 3단계로 이루어진다.

제1 단계는 탬플릿 작성 과정으로, 특징값 추출부(332)에서 선정된 특징점 즉, 여러 개의 픽셀을 포함하는 윈도우의 영상을 기준 탬플릿으로 하는데 이때, 사용 영상은 전처리 과정을 거친 영상을 기준 탬플릿 영상으로 이용한다. 상기에서 윈도우의 기준 탬플릿의 단위는 특징점을 추출할 때의 단위와 같은 윈도우이다.

제2 단계는 탐색 영역 결정 과정으로, 처음에는 기본적인 탐색 영역을 적용하여 결정하고 그 이후에는 현재 위치와 이전 위치의 이동 벡터를 계산하여 다음프레임에서 특징점의 위치를 예측한 후 그 점을 포함한 일정 크기 영역을 탐색영역으로 결정한다.

제3 단계는 탬플릿 매칭 과정으로, 이전 프레임에서 생성한 기준 탬플릿 윈도우와 현재 프레임에서 전처리를 거친 영상의 탐색 영역의 한 윈도우와의 상관관계(Correlation Coefficient)를 구한다.

상관 계수()는 아래의 [수학식 4]와 같은 연산으로 구하게 된다.

여기서,는 기준 탬플릿 윈도우의 각 픽셀의 그레이 값,는의 평균값,는 탐색 영역의 한 윈도우의 각 픽셀의 그레이 값,는의 평균값이다.

이때, [수학식 4]에 의해 구한 값은 가장 일치할 때 +1의 값을 가지게 되고,의 절대값은 같지만 부호가 반대인 경우에는 -1값을 가지게 되고 그 외의 경우에는 -1과 +1 사이의 값을 가진다.

이에 따라, 특징값 추적 과정에서는 탐색 영역에서 각 위치마다 윈도우 단위로 기준 탬플릿과 상관관계를 구한 후 일정 임계치 이상인 윈도우 중에서 가장 최대 상관계수()를 나타내는 윈도우를 탬필릿 매칭을 통해 새로운 특징점으로 선정한다.

만약, 제3 단계에서 탐색 영역 내에 일정 임계치 이상의 상관 계수()를 가진 윈도우가 없는 경우에는 추적이 실패하게 되어 추적을 중단하게 되고 반대로, 만족한 윈도우가 있어서 성공한 경우에는 다음 프레임에서의 추적을 위해 다시 1단계, 2 단계를 수행하게 된다.

(4), 마지막으로, 대기 길이 측정 과정은 특징점 추적 과정에서 추적에 성공한 특징점을 대상으로 군집성을 검사하여 차량을 인식하는 제1 단계와, 상기에서 인식된 차량에서 궤적 정보를 추출하여 차량의 이동/정지를 판단하는 제2 단계와, 상기에서 정지 상태로 판단한 차량을 대상으로 대기 길이를 측정하는 제3 단계를 수행하게 된다.

이를 각 단계별로 상세히 설명하면 다음과 같다.

제1 단계인 차량 인식을 위한 군집성 검사 단계는 추적에 성공한 특징점들 서로의 위치 관계를 분석하고 일정 거리 이상 떨어져 있는 특징점은 다른 차량에 속한 특징점으로 인식하여 새로운 군집을 형성한다.

즉, 모든 특징점에 대해 서로의 위치를 분석하면 몇개의 군집으로 나뉘어지는데, 이때 일정 개수 이상의 특징점을 포함한 군집만 차량으로 인식한다. 여기서, 각각의 특징점은 자신이 속한 차량(군집)의 정보를 갖게 된다.

제2 단계인 정지 차량 검출 단계는 군집성 검사를 통해서 차량으로 인식되면한 차량에 속하는 여러 개의 특징점들의 무게 중심을 구하여 각 프레임마다 기록하고 그 기록된 무게 중심의 위치 궤적이 일정 개수의 연속 프레임동안 일정 크기 이상의 이동이 없는 경우에 정지로 판단한다.

제3 단계인 대기 길이 측정 단계는 정지로 판정된 차량에 속한 특징점들의 위치를 분석하여 X,Y 방향 각각의 최대/최소 위치를 구하고 이 값으로 외접 사각형을 구하여 각 차선의 정지선에서의 기준 위치에서의 거리를 구한다.

상기에서 상세히 설명한 바와 같이 본 발명은 카메라 캘리브레이션 기반의 영상 변환 방법을 적용하여 변환된 영상의 세로축을 도로의 차선에 맞추어 잡아 도로의 영상과 차량의 영상이 직사각형 형태로 나타나도록 하고 그 변환된 영상으로부터 교통 정보를 추출함으로써 다음과 같은 효과를 발휘하게 된다.

1. 본 발명의 영상변환 기법을 적용하면 변환하기 전의 영상에서 도3(b)와 같이 다양한 기울기를 갖던 차선이나 차량의 윤곽선이 도3(c)와 같이 수직/수평선으로만 나타나게 되어 수직/수평선을 위한 영상처리를 손쉽게 적용할 수 있다. 이에 따라, 영상처리 과정에서 수직/수평선의 검출 처리는 매우 기본적이며 처리시간도 기울기가 있는 영상보다 시간 및 난이도 면에서 훨씬 비용이 적게 든다.

2. 본 발명의 영상변환 기법을 적용하면 영상의 모든 픽셀의 크기가 일정하므로 픽셀 크기에 맞추기 위한 추가적인 노력없이도 동일한 알고리즘을 적용가능하여 수행시간 면에서 많은 비용감소를 가져온다.

3. 본 발명의 영상변환 기법을 적용하면 각 픽셀이 차지하는 실제 거리가 동일하므로 교통정보를 추출하는 과정에서 필요로 하는 거리정보를 단지 픽셀 좌표에 가로 단위길이, 세로 단위길이를 곱하여 간단하게 구할 수 있다.

4. 마지막으로 본 발명의 영상변환 기법을 적용하면 실제 거리정보와 물체의 영상내 크기 문제로 인한 제약이 없으므로 보다 넓은 범위를 대상으로 영상처리를 할 수 있어 실시간으로 정확한 교통정보를 제공할 수 있으며 또한, 루프 방식으로 제공할 수 있는 기본적인 교통정보 외에도 대기길이와 유고정보 등의 교통정보들을 제공할 수 있다.

Claims (6)

1. 도로를 주행하는 차량의 영상을 촬영하는 제1 단계와,

   상기에서 획득한 영상을 카메라 캘리브레이션 기법을 이용하여 직사각형으로 변환하는 제2 단계와,

   상기에서 변환된 직사각형 영상에 포함된 잡음을 제거한 후 특징점을 추출하고 그 특징점을 추적하는 제3 단계와,

   상기에서 추적한 특징점의 상호간 위치 관계를 분석하여 군집으로 분리하고 그 분리된 군집에 대해 일정 개수 이상의 특징점을 포함한 군집만을 차량으로 인식하여 교통 정보를 추출하는 제4 단계로 이루어짐을 특징으로 하는 카메라 캘리브레이션을 이용한 교통정보 추출 방법.
2. 제1항에 있어서, 제2 단계는

   카메라의 설치 위치와 각도, 도로 평면과 시선 벡터와의 관계 정보를 기초로 하여 촬영 영상에서 식별 가능한 지점의 실제 위치 정보를 조사하여 영상 좌표와 조사한 실세계 좌표를 입력하는 카메라 캘리브레이션 단계와,

   상기 카메라 캘리브레이션 정보를 바탕으로 카메라 캘리브레이션 정보를 바탕으로 촬영 영상에서 변환할 영역을 지정하고 변환 영상의 실제 크기와 픽셀크기를 지정하는 변환 지도를 작성하는 변환지도 생성 단계와,

   상기에서 생성된 변환지도를 참조하여 감시 영역의 영상을 모든 픽셀의 크기가 동일하도록 직사각형으로 변환하는 영상변환 단계로 이루어짐을 특징으로 하는 카메라 캘리브레이션을 이용한 교통정보 추출 방법.
3. 제2항에 있어서, 변환지도 생성 단계는

   변환 영상의 한 픽셀에 대응되는 변환 전 영상에서의 해당 영역의 4개의 꼭지점 좌표를 구하는 단계와,

   상기 4개의 꼭지점으로 이루어진 영역 내의 픽셀들에 대해 그레이 레벨(Gray level) 값을 하나의 대표값으로 변환하는 규칙이 기록되어 있는 변환지도를 작성하는 단계로 이루어짐을 특징으로 하는 카메라 캘리브레이션을 이용한 교통정보 추출 방법.
4. 제3항에 있어서, 꼭지점 좌표는 변환 영상의 픽셀의 실세계 좌표값을 아래 식과 같은 WorldToImage 함수에 입력하여 구하는 것을 특징으로 하는 카메라 캘리브레이션을 이용한 교통정보 추출 방법.

   (x,y) = WorldToImage(X,Y)

   여기서, (x,y)는 변환전 영상에서의 픽셀 좌표이고, (X,Y)는 실세계 좌표이다.
5. 제1항에 있어서, 제4 단계의 교통 정보가 거리 정보인 경우

   픽셀 좌표에 가로 단위 길이, 세로 단위 길이를 곱하여 구하는 것을 특징으로 하는 카메라 캘리브레이션을 이용한 교통정보 추출 방법.
6. 도로의 영상을 획득하여 아날로그 영상 신호를 전송하는 카메라와,

   이 카메라에서 입력된 아날로그 영상신호를 모든 픽셀의 크기가 동일하도록 직사각형으로 변환하는 이미지 변환기와,

   이미지 변환기에서 변환된 직사각형 영상을 영상 처리 가능하도록 초당 30프레임의 디지털 신호로 변환하는 이미지 그래버(Image Grabber)와,

   이 이미지 그래버에서 변환된 디지털 영상을 메모리 영역에 1프레임씩 저장한 후 실시간으로 처리하여 대기 행렬 길이를 산출하는 연산장치를 포함하여 구성함을 특징으로 하는 카메라 캘리브레이션을이용한 교통정보 추출 장치.