KR100438981B1 - 영상정보를 이용한 교통정보 추출 방법 및 장치 - Google Patents

Abstract

본 발명은 카메라를 통해 촬영한 교차로나 주행도로의 영상신호로부터 교통정보를 취득하는 기술에 관한 것이다. 이러한 본 발명은 교차로나 주행도로의 촬영 영상신호를 디지털 영상신호로 변환한 후 차량으로 추정할 수 있는 정보를 추출하기 위해 꼭지점 추출 영상처리 기법을 적용하여 차량의 특징점을 추출하는 제1과정과; 상기 특징점들의 위치 데이터를 저장하고, 매 순간 얻어지는 도로 영상에서의 동일 차량의 특징점의 위치 변화를 비교하여 해당 차량의 이동속도를 파악하고, 이러한 과정을 반복적으로 수행하면서 각 순간에 얻어진 차량의 특징점들의 위치를 추적하여 차량의 궤적을 파악하는 제2과정과; 상기 과정을 통해 추출된 차량의 특징점들에 대해 시공간적인 위치 등을 고려하고 궤적 근사화 방법으로 객체의 궤적을 근사시켜 비슷한 궤적을 가진 특징들을 찾아 하나의 독립적인 차량으로 그룹핑하는 제3과정과; 상기 그룹핑 결과를 근거로 차량의 대수를 산출함과 아울러 교통량, 차량의 주행속도, 차량의 궤적정보를 추출하고, 각 차량의 궤적 정보와 주행속도 정보를 근거로 차량의 이동방향, 정체상황 및 정체 길이, 사고상황 및 유고상태 등을 판별하는 제4과정에 의해 달성된다.

Description

영상정보를 이용한 교통정보 추출 방법 및 장치{TRAFFIC INFORMATION EXTRACTING METHOD AND APPARATUS USING A IMAGE INFORMATION}

본 발명은 카메라를 통해 촬영한 교차로나 주행도로의 영상신호로부터 교통정보를 취득하는 기술에 관한 것으로, 특히 차량 궤적 추출기법을 적용하여 교통량, 주행속도, 도로 점유율, 정체길이 등을 추출하고, 신호 위반상황, 교차로 사고 등을 감시할 수 있도록 한 영상정보를 이용한 교통정보 추출 방법 및 장치에 관한 것이다.

도로의 교통소통이 원활하게 이루어지도록 교차로나 주행도로의 교통상황에 따라 교통신호 제어패턴을 조정하여 적용하거나, 교통상황 정보를 도로 이용자에게 제공하여 소통이 원할한 도로를 이용할 수 있도록 하기 위해서는 기본적으로 도로를 주행하는 차량들에 대한 정보 즉, 도로의 교통정보가 필요하다.

통상적으로, 도로에 차량 검지기를 설치하고 이를 이용하여 도로의 차량 통행량, 주행속도, 점유율 등의 교통정보를 얻게 되는데, 이러한 용도의 차량 검지기로서 도로에 루프 코일을 매설하여 차량을 검지하는 루프식 검지기가 많이 사용되고 있다.

도 1은 종래 기술에서 루프식 차량검지기를 이용한 교통신호 제어 시스템의 블록도로서 이에 도시한 바와 같이, 교차로에 매설된 루프코일(101A,101B)을 이용하여 해당 영역에서의 차량 유무를 나타내는 전기적인 신호를 출력하는 루프 제어기(102)와; 상기 루프 제어기(102)의 출력신호를 근거로 교차로(또는 주행도로)의교통상황을 추정하여 그에 상응되는 점멸 제어신호를 신호등(104)에 출력하는 신호 제어기(103)를 포함하여 구성된 것으로, 이의 작용을 설명하면 다음과 같다.

교차로 주변의 일정 영역에 다수개의 루프코일(101A,101B)이 설치되어 차량이 그 루프코일(101A,101B)의 상부에 위치할 때 온 신호가 출력되고, 그렇지 않은 경우에는 오프신호가 출력된다. 루프 제어기(102)는 상기 루프코일(101A,101B)로부터 입력되는 온,오프 신호를 가공하여 신호 제어기(103)측으로 출력한다.

상기 루프 제어기(102)는 상기 루프코일(101A,101B)로부터 입력되는 온신호를 근거로 통과한 차량의 대수를 카운트한다. 또한, 상기 루프 제어기(102)는 차량의 루프코일 점유시간에 해당하는 온신호의 유지시간을 측정하고, 이러한 연속정보를 근거로 교통신호 제어에 필요한 정체도, 차량밀도 등을 유추한 후 그에 따른 점등 제어신호를 신호등(104)에 출력하게 된다.

그러나, 이와 같은 종래의 교통정보 검출 기술에 있어서는 차량이 루프코일 위로 정확하게 통과해야만 차량의 존재 유무를 파악할 수 있고, 루프코일은 도로에 매설된 일종의 단순한 포인트 센서이므로 이를 이용하여 교통상황이나, 차량의 흐름 방향, 속도, 정체상황 등의 정보를 유연하게 추출하는데 부족함이 있고, 이로 인하여 교차로나 주행도로의 전체적인 교통상황을 파악하는데 어려움이 있었다.

따라서, 본 발명의 목적은 교차로나 주행도로의 일정 영역을 카메라로 촬영하고 촬영된 영상신호를 적절히 처리하여 전체적인 교통의 흐름 상황(교통량, 주행속도, 대기시간, 사고유무 등)을 파악하는 영상정보를 이용한 교통정보 추출 방법및 장치를 제공함에 있다.

도 1은 종래 기술에서 루프식 차량검지기를 이용한 교통신호 제어 시스템의 블록도.

도 2는 본 발명의 영상정보를 이용한 교통정보 추출 장치의 일실시 예시도.

도 3은 본 발명의 영상정보를 이용한 교통정보 추출 방법의 신호 흐름도.

도 4는 차량 특징점의 예시도.

도 5는 특징점들의 위치 추적과정을 보인 신호 흐름도.

도 6은 근사화 된 다항식 곡선 정합의 예시도.

도 7은 블록들의 그룹핑 결과를 보인 예시도.

** 도면의 주요 부분에 대한 부호의 설명 **

201A,201B : 카메라 202 : 영상 취득장치

203 : 영상 처리장치 204 : 영상 저장장치

205 : 신호 제어기 206 : 통신장치

본 발명에 의한 영상정보를 이용한 교통정보 추출 방법은, 교차로나 주행도로의 일정 영역을 촬영하여 얻어진 영상신호를 입력받아 디지털 영상신호로 변환한 후 차량으로 추정할 수 있는 정보를 추출하기 위해 꼭지점 추출 영상처리 기법을 적용하여 차량의 특징점을 추출하는 제1과정과; 상기 특징점들의 위치 데이터를 저장하고, 매 순간 얻어지는 도로 영상에서의 동일 차량의 특징점의 위치 변화를 비교하여 해당 차량의 이동속도를 파악하고, 이러한 과정을 반복적으로 수행하면서 각 순간에 얻어진 차량의 특징점들의 위치를 추적하여 차량의 궤적을 파악하는 제2과정과; 상기 과정을 통해 추출된 차량의 특징점들에 대해 시공간적인 위치 등을 고려하고 궤적 근사화 방법으로 객체의 궤적을 근사시켜 비슷한 궤적을 가진 특징들을 찾아 하나의 독립적인 차량으로 그룹핑하는 제3과정과; 상기 그룹핑 결과를 근거로 차량의 대수를 산출함과 아울러 교통량, 차량의 주행속도, 차량의 궤적정보를 추출하고, 각 차량의 궤적 정보와 주행속도 정보를 근거로 하여 차량의 이동방향, 정체상황 및 정체 길이, 사고상황 및 유고상태 등을 판별하는 제4과정으로 이루어진다.

도 2는 본 발명에 의한 영상정보를 이용한 교통정보 추출 장치의 일실시 구현예를 보인 개략도로서 이에 도시한 바와 같이, 교차로나 주행도로의 일정 영역을 촬영하여 영상신호를 출력하는 카메라(201A),(201B)와; 상기 촬영된 아날로그의 영상신호를 컴퓨터에서 처리하는데 적당한 디지털 영상 데이터로 변환하는 영상 취득장치(202)와; 상기 디지털 영상데이터를 전달받아 차량의 특징점을 추출하여 그 특징점을 근거로 차량의 이동 궤적을 추출하고, 궤적을 분석하여 교통정보를 획득한 후 그 교통정보에 상응되는 교통 제어신호를 출력하는 영상 처리장치(203)와; 상기 영상 처리장치(203)에서 신호위반 또는 교통사고가 검출될 때, 그 시간을 기준으로 소정 분량의 영상신호를 저장하는 영상 저장장치(204)와; 상기 영상 처리장치(203)로부터 출력되는 교통 제어신호에 따라 상기 교차로나 주행도로에 설치된 교통 신호등의 점등을 제어하는 신호 제어기(205)와; 모뎀 등의 데이터 송신장치를 이용하여, 교통정보 및 영상 정보를 교통센터측으로 전송하는 통신장치(206)로 구성한 것으로, 이와 같이 구성한 본 발명의 작용을 첨부한 도 3 내지 도 7을 참조하여 상세히 설명하면 다음과 같다.

교차로나 주행도로에 설치된 카메라(201A),(201B)를 통해 촬영된 아날로그 영상신호가 영상취득장치(202)에 입력되어 컴퓨터로 처리하는데 적당한 디지털 영상 데이터로 변환된다. 영상 처리장치(203)는 상기와 같이 변환된 디지털 영상정보를 전달받아 도로의 교통상황 및 차량의 궤적을 추출하는 알고리즘을 실행하고, 경우에 따라 필요한 만큼의 영상 데이터를 압축하여 영상 저장장치(204)에 저장해 둔다.

또한, 상기 영상 처리장치(203)는 영상 데이터를 분석하여 얻어진 교통정보(교통량, 주행속도, 정체길이, 도로점유율, 유고검지 등)를 신호 제어기(205)에 전달하여 그로 하여금 현재의 교통상황에 상응되게 교통신호를 제어할 수 있도록 하고, 모뎀 등의 데이터 송신장치가 내장된 통신장치(206)를 통해서는 획득된 교통정보 및 영상 정보를 교통센터측으로 전송하기도 한다.

이하, 상기 영상 처리장치(203)에서의 교통 데이터 처리과정을 도 3을 참조하여 상세히 설명한다.

영상 입력단계(S1)에서는 컴퓨터로 처리할 수 있도록 디지털화 된 영상신호가 상기 영상 취득장치(202)로부터 영상 처리장치(203)에 입력된다. 이후, 특징점 추출단계(S2)에서는 입력된 영상에서 차량으로 추정할 수 있는 정보를 추출하기 위해 꼭지점 추출 영상처리 기법을 적용하여 도 4에서와 같은 차량의 특징점을 추출한다.

상기 차량의 특징점들의 위치 데이터를 저장하고, 매 순간 얻어지는 도로 영상에서의 동일 차량의 특징점의 위치 변화를 비교하면 해당 차량의 이동속도를 파악할 수 있고, 이러한 과정을 반복적으로 수행하면서 각 순간에 얻어진 차량의 특징점들의 위치를 따라가면 차량의 이동경로 즉, 궤적을 파악할 수 있다.

차량궤적 추출과정(S3-S6)에서는 상기에서 추출한 특징점을 근거로 다음의 새로운 화면에서 차량의 특징점을 보다 효율적으로 추적해낼 수 있도록 선형 칼만 필터에 기반한 추적 알고리즘을 이용하여 추적하게 된다. 이때, 추적하는 특징점의 움직임 모델로 다음과 같은 간단한 다항식 형태의 수식이 정의된다.

일반적으로, 상기 칼만 필터는 시스템 상태 x(k)를 측정하는데 있어서 최적화된 선형 최소 오류 분산(Linear Minimum Variance of Error)을 갖는 연속적이고반복적인 알고리즘을 제공한다. 본 발명에 의한 특징점 추적 방법에서는 측정하기 위한 시스템의 상태를 다음의 [수학식 2]와 같이 특징점 중심의 위치 변화값을 그 성분으로 갖는 2차원 벡터로 정의한다.

이때, 측정하려는 상태 변수가 선형적 천이 관계를 갖는다고 가정하면, 상태 천이 방정식은 다음의 [수학식 3],[수학식 4]와 같이 정의된다.

여기서,(k,k+1)는 단위 이산시간 동안의 상태변수의 천이 관계를 나타내며, 상기와 같이 시간에 따른 중심과 크기의 변화값은 같다고 가정한다.

또한, 시스템의 상태변수와 같은 성분의 관측치가 측정되기 때문에 다음의 [수학식 5] 및 [수학식 6]과 같이 선형 관측 방정식이 정의된다.

본 발명에서는 상기 선형 칼만 필터의 시스템 모델과 관측 모델로부터 유도된 회귀적 칼만 필터의 알고리즘을 적용하였다. 따라서, 차량의 궤적 추적에 적용한 알고리즘의 동작은 도 5에서와 같이 상태변수 초기화, 다음 상태변수의 예측 및 현재 상태변수의 갱신의 세 가지 단계로 진행된다.

즉, 상기 상태변수 초기화 단계에서는 물체의 특징점들이 검지된 후, 연속되는 두 프레임의 측정값으로부터 중심의 변화값과 크기의 변화값을 계산한 다음 상태변수 X(0)를 초기화 한다. 이후, 상태변수의 예측단계에서는 다음 상태를 예측하고, 또 그 다음의 예측변수 갱신 단계에서는 실제 관측값을 이용하여 예측된 상태를 보정하는 작업이 수행된다.

상기와 같은 과정을 통해 추출, 추적된 차량의 특징점들은 시공간적인 위치 등을 고려하여 다음과 같은 처리과정을 통해 독립적인 차량으로 그룹핑한다.(S7-S10)

이때, 한 대의 차량은 여러 개의 특징점들을 가질 수 있는데, 이러한 특징점들이 각각 어느 차량에 귀속되는지 판단하여 효율적으로 그룹핑하기 위해 다음과 같이 궤적 근사화 방법을 적용하여 궤적의 계수를 구한다.

특징점의 궤적은 계속되는 프레임에서의 객체의 중심 좌표를 모은 연속적인 점들이다. 따라서, 다음의 [수학식 7]과 같이 다항식으로 객체의 궤적을 근사화할수 있다.

여기서, n은 근사화 차수이고, 다항식 y(x)는 n+1 개의 계수를 갖는다. 예를 들어, k개의 중심점들을 3차 다항식 곡선으로 근사화 한다면, 다항식 곡선과 중심점 사이의 차이값의 제곱의 합을 최소화하는 최소제곱 곡선 정합에 의해 미지의 계수,,및를 구할 수 있다. 근사화 된 다항식 곡선은 다음과 같이 k*4의 행렬로 표현되는 k개의 식으로 나타낼 수 있다.

상기와 같은 정합은 데이터 값을 정확하게 근사화시킬 수는 없지만, 정합된 곡선은 움직임 궤적의 대략적인 형상을 표현한다. 따라서, 단지 몇 개의 다항식 계수만을 가지고 움직임 궤적을 표현할 수 있다. 도 6은 근사화 된 하나의 다항식 곡선의 예를 나타낸 것이다.

상기 식에서 추출된 계수를 다음의 [수학식 9]와 같은 거리공식에 적용하여 비슷한 궤적을 가진 특징들을 찾아 하나의 차량으로 그룹핑하게 된다.

상기와 같은 그룹핑 과정을 통해 여러 특징점들을 그룹핑하면 각 특징점 블롭(blob)들은 각각의 개별 차량으로 분류되어 귀속되고, 이 그룹들의 수에 의해 차량의 대수가 산출된다. 이 과정을 통하여 기본적으로 교통량, 차량의 주행속도, 차량의 궤적정보가 추출되며, 각 차량의 궤적 정보와 주행속도 정보를 근거로 하여 차량의 이동방향, 정체상황 및 정체 길이, 사고상황 및 유고상태 등을 판별할 수 있게 된다.

예를 들어, 궤적이 진행하다가 한동안 멈추어 있으면 이는 교차로의 경우 신호 대기중이거나 고장이 발생된 차량으로 판단하고, 궤적의 진행방향을 분석해 보면 전방에 장애물 등이 있어 차선을 변경하는 것인지 판단할 수 있다. 또한, 교차로에서 좌회전, 직진, 우회전하는 등의 개별 차량의 주행 경로를 판단할 수 있어 종합적인 교통정보(교통량, 주행속도, 정체길이, 유고검지 등)를 쉽게 얻을 수 있다. 또한, 이러한 차량 궤적 정보를 신호 제어기(205)의 신호 상태정보와 비교해 봄으로써, 주행 차량의 신호 위반 여부를 판단할 수 있다.

또한, 사고상황 및 유고상황이 감지되면 상기 영상 저장장치(204)에 해당 상황의 영상정보를 저장한다. 즉, 상기 영상 저장장치(204)에서는 카메라(201A),(201B)를 통해 획득되는 영상신호를 압축된 형태로 저장하게 되는데, 만약 상기 영상 처리장치(203)로부터 사고상황 또는 유고상황 감지신호가 입력되면그 감지신호 입력시점으로부터 수 십초 전부터 수 십초 후까지의 영상정보를 별도로 저장하여 추후에 사고 상황을 볼 수 있도록 한다.

이상에서 상세히 설명한 바와 같이 본 발명은 교차로나 주행도로에 설치된 카메라를 통해 획득된 영상신호에서 특징점을 추출하고, 그 특징점들의 위치변화를 분석하여 차량의 주행속도, 주행궤적을 파악하고, 이들을 근거로 종합적인 교통정보(교통량, 정체길이, 유고검지 등)를 획득하여 교통신호를 제어함으로써, 최적의 신호 체계를 구현할 수 있는 효과가 있다.

또한, 획득된 교통정보를 신호 제어기의 정보와 비교하여 차량들의 신호 위반 여부를 정확하게 판단할 수 있는 효과가 있다.

또한, 교차로나 주행도로에서 사고가 발생되는 것을 감지하여 그 때의 영상정보를 별도로 저장하였다가 제공함으로써, 추후에 사고 분쟁을 원할하게 해결할 수 있는 효과가 있다.

Claims (7)

1. 교차로나 주행도로를 대상으로 촬영되는 영상신호를 디지털 영상신호로 변환한 후 차량으로 추정할 수 있는 정보를 추출하기 위해 꼭지점 추출 영상처리 기법을 적용하여 차량의 특징점을 추출하는 제1과정과; 상기 특징점들의 위치 데이터를 저장하고, 매 순간 얻어지는 도로 영상에서의 동일 차량의 특징점의 위치 변화를 비교하여 해당 차량의 이동속도를 파악하고, 이러한 과정을 반복적으로 수행하면서 각 순간에 얻어진 차량의 특징점들의 위치를 추적하여 차량의 궤적을 파악하는 제2과정과; 상기 과정을 통해 추출된 차량의 특징점들에 대해 시공간적인 위치 등을 고려하고 궤적 근사화 방법으로 객체의 궤적을 근사시켜 비슷한 궤적을 가진 특징들을 찾아 하나의 독립적인 차량으로 그룹핑하는 제3과정과; 상기 그룹핑 결과를 근거로 차량의 대수를 산출함과 아울러 교통량, 차량의 주행속도, 차량의 궤적정보를 추출하고, 각 차량의 궤적 정보와 주행속도 정보를 근거로 차량의 이동방향, 정체상황 및 정체 길이, 사고상황 및 유고상태 등을 판별하는 제4과정으로 이루어지는 것을 특징으로 하는 영상정보를 이용한 교통정보 추출 방법.
2. 제1항에 있어서, 제2과정은 물체의 특징점들이 검지된 후, 연속되는 두 프레임의 측정값으로부터 중심의 변화값과 크기의 변화값을 계산한 다음 상태변수를 초기화하는 상태변수 초기화 단계와; 다음의 상태변수를 예측하는 예측단계와; 실제 관측값을 이용하여 상기 예측된 상태를 보정하는 예측변수 갱신 단계를 포함하여이루어지는 것을 특징으로 하는 영상정보를 이용한 교통정보 추출 방법.
3. 제1항에 있어서, 제2과정은 상기 추출한 특징점을 근거로 다음의 새로운 화면에서 차량의 특징점을 추적할 때 선형 칼만 필터에 기반한 추적 알고리즘을 이용하여 추적하는 것을 특징으로 하는 영상정보를 이용한 교통정보 추출 방법.
4. 제1항에 있어서, 제3과정은 계속되는 프레임에서의 객체의 중심 좌표를 모은 연속적인 점들에 대해 k*4의 행렬로 표현되는 k개의 근사화된 다항식 곡선으로 표현하는 제1단계와; 상기 다항식에서 추출된 계수를 거리공식에 적용하여 비슷한 궤적을 가진 특징들을 찾아 하나의 차량으로 그룹핑하는 제2단계를 포함하여 이루어지는 것을 특징으로 하는 영상정보를 이용한 교통정보 추출 방법.
5. 교차로나 주행도로의 일정 영역을 촬영하여 영상신호를 출력하는 카메라(201A),(201B)와; 상기 카메라(201A),(201B)에서 출력되는 영상신호를 디지털 영상 데이터로 변환하는 영상 취득장치(202)와; 상기 디지털 영상데이터로부터 차량의 특징점을 추출하여 그 특징점을 근거로 차량의 이동 궤적을 추출하고, 궤적을 분석하여 교통정보를 획득한 후 그 교통정보에 상응되는 교통 제어신호를 출력하는 영상 처리장치(203)와; 상기 영상 처리장치(203)로부터 출력되는 교통 제어신호에 따라 상기 교차로나 주행도로에 설치된 교통 신호등의 점등을 제어하는 신호 제어기(205)를 포함하여 구성한 것을 특징으로 하는 영상정보를 이용한 교통정보추출 장치.
6. 제5항에 있어서, 상기 영상 처리장치(203)에서 신호위반 또는 교통사고가 검출될 때, 그 시간을 기준으로 소정 분량의 영상신호를 저장하기 위한 영상 저장장치(204)를 더 포함하여 구성된 것을 특징으로 하는 영상정보를 이용한 교통정보 추출 장치.
7. 제5항에 있어서, 모뎀 등의 데이터 송신장치를 이용하여, 교통정보 및 영상 정보를 교통센터측으로 전송하는 통신장치(206)를 더 포함하여 구성된 것을 특징으로 하는 영상정보를 이용한 교통정보 추출 장치.