KR100965800B1 - 차량 영상 검지 및 속도 산출방법 - Google Patents

Abstract

본 발명에는 대상 영상의 전 영역에서 광류법과 기하학적 연산을 사용하여 광도 등의 환경변화에도 주행 차량을 안정적으로 검지할 수 있는 검지방법이 개시된다.

본 발명의 구체적인 특징은 카메라에 의하여 도로에 대하여 촬영한 제1 프레임과 상기 제1 프레임으로부터 시간 차를 갖는 제2 프레임을 획득하는 원 영상 획득 단계; 상기 제1 프레임으로부터 축소된 제3 프레임과 상기 제2 프레임으로부터 축소된 제4 프레임을 획득하는 축소 프레임 획득 단계; 상기 제3 프레임과 상기 제4 프레임으로부터 우월광류를 선별하고, 상기 우월광류가 기설정된 크기 이상인 경우 주행중인 차량이 존재하는 것으로 판정하는 단계를 포함하는 것이다.

영상 피라미드, 차량 영상 검지, 속도, 광류

Description

차량 영상 검지 및 속도 산출방법{method for vehicle image detection and speed calculation}

본 발명은 주행 차량을 촬영하는 카메라에서 낮과 밤, 환경의 변화 등에 무관한 영상에 의존한 차량의 검지 방법과 영상에 의한 속도의 산출 방법이 개시된다.

기존의 방법으로는 영상차를 이용하여 도로상에서 주행하는 차량을 탐지하는 방법과 영상차를 이용하지 않고 주어진 영상내의 처리 기법을 이용하여 차량을 탐지하는 방법이 있다. 영상차를 이용하는 방법도 시스템의 구성에 따라 배경영상을 이용하는 방법과 인접영상을 이용하는 방법이 있다.

배경영상을 이용하여 차량을 탐지하는 방법은 주어진 배경영상과 입력영상의 차영상(difference image)으로 원하는 차량의 형태를 쉽게 탐지할 수 있다. 그러나 실제 도로환경은 기상 조건과 시간의 변화에 따라 밝기가 변화하고 있어서 배경영상의 지속적인 수정이 필요하다. 제약적인 환경에서는 배경영상을 구하는 방법이 있어나 도로상에는 항상 차량이 존재하므로 배경영상을 수정하는 것이 상당히 어렵다.

인접영상을 이용하여 차량을 탐지하는 방법은 두 인접영상의 차영상으로 차량을 탐지할 수 있다. 하지만 두 차량이 중첩된 경우 결과영상에서 정확한 차량의 형태를 추출하는 것에 어려움이 따른다. 또한 차량이 정지하였을 경우 차량의 탐지는 불가능하게 된다.

영상 값을 이용하지 않는 방법에서도 시스템의 구성에 따라 전처리에 의한 방법과 전처리를 이용하지 않는 방법으로 분류되어질 수 있다.

전처리에 의한 방법으로 영상 내에 존재하는 에지(edge)정보의 분석 결과로 영상내에 존재하는 물체를 탐지하는 방법이 있다. 이러한 방법에서는 차량의 형태소 분석에 의해 차량을 판단할 수 있으나 영상의 전처리 과정에서 상당한 오버헤드가 존재한다.

전처리에 의존하지 않는 방법으로 영상내에 검지영역을 정해놓고 영상내의 도로영상정보와 차량의 영상정보를 분석하여 차량을 탐지하는 방법이 있다. 이러한 방법은 초기검지영역을 설정하여 초기검지영역에서의 파형(wave form)과 차량의 영역에서 발생되어지는 파형(wave form)을 분석하여 차량을 탐지하는 방법이다. 그러나 이러한 방법 또한 차량의 속도 및 크기에 의한 초기검지영역 크기 설정에 문제가 있다.

본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결과제는 영상 값을 이용하지 않고 영상 전처리에도 의존하지 않는 방법으로서 대상 영상의 전 영역에서 광류법과 기하학적 연산을 사용하여 광도 등의 환경변화에도 주행 차량을 안정적으로 검지할 수 있는 검지방법을 제공한다.

본 발명의 또 다른 해결과제는 위상상관법에 의한 인접 영상 프레임에 나타나는 차량의 이동 변위량과 방향값에 의하여 차량의 주행 속도를 산출하기 위한 것이다.

상기 해결과제를 달성하기 위한 본 발명의 해결수단은 카메라에 의하여 도로에 대하여 촬영한 제1 프레임과 상기 제1 프레임으로부터 시간 차를 갖는 제2 프레임을 획득하는 원 영상 획득 단계; 상기 제1 프레임으로부터 축소된 제3 프레임과 상기 제2 프레임으로부터 축소된 제4 프레임을 획득하는 축소 프레임 획득 단계; 상기 제3 프레임과 상기 제4 프레임으로부터 우월광류를 선별하고, 상기 우월광류가 기설정된 크기 이상인 경우 주행중인 차량이 존재하는 것으로 판정하는 단계를 포함하는 것이다.

또한, 본 발명에서 상기 우월광류로부터 가변 탐색영역을 결정하는 단계; 상기 제1 프레임과 상기 제2 프레임으로부터 상기 가변 탐색영역을 추출하여 우월광류의 평균을 계산하는 단계; 카메라를 중심으로 한 이동차량의 기하평면의 속도를 계산하는 단계를 더 포함하는 것이 바람작하다.

또한, 본 발명에서 상기 가변 탐색영역은 움직임 벡터의 평균 방향 정보와 크기 정보와 생성된 광류의 중심에 의하여 설정되며, 상기 가변 탐색영역의 크기는 평균 움직임 벡터의 크기 정보에 비례하여 설정되는 것이 바람직하다.

또한, 본 발명에서 상기 제3 프레임과 상기 제4 프레임은 상기 제1 프레임과 상기 제2 프레임으로부터 영상 피라미드법에 의하여 축소되는 것이 바람직하다.

상기 해결과제와 해결수단을 갖는 본 발명에 따르면,

1. 영상의 지역화소의 움직임 벡터(LMV)를 추정하기에 적합한 광류법은 카메라에서 본 차량의 영상이 카메라에 근접할수록 점점 커져가는 차량의 검지에 매우 적합하다.

2. 영상 피라미드법으로 축소한 전체 영상 영역에서의 광류 계산과 우월 광류가 모여 있는 가변 탐색 영역에서는 원 영상을 이용한 2차 광류 계산은 계산량을 줄이면서 큰 이동 영상의 추정이 가능하다.

3. 광도등의 환경변화에 영향을 받지 않는 차량의 진입 검지와 속도 계산도 동시에 이루어지는 차량의 영상검지 방법이다.

이하, 첨부된 도면에 따라서 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예에서 주행 차량의 영상을 획득하는 카메라의 설치 구성도이고, 도 2는 본 발명의 일실시예에서 카메라의 화각에 의해 형성된 획득영상 영역과 실제 영역의 투영 영역이고, 도 3은 본 발명의 일실시예의 전체적인 과정을 설명하는 순서도이고, 도 4는 본 발명의 일실시예에서 두 시점에서의 원 영상과 영상 피라미드와 우월광류 군집영역의 영상이고, 도 5는 본 발명의 일실시예에 적용되는 Lucas and Kanade 광류모델의 블록도이고, 도 6은 도 4의 영상에서 평균 움직임 벡터가 표시된 영상이다.

도 1, 2에서 카메라는 a'의 위치에 설치되고, 시각 t1에서 도 4의 (a)에 도시된 제1 프레임(기준영상)의 원 영상을 획득하고, 시각 t2에서 도 4의 (b)에 도시된 제2 프레임의 원 영상을 획득한다[1]. 두 시점에서 획득된 영상으로부터 축소된 영상 피라미드법에 의하여 축소된 도 4의 (c)에 도시된 제3 프레임과 도 4의 (d)에 도시된 제4 프레임을 각각 생성한다[2].

영상 피라미드에서 촤하위 수준의 영상은 원 영상으로 해상도가 가장 높은 영상이고, 차상위 수준의 영상은 영상의 크기를 1/2로 줄임으로써 반복적으로 만들어진다. 영상 피라미드법에서는 작은 탐색영역을 사용하기 때문에 영상 값의 열화를 방지하면서도 광류 계산시 부하가 감소되고, 큰 움직임을 구할 수 있다.

영상 피라미드법에 의하여 축소된 영상으로부터 광류를 추출하고, 우월광류를 선별한다[3], [4].

도로를 주행하는 차량에 대한 카메라에 의하여 촬영된 영상은 각 화소상에 밝기의 변화를 갖게 되고, 이러한 영상내의 명암의 이동을 광류(optical flow)라고 한다.

동영상에서 광류법을 적용하여 움직임 벡터를 추정하는 방법은 움직임 객체에 의해 형성되는 광도패턴의 이동으로 표현가능하다. 광류는 현재 프레임과 이전 프레임 간에 고정된 크기의 윈도우내의 밝기의 자승합을 광도에 대한 매칭 규준으로 정의하고, 프레임간의 변위는 구해진 자승합이 최소가 되는 방식으로 광도의 흐름을 추정하는 방법이다. 일반적으로 Lucas와 Kanade가 제안한 광류 계산법을 많이 사용하고 있다. 움직임 벡터 검출은 일반적인 떨림 보정을 위해 고안 가능한 공통의 목적/효과를 가지지만, 본 발명에서의 움직임 벡터 검출은 위상상관공간을 형성하여 떨림 보정 파라미터를 얻기 위한 한 과정으로 행하는 처리 방법으로 전체 픽셀에 대한 광류를 계산하지 않고 특이 픽셀에 대한 광류만을 계산하여 그 움직임 방향정보와 크기 정보를 얻기 위한 과정상에서 행하는 처리 방법이다.

이 방법은 시간t에서, 영상의 한 점(x,y)에 대한 광도를 I(x,y,t)라고 하고, 시간 t + δt에서 만큼의 천이가 존재한다면 그 광도는 I(x + δx, y + δy, t + δt)로 표현되며, 다음의 수학식(1)과 같은 관계를 가진다.

수학식 1

I(x, y, t) = I(x + δx, y + δy, t + δt)

연속 영상에 대하여 광도 I(x, y, t)의 변화가 아주 작다고 가정하면, 테일러 급수를 가지는 다음 수학식 2로 표현될 수 있다.

수학식 2

여기서, H.O.T. 는 고차항의 아주 작은 값이므로 무시할 수 있으므로, 수학식 2에서

이 된다. 여기서,

이며, u, v는 광류 벡터 구성성분들로 속도벡터(velocity vector)에 해당하며, 수학식 3과 같이 표현된다.

수학식 3

Lucas 와 Kanade는 작은 영역 B에 소속된 픽셀에 대한 움직임 벡터는 동일하다는 가정 하에 u, v를 계산하였다.

즉, 영역 B에 대한 광류 방정식의 자승오차 E는 수학식 4와 같이 정의하면

수학식 4

수학식 4의 x, y에 대한 편미분식은 수학식 5, 6과 같이 된다

수학식 5

수학식 6

수학식 5와 6을 수학식 7과 같은 2x2 행렬식으로 계산하면 u, v를 얻을 수 있다.

수학식 7

수학식 7의 2 x 2 행렬식을 선형시스템으로 해석하면 2 x 2행렬식에 의해 움직여지는 픽셀에 대해서 속도 벡터 u, v을 x, y축에 나타냄으로서 광류의 흐름이 나타나게 된다.

도 5에 도시된 바와 같이, 영상에 대한 차후 기울기(gradient) 계산 과정에서 발생할 수 있는 에러를 줄이기 위해 전 처리 과정으로 입력 영상에 가우시안 필터를 사용하여 스무딩 전 처리를 행한다. 이렇게 스무딩된 입력영상은 시간과 공간 축에 대하여 3차원으로 확장하여 기울기 연산을 실시한다. 3차원으로 확장하여 I_x축과 I_y축과 I_t축에 관해서 기울기 연산 과정 중 I_x축에 관하여 기울기 연산을 한다. 그리고 I_y축에 관하여 기울기 처리를 하고 I_t축에 관하여 기울기 처리를 한다.

기울기 처리 시 1x5크기의 수학식 8의 커널을 사용하게 된다.

수학식 8

1 × 5 ={ -1 8 0 -8 1}

입력 프레임의 중간 프레임을 설정하여 이전 프레임과 이후 프레임에 관하여 가중값으로 Lucas와 Kanade가 제안한 0.75를 사용한다. 이와 같은 방식으로 I_x, I_y, I_t의 3차원 기울기를 계산하므로서 I_x, I_y, I_t, I² _x, I² _y, I² _t, I_xI_y, t와 I_yI_t를 구하게 된다.

위의 과정에서 계산된 특이 픽셀의 움직임 벡터로부터 도 6과 같이 빨간 점으로 표시된 그 벡터들의 평균 방향과 벡터의 평균 크기를 구하여 우월광류를 선별한다. 이때 우월광류의 크기가 기설정된 크기 이상인 경우에는 차량이 도로상에 주행중인 것으로 판정할 수 있다. 우월 광류의 선발은 다음 절차와 같다.

L개의 광류 벡터

에 대하여 각각의 벡터를 동일한 크기별로 모아서 그 개수를 담은 bin, 즉 B[n]은

이며, 여기서 n은 벡터의 최대 크기에 의하여 제한된다. 우월 광류는 최대 bin,

에서 결정된다.

또한, 우월 광류의 최대군집 영역인 가변 탐색영역을 평균 방향 정보와 크기 정보와 생성된 광류의 중심에 의하여 설정한다[4], [5]. 가변 탐색영역의 크기는 평균 움직임 벡터의 크기 정보에 비례하여 설정한다.

이와 같이 가변 탐색영역이 결정되면 영상 피라미드법으로 축소시킨 영상에서 산출한 광류에서 내포되어 있는 오차를 줄이기 위하여 원 영상에서 가변 탐색영역의 영상을 다시 읽어 온다[6].

원 영상의 가변 탐색영역의 영상으로부터 광류법에 의한 광류를 재 산정하고, 최종 구해진 광류를 평균하여 대표 움직임 벡터를 구한다[7], [8].

이 대표 움직임 벡터와 카메라가 이루는 동일 기하 평면상의 투영에서 프레임간의 시간을 나누어 속도를 산출한다[9].

도 2의 a'에 놓인 카메라의 화각에 의해 형성된 b-b'-c'-c-b로 이루어진 영역은 획득 영상의 화면을 이룬다. 이 획득 영상에 이르는 a'-b와 a'-b'의 거리는 동일하며 b-d-e-c-b로 이루어진 영역을 투영한 것이다. 즉 실제 거리와 화면상의 거리는 다음의 수학식 9와 같은 비율로 계산된다.

수학식 9

여기서 L은 실제거리이고, l은 화면상의 거리이다.

도 1은 본 발명의 일실시예에서 주행 차량의 영상을 획득하는 카메라의 설치 구성도이다.

도 2는 본 발명의 일실시예에서 카메라의 화각에 의해 형성된 획득영상 영역과 실제 영역의 투영 영역이다.

도 3은 본 발명의 일실시예의 전체적인 과정을 설명하는 순서도이다.

도 4는 본 발명의 일실시예에서 두 시점에서의 원 영상과 영상 피라미드와 우월광류 군집영역의 영상이다.

도 5는 본 발명의 일실시예에 적용되는 Lucas and Kanade 광류모델의 블록도이다.

도 6은 도 4의 영상에서 평균 움직임 벡터가 표시된 영상이다.

Claims (4)

1. 카메라에 의하여 도로에 대하여 촬영한 제1 프레임과 상기 제1 프레임으로부터 시간 차를 갖는 제2 프레임을 획득하는 원 영상 획득 단계;

   상기 제1 프레임으로부터 축소된 제3 프레임과 상기 제2 프레임으로부터 축소된 제4 프레임을 획득하는 축소 프레임 획득 단계;

   상기 제3 프레임과 상기 제4 프레임으로부터 우월광류를 선별하고, 상기 우월광류가 기설정된 크기 이상인 경우 주행중인 차량이 존재하는 것으로 판정하는 단계를 포함하는 것을 특징으로 하는 차량 영상 검지 및 속도 산출방법.
2. 청구항 1에서, 상기 우월광류로부터 가변 탐색영역을 결정하는 단계;

   상기 제1 프레임과 상기 제2 프레임으로부터 상기 가변 탐색영역을 추출하여 우월광류의 평균을 계산하는 단계;

   카메라를 중심으로 한 이동차량의 기하평면의 속도를 계산하는 단계를 더 포함하는 것을 특징으로 하는 차량 영상 검지 및 속도 산출방법.
3. 청구항 2에서, 상기 가변 탐색영역은 움직임 벡터의 평균 방향 정보와 크기 정보와 생성된 광류의 중심에 의하여 설정되며, 상기 가변 탐색영역의 크기는 평균 움직임 벡터의 크기 정보에 비례하여 설정되는 것을 특징으로 하는 차량 영상 검지 및 속도 산출방법.
4. 청구항 1 또는 청구항 3에서, 상기 제3 프레임과 상기 제4 프레임은 상기 제1 프레임과 상기 제2 프레임으로부터 영상 피라미드법에 의하여 축소되는 것을 특징으로 하는 차량 영상 검지 및 속도 산출방법.

Images