KR20160083615A - 관심영역에서의 차량의 하단선 검출방법 - Google Patents

Abstract

본 발명은 후보영역에서의 차량의 하단선 검출방법에 관한 것으로, 현재 영상에서 차량이 위치한다고 판단된 영역의 이미지 좌표계의 후보 영역 사각형 정보(C(x,y), C(w), C(h))를 할당하는 제1 단계(여기서, (사각형의 상단 좌측의 x, y 좌표인 C(x,y)와, 사각형의 크기를 결정하는 C(w)(후보영역의 폭, width), C(h)(후보영역의 높이, height), 할당된 사각형의 바닥부분을 중심으로 실제 하단선(bottom line)예측을 위한 관심 영역(ROI)을 설정하되, 관심영역은 후보 영역의 h를 기준으로 상하 20%를 관심 영역으로 정하며, R(x,y) 및 R(w), R(h)로 표현하는 제 2단계, 설정된 관심 영역에 대하여 하단선을 예측하는 제3 단계, 하단선을 검출하기 위해서, 관심영역 내의 픽셀들의 상하의 밝기차를 구하여, 이 차이들을 누적합으로 하는 히스토그램을 구하며, 이 히스토그램에서 밝기차가 큰 정점(peak)들을 구하는 제4 단계, 계산된 히스토그램 중 피크치들에 해당하는 선들을 검출하고 후보 라인들 중 값이 큰 라인들을 차량의 하단선으로 예측하는 제5 단계를 포함하는 것을 특징으로 한다.

Description

후보영역에서의 차량의 하단선 검출방법{Bottom Line Detecting Method of Vehicle in ROI}

본 발명은 관심영역에서의 차량의 하단선 검출방법에 관한 것으로, 더욱 상세하게는, 입력되는 영상에서 차량 인식 모듈 등과 같은 차량 검출기에서 검출된 차량 후보영역 또는 관심영역(ROI) 중, 차량의 하단선을 검출하여 차량의 위치를 정확하고 빠르게 알 수 있도록 표시하는 후보영역에서의 차량의 하단선 검출방법에 관한 것이다.

종래 cctv 혹은 영상카메라와 같은 촬영장치를 통해 입력되는 입력 영상에서 객체, 예를 들면 차량을 식별하는 경우에는 입력되는 영상에서 차량을 검출하는 검출기를 사용하게 된다. 보통 검출기는 차량의 모습과 유사한 모양의 영역을 사각형으로 검출하게 되며, 이를 차량 후보영역이라고 한다.

그러나, 이 후보 영역 사각형의 하단과 실제 차량의 하단이 일치하는 경우는 많지 않다. 따라서, 차량의 위치, 거리 등을 정확하게 계산하기 위해서는 후보 영역 내의 차량의 하단선을 정확하게 검출할 수 있어야 된다. 그 이유는 차량의 움직임이 계속 변하게 되므로 입력 영상에서 차량의 하단선이 어딘지 정확하게 알 필요성이 있기 때문이다. 따라서 후보영역 내에서 시시각각으로 변하는 차량의 하단선을 알 수 있는 기술이 요구되었다.

[선행기술문헌]

대한민국 공개특허공보 제10-2011-0030938호(2011.03.24공개)(발명의 명칭: 원근 면을 이용한 객체 검출 방법 및 장치)

본 발명의 목적은 상기한 바와 같은 종래의 실정을 감안하여 제안된 것으로, 입력 영상에서 차량 검출기에 의해서 검출된 후보영역 내의 차량의 하단선을 검출하여 차량의 위치를 정확하고 빠르게 알 수 있도록 표시하는 후보영역에서의 차량의 하단선 검출방법을 제공하고자 하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면,

단안 카메라로부터 밝기값 영상을 입력받아 차량의 영상을 생성하는 후보영역에서의 차량의 하단선 검출방법에 있어서,

현재 영상에서 차량이 위치한다고 판단된 영역의 이미지 좌표계의 후보 영역 사각형 정보(C(x,y), C(w), C(h))를 할당하는 제1 단계(여기서, (사각형의 상단 좌측의 x, y 좌표인 C(x,y)와, 사각형의 크기를 결정하는 C(w)(후보영역의 폭, width), C(h)(후보영역의 높이, height),

할당된 사각형의 바닥부분을 중심으로 실제 하단선(bottom line)예측을 위한 관심 영역(ROI)을 설정하되, 관심영역은 후보 영역의 h를 기준으로 상하 20%를 관심 영역으로 정하며, R(x,y) 및 R(w), R(h)로 표현하는 제 2단계,

설정된 관심 영역에 대하여 하단선을 예측하는 제3 단계,

하단선을 검출하기 위해서, 관심영역 내의 픽셀들의 상하의 밝기차를 구하여, 이 차이들을 누적합으로 하는 히스토그램을 구하며, 이 히스토그램에서 밝기차가 큰 정점(peak)들을 구하는 제4 단계,

계산된 히스토그램 중 피크치들에 해당하는 선들을 검출하고 후보 라인들 중 값이 큰 라인들을 차량의 하단선으로 예측하는 제5 단계를 포함하는 것을 특징으로 하는 후보영역에서의 차량의 하단선 검출방법이 제공된다.

바람직하게는,

상기 제5 단계는, 일반화된 피크치 들중 값이 제일 큰 피크값을 가지는 해당 선을 하단선으로 선정하고,

추적시에는 이전 프레임의 값과 가장 근사하면서 가까운 위치에 선을 하단선으로 선정하고,

상기 제5 단계 이후

예측된 하단선을 기준으로 차량의 위치 정보를 재갱신하는 제6 단계, 및

새롭게 갱신된 차량의 위치 정보를 저장하는 제7 단계를 더 포함하는 것을 특징으로 한다.

이상 설명한 바와 같이, 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에 의하면, 입력 영상에서 관심영역(ROI)내의 차량의 하단선을 빠른시간내에 검출하여 차량의 위치를 정확하고 빠르게 알 수 있도록 표시할 수 있는 효과가 있다.

도 1은 본 발명에 따른 차량 후보 영역이 표시된 화면의 일예를 나타낸 도면이다.
도 2는 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 후보영역과 관심영역이 표시된 화면의 일예를 나타낸 도면이다.
도 3은 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법의 동작과정을 나타낸 흐름도이다.
도 4는 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법의 히스토그램 생성 결과의 일예를 나타내는 도면이다.
도 5는 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 히스트그램 평활화의 일예를 나타내는 도면이다.
도 6은 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 피크검출의 일예를 나타내는 도면이다.
도 7은 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 검출된 피크 중 후보 하단선 검출의 일예를 나타낸 도면이다.

이하 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법을 첨부도면을 참조로 상세히 설명한다.

도 1은 본 발명에 따른 차량 후보 영역이 표시된 화면의 일예를 나타낸 도면이고, 도 2는 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 후보영역과 관심영역이 표시된 화면의 일예를 나타낸 도면이고, 도 3은 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법의 동작과정을 나타낸 흐름도이고, 도 4는 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법의 히스토그램 생성 결과의 일예를 나타내는 도면이고, 도 5는 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 히스트그램 평활화의 일예를 나타내는 도면이고, 도 6은 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 피크검출의 일예를 나타내는 도면이고, 도 7은 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법에서의 검출된 피크 중 후보 하단선 검출의 일예를 나타낸 도면이다.

도 1 내지 도 7을 참조하면,

도 1은 입력된 영상으로부터 차량 검출기가 차량 후보 영역으로 출력한 결과의 일예를 보인 것이다. 그림에서 좌측의 그림은 실제 차량보다 크게 검출한 경우이며, 우측의 그림은 작게 검출한 경우를 보인 것이다.

검출된 후보 영역 사각형의 하단선을 기준으로 거리를 측정하게 되면, 실제 거리와는 많은 차이가 나게 되며, 검출기의 출력 결과에 따라 동일한 상황에서도 측정 거리가 서로 상이하게 된다. 따라서, 일률적인 실제 거리를 측정하기 위해서는 후보 영역에서 차량의 하단선을 정확하게 검출하는 것이 필요하다.

도 3을 참조하면, 본 발명에 따른 후보영역에서의 차량의 하단선 검출방법은, 영상입력단계(S10), 차량검출단계(S12), 관심영역 검출단계(S14), 히스토그램 생성단계(S16), 히스토그램 평활화단계(S18), 피크 검출단계(S20), 및 차량 하단선 검출단계(S22)로 구분할 수 있다.

차량의 하단선은 후보영역 사각형의 하단쪽에 존재하기 때문에 후보 영역의 하단을 기준으로 상하 20%정도를 기준으로 관심영역을 설정한다. 따라서, 후보 영역의 y좌표를 기준으로 관심 영역의 새로운 R(x,y) 및 R(h)를 결정한다. 여기서, 본 발명에서 결정하고자 하는 것은 차량의 하단선이기 때문에 오직 y좌표만을 처리하도록 한다. x좌표는 차량의 중심을 알고자 하는 경우 등에 사용할 수 있으며, 본 발명과는 무관하기 때문에 x 좌표의 변위는 고려하지 않는 것으로 한다.

검출기에서 출력된 C(x,y), C(w), C(h)를 이용하여 관심 영역의 R(x,y), R(h), R(w)을 수학식 1을 이용하여 구할 수 있다. 256 X 256 입력 영상에서 가장 상단 왼쪽이 (0,0)이며, 가장 하단 오른쪽이 (255,255)가 된다.

후보영역의 제일 하단선을 기준으로 C(h)의 상하 각각 20%를 관심영역으로 설정한다면, R(h)는 C(h)의 40%로 계산할 수 있다. 관심 영역의 시작점은 후보영역의 시작점에서 C(h)의 80%로 설정하면 된다. 넓이는 상관없으므로, C(w)의 값을 그래도 이용하도록 한다.

관심영역이 결정되면, 이 관심영역 내에서 차량의 하단이라고 판단되는 부분을 검색한다(일종의 하단선 예측과정). 우선, 차량 하단에 대한 정의가 필요하다. 차량은 도로면과의 명암차이, 차량 하단의 그림자, 범퍼와 차량 트렁크 색과의 차이 등 차량 하단이라고 지정할 수 있는 요소가 여러 개 있다.

위의 특징들의 공통점은 가로로 일직선의 특성을 가지는 것이므로, 관심 영역에서 명암의 차이를 가지는 일직선 성분들을 검출하도록 한다.

상하의 명함의 차이는 수학식 2를 이용하게 된다.

일예로

R(y) = (15, 5, 15, 5, 15)

R(y+1) = (5, 5, 5, 5, 5)

R(y+2) = (1, 1, 1, 1, 1)

와 같이 관심 영역의 값이 입력된 된다면, 수학식 2로 계산하게 되면,

D(y) = (10, 0, 10, 0, 10)가 되며, 이 합은 30이 된다.

D(y+1) = (4, 4, 4, 4, 4)가 되며, 이 합은 20이 된다.

이 경우를 보게 되면, D(y)가 D(y+1)보다, 훨씬 하단선에 가깝다고 판단할 수 있다. 그러나, 모양을 보게되면, y선과 y+1선 사이에는 명암의 차이는 그 값이 0인 점은 2개이며. y+1과 y+2사이의 점들은 다섯 점 모두 차이를 보이고 있다. 그러나, 그 결과값은 D(y)가 D(y+1)보다 훨씬 크다. 즉, 전체적인 점의 수보다는 점 하나의 차이가 해당 선의 차이를 결정하는 오류라고 볼 수 있다.

즉, 일직선으로 모두 차이가 나는 선은 y+1이며, 차량 하단선을 y+1로 결정하는 것이 y보다 유리하다고 볼 수 있으나, 위의 결과에서는 y로 선택해야 한다.

이를 해결하기 위해서 본 발명에서는 누적과 차이를 이용한 새로운 계산방법을 제안한다. 단순하게 상하 명암의 차이만을 더해서 결과를 유추하는 것이 아니라, 상하의 명암의 차이를 누적할 뿐만 아니라, 좌우의 차이를 빼도록 함으로써, 보다 일직선 성분을 가지는 선을 추출할 수 있도록 한다.

이는 수학식 3을 이용해서 구하도록 한다.

D1은 상하의 명암차이를 지속적으로 누적하는 계산으로써, 왼쪽으로부터 오른쪽으로 이전의 차이가 계속 누적되어 간다.

D2는 왼쪽점과의 차이를 빼도록 하는 것으로써, 일직선 성분은 상하의 차이만 있으며, 좌우의 차이는 없어야 하는 전제를 토대로 차이만큼 그 값을 빼도록 하였다.

위의 예를 수학식 3으로 계산하게 되면,

D(y) = (5, 5+0-5, 5+5-5, 10+0-5, 10+5-5)

D(y+1) = (4, 4+4-0, 8+4-0, 12+4-0, 16+4-0)

즉,

D(y) = (5, 0, 5, 5, 10) = 25

D(y+1) = (4, 8, 12, 16, 20) = 60 으로, 기존의 방법과는 다르게 y+1이 y에 비해서 훨씬 큰 값을 보이는 것을 알 수 있다. y의 경우에는 수학식 2는 30, 수학식 3은 30으로 유사하게 계산되었으나, y+1은 20에서 60으로 세배로 증가된 것을 볼 수 있다.

즉, 옆 픽셀과 명암차가 없고, 상하의 픽셀과 명암차가 클수록 그 결과값이 크게 된다는 특성을 가지고 있으며, 이런 특성은 차량의 하단점을 찾고자 하는 일직선 검출에 유리한 특성을 가지게 된다(도 4 참조).

위에서 구한 D(y)(0≤y≤R(h)) 히스토그램에 대해 자연스러운 처리를 위해서 히스토그램 평활화(Normalization)을 수행한다. 이 평활화는 영상 처리의 기본적인 처리로써, 히스토그램의 결과를 평활화 계수만큼 더한 후에 평균을 내는 과정이다. 만약 평활화 계수를 5로 한다면, 수학식 4와 같이 계산이 가능하며, 평활화한 결과는 A(y)로 한다(도 5 참조).

구해진 히스토그램으로부터 그 값이 큰 선들을 검출하여, 차량의 하단선을 검출하는 과정을 수행하면 된다. 이에 앞서, 히스토그램에서 그 값이 큰 값들을 찾기 위해서는 피크점(peak)들을 검출해야 한다. 피크점들이란, 히스토그램에서 부분적으로 가장 큰 값을 보이는 부분이며, 산으로 비유하게 되면, 산의 꼭대기 부분을 의미한다. 이 부분을 검출하기 위해서 다음과 같은 과정을 처리하도록 한다.

이해를 돕기 위해서 평활화 계수를 5로 한다.

단계 1. j를 A(y)의 시작점에 위치시킨다.(j = 0)

단계 2. j에서부터 평활화 계수만큼의 A(y)(j≤y≤j+5)중에 가장 큰 값(max_j)을 검출한다.

단계 3. max_j인 A(y) 이외의 값은 모두 0으로 바꾼다.

단계 4. j가 R(h)의 끝에 도달하게 되면 종료한다.

단계 5. j를 1증가시킨 후에 단계2부터 다시 시작한다.

위의 처리를 하게 되면, 그 부분적인 피크들을 쉽게 검출할 수 있으며, 하나의 피크와 다음 피크사이에는 적어도 평활화 계수만큼의 공간이 존재한다. 즉, 평활화 계수 내에서 항상 최고를 찾기 때문에 인접한 부분의 피크들은 무시된다. 구간 별로 피크들을 찾는데 유용하며, 불필요한 피크들을 검출하지 않음으로써, 정확성 및 속도면에서 유리하다. 이 피크들을 P(y)로 표기하도록 한다.(도 6참조)

판단의 정확성을 위해서 P(y)를 다시 한번 정리할 필요가 있다. 상황에 따라서 P(y)의 수가 많을 수도 있다. 이를 위해서, P(y)중 최대값을 찾아내어, 최대값과 일정 비율 이상이 되는 피크들을 검출하게 되면, 그 수가 급격히 떨어질 수 있다.

이 비율은 상황이나 용도에 따라서 변경하면 되며, 보통은 0.3 ~ 0.5 정도로 하면 된다. 즉, 최대값보다 30% ~ 50% 이상이 되는 피크들만을 다시 검출하는 것이다. 이 점을 F(y)로 표기하도록 한다.(도 7참조)

마지막으로 이 F(y)중 차량 하단선을 결정하면 된다. 이 결정은 다음과 같은 조건 중 가장 가까운 선으로 결정하면 된다.

(조건 1) 관심영역의 중간점, 즉, 후보영역의 가장 하단과 가장 가까운 선

(조건 2) 이전 프레임에서 결정한 차량 하단선과 가장 가까운 선

(조건 3) F(y)중 가장 큰 값을 가지는 선

이후, 검출된 하단선을 기준으로 차량의 위치 정보를 갱신하며, 새롭게 갱신된 차량의 위치 정보를 저장한다.

본 발명에 따르면, 입력 영상에서 관심영역(ROI)내의 차량의 하단선을 검출하여 차량의 위치를 정확하고 빠르게 알 수 있도록 표시할 수 있다.

110: 하단선
S-110: 차량 후보영역 윈도우
S-120: 차량 관심영역 윈도우

Claims (5)

1. 단안 카메라로부터 밝기값 영상을 입력받아 차량의 영상을 생성하는 후보영역에서의 차량의 하단선 검출방법에 있어서,
   현재 영상에서 차량이 위치한다고 판단된 영역의 이미지 좌표계의 후보 영역 사각형 정보(C(x,y), C(w), C(h))를 할당하는 제1 단계(여기서, (사각형의 상단 좌측의 x, y 좌표인 C(x,y)와, 사각형의 크기를 결정하는 C(w)(후보영역의 폭, width), C(h)(후보영역의 높이, height),
   할당된 사각형의 바닥부분을 중심으로 실제 하단선(bottom line)예측을 위한 관심 영역(ROI)을 설정하되, 관심영역은 후보 영역의 h를 기준으로 상하 20%를 관심 영역으로 정하며, R(x,y) 및 R(w), R(h)로 표현하는 제 2단계,
   설정된 관심 영역에 대하여 하단선을 예측하는 제3 단계,
   하단선을 검출하기 위해서, 관심영역 내의 픽셀들의 상하의 밝기차를 구하여, 이 차이들을 누적합으로 하는 히스토그램을 구하며, 이 히스토그램에서 밝기차가 큰 정점(peak)들을 구하는 제4 단계,
   계산된 히스토그램 중 피크치들에 해당하는 선들을 검출하고 후보 라인들 중 값이 큰 라인들을 차량의 하단선으로 예측하는 제5 단계를 포함하는 것을 특징으로 하는 후보영역에서의 차량의 하단선 검출방법.
2. 제 1 항에 있어서,
   상기 제5 단계는, 일반화된 피크치 들중 값이 제일 큰 피크값을 가지는 해당 선을 하단선으로 선정하고,
   추적시에는 이전 프레임의 값과 가장 근사하면서 가까운 위치에 선을 하단선으로 선정하고,
   상기 제5 단계 이후
   예측된 하단선을 기준으로 차량의 위치 정보를 재갱신하는 제6 단계, 및
   새롭게 갱신된 차량의 위치 정보를 저장하는 제7 단계를 더 포함하는 것을 특징으로 하는 후보영역에서의 차량의 하단선 검출방법.
3. 제 1 항에 있어서,
   상기 제2 단계는 아래 수학식 1에 의해 수행되는 것을 특징으로 하는 후보영역에서의 차량의 하단선 검출방법.
   (수학식 1)
   

   
4. 제 1 항에 있어서,
   제 3 단계는 아래 수학식 2에 의해 수행되는 것을 특징으로 하는 후보영역에서의 차량의 하단선 검출방법.
   (수학식 2)
   

   
5. 제 1 항에 있어서,
   제4 단계는 아래 수학식 3에 의해 수행되는 것을 특징으로 하는 후보영역에서의 차량의 하단선 검출방법.
   이는 수학식 3 및 수학식 4를 이용해서 구하도록 한다.
   (수학식 3)
   

   

   
   (수학식 4)
   

   

Images