KR20140147454A - 차량패턴 히스토그램 생성방법 및 이를 이용한 차량패턴 검출방법 - Google Patents

Abstract

본 발명은 차량패턴의 생성방법 및 이를 이용한 차량패턴 검출방법에 관한 것으로, 정해진 크기의 셀에 차량패턴의 생성방법에 있어서, 정해진 크기의 셀에 차량패턴의 생성방법에 있어서, 셀의 중심을 1픽셀을 두께로 수평으로 통과하는 수평라인 패턴, 수평중심선에 대해 서로 대칭적인 패턴인 한 쌍의 수평 패턴, 수직중심선에 대해 서로 대칭적인 패턴인 한 쌍의 수직 패턴, 수직중심선에 대해 서로 대칭적인 패턴인 한 쌍 또는 여러 쌍의 상부경사패턴 및 수직중심선에 대해 서로 대칭적인 패턴인 한 쌍 또는 여러 쌍의 하부경사패턴으로 이루어지며, 상기 상부경사패턴 및 하부경사패턴은 서로 대칭적인 패턴의 쌍들로 이루어진 것을 특징으로 한다.
본 발명에 따르면 이미 개발된 인식기 또는 분류기에 특징으로 차량패턴 히스토그램을 적용함으로써 그 성능을 개선할 수 있는 효과가 있고, 차량객체와 유사한 객체들을 빠르게 검출할 수 있는 효과가 있다.

Description

차량패턴 히스토그램 생성방법 및 이를 이용한 차량패턴 검출방법{VEHICLE PATTERN HISTOGRAM GENERATING METHOD AND VENICLE PATTERN DETECTING METHOD USING THE SAME}

본 발명은 차량패턴 히스토그램 생성방법 및 이를 이용한 차량패턴 검출 방법에 관한 것으로, 더욱 상세하게는 객체의 외곽선 정보는 인식기 또는 분류기의 특징으로 사용하기 때문에 이를 분석 및 응용하기 위하여 단위 길이의 외곽선에서 나타나는 이진 패턴(모형)의 종류와 발생 빈도에 대한 데이터를 도출할 수 있는데 이중 차량패턴을 검출할 수 있도록 하고, 관심 객체 즉 차량체(혹은 차량 패턴)의 외곽선 패턴과 발생 빈도에 대한 정보를 담고 있는 패턴 히스토그램과 이진 입력 영상의 일부 또는 전체에 대한 패턴 히스토그램의 비교를 통해 입력 영상에 차량 객체의 포함 유무 및 위치를 개략적이며 빠르게 검출하는 차량패턴 히스토그램 생성방법 및 이를 이용한 차량패턴 검출방법에 관한 것이다.

인간이 야간에 물체를 인식하거나 구분하는 기준들 중 하나는 물체의 외각 모형이다. 따라서 물체의 외각 정보를 자동 물체 인식의 특징으로 사용할 수 있음을 의미한다.

종래 폐쇄회로 시스템(CCTV) 또는 디지털 카메라로 부터 입력된 영상에서 물체, 차량 혹은 사람 등과 같은 대상체를 인식하기 위해 먼저 대상체의 특징(feature)을 정의, 추출, 그리고 학습 과정을 수행한다. 다음으로, 학습 결과를 검출기 또는 분류기에서 사용함으로써 물체를 자동으로 인식한다. 이러한 자동 인식 시스템에서 어떤 특징을 어떻게 추출하는가는 매우 중요한 요소들로 인식기의 성능에 매우 큰 영향을 미치지만, 불행하게도 현재까지 상용화 수준의 성능을 만족하는 특징에 대한 가이드라인은 제시되지 못하고 있는 실정이다. 현재 인식기(분류기)의 특징으로 널리 사용되는 Haar 특징, HoG(Histogram of oriented Gradient) 특징, 그리고 LBP(Local Binary Pattern) 특징 또한 앞서 언급한 바와 크게 다르지 않은 상황이다. 따라서 인식기의 성능 및 처리 속도 등을 향상시키기 위해서는 특징을 정의하고 이를 추출하는 방법에 대한 다각적 연구가 필요하다. 특히 객체의 종류가 차량인 경우에도 이를 식별하기 위한 연구도 필요한 실정이다.

또한 종래 관심 객체 검출 또는 인식을 위해 bootstrap, boosting 또는 adaboosting 알고리즘을 사용하였다. 이들 알고리즘과 더불어 Haar, HoG(Histogram of oriented Gradient), 또는 LBP(Local Binary Pattern) 등의 특징을 함께 사용한다. 이들 특징과 결합한 boosting 계열의 알고리즘은 학습 속도는 말할 것도 없고 분류(검출) 속도가 매우 느린 치명적인 단점을 갖는다. 특히, 전역 탐색의 경우 분류 속도가 현저히 저하되고 인식률이 매우 낮아진다. 이런 단점을 보완하기 위해 사전에 관심객체, 특히 차량객체의 존재 유무와 위치를 개략적이며 빠른 수행속도로 검출하여 그 결과를 boosting 또는 adaboosting 인식기에 넘겨주면 앞서 언급한 단점을 보완할 수 있다.

이 분야의 종래기술로서 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체(대한민국특허 등록번호 10-1272448, 등록일자 2013년05월31일)가 있으나, 이 기술은 사용자의 선긋기 입력을 통해 미리 정해진 기준점을 이용하여 관심영역(ROI)을 결정하기 위한 적어도 두 개의 정점들을 검출하고 검출된 정점들에 기반하여 관심영역 지정을 위한 나머지 정점들을 예측 및 예측된 지점에서 재검출하여 목적하는 오브젝트가 포함된 관심영역을 검출하는 관심영역 검출 장치 및 방법을 제안하고 있다.

그러나 이 방법 역시 관심영역을 검출하는 과정이 복잡하고 시간이 많이 소요되는 문제점이 있다.

본 발명의 목적은 차량 객체의 외곽선 특징을 추출하기 위해 객체의 외곽선에서 나타나는 차량 패턴들을 정의하고, 이진 에지 입력 영상에서 사전에 정의된 차량패턴들의 발생 빈도를 계산할 수 있는 메커니즘을 제공하며, 그 결과물인 차량패턴 히스토그램을 생성하는데 소스 코드 복잡도와 수행시간을 최소화한 차량패턴히스토그램 생성방법을 제공하는 데 있다.

본 발명의 목적은 종류가 다른 객체들은 외곽선 정보가 다르다는 점을 활용하여 차량 객체와 유사한 외곽선 특징을 갖는 영역을 빠르게 개략적으로 검출하는 차량패턴 히스토그램을 이용한 차량패턴의 검출방법을 제공하는 데 있다

상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면,

정해진 크기의 셀에 차량패턴의 생성방법에 있어서,

셀의 중심을 1픽셀을 두께로 수평으로 통과하는 수평라인 패턴,

수평중심선에 대해 서로 대칭적인 패턴인 한 쌍의 수평 패턴,

수직중심선에 대해 서로 대칭적인 패턴인 한 쌍의 수직 패턴,

수직중심선에 대해 서로 대칭적인 패턴인 한 쌍 또는 여러 쌍의 상부경사패턴 및

수직중심선에 대해 서로 대칭적인 패턴인 한 쌍 또는 여러 쌍의 하부경사패턴으로 이루어진 것을 특징으로 하는 차량패턴의 생성방법이 제공된다.

바람직하게는,

상기 상부경사패턴 및 하부경사패턴은 세 개의 서로 대칭적인 패턴의 쌍으로 이루어진 것을 특징으로 한다.

본 발명의 다른 측면에 따르면, 입력 영상에서 일정한 크기의 슬라이딩 윈도우(Sliding Window)를 이동하면서 슬라이딩 윈도우(Sliding Window) 영역에서 패턴 히스토그램을 생성하는 단계,

패턴 히스토그램을 표준화하는 단계,

표준화된 특징 패턴들의 발생 빈도가 각각의 쓰레스홀드(Threshold)를 넘는 개수를 카운트하는 단계,

카운트된 패턴의 개수가 일정한 수치를 넘으면 차량이 존재한다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량패턴의 검출방법이 제공된다.

바람직하게는,

패턴들의 발생 빈도의 쓰레스홀드(Threshold)들을 기준 이미지(Reference image)들의 패턴 발생빈도를 참조하여 결정하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 표준화된 특징 패턴들은

미리 생성된 차량패턴의 수평라인패턴, 수평패턴, 수직 패턴 및 상부 및 하부 경사패턴들을 참조하여 쓰레스홀드(Threshold)를 넘는 개수를 카운트하는 것을 특징으로 한다.

또한 바람직하게는,

상기 표준화된 특징 패턴들의 발생 빈도가 각각의 쓰레스홀드(Threshold)를 넘는 개수를 카운트하는 단계는

입력 영상을 에지 추출 알고리즘을 이용하여 에지를 추출하고,

차량의 에지가 선명하게 추출되면, 추출된 에지 패턴들 중에서 항상 발생하는 패턴인, 수평라인 패턴, 수평패턴, 수직 패턴 및 상부 및 하부 경사 패턴의 발생빈도를 추출하는 단계를 포함하는 것을 특징으로 한다.

이상 설명한 바와 같이, 본 발명에 따른 차량패턴 히스토그램 및 이를 이용한 차량패턴 검출방법에 의하면, 사전에 차량 객체 외곽선을 분석하여 차량 패턴이 얼마만큼 분포하는가를 계산할 수 있는 차량패턴 히스토그램을 제공함으로써 차량 객체의 외곽선 패턴 분석을 용이하게 하는 효과가 있다.

본 발명에 따르면 차량패턴 히스토그램의 데이터를 통하여 역으로 차량 객체의 유형을 추정할 수 있는 효과가 있다.

본 발명에 따르면 이미 개발된 인식기 또는 분류기에 특징으로 차량패턴 히스토그램을 적용함으로써 그 성능을 개선할 수 있는 효과가 있다.

본 발명에 따르면 차량객체와 유사한 객체들을 빠르게 검출할 수 있는 효과가 있다.

본 발명에 따르면, 차량패턴 인식까지의 처리시간을 줄임으로써 기존에 인식기를 사용한 경우보다 빠르게 검출할 수 있는 효과가 있다.

도 1은 본 발명에 따른 패턴 히스토그램 생성방법에서 NxN셀 공간을 도식적으로 나타낸 도면이다.
도 2 및 도 3은 본 발명에 따른 패턴 히스토그램 생성방법에서 셀 코드가 할당된 3x3 셀공간 예제들을 나타낸 도면이다.
도 4는 본 발명에 따른 객체 검출 기법에 대한 과정을 나타낸 순서도이다.
도 5는 이진 에지 영상의 특정 영역에 대한 패턴 히스토그램을 나타낸 것이다.
도 6은 객체 정보를 담고 있는 기준 영상(reference image)의 이진 에지 영상으로 템플릿 영상에 대한 템플릿의 패턴 히스토그램을 나타낸 것이다.
도 7은 차량 영상을 처리한 에지영상을 나타낸 도면이다.
도 8은 차량영상에지의 패턴 히스토그램을 나타낸 도면이다.
도 9 내지 도 17은 본 발명에 따른 차량패턴 히스토그램의 예를 나타낸 도면들이다.

이하 본 발명에 따른 차량패턴 히스토그램 생성방법 및 이를 이용한 차량패턴 검출방법에 대하여 첨부도면을 참조로 상세히 설명한다.

본 발명에서는, 사전에 정의한 객체에 따른 이진 외곽선 정보를 기반으로 촬영영상의 어느 위치에 어떤 관심 객체가 위치하는 지를 찾을 수 있을 있는 정보를 제공하고자 N x N 셀 공간에서 셀 코드를 부여하여 관심객체의 외곽선 패턴(모양)을 코드화하는 패턴코드를 생성하는 방법과 관심객체가 가지는 패턴 유형의 발생 빈도를 누적하는 패턴 히스토그램의 생성 방법을 제시한다.

이때, 패턴 히스토그램은 분석 객체에 대하여 어떤 외곽선 패턴이 얼마만큼의 빈도로 존재하는지를 나타내는 패턴 분포도이다.

일반적인 히스토그램은 어떤 값이 어떤 영상에 얼마만큼 있느냐를 보는 것인데 비해, 본 발명에서 사용된 패턴 히스토그램은 패턴이 특정 영역에 얼마만큼 있느냐를 찾는 점에서 차이가 있다.

예를 들어 입력영상에서 관심영역 크기만큼 떼어내어(3x3크기의 영역을 떼어낸다고 가정), 확대하면 이것이 하나의 패턴이 된다. 입력영상에 대해 이런식으로 관심영역을 모두 떼어내어 확대하여 코드화 시킨다(이후 수학식 1 내지 3에서 설명됨). 즉 패턴을 코드화하여 빈도를 센다(수학식 1 및 2에 의해, 이후 설명됨). 예를 들면 50이라고 하면 50이라는 숫자는 어떤 패턴이라고 사전에 정의가 되어 있다(제어부(미도시)에서 미리 정의된 숫자를 메모리(미도시)를 통해 연산하게 된다). 상기 제어부와 메모리는 일반적인 내용이므로 도면이 표시하지 않기로 한다.

유사한 모양은 유사한 패턴을 가지게 되므로 나중에 값하나로 패턴을 정하게 된다.

본 발명에서는 패턴을 코드화 하기 위해서 3x3에서 나올 수 있는 경우의 수는 2^8(2의 8승)개로 분류하고, 가운데 셀은 제외한다. 5x5에서 나올 수 있는 경우의 수는 2^24(2의 24승)개가 나올 수 있다. 참고로 셀은 홀수여야 효율적으로 동작된다.

그러나, 셀 크기가 계속 커질 수는 없고, 계속 커지면 나올 수 있는 경우의수는 많아지는데 그렇다고 정확도가 보장되는 것은 아니며 패턴 히스토그램의 용량이 늘어나기 때문에 속도는 떨어지게 된다.

본 발명에 따르면 특정 공간상에서 코드를 어떻게 만들라는 알고리즘이 구비된다. 또한, 5x5 셀 영역인데 실제 패턴이 2개밖에 안 나오는 경우에는, 만약 필요한 패턴 수가 2개뿐이면 0,1만 쓰고, 다른 코드로 그냥 매핑(mapping) 시키라고도 할 수 있다. 이를 매핑-사상 선택이라고 한다. 즉, 쓰지 않는 코드는 히스토그램만 늘어나게 되므로 필요한 코드만 사용하려는 의도이다.

한편, 셀코드 부여를 정했다가 바꿀 수 있다.

도 1 및 도 2의 셀의 하나 하나가 셀코드이다(정사각형 하나를 셀이라 칭함). 실제패턴(입력 영상의 패턴)으로 어떤 패턴이 들어오는지는 알 수 없으나, 조합하면 어떤 숫자가 나온다. 그 숫자를 패턴 코드라고 호칭하였다.

패턴 히스토그램의 크기를 결정하기 위해서는 수학식 2와 같이 셀공간의 셀들에 부여된 셀코드를 모두 더하고 최종적으로 1을 추가로 더한다. 예로, 3x3 셀공간에서 셀코드가 정의되었을 때 셀코드의 총 합은 255이므로 패턴 히스토그램의 크기는 256이다. 그리고 패턴 히스토그램의 인덱스하기 위한 패턴코드는 수학식 1에 의해 결정되는 인덱스 방법은 수학식 3과 같다.

상기에서 설명한 바와 같이, 본 발명에서는 중요한 특징으로 입력 영상에서 관심객체를 검출하는데 사용될 수 있는 객체 정보를 제공한다(이 부분은 이미 선출원된 내용이고 필요한 경우 중복설명되는 부분도 있다.).

도 1 및 도 2를 참조하면, 본 발명의 출원인에 의해 선 출원된 패턴 히스토그램 생성방법을 살펴본다.

먼저, 셀 공간(100)에 대해 설명한다.

셀 공간(또는 셀 테이블)은 셀코드(110)를 저장하며 위치에 따라 구분되는 셀(cell)들의 집합이고 도 1과 같으며 여기에서 N은 정수이며 홀수이다.

셀 코드에 대해 설명한다.

셀 코드는 하나의 패턴을 코드로 표현하기 위해 상기 셀 공간의 각 셀에 부여되며 다음과 같은 제약조건을 갖는다.

-셀의 위치와 관계없이 임의의 순서로 셀에 셀 코드를 부여한다. 셀과 코드는 일대일 대응관계이다.

-셀 코드는 다른 셀 코드와 중복되지 않아야 한다.

-셀 코드는 2진수로 표현되었을 때 '1'이 아니면 하나만 존재해야 한다.

-중심 위치에 있는 중심 셀(120)에는 코드를 부여하지 않거나 0으로 부여한다.

-코드 0은 중심 셀 외에 사용하지 못한다.

예를 들면, NxN 셀 공간에서 중심 셀에 코드를 할당하지 않는 경우, 이진 셀 코드의 길이는 (NxN)-1이다. 3x3 셀 공간에 부여된 셀 코드 예제가 도 2이다.

셀 코드의 사상에 대해 설명한다.

셀 코드의 길이는 셀 공간의 크기에 의해 결정된다. 이로 인하여 관심 있는 패턴의 수가 적더라도 셀공간의 크기가 크면 셀 코드 길이가 길어지는 비효율을 야기한다. 왜냐하면 셀 코드의 길이는 추후 설명될 패턴 히스토그램의 빈(bin)의 크기를 결정하는 인자이기 때문이다.

따라서 관심 있는 패턴 수가 적을 때 셀 코드 길이를 줄이기 위해 셀 코드를 다른 짧은 코드로 사상시킨다. 해쉬 함수(hash function) 함수 또는 룩업 테이블(lookup table) 등과 같은 방법을 이용하여 필요한 셀 코드만을 다른 짧은 코드로 일대일 사상(one-to-one mapping)한다. 그러나 필요에 따라 셀 코드의 사상은 생략할 수 있다.

셀 코드를 이용한 패턴 코드에 대해 설명한다.

단채널 이진(0 or 1) 입력 영상의 일부 영역과 셀 공간의 위치 별 곱의 합에 의해 패턴 코드를 만든다. 패턴 코드를 생성하는 식은 아래 수학식 1과 같다.

상기 수학식 1에서, pcode(x,y)는 위치 (x,y)에서 패턴 코드이고 N은 셀 공간의 크기이며, N/2는 정수연산으로 소수점 이하는 무조건 버린다. cell_space(i,j)는 사전에 정의된 셀 코드를 담고 있는 셀 공간으로 중심 셀의 코드는 0이다. 그리고 region(x,y)는 이진 에지 영상의 일부 영역으로 중심이 1일 때만 패턴 코드를 계산한다. 그리고 *는 곱셈 연산자이다.

패턴 코드에 의한 패턴 히스토그램에 대해 설명한다.

패턴 히스토그램의 크기를 의미하는 빈의 개수 total_bins는 수학식 2에 의해 결정된다.

수학식 2에서 cell_space()는 셀공간이고 1을 더한 것은 패턴 히스토그램의 여유분으로 필요에 따라 1을 제거할 수 있다. 이진 입력영상에 대한 패턴들의 발생 빈도를 누적하는 방법은 수학식 3에 의해 결정된다.

수학식 3에서 phist[]는 패턴 히스토그램이고 pcode(x,y)는 패턴 코드로 수학식 1에 의해 결정되며 기호 <---은 대입 연산자이다. 이때 패턴 히스토그램의 빈 개수는 수학식 2에 제시된 total_bins이다.

종래 전역 탐색의 경우 분류 속도가 현저히 저하되고 인식률이 매우 낮아진다. 이런 단점을 보안하기 위해 사전에 관심객체의 존재 유무와 위치를 개략적이며 빠른 수행속도로 검출하여 그 결과를 boosting 또는 adaboosting 인식기에 넘겨주면 앞서 언급한 단점을 보안할 수 있다.

이로부터 본 발명이 시작되었다. 따라서 패턴 히스토그램을 이용한 객체 검출 방법은 기존의 boosting 계열의 알고리즘에서 전처리 단계로 사용할 수 있으나 독자적으로도 사용 가능하다.

도 4 내지 도 6을 참조하면, 본 발명은 종류가 다른 객체들은 다른 외곽선 정보를 갖는 점을 활용하여 사전에 분석된 관심객체의 외각선 정보를 기반으로 입력영상에서 관심 객체와 유사한 에지 특징을 갖는 영역을 빠르고 개략적으로 검출한다.

이를 위해, 관심 객체로 주어지는 템플릿의 에지 특징을 사전에 분석한다. 이를 기반하여 입력으로 주어진 에지 영상의 영역별 에지 특징과 비교함으로써 관심 객체의 위치 및 존재 유무를 판단한다.

도 4는 본 발명에 따른 객체 검출 기법에 대한 과정을 나타낸 순서도이다.

처리 방법을 설명한다.

처리 영역 설정을 먼저 한다(S2).

단채널 이진(0 과 1) 에지 영상 전체를 중첩 가능한 여러 부분 영역으로 나누어 처리한다. 처리 방식은 처리할 영역을 선택한 후, 그 영역에 대해 일련의 과정들을 처리한다. 그리고 다시 다른 영역을 설정하고 일련의 과정들을 처리한다. 처리 영역은 윈도우라 불리는 시작위치, 가로크기, 그리고 세로 크기로 구성되는 사각형에 의해 설정되며 그 방법은 아래와 같다.

영역 설정 방법 1

단계 1. 초기에 설정된 고정 크기 윈도우를 초기 시작점부터 양의 가로 방향으로 특정 양만큼 증가시켜 윈도우를 설정한다.

단계 2. 가로 한 줄에 대한 설정이 완료되면, 양의 세로 방향으로 특정 양만큼 이동시켜 변경된 세로 위치에서 단계 1과 같이 가로줄에 영역을 설정한다.

단계 3. 영상 전체에 대하여 단계 2를 수행한다.

단계 4. 윈도우의 크기를 가로 그리고/또는 세로를 특정량 만큼 변경한다.

단계 5. 종료 조건으로 주어진 윈도우 크기를 만족할 때까지 단계 1-4를 반복한다.

영역 설정 방법 2

단계 1. 초기 윈도우의 크기와 위치를 정하여 초기 영역을 설정한다.

단계 2. 윈도우의 위치를 고정한 채 윈도우 크기를 조절하면서 영역을 설정한다. 윈도우 크기가 사전에 정한 특정 크기와 같을 때까지 계속한다.

단계 3. 윈도우의 위치를 양의 가로 방향으로 특정 양만큼 이동시키고 단계 2를 반복한다. 그러나 윈도우의 위치가 그 줄의 특정 위치(줄의 끝부분)에 놓이면 단계 4를 수행한다.

단계 4. 윈도우의 위치를 양의 세로 방향을 특정 양만큼 이동시키고 단계 2-3을 반복한다.

단계 5. 종료 조건을 주어진 윈도우의 세로 위치에 이르면 영역 설정을 종료한다.

처리영역에 대한 패턴 히스토그램 생성(S4)

선택된 영역의 패턴 종류와 빈도를 찾기 위해 NxN 셀 공간에서 패턴 코드를 계산하여 패턴 히스토그램을 생성한다. 패턴 히스토그램에 대한 설명은 본 발명의 출원인에 의해 출원된 내용인 패턴 히스토그램 생성방법이다.

도 5는 이진 에지 영상의 특정 영역에 대한 패턴 히스토그램을 나타낸 것으로서, 좌측 이진 에지 영상에서 확대된 우측의 적색 사각영역에 대한 패턴 히스토그램이다.

템플릿의 패턴 히스토그램

템플릿이란 객체 정보를 담고 있는 기준 영상(reference image)의 이진 에지 영상으로 도 6 좌측(a)에서 그 예가 나타나 있다. 템플릿의 패턴 히스토그램은 사전에 분석되어야 하며 패턴 히스토그램 생성 방법은 위에 이미 설명한 바와 같으므로(수학식 1 내지 3 참조) 더 자세한 설명은 생략하기로 한다.

또한 관심 객체에 대해 다수의 템플릿을 분석해야 하며 패턴 히스토그램의 어떤 인덱스(패턴 코드)를 그리고 몇 개를 특징으로 사용할지에 관해 사전에 분석한다.

특징비교(S6)

템플릿의 패턴히스토그램과 처리영역 패턴 히스토그램을 비교하여 관심 객체인지를 판별한다. 수학식 4를 만족시키는 패턴 코드의 개수를 센다.

수학식 4에서, R[ ]은 처리영역의 패턴히스토그램, T[ ]은 템플릿의 패턴 히스토그램, pi는 패턴 히스토그램의 i번째 인덱스이고 , F는 비교 패턴으로 선정된 패턴의 집합이다. 즉, 비교 대상이 되는 패턴 히스토그램의 인덱스 집합이다. Si는 스케일 인자, X는 곱셈 연산자, >는 대소 연산자, 그리고 는 수학식 5에 의해 결정되는 윈도우 크기 비율을 나타내는 인자이다.

상기 단계 S6이후, 관심객체가 포함되어 있는가?를 판단한다.(S8)

수학식 4를 만족하는 특징 패턴 코드의 개수가 주어진 임계값 보다 크면 그 영역에 관심 객체가 포함된 것으로 그렇지 않으면 포함되어 있지 않은 것으로 판단한다.

이후 전체영역을 처리했는가를 판단한다(S10).

본 발명에 따른 패턴 히스토그램을 이용한 객체검출방법에 의하면, 관심객체와 유사한 객체들을 빠르게 검출할 수 있다.

본 발명에 따르면, 관심객체의 인식을 위한 처리시간을 줄임으로써 기존에 인식기를 사용한 경우보다 빠르게 검출할 수 있다.

상기 도 5 및 도 6은 차량 객체를 예를 들어 설명한 것이다.

도 7은 차량영상을 소벨(Sobel)방식으로 처리한 에지영상이다. 즉 입력영상을 소벨 에지 추출알고리즘을 이용하여 에지를 추출한다.

본 발명에서는 특히 차량 객체에 대한 차량 패턴을 미리 도 9 내지 도 17과 같이 총 9가지로 생성하였다.

즉, 차량의 검출에 유용한 패턴으로서, 본 발명에서 생성한 차량패턴을 설명한다. 먼저 입력 영상을 Sobel 에지 추출 알고리즘을 이용하여 에지를 추출한다(도 7참조).

차량의 에지가 선명하게 추출되면 도 9 내지 도 17과 같은 패턴들이 항상 발생한다. 즉, 수평라인 패턴, 상측 및 하측 수평 패턴, 좌측 및 우측 수직패턴, 좌측 및 우측 상부 경사 패턴, 및 좌측 및 우측하부 경사패턴들이다. 이런 특징패턴들의 발생 빈도를 상술한 패턴 히스토그램 알고리즘을 이용하여 추출한 후 해당 영역에 차량이 존재하는지를 판단한다. 아래에서는 각 패턴들의 3x3인 경우를 예시하고 있다.

수평라인패턴(도 9)

cell의 중심을 1픽셀을 두께로 수평으로 통과하는 패턴을 지칭한다. 도 9는 셀의 크기가 3x3인 경우의 예제이다. 패턴 코드는 34이고 패턴의 모양은 도 9와 같다. 도 9에서 밝은 부분은 에지를 나타내고 검은 부분은 배경을 나타낸다.

상측 수평 및 하측 수평패턴(도 10 및 도 11)

에지가 수평 방향으로 향하였을 때의 패턴을 지칭한다. 도 10 및 도11은 cell의 크기가 3x3인 경우의 예제이다. 패턴 코드는 62(도 10), 227(도 11)이고 패턴의 모양은 도 10 및 도 11과 같다. 도면에서 밝은 부분은 에지를 나타내고 검은 부분은 배경을 나타낸다.

좌측 수직 및 우측 수직패턴

에지가 수직 방향으로 향하였을 때의 패턴을 지칭한다. 도 12 및 도 13은 cell의 크기가 3x3인 경우의 예제이다. 패턴 코드는 143(도 12), 248(도 13)이고 패턴의 모양은 도 12 및 도 13과 같다. 도면에서 밝은 부분은 에지를 나타내고 검은 부분은 배경을 나타낸다.

좌측 상부 및 우측 상부 경사패턴

에지의 상단이 경사졌을 때의 패턴을 지칭한다. 도 14 및 도 15는 cell의 크기가 3x3인 경우의 예제이다. 패턴 코드는 30(도 14) 및 60(도 15)이고 패턴의 모양은 아래의 도 14 및 도 15와 같다. 도면에서 밝은 부분은 에지를 나타내고 검은 부분은 배경을 나타낸다.

좌측 하부 및 우측 하부 경사패턴

에지의 하단이 경사졌을 때의 패턴을 지칭한다. 도 16 및 도 17은 cell의 크기가 3x3인 경우의 예제이다. 패턴 코드는 195(도 16) 및 225(도 17)이고 패턴의 모양은 아래의 도 16 및 도 17과 같다. 도면에서 흰 부분은 에지(밝은 부분)를 나타내고 검은 부분(밝기가 0인 부분)은 배경을 나타낸다.

차량 패턴의 검출 방법에 대해 설명한다.

위에서 서술한 특징 패턴들의 발생 빈도 및 특징 패턴들의 발생 빈도 사이의 상관 관계를 이용하여 차량을 검출한다.

차량패턴의 검출 방법은 다음과 같이 진행될 수 있다.

ST-1. 입력 영상에서 일정한 크기의 Sliding Window를 이동하면서 Sliding Window 영역에서 패턴 히스토그램을 생성한다.

ST-2. 패턴 히스토그램을 표준화한다.

ST-3. 각 패턴들의 발생 빈도의 Threshold들을(임의로 정한다) Reference image들의 패턴 발생빈도를 참조하여 결정한다.

ST-4. 표준화된 특징 패턴들의 발생 빈도가 각각의 Threshold를 넘는 개수를 카운트한다.

ST-5. 카운트된 패턴의 개수가 일정한 수치를 넘으면 차량이 존재한다고 판단한다.

본 발명에 따른 차량패턴 히스토그램 및 이를 이용한 차량패턴 검출방법에 의하면, 사전에 차량 객체 외곽선을 분석하여 차량 패턴이 얼마만큼 분포하는가를 계산할 수 있는 차량패턴 히스토그램을 제공함으로써 차량 객체의 외곽선 패턴 분석을 용이하게 된다.

본 발명에 따르면 차량패턴 히스토그램의 데이터를 통하여 역으로 차량 객체의 유형을 추정할 수 있다.

본 발명에 따르면 이미 개발된 인식기 또는 분류기에 특징으로 차량패턴 히스토그램을 적용함으로써 그 성능을 개선할 수 있다.

본 발명에 따르면 차량객체와 유사한 객체들을 빠르게 검출할 수 있다.

본 발명에 따르면, 차량패턴 인식까지의 처리시간을 줄임으로써 기존에 인식기를 사용한 경우보다 빠르게 검출할 수 있다.

100: 3x3 셀공간
110: 10진 셀 코드
120: 중심셀

Claims (6)

1. 정해진 크기의 셀에 차량패턴의 생성방법에 있어서,
   셀의 중심을 1픽셀을 두께로 수평으로 통과하는 수평라인 패턴,
   수평중심선에 대해 서로 대칭적인 패턴인 한 쌍의 수평 패턴,
   수직중심선에 대해 서로 대칭적인 패턴인 한 쌍의 수직 패턴,
   수직중심선에 대해 서로 대칭적인 패턴인 한 쌍 또는 여러 쌍의 상부경사패턴 및
   수직중심선에 대해 서로 대칭적인 패턴인 한 쌍 또는 여러 쌍의 하부경사패턴으로 이루어진 것을 특징으로 하는 차량패턴의 생성방법.
   
2. 제 1 항에 있어서,
   상기 상부경사패턴 및 하부경사패턴은 서로 대칭적인 패턴의 쌍들로 이루어진 것을 특징으로 하는 차량패턴의 생성방법.
   
3. 입력 영상에서 일정한 크기의 슬라이딩 윈도우(Sliding Window)를 이동하면서 슬라이딩 윈도우(Sliding Window) 영역에서 패턴 히스토그램을 생성하는 단계,
   패턴 히스토그램을 표준화하는 단계,
   표준화된 특징 패턴들의 발생 빈도가 각각의 쓰레스홀드(Threshold)를 넘는 개수를 카운트하는 단계,
   카운트된 패턴의 개수가 일정한 수치를 넘으면 차량이 존재한다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량패턴의 검출방법.
   
4. 제 3 항에 있어서,
   패턴들의 발생 빈도의 쓰레스홀드(Threshold)들을 기준 이미지(Reference image)들의 패턴 발생빈도를 참조하여 결정하는 단계를 더 포함하는 것을 특징으로 하는 차량패턴의 검출방법.
   
5. 제 3 항에 있어서,
   상기 표준화된 특징 패턴들은
   미리 생성된 차량패턴의 수평라인패턴, 수평패턴, 수직 패턴 및 상부 및 하부 경사패턴들의 발생빈도를 참조하여 쓰레스홀드(Threshold)를 넘는 개수를 카운트하는 것을 특징으로 하는 차량패턴의 검출방법.
   
6. 제 3 항에 있어서,
   상기 표준화된 특징 패턴들의 발생 빈도가 각각의 쓰레스홀드(Threshold)를 넘는 개수를 카운트하는 단계는
   입력 영상을 에지 추출 알고리즘을 이용하여 에지를 추출하고,
   차량의 에지가 선명하게 추출되면, 추출된 에지 패턴들 중에서 항상 발생하는 패턴인, 수평라인 패턴, 수평패턴, 수직 패턴 및 상부 및 하부 경사 패턴의 발생빈도를 추출하는 단계를 포함하는 것을 특징으로 하는 차량패턴의 검출방법.

Images