KR20030038014A - 입력영상에서 대상물체의 특징패턴을 이용한 특정영역추출방법 - Google Patents

Abstract

입력영상으로부터 대상물체의 특징패턴을 이용하여 특정영역을 추출하는 방법이 개시된다. 본 발명에 따른 특정영역 추출방법은 영상에서 나타나는 추출영역 대상 물체의 이진영상에 따른 특징패턴을 설정하고, 카메라를 통해 촬영된 영상이 입력되면, 특징패턴을 고려하여 입력영상을 전처리 한 후, 전처리된 입력영상을 이진영상으로 변환한다. 그리고 그 이진영상으로부터 설정된 특징패턴을 검색하여 검색된 특징패턴에 따라 대상물체의 영역을 결정한다. 이때, 특정정보에 따라 대상물체의 특징이 이진영상에서 각각 다르게 나타날 수 있는데, 각 특정정보에 따라 이진영상에서 나타나는 특징패턴을 다양하게 설정하고, 하나의 특정정보에 따른 이진영상에서 설정된 특징패턴이 검색되지 않으면, 또 다른 특정정보에 따라 변환된 이진영상에서 대응되게 설정된 특징패턴을 검색하여 특정영역을 추출하도록 한다. 이에 따라 대상물체의 특징패턴을 이용하여 보다 정확하게 대상물체의 영역을 결정할 수 있게 되며, 대상물체의 특징부 훼손이나 기타 원인에 의한 특징패턴 추출을 실패할 경우, 또 다른 방식으로 특징패턴을 추출하도록 하고 있어 결과적으로 대상물체에 대한 추출성공율을 높일 수 있게 된다.

Description

입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법{Mehtod for extracting specfic region using feature pattern of an object in input image}

본 발명은 입력영상으로부터 특정물체의 영역을 추출하는 방법에 관한 것으로서, 특히, 대상물체의 다양한 특징패턴을 이용하여 특정영역을 추출하는 방법에 관한 것이다.

최근 카메라를 통해 촬영된 영상을 이용하여 자동으로 물체를 추출하고, 물체에 대한 정보를 인식하기 위한 기술이 활발하게 연구되고 있다. 이러한 기술은 혼잡하게 섞여있는 다양한 물체들 중에서 특정의 물체를 검색하려는 경우 이용될 수 있다. 또한, 자동차와 관련되어 방범 및 방재 시스템, 무인 주차 관리 시스템, 무인 속도 감시 카메라, 무인 톨게이트 시스템 그리고 지능형 교통 시스템 등에 적용되고 있다. 여기서, 자동차와 관련한 시스템들에서는 입력영상으로부터 자동차의 번호판을 인식하기 위하여 자동차의 번호판 영역을 정확하게 추출할 수 있는 기술이 요구된다.

다음은 입력영상에서 특정영역을 추출하는 일 예로써, 종래 자동차 번호판 인식 시스템에 이용되는 다양한 번호판 영역 추출 방법들이다.

1) 번호판 테두리 정보를 이용한 번호판 영역 추출방법

2) 수직 에지 정보를 이용한 번호판 영역 추출 방법(관련문헌: "An approach to Korean license plate recognition based on vertical edge matching" 2000 IEEE international conference on systems, Man and Cybernetics - Vol.4, 2975-2980).

3) 그레이 레벨의 변화 특성을 이용한 번호판 영역 추출방법.(대한민국 등록특허 1992-0009163)

4) 신경회로망을 이용한 번호판 영역 추출방법(대한민국 공개특허 2001-0002146).

위와 같은 종래 번호판 영역 추출 방법들은 번호판의 여러 특징을 통해 각각 번호판 영역을 추출하는 방법을 제안하고 있다. 그러나 상기한 번호판 영역 추출방법들은 각각 다음과 같은 문제점을 가지고 있다.

먼저, 1)의 번호판 테두리를 이용한 방법은 종종 번호판의 테두리가 훼손되거나, 번호판의 테두리와 유사한 특징을 갖는 부분이 있는 경우(예: 차량의 라디에이터 테두리 부분) 번호판 영역을 오인식 할 수 있다.

2)의 수직 에지 정보를 이용한 방법은 일반적인 차량들의 라디에이터 영상 역시 수직 에지를 많이 가지기 때문에 번호판 영역을 오인식 할 수 있다.

3)의 그레이레벨 변화 특성을 이용한 방법은 차량의 디자인 및 번호판 장착 위치에 따라 그레이 레벨이 변화될 수 있어 임계값에 의한 번호판 영역을 오인식 할 수 있다.

4)의 신경회로망을 이용한 방법은 신경회로망을 학습하기 위해 상당히 많은 학습데이터(적어도 1000개 이상)가 요구되며, 특성상 오인식된 데이터가 많은 경우에 추출 성능이 떨어지는 문제점이 있다.

위와 같은 자동차 번호판 인식 시스템에 적용되는 종래의 특정영역 추출방법들에 있어서는, 입력영상을 처리하는 과정에서 늘 에러 발생의 여지를 내포하고 있으며, 그러한 에러 발생시에는 자동차 번호판 내에 새겨진 번호판 정보 자체를 인식할 수 없어 자동차 번호판 인식 시스템 자체가 무의미하게 된다. 또한, 번호판 정보를 인식하였다고 할지라도 획득한 정보의 신뢰성이 떨어져 정보의 활용가치가 낮게 된다.

즉, 종래의 추출방법들에 있어서는 대상물체의 주위에 유사 정도가 높은 다양한 물체가 존재하는 경우에 대상물체의 영역을 제대로 추출하지 못하는 문제점이 있었다.

본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 영상에서 나타나는 대상물체의 특징패턴을 통해 보다 정확하게 특정영역을 추출하며, 대상물체의 영상처리 방법에 따라 다양하게 나타나는 각각의 특징패턴을 어느 한 방법의 추출이 실패할 경우 적용되도록 함으로서, 대상물체의 특징패턴 추출 성공률을 높일 수 있는 대상물체의 특징패턴을 이용한 특정영역 추출방법을 제공하는 데 있다.

도 1은 본 발명에 따른 입력영상에서의 특정영역 추출방법을 나타낸 순서도,

도 2는 자동차 번호판을 보인 영상

도 3 및 도 4는 도 2에 보인 자동차 번호판 영상의 이진영상에서 나타나는 각 모서리패턴을 나타낸 도면,

도 5는 에지패턴의 또 다른 실시예를 나타낸 도면,

도 6은 본 발명의 실시예에 따른 자동차 번호판 영역 추출과정에서 번호판 모서리패턴 검색 과정을 나타낸 순서도,

도 7은 자동차 번호판을 포함한 영상,

도 8은 도 7에 보인 영상에서 수평 및 수직에지정보를 이용하여 변환된 이진영상,

도 9는 도 7에 보인 영상에서 컬러정보를 이용하여 변환된 이진영상, 그리고

도 10 및 도 11은 도 9의 이진영상으로부터 자동차 번호판의 각 모서리패턴을 나타낸 도면이다.

상기의 목적을 달성하기 위한 본 발명의 특정영역 추출방법은, 이진영상에서 나타나는 대상물체의 특징패턴을 설정하는 단계; 카메라를 통해 촬영된 입력영상을 상기 특징패턴을 고려하여 전처리하는 단계; 전처리된 상기 입력영상을 이진영상으로 변환하는 단계; 상기 이진영상에서 설정된 상기 특징패턴을 검색하는 단계; 및 상기 이진영상의 검색 과정에서 검색된 상기 특징패턴을 통해 상기 대상물체의 영역을 결정하는 단계;를 포함한다.

여기서, 상기 대상물체의 특징은 특정정보에 따라 변환된 각각의 이진영상에서 각각 다르게 나타날 수 있는데, 각 특정정보에 따라 변환된 각각의 이진영상에서 나타나는 각각의 특징패턴을 미리 설정한다. 그리고 특징패턴을 검색하는 과정에서 하나의 특정정보에 따른 이진영상에 대응되도록 설정된 특징패턴이 검색되지 않으면, 또 다른 특정정보에 따라 변환된 또 다른 이진영상에 대응되도록 설정된 특징패턴을 검색하여 특정영역을 추출한다.

이상과 같은 본 발명의 특정영역을 추출 방법은 대상물체의 특징패턴을 이용하여 보다 정확하게 대상물체의 영역을 추출할 수 있게 되며, 하나의 특징패턴 추출방법이 실패할 경우 또 다른 정보에 의해 변환된 영상에서 특징패턴을 추출하도록 하고 있어 대상물체에 대한 특정영역 추출 성공율을 높일 수 있게 된다.

이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.

도 1은 본 발명에 따른 입력영상에서 특징패턴을 이용한 특정영역 추출방법을 개략적으로 설명하는 순서도이다.

먼저, 시스템에는 대상물체의 영상처리에 따라 이진영상에서 나타나게 되는 여러가지 특징패턴이 설정된다(S110). 여기서, 특징패턴은 임의의 물체가 가지는 독특한 특징을 의미한다. 예를 들어, 도 2와 같은 자동차의 번호판에서는 수평 및 수직에지 전처리를 통한 이진영상의 각 모서리 부분에서 나타나는 특징을 특징패턴으로 설정할 수 있으며, 자동차 번호판이 가지는 컬러 정보를 이용한 이진영상의 각 모서리부분에서 나타나는 특징이 또 하나의 특징패턴이 될 수 있다. 도 3 및 도 4는 도 2에 보인 자동차 번호판의 각 모서리 부분에 대하여 수평 및 수직 에지패턴에 따른 이진영상에서 나타나는 에지특징패턴을 보이고 있다. 또한, 도 9 및 도 10은 컬러정보를 이용한 이진영상에서 나타나는 자동차 번호판의 각 모서리 부분에 대한 에지특징패턴을 보이고 있다. 도 5는 대상물체에 따른 다양한 형태의 에직특징패턴을 나타낸다.

다시 도 1로 돌아가서, 시스템은 카메라를 통해 대상이 촬영되어 영상이 입력되면(S120), 입력영상에 대한 전처리를 수행한다(S130). 이때, 영상처리시간을 줄이기 위한 해상도 조정, 영상의 잡음을 제거하기 위한 잡음 필터링, 그리고 대상물체가 자동차 번호판인 경우 번호판 기울어짐을 보상하기 위한 어핀변환(Affine transform)을 수행한다.

위와 같이 전처리 과정이 수행되면, 전처리된 입력영상을 이진영상으로 변환한다(S140). 이진영상으로의 변환은 미리 설정된 특징패턴을 고려하여 변환된다. 즉, 자동차 번호판영역을 추출하는 경우, 수평 및 수직에지정보를 이용한 이진화가 수행된다. 도 8은 도 7에 보인 입력영상에 대한 수평 및 수직 에지정보를 이용한 이진영상을 나타낸 도면이다. 또한, 컬러정보를 이용한 이진화시는 HSI(Hue Saturation Intensity) 변환에 의해 미리 설정된 화소의 컬러정보와 임의의 임계값을 이용하여 이진화 한다. 도 9는 도 7에 보인 입력영상에 대한 컬러정보를 이용한 이진영상을 나타낸 도면이다.

이후, 변환된 이진영상으로부터 미리 설정된 특징패턴이 존재하는 지를 검색한다(S150). 그리고 검색된 패턴이 존재하면 그에 따라 입력영상에서 대상물체의 특정영역을 결정한다(S160).

이진화된 영상에서 특징패턴을 검색을 통한 대상물체의 영역을 결정하기 위하여 다음의 수학식 1이 이용된다.

{ (r,c): 검색영역 픽셀

pattern(i,j): 미리 설정된 특징패턴

B(r+i,c+j): 입력영상의 이진화 영상

F(r,c): 검색영역(r,c)에서 특징패턴의 유사도 상관함수 }

수학식 1에 보인 유사도 상관함수가 검색영역 '(r,c)'에서 최대가 되는 점을 'F_max(r,c)'라 할 수 있으며, 이 유사도 상관함수 'F_max(r,c)'가 크면 클수록 검색 픽셀 '(r,c)'는 설정된 특징패턴과 유사도가 높다는 것을 의미한다. 그리고 이렇게 검출된 최대 유사도 상관함수를 갖는 픽셀이 임계값(threshold) 이상이면, 그 픽셀은 검색영역에서 설정된 특징패턴에 따른 특징점이 된다. 예를 들어, 도 3에 보인 자동차의 번호판에서, 번호판 영역을 검출하려는 경우, 특징점은 미리 설정된 모서리패턴에 따라 각각 모서리 점 '1', '2', '3', '4'가 된다.

다음 표 1은 유사도 함수를 계산하는 이진화 패턴 'Pattern(i,j)'와 이진영상 'B(r+i,c+j)'의 연산 결과를 나타낸다.

Pattern(i,j)	B(r+i,c+j)	결 과
0	0	1
0	1	0
1	0	0
1	1	1

한편, 위와 같이 자동차 번호판의 모서리 특징패턴을 검색할 때에는 모든 에지특징패턴을 검색할 필요가 없다. 자동차 번호판의 어느 한 대각선 양측의 모서리패턴만 검색하면, 즉, 모서리 '1'과 '4' 또는 '2'와 '3'만 찾으면, 직사각형인 번호판의 영역을 추출할 수 있다. 따라서, 어느 한 대각선 양측의 모서리패턴만 검색하되, 검색할 모서리 부분이 훼손되어 모서리패턴이 검색되지 않으면 또 다른 대각선 양측의 모서리패턴을 검색하도록 한다.

도 6은 본 발명의 실시예에 따른 자동차 번호판 영역 추출과정의 번호판 모서리패턴 검색 과정을 나타낸 순서도이다.

먼저, 도 8에 보인 도 7의 입력영상에 대한 수평 및 수직에지정보를 이용한 이진영상으로부터 도 3의 '1'과 '4'와 같은 모서리에지패턴이 존재하는가를 판단한다(S610). 모서리에지패턴 '1'과 '4'가 검색되면, 검색된 모서리에지패턴에 따른 두 특징점을 통해 번호판 영역을 결정한다(S670). 만일, 자동차 번호판의 '1' 또는 '4' 모서리부분이 훼손되어 모서리에지패턴이 검출되지 않으면, 같은 이진영상에서 도 4에 보인바와 같이 '2'와 '3'의 모서리에지패턴이 존재하는지를검색한다(S620). 한편, '2'와 '3'의 에지패턴도 검출되지 않으면, 입력영상의 컬러정보를 이용한 HSI(Hue Saturation Intensity) 모델을 이용하여 입력영상을 도 9와 같은 제2 이진영상으로 변환한다(S630). 그리고 HSI 모델을 이용한 이진영상으로부터 도 10과 같은 미리 설정된 컬러 정보에 따른 '1'과 '4'의 모서리에지패턴을 검색한다(S640). 이때, 컬러 특성에 따른 이진영상에서 '1'과 '4'의 모서리에지패턴이 존재하면, 검색된 에지패턴에 따른 두 특징점을 통해 번호판 영역을 결정하며(S670), 존재하지 않으면, 도 11에 보인바와 같이 '2'와 '3'의 모서리에지패턴이 존재하는가를 검색한다(S650). 이때, '2'와 '3'의 모서리에지패턴도 검색되지 않으면 번호판 영역 추출 에러로 판단한다(S660).

이상과 같은 본 발명에 따른 대상물체의 다양한 특징패턴을 이용한 특정영역 추출방법은 대상물체의 특징패턴들을 이용하여 보다 정확하게 대상물체의 영역을 결정할 수 있게 되며, 하나의 특징패턴을 이용한 대상물체 추출을 실패할 경우 또 다른 특징패턴을 통해 대상물체의 영역을 추출하도록 하고 있어 대상물체에 대한 추출 성공률을 높일 수 있게 된다.

이상에서는 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명은 상술한 실시예에 한정되지 아니하며, 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능할 것이다.

Claims (18)

1. 대상물체의 특징패턴을 설정하는 단계;

   카메라를 통해 촬영된 입력영상을 상기 특징패턴을 고려하여 전처리하는 단계;

   전처리된 상기 입력영상을 이진영상으로 변환하는 단계;

   상기 이진영상에서 설정된 상기 특징패턴을 검색하는 단계; 및

   상기 이진영상 검색 과정에서 검색된 상기 특징패턴을 통해 상기 대상물체의 영역을 결정하는 단계;를 포함하는 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법.
2. 제 1항에 있어서,

   설정된 상기 특징패턴은, 쵤영된 영상을 특정영상처리를 통해 변환한 이진영상에서 나타나는 상기 대상물체의 패턴인 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법.
3. 제 2항에 있어서,

   상기 특정영상처리는, 상기 영상을 수평 및 수직에지 추출을 통해 이진영상으로 변환되도록 처리하는 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법.
4. 제 2항에 있어서,

   상기 특정영상처리는, 상기 영상을 컬러 정보를 이용한 HSI 모델을 이용하여 이진영상으로 변환되도록 처리하는 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법.
5. 제 1항에 있어서,

   설정된 상기 특징패턴은, 입력영상에 대한 서로 다른 다수의 영상처리를 통해 변환된 각각의 이진영상에서 나타나는 상기 대상물체의 각 특징패턴이 설정되는 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법.
6. 제 5항에 있어서,

   상기 이진영상에서 설정된 특징패턴을 검색하는 단계는,

   상기 전처리를 통해 변환된 상기 이진영상에서 제1 특징패턴이 검색되지 않으면, 설정된 또 다른 제2 특징패턴을 고려하여 상기 입력영상을 제2 이진영상으로 변환하는 단계; 및 상기 제2 이진영상으로부터 미리 설정된 상기 제2 특징패턴을 검색하는 단계;를 포함하는 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법.
7. 제 1항에 있어서,

   상기 특징패턴을 통한 상기 대상물체의 영역을 결정하는 단계에서는, 다음 수학식:

   { (r,c): 검색영역 픽셀

   pattern(i,j): 미리 설정된 특징패턴

   B(r+i,c+j): 입력영상의 이진영상

   F(r,c): 검색영역(r,c)에서 특징패턴의 유사도 상관함수 }

   을 통해 산출된 상기 유사도 상관함수가 최대값을 가지면서, 상기 최대값이 설정된 임계값 이상인 픽셀들을 특징점으로 결정하고, 상기 특징점에 따라 상기 대상물체의 영역을 결정하는 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출 방법.
8. 제 1항에 있어서,

   상기 전처리 단계는,

   잡음 제거를 위한 필터링 단계; 및

   영상 처리시간 단축을 위한 해상도 조정 단계;를 더 포함하는 것을 특징으로 하는 입력영상에서 대상물체의 특징패턴을 이용한 특정영역 추출방법.
9. 자동차 번호판의 모서리부분 패턴을 설정하는 단계;

   카메라를 통해 촬영된 입력영상을 상기 모서리패턴을 고려하여 전처리하는 단계;

   전처리된 상기 입력영상을 이진영상으로 변환하는 단계;

   상기 이진영상에서 설정된 상기 모서리패턴을 검색하는 단계; 및

   상기 이진영상에서 검색된 상기 모서리패턴을 통해 상기 자동차 번호판의 영역을 결정하는 단계;를 포함하는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
10. 제 9항에 있어서,

    설정된 상기 특징패턴은, 촬영된 영상을 특정정보를 이용한 영상처리를 통하여 변환한 이진영상에서 나타나는 상기 자동차 번호판의 각 모서리부분 패턴인 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
11. 제 10항에 있어서,

    상기 특정정보를 이용한 영상처리는, 상기 영상을 수평 및 수직에지 추출을 통해 이진영상으로 변환되도록 처리하는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
12. 제 10항에 있어서,

    상기 특정영상처리는, 상기 영상을 컬러 정보를 이용한 HSI 모델을 이용하여 이진영상으로 변환되도록 처리하는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
13. 제 9항에 있어서,

    설정된 상기 모서리패턴은, 촬영된 영상에 대한 서로 다른 정보를 이용한 다수의 영상처리를 통해 변환된 각각의 이진영상에서 나타나는 상기 자동차 번호판의 각 모서리패턴이 설정되는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
14. 제 13항에 있어서,

    상기 이진영상에서 설정된 상기 모서리패턴을 검색하는 단계는,

    상기 전처리를 통해 변환된 상기 이진영상에서 제1 모서리패턴이 검색되지 않으면, 설정된 또 다른 제2 모서리패턴을 고려하여 상기 입력영상을 제2 이진영상으로 변환하는 단계; 및 상기 제2 이진영상으로부터 미리 설정된 상기 제2 특징패턴을 검색하는 단계;를 포함하는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
15. 제 14항에 있어서,

    상기 제1 및 제2 모서리 패턴은, 각각 촬영된 영상의 수평 및 수직에지 추출을 통해 변환된 이진영상에서 나타나는 상기 자동차 번호판의 패턴 및/또는 컬러 정보를 이용한 HSI 모델을 통해 변환된 이진영상에서 나타나는 상기 자동차 번호판의 패턴인 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
16. 제 9항 또는 제 15항 중 어느 한 항에 있어서,

    상기 모서리패턴 검색은, 상기 자동차 번호판의 어느 한 대각선 양측의 모서리패턴을 검색하되,

    상기 일대각선 양측의 모서리패턴이 검색되지 않으면, 타대각선 양측의 모서리패턴을 검색하는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
17. 제 9항에 있어서,

    상기 전처리 단계는,

    잡음 제거를 위한 필터링 단계; 및

    영상 처리시간 단축을 위한 해상도 조정 단계;

    상기 자동차 번호판의 기울어짐을 보상하기 위한 어파인(Affine) 변환 단계;를 포함하는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.
18. 제 9항에 있어서,

    상기 특징패턴을 통한 상기 대상물체의 영역을 결정하는 단계는,

    다음 수학식:

    { (r,c): 검색영역 픽셀

    pattern(i,j): 미리 설정된 특징패턴

    B(r+i,c+j): 입력영상의 이진영상

    F(r,c): 검색영역(r,c)에서 특징패턴의 유사도 상관함수 }

    을 통해 산출된 상기 유사도 상관함수가 최대값을 가지면서, 상기 최대값이 설정된 임계값 이상인 픽셀들을 특징점으로 결정하고, 상기 특징점에 따라 상기 대상물체의 영역을 결정하는 것을 특징으로 하는 입력영상에서 자동차 번호판의 모서리패턴을 이용한 자동차 번호판 영역 추출방법.