KR101511671B1

KR101511671B1 - 적외선 영상에서 비표적을 제거하는 방법 및 영상 처리 장치

Info

Publication number: KR101511671B1
Application number: KR1020130015623A
Authority: KR
Inventors: 문영식; 김봉모
Original assignee: 한양대학교 에리카산학협력단
Priority date: 2013-02-14
Filing date: 2013-02-14
Publication date: 2015-04-16
Also published as: KR20140102404A

Abstract

적외선 영상에서 비표적을 제거하는 방법 및 영상 처리 장치가 개시된다. 적외선 영상에서 비표적을 제거하는 방법은, 입력 영상을 적응적 문턱치로 이진화하는 단계; 상기 이진화된 입력 영상에서 복수의 후보 패치들을 획득하는 단계; 상기 각 후보 패치 각각에 대한 패치 이진 비율을 계산하고, 상기 계산된 패치 이진 비율을 이용하여 비표적 후보와 표적 후보를 분류하는 단계; 및 상기 분류 결과에 따른 비표적 후보를 제거하여 표적을 검출하는 단계를 포함한다.

Description

적외선 영상에서 비표적을 제거하는 방법 및 영상 처리 장치{Method and image processing device of eliminating non-targets in infrared images}

본 발명은 영상 처리에 관한 것으로, 보다 상세하게 적외선 영상에서 템플릿에 대한 패치 이진 비율을 이용하여 효과적으로 비표적을 제거할 수 있는 방법 및 영상 처리 장치에 관한 것이다.

영상 처리 분야에서 객체 검출은 오래도록 연구되어온 중요한 주제 중 하나이다. 효율적인 객체 검출은 높은 검출 정확도와 빠른 수행 시간이 요구되지만, 일반적으로 검출 정확도는 수행 시간과 반비례의 상관관계를 갖는다. 반비례 상관관계의 원인은 크게 검출 알고리즘의 복잡도와 검출 대상의 개수로 고려될 수 있다. 검출 알고리즘의 복잡도가 증가하는 이유는 표적이 조명, 왜곡, 크기 그리고 회전 등의 영향을 받는 상황에서도 강건하게 표적을 검출해야 하기 때문이다. 검출 대상의 개수가 증가하는 이유는 영상에서 객체가 존재하는 관심 영역을 알 수 없는 경우 영상의 전 범위에 걸쳐 탐색이 이루어지기 때문이다. 복잡도가 높은 알고리즘을 넓은 범위의 데이터에 적용하게 된다면 자연적으로 수행 시간은 늘어난다. 그런 이유로 검출 정확도를 유지하면서 동시에 수행 시간을 감소시키는 방법은 객체 검출에서 중요한 문제이다.

많은 연구자들은 객체를 빠르고 정확하게 검출하는 방법에 대해 다양한 방법을 제안하였다. Viola and Jones는 윈도우 슬라이딩 방식으로 영상 전체에 대해 복잡도가 낮은 얼굴 검출 방법과 간단한 특징을 케스케이드(Cascade) 구조로 검출 속도를 향상 시키는 방법을 제안하였다. H. Bay et al.는 특정한 특징점에 대해서 복잡도가 높은 연산을 사용한 방법을 제안하였다. 그러나 정확한 검출 결과를 얻기 위해 소수의 복잡한 연산을 수행하거나 혹은 다수의 단순한 연산을 수행하는 방법은 모두 전체 연산 시간을 증가시킨다.

객체 검출 속도를 효과적으로 감소시키는 방법으로 Z. Kalal et al.는 객체 패치의 분산값을 사용하는 방법을 제안하였다. Kalal은 일반적으로 검출 대상이 되는 객체가 일정한 질감 정보를 가지고 있다는 점을 착안하여 질감 정보를 계산하는 특징 정보로 후보 패치의 분산값을 사용하였다. Kalal은 표적 패치의 분산값과 유클리디언 거리가 큰 패치 분산값을 갖는 검출 후보들(일반적으로 평탄한 질감 정보를 가진 배경 정보)을 검출 연산 과정 전에 제거하였다.

Kalal의 방법은 적외선 영상에도 적용할 수 있다. 적외선 영상에서 점 형태의 객체는 Top-Hat 같은 적응적인 이진화 방법을 통해 검출하는 방법이 일반적이다. 그러나 점 형태가 아닌 특정 크기를 가진 객체의 경우에는 정확한 검출을 위해 표적의 모델 정보를 사용하는 복잡도가 높은 방법이 요구된다. 광학 영상과 비교하여 상대적으로 평탄한 질감이 많은 적외선 영상에서 패치 분산을 사용하는 방법은 효과적으로 비 표적 후보군을 제거할 수 있다. 그러나 패치 분산 방법은 질감이 평탄한 후보 패치들을 제거하기 때문에 걸러진 후보에 표적과 유사하지 않은 후보 패치가 존재할 수 있으며, 이 후보 패치는 표적 검출 시간을 상승시키고 검출 정확도를 떨어뜨리는 문제가 있었다.

본 발명은 적외선 영상에서 비표적을 효율적으로 제거할 수 있는 비표적 제거 방법 및 영상 처리 장치를 제공하기 위한 것이다.

또한, 본 발명은 패치 이진 비율을 이용하여 수행 복잡도가 낮으면서도 비표적을 효율적으로 제거할 수 있는 적외선 영상에서 비표적 제거 방법 및 영상 처리 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 적외선 영상에서 비표적을 제거하는 방법 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체가 제공된다.

본 발명의 일 실시예에 따르면, 입력 영상을 적응적 문턱치로 이진화하는 단계; 상기 이진화된 입력 영상에서 복수의 후보 패치들을 획득하는 단계; 상기 복수의 후보 패치 각각에 대한 패치 이진 비율을 계산하고, 상기 계산된 패치 이진 비율을 이용하여 비표적 후보와 표적 후보를 분류하는 단계; 및 상기 분류 결과에 따른 비표적 후보를 제거하여 표적을 검출하는 단계를 포함하는 적외선 영상에서 비표적 제거 방법이 제공될 수 있다.

상기 입력 영상을 적응적 문턱치로 이진화하는 단계 이전에, 적어도 하나의 표적 영상을 이용하여 표적 템플릿을 생성하는 단계; 상기 표적 템플릿을 n개의 밝기값을 이용하여 이진화하여 n개의 이진화 템플릿을 생성하는 단계; 상기 n개의 이진화 템플릿에 대한 패치 이진 비율을 각각 도출하는 단계; 상기 패치 이진 비율이 기준치에 가장 근접한 이진화 템플릿에 대한 밝기값을 적응적 문턱치로 설정하는 단계; 및 상기 패치 이진 비율이 기준치에 가장 근접한 패치 이진 비율을 상기 표적 템플릿의 특징 정보로 저장하는 단계를 더 포함할 수 있다.

상기 표적 템플릿을 밝기값을 이용하여 이진화하여 n개의 이진화 템플릿을 생성하는 단계는, 상기 밝기값을 기준값으로 픽셀값이 상기 밝기값을 초과하면 제1값으로, 상기 밝기값 이하이면 제2 값으로 상기 표적 템플릿의 픽셀값을 변경하여 이진화할 수 있다.

상기 패치 이진 비율은 상기 표적 템플릿의 적외선 신호의 비율로서, 상기 표적 템플릿이 상기 제1 값으로 이진화된 비율이다.

상기 입력 영상을 적응적 문턱치로 이진화하는 단계는, 상기 표준 템플릿에 상응하여 설정된 적응적 문턱치로 상기 입력 영상을 이진화하는 단계이며,

상기 이진화된 입력 영상에서 복수의 후보 패치들을 획득하는 단계는, 상기 이진화된 입력 영상을 지정된 간격마다 후보 패치 획득 위치를 설정하는 단계; 및

상기 각 후보 패치 획득 위치별 크기가 상이한 m(자연수)개의 후보 패치들을 획득하는 단계를 포함할 수 있다.

상기 크기가 상이한 m개의 후보 패치들을 획득하는 단계는, 상기 각 후보 패치 획득 위치별로 상기 표적 템플릿의 0.5배에서 1.4배의 크기로 증가시키면서 후보 패치를 획득할 수 있다.

상기 비표적 후보와 표적 후보를 분류하는 단계는, 상기 패치 이진 비율이 상기 표적 템플릿의 특징 정보와 일정 범위 이상 차이 있는 후보 패치들은 비표적 후보로 분류하고, 일정 범위 이내인 후보 패치들은 표적 후보로 분류할 수 있다.

상기 분류 결과에 따른 비표적 후보를 제거하는 단계 이전에, 표적 후보와 표적 템플릿간의 표적 유사도를 도출하는 단계; 상기 표적 유사도가 기준치 미만이면 비표적 후보로 재분류하는 단계; 및 상기 표적 유사도가 기준치 이상이면 표적으로 분류하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 적외선 영상에서 비표적을 제거하는 장치가 제공된다.

본 발명의 일 실시예에 따르면, 입력 영상을 적응적 문턱치로 이진화하는 전처리부; 상기 이진화된 입력 영상에서 복수의 후보 패치들을 획득하는 패치 획득부; 상기 각 후보 패치 각각에 대한 패치 이진 비율을 계산하고, 상기 계산된 패치 이진 비율을 이용하여 비표적 후보와 표적 후보를 분류하는 분류부; 및 상기 분류부의 분류 결과에 따라 비표적 후보를 제거하여 표적을 검출하는 표적 검출부를 포함하는 영상 처리 장치가 제공될 수 있다.

본 발명의 일 실시예에 따른 적외선 영상에서 비표적 제거 방법 및 장치를 제공함으로서, 패치 이진 비율을 이용하여 수행 복잡도가 낮으면서도 비표적을 효율적으로 제거할 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 적외선 영상에서 비표적을 제어하는 영상 처리 장치의 내부 구성을 개략적으로 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 표적 템플릿을 생성하고, 표적 템플릿에 대한 특징 정보를 설정하는 방법을 나타낸 순서도.
도 3은 본 발명의 일 실시예에 따른 표적 영상들을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 표적 템플릿을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 표적 템플릿 이진화 과정을 설명하기 위해 도시한 도면.
도 6 및 도 7은 본 발명의 일 실시예에 따른 후보 패치 획득을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 적외선 영상에서 비표적을 제거하는 방법을 나타낸 순서도.
도 9 및 도 10은 본 발명의 일 실시예에 따른 적외선 영상에서 비표적 제거 효율을 설명하기 위해 도시한 실험 영상.
도 11은 종래의 분산맵과 본 발명의 일 실시예에 따른 패치 이진 비율을 이용하여 비표적을 제거하고 남은 후보 개수를 나타낸 표.
도 12는 종래의 분산맵과 본 발명의 일 실시예에 따른 패치 이진 비율에 따른 수행 시간을 각각 비교한 표.
도 13은 본 발명의 일 실시예에 따른 실험 결과에 따른 적외선 영상에서 제거된 비표적 개수를 비교하기 위해 도시한 그래프.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 적외선 영상에서 비표적을 제어하는 영상 처리 장치의 내부 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 표적 템플릿을 생성하고, 표적 템플릿에 대한 특징 정보를 설정하는 방법을 나타낸 순서도이며, 도 3은 본 발명의 일 실시예에 따른 표적 영상들을 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 표적 템플릿을 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 표적 템플릿 이진화 과정을 설명하기 위해 도시한 도면이고, 도 6 및 도 7은 본 발명의 일 실시예에 따른 후보 패치 획득을 설명하기 위해 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치(100)는 템플릿 관리부(110), 데이터베이스(115), 전처리부(120), 패치 획득부(125), 분류부(130) 및 표적 검출부(135)를 포함하여 구성된다.

템플릿 관리부(110)는 데이터베이스(115)에서 원본 영상을 추출하고, 원본 영상을 이용하여 표적 템플릿을 생성, 관리하기 위한 수단이다. 데이터베이스(115)에는 표적 템플릿을 생성하기 위한 표적 영상들이 저장되어 있다. 이에, 템플릿 관리부(110)는 데이터베이스(115)에서 표적 영상들을 이용하여 표적 템플릿을 생성하고, 표적 템플릿에 대한 특징 정보를 도출하여 해당 표적 템플릿에 대응하여 저장 관리할 수 있다.

이해와 설명의 편의를 도모하기 위해 도 2를 참조하여 템플릿 관리부(110)에서 표적 템플릿을 생성하고, 표적 템플릿에 대한 특징 정보를 도출하는 구체적인 방법에 대해 설명하기로 하자.

단계 210에서 템플릿 관리부(110)는 데이터베이스(115)에서 표적 영상들을 추출하고, 표적 영상들을 이용하여 표적 템플릿을 생성한다. 여기서, 데이터베이스(115)에 저장된 표적 영상들은 도 3에 도시된 바와 같이, 표적에 해당하는 부분이 각각의 패치로서 추출되어 동일한 크기로 보정된 영상들일 수 있다. 본 명세서에서는 하기에서 설명되는 후보 패치들과의 구별을 위해 각 원본 영상에서 표적에 해당하는 패치들을 추출하여 보정한 패치를 표적 템플릿으로 통칭하기로 한다.

이에, 템플릿 관리부(110)는 데이터베이스(115)에서 추출된 표적 영상 전체에 대한 평균을 도출하여 표준 템플릿을 생성한다. 예를 들어, 템플릿 관리부(110)는 추출된 표적 영상들 각각의 화소에 대한 평균값을 도출하고, 이를 이용하여 표준 템플릿을 생성할 수 있다.

도 4에 도 3에 따른 표적 영상들의 평균값을 도출하여 생성한 표준 템플릿이 예시되어 있다.

단계 215에서 템플릿 관리부(110)는 표적 템플릿의 밝기값을 이용하여 n(자연수) 개의 이진화 템플릿을 생성한다.

예를 들어, 템플릿 관리부(110)는 표적 템플릿에 대해 밝기값을 제1 값부터 제n 값까지 단계적으로 증가시키면서 밝기값을 기준으로 각각의 이진화 템플릿을 생성할 수 있다. 예를 들어, 제1 밝기값을 기준으로 표적 템플릿을 이진화시켜 제1 이진화 템플릿을 생성하고, 제1 밝기값보다 한단계 증가된 제2 밝기값(예를 들어, 2)을 기준으로 표적 템플릿을 이진화하여 제2 이진화 템플릿을 생성할 수 있다.

도 5의 510은 제1 밝기값을 기준으로 이진화된 표적 템플릿을 도시한 것이고, 520은 제2 밝기값을 기준으로 이진화된 표적 템플릿을 도시한 것이다.

이와 같은 방식으로 템플릿 관리부(110)는 표적 템플릿에 대해 밝기값을 미리 정해진 기준(예를 들어, 1)만큼 단계적으로 증가시키고, 해당 밝기값을 기준으로 표적 템플릿을 이진화하여 n개의 이진화 템플릿을 생성할 수 있다.

예를 들어, 표적 템플릿의 밝기값이 2ⁿ으로 표현되는 경우, 이진화 템플릿 은 최대 2ⁿ개만큼 생성될 수 있다.

단계 220에서 템플릿 관리부(110)는 각 이진화 템플릿 각각에 대한 패치 이진 비율을 각각 도출한다.

패치 이진 비율은 이진화 템플릿에 대한 이진 비율로서, 이는 적외선 영상에서의 적외선 신호(표적에 대한)의 비율을 의미한다. 일반적으로, 적외선 영상에서 점 형태가 아닌 표적 영역은 다른 적외선 신호 세기를 가지며, 표적 영역의 일 부분은 상대적으로 강한 적외선 신호를 발신한다. 즉, 표적 템플릿 원본 영상을 참조하면, 표적은 적외선 신호가 낮은 영역과 적외선 신호가 높은 영역이 혼재되어 존재하며, 표적별로 적외선 신호에 대한 특성 또한 각각 상이할 수 있다. 이에 따라, 본 발명의 일 실시예는 패치 이진 비율을 각각 도출한 후 패치 이진 비율을 이용하여 해당 표적 템플릿에 대한 적응적 문턱치를 도출하는데 이용할 수 있다.

패치 이진 비율을 하기 수학식 1을 이용하여 도출될 수 있다.

여기서, w는 표적 템플릿의 넓이를 나타내고, h는 높이를 나타내며, T는 문턱치를 나타낸다. 또한, i,j는 표적 템플릿의 X축 및 Y축 픽셀을 나타낸다. 여기서, 문턱치 T는 밝기값일 수 있다.

단계 225에서 템플릿 관리부(110)는 각 이진화 템플릿에 대해 각각 도출된 패치 이진 비율을 이용하여 적응적 문턱치를 도출한다.

예를 들어, 템플릿 관리부(110)는 각 이진화 템플릿에 대해 도출된 패치 이진 비율이 기준치(예를 들어, 0.3)에 근접한 이진화 템플릿에 대한 밝기값을 적응적 문턱치로 결정할 수 있다.

이에 따라, 단계 230에서 템플릿 관리부(110)는 해당 도출된 적응적 문턱치에 상응하는 패치 이진 비율을 해당 표적 템플릿의 특징 정보로 설정한다. 즉, 템플릿 관리부(110)는 표적 템플릿에 대한 적응적 문턱치, 특징 정보를 표적 템플릿에 대응하여 저장한다.

본 명세서에서는 이해와 설명의 편의를 도모하기 위해 하나의 표적 템플릿에 대해 적응적 문턱치 및 특징 정보를 도출하여 설정하는 방법에 대해 설명하였다. 각 표적 템플릿에 따라 적외선 신호의 분포 양상이 상이하므로 각 표적 템플릿별로 적응적 문턱치 및 특징 정보는 각각 상이하게 설정됨은 당연하다.

다시, 도 1을 참조하여, 전처리부(120)는 입력 영상을 적응적 문턱치로 이진화하기 위한 수단이다. 여기서, 적응적 문턱치는 템플릿 관리부(110)에서 표적 템플릿에 대응하여 도출된 적응적 문턱치를 의미한다.

패치 획득부(125)는 이진화된 입력 영상에서 지정된 간격단위로 후보 패치 획득 위치를 설정하고, 후보 패치 획득 위치별 복수의 후보 패치를 획득하기 위한 수단이다.

예를 들어, 패치 획득부(125)는 표적 템플릿의 가로 길이의 1/10 간격으로 입력 영상의 가로 방향의 간격을 지정하고, 표적 템플릿의 세로 길이의 1/10 간격으로 입력 영상의 세로 방향의 간격을 지정하여 교차 위치를 후보 패치 획득 위치로 설정할 수 있다.

다른 예를 들어, 패치 획득부(125)는 이진화된 입력 영상의 가로 방향에 대해 제1 픽셀 간격, 세로 방향으로 제2 픽셀 간격으로 후보 패치 획득 위치를 설정할 수도 있다(도 6 참조).

패치 획득부(125)는 이진화된 입력 영상에서 각 후보 패치 획득 위치별로 복수의 후보 패치를 획득할 수 있다. 도 7을 참조하여 각 후보 패치 획득 위치별로 복수의 후보 패치를 획득하는 과정에 대해 상세히 설명하기로 한다.

패치 획득부(125)는 표적 템플릿의 크기에 비례하는 후보 패치들을 각 후보 패치 획득 위치별로 획득할 수 있다. 즉, 도 7에 도시된 바와 같이, 패치 획득부(125)는 각 후보 패치 획득 위치별 표적 템플릿 크기의 0.5배 크기에 해당하는 후보 패치를 제1 후보 패치로 획득할 수 있다(710 참조). 이어, 패치 획득부(125)는 각 후보 패치 획득 위치별 제1 후보 패치 크기를 정해진 크기만큼 증가시켜 제2 후보 패치를 획득한다. 이와 같은 방식으로 패치 획득부(125)는 각 후보 패치 획득 위치별 후보 패치 크기가 표적 템플릿 크기의 1.4배 크기로 획득될때까지 점진적으로 각 후보 패치의 크기를 증가시켜 후보 패치를 획득할 수 있다(720 참조). 예를 들어, 각 후보 패치 획득 위치별 0.1배씩 후보 패치의 크기를 증가시켜 획득하는 경우, 각 후보 패치 획득 위치별 총 10개의 후보 패치들이 획득될 수 있다.

분류부(130)는 패치 획득부(125)에 의해 획득된 후보 패치들 각각에 대한 패치 이진 비율을 도출하고, 패치 이진 비율을 이용하여 비표적을 제거하기 위한 수단이다. 패치 이진 비율을 도출하는 방법에 대해서는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

분류부(130)는 각 후보 패치들에 대해 도출된 각 패치 이진 비율과 표적 템플릿의 특징 정보를 비교하여 차이값이 일정 범위(0.3 ± 0.25)이내인 후보 패치는 표적 후보로 분류하고, 차이가 일정 범위 이상인 후보 패치는 비표적 후보로 분류할 수 있다.

또한, 분류부(130)는 각 후보 패치에 대한 패치 이진 비율을 이용하여 분류된 표적 후보에 대해 표적 템플릿과의 표적 유사도를 도출하고, 표적 유사도에 따라 2차 표적 분류를 수행할 수 있다. 여기서, 표적 유사도는 하기 수학식 2를 이용하여 도출될 수 있다.

여기서, I₁와 I₂는 표적 후보 및 표적 템플릿을 나타내고,

,

는 후보 패치와 표적 템플릿의 평균 밝기값을 나타낸다.

즉, 분류부(130)는 표적 후보와 표적 템플릿간의 밝기값에 대한 유사도를 도출하여 2차 분류를 수행할 수 있다. 예를 들어, 분류부(130)는 표적 유사도가 0.5 이상인 표적 후보는 표적으로 분류하고, 표적 유사도가 0.5 미만인 경우 비표적으로 분류할 수 있다.

표적 검출부(135)는 분류부(130)의 분류 결과 비표적으로 분류된 후보 패치들을 제거하고, 표적으로 분류된 후보 패치들을 표적으로 검출하기 위한 수단이다.

도 8은 본 발명의 일 실시예에 따른 적외선 영상에서 비표적을 제거하는 방법을 나타낸 순서도이다. 이하에서는 표적 템플릿이 도 2의 방법에 의해 생성되고, 표적 템플릿에 대한 적응적 문턱치와 특징 정보가 각각 도출되어 저장된 것을 가정하며, 입력 영상에서 비표적을 제거하는 방법에 대해서만 설명하기로 한다.

이하에서 설명되는 각각의 단계는 영상 처리 장치의 각각의 내부 구성 요소에 의해 수행되나 본 명세서에서는 이해와 설명의 편의를 도모하기 위해 영상 처리 장치로 통칭하여 설명하기로 한다.

단계 810에서 영상 처리 장치(100)는 표적을 검출할 입력 영상을 입력받는다.

단계 815에서 영상 처리 장치(100)는 입력 영상을 표적 템플릿에 대응하여 설정된 적응적 문턱치를 이용하여 이진화한다. 여기서, 적응적 문턱치는 적외선 신호의 세기에 따른 밝기값이다.

예를 들어, 영상 처리 장치(100)는 입력 영상의 각 픽셀의 밝기값이 적응적 문턱치 미만이면 제1 값으로 해당 픽셀값을 설정하고, 해당 픽셀의 밝기값이 적응적 문턱치 이상이면 제2 값으로 해당 픽셀값을 설정하여 이진화할 수 있다.

단계 820에서 영상 처리 장치(100)는 이진화된 입력 영상에서 복수의 후보 패치들을 획득한다.

보다 상세하게, 영상 처리 장치(100)는 이진화된 입력 영상을 가로 방향 및 세로 방향으로 각각 정해진 간격 단위로 후보 패치 획득 위치를 설정하고, 각 후보 패치 획득 위치별로 복수의 후보 패치들을 설정(할당)할 수 있다.

이는 도 1을 이용하여 이미 상술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

단계 825에서 영상 처리 장치(100)는 각 후보 패치 각각에 대한 패치 이진 비율을 도출한다. 패치 이진 비율을 도출하는 방법은 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

이어, 단계 830에서 영상 처리 장치(100)는 각 후보 패치의 패치 이진 비율을 이용하여 비표적 후보와 표적 후보를 분류한다.

예를 들어, 영상 처리 장치(100)는 각 후보 패치의 패치 이진 비율과 표적 템플릿의 특징 정보간의 차이값을 도출하고, 차이값이 일정 범위 이내인 후보 패치들을 표적 후보로 분류하고, 차이값이 일정 범위를 초과하는 후보 패치들을 비표적 후보로 분류할 수 있다.

단계 835에서 영상 처리 장치(100)는 1차 분류 결과에 따른 표적 후보들과 표적 템플릿과의 표적 유사도를 도출하고, 이를 이용하여 2차 분류한다.

예를 들어, 영상 처리 장치(100)는 1차 분류된 표적 후보와 표적 유사도 각각의 밝기값을 이용하여 표적 유사도를 도출하고, 표적 유사도가 기준 이상인 표적 후보를 표적으로 분류하고, 기준 미만인 표적 후보는 비표적으로 분류할 수 있다.

이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

단계 840에서 영상 처리 장치(100)는 입력 영상에 상응하여 표적으로 분류된 후보 패치를 제외한 나머지를 모두 제거하여 표적을 효율적으로 검출할 수 있다.

도 9 및 도 10은 본 발명의 일 실시예에 따른 적외선 영상에서 비표적 제거 효율을 설명하기 위해 도시한 실험 영상이고, 도 11은 종래의 분산맵과 본 발명의 일 실시예에 따른 패치 이진 비율을 이용하여 비표적을 제거하고 남은 후보 개수를 나타낸 표이며, 도 12는 종래의 분산맵과 본 발명의 일 실시예에 따른 패치 이진 비율에 따른 수행 시간을 각각 비교한 표이고, 도 13은 본 발명의 일 실시예에 따른 실험 결과에 따른 적외선 영상에서 제거된 비표적 개수를 비교하기 위해 도시한 그래프이다.

도 9의 910 및 도 10의 1010은 각각 표적을 검출할 적외선 입력 영상이고, 도 9의 920 및 도 10의 1020은 종래의 분산맵(Kalal의 방법, 이하 분산맵이라 칭하기로 함)에 따른 비표적을 제거한 결과이며, 도 9의 930 및 도 10의 1030은 각각 본 발명의 일 실시예에 따른 적외선 영상에서의 비표적을 제거한 결과를 나타낸 것이다.

도 9 및 도 10의 실험 결과에서 알 수 있듯이 본 발명의 일 실시예에 따른 패치 이진 비율을 이용하여 비표적을 제거한 결과가 기존의 분산맵을 이용하여 비표적을 제거한 결과보다 성능이 월등히 향상된 것을 알 수 있다.

도 11은 30개의 적외선 영상을 대상으로 종래의 분산맵과 본 발명의 일 실시예에 따른 패치 이진 비율을 이용하여 비표적을 제거하고 남은 후보 개수를 나타낸 것으로, 종래의 분산맵을 이용한 결과 전체 후보 중 약 76.7%의 비표적 후보를 제거한 반면, 본 발명의 일 실시예에 따른 패치 이진 비율을 이용한 결과 전체 후보 중 약 90.4%의 비표적 후보들을 제거하였으며, 종래의 분산맵 대비 약 14% 비표적 후보 제거 성능이 향상된 것을 알 수 있다.

도 12는 종래의 분산맵과 본 발명의 일 실시예에 따른 패치 이진 비율에 따른 수행 시간을 각각 비교한 표로, 종래의 분산맵 대비 본 발명의 일 실시예에 따른 패치 이진 비율에 따른 비표적 제거 방법 수행이 약 20% 수행 시간이 적게 걸리는 것을 알 수 있다. 도 12에 의해 본 발명의 일 실시예에 따른 패치 이진 비율을 이용하여 적외선 영상에서 비표적 후보를 제거하는 방법이 종래의 분산맵을 이용하는 방법 대비 복잡도가 낮은 것을 알 수 있다.

도 13에는 30개의 영상을 대상으로 본 발명의 일 실시예에 따른 비표적 후보 제거 개수와 종래의 분산맵을 이용하여 비표적 후보를 제거한 개수를 비교한 그래프로, 전체적으로 약 20% 이상의 성능이 향상된 것을 알 수 있다.

한편, 본 발명의 실시예에 따른 적외선 영상에서 비표적을 제거하는 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 영상 처리 장치
110: 템플릿 관리부
115: 데이터베이스
120: 전처리부
125: 패치 획득부
130: 분류부
135: 표적 검출부

Claims

입력 영상을 적응적 문턱치로 이진화하는 단계;
상기 이진화된 입력 영상에서 복수의 후보 패치들을 획득하는 단계;
상기 복수의 후보 패치 각각에 대한 패치 이진 비율을 계산하고, 상기 계산된 패치 이진 비율을 이용하여 비표적 후보와 표적 후보를 분류하는 단계; 및
상기 분류 결과에 따른 비표적 후보를 제거하여 표적을 검출하는 단계를 포함하는 적외선 영상에서 비표적 제거 방법.
제1 항에 있어서,
상기 입력 영상을 적응적 문턱치로 이진화하는 단계 이전에,
적어도 하나의 표적 영상을 이용하여 표적 템플릿을 생성하는 단계;
상기 표적 템플릿을 n개의 밝기값을 이용하여 이진화하여 n개의 이진화 템플릿을 생성하는 단계;
상기 n개의 이진화 템플릿에 대한 패치 이진 비율을 각각 도출하는 단계;
상기 패치 이진 비율이 기준치에 가장 근접한 이진화 템플릿에 대한 밝기값을 적응적 문턱치로 설정하는 단계; 및
상기 패치 이진 비율이 기준치에 가장 근접한 패치 이진 비율을 상기 표적 템플릿의 특징 정보로 저장하는 단계를 더 포함하는 적외선 영상에서의 비표적 제거 방법.
제2 항에 있어서,
상기 밝기값의 최대 크기는 2^m(m은 자연수)으로, 상기 표적 템플릿의 밝기값 중 가장 큰 값이되,
상기 n의 최대 크기는 상기 2^m인 자연수인 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.
제2 항에 있어서,
상기 표적 템플릿을 밝기값을 이용하여 이진화하여 n개의 이진화 템플릿을 생성하는 단계는,
상기 밝기값을 기준값으로 픽셀값이 상기 밝기값을 초과하면 제1값으로, 상기 밝기값 이하이면 제2 값으로 상기 표적 템플릿의 픽셀값을 변경하여 이진화하는 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.
청구항 5은(는) 설정등록료 납부시 포기되었습니다.

제4 항에 있어서,
상기 패치 이진 비율은 상기 표적 템플릿의 적외선 신호의 비율로서, 상기 표적 템플릿이 상기 제1 값으로 이진화된 비율인 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.
청구항 6은(는) 설정등록료 납부시 포기되었습니다.

제5 항에 있어서,
상기 패치 이진 비율은 하기 수학식을 이용하여 도출되는 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.

여기서, w는 상기 표적 템플릿의 넓이를 나타내고, h는 상기 표적 템플릿의 높이를 나타내며, 상기 T는 상기 표적 템플릿을 이진화하기 하기 위한 기준값인 상기 밝기값을 나타내며, i,j는 상기 표적 템플릿의 X축 및 Y축 픽셀을 나타냄.
제2 항에 있어서,
상기 입력 영상을 적응적 문턱치로 이진화하는 단계는,
상기 표적 템플릿에 상응하여 설정된 적응적 문턱치로 상기 입력 영상을 이진화하는 단계인 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.
청구항 8은(는) 설정등록료 납부시 포기되었습니다.

제2 항에 있어서,
상기 이진화된 입력 영상에서 복수의 후보 패치들을 획득하는 단계는,
상기 이진화된 입력 영상을 지정된 간격마다 후보 패치 획득 위치를 설정하는 단계; 및
상기 각 후보 패치 획득 위치별 크기가 상이한 m(자연수)개의 후보 패치들을 획득하는 단계를 포함하는 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.
청구항 9은(는) 설정등록료 납부시 포기되었습니다.

제8 항에 있어서,
상기 크기가 상이한 m개의 후보 패치들을 획득하는 단계는,
상기 각 후보 패치 획득 위치별로 상기 표적 템플릿의 0.5배에서 1.4배의 크기로 증가시키면서 후보 패치를 획득하는 단계인 적외선 영상에서의 비표적 제거 방법.
제2 항에 있어서,
상기 비표적 후보와 표적 후보를 분류하는 단계는,
상기 패치 이진 비율이 상기 표적 템플릿의 특징 정보와 일정 범위 이상 차이 있는 후보 패치들은 비표적 후보로 분류하고, 일정 범위 이내인 후보 패치들은 표적 후보로 분류하는 단계인 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.
청구항 11은(는) 설정등록료 납부시 포기되었습니다.

제1 항에 있어서,
상기 분류 결과에 따른 비표적 후보를 제거하는 단계 이전에,
표적 후보와 표적 템플릿간의 표적 유사도를 도출하는 단계;
상기 표적 유사도가 기준치 미만이면 비표적 후보로 재분류하는 단계; 및
상기 표적 유사도가 기준치 이상이면 표적으로 분류하는 단계를 더 포함하는 적외선 영상에서의 비표적 제거 방법.
청구항 12은(는) 설정등록료 납부시 포기되었습니다.

제11 항에 있어서,
상기 표적 유사도는 하기 수학식을 이용하여 도출되는 것을 특징으로 하는 적외선 영상에서의 비표적 제거 방법.

여기서, I₁, I₂는 후보 패치와 표적 템플릿을 나타내고,
,
는 후보 패치와 표적 템플릿의 평균 밝기값을 나타냄.
제1 항 내지 제12항 중 어느 하나의 항에 따른 적외선 영상에서의 비표적을 제거하는 방법을 수행하기 위한 프로그램을 기록한 기록매체.
입력 영상을 적응적 문턱치로 이진화하는 전처리부;
상기 이진화된 입력 영상에서 복수의 후보 패치들을 획득하는 패치 획득부;
상기 각 후보 패치 각각에 대한 패치 이진 비율을 계산하고, 상기 계산된 패치 이진 비율을 이용하여 비표적 후보와 표적 후보를 분류하는 분류부; 및
상기 분류부의 분류 결과에 따라 비표적 후보를 제거하여 표적을 검출하는 표적 검출부를 포함하는 영상 처리 장치.
제14 항에 있어서,
적어도 하나의 표적 영상을 이용하여 표적 템플릿을 생성하고, 상기 표적 템플릿을 밝기값을 이용하여 이진화함으로써 n개의 이진화 템플릿을 생성하고, 상기 n개의 이진화 템플릿에 대한 패치 이진 비율을 각각 도출하며, 상기 패치 이진 비율이 기준치에 가장 근접한 이진화 템플릿에 대한 밝기값을 적응적 문턱치로 설정하고, 상기 패치 이진 비율이 기준치에 가장 근접한 패치 이진 비율을 상기 표적 템플릿의 특징 정보로 저장하는 템플릿 관리부를 더 포함하는 영상 처리 장치.
제15 항에 있어서,
상기 패치 획득부는,
상기 이진화된 입력 영상을 지정된 간격마다 후보 패치 획득 위치를 설정하고, 상기 각 후보 패치 획득 위치별 크기가 상이한 m(자연수)개의 후보 패치들을 설정하는 것을 특징으로 하는 영상 처리 장치.
제15 항에 있어서,
상기 분류부는,
상기 패치 이진 비율이 상기 표적 템플릿의 특징 정보와 일정 범위 이상 차이 있는 후보 패치들은 비표적 후보로 분류하고, 상기 일정 범위 이내인 후보 패치들은 표적 후보로 분류하는 것을 특징으로 하는 영상 처리 장치.
청구항 18은(는) 설정등록료 납부시 포기되었습니다.

제17 항에 있어서,
상기 분류부는,
상기 표적 후보와 표적 템플릿의 밝기값을 이용하여 표적 유사도를 도출하고, 상기 표적 유사도가 기준치 미만인 표적 후보를 비표적으로 분류하고, 표적 유사도가 기준치 이상인 표적 후보는 표적으로 분류하는 것을 특징으로 하는 영상 처리 장치.