KR20150139315A - 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법 - Google Patents

적외선 이미지에서 특징추적을 위한 고온 공기 제거방법 Download PDF

Info

Publication number
KR20150139315A
KR20150139315A KR1020140067756A KR20140067756A KR20150139315A KR 20150139315 A KR20150139315 A KR 20150139315A KR 1020140067756 A KR1020140067756 A KR 1020140067756A KR 20140067756 A KR20140067756 A KR 20140067756A KR 20150139315 A KR20150139315 A KR 20150139315A
Authority
KR
South Korea
Prior art keywords
infrared image
target
region
hot air
image
Prior art date
Application number
KR1020140067756A
Other languages
English (en)
Other versions
KR101595368B1 (ko
Inventor
강재웅
양동원
윤주홍
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020140067756A priority Critical patent/KR101595368B1/ko
Publication of KR20150139315A publication Critical patent/KR20150139315A/ko
Application granted granted Critical
Publication of KR101595368B1 publication Critical patent/KR101595368B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 적외선 이미지에서 표적으로부터 배출되는 고온의 공기가 표적을 가리지 않도록 적외선으로 촬영된 적외선 이미지로부터 상기 표적으로부터 배출되는 공기에 의한 표적가림 또는 영상 왜곡을 최소하여하여 특징 추적의 성능을 최대화하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에 관한 것이다.

Description

적외선 이미지에서 특징추적을 위한 고온 공기 제거방법{Method for eliminating hot atmosphere for feature tracking in thermal infrared images}
본 발명은 적외선 촬영을 통하여 획득한 이미지에서 고온의 공기를 제거하는 방법에 관한 것으로서, 더욱 상세하게는 적외선 이미지에서 표적으로부터 배출되는 고온의 공기가 표적을 가리지 않도록 적외선으로 촬영된 적외선 이미지로부터 상기 표적으로부터 배출되는 공기에 의한 표적가림 또는 영상 왜곡을 최소화하여 특징 추적의 성능을 최대화하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에 관한 것이다.
가시광선으로 시야를 확보할 수 없는 경우, 적외선을 이용하여 표적지역을 촬영하여 적외선 이미지를 획득하고, 상기 적외선 이미지를 활용하여 표적을 식별하게 된다.
적외선 이미지로부터 표적을 식별하기 위해 실행되는 영상추적에서 복잡한 배경에 위치한 표적을 추적하기 위해서는 배경과 구분되는 표적의 정보를 추출하여, 추적에 이용한다.
상관추적(correlation tracking)과 같은 템플릿 정합 방식과 중심추적(centroid tracking)과 같은 영역 분할 방식은 표적의 전체 형상을 이용하여 추적창을 조절하고 표적의 중심을 산출하므로 표적의 형상이 크게 왜곡되지 않는 한 우수한 성능을 보이지만, 표적이 장애물에 가릴 경우에는 표적을 감싸는 추적창이 축소되어 실제 표적의 중심과 추적창의 중심으로서 산출된 표적의 중심 사이에는 오차가 발생한다. 이러한 오차를 줄이기 위해 표적의 단일 형상 정보를 단위 정보로 나눈 방식이 분할 추적(patch tracking)이며 표적 영상의 국부적 특징들을 이용하여 표적의 이동 변위를 산출한다. KLT(Kanade Lucas Tomasi) 추적기는 특징점을 이용한 대중화된 국부 추적 기술로서 응용 범위가 넓지만 적외선 이미지와 같이 형상정보 수준이 떨어지는 환경에서는 성능을 보장할 수 없다.
적외선 이미지의 특징점을 선정하고, 이러한 특징점을 추적함으로써 표적을 식별하게 되는데, 이러한 특징점을 추적하는 일반적인 방법에 대하여 설명하면 다음과 같다.
적외선 이미지에는 추적을 위한 다양한 지역특징(local feature)들이 존재하는데, 추적을 위해 어떠한 지역특징으로 사용할 것인지 결정하는 일은 매우 중요하다. 밝기값의 급격한 변화로 인하여 큰 미분계수를 갖는 점을 이미지에서 엣지주변에 존재하는 점이고, 큰 미분값이 서로 직교하는 점을 코너로 정의할 수 있다.
특징윈도(110)를 이용한 화소와 주변 화소들과의 밝기 차이는 하기의 <수학식 1>과 같이 나타낼 수 있다.
<수학식 1>
Figure pat00001
여기서, W는 도 1의 (a), (b), (c)에 나타낸 윈도우(110)이다. 변화량을 나타내는 함수 E(x,y)는 평탄한 영역에서는 낮은 값을 갖지만, 코너주변에서는 큰 값을 갖는다. (x, y)위치에서 (Δx, Δy)만큼 이동된 위치에서의 밝기 값인 I(Δx+Δx,y+Δy)는 테일러 급수를 이용하여 하기의 수학식 2와 같이 근사화시킬 수 있다.
<수학식 2>
Figure pat00002
상기 수학식 2를 상기 수학식 1에 대입하면, 아래와 같은 수학식 3을 얻을 수 있다.
<수학식 3>
Figure pat00003
최종적으로 M은 하기의 수학식 4와 같이 정리할 수 있다.
<수학식 4>
Figure pat00004
상기 행렬 M의 고유 값에 따라, 해당화소가 평탄한 영역인지, 경계선 영역인지, 혹은 코너인지를 구별한다. 만약, 상기 행렬 M의 고유 값 λ1, λ2에 대하여, 상기 고유 값 λ1, λ2이 모두 작다면, 해당화소가 평탄한 영역에 위치하고, 둘 중 하나는 크고, 하나는 작다면 경계선 영역에 위치하고, 둘 다 크다면 해당화소가 주변화소에 비하여 모든 방향으로 차이가 많이 난다는 것을 의미하므로 코너에 위치한 점으로 볼 수 있다.
코너를 이용한 객체의 이동을 추정하는 보편적인 방법으로 옵티컬 플로(optical flow)가 있는데, 이는 어떤 객체에 속한 화소의 밝기 값은 프레임이 바뀌어도 항상 일정하다는 가정하고, 해당 픽셀의 주변 밝기 정보를 이용하여 픽셀의 이동량을 추정하는 방법이다.
상기 옵티컬 플로는 하기의 수학식 5로 표현할 수 있다.
<수학식 5>
Figure pat00005
여기서, I(x,y,t)는 시간 t에서 화소좌표 x,y의 밝기 값을 의미하고, u, v는 각각 X축과 Y축의 이동량을 나타낸다.
도 1의 (d), (e), (f)에서는 이동전의 평면(130)이 점선으로 도시되어 있고, 이동후의 평면(140)이 실선으로 표시되어 있으며, 추정하고자 하는 영역(120)은 원으로 표시되어 있다.
도 1의 (d)와 같이 코너를 포함하는 영역은 쉽게 옵티컬 플로를 추정할 수 있지만, 도 1의 (e)와 같이, 엣지 영역의 옵티컬 플로는 똑같은 모양의 영역이 엣지를 타고 무수히 발생하기 때문에 정확한 옵티컬 플로를 계산할 수 없으며, 도 1의 (f)에서는 텍스처가 없는 매끈한 영역이므로 옵티컬 플로를 찾을 수 없다.
특징점 추적은 관심영역(Region of interest; ROI)내에서 특징점을 찾아 입력영상에서 대응하는 특징점들을 찾아 ROI를 이동시키는 것으로서, 도 2에서는 상기 ROI가 201로 도시된 영역에서 202로 도시된 영역으로 이동한 예가 도시되어 있다.
또한, 표적의 자세 또는 크기가 변경되는 경우에도 ROI내 특징점들의 분포를 이용하여 ROI의 크기를 조절해야 한다.
한편, 적외선 이미지에서 표적으로부터 배출되는 고온의 공기는 표적을 가리거나, 표적의 영상을 왜곡시킨다. 특히, 전역 대조비 개선(global contrast enhancement(CEM))을 통하여 얻어진 열 영상의 경우에는 표적에서 발생하는 고온 공기가 8bit 그레이 이미지 레벨의 최대값인 255로 포화되면서 표적을 가리는 경우가 빈번하게 발생한다.
이렇게, 고온 공기에 의한 표적 형상의 왜곡은 상관추적일 경우에는 크게 문제되지 않지만, 앞서 설명한 바와 같이, 표적의 윤곽을 추적하는 특징점 추적의 경우에는 추적 성능에 심각한 영향을 미치는 문제점이 있다.
하기의 선행기술문헌은 '적외선 영상 추적 장치 및 방법'에 관한 것으로서, 열노이즈에 강하고 주변의 방해물이 있어도 대상영상을 정확히 추출하여 추적이 가능토록 한 적외선 영상 추적 장치 및 방법에 관한 기술이 개시되어 있다.
KR 10-2002-0085355 A
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 표적에서 발생하는 고온의 공기를 제거하기 위해 고온 공기의 온도보다 높은 온도를 나타내는 표적의 형상을 추출하고 실제 표적영상과 합성함으로써, 적외선 이미지에서 고온 공기에 의한 왜곡부분을 제거하여 표적을 인지할 수 있도록 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법은, 전역 대조비 개선을 거친 전역 대조비 개선 적외선 이미지에서 고온공기와 표적의 면적을 계산하는 고온공기 면적 산출단계와, 상기 전역 대조비 개선 적외선 이미지의 셀들 중 미리 설정된 표적가림 판단 밝기 이상을 갖는 셀의 수와 미리 설정된 표적 가림 판단 셀 수를 비교하여 표적이 고온 공기에 의해 가려졌는지를 판단하는 단계하는 표적가림 판단단계와, 표적가림 판단 밝기 이상을 갖는 셀의 수가 상기 표적가림 판단 셀 수를 초과하면, 상기 전역 대조비 개선 적외선 이미지에서 적가림 판단 밝기 이상을 갖는 셀들을 병합하여 고온공기 영역으로 지정하는 셀병합단계와, 원본 적외선 이미지에서 상기 전역 대조비 개선 적외선 이미지의 고온공기 영역에 해당하는 영역을 선택영역으로 지정하고, 상기 선택영역에 대하여 대조비 개선을 수행하는 선택영역 대조비 개선단계와, 상기 선택영역에 대하여 밝기의 분산값을 측정하고, 분산의 최대값을 구하는 분산측정단계와, 상기 원본 적외선 이미지의 선택영역에 대한 대조비 개선이 완료되었는지를 판단하는 대조비 개선 완료 판단단계와, 고온공기 영역에 대하여, 상기 셀병합 단계가 수행된 전역 대조비 개선 적외선 이미지에서 선택영역에 대한 대조비 개선이 완료된 원본 적외선 이미지를 빼주어, 고온공기가 제거된 적외선 이미지를 얻는 이미지 병합단계와, 상기 전역 대조비 개선 적외선 이미지의 고온공기 영역을 상기 이미지 병합단계에서 얻어진 고온공기가 제거된 적외선 이미지의 해당영역로 대체하는 이미지 대체단계와, 고온공기가 제거된 적외선 이미지에서 특징점을 추출하는 특징점 추출단계를 포함한다.
상기 고온공기 면적 산출단계에서는, 복수의 픽셀을 하나의 셀로 설정하고, 상기 적외선 이미지에서 고온공기와 표적이 차지하는 셀의 개수로 면적을 산출하는 것을 특징으로 한다.
상기 고온공기 면적 산출단계에서는, 동일한 수의 폭과 높이의 픽셀을 하나의 셀로 설정하는 것을 특징으로 한다.
상기 표적가림 판단단계에서, 상기 표적이 고온공기에 가리지 않은 것으로 판단되면, 상기 특징점 추출단계가 수행되는 것을 특징으로 한다.
상기 선택영역 대조비 개선단계에서 상기 선택영역은 고온공기 영역의 25%이하로 설정하는 것을 특징으로 한다.
상기 분산측정단계가 수행된 이후에 분산의 최대값을 최초로 구하는지를 판단하고, 상기 분산의 최대값을 최초로 구하는 것으로 판단되면, 대조비 개선 수행시간 및 대조비 개선 반복 수행횟수(N)를 결정하고, 상기 분산의 최대값을 최초로 구하지 않는 것으로 판단되면, 상기 대조비 개선 완료 판단단계가 수행되는 것을 특징으로 한다.
상기 대조비 개선 완료 판단단계에서는, 상기 대조비 개선 횟수가 미리 설정된 대조비 개선 반복 수행횟수(N)에 도달하면, 대조비 개선이 완료된 것으로 판단하는 것을 특징으로 한다.
상기 셀병합단계에서 얻어진 고온공기 영역이 지정된 전역 대조비 개선 적외선 이미지는 상기 선택영역 대조비 개선단계와 상기 이미지 병합단계로 입력되는 것을 특징으로 한다.
상기와 같은 구성을 갖는 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에 따르면, 적외선으로 촬영된 이미지에서 고온공기에 의해 표적이 가려지거나 표적의 형상을 왜곡하지 않으므로, 표적의 형상을 정확하게 인식할 수 있다.
도 1은 일반적인 특징점 추출방식과 특징점 이동량 측정 특성을 도시한 개념도.
도 2는 일반적인 특징점 추적의 이동량 측정과 ROI 조정방식을 도시한 개념도.
도 3은 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에서 표적의 면적을 계산하기 위해 적용되는 하프그리드의 개념도.
도 4는 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에서 셀의 형상을 나타낸 개념도.
도 5는 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에서 고온 공기에 가려진 형상을 복원하는 모습을 순차적으로 도시한 도면.
도 6은 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에서 반복하여 대조비를 개선하여 고온 공기에 가려진 형상을 복원하는 과정을 도시한 도면.
도 7은 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법을 도시한 순서도.
이하 첨부된 도면을 참조로 하여 본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법에 대하여 자세히 설명하기로 한다.
본 발명에 따른 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법은, 전역 대조비 개선을 거친 전역 대조비 개선 적외선 이미지에서 고온공기와 표적의 면적을 계산하는 고온공기 면적 산출단계(S110)와, 상기 전역 대조비 개선 적외선 이미지의 셀들 중 미리 설정된 표적가림 판단 밝기 이상을 갖는 셀의 수와 미리 설정된 표적 가림 판단 셀 수를 비교하여 표적이 고온 공기에 의해 가려졌는지를 판단하는 단계하는 표적가림 판단단계(S120)와, 표적가림 판단 밝기 이상을 갖는 셀의 수가 상기 표적가림 판단 셀 수를 초과하면, 상기 전역 대조비 개선 적외선 이미지에서 적가림 판단 밝기 이상을 갖는 셀들을 병합하여 고온공기 영역으로 지정하는 셀병합단계(S130)와, 원본 적외선 이미지에서 상기 전역 대조비 개선 적외선 이미지의 고온공기 영역에 해당하는 영역을 선택영역으로 지정하고, 상기 선택영역에 대하여 대조비 개선을 수행하는 선택영역 대조비 개선단계(S210)와, 상기 선택영역에 대하여 밝기의 분산값을 측정하는 분산측정단계(S220)와, 상기 원본 적외선 이미지의 선택영역에 대한 대조비 개선이 완료되었는지를 판단하는 대조비 개선 완료 판단단계(S250)와, 고온공기 영역에 대하여, 상기 셀병합 단계(S130)가 수행된 전역 대조비 개선 적외선 이미지에서 선택영역에 대한 대조비 개선이 완료된 원본 적외선 이미지를 빼주어, 고온공기가 제거된 적외선 이미지를 얻는 이미지 병합단계(S260)와, 상기 전역 대조비 개선 적외선 이미지의 고온공기 영역을 상기 이미지 병합단계(S260)에서 얻어진 고온공기가 제거된 적외선 이미지의 해당영역로 대체하는 이미지 대체단계(S270)와, 고온공기가 제거된 적외선 이미지에서 특징점을 추출하는 특징점 추출단계(S310)를 포함한다.
고온공기 면적 산출단계(S110)에서는 전역 대조비 개선을 적외선 이미지, 즉 전역 대조비 개선 적외선 이미지에서 고온공기와 표적의 면적을 계산한다. 특징점을 추적하기 위해서는 이전에 적외선 이미지에 대하여 전역 대조비를 개선된 상태로 적외선 이미지가 입력되는데, 상기 전역 대조비 개선 적외선 이미지에서 밝기가 정해진 밝기 이상을 갖는 고온공기와 표적이 차지하는 면적을 산출하는데, 바람직하게는 상기 적외선 이미지를 일정한 크기의 정방형 셀로 나누어 셀의 개수를 셈으로써, 상기 고온공기와 표적의 면적을 계산한다.
이때, 도 3의 (a), (b)에 도시된 바와 같이, 일정한 크기로 분할된 셀이 배열된 그리드(grid)를 이용할 수도 있지만, 더 세밀한 면적을 구하기 위해서, 하프 그리드(half grid)를 이용하는 것이 바람직하다. 이때, 상기 하프 그리드를 이용하는 경우는 그리드를 이용하여 면적을 구하는 과정을 1회 더 수행한 것과 같다.
이때 셀의 크기는 도 4의 (a)에 도시된 바와 같이 복수의 픽셀을 하나의 셀(cell)로 정할 수 있고, 상기 셀은 동일한 수의 폭과 높이의 픽셀의 집합으로 이루어지는 것이 바람직하다. 도 4의 (a)에는 4ㅧ4픽셀이 하나의 셀을 이루는 것에 대하여 도시되어 있다.
또한, 도 4의 (b)에 도시된 바와 같이, 상기 셀의 집합으로 고온공기와 표적의 면적이 표현된다.
표적가림 판단단계(S120)는 입력된 적외선 이미지에서 상기 적외선 이미지의 셀들 중 미리 설정된 표적가림 판단 밝기 이상을 갖는 셀의 수(Kmin)와 미리 설정된 표적 가림 판단 셀 수를 비교하여 표적이 고온 공기에 의해 가려졌는지를 판단하는 단계이다. 상기 전역 대조비 개선 적외선 이미지로부터 미리 설정된 표적가림 판단 밝기 이상의 밝기를 갖는 셀들을 감지함으로써, 고온공기가 표적을 가리는지를 판단한다.
예컨대, 상기 표적가림 판단 밝기의 레벨이 8bit 이미지에서 밝기 레벨 200으로 설정되었다면, 셀 내부의 픽셀의 평균값이 레벨 200이상인 셀들을 탐지하고, 탐지된 셀들과 인접한 셀들과 병합하여 최대 면적을 갖는 셀집합을 기준으로 표적의 면적과 고온 공기의 면적을 비교함으로써, 상기 적외선 이미지 중에서, 상기 표적가림 판단 밝기 이상을 갖는 셀의 수가 표적 가림 판단 셀 수(Kmin)보다 큰 지를 판단한다.
여기서, 표적 가림 판단 셀 수는 하기의 수학식 6과 같이, 정의할 수 있고, Kmax는 셀 집합이 가실 수 있는 최대 셀의 개수이고, 이는 표적 영역의 셀의 개수의 총합과 같다. 예컨대, 표적 영역에서 표적이 아닌 배경 픽셀 성분이 표적 영역의 20%를 차지한다고 가정했을 때, 표적 면적의 반이 상이 고온 공기에 가려지면, 고온공기에 의해 표적이 실질적으로 가려진 것으로 판단할 수 있다.
<수학식 6>
Figure pat00006
상기 표적가림 판단단계(S120)에서는 전역 대조비 개선 적외선 이미지에서 표적가림 판단 밝기 이상을 갖는 셀의 수가 상기 표적 가림 판단 셀 수(Kmin)보다 크면, 표적이 고온공기에 의해 가려진 상태로 판단하고, 적외선 이미지에서 표적과 고온공기가 차지하고 셀의 숫자가 상기 표적 가림 판단 셀 수(Kmin)보다 작으면 특징점 추출단계(S310)가 수행되고, 그렇지 않으면 셀병합단계(S130)가 수행된다.
셀병합단계(S130)는 전역 대조비 개선 적외선 이미지에서 표적가림 판단 밝기 이상을 갖는 셀의 수가 상기 표적 가림 판단 셀 수(Kmin)보다 큰 경우에 수행되는 것으로서, 상기 표적가림 판단단계(S120)에서 고온공기로 판단된 셀들을 병합하여 고온공기 영역으로 지정한다.
상기 셀병합단계(S130)에서 얻어진 고온공기 영역이 지정된 전역 대조비 개선 적외선 이미지는 후술되는 선택영역 대조비 개선단계(S210)와 이미지 병합단계(S260)로 입력된다.
선택영역 대조비 개선단계(S210)에서는 상기 원본 적외선 이미지에서 고온공기 영역으로 선택된 선택영역에 대하여 대조비 개선을 수행한다. 먼저, 상기 셀병합단계(S130)를 통하여 전역 대조비 개선을 거친 적외선 이미지에서 고온 공기 영역으로 지정된 영역에 해당하는 원본 적외선 이미지(raw image)의 해당영역을 선택영역으로 지정하고, 상기 선택영역에 대하여 대조비 개선을 수행한다. 여기서, 원본 적외선 이미지는 최초로 획득한 적외선 이미지를 말하는 것으로서, 전처리 되지 않은 상태의 적외선 이미지를 말한다.
상기 전역 대조비 개선은 배경과 유사한 온도를 갖는 표적의 대조비 개선에는 도움이 되지만, 배경보다 뚜렷하게 온도가 높은 영역은 밝기 레벨이 255로 포화되는 특성이 있다. 따라서, 원본 적외선 이미지에서 고온 공기 영역으로 지정된 영역에서 분산이 높은 순으로 셀 집합을 다시 분리하여, 선택영역으로 지정한다. 여기서 상기 선택영역은 고온 공기 영역의 25% 이내로 지정하고, 상기 선택영역에 대하여 대조비 개선을 수행한다.
분산측정단계(S220)는 선택영역 대조비 개선단계(S210)를 거친 원본 적외선 이미지에서, 상기 선택영역의 밝기 값의 분산을 측정하여, 분산의 최대값을 구하는 단계이다. 상기 하프그리드를 사용하여 중첩된 셀 영역을 병합하고, 상기 선택영역을 일정한 크기로 분할한 분할영역에 대하여 분산을 측정하고, 측정된 분산 중에서 최대값을 구하게 된다.
이때, 상기 분산의 첨두값은 전역 대조비 개선의 첨미값을, 첨미값은 상기 선택영역에서의 원본 적외선 이미지의 최대값을 지정한다. 여기서, 상기 첨두값은 상기 대조비 개선시 밝기 레벨 0으로 정규화하는 히스토그램 인덱스를 나타내고, 상기 첨미값은 밝기 레벨255로 정규화하는 히스토그램 인덱스를 나타낸다.
한편, 분산의 최대값을 구하기 위해 아래와 같은 프로그래밍을 수행함으로써, 분산의 최대값을 구할 수 있고, 이는 도 6에도 도시되어 있다. 아래의 프로그래밍에서, Vlow는 첨미값을 낮게 설정하였을 때의 분산값이고, Vhigh는 첨미값을 높게 설정하였을 때의 분산이다.
Figure pat00007
한편, 분산의 최대값을 최초로 구하는 지를 판단하는 최초수행판단단계(S230)가 수행되고, 분산의 최대값을 최초로 구하는 것으로 판단되면, 상기 선택영역 대조비 개선단계(S210)와 상기 분산측정단계(S220)의 반복 수행이 전체 추적 알고리즘의 수행시간에 지장을 미치지 않도록 대조비 개선단계(S210)와 분산측정단계(S220)의 수행시간을 측정하여 대조비 개선 반복 수행횟수(N)을 결정하는 수행시간 결정단계(S240)가 수행된다.
대조비 개선 완료 판단단계(S250)는 상기 최초수행판단단계(S230)에서 분산의 최대값을 최초로 구하지 않는 것으로 판단되면 수행되는 것으로서, 선택영역에 대한 대조비 개선 횟수가 상기 대조비 개선 반복 수행횟수(N)에 도달하였는지를 판단한다. 상기 대조비 개선 횟수가 앞서 설정된 대조비 개선 반복 수행횟수(N)에 도달하여, 상기 대조비 개선이 완료된 것으로 판단하면 이미지 병합단계(S260)가 수행되고, 그렇지 않은 경우에는 다시 상기 선택영역 대조비 개선단계(S210)로 리턴된다.
한편, 대조비 개선 완료 판단단계(S250)에서는, 제한된 수행시간 내에서 최상의 성능을 얻기 위해, 대조비 개선 횟수가 미리 설정된 대조비 개선 반복 수행횟수(N)에 도달할 때 까지만 상기 선택영역 대조비 개선단계(S210)와 분산측정단계(S220)의 반복을 제한한다.
이미지 병합단계(S260)는 고온공기가 있는 것으로 설정된 영역에 대하여 상기 셀병합 단계(S130)가 수행된 전역 대조비 개선 적외선 이미지에 선택영역에 대한 대조비 개선이 완료된 원본 적외선 이미지를 빼준다. 따라서, 상기 전역 대조비 개선 적외선 이미지에서 고온공기 영역으로 포화되었던 부분이 역상의 형태를 갖는 바, 상기 이미지 병합단계(S260)를 거친 이미지는 고온공기 영역에 대하여 역상 이미지를 얻는다.
이미지 대체단계(S270)는 상기 전역 대조비 개선 적외선 이미지의 고온공기 영역에 상기 이미지 병합단계(S260)에서 얻어진 고온공기 영역의 역상 이미지를 합성하여, 고온공기가 제거된 적외선 이미지를 얻는다. 상기 이미지 대체단계(S270)를 통하여 얻은 적외선 이미지에서는 촬영한 이미지에서 고온공기에 의한 영향이 실질적으로 없어진 배경과 표적만 남게 된다.
특징점 추출단계(S310)는 상기 이미지 대체단계(S270)에 의해 적외선 이미지에서 고온공기가 제거된 적외선이미지로부터 특징점을 추출한다. 상기 특징점 추출단계(S310)에서 특징점을 추출하는 알고리즘은 상기 종래기술에 설명한 바와 같이, 통상적인 특징점 추출 알고리즘을 이용한다. 즉, 상기 특징점 추출단계(S310) 이전에 적외선 이미지에서 고온공기에 해당하는 부분이 제거되고, 표적만 남은 상태이므로, 통상적인 특징점 추출 알고리즘을 수행하더라도 충분히 특징점을 추출할 수 있다.
S110 : 고온공기 면적 산출단계 S120 : 표적가림 판단단계
S130 : 셀병합단계 S210 : 선택영역 대조비 개선단계
S220 : 분산측정단계 S230 : 최초수행 판단단계
S240 : 수행시간결정단계 S250 : 대조비 개선 완료 판단단계
S260 : 이미지 병합단계 S270 : 이미지 대체단계
S310 : 특징점 추출단계

Claims (8)

  1. 전역 대조비 개선을 거친 전역 대조비 개선 적외선 이미지에서 고온공기와 표적의 면적을 계산하는 고온공기 면적 산출단계와,
    상기 전역 대조비 개선 적외선 이미지의 셀들 중 미리 설정된 표적가림 판단 밝기 이상을 갖는 셀의 수와 미리 설정된 표적 가림 판단 셀 수를 비교하여 표적이 고온 공기에 의해 가려졌는지를 판단하는 단계하는 표적가림 판단단계와,
    표적가림 판단 밝기 이상을 갖는 셀의 수가 상기 표적가림 판단 셀 수를 초과하면, 상기 전역 대조비 개선 적외선 이미지에서 적가림 판단 밝기 이상을 갖는 셀들을 병합하여 고온공기 영역으로 지정하는 셀병합단계와,
    원본 적외선 이미지에서 상기 전역 대조비 개선 적외선 이미지의 고온공기 영역에 해당하는 영역을 선택영역으로 지정하고, 상기 선택영역에 대하여 대조비 개선을 수행하는 선택영역 대조비 개선단계와,
    상기 선택영역에 대하여 밝기의 분산값을 측정하고, 분산의 최대값을 구하는 분산측정단계와,
    상기 원본 적외선 이미지의 선택영역에 대한 대조비 개선이 완료되었는지를 판단하는 대조비 개선 완료 판단단계와,
    고온공기 영역에 대하여, 상기 셀병합 단계가 수행된 전역 대조비 개선 적외선 이미지에서 선택영역에 대한 대조비 개선이 완료된 원본 적외선 이미지를 빼주어, 고온공기가 제거된 적외선 이미지를 얻는 이미지 병합단계와,
    상기 전역 대조비 개선 적외선 이미지의 고온공기 영역을 상기 이미지 병합단계에서 얻어진 고온공기가 제거된 적외선 이미지의 해당영역로 대체하는 이미지 대체단계와,
    고온공기가 제거된 적외선 이미지에서 특징점을 추출하는 특징점 추출단계를 포함하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
  2. 제1항에 있어서,
    상기 고온공기 면적 산출단계에서는,
    복수의 픽셀을 하나의 셀로 설정하고, 상기 적외선 이미지에서 고온공기와 표적이 차지하는 셀의 개수로 면적을 산출하는 것을 특징으로 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
  3. 제2항에 있어서,
    상기 고온공기 면적 산출단계에서는,
    동일한 수의 폭과 높이의 픽셀을 하나의 셀로 설정하는 것을 특징으로 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
  4. 제1항에 있어서,
    상기 표적가림 판단단계에서,
    상기 표적이 고온공기에 가리지 않은 것으로 판단되면, 상기 특징점 추출단계가 수행되는 것을 특징으로 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
  5. 제1항에 있어서,
    상기 선택영역 대조비 개선단계에서 상기 선택영역은 고온공기 영역의 25%이하로 설정하는 것을 특징으로 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
  6. 제1항에 있어서,
    상기 분산측정단계가 수행된 이후에 분산의 최대값을 최초로 구하는지를 판단하고,
    상기 분산의 최대값을 최초로 구하는 것으로 판단되면, 대조비 개선 수행시간 및 대조비 개선 반복 수행횟수를 결정하고,
    상기 분산의 최대값을 최초로 구하지 않는 것으로 판단되면, 상기 대조비 개선 완료 판단단계가 수행되는 것을 특징으로 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
  7. 제6항에 있어서,
    상기 대조비 개선 완료 판단단계에서는,
    상기 대조비 개선 횟수가 미리 설정된 대조비 개선 반복 수행횟수에 도달하면, 대조비 개선이 완료된 것으로 판단하는 것을 특징으로 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
  8. 제1항에 있어서,
    상기 셀병합단계에서 얻어진 고온공기 영역이 지정된 전역 대조비 개선 적외선 이미지는 상기 선택영역 대조비 개선단계와 상기 이미지 병합단계로 입력되는 것을 특징으로 하는 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법.
KR1020140067756A 2014-06-03 2014-06-03 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법 KR101595368B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140067756A KR101595368B1 (ko) 2014-06-03 2014-06-03 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140067756A KR101595368B1 (ko) 2014-06-03 2014-06-03 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법

Publications (2)

Publication Number Publication Date
KR20150139315A true KR20150139315A (ko) 2015-12-11
KR101595368B1 KR101595368B1 (ko) 2016-02-18

Family

ID=55020500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140067756A KR101595368B1 (ko) 2014-06-03 2014-06-03 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법

Country Status (1)

Country Link
KR (1) KR101595368B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110133668A (zh) * 2019-05-17 2019-08-16 中国人民解放军92942部队 海上目标红外检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020085355A (ko) 2001-05-08 2002-11-16 엘지이노텍 주식회사 적외선 영상 추적 장치 및 방법
JP2006099603A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
KR101087592B1 (ko) * 2011-03-11 2011-11-29 국방과학연구소 Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020085355A (ko) 2001-05-08 2002-11-16 엘지이노텍 주식회사 적외선 영상 추적 장치 및 방법
JP2006099603A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
KR101087592B1 (ko) * 2011-03-11 2011-11-29 국방과학연구소 Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110133668A (zh) * 2019-05-17 2019-08-16 中国人民解放军92942部队 海上目标红外检测方法及装置
CN110133668B (zh) * 2019-05-17 2020-12-08 中国人民解放军92942部队 海上目标红外检测方法及装置

Also Published As

Publication number Publication date
KR101595368B1 (ko) 2016-02-18

Similar Documents

Publication Publication Date Title
JP5908174B2 (ja) 画像処理装置及び画像処理方法
US8447074B2 (en) Image processing apparatus, image processing method, and program
JP4955096B2 (ja) 検出装置、検出方法、検出プログラム、および記録媒体
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
US20130142392A1 (en) Information processing device and method, program, and recording medium
JP2012118698A (ja) 画像処理装置
US9600888B2 (en) Image processing device, image processing method, and program
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
CN110647836B (zh) 一种鲁棒的基于深度学习的单目标跟踪方法
US20180225522A1 (en) Ir or thermal image enhancement method based on background information for video analysis
WO2014069103A1 (ja) 画像処理装置
Cherian et al. Accurate 3D ground plane estimation from a single image
US11210767B2 (en) Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium
Choi et al. Fog detection for de-fogging of road driving images
WO2013102797A1 (en) System and method for detecting targets in maritime surveillance applications
US9384576B2 (en) Method and device for computing a change in an image scale of an object
JP4818285B2 (ja) 混雑滞留検知システム
KR101426864B1 (ko) 근거리 열상 표적추적을 위한 영역기반 경계향상 방법
KR101595368B1 (ko) 적외선 이미지에서 특징추적을 위한 고온 공기 제거방법
Chen et al. Image segmentation in thermal images
KR101591380B1 (ko) 상관 추적기의 성능향상을 위한 특징점 활용 방법 및 이를 구현하는 영상 추적 시스템
CN107680083B (zh) 视差确定方法和视差确定装置
JP4560434B2 (ja) 変化領域抽出方法およびこの方法のプログラム
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
KR102003671B1 (ko) 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200204

Year of fee payment: 5