KR101200747B1 - 이동 표적 탐지 장치 및 그 방법 - Google Patents

이동 표적 탐지 장치 및 그 방법 Download PDF

Info

Publication number
KR101200747B1
KR101200747B1 KR1020110110703A KR20110110703A KR101200747B1 KR 101200747 B1 KR101200747 B1 KR 101200747B1 KR 1020110110703 A KR1020110110703 A KR 1020110110703A KR 20110110703 A KR20110110703 A KR 20110110703A KR 101200747 B1 KR101200747 B1 KR 101200747B1
Authority
KR
South Korea
Prior art keywords
image
target
moving target
moving
camera
Prior art date
Application number
KR1020110110703A
Other languages
English (en)
Inventor
강석종
김도종
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020110110703A priority Critical patent/KR101200747B1/ko
Application granted granted Critical
Publication of KR101200747B1 publication Critical patent/KR101200747B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 배경잡음이 많은 야외 환경에서 무인 정찰/무인 감시 차량에 탑재되어 움직이는 감시 카메라의 열상을 이용하여 이동하는 표적을 탐지할 수 있는 이동 표적 탐지 장치 및 그 방법에 관한 것으로서, 본 명세서의 실시예에 따른 이동 표적 탐지 장치는, 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 카메라 움직임 보상부와; 상기 정합된 영상 각각에 대해 M×N개의 영상 블록으로 나누어 상기 FFT 기반 위상상관 방법을 이용한 부 화소 이동량을 구하여 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 표적 영역 탐지부와; 상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 이동 표적 탐지부를 포함하며, 상기 M 및 N은 각각 자연수일 수 있다.

Description

이동 표적 탐지 장치 및 그 방법{MOVING TARGET DETECTING APPARATUS AND METHOD THEREOF}
본 명세서는 이동 표적 탐지 장치 및 그 방법에 관한 것이다.
일반적으로, 감시 정찰 로봇 등 이동 감시가 가능한 플랫폼에 탑재된 감시 장치는 탐지, 인지 및 추적을 수행하는 것으로서 열상 카메라 및 주간 카메라를 사용하고 있다. 자동 감시 장치는 주로 열상을 이용하여 표적을 탐지하는데 이는 주간 및 야간 동시에 표적을 탐지할 수 있으며, 열상을 이용하기 때문에 표적 탐지가 용이한 장점을 갖기 때문이다. 하지만, 열상 카메라는 탐지 센서의 열 감응시간, 반응하는 파장대 등의 특성으로 인하여 획득된 영상은 흐릿한(blur) 특성을 가지며, 획득되는 대기상황, 온도상황, 운용시간대 등의 따라 민감한 특성을 갖는 등 단점도 있었다.
상기 감시 카메라(주간 카메라 및 열상 카메라)를 이용하여 이동표적을 탐지하기 위하여 지금까지 많은 연구가 되어 왔으며, 대표적인 방법이 차영상(차이 영상)을 이용한 연구 및 광류(Optical Flow)를 이용한 연구이다. 최근에는 움직임이 있는 카메라의 연속 영상으로부터 상관관계기반 블록 정합기법, SIFT(Scale Invariant Feature Transform) 등의 특징점 기반 영상 정합 기법 등을 이용하여 영상을 정합한 후 차영상을 구하여 이동표적을 탐지하는 방법이 연구되고 있다. 광류 및 차영상을 이용한 방법은 카메라가 고정되었을 때 이동 표적을 탐지시 주로 사용되며 카메라의 움직임이 있으면 사용하기가 매우 어렵다. 이는 영상 프레임 간 픽셀의 미분을 사용하여 움직임을 구하기 때문이다. 또한, 최근에 연구되고 있는 카메라의 연속 영상에 대해 모서리, 코너 및 SIFT 특징 등을 구해서 영상을 정합한 후 표적을 탐지하는 기법은 높은 해상도와 또렷한 대조비를 갖는 주간 카메라(CCD 카메라) 영상에 적용가능하다. 흐릿한 특성을 가지며, 배경에 약간의 흔들림 잡음이 있는 야외 환경의 열상에 대해 특징점을 구하여 영상 정합 후 표적을 찾는 것은 매우 어려운 방법이다. 상관관계기반 블록 정합기법을 이용한 이동 표적 탐지 기법은 최근에 영상 압축 분야에서 많은 연구가 되고 있으나 블록 내 다수개의 이동 물체가 존재할 때 정확한 이동값을 구하지 못하는 문제가 있었다.
본 명세서는 배경잡음이 많은 야외 환경에서 무인 정찰/무인 감시 차량에 탑재되어 움직이는 감시 카메라의 열상을 이용하여 이동하는 표적을 탐지할 수 있는 이동 표적 탐지 장치 및 그 방법을 제공하는 데 그 목적이 있다.
본 명세서의 실시예에 따른 이동 표적 탐지 장치는, 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 카메라 움직임 보상부와; 상기 정합된 영상 각각에 대해 M×N개의 영상 블록으로 나누어 상기 FFT 기반 위상상관 방법을 이용한 부 화소 이동량을 구하여 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 표적 영역 탐지부와; 상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 이동 표적 탐지부를 포함하며, 상기 M 및 N은 각각 자연수일 수 있다.
본 명세서와 관련된 일 예로서, 상기 카메라 움직임 보상부는, 상기 카메라가 움직일 때 상기 움직임이 있는 카메라의 영상에 대한 이동 표적 탐지를 위해, 상기 입력 영상의 1/4되는 영상을 구하여 상기 입력 영상의 이동량을 구한 후 상기 구한 영상 이동량을 근거로 상기 연속하여 입력되는 두 영상을 정합할 수 있다.
본 명세서와 관련된 일 예로서, 상기 영상 이동량은 상기 카메라의 이동량일 수 있다.
본 명세서와 관련된 일 예로서, 가우시안(Gaussian) 필터를 통해 상기 입력 영상을 필터링하는 영상 처리부를 더 포함할 수 있다.
본 명세서의 실시예에 따른 이동 표적 탐지 장치는, 가우시안(Gaussian) 필터를 통해 입력 영상을 필터링하는 영상 처리부와; 상기 필터링된 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 카메라 움직임 보상부와; 상기 정합된 영상 각각에 대해 상기 FFT 기반 위상상관 방법을 적용함으로써 구한 부 화소 이동량을 근거로 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 표적 영역 탐지부와; 상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 이동 표적 탐지부와; 상기 탐지된 이동 표적을 화면상에 표시하는 표시부를 포함할 수 있다.
본 명세서의 실시예에 따른 이동 표적 탐지 방법은, 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 단계와; 상기 정합된 영상 각각에 대해 M×N개의 영상 블록으로 나누어 상기 FFT 기반 위상상관 방법을 이용한 부 화소 이동량을 구하여 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 단계와; 상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 단계를 포함하며, 상기 M 및 N은 각각 자연수일 수 있다.
본 명세서의 실시예에 따른 이동 표적 탐지 방법은, 가우시안(Gaussian) 필터를 통해 입력 영상을 필터링하는 단계와; 상기 필터링된 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 단계와; 상기 정합된 영상 각각에 대해 상기 FFT 기반 위상상관 방법을 적용함으로써 구한 부 화소 이동량을 근거로 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 단계와; 상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 단계와; 상기 탐지된 이동 표적을 표시부의 화면상에 표시하는 단계를 포함할 수 있다.
본 명세서의 이동 표적 탐지 장치 및 그 방법은, 배경잡음이 많은 야외 환경에서 무인 정찰/무인 감시 차량에 탑재되어 움직이는 감시 카메라의 열상을 이용하여 이동하는 표적을 탐지할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 이동 표적 탐지 장치의 구성을 나타낸 구성도이다.
도 2 및 도 3은 배경 영상이 같은 공간영역에서 큰 표적영상과 작은 표적영상이 동시에 이동시 주파수 영역의 위상상관값을 이용한 이동값을 나타낸 예시도 이다.
도 4 내지 도 11은 본 발명의 실시예에 따른 이동 표적 탐지 장치의 시뮬레이션 결과를 나타낸 예시도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하에서는, 연속하여 입력되는 두 열상 영상(예를 들면, 이전 영상 및 현재 영상)에 대해 각각의 영상을 N×M개의 서브블록으로 분할한 후, 배경 영상 잡음에 강인한 푸리에 변환(Fast Fourier Transform, FFT) 기반의 위상상관 방법을 이용하여 각 서브블록에 대해 부화소 단위 이동량을 구함으로써 이동 표적이 포함된 서브블록(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용하여 표적 후보군의 위치를 구하고, 상기 푸리에 변환(Fast Fourier Transform, FFT) 기반 위상상관 방법을 이용하여 상기 구한 이동표적이 포함된 서브블록(ROI)과 상기 차이 영상으로부터 구한 표적 후보들을 결합하여 이동 표적을 탐지하고, 그 탐지된 이동 표적을 표시부에 표시하는 이동 표적 탐지 장치 및 그 방법을 도 1 내지 도 11을 참조하여 설명한다.
도 1은 본 발명의 실시예에 따른 이동 표적 탐지 장치의 구성을 나타낸 구성도이다. 본 발명의 실시예에 따른 이동 표적 탐지 장치는, 구동부(10)의 구동 신호를 이용하여 카메라(11)가 구동할 때 열상(Thermal Imaging) 신호를 이용하여 표적을 탐지라고, 그 탐지된 표적을 표시부(16)에 표시한다.
일반적으로, 영상의 각 화소는 시선 방향(LOS: Line Of Sight)의 각도 성분을 가지고 있기 때문에, 고각 및 방위각 방향으로 영상 이동량은 방위각 및 고각 방향의 카메라 움직임량과 같다. 따라서, 입력되는 연속적인 영상에 대해 영상 이동량을 계산해서 영상을 정합한다는 것은 두 영상에 대해 카메라 움직임이 없는 정지 상태에서 이동 표적을 탐지하는 것과 같은 의미하고, 정지 상태에서 이동 표적 탐지는 연속하는 두 영상의 차영상을 이용하여 구할 수 있다. 이때, 야외 환경에서 연속하는 두 열상 영상을 정합하는 것은 배경 환경 잡음 때문에 어려움이 많으며, 차영상을 이용하여 이동표적 탐지시 많은 클러터가 발생하는데 이를 제거하기도 어렵다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 이동 표적 탐지 장치(100)는,
야외 환경의 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 기반 위상상관 기법을 적용하여 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 카메라 움직임 보상부(13)(제1 방법)와;
상기 정합된 영상 각각에 대해 M×N개의 영상 블록으로 나누어 상기 FFT 기반 위상상관 기법을 이용한 부 화소 이동량을 구하여 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)(또는 서브 블록)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용하여 표적 후보군의 위치를 구하는 표적 영역 탐지부(14)(제2 방법)와;
상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 이동 표적 탐지부(15)(제3 방법)를 포함한다. 상기 M 및 N은 각각 자연수이다.
본 발명의 실시예에 따른 이동 표적 탐지 장치(100)는, 상기 카메라가 움직(구동)일 때, 그 움직임이 있는 카메라의 영상에 대한 이동 표적 탐지를 위해 입력되는 영상의 중앙위치에서 전체영상의 1/4되는 영상을 구하여 상기 전체영상의 이동량을 구한 후 그 구한 영상 이동량을 근거로 상기 입력되는 두 영상을 정합한 후 상기 제2 내지 제3 방법을 이용하여 이동 표적을 구할 수 있다.
본 발명의 실시예에 따른 이동 표적 탐지 장치(100)는 가우시안(Gaussian) 필터를 통해 입력되는 영상을 필터링하는 영상 처리부(12)를 더 포함하거나 포함하지 않을 수도 있다. 상기 영상 처리부(12)는 가우시안(Gaussian) 필터를 통해 입력되는 영상을 필터링함으로써, 입력되는 영상에 대해 에지성분에 의한 위상오차를 줄이고 잡음을 제거할 수 있다.
이하에서는, 본 발명의 실시예에 따른 이동 표적 탐지 장치의 동작을 설명한다.
먼저, 상기 영상 처리부(12)는 가우시안(Gaussian) 필터를 통해 입력되는 영상을 필터링한다. 예를 들면, 상기 영상 처리부(12)는 가우시안(Gaussian) 필터를 통해 입력되는 영상을 필터링함으로써, 입력되는 영상에 대해 에지 성분에 의한 위상오차를 줄이고 잡음을 제거할 수 있다.
상기 카메라 움직임 보상부(13)는, 입력되는 영상을 이용하여 방위각 방향 및 고각 방향으로 움직이는 카메라의 이동량을 퓨리에 변환 평행이동 성질을 이용하여 구한다. 즉, 상기 카메라 움직임 보상부(13)는, 공간영역에서 평행이동량은 주파수영역에서 선형위상차로 나타나는 성질을 이용하여, 상기 방위각 방향 및 고각 방향으로 움직이는 카메라의 이동량을 구한다.
이하에서는, 상기 카메라 이동량을 계산하는 방법을 설명한다.
먼저, 시간 영역에서 방위각 방향으로
Figure 112011084508045-pat00001
, 고각 방향으로
Figure 112011084508045-pat00002
만큼 평행 이동된 두 개의 프레임 영상은 수학식(1)과 같이 표현될 수 있으며, 주파수 영역에서는 수학식(2)와 같이 표현될 수 있다.
Figure 112011084508045-pat00003
Figure 112011084508045-pat00004
여기서,
Figure 112011084508045-pat00005
수직주파수를 나타내고,
Figure 112011084508045-pat00006
는 수평주파수를 나타내고,
Figure 112011084508045-pat00007
는 허수를 나타낸다.
두 영상
Figure 112011084508045-pat00008
과
Figure 112011084508045-pat00009
사이의 영상이동량은 주파수 영역에서 수학식(2)에서와 같이 위상차로 나타나며, 상관관계를 구하면 수학식(3)과 같이 표현된다. 수학식(2)의
Figure 112011084508045-pat00010
을 수학식(3)의
Figure 112011084508045-pat00011
에 대입 후 계산하면 수학식(3)의 위상항만 남게 된다. 따라서, 위상 항을 FFT 역변환(Inverse FFT)하면 수학식(4)와 같이 이동량을 구할 수 있다.
Figure 112011084508045-pat00012
Figure 112011084508045-pat00013
여기서, *는 공액복소수이고,
Figure 112011084508045-pat00014
는 절대값을 의미하며,
Figure 112011084508045-pat00015
는 크로네커 델타(kronecker delta)함수를 나타낸다. 또한,
Figure 112011084508045-pat00016
는 푸리에 변환(Fast Fourier Transform, FFT) 역변환을 나타낸다.
상기 카메라 움직임 보상부(13)는, 상기 카메라 이동량을 수학식(4)로부터 계산한 후 방위각 방향 및 고각 방향으로 수학식(1)을 이용하여 연속하여 입력되는 두 영상을 정합한다.
상기 표적영역 탐지부(14)는, 카메라 영상의 연속 프레임 입력에 대해 카메라 움직임을 보상한 정합된 영상을 이용하여 이동표적을 탐지하기 위하여 차영상을 이용하여 표적 위치를 아래와 같이 탐지한다.
먼저, 상기 표적영역 탐지부(14)는, 입력되는 현재 영상
Figure 112011084508045-pat00017
과 카메라 이동량을 보상한 영상
Figure 112011084508045-pat00018
을 이용하여 수학식(5)와 같이 차영상을 구한다.
Figure 112011084508045-pat00019
여기서, 문턱값은 카메라 이동이 있을 경우 카메라 움직임이 있을 시 배경을 보상하기 위하여 수학식(6)과 같이 적응형 문턱값을 적용할 수 있다.
Figure 112011084508045-pat00020
여기서,
Figure 112011084508045-pat00021
는 학습가중치를 나타내며,
Figure 112011084508045-pat00022
는 상수를 나타내며,
Figure 112011084508045-pat00023
는 평균값을 나타내며,
Figure 112011084508045-pat00024
는 표준편차를 나타낸다.
상기 차영상에서 분할된 표적 영상은 실제 하나의 표적 영상이나 분할되면서 여러개로 분할될 수 있다. 이는 Opening-Closing(열림-닫힘) 모폴로지 필터(morphology filter)를 적용하여 영상이 여러 개의 작은 조각으로 분리되는 것을 제거하며 수학식(7)과 같다.
Figure 112011084508045-pat00025
여기서,
Figure 112011084508045-pat00026
는 닫힘 연산자(Closing Operator)이고,
Figure 112011084508045-pat00027
는 열림연산자(Opening Operator)이다. 또한,
Figure 112011084508045-pat00028
는 팽창연산자(Dilation Operator)이고, 는 침식연산자(Erosion Operator)이다.
상기 표적영역 탐지부(14)는, 상기 카메라 영상의 연속 프레임 입력에 대해 카메라 움직임을 보상한 정합된 영상을 이용하여 이동 표적을 탐지하기 위하여 영상을 N×M개로 분리한 후 부 화소(sub-pixel) 단위의 영상 이동량을 구한다.
이하에서는, 상기 부화소 단위의 영상 이동량 계산 방법을 도2 및 도3을 참조하여 설명한다.
도 2 및 도 3은 배경 영상이 같은 공간영역에서 큰 표적영상과 작은 표적영상이 동시에 이동시 주파수 영역의 위상상관값을 이용한 이동값을 나타낸 예시도 이다.
도 2의 A 영상 및 B 영상에 도시한 바와 같이, 큰 표적영상 및 작은 표적영상이 동시에 좌상 방향으로 움직임을 알 수 있다.
도 3은 영상 내 표적이동에 따른 주파수영역의 위상상관관계 영상으로서, 큰 표적 영상 움직임에 의한 위상상관 값이 가장 밝게 나타나며, 작은 표적영상 움직임에 의한 위상상관 값은 약간 밝게 나타남을 알 수 있다(원으로 표시됨).
따라서, 블록 단위의 영상에 대해 배경이 고정되고 표적이 이동하는 경우, 동일한 주파수 영역에서 위상상관 관계를 구하면 도 2 및 도 3과 같이 큰 표적 영상의 움직임에 의한 차이값이 가장 큰 값(예를 들면, 밝은 색)으로 나타나고, 작은 표적의 움직임에 의한 차이값은 다음 큰 값(두번째 큰값)으로 나타남을 볼 수 있다. 이 특징을 이용하여 이동 표적이 있는 블록의 위치를 찾을 수 있음을 알 수 있다.
상기 부 화소 단위의 영상 이동량을 구하기 위하여 수학식(4)로부터 정수 배 (
Figure 112011084508045-pat00030
,
Figure 112011084508045-pat00031
) 만큼 영상을 이동시킨 후 부 화소 단위의 이동 영상을 구하면 된다. 부 화소 단위의 영상을 구하기 위해서 영상
Figure 112011084508045-pat00032
,
Figure 112011084508045-pat00033
에 대해 업샘플링( up-sampling)을 시킨 후 위상상관을 적용한다.
Figure 112011084508045-pat00034
,
Figure 112011084508045-pat00035
영상에 대해 주파수 영역의 영상을
Figure 112011084508045-pat00036
,
Figure 112011084508045-pat00037
라 하면 x축으로 M만큼, y축으로 N만큼 업샘플링(up sampling)한 프레임의 주파수 영상은 아래 수학식(8)과 같이 표현된다.
Figure 112011084508045-pat00038
Figure 112011084508045-pat00039
상기 업샘플링(up sampling)된 영상의 위상상관은, 주파수 영역에서 위상상관은 수학식(9)와 같이 표현되고 공간영역으로 변환하면 수학식(10)과 같다.
Figure 112011084508045-pat00040
Figure 112011084508045-pat00041
여기서,
Figure 112011084508045-pat00042
는 정수배의 이동,
Figure 112011084508045-pat00043
은 영상크기,
Figure 112011084508045-pat00044
는 서브화소 평행 이동량을 나타낸다.
수학식(9)에서 정수배의 영상 이동 부분을 제외한 서브화소영상 이동량은
Figure 112011084508045-pat00045
,
Figure 112011084508045-pat00046
이기 때문에
Figure 112011084508045-pat00047
,
Figure 112011084508045-pat00048
로 표현된다. 따라서, 수학식(10)의 분모항은
Figure 112011084508045-pat00049
,
Figure 112011084508045-pat00050
로 표현될 수 있기 때문에 수학식(11)과 같이 표현되어질 수 있다.
Figure 112011084508045-pat00051
부화소의 이동량은 최고값과 두 번째 최고값을 이용하여 수학식(12)을 이용하여 구할 수 있다.
Figure 112011084508045-pat00052
따라서, 부화소 단위의 영상이동량을 구하기 위해서는 먼저 평행이동된 정수화소(
Figure 112011084508045-pat00053
)를 구하고 이를 중심으로 발생한 부화소(
Figure 112011084508045-pat00054
)를 구한다.
상기 이동 표적 탐지부(15)는, 아래 수학식(13)을 통해, 상기 차영상과 부 화소 이동량을 이용하여 표적 영역 탐지영역의 영상을 구한다.
Figure 112011084508045-pat00055
여기서,
Figure 112011084508045-pat00056
는 차영상을 이용한 표적 탐지 위치를 나타내며,
Figure 112011084508045-pat00057
은 블록단위 영상에 대해 부화소 이동량을 이용하여 구한 표적이 있는 위치를 나타낸다.
도 4 내지 도 11은 본 발명의 실시예에 따른 시뮬레이션 결과를 나타낸 예시도이다. 즉, 본 발명의 타당성을 확인하기 위하여 실제 배경 잡음이 많은 야외환경에서 획득된 영상을 이용하여 시뮬레이션을 수행하였으며, 그 결과의 일부분을 나타낸다.
도 4는 현재 입력 영상(
Figure 112011084508045-pat00058
)을 나타내며, 도 5는 이전 입력 영상(
Figure 112011084508045-pat00059
)을 나타내며, 도 6은
Figure 112011084508045-pat00060
영상 분할 영상을 나타내며, 도 7은 차영상(
Figure 112011084508045-pat00061
)을 나타내며, 도 8은
Figure 112011084508045-pat00062
분할 영상별 이동량을 나타내며, 도 9는 이진 영상 분할 영상을 나타내며, 도 10은 이동 표적 영역을 나타내며, 도 11은 탐지된 이동 표적(예를 들면, 저속 비행체)을 나타낸다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 이동 표적 탐지 장치 및 그 방법은, 배경잡음이 많은 야외환경에서 무인정찰/무인감시차량에 탑재되어 움직이는 감시 카메라의 열상을 이용하여 이동하는 표적을 탐지할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 구동부 11: 카메라
12: 영상 처리부 13: 카메라 움직임 보상부
14: 표적 영역 탐지부 15: 이동 표적 탐지부
16: 표시부

Claims (10)

  1. 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 카메라 움직임 보상부와;
    상기 정합된 영상 각각에 대해 M×N개의 영상 블록으로 나누어 상기 FFT 기반 위상상관 방법을 이용한 부 화소 이동량을 구하여 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 표적 영역 탐지부와;
    상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 이동 표적 탐지부를 포함하며, 상기 M 및 N은 각각 자연수인 것을 특징으로 하는 이동 표적 탐지 장치.
  2. 제1항에 있어서, 상기 카메라 움직임 보상부는,
    상기 카메라가 움직일 때 상기 움직임이 있는 카메라의 영상에 대한 이동 표적 탐지를 위해, 상기 입력 영상의 전체 영상 크기의 1/4되는 영상을 구하여 상기 입력 영상의 이동량을 구한 후 상기 구한 영상 이동량을 근거로 상기 연속하여 입력되는 두 영상을 정합하는 것을 특징으로 하는 이동 표적 탐지 장치.
  3. 제2항에 있어서, 상기 영상 이동량은,
    상기 카메라의 이동량인 것을 특징으로 하는 이동 표적 탐지 장치.
  4. 제1항에 있어서,
    가우시안(Gaussian) 필터를 통해 상기 입력 영상을 필터링하는 영상 처리부를 더 포함하는 것을 특징으로 하는 이동 표적 탐지 장치.
  5. 가우시안(Gaussian) 필터를 통해 입력 영상을 필터링하는 영상 처리부와;
    상기 필터링된 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 카메라 움직임 보상부와;
    상기 정합된 영상 각각에 대해 상기 FFT 기반 위상상관 방법을 적용함으로써 구한 부 화소 이동량을 근거로 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 표적 영역 탐지부와;
    상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 이동 표적 탐지부와;
    상기 탐지된 이동 표적을 화면상에 표시하는 표시부를 포함하는 것을 특징으로 하는 이동 표적 탐지 장치.
  6. 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 단계와;
    상기 정합된 영상 각각에 대해 M×N개의 영상 블록으로 나누어 상기 FFT 기반 위상상관 방법을 이용한 부 화소 이동량을 구하여 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 단계와;
    상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 단계를 포함하며, 상기 M 및 N은 각각 자연수인 것을 특징으로 하는 이동 표적 탐지 방법.
  7. 제6항에 있어서, 상기 연속하여 입력되는 두 영상을 정합하는 단계는,
    상기 카메라가 움직일 때 상기 움직임이 있는 카메라의 영상에 대한 이동 표적 탐지를 위해, 상기 입력 영상의 전체 영상 크기의 1/4되는 영상을 구하여 상기 입력 영상의 이동량을 구한 후 상기 구한 영상 이동량을 근거로 상기 연속하여 입력되는 두 영상을 정합하는 단계인 것을 특징으로 하는 이동 표적 탐지 방법.
  8. 제7항에 있어서, 상기 영상 이동량은,
    상기 카메라의 이동량인 것을 특징으로 하는 이동 표적 탐지 방법.
  9. 제6항에 있어서,
    가우시안(Gaussian) 필터를 통해 상기 입력 영상을 필터링하는 단계를 더 포함하는 것을 특징으로 하는 이동 표적 탐지 방법.
  10. 가우시안(Gaussian) 필터를 통해 입력 영상을 필터링하는 단계와;
    상기 필터링된 입력 영상에 대해 푸리에 변환(Fast Fourier Transform, FFT) 위상상관 기법을 적용함으로써 구한 카메라 이동량을 근거로 연속하여 입력되는 두 영상을 정합하는 단계와;
    상기 정합된 영상 각각에 대해 상기 FFT 기반 위상상관 방법을 적용함으로써 구한 부 화소 이동량을 근거로 이동 표적이 포함된 목표 범위(ROI: Rigion Of Interest)의 위치를 구하고, 입력되는 현재 영상 및 상기 정합된 영상의 차영상에 대해 영상 분할 기법을 적용함으로써 표적 후보군의 위치를 구하는 단계와;
    상기 이동 표적이 포함된 목표 범위와 상기 표적 후보군의 위치를 근거로 이동 표적을 탐지하는 단계와;
    상기 탐지된 이동 표적을 표시부의 화면상에 표시하는 단계를 포함하는 것을 특징으로 하는 이동 표적 탐지 방법.
KR1020110110703A 2011-10-27 2011-10-27 이동 표적 탐지 장치 및 그 방법 KR101200747B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110110703A KR101200747B1 (ko) 2011-10-27 2011-10-27 이동 표적 탐지 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110110703A KR101200747B1 (ko) 2011-10-27 2011-10-27 이동 표적 탐지 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101200747B1 true KR101200747B1 (ko) 2012-11-13

Family

ID=47564562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110110703A KR101200747B1 (ko) 2011-10-27 2011-10-27 이동 표적 탐지 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101200747B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448164B1 (ko) 2013-04-22 2014-10-14 금오공과대학교 산학협력단 파라미터 최적화를 이용한 영상의 안개 제거 방법
KR20160127372A (ko) 2015-04-27 2016-11-04 엘아이지넥스원 주식회사 이동 표적 탐지 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856474B1 (ko) 2007-04-05 2008-09-04 (주) 지티비젼 영상 흔들림 보정방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856474B1 (ko) 2007-04-05 2008-09-04 (주) 지티비젼 영상 흔들림 보정방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:전자공학회

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448164B1 (ko) 2013-04-22 2014-10-14 금오공과대학교 산학협력단 파라미터 최적화를 이용한 영상의 안개 제거 방법
KR20160127372A (ko) 2015-04-27 2016-11-04 엘아이지넥스원 주식회사 이동 표적 탐지 장치 및 방법

Similar Documents

Publication Publication Date Title
Guo Dynamic displacement measurement of large-scale structures based on the Lucas–Kanade template tracking algorithm
Lin et al. Vehicle speed detection from a single motion blurred image
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
CN102799883B (zh) 一种从视频图像中提取运动目标的方法及装置
KR20080021646A (ko) 연속 확장 범위의 이미지 프로세싱
Molloy et al. Detection of aircraft below the horizon for vision‐based detect and avoid in unmanned aircraft systems
KR20010000107A (ko) 다중 이동물체 추적/감시 시스템
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN105975923B (zh) 用于跟踪人体对象的方法和系统
CN103813099A (zh) 一种基于特征点匹配的视频防抖方法
Kumar et al. Vehicle speed detection using corner detection
US20110085026A1 (en) Detection method and detection system of moving object
US11410459B2 (en) Face detection and recognition method using light field camera system
KR101200747B1 (ko) 이동 표적 탐지 장치 및 그 방법
US12192626B2 (en) Tilt variance method of detecting and accounting for true motion of imagery subject to atmospheric turbulence
Tulpan et al. Experimental evaluation of four feature detection methods for close range and distant airborne targets for Unmanned Aircraft Systems applications
May et al. Moving target detection for sense and avoid using regional phase correlation
US11756215B2 (en) Image processing device, image processing method, and image processing program
Subramanyam Automatic image mosaic system using steerable Harris corner detector
KR101777696B1 (ko) 면적 대칭성을 이용한 에지 위치 결정 방법
Schubert et al. Robust registration and filtering for moving object detection in aerial videos
CN111489398A (zh) 一种成像设备标定方法以及装置
KR20200145379A (ko) 해상도가 다른 영상을 정합하는 장치 및 방법
CN110047103A (zh) 从图像中去除杂乱背景以进行对象检测
JP5465001B2 (ja) 対象推定装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111027

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120925

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121024

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121107

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121108

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151102

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20201103

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20211102

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20221102

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20231101

Start annual number: 12

End annual number: 12