KR101829386B1 - 표적 검출 장치 및 방법 - Google Patents

표적 검출 장치 및 방법 Download PDF

Info

Publication number
KR101829386B1
KR101829386B1 KR1020170106000A KR20170106000A KR101829386B1 KR 101829386 B1 KR101829386 B1 KR 101829386B1 KR 1020170106000 A KR1020170106000 A KR 1020170106000A KR 20170106000 A KR20170106000 A KR 20170106000A KR 101829386 B1 KR101829386 B1 KR 101829386B1
Authority
KR
South Korea
Prior art keywords
image
target candidate
target
filter
candidate region
Prior art date
Application number
KR1020170106000A
Other languages
English (en)
Inventor
장철희
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020170106000A priority Critical patent/KR101829386B1/ko
Application granted granted Critical
Publication of KR101829386B1 publication Critical patent/KR101829386B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06K9/4609—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 배경 모델링이 실행된 표적 후보 영역을 복수의 필터를 통해 가공함으로써 정확도가 상향된 표적 후보 영역들에 대해서만 특징점 추출을 수행할 수 있도록 하는 표적 검출 장치를 제안한다. 본 발명에 따른 표적 검출 장치는 입력영상에 배경 모델링을 실행하여 배경 제거 영상을 획득하는 배경 모델링부와, 배경 제거 영상에 대한 이진화 과정을 통해 1차 표적 후보 영역을 추출하는 1차 표적 후보 영역 추출부와, 연속적으로 획득되는 입력영상들로부터 추출된 복수의 1차 표적 후보 영역에 대해 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터를 이용하여 최종 표적 후보 영역을 확정하는 표적 후보 영역 결정부 및 최종 표적 후보 영역에서 특징점을 추출하여 표적 인식 및 분류를 수행하는 표적 분류부를 포함한다.

Description

표적 검출 장치 및 방법{Apparatus and method for detecting target}
본 발명은 표적 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는 배경 모델링이 실행된 표적 후보 영역을 복수의 필터를 통해 가공하여 획득한 최종 표적 후보 영역들에 대해서만 특징점 추출을 수행할 수 있도록 하는 표적 검출 장치에 관한 것이다.
일반적인 영상 표적 분류를 위해서는 표적과 배경의 분리, 특징값 추출, 분류 모델 설계, 학습 및 기 학습된 모델과의 매칭 단계를 거친다.
영상에서 2차원 표적 모델을 이용하여 자동 표적 인식을 구현하기 위해서는 우수한 표적 분류 성능을 보장할 수 있는 표현자(Descriptor)의 사용이 필요하다.
다양한 환경에서 지역적인 특징 위치를 찾기 위해서는 크게 특징점 추출과 표현자 생성의 두 가지 과정이 필요하다. 첫 번째 특징점 추출과정은 영상에서 환경이 변하더라도 강인하게 찾아질 수 있는 특징의 위치를 찾는 것이다. 특징점은 대응되는 영상에서도 물리적으로 동일한 곳에 위치하여야 하며, 다른 영상에서 해당 특징점이 찾아질 확률이 높아야 한다. 두 번째 과정은 이전 과정에서 찾은 특징점을 설명할 표현자를 만드는 과정이다. 표현자는 환경 변화에 불변하는 특징을 가져야 하며, 다른 특징점과 구분되어야 한다.
회전, 스케일에 강인한 표현자(특징점)를 사용함으로써 사전에 2차원 표적 모델에 대하여 다양한 방위에서 표현자를 추출하고, 이를 조합하여 표적모델을 표현할 수 있다. 그러나, 실제 표적 인식 기능을 수행할 때, 영상 전체 영역에 대하여 표현자를 추출하면, 원하는 표적영역에서 표현자들이 추출되지 않을 수 있는 문제가 있다. 또한, 불필요한 표현자들을 이용하여 학습된 표적 모델과 매칭을 수행하지 않기 때문에 정확도 측면에서 매우 비효율적이다.
한국공개특허 제10-2011-0129158호는 영상에서 객체의 후보 영역을 검출하는 방법에 대한 것으로서, 이 방법은 입력 영상의 적어도 하나의 프레임에 대응되는 돌출맵을 생성하고 이를 이용하여 영상에 포함된 객체의 후보 영역을 검출하는 방법을 개시하고 있다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 입력영상에 대해 배경 모델링을 통하여 표적 후보 영역을 추출함에 있어서, 잘못 추출된 표적 후보 영역을 제거하여 최종 표적 후보 영역들에 대해서만 특징점 추출을 수행하는 표적 검출 장치를 제안함을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 입력영상에 배경 모델링을 실행하여 배경 제거 영상을 획득하는 배경 모델링부와, 상기 배경 제거 영상에 대한 이진화 과정을 통해 1차 표적 후보 영역을 추출하는 1차 표적 후보 영역 추출부와, 연속적으로 획득되는 상기 입력영상들로부터 추출된 복수의 상기 1차 표적 후보 영역에 대해 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터를 이용하여 최종 표적 후보 영역을 확정하는 표적 후보 영역 결정부 및 상기 최종 표적 후보 영역에서 특징점을 추출하여 표적 인식 및 분류를 수행하는 표적 분류부를 포함하는 표적 검출 장치를 제안한다.
바람직하게는, 상기 배경 모델링은, 상기 입력영상에서 배경부분을 제거하여 1차 영상을 획득하고, 상기 1차 영상에서 표적 신호를 강조하여 2차 영상을 획득하며, 상기 2차 영상에 표적 존재 가능위치를 확률로 나타내어 확률맵이 부가된 상기 배경 제거 영상을 획득한다.
바람직하게는, 상기 배경 모델링부는, 상기 입력영상에 이차원 평균 필터를 적용하여 고주파 성분을 제거한 다음, 일차원 중간 필터를 적용하여 상기 입력영상 중 배경부분을 추출함으로써 상기 1차 영상을 획득하는 배경 제거부를 포함한다.
바람직하게는, 상기 배경 모델링부는, 상기 1차 영상에 일차원 가우시안 x축 방향 필터, 일차원 가우시안 y축 방향 필터를 순차적으로 적용하여 얻어지는 전자영상과, 상기 1차 영상에 이차원 평균 필터를 적용하여 얻어진 후자영상 간의 차를 구함으로써, 상기 배경 제거 영상에서 배경부분이 재차 제거된 상기 2차 영상을 획득하는 표적 신호 강조부를 포함한다.
바람직하게는, 상기 배경 모델링부는, 상기 2차 영상에 대해 정규화를 실행하여 표적 존재 가능 위치에 대한 확률값을 나타내는 확률맵을 생성하는 확률맵 생성부를 포함한다.
바람직하게는, 상기 1차 표적 후보 영역 추출부는, 상기 확률맵에 대해 미리 설정된 문턱값 레벨을 적용하여 표적영역과 배경영역을 구분하는 상기 이진화된 영상을 1차 표적 후보 영역으로서 획득한다.
바람직하게는, 상기 표적 후보 영역 결정부는, 복수의 상기 1차 표적 후보 영역들에 대해 위치를 추적하며 상기 1차 표적 후보 영역들의 위치 변화를 측정함으로써, 노이즈로 인해 잘못 추출된 표적 후보 영역을 제거한다.
바람직하게는, 상기 표적 분류부는, 상기 최종 표적 후보 영역을 상기 입력영상에 마스킹한 영상에서 상기 특징점을 추출한다.
바람직하게는, 상기 배경 모델링부는, 상기 일차원 중간 필터를 수평방향으로 적용한다.
또한, 본 발명은 입력영상에 배경 모델링을 실행하여 배경 제거 영상을 획득하는 단계와, 상기 배경 제거 영상에 대한 이진화 과정을 통해 1차 표적 후보 영역을 추출하는 단계와, 연속적으로 획득되는 상기 입력영상들에서 추출된 복수의 상기 1차 표적 후보 영역에 대해 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터를 이용하여 최종 표적 후보 영역을 확정하는 단계 및 상기 최종 표적 후보 영역에서 특징점을 추출하여 표적 인식 및 분류를 수행하는 단계를 포함한다.
본 발명은 복수의 프레임 동안 추출된 표적 후보 영역들의 움직임을 표적 후보 영역에 대해 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터를 이용하여 획득된 표적 후보 영역들에 대해서만 특징점 추출을 수행함으로 인해, 배경 모델링 과정에서 노이즈들로 인해 잘못 검출된 표적 후보 영역들을 제거함으로써, 최종 표적 후보 영역 검출의 효율을 높일 수 있다.
아울러, 표적 후보 영역을 제한함으로써 불필요한 영역에서 특징점이 추출되는 것을 방지하여 수행시간을 줄일 수 있고, 표적 영역 내에서 특징점을 추출하게 됨으로써, 표적 분류 및 인식 기능을 수행할 때 오류를 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 표적 검출 장치의 개략적인 구성을 도시하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 배경 모델링부의 개략적인 구성을 도시하는 블록도이다.
도 3은 본 발명의 일실시예에 따른 표적 검출을 위한 각 과정별 결과 영상을 도시한다.
도 4a 및 도 4b는 본 발명의 일실시예에 따른 배경 모델링 과정에서 이용되는 각 필터의 모양을 도시한다.
도 5는 본 발명의 실시예에 따라 칼만 필터를 통해 허구의 표적 후보 영역이 제거되는 과정의 일예를 도시한다.
도 6은 본 발명의 일실시 예에 따른 표적 검출을 위해 다수의 필터를 순차적으로 적용하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시 예에 따른 표적 검출 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명의 실시예를 설명하기에 앞서, 종래의 표적 검출 장치에 대한 특성과 문제점을 소개한 후, 이들 문제점을 해결하기 위해 본 발명의 실시예가 채택하고 있는 기술적 수단을 순차적으로 제시하도록 한다.
종래의 표적 검출 장치는 표적의 기동특성을 반영하여 영상의 변위 추정을 통한 표적 후보 영역을 탐지하고, 특징점들의 기하구조를 판단함으로써 표적 분류를 수행한다. 이를 위해, 두 영상 간의 차영상을 이용하여 이동표적 후보 영역을 추출한다. 구체적으로 두 영상의 변위를 측정하여 두 영상을 정렬한 뒤 차영상을 계산한다. 그러나 이러한 종래의 표적 검출 장치는 두 영상간의 차영상을 이용하다보니 순간적인 밝기 변화나 노이즈로 인해, 실제 표적영역이 아닌 영역이 표적 후보로 추출될 확률이 높은 문제가 있다. 이 경우 연산 수행이 비효율적이며, 잘못된 표적 분류나 표적 인식으로 인해 검출도 및 정확도가 떨어지는 문제점이 있다.
영상에서 2차원 표적 모델을 이용하여 자동 표적 인식을 구현하기 위해서는 표적 분류 성능을 보장할 수 있는 표현자의 사용이 필요하기 때문에 본 발명에서는 표현자를 추출하기에 앞서, 배경 모델링을 통해 배경을 제거하고, 복수의 프레임 동안 추출된 표적 후보 영역들의 움직임을 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터로 추적하여 잘못 추출된 표적 후보를 제거함으로써, 검출도 및 정확도가 상향된 최종 표적 후보 영역들에 대해서만 특징점 추출을 수행하는 기법을 제안한다.
본 발명에 의하면, 배경 모델링 과정에서 노이즈에 의해 잘못 검출된 표적 후보 영역에 대해서, 복수의 프레임 동안 추출된 표적 후보 영역들의 움직임을 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터로 추적함으로써 잘못 추출된 표적 후보를 제거함으로써, 최종 표적 후보 영역들에 대해서만 특징점 추출을 수행할 수 있다.
아울러, 표적 후보 영역을 제한함으로써 불필요한 영역에서 특징점이 추출됨으로 인한 수행시간을 줄일 수 있고, 정확도가 상향된 표적 후보 영역 내에서 특징점을 추출하게 되므로 표적 분류 및 인식 기능 시 오류를 줄일 수 있다. 즉, 표적 후보 영역을 제한하지 않고 전체영상에서 특징점을 추출하는 종래기술에 비해 수행시간을 단축시키고, 특징점 추출의 검출도 및 정확도를 높일 수 있다.
이하 본 발명에 대하여 자세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 표적 검출 장치의 개략적인 구성을 도시하는 블록도이고, 도 2는 본 발명의 일실시예에 따른 배경 모델링부의 개략적인 구성을 도시하는 블록도이며, 도 3은 본 발명의 일실시예에 따른 표적 검출을 위한 각 과정별 결과 영상을 도시하고, 도 4는 본 발명의 일실시예에 따른 배경 모델링 과정에서 이용되는 각 필터의 모양을 도시한다.
도 1을 참조하면, 본 발명의 일실시예에 따른 표적 검출 장치는 입력부(110), 배경 모델링부(120), 1차 표적 후보 영역 추출부(130), 표적 후보 영역 결정부(140), 표적 분류부(150), 제어부(160) 및 메모리(170)를 포함하여 구성된다.
입력부(110)는 촬영 디바이스에 의해 촬영된 영상을 전기적 신호로 변환하여 배경 모델링부(120)로 제공한다. 촬영 디바이스는 촬영을 위한 렌즈, 빛의 양을 조절하기 위한 조리개 등으로 구성될 수 있으며, 감시 카메라, 디지털 카메라, 휴대용 단말기 카메라 등 다양한 촬영장치를 이용할 수 있다.
배경 모델링부(120)는 표적 후보 영역 검출을 위한 사전 단계를 실행하는 역할로서, 입력영상에 배경 모델링을 실행하여 배경 제거 영상을 획득하기 위해 복수의 필터들을 순차적으로 적용한다.
이를 위해 배경 모델링부(120)는 입력영상에서 배경부분을 제거하여 1차 영상을 획득하고, 상기 1차 영상에서 표적 신호를 강조하여 2차 영상을 획득하며, 상기 2차 영상에 표적 존재 가능위치를 확률로 나타내어 확률맵이 부가된 배경 제거 영상을 획득한다.
구체적으로 배경 모델링부(120)는 도 2에 도시된 바와 같이 배경 제거부(121), 표적 신호 강조부(122) 및 확률맵 생성부(123)를 포함하여 구성된다.
배경 제거부(121)는 입력부(110)로부터 수신된 입력영상에 이차원 평균 필터를 적용하여 고주파 성분을 제거한 다음, 일차원 중간 필터를 적용하여 상기 영상 중 전체적으로 차지하고 있는 배경부분을 추출함으로써 배경이 제거된 1차 영상을 획득한다. 여기서 일차원 중간 필터는 영상의 수평방향으로 적용함이 바람직하다. 배경 제거부(121)에 의해 배경이 제거된 1차 영상은 도 3의 d에 해당하는 영상과 같다.
표적 신호 강조부(122)는 1차 영상 즉, 도 3의 d에 해당하는 영상에 일차원 가우시안 x축 방향 필터, 일차원 가우시안 y축 방향 필터를 순차적으로 적용하여 SNR(Signal to noise ratio)을 증가시켜 획득한 전자영상과, 상기 1차 영상에 이차원 평균 필터를 적용하여 획득한 후자 영상간의 차를 구함하여, 재차 영상의 배경부분을 제거함으로써, 표적 신호를 강조한다. 이에 의해 표적 신호가 강조된 2차 영상을 획득한다. 이 과정에서 가우시안 필터는 평균영상을 감산하면서 발생할 수 있는 표적신호의 감소를 줄여준다.
여기서, 도 4를 참조하여 배경 모델링 과정의 각 필터들의 모양을 살펴보면, 도 4a에 도시된 이차원 평균 필터의 경우, 3×3 크기이고, 전체의 합이 1이 되는 필터이다. 이와 같은 이차원 평균 필터는 영상의 노이즈를 줄여주는 역할을 한다.
도 4b에 도시된 일차원 중간 필터의 경우, 1차원 필터로 표적 예상 너비(expected target width)의 2.2배의 크기를 가진다. 해당 필터는 필터영역에 들어오는 픽셀값들 중 중간 값을 선택하여 필터링된 영상에 적용하는 역할을 수행한다. 영상 내에서 표적이나 차지하는 영역이 작은 물체들을 제외한 배경 부분을 추출하는 역할을 한다.
일차원 가우시안(x축 방향) 필터의 경우, 1차원 필터로 표적 예상 높이(expected target height)의 3/5배의 크기를 가진다. 필터를 생성하는 방법은 다음 수학식 1과 같다.
[수학식 1]
Figure 112017081052761-pat00001
여기서, GFX는 일차원 가우시안(x축 방향) 필터,
Figure 112017081052761-pat00002
, length는 일차원 가우시안 필터의 크기로서 표적 예상 높이(expected target height)의 3/5의 크기를 가진다.
일차원 가우시안(y축 방향) 필터의 경우, 일차원 가우시안(x축 방향) 필터를 전치해서 수학식 2와 같이 생성한다.
[수학식 2]
Figure 112017081052761-pat00003
여기서, GFY는 일차원 가우시안(y축 방향) 필터, GFX는 일차원 가우시안(x축 방향) 필터이며, GFY는 GFX의 행과 열을 변환하는 전치행렬(transpose)을 통해 획득한다.
상술한 두 일차원 가우시안 필터를 사용하여 노이즈를 크게 증가시키지 않으면서 SNR(signal to noise ratio)를 향상시킬 수 있다. 그리고, 도 3의 d 영상에 이차원 평균 필터(2D mean filter)를 적용하여 상기 일차원 가우시안 (y축 방향) 필터를 거친 영상과, 도 3의 d영상에 이차원 평균 필터를 적용한 영상 간의 차를 구함으로써, 다시 한 번 영상의 배경 부분을 제거함으로써, 표적 신호를 강조한다.
다시 도 2를 참조하여, 확률맵 생성부(123)는 표적 후보 영역 검출을 위한 이진화 과정이 용이하도록 2차 영상을 가공한다. 입력영상 내에는 배경의 평균 밝기보다 밝은 표적뿐 아니라 어두운 표적이 존재할 수 있다. 배경 제거 과정과 표적 신호 강조 과정에서 차 연산을 이용하여 모델링된 배경을 제거하게 되면 양수뿐만 아니라 음수 값도 나타날 수 있다. 이에 절대값을 취하여 양수로 변환하고 다시 0~1 사이의 값으로 정규화를 수행한다. 정규화된 값은 표적이 존재할 수 있는 위치에 대한 확률값을 나타내게 된다. 이와 같은 확률값을 나타내는 영상은 도 3의 i와 같다.
다시 말해, 확률맵 생성부(123)는 2차 영상에 대해 정규화를 실행하여 표적이 존재할 수 있는 위치 즉, 표적 존재 가능 위치에 대한 확률값을 나타내는 확률맵을 생성한다.
확률맵 생성부(123)에서 이용되는 절대 정규화(absolute & normalize) 필터의 경우, 입력 값에 절대값을 씌우고 정규화하는 동작을 수행하는 필터로서, 다음 도 수학식 3과 같다.
[수학식 3]
Figure 112017081052761-pat00004
여기서, I’(r,c)는 absolute 필터, I’‘(r,c)는 normalize 필터,
Figure 112017081052761-pat00005
Figure 112017081052761-pat00006
를 의미하며, image height는 입력영상의 높이이고, image width는 입력영상의 너비를 의미한다.
절대 정규화(absolute & normalize) 필터를 적용함으로써 추출된 표적 후보의 밝기(black or white)에 상관없이 0~1 값을 가지는 확률 이미지를 얻을 수 있다. 이 확률 이미지는 표적이 존재하는 확률 값을 나타내고 값이 크면 존재 확률이 높아진다.
절대 정규화(absolute & normalize) 필터를 제외하고, 상기 언급한 각 필터는 컨볼루션(convolution) 연산을 수행한다.
다시 도 1을 참조하여, 1차 표적 후보 영역 추출부(130)는 상기 배경 모델링 실행이 완료된 영상 즉, 확률맵을 갖는 배경 제거 영상에서 이진화 과정을 이용하여 1차 표적 후보 영역을 추출한다.
구체적으로, 1차 표적 후보 영역 추출부(130)는 확률맵 생성부(123)에 의해 생성된 도 3i의 확률맵에 대해 미리 설정된 문턱값 레벨을 적용하여 표적영역과 배경영역을 구분하는 이진화 영상을 획득한다. 상기 이진화 영상은 도 3의 j와 같이 획득된다. 이때, 노이즈로 인해 실제 표적영역이 아닌 위치 영역이 표적 후보 영역으로 추출될 수 있는데 이와 같은 문제를 해결하기 위해 다음 표적 후보 영역 결정부(140)에서 이를 해결하기 위한 솔루션을 제공한다.
표적 후보 영역 결정부(140)는 상기에서 추출된 1차 표적 후보 영역에서 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터를 이용하여 최종 표적 후보 영역을 확정한다. 여기서 상기 필터는 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터로서, 예를 들어 칼만(Kalman) 필터를 이용할 수 있다.
이를 위해, 표적 후보 영역 결정부(140)는 연속적으로 획득되는 영상들에 대한 복수의 상기 1차 표적 후보 영역들에 대해 위치를 추적하며 상기 1차 표적 후보 영역들의 위치 변화를 측정한다. 여기서, 연속적으로 획득되는 영상들에서 상기 1차 표적 후보 영역이 검출되지 않고 사라지는 경우, 잘못 검출된 영역으로 판단하고 상기 최종 표적 후보 영역에서 제거한다.
표적 분류부(150)는 최종 표적 후보 영역에서 특징점을 추출하고, 특징점 간의 윤곽 특징값을 계산하여 표적 인식 및 분류를 수행한다. 이를 위해, 표적 분류부(150)는 최종 표적 후보 영역을 입력영상에 마스킹한 영상 도 3의 l에서 상기 SURF(Speed Up Robust Features) 특징점을 추출한다.
여기서, SURF는 특징점을 추출하기 위한 수단으로서, 특징점 계산을 위해 가우시안 분포 헤시안(Hessian) 행렬을 사용하고, 이때 적분 영상을 사용하여 특징점을 추출한다. 이 SURF는 적분 이미지를 사용하기 때문에 위치를 변경하는 것만으로 필터 사이즈를 조절할 수 있고, 다운 샘플링(down sampling)하지 않기 때문에 에일리어싱(aliasing)이 없는 장점이 있다.
제어부(160)는 본 발명의 일실시예에 따른 영상에서 해상 이동표적을 검출하기 위한 표적 검출 장치(100)의 내부 구성 요소들(예를 들어, 입력부(110), 배경 모델링부(120), 1차 표적 후보 영역 추출부(130), 표적 후보 영역 결정부(140), 표적 분류부(150) 및 메모리(170) 등)을 제어하는 기능을 한다.
메모리(170)는 본 발명의 일실시예에 따른 영상에서 해상 이동표적을 검출하기 위한 다양한 알고리즘, 필터, 표적 검출 과정에서 생성되는 다양한 데이터 등을 저장한다.
도 5는 본 발명의 실시예에 따라 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터를 통해 유효하지 않은 즉, 허구의 표적 후보 영역이 제거되는 과정의 일 예를 도시한다.
배경 모델링 이후(N 영상) 획득한 표적 후보 영역은 실제 표적과 순간적인 노이즈로 인한 허구의 표적 후보들을 포함할 수 있다. 따라서 노이즈로 인해 발생할 수 있는 허구의 표적 후보들을 제거할 필요가 있다.
이를 위해 먼저 순차적으로 입력되는 다수의 입력영상에 대해 도 3의 a~j까지의 과정 즉, 배경 모델링 및 1차 표적 후보 영역 추출 과정을 반복하며 1차 표적 후보 영역을 추출한다. 그리고, 도 5에 도시된 바와 같이 추출된 1차 표적 후보 영역들의 위치를 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터로 추적하며 변화를 측정한다. 이 과정에서 다수의 영상동안 표적이 존재하지 않고 사라지는 경우는, 잘못 검출된 영역으로 판단하고 최종 후보 영역에서 제거한다. 이와 같은 방법에 의해 도 5의 N~N+4 영상동안 도면부호 501~504의 허구의 표적 후보 영상들을 제거하여 최종 후보 영역(505)을 확정함을 알 수 있다. 상술한 바와 같이 허구의 표적 후보 영상을 제거함으로써 특징점 추출 단계(도 3의 m)에서 불필요한 특징점을 추출하는 오류를 줄일 수 있다.
여기서, 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터는 예를 들어, 칼만 필터를 이용할 수 있다.
상술한 바와 같이 본 발명은 복수의 프레임 동안 추출된 표적 후보 영역들의 움직임을 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터로 추적하여 잘못 추출된 표적 후보를 제거함으로써 검출도 및 정확도가 상향된 표적 후보 영역들에 대해서만 특징점 추출을 수행함으로 인해, 배경 모델링 과정에서 노이즈들로 인해 잘못 검출된 표적 후보 영역들을 제거함으로써, 표적 후보 영역 검출의 효율을 높일 수 있다.
아울러, 표적 후보 영역을 제한함으로써 불필요한 영역에서 특징점이 추출되는 것을 방지하여 수행시간을 줄일 수 있고, 표적 영역 내에서 특징점을 추출하게 됨으로써, 표적 분류 및 인식 기능을 수행할 때 오류를 줄일 수 있다.
이하, 본 발명의 일실시 예에 따른 표적 검출 방법을 설명하기로 한다.
도 6은 본 발명의 일실시 예에 따른 표적 검출을 위해 다수의 필터를 순차적으로 적용하는 과정을 설명하기 위한 도면이고, 도 7은 본 발명의 일실시 예에 따른 표적 검출 방법을 설명하기 위한 순서도이다.
도 6 및 도 7을 참조하여 본 발명의 일실시 예에 따른 표적 검출 방법을 설명하기로 하고, 앞서 도 1 내지 도 5를 참조하여 개시한 동일한 구성에 대한 설명은 중복되므로 생략하기로 한다.
먼저, 입력영상에 배경 모델링을 실행하여 배경 제거 영상을 획득한다(S710). 배경 모델링을 실행하기 위해, 먼저 입력영상에 이차원 평균 필터를 적용하여 고주파 성분을 제거한 다음, 일차원 중간 필터를 적용하여 상기 영상 중 배경부분을 추출함으로써 배경이 제거된 1차 영상을 획득한다. 그리고, 상기 1차 영상에 일차원 가우시안 x축 방향 필터, 일차원 가우시안 y축 방향 필터를 순차적으로 적용하여 SNR을 증가시키고, 상기 1차 영상에 일차원 가우시안 x축 방향 필터, 일차원 가우시안 y축 방향 필터를 순차적으로 적용하여 얻어지는 전자영상과, 상기 1차 영상에 이차원 평균 필터를 적용하여 얻어진 후자영상 간의 차를 구함으로써, 상기 배경 제거 영상에서 배경부분이 재차 제거된 상기 2차 영상을 획득한다. 상기 2차 영상은 표적 신호가 강조된 영상이다.
다음으로, 배경 제거 영상에 대한 이진화 과정을 통해 1차 표적 후보 영역을 추출한다(S720). 구체적으로, 상기 확률맵에 대해 미리 설정된 문턱값 레벨을 적용하여 표적영역과 배경영역을 구분하는 이진화 영상을 획득한다. 이때, 노이즈로 인해 실제 표적영역이 아닌 위치 영역이 표적 후보 영역으로 추출될 수 있는데 이와 같은 문제를 해결하기 위해 다음 단계에서 이를 해결하기 위한 솔루션을 제공한다.
다음으로, 1차 표적 후보 영역에서 추정치를 반복적으로 추정하여 정확한 값을 유추하는 필터를 이용하여 최종 표적 후보 영역을 확정한다(S730). 이를 위해, 연속적으로 획득되는 영상들에 대한 복수의 상기 1차 표적 후보 영역들에 대해 위치를 추적하며 상기 1차 표적 후보 영역들의 위치 변화를 측정한다. 여기서, 연속적으로 획득되는 영상들에서 상기 1차 표적 후보 영역이 검출되지 않고 사라지는 경우, 잘못 검출된 영역으로 판단하고 상기 최종 표적 후보 영역에서 제거한다.
다음으로, 최종 표적 후보 영역에서 특징점을 추출하고, 특징점 간의 윤곽 특징값을 계산하여 표적 인식 및 분류를 수행한다(S740). 이를 위해, 최종 표적 후보 영역을 입력영상에 마스킹한 영상에서 특징점을 추출한다.
이를 위해, SURF(Speed Up Robust Features) 특징점을 추출할 수 있고, SURF 특징점 계산을 위해 가우시안 분포 헤시안(Hessian) 행렬을 사용하며, 이때 적분 영상을 사용하여 특징점을 추출한다. 이 SURF는 적분 이미지를 사용하기 때문에 위치를 변경하는 것만으로 필터 사이즈를 조절할 수 있고, 다운 샘플링(down sampling)하지 않기 때문에 에일리어싱(aliasing)이 없는 장점이 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 입력영상에 배경 모델링을 실행하여 배경 제거 영상을 획득하는 배경 모델링부;
    상기 배경 제거 영상에 대한 이진화 과정을 통해 1차 표적 후보 영역을 추출하는 1차 표적 후보 영역 추출부;
    연속적으로 획득되는 상기 입력영상들로부터 추출된 복수의 상기 1차 표적 후보 영역에 대해 칼만필터를 적용하여 최종 표적 후보 영역을 확정하는 표적 후보 영역 결정부; 및
    상기 최종 표적 후보 영역에서 특징점을 추출하여 표적 인식 및 분류를 수행하는 표적 분류부;를 포함하고,
    상기 배경 모델링부는,
    상기 입력영상에 이차원 평균 필터를 적용하여 고주파 성분을 제거한 다음, 일차원 중간 필터를 적용하여 상기 입력영상 중 배경부분을 제거하여 1차 영상을 획득하고, 상기 1차 영상에 일차원 가우시안 x축 방향필터, 일차원 가우시안 y축 방향 필터를 순차적으로 적용하여 얻어지는 전자영상과, 상기 1차 영상에 이차원 평균 필터를 적용하여 얻어진 후자영상 간의 차를 구함으로써, 상기 배경 제거 영상에서 배경부분이 재차 제거되어 표적신호를 강조하는 2차 영상을 획득하며, 상기 2차 영상에 대해 절대 정규화 필터를 적용하여 표적존재 가능위치에 대한 확률값을 나타내는 확률맵이 부가된 상기 배경 제거 영상을 획득하는 것을 특징으로 하는 표적 검출 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 표적 후보 영역 결정부는,
    복수의 상기 1차 표적 후보 영역들에 대해 위치를 추적하며 상기 1차 표적 후보 영역들의 위치 변화를 측정함으로써, 노이즈로 인해 잘못 추출된 표적 후보 영역을 제거하는 것을 특징으로 하는 표적 검출 장치.
  8. 제 7 항에 있어서,
    상기 표적 후보 영역 결정부는,
    상기 연속적으로 획득되는 입력영상들로부터 상기 1차 표적 후보 영역이 검출되지 않고 사라지는 경우, 잘못 검출된 영역으로 판단하고 상기 최종 표적 후보 영역에서 제거하는 것을 특징으로 하는 표적 검출 장치.
  9. 제 1 항에 있어서,
    상기 표적 분류부는,
    상기 최종 표적 후보 영역을 상기 입력영상에 마스킹한 영상에서 상기 특징점을 추출하는 것을 특징으로 하는 표적 검출 장치.
  10. 제 1 항에 있어서,
    상기 배경 모델링부는,
    상기 일차원 중간 필터를 수평방향으로 적용하는 것을 특징으로 하는 표적 검출 장치.
  11. 입력영상에 배경 모델링을 실행하여 배경 제거 영상을 획득하는 단계;
    상기 배경 제거 영상에 대한 이진화 과정을 통해 1차 표적 후보 영역을 추출하는 단계;
    연속적으로 획득되는 상기 입력영상들에서 추출된 복수의 상기 1차 표적 후보 영역에 대해 칼만필터를 적용하여 최종 표적 후보 영역을 확정하는 단계; 및
    상기 최종 표적 후보 영역에서 특징점을 추출하여 표적 인식 및 분류를 수행하는 단계;를 포함하고,
    상기 배경 모델링을 실행하는 단계는,
    상기 입력영상에 이차원 평균 필터를 적용하여 고주파 성분을 제거한 다음, 일차원 중간 필터를 적용하여 상기 입력영상 중 배경부분을 제거하여 1차 영상을 획득하는 단계;
    상기 1차 영상에 일차원 가우시안 x축 방향필터, 일차원 가우시안 y축 방향 필터를 순차적으로 적용하여 얻어지는 전자영상과, 상기 1차 영상에 이차원 평균 필터를 적용하여 얻어진 후자영상 간의 차를 구함으로써, 상기 배경제거영상에서 배경부분이 재차 제거되어 표적신호를 강조하는 2차 영상을 획득하는 단계; 및
    상기 2차 영상에 대해 절대 정규화 필터를 적용하여 표적존재 가능위치에 대한 확률값을 나타내는 확률맵이 부가된 상기 배경제거영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 표적 검출 방법.
  12. 제 11 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170106000A 2017-08-22 2017-08-22 표적 검출 장치 및 방법 KR101829386B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170106000A KR101829386B1 (ko) 2017-08-22 2017-08-22 표적 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170106000A KR101829386B1 (ko) 2017-08-22 2017-08-22 표적 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101829386B1 true KR101829386B1 (ko) 2018-02-14

Family

ID=61229611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170106000A KR101829386B1 (ko) 2017-08-22 2017-08-22 표적 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101829386B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186751B1 (ko) 2019-09-05 2020-12-04 주식회사 아이에스피디 객체 검출을 이용한 클래시피케이션의 다중 인식 및 인식률 개선 장치 및 방법
KR20220055127A (ko) * 2020-10-26 2022-05-03 엘아이지넥스원 주식회사 배경 모델링 및 이진화를 통한 적외선 영상의 표적 탐지 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
KR101533925B1 (ko) * 2014-05-20 2015-07-03 한양대학교 에리카산학협력단 적외선 영상에서 소형 표적 검출 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
KR101533925B1 (ko) * 2014-05-20 2015-07-03 한양대학교 에리카산학협력단 적외선 영상에서 소형 표적 검출 방법 및 그 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102186751B1 (ko) 2019-09-05 2020-12-04 주식회사 아이에스피디 객체 검출을 이용한 클래시피케이션의 다중 인식 및 인식률 개선 장치 및 방법
KR20220055127A (ko) * 2020-10-26 2022-05-03 엘아이지넥스원 주식회사 배경 모델링 및 이진화를 통한 적외선 영상의 표적 탐지 장치 및 방법
KR102456019B1 (ko) 2020-10-26 2022-10-18 엘아이지넥스원 주식회사 배경 모델링 및 이진화를 통한 적외선 영상의 표적 탐지 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101988384B1 (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP4855556B1 (ja) 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
US9773322B2 (en) Image processing apparatus and image processing method which learn dictionary
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
EP2783328B1 (en) Text detection using multi-layer connected components with histograms
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
US20020051578A1 (en) Method and apparatus for object recognition
US20130147977A1 (en) Iris deblurring method based on global and local iris image statistics
US11049256B2 (en) Image processing apparatus, image processing method, and storage medium
WO2013025220A1 (en) Image sharpness classification system
JP2000105829A (ja) 顔パーツ検出方法及びその装置
CN106469455B (zh) 图像处理方法、图像处理设备以及记录介质
JP6157165B2 (ja) 視線検出装置及び撮像装置
Safaei et al. Real-time search-free multiple license plate recognition via likelihood estimation of saliency
TW201432620A (zh) 具有邊緣選擇功能性之影像處理器
KR101829386B1 (ko) 표적 검출 장치 및 방법
US20120121189A1 (en) Image processing device, image processing method, program, and integrated circuit
US11341762B2 (en) Object detection device, object detection system, object detection method, and recording medium having program recorded thereon
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
CN111104857A (zh) 一种基于步态能量图的身份识别方法及系统
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法
JP2009076094A (ja) 移動物体監視装置
CN112329572B (zh) 一种基于边框和闪光点的快速静态活体检测方法及装置
US20160364604A1 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant