KR101200974B1 - 영상 표적 추출 시스템, 장치 및 방법 - Google Patents

영상 표적 추출 시스템, 장치 및 방법 Download PDF

Info

Publication number
KR101200974B1
KR101200974B1 KR1020100115648A KR20100115648A KR101200974B1 KR 101200974 B1 KR101200974 B1 KR 101200974B1 KR 1020100115648 A KR1020100115648 A KR 1020100115648A KR 20100115648 A KR20100115648 A KR 20100115648A KR 101200974 B1 KR101200974 B1 KR 101200974B1
Authority
KR
South Korea
Prior art keywords
image
roi
target
interest
region
Prior art date
Application number
KR1020100115648A
Other languages
English (en)
Other versions
KR20120054325A (ko
Inventor
이승연
곽동민
성기열
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020100115648A priority Critical patent/KR101200974B1/ko
Publication of KR20120054325A publication Critical patent/KR20120054325A/ko
Application granted granted Critical
Publication of KR101200974B1 publication Critical patent/KR101200974B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 영상 표적 추출 시스템은 동일 시간과 동일 장면의 원본 영상을 서로 다른 주파수 대역으로 획득하는 복수의 영상 센서, 차영상을 이용한 관심 영역 검출법에 따라 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리한 후 상기 영상 처리된 각 처리 영상을 합성하여 하나의 통합 영상을 생성하고 상기 통합 영상으로부터 관심 영역(ROI, Region Of Interest)을 추출하는 관심 영역 추출기 및 상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상과 상기 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성하고, 상기 통합 영상에서 상기 관심 영역의 인접도 영상을 상기 매칭 영상과 합쳐 상기 관심 영역에서 표적과 배경을 분할하고 상기 표적을 추출하는 표적 분할기를 포함함으로써, 영상 내에서 표적을 정확하게 추출할 수 있다.

Description

영상 표적 추출 시스템, 장치 및 방법{SYSTEM, APPARATUS AND METHOD FOR EXTRACTING A TARGET IN IMAGES}
본 발명은 영상 표적 추출 시스템, 장치 및 방법에 관한 것으로서, 보다 상세하게는 서로 다른 주파수 대역을 갖는 복수의 영상 센서로부터 동일 시간에 획득된 동일 장면의 영상을 통합 처리함으로써 영상 내에서 표적을 정확하게 추출할 수 있는 영상 표적 추출 시스템, 장치 및 방법에 관한 것이다.
전장 상황에서 발생하는 많은 정보를 빠르게 입수하고, 판단하며 대응하는 능력은 전장에서의 주도권 확보를 위해 매우 중요하다. 하지만 실제 전장 상황에서 사람의 피로에 따른 인식능력 저하, 불확실성, 반응속도 지연 등으로 지속적으로 신속하고 정확한 임무를 수행하는데 한계가 있다. 이에 따라 사람이 행하는 많은 부분을 자동화하거나 보조적 차원에서 자동으로 표적을 탐지하고 인식하는 기능에 대한 중요성이 대두되고 있다. 이와 관련하여 선진국을 중심으로 자동표적인식(ATR : Automatic Target Recognition)시스템에 관한 연구가 활발하게 진행되어 왔다.
자동표적인식을 위해서는 다양한 센서가 활용되는데 특히 영상 센서를 사용하는 자동표적인식 시스템에 있어 표적을 인식하기 위해 사용하는 정보로서 표적의 윤곽선, 색상 및 밝기정보가 많이 활용되어 왔다.
표적의 밝기값 정보는 주변 환경에 따라 쉽게 변화되어 그 특징의 견실성이 높지 않고, 국부적 특징은 표적의 크기가 작을 경우 그 특징이 추출되지 못할 수도 있는 반면 표적의 윤곽선은 환경에 따라 쉽게 변하지 않으며 표적과의 거리가 먼 경우에도 해당 표적을 비교적 잘 표현해 주므로 대부분의 자동표적인식 시스템에서 널리 사용되고 있다.
상기와 같이 영상에서 표적의 윤곽선을 찾는 문제는 표적과 배경의 차이가 뚜렷한 경우 쉽게 윤곽선을 추출할 수 있으나 대부분의 실제 적외선 영상의 경우 표적내부의 온도분포가 균일하지 않으며 배경과 유사한 온도분포 특성을 가지는 영역이 존재하므로 윤곽선 추출이 쉽지 않다. 가시광 영상을 이용하는 경우에서도 표적과 배경이 유사한 색 분포를 가질 경우 윤곽선 추출이 쉽지 않다.
본 발명은 서로 다른 주파수 대역을 갖는 복수의 영상 센서로부터 동일 시간에 획득된 동일 장면의 영상을 통합 처리함으로써 영상 내에서 표적을 정확하게 추출할 수 있는 영상 표적 추출 시스템, 장치 및 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 영상 표적 추출 시스템은 동일 시간과 동일 장면의 원본 영상을 서로 다른 주파수 대역으로 획득하는 복수의 영상 센서, 차영상을 이용한 관심 영역 검출법에 따라 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리한 후 상기 영상 처리된 각 처리 영상을 합성하여 하나의 통합 영상을 생성하고 상기 통합 영상으로부터 관심 영역(ROI, Region Of Interest)을 추출하는 관심 영역 추출기 및 상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상과 상기 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성하고, 상기 통합 영상에서 상기 관심 영역의 인접도 영상을 상기 매칭 영상과 합쳐 상기 관심 영역에서 표적과 배경을 분할하고 상기 표적을 추출하는 표적 분할기를 포함할 수 있다.
한편, 본 발명의 관심 영역 추출 장치는 서로 다른 주파수 대역으로 동일 시간에 동일 장면의 원본 영상을 획득하는 복수의 영상 센서로부터 상기 각 원본 영상을 전달받는 영상 수신부, 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리하여 처리 영상을 생성하는 영상 처리부, 상기 각 처리 영상을 합성하여 하나의 통합 영상을 생성하는 영상 통합부 및 상기 통합 영상으로부터 관심 영역을 추출하는 관심 영역 추출부를 포함할 수 있다.
이때, 상기 영상 센서는 가시광 센서, MWIR(Middle Wave Infrared) 센서, LWIR(Long Wave Infrared) 센서 중 적어도 2가지를 포함할 수 있다.
또한, 상기 영상 센서는 적어도 가시광 센서를 포함하고, 상기 영상 처리부는 상기 영상 처리의 전처리로서 상기 가시광 센서로부터의 영상을 그레이 스케일로 변환할 수 있다.
또한, 상기 영상 통합부는 상기 각 처리 영상을 OR 연산함으로써 상기 통합 영상을 생성할 수 있다.
또한, 상기 관심 영역 추출부는 상기 통합 영상 내에서 가장 큰 영역을 포함하는 최소 사각형을 기준으로 10%에서 30%까지의 한 값의 여유 영역을 포함하는 사각형을 상기 관심 영역으로 추출할 수 있다.
한편, 본 발명의 영상 표적 추출 장치는 서로 다른 주파수 대역의 복수의 영상 센서로부터 획득된 동일 시간과 동일 장면의 각 원본 영상의 통합 영상에 차영상을 이용한 관심 영역 추출법을 적용하여 추출된 관심 영역의 인접도 영상을 생성하는 인접도 영상 생성부, 상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상을 생성하는 유사도 영상 생성부, 상기 차영상을 이용한 관심 영역 추출법에서 상기 각 원본 영상에 적용될 영상 처리의 완료로 생성된 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 추출하는 처리 영상 추출부, 상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭 및 합성시켜 매칭 영상을 생성하고 상기 매칭 영상과 상기 인접도 영상을 합성하여 통합 관심 영역 영상을 생성하는 관심 영역 통합부 및 상기 통합 관심 영역 영상에서 표적과 배경을 분할하고 상기 표적을 추출하는 표적 분할부를 포함할 수 있다.
이때, 상기 관심 처리 영상은 상기 통합 영상의 관심 영역의 영상과 교집합 처리된 것일 수 있다.
또한, 상기 인접도 영상 생성부는 다음의 수학식에 의해 상기 인접도 영상(A(x,y))을 생성할 수 있다.
Figure 112010075799428-pat00001
여기서, D(x,y)는 Ierode 영상을 기준으로 거리변환 수행시 거리변환 대상 픽셀(x1,y1)과 가장 가까운 거리의 픽셀(x2,y2) 사이의 유클리디안 거리이고,
Figure 112010075799428-pat00002
이며,
Imask는 통합 영상에서 추출된 관심 영역의 영상이고,
E는 구조 요소(structuring element)이다.
또한, 상기 유사도 영상 생성부는 다음의 수학식에 의해 상기 유사도 영상(C(x,y))을 생성할 수 있다.
Figure 112010075799428-pat00003
여기서,
Figure 112010075799428-pat00004
이고,
μ는 원본 영상에서 관심 영역에 대응되는 영역의 영상에서의 픽셀값의 평균이며,
R(x,y)는 관심 영역에 대응되는 영역에서의 영상이다.
또한, 상기 처리 영상 추출부는 다음의 수학식에 의해 상기 관심 처리 영상(O(x,y))를 생성 추출할 수 있다.
Figure 112012085715913-pat00059
여기서, R(x,y,t)는 t시점에서 관심 영역에 대응되는 영역에서의 영상이고,
Δt는 프레임 간격이며,
Figure 112010075799428-pat00006
이고,
Figure 112010075799428-pat00007
이며,
Figure 112010075799428-pat00008
이고,
g는 (x,y) 좌표에서의 픽셀값이며,
p(g)는 확률밀도함수이고,
P(T)는 T값까지의 확률누적함수이다.
또한, 상기 관심 영역 통합부는, 상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭 및 합성시켜 매칭 영상을 생성하는 제1 통합부 및 상기 매칭 영상과 상기 인접도 영상을 합성하여 통합 관심 영역 영상을 생성하는 제2 통합부를 포함할 수 있다.
이때, 상기 제1 통합부는 다음의 수학식에 의해 상기 매칭 영상(S(x,y))을 생성할 수 있다.
Figure 112010075799428-pat00009
여기서, O(x,y)는 관심 처리 영상이고,
C(x,y)는 유사도 영상이다.
또한, 상기 제2 통합부는 상기 매칭 영상과 상기 인접도 영상별로 가중치(wn)를 곱한 후 가산하여 상기 통합 관심 영역 영상을 생성할 수 있다.
이때, 상기 제2 통합부는 다음의 수학식에 의해 상기 통합 관심 영역 영상(
Figure 112010075799428-pat00010
)을 생성할 수 있다.
Figure 112010075799428-pat00011
여기서,
Figure 112010075799428-pat00012
이고,
0≤wn≤1이며,
Ssem -1은 제m-1 영상 센서의 매칭 영상이고,
m은 2 이상의 정수이다.
또한, 상기 표적 분할부는 멤버십 함수의 히스토그램을 이용한 문턱값으로부터 표적을 추출할 수 있다.
한편, 본 발명의 영상 표적 추출 방법은 복수의 영상 센서를 통하여 동일 시간과 동일 장면의 원본 영상을 서로 다른 주파수 대역으로 획득하는 단계, 차영상을 이용한 관심 영역 검출법에 따라 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리하여 처리 영상을 생성하는 단계, 상기 처리 영상을 합성하여 하나의 통합 영상을 생성하는 단계, 상기 차영상을 이용한 관심 영역 검출법에 따라 상기 통합 영상으로부터 관심 영역(ROI, Region Of Interest)을 추출하는 단계, 상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상을 생성하고, 상기 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 생성하는 단계, 상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성하는 단계, 상기 통합 영상에서 상기 관심 영역의 인접도 영상을 생성하는 단계, 상기 인접도 영상과 상기 매칭 영상을 합쳐 통합 관심 영역 영상을 생성하는 단계 및 상기 통합 관심 영역 영상에서 표적과 배경을 분할하고 상기 표적을 추출하는 단계를 포함할 수 있다.
이상에서 설명된 바와 같이 본 발명의 영상 표적 추출 시스템, 장치 및 방법은 서로 다른 주파수 대역을 갖는 복수의 영상 센서로부터 동일 시간에 획득된 동일 장면의 영상을 통합한 상태에서 관심 영역을 추출함으로써 단일 센서를 사용하였을 경우보다 정확한 표적의 형태가 포함된 관심 영역의 추출이 가능하다.
또한, 유사도 영상, 인접도 영상을 이용하여 상기 관심 영역의 영상에서 배경과 표적을 정확하게 분할시킴으로써 표적을 배경으로부터 정확하고 신뢰성 있게 추출할 수 있다.
도 1은 본 발명의 영상 표적 추출 시스템을 나타낸 블럭도.
도 2는 본 발명의 관심 영역 추출 장치를 나타낸 블럭도.
도 3은 본 발명의 영상 표적 추출 장치를 나타낸 블럭도.
도 4는 본 발명의 영상 표적 추출 시스템에서 관심 영역을 추출하는 과정을 나타내는 개략도.
도 5는 도 4에서 추출된 관심 영역에서 표적을 배경으로부터 분할하여 추출하는 과정을 나타내는 개략도.
도 6은 표적과 배경이 유사한 색 분포를 가지는 상태에서 본 발명의 영상 표적 추출 시스템에서 관심 영역을 추출하는 과정을 나타내는 개략도.
도 7은 도 6에서 추출된 관심 영역에서 표적을 배경으로부터 분할하여 추출하는 과정을 나타내는 개략도.
도 8은 표적이 배기가스를 배출하는 상태에서 본 발명의 영상 표적 추출 시스템에서 관심 영역을 추출하는 과정을 나타내는 개략도.
도 9는 도 8에서 추출된 관심 영역에서 표적을 배경으로부터 분할하여 추출하는 과정을 나타내는 개략도.
도 10은 본 발명의 영상 표적 추출 방법을 나타낸 흐름도.
이하, 본 발명의 영상 표적 추출 시스템, 장치 및 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다.
도 1은 본 발명의 영상 표적 추출 시스템을 나타낸 블럭도이다.
도 1에 도시된 영상 표적 추출 시스템은 동일 시간과 동일 장면의 원본 영상을 서로 다른 주파수 대역으로 획득하는 복수의 영상 센서(100), 차영상을 이용한 관심 영역 검출법에 따라 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리한 후 상기 영상 처리된 각 처리 영상을 합성하여 하나의 통합 영상을 생성하고 상기 통합 영상으로부터 관심 영역(ROI, Region Of Interest)을 추출하는 관심 영역 추출기(200) 및 상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상과 상기 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성하고, 상기 통합 영상에서 상기 관심 영역의 인접도 영상을 상기 매칭 영상과 합쳐 상기 관심 영역에서 표적과 배경을 분할하고 상기 표적을 추출하는 표적 분할기(300)를 포함하고 있다.
영상 센서(100)는 일정 장면을 투영하여 표시할 수 있는 데이터로 변환하는 요소로, 촬영 장치의 핵심에 해당한다. 영상 센서는 투사되는 빛의 파장(주파수) 대역을 취사 선택함으로써 가시광을 촬영하거나 적외선 영상을 촬영할 수 있다.
가시광을 촬영하는 영상 센서는 0.4 ~ 0.7㎛ 대역의 파장을 이용하고, MWIR(Middle Wave Infrared) 센서는 3 ~ 5㎛ 대역의 파장을 이용하며, LWIR(Long Wave Infrared) 센서는 8 ~ 13㎛ 대역의 파장을 이용한다. SWIR(Short Wave Infrared)는 가시광에 근접하는 파장을 이용하고 있으나 촬영 거리가 짧으므로 사용 환경에 따라 적용이 제한될 수 있다.
본 실시예에서는 서로 다른 주파수 대역을 갖는 복수의 영상 센서가 구비되고 있다. 예를 들어 영상 센서가 2개 구비된 경우 그 중 하나는 가시광을 촬영하는 CCD(Charge Coupled Cevice) 센서이고, 다른 하나는 LWIR 또는 MWIR을 이용하는 적외선 센서일 수 있다. 정확성 향상을 위해 CCD 센서를 복수로 구비하고, 적외선 센서 또한 복수로 구비할 수도 있다.
복수의 영상 센서는 서로 다른 주파수 대역을 갖기 때문에 촬영 조건에 해당하는 동일 시간 및 동일 장면을 만족하여 촬영한 경우라도 출력 결과가 서로 다를 수 있다. 부가적으로 촬영 조건에는 동일한 촬영 속도(프레임간 시간) 또한 포함될 수 있다.
관심 영역 추출기(200)는 차영상을 이용한 관심 영역 검출법에 따라 관심 영역을 추출한다. 다만, 서로 다른 주파수 대역을 갖는 복수의 영상 센서로부터 획득한 원본 영상을 대상으로 하는 관계로 중간에 통합 절차가 요구된다.
먼저, 관심 영역 추출기는 각 영상 센서로부터 획득한 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리한다. 이렇게 영상 처리된 영상을 처리 영상이라 할 때, 처리 영상의 수는 원본 영상의 수와 동일하다. 원본 영상의 수는 가동된 영상 센서의 수와 같으므로 결과적으로 처리 영상의 수는 가동된 영상 센서의 수와 동일하다.
이후, 관심 영역 추출기는 복수의 처리 영상을 합성하여 하나의 통합 영상을 생성하고 차영상을 이용한 관심 영역 검출법의 나머지 과정, 예를 들어 모폴로지 연산과 레이블링을 이용하여 표적에 해당하는 표적 영역을 선정하고 여유분을 추가하여 관심 영역(ROI, Region Of Interest)을 추출한다. 관심 영역은 표적 영역을 포함하는 최소 사각형을 기준으로 적당한 여유분을 두고 생성한 사각형 내의 영역이다.
추출이 가능한 표적 영역 대신 여유분을 갖는 관심 영역을 추출하는 것은 관심 영역 추출기에서 추출 가능한 표적 영역에 클러터(clutter)가 반영된 상태인 관계로 상기 표적 영역이 정확한 표적 형상을 나타내는 것이 아니기 때문이다.
따라서, 표적 영역 대신 여유분을 갖는 관심 영역을 추출한 후, 관심 영역의 영상을 추가 처리함으로써 클러터의 영향이 최소화된 정확한 표적을 추출하게 된다. 이러한 과정은 표적 분할기(300)에서 수행된다.
표적 분할기(300)는 각 영상 센서의 원본 영상에서 관심 영역 추출기에서 추출된 관심 영역에 대응되는 영역의 유사도 영상을 생성한다. 또한 표적 분할기는 관심 영역 추출기에서 각 원본 영상에 대해 차영상을 이용한 관심 영역 검출법을 적용하여 얻은 각 처리 영상에서 상기 관심 영역에 대응되는 영역에 해당하는 관심 처리 영상을 생성한다. 이때 관심 처리 영상은 상기 처리 영상에서 관심 영역에 대응되는 영역의 영상을 추출하는 것에 의해 생성될 수 있다. 또한, 표적 분할기는 통합 영상에서 관심 영역의 인접도 영상을 생성한다. 통합 영상이 하나이므로 인접도 영상도 하나만 생성된다.
이후, 표적 분할기는 각 유사도 영상과 각 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성한다. 매칭 영상의 수는 영상 센서의 수와 동일하다. 예를 들어 제1 매칭 영상은 제1 영상 센서의 제1 처리 영상 및 제1 유사도 영상을 합쳐 생성된다. 즉, 동일한 영상 센서의 원본 영상을 이용하는 처리 영상과 유사 영상이 합쳐져 매칭 영상이 생성된다.
이후, 표적 분할기는 복수의 매칭 영상과 인접도 영상을 합쳐 통합 관심 영역 영상을 생성하고 통합 관심 영역 영상에서 표적과 배경을 분할하고 표적을 추출한다.
관심 영역 추출기(200)와 표적 분할기(300)에 대하여 보다 상세하게 살펴본다.
도 2는 본 발명의 관심 영역 추출 장치를 나타낸 블럭도이다. 도 2에 도시된 관심 영역 추출 장치는 도 1의 관심 영역 추출기일 수 있다.
도시된 관심 영역 추출 장치는 서로 다른 주파수 대역으로 동일 시간에 동일 장면의 원본 영상을 획득하는 복수의 영상 센서로부터 상기 각 원본 영상을 전달받는 영상 수신부(210), 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리하여 처리 영상을 생성하는 영상 처리부(230), 상기 각 처리 영상을 합성하여 하나의 통합 영상을 생성하는 영상 통합부(250) 및 상기 통합 영상으로부터 관심 영역을 추출하는 관심 영역 추출부(270)를 포함하고 있다.
영상 수신부(210)는 각 영상 센서에서 획득한 원본 영상(도 4(a), 4(b)을 전달받는 요소이다. 영상 센서가 별도로 마련되는 카메라의 요소일 경우 상기 카메라에서 처리된 신호를 전달받아 영상 처리부에서 처리 가능한 데이터로 변환할 수 있다. 이때, 영상 센서는 가시광 센서, MWIR(Middle Wave Infrared) 센서, LWIR(Long Wave Infrared) 센서 중 적어도 2가지를 포함할 수 있다.
영상 처리부(230)는 영상 수신부로부터 원본 데이터를 받아 차영상을 이용한 관심 영역 추출법에 따라 프레임간 정합, 차영상 생성, 이진화 처리를 순서대로 수행한다. 만약, 영상 센서에 가시광 센서가 포함될 경우 영상 처리부는 영상 처리(프레임간 정합, 차영상 생성, 이진화)의 전처리로서 상기 가시광 센서로부터의 영상을 그레이 스케일로 변환하는 처리(도 4(a))를 수행할 수 있다. 한편, 영상 센서에서 그레이 스케일로 변환된 원본 영상을 전달해올 수도 있다. 이때는 원본 영상을 그대로 이용하면 된다.
차영상을 이용할 경우 영상 센서가 고정되어 있어야 표적에 해당하는 부분을 정확하게 추출할 수 있으나 실 상황에서는 외란 및 안정화 장비 사용시 자이로 센서 드리프트 등으로 이전 프레임과 현재 프레임간의 영상에 차이가 발생할 수 있다. 따라서, 프레임간 정합이 필요하며 이를 위해 다양한 부화소단위 정합 기법이 적용될 수 있다. 예를 들어 푸리에(Fourier) 변환을 이용한 부화소 단위 정합 기법(M. Guizar-Sicairos, S. T. Thurman, J. R. Fienup, "Efficient Subpixel Image Registration Algorithms", Optical Society of America, Vol.33, No.2, pp.156~158, 2008.)을 사용하여 프레임간 정합이 가능하다.
부화소 단위의 정합된 영상에서 Δt 간격의 영상차를 구한 후 영상의 이진화 작업을 수행한다(도 4(c), 4(d)). 이때 영상차의 결과인 차영상에서 각 픽셀의 값은 픽셀의 절대값 차이를 이용하는 Otsu 기법, Kapur 기법, Kittler 기법 등의 다양한 이진화 기법이 사용될 수 있다.
예를 들어 Kapur의 Entropy Thresholding 기법(Mehmet Sezgin, Bulent Sankur, "Survey Over Image Thresholding Techniques and Quantitative Performance Evaluation", Journal of Electronic Imaging, Vol.13, No.1, pp.146~165, 2004. Paul L. Rosin, Efstathios Ioannidis, "Evaluation of Global Image Thresholding for Change Detection", Pattern Recognition Letters, Vol.24, pp.2345~2356, 2003. J. N. Kapur, P. K. Sahoo, A. K. C. Wong, "A New Method for Gray-Level Picture Thresholding using the Entropy of the Histogram", Computer Vision, Graphics, and Image Processing Vol.29, pp.273~285, 1985.)에 따르면 최적 Threshold값(Topt)은 다음의 수학식 1과 같이 결정된다.
Figure 112010075799428-pat00013
여기서,
Figure 112010075799428-pat00014
이고,
Figure 112010075799428-pat00015
이며,
g는 (x,y) 좌표에서의 픽셀값이고,
p(g)는 확률밀도함수이며,
P(T)는 T값까지의 확률누적함수이다.
수학식 1의 연산을 통해 이진화된 영상 B(x,y)는 다음의 수학식 2와 같다.
Figure 112010075799428-pat00016
여기서, f(x,y,t)는 t시점에서의 영상이고,
Δt는 프레임 간격이다.
수학식 2에 의해 연산된 이진 영상 B(x,y)가 처리 영상에 해당한다. 이와 같은 처리 영상은 영상 센서의 수만큼 생성된다.
영상 통합부(250)는 각 처리 영상을 합성하여 하나의 영상(If1)(도 4(e))을 생성한다. 설명의 편의를 위해 도 4에서와 같이 가시광 영상 센서 1개와 적외선 영상 센서 1개를 이용하는 경우를 예로 들어 설명한다.
Figure 112010075799428-pat00017
여기서, If1은 각 처리 영상을 합성한 영상이고,
Bsensor1은 제1 영상 센서(가시광 영상 센서)에서 추출된 차영상의 이진 영상이며,
Bsensor2는 제2 영상 센서(적외선 영상 센서)에서 추출된 차영상의 이진 영상이다.
수학식 3을 통해 처리된 영상 If1은 각 영상 센서의 차영상 부분을 동시에 사용함으로써 단일 영상 센서를 이용할 때에 비하여 견실한 표적 영역의 추출이 가능하다.
이때의 영상 If1은 표적 영역의 일부분만 나타나게 되므로 영상 통합부는 픽셀의 군집화를 위하여 수학식 4의 모폴로지 연산(팽창 연산)을 통해 확장된 영역의 영상 If2(도 4(f))를 생성할 수 있다(R. C. Gonzalez and R. E. Woods, "Digital Image Processing", Addision-Wesley, 1993.).
Figure 112010075799428-pat00018
여기서, E는 구조 요소(structuring element)이다.
수학식 4에 의해 얻어진 영상 If2는 표적 영역의 내부에 구멍(hole)이 존재할 수 있으며, 이를 채우기 위해 모폴로지 연산 기반의 재구성(morphological reconstruction) 방법(Soille, P., "Morphological Image Analysis : Principles and Applications", Springer-Verlag, pp.173~174, 1999.)을 통해 구멍을 채웠으며, 그 결과 영상이 통합 영상 If3(도 4(g))이다. 통합 영상은 모든 처리 영상을 합쳐서 생성된 것이므로 하나만 존재한다.
정리하면, 영상 통합부는 각 처리 영상을 OR 연산함으로써 통합 영상을 생성할 수 있으며, 이때 모폴로지 팽창 연산과 재구성 방법이 적용될 수 있다.
관심 영역 추출부(270)는 통합 영상으로부터 관심 영역을 추출한다. 구체적으로 통합 영상 If3에 대해 레이블링 연산을 수행하여 통합 영상 내에서 가장 큰 영역을 표적 영역으로 선정한다. 표적 영역을 포함하는 최소 사각형을 기준으로 10%에서 30%까지의 어느 한 값의 여유 영역을 포함하는 사각형을 관심 영역으로 추출한다. 예를 들어 20%의 여유 영역을 설정한 경우 관심 영역을 나타내는 사각형의 상하 길이는 최소 사각형의 상하 길이보다 20% 크며, 좌우 길이는 최소 사각형의 좌우 길이보다 20% 크다.
상기 관심 영역의 영상을 Imask 칭하기로 하고, 원본 영상 또는 처리 영상에서 관심 영역에 대응하는 영역의 영상을 참조 영역 R이라 칭하기로 한다.
앞에서 설명한 바와 같이 Imask에는 클러터가 반영된 상태이므로 Imask만을 이용하여 표적을 추출하는 것은 바람직하지 못하다.
따라서, 추출된 관심 영역을 이용해 정확한 표적을 추출하기 위해 영상 표적 추출 장치가 이용될 수 있다.
도 3은 본 발명의 영상 표적 추출 장치를 나타낸 블럭도이다. 도 3에 도시된 영상 표적 추출 장치는 도 1의 표적 분할기일 수 있다.
도시된 영상 표적 추출 장치는 서로 다른 주파수 대역의 복수의 영상 센서로부터 획득된 동일 시간과 동일 장면의 각 원본 영상의 통합 영상에서 차영상을 이용한 관심 영역 추출법을 적용하여 추출된 관심 영역의 인접도 영상을 생성하는 인접도 영상 생성부(310), 상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상을 생성하는 유사도 영상 생성부(330), 상기 차영상을 이용한 관심 영역 추출법에서 상기 각 원본 영상에 적용될 영상 처리의 완료로 생성된 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 추출하는 처리 영상 추출부(350), 상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭 및 합성시켜 매칭 영상을 생성하고 상기 매칭 영상과 상기 인접도 영상을 합성하여 통합 관심 영역 영상을 생성하는 관심 영역 통합부(370) 및 상기 통합 관심 영역 영상에서 표적과 배경을 분할하고 상기 표적을 추출하는 표적 분할부(390)를 포함하고 있다.
인접도 영상 생성부(310)는 윤곽선에 치중하는 매칭 영상에서 표적 내부의 어두운 부분을 표적으로 추출하지 못하는 경우를 방지하기 위하여 수학식 5에서와 같이 Imask(도 5(g))를 침식 모폴로지 연산하여 얻은 영상 Ierode(도 5(h))를 이용하여 Imask의 인접도 영상 A(x,y)(도 5(i))를 생성한다.
Figure 112010075799428-pat00019
여기서, D(x,y)는 Ierode 영상을 기준으로 거리변환 수행시 거리변환 대상 픽셀(x1,y1)과 가장 가까운 거리의 픽셀(x2,y2) 사이의 유클리디안(Euclidean) 거리이고(Breu, Heinz, Joseph Gil, David Kirkpatrick, and Michael Werman, "Liner Time Euclidean Distance Transform Algorithms", IEEE Trasncations on Pattern Analysis and Machine Intelligence, Vol.17, No.5, pp.529~533, 1995.),
Figure 112010075799428-pat00020
이며,
Imask는 통합 영상에서 추출된 관심 영역의 영상이고,
E는 구조 요소(structuring element)이다.
인접도 영상 생성부는 통합 영상에서 얻은 Imask를 대상으로 하므로 인접도 영상은 하나만 존재한다.
유사도 영상 생성부(330)는 각 원본 영상에서 관심 영역에 대응되는 영역, 즉 참조 영역 R의 유사도 영상을 생성한다.
유사도 영상 C(x,y)(도 5(a), 5(b))는 구체적으로 다음의 수학식 6에 의해 생성된다.
Figure 112010075799428-pat00021
여기서,
Figure 112010075799428-pat00022
이고,
μ는 원본 영상에서 관심 영역에 대응되는 영역의 영상에서의 픽셀값의 평균이며,
R(x,y)는 관심 영역에 대응되는 영역에서의 영상이다.
유사도 영상 생성부는 각 원본 영상을 대상으로 함으로써 원본 영상의 수(m-1개)만큼 배치될 수 있다.
처리 영상 추출부(350)는 처리 영상에서 관심 영역에 대응되는 영역, 즉 참조 영역 R의 영상(관심 처리 영상 O(x,y))을 수학식 7에 의해 생성 추출한다. 이때, 관심 처리 영상(도 5(c), 5(d))은 상기 통합 영상의 관심 영역의 영상과 교집합 처리된 것일 수 있다.
Figure 112012085715913-pat00060
여기서, R(x,y,t)는 t시점에서 관심 영역에 대응되는 영역에서의 영상이고,
Δt는 프레임 간격이며,
Figure 112010075799428-pat00024
이고,
이며,
Figure 112010075799428-pat00026
이고,
g는 (x,y) 좌표에서의 픽셀값이며,
p(g)는 확률밀도함수이고,
P(T)는 T값까지의 확률누적함수이다.
처리 영상 추출부는 각 처리 영상을 대상으로 함으로써 처리 영상의 수(m-1개)만큼 배치될 수 있다.
관심 영역 통합부(370)는 유사도 영상과 관심 처리 영상을 각 영상 센서별로 매칭 및 합성시켜 매칭 영상(도 5(e), 5(f))을 생성하는 제1 통합부(371) 및 매칭 영상과 인접도 영상을 합성하여 통합 관심 영역 영상(도 5(j))을 생성하는 제2 통합부(373)를 포함할 수 있다.
제1 통합부(371)는 수학식 8에 의해 상기 매칭 영상(S(x,y))을 생성할 수 있다.
Figure 112010075799428-pat00027
여기서, O(x,y)는 관심 처리 영상이고,
C(x,y)는 유사도 영상이다.
이때 O(x,y)는 이진 영상, 즉 흑백 영상이고, C(x,y)는 그레이 스케일 영상이므로 OR 연산 대신 수학식 8과 같은 조건식을 이용한다. 제1 통합부는 유사도 영상과 관심 처리 영상을 대상으로 하므로 m-1개가 배치될 수 있다.
제2 통합부(373)는 매칭 영상과 인접도 영상별로 가중치(wn)를 곱한 후 가산하여 상기 통합 관심 영역 영상을 생성할 수 있다.
구체적으로 통합 관심 영역 영상(
Figure 112010075799428-pat00028
)은 수학식 9에 의해 생성될 수 있다. 수학식 9는 앞에서 생성한 매칭 영상과 인접도 영상에 가중치를 부가하여 융합한 퍼지 멤버십 함수로 정의될 수도 있다.
Figure 112010075799428-pat00029
여기서,
Figure 112010075799428-pat00030
이고,
0≤wn≤1이며,
Ssem -1은 제m-1 영상 센서의 매칭 영상이고,
m은 2 이상의 정수로 가동된 영상 센서의 수에 1을 더한 값이다.
제2 통합부의 통합 대상은 인접도 영상과 모든 매칭 영상이다. 따라서 제2 통합부는 하나만 존재한다.
가중치 wn은 환경마다 다른 출력을 나타내는 각 영상 센서의 특성을 고려하여 사용자가 선정할 수 있다. 예를 들어 야간에는 가시광 영상 센서가 정상적인 동작을 하기가 어렵다. 이러한 상태에서 가시광 영상 센서를 수학식 9에 그대로 두면 추출되는 표적에 이상이 발생될 수 있다. 따라서, 가시광 영상 센서의 가중치를 0이나 적외선 영상 센서보다 낮게 설정함으로써 가시광 영상 센서의 매칭 영상이 크게 작용하지 않도록 할 수 있다.
표적 분할부(390)는 통합 관심 영역 영상에서 표적과 배경을 분할하고 표적을 추출한다.
표적과 배경을 분할하기 위해, 다시말해 배경으로부터 표적을 분리 추출하기 위해 멤버십 함수의 히스토그램을 이용하여 적절한 문턱값을 선택하고 이를 이용할 수 있다. 멤버십 함수의 히스토그램을 효과적으로 구하기 위해 수학식 10과 같이 정수 멤버십
Figure 112010075799428-pat00031
을 구하였다(Sun-Gu Sun, HyunWook Park, "Segmentation of Forward-Looking Infrared Image using Fuzzy Thresholding and Edge Detection", SPIE Opt. Eng. Vol.40, No.11, pp.2638~2645, 2001.).
Figure 112010075799428-pat00032
여기서,
Figure 112010075799428-pat00033
이고,
int[x]는 x를 가장 가까운 정수값으로 변환하는 함수이다.
이렇게 구해진 정수 멤버십을 이용하여 최소의 시간으로 문턱값을 결정하기 위해 Imask에서 표적에 해당하는 영역의 히스토그램 hr의 최대값(mr)과 Imask에서 표적 이외의 영역에 해당하는 히스토그램 hb의 최대값(mb)를 찾고, 그 사이의 최소 빈도를 가지는 값을 최적의 문턱값(t*)으로 선정한다. 이를 수학식 11에 나타내었다.
Figure 112010075799428-pat00034
여기서, μ'는 수학식 10의
Figure 112010075799428-pat00035
을 간략화해서 표현한 것이며, t*는 최적의 문턱값이다. 수학식 11에 의해 구해진 표적 영역은 다음의 수학식 12와 같다.
Figure 112010075799428-pat00036
이상에서 살펴본 영상 표적 추출 시스템, 관심 영역 추출 장치, 영상 표적 추출 장치의 실험 결과를 살펴보면 다음과 같다.
CCD 영상 센서 1개와 적외선(IR) 영상 센서 1개를 사용한 결과이다.
도 4, 6, 8은 본 발명의 영상 표적 추출 시스템에서 관심 영역을 추출하는 과정을 나타내는 개략도로서 관심 영역 추출기에서 수행되는 동작이고, 도 5, 7, 9는 각 도 4, 6, 8에서 추출된 관심 영역에서 표적을 배경으로부터 분할하여 추출하는 과정을 나타내는 개략도로서 표적 분할기에서 이루어지는 동작이다.
먼저, 도 4(a), 도 6(a), 도 8(a)는 그레이 스케일로 변환된 CCD 영상이고 도 4(b), 도 6(b), 도 8(b)는 적외선 영상이다. 도 4(c), 도 6(c), 도 8(c)는 CCD 차영상이고 도 4(d), 도 6(d), 도 8(d)는 적외선 차영상이다. 도 4(e), 도 6(e), 도 8(e)는 If1 영상, 도 4(f), 도 6(f), 도 8(f)는 If2 영상, 도 4(g), 도 6(g), 도 8(g)는 If3영상이고 도 4(h), 도 6(h), 도 8(h)는 관심 영역이 설정된 영상이다. 도 4에서 CCD 영상은 그레이 스케일로 바꾸어 계산을 수행하였다. 차영상을 구하기 위해 Δt를 선정해야 하며, 실험 영상의 프레임 레이트, 센서와 표적간의 거리, 표적의 속도 등을 고려하여 2프레임 간격으로 설정하였다. 도 4(f)의 영상을 얻기 위한 모폴로지 연산에서 수학식 4의 구조 요소 E는 9×9 크기의 Disc 모양을 가진 형태를 사용하였으며, 이를 통해 효과적으로 표적에 해당하는 작은 영역들을 묶어줌을 볼 수 있다. 도 4(h)에서 설정된 관심 영역을 보였다. 이렇게 해서 설정된 ROI를 대상으로 표적과 배경을 분할하게 된다.
관심 영역에서 표적은 배경보다 밝다고 가정하여 연산을 수행할 수 있으며, 도 4, 6, 8의 (a), (b) 영상에서 표적이 배경보다 어두운 경우 반전 영상을 구하여 영상 분할을 수행할 수 있다. 영상의 중심에서의 평균값과 배경과의 평균값의 차이를 계산하여 배경이 표적보다 밝을 경우에는 해당 ROI의 반전영상을 구함으로써 쉽게 자동화할 수 있다.
도 5, 7, 9에서 도 5(a), 도 7(a), 도 9(a)는 CCD의 유사도 영상이고 도 5(b), 도 7(b), 도 9(b)는 IR의 유사도 영상이다. 도 5(c), 도 7(c), 도 9(c)는 CCD의 관심 처리 영상, 도 5(d), 도 7(d), 도 9(d)는 IR의 관심 처리 영상, 도 5(e), 도 7(e), 도 9(e)는 CCD의 매칭 영상, 도 5(f), 도 7(f), 도 9(f)는 IR의 매칭 영상이다. 도 5(g), 도 7(g), 도 9(g)는 Imask이고 도 5(h), 도 7(h), 도 9(h)는 Ierode, 도 5(i), 도 7(i), 도 9(i)는 인접도 영상이며 도 5(j), 도 7(j), 도 9(j)는 퍼지 이진화 영상으로서 통합 관심 영역 영상이다. 도 5에서 가중치 w1과 w2는 0.3, w3(=wm)는 0.4로 설정한 상태이다.
도 5(a)에서 CCD 영상만 사용할 경우 그림자 영역(붉은색 타원)과 같이 표적과 유사한 배경을 가진 부분이 같이 분할될 수 있고, 도 5(b)에서 보듯이 IR만 사용할 경우 표적의 궤도(파란색 타원)나, 포신(노란색 타원)과 같은 부분이 배경으로 분류될 있으나, 표적 분할기의 동작에 의해 상호 정보를 보완함으로써 도 5(j)와 같이 표적 부분만을 정확하게 추출할 수 있음을 알 수 있다.
도 6, 7에서 CCD 영상은 표적과 배경이 유사한 색 분포를 가지므로 잘 식별되지 않으나 IR 영상에서는 어느 정도 식별되는 표적에 대한 실험 결과이다.
프레임 간격은 센서와 표적간의 거리 및 표적 이동속도를 고려하여 5로 설정하였으며, 구조 요소 E는 5×5 disc 모양을 사용하였다. 가중치 w1은 0.3, w2는 0.4, w3는 0.3으로 설정하였다. 도 6에서 보듯이 CCD 영상에서 표적은 배경과 구분이 잘 되지 않아 표적을 분할하기 어려우며, IR 영상에서 표적의 일부분은 배경과 유사한 온도 분포를 가지고 있어 잘못된 분할 결과가 나오기 쉽다. 하지만 본 발명의 관심 영역 추출기와 표적 분할기를 적용할 경우 도 7에서 보듯이 각 영상의 유사도 및 인접도에 가중치를 두어 융합할 수 있으며, IR 영상에 보다 많은 가중치를 주면 적절하게 표적이 분할되는 것을 확인할 수 있었다.
도 8, 9은 표적 뒷부분의 뜨거운 배기가스를 획득한 영상에 대한 실험 결과이다. 프레임 간격은 영상 센서와 표적 간의 거리 및 표적의 이동 속도를 고려하여 5로 설정하였고, 구조 요소 E는 5×5 disc 형태를 사용하였다. 가중치 w1은 0.45, w2는 0.22, w3은 0.33으로 설정하였다.
도 9에서 보듯이 IR 영상만을 사용할 경우 배기 가스 부분까지 표적으로 분할기 쉬우나, 본 발명의 표적 분할기를 적용하면 CCD 센서에 보다 많은 가중치를 준 상태로 IR 특징과 융합할 수 있었으며, 이를 통해 도 9(j)에서 보듯이 적절하게 표적이 분할됨을 확인할 수 있었다.
도 10은 본 발명의 영상 표적 추출 방법을 나타낸 흐름도이다.
도 10에 도시된 영상 표적 추출 방법은 도 1에 도시된 영상 표적 추출 시스템의 동작으로서 설명될 수도 있다.
먼저, 복수의 영상 센서를 통하여 동일 시간과 동일 장면의 원본 영상을 서로 다른 주파수 대역으로 획득한다(S 510). 영상 센서(100)에서 이루어지는 동작으로 이를 위해 영상 센서는 서로 다른 주파수 대역으로 소정 장면을 촬상하는 2개 이상으로 구성된다.
차영상을 이용한 관심 영역 검출법에 따라 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리하여 처리 영상을 생성한다(S 520). 이렇게 처리된 영상은 흑백 영상으로써 표시되며 도 4 내지 도 9에서는 백색 부분이 표적을 나타내도록 처리하고 있다.
상기 처리 영상을 합성하여 하나의 통합 영상을 생성한다(S 530). OR 연산을 통해서 복수의 처리 영상을 하나로 통합한다. 이를 통해 각 환경에서 다른 출력 결과를 나타내는 각 영상 센서의 단점을 보완할 수 있다.
상기 차영상을 이용한 관심 영역 검출법에 따라 상기 통합 영상으로부터 관심 영역(ROI, Region Of Interest)을 추출한다(S 540). 차영상을 이용한 처리 영상의 통합 영상은 표적의 일부분만이 표시될 수 있다. 따라서, 모폴로지 연산 등을 적용함으로써 온전한 형태의 표적 형태가 표시되도록 한다.
이상의 처리 영상, 통합 영상 생성과 관심 영역 추출은 관심 영역 추출기(200)에서 이루어진다.
상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상을 생성하고, 상기 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 생성한다(S 550). 유사도 영상과 관심 처리 영상은 앞에서 추출된 관심 영역에 대응되는 영역의 영상을 대상으로 하는 관계로 관심 영역이 추출된 이후에 이루어진다.
상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성한다(S 560). 매칭 영상은 영상 센서 수만큼의 유사도 영상과 관심 처리 영상을 통합한 것으로 Imask보다 표적을 보다 정확하게 나타낼 수 있다.
상기 통합 영상에서 상기 관심 영역의 인접도 영상을 생성한다(S 570). 도 10에서는 인접도 영상의 생성을 매칭 영상 생성 후에 하는 것으로 나타내었으나 앞에서 유사도 영상과 관심 처리 영상을 생성하는 시점부터 매칭 영상 생성 후 시점의 어느 한 시점에서 생성할 수 있다. 통합 영상 또한 관심 영역의 영상을 대상으로 하므로 관심 영역 추출 이후에 수행된다.
상기 인접도 영상과 상기 매칭 영상을 합쳐 통합 관심 영역 영상을 생성한다(S 580). 통합 관심 영역 영상은 인접도 영상과 매칭 영상에 적절한 가중치를 곱해 합성된 것일 수 있으며, 이를 통해 각 영상 센서의 단점을 보완할 수 있다.
상기 통합 관심 영역 영상에서 표적과 배경을 분할하고 상기 표적을 추출한다(S 590). 멤버십 함수의 히스토그램을 이용하여 적절한 문턱값을 선택하고 이를 이용해 표적 영역을 배경과 분할시켜 추출할 수 있다.
이상의 유사도 영상/관심 처리 영상 생성부터 표적 추출까지의 과정은 표적 분할기(300)에 이루어진다.
한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
영상에서 표적을 추출하고자 하는 시스템에 적용할 수 있다.
특히, 다양한 환경에서 영상 표적을 추출하고자 하는 시스템에 적용하는 것이 유용하다.
100...영상 센서 200...관심 영역 추출기
210...영상 수신부 230...영상 처리부
250...영상 통합부 270...관심 영역 추출부
300...표적 분할기 310...인접도 영상 생성부
330...유사도 영상 생성부 350...처리 영상 추출부
370...관심 영역 통합부 371...제1 통합부
373...제2 통합부 390...표적 분할부

Claims (13)

  1. 동일 시간과 동일 장면의 원본 영상을 서로 다른 주파수 대역으로 획득하는 복수의 영상 센서;
    차영상을 이용한 관심 영역 검출법에 따라 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리한 후 상기 영상 처리된 각 처리 영상을 합성하여 하나의 통합 영상을 생성하고 상기 통합 영상으로부터 관심 영역(ROI, Region Of Interest)을 추출하는 관심 영역 추출기; 및
    상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상과 상기 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성하고, 상기 통합 영상에서 상기 관심 영역의 인접도 영상을 상기 매칭 영상과 합쳐 상기 관심 영역에서 표적과 배경을 분할하고 상기 표적을 추출하는 표적 분할기;
    를 포함하는 영상 표적 추출 시스템.
  2. 서로 다른 주파수 대역으로 동일 시간에 동일 장면의 원본 영상을 획득하는 복수의 영상 센서로부터 상기 각 원본 영상을 전달받는 영상 수신부;
    상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리하여 처리 영상을 생성하는 영상 처리부;
    상기 각 처리 영상을 합성하여 하나의 통합 영상을 생성하는 영상 통합부; 및
    상기 통합 영상으로부터 관심 영역을 추출하는 관심 영역 추출부;
    를 포함하는 관심 영역 추출 장치.
  3. 서로 다른 주파수 대역의 복수의 영상 센서로부터 획득된 동일 시간과 동일 장면의 각 원본 영상의 통합 영상에서 차영상을 이용한 관심 영역 추출법을 적용하여 추출된 관심 영역의 인접도 영상을 생성하는 인접도 영상 생성부;
    상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상을 생성하는 유사도 영상 생성부;
    상기 차영상을 이용한 관심 영역 추출법에서 상기 각 원본 영상에 적용될 영상 처리의 완료로 생성된 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 추출하는 처리 영상 추출부;
    상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭 및 합성시켜 매칭 영상을 생성하고 상기 매칭 영상과 상기 인접도 영상을 합성하여 통합 관심 영역 영상을 생성하는 관심 영역 통합부; 및
    상기 통합 관심 영역 영상에서 표적과 배경을 분할하고 상기 표적을 추출하는 표적 분할부;
    를 포함하는 영상 표적 추출 장치.
  4. 제 3 항에 있어서,
    상기 관심 처리 영상은 상기 통합 영상의 관심 영역의 영상과 교집합 처리된 것을 특징으로 하는 영상 표적 추출 장치.
  5. 제 3 항에 있어서,
    상기 인접도 영상 생성부는 다음의 수학식에 의해 상기 인접도 영상(A(x,y))을 생성하는 것을 특징으로 하는 영상 표적 추출 장치.
    Figure 112010075799428-pat00037

    여기서, D(x,y)는 Ierode 영상을 기준으로 거리변환 수행시 거리변환 대상 픽셀(x1,y1)과 가장 가까운 거리의 픽셀(x2,y2) 사이의 유클리디안 거리이고,
    Figure 112010075799428-pat00038
    이며,
    Imask는 통합 영상에서 관심 영역의 영상이고,
    E는 구조 요소(structuring element)이다.
  6. 제 5 항에 있어서,
    상기 유사도 영상 생성부는 다음의 수학식에 의해 상기 유사도 영상(C(x,y))을 생성하는 것을 특징으로 하는 영상 표적 추출 장치.
    Figure 112012033454804-pat00039

    여기서,
    Figure 112012033454804-pat00040
    이고,
    μ는 원본 영상에서 관심 영역에 대응되는 영역의 영상에서의 픽셀값의 평균이며,
    R(x,y)는 관심 영역에 대응되는 영역에서의 영상이다.
  7. 제 6 항에 있어서,
    상기 처리 영상 추출부는 다음의 수학식에 의해 상기 관심 처리 영상(O(x,y))를 생성 추출하는 것을 특징으로 하는 영상 표적 추출 장치.
    Figure 112012085715913-pat00061

    여기서, R(x,y,t)는 t시점에서 관심 영역에 대응되는 영역에서의 영상이고,
    Δt는 프레임 간격이며,
    Figure 112012085715913-pat00042
    이고,
    Figure 112012085715913-pat00043
    이며,
    Figure 112012085715913-pat00044
    이고,
    g는 (x,y) 좌표에서의 픽셀값이며,
    p(g)는 확률밀도함수이고,
    P(T)는 T값까지의 확률누적함수이다.
  8. 제 7 항에 있어서,
    상기 관심 영역 통합부는,
    상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭 및 합성시켜 매칭 영상을 생성하는 제1 통합부; 및
    상기 매칭 영상과 상기 인접도 영상을 합성하여 통합 관심 영역 영상을 생성하는 제2 통합부;를 포함하는 것을 특징으로 하는 영상 표적 추출 장치.
  9. 제 8 항에 있어서,
    상기 제1 통합부는 다음의 수학식에 의해 상기 매칭 영상(S(x,y))을 생성하는 것을 특징으로 하는 영상 표적 추출 장치.
    Figure 112010075799428-pat00045

    여기서, O(x,y)는 관심 처리 영상이고,
    C(x,y)는 유사도 영상이다.
  10. 제 9 항에 있어서,
    상기 제2 통합부는 상기 매칭 영상과 상기 인접도 영상별로 가중치(wn)를 곱한 후 가산하여 상기 통합 관심 영역 영상을 생성하는 것을 특징으로 하는 영상 표적 추출 장치.
  11. 제 10 항에 있어서,
    상기 제2 통합부는 다음의 수학식에 의해 상기 통합 관심 영역 영상(
    Figure 112010075799428-pat00046
    )을 생성하는 것을 특징으로 하는 영상 표적 추출 장치.
    Figure 112010075799428-pat00047

    여기서,
    Figure 112010075799428-pat00048
    이고,
    0≤wn≤1이며,
    Ssem -1은 제m-1 영상 센서의 매칭 영상이고,
    m은 2 이상의 정수이다.
  12. 제 11 항에 있어서,
    상기 표적 분할부는 멤버십 함수의 히스토그램을 이용한 문턱값으로부터 표적을 추출하는 것을 특징으로 하는 영상 표적 추출 장치.
  13. 복수의 영상 센서를 통하여 동일 시간과 동일 장면의 원본 영상을 서로 다른 주파수 대역으로 획득하는 단계;
    차영상을 이용한 관심 영역 검출법에 따라 상기 각 원본 영상에 대해 프레임간 정합, 차영상 생성, 이진화 순으로 영상 처리하여 처리 영상을 생성하는 단계;
    상기 처리 영상을 합성하여 하나의 통합 영상을 생성하는 단계;
    상기 차영상을 이용한 관심 영역 검출법에 따라 상기 통합 영상으로부터 관심 영역(ROI, Region Of Interest)을 추출하는 단계;
    상기 각 원본 영상에서 상기 관심 영역에 대응되는 영역의 유사도 영상을 생성하고, 상기 각 처리 영상에서 상기 관심 영역에 대응되는 영역의 관심 처리 영상을 생성하는 단계;
    상기 유사도 영상과 상기 관심 처리 영상을 각 영상 센서별로 매칭시킨 후 합쳐 매칭 영상을 생성하는 단계;
    상기 통합 영상에서 상기 관심 영역의 인접도 영상을 생성하는 단계;
    상기 인접도 영상과 상기 매칭 영상을 합쳐 통합 관심 영역 영상을 생성하는 단계; 및
    상기 통합 관심 영역 영상에서 표적과 배경을 분할하고 상기 표적을 추출하는 단계;
    를 포함하는 영상 표적 추출 방법.
KR1020100115648A 2010-11-19 2010-11-19 영상 표적 추출 시스템, 장치 및 방법 KR101200974B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100115648A KR101200974B1 (ko) 2010-11-19 2010-11-19 영상 표적 추출 시스템, 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100115648A KR101200974B1 (ko) 2010-11-19 2010-11-19 영상 표적 추출 시스템, 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120054325A KR20120054325A (ko) 2012-05-30
KR101200974B1 true KR101200974B1 (ko) 2012-11-12

Family

ID=46270212

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100115648A KR101200974B1 (ko) 2010-11-19 2010-11-19 영상 표적 추출 시스템, 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101200974B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928618B2 (en) 2013-10-24 2018-03-27 Samsung Electronics Co., Ltd. X-ray imaging apparatus and method of controlling the same
US11290630B2 (en) 2018-11-09 2022-03-29 Hanwha Techwin Co.. Ltd. Imaging apparatus, imaging method, and computer program for capturing image

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382163B1 (ko) * 2013-03-14 2014-04-07 국방과학연구소 지상표적 분류방법 및 이를 이용한 지상표적 분류장치
KR101866676B1 (ko) * 2017-01-03 2018-06-12 중앙대학교 산학협력단 다중 파장 영상을 이용한 객체 인식 장치 및 방법
CN107194370B (zh) * 2017-06-10 2023-12-19 国网浙江省电力公司台州供电公司 基于地理位置信息的影像智能分析方法
KR101886856B1 (ko) 2017-09-26 2018-08-09 한화시스템(주) 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법
KR102086067B1 (ko) * 2019-04-30 2020-03-06 엘아이지넥스원 주식회사 융합 영상 생성장치 및 방법
KR102059011B1 (ko) * 2019-04-30 2019-12-24 엘아이지넥스원 주식회사 딥러닝을 기반으로 하는 융합 영상 생성장치 및 방법
WO2021107171A1 (ko) * 2019-11-26 2021-06-03 전자부품연구원 차량용 다중 센서를 위한 딥러닝 처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006642A (ja) 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2009071789A (ja) 2007-09-18 2009-04-02 Denso Corp 車両周辺監視システム
KR101051716B1 (ko) 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006642A (ja) 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2009071789A (ja) 2007-09-18 2009-04-02 Denso Corp 車両周辺監視システム
KR101051716B1 (ko) 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928618B2 (en) 2013-10-24 2018-03-27 Samsung Electronics Co., Ltd. X-ray imaging apparatus and method of controlling the same
US11290630B2 (en) 2018-11-09 2022-03-29 Hanwha Techwin Co.. Ltd. Imaging apparatus, imaging method, and computer program for capturing image

Also Published As

Publication number Publication date
KR20120054325A (ko) 2012-05-30

Similar Documents

Publication Publication Date Title
KR101200974B1 (ko) 영상 표적 추출 시스템, 장치 및 방법
Gaszczak et al. Real-time people and vehicle detection from UAV imagery
US6504942B1 (en) Method of and apparatus for detecting a face-like region and observer tracking display
JP2018198053A (ja) 情報処理装置、情報処理方法、及びプログラム
US5883969A (en) Procedure and device for detecting the movement of a target and their applications
WO2013088175A1 (en) Image processing method
EP1797524A2 (en) A method and system for improved unresolved target detection using multiple frame association
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
CN111881853A (zh) 一种超大桥隧中异常行为识别方法和装置
JP2002216129A (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
WO2007135659A2 (en) Clustering - based image registration
Haner et al. Combining foreground/background feature points and anisotropic mean shift for enhanced visual object tracking
Kim et al. Building detection in high resolution remotely sensed images based on automatic histogram-based fuzzy c-means algorithm
Serrano-Cuerda et al. Robust human detection and tracking in intelligent environments by information fusion of color and infrared video
Miller et al. Person tracking in UAV video
Snidaro et al. Fusing multiple video sensors for surveillance
JP2011146827A (ja) 画像処理装置および方法、並びにプログラム
Tu et al. An intelligent video framework for homeland protection
KR101394473B1 (ko) 이동 물체 탐지 방법 및 그 감시 시스템
JP2005123823A (ja) 距離情報付加装置、付加映像生成装置、付加映像生成方法及び距離情報付加プログラム
Yang et al. Method for building recognition from FLIR images
JP4686773B2 (ja) 動体認識方法および動体認識装置
Teoh et al. A non-overlapping view human tracking algorithm using hsv colour space
JP2013114381A (ja) 対象物識別装置および対象物識別方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160520

Year of fee payment: 4

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20161102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191015

Year of fee payment: 8