KR101348681B1 - 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치 - Google Patents

영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치 Download PDF

Info

Publication number
KR101348681B1
KR101348681B1 KR1020120155923A KR20120155923A KR101348681B1 KR 101348681 B1 KR101348681 B1 KR 101348681B1 KR 1020120155923 A KR1020120155923 A KR 1020120155923A KR 20120155923 A KR20120155923 A KR 20120155923A KR 101348681 B1 KR101348681 B1 KR 101348681B1
Authority
KR
South Korea
Prior art keywords
image
sensor
detection system
images
feature
Prior art date
Application number
KR1020120155923A
Other languages
English (en)
Inventor
곽동민
강행봉
주명호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020120155923A priority Critical patent/KR101348681B1/ko
Application granted granted Critical
Publication of KR101348681B1 publication Critical patent/KR101348681B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 다중센서 영상정렬장치에 관한 것으로, 상기 영상탐지시스템의 다중센서 영상정렬방법은 (a) 다중센서들로부터 각각 다중센서 입력영상들을 수신하고, 이 수신된 다중센서 입력영상들로부터 방향맵(oriented map)과 방향 에지맵(oriented edge map)을 생성하고 이 생성된 방향맵(oriented map)과 방향 에지맵(oriented edge map)을 이용하여 영상의 특징 정보를 생성하며, 이 생성된 영상의 특징 정보를 이용하여 특징 서술자를 생성하는 단계; (b) 상기 생성된 특징 서술자를 이용하여 다중센서 영상들 간의 특징 매칭을 수행하는 단계; 및 (c) 호모그래피(homography) 계산을 수행하고 상기 다중센서 입력영상들에 대한 정렬된 영상을 생성하는 단계를 포함하는 것을 특징으로 한다. 이와 같이 본 발명은 다중센서 영상 간의 매칭에 적합한 새로운 특징 서술자를 이용함으로써 매우 빠른 속도로 영상 정렬을 하면서도 다중센서 영상 간의 매칭의 정확도를 향상시킬 수 있다.

Description

영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치{Multi-sensor image alignment method of image detection system and apparatus using the same}
본 발명은 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치에 관한 것으로, 구체적으로는 다중센서로부터 획득한 영상들을 결합하여 향상된 영상을 획득할 수 있는 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치에 관한 것이다.
영상탐지시스템은 다중센서로부터 획득한 영상은 영상마다 서로 다른 정보를 제공하기 때문에 이를 결합하는 경우, 더욱 향상된 영상을 획득할 수 있다.
IR(Infrared) 영상과 CCD(Charge Coupled Device) 영상을 결합함으로써, CCD(Charge Coupled Device) 영상에서 어둡게 표현되거나 안개 등으로 인해 획득 대상이 뿌옇게 가려진 영역에 대해 자세한 정보를 획득할 수 있다.
이와 같이 IR 영상과 CCD 영상과 같이 다중센서로부터 획득된 영상들을 결합하는 것에 의해 보다 많은 정보를 포함하는 향상된 영상 획득이 가능하다.
이러한 영상 향상을 위해서는 우선 두 영상이 정확하게 정렬(Alignment)되어 있어야 한다. 즉, 동일한 대상에 대한 두 영상에서 픽셀 좌표 간의 매칭이 이루어져야 한다.
특히 파장대역을 달리하는 다중센서 영상은, 동일한 렌즈를 이용하여 획득하기 어렵기 때문에, 동일한 물체에 대해 초점 거리(focal length)나 영상 크기, 영상의 획득 위치 및 방향 등에서 동일하게 획득되기 어렵다. 그러므로 다중센서 영상의 결합을 위해서는 획득된 다중센서 영상 간의 정렬이 필수적이다.
영상탐지시스템의 다중센서 영상정렬방법은 크게 두 가지로 분류할 수 있다. 첫 번째는 영상의 에지(edge)나 코너(corner)와 같은 주요한 특징을 사용하는 특징 기반의 방법이다. 이 방법은 빠른 계산 속도를 보이기 때문에 물체 인식(object recognition) 등 다양한 분야에서 쉽게 활용되고 있다.
이 방법에서 주요한 점은 검출되는 특징이 고유한 성질을 지녀야 하며 영상 전체에 고루 퍼져 있고 아핀 변환(affine transformation)에 불변해야 정확한 영상 정렬이 가능하다는 것이다.
그러나 다중센서 영상의 경우, 영상에 표현되는 물체간의 픽셀 차이(contrast)가 서로 다를 수 있으며 심지어는 정 반대로 표현되기 때문에 다중센서 영상 간의 주요한 특징이 두 영상에서 모두 추출되지 않거나 추출될 경우에도 영상 간의 픽셀값의 표현이 다르기 때문에 올바르게 매칭되기 어려운 문제를 가진다.
영상 정렬을 위한 두 번째 방법은 전역 에러 함수(global error function)을 이용한 방법이다. 이 방법은 영상 간의 질감(texture) 정보를 이용하여 두 영상 간 겹쳐지는 영역에 대해 색상의 차이를 계산한다.
이 방법은 주로 동적계획법(dynamic programming)이나 그래프 컷(graph cut)등을 이용하여 영상 간의 최적 심(optimal seam)을 계산한다.
그러나 이러한 방법은 일반적으로 작은 크기의 패턴을 갖는 영상 간의 정렬에 주로 사용되기 때문에 일반적으로 의료 영상 등에서 주로 사용되며 영상 정렬을 위해 매우 많은 계산량을 요구하는 문제점을 가진다.
영상 정렬을 위한 세 번째 방법은 MI(Mutual information) 방법으로, MI는 영상 간의 픽셀 값(intensity values)을 이용한 통계적 방법이다. 그러나 MI는 겹쳐지는 영역의 분포에 따라 매우 민감하게 반응하기 때문에 local maxima에 빠지기 쉬운 단점을 가지고 있다.
이 문제점을 극복하기 위해 MI의 확장 형태로 second-order MI, 4-D MI 등이 제안되었고 최근 MI를 이용하여 3D joint histogram을 생성하고 엔트로피(entropy) 기반의 목적 함수(object function)를 이용한 방법이 제안되었다.
그러나 이러한 MI를 이용한 영상정렬방법은 영상 간 겹쳐지는 영역 내의 모든 픽셀에 대한 계산이 반복적으로 요구되기 때문에 영상 간 정렬을 위해 많은 계산량을 요구하는 단점을 가지고 있다.
KR 10-2012-0054325 A, 2012. 05. 30, 도 1
본 발명의 목적은 특징 기반의 매칭 기법에서 서로 다른 다중센서 영상 간의 매칭에 적합한 새로운 특징 서술자를 제안함으로써 다중센서 영상 간의 매칭의 정확도를 향상시킬 수 있는 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상탐지시스템의 다중센서 영상정렬방법은 (a) 다중센서들로부터 각각 다중센서 입력영상들을 수신하고, 이 수신된 다중센서 입력영상들로부터 방향맵(oriented map)과 방향 에지맵(oriented edge map)을 생성하고 이 생성된 방향맵(oriented map)과 방향 에지맵(oriented edge map)을 이용하여 영상의 특징 정보를 생성하며, 이 생성된 영상의 특징 정보를 이용하여 특징 서술자를 생성하는 단계; (b) 상기 생성된 특징 서술자를 이용하여 다중센서 영상들 간의 특징 매칭을 수행하는 단계; 및 (c) 호모그래피(homography) 계산을 수행하고 상기 다중센서 입력영상들에 대한 정렬된 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 (a)단계는 (a1) 상기 다중센서들로부터 각각 다중센서 입력영상들을 수신하고, 이 수신된 다중센서 입력영상들로부터 Integral Image를 생성하는 단계; (a2) 상기 다중센서 입력영상들의 모든 픽셀에 대해 에지에 속하는 지 여부를 판별하는 것에 의해 에지를 검출하고, 상기 Integral Image에 대해 Hessian Detector를 이용하여 영상의 특징점을 검출하는 단계; (a3) 상기 검출된 에지에 속하는 픽셀에 대해 픽셀이 갖는 에지의 방향성으로 표현되는 방향맵(oriented map)을 생성하고, 이 생성된 방향맵으로부터 방향을 갖는 픽셀의 에지의 크기로 표현되는 방향 에지맵(oriented edge map)을 생성하는 단계; 및 (a4) 상기 (a2)단계에 의해 검출된 영상의 특징점에 대해 기하학 블러(Geometric blur)를 이용한 샘플링을 수행하고, 상기 (a3)단계에 의해 생성된 방향 에지맵에 대해 기하학 블러를 이용한 샘플링을 수행는 것에 의해 상기 특징 서술자를 생성하는 단계를 포함할 수 있다.
상기 다중센서 입력영상들은 CCD(Charge Coupled Device) 입력영상 및 IR(Infra-Red) 입력영상으로 마련될 수 있다.
상기 Integral Image는 영상 안의 임의의 사각형 영역에 속하는 픽셀들의 합을 계산하기 위해, 상기 Integral Image 내의 영상의 좌측 상단의 원점으로부터
Figure 112012108845711-pat00001
픽셀까지의 영상 픽셀의 합(
Figure 112012108845711-pat00002
)은 수식 1로 표현될 수 있다.
수식 1:
Figure 112012108845711-pat00003
상기 Hessian Detector는 상기 Hessian 행렬을 가우시안 블러에서 필터로 근사화하여 수행할 수 있다.
상기 픽셀이 갖는 에지의 방향성(
Figure 112012108845711-pat00004
)은 x축과 y축에 대한 미분을 이용하여 수식 2로 표현되고,
Figure 112012108845711-pat00005
와
Figure 112012108845711-pat00006
는 픽셀
Figure 112012108845711-pat00007
에서 x축과 y축에서의 변화율로 수식 3으로 표현될 수 있다.
수식 2:
Figure 112012108845711-pat00008
수식 3:
Figure 112012108845711-pat00009
상기 방향 에지맵은 픽셀의 방향을 양자화하여 생성할 수 있다.
상기 방향 에지맵의 각 픽셀의 값(
Figure 112012108845711-pat00010
)은 수식 4로 표현될 수 있다.
수식 4:
Figure 112012108845711-pat00011
,
Figure 112012108845711-pat00012
여기서
Figure 112012108845711-pat00013
= 방향 에지맵,
Figure 112012108845711-pat00014
= 양자화된 각의 범위,
Figure 112012108845711-pat00015
= 상기 다중센서 입력영상의 픽셀
Figure 112012108845711-pat00016
에서의 에지의 크기
한편, 상기 목적을 달성하기 위한 본 발명의 또 다른 일 측면에 따른 영상탐지시스템의 다중센서 영상정렬장치는 다중센서들을 이용하여 영상을 감지하여 다중센서 영상신호를 생성하는 영상 수신부; 및 상기 영상 수신부에 의해 생성된 다중센서 영상신호를 이용하여 전술한 본 발명의 일 측면에 따른 영상탐지시스템의 다중센서 영상정렬방법을 수행하는 영상 처리부를 포함하는 것을 특징으로 한다.
이에 의해 본 발명은 다중센서 영상 간의 매칭에 적합한 새로운 특징 서술자를 이용함으로써 매우 빠른 속도로 영상 정렬을 하면서도 다중센서 영상들 간의 매칭의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중센서 영상정렬방법의 순서도이다.
도 2는 도 1의 S100단계에 따른 특징 서술자 생성단계를 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 특징 서술자 생성단계에서, Integral Image를 이용한 Hessian Detector 근사화를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 특징 서술자 생성단계에서, CCD의 입력영상 및 IR의 입력영상과 각 영상에 대한 방향 맵의 예시 사진이다.
도 5는 도 4의 CCD의 입력영상 및 IR의 입력영상의 4방향에 대한 방향 에지 맵의 예시 사진이다.
도 6은 본 발명의 일 실시예에 따른 특징 서술자 생성단계에서, 기하학 블러를 이용한 샘플링을 설명하기 위한 도면이다.
도 7은는 본 발명의 일 실시예에 따른 특징 서술자 생성단계에서, 특징의 위치를 중심으로 샘플링되는 픽셀의 위치를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 특징 서술자 생성단계에서, 영상 크기에 따른 특징 서술자 벡터 집합을 보여주는 도면이다.
도 9는 본 발명의 또 다른 일 실시예에 따른 영상탐지시스템의 다중센서 영상정렬장치의 블록도이다.
도 10a 및 10b는 종래 발명에 따른 다중센서 영상 간의 특징 매칭 결과를 보여주는 사진들이다.
도 10c는, 도 10a 및 10b와 비교하여, 본 발명의 일 실시예에 따른 다중센서 영상 간의 특징 매칭 결과를 보여주는 사진들이다.
도 11a는 다중센서 영상 간의 특징 검출 및 매칭 결과를 비교하기 위한 CCD 입력영상과 IR 입력영상을 보여주는 사진들이다.
도 11b 내지 11c는 종래 발명에 따른 도 10a의 CCD 입력영상과 IR 입력영상 간의 특징 검출 및 매칭 결과를 보여주는 사진들이다.
도 11d는, 도 11b 내지 11c와 비교하여, 본 발명의 일 실시예에 따른 도 10a의 CCD 입력영상과 IR 입력영상 간의 특징 검출 및 매칭 결과를 보여주는 사진들이다.
도 12는 도 11의 매칭 결과에 대한 inlier의 수 비교를 보여주는 표이다.
도 13a는 종래 다중센서 영상정렬방법 중 3D Joint MI를 이용한 영상 정렬 결과를 보여주는 사진들이다.
도 13b는, 도 13a와 비교하여, 본 발명의 일 실시예에 따른 다중센서 영상정렬방법을 이용한 영상 정렬 결과를 보여주는 사진들이다.
도 14a는 종래 3D Joint MI와 본 발명의 일 실시예에 따른 다중센서 영상정렬방법의 영상 크기에 따른 영상 정렬 시간을 비교하기 위한 그래프이다.
도 14b는 도 14a 중 본 발명의 일 실시예에 따른 다중센서 영상정렬방법의 영상 크기에 따른 영상 정렬 시간의 그래프를 시간축에서 확대한 그래프이다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치에 대해 설명한다.
일반적으로 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치는 영상을 정렬하기 위해 특징점은 코너나 교차점(crossed edge) 등의 주요한 위치에서 검출되어야 한다. 다중센서 영상은 CCD 영상과 다른 픽셀값과 변화도로 대상을 표현하지만 이러한 특징점에서는 CCD와 유사하게 픽셀의 변화를 갖는다. 그러므로 IR 영상의 특징 역시 주변 변화율을 이용하여 검출 가능하다.
검출된 특징의 위치와 특징의 주변 정보에 의해 생성되는 특징 서술자에 따라 특징 매칭의 정확도가 달라지며 다중센서 영상은 표현되는 픽셀 값이 서로 다른 의미를 지니기 때문에, 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치에 있어 서로 다른 센서 영상 간의 매칭에 적합한 새로운 특징 서술자를 발명하는 것이 중요하다.
본 발명의 일 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치는 다중센서 영상에서 검출된 특징점에 특징 서술자를 생성하기 위해서 먼저 CCD영상과 IR영상의 입력 영상으로부터 방향맵(oriented map)과 방향 에지맵(oriented edge map)을 생성한다.
본 발명의 특징 서술자는 두 맵으로부터의 정보를 이용하여 특징점의 정보를 표현한다.
도 1은 본 발명의 일 실시예에 따른 다중센서 영상정렬방법의 순서도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법은 다중센서로부터 획득된 다중센서 영상들로부터 검출된 특징을 이용하여 특징 서술자를 생성하고(S100), 생성된 특징 서술자를 이용하여 다중센서 영상들 간의 특징 매칭을 수행하며(S200), RNSAC(RANdom SAmple Consensus)과 같은 알고리즘을 적용하여 호모그래피(homography) 계산을 수행하고(S300) 다중센서 영상들에 대한 정렬된 영상을 생성한다(S400).
이하, 도 2 내지 도 8을 참조하여 특징 서술자의 생성과 관련된 상기 S100단계에 대해 설명한다. 도 2는 도 1의 S100단계에 따른 특징 서술자 생성단계를 설명하기 위한 순서도이다.
먼저 영상탐지시스템은 다중센서로부터 각각 다중센서 입력영상을 수신한다(S110). 여기서 다중센서 입력영상들은 CCD 입력영상 및 IR 입력영상으로 이루어질 수 있다.
그리고 영상탐지시스템은 S110단계의 다중센서 입력영상들로부터 Integral Image를 생성한다(S115).
Integral Image는 영상 안의 임의의 사각형 영역에 속하는 픽셀들의 합을 빠르게 계산하기 위해 고안된 방법으로 Integral Image 내의 원점(영상의 좌측 상단)으로부터
Figure 112012108845711-pat00017
픽셀까지의 영상 픽셀의 합(
Figure 112012108845711-pat00018
)은 수학식 1과 같이 표현될 수 있다.
Figure 112012108845711-pat00019
Integral Image가 생성된 후, 임의의 직사각형 영역 내의 영상 픽셀 합은 수학식 5와 같이 간단한 연산을 이용하여 빠르게 계산할 수 있다.
Figure 112012108845711-pat00020
그리고 영상탐지시스템은 S110단계의 다중센서 입력영상의 모든 픽셀에 대해 에지에 속하는 지 여부를 판별하는 것에 의해 에지를 검출한다(S120). 다중센서 입력영상의 픽셀이 에지에 속하는지의 여부를 판별하기 위해 고유분석(eigen analysis) 방법을 이용할 수 있다.
그리고 영상탐지시스템은 S125단계에 의해 생성된 Integral Image에 대해 Hessian Detector를 이용하여 영상의 특징점을 검출한다(S125). 임의의 픽셀 에 대해 Hessian 행렬은 수학식 3과 같다.
Figure 112012108845711-pat00021
여기서
Figure 112012108845711-pat00022
는
Figure 112012108845711-pat00023
에서의 가우시안 second order derivative,
Figure 112012108845711-pat00024
이다. Integral Image를 이용한 Hessian Detector는 위의 Hessian 행렬을 가우시안 블러에서 Box 필터로 근사화하여 수행한 것으로 도 3과 같이 표현될 수 있다.
도 3은 Integral Image를 이용한 Hessian 행렬의 근사화로 왼쪽부터 첫 번째 와 두 번 째 영상은
Figure 112012108845711-pat00025
와
Figure 112012108845711-pat00026
의 가우시안 second order partial derivative이고 세 번째와 네 번째는 Integral Image를 이용하기 위해 근사화된
Figure 112012108845711-pat00027
와
Figure 112012108845711-pat00028
이다.
다음 영상탐지시스템은 다중센서 입력영상 내 모든 픽셀 중 에지에 속하는 것으로 판별된 픽셀에 대해 픽셀이 갖는 에지의 방향성으로 표현되는 방향맵(oriented map)을 생성한다(S130).
다중센서 입력영상의 방향맵은 도 4와 같이 나타날 수 있다. 도 4의 좌측 2장의 사진은 각각 CCD 입력영상 및 IR 입력영상이고, 우측 2장 사진은 이들 영상들 각각에서 추정된 방향맵의 예이다.
임의의 픽셀이 갖는 에지의 방향성(
Figure 112012108845711-pat00029
)은 x축과 y축에 대한 미분을 이용하여 수학식 4와 같이 계산될 수 있다.
Figure 112012108845711-pat00030
여기서
Figure 112012108845711-pat00031
와
Figure 112012108845711-pat00032
는 픽셀
Figure 112012108845711-pat00033
에서 x축과 y축에서의 변화율로 수학식 5와 같이 정의된다
Figure 112012108845711-pat00034
다음 영상탐지시스템은 S130단계에 의해 생성된 방향맵으로부터 방향을 갖는 픽셀의 에지의 크기로 표현되는 방향 에지맵(oriented edge map)을 생성한다(S140).
다중센서 입력영상의 방향 에지맵은 도 5와 같이 나타낼 수 있다. 도 5는 도 3의 CCD의 입력영상 및 IR의 입력영상에 대한 4방향 방향 에지맵의 예시 사진이다.
방향 에지맵은 픽셀의 방향을 양자화하여 생성한다. 방향각을 4개의 방향으로 양자화하고 양자화된 방향에 해당되는 픽셀의 에지 크기를 해당되는 방향 에지맵에 표현한다.
즉 영상탐지시스템은 4개의 양자화된 방향에 따라 4방향 에지맵을 생성한다. 방향 에지맵의 각 픽셀의 값(
Figure 112012108845711-pat00035
)은 수학식 6과 같이 정의된다.
Figure 112012108845711-pat00036
Figure 112012108845711-pat00037
여기서
Figure 112012108845711-pat00038
는 방향 에지맵이며
Figure 112012108845711-pat00039
는 양자화된 각의 범위이다.
Figure 112012108845711-pat00040
는 다중센서 입력영상의 픽셀
Figure 112012108845711-pat00041
에서의 에지의 크기다.
다음 영상탐지시스템은 S125단계에 의해 검출된 영상의 특징점에 대한 특징 서술자를 생성하기 위해 기하학 블러(Geometric blur)를 이용한 샘플링을 수행한다(S150).
기하학 블러는 공간적 거리에 따라 가우시안 커널을 변경하여 적용하는 방법으로 영상내 기하학적 왜곡에 효과적이다. 기하학 블러를 이용한 특징 서술자는 서술자를 생성하기 위해 특징 중심의 영상의 정보를 샘플링하여 서술자 벡터로 생성하는 과정에서 샘플링되는 픽셀의 값이 특징점의 위치를 중심으로 거리에 따라 변화된 가우시안 커널에 의해 콘볼루션된 결과 값을 샘플링한다.
이와 같은 기하학 블러를 이용한 샘플링의 예는 도 6에 도시된 바와 같다. 도 6은 특징 서술자를 생성하기 위해 기하학 블러를 이용한 샘플링의 예를 보여준다. 샘플링되는 픽셀은 중심 간의 거리에 따라 다른 크기의 커널을 갖는 가우시안 블러를 수행한 이후 샘플링 된다.
각 샘플링 되는 픽셀은 중심의 특징점과의 거리에 따라 가우시안 커널의 표준편차(
Figure 112012108845711-pat00042
)를 수학식 7과 같이 변경하여 적용한다.
Figure 112012108845711-pat00043
여기서 여기서
Figure 112012108845711-pat00044
는 샘플링되는 특징점의 위치이며
Figure 112012108845711-pat00045
는 샘필링되는 픽셀로 가우시안 커널의 중심이다. 그리고
Figure 112012108845711-pat00046
와
Figure 112012108845711-pat00047
는 블러의 크기를 결정하는 변수로 본 실시예에서는
Figure 112012108845711-pat00048
으로 사용하였다.
적용되는 가우시안 커널의 크기는 정의되는 표준편차에 따라 정의되며 커널의 중심과 커널의 최외곽까지의 거리(
Figure 112012108845711-pat00049
)는 수학식 8과 같이 정의된다.
Figure 112012108845711-pat00050
여기서
Figure 112012108845711-pat00051
는
Figure 112012108845711-pat00052
보다 작지 않은 최소의 상수값을 반환한다. 그러므로 적용되는 커널의 크기는
Figure 112012108845711-pat00053
와 같이 나타낼 수 있다.
그리고 영상탐지시스템은 특징 서술자를 생성하기 위해 S140단계에 의해 생성된 4개의 방향 에지맵으로부터 도 7과 같이 30도 간격의 방향 및 6단계의 거리에 따라 정의되는 총 51개의 위치의 픽셀에 대해 기하학 블러를 이용한 샘플링을 수행한다(S150).
도 7은 특징의 위치를 중심으로 샘플링되는 픽셀의 위치를 보여준다. 즉 영상탐지시스템은 방향 에지맵마다 총 51개의 픽셀값을 샘플링할 수 있다. 샘플링되는 특징 주변의 픽셀의 위치는 50x50의 크기로 중심과 가장 먼 픽셀과의 거리는 25픽셀로 정의된다.
다음 영상탐지시스템은 S150단계에 의해 각 방향 에지맵마다 샘플링된 픽셀을 하나의 벡터로 연결하여 204개의 원소를 갖는 특징 서술자 벡터를 생성한다(S160).
영상탐지시스템은 크기 변화)에 강건하게 동작하기 위해 샘플링되는 방향 에지맵을 1.1배로 반복적으로 확대하여 총 6단계의 크기 변환된 특징 서술자 벡터를 생성한다.
즉, 하나의 특징 서술자는 도 8과 같이 204개의 원소를 갖는 특징 벡터 6개로 정의된다. 도 8은 하나의 특징을 표현하는 특징 서술자 집합의 예로 크기에 따라 6개의 특징 서술자 벡터로 하나의 특징이 표현된다.
본 발명의 영상탐지시스템의 영상정렬방법은, 위에서 설명한 S100단계의 수행에 의해 생성된 특징 서술자를 이용하여 다중센서 영상들 간의 특징 매칭을 수행하며(S200), RANSAC(RANdom SAmple Consensus)과 같은 알고리즘을 적용하여 호모그래피(homography) 계산을 수행하고(S300) 다중센서 영상들에 대한 정렬된 영상을 생성한다(S400).
이하, 도 9를 참조하여 본 발명의 또 다른 실시예에 따른 영상탐지시스템의 다중센서 영상정렬장치(1)에 대해 설명하면, 영상탐지시스템의 다중센서 영상정렬장치(1)는 영상 수신부(10)와 영상 처리부(20)로 구분할 수 있다.
영상 수신부(10)는 다중센서들을 이용하여 영상을 감지하여 다중센서 영상신호를 생성하여 영상 처리부(20)로 전송하고, 가시광을 촬영하는 CCD(Charge Coupled Device) 센서 및 LWIR 또는 MWIR을 이용하는 적외선 센서를 포함할 수 있다.
영상 처리부(20)는 영상 수신부(10)로부터 전달된 다중센서 영상신호를 이용하여 도 1에 도시된 제어절차에 의해 처리하여 정렬된 영상을 생성한다. 영상 처리부(20)는 전술한 도 1의 S100단계의 제어절차를 수행하는 특징검출 및 특징 서술자 생성모듈(22)와, 전술한 S200단계의 제어절차를 수행하는 특징 매칭모듈(24)과, 전술한 S300 및 S400단계의 제어절차를 수행하는 정렬 영상 생성모듈(26)로 구분할 수 있다.
이하에서는 도 10 내지 도 14를 참조하여 본 발명의 일 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법의 효과를 종래의 방법과 비교하여 설명한다.
본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법과 같은 특징 기반의 영상 정렬 방법은 특징 간 정확한 매칭 여부가 정렬을 위해 매우 중요하므로, 특징 매칭 성능을 평가를 위해 종래의 SIFT와 SURF의 특징기반 방법과 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법을 비교한다.
그리고 다중센서 영상 정렬 결과를 평가하기 위해 종래 전역 에러 목적 함수를 최소화하는 3D Joint MI 방법과 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법을 비교한다.
비교를 위한 실험에는 동일한 대상을 촬영한 CCD 영상과 IR 영상을 이용한다. 이때 두 영상은 서로 다른 카메라를 이용하여 촬영되기 때문에 정렬이 필요한 영상이다. IR 영상은 3~5㎛의 중파(mid-wavelength)를 갖는 MWIR영상과 8~14㎛의 장파(long-wavelength)를 갖는 LWIR 영상을 획득하였다.
모든 영상은 640x480의 크기를 가지며 집이나 공장, 빌딩, 나무, 전신주가 있는 길가, 다리 등의 공개된 환경에서 촬영되었다. 개발된 방법과 비교를 위해 이용된 방법은 모두 VC2005에서 MFC를 기반으로 OpenCV 2.0을 이용하여 구현되었다. 테스트는 4GB의 램과 Intel Core i5 CPU 2.67GHz를 탑재한 컴퓨터를 이용하여 수행되었다.
도 10 및 도 12는 특징 매칭 성능을 평가를 위해, SIFT와 SURF, 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법을 이용한 특징 검출 및 매칭 결과를 보여준다. 각 매칭 결과는 RANSAC을 이용하여 inlier와 outlier로 구분하였다. 각 그림에서 붉은 색의 선은 inlier를 나타내며 파란선은 outlier를 나타낸다.
도 10에서 입력 영상은 집 건물과 울타리, 전신주 등으로 인해 충분한 특징이 검출되었다. 도 10a는 SIFT의 매칭 결과이고, 도 10b는 SURF의 매칭 결과로서 매칭된 결과도 적을 뿐만 아니라 올바로 매칭된 특징이 거의 없었다. 이에 반해 도 10c는 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법의 매칭 결과로서, 매칭 결과가 종래의 방법 보다 향상된 것을 확인할 수 있다.
도 11a는 동일한 장소를 촬영한 CCD 영상과 IR 영상의 예이며, 도 11b는 다중센서 영상 간 SIFT를 이용한 특징 매칭 결과이고, 도 11c는 SURF를 이용한 특징 매칭 결과이며, 도 11d는 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법을 이용한 특징 매칭 결과이다.
각 도면에서 첫 번째 줄은 특징 검출 결과를 보여주며 두 번째 줄은 특징 매칭 결과를 보여준다.
또한 다양한 다중센서 간의 매칭을 실험하기 위해 도 11a에 나타난 바와 같이 좌측으로부터 첫 번째 입력영상의 쌍으로 CCD와 LWIR 입력영상을 사용하였고, 두 번째 입력영상의 쌍으로 CCD와 MWIR 입력영상을 사용하였으며, 세 번째 입력영상으로 LWIR과 MWIR 입력영상을 사용하였다. 특히 CCD와 MWIR 입력영상은 원거리 영상으로 많은 잡음을 포함한 영상으로 실험하였다.
도 11b 및 도 101에 나타난 바와 같이 SIFT와 SURF는 CCD와 IR영상 간의 표현되는 픽셀 변화(gradient)가 다르기 때문에 CCD와 IR영상 간의 올바른 매칭을 수행하지 못하였다.
반면, 도 11d에 나타난 바와 같이 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법은 방향 에지맵으로부터 에지의 크기를 고려하기 때문에 모든 매칭 결과에서 올바른 매칭을 수행하였으며 충분한 수의 inlier를 검출하였다.
이와 같은 비교 실험결과를 통해 본 발명의 일 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법이 종래의 방법에 비해 특징 검출 및 매칭 결과가 우수함을 확인 할 수 있다. 이러한 결과는 도 12를 통해서도 확인 할 수 있다. 도 12는 도 11의 매칭 결과에 대한 inlier의 수 비교를 보여준다.
LWIR(Long Wave Infrared)과 MWIR(Middle Wave Infrared) 간의 매칭의 경우, 두 영상이 유사한 픽셀 변화를 가지기 때문에 SIFT와 SURF가 비교적 정확한 매칭을 수행하지만 개발된 방법은 보다 많은 수의 정확한 inlier를 매칭하기 때문에 보다 정확한 영상 정렬을 수행할 수 있다.
이하 다중센서 영상 정렬 결과를 평가하기 위해 도 13 및 도 14를 참조하여 종래 전역 에러 목적 함수를 최소화하는 3D Joint MI 방법과 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법을 비교한다.
영상 정렬의 정확도를 확인하기 위해 두 영상 간의 에지의 연속성을 확인하기 위해 그림은 격자 형태로 두 영상을 반복적으로 표현하였다.
3D Joint MI는 두 영상 간의 아핀 변환을 전역 에러 함수를 최소화하면서 반복적으로 계산하기 때문에 정렬을 위해 많은 시간이 소요되지만 도 13a에 나타난 바와 같이 비교적 정확한 정렬 결과를 얻을 수 있다.
반면, 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법은 특징 기반의 방법으로 매우 빠른 속도로 영상 정렬을 수행하면서 도 13b에 나타난 바와 같이 MI와 유사하거나 보다 좋은 결과를 얻을 수 있었다.
도 14a는 3D Joint MI 방법과 개발 방법 간의 정렬 시간에 대한 비교를 보여준다. 입력 영상의 크기가 커질수록 3D Joint MI 방법은 수십 분의 많은 시간이 요구되는 반면 도 14b와 같이 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법은 5초 내의 빠른 수행 시간을 보였다.
이와 같이 본 실시예에 따른 영상탐지시스템의 다중센서 영상정렬방법은 다중센서 영상 간의 매칭에 적합한 새로운 특징 서술자를 이용함으로써 매우 빠른 속도로 영상 정렬을 하면서도 다중센서 영상 간의 매칭의 정확도를 향상시킬 수 있다.
본 발명의 일 실시예에 따른영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치는 위에서 설명한 실시예들의 구성과 방법에 한정되지 않으며, 사용자의 필요에 따라 실시예의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.
1: 영상탐지시스템의 다중센서 영상정렬장치
10: 영상 수신부
20: 영상 처리부
22: 특징검출 및 특징 서술자 생성모듈
24: 특징 매칭모듈
26: 정렬 영상 생성모듈

Claims (9)

  1. 영상탐지시스템의 다중센서 영상정렬방법에 있어서,
    (a) 다중센서들로부터 각각 다중센서 입력영상들을 수신하고, 이 수신된 다중센서 입력영상들로부터 방향맵(oriented map)과 방향 에지맵(oriented edge map)을 생성하고 이 생성된 방향맵(oriented map)과 방향 에지맵(oriented edge map)을 이용하여 영상의 특징 정보를 생성하며, 이 생성된 영상의 특징 정보를 이용하여 특징 서술자를 생성하는 단계;
    (b) 상기 생성된 특징 서술자를 이용하여 다중센서 영상들 간의 특징 매칭을 수행하는 단계; 및
    (c) 호모그래피(homography) 계산을 수행하고 상기 다중센서 입력영상들에 대한 정렬된 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
  2. 제1항에 있어서,
    상기 (a)단계는
    (a1) 상기 다중센서들로부터 각각 다중센서 입력영상들을 수신하고, 이 수신된 다중센서 입력영상들로부터 Integral Image를 생성하는 단계;
    (a2) 상기 다중센서 입력영상들의 모든 픽셀에 대해 에지에 속하는 지 여부를 판별하는 것에 의해 에지를 검출하고, 상기 Integral Image에 대해 Hessian Detector를 이용하여 영상의 특징점을 검출하는 단계;
    (a3) 상기 검출된 에지에 속하는 픽셀에 대해 픽셀이 갖는 에지의 방향성으로 표현되는 방향맵(oriented map)을 생성하고, 이 생성된 방향맵으로부터 방향을 갖는 픽셀의 에지의 크기로 표현되는 방향 에지맵(oriented edge map)을 생성하는 단계; 및
    (a4) 상기 (a2)단계에 의해 검출된 영상의 특징점에 대해 기하학 블러(Geometric blur)를 이용한 샘플링을 수행하고, 상기 (a3)단계에 의해 생성된 방향 에지맵에 대해 기하학 블러를 이용한 샘플링을 수행는 것에 의해 상기 특징 서술자를 생성하는 단계를 포함하는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
  3. 제2항에 있어서,
    상기 다중센서 입력영상들은 CCD(Charge Coupled Device) 입력영상 및 IR(Infra-Red) 입력영상으로 마련되는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
  4. 제2항에 있어서,
    상기 Integral Image는 영상 안의 임의의 사각형 영역에 속하는 픽셀들의 합을 계산하기 위해, 상기 Integral Image 내의 영상의 좌측 상단의 원점으로부터
    Figure 112012108845711-pat00054
    픽셀까지의 영상 픽셀의 합(
    Figure 112012108845711-pat00055
    )은 수식 1로 표현되는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
    수식 1:
    Figure 112012108845711-pat00056
  5. 제2항에 있어서,
    상기 Hessian Detector는 상기 Hessian 행렬을 가우시안 블러에서 필터로 근사화하여 수행하는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
  6. 제2항에 있어서,
    상기 픽셀이 갖는 에지의 방향성(
    Figure 112012108845711-pat00057
    )은 x축과 y축에 대한 미분을 이용하여 수식 2로 표현되고,
    Figure 112012108845711-pat00058
    와
    Figure 112012108845711-pat00059
    는 픽셀
    Figure 112012108845711-pat00060
    에서 x축과 y축에서의 변화율로 수식 3으로 표현되는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
    수식 2:
    Figure 112012108845711-pat00061

    수식 3:
    Figure 112012108845711-pat00062
  7. 제2항에 있어서,
    상기 방향 에지맵은 픽셀의 방향을 양자화하여 생성하는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
  8. 제7항에 있어서,
    상기 방향 에지맵의 각 픽셀의 값(
    Figure 112012108845711-pat00063
    )은 수식 4로 표현되는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬방법.
    수식 4:
    Figure 112012108845711-pat00064
    ,
    Figure 112012108845711-pat00065

    여기서
    Figure 112012108845711-pat00066
    = 방향 에지맵,
    Figure 112012108845711-pat00067
    = 양자화된 각의 범위,
    Figure 112012108845711-pat00068
    = 상기 다중센서 입력영상의 픽셀
    Figure 112012108845711-pat00069
    에서의 에지의 크기
  9. 영상탐지시스템의 다중센서 영상정렬장치에 있어서,
    다중센서들을 이용하여 영상을 감지하여 다중센서 영상신호를 생성하는 영상 수신부; 및
    상기 영상 수신부에 의해 생성된 다중센서 영상신호를 이용하여 상기 제1항 내지 제8항 중 어느 하나의 항에 따른 영상탐지시스템의 다중센서 영상정렬방법을 수행하는 영상 처리부를 포함하는 것을 특징으로 하는 영상탐지시스템의 다중센서 영상정렬장치.
KR1020120155923A 2012-12-28 2012-12-28 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치 KR101348681B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120155923A KR101348681B1 (ko) 2012-12-28 2012-12-28 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120155923A KR101348681B1 (ko) 2012-12-28 2012-12-28 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치

Publications (1)

Publication Number Publication Date
KR101348681B1 true KR101348681B1 (ko) 2014-01-09

Family

ID=50144823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120155923A KR101348681B1 (ko) 2012-12-28 2012-12-28 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치

Country Status (1)

Country Link
KR (1) KR101348681B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513052A (zh) * 2015-11-26 2016-04-20 四川长虹电器股份有限公司 一种冰箱内食物存量及变质信息探知系统及方法
KR20160150455A (ko) * 2015-06-22 2016-12-30 (주)이더블유비엠 다중컬러와 다중방향성에 기반한 영상의 윤곽선 추출방법 및 장치
KR20180096100A (ko) 2017-02-20 2018-08-29 엘아이지넥스원 주식회사 레이저 거리 측정기를 이용한 카메라 정렬 장치 및 방법
KR102102369B1 (ko) * 2019-03-08 2020-04-20 국방과학연구소 정합 성능 추정 방법 및 장치
KR102552683B1 (ko) * 2023-01-05 2023-07-06 국방과학연구소 적외선 영상에 관한 블러 커널 생성 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286395A (ja) 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 画像処理システムおよびその方法
JP2008217816A (ja) 2008-04-11 2008-09-18 Fujifilm Corp 画像処理システムおよびその方法
KR20100076351A (ko) * 2008-12-26 2010-07-06 엘지이노텍 주식회사 스테레오 카메라 영상 합성 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286395A (ja) 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 画像処理システムおよびその方法
JP2008217816A (ja) 2008-04-11 2008-09-18 Fujifilm Corp 画像処理システムおよびその方法
KR20100076351A (ko) * 2008-12-26 2010-07-06 엘지이노텍 주식회사 스테레오 카메라 영상 합성 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160150455A (ko) * 2015-06-22 2016-12-30 (주)이더블유비엠 다중컬러와 다중방향성에 기반한 영상의 윤곽선 추출방법 및 장치
KR101711929B1 (ko) * 2015-06-22 2017-03-03 (주)이더블유비엠 다중컬러와 다중방향성에 기반한 영상의 윤곽선 추출방법 및 장치
CN105513052A (zh) * 2015-11-26 2016-04-20 四川长虹电器股份有限公司 一种冰箱内食物存量及变质信息探知系统及方法
CN105513052B (zh) * 2015-11-26 2018-01-12 四川长虹电器股份有限公司 一种冰箱内食物存量及变质信息探知系统及方法
KR20180096100A (ko) 2017-02-20 2018-08-29 엘아이지넥스원 주식회사 레이저 거리 측정기를 이용한 카메라 정렬 장치 및 방법
KR102102369B1 (ko) * 2019-03-08 2020-04-20 국방과학연구소 정합 성능 추정 방법 및 장치
KR102552683B1 (ko) * 2023-01-05 2023-07-06 국방과학연구소 적외선 영상에 관한 블러 커널 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
EP2375376B1 (en) Method and arrangement for multi-camera calibration
US9578310B2 (en) Automatic scene calibration
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
Chaudhury et al. Auto-rectification of user photos
KR101348681B1 (ko) 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
TWI709110B (zh) 攝像頭校準方法和裝置、電子設備
CN104170371B (zh) 实现自助合影的方法和照相设备
JP6515039B2 (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
US20150170331A1 (en) Method and Device for Transforming an Image
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
Furnari et al. Distortion adaptive Sobel filters for the gradient estimation of wide angle images
Bastanlar et al. Multi-view structure-from-motion for hybrid camera scenarios
JP6662382B2 (ja) 情報処理装置および方法、並びにプログラム
Kurban et al. Plane segmentation of kinect point clouds using RANSAC
CN105678719A (zh) 一种全景拼接接缝处平滑方法及装置
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
CN109598674B (zh) 一种图像拼接方法及装置
JP6585668B2 (ja) 物体検出装置
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
Ventura et al. Structure and motion in urban environments using upright panoramas
Georgiev et al. A fast and accurate re-calibration technique for misaligned stereo cameras
JP2005275789A (ja) 三次元構造抽出方法
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
Yang et al. Design flow of motion based single camera 3D mapping

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161202

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181204

Year of fee payment: 6