KR101562150B1 - 멀티 스펙트럼 이미지간 매칭 방법 및 장치 - Google Patents

멀티 스펙트럼 이미지간 매칭 방법 및 장치 Download PDF

Info

Publication number
KR101562150B1
KR101562150B1 KR1020140187297A KR20140187297A KR101562150B1 KR 101562150 B1 KR101562150 B1 KR 101562150B1 KR 1020140187297 A KR1020140187297 A KR 1020140187297A KR 20140187297 A KR20140187297 A KR 20140187297A KR 101562150 B1 KR101562150 B1 KR 101562150B1
Authority
KR
South Korea
Prior art keywords
image
window
transformation
matching
correlation
Prior art date
Application number
KR1020140187297A
Other languages
English (en)
Inventor
손광훈
김승룡
류승철
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140187297A priority Critical patent/KR101562150B1/ko
Application granted granted Critical
Publication of KR101562150B1 publication Critical patent/KR101562150B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Abstract

멀티 스펙트럼 이미지간 매칭 방법 및 장치가 개시된다. 개시된 방법은, 제1 영상 및 제2 영상의 소정 영역인 적어도 하나의 변환 윈도우 영역에 대해 상관 평면 변환을 각각 수행하는 단계(a); 상기 상관 평면 변환된 제1 영상 및 제2 영상의 변환 윈도우 영역을 복수의 로그 폴라 빈 영역으로 분할하는 단계(b); 상기 복수의 로그 폴라 빈 영역 각각에 대한 최대값을 찾아내 로그 폴라 변환을 수행하는 단계(c); 상기 제1 영상 및 제2 영상의 로그 폴라 변환 데이터를 주파수 영역으로 변환하는 단계(d); 및 상기 제1 영상의 특정 변환 윈도우에 대한 상기 단계(d)의 결과 데이터와 매칭되는 상기 제2 영상의 변환 윈도우를 탐색하여 상기 특정 변환 윈도우에 대한 매칭을 수행하는 단계(e)를 포함한다. 개시된 발명에 의하면, 발명에 의하면, 비선형적 특성을 가지는 멀티 스펙트럼 이미지간 매칭을 높은 정확도로 수행할 수 있으며, 멀티 스펙트럼 이미지간 시프트 및 회전에 의해 발생할 수 있는 매칭 부정확성을 최소화할 수 있는 장점이 있다.

Description

멀티 스펙트럼 이미지간 매칭 방법 및 장치{Matching Device and Method Between Multi Spectral Images}
본 발명은 영상 매칭 방법 및 장치에 관한 것으로서, 더욱 상세하게는 멀티 스펙트럼 이미지간 영상 매칭 방법 및 장치에 관한 것이다.
멀티 스펙트럼 이미지는 서로 다른 채널로 이루어진 이미지들을 의미한다. 예를 들어, 일반적인 카메라에 의해 획득되는 RGB 채널로 이루어진 이미지와 NIR 카메라에 의해 획득되는 NIR 채널로 이루어진 이미지가 멀티 스펙트럼 이미지에 해당된다.
멀티 스펙트럼 이미지는 영상으로부터 눈에 보이지 않는 다양한 정보를 획득하기 위해 근래에 들어 널리 활용되고 있다. 특히, 멀티 스펙트럼 이미지간 매칭 포인트 판단은 상 노이즈 제거, 이미지 편집, 객체 트랙킹, 스트레오 매칭, 이미지 검색 등과 같이 다양한 응용 분야에서 요구되고 있다.
이러한 멀티 스펙트럼 영상은 동일한 조건(예를 들어, 동일한 카메라)에서 촬영되는 영상들과는 달리 그 색채나 명암 등이 상이한 특징이 있다.
동일 조건에서 촬영되는 영상들의 대칭점 매칭은 주로 픽셀값의 변화를 이용하여 수행되는 것이 일반적이다. 예를 들어, 픽셀값의 그래디언트를 이용한 매칭 방식이 널리 사용되고 있다.
그러나, 멀티 스펙트럼 영상은 서로 다른 조건에서 촬영되는 영상이기에 픽셀값의 변화에 대한 선형성이 확보되지 않으며, 이로 인해 기존의 매칭 방식이 사용될 경우 부정확한 매칭이 이루어지는 경우가 빈번히 발생한다.
또한, 이러한 부정확성을 보완하기 위해 추가적인 연산을 수행하여야 하므로 멀티 스펙트럼 이미지간 매칭에는 상당한 연산이 요구되는 문제점도 있었다.
아울러, 서로 다른 카메라에 의해 멀티 스펙트럼 이미지가 촬영되므로 영상의 시프트 및 회전은 멀티 스펙트럼 이미지의 매칭 포인트를 판단하는데 있어 부정확성을 발생시키는 요인 중 하나였다.
본 발명의 일 측면은 비선형적 특성을 가지는 멀티 스펙트럼 이미지간 매칭을 높은 정확도로 수행할 수 있는 멀티 스펙트럼 이미지간 매칭 방법 및 장치를 제안한다.
본 발명의 다른 측면은 멀티 스펙트럼 이미지간 시프트 및 회전에 의해 발생할 수 있는 매칭 부정확성을 최소화할 수 있는 멀티 스펙트럼 이미지간 매칭 방법 및 장치를 제안하는 것이다.
본 발명의 일 측면에 따르면, 멀티 스펙트럼 이미지간 매칭 방법으로서, 제1 영상 및 제2 영상의 소정 영역인 적어도 하나의 변환 윈도우 영역에 대해 상관 평면 변환을 각각 수행하는 단계(a); 상기 상관 평면 변환된 제1 영상 및 제2 영상의 변환 윈도우 영역을 복수의 로그 폴라 빈 영역으로 분할하는 단계(b); 상기 복수의 로그 폴라 빈 영역 각각에 대한 최대값을 찾아내 로그 폴라 변환을 수행하는 단계(c); 상기 제1 영상 및 제2 영상의 로그 폴라 변환 데이터를 주파수 영역으로 변환하는 단계(d); 및 상기 제1 영상의 특정 변환 윈도우에 대한 상기 단계(d)의 결과 데이터와 매칭되는 상기 제2 영상의 변환 윈도우를 탐색하여 상기 특정 변환 윈도우에 대한 매칭을 수행하는 단계(e)를 포함하는 멀티 스펙트럼 이미지간 매칭 방법이 제공된다.
상기 상관 평면 변환은 상기 변환 윈도우 내에 설정되는 레퍼런스 패치와 상기 변환 윈도우의 특정 픽셀을 중심으로 설정되는 대상 패치와의 상관 연산을 수행하고 상기 특정 픽셀의 픽셀값을 상기 레퍼런스 패치와 상기 대상 패치와의 상관 연산 값으로 대체하는 것이다.
상기 레퍼런스 패치는 상기 변환 윈도우의 중심 픽셀을 기준으로 설정된다.
상기 변환 윈도우에 대한 상관 평면 변환은 다음의 수학식과 같이 수행된다.
Figure 112014125144679-pat00001
위 수학식 q는 대상 패치에 속하는 픽셀을 의미하고,
Figure 112014125144679-pat00002
는 레퍼런스 패치에 속하는 픽셀을 의미하며
Figure 112014125144679-pat00003
는 대상 패치를 의미하고,
Figure 112014125144679-pat00004
는 레퍼런스 패치를 의미하며,
Figure 112014125144679-pat00005
는 픽셀값을 의미함.
상기 로그 폴라 변환은 상기 다수의 로그 폴라 빈 영역 각각에 포함된 다수의 상관값들 중 최대값에 해당되는 상관값을 각각의 로그 폴라 빈 영역과 연관시켜 출력하는 것이다.
상기 단계(d)의 주파수 영역 변환은 DFT(Discrete Fourier Transform)을 포함한다.
상기 단계(e)는, 상기 제2 영상의 다수의 변환 윈도우에 대한 상기 단계(d)의 결과 데이터 중 상기 제1 영상의 상기 특정 변환 윈도우에 대한 상기 단계(d)의 결과 데이터와 가장 유사한 변환 윈도우를 상기 특정 변환 윈도우에 매칭되는 변환 윈도우로 판단한다.
본 발명의 다른 측면에 따르면, 멀티 스펙트럼 이미지간 매칭 방법으로서, 제1 영상 및 제2 영상의 소정 영역인 적어도 하나의 변환 윈도우 영역에 대해 상관 평면 변환을 각각 수행하는 단계(a); 상기 상관 평면 변환된 제1 영상 및 제2 영상의 변환 윈도우에 대한 로그 폴라 변환을 수행하는 단계(b); 상기 제1 영상 및 상기 제2 영상의 로그 폴라 변환 데이터를 주파수 영역으로 변환하는 단계(c); 및 상기 제1 영상의 특정 변환 윈도우에 대한 상기 단계(d)의 데이터와 매칭되는 상기 제2 영상의 변환 윈도우를 탐색하여 상기 특정 변환 윈도우에 대한 매칭을 수행하는 단계(e)를 포함하되, 상기 단계(a)는 상기 변환 윈도우 내에 설정되는 레퍼런스 패치와 상기 변환 윈도우 내의 특정 픽셀을 기준으로 설정되는 다수의 대상 패치들간 상관 연산을 통해 변환하는 멀티 스펙트럼 이미지간 매칭 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 멀티 스펙트럼 이미지간 매칭 장치로서, 제1 영상 및 제2 영상의 소정 영역인 적어도 하나의 변환 윈도우 영역에 대해 상관 평면 변환을 각각 수행하는 상관 평면 변환부; 상기 상관 평면 변환된 제1 영상 및 제2 영상의 변환 윈도우 영역을 복수의 로그 폴라 빈 영역으로 분할하고 상기 복수의 로그 폴라 빈 영역 각각에 대한 최대값을 찾아내 로그 폴라 변환을 수행하는 로그 폴라 변환부; 및 상기 제1 영상 및 제2 영상의 로그 폴라 변환 데이터를 주파수 영역으로 변환하는 주파수 영역 변환부를 포함하되, 상기 제1 영상의 특정 변환 윈도우에 대한 상기 주파수 영역 변환부의 결과 데이터와 매칭되는 상기 제2 영상의 변환 윈도우를 탐색하여 상기 특정 변환 윈도우에 대한 매칭을 수행하는 매칭부를 포함하는 멀티 스펙트럼 이미지간 매칭 장치가 제공된다.
본 발명에 의하면, 비선형적 특성을 가지는 멀티 스펙트럼 이미지간 매칭을 높은 정확도로 수행할 수 있으며, 멀티 스펙트럼 이미지간 시프트 및 회전에 의해 발생할 수 있는 매칭 부정확성을 최소화할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 스펙트럼 이미지의 매칭 장치의 구조를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 변환 윈도우의 개념을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 특정 변환 윈도우에 대해 상관 평면 변환을 수행하는 개념도.
도 4는 본 발명의 일 실시예에 따른 상관 평면 변환을 수행한 결과를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 로그 폴라 변환을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 주파수 변환 결과를 도시한 그래프.
도 7은 본 발명의 기술자와 종래에 알려진 기술자들과의 회전에 따른 변화를 비교한 그래프.
도 8은 본 발명의 일 실시예에 따른 다중 멀티 스펙트럼 이미지 매칭 방법의 전체적인 흐름을 도시한 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
멀티 스펙트럼 이미지는 서로 다른 스펙트럼으로 이루어진 복수의 이미지를 의미한다. 예를 들어, 가시 광선 주파수 영역의 RGB 채널로 이루어진 이미지와 근적외선 영역의 채널로 이루어진 NIR 이미지는 서로 다른 스펙트럼으로 이루어진 멀티 스펙트럼 이미지에 해당된다.
본 실시예서는 멀티 스펙트럼 이미지간 매칭되는 부분을 판단하는 방법에 대해 설명하는데, NIR 이미지와 RGB 이미지의 대칭점을 매칭하는 방법을 예로 하여 설명할 것이다. 그러나, 당업자라면, 본 발명의 멀티 스펙트럼 이미지간 매칭 방법이 다른 채널을 가지는 멀티 스펙트럼 이미지간에도 적용될 수 있다는 점을 용이하게 이해할 수 있을 것이다. 예를 들어, 본 발명의 멀티 스펙트럼 이미지간 매칭 방법은 RGB 이미지와 적외선 이미지 사이의 매칭에도 사용될 수 있다. 또한, 본 실시예에서는 두 개의 이미지간 매칭에 대해 설명할 것이나 둘 이상의 이미지간 매칭에도 본 발명의 사상은 그대로 적용될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 멀티 스펙트럼 이미지의 매칭 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 멀티 스펙트럼 이미지의 매칭 장치는 이미지 입력부(100), 상관 평면 변환부(110), 로그 폴라 변환부(120), 주파수 영역 변환부(130) 및 매칭부(140)를 포함한다.
이미지 입력부(100)로는 대칭점 매칭을 수행할 멀티 스펙트럼 이미지가 입력된다. 예를 들어, RGB 채널로 이루어진 제1 이미지와 NIR 채널로 이루어진 제2 이미지가 입력된다.
제1 이미지 및 제2 이미지가 이미지 입력부(100)를 통해 입력되면, 상관 평면 변환부(110)는 제1 이미지 및 제2 이미지에 대한 상관 평면 변환을 수행한다. 제1 이미지 및 제2 이미지에 대한 상관 평면 변환은 각각의 이미지에 대해 독립적으로 이루어진다.
상관 평면 변환은 전체 이미지의 소정 영역을 차지하는 변환 윈도우 단위로 이루어진다.
도 2는 본 발명의 일 실시예에 따른 변환 윈도우의 개념을 도시한 도면이다.
도 2에 도시된 바와 같이, 변환 윈도우는 전체 이미지보다는 작으며, 매칭을 수행하려는 관심 이미지 영역에 해당되는 부분이다. 상관 평면 변환은 변환 윈도우에 포함된 모든 픽셀들에 대해 수행된다. 변환 윈도우의 사이즈 및 개수는 필요에 따라 당업자에 의해 다양하게 설정될 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 특정 변환 윈도우에 대해 상관 평면 변환을 수행하는 개념도를 도시한 도면이다.
도 3을 참조하면, 상관 평면 변환을 수행하기 위해 레퍼런스 패치(200)가 설정된다. 레퍼런스 패치는 이미지의 특정 변환 윈도우의 소정 영역에 설정되며 바람직하게는 변환 윈도우의 중심부를 기준으로 설정된다.
상관 변환을 위해 레퍼런스 패치와 변환 윈도우의 특정 픽셀을 중심으로 설정되는 대상 패치(210)와의 상관 연산이 이루어진다. 본 발명의 상관 평면 변환은 대상 패치(210)의 중심 픽셀값을 레퍼런스 패치와 대상 패치간의 상관 연산 값으로 대체하는 것이다. 예를 들어, 대상 패치(210)의 중심 픽셀의 픽셀값이 a이고, 대상 패치와 레퍼런스 패치간의 상관 연산 값이 b일 경우 픽셀값 a가 b로 대체되는 것이다. 대상 패치(210)와 레퍼런스 패치의 사이즈는 동일한 것이 바람직하다.
대상 패치는 변환 윈도우를 구성하는 모든 픽셀에 대해 설정되며, 모든 대상 패치와 레퍼런스 패치와의 상관 연산을 수행하고 대상 패치의 중심 픽셀 값을 상관 연산 결과로 대체하면 특정 윈도우의 상관 평면 변환이 완료된다.
일례로, 특정 이미지의 상관 평면 변환은 다음의 수학식 1과 같이 이루어질 수 있다.
Figure 112014125144679-pat00006
위 수학식 1에서, q는 대상 패치에 속하는 픽셀을 의미하고,
Figure 112014125144679-pat00007
는 레퍼런스 패치에 속하는 픽셀을 의미하며
Figure 112014125144679-pat00008
는 대상 패치를 의미하고,
Figure 112014125144679-pat00009
는 레퍼런스 패치를 의미하며,
Figure 112014125144679-pat00010
는 픽셀값을 의미한다.
상관 평면 변환은 위 수학식 1과 같이 이루어질 수도 있으나, 위 수학식 1에 가중치를 반영한 상관 연산을 통해 상관 평면 변환을 수행할 수도 있다는 점은 당업자에게 있어 자명할 것이다.
도 4는 본 발명의 일 실시예에 따른 상관 평면 변환을 수행한 결과를 도시한 도면이다.
도 4를 참조하면, (a)에는 RGB 카메라로 획득한 영상에 대한 상관 평면 변환 결과가 도시되어 있으며, (b)에는 NIR 카메라로 획득한 영상에 대한 상관 평면 변환 결과가 도시되어 있다.
이와 같은 상관 평면 변환에 의해 멀티 스펙트럼 이미지간 발생하는 비선형성을 제거할 수 있게 되며 파장에 의존적인 요소들 역시 제거할 수 있게 된다.
로그 폴라 변환부(120)는 상관 평면 변환이 이루어진 제1 이미지 및 제2 이미지에 대해 로그 폴라 변환을 수행한다. 제1 이미지 및 제2 이미지의 상관 평면 변환이 완료된 변환 윈도우별로 로그 폴라 변환이 수행된다.
로그 폴라 변환은 상관 평면 변환된 변환 윈도우를 로그 폴라 영역으로 구분하고 각 로그 폴라 영역에서 특정값을 선택하는 변환을 의미한다. 로그 폴라 변환은 서로 다른 카메라로 촬영을 할 경우의 발생하는 영상의 회전과 촬영 각도의 차이로 발생하는 변화를 제거하기 위해서이다.
도 5는 본 발명의 일 실시예에 따른 로그 폴라 변환을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 로그 폴라 변환은 이미지를 다수의 로그 폴라 빈(bin) 영역(400, 410, 420)으로 구분한다. 로그 폴라 빈 영역은 이미지의 중심을 중심으로 하는 다수의 동심원 및 두 개의 대각선에 의해 정의되는 영역이다.
각 로그 폴라 빈 영역은 각도 및 반지름에 의해 정의될 수 있다. 도 4에서, 제1 로그 폴라 영역(400)은 각도
Figure 112014125144679-pat00011
및 반지름
Figure 112014125144679-pat00012
으로 정의될 수 있다 또한, 제2 로그 폴라 영역(410)은 각도
Figure 112014125144679-pat00013
및
Figure 112014125144679-pat00014
로 정의할 수 있다.
본 발명의 로그 폴라 변환은 각 로그 폴라 빈 영역별로 해당 영역에서의 최대값을 찾는 것이다. 예를 들어, 제1 로그 폴라 빈 영역(400)에 포함된 상관값들 중 최대 상관값을 찾아내는 것이다. 따라서, 로그 폴라 변환 값은 각 빈 영역과 연관된 최대값의 형태로 나타난다.
로그 폴라 변환은 다음의 수학식 2와 같이 표현될 수 있다.
Figure 112014125144679-pat00015
위 수학식 2에서,
Figure 112014125144679-pat00016
는 빈 영역에 속하는 픽셀을 의미하고,
Figure 112014125144679-pat00017
는 중심 픽셀을 의미하며, bin은 빈 영역을 의미하며, k는 빈 식별자를 의미한다.
주파수 변환부(130)는 로그 폴라 변환된 데이터를 주파수 영역의 데이터로 변환한다. 본 발명의 일 실시예에 따르면, DFT(Discrete Fourier Transform)을 이용하여 주파수 변환을 수행할 수 있다.
주파수 변환을 수행하는 일례는 다음의 수학식 3과 같이 표현될 수 있다.
Figure 112014125144679-pat00018
도 6은 본 발명의 일 실시예에 따른 주파수 변환 결과를 도시한 그래프이다.
도 6과 같은 주파수 변환 결과가 본 발명에서 멀티 스펙트럼 이미지간 매칭을 위한 기술자(descriptor)로 사용된다. 주파수 변환은 영상의 순환 이동(Cyclic Shift)에 강인한 특성을 확보하기 위해 수행된다.
도 7은 본 발명의 기술자와 종래에 알려진 기술자들과의 회전에 따른 변화를 비교한 그래프이다.
도 7을 참조하면, 본 발명의 기술자(LSSF)는 알려진 다른 기술자(SURF, BRIEF, LSS, SIFT)에 비해 회전에 따른 변화가 크지 않음을 확인할 수 있다.
매칭부(140)는 제1 이미지 및 제2 이미지 사시의 매칭 부분을 판단하는 기능을 한다. 예를 들어, 제1 이미지의 제1 윈도우에 대응되는 제2 이미지의 윈도우를 찾아내는 기능을 한다. 이와 같은 매칭 부분 탐색을 위해 기술자(descriptor)가 비교된다. 즉, 제1 윈도우에서의 주파수 변환 결과가 가장 근접하는 주파수 변환 결과를 가진 제2 영상의 윈도우를 탐색하여 이를 제1 윈도우와의 매칭 부분으로 판단하는 것이다.
도 8은 본 발명의 일 실시예에 따른 다중 멀티 스펙트럼 이미지 매칭 방법의 전체적인 흐름을 도시한 순서도이다.
도 8을 참조하면, 제1 이미지 및 제2 이미지에 대한 변환 윈도우를 설정한다(단계 800). 변환 윈도우는 멀티 스펙트럼 이미지간 매칭을 위한 기술자를 생성하기 위한 이미지 영역이다.
변환 윈도우가 설정되면, 변환 윈도우에 대한 레퍼런스 패치를 설정한다(단계 802). 레퍼런스 패치는 변환 윈도우의 중심 픽셀을 기준으로 설정되며 변환 윈도우보다는 작은 사이즈를 가진다.
변환 윈도우 및 레퍼런스 패치가 설정되면, 레퍼런스 패치와 변환 윈도우의 특정 픽셀을 기준으로 설정되는 대상 패치들과의 상관 연산을 통해 상관 평면 변환을 수행한다(단계 804).
앞서 설명한 바와 같이, 대상 패치의 중심 픽셀값을 대상 패치와 레퍼런스 패치간의 상관 연산 결과값으로 대체하는 것에 의해 상관 평면 변환을 수행한다. 변환 윈도우 내 모든 픽셀을 중심으로 한 대상 패치들과의 상관 연산이 완료되면 변환 윈도우에 대한 상관 평면 변환이 완료된다.
상관 평면 변환이 완료되면, 상관 평면 변환된 변환 윈도우를 로그 폴라 빈 영역으로 분할한다(단계 806). 앞서 설명한 바와 같이, 변환 윈도우의 중심 및 대각선에 의해 다수의 로그 폴라 빈 영역이 정의될 수 있다. 각 로그 폴라 빈 영역은 각도 및 반지름으로 정의할 수 있다.
로그 폴라 빈 영역 분할이 이루어지면, 각 영역별 최대값을 찾아내는 로그 폴라 변환을 수행한다(단계 808). 로그 폴라 변환에 의해 각 빈 영역에 상응하는 최대값이 매칭된다.
로그 폴라 변환이 완료되면, 로그 폴라 변환 데이터에 대한 주파수 변환을 수행한다(단계 810). 일례로, 주파수 변환은 DFT(Discrete Fourier Transform)을 이용하여 수행될 수 있다.
주파수 변환을 통해 변환 윈도우에 대한 기술자(descriptor)가 최종적으로 생성된다.
변환 윈도우에 대한 기술자가 생성되면, 제1 이미지의 특정 변환 윈도우에 매칭되는 제2 이미지의 변환 윈도우를 탐색하는 매칭 작업을 수행한다(단계 812).

Claims (15)

  1. 멀티 스펙트럼 이미지간 매칭 방법으로서,
    제1 영상 및 제2 영상의 소정 영역인 다수의 변환 윈도우 영역에 대해 상관 평면 변환을 각각 수행하는 단계(a);
    상기 상관 평면 변환된 제1 영상 및 제2 영상의 변환 윈도우 영역을 복수의 로그 폴라 빈 영역으로 분할하는 단계(b);
    상기 복수의 로그 폴라 빈 영역 각각에 대한 최대값을 찾아내 로그 폴라 변환을 수행하는 단계(c);
    상기 제1 영상 및 제2 영상의 로그 폴라 변환 데이터를 주파수 영역으로 변환하는 단계(d); 및
    상기 제1 영상의 특정 변환 윈도우에 대한 상기 단계(d)의 결과 데이터와 매칭되는 상기 제2 영상의 변환 윈도우를 탐색하여 상기 특정 변환 윈도우에 대한 매칭을 수행하는 단계(e)를 포함하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
  2. 제1항에 있어서,
    상기 상관 평면 변환은 상기 제1 영상 및 제2 영상의 변환 윈도우 내에 설정되는 레퍼런스 패치와 상기 제1 영상 및 제2 영상의 변환 윈도우의 특정 픽셀을 중심으로 설정되는 대상 패치와의 상관 연산을 수행하고 상기 특정 픽셀의 픽셀값을 상기 레퍼런스 패치와 상기 대상 패치와의 상관 연산 값으로 대체하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
  3. 제2항에 있어서,
    상기 레퍼런스 패치는 상기 제1 영상 및 제2 영상의 변환 윈도우의 중심 픽셀을 기준으로 설정되는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
  4. 제2항에 있어서,
    상기 제1 영상 및 제2 영상의 변환 윈도우에 대한 상관 평면 변환은 다음의 수학식과 같이 수행되는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
    Figure 112015073232614-pat00019

    위 수학식 q는 대상 패치에 속하는 픽셀을 의미하고,
    Figure 112015073232614-pat00020
    는 레퍼런스 패치에 속하는 픽셀을 의미하며
    Figure 112015073232614-pat00021
    는 대상 패치를 의미하고,
    Figure 112015073232614-pat00022
    는 레퍼런스 패치를 의미하며,
    Figure 112015073232614-pat00023
    는 픽셀값을 의미함.
  5. 제1항에 있어서,
    상기 로그 폴라 변환은 상기 다수의 로그 폴라 빈 영역 각각에 포함된 다수의 상관값들 중 최대값에 해당되는 상관값을 각각의 로그 폴라 빈 영역과 연관시켜 출력하는 것임을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
  6. 제1항에 있어서,
    상기 단계(d)의 주파수 영역 변환은 DFT(Discrete Fourier Transform)을 포함하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
  7. 제1항에 있어서,
    상기 단계(e)는,
    상기 제2 영상의 다수의 변환 윈도우에 대한 상기 단계(d)의 결과 데이터 중 상기 제1 영상의 상기 특정 변환 윈도우에 대한 상기 단계(d)의 결과 데이터와 가장 유사한 변환 윈도우를 상기 특정 변환 윈도우에 매칭되는 변환 윈도우로 판단하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
  8. 멀티 스펙트럼 이미지간 매칭 방법으로서,
    제1 영상 및 제2 영상의 소정 영역인 적어도 하나의 변환 윈도우 영역에 대해 상관 평면 변환을 각각 수행하는 단계(a);
    상기 상관 평면 변환된 제1 영상 및 제2 영상의 변환 윈도우에 대한 로그 폴라 변환을 수행하는 단계(b);
    상기 제1 영상 및 상기 제2 영상의 로그 폴라 변환 데이터를 주파수 영역으로 변환하는 단계(c); 및
    상기 제1 영상의 특정 변환 윈도우에 대한 상기 단계(c)의 데이터와 매칭되는 상기 제2 영상의 변환 윈도우를 탐색하여 상기 특정 변환 윈도우에 대한 매칭을 수행하는 단계(d)를 포함하되,
    상기 단계(a)는 상기 제1 영상 및 제2 영상의 변환 윈도우 내에 설정되는 레퍼런스 패치와 상기 제1 영상 및 제2 영상의 변환 윈도우 내의 특정 픽셀을 기준으로 설정되는 다수의 대상 패치들간 상관 연산을 통해 변환하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 방법.
  9. 멀티 스펙트럼 이미지간 매칭 장치로서,
    제1 영상 및 제2 영상의 소정 영역인 다수의 변환 윈도우 영역에 대해 상관 평면 변환을 각각 수행하는 상관 평면 변환부;
    상기 상관 평면 변환된 제1 영상 및 제2 영상의 변환 윈도우 영역을 복수의 로그 폴라 빈 영역으로 분할하고 상기 복수의 로그 폴라 빈 영역 각각에 대한 최대값을 찾아내 로그 폴라 변환을 수행하는 로그 폴라 변환부; 및
    상기 제1 영상 및 제2 영상의 로그 폴라 변환 데이터를 주파수 영역으로 변환하는 주파수 영역 변환부를 포함하되,
    상기 제1 영상의 특정 변환 윈도우에 대한 상기 주파수 영역 변환부의 결과 데이터와 매칭되는 상기 제2 영상의 변환 윈도우를 탐색하여 상기 특정 변환 윈도우에 대한 매칭을 수행하는 매칭부를 포함하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 장치.
  10. 제9항에 있어서,
    상기 상관 평면 변환부는 상기 제1 영상 및 제2 영상의 변환 윈도우 내에 설정되는 레퍼런스 패치와 상기 제1 영상 및 제2 영상의 변환 윈도우의 특정 픽셀을 중심으로 설정되는 대상 패치와의 상관 연산을 수행하고 상기 특정 픽셀의 픽셀값을 상기 레퍼런스 패치와 상기 대상 패치와의 상관 연산 값으로 대체하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 장치.
  11. 제10항에 있어서,
    상기 레퍼런스 패치는 상기 제1 영상 및 제2 영상의 변환 윈도우의 중심 픽셀을 기준으로 설정되는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 장치.
  12. 제11항에 있어서,
    상기 제1 영상 및 제2 영상의 변환 윈도우에 대한 상관 평면 변환은 다음의 수학식과 같이 수행되는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 장치.
    Figure 112015073232614-pat00024

    위 수학식 q는 대상 패치에 속하는 픽셀을 의미하고,
    Figure 112015073232614-pat00025
    는 레퍼런스 패치에 속하는 픽셀을 의미하며
    Figure 112015073232614-pat00026
    는 대상 패치를 의미하고,
    Figure 112015073232614-pat00027
    는 레퍼런스 패치를 의미하며,
    Figure 112015073232614-pat00028
    는 픽셀값을 의미함.
  13. 제9항에 있어서,
    상기 로그 폴라 변환부는 상기 다수의 로그 폴라 빈 영역 각각에 포함된 다수의 상관값들 중 최대값에 해당되는 상관값을 각각의 로그 폴라 빈 영역과 연관시켜 출력하는 것임을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 장치.
  14. 제9항에 있어서,
    상기 주파수 영역 변환부는 DFT(Discrete Fourier Transform)를 이용하여 주파수 영역 변환을 수행하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 장치.
  15. 제9항에 있어서,
    상기 매칭부는,
    상기 제2 영상의 다수의 변환 윈도우에 대한 상기 주파수 영역 변환부의 결과 데이터 중 상기 제1 영상의 상기 특정 변환 윈도우에 대한 상기 주파수 영역 변환부의 결과 데이터와 가장 유사한 변환 윈도우를 상기 특정 변환 윈도우에 매칭되는 변환 윈도우로 판단하는 것을 특징으로 하는 멀티 스펙트럼 이미지간 매칭 장치.






KR1020140187297A 2014-12-23 2014-12-23 멀티 스펙트럼 이미지간 매칭 방법 및 장치 KR101562150B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140187297A KR101562150B1 (ko) 2014-12-23 2014-12-23 멀티 스펙트럼 이미지간 매칭 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140187297A KR101562150B1 (ko) 2014-12-23 2014-12-23 멀티 스펙트럼 이미지간 매칭 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101562150B1 true KR101562150B1 (ko) 2015-10-22

Family

ID=54427011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140187297A KR101562150B1 (ko) 2014-12-23 2014-12-23 멀티 스펙트럼 이미지간 매칭 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101562150B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11682232B2 (en) 2018-02-12 2023-06-20 Samsung Electronics Co., Ltd. Device and method with image matching

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520762A (ja) 2003-07-08 2007-07-26 キヤノン株式会社 画像位置合わせ方法の改良
CN103886338A (zh) 2014-02-13 2014-06-25 中国科学院光电研究院 一种多光谱影像匹配方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520762A (ja) 2003-07-08 2007-07-26 キヤノン株式会社 画像位置合わせ方法の改良
CN103886338A (zh) 2014-02-13 2014-06-25 中国科学院光电研究院 一种多光谱影像匹配方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문 2007

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11682232B2 (en) 2018-02-12 2023-06-20 Samsung Electronics Co., Ltd. Device and method with image matching

Similar Documents

Publication Publication Date Title
CN110660088B (zh) 一种图像处理的方法和设备
KR101719431B1 (ko) 화상 처리 장치 및 화상 처리 방법
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
JP6299300B2 (ja) 画像処理装置および画像処理方法
WO2015143624A1 (en) Methods and systems for denoising images
EP3016383B1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
US20160125260A1 (en) Selecting features from image data
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
CN110659583B (zh) 信号处理方法、装置及相关产品
KR101562150B1 (ko) 멀티 스펙트럼 이미지간 매칭 방법 및 장치
JP6213950B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Çahşkan et al. Hyperspectral superpixel extraction using boundary updates based on optimal spectral similarity metric
KR101546200B1 (ko) 다중 스펙트럼 영상의 대칭점 매칭 방법 및 장치
JP2019207464A (ja) 位相差検出器及び画像処理装置、並びにプログラム
KR101796551B1 (ko) 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템
JP6023653B2 (ja) 照明光色推定装置、照明光色推定方法及びプログラム
JP6648918B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Çalışkan et al. Superpixel based hyperspectral target detection
KR102183559B1 (ko) 피해목 검출 장치 및 방법
JP6265641B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6950376B2 (ja) 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム
JP2008140360A (ja) 画像照合装置
JP2019029834A (ja) 撮像装置
JP7321738B2 (ja) 画像処理装置、画像処理方法及びプログラム
AU2017229562A1 (en) Method for processing images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 5