KR20120094353A - 시각적 형상 디스크립터 생성 방법 및 그 기록매체 - Google Patents

시각적 형상 디스크립터 생성 방법 및 그 기록매체 Download PDF

Info

Publication number
KR20120094353A
KR20120094353A KR1020110013805A KR20110013805A KR20120094353A KR 20120094353 A KR20120094353 A KR 20120094353A KR 1020110013805 A KR1020110013805 A KR 1020110013805A KR 20110013805 A KR20110013805 A KR 20110013805A KR 20120094353 A KR20120094353 A KR 20120094353A
Authority
KR
South Korea
Prior art keywords
points
histogram
feature
point
generating
Prior art date
Application number
KR1020110013805A
Other languages
English (en)
Other versions
KR101182683B1 (ko
Inventor
김덕환
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020110013805A priority Critical patent/KR101182683B1/ko
Publication of KR20120094353A publication Critical patent/KR20120094353A/ko
Application granted granted Critical
Publication of KR101182683B1 publication Critical patent/KR101182683B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

디지털 이미지를 특징점(keypoint)을 중심으로 각도에 따라 섹터로 분할하거나 특징점의 픽셀값을 기준으로 디지털 이미지의 각 포인트들의 고도를 구하여 고도에 따라 그룹핑하고, 섹터단위 또는 그룹단위의 로컬 영역별로 히스토그램을 구하고 결합하여, 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법 및 그 기록매체에 있어서, (a) 디지털 이미지의 특징점을 검출하는 단계; (b) 특징점을 중심으로 소정의 반경 내의 대상 영역을 설정하는 단계; (c) 대상 영역을 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성하는 단계; (d) 대상 영역을 각 포인트의 고도로 그룹핑하고 그룹 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제2 특성벡터를 생성하는 단계; 및, (e) 제1 및 제2 특성벡터를 이용하여 특징점의 디스크립터로 생성하는 단계를 포함하는 구성을 마련한다.
상기와 같은 시각적 형상 디스크립터 생성 방법 및 그 기록매체에 의하여, 2개의 성분 특성 벡터들의 조합을 통해 디스크립터를 스케일 변화, 조명 변화, 노이즈에 대해 보다 강건하게 만들 수 있고, 특히, 텍스쳐드 이미지들과 에지들이 잘 정의되지 않은 이미지들에 대한 디스크립터를 보다 강건하게 생성할 수 있다.

Description

시각적 형상 디스크립터 생성 방법 및 그 기록매체 { A Visual Shape Descriptor Generating Method Using Sectors and Shape Context of Contour Lines and the Recording Medium thereof }
본 발명은 디지털 이미지를 특징점(keypoint)을 중심으로 각도에 따라 섹터로 분할하거나 특징점의 픽셀값을 기준으로 디지털 이미지의 각 포인트들의 고도를 구하여 고도에 따라 그룹핑하고, 섹터단위 또는 그룹단위의 로컬 영역별로 히스토그램을 구하고 결합하여, 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법 및 그 기록매체에 관한 것이다.
일반적으로, 이미지 매칭은 인간 얼굴 인식, 인텔리전트 카 및 무인 에어 자동차(unmanned air vehicle)와 같은 인텔리전트 시스템에서 중요한 역할을 한다. 이미지 매칭의 기본적 작업 중 하나는 이미지 스케일, 조명 및 노이즈에 대한 강건함(robustness)이다.
관심 영역 식별과 디스크립터 계산이 이러한 문제들을 극복하는데 효과가 있는 것으로 증명되어 왔으며, 이들은 물체 인식 및 이미지 검색 시스템(object recognition and image retrieval systems)에 광범위하게 사용된다.
이미지 매칭을 위하여는, 먼저, Harris-Laplace 및 difference-of-Gaussian과 같은 효과적인 디텍터들의 사용을 통하여 관심 영역들이 식별된다. 이때, 이미지 특성들을 나타내기 위하여 로컬 디스크립터들이 관심 영역에 대하여 계산된다. 효과적인 로컬 디스크립터들을 찾는 것은 매칭 정확도 뿐 아니라 매칭 효율을 위해서도 매우 중요하다. SIFT(scale invariant feature transform)와 형상 콘텍스트와 같은 몇몇 효과적인 디스크립터들이 최근 개발되어 왔다.
D. G. Lowe에 의해 제안된 SIFT는 강건한 이미지 특성 검출을 위해 설계되었다. 이는 스케일, 노이즈 및 아핀 변환에 대하여 변화하지 않는 것으로 밝혀졌다. D. G. Lowe에 의하여 제안된 SIFT 디스크립터가 이미지 매칭용으로 광범위하게 사용되어 왔다. 이는 4개의 단계(stages), 즉 스케일 공간 엑스트리마 포인트 검출, 키포인트 로컬라이제이션, 방향 부여, 및 키포인트 디스크립터로 구성되어 있다.
도 1a에서 보는 바와 같이, 제1스테이지에서, 상기 이미지는 다른 스케일의 가우시언 커널에 의하여 스무딩되어, 가우시언 피라미드를 구축하기 위하여 다운 샘플링된다. 이후, 동일한 옥타브에서 인접한 스무딩된 이미지들을 감산하여 DoG 피라미드가 구축된다. 마지막으로, DoG 이미지에서의 각 포인트의 수치가 그 주위의 다른 포인트과 비교된다. 만약 그 수치가 최대이거나 최소이면, 키 포인트로서 결정된다.
제2스테이지에서, 낮은 콘트라스트를 갖는 키포인트(Keypoint, 특징점)들 또는 상기 이미지의 엣지에 근접한 키포인트들이 제거된다. 따라서 안정된 키포인트들이 달성된다.
제3스테이지에서, 이미지 로테이션의 불변성을 달성하기 위하여, 하나 또는 그 이상의 일관된 방향이 각 키포인트에 대하여 할당된다.
도 1b에서 보는 바와 같이, 제4스테이지에서, 특징점(또는 키포인트) 주위의 영역은 16개의 블록들로 분리되어, 이러한 블록들에서 디스크립터가 계산된다. 각 블록의 각 픽셀의 그라디언트 크기 및 방향이 계산된다. 상기 포인트의 위치 및 방향은 상기 키포인트의 방향으로 회전하여, 상기 디스크립터가 이미지 로테이션에 대하여 강건하여진다. 마지막으로, 그라디언트 크기가 방향에 대한 8-bin 히스토그램으로 투영된다.
상기 영역에 16개의 빈들이 있고 각 블록에는 8개의 방향 빈들이 있으므로, 상기 SIFT 디스크립터의 차원은 128이다.
SIFT 기반의 몇몇 새로운 디스크립터들이 매칭 성능, 예를 들어, PCA-SIFT, GLOH 등을 개선하기 위하여 제안되어 왔다. 이들은 스케일 변환, 조명 변화 및 노이즈 하에서도 이러한 새로운 디스크립터들이 잘 수행되는 것을 증명한 K. Mikolajczyk 및 C. Schmid에 의해 평가되었다.
E. N. Mortensen 등은 글로벌 콘텍스트를 갖는 새로운 SIFT 디스크립터를 도입하였으며, 이는 매칭 정확도를 향상시키기 위하여 상기 SIFT 디스크립터와 곡선 형상 정보를 조합하였다. 상기 곡선 형상 정보는 SIFT에서 사용되는 것보다 큰 영역에서 각 픽셀에서의 최대 곡률을 계산하여 수집된다. 상기 곡선 정보가 보다 큰 영역에서 계산되므로, 동일한 이미지에 다수개의 유사한 디스크립터가 있을 때 미스매칭이 감소한다. 하지만, 그 차원은 상기 SIFT 디스크립터용의 128개에서 188개로 늘게 된다.
PCA-SIFT 디스크립터는 Y.Kel과 R. Sukthankar에 의하여 도입되었다. 그 목적은 차원을 줄이고 성능을 향상시키는 것이다. 하지만, 실험에 따르면, 그 매칭 정확도는 몇몇 상황에서 낮은 것으로 나타났다.
K.Mikolajczyk와 C. Shchmid는 그라디언트 위치/방향 히스토그램 기반의 새로운 디스크립터를 제안하였다. 그들은 총 17개의 위치 빈들에 대하여, 반경 방향으로 3개의 빈들(반경은 6, 11 및 15로 세팅되었다)과 각 방향으로 8개의 빈들을 갖는 로그 극 좌표계의 그리드에서 디스크립터를 계산하였다. 상기 그라디언트들은 16개의 빈들로 분리되어, 이는 272의 디스크립터 차원으로 이끌었다. 마지막으로, 상기 PCA 기술은 차원을 128로 줄이도록 적용되었다.
그러나 상기 종래기술들은 주로 에지들을 고려하여 로컬 형상 특성들을 계산하기 때문에, 텍스쳐드 이미지들과 에지들이 잘 정의되지 않은 이미지들로부터 강건한 디스크립터를 구하는데 많은 어려움이 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 디지털 이미지를 특징점(keypoint)을 중심으로 각도에 따라 섹터로 분할하거나 특징점의 픽셀값을 기준으로 디지털 이미지의 각 포인트들의 고도를 구하여 고도에 따라 그룹핑하고, 섹터단위 또는 그룹단위의 로컬 영역별로 히스토그램을 구하고 결합하여, 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법 및 그 기록매체를 제공하는 것이다.
또한, 본 발명의 목적은 이미지 매칭에 사용되는 이미지 로컬 특성을 나타내기 위하여 섹터들과 콘투어 라인들의 형상 콘텍스트들에 기반하는 시각적 형상 디스크립터를 생성하는 시각적 형상 디스크립터 생성 방법 및 그 기록매체를 제공하는 것이다. 첫째로, 로컬 영역을 섹터들로 구획하고 그 그라이언트 크기 및 방향 수치들을 추출한다. 특성 벡터가 이러한 수치들로부터 구성된다. 둘재로, 콘투어 라인들의 형상 콘텍스트를 이용하여 로컬 형상 특성들을 얻는다. 이러한 콘투어 라인들로부터 다른 특성 벡터가 구성된다.
상기 목적을 달성하기 위해 본 발명은 디지털 이미지에서 특징점(keypoint)들을 추출하고 상기 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법에 관한 것으로서, (a) 상기 디지털 이미지의 특징점을 검출하는 단계; (b) 상기 특징점을 중심으로 대상 영역을 설정하는 단계; (c) 상기 대상 영역을 상기 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성하는 단계; 및, (e) 상기 특성벡터를 상기 특징점의 디스크립터로 생성하는 단계를 포함하고, 상기 (c)단계는, (c1) 상기 특징점을 중심점으로 각도에 따라 상기 대상 영역을 섹터로 분할하는 단계; (c2) 상기 섹터 각각에 대하여, 상기 섹터 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 섹터단위 히스토그램)을 형성하는 단계; 및, (c3) 상기 섹터단위 히스토그램을 결합하여 상기 제1 특성벡터를 형성하는 단계를 포함하는 것을 특징으로 한다.
또한, 디지털 이미지에서 특징점(keypoint)들을 검출하고 상기 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법에 관한 것으로서, (a) 상기 디지털 이미지의 특징점을 검출하는 단계; (b) 상기 특징점을 대상 영역을 설정하는 단계; (d) 상기 대상 영역을 각 포인트의 고도로 그룹핑하고 그룹 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제2 특성벡터를 생성하는 단계; 및, (e) 상기 특성벡터를 상기 특징점의 디스크립터로 생성하는 단계를 포함하고, 상기 (d)단계는, (d1) 상기 특징점의 픽셀값을 기준으로 상기 대상 영역 내의 포인트들의 고도를 구하는 단계; (d2) 상기 포인트의 고도의 크기에 따라 상기 포인트들을 그룹핑하는 단계; (d3) 그룹핑된 그룹 각각에 대하여, 상기 그룹 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 그룹단위 히스토그램)을 형성하는 단계; 및, (d4) 상기 그룹단위 히스토그램을 결합하여 상기 제2 특성벡터를 형성하는 단계를 포함하는 것을 특징으로 한다.
또한, 디지털 이미지에서 특징점(keypoint)들을 검출하고 상기 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법에 관한 것으로서, (a) 상기 디지털 이미지의 특징점을 검출하는 단계; (b) 상기 특징점을 중심으로 소정의 반경 내의 대상 영역을 설정하는 단계; (c) 상기 대상 영역을 상기 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성하는 단계; (d) 상기 대상 영역을 각 포인트의 고도로 그룹핑하고 그룹 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제2 특성벡터를 생성하는 단계; 및, (e) 상기 제1 및 제2 특성벡터를 이용하여 상기 특징점의 디스크립터로 생성하는 단계를 포함하고, 상기 (c)단계는, (c1) 상기 특징점을 중심점으로 각도에 따라 상기 대상 영역을 섹터로 분할하는 단계; (c2) 상기 섹터 각각에 대하여, 상기 섹터 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 섹터단위 히스토그램)을 형성하는 단계; 및, (c3) 상기 섹터단위 히스토그램을 결합하여 상기 제1 특성벡터를 형성하는 단계를 포함하고, 상기 (d)단계는, (d1) 상기 특징점의 픽셀값을 기준으로 상기 대상 영역 내의 포인트들의 고도를 구하는 단계; (d2) 상기 포인트의 고도의 크기에 따라 상기 포인트들을 그룹핑하는 단계; (d3) 그룹핑된 그룹 각각에 대하여, 상기 그룹 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 그룹단위 히스토그램)을 형성하는 단계; 및, (d4) 상기 그룹단위 히스토그램을 결합하여 상기 제2 특성벡터를 형성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 (a)단계에서, 상기 디지털 이미지에 대하여 가우시안 필터를 이용하여 블러링(blurring) 작업을 수행하고, 블러된(blurred) 이미지들 간의 가우시안 차(DoG, Difference of Gaussian)를 계산하고, 상기 가우시안 차에 기초하여 상기 특징점을 검출하는 것을 특징으로 한다.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 대상 영역을 상기 특징점을 중심으로, 특징점의 스케일에 따라 결정되는 반경 내의 원형 영역으로 설정하는 것을 특징으로 한다.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 원형 영역의 반경은 다음 [수식 1]에 의해 설정되는 것을 특징으로 한다.
[수식 1]
Figure pat00001
단, D는 승수(multiplier),
S는 상기 특징점이 속하는 옥타브의 스무딩 스케일.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 (c1)단계에서, 상기 섹터들의 각도가 서로 중복되지 않고 동일한 크기를 갖도록, 상기 디지털 이미지를 섹터로 분할하는 것을 특징으로 한다.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 (c2)단계에서, 상기 포인트 (x,y)의 그라디언트 크기 m(x,y) 및 방향 θ(x,y)은 다음 [수식 2]를 이용하여 계산되는 것을 특징으로 한다.
[수식 2]
Figure pat00002
단, x, y는 포인트의 카테시안 좌표, L(x,y)는 포인트 (x,y)의 픽셀값.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 포인트의 고도는 상기 포인트와 상기 특징점의 픽셀값 차이로 구하는 것을 특징으로 한다.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 (d2)단계에서, 상기 그룹들의 고도 범위가 서로 중복되지 않고 그룹간 포인트 개수의 분포가 균일하도록, 상기 포인트들을 그룹핑하는 것을 특징으로 한다.
또, 본 발명은 시각적 형상 디스크립터 생성 방법에 있어서, 상기 (e)단계에서, 상기 특징점의 디스크립터는 다음 [수식 3]에 의해 정해지는 것을 특징으로 한다.
[수식 3]
Figure pat00003
단, FSectors 및 FContourlines는 각각 제1 및 제2 특성 벡터, w는 가중치.
또한, 본 발명은 시각적 형상 디스크립터 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 시각적 형상 디스크립터 생성 방법 및 그 기록매체에 의하면, 2개의 성분 특성 벡터들의 조합을 통해 디스크립터를 스케일 변화, 조명 변화, 노이즈에 대해 보다 강건하게 만들 수 있고, 특히, 텍스쳐드 이미지들과 에지들이 잘 정의되지 않은 이미지들에 대한 디스크립터를 보다 강건하게 생성할 수 있는 효과가 얻어진다.
특히, 본 발명에 따른 시각적 형상 디스크립터 생성 방법 및 그 기록매체에 의하면, 매칭 정확도의 관점에서 시각적 형상 디스크립터가 다른 디스크립터들보다 성능이 좋다는 점을 보여 주고 있으며, SIFT보다 14.52%, PCA-SIFT보다 21%, GLOH보다 11.86%, 형상 콘텍스트보다는 25.66%가 더 우수한 효과가 얻어진다.
도 1은 종래기술에 따른 특징점의 디스크립터를 생성하는 과정을 도시한 도면이다.
도 2는 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도시한 도면이다.
도 3은 본 발명의 제1 실시예에 따른 시각적 형상 디스크립터 생성 방법을 설명하는 흐름도이다.
도 4는 본 발명에 따른 원형 영역의 일례를 도시한 것이다.
도 5는 본 발명에 따른 섹터들 기반의 특성 벡터를 추출하는 일례를 도시한 것이다.
도 6은 본 발명의 제2 실시예에 따른 시각적 형상 디스크립터 생성 방법을 설명하는 흐름도이다.
도 7은 본 발명에 따른 기하학 맵의 콘투어 라인 대 이미지 테레인의 일례를 도시한 것이다.
도 8은 본 발명에 따른 원본 이미지와 테레인 모델 사이의 유사성의 일례를 도시한 것이다.
도 9는 본 발명에 따른 원형 영역의 콘투어 라인들의 일례를 도시한 것이다.
도 10은 본 발명에 따른 고도들의 분포의 일례를 도시한 것이다.
도 11은 본 발명에 따른 고도의 적응성 그룹핑 함수의 일례를 도시한 것이다.
도 12는 본 발명에 따른 콘투어 라인의 형상 콘텍스트의 히스토그램 생성의 일례를 도시한 것이다.
도 13은 본 발명의 제3 실시예에 따른 시각적 형상 디스크립터 생성 방법을 설명하는 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 디지털 이미지 20 : 컴퓨터 단말
30 : 디스크립터 생성 시스템
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명에 따른 시각적 형상 디스크립터 생성 방법은 디지털 이미지(10)를 입력받아 이미지 특징점(keypoing)들의 디스크립터(descriptor)를 생성하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 시각적 형상 디스크립터 생성 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 시스템(30)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 시각적 형상 디스크립터 생성 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 디지털 이미지의 인식 또는 매칭 등만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 시각적 형상 디스크립터 생성 시스템이라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다. 그러나 이하에서 설명의 편의를 위해 컴퓨터 단말(20)에 구현된 시각적 형상 디스크립터 생성 시스템(30)으로 설명하기로 한다.
다음으로, 본 발명의 제1 실시예에 따른 시각적 형상 디스크립터 생성 방법을 도 3을 참조하여 설명한다.
도 3에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 시각적 형상 디스크립터 생성 방법은 (a) 디지털 이미지의 특징점을 추출하는 단계(S10); (b) 상기 특징점을 중심으로 대상 영역을 설정하는 단계(S20); (c) 상기 대상 영역을 상기 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성하는 단계(S30); 및, (e) 상기 특성벡터를 상기 특징점의 디스크립터로 생성하는 단계(S50)로 구성된다.
먼저, 입력받은 디지털 이미지의 특징점(keypoint)을 검출한다(S10).
디지털 이미지에서 특징점(keypoint)을 검출하는 방법은 종래의 특징점 검출방법을 사용한다. 일례로서, 가우시안 차를 이용하는 방법을 사용한다. 즉, 디지털 이미지에 대하여 가우시안 필터를 이용하여 블러링(blurring) 작업을 수행하고, 블러된(blurred) 이미지들 간의 가우시안 차(DoG, Difference of Gaussian)를 계산하고, 상기 가우시안 차에 기초하여 상기 특징점을 검출한다.
다음으로, 상기 특징점(keypoint)을 중심으로 대상 영역을 설정한다(S20).
즉, 특징점(또는 키포인트)의 특성 벡터가 추출되는 대상 영역을 정의한다. 바람직하게는, 상기 특징점을 중심으로 소정의 반경 내의 원형 영역으로 설정한다. 이때, 반경은 특징점의 스케일에 따라 결정된다.
다른 스케일들 내에서 상기 DoG 디텍터에 의하여 상기 키포인트가 검출되므로, 상기 원형 영역의 크기는 상기 키포인트의 스케일에 상대적으로 정의된다. 또한, 상기 키포인트가 상기 영역에서 가장 안정된 포인트이므로 상기 원형 영역의 중심으로서 상기 키포인트를 세팅한다. 따라서 상기 원형 영역의 반경은 다음 [수학식 1]에 의하여 세팅된다.
[수학식 1]
Figure pat00004
여기서, D는 실험적으로 결정되는 승수(multiplier)이고, S는 상기 키포인트가 속하는 옥타브의 스무딩 스케일이다. 상기 키포인트에 중심을 둔 상기 원형 영역을 도 4와 같다.
다음으로, 대상 영역을 상기 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성한다(S30).
제1 특성 벡터를 형성하는 단계(S30)는 대상영역을 섹터로 분할하는 단계(S31), 섹터단위 히스토그램을 형성하는 단계(S32), 및, 최종적으로 제1 특성벡터를 생성하는 단계(S33)로 세분화된다.
먼저, 상기 특징점을 중심점으로 각도에 따라 상기 대상 영역을 섹터로 분할한다(S31). 특히, 상기 섹터들의 각도가 서로 중복되지 않고 동일한 크기를 갖도록, 상기 디지털 이미지를 섹터로 분할한다.
그라디언트 크기와 방향이 카테시안 좌표계에서 추출되지만, 디스크립터의 차원을 감소시키기 위하여, 섹터들에 기반하여 로컬 영역을 분리한다. 종래기술은 로컬 영역을 4행 4열의 서브 영역들로 분리하기 위해 카테시안 좌표계를 이용하는 반면, 본 발명은 섹터를 기반으로 로컬 영역을 분리한다.
상기 키포인트에 가까운 포인트들은 상기 키포인트와 먼 포인트들보다 중요하므로, 종래기술은 작은 그리드들 내에서 보이는 반면, 본 발명은 상기 원형 영역을 분리하기 위하여 극 좌표계를 이용하여 큰 그리드들 내에서 보여진다.
또한, 상기 포인트들이 가깝다는 사실을 강조하기 위하여, R과 동일한 σ를 갖는 가우시언 가중치 함수(Gaussian weighting function)를 상기 각 키포인트에 할당된다. 따라서 성능을 저감시키지 않고 상기 디스크립터의 차원을 감소시키기 위하여 상기 그리드의 크기를 확대한다.
상기 원형 영역은 N개의 섹터들로 분리된다. 하나의 섹터는 동일한 각과 동일한 반경에 의하여 분할되는 서브 영역이다. 즉, 상기 섹터 기반 특성 벡터를 생성하기 위하여, 상기 영역을 로그 폴라(log-polar)와 유사한 동일한 반경과 각을 갖는 센터들로 분리한다.
다음으로, 상기 섹터 각각에 대하여, 상기 섹터 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 섹터단위 히스토그램)을 형성한다(S32).
상기 그라디언트 크기 및 방향은 다음 [수학식 2]와 같이 계산된다.
[수학식 2]
Figure pat00005
여기서, x, y는 하나의 포인트의 카테시안 좌표들이고, m(x,y)는 그 그라디언트 크기이고, θ(x,y)는 그 방향이고, L(x,y)는 그 그레이 수치이다.
이때, 도 5에서 보는 바와 같이, 섹터의 각 포인트에 대하여, 그 그라디언트 크기는 그 방향에 대응하는 히스토그램 빈들에 매핑된다. 이때 히스토그램 빈의 개수를 M개라 한다. 상기 포인트의 위치와 방향은 상기 키포인트의 방향-이미지 회전에 대한 불변값에 정렬되어야 함을 주의하여야 한다. 즉, 하나의 섹터에 대하여 하나의 섹터단위 히스토그램을 생성한다. 도 5의 예에서는, 각 섹터단위의 히스토그램의 빈들이 8개임을 알 수 있다.
다음으로, 상기 섹터단위 히스토그램을 결합하여 상기 제1 특성벡터를 형성한다(S33). 즉, 상기 키포인트 주위의 N개의 섹터들의 모든 히스토그램은 N*M 차원을 갖는 제1 특성 벡터(FSectors)를 형성하기 위하여 연관된다.
도 5의 예에서, 섹터는 모두 8개로 분할되었고, 히스토그램의 빈의 개수는 8개이므로, 제1 특성벡터는 64(=8*8) 차원임을 알 수 있다.
마지막으로, 상기 제1 특성벡터를 상기 특징점의 디스크립터로 생성한다(S50). 즉, 앞서 구한 N*M 차원의 제1 특성벡터가 곧 특징점의 디스크립터가 된다.
다음으로, 본 발명의 제2 실시예에 따른 시각적 형상 디스크립터 생성 방법을 도 6을 참조하여 설명한다.
도 6에서 보는 바와 같이, 본 발명의 제2 실시예에 따른 시각적 형상 디스크립터 생성 방법은 (a) 디지털 이미지의 특징점을 추출하는 단계(S10); (b) 상기 특징점을 중심으로 대상 영역을 설정하는 단계(S20); (d) 상기 대상 영역을 각 포인트의 고도로 그룹핑하고 그룹 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제2 특성벡터를 생성하는 단계(S40); 및, (e) 상기 특성벡터를 상기 특징점의 디스크립터로 생성하는 단계(S50)로 구성된다.
본 발명의 제2 실시예는 앞서 설명한 제1 실시예에 비하여, 제2 특성벡터를 생성하는 단계(S40)만 차이가 있고, 나머지 단계는 제1 실시예와 동일하다. 따라서 이하에서, 제2 특성벡터를 생성하는 단계(S40)만 설명한다.
제2 특성벡터는 디지털 이미지의 콘투어 라인의 형상 콘텍스트를 이용하여 구해지는 특징점의 특성벡터이다. 형상 콘텍스트를 이용함으로써, 에지(edge)를 이용하지 않고 특성벡터를 생성할 수 있다는 장점이 있다.
즉, K. Mikolajczyk와 C. Schmid는 형상 콘텍스트가 선명한 에지를 갖는 이미지에 대하여 높은 성능을 발휘한다는 것을 보여 주었다. 하지만, 텍스쳐된 장면과 잘 정의되지 않은 에지 이미지에 대해서는, 그 성능이 떨어졌다. 본 발명의 제2 실시예는 텍스쳐된 장면과 문제가 있는 에지와 연관된 성능 문제를 극복하기 위하여 엣지 검출 없이 원형 영역에서 형상 콘텍스트를 이용한다.
앞서 제1 실시예에서 설명된 바와 같이, 키포인트 수치와 상기 키포인트 주위의 다른 포인트 수치를 비교하여 DoG 피라미드로부터 상기 키포인트가 검출되었다. 명백히, 상기 키포인트는 그 영역에서 가장 안정된 포인트이다. 상기 키포인트 근처의 영역의 모든 픽셀이 기하학적 맵을 가지고 각 픽셀의 그레이 수치가 상기 맵에서의 그 고도를 나타낼 때, 상기 키포인트 근처의 상기 영역이 몇몇 테레인(terrain)로 매핑된다. 상기 포인트가 더 큰 수치를 가질수록, 그 고도는 높아지고, 그 반대도 마찬가지이다.
콘투어 라인들은 범위 특성을 나타내는데 유용하다. (기하학적 맵을 참조) 따라서, 상기 원형 영역의 픽셀들의 고도들을 이용하여 콘투어 라인들을 찾도록 한다. 또한, 상기 원형 영역의 특성 벡터를 나타내기 위하여 상기 콘투어 라인들의 형상 콘텍스트를 계산한다.
기하학적 맵에서 보이는 것과 같은 콘투어 라인들과 유사한 접근 방법을 채택하며, 주어진 영역에서 유사한 고도들의 포인트들의 분포로 상기 콘투어 라인들 정의한다. 따라서 콘투어 라인들은 분할(intersect)될 수 있으며, 상기 포인트들은 서로 연결될 것이 엄격히 요구되지 않는다. 또한, 상기 포인트들에 의해 형성된 라인은 닫혀 있을 필요는 없다. 기하학적 맵들과 유사한 이미지 로컬 영역의 3개의 콘투어 라인들은 도 7에 도시되어 있다.
픽셀들의 그레이 수치와 고도 사이의 유사성이 도 8에 예시되어 있다. 여기서, 이미지가 "테레인"에 의해 잘 모델링되어 있음을 알 수 있다. 도 8a의 테레인 모델은 도 8c에 도시되어 있으며, 여기서 x-축 및 y-축은 픽셀 위치를 나타낸다. z-축은 이미지에서의 각 픽셀의 그레이 수치를 나타낸다. 유사하게, 도 8b에서 관심대상인 로컬 영역의 테레인 모델은 도 8d에 도시되어 있다.
다음으로, 제2 특성벡터를 생성하는 단계(S40)를 보다 구체적으로 설명한다.
도 6에서 보는 바와 같이, 제2 특성벡터를 생성하는 단계(S40)는 원형 영역에 대한 고도 형성(Altitude formation for the circular region) 단계(S41), 콘투어 라인 그루핑(Contour lines grouping) 단계(S42), 그룹단위의 형상 콘텍스트 히스토그램 생성(Shape context histogram generation) 단계(S43), 및, 제2 특성벡터를 생성하는 단계(S44)로 보다 세분화된다.
먼저, 원형 영역에 대한 고도 형성(Altitude formation for the circular region) 단계에 의해, 특징점의 픽셀값을 기준으로 상기 대상 영역 내의 포인트들의 고도를 구한다(S41). 특히, 포인트의 고도는 상기 포인트와 상기 특징점의 픽셀값 차이로 구한다.
이를 위해, 먼저, 키포인트에 대한 수준 매핑(Sea level mapping for the keypoint) 단계를 수행한다. 즉, 키포인트는 대상영역(또는 원형 영역)에서 가장 안정된 포인트이다. 따라서 키포인트의 그레이 수치를 원형 영역의 수준으로 세팅한다. 이때, 각 포인트(또는 픽셀)의 픽셀값으로 그레이 수치를 사용한다. 그러나 그레이 수치이외 디지털 이미지의 특성을 표현하는 다른 픽셀값들을 사용할 수 있다.
수준을 세팅한 후에, 그 그레이 수치들을 상기 키포인트의 그레이 수치와 비교하여 상기 원형 영역에서의 각 포인트의 고도를 계산할 수 있다.
각 포인트의 고도는 다음 [수학식 3]에 의하여 계산된다.
[수학식 3]
Figure pat00006
여기서, A는 상기 영역의 포인트의 고도이고, KeyPv와 Pv는 각각 상기 원형 영역의 특징점(또는 키포인트)와 다른 포인트의 픽셀값(또는 그레이 수치)들이다.
다음으로, 콘투어 라인 그루핑(Contour lines grouping) 단계로서, 상기 포인트의 고도의 크기에 따라 상기 포인트들을 그룹핑한다(S42). 특히, 상기 그룹들의 고도 범위가 서로 중복되지 않고 그룹간 포인트 개수의 분포가 균일하도록, 상기 포인트들을 그룹핑한다.
모든 포인트들의 고도들을 얻은 후에, 고도들은 β개의 레벨들로 그룹핑되고, 동일한 레벨에서의 픽셀들은 유사한 고도들을 갖는 것으로 간주된다. 따라서 상기 원형 영역에서 β개의 콘투어 라인들을 얻을 수 있다.
본 발명의 콘투어 라인들은 닫혀있지 않을 수 있으며 서로를 분할할 수 있으므로 기하학적 콘투어 라인들과 동일하지 않다. 이러한 콘투어 라인들의 일례가 도 9에 도시되어 있다. 도 9b는 원본 이미지의 확대된 로컬 영역이고, 도 9c는 상기 로컬 영역의 콘투어 라인들을 도시한다. 로컬 영역 고도는 색상으로 표시되어 있다 (도 9c). 이 콘투어 라인들은 닫혀있지 않으며 제2콘투어 라인(녹색)과 제1콘투어 라인(청색)과 같이 서로를 분할할 수 있다(도 9c).
가우시안 피라미드를 구축함에 있어서, 이미지가 다른 간격과 다른 옥타브에서 가우시안 함수에 의해 스무딩되었으며, 이는 인접한 픽셀 수치들이 지나치게 다르지 않게 한다. 따라서 원형 영역의 픽셀들의 고도들은 낮은 레벨에 가깝다.
도 9에서는, 첫번째와 마지막 콘투어 라인들이 각각 최저와 최고의 고도들을 나타낸다. 낮은 고도 영역들(제1, 2, 3 콘투어 라인들)은 높은 고도 영역들(제4, 5, 6 콘투어 라인들)보다 훨씬 크다.
로컬 영역들 기반의 고도들의 분포는 도 10에 나타나 있다. 상기 분포는 210개의 다른 이미지들의 128,511 원형 영역들로부터 계산되며, 상기 로컬 영역의 크기는 앞서 설명한 [수학식 1]로부터 결정된다.
도 10에 도시된 바와 같이, 낮은 고도들이 더 많은 포인트들을 갖는다. 각 그룹에서의 포인트 수를 균일하게 하기 위하여 상기 고도들을 그룹핑한다. 이러한 그룹핑을 통해, 본 발명에 의한 디스크립터를 보다 뛰어나게 한다.
F(x)를 도 10에 도시된 분포에 대응하는 함수라 하자. 고도들을 β개의 레벨들로 그룹핑하면, 각 레벨에 대한 포인트들의 평균 수는 다음 [수학식 4]와 같이 계산될 수 있다.
[수학식 4]
Figure pat00007
GO가 다음 [수학식 5]를 만족시키는 고도 수치일 때, 제1레벨(또는 제1 그룹)의 범위를 [0,G0]이라 하자.
[수학식 5]
Figure pat00008
[수학식 5]를 풀어서 G0를 구할 수 있다.
레벨(i)의 범위를 [Gi-1,Gi]라 하자. 다음 [수학식 6]을 풀어서 Gi를 구할 수 있다.
[수학식 6]
Figure pat00009
이 그룹핑 전략이 도 11에 도시되어 있다.
다음으로, 형상 콘텍스트 히스토그램 생성(Shape context histogram generation) 단계로서, 그룹핑된 그룹 각각에 대하여, 상기 그룹 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 그룹단위 히스토그램)을 형성한다(S43).
고도들을 β개의 콘투어 라인들로 그룹핑한 후에, 동일한 콘투어 라인에서의 모든 포인트들을 선택하고, 영역에서의 그 위치들에 따라 각 수치들(angle values)을 계산한다. 다음 단계에서, 이러한 포인트들의 그라디언트 크기를 그 각들에 따라서 형상 콘텍스트 히스토그램에 매핑시킨다. 포인트의 그라디언트 크기를 형상 콘텍스트 히스토그램에 매핑하는 과정이 도 12에 도시되어 있다.
x-축은 포인트의 각에 따라 α개의 빈들로 분리되고, y-축은 동일한 각과 콘투어 라인 수준을 공유하는 포인트들에 대해 포인트들의 그라디언트 크기의 축적(accumulation)을 표시한다.
도 12에서, 예를 들어, P2의 고도가 콘투어 라인 1에 속하고 포인트의 각이 A3에 속하면, 이 포인트의 그라디언트 크기는 콘투어 라인 1에 대한 히스토그램 빈 A3에 매핑된다. 여기서 β개의 콘투어 라인들이 있다고 가정한다.
즉, 포인트의 고도에 의해 구분되는 콘투어 라인 하나가 곧 하나의 그룹에 해당된다. 그리고 각 콘투어 라인(또는 그룹)별로, 그라디언트 크기 및 방향의 히스토그램을 생성한다. 이때, 각 그룹별 히스토그램을 그룹 단위 히스토그램이라 부르기로 한다.
도 12의 예에서, 각 그룹(또는 콘투어 라인) 단위의 히스토그램의 빈들이 6개(A1, A2, ..., A6)임을 알 수 있다.
다음으로, 상기 그룹단위 히스토그램을 결합하여 상기 제2 특성벡터를 형성한다(S44).
콘투어 라인들의 형상 콘텍스트를 이용하여 제2 특성 벡터(FContourLines)를 형성한다. α개의 각 빈들(angle bins)과 β개의 콘투어 라인(또는 그룹)들이 있을 때, 그 차원은 α*β이다.
도 11 및 12의 예에서, 콘투어 라인(또는 그룹)은 모두 8개로 분할되었고, 히스토그램의 빈의 개수는 6개이므로, 제2 특성벡터는 48(=6*8) 차원임을 알 수 있다.
마지막으로, 상기 제2 특성벡터를 상기 특징점의 디스크립터로 생성한다(S50). 즉, 앞서 구한 α*β차원의 제1 특성벡터가 곧 특징점의 디스크립터가 된다.
다음으로, 본 발명의 제3 실시예에 따른 시각적 형상 디스크립터 생성 방법을 도 13을 참조하여 설명한다.
도 13에서 보는 바와 같이, (a) 디지털 이미지의 특징점을 검출하는 단계(S10); (b) 상기 특징점을 중심으로 소정의 반경 내의 대상 영역을 설정하는 단계(S20); (c) 상기 대상 영역을 상기 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성하는 단계(S30); (d) 상기 대상 영역을 각 포인트의 고도로 그룹핑하고 그룹 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제2 특성벡터를 생성하는 단계(S40); 및, (e) 상기 제1 및 제2 특성벡터를 이용하여 상기 특징점의 디스크립터로 생성하는 단계(S50)로 구분된다.
본 발명의 제3 실시예는 섹터 기반한 제1 특성벡터와 콘투어 라인 기반의 제2 특성벡터를 모두 구하여, 2개의 요소 특성벡터로서 특징점의 디스크립터를 생성한다. 본 발명의 제3 실시예의 각 단계는 앞서 설명한 제1 및 제2 실시예를 참조하기로 한다. 이하에서 앞서 설명한 실시예와의 차이만 설명하기로 한다.
즉, 제3 실시예는 특징점을 검출하고 대상 영역(또는 원형 영역)을 설정한다. 그리고 키포인트 주위의 섹터들에서의 픽셀들의 그라디언트 크기와 방향을 이용하여 특성 벡터를 찾는다(S30). 상기 키포인트에 중심을 둔 원형 영역에서 콘투어 라인들의 형상 콘텍스트를 이용하여 특성 벡터를 찾는다(S40). 시각적 형상 디스크립터를 구축하기 위하여 양 특성 벡터들을 조합한다(S50).
즉, 모든 키포인트들을 검출한 후, 섹터들의 그라디언트 크기들 및 방향들과 키포인트 주위의 컨투어 라인들의 형상 콘텍스트를 구비하는 2개 요소 특성 벡터로 구성되는 시각적 형상 디스크립터를 구축한다. 이때, 특징점의 디스크립터는 다음 [수학식 7]과 같이 정의된다.
[수학식 7]
Figure pat00010
여기서, FSectors는 섹터들 기반의 제1 특성 벡터이고, FContourlines는 로컬 형상 콘텍스트 기반의 제2 특성 벡터이다. 또, w는 사용자의 선호에 따른 2개의 요소의 가중치이다.
즉, N*N+α*β의 차원을 갖는 디스크립터를 형상하기 위하여 양 벡터를 정규화하고 조합한다. 앞서 도 5와 도 11 및 도 12의 예에서, 제1 특성벡터는 64차원이고, 제2 특성벡터는 48차원으로서, 최종 디스크립터의 차원은 64차원 + 48차원이다.
다음으로, 본 발명의 효과를 보다 구체적으로 설명한다.
즉, 본 발명의 주요한 장점은 다음과 같다.
(1) 그라디언트 크기와 방향을 계산하기 위하여 섹터들을 이용하여 상기 디스크립터의 차원(dimensionality)을 감소시킨다.
(2) 상기 콘투어 라인들의 형상 콘텍스트를 이용하여 에지 검출 없이 상기 영역의 형상 특성을 얻는다.
상술한 특성 벡터들의 조합은 이미지 스케일, 조명 및 노이즈에 대해서 본 제안된 디스크립터를 보다 강건하게 한다. 이 새로운 디스크립터는 매칭 정확도를 보다 향상시킬 수 있으며 SIFT 디스크립터들보다 작은 차원를 갖는다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 디지털 이미지에서 특징점(keypoint)들을 추출하고 상기 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 장치를 개발하는 데 적용이 가능하다.

Claims (12)

  1. 디지털 이미지에서 특징점(keypoint)들을 검출하고 상기 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법에 있어서,
    (a) 상기 디지털 이미지의 특징점을 검출하는 단계;
    (b) 상기 특징점을 중심으로 대상 영역을 설정하는 단계;
    (c) 상기 대상 영역을 상기 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성하는 단계; 및,
    (e) 상기 특성벡터를 상기 특징점의 디스크립터로 생성하는 단계를 포함하고,
    상기 (c)단계는,
    (c1) 상기 특징점을 중심점으로 각도에 따라 상기 대상 영역을 섹터로 분할하는 단계;
    (c2) 상기 섹터 각각에 대하여, 상기 섹터 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 섹터단위 히스토그램)을 형성하는 단계; 및,
    (c3) 상기 섹터단위 히스토그램을 결합하여 상기 제1 특성벡터를 형성하는 단계를 포함하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  2. 디지털 이미지에서 특징점(keypoint)들을 검출하고 상기 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법에 있어서,
    (a) 상기 디지털 이미지의 특징점을 검출하는 단계;
    (b) 상기 특징점을 대상 영역을 설정하는 단계;
    (d) 상기 대상 영역을 각 포인트의 고도로 그룹핑하고 그룹 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제2 특성벡터를 생성하는 단계; 및,
    (e) 상기 특성벡터를 상기 특징점의 디스크립터로 생성하는 단계를 포함하고,
    상기 (d)단계는,
    (d1) 상기 특징점의 픽셀값을 기준으로 상기 대상 영역 내의 포인트들의 고도를 구하는 단계;
    (d2) 상기 포인트의 고도의 크기에 따라 상기 포인트들을 그룹핑하는 단계;
    (d3) 그룹핑된 그룹 각각에 대하여, 상기 그룹 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 그룹단위 히스토그램)을 형성하는 단계; 및,
    (d4) 상기 그룹단위 히스토그램을 결합하여 상기 제2 특성벡터를 형성하는 단계를 포함하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  3. 디지털 이미지에서 특징점(keypoint)들을 검출하고 상기 특징점들에 대한 디스크립터(descriptor)를 생성하는 시각적 형상 디스크립터 생성 방법에 있어서,
    (a) 상기 디지털 이미지의 특징점을 검출하는 단계;
    (b) 상기 특징점을 중심으로 소정의 반경 내의 대상 영역을 설정하는 단계;
    (c) 상기 대상 영역을 상기 특징점을 중심으로 섹터로 분할하고 섹터 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제1 특성벡터를 생성하는 단계;
    (d) 상기 대상 영역을 각 포인트의 고도로 그룹핑하고 그룹 단위로 그라디언트(gradient) 크기 및 방향의 히스토그램을 형성하여 제2 특성벡터를 생성하는 단계; 및,
    (e) 상기 제1 및 제2 특성벡터를 이용하여 상기 특징점의 디스크립터로 생성하는 단계를 포함하고,
    상기 (c)단계는,
    (c1) 상기 특징점을 중심점으로 각도에 따라 상기 대상 영역을 섹터로 분할하는 단계;
    (c2) 상기 섹터 각각에 대하여, 상기 섹터 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 섹터단위 히스토그램)을 형성하는 단계; 및,
    (c3) 상기 섹터단위 히스토그램을 결합하여 상기 제1 특성벡터를 형성하는 단계를 포함하고,
    상기 (d)단계는,
    (d1) 상기 특징점의 픽셀값을 기준으로 상기 대상 영역 내의 포인트들의 고도를 구하는 단계;
    (d2) 상기 포인트의 고도의 크기에 따라 상기 포인트들을 그룹핑하는 단계;
    (d3) 그룹핑된 그룹 각각에 대하여, 상기 그룹 내의 포인트들의 그라디언트(gradient) 크기 및 방향을 구하여, 방향 대 크기의 히스토그램(이하 그룹단위 히스토그램)을 형성하는 단계; 및,
    (d4) 상기 그룹단위 히스토그램을 결합하여 상기 제2 특성벡터를 형성하는 단계를 포함하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 (a)단계에서, 상기 디지털 이미지에 대하여 가우시안 필터를 이용하여 블러링(blurring) 작업을 수행하고, 블러된(blurred) 이미지들 간의 가우시안 차(DoG, Difference of Gaussian)를 계산하고, 상기 가우시안 차에 기초하여 상기 특징점을 검출하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 대상 영역을 상기 특징점을 중심으로, 특징점의 스케일에 따라 결정되는 반경 내의 원형 영역으로 설정하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  6. 제5항에 있어서,
    상기 원형 영역의 반경은 다음 [수식 1]에 의해 설정되는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
    [수식 1]
    Figure pat00011

    단, D는 승수(multiplier),
    S는 상기 특징점이 속하는 옥타브의 스무딩 스케일.
  7. 제1항 또는 제3항에 있어서,
    상기 (c1)단계에서, 상기 섹터들의 각도가 서로 중복되지 않고 동일한 크기를 갖도록, 상기 디지털 이미지를 섹터로 분할하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  8. 제1항 또는 제3항에 있어서,
    상기 (c2)단계에서, 상기 포인트 (x,y)의 그라디언트 크기 m(x,y) 및 방향 θ(x,y)은 다음 [수식 2]를 이용하여 계산되는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
    [수식 2]
    Figure pat00012

    단, x, y는 포인트의 카테시안 좌표, L(x,y)는 포인트 (x,y)의 픽셀값.
  9. 제2항 또는 제3항에 있어서,
    상기 포인트의 고도는 상기 포인트와 상기 특징점의 픽셀값 차이로 구하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  10. 제2항 또는 제3항에 있어서,
    상기 (d2)단계에서, 상기 그룹들의 고도 범위가 서로 중복되지 않고 그룹간 포인트 개수의 분포가 균일하도록, 상기 포인트들을 그룹핑하는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
  11. 제3항에 있어서,
    상기 (e)단계에서, 상기 특징점의 디스크립터는 다음 [수식 3]에 의해 정해지는 것을 특징으로 하는 시각적 형상 디스크립터 생성 방법.
    [수식 3]
    Figure pat00013

    단, FSectors 및 FContourlines는 각각 제1 및 제2 특성 벡터, w는 가중치.
  12. 제1항 내지 제11항 중 어느 한 항의 시각적 형상 디스크립터 생성 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110013805A 2011-02-16 2011-02-16 시각적 형상 디스크립터 생성 방법 및 그 기록매체 KR101182683B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110013805A KR101182683B1 (ko) 2011-02-16 2011-02-16 시각적 형상 디스크립터 생성 방법 및 그 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110013805A KR101182683B1 (ko) 2011-02-16 2011-02-16 시각적 형상 디스크립터 생성 방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20120094353A true KR20120094353A (ko) 2012-08-24
KR101182683B1 KR101182683B1 (ko) 2012-09-17

Family

ID=46885279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110013805A KR101182683B1 (ko) 2011-02-16 2011-02-16 시각적 형상 디스크립터 생성 방법 및 그 기록매체

Country Status (1)

Country Link
KR (1) KR101182683B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156952A (zh) * 2014-07-31 2014-11-19 中国科学院自动化研究所 一种抵抗形变的图像匹配方法
CN104463854A (zh) * 2014-11-26 2015-03-25 四川大学 基于八边形滤波器组的快速图像匹配算法
KR20160017546A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 이미지 검색 장치 및 그 방법
CN108765316A (zh) * 2018-05-07 2018-11-06 珠海全志科技股份有限公司 雾气浓度自适应判断方法
KR20190122966A (ko) * 2018-04-23 2019-10-31 김봉균 객체의 고유 아이디 생성 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528757B1 (ko) * 2013-10-15 2015-06-16 한국과학기술연구원 이분된 로컬 영역을 가지는 윤곽선 분할 기반 특징을 이용한 물체 인식 방법
KR20160001896A (ko) 2014-06-27 2016-01-07 서강대학교산학협력단 스케일 공간 고차 미분을 이용한 특징점 추출 방법 및 이를 이용한 이미지 검색 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156952A (zh) * 2014-07-31 2014-11-19 中国科学院自动化研究所 一种抵抗形变的图像匹配方法
KR20160017546A (ko) * 2014-08-06 2016-02-16 삼성전자주식회사 이미지 검색 장치 및 그 방법
CN104463854A (zh) * 2014-11-26 2015-03-25 四川大学 基于八边形滤波器组的快速图像匹配算法
KR20190122966A (ko) * 2018-04-23 2019-10-31 김봉균 객체의 고유 아이디 생성 방법
CN108765316A (zh) * 2018-05-07 2018-11-06 珠海全志科技股份有限公司 雾气浓度自适应判断方法
CN108765316B (zh) * 2018-05-07 2021-11-16 珠海全志科技股份有限公司 雾气浓度自适应判断方法

Also Published As

Publication number Publication date
KR101182683B1 (ko) 2012-09-17

Similar Documents

Publication Publication Date Title
KR101182683B1 (ko) 시각적 형상 디스크립터 생성 방법 및 그 기록매체
CN110136160B (zh) 一种基于圆投影的快速图像匹配方法
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN103268358B (zh) 多源控制点影像数据库构建及更新方法
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
CN109215129B (zh) 一种基于三维点云的局部特征描述方法
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
CN104574347A (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
Savelonas et al. Fisher encoding of differential fast point feature histograms for partial 3D object retrieval
CN107180436A (zh) 一种改进的kaze图像匹配算法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN104240231A (zh) 基于局部结构二进制模式的多源图像配准
CN103295014A (zh) 基于像素位置排列直方图的图像局部特征描述方法
Peng et al. A visual shape descriptor using sectors and shape context of contour lines
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN115830335A (zh) 一种基于自适应阈值算法的orb图像特征提取方法
CN110852207A (zh) 基于面向对象影像分类技术的蓝色屋顶建筑物提取方法
Lu et al. Color constancy using 3D scene geometry
CN103336964A (zh) 一种基于模值差镜像不变性的sift图像匹配方法
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
CN108256425B (zh) 一种利用遥感光谱信息高效率提取港口集装箱的方法
CN116415210A (zh) 图像侵权检测方法、装置及存储介质
KR101166722B1 (ko) 이미지 검색을 위한 국부적 색변화 기반 관심점 검출과 디스크립터 생성 방법 및 그 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee