KR101302573B1 - 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템 - Google Patents

내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템 Download PDF

Info

Publication number
KR101302573B1
KR101302573B1 KR1020120016754A KR20120016754A KR101302573B1 KR 101302573 B1 KR101302573 B1 KR 101302573B1 KR 1020120016754 A KR1020120016754 A KR 1020120016754A KR 20120016754 A KR20120016754 A KR 20120016754A KR 101302573 B1 KR101302573 B1 KR 101302573B1
Authority
KR
South Korea
Prior art keywords
image
contour
feature
internal
shock
Prior art date
Application number
KR1020120016754A
Other languages
English (en)
Other versions
KR20130095383A (ko
Inventor
백우진
카남 솔리마
장석우
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020120016754A priority Critical patent/KR101302573B1/ko
Publication of KR20130095383A publication Critical patent/KR20130095383A/ko
Application granted granted Critical
Publication of KR101302573B1 publication Critical patent/KR101302573B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템에 관한 것으로서, 내부 묘사기와 외부 묘사기를 결합한 쇼크 그래프 퓨리어 묘사기(Shock Graph Fourier Descriptor: SGFD)를 이용함으로써, 물체의 내부 특징과 윤곽선 특징을 모두 표현할 수 있으며, 계산상의 복잡도를 크게 증가시키지 않으면서 영상 검색의 정확도를 향상시킬 수 있는 영상 검색 시스템을 제공함에 그 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 질의 영상 데이터베이스 및 대상 영상 데이터베이스로부터 질의 영상 및 대상 영상을 입력받아, 쇼크 그래프 기반의 내부 특징 및 퓨리어 기반의 윤곽선 특징을 추출하는 특징 추출부; 상기 질의 영상과 대상 영상 사이의 특징 정합을 수행하는 특징 정합부; 및 상기 특징 정합부를 통한 정합 결과를 바탕으로 영상을 검색하고, 검색 영상을 추출하는 영상 검색부; 를 포함한다.

Description

내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템{IMAGE RETRIEVAL SYSTEM USING INTERIOR DESCRIPTORS AND CONTOUR DESCRIPTORS}
본 발명은 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템에 관한 것으로서, 더욱 상세하게는, 내부 묘사기와 외부 묘사기를 결합한 쇼크 그래프 퓨리어 묘사기(Shock Graph Fourier Descriptor: SGFD)를 이용한 영상 검색 시스템에 관한 것이다.
일반적으로, 모양은 영상을 표현하기 위한 기본적이면서도 매우 중요한 시각적인 특징 중의 하나이다. 보통, 모양을 표현하고 유사도를 측정하는 방법들은 크게 내부 기반의 방법들과 윤곽선 기반의 방법들의 두 가지 부류로 분류될 수 있다.
이러한 분류는 모양 특징이 물체의 내부로부터 추출되는지 또는 윤곽선으로부터 추출되는지에 따라 결정된다. 그리고, 각각의 방법들은 모양이 일부 세그먼트에 의해 표현되는지 또는 전체로 표현되는지에 따라 지역적인 방법과 전역적인 방법으로 보다 세분화될 수 있다.
보통, 내부 기반의 지역적인 방법보다 윤곽선 기반의 전역적인 방법이 보다 널리 알려져 있다. 이것은 대체적으로 사람이 물체의 내부 구조 보다는 윤곽선을 이용하여 모양을 분별한다는 것을 내포하며, 모양 내부의 특징보다는 윤곽선 특징이 중요한 경우가 많이 발생한다는 것을 내포한다.
그러나, 윤곽선 기반의 방법은 몇몇의 단점을 가지고 있다. 첫째, 윤곽선 기반의 모양 묘사기는 전체 모양 중에서 작은 부분에 대한 정보만을 사용하므로 잡음과 변화에 민감하다. 둘째, 많은 경우에 있어 모양의 정확한 윤곽선 정보를 추출하기 어려운 상황이 있을 수 있다. 셋째, 모양의 내부 특징이 윤곽선 정보보다 중요할 수 있다. 이러한 여러 상황을 보완하기 위해서 모멘트 방법, 퓨리어(Fourier) 묘사기, 일반적 퓨리어 묘사기, 웨이블릿-퓨리어 묘사기 등의 기술들이 현재까지 제안되어 왔다.
그리고, 내부 기반의 모양 검색 방법은 부분적인 정합이 필요한 영상 데이터베이스에 존재하는 불안정성을 처리할 때 윤곽선 기반의 방법보다 좋은 성능을 보여준다. 특히, 뼈대를 사용하는 내부 기반의 모양 검색 접근 방법은 위상적이고 기하학적인 정보를 제공할 뿐만 아니라, 시각적인 변환에 강건하므로 윤곽선 기반의 방법보다 우수하다고 알려져 있다.
그러나, 내부 기반의 지역적인 방법의 단점은 모양의 전역적인 특징을 반영할 수 없으며 유사성 척도를 계산할 때 계산상의 복잡도가 높다는 것이다. 따라서, 내부 기반의 방법에서 사용하는 유사성 척도의 계산상의 복잡도를 줄이기 위한 여러 방법들이 제안되었다.
한편, 본 발명의 이전 연구 중의 하나도 뼈대를 사용하는 내부 기반 방법의 복잡도를 줄이기 위한 알고리즘으로서, "뼈대 특징을 이용한 모양 기반의 영상 분류"(한국정보기술학회지 제9권 제2호 (2011. 2) pp.85-92 ISSN 1598-8619 KCI 등재)(이하, '선행문헌') 이외에 다수 공개되어 있다.
구체적으로, 선행문헌은, 질의 영상과 대상 데이터베이스 영상으로부터 뼈대 기반의 쇼크 그래프를 추출한 후 종점과 분기점을 가중치를 이용하여 적응적으로 선택한다. 그런 다음, 두 영상 사이의 편집 거리를 구하여 이를 k-means 클러스터링 알고리즘의 거리 척도로 적용함으로써 대용량의 영상을 보다 효과적으로 분류한다.
그러나, 앞서 상술한 바와 같이 내부 기반의 지역적인 방법과 윤곽선 기반의 전역적인 방법은 개별적으로 사용될 때 여러 가지 제한점들을 가진다. 따라서, 최근 들어 두 가지 방법을 결합한 모양 묘사기가 관심을 받고 있다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 내부 묘사기와 외부 묘사기를 결합한 쇼크 그래프 퓨리어 묘사기(Shock Graph Fourier Descriptor: SGFD)를 이용함으로써, 물체의 내부 특징과 윤곽선 특징을 모두 표현할 수 있으며, 계산상의 복잡도를 크게 증가시키지 않으면서 영상 검색의 정확도를 향상시킬 수 있는 영상 검색 시스템을 제공함에 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템에 관한 것으로서, 질의 영상 데이터베이스 및 대상 영상 데이터베이스로부터 질의 영상 및 대상 영상을 입력받아, 쇼크 그래프 기반의 내부 특징 및 퓨리어 기반의 윤곽선 특징을 추출하는 특징 추출부; 상기 질의 영상과 대상 영상 사이의 특징 정합을 수행하는 특징 정합부; 및 상기 특징 정합부를 통한 정합 결과를 바탕으로 영상을 검색하고, 검색 영상을 추출하는 영상 검색부; 를 포함한다.
또한 상기 특징 추출부는, 외부 묘사기인 퓨리어 윤곽선 특징 묘사기와, 내부 묘사기인 쇼크 그래프 특징 묘사기가 결합된 쇼크 그래프 퓨리어 묘사기(Shock Graph Fourier Descriptor: SGFD)인 것을 특징으로 한다.
또한 상기 퓨리어 윤곽선 특징 묘사기는, 물체의 외부를 표현하되, 중심 거리 기반의 모양 시그니처를 사용하며, 상기 시그니처 획득을 위해 모양 윤곽선의 경계점을 추출하는 것을 특징으로 한다.
또한 상기 쇼크 그래프 특징 묘사기는, 주어진 질의 영상에 해당하는 영상의 노드(쇼크 포인트)를 적응적으로 선택하는 것을 특징으로 한다.
또한 상기 쇼크 그래프 특징 묘사기는, 질의 영상과의 정합에서는 쇼크 포인트 정합과 편집 연산을 이산적인 방법으로 사용하며, 쇼크 그래프 사이의 정합 코스트는, 그래프를 분기점과 종점으로 이산화함으로써 측정하는 것을 특징으로 한다.
또한 상기 특징 정합부는, 시티 블록 거리(city block distance)를 이용하여 질의 영상과 대상 영상에 대한 유사도를 측정함으로써 윤곽선 기반의 정합을 수행하는 것을 특징으로 한다.
그리고 상기 특징 정합부는, 쇼크 그래프 기반의 에디트 거리(edit distance)를 이용하여 내부 기반의 거리 척도를 구함으로써 거리 정합을 수행하는 것을 특징으로 한다.
한편, 본 발명은 내부 및 윤곽선 묘사기를 이용한 영상 검색 방법에 관한 것으로서, (a) 특징 추출부가 질의 영상 데이터베이스 및 대상 영상 데이터베이스로부터 질의 영상 및 대상 영상을 입력받아, 쇼크 그래프 기반의 내부 특징 및 퓨리어 기반의 윤곽선 특징을 추출하는 단계; (b) 특징 정합부가 시티 블록 거리(city block distance)를 이용하여 질의 영상과 대상 영상에 대한 유사도를 측정함으로써 윤곽선 기반의 정합을 수행하는 단계; (c) 상기 특징 정합부가 쇼크 그래프 기반의 에디트 거리(edit distance)를 이용하여 내부 기반의 거리 척도를 구함으로써 거리 정합을 수행하는 단계; 및 (d) 영상 검색부가 상기 특징 정합부를 통한 정합 결과를 바탕으로 영상을 검색하는 단계; 를 포함한다.
상기와 같은 본 발명에 따르면, 계산상의 복잡도를 크게 증가시키지 않으면서 영상 검색의 정확도를 향상시킬 수 있는 효과가 있다.
도 1 은 본 발명에 따른 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템을 개념적으로 도시한 전체 구성도.
도 2 는 본 발명에 따른 중심 거리 윤곽선 특징을 보이는 일예시도.
도 3 은 본 발명에 따른 쇼크 그래프 내부 특징으로 보이는 일예시도.
도 4 는 본 발명에 따른 내부 및 윤곽선 묘사기를 이용한 영상 검색 방법에 관한 전체 흐름도.
도 5 는 본 발명에 따른 내부 쇼크 그래프와 윤곽선 특징이 모두 추출된 apple 영상을 보이는 일예시도.
도 6 은 기존의 퓨리어 묘사기(FD) 방법과 쇼크 그래프(SG) 방법의 성능과, 본 발명에 따른 쇼크 그래프 퓨리어 묘사기(SGFD) 방법의 성능을 비교하는 그래프.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템 및 그 방법에 관하여 도 1 내지 도 6 을 참조하여 설명하면 다음과 같다.
도 1 은 본 발명에 따른 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 특징 추출부(100), 특징 정합부(200) 및 영상 검색부(300)를 포함하여 이루어진다.
특징 추출부(100)는 내부 묘사기와 외부 묘사기를 결합한 쇼크 그래프 퓨리어 묘사기(Shock Graph Fourier Descriptor: SGFD)로서, 질의 영상 데이터베이스(10) 및 대상 영상 데이터베이스(20)로부터 질의 영상 및 대상 영상을 입력받아, 쇼크 그래프(SG) 기반의 내부 특징 및 퓨리어 기반의 윤곽선 특징을 추출한다.
이때, 본 발명에 따른 특징 추출부(100)는 쇼크 그래프 퓨리어 묘사기(SGFD)(100)로서, 퓨리어 윤곽선 특징 묘사기(110)와 쇼크 그래프 특징 묘사기(120)가 결합된 것이다.
즉, 쇼크 그래프 특징 묘사기(120)는 중간 축(medial axis)으로 묘사되는 쇼크 그래프를 사용하여 물체의 내부를 표현하며, 퓨리어 윤곽선 특징 묘사기(110)는 물체의 외부를 표현한다.
구체적으로 살피면, 퓨리어 묘사기는 대부분 문자 인식과 물체 분류를 위해서 사용된다. 일반적으로, 퓨리어 묘사기를 유도하기 위해 복소수 좌표와 축적 각도 함수(cumulative angle function)가 주로 사용된다.
그러나, 일반적인 모양에 있어 중심 거리 함수가 퓨리어 묘사기를 유도하기 위한 가장 바람직한 모양 특징이라는 것을 확인했다. 그리고, 10개의 퓨리어 특징이 모양을 표현하기 위해 충분하며, 모양 분석에서 일반적으로 사용되는 60개의 퓨리어 특징과 비교할 때 차원을 상당수 줄일 수 있다고 확인했다.
따라서, 본 발명에서도 모양 윤곽선 특징으로 중심 거리 기반의 퓨리어 윤곽선 묘사기(110)를 적용하도록 한다.
일반적으로, 퓨리어 묘사기는 모양 시그니처로부터 유도되며, 모양 시그니처
Figure 112012013235270-pat00001
는 2차원 영역이나 경계를 나타내는 1차원 함수이다. 하나의 모양이 주어질 때 모양 시그니처는 폐곡선 C로 정의될 수 있으며, C는 다시 일차원 함수
Figure 112012013235270-pat00002
로 정의될 수 있다. 함수
Figure 112012013235270-pat00003
는 복소수이며 매
Figure 112012013235270-pat00004
시간에 주기적이다.
Figure 112012013235270-pat00005
는 주기
Figure 112012013235270-pat00006
에 대해 복소수적이므로,
Figure 112012013235270-pat00007
가 성립한다. 다른 모양 시그니처들도 퓨리어 묘사기를 유도하기 위해서 사용되고 있다.
본 발명에서는, 도 2 와 같은 중심 거리 기반의 모양 시그니처를 사용하며, 이 시그니처를 획득하기 위해서 모양 윤곽선의 경계점을 추출할 필요가 있다.
본 발명에서는 모양 경계 좌표가
Figure 112012013235270-pat00008
로 표현된다고 가정하자.
여기서,
Figure 112012013235270-pat00009
는 호의 길이이다. 그리고, 모양 경계점은 8-연결성 윤곽선 추적 기법을 통해 추출되는데, 중심 거리 함수는 경계점과 모양의 중심
Figure 112012013235270-pat00010
사이의 거리로 다음의 [수식 1] 과 같이 표현된다.
[수식 1]
Figure 112012013235270-pat00011
결과적으로, 이산적인 퓨리어 변환은 모양 시그니처를 사용하여 다음의 [수식 2] 와 같이 정의될 수 있다.
[수식 2]
Figure 112012013235270-pat00012
[수식 2] 에서 계수
Figure 112012013235270-pat00013
는 모양의 퓨리어 묘사기를 유도하기 위해서 사용된다.
한편, 중간 축은 모양 검색에 있어 윤곽선 기반의 방법보다 우수한 뼈대 기반의 내부 특징 중의 하나이다. 중간 축은 도 3 에서와 같이 적어도 두 개의 윤곽선 점을 터치하는 최대 원의 중심점(쇼크 포인트 또는 특이점(singularity)이라고 불림)들의 궤적으로 정의될 수 있다. 윤곽선을 터치하는 점들은 특징점이라고도 언급된다.
쇼크 그래프는 몇몇의 추가적인 동적인 특성으로 확장된 중간 축의 개념으로부터 왔다. 쇼크 포인트는 경계선의 접촉 유형과 터칭 포인트의 개수에 따라 1차, 2차, 3차, 4차일 수 있다. 2차와 4차 쇼크는 일반적인 쇼크 차수의 경우인데, 모양 검색에서 불안정성이 발생하는 것을 포함한다. 2차 쇼크는 흐름의 시작을 나타내고 4차 쇼크는 흐름의 끝점을 나타내는데, 이것은 각각 분기점과 종점을 의미한다. 이런 분기점과 종점은 제안된 방법에서 영상을 표현하고 검색하기 위한 내부 모양 묘사기로 사용될 것이다.
본 발명에 따른 쇼크 그래프 특징 묘사기(120)는, 주어진 질의 영상에 해당하는 영상의 노드(쇼크 포인트)를 적응적으로 선택한다. 이 선택 알고리즘의 시간 복잡도는
Figure 112012013235270-pat00014
이며, x는 노드의 개수이다.
또한, 쇼크 그래프 특징 묘사기(120)는 질의 영상과의 정합에서는 쇼크 포인트 정합과 편집 연산을 이산적인 방법으로 사용한다. 그리고, 쇼크 그래프 사이의 정합 코스트는 그래프를 분기점과 종점으로 이산화함으로써 측정한다.
즉, 두 개의 쇼크 그래프 세그먼트가 샘플 노드에서 이산화된다고 가정하자. 그러면, 이 노드는 행렬
Figure 112012013235270-pat00015
의 요소로 고려될 수 있다. 또한,
Figure 112012013235270-pat00016
와
Figure 112012013235270-pat00017
를 각각 그래프와 세그먼트의 정합 코스트라 가정하면 쇼크 포인트 정합코스트
Figure 112012013235270-pat00018
는 다음의 [수식 3] 과 같이 계산된다.
[수식 3]
Figure 112012013235270-pat00019
[수식 3] 에서 동적 프로그래밍 알고리즘에 의해서 해결되는 서브-문제의 개수는
Figure 112012013235270-pat00020
인데, 여기서,
Figure 112012013235270-pat00021
와
Figure 112012013235270-pat00022
는 질의 영상과, 데이터베이스 영상 그래프 사이의 쇼크 포인트(노드)의 개수이다. 그러므로, 정합 거리
Figure 112012013235270-pat00023
의 계산은
Figure 112012013235270-pat00024
의 복잡도를 필요로 한다.
제안된 방법에서는 시각적인 변환을 처리하기 위해 contract와 splice 코스트와 같은 편집 연산으로부터 유도되는 deform 코스트를 고려할 것이다. 따라서, 쇼크 그래프의 전체적인 정합 코스트
Figure 112012013235270-pat00025
는 다음의 [수식 4] 와 같이 쇼크 포인트 정합 코스트와 deform 코스트의 합이 될 것이다.
[수식 4]
Figure 112012013235270-pat00026
여기서,
Figure 112012013235270-pat00027
,
Figure 112012013235270-pat00028
,
Figure 112012013235270-pat00029
는 각각 정합 코스트, deform 코스트, 영상의 순서를 나타낸다.
또한, 특징 정합부(200)는 질의 영상과 대상 영상 사이의 특징 정합을 수행한다.
이때, 특징 정합부(200)는 시티 블록 거리(city block distance)를 이용하여 질의 영상과 대상 영상에 대한 유사도를 측정함으로써 윤곽선 기반의 정합을 수행하며, 쇼크 그래프 기반의 에디트 거리(edit distance)를 이용하여 내부 기반의 거리 척도를 구함으로써 거리 정합을 수행한다.
그리고, 영상 검색부(300)는 상기 특징 정합부(200)를 통한 정합 결과를 바탕으로 영상을 검색하고, 검색 영상을 추출한다. 이때, 거리 정합이 가장 잘 수행된 영상을 검색된 영상으로 판단한다.
또한, 본 발명에 따른 시스템을 이용한 내부 및 윤곽선 묘사기를 이용한 영상 검색 방법에 관하여 도 4 를 참조하여 설명하도록 한다.
도 4 는 본 발명에 따른 내부 및 윤곽선 묘사기를 이용한 영상 검색 방법에 관한 전체 흐름도로서, 도시된 바와 같이 특징 추출부(100)는 질의 영상 데이터베이스(10) 및 대상 영상 데이터베이스(20)로부터 질의 영상 및 대상 영상을 입력받아, 쇼크 그래프(SG) 기반의 내부 특징 및 퓨리어 기반의 윤곽선 특징을 추출한다(S10).
이후, 특징 정합부(200)는 시티 블록 거리(city block distance)를 이용하여 질의 영상과 대상 영상에 대한 유사도를 측정함으로써 윤곽선 기반의 정합을 수행하며(S20), 쇼크 그래프 기반의 에디트 거리(edit distance)를 이용하여 내부 기반의 거리 척도를 구함으로써 거리 정합을 수행한다(S30).
뒤이어, 영상 검색부(300)는 상기 특징 정합부(200)를 통한 정합 결과를 바탕으로 영상을 검색하고, 검색 영상을 추출한다(S40).
이하에서는, 상술한 바와 같은 시스템의 모양 검색 성능을 평가하기 위한 실험을 수행하도록 한다.
모양 검색 알고리즘의 성능을 평가하기 위해 MPEG-7 CE Shape-1 Part-B 데이터베이스를 사용하였는데, 이 데이터베이스에는 잘 레이블된 1,400개의 영상을 포함하고 있다. 영상 데이터베이스는 각 클래스당 20개의 영상으로 분류된 70개의 클래스를 가지고 있으며, 동일한 클래스에는 유사한 영상이 포함되어 있다.
제안된 방법에서 모양의 윤곽선 점들은 8-연결성 윤곽선 추적 기법을 통해 추출된다. 그리고, 퓨리어 묘사기(FD) 개수의 증가 또는 감소가 어떻게 검색 성능에 영향을 미치는지를 확인하기 위해서 서로 다른 개수의 퓨리어 묘사기(FD)를 사용한 검색이 테스트 되었다. 그 결과, 60개 이상으로 FD의 개수가 증가하는 것은 검색의 성능에 크게 영향을 미치지 않으며, 반대로 10개 정도로 FD의 개수가 감소하였을 때 실질적인 검색 성능은 크게 저하되지 않는다. 이로부터 효율적인 색인 및 검색을 위해서는 10개의 퓨리어 묘사기(FD)로도 모양 표현을 충분히 할 수 있다는 사실을 알 수 있다. 따라서 본 발명에서도 윤곽선 정보를 위해 10개의 퓨리어 묘사기(FD)를 사용했다.
도 5 는 내부 쇼크 그래프와 윤곽선 특징이 모두 추출된 apple 영상을 보여준다(윤곽선 및 중간 축). 그리고, 질의 영상과 데이터베이스 영상의 특징 벡터 사이의 거리를 측정하여 특징 정합이 수행된다. 먼저, 시티 블록 거리(city block distance)를 사용하여 질의 영상과 데이터베이스 영상에 대한 유사도를 측정한다. 둘째, 쇼크 그래프 기반의 에디트 거리를 이용하여 내부 기반의 거리 척도를 구한다.
질의영상: Apple
영상 FD SG FD-SG
Apple 27.9136 0 27.91359
Apple 55.8272 17 72.82719
Apple 83.7407 14 97.74079
Apple 111.6544 17 128.65439
Apple 139.5680 23 162.56799
Bat 167.4816 26 193.48159
Bat 195.3952 45 240.39518
Bat 223.3088 40 263.30878
Bat 251.2224 49 300.22238
Bat 279.1360 41 320.13598
Beetle 307.0496 89 396.04957
Beetle 334.9632 90 424.96317
Beetle 362.8768 97 459.87677
Beetle 390.7904 113 503.79037
Beetle 418.7040 124 542.70396
[표 1] 에서 쇼크 그래프 거리는 apple 질의 영상에 대해 5번째 검색까지는 좋은 검색 정확도를 보여줌을 알 수 있다. 또한, 윤곽선 기반의 퓨리어 묘사기도 좋은 검색 성능을 보여준다. 즉, 두 가지 묘사기 모두 apple 영상과 beetle 또는 bat 영상을 효과적으로 분별할 수 있다. 더욱이, 두 가지 묘사기를 결합하더라도 정확도에는 큰 영향을 미치지 않으며, 모든 apple 영상이 쇼크 그래프 퓨리어 묘사기(SGFD) 방법에 의해 성공적으로 검색된다. 그러나 윤곽선 또는 내부 특징 하나만을 사용해서는 검색되지 않는 영상이 있다. 예를 들어, [표 2] 에서 쇼크 그래프는 bat 영상을 검색하는데 낮은 성능을 보여줌을 알 수 있다. 즉, 쇼크 그래프를 사용하여 5개의 bat 영상 중에서 3개의 영상만이 검색된다. 반면에 퓨리어 묘사기(FD) 방법에 의해서는 모든 bat 영상이 검색된다.
Figure 112012013235270-pat00030
한편, 쇼크 그래프는 beetle 영상을 검색하는데 좋은 성능을 보여주는 반면 FD 방법은 bat 영상과 beetle 영상을 구분하는데 실패하고 어떤 beetle 영상도 검색하지 못한다. 사실상 서로 다른 내부 구조를 가지는 모양 영상들은 동일한 윤곽선을 가질 수 있다. MPEG-7과 같은 표준 데이터베이스는 모든 종류의 영상을 포함하므로 내부 또는 윤곽선 특징만을 사용하여 영상을 검색하는 것은 검색 오류를 발생시킬 수 있다.
그러므로, 특징 정합 단계 동안 검색 성능을 향상시키기 위해서 내부 특징과 윤곽선 특징은 분리되어 비교되어야만 한다. 그리고 지역적인 내부 특징과 전역적인 윤곽선 특징을 동시에 결합하여 사용하는 것은 좋은 선택이 될 수 있다. [표 2] 에서 확인할 수 있듯이 제안된 쇼크 그래프 퓨리어 묘사기(SGFD) 방법은 한 가지의 묘사기가 부정확한 결과를 산출하는 부분에서 개선된 성능을 보여준다. 그러므로, 쇼크 그래프와 퓨리어 묘사기를 결합한 방법은 최적화된 검색 성능을 위한 좋은 묘사기로 사용될 수 있다.
본 발명에서 제안된 알고리즘에서는 물체의 윤곽선 포인트를 모두 고려함으로써 빠른 퓨리어 변환을 적용했다. 만일, 윤곽선 포인트가 2의 배수, 예를 들어 32 포인트 또는 64 포인트로 샘플링된다면 이 샘플링으로 인해 윤곽선 특징이 손실될 수 있다. 그러므로 제안된 방법에서는 모양 윤곽선의 모든 포인트가 고려된다.
그러나, 퓨리어 묘사기(FD)의 계산 복잡도는 O(N)인데, 여기서 N은 윤곽선 포인트의 개수이다. 또한, 내부 기반의 유사성 척도를 위한 이산적인 쇼크 그래프를 사용하는데 계산 복잡도는 O(N2)이다. 그러므로, 제안된 방법에서는 검색의 정확도를 향상시키기 위해서 낮은 계산 복잡도를 가진 윤곽선 기반의 퓨리어 묘사기와 쇼크 그래프 기반의 내부 묘사기를 결합하는 장점을 취한다.
이 결합은 [표 2] 에서 확인할 수 있듯이 계산상의 복잡도를 크게 증가시키지 않으면서 좋은 성능을 보여준다. 또한, 제안된 결합 방법은 질의 영상과 다른 그룹의 영상들 사이와의 거리를 크게 함으로써 모양 검색을 강인하게 한다.
도 6 은 기존의 퓨리어 묘사기(FD) 방법과 쇼크 그래프(SG) 방법의 성능과 제안된 쇼크 그래프 퓨리어 묘사기(SGFD) 방법의 성능을 비교하여 그래프로 보여준다.
도 6 의 y축을 나타내는 검색 비율은 [수식 5] 와 같이 전체 입력된 모양 영상 중에서 정확하게 검색된 영상의 비율을 백분율(%)로 나타낸다.
[수식 5]
Figure 112012013235270-pat00031

도 6 에서는 질의영상에 대해 검색된 영상 중에서 5번째까지의 검색 성능의 평균을 보여준다. 도 6 에서 확인할 수 있듯이 퓨리어 묘사기(FD) 방법의 검색율은 쇼크 그래프(SG) 방법 및 제안된 쇼크 그래프 퓨리어 묘사기(SGFD) 방법에 비해 좋지 못한 결과를 보여준다.
사실상, 퓨리어 묘사기(FD) 방법은 4번째 또는 5번째 검색에서 매우 낮은 검색 정확도를 보여준다. 한편, 쇼크 그래프(SG) 방법과 제안된 쇼크 그래프 퓨리어 묘사기(SGFD) 방법은 3번째 검색까지는 매우 좋은 검색 결과를 보여준다. 그런데, 3번째 이후의 검색에 있어서 쇼크 그래프(SG) 방법의 성능은 제안된 쇼크 그래프 퓨리어 묘사기(SGFD) 방법보다 낮은 정확도를 보여준다.
본 발명에서 제안한 쇼크 그래프 퓨리어 묘사기(SGFD) 방법은 쇼크 그래프(SG)와 퓨리어 묘사기(FD)를 통합한 묘사기를 사용한다. 즉, 내부와 윤곽선 특징의 통합적인 사용은 영상 검색에서 보다 효과적인 성능을 유도한다.
정리하면, 모양을 표현하고 검색하기 위해서 내부 특징과 윤곽선 특징은 모두 중요하다. 본 발명에서는 모양 검색을 위해서 쇼크 그래프 기반의 지역적인 내부 특징과 퓨리어 기반의 전역적인 윤곽선 특징을 결합하는 방법을 새롭게 제안했다.
일반적으로, 쇼크 그래프는 모양 검색을 위한 강력한 묘사기이며, 퓨리어 묘사기는 윤곽선 기반의 모양을 완벽하게 표현하기 위한 전역적인 윤곽선 기반의 묘사기 중의 하나이다.
그리고, 제안된 쇼크 그래프-퓨리어 묘사기는 낮은 계산 코스트로 정확성 있게 모양을 검색한다. 성능을 평가하기 위한 실험에서는 제안된 모양 검색 방법이 계산 복잡도를 증가시키지 않으면서 검색의 정확도를 향상시키는데 매우 효과적임을 보여준다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S: 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템
100: 특징 추출부 110: 퓨리어 윤곽선 특징 묘사기
120: 쇼크 그래프 특징 묘사기 200: 특징 정합부
300: 영상 검색부 10: 질의 영상 데이터베이스
20: 대상 영상 데이터베이스

Claims (8)

  1. 질의 영상 데이터베이스(10) 및 대상 영상 데이터베이스(20)로부터 질의 영상 및 대상 영상을 입력받아, 쇼크 그래프(SG) 기반의 내부 특징 및 퓨리어 기반의 윤곽선 특징을 추출하는 특징 추출부(100);
    상기 질의 영상과 대상 영상 사이의 특징 정합을 수행하는 특징 정합부(200); 및
    상기 특징 정합부(200)를 통한 정합 결과를 바탕으로 영상을 검색하고, 검색 영상을 추출하는 영상 검색부(300); 를 포함하되,
    상기 특징 추출부(100)는,
    외부 묘사기인 퓨리어 윤곽선 특징 묘사기(110)와, 내부 묘사기인 쇼크 그래프 특징 묘사기(120)가 결합된 쇼크 그래프 퓨리어 묘사기(Shock Graph Fourier Descriptor: SGFD)인 것을 특징으로 하는 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 퓨리어 윤곽선 특징 묘사기(110)는,
    물체의 외부를 표현하되, 중심 거리 기반의 모양 시그니처를 사용하며, 상기 시그니처 획득을 위해 모양 윤곽선의 경계점을 추출하는 것을 특징으로 하는 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템.
  4. 제 1 항에 있어서,
    상기 쇼크 그래프 특징 묘사기(120)는,
    주어진 질의 영상에 해당하는 영상의 노드(쇼크 포인트)를 적응적으로 선택하는 것을 특징으로 하는 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템.
  5. 제 1 항에 있어서,
    상기 쇼크 그래프 특징 묘사기(120)는,
    질의 영상과의 정합에서는 쇼크 포인트 정합과 편집 연산을 이산적인 방법으로 사용하며, 쇼크 그래프 사이의 정합 코스트는, 그래프를 분기점과 종점으로 이산화함으로써 측정하는 것을 특징으로 하는 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템.
  6. 제 1 항에 있어서,
    상기 특징 정합부(200)는,
    시티 블록 거리(city block distance)를 이용하여 질의 영상과 대상 영상에 대한 유사도를 측정함으로써 윤곽선 기반의 정합을 수행하는 것을 특징으로 하는 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템.
  7. 제 1 항에 있어서,
    상기 특징 정합부(200)는,
    쇼크 그래프 기반의 에디트 거리(edit distance)를 이용하여 내부 기반의 거리 척도를 구함으로써 거리 정합을 수행하는 것을 특징으로 하는 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템.
  8. 삭제
KR1020120016754A 2012-02-20 2012-02-20 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템 KR101302573B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120016754A KR101302573B1 (ko) 2012-02-20 2012-02-20 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120016754A KR101302573B1 (ko) 2012-02-20 2012-02-20 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템

Publications (2)

Publication Number Publication Date
KR20130095383A KR20130095383A (ko) 2013-08-28
KR101302573B1 true KR101302573B1 (ko) 2013-09-02

Family

ID=49218728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120016754A KR101302573B1 (ko) 2012-02-20 2012-02-20 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템

Country Status (1)

Country Link
KR (1) KR101302573B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10991120B2 (en) 2017-11-14 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for processing a plurality of undirected graphs

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102113813B1 (ko) * 2013-11-19 2020-05-22 한국전자통신연구원 정합 쌍을 이용한 신발 영상 검색 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980064651A (ko) * 1996-12-16 1998-10-07 가네코 히사시 영상 특징 추출기, 영상 특징 분석기 및 영상 정합 시스템
KR20010011701A (ko) * 1999-07-30 2001-02-15 박호군 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980064651A (ko) * 1996-12-16 1998-10-07 가네코 히사시 영상 특징 추출기, 영상 특징 분석기 및 영상 정합 시스템
KR20010011701A (ko) * 1999-07-30 2001-02-15 박호군 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
가중치를 이용한 쇼크그래프 기반의 모양검색, 한국정보기술학회지제8권제4호 *
가중치를 이용한 쇼크그래프 기반의 모양검색, 한국정보기술학회지제8권제4호*
퓨리에시리즈를 사용한 외형기반 이미지검색, 한국정보과학회 가을학술발표논문집 Vol.33,No.2(A) *
퓨리에시리즈를 사용한 외형기반 이미지검색, 한국정보과학회 가을학술발표논문집 Vol.33,No.2(A)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10991120B2 (en) 2017-11-14 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for processing a plurality of undirected graphs

Also Published As

Publication number Publication date
KR20130095383A (ko) 2013-08-28

Similar Documents

Publication Publication Date Title
US11086924B2 (en) Image search device and image search method
CN104991959B (zh) 一种基于内容检索相同或相似图像的方法与系统
CN104199842B (zh) 一种基于局部特征邻域信息的相似图片检索方法
JP5818327B2 (ja) 三次元物体認識用画像データベースの作成方法および作成装置
KR20010053788A (ko) 내용기반 이미지 검색 시스템 및 그 방법
US9747308B2 (en) Method and apparatus for searching an image, and computer-readable recording medium for executing the method
US20150356129A1 (en) Index generating device and method, and search device and search method
JP2010272092A5 (ko)
CN107223242B (zh) 用于在多个已存储图像中搜索相似图像的方法
CN104615676A (zh) 一种基于最大相似度匹配的图片检索方法
US8027978B2 (en) Image search method, apparatus, and program
Liu et al. An image-based near-duplicate video retrieval and localization using improved edit distance
US8417038B2 (en) Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium
CN105809087B (zh) 辐射检查系统及车型模板检索方法
KR101116663B1 (ko) 고차원 데이터의 유사도 검색을 위한 데이터 분할방법
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
KR101302573B1 (ko) 내부 및 윤곽선 묘사기를 이용한 영상 검색 시스템
Yu et al. Multiscale crossing representation using combined feature of contour and venation for leaf image identification
Keyvanpour et al. Feature weighting for improving document image retrieval system performance
Nanni et al. Ensemble of shape descriptors for shape retrieval and classification
US20220284695A1 (en) Learning device, search device, learning method, search method, learning program, and search program
CN103092935A (zh) 一种基于sift量化的近似拷贝图像检测方法
Wang et al. A curvature salience descriptor for full and partial shape matching
KR20150124825A (ko) 화상분류 기반의 나이브 베이즈 분류기
CN103823889A (zh) 基于l1范数全局几何一致性检验的错误匹配检测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160822

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170821

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee