KR20010092891A - 스케치 특징을 이용한 내용기반 영상 검색방법 - Google Patents

Abstract

영상정보에 대한 검색을 용이하게 행할 수 있는 스케치 특징을 이용한 영상 검색방법이 개시되어 있다. 본 발명은 비등방성 확산 기법과 소벨의 경계선 검출 알고리즘을 통해 추출된 영상의 경계선을 주요 선분요소 정보로 변환하고 이 선분요소 정보를 이용하여 원하는 영상을 검색함으로서, 영상 검색 시간을 최소로 줄일 수 있는 방법을 제공하고자 하는 것으로, 작은 선분 및 곡선 조각을 이용하여 두드러지는 직선과 곡선을 추출하여 길이, 각도, 위치정보를 이용하여 영상간의 유사도를 측정하는 특징 기반 영상 검색에 있어, 실제의 영상에 포함된 사물에 대한 형태 정보의 경계선을 유지하며, 강도는 미약하나 길이가 긴 경계선을 손실 없이 찾아낼 수 있고, 질의영상과 기준영상간의 유사도 비교시 가중치를 주어 유사도를 측정함으로서 검색 성능을 높일 수 있는 효과가 있다.

Description

스케치 특징을 이용한 내용기반 영상 검색방법{CONTENT-BASED IMAGE RETRIEVAL METHOD BASED ON SKETCH FEATURES}

본 발명은 영상의 스케치 특징을 이용한 영상 검색방법에 관한 것으로서, 보다 상세하게는 데이터베이스에 저장된 영상의 경계선과 입력되는 영상정보의 경계선을 비교하여 데이터베이스에 저장된 영상을 검색할 수 있는 방법에 관한 것이다.

현재 제안되고 있는 영상 검색방법은 인덱스 정보 등을 이용하여 영상을 검색하는 문자기반(Context-Based) 검색 기법류와 이미지 정보를 이용하여 영상을 검색하는 영상기반(Content-Based) 검색 기법류가 있다. 전자의 경우에는 여러 가지 장점을 가지고 있기는 하나 분류 기준이 애매하여 서지화 과정이 어려운 단점이 있으며, 후자의 경우에는 문자기반 검색기법류에서의 단점을 보완할 수 있는 방법으로 최근 들어 각광받는 기법이다.

상기와 같은 영상기반 검색 기법류에는 칼라 정보를 이용하는 방법과 스케치 정보를 이용하는 방법이 있으며, 이중 스케치 정보를 이용하는 방법에는 경계선 맵과 같은 자료 구조를 이용하여 화소 단위로 유사도를 비교하는 화소-기반 방법이 그 대표적인 일 예이다. 상기 화소-기반 방법은 형판 정합(template matching)을 사용하여 사용자의 스케치와 데이터베이스 영상간의 유사도를 측정하였으나, 이 경우 저장하여야 할 색인 정보의 양이 많고 잡영이나 미세한 변화에도 민감하다는 단점이 있다.

상기의 방법 외에도 스케치의 윤곽선을 조금씩 변화시켜 유사한 영상을 검색하는 방법이 있으나, 이 경우 비교적 정확한 검색이 가능하나 계산할 양이 많다는 단점이 있다.

이에, 본 발명은 상기한 단점을 보완하기 위하여 창출된 것으로서, 본 발명의 목적은 비등방성 확산 기법과 소벨의 경계선 검출 알고리즘을 통해 추출된 영상의 경계선을 주요 선분요소 정보로 변환하고 이 선분요소 정보를 이용하여 원하는 영상을 검색함으로서, 영상 검색 시간을 최소로 줄일 수 있는 방법을 제공하고자 하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명의 스케치 특징을 이용한 영상 검색 방법은, a) 다수의 기준영상이 제공되었는지를 검사하는 입력단계; b) 상기 입력단계에서 다수의 기준영상이 제공되었다고 판단되면, 제공된 다수의 기준영상 중 하나의 기준영상에 대해 비등방성 확산 기법을 이용하여 경계를 보존하고 평활화시키는 평할화 단계; c) 상기 평활화 단계에서 평할화된 기준영상의 점들의 집합을 선분으로 연결하는 경계선 추출단계; d) 상기 경계선 추출단계에서 설정치를 넘지 못하는 경계선의 선분을 제거하기 위한 경계선 추적단계; e) 경계선 추적단계에서 구한 최소 선분을 직선으로 판단하고, 이 선분 조각의 각도 및 중심을 구하여 기준영상 스케치의 특징인 기준영상 특징값을 출력하고, 기준영상 특징값을 상기 데이터베이스에 저장하며, 상기 다수의 기준영상 중 마지막 기준영상인지를 판단하여 마지막 기준영상이 아니라고 판단되면 기준영상 특징값이 출력되지 않은 다른 기준영상을 출력한 후 b)단계로 진행하는 기준영상 특징값 추출단계; f) 사용자로부터 영상 데이터베이스 검색이 요구되면, 검색하고자 하는 질의영상의 스케치 특징인 질의 영상 특징값을 추출하는 질의영상 특징값 추출단계; g) 상기 질의영상 특징값과 데이터베이스화되어 저장된 다수의 기준영상에 대한 각각의 기준영상 특징값을 비교하여 질의영상과 기준 영상의 유사도를 측정하고, 이 유사도가 임계치를 넘지 않는 기준영상을 출력하는 검색단계로 이루어지는 것을 특징으로 한다.

본 발명에 의하면, 주요 검색 대상인 풍경 및 정물 사진 등의 자연영상에 대한 검색 성능을 높일 수 있고, 실제 영상이 포함된 사물에 대한 스케치 특징정보만을 이용하여 검색하므로 검색 시간을 줄일 수 있다.

도 1은 본 발명이 적용되는 영상 검색장치의 구성을 보인 도이다.

도 2는 본 발명에 따른 스케치 특징을 이용한 영상 데이터베이스의 구축과정과 검색과정을 보인 플로우챠트이다.

도 3은 본 발명에 적용되는 스케치 특징의 기본이 되는 선분 요소 추출 과정을 보인 도이다.

도 4는 도 1의 질의영상 입력부에 사용되는 스케치 질의를 위한 입력도구 및 인터페이스를 보인 도이다.

〈도면의 주요부분에 대한 부호의 설명〉

110 : 기준영상 제공부 120 : 질의영상 입력부

130 : 프로세서 140 : 데이터베이스

이하, 본 발명의 실시 예를 통해 본 발명을 보다 상세히 설명한다.

도 1은 본 발명이 적용되는 영상 검색 시스템의 구성을 보인 블럭도로서, 기준영상 제공부(110), 질의영상을 스케치하기 위한 입력부(120), 데이터베이스에 저장된 기준영상 중 질의영상과 유사한 기준영상을 검색하도록 동작하는 프로세서(130), 및 저장되어 있는 N개의 기준영상을 데이터베이스화하여 저장하고 있는 데이터베이스(140)로 구비된다.

사용자가 정의한 질의를 입력받기 위해서는 미리 수집되어 컴퓨터에 저장된 그림 파일을 읽어서 질의를 수행하는 방법, 스캐너를 사용하여 그림 데이터를 직접 입력하여 질의를 수행하는 방법, 및 도 4에 도시된 바와 같이, 간단한 선, 사각형, 원을 입력할 수 있는 스케치 입력도구를 제공하고, 그 제공된 스케치 입력도구를 통해 사용자의 질의를 입력하는 방법 등이 있으나, 본 발명의 실시 예에 있어서, 입력부(120)는 상기 스케치 입력도구로 구비된다.

도 2는 본 발명에 따른 스케치 특징을 이용한 내용기반 영상 검색 방법에 대한 흐름도이다.

도 1을 참조하여 도 2에 도시된 흐름도의 동작을 상세하게 설명한다.

상기 프로세서(130)는 상기 기준영상 제공부(110)로부터 다수의 기준영상이제공되었는지를 검사하고(단계 201), 여기서, 다수의 기준영상이 제공되었다고 판단되면, 프로세서(130)는 단계(202)로 진행한다. 여기서, 기준영상 입력부(110)는 스캐너와 같은 기존의 사용되고 있는 영상 제공장치와 동일하게 구성된다.

상기 단계(202)는 상기 단계(201)를 통해 입력된 다수의 기준영상 중 하나의 기준영상으로 부터 비등방성 확산 기법을 이용하여 경계를 보존하여 평활화시킨 기준영상의 스케치를 추출한다.

상기 비등방성 확산 기법(anisotropic diffusion)은 인접한 4개의 화소에 대하여 화소값이 크면 작은 비율로 혼합하고, 화소 값이 적으면 큰 비율로 혼합하는 방법이다. 이 방식은 다음 식 1)로 구현된다.

.....1)

여기서, 상기는 (i, j)위치에 있는 화소값을 나타내며, N, S, E, W 는 각각 화소와 북쪽, 남쪽, 동쪽, 그리고 서쪽에 인접한 화소와의 차이 값을 나타내며, t 값은 반복 횟수로 t값이 클수록 평할화가 많이 일어나게 되고, k 는 상수 값으로 확산 정도를 결정하게 된다.

상기 단계(202)를 통해 기준영상의 경계가 추출되면, 프로세서(130)는 단계(203)로 진행하고, 상기 단계(203)는 점들의 집합인 기준영상의 경계를 직선이나 곡선으로 연결하여 경계선을 추출한다. 즉, 점의 집합을 선분으로 연결하기 위하여 8개의 화소값을 조사하고, 이 화소값에 따라 점들의 연결 방향을 설정하여 경계선을 추출한다.

상기 단계(203)를 통해 경계선의 추출이 완료되면 프로세서(130)는 단계(204)로 진행하고, 단계(204)는 강도가 약한 경계선, 즉 원래의 기준영상에서 경계가 불분명한 선을 제거한다. 예를 들어 경계의 크기가 설정치를 넘지 못하게 되면 단계(203)에서 추출된 경계선에 포함하는 점의 수가 설정치를 넘지 못하기 때문에 이 설정치를 넘지 못하는 점의 수를 가진 경계선은 제거된다.

상기 설정치를 넘지 못하는 점의 수를 가진 경계선의 제거과정은 다음과 같다.

상기 경계선은 작은 크기의 선분 조각으로 나누어지고, 직선이나 곡선은 작은 크기의 선분으로 분할된다. 이 선분은 점들의 집합이다. 그러므로, 경계선을 추적하여 각 점을 연결해 나가면서 점의 갯수가 선분 조각의 최소 길이를 초과하게 되면 각 경계 점들이 직선을 이루는가를 검사하고, 여기서 직선인 경우 색인에 사용하고 직선이 아닌 경우 제거한다. 이에 대한 간단한 예는 도 3에 도시된 바와 같다. 상기와 같은 경계선 제거방법은 영상 내의 객체가 지닌 선분들이 다른 객체와 인접한 부분에서 다른 객체의 경계를 따라가거나 작은 텍스트 영역들이 긴 선분을 이루는 경우를 제거할 수 있다. 즉, 여기서, k 가 선분 조각의 최소 길이가 되면 추적된 선분의 직선 관계를 검사하여 직선인 경우 기준영상 특징값으로 색인되고, k 보다 적은 수의 점을 가진 짧은 선이나 직선을 이루지 않는 경계선들은 제거된다.

여기서, k 점에 대한 직선 관계를 검사하기 위하여 표본 상관 계수를 구하고, 이 표본 상관 계수의 절대치가 1에 가까울수록 직선을 이룬다. 이 표본 상관 계수는 다음 식 2)로부터 구하여진다.

......2)

여기서, x, y 는 각 점의 좌표 값이고, n 은 선분 조각을 이루는 점의 갯수이다.

상기 단계(204)를 통해 특징이 되는 경계선을 추출이 완료되면, 프로세서(130)는 단계(205)로 진행되고, 단계(205)는 상기 특징이 되는 경계선을 기준영상 특징값으로 변환하여 데이터베이스에 저장한다.

우선, 특징이 되는 경계선을 기준영상의 스케치 특징값으로 변환하는 과정은 직선으로 판단되는 선분 조각의 중점과 각도를 구하여 위치 히스토그램과 각도 히스토그램을 생성한다.

상기 9단계의 위치 정보로 이루어진 위치 히스토그램은 하나의 영상을 가로 방향으로 3개, 세로 방향으로 3개 총 9개의 영역으로 분할하고, 이 중 각 선분 조각을 구성하는 모든 점의 평균 위치가 속하는 영역을 수치화한 값이고, 9단계의 각도정보를 포함하는 각도 히스토그램은 180도를 20도의 간격으로 양자화한 값이다.

그러므로, 하나의 기준영상은 9단계의 위치정보와 9단계의 각도정보를 포함하는 총 81개의 기준영상 특징값으로 표현되고, 이와 같은 기준영상 특징값은 데이터베이스(140)에 저장된다.

상기에서 설명한 하나의 기준영상 특징값이 데이터베이스(140)에 저장되고,N개의 기준영상에 대한 N개의 특징값이 데이터베이스에 각각 저장된다.

한편, 상기 제공된 기준영상에 대한 기준영상 특징값의 저장이 완료된 후 프로세서(130)는 단계(206)로 진행하고, 단계(206)는 제공된 다수의 기준영상 모두에 대한 기준영상 특징값이 저장되었는지를 판단하고, 기준영상 특징값의 저장이 완료되지 않았다고 판단되면, 프로세서(130)는 단계(207)로 진행한다. 단계(207)는 아직 기준영상 특징값의 출력 및 저장이 되지 않은 다음 기준영상을 입력한다.

그러나, 다수의 기준영상 특징값의 저장이 완료되었다고 판단되면, 프로세서(130)는 단계(208)로 진행하고, 상기 단계(208)는 질의영상 스케치 입력부(120)를 통해 사용자로부터 영상 데이터베이스 검색이 요구되고, 질의영상의 스케치가 입력되었는지를 판단한다.

여기서, 질의영상 스케치가 입력되었다고 판단되면, 프로세서(130)는 단계(209)로 진행하고, 단계(209)는 질의영상 스케치로부터 상기의 과정을 통해 질의영상 특징값을 산출한다.

상기와 같은 질의영상에 대한 질의영상 특징값의 검출이 완료되면, 프로세서(130)는 단계(210)로 진행하고, 단계(210)는 상기 기준영상 특징값과 질의영상 특징값의 유사도(S)를 측정한다.

상기 유사도(S)는 질의영상 스케치 입력부(120)를 통해 입력된 질의영상 스케치로부터 산출된 질의영상 특징값은 질의영상 스케치가 완벽하지 않으므로 다수개의 기준영상 특징값보다 데이터 량이 적으며, 그로 인해 질의영상 특징값에 가중치를 주어 측정한다.

상기 유사도(S) 측정은 다음 식 3을 만족한다.

-.....3)

.....4)

여기서,는 질의영상의 i 번째에 해당하는 빈의 특징값이고,는 기준영상의 i 번째에 해당하는 빈의 특징값이다. 그리고, n 은 히스토그램 빈의 전체 개수이고,는 일치하지 않는 경우에 유사도를 감소시키는 제거함수이며,는 제거함수에 대한 가중치이다.

이고,인 경우 상기 가중치() 는 1이고,이고,이면, 상기 가중치() 는 0.2이며, 그 외의 경우 상기 가중치() 는 0이다.

예를 들어 설명하면, 질의영상과 기준영상에 모두 해당 빈의 특징값을 가지고 있는 경우, 일반적인 히스토그램 교차법에 의해 다음 식과 같이 유사도(S)를 증가시킨다.

.

또한, 질의영상과 기준영상의 해당 빈의 특징값이 모두 가지고 있지 않은 경우에 영향을 주지 않는다.

그리고, 질의영상은 해당 빈의 특징값을 가지고 있으나, 기준영상이 빈의 특징값을 가지고 있지 않은 경우, 높은 가중치를 두어 다음 식과 같이 유사도(S)를 감소시킨다.

.

한편, 질의영상은 해당 빈의 특징값은 가지고 있지 않으나 기준영상은 해당 빈의 특징값을 가지고 있는 경우, 사용자가 질의 스케치를 완벽하게 그려낼 수 없다는 점을 고려하여 낮은 가중치(여기서는 0.2)를 두어 다음 식과 같이 유사도(S)를 감소시킨다.

.

상기와 같은 유사도(S)의 연산이 완료되면, 프로세서(130)는 단계(211)로 진행하고, 단계(211)는 연산된 유사도(S)가 임계치(A)를 넘는지를 검사하고, 유사도가 임계치를 넘지 않는다고 판단되면, 프로세서(130)는 단계(212)로 진행하고, 단계(212)는 다음 순번의 기준영상 특징값을 출력한 후 단계(210)로 진행한다.

한편, 유사도가 임계치를 넘는다고 판단되면, 프로세서(130)는 단계(213)로 진행하고, 단계(211)는 유사도가 연산된 기준영상을 출력하고, 본 프로그램을 종료한다.

본 스케치 특징을 이용한 내용기반 영상 검색방법에서 각 영상들은 앞에서 소개된 특징 추출 방법을 사용하여 히스토그램으로 표현되고 이러한 정보는 데이터베이스에 저장된다.

이상, 본 발명에 의하면, 작은 선분 및 곡선 조각을 이용하여 두드러지는 직선과 곡선을 추출하여 길이, 각도, 위치정보를 이용하여 영상간의 유사도를 측정하는 특징 기반 영상 검색에 있어, 실제의 영상에 포함된 사물에 대한 형태 정보에 대한 경계선을 유지하며, 강도는 미약하나 길이가 긴 경계선을 손실 없이 찾아낼수 있고, 질의영상과 기준영상간의 유사도 비교시 가중치를 주어 유사도를 계산함으로써 검색 성능을 높일 수 있다. 또한, 기존의 단순한 색상이나 질감의 분포에 따른 영상 검색이 아닌 실제 영상에 포함한 사물에 대한 형태 정보를 이용하므로, 형태 정보에 따른 영상 검색을 가능하게 해주는 효과를 얻을 수 있다.

또한, 본 발명을 상기한 실시 예를 들어 구체적으로 설명하였지만, 본 발명은 이에 제한되는 것이 아니고, 당업자의 통상의 지식의 범위 내에서 그 변형이나 개량이 가능하다.

Claims (4)

1. a) 다수의 기준영상이 제공되었는지를 검사하는 입력단계;

   b) 상기 입력단계에서 다수의 기준영상이 제공되었다고 판단되면, 제공된 다수의 기준영상중 하나의 기준영상에 대해 비등방성 확산 기법을 이용하여 경계를 보존하고 평활화시키는 평할화 단계;

   c) 상기 평활화 단계에서 평할화된 기준영상의 점들의 집합을 선분으로 연결하는 경계선 추출단계;

   d) 상기 경계선 추출단계에서 설정치를 넘지 못하는 경계선의 선분을 제거하기 위한 경계선 추적단계;

   e) 경계선 추적단계에서 구한 최소 선분을 직선으로 판단하고, 이 선분 조각의 각도 및 중심을 구하여 기준영상의 스케치 특징을 출력하고, 기준영상 특징값을 상기 데이터베이스에 저장하며, 상기 다수의 기준영상 중 마지막 기준영상인지를 판단하여 마지막 기준영상이 아니라고 판단되면 기준영상 특징값이 출력되지 않은 다른 기준영상을 출력한 후 b)단계로 진행하는 기준영상 특징값 추출단계;

   f) 사용자로부터 영상 데이터베이스 검색이 요구되면, 검색하고자 하는 질의영상의 특징인 스케치 특징값을 추출하는 질의영상 특징값 추출단계; 및

   g) 상기 질의영상 특징값과 데이터베이스화되어 저장된 다수의 기준영상에 대한 각각의 기준영상 특징값을 비교하여 질의영상과 기준영상의 유사도를 측정하고, 이 유사도가 임계치를 넘지 않는 기준영상을 출력하는 검색단계로 이루어지는것을 특징으로 하는 스케치 특징을 이용한 내용기반 영상 검색방법.
2. 제1항에 있어서, 상기 유사도(S) 측정은

   질의영상의 i 번째 해당하는 빈의 특징값, 기준영상의 i 번째 해당하는 빈의 특징값, 히스토그램 빈의 전체 개수 n , 불일치하는 경우에 유사도를 감소시키는 제거함수, 및 제거함수에 대한 가중치를 하기의 식으로 내적하여 기준영상 특징값과 질의영상 특징값의 유사도를 산출하는 것을 특징으로 하는 스케치 특징을 이용한 내용기반 영상 검색 방법.

   -
3. 제1항에 있어서, 상기 경계선 추출단계는 하나의 영상을 가로 방향으로 m, 세로 방향으로 n개 총 L개의 영역으로 분할하고, 이 중 각 선분 조각을 구성하는 모든 점의 평균 위치가 속하는 영역을 수치화한 값인 다수개의 위치 히스토그램과 180도를 일정한 간격으로 양자화한 값인 다수개의 각도 히스토그램으로 이루어져 하나의 기준영상 대해 L단계의 위치정보와 D단계의 각도정보를 포함하는 총 L x D개의 특징값을 특징으로 하는 스케치 특징을 이용한 내용기반 영상 검색 방법.
4. 제1항에 있어서, 상기 질의영상 특징값 추출단계는 도구및 인터페이스로부터간단한 사각형, 원, 삼각형, 및 직선의 스케치 조합으로 이루어진 질의영상이 입력되도록 이루어지는 것을 특징으로 하는 스케치 특징을 이용한 내용기반 영상 검색 방법.