KR100305590B1 - 방향윤곽선지도를이용한영상검색방법 - Google Patents

Abstract

본 발명은 방향 윤곽선 지도를 이용한 영상 검색 방법에 관한 것으로, 디지털화되어 있는 정지영상 및 동영상을 읽어들이는 영상 입력 과정과, 입력된 영상의 수평 및 수직 방향 윤곽선을 구하고, 이를 이용하여 방향 성분을 포함하는 윤곽선 정보인 방향 윤곽선 지도를 작성하는 특징 추출 과정과, 작성된 방향 윤곽선 지도를 저장하기 위한 저장 과정과, 방향 윤곽선 지도간의 차분을 구하여 유사성을 평가한 후 원하는 데이터를 검색하는 검색 과정을 통하여 이루어지며, 영상 내에 포함된 물체에 대한 근사적인 표현이 포함되므로써, 보다 의도에 가까운 영상 검색이 가능하여 영상 데이터베이스 검색의 질을 향상시킬 수 있는 방향 윤곽선 지도를 이용한 영상 검색 방법이 개시된다.

Description

방향 윤곽선 지도를 이용한 영상 검색 방법{An image retrieval method by using directional edge map}

본 발명은 방향 윤곽선 지도를 이용한 영상 검색 방법에 관한 것으로, 특히 영상으로부터 추출된 방향 윤곽선 지도 특징을 이용하여 정지영상이나 동영상 등의멀티미디어 데이터를 검색하는 방향 윤곽선 지도를 이용한 영상 검색 방법에 관한 것이다.

일반적으로, 정지영상이나 동영상과 같은 멀티미디어 데이터는 그 자체가 복합적인 성격을 갖고 있다. 즉, 한 장의 사진을 보고, 그 사진을 표현할 수 있는 한마디의 어휘를 찾아낸다는 것은 일반적으로 불가능하다. 그러나 지금까지의 영상 데이터 검색방법은 이와 같이 사진을 나타낼 수 있는 한 단어, 혹은 몇 단어의 주석을 달아두고, 나중에 검색을 할 경우에는 기존의 텍스트 검색과 마찬가지 방법으로 주석정보를 키로 검색을 하는 방법이 사용되어 왔다. 그러나 이 방식은 영상 한장 한장 마다 주석을 달아야 하기 때문에 그 작업량이 너무 과도하고, 주석을 다는 사람의 주관성이 개입되기 때문에 주석을 다는 사람과 나중에 그 정보를 이용하여 검색을 하는 사람의 관점이 일치하지 않을 경우 검색에 실패하게 되는 등의 문제를 가지게 된다. 이러한 단점을 보완하기 위하여 영상자체의 내용으로부터 각종 특징을 추출하고, 그러한 특징을 이용하여 영상을 검색하는 방법이 개발되어 왔다.

그러나 이러한 방법이 영상이 가지는 풍부한 복합적인 의미를 포괄할 수 없다는 문제점으로 인하여 영상의 내용 자체를 키로 검색을 하는 방법에 대한 모색이 이루어져 왔다. 지금까지 주로 이용되어 온 방법으로는 영상의 칼라 특징량을 이용하는 방법, 텍스쳐(Texture) 정보를 이용하는 방법, 영상 내의 물체를 세그먼테이션(Segmentation)하는 방법 등 다양한 시도가 이루어져 왔으며, 나름대로 제한적인 효과를 거두어 왔다고 볼 수 있다. 그러나 이와 같은 영상특징에 의한 검색방법은 현재의 기술수준으로는 사람이 인식하는 바를 충분히 대변해 주지 못하기 때문에상술한 기존의 특징량 이외에도 다양한 특징량을 사용자에게 제시함으로써 사용자가 원하는 영상을 쉽게 검색할 수 있도록 할 필요가 있다.

특히, 칼라 특징량을 이용하는 방법의 경우, 전체적인 영상의 분위기는 비교적 잘 반영하는 데 반하여 영상 내에 포함되어 있는 물체의 특징은 전혀 반영되지 않는다는 단점이 있고, 텍스쳐 정보의 경우, 예를 들어, 같은 풀밭이라 할 지라도 조도나 해상도 등에 따라 상당한 다양성을 보이게 마련이나 그러한 다양성을 포괄할 수 있는 인식방법은 아직 개발되어 있지 못해 이 정보를 이용한 검색방법도 역시 한계를 가지게 된다.

반면, 영상내의 물체를 세그면테이션(Segmentation)하는 방법은 정상적으로 물체의 세그먼테이션이 가능한 대상영상이 극히 제한된다는 문제점을 가지고 있어, 일반적인 정지영상이나 동영상의 데이터베이스 구축에는 이용이 곤란하다는 한계를 가지고 있다.

따라서, 본 발명은 영상 내에 포함되어 있는 물체정보를 근사적으로 표현하므로써 사용자가 멀티미디어 데이터를 검색할 때 보다 편리하게 원하는 데이터를 검색할 수 있어, 검색의 속도 및 효율성을 향상시킬 수 있는 방향 윤곽선 지도를 이용한 영상 검색 방법을 제공하는 데 그 목적이 있다.

상술한 목적을 달성하기 위한 본 발명에 따른 방향 윤곽선 지도를 이용한 영상 검색 방법은 디지털화되어 있는 정지영상 및 동영상을 읽어들이는 영상 입력 과정과, 입력된 영상의 수평 및 수직 방향 윤곽선을 구하고, 이를 이용하여 방향 성분을 포함하는 윤곽선 정보인 방향 윤곽선 지도를 작성하는 특징 추출 과정과, 작성된 방향 윤곽선 지도를 저장하기 위한 저장 과정과, 방향 윤곽선 지도간의 차분을 구하여 유사성을 평가한 후 원하는 데이터를 검색하는 검색 과정을 포함하여 이루어지는 것을 특징으로 한다.

또한, 본 발명은 디지털화되어 있는 정지영상 및 동영상을 읽어들이는 영상 입력 과정과, 입력된 영상의 수평 및 수직 방향 윤곽선을 구하고, 이를 이용하여 방향 성분을 포함하는 윤곽선 정보인 방향 윤곽선 지도를 작성하는 특징 추출 과정과, 작성된 방향 윤곽선 지도를 저장하기 위한 저장 과정과, 방향 윤곽선 지도간의 차분을 구하여 유사성을 평가한 후 원하는 데이터를 검색하는 검색 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체인 것을 특징으로 한다.

도 1은 본 발명에 따른 방향 윤곽선 지도를 이용한 영상 검색 방법을 설명하기 위한 도면.

도 2는 특징 추출 수단의 동작을 설명하기 위한 도면.

도 3은 3 ×3 마스크의 예를 나타내는 도면.

도 4는 방향 윤곽선 지도 생성 방법을 설명하기 위한 흐름도.

<도면의 주요 부분에 대한 부호 설명>

11 : 영상 입력 수단 12 : 특징 추출 수단

13 : 저장수단 14 : 검색수단

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명에 따른 방향 윤곽선 지도를 이용한 영상 검색 방법을 설명하기 위한 도면이고, 도 2는 특징 추출 수단의 동작을 설명하기 위한 도면이다.

도 3은 3 ×3 마스크의 예를 나타내는 도면이고, 도 4는 방향 윤곽선 지도 생성 방법을 설명하기 위한 흐름도이다.

먼저, 영상 입력수단(11)은 컴퓨터 시스템 상에 파일 형태로 존재하는 정지영상 및 동영상 파일을 메모리 상에 비트맵(Bitmap)의 형태로 읽어 들인다. 비트맴 형태의 영상은 특징 추출수단(12)으로 입력되어 일련의 특징 추출과정을 거치게 된다.

특징 추출수단(12)의 동작은 도 2에 보인 바와 같이 3단계로 이루어진다.

첫 번째 단계에서, 메모리에 저장되어 있는 비트맵 상의 모든 화소(P0)에 대하여 도 3에 도시한 마스크를 적용하여 다음 [수학식 1]에 의하여 가로 및 세로 방향의 화소값의 차분을 구한다(201).

두 번째 단계에서는 첫 번째 단계에서 구해진 h 및 v 값을 이용하여, 화소(P0)의 윤곽선 세기(I) 및 방향(θ)을 다음의 [수학식 2]에 의하여 구한다(202).

여기서, 추출된 방향(θ)은 -90도에서 90도의 값을 가지게 되나, 데이터의 양을 줄이기 위하여 이 각도를 나누어 15개의 방향으로 표현한다. 이때, 15라는 숫자는 4비트로 표현 가능한 16가지의 방향 중 윤곽으로서의 성격이 뚜렷하지 않은 경우를 표시하기 위한 숫자(일반적으로 0으로 표현)를 제외한 것으로, 이렇게 함으로써 본 발명의 방향 윤곽선 지도는 4비트로 격자 내의 윤곽의 세기와 방향성을 동시에 표현할 수 있다.

세 번째 단계에서는 격자의 대표값을 설정한다(203). 이상의 방법에 의한 윤곽화소의 추출 후, 각 화소는 윤곽으로서의 강도 정보와 방향을 나타내는 방향성 정보를 가지게 된다. 이를 기본 데이터로 하여 본 발명의 특징추출수단은 영상전체를 일정한 크기의 격자로 나누어 각 격자 안에 포함되는 화소들이 가지는 상기의 특성을 분석하여 격자의 대표값을 설정한다. 이렇게 격자별로 대표값을 설정한 테이블을 방향 윤곽선 지도라고 한다. 이러한 방향 윤곽선 지도의 생성 방법을 도 4를 참조하여 설명하면 다음과 같다.

먼저, 화소 수에 대한 카운트 및 히스토그램을 초기화하고(Count:=0, Hist[i]:0)(401), 윤곽 화소의 세기 정보(I(p))가 일정 값(Th_i)보다 큰 지를 검사한다(402). 검사결과 윤곽 화소의 세기 정보가 일정 값보다 큰 경우에는 카운트를 증가시키고(Count:=Count+1), 각 격자 내의 화소가 갖는 방향값의 히스토그램을 1만큼 증가시킨다(Hist[θ(p)]:=Hist[θ(p)]+1)(403). 이때, 윤곽화소의 세기정보가 일정한 값보다 작은 경우에는 카운트 및 히스토그램을 증가시키지 않는다. 이는 윤곽화소의 세기가 약할 경우, 윤곽으로서의 특성이 거의 없으므로 방향성도 의미를 가지지 않는다는 판단에 따른 것이다. 이러한 과정을 격자 내의 모든 화소에 대하여 반복한다(404). 이후, 히스토그램에 포함된 화소수(Count)가 임계치(Tn)보다 적은지 검사하여(405), 적을 경우에는 그 격자의 윤곽으로서의 특성이 뚜렷하지 않은것으로 간주하여 격자의 대표값을 0으로 설정한다(406). 대표값이 0으로 설정된 격자는 검색시 비교대상에서 제외된다. 이와 같이 윤곽선의 성격이 뚜렷하지 않은 부분에 대해서는 테이블의 방향 정보를 리셋하므로써 윤곽선의 강도와 방향 정보를 동시에 표현할 수 있다. 반면, 히스토그램에 포함된 화소수(Count)가 임계치(Tn)보다 크거나 같을 경우에는 히스토그램 중 가장 큰 값, 즉 가장 많은 화소가 가지는 방향을 그 격자의 대표값으로 설정한다(407).

이와 같이 격자별로 대표값을 설정한 테이블을 방향 윤곽선 지도라 하며, 이 방향 윤곽선 지도를 저장수단에 의하여 기록해 둠으로써 후에 검색을 수행할 때 영상을 대표하는 특징량으로 활용이 가능해진다. 이때, 저장수단은 시스템의 구성에 따라 데이터베이스에 저장하거나, 독자적인 파일에 저장하는 등의 형태를 가질 수 있다.

이와 같이 각 영상별로 저장된 방향 윤곽선 지도는 후에 영상검색을 이용할 경우, 도 1에 나타낸 검색수단을 이용하여 유사한 영상을 검색하는 데 활용할 수 있다.

검색 과정은 2단계로 구성되어 있다. 1차 검색은 방향 윤곽선 지도 중 방향값이 0으로 설정되어 있는 격자의 수를 이용하여 검색을 수행한다. 대체적으로 콘트라스트(Contrast)가 뚜렷한 영상의 경우 윤곽선의 세기가 강하고, 그렇지 않은 경우에는 윤곽선의 세기가 약해지는 경향을 가진다. 따라서 방향값이 0으로 설정되어 있는 격자의 수를 이용하면, 이와 같은 영상의 전체적인 성격에 의한 비교가 가능하다. 이러한 1차 검색은 단순한 숫자의 비교로 끝나기 때문에 고속으로 수행 가능하다는 장점을 가진다.

1차 검색에 통과한 영상에 대해서는 다음과 같이 2차 검색을 수행한다.

저장되어 있는 방향 윤곽선 지도(Mr)와 질의 방향 윤곽선 지도(Mq)를 비교하는 내의 모든 격자에 대하여, 방향값의 차이(d)를 다음의 [수학식 3]과 같이 구한다.

d = |Mr - Mq|

if (d>=8) d = 14 - 8

위와 같이 계산된 방향값의 차이(d)를 모든 격자에 대하여 계산하여 더한다. 다만 이때, 방향 윤곽선 지도(Mr)나 질의 방향 윤곽선 지도(Mq) 중 한쪽이라도 방향이 0로 되어 있는 경우 계산 대상에서 제외한다.

최종적으로는 d값의 합 D를 계산된 격자의 수 N으로 나눈 값을 Mr과 Mq 사이의 차이값으로 보고, 이 값이 작을 경우 유사한 영상으로 판정한다.

이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 한정되는 것이 아니다.

상술한 바와 같이, 본 발명에 따르면 정지영상 및 동영상으로부터 윤곽선과 관련된 정보를 추출하므로써 영상 내에 포함된 물체에 대한 근사적인 표현이 가능하며, 이와 같은 특징량을 이용하여 영상 검색을 수행하므로써 보다 의도에 가까운 영상의 검색이 가능하며 영상 데이터베이스 검색의 질을 향상시킬 수 있는 효과가 있다.

Claims (5)

1. 디지털화되어 있는 정지영상 및 동영상을 읽어들이는 영상 입력 과정과,

   상기 입력된 영상의 수평 및 수직 방향 윤곽선을 구하고, 이를 이용하여 방향 성분을 포함하는 윤곽선 정보인 방향 윤곽선 지도를 작성하는 특징 추출 과정과,

   상기 작성된 방향 윤곽선 지도를 저장하기 위한 저장 과정과,

   상기 방향 윤곽선 지도간의 차분을 구하여 유사성을 평가한 후 원하는 데이터를 검색하는 검색 과정을 포함하여 이루어지는 것을 특징으로 하는 방향 윤곽선 지도를 이용한 영상 검색 방법.
2. 제 1 항에 있어서,

   상기 특징 추출 과정은 메모리에 저장되어 있는 비트맵 상의 모든 화소에 대하여 마스크 처리를 수행하여 가로 및 세로 방향의 화소값의 차분을 구하는 단계와,

   상기 가로 및 세로 방향의 화소값의 차분을 이용하여 화소의 윤곽선 세기 및 방향을 구하는 단계와,

   상기 화소의 윤곽선 세기 및 방향 정보를 기본 데이터로 하여 영상 전체를 일정한 크기의 격자로 나누어, 각 격자 안에 포함되는 화소들이 갖는 특성을 분석하여 격자의 대표값을 설정하여 방향 윤곽선 지도를 작성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 방향 윤곽선 지도를 이용한 영상 검색 방법.
3. 제 2 항에 있어서,

   상기 방향 윤곽선 지도는 화소 수에 대한 카운트 및 히스토그램을 초기화하는 단계와,

   윤곽 화소의 세기 정보가 일정 값보다 큰 지를 검사하여 윤곽 화소의 세기 정보가 일정 값보다 큰 경우에는 카운트를 증가시키고 각 격자 내의 화소가 갖는 방향값의 히스토그램을 구하며, 윤곽 화소의 세기 정보가 일정한 값보다 작은 경우에는 카운트 및 히스토그램을 증가시키지 않는 단계와,

   상기 히스토그램에 포함된 화소수가 임계치보다 적은 지를 검사하여 적을 경우에는 테이블의 방향 정보를 리셋하고, 히스토그램에 포함된 화소수가 임계치보다 크거나 같을 경우에는 히스토그램 중 가장 큰 값을 격자의 대표값으로 설정하는 단계에 의해 작성되는 것을 특징으로 하는 방향 윤곽선 지도를 이용한 영상 검색 방법.
4. 제 1 항에 있어서,

   상기 검색 과정은 방향 윤곽선 지도 중 방향 정보가 리셋되어 있는 격자의수를 이용한 검색을 수행하여 영상의 전체적인 성격에 의한 비교를 수행하는 단계와,

   저장되어 있는 방향 윤곽선 지도와 질의 방향 윤곽선 지도를 비교하는 모든 격자에 대하여 방향값의 차이를 구하고, 상기 방향값의 차이를 모든 격자에 대하여 더하며, 상기 방향값 차이의 합을 격자의 수로 나누어 이 값을 방향 윤곽선 지도와 질의 방향 윤곽선 지도 사이의 차이값으로 정의하여, 이 값이 작을 경우 유사한 영상으로 판정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 방향 윤곽선 지도를 이용한 영상 검색 방법.
5. 디지털화되어 있는 정지영상 및 동영상을 읽어들이는 영상 입력 과정과,

   상기 입력된 영상의 수평 및 수직 방향 윤곽선을 구하고, 이를 이용하여 방향 성분을 포함하는 윤곽선 정보인 방향 윤곽선 지도를 작성하는 특징 추출 과정과,

   상기 작성된 방향 윤곽선 지도를 저장하기 위한 저장 과정과,

   상기 방향 윤곽선 지도간의 차분을 구하여 유사성을 평가한 후 원하는 데이터를 검색하는 검색 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.