KR100616229B1 - 텍스쳐 영상 검색 장치 및 그 방법 - Google Patents

텍스쳐 영상 검색 장치 및 그 방법 Download PDF

Info

Publication number
KR100616229B1
KR100616229B1 KR1019990039921A KR19990039921A KR100616229B1 KR 100616229 B1 KR100616229 B1 KR 100616229B1 KR 1019990039921 A KR1019990039921 A KR 1019990039921A KR 19990039921 A KR19990039921 A KR 19990039921A KR 100616229 B1 KR100616229 B1 KR 100616229B1
Authority
KR
South Korea
Prior art keywords
texture
image
feature
extracting
transform coefficients
Prior art date
Application number
KR1019990039921A
Other languages
English (en)
Other versions
KR20010027936A (ko
Inventor
심동규
김종득
김해광
Original Assignee
주식회사 팬택앤큐리텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택앤큐리텔 filed Critical 주식회사 팬택앤큐리텔
Priority to KR1019990039921A priority Critical patent/KR100616229B1/ko
Publication of KR20010027936A publication Critical patent/KR20010027936A/ko
Application granted granted Critical
Publication of KR100616229B1 publication Critical patent/KR100616229B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 텍스쳐 영상의 이동, 변형, 회전 및 크기에 관계없이 신속하게 텍스쳐 영상의 검색이 가능토록 한 텍스쳐 영상 검색 장치 및 그 방법에 관한 것으로서, 이러한 본 발명은, 질의 영상이 입력되면 그 질의 영상의 변환 계수를 추출하고, 추출한 변환 계수를 주파수 별로 재배열한다. 재배열한 변환 계수를 정규화하여 에너지를 얻게되며, 얻어진 에너지를 주파수별로 조합하여 텍스쳐 특징을 추출하며, 추출한 텍스쳐 특징과 기 데이터 베이스화된 텍스쳐 특징을 비교하여 텍스쳐를 검색함으로써, 텍스쳐의 이동, 변형, 회전 및 크기에 관계없이 신속하게 텍스쳐 영상을 검색하게 된다.
텍스쳐, 재배열, DCT, 변환계수, 영상

Description

텍스쳐 영상 검색 장치 및 그 방법{Method and Apparatus for retrieving of texture image}
도 1은 본 발명에 의한 텍스쳐 영상 검색 장치를 보인 블록도이고,
도 2는 도 1의 특징 추출부의 일 실시예를 보인 블록도이며,
도 3은 본 발명에서 128*128영상을 소정 블럭으로 분할하고 그 분할 블럭을 DCT한 영상 블록을 나타낸 도면이고,
도 4는 본 발명에서 분할된 블럭의 DCT 계수를 재배치하는 과정을 설명하기 위한 도면이고,
도 5는 본 발명에서 재배치된 DCT 계수에서 텍스쳐 영상의 기술자 요소를 보인 도면이고,
도 6은 본 발명에 의한 텍스쳐 영상 검색방법을 보인 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
10 : 변환계수 추출부
20 : 허프만 복호화 및 역 양자화부
30 : 특징 추출부
31 : 변환계수 재배치부
32 : 에너지 정규화부
33 : 기술자 계산부
40 : 텍스쳐 검색부
50 : 데이터 베이스
본 발명은 텍스쳐(Texture) 영상 검색에 관한 것으로, 특히 텍스쳐 영상의 이동, 변형, 회전 및 크기에 관계없이 신속하게 텍스쳐 영상의 검색이 가능토록 한 텍스쳐 영상 검색 장치 및 그 방법에 관한 것이다.
좀 더 상세하게는, 질의 영상의 변환 계수를 주파수 별로 재배치하여 텍스쳐 영상의 특징을 추출하고, 그 추출한 텍스쳐 특징으로 텍스쳐 영상을 검색함으로써, 텍스쳐 영상의 이동, 변형, 회전 및 크기에 관계없이 신속하게 텍스쳐 영상의 검색이 가능토록 한 텍스쳐 영상 검색장치 및 그 방법에 관한 것이다.
상기에서, 텍스쳐(Texture)란 물체의 질감을 나타내는 특성이다. 예를 들어, 여러 개의 나무의 표면은 서로 다른 나무이지만 인간은 이것을 모두 나무 껍질로 판단하며, 그 이유는 같은 질감을 갖고 있기 때문이다.
현재까지의 데이터 검색은 주로 문자 자체를 검색하는 문자기반 검색(text-based search)이었다. 그러나 근래에 들어서 멀티미디어 기술의 발전으 로 방대한 양의 멀티미디어 데이터가 생성됨에 따라 문자는 물론 영화, 합성영상, 정지영상, 동영상, 음성 그리고 음악과 같은 멀티미디어 데이터 베이스 검색이 요구되고 있다.
또한 사용자가 보다 개념적인 단어로 관계된 데이터의 검색을 요구하는 경향이 커지고 있다. 이러한 이유로 멀티미디어 데이터의 검색은 점차 중요한 과학기술 분야로 커질 것이며, 이것은 인터넷이나 방송과 같은 멀티미디어 매체의 엄청난 정보의 바다에서 원하는 데이터를 신속하게 찾게 해 줄 것으로 기대된다.
멀티미디어 데이터는 기존의 문자만으로 구성된 데이터와는 달리 데이터 자체가 방대하며, 또한 각각의 데이터 값 자체가 의미를 갖기 보다는 여러 개의 데이터가 모여 추상적인 형태의 정보를 이룬다. 이러한 내용에 기반을 둔 정보는 아직까지 컴퓨터로 완벽하게 표현한다거나 검색하는 것은 불가능하며, 현재 이 분야에 대한 많은 연구가 진행되고 있다.
이러한 멀티미디어 내용 기반 검색을 위해서는 멀티미디어 데이터에서 인간의 지각과 관계한 특징의 추출이 필요하다. 또한 데이터의 방대성으로 인하여 특징을 사전에 추출하여 데이터 베이스화하여야 할 필요가 있다. 이렇게 저장된 특징과 입력되는 질의 멀티미디어 데이터의 특징을 비교함으로써 사용자가 원하는 정보를 검색할 수 있다. 이러한 멀티미디어 데이터의 효과적인 검색을 위해서 멀티미디어 데이터의 어떠한 성질을 사용할지, 그 특징을 어떠한 방법으로 표현할지, 그 특징을 어떻게 추출할지, 그리고 그것들을 어떻게 비교할지가 중요하게 고려되어야 한다. 여기서 데이터의 특징을 표현하는 구체적인 방법을 기술자라고 한다.
이러한 멀티미디어 데이터는 영상과 음성이 가장 큰 부분으로 고려될 수 있다. 여기서 영상의 경우 특징으로 영상의 색상, 모양, 질감, 움직임 등의 특징을 추출하고 유사도를 추출하여 검색하게 된다. 예를 들어 색상을 표현하는 기술자로 컬러 히스토그램(color histogram)이 등이 주로 사용되고 있으며, 모양의 경우에는 경계를 방향코드로 표현하여 검색하거나 여러 가지 변화 등을 사용하여 모양의 약간의 변형이나 이동, 회전, 스케일에 관계없이 표현하고 검색이 가능하다. 움직임의 경우에는 동영상에서 움직임의 히스토그램과 같은 방법으로 유사한 영상 샘플 시퀀스를 찾아 주는 것을 할 수 있다.
텍스쳐의 검색은 사람이 다른 나무의 무늬를 보고 같은 나무 무늬로 생각하는 것과 같이 비슷한 질감을 갖는 영상을 찾아내는 것이다. 기존의 검색 기법은 영상의 통계적 특정을 이용하는 방법이 주로 이용되어 왔다. 한 화소의 밝기 값은 주변 값에 의하여 결정된다는 MRF(Markov Random Field)나 주변 화소들 사이의 관계를 이용하는 coocurrence 행렬 등이 많이 이용되어 왔다. 이러한 방법이 수학적으로 효과적이나 실제적으로는 계산량이 과다하다는 단점을 가지고 있다. MRF의 경우 MRF로 모델링한 후 통계 파라메터를 구하기 위하여 통계적 반복기법을 사용하게 된다. 이러한 방법은 최적 해를 구하는 것 자체가 보장되지 않으며 많은 계산량을 필요로 한다. Coocurrence 행렬에 의한 방법은 여러 방향에 대한 또한 각 거리에 대한 변화량을 계산하는 것으로 대단히 많은 메모리를 필요로 하게 된다.
이론적으로 모든 영상은 텍스쳐로 구성되어 있다고 볼 수 있어 텍스쳐의 검색은 매우 중요한 문제이다. 이러한 텍스쳐는 구조적 텍스쳐와 통계적 텍스쳐로 나 눌 수 있으며 구조적 텍스쳐는 기본 형태가 반복되는 모양을 나타낸다. 예를 들어, 규칙적으로 쌓아져 있는 벽돌과 같은 영상이다. 그리고 통계적 텍스쳐는 어떤 반복적 특성은 아니지만 사람이 말하는 질감이 비슷한 것을 말한다. 이러한 두 가지 분류 이외에 텍스쳐를 세 가지 형태로 분류하기도 하는데, 하모닉 (harmonic) 요소를 가진 텍스쳐, 방향성만을 가진 텍스쳐(strong evanescent), 그리고 통계적으로 결정되지 않는(inderministic) 성질을 가진 텍스쳐로 구분하기도 한다. 이러한 텍스쳐를 인간이 인식하는 특성을 인지 과학에서는 세 가지 특징, 즉 주기성 (Periodicity), 방향성(directionality) 그리고 복잡성(randomness)이라고 한다. 다시 말해, 이러한 세 가지 특징을 텍스쳐에서 추출할 수 있어야 할 것이다. 여기서 주기성이란 텍스쳐가 어떤 기본 형태가 반복되는 것을 말하며, 방향성이란 텍스쳐가 어떤 방향을 가지고 있느냐를 말한다. 그리고 복잡성이란 통계적으로 결정되지 않은 잡음과 같은 특성을 크게 갖는 텍스쳐를 표현하는 성질이다. 이러한 특징을 효과적으로 추출할 수 있다면 텍스쳐를 정확하게 검색할 수 있을 것이다.
결론적으로, 텍스쳐에 의한 영상 검색은 신속하면서도 인간의 시각적 특성을 고려하여 이동, 변형, 회전, 스케일에 관계없는 영상을 찾아줄 수 있어야 한다.
최근에는 텍스쳐 영상의 검색 기법으로서, 주파수 영역을 특징으로 이용하는 방법이 많이 이용되고 있다. 여기서 필터로 Gabor나 Wavelet필터 등이 사용된다. Gabor 필터와 같은 경우 주파수 영역을 가장 효과적으로 나눌 수 있어 많이 이용되고 있으며, Wavelet 필터는 주파수 영역을 인간의 시각적 특성이 고려된 형태로 나 타낸다.
그러나 이러한 방법들도 모두 많은 시간을 필요로 한다. 이렇게 계산량이 많은 방법은 실제로 대용량 멀티미디어 데이터 검색에는 적합하지 않다. 예를 들어 데이터 베이스를 구성하는데서 너무 많은 시간과 비용을 요구할 것이며, 실제 사용자가 검색에 소요되는 시간이 길어지면 이것의 사용을 기피할 것이다.
따라서 본 발명은 상기와 같은 기존의 텍스쳐 영상 검색시 발생하는 많은 계산량등의 제반 문제점을 해결하기 위해서 제안된 것으로서,
본 발명의 목적은, 텍스쳐 영상의 이동, 변형, 회전 및 크기에 관계없이 신속하게 텍스쳐 영상의 검색이 가능토록 한 텍스쳐 영상 검색 장치 및 그 방법을 제공하는 데 있다.
좀 더 상세하게는, 질의 영상의 변환 계수를 주파수 별로 재배치하여 텍스쳐 영상의 특징을 추출하고, 그 추출한 텍스쳐 특징으로 텍스쳐 영상을 검색함으로써, 텍스쳐 영상의 이동, 변형, 회전 및 크기에 관계없이 신속하게 텍스쳐 영상의 검색이 가능토록 한 텍스쳐 영상 검색장치 및 그 방법을 제공하는 데 있다.
이러한 목적을 달성하기 위한 본 발명의 방법은, 텍스쳐 영상을 검색하는 방법에 있어서, 질의 영상을 입력받으면 이 질의 영상의 변환 계수를 추출하는 변환계수추출단계; 상기 추출한 변환 계수를 재배열하는 변환계수재배열단계; 상기 재배열한 변환 계수로부터 그 텍스쳐 특징을 추출하는 텍스쳐특징추출단계; 및 상기 추출한 텍스쳐 특징과 기 데이터베이스화된 텍스쳐 특징을 비교하여 해당되는 영상을 검색하는 텍스쳐특징비교단계를 포함한다.
삭제
삭제
삭제
삭제
삭제
상기 목적을 달성하기 위한 본 발명의 장치는, 텍스쳐 영상을 검색하는 장치에 있어서, 외부로부터 입력받은 압축되지 않은 질의 영상의 변환 계수를 추출하는 변환계수 추출수단; 상기 변환계수 추출수단에서 추출한 변환 계수를 재배열하고서, 이 재배열한 변환 계수로부터 그 텍스쳐 특징을 추출하는 특징 추출수단; 및 상기 특징 추출수단에서 추출한 텍스쳐 특징과 기 데이터베이스화된 텍스쳐 특징을 비교하여 해당되는 영상을 검색하는 텍스쳐 검색수단을 포함한다.
삭제
삭제
삭제
삭제
상기 목적을 달성하기 위한 본 발명의 다른 장치는, 텍스쳐 영상을 검색하는 장치에 있어서, 외부로부터 입력받은 압축된 질의 영상을 복호화하고서, 이 복호화한 영상을 역양자화하여 변환 계수를 추출하는 허프만 복호화 및 역 양자화수단; 상기 허프만 복호화 및 역 양자화수단에서 추출한 변환 계수를 재배열하고서, 이 재배열한 변환 계수로부터 그 텍스쳐 특징을 추출하는 특징 추출수단; 및 상기 특징 추출수단에서 추출한 텍스쳐 특징과 기 데이터베이스화된 텍스쳐 특징을 비교하여 해당되는 영상을 검색하는 텍스쳐 검색수단을 포함한다.
삭제
삭제
삭제
삭제
이하 상기와 같은 기술적 사상에 따른 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.
본 발명은 압축된 영상의 변환 계수를 추출하고, 그 변환 계수를 주파수별로 재배열한 후 그 재배열한 변환 계수로부터 텍스쳐 영상 검색을 위한 기술자인 텍스쳐 특징을 추출한다. 그리고 이러한 텍스쳐 특징을 이용하여 텍스쳐 영상을 검출한다.
즉, JPEG의 경우 압축된 질의 영상을 입력받고, 이것의 각 블록에 대하여 JPEG의 복원과정 중의 일부인 허프만 복호와 역양자화를 행상 DCT 계수를 추출한다. 이와는 달리 압축되지 않은 원영상이 입력될 경우에는 블록으로 분할한 후 DCT를 수행하고 각 블록에 대한 DCT 계수를 추출한다. 그런 후 추출한 DCT 계수를 각 주파수 영역으로 재배열하고, 그 재배열한 계수를 조합하여 텍스쳐 특징으로 추출한다. 그리고 추출한 특징과 데이터 베이스의 특징의 유사도를 비교하여 텍스쳐를 검색한다.
여기서 데이터 베이스 영상중에서 유사도가 가장 큰 순서로 16개의 영상을 추출한다. 만약 데이터 베이스가 방대할 경우에는 검색을 효과적으로 하기 위하여 기술자를 두 개의 부분으로 나누고, 첫 단계에서는 대략적인 검색을 한 후 두 번째 단계에서 최종적인 검색을 하여 텍스쳐 영상을 검색한다.
첨부한 도면 도 1은 본 발명에 의한 텍스쳐 영상 검색장치의 블록 구성도이다.
여기서, 참조부호 10은 압축되지 않은 원영상이 질의 영상으로 입력되면 그 질의 영상을 소정 블록으로 분할하고, 각 블록별로 DCT를 수행한 후 각 블록에 대한 DCT 계수를 추출하는 변환계수 추출부이고, 참조부호 20은 압축된 질의 영상이 입력되면 그 질의 영상을 복호화하고 복호화된 영상을 역양자화하여 DCT 계수를 출력하는 허프만 복호화 및 역 양자화부이다.
또한, 참조부호 30은 상기 변환계수 추출부(10) 또는 허프만 복호화 및 역양자화부(20)에서 선택적으로 출력되는 변환 계수를 재배열하고 그 재배열한 변환 계수로부터 텍스쳐 특징을 추출하는 특징 추출부이며, 참조부호 40은 상기 특징 추출부(30)에서 추출한 텍스쳐 특징과 데이터 베이스(50)에 저장된 텍스쳐 특징을 비교하여 텍스쳐를 검색하는 텍스쳐 검색부이다.
상기에서, 특징 추출부(30)는 도 2에 도시된 바와 같이, 입력되는 변환 계수를 주파수 별로 재배열하는 변환계수 재배치부(31)와, 상기 변환계수 재배치부(31)에서 얻어지는 변환 계수를 주파수 별로 정규화하여 에너지를 추출하는 에너지 정규화부(32)와, 상기 에너지 정규화부(32)에서 출력되는 정규화된 에너지로부터 텍스쳐 검색을 위한 기술자를 계산하고 그 계산된 기술자를 텍스쳐 특징으로 출력하는 기술자 계산부(33)로 구성된다.
이와 같이 구성된 본 발명에 의한 텍스쳐 영상 검색장치는, 입력 질의 영상이 압축되지 않은 원영상일 경우, 변환계수 추출부(10)는 입력 원영상을 8*8블록으 로 분할하고, 각 분할 블록에 대해서 DCT를 수행한다. 그리고 각 블록에 대한 DCT 계수를 변환계수로 추출하여 특징 추출부(30)에 입력시킨다.
만약, 상기 입력되는 질의 영상이 압축 영상일 경우, 허프만 복호화 및 역 양자화부(20)는 입력 질의 영상을 블록으로 분할하고, 그 분할된 질의 영상을 허프만 복호화하고, 복호화된 영상을 역 양자화하여 DCT 계수를 변환 계수로 추출하여, 이 변환 계수를 특징 추출부(30)에 전달한다.
여기서 본 발명은 텍스쳐 검색을 위한 특징으로 DCT와 같은 변환 계수를 사용하며, 상기 DCT는 정지영상과 동영상 압축 표준인 JPEG, MPEG 및 H.263 등에 표준으로 채택되어 있다. 현재까지 나온 거의 대부분의 영상이 이미 이러한 기법에 의하여 압축되어 있다. 이러한 점을 이용하여 도 3과 같이 압축된 영상의 허프만 복호화와 역양자화를 수행하여 DCT 계수를 추출하고, 각 주파수대별로 에너지를 구하여 이것으로 텍스쳐 검색을 위한 기술자를 구성한다.
여기서 허프만 복호화와 역양자화 과정은 단순히 테이블 참조 과정으로 구성되어 있어 매우 계산량이 적은 과정이다.
도 3에서 보는 바와 같이, JPEG의 경우 N*M의 영상인 경우 [N/8]*[M/8]개의 8*8블록으로 분할하고, 각 블록에 대하여 DCT를 수행하게 된다. 도시된 바와 같이 한 영상은 8*8 블록의 DCT 계수의 집합으로 구성되어 있다. 여기서 2차원 DCT 계수는 8*8의 64개로 구성되며, DCT 계수는 아래의 [수학식1]과 같다.
Figure 111999011467201-pat00001
여기서 첨자 (k,l)는 영상의 블록을 지시하는 파라메터로 k는 0에서 [N/8]-1을 나타내며, l은 0에서 [M/8]-1을 나타낸다. 첨자 (i,j)는 수평방향과 수직방향의 주파수를 각각 나타낸다. 이 값이 적은 것은 저주파를 나타내며, 큰 값은 고주파를 나타낸다. 즉 영상을 각 주파수 성분으로 분리하는 과정이다. 이렇게 변환된 계수는 국부적인 주파수 특성으로 분리해 놓은 것으로서, 질감을 구별하기 위한 전체적인 특징을 추출할 수 없다. 따라서 상기 계수를 각 주파수 대역별로 구별하고 이것에 의하여 특징을 추출하여야만 질감을 구별하기 위한 전체적인 특징의 추출이 가능하다.
이러한 기능을 수행하는 부분이 특징 추출부(30)이다.
즉, 상기에서 얻어지는 DCT 계수는 특징 추출부(30)에 입력되며, 특징 추출부(30)는 그 입력되는 DCT 계수로부터 텍스쳐 검색을 위한 특징을 추출한다.
즉, 특징 추출부(30)내의 변환 계수 재배치부(31)는, 도 4에 도시된 바와 같이 입력 주파수(DCT 계수)를 질의 영상의 블록 순에 따라 재배열하여 각 주파수의 DCT 계수인 DCT(k,l)(i,j)를 재배열 DCT 계수인 ReDCT(k,l)(i,j)로 나타내게 된다. 이러한 변환은 각 블록(k,l)에 대한 주파수(i,j)의 함수로 표현하던 것을 각 주파수 (i,j)에 대한 위치(k,l)의 함수로 바꾸어주는 것이다. 이렇게 함으로써 Wavelet 계수 평면과 같이 같은 주파수 별로 위치에 대한 변환계수를 만들 수 있다.
다음으로, 에너지 정규화부(32)는 상기 변환 계수 재배치부(31)에서 재배열 된 변환계수를 주파수 별로 정규화 하여 에너지를 추출하는 기능을 한다.
즉, 재배열된 계수의 각 주파수 영역에 대한 에너지는 아래의 [수학식2]와 같다.
Figure 111999011467201-pat00002
여기서, 0 ≤i < 8, 0 ≤j < 8이다.
또한, ∥
Figure 112006026897833-pat00003
∥는 절대값을 구하는 연산자를 나타내며, 영상의 크기와 관계없는 표현을 위하여 [M/8]*[N/8]로 정규화 하였다. 여기서 에너지를 구하는 방법으로 제곱을 사용하지 않고 절대값 연산자를 사용한 것은 계산량을 감축하기 위함이다. 도 4에서 주파수(6,2)에 대한 [N/8]*[M/8] 크기의 재배열 DCT 계수인 ReDCT(6,2)(k,l)을 보여주고 있다. 이렇게 구해진 각 주파수대에 대한 에너지를 도 5와 같이 표현할 수 있다. 도 5의 (a)에 번호가 붙어 있는 주파수대 에너지가 기술자의 요소로 사용된다.
즉, 기술자는 아래의 [수학식3]과 같이 표현된다.
Figure 111999011467201-pat00004
이러한 [수학식3]을 아래의 [수학식4]와 같이 표현할 수 있다.
Figure 111999011467201-pat00005
도 5에서 번호가 기술자의 특징의 순서이며, 번호가 없는 블록은 기술자로 사용되지 않는다. 번호가 없는 주파수 영역은 고주파 영역으로 대부분이 잡음에 해당하여 그 크기가 매우 적어 영상을 구별할 수 있는 특징으로 사용할 수 없기 때문이다.
본 발명에서는 60개의 특징만을 기술자의 요소로 선택하여 사용하였다.
한편, 회전과 크기 변화에 관계없이 영상을 검색하기 위하여 기술자 계산부(33)는 도 5의 (b),(c)에 표시된 주파수 영역을 조합하여 기술자의 요소(텍스쳐 특징)를 출력한다.
영상의 회전은 주파수 축에서 회전으로 나타나는데, 이는 영상의 크기 변화가 주파수 평면의 확대 축소로 나타나기 때문이다. 즉, 영상의 회전이 주파수 축에서 회전으로 나타나기 때문에 같은 반지름을 갖는 주파수대의 에너지의 합은 일정하게 된다.
본 발명에서는 회전을 고려하기 위한 기술자의 요소를 아래의 [수학식5]와 같이 표현한다.
Figure 111999011467201-pat00006
Figure 111999011467201-pat00007
Figure 111999011467201-pat00008
또한, 크기 변화가 주파수 축에서도 스케일 변화를 일으킴으로써 같은 각도의 주파수대의 에너지의 합은 일정하게 된다. 본 발명에서 크기 변형을 다루기 위한 기술자의 요소를 아래의 [수학식6]과 같이 표현한다.
Figure 111999011467201-pat00009
Figure 111999011467201-pat00010
Figure 111999011467201-pat00011
Figure 111999011467201-pat00012
Figure 111999011467201-pat00013
이를 정리하면 52개의 DCT 에너지 특징과 8개의 조합 특징으로 텍스쳐 검색을 위한 기술자로 사용한다.
입력되는 질의 영상이 기술자와 데이터 베이스내의 기술자 사이의 거리를 구하여 두 영상간의 유사도를 평가할 수 있다. 본 발명에서는 계산량을 단축하기 위하여 특징값의 차의 절대값을 사용한다. 본 발명에서 사용한 거리 척도는 아래의 [수학식7]과 같다.
Figure 111999011467201-pat00014
여기서
Figure 111999011467201-pat00015
은 기술자의 k번째 요소의 데이터 베이스의 분산을 나타낸다. 이 분산은 각 특징값의 중요도를 가중하기 위한 값이다. 절대값을 사용함으로써 몇 개의 특징값의 큰 오차의 영향을 제곱연산자를 사용하는 경우보다 줄여주는 효과가 있다.
이러한 특징값은 텍스쳐 검색부(40)에 입력되며, 텍스쳐 검색부(40)는 입력되는 추출 특징과 데이터 베이스(50)에 이미 저장된 텍스쳐 특징을 비교하여 텍스쳐를 검색한다. 여기서 상기 추출한 특징값을 통합적으로 비교하는 방법이 있을 수 있으며, 만약 데이터 베이스가 클 경우 검색시간이 오래 소요되므로 이러한 단점을 해결하기 위하여 전체를 검색하지 않고 두 단계로 검색을 할 수도 있다.
예를 들어, 첫 번째 단계에서는 기술자중 D52에서부터 D59까지만의 특징을 이용하여 검색을 수행한 후 유사도가 큰 임의의 개수의 영상을 찾고, 이것들에 대하여 두 번째 단계에서 기술자중 D0에서 D51까지의 특징을 이용하여 최종적으로 텍스쳐를 검색한다.
한편, 데이터 베이스 구축은 주지한 바와 같은 텍스쳐 특징 추출과 동일한 과정을 통해 텍스쳐 특징을 추출하고, 이를 저장하며, 텍스쳐 검색시 그 저장한 특징들을 비교 특징으로 사용한다.
첨부한 도면 도 6은 본 발명에 의한 텍스쳐 영상 검색방법을 보인 흐름도이다.
먼저 단계 S11에서 질의 영상이 입력되면, 단계 S12에서 그 입력된 질의 영상이 압축된 영상인지 아니면 압축되지 않은 원영상 인지를 판별한다. 이 판별 결과 입력된 질의 영상이 원영상이면 질의 영상을 소정 블록(8*8)으로 분할하고, 단계 S13에서 DCT 변환을 한다. 그리고 단계 S14에서 DCT 변환 후에 얻어지는 DCT 계수를 변환 계수로 추출한다. 만약, 상기 입력된 질의 영상이 압축 영상이면, 단계 S15로 이동하여 입력된 질의 영상을 소정 크기의 블록으로 분할하고 그 분할 블록을 각각 허프만 복호화 한다. 그리고 단계 S16에서 상기 복호화된 영상을 역 양자화하여 DCT 계수를 추출하며, 그 DCT 계수를 변환 계수를 설정한다. 단계 S17에서는 상기 단계 S14 또는 단계 S16에서 얻어지는 변환 계수를 주파수 별로 재배열하고, 각 주파수 별로 에너지를 정규화한 후 얻어지는 기술자를 조합하여 텍스쳐 검색을 위한 특징을 추출한다. 그리고 단계 S18에서는 상기 추출한 텍스쳐 특징과 데이터베이스화된 텍스쳐 특징을 비교하여 텍스쳐를 탐색하게 된다.
여기서, 텍스쳐 탐색시, 추출한 특징값을 통합적으로 비교하는 방법이 있을 수 있으며, 만약 데이터 베이스가 클 경우 검색시간이 오래 소요되므로 이러한 단점을 해결하기 위하여 전체를 검색하지 않고 두 단계로 검색을 할 수도 있다.
예를 들어, 첫 번째 단계에서는 기술자중 D52에서부터 D59까지만의 특징을 이용하여 검색을 수행한 후 유사도가 큰 임의의 개수의 영상을 찾고, 이것들에 대하여 두 번째 단계에서 기술자중 D0에서 D51까지의 특징을 이용하여 최종적으로 텍스쳐를 검색한다.
이상에서 상술한 본 발명 "텍스쳐 영상 검색 장치 및 그 방법"에 따르면, 기존의 방법이 많은 필터를 통과시키거나 통계적 모델을 적용함으로써 매우 많은 계산을 요하던 텍스쳐 검색과는 달리 질의 영상으로부터 에너지를 구하고 이를 특징으로 사용함으로써, 특징 추출의 계산량을 감축할 수 있으며, 이로써 텍스쳐 검색 시간을 단축시킬 수 있는 이점이 있다.
또한, 스케일 및 회전에 무관한 텍스쳐 영상의 검색이 가능함으로써, 보다 인간의 시각적 영상 인식과 유사하게 텍스쳐 검색이 가능하므로 멀티미디어 데이터 검색에 용이함을 제공해주는 이점이 있다.

Claims (24)

  1. 텍스쳐 영상을 검색하는 방법에 있어서,
    질의 영상을 입력받으면 이 질의 영상의 변환 계수를 추출하는 변환계수추출단계;
    상기 추출한 변환 계수를 재배열하는 변환계수재배열단계;
    상기 재배열한 변환 계수로부터 그 텍스쳐 특징을 추출하는 텍스쳐특징추출단계; 및
    상기 추출한 텍스쳐 특징과 기 데이터베이스화된 텍스쳐 특징을 비교하여 해당되는 영상을 검색하는 텍스쳐특징비교단계
    를 포함하는 텍스쳐 영상 검색 방법.
  2. 제 1 항에 있어서,
    상기 변환계수추출단계는,
    질의 영상이 압축되지 않은 영상이면 이 질의 영상을 소정 크기의 블록으로 분할하고서, 그 분할블록을 DCT한 결과로 얻어지는 DCT 계수를 변환 계수로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 방법.
  3. 제 1 항에 있어서,
    상기 변환계수추출단계는,
    질의 영상이 압축된 영상이면 이 질의 영상을 블록별로 허프만 복호화하고서, 그 복호화한 영상을 역양자화한 결과로 얻어지는 DCT 계수를 변환 계수로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 방법.
  4. 제 1 항에 있어서,
    상기 변환계수재배열단계는,
    변환 계수를 주파수별로 재배열하는 것을 특징으로 하는 텍스쳐 영상 검색 방법.
  5. 제 1 항에 있어서,
    상기 텍스쳐특징추출단계는,
    상기 변환계수재배열단계에서 재배열한 변환 계수를 주파수별로 정규화하여 얻어지는 에너지를 그 텍스쳐 특징으로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 방법.
  6. 제 5 항에 있어서,
    상기 텍스쳐특징추출단계는,
    상기 정규화한 에너지를 주파수 영역별로 조합하여 그 텍스쳐 특징으로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 텍스쳐특징비교단계는,
    상기 추출한 텍스쳐 특징값과 기 데이터베이스화된 텍스쳐 특징값간을 통합적으로 비교하여 해당되는 영상을 검색하는 것을 특징으로 하는 텍스쳐 영상 검색 방법.
  8. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 텍스쳐특징비교단계는,
    상기 추출한 텍스쳐 특징을 파라미터로 하여 기 데이터베이스화된 텍스쳐 특징을 비교해 해당 영상을 검색하는데 있어, 일차적으로 텍스쳐 기술자 중 일부의 특징값을 이용해 특정 영상을 확인한 후에 유사도가 큰 임의의 개수의 영상을 조회하고서, 이차적으로 이 조회한 영상에 대해 텍스쳐 기술자 중 나머지 특징값을 이용해 해당 영상을 검색하는 것을 특징으로 하는 텍스쳐 영상 검색 방법.
  9. 텍스쳐 영상을 검색하는 장치에 있어서,
    외부로부터 입력받은 압축되지 않은 질의 영상의 변환 계수를 추출하는 변환계수 추출수단;
    상기 변환계수 추출수단에서 추출한 변환 계수를 재배열하고서, 이 재배열한 변환 계수로부터 그 텍스쳐 특징을 추출하는 특징 추출수단; 및
    상기 특징 추출수단에서 추출한 텍스쳐 특징과 기 데이터베이스화된 텍스쳐 특징을 비교하여 해당되는 영상을 검색하는 텍스쳐 검색수단
    을 포함하는 텍스쳐 영상 검색 장치.
  10. 제 9 항에 있어서,
    상기 변환계수 추출수단은,
    상기 질의 영상을 소정 크기의 블록으로 분할하고서, 그 분할블록을 DCT한 결과로 얻어지는 DCT 계수를 변환 계수로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  11. 제 9 항에 있어서,
    상기 특징 추출수단은,
    상기 변환 계수를 주파수별로 재배열하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  12. 제 9 항에 있어서,
    상기 특징 추출수단은,
    상기 재배열한 변환 계수를 주파수별로 정규화하여 얻어지는 에너지를 그 텍스쳐 특징으로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  13. 제 9 항에 있어서,
    상기 특징 추출수단은,
    상기 정규화한 에너지를 주파수 영역별로 조합하여 그 텍스쳐 특징으로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  14. 제 9 항에 있어서,
    상기 특징 추출수단은,
    입력되는 변환 계수를 주파수별로 재배열하는 변환계수 재배치부;
    상기 변환계수 재배치부에서 재배열한 변환 계수를 주파수별로 정규화하여 에너지를 추출하는 에너지 정규화부; 및
    상기 에너지 정규화부에서 정규화한 에너지로부터 텍스쳐 영상 검색을 위한 기술자를 계산하고서, 이 계산한 기술자를 텍스쳐 특징으로 출력하는 기술자 계산부
    를 포함하는 텍스쳐 영상 검색 장치.
  15. 제 9 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 텍스쳐 검색수단은,
    상기 추출한 텍스쳐 특징값과 기 데이터베이스화된 텍스쳐 특징값간을 통합적으로 비교하여 해당되는 영상을 검색하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  16. 제 9 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 텍스쳐 검색수단은,
    상기 추출한 텍스쳐 특징을 파라미터로 하여 기 데이터베이스화된 텍스쳐 특징을 비교해 해당 영상을 검색하는데 있어, 일차적으로 텍스쳐 기술자 중 일부의 특징값을 이용해 특정 영상을 확인한 후에 유사도가 큰 임의의 개수의 영상을 조회하고서, 이차적으로 이 조회한 영상에 대해 텍스쳐 기술자 중 나머지 특징값을 이용해 해당 영상을 검색하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  17. 텍스쳐 영상을 검색하는 장치에 있어서,
    외부로부터 입력받은 압축된 질의 영상을 복호화하고서, 이 복호화한 영상을 역양자화하여 변환 계수를 추출하는 허프만 복호화 및 역 양자화수단;
    상기 허프만 복호화 및 역 양자화수단에서 추출한 변환 계수를 재배열하고서, 이 재배열한 변환 계수로부터 그 텍스쳐 특징을 추출하는 특징 추출수단; 및
    상기 특징 추출수단에서 추출한 텍스쳐 특징과 기 데이터베이스화된 텍스쳐 특징을 비교하여 해당되는 영상을 검색하는 텍스쳐 검색수단
    을 포함하는 텍스쳐 영상 검색 장치.
  18. 제 17 항에 있어서,
    상기 허프만 복호화 및 역 양자화수단은,
    상기 질의 영상을 블록별로 허프만 복호화하고서, 그 복호화한 영상을 역양자화한 결과로 얻어지는 DCT 계수를 변환 계수로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  19. 제 17 항에 있어서,
    상기 특징 추출수단은,
    상기 변환 계수를 주파수별로 재배열하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  20. 제 17 항에 있어서,
    상기 특징 추출수단은,
    상기 재배열한 변환 계수를 주파수별로 정규화하여 얻어지는 에너지를 그 텍스쳐 특징으로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  21. 제 17 항에 있어서,
    상기 특징 추출수단은,
    상기 정규화한 에너지를 주파수 영역별로 조합하여 그 텍스쳐 특징으로서 추출하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  22. 제 17 항에 있어서,
    상기 특징 추출수단은,
    입력되는 변환 계수를 주파수별로 재배열하는 변환계수 재배치부;
    상기 변환계수 재배치부에서 재배열한 변환 계수를 주파수별로 정규화하여 에너지를 추출하는 에너지 정규화부; 및
    상기 에너지 정규화부에서 정규화한 에너지로부터 텍스쳐 영상 검색을 위한 기술자를 계산하고서, 이 계산한 기술자를 텍스쳐 특징으로 출력하는 기술자 계산부
    를 포함하는 텍스쳐 영상 검색 장치.
  23. 제 17 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 텍스쳐 검색수단은,
    상기 추출한 텍스쳐 특징값과 기 데이터베이스화된 텍스쳐 특징값간을 통합적으로 비교하여 해당되는 영상을 검색하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
  24. 제 17 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 텍스쳐 검색수단은,
    상기 추출한 텍스쳐 특징을 파라미터로 하여 기 데이터베이스화된 텍스쳐 특징을 비교해 해당 영상을 검색하는데 있어, 일차적으로 텍스쳐 기술자 중 일부의 특징값을 이용해 특정 영상을 확인한 후에 유사도가 큰 임의의 개수의 영상을 조회하고서, 이차적으로 이 조회한 영상에 대해 텍스쳐 기술자 중 나머지 특징값을 이용해 해당 영상을 검색하는 것을 특징으로 하는 텍스쳐 영상 검색 장치.
KR1019990039921A 1999-09-16 1999-09-16 텍스쳐 영상 검색 장치 및 그 방법 KR100616229B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990039921A KR100616229B1 (ko) 1999-09-16 1999-09-16 텍스쳐 영상 검색 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990039921A KR100616229B1 (ko) 1999-09-16 1999-09-16 텍스쳐 영상 검색 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20010027936A KR20010027936A (ko) 2001-04-06
KR100616229B1 true KR100616229B1 (ko) 2006-08-25

Family

ID=19611913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990039921A KR100616229B1 (ko) 1999-09-16 1999-09-16 텍스쳐 영상 검색 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100616229B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101064952B1 (ko) * 2009-11-23 2011-09-16 한국전자통신연구원 신체 관심영역 탐지 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355404B1 (ko) * 1999-12-03 2002-10-11 삼성전자 주식회사 주파수 공간상에서의 가보 필터를 이용한 질감표현방법 및질감기반 영상 검색방법
KR100767489B1 (ko) * 2000-03-18 2007-10-16 주식회사 팬택앤큐리텔 벡터 기술자 표현장치 및 이를 이용한 멀티미디어 데이터 검색장치
KR100510280B1 (ko) * 2001-01-29 2005-10-26 주식회사 하이켐텍 감시카메라의 내용 감시 방법 및 장치
US8233748B2 (en) * 2007-07-20 2012-07-31 Samsung Electronics Co., Ltd. Image-resolution-improvement apparatus and method
KR101718891B1 (ko) * 2010-01-26 2017-03-23 삼성전자주식회사 영상 검색 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064600A (ja) * 1992-06-24 1994-01-14 Matsushita Electric Ind Co Ltd イメージ検索方法およびイメージ検索装置
KR19990013091A (ko) * 1997-07-31 1999-02-25 윤종용 컴퓨터에서 영상정보 검색장치 및 방법
KR19990016894A (ko) * 1997-08-20 1999-03-15 전주범 영상 데이터베이스 검색방법
KR19990051743A (ko) * 1997-12-19 1999-07-05 정선종 내용 기반 영상 정보를 이용한 등록 상표 자동 검색 방법
KR20010008832A (ko) * 1999-07-05 2001-02-05 김영환 이산 푸리에 변환과 저나이크 모멘트를 이용한 텍스쳐 영상 검색 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064600A (ja) * 1992-06-24 1994-01-14 Matsushita Electric Ind Co Ltd イメージ検索方法およびイメージ検索装置
KR19990013091A (ko) * 1997-07-31 1999-02-25 윤종용 컴퓨터에서 영상정보 검색장치 및 방법
KR19990016894A (ko) * 1997-08-20 1999-03-15 전주범 영상 데이터베이스 검색방법
KR19990051743A (ko) * 1997-12-19 1999-07-05 정선종 내용 기반 영상 정보를 이용한 등록 상표 자동 검색 방법
KR20010008832A (ko) * 1999-07-05 2001-02-05 김영환 이산 푸리에 변환과 저나이크 모멘트를 이용한 텍스쳐 영상 검색 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101064952B1 (ko) * 2009-11-23 2011-09-16 한국전자통신연구원 신체 관심영역 탐지 방법 및 장치
US8620091B2 (en) 2009-11-23 2013-12-31 Electronics And Telecommunications Research Institute Method and apparatus for detecting specific external human body parts from texture energy maps of images by performing convolution

Also Published As

Publication number Publication date
KR20010027936A (ko) 2001-04-06

Similar Documents

Publication Publication Date Title
US20080159403A1 (en) System for Use of Complexity of Audio, Image and Video as Perceived by a Human Observer
Ayoobkhan et al. Prediction-based lossless image compression
Reeves et al. Texture characterization of compressed aerial images using DCT coefficients
Chang et al. Retrieving digital images from a JPEG compressed image database
Zhang et al. Deep network-based image coding for simultaneous compression and retrieval
KR100616229B1 (ko) 텍스쳐 영상 검색 장치 및 그 방법
Theoharatos et al. Multivariate image similarity in the compressed domain using statistical graph matching
Adjeroh et al. Pattern matching in compressed texts and images
JP2001312514A (ja) ベクトル記述子表現並びにマルチメディアデータ検索装置及びその方法
Nguyen-Duc et al. A new descriptor for image retrieval using contourlet co-occurrence
Bracamonte et al. Low complexity image matching in the compressed domain by using the DCT-phase
KR20020011529A (ko) 주파수 평면 분할 특징값과 저니크 변환을 이용한 영상의특징추출 방법/장치 및 그를 이용한 영상 검색 방법 및 장치
Bhalod et al. Region-based indexing in the JPEG2000 framework
Abdul-wahab et al. Theoretical Background of steganography
KR100653026B1 (ko) 임의의 모양의 텍스쳐 검색 방법 및 장치
KR100918777B1 (ko) 문맥모델링을 이용한 제이펙 및 제이펙 2000 압축 영상통합 검색 방법
Seales et al. Content analysis of compressed video
JP4697111B2 (ja) 画像比較装置および方法、並びに、画像検索装置および方法
Kadim et al. Lossless Biometric Signal Compression.
KR20090051430A (ko) 부분 엔트로피 복호화를 이용한 제이펙-2000 압축 영상검색방법
Byju et al. A novel coarse-to-fine remote sensing image retrieval system in JPEG-2000 compressed domain
Panchanathan Compressed or progressive image search
Vijayarani et al. Image Compression Techniques–An Overview
KR100632675B1 (ko) 텍스쳐 검색 장치 및 그 방법
Khapli et al. Performance evaluation of image retrieval using VQ for compressed and uncompressed images

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110729

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee