KR100574556B1 - 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법 - Google Patents

칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법 Download PDF

Info

Publication number
KR100574556B1
KR100574556B1 KR19990003199A KR19990003199A KR100574556B1 KR 100574556 B1 KR100574556 B1 KR 100574556B1 KR 19990003199 A KR19990003199 A KR 19990003199A KR 19990003199 A KR19990003199 A KR 19990003199A KR 100574556 B1 KR100574556 B1 KR 100574556B1
Authority
KR
South Korea
Prior art keywords
color
information
image
space
feature
Prior art date
Application number
KR19990003199A
Other languages
English (en)
Other versions
KR20000047363A (ko
Inventor
김종득
김해광
김남규
Original Assignee
주식회사 팬택앤큐리텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택앤큐리텔 filed Critical 주식회사 팬택앤큐리텔
Priority to KR19990003199A priority Critical patent/KR100574556B1/ko
Publication of KR20000047363A publication Critical patent/KR20000047363A/ko
Application granted granted Critical
Publication of KR100574556B1 publication Critical patent/KR100574556B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)

Abstract

본 발명은 칼라 영상(color image)의 표현시 색상 정보 뿐만 아니라 색상의 공간적 분포를 고려한 색상-공간 정보를 사용하여 기술자(Descriptor)를 정의(칼라 영상 기술자)하고, 멀티미디어 데이터 검색시 그 기술자를 이용하여 효율적으로 멀티미디어 데이터를 검색토록 한 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법에 관한 것으로서, 이러한 본 발명은, 색상 정보와 색상-공간 정보를 각각의 정보에 적합한 칼라 그룹에서 추출하는 방법으로 칼라 영상의 특징을 추출하고, 추출한 칼라 영상의 특징을 사용하여 칼라 영상을 정의된 형식을 사용하여 표현한다. 그리고 추출한 칼라 영상의 특징 또는 칼라 영상의 표현 형식을 이용하여 멀티미디어 데이터를 검색한다. 또한, 추출한 칼라 영상의 특징을 이용하여 멀티미디어 데이터를 검색하는 경우, 두 칼라 영상간 차이 정도, 즉 색상 정보에서 구한 칼라 영상의 특징 값과 색상-공간 정보에서 구한 칼라 영상의 특징 값의 차이 정도를 계산하는 방법으로 멀티미디어 데이터를 검색토록 함으로써, 멀티미디어 데이터 검색이 용이하다.

Description

칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법{Apparatus and method for describing color image descriptor and its using apparatus and method for searching multi-media data}
도1은 일반적인 영상 히스토그램을 설명하기 위한 설명도,
도2a 및 도2b는 임의의 칼라 영상을 히스토그램으로 표현했을 경우 발생하는 문제점을 설명하기 위한 설명도,
도3은 본 발명에 의한 색상 정보를 이용한 멀티미디어 데이터 검색장치 블록도,
도4는 도3의 제1 및 제2 칼라 영상 특징 추출부 상세 블록도,
도5는 도3의 특징 비교부 상세 블록도,
도6은 본 발명에서 칼라 영상을 각 칼라 그룹으로 분리한 경우 칼라 그룹별 화소들의 위치도,
도7은 본 발명에서 공분산 행렬의 고유 벡터 및 고유값을 설명하기 위한 설명도,
도8은 본 발명에서 지역 히스토그램의 영역을 구하는 방법을 설명하기 위한 설명도,
도9는 본 발명에 의한 색상 정보를 이용한 멀티미디어 데이터 검색방법을 보인 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
10, 50 : 제1 및 제2 영상 특징 추출부
20, 60 : 제1 및 제2 칼라영상 표현부
40 : 멀티미디어 데이터 베이스 70 : 특징 비교부
80 : 어드레스 발생부 90 : 데이터 출력부
본 발명은 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법에 관한 것으로, 특히 칼라 영상(color image)의 표현시 색상 정보뿐만 아니라 색상의 공간적 분포를 고려한 색상-공간 정보를 사용하여 기술자(Descriptor)를 정의(칼라 영상 기술자)하고, 멀티미디어 데이터 검색시 그 기술자를 이용하여 효율적으로 멀티미디어 데이터를 검색토록 한 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법에 관한 것이다.
통상, 영상 미디어 산업의 발달로 인해 멀티미디어의 데이터량은 비약적으로 증가하고 있으며, 그 중에서도 디지털 영상 데이터가 차지하는 비중은 매우 크다. 사용자는 개인적으로 소장하고 있는 멀티미디어 데이터뿐만 아니라 인터넷 상의 멀티미디어 데이터 베이스를 용이하면서도 빠르게 검색하기를 원한다.
현재 문자 기반 검색은 널리 대중화되어 있으나, 멀티미디어 데이터, 즉, 영 화, 음악, 합성 영상, 정지 영상, 모양 정보, 음성, 동영상 등의 멀티미디어 데이터의 검색은 초기 단계에 있다.
멀티미디어 데이터 검색이 문자 기반 검색과 다른점은 데이터의 크기가 문자 데이터에 비해서 월등히 크고 다양한 정보를 내포하고 있다는 점이다. 멀티미디어 데이터의 경우는 데이터 자체의 크기가 크고 여러 가지 정보가 혼합되어 있으므로 멀티미디어 데이터 자체를 이용하여 검색하기는 불가능하다.
따라서, 전처리 과정을 거쳐서 멀티미디어 데이터를 표현할 수 있는 특징을 추출하고 그 추출한 특징들을 이용하여 멀티미디어 데이터를 검색할 수 있다.
예를 들어, 비디오의 경우는 영상, 음성, 오디오 정보가 혼합되어 있으므로 영상에 대한 특징, 음성에 대한 특징, 오디오에 대한 특징 등을 추출하고 각각의 추출된 특징을 사용하여 원하는 정보를 검색할 수 있다.
여기서 멀티미디어 데이터의 특징으로 어떤 성질을 이용할 것인지, 그 특징을 어떤 방법으로 표현할 것인지 그리고 어떻게 비교할 것인지가 중요하게 고려된다. 이때 특징을 표현하는 데이터 모델을 기술자(Descriptor)라고 한다.
멀터미디어 데이터 검색 방법중 현재 가장 많이 연구되고 있는 분야가 칼라 영상 검색이다. 칼라 영상의 특징으로 가장 보편적으로 사용되는 특징은 칼라 히스토그램이다. 상기 칼라 히스토그램은 칼라 영상에서 각 칼라의 분포를 나타내는 정보이다. 즉, 전체 칼라 공간을 N개의 칼라 그룹으로 나누고 해당 칼라 그룹에 영상의 전체 화소중 어느 정도가 포함되는지를 나타내는 것이 칼라 히스토그램이라고 할 수 있다.
상기 칼라 공간을 N개의 칼라 그룹으로 나누고, 영상의 크기(Image Size)가 'Image Width * Image Height'인 영상에 대해 칼라 히스토그램을 구하는 방법은 하기 알고리즘에 따른다.
for i: = 1 until Image Height do
for j: = 1 until Image Width do
if Image[i][j] ∈ Color Group k
then Histogram[k]: = Histogram[k] + 1;
for i: = 1 until N do
Histogram[i] = Histogram[i]/Image Size;
도1은 상기와 같은 일반적인 히스토그램에 의해 칼라 공간을 6개의 칼라 그룹으로 나누었을때 칼라 영상의 특징을 추출하는 예를 보인 것이다.
실제로 칼라 영상은 매우 다양한 색상을 표현하지만 간단한 예를 들기 위해 하나의 색 만을 갖는다고 가정하였다. 도1b의 영상1은 도1a의 칼라 공간에서 원으로 표시된 위치의 색을 포함하고 있으며 칼라 그룹1에 해당하고, 도1b의 영상2는 칼라 공간에서 사각형으로 표시된 위치의 색을 포함하고 있으며 칼라 그룹2에 해당하고, 도1b의 영상3은 칼라 공간에서 세모로 표시된 위치의 색을 포함하고 있으며 칼라그룹4에 해당한다고 가정한다.
따라서, 칼라 히스토그램 방법을 사용하면 다음과 같이 특징이 추출된다.
영상1 = [1 0 0 0 0 0 ]
영상2 = [0 1 0 0 0 0 ]
영상3 = [0 0 0 1 0 0 ]
주지한 바와 같이 칼라 히스토그램은 영상에서 각 칼라 그룹의 빈도(확률)를 나타낸 것으로, 영상1의 경우 1번 칼라 그룹에 해당하는 화소의 확률은 "1"이고, 나머지 칼라 그룹에 해당하는 화소는 하나도 없으므로 "0"이다. 그리고 영상2의 경우 2번 칼라 그룹에 해당하는 화소의 확률은 "1"이고, 나머지 칼라 그룹에 해당하는 화소는 하나도 없으므로 "0"이다. 또한 영상3의 경우 4번 칼라 그룹에 해당하는 화소의 확률은 "1"이고, 나머지 칼라 그룹에 해당하는 화소는 하나도 없으므로 "0"이다.
이와 같이 영상의 특징을 표현함에 있어 N개의 요소를 갖는 칼라 히스토그램을 이용함으로써, 칼라 영상을 효과적으로 표현할 수 있다는 것을 알 수 있다.
그러나, 상기와 같은 종래의 칼라 히스토그램은 전술한 알고리즘에 의해 알 수 있듯이 영상에서 칼라의 분포 정보를 효과적으로 표현하고 있지만, 색상의 공간 정보는 나타낼 수 없음을 알 수 있다. 즉, 임의의 칼라 그룹에 해당하는 색상이 영상에서 얼마나 많이 분포하고 있는지는 정확히 표현할 수 있지만 해당 색상이 공간적으로 어떻게 분포하고 있는지는 전혀 나타내지 못한다는 단점이 있다.
다시 말해, 칼라 영상의 특징을 표현하는 색상 정보로 일반적으로 사용되는 칼라 히스토그램 방법은 칼라 영상의 공간적 정보를 나타내는데 한계가 있다.
그 일예가 도2a 및 도2b에 도시되어 있다.
이는 동일한 색상과 면적을 갖는 두 영상을 보이고 있다.
두 영상(도2a는 직사각형, 도2b는 원형)에서의 물체의 모양은 다르더라도 동일한 색상과 면적을 갖기 때문에 동일한 칼라 히스토그램을 갖는다. 이는 칼라 히스토그램이 영상의 공간적 정보를 나타내는데 한계가 있음을 보인다.
따라서 본 발명은 상기와 같은 일반적인 칼라 히스토그램 방법을 사용하여 칼라 영상을 표현하는 경우 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,
본 발명은, 칼라 영상(color image)의 표현시 색상 정보뿐만 아니라 색상의 공간적 분포를 고려한 색상-공간 정보를 이용하여 칼라 영상 기술자(Descriptor)를 추출(정의)하기 위한, 칼라 영상 기술자 추출 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은, 칼라 영상(color image)의 표현시 색상 정보뿐만 아니라, 색상의 공간적 분포를 고려한 색상-공간 정보를 이용하여 추출한 칼라 영상 기술자(Descriptor)를 기반으로 효율적으로 멀티미디어 데이터를 검색하기 위한, 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 장치 및 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명은,
색상 정보와 색상-공간 정보를 각각의 정보에 적합한 칼라 그룹에서 추출하는 방법으로 칼라 영상의 특징을 추출하고, 상기 추출한 칼라 영상의 특징을 사용하여 칼라 영상을 정의된 형식을 사용하여 표현한다. 그리고 칼라 영상의 표현 형식을 이용하여 멀티미디어 데이터를 검색한다.
즉, 본 발명의 장치는, 칼라 영상 기술자 추출 장치에 있어서, 각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하기 위한 제1 칼라 공간 그룹화수단; 상기 제1 칼라 공간 그룹화수단에서 그룹화한 각각의 칼라 공간을 사용하여 색상의 특징을 추출하기 위한 색상 정보 특징 추출수단; 각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하기 위한 제2 칼라 공간 그룹화수단; 상기 제2 칼라 공간 그룹화수단에서 그룹화한 각각의 칼라 공간을 사용하여 색상-공간의 특징을 추출하기 위한 색상-공간 특징 추출수단; 상기 색상 정보 특징 추출수단 및 상기 색상-공간 특징 추출수단에서 각각 얻어지는 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하기 위한 칼라 영상 특징 추출수단; 및 상기 칼라 영상 특징 추출수단에서 추출한 칼라 영상의 특징을 정의된 형식(칼라 영상 기술자)으로 표현하기 위한 칼라 영상 표현수단을 포함한다.
본 발명의 방법은, 칼라 영상 기술자 추출 방법에 있어서, 각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하는 제1 칼라 공간 그룹화 단계; 상기 그룹화한 각각의 칼라 공간을 사용하여 색상의 특징을 추출하는 단계; 각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하는 제2 칼라 공간 그룹화 단계; 상기 그룹화한 각각의 칼라 공간을 사용하여 색상-공간의 특징을 추출하는 색상-공간 특징 추출 단계; 상기 추출한 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하는 단계; 및 상기 추출한 칼라 영상의 특징을 정의된 형식(칼라 영상 기술자)으로 표현하는 단계를 포함한다.
또한, 추출한 칼라 영상의 특징을 이용하여 멀티미디어 데이터를 검색하는 경우, 두 칼라 영상간 차이 정도, 즉 색상 정보에서 구한 칼라 영상의 특징 값과 색상-공간 정보에서 구한 칼라 영상의 특징 값의 차이 정도를 계산하는 방법으로 멀티미디어 데이터를 검색토록 한다.
즉, 본 발명의 다른 장치는, 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 장치에 있어서, 칼라 영상 및 그에 상응하는 칼라 영상 기술자를 멀티미디어 데이터 베이스에 저장하기 위한 데이터 베이스 구축수단; 입력되는 질의 영상에서 각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하여 색상의 특징을 추출하고, 각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하여 색상-공간의 특징을 추출한 후 상기 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하여 정의된 형식(칼라 영상 기술자)으로 표현하기 위한 칼라 영상 기술자 추출수단; 상기 칼라 영상 기술자 추출수단에서 추출한 칼라 영상 기술자를 상기 멀티미디어 데이터 베이스에 저장된 칼라 영상 기술자와 비교하기 위한 특징 비교수단; 상기 특징 비교수단에서 얻어지는 영상간 차이 신호에 따라 해당 영상의 출력을 위해 어드레스를 생성하여 인가하기 위한 어드레스 발생수단; 및 상기 어드레스를 인가받은 영상 데이터의 출력 레벨을 조절하여 출력하기 위한 데이터 출력수단을 포함한다.
본 발명의 다른 방법은, 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 방법에 있어서, 칼라 영상 및 그에 상응하는 칼라 영상 기술자를 멀티미디어 데이터 베이스에 저장하고 있는 단계; 입력되는 질의 영상에서 각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하여 색상의 특징을 추출하고, 각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하여 색상-공간의 특징을 추출한 후 상기 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하여 정의된 형식(칼라 영상 기술자)으로 표현하는 단계; 상기 추출한 칼라 영상 기술자를 상기 멀티미디어 데이터 베이스에 저장된 칼라 영상 기술자와 비교하는 비교단계; 상기 비교를 통해 얻어지는 영상간 차이 신호에 따라 해당 영상의 출력을 위해 어드레스를 생성하여 인가하는 단계; 및 상기 어드레스를 인가받은 영상 데이터의 출력 레벨을 조절하여 출력하는 단계를 포함한다.
이하, 상기와 같은 기술적 사상에 따른 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.
첨부한 도면 도3은 본 발명에 의한 색상 정보를 이용한 멀티미디어 데이터 검색장치 블록도이다.
도시된 바와 같이, 데이터 베이스에 입력할 영상의 특징을 추출하는 제1 영상 특징 추출부(10)와, 상기 제1영상 특징 추출부(10)에서 얻어지는 칼라 영상의 특징을 정의된 형식(칼라 영상 기술자)으로 표현하는 제1 칼라 영상 표현부(20)와, 상기 제1 칼라 영상 표현부(20)에서 얻어지는 칼라 영상의 특징과 그 칼라 영상 특징에 대응하는 영상을 멀티미디어 데이터 베이스(40)에 저장하는 데이터 베이스 구축부(30)와, 질의 영상의 특징을 추출하는 제2영상 특징 추출부(50)와, 상기 제2 영상 특징 추출부(50)에서 추출한 칼라 영상의 특징을 정의된 형식(칼라 영상 기술자)으로 표현하는 제2 칼라 영상 표현부(60)와, 상기 제2 칼라 영상 표현부(60)에서 얻어지는 칼라 영상의 특징과 상기 멀티미디어 데이터 베이스(40)에 저장된 각 칼라 영상의 특징을 비교하는 특징 비교부(70)와, 상기 특징 비교부(70)에서 얻어지는 영상간 차이 신호에 따라 해당 영상을 출력하기 위해 어드레스를 생성하여 상기 멀티미디어 데이터 베이스(40)에 인가하는 어드레스 발생부(80)와, 상기 멀티미디어 데이터 베이스(40)에서 출력되는 영상 데이터를 적절한 레벨로 조절한 후 출력하는 데이터 출력부(90)로 구성된다.
상기에서, 제1 및 제2 영상 특징 추출부(10)(60)는 도4에 도시된 바와 같이, 각각의 색상 정보의 특징을 추출하기 위해 칼라를 공간적으로 그룹화하는 다수개의 칼라 공간 그룹화기(C-1 ~ C-n)를 포함하는 제1 칼라 공간 그룹화부(110)와, 입력 영상을 상기 제1 칼라 공간 그룹화부(110)에서 그룹화한 각 색상정보에 해당하는 칼라 공간의 그룹화 정보를 사용하여 색상의 특징을 추출하는 색상 정보 특징 추출부(120)와, 각각의 색상-공간 정보의 특징을 추출하기 위해 칼라를 그룹화하는 다수개의 칼라 공간 그룹화기(S-1 ~ S-n)를 포함하는 제2 칼라 공간 그룹화부(130)와, 상기 입력 영상을 상기 제2 칼라 공간 그룹화부(130)에서 그룹화된 각 색상-공간 정보에 해당하는 칼라 공간의 그룹화 정보를 사용하여 색상-공간의 특징을 추출하는 색상-공간 특징 추출부(140)와, 상기 색상정보 특징 추출부(120) 및 색상-공간 특징 추출부(140)에서 각각 얻어지는 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하는 칼라 영상 특징 추출기(150)로 구성된다.
또한, 상기 특징 비교부(70)는 도5에 도시된 바와 같이, 상기 제2칼라 영상 표현부(60)에서 얻어지는 입력 영상의 색상 정보의 특징과 상기 멀티미디어 데이터 베이스(40)에서 출력되는 칼라 영상의 색상 정보 특징을 비교하는 칼라 색상정보 비교 및 계산부(210)와, 상기 제2칼라 영상 표현부(60)에서 얻어지는 입력 영상의 색상-공간 정보의 특징과 상기 멀티미디어 데이터 베이스(40)에서 출력되는 칼라 영상의 색상-공간 정보의 특징을 비교하는 칼라 색상-공간정보 비교 및 계산부(220)와, 상기 칼라 색상정보 비교 및 계산부(210)에서 출력되는 각 색상 정보 계산치에 해당 색상정보 가중치를 승산하는 색상정보 가중치 승산부(230)와, 상기 칼라 색상-공간정보 계산부(220)에서 출력되는 각 색상-공간 정보 계산치에 해당 색상-공간정보 가중치를 승산하는 색상-공간정보 가중치 승산부(240)와, 상기 제2칼라 영상 표현부(60)에서 출력되는 색상 정보/색상-공간정보 특징들과 상기 멀티미디어 데이터 베이스(40)에서 출력되는 칼라 영상의 색상정보/색상-공간 정보 특징을 조합 및 비교하는 복합정보 비교 및 계산부(310)와, 상기 복합정보 비교 및 계산부(310)에서 출력되는 복합 정보 비교 계산치에 해당 칼라의 복합정보 가중치를 승산하는 복합정보 가중치 승산부(320)와, 상기 색상정보 가중치 승산부(230)의 출력과 상기 색상-공간정보 가중치 승산부(240)의 출력 및 상기 복합정보 가중치 승산부(320)의 출력을 가산하는 가산기(290)와, 상기 가산기(280)의 출력을 영상 차이값으로 출력하는 영상 차이값 출력부(300)로 구성된다.
이와 같이 구성된 본 발명에 의한 멀티미디어 데이터 검색 장치의 동작 및 작용을 첨부한 도면 도3 내지 도9에 의거 상세히 설명하면 다음과 같다.
먼저, 멀티미디어 데이터 베이스(40)에 저장될 영상들이 입력되면 제1영상 특징 추출부(10)는 그 입력 영상의 특징을 추출하게 되며, 질의 영상이 입력되면 제2영상 특징 추출부(50)는 입력 질의 영상의 특징을 추출하게 된다. 여기서 제1 및 제2 영상 특징 추출부(10)(50)의 구성 및 작용이 동일하므로, 하나의 영상 특징 추출부에 대해서만 설명한다.
즉, 제1영상 특징 추출부(10)는 도4에 도시된 바와 같이, 제1칼라 공간 그룹화부(110)내의 각각의 칼라 공간 그룹화기(칼라공간 그룹화기C-1 ~ 칼라공간 그룹화기C-n)에서 주지한 바와 같이 각 색상 정보에 적합하게 칼라 공간을 그룹화한다. 그리고 색상 정보 특징 추출부(120)내의 각각의 색상정보 특징 추출기(색상정보1 특징 추출기 ~ 색상정보n 특징 추출기)에서 입력 영상과 상기 제1칼라 공간 그룹화부(110)에서 그룹화된 각 색상 정보에 해당하는 칼라 공간의 그룹화 정보를 사용하여 입력 영상의 색상 정보 특징을 추출한다.
상기에서 색상 정보에 사용하는 칼라 공간을 칼라 그룹으로 나누는 방법은 다음과 같다.
첫째, 칼라 공간을 균등하게 나누는 방법, 둘째, 칼라 공간을 비균등하게 나누는 방법, 셋째, 상기 첫째 및 둘째 방법에 대해 각각 2개의 요소를 갖는 칼라 그룹으로 나누는 방법, 넷째, 상기 첫째 및 둘째 방법에 대해 각각 2개 이상의 요소를 갖는 칼라 그룹으로 나누는 방법으로 칼라 그룹을 나눈다.
다음으로, 색상-공간 그룹화부(130)는 색상-공간 정보 추출에 적합하게 칼라 공간을 그룹화한다. 예를 들어, 도6의 영상에 대해 전체 칼라 공간을 칼라 그룹으로 적당하게 나눈다고 가정할 경우, 원 영상의 배경색은 칼라 그룹1에, 삼각형 물체의 색은 칼라 그룹2에, 초승달 물체의 색은 칼라 그룹3에, 사각형 모양의 물체는 칼라 그룹4에 속하게 그룹화할 수 있다.
여기서, 색상-공간 정보에 사용하는 칼라 공간을 칼라 그룹으로 나누는 방법은 다음과 같다.
첫째, 칼라 공간을 균등하게 나누는 방법, 둘째, 칼라 공간을 비균등하게 나누는 방법, 셋째, 상기 첫째 및 둘째 방법에 대해 각각 2개의 요소를 갖는 칼라 그룹으로 나누는 방법, 넷째, 상기 첫째 및 둘째 방법에 대해 각각 2개 이상의 요소를 갖는 칼라 그룹으로 나누는 방법으로 칼라 그룹을 나눈다.
이와 같이 칼라 공간을 색상-공간 정보에 적합하게 그룹화한 상태에서, 색상-공간 특징 추출부(140)는 입력 영상과 상기 색상-공간 그룹화부(130)에서 얻어지는 각 색상-공간 정보에 해당하는 칼라 공간의 그룹화 정보를 사용하여 색상-공간 정보의 특징을 추출한다. 여기서, 색상-공간 정보를 추출해내는 방법으로는, 화소들 위치의 평균 및 분산 값과 같은 모멘트 방법에 의해 색상-공간 정보의 특징을 추출할 수 있으며, 화소들 위치의 공분산 행렬(Covariance matrix)을 통한 고유 벡터(eigen vector)와 고유 값(eigen value)을 이용하여 색상-공간 정보의 특징을 추출할 수 있으며, 화소들의 평균 위치를 중심으로 일정 거리내에서 히스토그램을 다시 구하는 지역 히스토그램을 이용하여 입력 영상의 색상-공간 정보의 특징을 추출할 수 있다.
이를 좀 더 상세히 설명하면, 모멘트 방법은, 화소들의 공간적 분포를 알기 위해 많이 사용되는 방법으로, 1차 모멘트는 화소들의 중심(center point)을 나타내고, 2차 모멘트는 화소들의 분산을, 3차 모멘트는 화소들의 분포 모양의 찌그러 진 정도를 나타낸다. 통상 3차 모멘트까지를 많이 사용하며 좀 더 정확한 정보를 알기 위해서 고차 모멘트를 사용하기도 하고, zernike 모멘트 등을 사용할 수도 있다.
다음으로, 공분산 행렬의 고유 벡터 및 고유 값을 이용하여 입력 영상의 색상-공간적 특징을 추출하는 방법은, 입력 영상내 화소들의 위치 값으로 공분산 행렬을 구하고 이 행렬에 대해 고유 벡터와 고유 값을 구함으로써, 화소들의 공간적 분포에 대한 정보를 추출하는 방법이다. 즉, 화소들의 위치의 중심점으로부터 분포가 멀리 떨어져 있는 방향과 이의 수직한 방향에 대한 정보가 고유 벡터가 되고, 상기 중심점으로부터 고유 벡터 방향으로 얼마나 멀리 떨어져 있는지를 나타내는 분포의 정도에 대한 정보가 고유 값이 된다. 예를 들면, 도7과 같은 화소 분포를 가지는 영상에 대해 고유 벡터는 A1, A2가 되고, 각각의 고유 값은 r1, r2가 된다.
상기에서 공분산 행렬은 다음의 [수학식 1]과 같이 정의할 수 있다.
Figure 111999000717870-pat00002
그래서 어느 한 칼라 그룹의 전체 화소수를 N이라 하고, i번째 화소의 위치를 (xi, yi)라 할 때 다음의 [수학식 2] 및 [수학식 3]이 성립한다.
Figure 112006017859718-pat00025
Figure 112006017859718-pat00026
Figure 112006017859718-pat00027
Figure 112006017859718-pat00028
Figure 112006017859718-pat00029
상기 [수학식 1]의 공분산 행렬 C의 고유벡터를 A1, A2라 하고, 고유값을 r1, r2라 할 때, 공분산 행렬을 다음의 [수학식 4]와 같이 나타낼 수 있다.
Figure 111999000717870-pat00008
Figure 111999000717870-pat00009
따라서 [수학식 4]를 풀면, A1, A2, r1, r2를 구할 수 있으며, 이로 인해 칼라 영상의 위치 정보인 고유 벡터와 고유값을 얻게 된다.
다음으로, 지역 히스토그램(Local Histogram)에 의해 색상-공간 특징을 추출하는 방법을 설명하면 다음과 같다.
전체 영상에 대해 구하는 칼라 히스토그램과는 달리 각 칼라 그룹의 추출된 화소들에 대해 한정된 영역내에서 구하는 히스토그램을 지역 히스토그램이라고 한다. 한정된 영역으로는 추출된 모든 화소를 포함하는 가장 작은 사각형(bounding rectangle)을 사용하거나 고유 벡터 방향에 평행한 변을 갖으면서 변의 길이는 고유 값에 비례하고 중심은 화소들의 중심점인 사각형을 사용할 수 있다. 여기서 고유 벡터 및 고유값을 갖는 사각형을 사용하는 방법이 바운딩 사각형을 사용하는 방법에 비해 잡음에 더 영향이 적고 안정적이다. 도8에 추출된 화소들에 대해 한정된 지역 히스토그램의 영역을 구하는 방법의 일예를 보인다. 도8에서 얇은 점선 사각형은 모든 화소를 포함하는 가장 작은 사각형을 나타내고 굵은 점선 사각형은 고유 값에 k배 만큼 비례하는 변의 길이를 갖는 사각형을 나타낸다.
한편, 색상 정보와 색상-공간 정보로써 칼라 영상을 효과적으로 표현할 수 있으며, 하기 표<1-1>에 N개의 요소를 갖는 칼라 그룹에 대해 칼라 히스토그램의 색상 정보와 화소 위치의 평균값(중심점)과 지역 히스토그램의 2가지의 색상-공간 정보를 추출한 예를 보인다.
표<1-1>
칼라 그룹 1 2 ...... N
칼라 히스토그램 CH1 CH2 ...... CHN
중 심 점 CP1 CP2 ...... CPN
지역 히스토그램 LH1 LH2 ...... LHN
표<1-1>의 경우처럼 색상 정보와 색상-공간 정보를 동일한 칼라 그룹에서 구하지 않고 각각의 특징을 잘 나타낼 수 있는 각기 다른 칼라 그룹에 대해서도 구할 수 있으며 이는 다음과 같다.
Na개의 요소를 갖는 칼라 그룹 A로는 칼라 히스토그램의 색상 정보를 구하는 데 사용하고, Nb개의 요소를 갖는 칼라 그룹 B로는 화소 위치의 평균값(중심점)과 지역 히스토그램의 2가지의 색상-공간정보를 구할 경우는 표<1-2>와 같다.
표<1-2>
칼라 그룹A 1 2 ..... Na
칼라 히스토그램 CH1 CH2 ..... CHNa
칼라 그룹B 1 2 ..... Nb
중 심 점 CP1 CP2 ..... CPNb
지역 히스토그램 LH1 LH2 ..... LHNb
따라서 칼라 영상 특징 추출기(150)는 상기와 같이 색상정보 특징 추출부(120)에서 추출한 색상 정보의 특징과 상기 색상-공간 특징 추출부(140)에서 추출한 색상-공간 정보의 특징을 조합하여 후단의 제1칼라 영상 표현부(20) 및 제2 칼라 영상 표현부(60)에 전달한다.
여기서 제1 및 제2 칼라 영상 표현부(20)(60)의 구성 및 작용이 동일하므로, 이하에서는 하나의 칼라 영상 표현부의 동작만을 설명한다.
칼라 영상은 해상도와 같은 일반적 특징들과 추출된 특징들의 각 색상 정보와 색상-공간 정보, 각각의 정보에 해당하는 칼라 그룹에 대한 정보, 하위 계층의 칼라 영상 표현 정보 등등을 사용하여 표현할 수 있다. 칼라 영상 표현은 미리 정의된 칼라 영상 표현을 포함할 수도 있고 다른 칼라 영상 표현에 포함될 수도 있다. 색상 정보 NC개와 색상-공간 정보 NS개, 그리고 하위 계층의 칼라 영상 표현 N개를 사용하여 칼라 영상을 표현하는 형식의 예는 다음과 같다.
칼라 영상 = {
영상의 일반적 특징;
색상정보1의 이름, 색상정보1의 특징, 색상정보1에사용하는 칼라 그룹, ...;
색상정보2의 이름, 색상정보2의 특징, 색상정보2에사용하는 칼라 그룹, ...;
................................................................
................................................................
색상정보 NC의 이름, 색상정보 NC의 특징, 색상정보 NC에 사용하는 칼라 그룹, ...;
색상-공간 정보1의 이름, 색상-공간 정보1의 특징, 색상-공간 정보1에 사용하는 칼라 그룹, ...;
색상-공간 정보2의 이름, 색상-공간 정보2의 특징, 색상-공간 정보2에 사용하는 칼라 그룹, ...;
................................................................
................................................................
색상-공간 정보 NS이 이름, 색상-공간 정보 NS의 특징, 색상-공간 정보 NS에 사용하는 칼라 그룹, ...;
Color Image Sub Description 1;
.............................;
Color Image Sub Description N;
}
상기 영상의 일반적 특징으로는 영상의 해상도, 파일 이름, 파일 형식 등을 사용할 수 있고, 추출된 특징에 대한 셋째 항목인 칼라 그룹에 대한 정보에는 칼라 그룹의 각 요소에 대한 정보도 포함되어야 한다. 예를 들면, 칼라 그룹의 첫째 요소는 R(red)값이 0 ~ 20, G(green)값이 0 ~ 20, B(blue)값이 0 ~ 20이고, 둘째 요소는 R값이 0 ~ 20, G값이 0 ~ 20, B값이 20 ~ 40 등과 같이 각 요소에 대한 정보를 포함하는 데이터 정보나 각 요소 값을 얻을 수 있는 함수 등이 칼라 그룹의 각 요소에 대한 정보로서 사용될 수 있다.
칼라 영상을 표현하는데 각 색상 정보와 색상-공간 정보, 각각의 정보에 해당하는 칼라 그룹에 대한 정보뿐만 아니라 검색시 사용될 수 있는 해당 정보의 중요도를 나타내는 가중치, 각 정보의 차이를 구하는 방법 등도 포함시킬 수 있다.
상기 칼라 영상 표현 형식을 사용하여 칼라 영상을 표현한 실시예는 다음과 같다.
Trademark Image1 Description= {
File_name = "trade001.jpg" 해상도=128*128;
Color Description={
칼라 히스토그램, [0.1, 0.2, 0.5, 0.2], RGB 칼라 공간을 균등하게 4개로 나눔;
칼라 히스토그램, [0.4, 0.2, 0.1, 0.1, 0.2], HSI 칼라 공간을 균등하게 5개로 나눔;}
칼라 히스토그램, [0.3, 0.2, 0.2, 0.2, 0.1], RGB 칼라 공간을 균등하게 5개로 나눔;
물체의 중심점, [(100,200)(100,200)], 배경색과 배경을 제외한 모든 색 2개로 나눔;
색상의 분산, [4, 12, 6, 2, 21], 둘째 색상 정보와 동일하게 HSI 칼라 공간을 5개로 나눔;
색상의 지역 히스토그램, [0.4, 0.8, 0.6], HSI 칼라 공간을 비균등하게 3개로 나눔;
}
여기서 Trademark Image1 Description은 영상의 일반적 특징, 1개의 하위 계층 영상 표현 정보, 1개의 색상 정보, 그리고 3개의 색상-공간 정보를 사용하여 표현되고, 하위 계층의 영상 표현 정보는 2개의 색상 정보를 사용하여 표현되고 있다. 첫번째 색상-공간 정보는 영상내의 물체를 배경과 분리해 낼 수 있게 칼라 공간을 2개로 분할 함으로써 물체가 영상내에 위치하고 있는 중심점을 추출해내고 있음을 보여 준다.
한편, 상기와 같은 방법에 의해 각 칼라 영상의 표현이 완료되면, 데이터 베이스 구축부(30)는 각 칼라 영상의 특징에 맞게 표현된 칼라 형식 데이터를 멀티미디어 데이터 베이스(40)에 저장하게 되며, 동시에 입력 영상들도 상기 멀티미디어 데이터 베이스(40)에 저장하게 된다.
이와 같은 상태에서 검색이 요구되어 질의 영상이 입력되면, 주지한 바와 같이 질의 영상에 대한 칼라 영상의 특징이 제2영상 특징 추출부(50)에서 추출되고, 제2칼라 영상 표현부(60)에서 일반적인 표현 형식에 맞게 변환되며, 이렇게 칼라 영상의 표현 형식이 변경된 특징들, 즉 칼라 영상의 색상 정보 특징 및 색상-공간 정보 특징이 특징 비교부(70)에 입력된다.
상기 특징 비교부(70)는 질의 영상에 대해 표현된 색상 정보 특징과 색상-공간 정보 특징을 멀티미디어 데이터 베이스(40)에 저장된 임의 영상의 색상 정보 특징 및 색상-공간 정보 특징을 비교하여 두 영상간의 차이 정도를 추출한다.
즉, 도5에 도시된 바와 같이, 특징 비교부(70)에서 칼라 색상정보 비교 및 계산부(210)는 내부의 다수개의 칼라 색상정보 비교 및 계산기(211 ~ 210+n)로 상기 제2칼라 영상 표현부(60)에서 출력되는 질의 영상의 색상 정보 특징과 멀티미디어 데이터 베이스(40)에서 얻어지는 임의 영상의 색상 정보 특징을 비교하여 그 결과치를 출력한다.
이렇게 출력되는 색상 정보 차이값은 색상정보 가중치 승산부(230)에서 각 칼라 색상정보 가중치 설정기(예를 들어, 251)에서 설정되는 가중치와 승산기(252)에서 승산되어 그 결과치가 출력된다.
마찬가지로, 칼라 색상-공간 정보 비교 및 계산부(220)도 각각의 칼라 색상-공간 정보 비교 및 계산기를 이용하여 상기 제2 칼라 영상 표현부(60)에서 출력되는 색상-공간 정보 특징값과 멀티미디어 데이터 베이스(40)에서 출력되는 임의 칼라 영상의 색상-공간 정보 특징의 차이를 계산하게 되고, 그 결과치는 색상-공간 가중치 승산부(240)에서 설정된 색상-공간 정보 가중치와 승산되어 그 결과치가 출력된다.
또한, 칼라 복합정보 비교 및 계산부(310)도 각각의 칼라 복합정보 비교 및 계산기(311 ~ 310+n)를 이용하여 상기 색상 정보 특징값들과 색상-공간 정보 특징값들을 사용하여 차이를 계산하게 되고, 그 결과치는 복합정보 가중치 승산부(320)에서 설정된 복합 정보 가중치와 승산되어 그 결과치가 출력된다.
이렇게 출력되는 색상정보 차이값 및 색상-공간 정보 차이값, 그리고 복합 정보 차이값은 가산기(290)에서 각각 가산된 후 영상 차이값 출력부(300)를 통해 어드레스 발생부(80)에 전달된다.
다시 말해, 상기 특징 비교부(70)는, 주지한 바와 같은 방법으로 얻어지는 칼라 영상의 특징, 즉, 칼라 색상정보 특징 및 칼라 색상-공간 정보 특징을 이용하여 두개의 칼라 영상간의 차이 정도를 추출한다.
예를 들어, 질의하고자 하는 영상을 Q, 검색 영상을 T라고 하고 질의 영상과 검색 영상의 i번째 색상 정보를 각각 Qc(i) Tc(i), 질의 영상과 검색 영상의 j번째 색상-공간 정보를 각각 Qs(j), Ts(j)라고 할때, 입력 영상 Q와 검색 영상 T와의 차이 정도 Dist(Q,T)는 다음과 같다.
Figure 112006017859718-pat00030
여기서 distcolori()와 Wc(i)는 i번째 색상 정보의 차이 정도와 그 가중치를, distspatialj()와 Ws(j)는 j번째 색상-공간 정보의 차이 정도와 그 가중치를, distmultik()와 Wm(k)는 K번째 복합 정보의 차이 정도와 그 가중치를, Nc는 사용된 색 상 정보의 수를, Ns는 사용된 색상-공간 정보의 수를, Nm은 사용된 색상-공간 정보의 수를 각각 나타낸다.
상기 distcolori()와 distspatialj()를 구할때 SAD(Sum of Absolute Distance)를 사용하여 구하는 하나의 예는 다음과 같다.
Figure 112006017859718-pat00031
Figure 112006017859718-pat00032
상기에서 Na(i)는 i번째 색상 정보에 사용된 칼라 그룹의 요소 수이고, Nb(j)는 j번째 색상-공간 정보에 사용된 칼라 그룹의 요소 수이고, Qc(i)(k)는 i번째 색상 정보에 사용된 칼라 그룹의 k번째 요소에 해당하는 색상 정보의 특징을 Qs(j)(k)는 j번째 색상-공간 정보에 사용된 칼라 그룹의 k번째 요소에 해당하는 색상-공간 정보의 특징을 각각 나타낸다.
또한, 칼라 그룹의 요소 수가 N개인 2번째 색상 정보와 3번째 색상-공간 정보를 사용하여 distmultik()를 구하는 하나의 예는 다음과 같다.
Figure 112006017859718-pat00033
상기에서 N은 칼라 그룹의 요소 수이다.
이렇게 하여 얻어지는 두 영상간의 차이 값은 어드레스 발생부(80)에 전달되 며, 어드레스 발생부(80)는 이를 근거로 해당 영상을 출력하기 위한 어드레스를 생성하여 멀티미디어 데이터 베이스(40)에 인가하며, 상기 멀티미디어 데이터 베이스(40)는 그 어드레스에 해당하는 영상을 출력한다. 이렇게 출력되는 영상은 데이터 출력부(90)를 통해 디스플레이되며, 검색자는 화면에 디스플레이되는 영상을 확인하여 자신이 찾고자 하는 영상 인지를 판단한다.
첨부한 도면 도9는 본 발명에 의한 색상 정보를 이용한 멀티미디어 데이터 검색 방법을 보인 흐름도이다.
도시된 바와 같이, 영상을 입력받는 단계(S100), 각각의 색상 정보에 사용하는 칼라 공간을 그룹화하는 단계(S101), 상기 그룹화한 칼라 공간에 입력 영상을 대비하여 색상 정보의 특징을 추출하는 단계(S102), 각각의 색상-공간 정보에 사용하는 칼라 공간을 그룹화하는 단계(S103), 상기 그룹화한 색상-공간 정보에 상기 입력 영상을 대비하여 색상-공간 정보의 특징을 추출하는 단계(S104), 상기 추출한 색상 정보 특징 및 색상-공간 정보 특징을 이용하여 칼라 영상의 특징을 추출하는 단계(S105), 상기 추출한 칼라 영상의 특징을 정의된 표현 형식으로 변환하는 단계(S106), 상기 정의된 표현 형식으로 변환된 입력 칼라 영상의 특징과 데이터 베이스화된 칼라 영상의 특징을 비교하여 두 영상간의 차이 정도를 추출하는 단계(S107), 상기 추출한 두 영상간의 차이 정도에 따라 어드레스를 생성하는 단계(S108), 상기 생성한 어드레스에 의해 선택된 칼라 영상을 출력하는 단계(S109)로 이루어진다.
이와 같이 이루어지는 본 발명에 의한 색상 정보를 이용한 멀티미디어 데이 터 검색 방법은, 먼저 질의 영상이 입력되면, 각각의 색상정보(1 ~ n)에 사용하는 칼라 공간을 그룹화한다(S100 ~ S101). 다음 단계로 상기 입력 영상을 그룹화한 각 생상 정보에 해당하는 칼라 공간의 그룹화 정보와 대비하여 색상 정보(1 ~ n)의 특징을 추출한다(S102). 아울러 각각의 색상-공간 정보(1 ~ n)에 사용하는 칼라 공간을 그룹화하고, 입력 영상을 상기 기룹화한 각 색상-공간 정보에 해당하는 칼라 공간의 그룹화 정보와 대비하여 색상-공간 정보(1 ~ n)의 특징을 추출한다(S104).
다음으로 추출한 색상 정보 특징과 색상-공간 정보 특징을 이용하여 칼라 영상의 특징을 추출한다(S105).
상기와 같이 칼라 영상의 특징을 추출한 상태에서 추출한 칼라 영상의 특징을 정의된 표현 형식으로 변환한다(S106). 다음으로 입력 칼라 영상의 특징과 데이터 베이스화된 칼라 영상의 특징을 비교하여 두 영상간의 차이값을 생성한다(S107). 그리고 생성한 차이값으로 어드레스를 생성하여 멀티미디어 데이터 베이스로부터 칼라 영상을 출력시킨다(S108 ~ S109).
여기서 추출한 칼라 영상을 정의된 표현 형식으로 변환하였으나, 실제로 추출한 칼라 영상의 특징 만으로도 멀티미디어 데이터 베이스에 있는 영상을 검색할 수 있다. 즉, 추출한 칼라 영상의 특징을 멀티미디어 데이터 베이스에 이미 저장된 칼라 영상의 특징과 비교 함으로써, 멀티미디어 데이터 베이스에 저장된 영상의 검색이 가능하다. 물론 멀티미디어 데이터 베이스에 저장된 특징 데이터도 칼라 영상의 특징 데이터이다.
이상에서 설명한 본 발명은 멀터미디어 데이터로 영상(동영상, 정지 영상 등 등)을 실시예로 들어 설명 하였으나, 본 발명은 영상에만 한정되는 것은 아니고, 본 발명의 간단한 변형에 의해 음성 및 일반 문자 데이터의 검색까지도 가능하다.
이상에서 상술한 바와 같이 본 발명은, 색상 정보와 색상-공간 정보를 이용하여 칼라 영상의 특징을 추출함으로써, 색상의 분포 정보 뿐만 아니라 색상의 공간적 정보까지도 알 수 있어 멀티미디어 데이터 검색시 유용한 검색이 가능한 효과가 있다.
또한, 추출한 칼라 영상의 특징을 일반적인 형식으로 표현할 수 있어 많은 종류의 특징을 갖는 칼라 영상을 일관된 형식으로 표현이 가능하므로, 영상 검색시 검색에 용이함을 도모해주는 효과도 있다.

Claims (20)

  1. 칼라 영상 기술자 추출 장치에 있어서,
    각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하기 위한 제1 칼라 공간 그룹화수단;
    상기 제1 칼라 공간 그룹화수단에서 그룹화한 각각의 칼라 공간을 사용하여 색상의 특징을 추출하기 위한 색상 정보 특징 추출수단;
    각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하기 위한 제2 칼라 공간 그룹화수단;
    상기 제2 칼라 공간 그룹화수단에서 그룹화한 각각의 칼라 공간을 사용하여 색상-공간의 특징을 추출하기 위한 색상-공간 특징 추출수단;
    상기 색상 정보 특징 추출수단 및 상기 색상-공간 특징 추출수단에서 각각 얻어지는 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하기 위한 칼라 영상 특징 추출수단; 및
    상기 칼라 영상 특징 추출수단에서 추출한 칼라 영상의 특징을 정의된 형식(칼라 영상 기술자)으로 표현하기 위한 칼라 영상 표현수단
    을 포함하는 칼라 영상 기술자 추출 장치.
  2. 제 1 항에 있어서,
    상기 칼라 영상 기술자는,
    하기의 [형식 1]인 것을 특징으로 하는 칼라 영상 기술자 추출 장치.
    [형식 1]
    Trademark Image1 Description= {
    File_name = "trade001.jpg" 해상도=128*128;
    Color Description={
    칼라 히스토그램, [0.1, 0.2, 0.5, 0.2], RGB 칼라 공간을 균등하게 4개로 나눔;
    칼라 히스토그램, [0.4, 0.2, 0.1, 0.1, 0.2], HSI 칼라 공간을 균등하게 5개로 나눔;}
    칼라 히스토그램, [0.3, 0.2, 0.2, 0.2, 0.1], RGB 칼라 공간을 균등하게 5개로 나눔;
    물체의 중심점, [(100,200)(100,200)], 배경색과 배경을 제외한 모든 색 2개로 나눔;
    색상의 분산, [4, 12, 6, 2, 21], 둘째 색상 정보와 동일하게 HSI 칼라 공간을 5개로 나눔;
    색상의 지역 히스토그램, [0.4, 0.8, 0.6], HSI 칼라 공간을 비균등하게 3개로 나눔;
    }
    여기서, Trademark Image1 Description은 영상의 일반적 특징, 1개의 하위 계층 영상 표현 정보, 1개의 색상 정보, 그리고 3개의 색상-공간 정보를 사용하여 표현되고, 이때 하위 계층의 영상 표현 정보는 2개의 색상 정보를 사용하여 표현되며, 영상내의 물체를 배경과 분리하기 위한 중심점은 첫번째 색상-공간 정보를 사용하여 표현된다.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제1 칼라 공간 그룹화수단은,
    색상 정보에 사용하는 칼라 그룹을, 적절한 수로 전체 칼라 공간을 균등하게 나누는 방식과 적절한 수로 칼라 공간을 비균등하게 나누는 방식과 상기 첫째 및 둘째 칼라 공간 그룹화 방식에 대해 각각 2개의 요소를 갖는 칼라 그룹으로 나누는 방식 및 상기 첫째 및 둘째 방식에 대해 각각 2개 이상의 요소를 갖는 칼라 그룹으로 나누는 방식중 하나를 택일하여 칼라 공간을 그룹화하는 것을 특징으로 하는 칼라 영상 기술자 추출 장치.
  4. 제 3 항에 있어서,
    상기 제2 칼라 공간 그룹화수단은,
    색상-공간 정보에 사용하는 칼라 그룹을, 적절한 수로 전체 칼라 공간을 균등하게 나누는 방식과 적절한 수로 칼라 공간을 비균등하게 나누는 방식과 상기 첫째 및 둘째 칼라 공간 그룹화 방식에 대해 각각 2개의 요소를 갖는 칼라 그룹으로 나누는 방식 및 상기 첫째 및 둘째 방식에 대해 각각 2개 이상의 요소를 갖는 칼라 그룹으로 나누는 방식 중 하나를 택일하여 칼라 공간을 그룹화하는 것을 특징으로 하는 칼라 영상 기술자 추출 장치.
  5. 칼라 영상 기술자 추출 방법에 있어서,
    각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하는 제1 칼라 공간 그룹화 단계;
    상기 그룹화한 각각의 칼라 공간을 사용하여 색상의 특징을 추출하는 단계;
    각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하는 제2 칼라 공간 그룹화 단계;
    상기 그룹화한 각각의 칼라 공간을 사용하여 색상-공간의 특징을 추출하는 색상-공간 특징 추출 단계;
    상기 추출한 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하는 단계; 및
    상기 추출한 칼라 영상의 특징을 정의된 형식(칼라 영상 기술자)으로 표현하는 단계
    를 포함하는 칼라 영상 기술자 추출 방법.
  6. 제 5 항에 있어서,
    상기 칼라 영상 기술자는,
    하기의 [형식 2]인 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
    [형식 2]
    Trademark Image1 Description= {
    File_name = "trade001.jpg" 해상도=128*128;
    Color Description={
    칼라 히스토그램, [0.1, 0.2, 0.5, 0.2], RGB 칼라 공간을 균등하게 4개로 나눔;
    칼라 히스토그램, [0.4, 0.2, 0.1, 0.1, 0.2], HSI 칼라 공간을 균등하게 5개로 나눔;}
    칼라 히스토그램, [0.3, 0.2, 0.2, 0.2, 0.1], RGB 칼라 공간을 균등하게 5개로 나눔;
    물체의 중심점, [(100,200)(100,200)], 배경색과 배경을 제외한 모든 색 2개로 나눔;
    색상의 분산, [4, 12, 6, 2, 21], 둘째 색상 정보와 동일하게 HSI 칼라 공간을 5개로 나눔;
    색상의 지역 히스토그램, [0.4, 0.8, 0.6], HSI 칼라 공간을 비균등하게 3개로 나눔;
    }
    여기서, Trademark Image1 Description은 영상의 일반적 특징, 1개의 하위 계층 영상 표현 정보, 1개의 색상 정보, 그리고 3개의 색상-공간 정보를 사용하여 표현되고, 이때 하위 계층의 영상 표현 정보는 2개의 색상 정보를 사용하여 표현되며, 영상내의 물체를 배경과 분리하기 위한 중심점은 첫번째 색상-공간 정보를 사용하여 표현된다.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 제1 칼라 공간 그룹화 단계는,
    적절한 수로 전체 칼라 공간을 균등하게 나누는 제1방식, 적절한 수로 칼라 공간을 비균등하게 나누는 제2방식, 상기 제1 및 제2 칼라 공간 그룹화 방법에 대해 각각 2개의 요소를 갖는 칼라 그룹으로 나누는 방식, 상기 제1 및 제2 방식에 대해 각각 2개 이상의 요소를 갖는 칼라 그룹으로 나누는 방식 중 하나를 택일하여 칼라 공간을 그룹화하는 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
  8. 제 7 항에 있어서,
    상기 제2 칼라 공간 그룹화 단계는,
    적절한 수로 전체 칼라 공간을 균등하게 나누는 제1방식, 적절한 수로 칼라 공간을 비균등하게 나누는 제2방식, 상기 제1 및 제2 칼라 공간 그룹화 방식에 대해 각각 2개의 요소를 갖는 칼라 그룹으로 나누는 방식, 상기 제1 및 제2 방식에 대해 각각 2개 이상의 요소를 갖는 칼라 그룹으로 나누는 방식 중 하나를 택일하여 칼라 공간을 그룹화하는 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
  9. 제 8 항에 있어서,
    상기 색상-공간 특징 추출 단계는,
    영상 내에서 각 칼라 그룹별 화소들의 위치 정보의 모멘트를 구하여 색상-공간 정보의 특징을 추출하는 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
  10. 제 8 항에 있어서,
    상기 색상-공간 특징 추출 단계는,
    영상 내에서 각 칼라 그룹별 화소들의 위치 정보의 공분산 행렬의 고유 벡터와 고유값을 구하여 색상-공간 정보의 특징을 추출하는 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
  11. 제 8 항에 있어서,
    상기 색상-공간 특징 추출 단계는,
    영상 내에서 각 칼라 그룹별 화소들의 지역 히스토그램을 구하여 색상-공간 정보의 특징을 추출하는 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
  12. 제 11 항에 있어서,
    상기 지역 히스토그램은,
    해당 칼라 그룹의 모든 화소를 포함하는 가장 작은 사각형에 대해 지역 히스토그램을 산출하는 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 지역 히스토그램은,
    상기 공분산 행렬의 고유 벡터와 고유값을 사용하여 고유 벡터 방향에 평행한 변을 갖으면서 변의 길이는 고유값에 비례하고 중심은 화소들의 중심점인 사각형 영역에 대해 지역 히스토그램을 산출하는 것을 특징으로 하는 칼라 영상 기술자 추출 방법.
  14. 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 장치에 있어서,
    칼라 영상 및 그에 상응하는 칼라 영상 기술자를 멀티미디어 데이터 베이스에 저장하기 위한 데이터 베이스 구축수단;
    입력되는 질의 영상에서 각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하여 색상의 특징을 추출하고, 각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하여 색상-공간의 특징을 추출한 후 상기 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하여 정의된 형식(칼라 영상 기술자)으로 표현하기 위한 칼라 영상 기술자 추출수단;
    상기 칼라 영상 기술자 추출수단에서 추출한 칼라 영상 기술자를 상기 멀티미디어 데이터 베이스에 저장된 칼라 영상 기술자와 비교하기 위한 특징 비교수단;
    상기 특징 비교수단에서 얻어지는 영상간 차이 신호에 따라 해당 영상의 출력을 위해 어드레스를 생성하여 인가하기 위한 어드레스 발생수단; 및
    상기 어드레스를 인가받은 영상 데이터의 출력 레벨을 조절하여 출력하기 위한 데이터 출력수단
    을 포함하는 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색장치.
  15. 제 14 항에 있어서,
    상기 칼라 영상 기술자 추출수단은,
    각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하기 위한 제1 칼라 공간 그룹화수단;
    상기 제1 칼라 공간 그룹화수단에서 그룹화한 각각의 칼라 공간을 사용하여 색상의 특징을 추출하기 위한 색상 정보 특징 추출수단;
    각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하기 위한 제2 칼라 공간 그룹화수단;
    상기 제2 칼라 공간 그룹화수단에서 그룹화한 각각의 칼라 공간을 사용하여 색상-공간의 특징을 추출하기 위한 색상-공간 특징 추출수단;
    상기 색상 정보 특징 추출수단 및 상기 색상-공간 특징 추출수단에서 각각 얻어지는 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하기 위한 칼라 영상 특징 추출수단; 및
    상기 칼라 영상 특징 추출수단에서 추출한 칼라 영상의 특징을 정의된 형식(칼라 영상 기술자)으로 표현하기 위한 칼라 영상 표현수단
    을 포함하는 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색장치.
  16. 제 14 항 또는 제 15 항에 있어서,
    상기 특징 비교수단은,
    상기 칼라 영상 기술자 추출수단에서 추출한 칼라 영상 기술자 내의 색상 정보 특징과 상기 멀티미디어 데이터 베이스에 저장되어 있는 칼라 영상 기술자 내의 색상 정보 특징을 비교하여 그 차이값을 계산하기 위한 칼라 색상정보 비교 및 계산수단;
    상기 칼라 영상 기술자 추출수단에서 추출한 칼라 영상 기술자 내의 색상-공간 정보의 특징과 상기 멀티미디어 데이터 베이스에 저장되어 있는 칼라 영상 기술자 내의 색상-공간 정보의 특징을 비교하여 그 차이값을 계산하기 위한 칼라 색상-공간정보 비교 및 계산수단;
    상기 칼라 색상정보 비교 및 계산수단에서 계산한 색상 정보 계산치에 해당 색상정보 가중치를 승산하기 위한 색상정보 가중치 승산수단;
    상기 칼라 색상-공간정보 계산수단에서 계산한 색상-공간 정보 계산치에 해당 색상-공간정보 가중치를 승산하기 위한 색상-공간정보 가중치 승산수단;
    상기 칼라 영상 기술자 추출수단에서 추출한 색상 정보/색상-공간정보 특징과 상기 멀티미디어 데이터 베이스에 저장되어 있는 칼라 영상 기술자 내의 색상정보/색상공간 정보 특징을 조합 및 비교하기 위한 복합정보 비교 및 계산수단;
    상기 복합정보 비교 및 계산수단에서 계산한 복합 정보 비교 계산치에 해당 복합정보 가중치를 승산하기 위한 복합정보 가중치 승산수단;
    상기 색상정보 가중치 승산수단의 계산값과 상기 색상-공간정보 가중치 승산수단의 계산값 및 상기 복합정보 가중치 승산수단의 계산값을 가산하기 위한 가산수단; 및
    상기 가산수단에서 가산한 영상 차이값을 출력하기 위한 영상 차이값 출력수단
    을 포함하는 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색장치.
  17. 제 16 항에 있어서,
    상기 특징 비교수단은,
    하기의 [수학식 A]를 이용하여 두 칼라 영상을 비교하는 것을 특징으로 하는 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색장치.
    [수학식 A]
    Figure 112006017859718-pat00034
    여기서, Q는 질의하고자 하는 영상을, T는 검색 영상을, Qc(i) Tc(i)는 각각 질의 영상과 검색 영상의 i번째 색상 정보를, Qs(j), Ts(j)는 각각 질의 영상과 검색 영상의 j번째 색상-공간 정보를, Dist(Q,T)는 입력 영상 Q와 검색 영상 T와의 차이 정도를, distcolori()와 Wc(i)는 i번째 색상 정보의 차이 정도와 그 가중치를, distspatialj()와 Ws(j)는 j번째 색상-공간 정보의 차이 정도와 그 가중치를, distmultik()와 Wm(k)는 K번째 복합 정보의 차이 정도와 그 가중치를, Nc는 사용된 색상 정보의 수를, Ns는 사용된 색상-공간 정보의 수를, Nm은 사용된 색상-공간 정보의 수를 나타낸다.
  18. 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 방법에 있어서,
    칼라 영상 및 그에 상응하는 칼라 영상 기술자를 멀티미디어 데이터 베이스에 저장하고 있는 단계;
    입력되는 질의 영상에서 각각의 색상 정보에 따라 영상의 칼라 공간을 그룹화하여 색상의 특징을 추출하고, 각각의 색상-공간 정보에 따라 영상의 칼라 공간을 그룹화하여 색상-공간의 특징을 추출한 후 상기 색상정보와 색상-공간 특징 정보로 칼라 영상의 특징을 추출하여 정의된 형식(칼라 영상 기술자)으로 표현하는 단계;
    상기 추출한 칼라 영상 기술자를 상기 멀티미디어 데이터 베이스에 저장된 칼라 영상 기술자와 비교하는 비교단계;
    상기 비교를 통해 얻어지는 영상간 차이 신호에 따라 해당 영상의 출력을 위해 어드레스를 생성하여 인가하는 단계; 및
    상기 어드레스를 인가받은 영상 데이터의 출력 레벨을 조절하여 출력하는 단계
    를 포함하는 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 방법.
  19. 제 18 항에 있어서,
    상기 비교단계는,
    상기 추출한 칼라 영상 기술자 내의 색상 정보 특징과 상기 멀티미디어 데이터 베이스에 저장되어 있는 칼라 영상 기술자 내의 색상 정보 특징을 비교하여 그 차이값을 계산하는 단계;
    상기 계산한 색상 정보 계산치에 해당 색상정보 가중치를 승산하는 단계;
    상기 추출한 칼라 영상 기술자 내의 색상-공간 정보의 특징과 상기 멀티미디어 데이터 베이스에 저장되어 있는 칼라 영상 기술자 내의 색상-공간 정보의 특징을 비교하여 그 차이값을 계산하는 단계;
    상기 계산한 색상-공간 정보 계산치에 해당 색상-공간정보 가중치를 승산하는 단계;
    상기 추출한 색상 정보/색상-공간정보 특징과 상기 멀티미디어 데이터 베이스에 저장되어 있는 칼라 영상 기술자 내의 색상정보/색상공간 정보 특징을 조합 및 비교하는 단계;
    상기 계산한 복합 정보 비교 계산치에 해당 복합정보 가중치를 승산하는 단계;
    상기 색상정보 가중치를 승산한 계산값과 상기 색상-공간정보 가중치를 승산한 계산값 및 상기 복합정보 가중치 승산한 계산값을 가산하는 단계; 및
    상기 가산한 영상 차이값을 출력하는 단계
    를 포함하는 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 방법.
  20. 제 18 항 또는 제 19 항에 있어서,
    상기 비교단계는,
    하기의 [수학식 B]를 이용하여 두 칼라 영상을 비교하는 것을 특징으로 하는 칼라 영상 기술자를 이용한 멀티미디어 데이터 검색 방법.
    [수학식 B]
    Figure 112006017859718-pat00035
    여기서, Q는 질의하고자 하는 영상을, T는 검색 영상을, Qc(i) Tc(i)는 각각 질의 영상과 검색 영상의 i번째 색상 정보를, Qs(j), Ts(j)는 각각 질의 영상과 검색 영상의 j번째 색상-공간 정보를, Dist(Q,T)는 입력 영상 Q와 검색 영상 T와의 차이 정도를, distcolori()와 Wc(i)는 i번째 색상 정보의 차이 정도와 그 가중치를, distspatialj()와 Ws(j)는 j번째 색상-공간 정보의 차이 정도와 그 가중치를, distmultik()와 Wm(k)는 K번째 복합 정보의 차이 정도와 그 가중치를, Nc는 사용된 색상 정보의 수를, Ns는 사용된 색상-공간 정보의 수를, Nm은 사용된 색상-공간 정보의 수를 나타낸다.
KR19990003199A 1998-12-30 1999-02-01 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법 KR100574556B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR19990003199A KR100574556B1 (ko) 1998-12-30 1999-02-01 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR19980062171 1998-12-30
KR1019980062171 1998-12-30
KR19990003199A KR100574556B1 (ko) 1998-12-30 1999-02-01 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20000047363A KR20000047363A (ko) 2000-07-25
KR100574556B1 true KR100574556B1 (ko) 2006-04-27

Family

ID=26634521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR19990003199A KR100574556B1 (ko) 1998-12-30 1999-02-01 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100574556B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150087057A (ko) * 2014-01-21 2015-07-29 한화테크윈 주식회사 윤형 철조망 검출 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100706414B1 (ko) * 1999-09-16 2007-04-10 주식회사 팬택앤큐리텔 텍스쳐 검색 장치 및 그 방법
KR100739031B1 (ko) * 2000-03-27 2007-07-25 주식회사 큐론 멀티미디어 검색시스템에서 ｍｐｅｇ－７ 표준 메타데이터의 은닉 및 검출 방법과 이를 이용한 멀티미디어 데이터의 검색 방법
KR100372774B1 (ko) * 2000-10-27 2003-02-25 한국과학기술연구원 컬러정보를 사용한 영상 추적방법
KR100718469B1 (ko) * 2005-08-15 2007-05-16 김성정 컬러 코드 매칭 방법을 이용한 콘텐츠 제공 시스템 및 방법
KR101858651B1 (ko) 2014-12-05 2018-05-16 한화테크윈 주식회사 스마트검색을 지원하는 영상저장장치 및 영상저장장치에서 스마트 검색 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150087057A (ko) * 2014-01-21 2015-07-29 한화테크윈 주식회사 윤형 철조망 검출 방법
KR102116092B1 (ko) 2014-01-21 2020-05-27 한화테크윈 주식회사 윤형 철조망 검출 방법

Also Published As

Publication number Publication date
KR20000047363A (ko) 2000-07-25

Similar Documents

Publication Publication Date Title
KR100809798B1 (ko) 컬러 화상 표시 및 검색을 위한 장치 및 방법
Zhang et al. Image retrieval based on color features: An evaluation study
JPH10154149A (ja) 類似オブジェクト検索方法および装置
CA2329094C (en) Color space quantization descriptor structure
CN110956213A (zh) 遥感影像特征库生成、遥感影像检索方法及装置
CN109213886A (zh) 基于图像分割和模糊模式识别的图像检索方法及系统
KR100574556B1 (ko) 칼라 영상 기술자 추출 장치 및 방법과 그를 이용한 멀티미디어 데이터 검색 장치 및 방법
CN108304588B (zh) 一种基于k近邻和模糊模式识别的图像检索方法及系统
JP6387026B2 (ja) 書籍探索装置、方法及びプログラム
KR20010011701A (ko) 칼라 영상에서의 특징 벡타 추출 방법 및 이를 활용한 영상 검색 방법
KR20030005908A (ko) 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법
KR100312331B1 (ko) 내용기반영상검색방법및장치
Bhagat et al. Design and development of systems for image segmentation and content based image retrieval
KR100340035B1 (ko) 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법
JP2001319232A (ja) 類似画像検索装置および類似画像検索方法
CN109299295A (zh) 蓝印花布图像数据库搜索方法
Hung et al. A content-based image retrieval system integrating color, shape and spatial analysis
CN110162654A (zh) 一种基于融合特征与检索结果优化的现勘图像检索算法
Mary et al. Content based image retrieval using colour, multi-dimensional texture and edge orientation
KR100324255B1 (ko) 내용 기반 동영상 검색 방법
CN107870923B (zh) 图像检索方法和装置
KR20030009674A (ko) 내용 기반 영상 검색 장치 및 방법
Abdul-Samad et al. Image Retrieval Using Data Mining Technique
Pavithra et al. Retrieval of homogeneous images using appropriate color space selection
Al-Oraiqat et al. A modified image comparison algorithm using histogram features

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110411

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee