KR20000014123A - 영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반영상 검색 시스템 및 방법 - Google Patents

영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반영상 검색 시스템 및 방법 Download PDF

Info

Publication number
KR20000014123A
KR20000014123A KR1019980033339A KR19980033339A KR20000014123A KR 20000014123 A KR20000014123 A KR 20000014123A KR 1019980033339 A KR1019980033339 A KR 1019980033339A KR 19980033339 A KR19980033339 A KR 19980033339A KR 20000014123 A KR20000014123 A KR 20000014123A
Authority
KR
South Korea
Prior art keywords
image
similarity
weight
feature
input
Prior art date
Application number
KR1019980033339A
Other languages
English (en)
Other versions
KR100340035B1 (ko
Inventor
최영식
김대원
백규태
이민수
Original Assignee
이계철
한국전기통신공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이계철, 한국전기통신공사 filed Critical 이계철
Priority to KR1019980033339A priority Critical patent/KR100340035B1/ko
Publication of KR20000014123A publication Critical patent/KR20000014123A/ko
Application granted granted Critical
Publication of KR100340035B1 publication Critical patent/KR100340035B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반 영상 검색 시스템 및 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 사용자로부터의 데이터베이스 입력요구에 따라 데이터베이스화한 후에, 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하고, 그 결과에 대해 사용자의 의견을 피드백받아 각 특징에 대한 가중치를 조절하여 조절된 가중치에 의해 변화된 영상을 출력하므로써, 시스템의 성능을 향상시키기 위한 내용기반 영상 검색 시스템 및 방법을 제공하고자 함.
3. 본 발명의 해결 방법의 요지
본 발명은, 사용자로부터의 데이터베이스 입력요구에 따라 데이터베이스화하는 제1 단계; 데이터베이스로부터 비슷한 영상을 추려내어 출력하는 제 2 단계; 및 질의결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도 가중치를 조절하고, 조절된 가중치에 의해 변화된 영상을 출력하는 제 3 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 영상 검색 등에 이용됨.

Description

영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반 영상 검색 시스템 및 방법
본 발명은 영상자료를 데이터베이스에 입력할 때, 영상자료를 분석하여 그특징을 추출하고, 이를 이용하여 데이터베이스에 인덱스로 사용함으로써, 영상자료자체를 검색어로 사용할 수 있도록 한 영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반 영상 검색 시스템 및 방법에 관한 것이다.
종래에는 문자기반 데이터베이스에 영상자료(즉, 정지영상, 동영상, 그림등)를 입력하는 경우에, 검색도구로서 이미 입력된 키워드(Keyword) 또는 계산할 수 있는 입력된 값이 사용되었다.
그러나, 이처럼 데이터베이스를 사용하여 영상을 저장하기 위해서는 저장되는 영상과는 별도로 설명(즉, 주석)을 같이 입력시켜 주어야만 하는 불편함이 존재하였다.
따라서, 이러한 단점을 보완하기 위해서, 종래에는 영상을 색상분포 그래프로 표시한 후에 각각의 영상에서 얻은 그래프들을 비교하여 이 그래프들의 차이로 영상의 비슷한 정도를 판단하는 색상의 히스토그램을 비교하는 방법이 사용되었다. 또한, 다른 방법으로는 영상의 전체 평균 색상 만으로 비교하는 방법(즉, 영상전체에 분포되어 있는 색상의 산술 평균값으로 그 영상을 대표하여 비교하는 방법)이 사용되었다.
그리고, 레이아웃을 이용하는 경우에는 영상을 몇 개의 블럭(예컨대, 5×5)으로 나눈 후에, 각 블럭의 평균 색상으로 두 영상간의 레이아웃 유사성을 판단하는 레이아웃 유사성 판별법이 사용되었다.
그러나, 전술한 바와 같은 종래의 방법은, 색상분포가 전체적으로 약간씩 밝거나 어두우면 전혀 비슷하지 않다는 결과가 나오는 단점이 있었고, 한가지 색으로 영상전체의 색을 대표한다는 논리의 비약이 있었다. 또한, 종래의 레이아웃 유사성 판별법의 경우에도 각 블럭의 평균색상으로 그 블럭 전체를 대표시키기에는 무리가 뒤따르기 마련이었다. 또한, 이러한 여러 종류의 특징들을 합하여 종합적인 결과로 질의결과를 유도하는 방법이 있었으나, 사용자가 각각의 특징들에 대해 충분한 이해가 있어야만 정확히 가중치를 조절하고 올바른 결과를 유도해 낼 수 있다는 단점이 있었다.
따라서, 상기한 바와 같은 종래의 제반 문제점을 해결하기 위하여 안출된 본 발명은, 특징을 추출하기 위해 영상의 색상비율, 배열, 즉 레이아웃과 질감, 모양등을 사용하고, 이들 여러 가지 특징들을 하나로 결합하여 유사도를 계산함으로써 영상들간의 유사성을 판단하며, 검색시 여러 종류의 특징들을 이용하고 이들의 중요도를 사용자의 의견에 따라 가중치를 조절하기 위한 영상 유사도 가중치 조절 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은, 사용자로부터의 데이터베이스 입력요구에 따라 영상을 일정개수의 특징에 대해 분석하여 데이터베이스화한 후에, 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하고, 그 결과에 대해 사용자의 의견을 피드백받아 각 특징에 대한 가중치를 조절하여 조절된 가중치에 의해 변화된 영상을 출력하므로써, 시스템의 성능을 향상시키기 위한 내용기반 영상 검색 시스템 및 방법을 제공하는데 또다른 목적이 있다.
도 1 은 본 발명에 따른 영상 유사도 가중치 조절 장치의 일실시예 구성도.
도 2 는 본 발명에 따른 도 1 의 가중치 조절기의 일실시예 구성도.
도 3 은 본 발명에 따른 영상 유사도 가중치 조절 방법에 대한 일실시예 전체 흐름도.
도 4 는 본 발명에 따른 도 3 의 가중치 조절 과정에 대한 일실시예 상세 흐름도.
도 5 는 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반 영상 검색 시스템의 일실시예 구성도.
도 6a 내지 6f 는 본 발명에 따른 도 5의 내용기반 영상 검색 시스템의 각 구성장치의 동작 과정을 나타낸 일실시예 흐름도.
도 7 은 본 발명의 실시예에 따른 웨이브릿 변환 결과를 나타낸 설명도.
도 8 은 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반 영상 검색 방법에 대한 일실시예 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
110 : 가중치 조절부 111 내지 115 : 가중치 조절기
120 : 승산부 130 : 가산부
210 : 계수기 211 : 유사영상 계수기
212 : 상이영상 계수기 220 : 유사도차 계산기
230 : 변화량 조절기 240 : 가중치 가산기
510 : 영상입력장치 511 : 데이터베이스 입력장치
512 : 소형영상 생성장치 513 : 특징추출장치
514 : 유사도 계산장치 520 : 저장장치
521 : 소형 영상 디렉토리 데이터베이스 522 : 영상 디렉토리 데이터베이스
523 : 인덱스 데이터베이스 524 : 특징벡터 디렉토리 데이터베이스
530 : 질의응답장치 531 : 가중치 조절장치
532 : 질의장치 533 : 결과표시장치
상기 목적을 달성하기 위한 본 발명의 영상 유사도 가중치 조절 장치는, 영상 검색시스템에 적용되는 영상 유사도 가중치 조절 장치에 있어서, 외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 입력받아 변화된 가중치를 생성하기 위한 가중치 조절 수단; 외부로부터 입력된 각각의 유사도에 상기 가중치 조절 수단으로부터 입력된 각각의 변환된 가중치를 승산하기 위한 승산 수단; 및 상기 승산수단으로부터 입력된 다수의 유사도를 가산하기 위한 가산 수단을 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 영상 유사도 가중치 조절 방법은, 영상 유사도 가중치 조절 장치에 적용되는 영상 유사도 가중치 조절 방법에 있어서, 피드백 정보를 입력받아, 특징을 선택하는 제 1 단계; 유사영상과 상이영상의 유사도차를 구하는 제 2 단계; 및 평균 유사도차를 구한 후에, 가중치 변화량을 구하여 기존의 초기 가중치에 가중치 변화량을 더해서 변환된 가중치를 구하는 제3 단계를 포함한다. 또한, 영상 유사도 가중치 조절 방법은 피드백 정보의 유사 영상과 상이 영상의 개수를 계수하는 제 4 단계를 더 포함한다.
또한, 상기 또다른 목적을 달성하기 위한 본 발명의 내용기반 영상 검색시스템은, 영상을 검색하기 위한 시스템에 있어서, 입력되는 영상과 저장된 영상으로부터 추출되는 특징 벡터와 산출된 유사도와 생성된 소영상을 저장하기 위해 입력하는 영상입력 수단; 상기 입력되는 영상, 상기 특징 벡터, 상기 소영상, 및 상기 산출된 유사도 테이블을 저장하기 위한 저장 수단; 및 사용자로부터 질의를 입력받아 질의의 유사도에 따른 소영상을 출력하고, 출력된 소영상에 대한 사용자의 선택 정보를 피드백받아 유사도 가중치를 변화시켜 그 결과에 따른 영상을 출력하기 위한 질의응답 수단을 포함한다.
또한, 상기 또다른 목적을 달성하기 위한 본 발명의 내용기반 영상 검색 방법은, 영상 검색 시스템에 적용되는 내용기반 영상 검색 방법에 있어서, 사용자로부터의 데이터베이스 입력요구에 따라 영상을 분석하여 데이터베이스화하는 제 1단계 : 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하는 제 2 단계; 및 질의 결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도 가중치를 조절하고, 조절된 가중치에 의해 변화된 영상을 출력하는 제 3 단계를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 영상 유사도 가중치 조절 장치의 일실시예 구성도이다.
본 발명에 따른 영상 유사도 가중치 조절 장치는 외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 입력받아 변화된 가중치를 생성하기 위한 다수의 가중치 조절부(110)와, 외부로부터 입력된 각각의 유사도에 가중치 조절부(110)로부터 입력된 각각의 변환된 가중치를 승산하기 위한 승산부(120)와, 승산부(120)로부터 입력된 다수의 유사도를 가산하기 위한 가산부(130)를 포함한다.
상기 가중치 조절부(110)는 다수의 가중치 조절기(111 내지 115)를 구비하여 외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 입력받아 변화된 가중치를 생성하도록 구성할 수도 있고, 하나의 가중치 조절기로 외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 각각 입력받아 변화된 가중치를 생성하도록 구성할 수도 있다.
상기한 바와 같은 구성을 갖는 본 발명의 일실시예에 따른 영상 유사도 가중치 조절 장치의 동작을 상세히 살펴보면 다음과 같다.
먼저, 가중치 조절부(110)의 각 가중치 : 조절기(111 내지 115)는 초기 가중치와, 피드백 정보 및 유사도를 입력받아 변화된 가중치를 생성하여 출력하며, 승산부(120)는 유사도와 변화된 가중치를 입력받아 변환된 가중치를 유사도에 곱하여 출력하고, 가산부(130)는 변환된 가중치가 곱해진 각각의 유사도를 입력받아 가산하여 출력한다.
도 2 는 본 발명에 따른 도 1 의 가중치 조절기의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 각 가중치 조절기(111 내지 115)는, 외부로부터 소정의 계수값(바람직하게는 "1")과 유사도를 입력받아 유사영상-상이영상의 쌍에 대하여 유사도차를 계산하기 위한 유사도차 계산기(220)와, 유사도차 계산기(220)로부터 계산된 유사도차를 입력받아 평균 유사도차를 구한 후에, 가중치 변화량을 구하기 위한 변화량 조절기(230)와, 변화량 조절기(230)로부터 입력된 가중치 변화량에 외부로부터 입력된 초기 가중치를 더하여변화된 가중치를 구하기 위한 가중치 가산기(240)를 포함한다. 또한, 피드백 정보를 입력받아 유사영상의 수를 계수하기 위한 유사영상 계수기(211)와, 피드백 정보를 입력받아 상이영상의 수를 계수하기 위한 상이 영상 계수기(212)를 더 포함한다.
그리고, 유사도차 계산기(220)는 유사영상 계수기(211) 및 상이영상 계수기(212)로부터 계수값을 입력받고, 외부로부터 유사도를 입력받아 유사영상-상이영상의 쌍에 대하여 유사도차를 계산하는 것을 특징으로 한다.
상기한 바와 같은 구성을 갖는 본 발명의 실시예에 따른 도 1 의 각 가중치 조절기(111 내지 115)의 동작을 상세히 살펴보면 다음과 같다.
먼저, 유사영상 계수기(211)는 피드백 정보를 입력받아 사용자가 선택한 유사영상의 수를 계수하여 유사도차 계산기(220)로 출력하고, 상이영상 계수기(212)는 피드백 정보를 입력받아 사용자가 선택한 상이영상의 수를 계수하여 유사도차 계산기(220)로 출력한다.
이후, 유사도차 계산기(220)는 유사영상 계수기(211) 및 상이영상 계수기(212)로부터 계수값을 입력받고, 외부로부터 유사도를 입력받아 사용자가 지정한 모든 유사영상-상이영상의 쌍에 대하여 유사도차를 계산하여 변화량 조절기(230)로 출력한다.
다음으로, 변화량 조절기(230)는 유사도차 계산기(220)로부터 유사도차를 입력받아 평균 유사도차를 구한 후에, 가중치 변화량을 구하여 가중치 가산기(240)로 출력한다.
이후에, 가산기(240)는 변화량 조절기(230)로부터 입력받은 가중치 변화량에 외부로부터 초기 가중치를 더하여 변화된 가중치를 출력한다.
도 3 은 본 발명에 따른 영상 유사도 가중치 조절 방법에 대한 일실시예 전체 흐름도이다.
도 3에 도시된 바와 같이, 본 발명에 따른 영상 유사도 가중치 조절 방법은, 먼저 사용자로부터 피드백 정보를 입력받아(310), 특징을 선택한다(311).
이후, 선택된 특징에 대한 가중치를 조절한 후에(312), 모든 특징에 대해 가중치가 조절되었는지를 분석한다(313).
분석 결과, 모든 특징에 대해 가중치가 조절되었으면 종료하고, 모든 특징에 대해 가중치가 조절되지 않았으면 특징을 선택하는 과정(311)부터 반복 수행한다.
도 4 는 본 발명에 따른 도 3 의 가중치 조절 과정에 대한 일실시예 상세 흐름도이다.
도 4에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 도 3의 가중치 조절 과정은, 먼저 사용자가 선택한 유사영상과 상이영상의 개수를 계수한다(410).
이후, 유사영상과 상이영상 각각 한 개씩을 선택하여 유사도차를 구한다(411). 이를 수학식으로 표현하면 (수학식 1)과 같다.
(수학식 1)에 도시된 바와 같이, 이러한 유사도차의 계산은 사용자가 지정한 모든 유사영상-상이영상의 쌍에 대해 계산한다.
모든 쌍에 대해 계산이 종료되면, 유사도차()의 평균 유사도차 ()를 구한다(412). 이를 수학식으로 표현하면 (수학식 2)와 같다.
다음으로, 평균 유사도차()에 대해 적당한 크기의 가중치 변화량()를 구한다(413). 이를 수학식으로 표현하면 (수학식 3)과 같다.
여기서, fD함수는 변화량 판정 지표 함수로, 이를 수학식으로 표현하면 (수학식 4)와 같다.
(수학식 4)를 참조하면, α와 β값은 각 특징에 대해 상위 일정 순위내의 영상에 대해 유사도 차이의 평균을 이용하여 결정할 수 있다. 즉, α와 β값을 조절하여 그래프의 기울기와 변화 영역의 범위를 정할 수 있는데, 이 값은 각각의 특징들에 대해 영상간의 유사도의 차이를 기준으로 정하며, α값은 4를, β값은 각 특징에 대해 상위 50위 내의 영상에 대해 유사도 차이의 평균을 β값으로 사용할 수 있다.
이후에, 기존의 초기 가중치에 가중치 변화량()을 더해 변환된 가중치를 구하고(414), 종료한다.
이상으로 한 개의 특징에 대한 가중치를 조절하는 과정을 제시하였고, 나머지 모든 특징에 대해서도 상기한 바와 같은 동일한 방법으로 가중치를 조절한다.
따라서, 이렇게 변화된 가중치를 이용하여 다시 질의 과정을 반복하여 그 결과를 사용자에게 보낸다. 또한, 위의 과정에서 초기 가중치는 전단계 피드백시의 가중치를 이용함으로써, 위의 피드백 과정이 되풀이되면 가중치가 계속 변화되고, 그 결과 질의 결과가 사용자가 원하는 방향으로 계속 유도되어 간다.
만약, 사용자가 유사영상 또는 상이영상 한가지 종류만을 피드백시켰을 경우에, 시스템은 비교 대상이 없으므로 상기 (수학식 1)의을 구하지 못하게 된다.
이러한 경우에, 무관영상으로 선택된 영상의 유사도 평균을 상대 유사도 값으로 선택하여 상기 (수학식 1)의을 구하여 수행한다.
만약, 사용자가 모든 영상에 대해 유사영상 또는 상이영상으로 피드백을 시켰을 경우에, 이러한 현상은 본 발명의 취지에 어긋나므로 처리하지 않는다. 즉, 모든 영상이 유사하다면, 피드백 신호를 처리할 필요가 없이 사용자가 원하는 영상이 질의 결과로 도출되었음을 말하며, 모든 영상이 상이하다면 사용자가 질의한 영상 자체도 상이한 것이므로 질의 자체가 잘못되었음을 말해주므로 처리할 필요가 없게 된다.
도 5 는 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반영상 검색 시스템의 일실시예 구성도이다.
도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 유사도 가중치 조절 장치(도 1 참조)를 이용한 내용기반 영상 검색 시스템은, 운용자로부터 영상을 입력받아 저장하고, 저장된 영상의 특징을 추출하여 저장하며, 유사도를 계산하여 저장하고, 소영상을 생성하여 저장하기 위한 영상입력장치(510)와, 영상, 특징 벡터, 소영상, 유사도 테이블을 저장하기 위한 저장장치(520)와, 사용자로부터 질의를 입력받아 질의의 유사도에 따른 소영상을 출력하고, 출력된 소영상에 대한 사용자의 선택 정보를 피드백받아 유사도 가중치를 변화시켜 그 결과에 따른 영상을 출력하기 위한 질의응답장치(530)를 포함한다.
상기 영상 입력 장치(510)는 운용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화하는 데이터베이스 입력장치(511)와, 데이터베이스 입력장치(511)의 제어에 의해 현재 입력되는 영상을 소형 영상으로 나누어 소형 영상 디렉토리 데이터베이스(521)에 저장하는 소형영상 생성장치(512)와, 데이터베이스 입력장치(511)의 제어에 의해 현재 입력되는 영상에 대하여 일정개수의 추출사양별로 특징벡터를 만들어 특징벡터 디렉토리 데이터베이스(524)에 저장하는 특징추출장치(513)와, 추출된 일정 개수의 특징벡터를 이용하여 영상 디렉토리 데이터베이스(522)내의 다른 영상의 특징벡터와의 각각의 특징에 대해 유사도를 계산하고, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키며, 각 특징에서의 정규화된 유사도를 단일의 유사도로 결합하여 인덱스를 구성한 후에, 구성된 인덱스를 인덱스 데이터베이스(523)에 저장하는 유사도 계산장치(514)를 포한다.
상기 저장 장치(520)는 소형 영상 디렉토리를 저장하고 있는 소형 영상 디렉토리 데이터베이스(521)와, 영상 디렉토리를 저장하고 있는 영상 디렉토리 데이터 베이스(522)와, 유사도 테이블을 저장하고 있는 인덱스 데이터베이스(523)와, 특징벡터 디렉토리를 저장하고 있는 특징 벡터 디렉토리 데이터베이스(524)를 포함한다.
상기 질의 응답 장치(530)는 질의어를 분석하여 인덱스 데이터베이스(523)로부터 유사도 테이블을 출력시키는 질의장치(532)와, 질의장치(532)에 의해 출력되는 유사도 테이블에 해당하는 소형 영상을 소형 영상 디렉토리 데이터베이스(521)에서 독취하여 검색 사용자에게 보여주는 결과표시장치(533)와, 사용자로부터 입력되는 피드백 신호를 입력받아 가중치를 조절하고, 조절된 가중치에 따른 유사도를 구하여 해당하는 인덱스 데이터베이스(523)로부터 유사도 테이블을 결과표시장치(530)로 출력하기 위한 가중치 조절장치(531)를 포함한다.
상기한 바와 같은 구성을 갖는 본 발명에 따른 가중치 조절 장치를 이용한 내용기반 영상 검색 시스템의 동작을 상세히 살펴보면 다음과 같다.
데이터베이스 입력 장치(511)는 처리해야 할 영상을 영상 디렉토리 데이터베이스(522)에 저장한 후에, 소형영상 생성장치(512)를 구동시켜 새로운 소형 영상(Thumbnail : 즉, 화면표시를 용이하게 하기 위해 큰 영상을 1OO×1OO정도의 작은 영상으로 만든 것)을 만들어 소형영상 디렉토리 데이터베이스(521)에 저장한다.
그리고, 새로운 영상에 대한 특징벡터가 없으므로 특징추출장치(513)를 구동시켜 새로운 영상의 특징을 다섯가지 정도의 추출사양(즉, 색상 히스토그램, 클러스터링을 이용한 대표색상, 레이아웃, 질감, 윤곽선 등)으로 추출하여 특징벡터를 만들고, 그 각각의 특징별로 추출된 특징벡터를 특징벡터 디렉토리 데이터베이스(524)에 저장한다.
유사도 계산장치(514)는 특징추출장치(513)에 의해 추출된 일정 개수의 특징벡터를 이용하여 영상 디렉토리 데이터베이스(522)내의 다른 영상의 특징벡터와의 각각의 특징에 대해 유사도를 계산하고, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖도록 정규화시키며, 상기 각 특징에서의 정규화된 유사도를 단일의 유사도로 결합시킨 후에 테이블로 만들어 인덱스를 생성하여 인덱스 데이터베이스(523)에 저장한다.
그리고, 유사도 계산장치(514)는 운용자가 입력한 모든 새로운 영상에 대해 특징추출장치(513)에 의한 특징추출동작이 완료되면 데이터베이스 입력 장치(511)의 제어에 의해 구동된다.
상기한 바와 같이 모든 영상의 각 특징에서의 정규화된 유사도가 유사도 계산장치(514)에서 단일의 결합된 유사도로 계산되어 테이블로 만들어지고, 그 유사도 계산장치(514)에서 인덱스를 생성하게 되면 영상의 데이터베이스화는 종료된다.
질의장치(532)는 일반 사용자가 이미 입력된 영상 디렉토리 데이터베이스(522)에서 영상을 검색하고자 할 때 사용하는 질의도구를 나타내는데, 사용자의 검색요구에 맞게 질의어를 분석한 후에, 특징추출장치(513)와 유사도 계산장치(514) 를 이용하여 인덱스 데이터베이스(523)로부터 검색된 영상을 결과표시장치(533)로 보내준다.
여기서, 사용자는 결과표시장치(533)에 보여진 결과에 대해 원하는 영상과 원하지 않는 영상을 선택하여 다시 질의하면, 가중치 조절장치(531)가 사용자의 의견을 분석하여 각각의 특징에 대한 가중치를 조절하고, 다시 인덱스 데이터베이스(523)로부터 변화된 가중치에 의한 결과를 도출하여 결과표시장치(533)로 보내준다.
상기 질의장치(532)는 결과표시장치(533)가 임의로 선택해서 보여준 샘플 영상일 수도 있고, 사용자가 그린 영상(즉, 그림) 또는 스캐너 등의 외부 영상입력장치로부터 입력받은 또 다른 영상 데이터 또는 사용자가 지정한 색상과 그 비율 등이 될 수도 있다.
그리고, 결과표시장치(533)는 인덱스 데이터베이스(523)로부터 검색되어 입력되는 영상을 받아 소형영상 디렉토리 데이터베이스(521)에서 소형영상을 가져와 검색 사용자에게 보여준다.
한편, 상기 데이터베이스 입력장치(511)의 제어 과정을 도 6a를 참조하여 구체적으로 살펴보면 다음과 같다.
도 6a에 도시된 바와 같이, 데이터베이스 입력장치(511)의 제어 과정은, 먼저 영상 디렉토리 데이터베이스(522)로부터 운용자가 입력한 영상을 추출하여 우선적으로 소형영상이 존재하는지를 판단한다(601).
판단 결과, 소형영상이 존재하지 않으면, 소형영상 생성장치(512)를 구동시켜 소형 영상을 만들어 소형영상 디렉토리 데이터베이스(521)에 저장시키고(602), 소형영상이 존재하면 다시 소형영상을 만들 필요가 없으므로 본래의 영상에 대한 특징벡터가 특징벡터 디렉토리 데이터베이스(524)에 존재하는지를 분석한다(603).
여기서, 소형영상은 크기가 큰 원래의 영상을 100×100정도 크기의 작은 영상으로 다시 만들어 사용자에게 보여주기 편하게 하기 위한 것으로, 원래의 영상의 가로, 세로 비율에 맞추어 크기를 줄여주고 100×100의 정사각형 영역에서 남는 부분은 흰색으로 채워준다.
그리고, 처리된 모든 영상에 대해서는 특징벡터 디렉토리 데이터베이스(514)에 임의의 공간을 할당하여 특징벡터를 저장함으로써 재차 데이터베이스 입력과정을 수행할 때 동일한 처리를 반복하지 않도록 한다.
분석 결과, 특징벡터가 존재하면 영상 디렉토리 데이터베이스(522)내의 모든 영상에 대해 처리가 완료되었는지를 검사하고(605), 특징벡터가 존재하지 않으면 특징벡터를 추출하여 특징벡터 디렉토리 데이터베이스(524)에 저장한다(604).
상기한 바와 같이 특징벡터가 존재한다거나 특징벡터의 추출이 완료되면, 영상 디렉토리 데이터베이스(522)에 있는 모든 영상에 대해 처리되었는지를 검사하여(605), 아직 처리되지 않고 남아 있는 영상이 있으면 상기의 과정(601 내지 604)을 반복적으로 수행하고, 모든 영상에 대해 처리가 완료되면 유사도 계산장치(514)를 구동시켜 유사도 테이블을 작성한다(606). 여기서, 유사도 테이블은 모든 영상에 대해 상호 유사도를 미리 계산해 놓은 테이블로서, 검색시 유사도를 계산하지 않고도 모든 영상에 대한 유사도를 얻을 수 있게 함으로써 검색시간을 단축시킬 수 있다.
특히, 유사도 테이블 작성 과정(606)시, 모든 영상에 대한 유사도를 각각의 특징(즉, 색상 히스토그램, 클리스터링된 색상, 레이아웃, 질감, 윤곽선 모양)에 대해 계산하여 인덱스 데이터베이스(523)로써 사용할 수 있도록 한다.
다음으로, 상기 특징추출장치(513)에 의해 행해지는 각각의 특징벡터 추출과정 및 유사도 계산장치(514)에서의 유사도 계산 과정을 구체적으로 살펴보면 다음과 같다.
먼저, 색상 히스토그램을 이용하는 경우는 종래의 영상 검색 방법에서 사용한 방법과 동일한 방법을 사용하게 되는데, 일단 압축 저장되어 있는 영상을 읽어와서 압축 해제하고 적-녹-청(RGB : Red-Green-Blue) 좌표계로 되어 있는 색상 좌표계를 색상-채도-명도(HSV : Hue-Saturation-Value) 색상 좌표계로 변환시킨다.
이후, 변환된 색상 좌표계를 이용하여 각각의 색상 좌표에 대해 색상 히스토그램을 만들고, 이것을 일렬로 나열하여 하나의 긴 벡터로 만들어 영상의 특징으로 사용한다. 여기서, 상호 유사도 계산은 두개의 히스토그램을 비교하는데, 동일한 위치(Bin)의 히스토그램 값중에서 작은 값을 취하여 새로운 히스토그램을 만들고, 모든 히스토그램 빈(Bin)에 대해 상기의 동작을 수행한 후에, 그 결과 생성된 히스토그램내의 모든 값을 더하여 유사도로 사용한다.
결과적으로, 상기의 색상 히스토그램을 이용하여 특징벡터를 추출하는 경우에, 상당히 유사한 영상간에는 1에 가까운 값이 나오는 반면에, 상이한 영상간에는 0에 가까운 값이 나오게 된다.
다음으로, 클러스터를 이용한 대표 색상에 의해 특징벡터를 만드는 생성 과정을 도 6b를 참조하여 구체적으로 살펴보면 다음과 같다.
먼저, 압축 저장되어 있는 일반적인 영상 형식을 처리하기에 수월한 형식으로 압축해제하고(611), 압축해제된 영상의 색상 좌표계를 변환시킨다(612). 여기서, 색상 좌표계의 변환이라 함은 컴퓨터에서 기본적으로 사용하는 빨강색, 녹색, 파랑색의 적-녹-청 색상 좌표계를 씨·아이·이-엘·에이·비(CIE-Lab) 색상 좌표계로 변환시킴을 의미한다.
이후, CIE-Lab 색상 좌표계로의 변환이 완료되면, 영상에 포함된 색상(Color)들을 각각의 대표색으로 표현하기 위한 클러스터링(Clustering)을 수행한 후에(613), 그 결과를 이용하여 가장 적절한 클러스터(Cluster)의 개수를 파악할 수 있도록 클러스터를 병합한다(614).
다음으로, 병합된 결과를 영상 디렉토리 데이터베이스(522)에 저장함으로써(615) 영상 특징 추출 과정을 종료하게 된다.
상기 클러스터링 동작 과정(613)에 대해 도 6c를 참조하여 보다 상세히 살펴보면 다음과 같다.
먼저, 클러스터링 동작을 행하는 과정에서는 영상에서부터 추출된 특징벡터(본 발명의 실시예에서는 색상과 그 분포비율, 분산 등)들을 비슷한 색상끼리 묶는 방법을 제공하게 되는데, 처음에는 변수(즉, 분포비율(Pi), 분산(σi 2))를 초기화시킨 후에(621), 현재 클러스터의 분산(σi 2) 및 분포비율(Pi)을 계산한다(622).
이후, 계산된 분산(σi 2) 및 분포비율(Pi)을 기초로 특징 벡터들을 구분하는데, 계산된 분산(σi 2)이 일정한 임계구분값(t1)보다 큰지의 여부 및 계산된 분포비율(Pi)이 일정한 임계구분값(t1)보다 큰지의 여부를 분석한다(623).
분석 결과, 계산된 분산(σi 2)이 일정한 임계구분값(t1)보다 크고 계산된 분포비율(Pi)이 일정한 임계구분값(t2)보다 크면, K대표값(K-means)(예컨대, K=2로 설정)방법으로 현재의 특징벡터를 두 분류로 클러스터링한 후에(624), 현재 클러스터의 분산(σi 2) 및 분포비율(Pi)을 계산하는 과정(622)부터 반복 수행한다.
한편, 계산된 분산(σi 2)이 일정한 임계구분값(t1)보다 작거나 같고 계산된 분포비율(Pi)이 일정한 임계구분값(t2)보다 작거나 같으면, 다음 클러스터를 선택한후에(625), 처리할 다음 클러스터가 있는지를 검사한다(626).
검사 결과, 처리할 다음 클러스터가 없으면 클러스터링 동작을 종료하고, 처리할 다음 클러스터가 있으면 현재 클러스터의 분산(σi 2) 및 분포비율(Pi)을 계산하는 과정(622)부터 반복 수행한다.
결과적으로, 한 장의 영상에 대해 상술한 클러스터링 과정을 반복하게 되면 특징 벡터들이 유한 개수의 클러스터로 구분된다. 즉, 클러스터들은 분산(σi 2)이 작으며 분포비율(Pi)이 큰 특징을 갖는 소수의 클러스터들과, 분산(σi 2)이 크며 분포비율(Pi)이 적은 특징을 갖는 다수의 클러스터들로 구분된다.
상기 도 6b의 클러스터 병합 동작 과정(614)을 도 6d를 참조하여 보다 상세히 살펴보면 다음과 같다.
도 6d를 참조하면, 상술한 클러스터링 동작에 의해 얻어진 클러스터 정보를 이용하여 병합동작을 수행하게 되는데, 먼저 두 개의 대상 클러스터를 선택하고 (631), 선택된 클러스터들의 중심간의 최소 오차를 계산한 후에(632), 계산된 최소오차가 일정한 임계구분값(t3)보다 큰지 아니면 작은지를 분석한다(633).
분석 결과, 계산된 최소 오차가 임계구분값(t3)보다 작으면 너무 과도하게 구분된 것이므로 두 클러스터를 병합한 후에(634) 두 개의 클러스터를 그대로 두고 다른 두 개의 대상 클러스터를 선택하고(635), 계산된 최소 오차가 임계구분값(t3)보다 크거나 같으면 두 개의 클러스터를 그대로 두고 다른 두 개의 대상 클러스터를 선택한다(635).
이후, 계산할 클러스터가 존재하는지를 검사하여(636), 다른 클러스터가 존재하게 되면 그 클러스터들의 중심간의 최소 오차를 계산하는 과정(632)부터 반복수행하고, 다른 클러스터가 존재하지 않으면 클러스터 병합동작을 종료하게 된다.
상기한 바와 같이 동작하는 클러스터를 이용한 대표색상에 의해 특징벡터를 만들고 난 후에 이를 이용하여 두 영상간의 유사도를 구하게 되는데, 즉 영상의 대표색과 그 분포비율, 각 대표색으로 구분되어진 클러스터 내부의 원래 색상들간의 분산값을 이용하여 유사도를 계산하게 된다.
예를들면, 두 대표색 간의 색상의 차이를 인자로 하여 이의 반비례 관계로 나타내어지는 지수함수와 이들의 분포비율의 최소값의 곱으로써 유사도를 표현하게된다.
따라서, 상술한 클러스터를 이용한 대표색상의 경우에 있어서, 두 영상간의 유사도를 수학식으로 표현하면 (수학식 5)와 같다.
여기서,는 클러스터들간의 유사도를 나타내는데, 클러스터들간의 유사도는 두 영상 A, B에 있어서 이 영상들의 특징벡터의 집합에 대해 다음 (수학식 6)과 같이 표현되고, Na, Nb는 영상 A, B의 클러스터 개수,는 영상 A의 a번째 대표색상, Pa는 Ia의 색상 비율,는 대표색상 Ia에 대한 분산을 의미한다.
단,이며,는 a, b 클러스터의 중심값들간의 유클리디안 거리(Euclidian Distance)이다. 여기서,를 수학식으로 표현하면 (수학식 7)과 같다.
상기 (수학식 5) 내지 (수학식 7)을 참조하면, 분산(σi 2)은 전체 영상에 대한 평균 분산값 상수(K)로 대치가능하다.
이와같이, (수학식 5), (수학식 6) 및 (수학식 7)에 의해 계산된 유사도를 기초로 하여 모든 영상에 대해 계산된 유사도를 크기순으로 분류하고, 그 결과(즉, 색상을 기반으로 한 결과치)를 다시 순서대로 결과표시장치(533)를 통해 사용자측으로 전송하게 됨으로써, 검색시 문자가 아닌 영상 자체를 검색어로 사용하게 된다.
다음으로, 레이아웃에 의한 특징벡터의 구성 및 유사도 계산 과정을 구체적으로 살펴보면 다음과 같다.
먼저, 레이아웃 특징벡터 추출동작을 수행할 때 웨이브릿 변환을 이용하게되므로, 그 웨이브릿 변환에 대해 설명한다. 여기서, 웨이브릿 변환이란 어떠한 신호를 서로 다른 주파수 성분으로 분리해 놓고, 각각의 주파수 성분에 대해 분석할 수 있게 해 주는 도구로써, 이를 수학식으로 표현하면 (수학식 8)과 같다.
단, ψ는 분석 웨이브릿(Analyzing Wavelet), a는 스케일(Scale), b는 위치(Position)를 나타낸다.
(수학식 8)을 참조하면, ψ(t)는 웨이브릿 함수로서 그 특성에 따라 하르(Haar), 도비치스(Daubechies) 등의 여러 종류가 존재하는데, 본 실시예에서는 도비치스(Daubechies) 웨이브릿 함수를 사용한다.
영상에 대해 웨이브릿 변환을 하게 되면, 그 영상은 1/4 크기의 작은 영상으로 변환되고, 나머지 1/4은 가로 성분의 차영상(difference image), 또 다른 1/4은 세로 성분의 차영상, 나머지 1/4은 대각선 성분의 차영상으로 재구성된다. 이때, 보통 1/4 크기로 축소된 영상을 저주파 대역(Low Band)이라고 부르고, 나머지 차영상 부분을 고주파 대역(Sub Band)이라 부른다.
만약, 1/4 크기로 줄어든 영상에 대해 다시 웨이브릿 변환을 하게 되면, 다시 1/4 크기로 줄어든 저주파 대역 영상이 얻어지고, 나머지 영역은 고주파 대역영상이 구해진다.
결과적으로, 연속적인 두 번의 웨이브릿 변환에 의해 1/16 크기의 저주파 대역 영상 한개와 1/16크기의 고주파 대역 영상 세개, 1/4크기의 고주파 대역 영상세개가 구해진다. 이러한 변환 과정은 저주파 대역의 영상의 크기가 변환가능한 크기이면 계속 반복하여 수행되어질 수 있다.
따라서, 이와 같은 웨이브릿 변환을 이용하는 레이아웃 특징벡터 추출과정을 도 6e를 참조하여 구체적으로 살펴보면 다음과 같다. 도 6e를 참조하면, 레이아웃 특징벡터 추출과정은, 먼저 처리해야 할 원래의 영상을 영상 디렉토리 데이터베이스(522)로부터 가져와 사용하기 편리한 형태로 압축해제한다(641). 이는 일반적으로 영상 자료가 그 크기가 매우 크므로 저장하기위해서는 보통 압축저장하고, 이렇게 압축저장된 영상 자료는 그대로 사용하지 못하므로 압축된 정보를 다시 원래의 상태로 풀어놓고 사용하기 위함이다.
이후, 압축해제된 영상에 대해 그 크기를 정규화시킨다(642). 즉, 웨이브릿 변환(Wavelet Transform)을 하기 위해 가로 세로 비율이 서로 다른 영상을 가로 세로 비율이 같고, 또한 처리하기 용이한 256×256 크기의 영상으로 변환시킨다.
다음으로, 압축해제된 영상은 빨강, 녹색, 파랑의 세가지 색성분으로 구성되고 이러한 색좌표(RGB좌표계)는 물리적인 화면표시방식에는 적합하지만, 사람의 인지체계와는 동떨어졌기 때문에, 크기가 정규화된 영상에 대한 적-청-녹(RGB)좌표계의 색상정보를 CIE-Lab 색상 좌표계로 변환시킨다(643). 여기서, CIE-Lab 색상 좌표계는 사람의 인지체계와 비슷하며, 두 색상간의 유클리디안 거리(Euclidean Distance)도 그 숫자적 의미가 인간의 인지체계와 비슷한 차이를 보인다.
다음으로, CIE-Lab 색상 좌표계로의 변환이 완료되면, 앞서 처리된 영상에 대해 웨이브릿 변환을 한다(644). 즉, 웨이브릿 변환은 L색상 성분, a색상 성분, b색상 성분에 대해 각각 수행하며 저주파 대역 영상의 크기가 8×8크기가 될 때까지 반복해서 변환동작을 수행하게 된다. 웨이브릿 변환 결과, 저주파 대역 영상에서 얻어지는 색상 좌표별로 64개, 총 192개의 값을 각각의 색상 좌표별로 벡터로 구성하여 64개의 특징벡터를 구성시킨다(645).
이후에, 고주파 대역의 영상에 대해 영상의 밝기(Intensity)를 나타내는 L색상 성분에 대해서 질감 특징벡터를 구성한다(646).
본 발명의 실시예에 따른 웨이브릿 변환 결과가 도 7에 도시되었다.
도 7을 참조하면, 영역 1은 저주파성분 영상이 나타나는 영역이고, 영역 2와 영역 3 및 영역 4는 모두 가로 성분의 차영상 정보를 포함하고 있는 영역이며, 영역 5와 영역 6 및 영역 7은 대각선 성분의 차영상 정보를 포함하고 있는 영역이고, 영역 8과 영역 9 및 영역 10은 세로 성분의 차영상 정보를 포함하고 있는 영역이다.
본 발명의 실시예에서는 이러한 고주파 대역의 차영상 정보에 대해 다시 웨이브릿 변환을 적용하여 각 영역의 저주파 대역 영상의 크기가 8×8이 될 때까지웨이브릿 변환을 수행한다.
상기의 결과, 각 영역에 대해 8×8크기의 고주파 영역에 대한 저주파 성분의 값을 각 방향 성분으로 프로젝션하여 각 방향 성분별로 64개의 값을 구한다. 즉, 상기 도 8에서 영역 2와 영역 3 및 영역 4의 검게 칠한 점들의 값을 모두 더해 하나의 값으로 구하여 영역 2에 대치시킨다. 이러한 방법으로 64개의 값을 구한다.
마찬가지로, 영역 5와 영역 6 및 영역 7에서도 같은 방법으로 64개의 값을 구하고, 영역 8과 영역 9 및 영역 10에서도 같은 방법으로 64개의 값을 구한다.
본 실시예에서는, 이렇게 구한 192개의 값을 질감 레이아웃 특징벡터로 사용하고, 상기한 바에 따라 구해진 저주파 대역의 특징벡터 64개와 고주파 대역의 특징벡터 192개를 영상의 레이아웃 특징벡터로 사용한다.
이어서, 상기의 동작에 의해 구해진 영상의 레이아웃 특징벡터를 이용하여 두 영상간의 유사도를 계산하게 되는데(647), 두 영상간의 유사도를 수학식으로 표현하면 (수학식 9)와 같다.
여기서, D(A, B)는 두 영상의 색상 레이아웃의 유사도를 나타내는데, 이 두영상의 색상 레이아웃의 유사도는 다음의 (수학식 10)과 같은 유클리디안 거리(Euclidean Distance)로 계산되어지고, 이 거리가 작을수록 비슷한 영상이라고 할수 있다.
그리고, 상기 (수학식 9)에서의 T(A, B)는 질감 레이아웃의 유사도를 나타내는데, 이 질감 레이아웃의 유사도는 다음 (수학식 11)과 같이 계산되어지고, 이 값이 작으면 비슷한 영상이라고 할 수 있다.
이와 같이, 레이아웃을 이용한 두 영상간의 유사도는 한 쌍의 비교 영상에 대해 상기 (수학식 10)과 (수학식 11)의 유사도가 적용된다.
그리고, 상기 (수학식 9)에서의 α는 D(A, B)와 T(A, B) 사이의 선형적 관계가 없기 때문에 실험적으로 구한 가중치이고, 이를 이용하여 두 유사도를 합하여 하나의 유사도로 표현한다. 또한, 이 가중치(α)는 사용자가 질의 과정에서 임의로 조정할 수 있도록 함으로써, 사용자의 요구에 더욱 가까운 결과를 도출시킬 수 있도록 한다.
이제, 질감에 의해 특징벡터를 추출하는 과정 및 유사도 계산 과정을 도 6f를 참조하여 구체적으로 살펴보면 다음과 같다.
도 6f에 도시된 바와 같이, 특징벡터를 추출하는 과정 및 유사도 계산 과정은, 먼저 압축저장되어 있는 영상을 처리하기 용이한 형태로 압축해제한다(651).
이후, 압축해제된 다양한 크기의 영상을 일정크기의 영상으로 정규화시킨다(652). 즉, 본 실시예에서는 바람직하게 256×256 크기의 영상으로 그 크기를 정규화시킨다.
다음으로, 적-녹-청(RGB)로 되어 있는 영상의 색상 좌표계를 CIE-Lab 색상좌표계로 변환시킨다(653). 이는 압축해제된 영상이 빨강, 녹색, 파랑의 세가지 색성분으로 구성되어 있고, 이러한 색좌표(RGB좌표계)가 물리적인 화면표시방식에는 적합하지만 사람의 인지체계와는 동떨어졌기 때문에, 사람의 인지체계와 비슷하며, 두 색상간의 유클리디안 거리(Euclidean Distance)도 그 숫자적 의미가 인간의 인지체계와 비슷한 차이를 보이는 CIE-Lab 색상 좌표계로 변환시키기 위함이다.
이후에, CIE-Lab 색상 좌표계로의 변환이 완료되면, 웨이브릿 변환을 3번 정도 수행하여 32×32의 저주파 대역 영상을 얻고, 9개의 고주파 대역 차영상 정보를 얻는다(654).
이어서, 고주파 대역의 차영상 정보에 대해 각각 다시 웨이브릿 변환을 하여 그 결과 저주파 대역 영상의 크기가 32×32가 될 때까지 반복 변환시키고, 상기 도7의 영역 1을 제외한 나머지 영역(즉, 영역 2 내지 영역 10)에서 검게 칠한 부분의 값을 요소로 하는 하나의 벡터를 만들며, 이러한 벡터를 32×32에 대해 만들어 총1024개의 벡터를 구성한다.
다음으로, 이렇게 구성한 1024개의 벡터를 클러스터링을 통하여 소수의 집합으로 다시 만들고, 이 소수의 벡터와 이들의 분포율을 질감 특징벡터로 사용한다(656).
이렇게 하여 만들어진 질감 특징벡터는 클러스터링을 이용한 색상 유사도 계산 방법과 동일한 방법으로 유사도를 계산한다(657).
마지막으로, 윤곽선에 의해 특징벡터를 추출하는 과정 및 유사도 계산 과정을 구체적으로 설명하면 다음과 같다.
먼저, 영상에 대해 윤곽선 추출 필터를 적용하여 윤곽선을 추출한 후에, 추출된 윤곽선을 추적하면서 그 방향 성분을 히스토그램으로 만든다. 이러한 히스토그램은 영상의 크기로 정규화되어 영상의 크기에 관계없이 동일한 크기의 값을 갖게 된다. 이후에, 이렇게 하여 만들어진 히스토그램을 윤곽선 특징벡터로 하고, 색상히스토그램 비교법과 동일한 히스토그램 비교 방법으로 유사도를 계산한다.
이상에서 구한 각각의 특징에 대한 유사도는 그 자체로 영상 검색에 사용되어질 수 있다.
다시 말해서, 레이아웃 특징 벡터로부터 계산된 유사도를 이용하여 영상간의 레이아웃 유사성을 구한 후에, 이를 이용하여 영상검색을 할 수가 있고, 질감 특징 벡터로부터 계산된 유사도를 이용하여 영상간의 질감 유사성을 구하고 이를 이용하여 영상검색을 할 수가 있다.
하지만, 본 발명의 실시예에서는 이러한 개별적인 유사도를 하나의 유사도로 결합하여 사용한다.
이러한 고유의 유사도들을 한개의 유사도로 결합하는 방법에 대해 설명하면, 우선 상술한 바와 같이 하여 구해진 각각의 특징들에 대한 유사도 값은 각각 고유의 범위를 갖고 있으므로 상호 관계가 모호하다. 따라서, 본 발명의 실시예에서는 모든 유사도 값이 일정한 값을 갖도록 정규화시킨다. 이를 수학식으로 표현하면(수학식 12)와 같다.
단, x'는 새로 조정된 유사도, mean은 원래 유사도의 평균, σ는 원래 유사도의 표준편차를 나타낸다.
이렇게 계산된 새로운 유사도는 다시 -1에서 1사이의 값을 갖도록 조정하는데, 이를 수학식으로 표현하면 (수학식 13)과 같다.
상기 (수학식 13)을 0에서 1사이의 값을 갖도록 재조정할 수 있는데, 이를 수학식으로 표현하면 (수학식 14)와 같다.
상기 (수학식 14)를 참조하면, 이렇게 하여 구해진 새로운 유사도 값들은 어떠한 특징에 대해서도 그 범위가 0에서부터 1사이가 되고, 이것은 모든 특징들에대해 동일한 중요도를 갖게 된다. 이렇게 하여 구해진 유사도를 결합할 수 있는데, 이를 수학식으로 표현하면 (수학식 15)와 같다.
단, Sch는 색상 히스토그램 특징에 의해 계산되어진 정규화된 유사도, Scc는 클러스터링을 이용한 색상 특징에 의해 계산되어진 정규화된 유사도, Sl은 레이아웃특징을 의해 계산되어진 정규화된 유사도, St는 질감 특징에 의해 계산되어진 정규화된 유사도, Se는 윤곽선 특징에 의해 계산되어진 정규화된 유사도이다.
(수학식 15)를 참조하면, α, β, γ, δ, ε은 각각의 가중치 값으로서, 이 가중치 값은 1을 기준으로 좀더 부각시키고 싶은 특징에 대해 더 큰 값을 주고 계산하면 된다.
상기 결과, 사용자에게 제시된 영상에 대해 사용자는 유사영상과 상이영상, 혹은 유사한 영상인지, 상이한 영상인지 구분하기 모호한 영상을 구분하여 시스템에 피드백 시킨다.
도 8 은 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반영상 검색 방법에 대한 일실시예 흐름도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반 영상 검색 방법은, 크게 세가지로 분류될 수 있는데, 사용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화하는 영상 입력 과정(801 내지 804)과, 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하는 질의 과정(805 내지 808)과, 질의 결과에 대한 사용자의 의견을 입력받아 각 특징에 대한 가중치를 조절하여 조절된 가중치에 의해 변화된 영상을 출력하는 의견 반영 과정(809 내지 811)으로 분류된다.
먼저, 사용자로부터 데이터베이스 입력 요구가 수신되면(801), 영상 디렉토리 데이터베이스(522)에 저장된 영상의 특징을 일정 개수의 추출사양별로 추출하여 특징 벡터를 생성한다(802).
이후, 추출된 일정 개수의 특징 벡터를 이용하여 영상 디렉토리 데이터베이스(522)내에 다른 영상의 특징 벡터와의 각각의 특징에 대해 유사도를 계산한 후에(804), 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키고 정규화된 유사도를 이용하여 영상 디렉토리 데이터베이스(522)내의 모든 영상에 대해 데이터 베이스화한다(805).
다음으로, 사용자의 검색요구에 의해 검색대상이 되는 영상을 입력받아(805) 영상 디렉토리 데이터베이스(522)내에 미리 계산되어 입력된 다른 영상의 일정 개수의 특징 벡터들에 대한 유사도를 추출하여(806) 유사도 기준으로 단일의 유사도로 결합한 후에(807), 결합된 유사도를 기초로 하여 순서대로 사용자에게 출력한다(808).
이후에, 사용자에게 보내진 결과에 대해 사용자의 의견을 입력받으면(809), 사용자로부터의 가중치 자동 변경요구가 입력되었는지를 분석한다(810).
분석 결과, 사용자로부터 가중치 자동 변경요구가 입력되었으면, 각각의 특징에 대한 가중치를 조절한 후에(811), 조절된 가중치에 의해 다시 질의 과정(805 내지 807)을 반복 수행하고 그 결과를 사용자에게 보낸다(808).
분석 결과, 사용자로부터 가중치 자동 변경요구가 입력되지 않으면, 종료한다.
본 발명은 상술한 본 발명의 실시예에서와 같은 다섯 가지의 특징들에 대해서 뿐만아니라, 유사도로 나타낼 수 있는 모든 형태의 특징들에 대해서도 적용이 가능하고, 또한 상술한 본 발명의 실시예는 웹서버를 통하여 웹 영상 정보서비스에 이용되어질 수도 있으며, 개인용 컴퓨터에서 단독으로 영상 데이터베이스를 구축하는 데에 이용되어질 수도 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기와 같은 본 발명은, 영상자료를 데이터베이스에 입력할 때, 자료의 특징을 추출하여 데이터베이스에 인덱스로 사용함으로써 영상자료 자체를 검색어로 사용할 수 있고, 다섯 종류의 특징을 동일한 중요도를 갖도록 정규화한 후에 이들을 적절히 결합함으로써 한가지 특징을 이용하여 영상을 검색하는 것보다 상당한 성능의 향상을 가져오는 효과가 있다. 또한, 본 발명은 단순한 형태의 사용자의 의견, 즉 사용자 자신이 원하는 형태인지, 아니면 원하지 않는 형태인지만을 시스템으로 피드백시킴으로써 시스템 스스로 사용자의 취향에 따라 가중치를 적절히 조절시켜주어, 사용자가 각각의 특징에 대한 이해가 전혀 없더라도 좋은 결과를 얻을 수 있도록 하는 효과가 있다.
그리고, 본 발명은 표본으로 보여진 영상외에 사용자가 임의로 그린 그림이나 임의로 정한 색상 분포, 또는 스캐너 등의 기타 영상 입력장치로부터 입력받은 영상을 이용하여 질의를 할 수 있고, 여러 종류의 유사도를 임의의 가중치를 갖고 결합시킴으로써 이 가중치를 사용자가 임의로 조정할 수 있게 하여 사용자가 원하는 영상을 보다 정확하게 검색할 수 있도록 하는 효과가 있다.

Claims (20)

  1. 영상을 검색하기 위한 시스템에 있어서,
    입력되는 영상과 저장된 영상으로부터 추출되는 특징 벡터와 산출된 유사도와 생성된 소영상을 저장하기 위해 입력하는 영상입력 수단;
    상기 입력되는 영상, 상기 특징 벡터, 상기 소영상, 및 상기 산출된 유사도 테이블을 저장하기 위한 저장 수단; 및
    사용자로부터 질의를 입력받아 질의의 유사도에 따른 소영상을 출력하고, 출력된 소영상에 대한 사용자의 선택 정보를 피드백받아 유사도 가중치를 변화시켜그 결과에 따른 영상을 출력하기 위한 질의응답 수단
    을 포함하여 이루어진 내용기반 영상 검색시스템.
  2. 제 1항에 있어서,
    상기 영상입력 수단은,
    운용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화하는 데이터베이스 입력 수단;
    상기 데이터베이스 입력 수단의 제어에 따라, 현재 입력되는 영상을 소형 영상으로 나누어 상기 저장 수단에 저장하기 위한 소형영상 생성 수단;
    상기 데이터베이스 입력 수단의 제어에 따라, 현재 입력되는 영상에 대하여 일정 개수의 추출사양별로 특징벡터를 만들어 상기 저장 수단에 저장하기 위한 특징추출 수단; 및
    상기 특징추출 수단에 의해 추출된 일정 개수의 특징벡터를 이용하여 상기 저장 수단에 저장된 다른 영상의 특징벡터와의 각각의 특징에 대해 유사도를 계산하고, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키며, 각 특징에서의 정규화된 유사도를 단일의 유사도로 결합하여 인덱스를 구성한 후에, 구성된 인덱스를 상기 저장 수단에 저장하기 위한 유사도 계산 수단
    을 포함하여 이루어진 내용기반 영상 검색시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 질의응답 수단은,
    외부로부터 입력되는 질의어에 따라 상기 저장 수단에 저장되어 있는 상기유사도 테이블을 독취하여 출력하기 위한 질의 수단;
    상기 질의 수단에 의해 출력되는 상기 유사도 테이블에 해당하는 소형 영상을 상기 저장 수단에서 독취하여 출력하기 위한 결과표시 수단; 및
    외부로부터 입력되는 피드백 신호에 따라 가중치를 조절하고, 조절된 가중치에 따른 유사도를 구하여 상기 저장 수단으로부터 상기 유사도 테이블을 독취하여 상기 결과표시 수단으로 출력하기 위한 가중치 조절 수단
    을 포함하여 이루어진 내용기반 영상 검색시스템.
  4. 영상 검색 시스템에 적용되는 내용기반 영상 검색 방법에 있어서,
    사용자로부터의 데이터베이스 입력요구에 따라 영상을 분석하여 데이터베이스화하는 제 1 단계;
    사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하는 제 2 단계; 및
    질의 결과에 대한 사용자의 의견을 피드백받아 특징별로 유사도 가중치를 조절하고, 조절된 가중치에 의해 변화된 영상을 출력하는 제 3 단계를 포함하여 이루어진 내용기반 영상 검색 방법.
  5. 제 4 항에 있어서,
    상기 제 1단계는,
    사용자로부터의 데이터베이스 입력 요구에 따라, 영상 디렉토리 데이터베이스에 저장된 영상의 특징을 일정 개수의 추출사양별로 추출하여 특징 벡터를 생성하는 제 4 단계;
    상기 추출된 일정 개수의 특징 벡터를 이용하여 상기 영상 디렉토리 데이터베이스내의 다른 영상의 특징 벡터와의 각각의 특징에 대해 유사도를 계산하는 제5 단계; 및
    상기 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키고, 정규화된 유사도를 이용하여 상기 영상 디렉토리 데이더베이스내의 모든 영상에 대해 데이터베이스화하는 제 6 단계
    를 포함하여 이루어진 내용기반 영상 검색 방법.
  6. 제 5 항에 있어서,
    상기 제 6 단계의 정규화 과정은,
    하기의 수학식에 의거하여 유사도를 정규화시키는 것을 특징으로 하는 내용기반 영상 검색 방법.
    (단, x'은 새로 조정된 유사도, m은 원래 유사도의 평균, σ은 원래 유사도의 표준편차임)
  7. 제 4 항 내지 제 6 항중 어느 한 항에 있어서,
    상기 제 2 단계는,
    사용자의 검색요구에 의해 검색대상이 되는 영상을 입력받아 상기 영상 디렉토리 데이터베이스내에 미리 계산되어 입력된 다른 영상의 일정 개수의 특징 벡터들에 대한 유사도를 추출하는 제 7 단계; 및
    각 특징들에 대한 유사도 기준으로 단일의 유사도로 결합한 후에, 결합된 유사도를 기초로 하여 순서대로 사용자에게 출력하는 제 8 단계를 포함하여 이루어진 내용기반 영상 검색 방법.
  8. 제 7 항에 있어서,
    상기 제 8 단계의 단일 유사도 결합 과정은,
    상기 각 특징들에 대한 유사도 기준으로 하기의 수학식으로 단일의 유사도로 결합하는 것을 특징으로 하는 내용기반 영상 검색 방법.
    (단, Si는 각 특징에서의 정규화된 유사도, Wi는 각 특징의 가중치값임)
  9. 제 8 항에 있어서,
    상기 각 특징의 가중치값(Wi)은,
    사용자의 의견에 따라 조절되는 것을 특징으로 하는 내용기반 영상 검색 방법.
  10. 제 4 항 내지 제 6 항중 어느 한 항에 있어서,
    상기 제 3 단계는,
    질의 결과에 대한 사용자의 의견을 피드백받는 제 7 단계;
    상기 피드백받은 결과를 분석하여 각 특징의 가중치값을 조절하는 제 8 단계; 및
    상기 조절된 가중치를 이용하여 조절된 가중치에 의해 변화된 영상을 출력하는 제 9 단계
    를 포함하여 이루어진 내용기반 영상 검색 방법.
  11. 제 10 항에 있어서,
    상기 제 7 단계는,
    유사한 영상, 상이한 영상, 무관한 영상의 3가지로 구분된 값을 입력받는 것을 특징으로 하는 내용기반 영상 검색 방법.
  12. 제 10 항에 있어서,
    상기 제 8 단계는,
    피드백 정보를 입력받아, 특징을 선택하는 제 10 단계;
    피드백 정보의 유사 영상과 상이 영상의 개수를 계수하는 제 11 단계;
    유사영상과 상이영상의 유사도차를 구하는 제 12 단계; 및
    평균 유사도차를 구한 후에, 가중치 변화량를 구하여 기존의 초기 가중치에 가중치 변화량을 더해서 변환된 가중치를 구하는 제 13 단계
    를 포함하여 이루어진 내용기반 영상 검색 방법.
  13. 제 10 항에 있어서,
    상기 제 8 단계는,
    유상영상과 상이영상 쌍에 대해 유사도의 차이의 평균값에 반비례하는 소정의 값으로 가중치를 조절하는 것을 특징으로 하는 내용기반 영상 검색 방법.
  14. 제 13 항에 있어서,
    상기 소정의 값은,
    변화량 판정 지표 함수(fD함수 :단, α와 β값은 각각의 특징들에 대한 유사도 차이의 평균을 이용한 결정값)인 것을 특징으로 하는 내용기반 영상 검색 방법.
  15. 영상 검색시스템에 적용되는 영상 유사도 가중치 조절 장치에 있어서,
    외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 입력받아 변화된 가중치를 생성하기 위한 가중치 조절 수단;
    외부로부터 입력된 각각의 유사도에 상기 가중치 조절 수단으로부터 입력된 각각의 변환된 가중치를 승산하기 위한 승산 수단; 및
    상기 승산수단으로부터 입력된 다수의 유사도를 가산하기 위한 가산 수단
    을 포함하여 이루어진 영상 유사도 가중치 조절 장치.
  16. 제 15 항에 있어서,
    상기 가중치 조절 수단은,
    외부로부터 소정의 계수값과 유사도를 입력받아 유사영상-상이영상의 쌍에대하여 유사도차를 계산하기 위한 유사도차 계산 수단;
    상기 유사도차 계산 수단으로부터 계산된 유사도차를 입력받아 평균 유사도차를 구한 후에, 가중치 변화량을 구하기 위한 변화량 조절 수단; 및
    상기 변화량 조절 수단으로부터 입력된 가중치 변화량에 외부로부터 입력된 초기 가중치를 더하여 변화된 가중치를 구하기 위한 가중치 가산 수단
    을 포함하여 이루어진 영상 유사도 가중치 조절 장치.
  17. 제 16 항에 있어서,
    상기 가중치 조절 수단은,
    피드백 정보를 입력받아 유사 영상의 수를 계수하기 위한 유사영상 계수 수단; 및
    피드백 정보를 입력받아 상이 영상의 수를 계수하기 위한 상이영상 계수 수단
    을 더 포함하여 이루어진 영상 유사도 가중치 조절 장치.
  18. 제 17 항에 있어서,
    상기 유사도차 계산 수단은,
    상기 유사영상 계수 수단 및 상기 상이영상 계수 수단으로부터 계수값을 입력받고, 외부로부터 유사도를 입력받아 유사영상-상이영상의 쌍에 대하여 유사도차를 계산하는 것을 특징으로 하는 영상 유사도 가중치 조절 장치.
  19. 영상 유사도 가중치 조절 장치에 적용되는 영상 유사도 가중치 조절 방법에 있어서, 피드백 정보를 입력받아, 특징을 선택하는 제 1 단계;
    유사영상과 상이영상의 유사도차를 구하는 제 2 단계; 및
    평균 유사도차를 구한 후에, 가중치 변화량를 구하여 기존의 초기 가중치에 가중치 변화량을 더해서 변환된 가중치를 구하는 제 3 단계
    를 포함하여 이루어진 영상 유사도 가중치 조절 방법.
  20. 제 19 항에 있어서,
    피드백 정보의 유사 영상과 상이 영상의 개수를 계수하는 제 4 단계
    를 더 포함하여 이루어진 영상 유사도 가중치 조절 방법.
KR1019980033339A 1998-08-17 1998-08-17 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법 KR100340035B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980033339A KR100340035B1 (ko) 1998-08-17 1998-08-17 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980033339A KR100340035B1 (ko) 1998-08-17 1998-08-17 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법

Publications (2)

Publication Number Publication Date
KR20000014123A true KR20000014123A (ko) 2000-03-06
KR100340035B1 KR100340035B1 (ko) 2002-11-23

Family

ID=19547471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980033339A KR100340035B1 (ko) 1998-08-17 1998-08-17 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법

Country Status (1)

Country Link
KR (1) KR100340035B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010092891A (ko) * 2000-03-27 2001-10-27 이성환 스케치 특징을 이용한 내용기반 영상 검색방법
KR20020030466A (ko) * 2000-10-18 2002-04-25 김상두 웨이브릿과 내용기반검색을 이용한 자동감시시스템
KR20020041898A (ko) * 2000-11-29 2002-06-05 구자홍 화상 정보 검색 방법
KR100361939B1 (ko) * 1999-07-27 2002-11-22 학교법인 한국정보통신학원 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR100677096B1 (ko) * 2000-05-31 2007-02-05 삼성전자주식회사 영상의 유사도 평가방법 및 그 장치
US7308140B2 (en) 2000-05-31 2007-12-11 Samsung Electronics Co., Ltd. Method and device for measuring similarity between images
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
CN114282053A (zh) * 2021-12-31 2022-04-05 上海艾牌科技集团有限公司 一种基于反馈的短视频搜索方法、系统、电子设备和介质
CN115248876A (zh) * 2022-08-18 2022-10-28 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100361939B1 (ko) * 1999-07-27 2002-11-22 학교법인 한국정보통신학원 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체
KR20010092891A (ko) * 2000-03-27 2001-10-27 이성환 스케치 특징을 이용한 내용기반 영상 검색방법
KR100677096B1 (ko) * 2000-05-31 2007-02-05 삼성전자주식회사 영상의 유사도 평가방법 및 그 장치
US7308140B2 (en) 2000-05-31 2007-12-11 Samsung Electronics Co., Ltd. Method and device for measuring similarity between images
KR20020030466A (ko) * 2000-10-18 2002-04-25 김상두 웨이브릿과 내용기반검색을 이용한 자동감시시스템
KR20020041898A (ko) * 2000-11-29 2002-06-05 구자홍 화상 정보 검색 방법
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
CN114282053A (zh) * 2021-12-31 2022-04-05 上海艾牌科技集团有限公司 一种基于反馈的短视频搜索方法、系统、电子设备和介质
CN115248876A (zh) * 2022-08-18 2022-10-28 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法
CN115248876B (zh) * 2022-08-18 2024-05-10 北京数慧时空信息技术有限公司 基于内容理解的遥感影像统筹推荐方法

Also Published As

Publication number Publication date
KR100340035B1 (ko) 2002-11-23

Similar Documents

Publication Publication Date Title
US11244208B2 (en) Two-dimensional document processing
US10915571B2 (en) Reduction of search ambiguity with multiple media references
US9940655B2 (en) Image processing
US7376263B2 (en) Content-based multimedia retrieval system and method thereof
US6556710B2 (en) Image searching techniques
US6163622A (en) Image retrieval system
US7643686B2 (en) Multi-tiered image clustering by event
US9600738B2 (en) Discriminative embedding of local color names for object retrieval and classification
US7778462B2 (en) Method of and apparatus for classifying an image
US20090024580A1 (en) Compositional balance and color driven content retrieval
US8340412B2 (en) Image processing
US20060274081A1 (en) Image retrieving apparatus, image retrieving method, program, and storage medium
KR20030029410A (ko) 웹 기반 영상 데이터 검색 시스템 및 그 방법
KR100312331B1 (ko) 내용기반영상검색방법및장치
Zachary et al. Content based image retrieval and information theory: A general approach
KR20000014123A (ko) 영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반영상 검색 시스템 및 방법
US8311100B2 (en) Information handling method for mapping information items to respective nodes
Wong et al. Dominant color image retrieval using merged histogram
KR20030005908A (ko) 영상의 객체 특징 추출과 이를 이용한 내용 기반 영상검색 장치 및 방법
US6522779B2 (en) Representing an image with a posterized joint histogram
KR20000047363A (ko) 색상 정보를 이용한 멀티미디어 데이터 검색 장치 및 방법
Mihalik et al. Color content descriptors of images by vector quantization
Admile A survey on different image retrieval techniques
KR20030009674A (ko) 내용 기반 영상 검색 장치 및 방법
Paramasivam et al. PERCEPTUALLY WEIGHTED COLOR-TO-GRAYSCALE CONVERSION FOR IMAGES WITH NON-UNIFORM CHROMATIC DISTRIBUTION USING MULTIPLE REGRESSION.

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19980817

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19980817

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20000929

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20020117

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20000929

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20020216

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20020117

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20020503

Appeal identifier: 2002101000495

Request date: 20020216

AMND Amendment
PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20020318

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20020216

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20010228

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20020503

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20020415

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20020527

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20020528

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20050429

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20060502

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20070507

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20080507

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20090508

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20100510

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20110509

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20110509

Start annual number: 10

End annual number: 10

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee