KR100340035B1 - 영상유사도가중치조절장치및방법과그를이용한내용기반영상검색시스템및방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 영상 유사도 가중치 조절 장치 및 그 방법과 그를 이용한 내용기반 영상 검색 시스템 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 사용자로부터의 데이터베이스 입력요구에 따라 영상을 일정개수의 특징에 대해 분석하여 데이터베이스화한 후에, 사용자의 질의를 입력받아 데이타베이스로부터 비슷한 영상을 추려내어 출력하고, 그 결과에 대해 사용자의 의견을 피드백받아 각 특징에 대한 가중치를 조절하여 조절된 가중치에 의해 변화된 영상을 출력함으로써, 시스템의 성능을 향상시키기 위한 내용기반 영상 검색 시스템 및 그 방법을 제공하고자 함.

3. 본 발명의 해결 방법의 요지

본 발명은, 영상 검색 시스템에 적용되는 내용기반 영상 검색 방법에 있어서, 사용자로부터의 데이터베이스 입력요구에 따라, 영상을 분석하여 특징을 추출하고, 추출된 특징에 대해 유사도를 계산한 후, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시켜, 정규화된 유사도를 바탕으로 모든 영상에 대해 데이터베이스화하는 제 1 단계; 사용자의 질의에 따른 검색대상 영상 입력시에, 해당 영상에 대해 데이터베이스에 저장되어 있는 다른 영상의 특징에 대한 유사도를 추출하여 단일의 유사도로 결합하고, 결합된 유사도를 기초로 하여 질의 결과를출력하는 제 2 단계; 및 질의 결과에 대한 사용자의 의견을 비선형적으로 피드백받아, 특징별로 유사도 가중치를 조절하고, 조절된 가중치에 의해 질의과정을 반복하여 변화된 영상을 출력하는 제 3 단계를 포함함.

4. 발명의 중요한 용도

본 발명은 영상 검색 등에 이용됨.

Description

영상 유사도 가중치 조절 장치 및 그 방법과 그를 이용한 내용기반 영상 검색 시스템 및 그 방법

본 발명은 영상자료를 데이터베이스에 입력할 때, 영상자료를 분석하여 그 특징을 추출하고, 이를 이용하여 데이터베이스에 인덱스로 사용함으로써, 영상자료 자체를 검색어로 사용할 수 있도록 한 영상 유사도 가중치 조절 장치 및 그 방법과 그를 이용한 내용기반 영상 검색 시스템 및 그 방법에 관한 것이다.

종래에는, 문자기반 데이터베이스에 영상자료(즉, 정지영상, 동영상, 그림 등)를 입력하는 경우에, 검색도구로서 이미 입력된 키워드(Keyword) 또는 계산할 수 있는 입력된 값이 사용되었다.

그러나, 이처럼 데이터베이스를 사용하여 영상을 저장하기 위해서는 저장되는 영상과는 별도로 설명(즉, 주석)을 같이 입력시켜 주어야만 하는 불편함이 존재하였다.

따라서, 이러한 단점을 보완하기 위해서, 종래에는 영상을 색상분포 그래프로 표시한 후에 각각의 영상에서 얻은 그래프들을 비교하여 이 그래프들의 차이로 영상의 비슷한 정도를 판단하는 색상의 히스토그램을 비교하는 방법이 사용되었다. 또한, 다른 방법으로는 영상의 전체 평균 색상 만으로 비교하는 방법(즉, 영상전체에 분포되어 있는 색상의 산술 평균값으로 그 영상을 대표하여 비교하는 방법)이 사용되었다.

그리고, 레이아웃을 이용하는 경우에는 영상을 몇 개의 블럭(예컨대, 5×5)으로 나눈 후에, 각 블럭의 평균 색상으로 두 영상간의 레이아웃 유사성을 판단하는 레이아웃 유사성 판별법이 사용되었다.

그러나, 전술한 바와 같은 종래의 방법은, 색상분포가 전체적으로 약간씩 밝거나 어두우면 전혀 비슷하지 않다는 결과가 나오는 단점이 있었고, 한가지 색으로 영상전체의 색을 대표한다는 논리의 비약이 있었다. 또한, 종래의 레이아웃 유사성판별법의 경우에도 각 블럭의 평균색상으로 그 블럭 전체를 대표시키기에는 무리가 뒤따르기 마련이었다. 또한, 이러한 여러 종류의 특징들을 합하여 종합적인 결과로질의결과를 유도하는 방법이 있었으나, 사용자가 각각의 특징들에 대해 충분한 이해가 있어야만 정확히 가중치를 조절하고 올바른 결과를 유도해 낼 수 있는 문제점이 있었다.

따라서, 본 발명은 상기한 바와 같은 종래의 제반 문제점을 해결하기 위하여, 제안된 것으로서, 특징을 추출하기 위해 영상의 색상비율, 배열, 즉 레이아웃과 질감, 모양 등을 사용하고, 이들 여러 가지 특징들을 하나로 결합하여 유사도롤 계산함으로써 영상들간의 유사성을 판단하며, 검색시 여러 종류의 특징들을 이용하고 이들의 중요도를, 사용자의 의견에 따라 가중치를 조절하기 위한 영상 유사도 가중치 조절 창치 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은, 사용자로부터의 데이터베이스 입력요구에 따라 영상을 일정개수의 특징에 대해 분석하여 데이터베이스화한 후에, 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하고, 그 결과에 대해 사용자의 의견을 피드백받아 각 특징에 대한 가중치를 조절하여 조절된 가중치에 의해 변화된 영상을 출력함으로써, 시스템의 성능을 향상시키기 위한 내용기반 영상 검색 시스템 및 그 방법을 제공하는데 다른 목적이 있다.

도 1 은 본 발명에 따른 영상 유사도 가중치 조절 장치의 일실시예 전체 구성도.

도 2 는 본 발명에 따른 상기 도 1 의 가중치 조절기의 일실시예 상세 구성도.

도 3 은 본 발명에 따른 영상 유사도 가중치 조절 방법에 대한 일실시예 전체 흐름도.

도 4 는 본 발명에 따른 상기 도 3 의 가중치 조절 과정에 대한 일실시예 상세 흐름도.

도 5 는 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반 영상 검색 시스템의 일실시예 전체 구성도.

도 6a 내지 6f 는 본 발명에 따른 상기 도 5의 내용기반 영상 검색 시스템의각 구성장치의 동작 과정을 나타낸 일실시예 상세 흐름도.

도 7 은 본 발명의 실시예에 따른 웨이브릿 변환 결과를 나타낸 설명도.

도 8 은 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반 영상 검색 방법에 대한 일실시예 흐름도.

* 도면의 주요 부분에 대한 부호의 설명

110 : 가중치 조절부 111 내지 115 : 가중치 조절기

120 : 승산부 130 : 가산부

210 : 계수기 211 : 유사영상 계수기

212 : 상이영상 계수기 220 : 유사도차 계산기

230 : 변화량 조절기 240 : 가중치 가산기

510 : 영상입력장치 511 : 데이터베이스 입력장치

512 : 소형영상 생성장치 513 : 특징추출장치

514 : 유사도 계산장치 520 : 저장장치

521 : 소형 영상 디렉토리 데이터베이스 522 : 영상 디렉토리 데이터베이스

523 : 인덱스 데이터베이스 524 : 특징벡터 디렉토리 데이터베이스

530 : 질의응답장치 531 : 가중치 조절장치

532 : 질의장치 533 : 결과표시장치

상기 목적을 달성하기 위한 본 발명의 영상 유사도 가중치 조절 장치는, 영상 검색시스템에 적용되는 영상 유사도 가중치 조절 장치에 있어서, 질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 유사 영상의 수를계수하기 위한 유사영상 계수 수단; 질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 상이 영상의 수를 계수하기 위한 상이영상 계수 수단; 상기 유사영상 계수 수단 및 상기 상이영상 계수 수단으로부터 계수값을 입력 받고 외부로부터 유사도를 입력받아, 사용자가 지정한 모든 유사영상과 상이영상의 쌍에 대하여 유사도차를 계산하기 위한 유사도차 계산 수단; 상기 유사도차 계산 수단으로부터 계산된 유사도차를 입력받아, 평균 유사도차를 구한 후에, 평균 유사도 차에 대해 가중치 변화량을 구하기 위한 변화량 조절 수단; 및 상기 변화량 조절 수단으로부터 입력된 가중치 변화량에 외부로부터 입력된 초기 가중치(전단계 피드백시의 가중치)를 더하여 변화된 가중치를 구하기 위한 가중치 조절 수단을 포함하여 이루어진 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 영상 유사도 가중치 조절 방법은, 영상 유사도 가중치 조절 장치에 적용되는 영상 유사도 가중치 조절 방법에 있어서, 질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 특징을 선택하는 제 1 단계; 선택된 하나의 특징에 대해, 사용자가 선택한 유사 영상과 상이 영상의 개수를 계수하는 제 2 단계; 사용자가 지정한 모든 유사영상과 상이영상의 쌍에 대하여 유사도차를 구하는 제 3 단계; 유사도차에 대한 평균 유사도차를 구한 후에, 평균 유사도 차에 대해 가중치 변화량를 구하여 기존의 초기 가중치(전단계 피드백시의 가중치)에 가중치 변화량을 더해서 변화된 가중치를 구하는 제 4 단계; 및 모든 특징들에 대해, 상기 제 2 단계 내지 제 4 단계를 반복 수행하는 제 5 단계를 포함하여 이루어진 것을 특징으로 한다.

또한, 상기 다른 목적을 달성하기 위한 본 발명의 내용기반 영상 검색 시스템은, 영상을 검색하기 위한 시스템에 있어서, 입력되는 영상, 저장하고 있는 영상으로부터 추출되는 특징 벡터, 저장하고 있는 영상으로부터 생성된 소형 영상, 저장하고 있는 영상으로부터 산출된 유사도 테이블을 저장하고 있는 저장수단; 운용자로부터의 데이터베이스 입력요구가 입력됨에 따라, 영상을 분석하여 데이터베이스화하는 데이터베이스 입력 수단; 상기 데이터베이스 입력 수단의 제어에 따라, 현재 입력되는 영상을 소형 영상으로 나누어 상기 저장 수단에 저장하기 위한 소형 영상 생성 수단; 상기 데이터베이스 입력 수단의 제어에 따라, 현재 입력되는 영상에 대하여 소정 개수의 추출사양별로 특징벡터를 만들어 상기 저장 수단에 저장하기 위한 특징추출 수단; 상기 특징추출 수단에 의해 추출된 소정 개수의 특징벡터를 이용하여 상기 저장 수단에 저장된 다른 영상의 특징벡터와의 각각의 특징에 대해 유사도를 계산하고, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키며, 각 특징에서의 정규화된 유사도를 단일의 유사도로 결합하여 인덱스를 구성한 후에, 구성된 인덱스를 상기 저장 수단에 저장하기 위한 유사도 계산 수단; 외부로부터 입력되는 질의어에 따라, 상기 저장 수단에 저장되어 있는 상기 유사도 테이블을 독취하여 출력하기 위한 질의 수단; 상기 질의 수단에 의해 출력되는 상기 유사도 테이블에 해당하는 소형 영상을 상기 저장 수단에서 독취하여 출력하기 위한 결과표시 수단; 및 외부로부터 입력되는 피드백 신호에 따라 가중치를 조절하고, 조절된 가중치에 따른 유사도를 구하여 상기 저장 수단으로부터 상기 유사도 테이블을 독취하여 상기 결과표시 수단으로 출력하기 위한 가중치 조절 수단을 포함하여 이루어진 것을 특징으로 한다.

또한, 상기 다른 목적을 달성하기 위한 본 발명의 내용기반 영상 검색 방법은, 영상 검색 시스템에 적용되는 내용기반 영상 검색 방법에 있어서, 사용자로부터의 데이터베이스 입력요구에 따라, 영상을 분석하여 특징을 추출하고, 추출된 특징에 대해 유사도를 계산한 후, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시켜, 정규화된 유사도를 바탕으로 모든 영상에 대해 데이터베이스화하는 제 1 단계; 사용자의 질의에 따른 검색대상 영상 입력시에, 해당 영상에 대해 데이터베이스에 저장되어 있는 다른 영상의 특징에 대한 유사도를 추출하여 단일의 유사도로 결합하고, 결합된 유사도를 기초로 하여 질의 결과를 출력하는 제 2 단계; 및 질의 결과에 대한 사용자의 의견을 비선형적으로 피드백받아, 특징별로 유사도 가중치를 조절하고, 조절된 가중치에 의해 질의과정을 반복하여 변화된 영상을 출력하는 제 3 단계를 포함하여 이루어진 것을 특징으로 한다.

본 발명은 영상자료를 데이터베이스에 입력할 때, 자료를 분석하여 그 자료의 특징들을 추출하고 이를 이용하여 데이터베이스에 인덱스로 사용함으로써 영상자료 그 자체를 검색어로 사용할 수 있도록 한다.

본 발명에서 특징을 추출하는 방법으로, 영상의 색상 비율, 영상의 색상 배열, 즉 레이아웃과 질감, 모양 등을 사용하고, 이들 여러 가지 특징들을 하나로 결합하여 유사도를 계산함으로써 영상들간의 유사성을 판단한다. 아울러, 검색시 여러 종류의 특징들을 이용하고, 이들의 중요도를 사용자의 의견을 받아 시스템 스스로 변화시킴으로써 더욱 쉽게 우수한 결과를 낼 수 있도록 한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1 은 본 발명에 따른 영상 유사도 가중치 조절 장치의 일실시예 전체 구성도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 영상 유사도 가중치 조절 장치는 외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 입력받아 변화된 가중치를 생성하기 위한 다수의 가중치 조절부(110)와, 외부로부터 입력된 각각의 유사도에 가중치 조절부(110)로부터 입력된 각각의 변환된 가중치를 승산하기 위한 승산부(120)와, 승산부(120)로부터 입력된 변환된 가중치가 곱해진 다수의 유사도를 입력받아 이를 가산하기 위한 가산부(130)를 포함한다.

상기 가중치 조절부(110)는 다수의 가중치 조절기(111 내지 115)를 구비하여 외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 입력받아 변화된 가중치를 생성하도록 구성할 수도 있고, 하나의 가중치 조절기로 외부로부터 각각의 초기 가중치 및 피드백 정보와 유사도를 각각 입력받아 변화된 가중치를 생성하도록 구성할 수도 있다.

상기한 바와 같은 구성을 갖는 본 발명의 일실시예에 따른 영상 유사도 가중치 조절 장치의 동작을 간략하게 살펴보면 다음과 같다.

먼저, 가중치 조절부(110)의 각 가중치 조절기(111 내지 115)는 초기 가중치와, 피드백 정보 및 유사도를 입력받아 변화된 가중치를 생성하여 출력하며, 승산부(120)는 유사도와 변화된 가중치를 입력받아 변환된 가중치를 유사도에 곱하여 출력하고, 가산부(130)는 변환된 가중치가 곱해진 각각의 유사도를 입력받아 가산하여 출력한다. 보다 상세한 설명은 후술하기로 한다.

도 2 는 본 발명에 따른 상기 도 1 의 가중치 조절기의 일실시예 상세 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 각 가중치 조절기(111 내지 115)는, 질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 유사 영상의 수를 계수하기 위한 유사영상 계수기(211)와, 질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 상이 영상의 수를 계수하기 위한 상이영상 계수기(212)와, 유사영상 계수기(211) 및 상이영상 계수기(212)로부터 계수값(바람직하게는 "1")을 입력받고 외부로부터 유사도를 입력받아, 사용자가 지정한 모든 유사영상과 상이영상의 쌍에 대하여 유사도차를 계산하기 위한 유사도차 계산기(220)와, 유사도차 계산기(220)로부터 계산된 유사도차를 입력받아, 평균 유사도차를 구한 후에, 평균 유사도 차에 대해 가중치 변화량을 구하기 위한 변화량 조절기(230)와, 변화량 조절기(230)로부터 입력된 가중치변화량에 외부로부터 입력된 초기 가중치(전단계 피드백시의 가중치)를 더하여 변화된 가중치를 구하기 위한 가산기(240)를 포함한다.

상기한 바와 같은 구성을 갖는 본 발명의 실시예에 따른 도 1 의 각 가중치 조절기(111 내지 115)의 동작을 상세히 살펴보면 다음과 같다.

먼저, 유사영상 계수기(211)는 피드백 정보를 입력받아 사용자가 선택한 유사영상의 수를 계수하여 유사도차 계산기(220)로 출력하고, 상이영상 계수기(212)는 피드백 정보를 입력받아 사용자가 선택한 상이영상의 수를 계수하여 유사도차 계산기(220)로 출력한다.

이후, 유사도차 계산기(220)는 유사영상 계수기(211) 및 상이영상 계수기(212)로부터 계수값을 입력받고, 외부로부터 유사도를 입력받아 사용자가 지정한 모든 유사영상-상이영상의 쌍에 대하여 유사도차를 계산하여 변화량 조절기(230)로 출력한다.

다음으로, 변화량 조절기(230)는 유사도차 계산기(220)로부터 유사도차를 입력받아 평균 유사도차를 구한 후에, 가중치 변화량을 구하여 가중치 가산기(240)로 출력한다.

이후에, 가산기(240)는 변화량 조절기(230)로부터 입력받은 가중치 변화량에 외부로부터 초기 가중치를 더하여 변화된 가중치를 출력한다.

도 3 은 본 발명에 따른 영상 유사도 가중치 조절 방법에 대한 일실시예 전체 흐름도이다.

도 3에 도시된 바와 같이, 본 발명에 따른 영상 유사도 가중치 조절 방법은, 먼저 사용자로부터 피드백 정보를 입력받아(310), 특징을 선택한다(311).

이후, 선택된 특징에 대한 가중치를 조절한 후에(312), 모든 특징에 대해 가중치가 조절되었는지를 분석한다(313).

분석 결과, 모든 특징에 대해 가중치가 조절되었으면 종료하고, 모든 특징에 대해 가중치가 조절되지 않았으면 특징을 선택하는 과정(311)부터 반복 수행한다.

도 4 는 본 발명에 따른 상기 도 3 의 가중치 조절 과정에 대한 일실시예 상세 흐름도이다.

도 4에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 도 3의 가중치 조절 과정은, 먼저 사용자가 선택한 유사영상과 상이영상의 개수를 계수한다(410).

이후, 유사영상과 상이영상 각각 한 개씩을 선택하여 유사도차를 구한다(411). 이를 수학식으로 표현하면 (수학식 1)과 같다.

[수학식 1]

(수학식 1)에 도시된 바와 같이, 이러한 유사도차의 계산은 사용자가 지정한 모든 유사영상-상이영상의 쌍에 대해 계산한다.

모든 쌍에 대해 계산이 종료되면, 유사도차(ΔSim)의 평균 유사도차()를 구한다(412). 이를 수학식으로 표현하면 (수학식 2)와 같다.

[수학식 2]

다음으로, 평균 유사도차()에 대해 적당한 크기의 가중치 변화량(ΔWeight)를 구한다(413). 이를 수학식으로 표현하면 (수학식 3)과 같다.

[수학식 3]

여기서, f_D함수는 변화량 판정 지표 함수로, 이를 수학식으로 표현하면 (수학식 4)와 같다.

[수학식 4]

(수학식 4)를 참조하면, α와 β값은 각 특징에 대해 상위 일정 순위내의 영상에 대해 유사도 차이의 평균을 이용하여 결정할 수 있다. 즉, α와 β값을 조절하여 그래프의 기울기와 변화 영역의 범위를 정할 수 있는데, 이 값은 각각의 특징들에 대해 영상간의 유사도의 차이를 기준으로 정하며, α값은 4를, β값은 각 특징에 대해 상위 50위 내의 영상에 대해 유사도 차이의 평균을 값으로 사용할 수 있다.

이후에, 기존의 초기 가중치에 가중치 변화량(ΔWeight)을 더해 변환된 가중치를 구하고(414), 종료한다.

이상으로 한 개의 특징에 대한 가중치를 조절하는 과정을 제시하였고, 나머지 모든 특징에 대해서도 상기한 바와 같은 동일한 방법으로 가중치를 조절한다.

따라서, 이렇게 변화된 가중치를 이용하여 다시 질의 과정을 반복하여 그 결과를 사용자에게 보낸다. 또한, 위의 과정에서 초기 가중치는 전단계 피드백시의 가중치를 이용함으로써, 위의 피드백 과정이 되풀이되면 가중치가 계속 변화되고, 그 결과 질의 결과가 사용자가 원하는 방향으로 계속 유도되어 간다.

만약, 사용자가 유사영상 또는 상이영상 한가지 종류만을 피드백시켰을 경우에, 시스템은 비교 대상이 없으므로 상기 (수학식 1)의ΔSim을 구하지 못하게 된다.

이러한 경우에, 무관영상으로 선택된 영상의 유사도 평균을 상대 유사도 값으로 선택하여 상기 (수학식 1)의ΔSim을 구하여 수행한다.

만약, 사용자가 모든 영상에 대해 유사영상 또는 상이영상으로 피드백을 시켰을 경우에, 이러한 현상은 본 발명의 취지에 어긋나므로 처리하지 않는다. 즉, 모든 영상이 유사하다면, 피드백 신호를 처리할 필요가 없이 사용자가 원하는 영상이 질의 결과로 도출되었음을 말하며, 모든 영상이 상이하다면 사용자가 질의한 영상 자체도 상이한 것이므로 질의 자체가 잘못되었음을 말해주므로 처리할 필요가 없게 된다.

도 5 는 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반 영상 검색 시스템의 일실시예 전체 구성도이다.

도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 유사도 가중치 조절 장치(도 1 참조)를 이용한 내용기반 영상 검색 시스템은, 운용자로부터 영상을 입력받아 저장하고, 저장된 영상의 특징을 추출하여 저장하며, 유사도를 계산하여 저장하고, 소영상을 생성하여 저장하기 위한 영상입력장치(510)와, 영상, 특징 벡터, 소영상, 유사도 테이블을 저장하기 위한 저장장치(520)와, 사용자로부터 질의를 입력받아 질의의 유사도에 따른 소영상을 출력하고, 출력된 소영상에 대한 사용자의 선택 정보를 피드백받아 유사도 가중치를 변화시켜 그 결과에 따른 영상을 출력하기 위한 질의응답장치(530)를 포함한다.

상기 영상 입력 장치(510)는 운용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화하는 데이터베이스 입력장치(511)와, 데이터베이스 입력장치(511)의 제어에 의해 현재 입력되는 영상을 소형 영상으로 나누어 소형 영상 디렉토리 데이터베이스(521)에 저장하는 소형영상 생성장치(512)와, 데이터베이스 입력장치(511)의 제어에 의해 현재 입력되는 영상에 대하여 일정개수의 추출사양별로 특징벡터를 만들어 특정벡터 디렉토리 데이터베이스(524)에 저장하는 특징추출장치(513)와, 추출된 일정 개수의 특징벡터를 이용하여 영상 디렉토리 데이터베이스(522)내의 다른 영상의 특징벡터와의 각각의 특징에 대해 유사도를 계산하고, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키며, 각 특징에서의 정규화된 유사도를 단일의 유사도로 결합하여 인덱스를 구성한 후에, 구성된 인덱스를 인덱스 데이터베이스(523)에 저장하는 유사도 계산장치(514)를 포한다.

상기 저장 장치(520)는 소형 영상 디렉토리를 저장하고 있는 소형 영상 디렉토리 데이터베이스(521)와, 영상 디렉토리를 저장하고 있는 영상 디렉토리 데이터베이스(522)와, 유사도 테이블을 저장하고 있는 인덱스 데이터베이스(523)와, 특징 벡터 디렉토리를 저장하고 있는 특징 벡터 디렉토리 데이터베이스(524)를 포함한다.

상기 질의 응답 장치(530)는 질의어를 분석하여 인덱스 데이터베이스(523)로부터 유사도 테이블을 출력시키는 질의장치(532)와, 질의장치(532)에 의해 출력되는 유사도 테이블에 해당하는 소형 영상을 소형 영상 디렉토리 데이터베이스(521)에서 독취하여 검색 사용자에게 보여주는 결과표시장치(533)와, 사용자로부터 입력되는 피드백 신호를 입력받아 가중치를 조절하고, 조절된 가중치에 따른 유사도를 구하여 해당하는 인덱스 데이터베이스(523)로부터 유사도 테이블을 결과표시장치(530)로 출력하기 위한 가중치 조절장치(531)를 포함한다.

상기한 바와 같은 구성을 갖는 본 발명에 따른 가중치 조절 장치를 이용한 내용기반 영상 검색 시스템의 동작을 상세히 살펴보면 다음과 같다,

데이터베이스 입력 장치(511)는 처리해야 할 영상을 영상 디렉토리 데이터베이스(522)에 저장한 후에, 소형영상 생성장치(512)를 구동시켜 새로운 소형 영상 (Thumbnail: 즉, 화면표시를 용이하게 하기 위해 큰 영상을 100 ×100정도의 작은영상으로 만든 것)을 만들어 소형영상 디렉토리 데이터베이스(521)에 저장한다.

그리고, 새로운 영상에 대한 특징벡터가 없으므로 특징추출장치(513)를 구동시켜 새로운 영상의 특징을 다섯가지 정도의 추출사양(즉, 색상 히스토그램, 클러스터링을 이용한 대표색상, 레이아웃, 질감, 윤곽선 등)으로 추출하여 특징벡터를 만들고, 그 각각의 특징별로 추출된 특징벡터를 특징벡터 디렉토리 데이터베이스(524)에 저장한다.

유사도 계산장치(5l4)는 특징추출장치(513)에 의해 추출된 일정 개수의 특징 벡터를 이용하여 영상 디렉토리 데이터베이스(522)내의 다른 영상의 특징벡터와의 각각의 특징에 대해 유사도를 계산하고, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖도록 정규화시키며, 상기 각 특징에서의 정규화된 유사도를 단일의 유사도로 결합시킨 후에 테이블로 만들어 인덱스를 생성하여 인덱스 데이터베이스(523)에 저장한다.

그리고, 유사도 계산장치(514)는 운용자가 입력한 모든 새로운 영상에 대해 특징추출장치(513)에 의한 특징추출동작이 완료되면 데이터베이스 입력 장치(511)의 제어에 의해 구동된다.

상기한 바와 같이 모든 영상의 각 특징에서의 정규화된 유사도가 유사도 계산장치(514)에서 단일의 결합된 유사도로 계산되어 테이블로 만들어지고, 그 유사도 계산장치(514)에서 인덱스를 생성하게 되면 영상의 데이터베이스화는 종료된다.

질의장치(532)는 일반 사용자가 이미 입력된 영상 디렉토리 데이터베이스(522)에서 영상을 검색하고자 할 때 사용하는 질의도구를 나타내는데, 사용자의 검색요구에 맞게 질의어를 분석한 후에, 특징추출장치(513)와 유사도 계산장치(514)를 이용하여 인덱스 데이터베이스(523)로부터 검색된 영상을 결과표시장치(533)로 보내준다.

여기서, 사용자는 결과표시장치(533)에 보여진 결과에 대해 원하는 영상과 원하지 않는 영상을 선택하여 다시 질의하면, 가중치 조절장치(531)가 사용자의 의견을 분석하여 각각의 특징에 대한 가중치를 조절하고, 다시 인덱스 데이터베이스(523)로부터 변화된 가중치에 의한 결과를 도출하여 결과표시장치(533)로 보내준다.

상기 질의장치(532)는 결과표시장치(533)가 임의로 선택해서 보여준 샘플 영상일 수도 있고, 사용자가 그린 영상(즉, 그림) 또는 스캐너 등의 외부 영상입력장치로부터 입력받은 또 다른 영상 데이터 또는 사용자가 지정한 색상과 그 비율 등이 될 수도 있다.

그리고, 결과표시장치(533)는 인덱스 데이터베이스(523)로부터 검색되어 입력되는 영상을 받아 소형영상 디렉토리 데이터베이스(521)에서 소형영상을 가져와 검색 사용자에게 보여준다.

한편, 상기 데이터베이스 입력장치(511)의 제어 과정을 도 6a를 참조하여 구체적으로 살펴보면 다음과 같다.

도 6a에 도시된 바와 같이, 데이터베이스 입력장치(511)의 제어 과정은, 먼저 영상 디렉토리 데이터베이스(522)로부터 운용자가 입력한 영상을 추출하여 우선적으로 소형영상이 존재하는지를 판단한다(601).

판단 결과, 소형영상이 존재하지 않으면, 소형영상 생성장치(512)를 구동시켜 소형 영상을 만들어 소형영상 디렉토리 데이터베이스(521)에 저장시키고(602), 소형영상이 존재하면 다시 소형영상을 만들 필요가 없으므로 본래의 영상에 대한 특징벡터가 특징벡터 디렉토리 데이터베이스(524)에 존재하는지를 분석한다(603).

여기서, 소형영상은 크기가 큰 원래의 영상을 10O×100정도 크기의 작은 영상으로 다시 만들어 사용자에게 보여주기 편하게 하기 위한 것으로, 원래의 영상의 가로, 세로 비율에 맞추어 크기를 줄여주고 100×100의 정사각형 영역에서 남는 부분은 흰색으로 채워준다.

그리고, 처리된 모든 영상에 대해서는 특징벡터 디렉토리 데이터베이스(514)에 임의의 공간을 할당하여 특징벡터를 저장함으로써 재차 데이터베이스 입력과정을 수행할 때 동일한 처리를 반복하지 않도록 한다.

분석 결과, 특징벡터가 존재하면 영상 디렉토리 데이터베이스(522)내의 모든영상에 대해 처리가 완료되었는지를 검사하고(605), 특징벡터가 존재하지 않으면 특징벡터를 추출하여 특징벡터 디렉토리 데이터베이스(524)에 저장한다(604).

상기한 바와 같이 특징벡터가 존재한다거나 특징벡터의 추출이 완료되면, 영상 디렉토리 데이터베이스(522)에 있는 모든 영상에 대해 처리되었는지를 검사하여(605), 아직 처리되지 않고 남아 있는 영상이 있으면 상기의 과정(601 내지 604)을 반복적으로 수행하고, 모든 영상에 대해 처리가 완료되면 유사도 계산장치(514)를 구동시켜 유사도 테이블을 작성한다(606). 여기서, 유사도 테이블은 모든 영상에 대해 상호 유사도를 미리 계산해 놓은 테이블로서, 검색시 유사도를 계산하지 않고도 모든 영상에 대한 유사도를 얻을 수 있게 함으로써 검색시간을 단축시킬 수 있다.

특히, 유사도 테이블 작성 과정(606)시, 모든 영상에 대한 유사도를 각각의 특징(즉, 색상 히스토그램, 클리스터링된 색상, 레이아웃, 질감, 윤곽선 모양)에 대해 계산하여 인덱스 데이터베이스(523)로써 사용할 수 있도록 한다.

다음으로, 상기 특징추출장치(513)에 의해 행해지는 각각의 특징벡터 추출과정 및 유사도 계산장치(514)에서의 유사도 계산 과정을 구체적으로 살펴보면 다음과 같다.

먼저, 색상 히스토그램을 이용하는 경우는 종래의 영상 검색 방법에서 사용한 방법과 동일한 방법을 사용하게 되는데, 일단 압축 저장되어 있는 영상을 읽어 와서 압축 해제하고 적-녹-청(RGB : Red-Green-Blue) 좌표계로 되어 있는 색상 좌표계를 색상-채도-명도(HSV : Hue-Saturation-Value) 색상 좌표계로 변환시킨다.

이후, 변환된 색상 좌표계를 이용하여, 각각의 색상 좌표에 대해 색상 히스토그램을 만들고, 이것을 일렬로 나열하여 하나의 긴 벡터로 만들어 영상의 특징으로 사용한다. 여기서, 상호 유사도 계산은 두개의 히스토그램을 비교하는데, 동일한 위치(Bin)의 히스토그램 값중에서 작은 값을 취하여 새로운 히스토그램을 만들고, 모든 히스토그램 빈(Bin)에 대해 상기의 동작을 수행한 후에, 그 결과 생성된 히스토그램내의 모든 값을 더하여 유사도로 사용한다.

결과적으로, 상기의 색상 히스토그램을 이용하여 특징벡터를 추출하는 경우에, 상당히 유사한 영상간에는 l에 가까운 값이 나오는 반면에, 상이한 영상간에는 0에 가까운 값이 나오게 된다.

다음으로, 클러스터를 이용한 대표 색상에 의해 특징벡터를 만드는 생성 과정을 도 6b를 참조하여 구체적으로 살펴보면 다음과 같다.

먼저, 압축 저장되어 있는 일반적인 영상 형식을 처리하기에 수월한 형식으로 압축해제하고(611), 압축해제된 영상의 색상 좌표계를 변환시킨다(612). 여기서, 색상 좌표계의 변환이라 함은 컴퓨터에서 기본적으로 사용하는 빨강색, 녹색, 파랑색의 적-녹-청 색상 좌표계를 씨·아이·이-엘·에이·비(CIE-Lab) 색상 좌표계로 변환시킴을 의미한다.

이후, CIE-Lab 색상 좌표계로의 변환이 완료되면, 영상에 포함된 색상(Color)들을 각각의 대표색으로 표현하기 위한 클러스터링(C1ustering)을 수행한 후에(613), 그 결과를 이용하여 가장 적절한 클러스터(C1uster)의 개수를 파악할 수 있도록 클러스터를 병합한다(614).

다음으로, 병합된 결과를 영상 디렉토리 데이터베이스(522)에 저장함으로써(615) 영상 특징 추출 과정을 종료하게 된다.

상기 클러스터링 동작 과정(613)에 대해 도 6c를 참조하여 보다 상세히 살펴보면 다음과 같다.

먼저, 클러스터링 동작을 행하는 과정에서는 영상에서부터 추출된 특징벡터(본 발명의 실시예에서는 색상과 그 분포비율, 분산 등)들을 비슷한 색상끼리 묶는 방법을 제공하게 되는데, 처음에는 변수(즉, 분포비율(P_i), 분산(σ_i ²))를 초기화시킨 후에(621), 현재 클러스터의 분산(σ_i ²) 및 분포비율(P_i)을 계산한다(622).

이후, 계산된 분산(σ_i ²) 및 분포비율(P_i)을 기초로 특징 벡터들을 구분하는데, 계산된 분산(σ_i ²)이 일정한 임계구분값(t1)보다 큰지의 여부 및 계산된 분포비율(P_i)이 일정한 임계구분값(t2)보다 큰지의 여부를 분석한다(623).

분석 결과, 계산된 분산(σ_i ²)이 일정한 임계구분값(t1)보다 크고 계산된 분포비율(P_i)이 일정한 임계구분값(t2)보다 크면, K대표값(K-means)(예컨대, K=2로 설정)방법으로 현재의 특징벡터를 두 분류로 클러스터링한 후에(624), 현재 클러스터의 분산(σ_i ²) 및 분포비율(P_i)계산하는 과정(622)부터 반복 수행한다.

한편, 계산된 분산(σ_i ²)이 일정한 임계구분값(t1)보다 작거나 같고 계산된 분포비율(P_i)이 일정한 임계구분값(t2)보다 작거나 같으면, 다음 클러스터를 선택한 후에(625), 처리할 다음 클러스터가 있는지를 검사한다(626).

검사 결과, 처리할 다음 클러스터가 없으면 클러스터링 동작을 종료하고, 처리할 다음 클러스터가 있으면 현재 클러스터의 분산(σ_i ²) 및 분포비율(P_i)을 계산하는 과정(622)부터 반복 수행한다.

결과적으로, 한 장의 영상에 대해 상술한 클러스터링 과정을 반복하게 되면 특징 벡터들이 유한 개수의 클러스터로 구분된다, 즉, 클러스터들은 분산(σ_i ²)이 작으며 분포비율(P_i)이 큰 특징을 갖는 소수의 클러스터들과, 분산(σ_i ²)이 크며 분포비율(P_i)이 적은 특징을 갖는 다수의 클러스터들로 구분된다.

상기 도 6b의 클러스터 병합 동작 과정(614)을 도 6d를 참조하여 보다 상세히 살펴보면 다음과 같다.

도 6d를 참조하면, 상술한 클러스터링 동작에 의해 얻어진 클러스터 정보를 이용하여 병합동작을 수행하게 되는데, 먼저 두 개의 대상 클러스터를 선택하고(631), 선택된 클러스터들의 중심간의 최소 오차를 계산한 후에(632), 계산된 최소 오차가 일정한 임계구분값(t3)보다 큰지 아니면 작은지를 분석한다(633).

분석 결과, 계산된 최소 오차가 임계구분값(t3)보다 작으면 너무 과도하게 구분된 것이므로 두 클러스터를 병합한 후에(634) 두 개의 클러스터를 그대로 두고 다른 두 개의 대상 클러스터를 선택하고(635), 계산된 최소 오차가 임계구분값(t3) 보다 크거나 같으면 두 개의 클러스터를 그대로 두고 다른 두 개의 대상 클러스터를 선택한다(635).

이후, 계산할 클러스터가 존재하는지를 검사하여(636), 다른 클러스터가 존재하게 되면 그 클러스터들의 중심간의 최소 오차를 계산하는 과정(632)부터 반복 수행하고, 다른 클러스터가 존재하지 않으면 클러스터 병합동작을 종료하게 된다.

상기한 바와 같이 동작하는 클러스터를 이용한 대표색상에 의해 특징벡터를 만들고 난 후에 이를 이용하여 두 영상간의 유사도를 구하게 되는데, 즉 영상의 대표색과 그 분포비율, 각 대표색으로 구분되어진 클러스터 내부의 원래 색상들간의 분산값을 이용하여 유사도를 계산하게 된다.

예를 들면, 두 대표색 간의 색상의 차이를 인자로 하여 이의 반비례 관계로 나타내어지는 지수함수와 이들의 분포비율의 최소값의 곱으로써 유사도를 표현하게 된다.

따라서, 상술한 클러스터를 이용한 대표색상의 경우에 있어서, 두 영상간의 유사도를 수학식으로 표현하면 (수학식 5)와 같다.

[수학식 5]

여기서, D[(I_a,P_a, σ² _a),B]는 클러스터들간의 유사도를 나타내는데, 클러스터들간의 유사도는 두 영상 A, B에 있어서 이 영상들의 특징벡터의 집합 {(I_a, P_a, σ² _a)│1≤a≤Na}, {(I_b, P_b, σ² _b) | 1≤b≤N_b}에 대해 다음 (수학식 6)과 같이 표현되고, N_a, N_b는 영상 A, B의 클러스터 개수, I_a={x_a,y_a,z_a}는 영상 A의 a번째 대표색상, P_a는 I_a의 색상 비율, σ² _a는 대표색상 I_a에 대한 분산을 의미한다.

[수학식 6]

단,이며, d(I_a,I_b)는 a, b 클러스터의 중심값들 간의 유클리디안 거리(Euclidian Distance)이다. 여기서, d(I_a,I_b)를 수학식으로 표현하면 (수학식 7)과 같다.

[수학식 7]

상기 (수학식 5) 내지 (수학식 7)을 참조하면, 분산(σ_i ²)은 전체 영상에 대한 평균 분산값 상수(K)로 대치가능하다.

이와같이,(수학식 5),(수학식 6) 및 (수학식 7)에 의해 계산된 유사도를 기초로 하여 모든 영상에 대해 계산된 유사도를 크기순으로 분류하고, 그 결과(즉, 색상을 기반으로 한 결과치)를 다시 순서대로 결과표시장치(533)를 통해 사용자측으로 전송하게 됨으로써, 검색시 문자가 아닌 영상 자체를 검색어로 사용하게 된다.

다음으로, 레이아웃에 의한 특징벡터의 구성 및 유사도 계산 과정을 구체적으로 살펴보면 다음과 같다.

먼저, 레이아웃 특징벡터 추출동작을 수행할 때 웨이브릿 변환을 이용하게 되므로, 그 웨이브릿 변환에 대해 설명한다. 여기서, 웨이브릿 변환이란 어떠한 신호를 서로 다른 주파수 성분으로 분리해 놓고, 각각의 주파수 성분에 대해 분석할 수 있게 해 주는 도구로써, 이를 수학식으로 표현하면 (수학식 8)과 같다.

[수학식 8]

단, Ψ는 분석 웨이브릿(Analyzing Wavelet), a는 스케일(Scale), b는 위치(Position)를 나타낸다.

(수학식 8)을 참조하면, Ψ(t)는 웨이브릿 함수로서 그 특성에 따라 하르(Haar), 도비치스(Daubechies)등의 여러 종류가 존재하는데, 본 실시예에서는 도비치스(Daubechies) 웨이브릿 함수를 사용한다.

영상에 대해 웨이브릿 변환을 하게 되면, 그 영상은 1/4 크기의 작은 영상으로 변환되고, 나머지 1/4은 가로 성분의 차영상(difference image), 또 다른 1/4은세로 성분의 차영상, 나머지 1/4은 대각선 성분의 차영상으로 재구성된다. 이때, 보통 1/4 크기로 축소된 영상을 저주파 대역(Low Band)이라고 부르고, 나머지 차영상 부분을 고주파 대역(Sub Band)이라 부른다.

만약, 1/4 크기로 줄어든 영상에 대해 다시 웨이브릿 변환을 하게 되면, 다시 1/4 크기로 줄어든 저주파 대역 영상이 얻어지고, 나머지 영역은 고주파 대역 영상이 구해진다.

결과적으로, 연속적인 두 번의 웨이브릿 변환에 의해 1/16 크기의 저주파 대역 영상 한개와 1/16크기의 고주파 대역 영상 세 개, 1/4크기의 고주파 대역 영상 세개가 구해진다. 이러한 변환 과정은 저주파 대역의 영상의 크기가 변환가능한 크기이면 계속 반복하여 수행되어질 수 있다.

따라서, 이와 같은 웨이브릿 변환을 이용하는 레이아웃 특징벡터 추출과정을 도 6e를 참조하여 구체적으로 살펴보면 다음과 같다.

도 6e를 참조하면, 레이아웃 특징벡터 추출과정은, 먼저 처리해야 할 원래의 영상을 영상 디렉토리 데이터베이스(522)로부터 가져와 사용하기 편리한 형태로 압축해제한다(641). 이는 일반적으로 영상 자료가 그 크기가 매우 크므로 저장하기 위해서는 보통 압축저장하고, 이렇게 압축저장된 영상 자료는 그대로 사용하지 못하므로 압축된 정보를 다시 원래의 상태로 풀어놓고 사용하기 위함이다.

이후, 압축해제된 영상에 대해 그 크기를 정규화시킨다(642). 즉, 웨이브릿 변환(Wavelet Transform)을 하기 위해 가로 세로 비율이 서로 다른 영상을 가로 세로 비율이 같고, 또한 처리하기 용이한 256× 256 크기의 영상으로 변환시킨다.

다음으로, 압축해제된 영상은 빨강, 녹색, 파랑의 세가지 색성분으로 구성되고 이러한 색좌표(RGB좌표계)는 물리적인 화면표시방식에는 적합하지만, 사람의 인지체계와는 동떨어졌기 때문에, 크기가 정규화된 영상에 대한 적-청-녹(RGB)좌표계의 색상정보를 CIE-Lab 색상 좌표계로 변환시킨다(643). 여기서, CIE-Lab 색상 좌표계는 사람의 인지체계와 비슷하며, 두 색상간의 유클리디안 거리(Euclidean Distance)도 그 숫자적 의미가 인간의 인지체계와 비슷한 차이를 보인다.

다음으로, CIE-Lab 색상 좌표계로의 변환이 완료되면, 앞서 처리된 영상에 대해 웨이브릿 변환을 한다(644). 즉, 웨이브릿 변환은 L색상 성분, a색상 성분, b색상 성분에 대해 각각 수행하며 저주파 대역 영상의 크기가 8× 8크기가 될 때까지 반복해서 변환동작을 수행하게 된다.

웨이브릿 변환 결과, 저주파 대역 영상에서 얻어지는 색상 좌표별로 64개, 총 192개의 값을 각각의 색상 좌표별로 벡터로 구성하여 64개의 특징벡터를 구성시킨다(645).

이후에, 고주파 대역의 영상에 대해 영상의 밝기(Intensity)를 나타내는 L색상 성분에 대해서 질감 특징벡터를 구성한다(646).

본 발명의 실시예에 따른 웨이브릿 변환 결과가 도 7에 도시되었다.

도 7을 참조하면, 영역 1은 저주파성분 영상이 나타나는 영역이고, 영역 2와 영역 3 및 영역 4는 모두 가로 성분의 차영상 정보를 포함하고 있는 영역이며, 영역 5와 영역 6 및 영역 7은 대각선 성분의 차영상 정보를 포함하고 있는 영역이고, 영역 8과 영역 9 및 영역 10은 세로 성분의 차영상 정보를 포함하고 있는 영역이다.

본 발명의 실시예에서는 이러한 고주파 대역의 차영상 정보에 대해 다시 웨이브릿 변환을 적용하여 각 영역의 저주파 대역 영상의 크기가 8×8이 될 때까지 웨이브릿 변환을 수행한다.

상기의 결과, 각 영역에 대해 8×8크기의 고주파 영역에 대한 저주파 성분의 값을 각 방향 성분으로 프로젝션하여 각 방향 성분별로 64개의 값을 구한다. 즉, 상기 도 8에서 영역 2와 영역 3 및 영역 4의 검게 칠한 점들의 값을 모두 더해 하나의 값으로 구하여 영역 2에 대치시킨다. 이러한 방법으로 64개의 값을 구한다.

마찬가지로, 영역 5와 영역 6 및 영역 7에서도 같은 방법으로 64개의 값을 구하고, 영역 8과 영역 9 및 영역 10에서도 같은 방법으로 64개의 값을 구한다.

본 실시예에서는, 이렇게 구한 192개의 값을 질감 레이아웃 특징벡터로 사용하고, 상기한 바에 따라 구해진 저주파 대역의 특징벡터 64개와 고주파 대역의 특징벡터 192개를 영상의 레이아웃 특징벡터로 사용한다.

이어서, 상기의 동작에 의해 구해진 영상의 레이아웃 특징벡터를 이용하여 두 영상간의 유사도를 계산하게 되는데(647), 두 영상간의 유사도를 수학식으로 표현하면 (수학식 9)와 같다.

[수학식 9]

S(A, B) = D(A, B) + α·T(A, B)

여기서, D(A, B)는 두 영상의 색상 레이아웃의 유사도를 나타내는데, 이 두영상의 색상 레이아웃의 유사도는 다음의 (수학식 10)과 같은 유클리디안거리(Euclidean Distance)로 계산되어지고, 이 거리가 작을수록 비슷한 영상이라고 할 수 있다.

[수학식 10]

그리고, 상기 (수학식 9)에서의 T(A, B)는 질감 레이아웃의 유사도를 나타내는데, 이 질감 레이아웃의 유사도는 다음 (수학식 11)과 같이 계산되어지고, 이 값이 작으면 비슷한 영상이라고 할 수 있다.

[수학식 11]

이와 같이, 레이아웃을 이용한 두 영상간의 유사도는 한 쌍의 비교 영상에 대해 상기 (수학식 10)과 (수학식 11)의 유사도가 적용된다.

그리고, 상기 (수학식 9)에서의 a는 D(A, B)와 T(A, B) 사이의 선형적 관계가 없기 때문에 실험적으로 구한 가중치이고, 이를 이용하여 두 유사도를 합하여 하나의 유사도로 표현한다. 또한, 이 가중치(a)는 사용자가 질의 과정에서 임의로 조정할 수 있도록 함으로써, 사용자의 요구에 더욱 가까운 결과를 도출시킬 수 있도록 한다.

이제, 질감에 의해 특징벡터를 추출하는 과정 및 유사도 계산 과정을 도 6f를 참조하여 구체적으로 살펴보면 다음과 같다.

도 6f에 도시된 바와 같이, 특징벡터를 추출하는 과정 및 유사도 계산 과정은, 먼저 압축저장되어 있는 영상을 처리하기 용이한 형태로 압축해제한다(651).

이후, 압축해제된 다양한 크기의 영상을 일정크기의 영상으로 정규화시킨다(652). 즉, 본 실시예에서는 바람직하게 256× 256 크기의 영상으로 그 크기를 정규화시킨다.

다음으로, 적-녹-청(RGB)로 되어 있는 영상의 색상 좌표계를 CIE-Lab 색상 좌표계로 변환시킨다(653). 이는 압축해제된 영상이 빨강, 녹색, 파랑의 세가지 색 성분으로 구성되어 있고, 이러한 색좌표(RGB좌표계)가 물리적인 화면표시방식에는 적합하지만 사람의 인지체계와는 동떨어졌기 때문에, 사람의 인지체계와 비슷하며, 두 색상간의 유클리디안 거리(Euclidean Distance)도 그 숫자적 의미가 인간의 인지체계와 비슷한 차이를 보이는 CIE-Lab 색상 좌표계로 변환시키기 위함이다.

이후에, CIE-Lab 색상 좌표계로의 변환이 완료되면, 웨이브릿 변환을 3번 정도 수행하여 32× 32의 저주파 대역 영상을 얻고, 9개의 고주파 대역 차영상 정보를 얻는다(654).

이어서, 고주파 대역의 차영상 정보에 대해 각각 다시 웨이브릿 변환을 하여 그 결과 저주파 대역 영상의 크기가 32× 32가 될 때까지 반복 변환시키고, 상기 도 7의 영역 1을 제외한 나머지 영역(즉, 영역 2 내지 영역 10)에서 검게 칠한 부분의 값을 요소로 하는 하나의 벡터를 만들며, 이러한 벡터를 32× 32에 대해 만들어 총 1024개의 벡터를 구성한다.

다음으로, 이렇게 구성한 1024개의 벡터를 클러스터링을 통하여 소수의 집합으로 다시 만들고, 이 소수의 벡터와 이들의 분포율을 질감 특징벡터로사용한다(656).

이렇게 하여 만들어진 질감 특징벡터는 클러스터링을 이용한 색상 유사도 계산 방법과 동일한 방법으로 유사도를 계산한다(657).

마지막으로, 윤곽선에 의해 특징벡터를 추출하는 과정 및 유사도 계산 과정을 구체적으로 설명하면 다음과 같다.

먼저, 영상에 대해 윤곽선 추출 필터를 적용하여 윤곽선을 추출한 후에, 추출된 윤곽선을 추적하면서 그 방향 성분을 히스토그램으로 만든다. 이러한 히스토그램은 영상의 크기로 정규화되어 영상의 크기에 관계없이 동일한 크기의 값을 갖게 된다.

이후에, 이렇게 하여 만들어진 히스토그램을 윤곽선 특징벡터로 하고, 색상히스토그램 비교법과 동일한 히스토그램 비교 방법으로 유사도를 계산한다.

이상에서 구한 각각의 특징에 대한 유사도는 그 자체로 영상 검색에 사용되어질 수 있다.

다시 말해서, 레이아웃 특징 벡터로부터 계산된 유사도를 이용하여 영상간의레이아웃 유사성을 구한 후에, 이를 이용하여 영상검색을 할 수가 있고, 질감 특징벡터로부터 계산된 유사도를 이용하여 영상간의 질감 유사성을 구하고 이를 이용하여 영상검색을 할 수가 있다.

하지만, 본 발명의 실시예에서는 이러한 개별적인 유사도를 하나의 유사도로 결합하여 사용한다.

이러한 고유의 유사도들을 한개의 유사도로 결합하는 방법에 대해 설명하면,우선 상술한 바와 같이 하여 구해진 각각의 특징들에 대한 유사도 값은 각각 고유의 범위를 갖고 있으므로 상호 관계가 모호하다. 따라서, 본 발명의 실시예에서는 모든 유사도 값이 일정한 값을 갖도록 정규화시킨다. 이를 수학식으로 표현하면 (수학식 12)와 같다.

[수학식 12]

단, x'는 새로 조정된 유사도,mean은 원래 유사도의 평균, σ는 원래 유사도의 표준편차를 나타낸다.

이렇게 계산된 새로운 유사도는 다시 -1에서 1사이의 값을 갖도록 조정하는데, 이를 수학식으로 표현하면 (수학식 13)과 같다.

[수학식 13]

상기 (수학식 13)을 0에서 1사이의 값을 갖도록 재조정할 수 있는데, 이를 수학식으로 표현하면 (수학식 14)와 같다.

[수학식 14]

상기 (수학식 14)를 참조하면, 이렇게 하여 구해진 새로운 유사도 값들은 어떠한 특징에 대해서도 그 범위가 0에서부터 1사이가 되고, 이것은 모든 특징들에 대해 동일한 중요도를 갖게 된다.

이렇게 하여 구해진 유사도를 결합할 수 있는데, 이를 수학식으로 표현하면 (수학식 15)와 같다.

[수학식 15]

단, S_ch는 색상 히스토그램 특징에 의해 계산되어진 정규화된 유사도, S_cc는 클러스터링을 이용한 색상 특징에 의해 계산되어진 정규화된 유사도, S_l은 레이아웃특징을 의해 계산되어진 정규화된 유사도, S_t는 질감 특징에 의해 계산되어진 정규화된 유사도, S_e는 윤곽선 특징에 의해 계산되어진 정규화된 유사도이다.

(수학식 15)를 참조하면, α, β, γ, δ, ε은 각각의 가중치 값으로서, 이가중치 값은 1을 기준으로 좀더 부각시키고 싶은 특징에 대해 더 큰 값을 주고 계산하면 된다.

상기 결과, 사용자에게 계시된 영상에 대해 사용자는 유사영상과 상이영상, 혹은 유사한 영상인지, 상이한 영상인지 구분하기 모호한 영상을 구분하여 시스템에 피드백 시킨다.

도 8 은 본 발명에 따른 영상 유사도 가중치 조절 장치를 이용한 내용기반 영상 검색 방법에 대한 일실시예 흐름도이다.

도 8을 참조하면, 본 발명의 실시예에 따른 영상 유사도 가중치 조절 장치를이용한 내용기반 영상 검색 방법은, 크게 세가지로 분류될 수 있는데, 사용자로부터의 데이터베이스 입력요구가 입력됨에 따라 영상을 분석하여 데이터베이스화하는 영상 입력 과정(801 내지 804)과, 사용자의 질의를 입력받아 데이터베이스로부터 비슷한 영상을 추려내어 출력하는 질의 과정(805 내지 808)과, 질의 결과에 대한 사용자의 의견을 입력받아 각 특징에 대한 가중치를 조절하여 조절된 가중치에 의해 변화된 영상을 출력하는 의견 반영 과정(809 내지 811)으로 분류된다.

먼저, 사용자로부터 데이터베이스 입력 요구가 수신되면(801), 영상 디렉토리 데이터베이스(522)에 저장된 영상의 특징을 일정 개수의 추출사양별로 추출하여 특징 벡터를 생성한다(802).

이후, 추출된 일정 개수의 특징 벡터를 이용하여 영상 디렉토리 데이터베이스(522)내에 다른 영상의 특징 벡터와의 각각의 특징에 대해 유사도를 계산한 후에(804), 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키고 정규화된 유사도를 이용하여 영상 디렉토리 데이터베이스(522)내의 모든 영상에 대해 데이터베이스화한다(805).

다음으로, 사용자의 검색요구에 의해 검색대상이 되는 영상을 입력받아(805)영상 디렉토리 데이터베이스(522)내에 미리 계산되어 입력된 다른 영상의 일정 개수의 특징 벡터들에 대한 유사도를 추출하여(806) 유사도 기준으로 단일의 유사도로 결합한 후에(807), 결합된 유사도를 기초로 하여 순서대로 사용자에게 출력한다(808).

이후에, 사용자에게 보내진 결과에 대해 사용자의 의견을 입력받으면(809),사용자로부터의 가중치 자동 변경요구가 입력되었는지를 분석한다(810).

분석 결과, 사용자로부터 가중치 자동 변경요구가 입력되었으면, 각각의 특징에 대한 가중치를 조절한 후에(811), 조절된 가중치에 의해 다시 질의 과정(805내지 807)을 반복 수행하고 그 결과를 사용자에게 보낸다(808).

분석 결과, 사용자로부터 가중치 자동 변경요구가 입력되지 않으면, 종료한다.

본 발명은 상술한 본 발명의 실시예에서와 같은 다섯 가지의 특징들에 대해서 뿐만아니라, 유사도로 나타낼 수 있는 모든 형태의 특징들에 대해서도 적용이 가능하고, 또한 상술한 본 발명의 실시예는 웹서버를 통하여 웹 영상 정보서비스에 이용되어질 수도 있으며, 개인용 컴퓨터에서 단독으로 영상 데이터베이스를 구축하는 데에 이용되어질 수도 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상기와 같은 본 발명은, 영상자료를 데이터베이스에 입력할 때, 자료의 특징을 추출하여 데이터베이스에 인덱스로 사용함으로써 영상자료 자체를 검색어로 사용할 수 있고, 다섯 종류의 특징을 동일한 중요도를 갖도록 정규화한 후에 이들을 적절히 결합함으로써 한가지 특징을 이용하여 영상을 검색하는 것보다 상당한 성능의 향상을 가져오는 효과가 있다.

또한, 본 발명은 단순한 형태의 사용자의 의견, 즉 사용자 자신이 원하는 형태인지, 아니면 원하지 않는 형태인지만을 시스템으로 피드백시킴으로써 시스템 스스로 사용자의 취향에 따라 가중치를 적절히 조절시켜 주어, 사용자가 각각의 특징에 대한 이해가 전혀 없더라도 좋은 결과를 얻을 수 있도록 하는 효과가 있다.

그리고, 본 발명은 표본으로 보여진 영상외에 사용자가 임의로 그린 그림이나 임의로 정한 색상 분포, 또는 스캐너 등의 기타 영상 입력장치로부터 입력받은 영상을 이용하여 질의를 할 수 있고, 여러 종류의 유사도를 임의의 가중치를 갖고 결합시킴으로써 이 가중치를 사용자가 임의로 조정할 수 있게 하여 사용자가 원하는 영상을 보다 정확하게 검색할 수 있도록 하는 효과가 있다.

Claims (15)

1. 영상 검색시스템에 적용되는 영상 유사도 가중치 조절 장치에 있어서,

   질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 유사 영상의 수를 계수하기 위한 유사영상 계수 수단;

   질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 상이 영상의 수를 계수하기 위한 상이영상 계수 수단;

   상기 유사영상 계수 수단 및 상기 상이영상 계수 수단으로부터 계수값을 입력받고 외부로부터 유사도를 입력받아, 사용자가 지정한 모든 유사영상과 상이영상의 쌍에 대하여 유사도차를 계산하기 위한 유사도차 계산 수단;

   상기 유사도차 계산 수단으로부터 계산된 유사도차를 입력받아, 평균 유사도차를 구한 후에, 평균 유사도 차에 대해 가중치 변화량을 구하기 위한 변화량 조절수단; 및

   상기 변화량 조절 수단으로부터 입력된 가중치 변화량에 외부로부터 입력된 초기 가중치(전단계 피드백시의 가중치)를 더하여 변화된 가중치를 구하기 위한 가중치 조절 수단을 포함하는 영상 유사도 가중치 조절 장치.
2. 영상 유사도 가중치 조절 장치에 적용되는 영상 유사도 가중치 조절 방법에 있어서,

   질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 특징을 선택하는제 1 단계;

   선택된 하나의 특징에 대해, 사용자가 선택한 유사 영상과 상이 영상의 개수를 계수하는 제 2 단계;

   사용자가 지정한 모든 유사영상과 상이영상의 쌍에 대하여 유사도차를 구하는 제 3 단계;

   유사도차에 대한 평균 유사도차를 구한 후에, 평균 유사도 차에 대해 가중치 변화량를 구하여 기존의 초기 가중치(전단계 피드백시의 가중치)에 가중치 변화량을 더해서 변화된 가중치를 구하는 제 4 단계; 및

   모든 특징들에 대해, 상기 제 2 단계 내지 제 4 단계를 반복 수행하는 제 5단계를 포함하는 영상 유사도 가중치 조절 방법.
3. 영상을 검색하기 위한 시스템에 있어서,

   입력되는 영상, 저장하고 있는 영상으로부터 추출되는 특징 벡터, 저장하고 있는 영상으로부터 생성된 소형 영상, 저장하고 있는 영상으로부터 산출된 유사도 테이블을 저장하고 있는 저장수단;

   운용자로부터의 데이터베이스 입력요구가 입력됨에 따라, 영상을 분석하여 데이터베이스화하는 데이터베이스 입력 수단;

   상기 데이터베이스 입력 수단의 제어에 따라, 현재 입력되는 영상을 소형 영상으로 나누어 상기 저장 수단에 저장하기 위한 소형영상 생성 수단;

   상기 데이터베이스 입력 수단의 제어에 따라, 현재 입력되는 영상에 대하여소정 개수의 추출사양별로 특징벡터를 만들어 상기 저장 수단에 저장하기 위한 특징추출 수단;

   상기 특징추출 수단에 의해 추출된 소정 개수의 특징벡터를 이용하여 상기 저장 수단에 저장된 다른 영상의 특징벡터와의 각각의 특징에 대해 유사도를 계산하고, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키며, 각 특징에서의 정규화된 유사도를 단일의 유사도로 결합하여 인덱스를 구성한 후에, 구성된 인덱스를 상기 저장 수단에 저장하기 위한 유사도 계산 수단;

   외부로부터 입력되는 질의어에 따라, 상기 저장 수단에 저장되어 있는 상기 유사도 테이블을 독취하여 출력하기 위한 질의 수단;

   상기 질의 수단에 의해 출력되는 상기 유사도 테이블에 해당하는 소형 영상을 상기 저장 수단에서 독취하여 출력하기 위한 결과표시 수단; 및

   외부로부터 입력되는 피드백 신호에 따라 가중치를 조절하고, 조절된 가중치에 따른 유사도를 구하여 상기 저장 수단으로부터 상기 유사도 테이블을 독취하여 상기 결과표시 수단으로 출력하기 위한 가중치 조절 수단을 포함하는 내용기반 영상 검색시스템.
4. 제 3항에 있어서,

   상기 가중치 조절 수단은,

   질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 유사 영상의 수를 계수하기 위한 유사영상 계수 수단;

   질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 사용자가 선택한 상이 영상의 수를 계수하기 위한 상이영상 계수 수단;

   상기 유사영상 계수 수단 및 상기 상이영상 계수 수단으로부터 계수값을 입력받고 외부로부터 유사도를 입력받아, 사용자가 지정한 모든 유사영상과 상이영상의 쌍에 대하여 유사도차를 계산하기 위한 유사도차 계산 수단;

   상기 유사도차 계산 수단으로부터 계산된 유사도차를 입력받아, 평균 유사도차를 구한 후에, 평균 유사도 차에 대해 가중치 변화량을 구하기 위한 변화량 조절 수단; 및

   상기 변화량 조절 수단으로부터 입력된 가중치 변화량에 외부로부터 입력된 초기 가중치(전단계 피드백시의 가중치)를 더하여 변화된 가중치를 구하기 위한 가중치 가산 수단을 포함하는 내용기반 영상 검색시스템.
5. 영상 검색 시스템에 적용되는 내용기반 영상 검색 방법에 있어서,

   사용자로부터의 데이터베이스 입력요구에 따라, 영상을 분석하여 특징을 추출하고, 추출된 특징에 대해 유사도를 계산한 후, 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시켜, 정규화된 유사도를 바탕으로 모든 영상에 대해 데이터베이스화하는 제 1 단계;

   사용자의 질의에 따른 검색대상 영상 입력시에, 해당 영상에 대해 데이터베이스에 저장되어 있는 다른 영상의 특징에 대한 유사도를 추출하여 단일의 유사도로 결합하고, 결합된 유사도를 기초로 하여 질의 결과를 출력하는 제 2 단계; 및

   질의 결과에 대한 사용자의 의견을 비선형적으로 피드백받아, 특징별로 유사도 가중치를 조절하고, 조절된 가중치에 의해 질의과정을 반복하여 변화된 영상을 출력하는 제 3 단계를 포함하는 내용기반 영상 검색 방법.
6. 제 5항에 있어서,

   상기 제 1단계는,

   사용자로부터의 데이터베이스 입력 요구에 따라, 영상 디렉토리 데이터베이스에 저장된 영상의 특징을 일정 개수의 추출사양별로 추출하여 특징 벡터를 생성하는 제 4 단계;

   상기 추출된 일정 개수의 특징 벡터를 이용하여 상기 영상 디렉토리 데이터베이스내의 다른 영상의 특징 벡터와의 각각의 특징에 대해 유사도를 계산하는 제 5 단계; 및

   상기 계산된 각각의 특징에 대한 유사도를 동일한 중요도를 갖게 정규화시키고, 정규화된 유사도를 이용하여 상기 영상 디렉토리 데이터베이스내의 모든 영상에 대해 데이터베이스화하는 제 6 단계를 포함하는 내용기반 영상 검색 방법.
7. 제 6항에 있어서,

   상기 제 6 단계의 정규화 과정은,

   하기의 수학식에 의해 유사도를 정규화시키는 것을 특징으로 하는 내용기반영상 검색 방법.

   (단,x'은 새로 조정된 유사도, m은 원래 유사도의 평균, σ은 원래 유사도의 표준편차임)
8. 제 5항 내지 제 7항 중 어느 한 항에 있어서,

   상기 제 2 단계는,

   사용자의 검색요구에 의해 검색대상이 되는 영상을 입력받아 상기 영상 디렉토리 데이터베이스내에 미리 계산되어 입력된 다른 영상의 일정 개수의 특징 벡터들에 대한 유사도를 추출하는 제 7 단계; 및

   각 특징들에 대한 유사도 기준으로 단일의 유사도로 결합한 후에, 결합된 유사도를 기초로 하여 순서대로 사용자에게 출력하는 제 8 단계를 포함하는 내용기반 영상 검색 방법.
9. 제 8 항에 있어서,

   상기 제 8 단계의 단일 유사도 결합 과정은,

   상기 각 특징들에 대한 유사도 기준으로 하기의 수학식에 의해 단일의 유사도로 결합하는 것을 특징으로 하는 내용기반 영상 검색 방법.

   (단, S_i는 각 특징에서의 정규화된 유사도, W_i는 각 특징의 가중치값임)
10. 제 9 항에 있어서,

    상기 각 특징의 가중치값(W_i)은,

    실질적으로, 사용자의 의견에 따라 조절되는 것을 특징으로 하는 내용기반 영상 검색 방법.
11. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,

    상기 제 3 단계는,

    질의 결과에 대한 사용자의 의견을 피드백받는 제 7 단계;

    상기 피드백받은 결과를 분석하여 각 특징의 가중치값을 조절하는 제 8 단계; 및

    상기 조절된 가중치를 이용하여 조절된 가중치에 의해 변화된 영상을 출력하는 제 9 단계를 포함하는 내용기반 영상 검색 방법.
12. 제 11 항에 있어서,

    상기 제 7 단계의 피드백 과정은,

    실질적으로, 유사한 영상, 상이한 영상, 무관한 영상의 3가지로 구분된 값을 입력받는 것을 특징으로 하는 내용기반 영상 검색 방법.
13. 제 11 항에 있어서,

    상기 제 8 단계는,

    질의 결과에 대한 사용자의 의견(피드백 정보)을 입력받아, 특징을 선택하는 제 10 단계;

    선택된 하나의 특징에 대해, 사용자가 선택한 유사 영상과 상이 영상의 개수를 계수하는 제 11 단계;

    사용자가 지정한 모든 유사영상과 상이영상의 쌍에 대하여 유사도차를 구하는 제 12 단계;

    유사도차에 대한 평균 유사도차를 구한 후에, 평균 유사도 차에 대해 가중치 변화량를 구하여 기존의 초기 가중치(전단계 피드백시의 가중치)에 가중치 변화량을 더해서 변화된 가중치를 구하는 제 13 단계; 및

    모든 특징들에 대해, 상기 제 11 단계 내지 제 13 단계를 반복 수행하는 제 14 단계를 포함하는 내용기반 영상 검색 방법.
14. 제 11 항에 있어서,

    상기 제 8 단계는,

    유사영상과 상이영상 쌍에 대해 유사도의 차이의 평균값에 반비례하는 소정의 값으로 가중치를 조절하는 것을 특징으로 하는 내용기반 영상 검색 방법.
15. 제 14항에 있어서,

    상기 소정의 값은,

    실질적으로, 변화량 판정 지표 함수단, α와 β값은 각각의 특징들에 대한 유사도 차이의 평균을 이용한 결정값)인 것을 특징으로 하는 내용기반 영상 검색 방법.