KR100609178B1 - 칼라 왜곡 정보를 이용한 내용기반 멀티미디어 데이터 검색 방법 - Google Patents

Abstract

본 발명은 내용 기반 멀티미디어 검색에 있어서,

멀티미디어 데이터의 칼라 왜곡 정보를 자동 추출한 후 이를 기반으로 하여 칼라 관련 특징소에 대한 가중치를 자동 설정함으로써 검색 성능을 높일 수 있는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법과, 칼라 왜곡 정보 추출방법 및 이와 같이 추출된 칼라왜곡정보를 포함하는 멀티미디어 데이터 생성 방법에 관한 것이다.

또한, 칼라 왜곡 정보에 따라 칼라 관련 특징소에 대한 가중치를 적용함에 있어서 특징소 또는 특징소 요소의 왜곡 민감도에 따라 그 가중치 적용을 달리하도록 하기 위한 왜곡 민감도를 추출하는 방법에 관한 것으로, 왜곡 정보의 구체적인 색상 정보와 강도(왜곡 정도; intensity) 정보를 모두 분석, 이용하며, 특징소간의 가중치 뿐만 아니라 특징 요소들간의 가중치 까지도 자동으로 최적 설정함으로써 매우 효과적인 멀티미디어 데이터 검색 방법을 제시하고 아울러, 조명이나 디바이스 특성에 의한 칼라 왜곡 문제를 해결하고자 하는 것이다.

멀티미디어, 검색, 왜곡

Description

칼라 왜곡 정보를 이용한 내용기반 멀티미디어 데이터 검색 방법{CONTENT-BASED MULTIMEDIA SEARCHING METHOD USING COLOR DISTORTION DATA}

도 1a 및 도 1b는 원래의 영상과 특정 조명에 의해서 변형된 영상에서 추출된 두개의 칼라 특징 정보를 비교하기 위한 히스토그램을 나타낸 것으로, 도 1a는 칼라 히스토그램이며, 도 1b는 텍스쳐 히스토그램을 나타낸 도면.

도 2는 본 발명에 있어서, 멀티미디어 검색 방법의 실행수순을 나타낸 플로우챠트.

도 3a와 도 3b는 히스토그램 정보와 지역 대표 칼라 정보의 칼라 왜곡전과 후를 대비하기 위한 것으로, 도 3a는 칼라 히스토그램을 도 3b는 지역 대표 칼라 정보를 나타낸 도면.

도 4는 본 발명에 있어서, 칼라 왜곡 정보 추출 실행수순을 나타낸 플로우챠트.

도 5는 본 발명의 칼라 왜곡 정보를 기반으로 특징소 가중치를 자동 설정하여 검색했을 경우와 그렇지 않을 경우에 대한 대비를 나타낸 도면.

도 6은 본 발명에 있어서, 멀티미디어 데이터의 칼라 왜곡 정보를 이용한 멀티미디어 검색의 또 다른 예를 나타낸 플로우챠트.

도 7은 본 발명에 있어서, 멀티미디어 이미지 데이터 구조를 나타낸 블록도.

본 발명은 내용기반 멀티미디어 검색에 관한 것으로, 멀티미디어 데이터의 칼라 왜곡 정보를 자동 추출한 후 이를 기반으로 하여 칼라 관련 특징소에 대한 가중치를 자동 설정함으로써 검색 성능을 높일 수 있는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법 및 멀티미디어 데이터 생성 방법에 관한 것이다.
또한, 칼라 왜곡 정보에 따라 칼라 관련 특징소에 대한 가중치를 적용함에 있어서 특징소 또는 특징소 요소의 왜곡 민감도에 따라 그 가중치 적용을 달리하도록 하기 위한 왜곡 민감도를 추출하는 방법에 관한 것이다.

삭제

최근 들어 내용기반으로 멀티미디어 데이터를 검색하기 위한 연구가 많이 진행되고 있다. 내용 기반 멀티미디어 검색에서 주로 사용되는 특징소로는 칼라, 텍스쳐, 모양 정보 등이 사용되는데 이들 중 칼라 정보가 가장 중요한 정보로 볼 수있다.

하지만 칼라 정보의 경우, 데이터 주변의 조명이나 영상 취득 디바이스 특성 등으로 인해 쉽게 왜곡될 수 있는 단점이 있다.

즉, 같은 영상이라도 서로 다른 디바이스로 영상을 취득하거나 다른 조명 아래에서 취득했을 경우, 사람이 인지할 때에는 비슷한 영상이나 컴퓨터가 분석한 칼라 정보는 상이하게 나타날 수 있는데, 이러한 왜곡은 멀티미디어 데이터 검색 성 능에 매우 좋지 못한 영향을 미치게 되는 것이다.

이러한 이유로 최근에는 이러한 조명에 영향받지 않고 검색을 하기 위한 연구가 많이 진행되고 있으며, 이러한 대부분의 기존 기술에서는 조명 등에 의해 왜곡이 쉽게 일어날 수 있는 칼라 요소를 무시하여 검색하는 방법을 사용하고 있다.

예를 들어 밝기에 무관하게 검색을 하고 싶으면 칼라 요소 중 밝기 요소를 사용하지 않고 검색을 하고, 특정 색상을 포함한 조명에 무관하게 검색을 하고 싶으면 색상 요소를 사용하지 않고 검색을 하는 방법을 취한다.

하지만 이렇게 특정 칼라 요소를 무시하여 검색하는 방법은 주어진 정보를 단지 사용하지 않을 뿐 칼라의 왜곡을 정확히 반영하지 않기 때문에 전반적으로 낮은 검색 성능을 나타낼 수 밖에없다.

즉, 조명과 무관하게 전체적으로 낮은 성능을 가져올 수 있는 문제점을 지니고 있다. 만일 조명이나 디바이스 특성상 발생하는 칼라 왜곡 특성을 분석하여, 이를 이용, 각 데이터마다 해당 특성에 알맞은 왜곡 보상 방법을 취한다면 보다 높은 검색 성능을 얻을 수 있을 것이다.

최근에는 내용 기반 멀티미디어 검색에 사용되는 특징소 들을 각 멀티미디어마다 서로 다른 가중치로 설정하여 최적의 검색 결과를 얻으려는 연구들이 발표되고 있다.

여기서 가중치란 각 특징소, 또는 특징소 내 특징 요소들의 중요도를 의미하는 것으로서 멀티미디어 데이터마다 가장 검색을 잘 할 수 있는 특징정보일수록 높은 가중치를 두고 검색을 하는 것이다.

이와 같은 방법은 이론적으로 매우 높은 성능을 기대할 수 있으나 자동으로 최적의 가중치를 얻는 효과적인 방법은 아직까지 발표되지 않고 있다.

본 발명은 상기와 같은 조명이나 디바이스 특성에 의한 칼라 왜곡 문제를 해결하기 위하여 안출된 것으로, 멀티미디어의 칼라 정보를 왜곡 시킬 수 있는 왜곡 정보를 자동으로 분석하여, 이를 이용, 각 데이터마다 최적의 가중치를 자동 설정하여 검색할 수 있는 방법과 이러한 개념의 실시를 위한 데이터 생성 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명에서는 왜곡 정보의 구체적인 색상 정보와 강도(왜곡 정도; intensity) 정보를 모두 분석, 이용하며, 특징소간의 가중치 뿐만 아니라 특징 요소들간의 가중치 까지도 자동으로 최적 설정함으로써 매우 효과적인 멀티미디어 데이터 검색 방법을 제공하는 것을 목적으로 한다.

본 발명의 칼라 왜곡 정보를 이용한 내용기반 멀티미디어 검색 방법은,

칼라 왜곡 정보를 추출하는 단계와, 추출된 칼라 왜곡 정보를 사용하여 내용 기반 멀티미디어 검색에 사용되는 특징소, 또는 특징소 요소의 가중치를 설정하는 단계와, 설정된 가중치를 적용하여 멀티미디어 데이터를 검색하는 단계를 포함하는 것을 특징으로 한다. 칼라 왜곡 정보의 칼라 값 또는 이들 값의 조합으로 이루어지는 정보임을 특징으로 한다. 그리고, 상기 칼라 왜곡 정보는 칼라 왜곡 강도를 나타내는 값이거나, 칼라 왜곡 정보의 칼라 값 또는 이들 값의 조합으로 이루어지는 정보임을 특징으로 한다.
또한, 이때의 칼라 왜곡 정보의 칼라 값은 색상(Hue) 정보임을 특징으로 한다.
그리고, 상기 (b) 단계에서, 상기 칼라 왜곡 정보를 사용한 특징소, 또는 특징소 요소의 가중치 조정은 특징소, 또는 특징소 요소가 갖는 왜곡 민감도(; 칼라 왜곡 정보에 의해 원래의 특징 정보 값이 변형되는 정도를 표현)에 따라서 그 가중치를 자동으로 설정하도록 함을 특징으로 한다.

삭제

삭제

삭제

그리고, 상기와 같은 칼라 왜곡 정보를 추출하여 내용 기반 멀티미디어 검색방법을 구현하고자 함에 있어서, 상기의 칼라 왜곡 정보 추출 방법은,

이미지를 N*M 개의 부분 영역으로 분할하는 단계와, 분할된 모든 이미지 영역에 대해 각 영역별로 순도가 일정 임계치 이하인 픽셀들의 평균 색도(HUE) 값과 평균 색도 값에 참여한 픽셀의 색도값에 대한 분산을 구하는 단계와, 분산이 일정 임계치 이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값들을 재평균하고 재 평균에 참여한 평균 색도값들의 분산을 구하는 단계와, 상기 단계에서 색도값 재평균에 참여한, 분산이 일정 임계치 이하를 만족하는 영역들이 이미지 전체에서 차지하는 비율을 칼라 왜곡의 강도로 지정하고, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정하는 단계를 포함하는 것을 특징으로 한다.

한편, 이와 같은 칼라 왜곡 정보를 추출하여, 칼라 왜곡 정보에 따라 가중치를 자동설정하여 검색할 수 있도록 하기 위한 멀티미디어 데이터 생성 방법은, 검색에 사용되는 하나 이상의 특징소들을 갖는 특징 정보와, 칼라 왜곡 정보를 포함하는 것을 특징으로 한다.

삭제

삭제

그리고, 상기 칼라 왜곡 정보는 칼라 왜곡 강도, 또는 칼라 왜곡 정보의 색도 정보, 또는 이들간의 조합으로 구성됨을 특징으로 한다.

또한, 상기 왜곡 민감도는, 칼라 왜곡이 일어나지 않은 데이터 표본 집단을 준비하는 단계와, 칼라 왜곡이 일어난 데이터의 표본 집단을 준비하는 단계와, 서로 다른 표본집단에 속해있는 같은 데이터에 대해, 해당 특징소 또는 특징 요소를 기준으로 유사도를 측정하는 과정과, 측정된 유사도들을 평균하는 단계와, 평균 유사도에 반비례하게 왜곡 민감도를 설정하도록 하는 단계의 실행수순을 통해 추출되는 것을 특징으로 한다.

삭제

삭제

이와 같은 특징을 갖는 본 발명은 궁극적으로 조명, 디바이스 특성 등으로 인한 칼라 왜곡 정보에 의해 발생하는 멀티미디어 검색 성능 저하를 막고 보다 높은 검색 성능을 제공하기 위한 방법에 대한 것이다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예가 상세히 설명된다.

먼저, 본 발명의 개념과 특징에 대해 설명하면 다음과 같다.

칼라 왜곡은 다음과 같은 이유로 발생할 수 있다.

(a). 조명에 의한 왜곡 : 특정 밝기와 칼라를 갖는 조명에 의한 칼라 왜곡으로서 이미지의 부분 영역만이 왜곡될 수도 있고 전체가 왜곡될 수도 있다.

(b). 디바이스 특성에 의한 왜곡 : 디지털 카메라 등 영상 취득 수단의 특성 상 포함되는 왜곡 정보로서 이미지 전체가 왜곡된다.

예를 들어 같은 장면이라도 촬영에 사용된 디지털 카메라에 따라 전체가 푸른 톤이거나 붉은 톤으로 다른 칼라가 나타날 수 있다.

(c). 인코더 특성에 의한 왜곡 : 같은 영상 취득 수단이거나, 왜곡이 없는 영상 취득 수단을 사용하더라도, 취득된 영상을 파일로 저장하기 위한 인코더의 알고리즘 특성상 칼라가 왜곡될 수 있다. 이경우 대부분의 왜곡 특성은 디바이스 특성에 의한 왜곡의 그것과 같다.

(d). 칼라 필터에 의한 왜곡 : 디지털 카메라 등 영상 취득 수단에서 영상 취득 시, 칼라 필터를 사용함으로써 칼라가 왜곡될 수 있다. 칼라 필터는 카메라 자체의 기능이거나 사용자가 원할 때 첨가될 수 있는 기능일 수 있다.

상기에서 기술한 (a)내지(d)에서와 같은 이유로 칼라의 왜곡이 발생할 수 있게 되는 데, 이중 조명에 의한 부분 왜곡은 보상하기 어려운 문제로 여겨지고 있다.

하지만 이 경우 전체 영역이 왜곡 되는 것이 아니므로 왜곡에 의한 검색 성능 저하 정도도 다른 것에 비해 크지 않을 수 있다.

다른 원인에 의해 이미지 전체가 왜곡되었을 때에는 왜곡 패턴이 이미지 전체에 비슷하게 나타나므로 이러한 특성을 이용해 왜곡 정보를 추출할 수 있다.

즉, 어떠한 칼라에 의해 어느 정도 왜곡되었는지에 대한 정보를 취득할 수 있는데, 이것과 함께 다음 기술될 칼라 왜곡에 대한 특성을 이용하면 칼라 왜곡에 의한 검색 성능 저하를 막을 수 있게 되는 것이다.

기존 기술에서 기술하였듯이 칼라, 텍스쳐 등 멀티미디어 특성 정보를 이용하여 내용 기반으로 검색을 하는 기술들이 많이 소개되어 왔다.

이러한 내용 기반 검색에 사용되는 특징 정보들이 칼라 왜곡이 발생했을 때 미치는 영향 정도를 왜곡 민감도라고 정의한다.

즉, 왜곡 민감도가 큰 특징 정보일수록 칼라 왜곡이 발생했을 때 영향 받는 정도가 심하여 검색 성능시 오류를 발생할 확률이 높아 진다. 이러한 왜곡 민감도를 기준으로 특징소들의 특성을 나열하면 다음과 같다.

(a1). 특징소들 중에서 칼라와 관련된 특징소 그룹의 왜곡 민감도는 다른 특징소 그룹의 왜곡 민감도보다 크다. 따라서, 칼라 왜곡이 발생했을 때 칼라와 관련된 특징소 그룹을 이용한 이미지 검색 성능은 저하될 확률이 크다.

(b1). 칼라와 관련된 특징소 그룹 중에서 칼라 정보 자체에 의존하는 특징 정보일수록 왜곡 민감도가 크다.

예를 들어 칼라 히스토그램은 이미지 전체에 나타나는 픽셀들의 칼라 분포를 나타내는 것으로서, 칼라 정보만을 포함하는 칼라 자체에 의존적인 특징 정보라고 할 수 있다.

그러므로, 이러한 정보는 칼라 왜곡이 발생했을 때 칼라 히스토그램의 변형 또한 커서 검색에 사용하기 어렵다.

이에 반해 지역 대표 칼라 등은 상대적으로 왜곡 민감도가 작다.

지역 대표 칼라는 이미지를 N*M 영역으로 나눈 후 각 영역별로 대표 칼라를 표현한 칼라 정보로서, 만일 영역에 대표할만한 칼라가 존재하지 않을 경우에는 'Undefined' 로 정의된다.

또한, 유사도 측정 시에는 같은 위치의 영역의 대표칼라끼리 비교하게 되는데, 이와 같이 지역 대표 칼라를 이용한 유사도 측정은 칼라 자체 이외에 같은 영역이어야 된다는 제한조건이 더 포함된다.

따라서 지역 대표 칼라는 칼라 왜곡이 발생하더라도 'Undefined'로 정의된 영역은 영향을 받지 않고, 또한 같은 칼라라도 다른 영역에서 나타나있을 경우에는 원래부터 매칭이 되지 않으므로 또한 왜곡에 영향을 받지 않는다.

이와 같이, 이러한 정보는 같은 지역에 같은 칼라가 매칭되어야만 유사도가 증가하므로, 칼라가 왜곡되었더라도, 같은 지역이라는 또 다른 정보를 같이 사용하므로 영향 정도가 반감되는 것이다.

(c1). 칼라는 크게 R,G,B 상대비교 값을 나타내는 색도(Hue), 순색에 얼마나 가까운가를 나타내는 순도(Chroma), 밝기(Brightness)로 표현된다.

컴퓨터에서 표현하는 색좌표는 일반적으로 RGB를 사용하지만, 검색시에는 RGB 색좌표가 색좌표 특성상 검색 성능이 떨어지므로 HSV등 색도, 순도, 밝기 등의 의미를 지닌 축으로 구성된 다른 색좌표로 변환하여 사용한다.

따라서 칼라 왜곡이 발생했을 때 이들 색도, 순도, 밝기가 얼마만큼 변하느냐에 따라서 검색 성능이 많이 차이나게 되는데, 특히 색도 정보는 이들 칼라 요소중 가장 중요한 요소이다.

칼라 왜곡을 일으킨 조명 등의 왜곡 칼라 정보를 정확히 추출할 수만 있다면 왜곡된 이미지에서 추출된 왜곡 칼라 정보를 제하기만 하면 정확한 원래의 칼라로 복원할 수 있지만, 일반적으로 왜곡 칼라 정보를 색도, 순도, 밝기 모두 정확히 추출하기란 매우 어렵다.

따라서 본 발명에서는 왜곡 칼라 정보의 색도를 추출하는 방법을 제시하고 이의 강도를 추출하고자 한다.

왜곡 칼라의 색도 정보만을 이용할 경우에는 왜곡 칼라의 순도와 밝기는 모두 일정한 상수로 가정한다. 이와 같이 특정 색도를 가지는 왜곡 칼라에 의해 원래의 칼라가 왜곡될 때에는 다음과 같은 왜곡 민감도의 특징이 있다.

같은 칼라 특징소라도 칼라의 순도에 따라 색도의 왜곡 민감도가 달라진다.

즉, 순도가 낮을수록 칼라 왜곡에 의한 색도의 변형 정도는 매우 커진다. 이를 증명하기에 앞서 이들 각 요소를 계산하는 식을 살펴보면 다음과 같다.

max = MAX(R,G,B)

min = MIN(R,G,B)

색도 (Hue = H) :

if(max == min) H is not defined

else

{

if(R==max)H=((double)(G-B)/(double)(max-min));

else

{

if(G==max) H=(2.0+(double)(B-R)/(double)(max-min));

else

{

if(B==max) H=(4.0+(double)(R-G)/(double)(max-min));

}

}

H^*=60;

if(H<0.0) H+=360;

}

순도 (chroma)

chroma = max min;

밝기 (brightness)

Brightness = (max + min)/2

상기 식을 이용하여 특정 칼라 왜곡 정보가 영향을 미쳤다고 가정하고, 각 요소별로 영향 정도를 계산해 보면, 먼저 다음 빨간색의 칼라 왜곡 정보가 다음 영 역들에게 영향을 미쳤다고 가정할 경우,

칼라 왜곡 정보 RGB(50, 0, 0)

색도 (0), 순도 (50), 밝기 (25)

칼라 영역 1 : RGB (0, 0, 0)

색도 (무색), 순도 (0), 밝기 (0)

칼라 영역 2 : RGB (200,200, 200)

색도 (무색), 순도 (0), 밝기 (200)

칼라 영역 3 : RGB (150, 100, 100)

색도 (0), 순도 (50), 밝기 (125)

칼라 영역 4 : RGB (100, 100, 150)

색도 (240), 순도 (50), 밝기 (125)

각 칼라 영역이 칼라 왜곡 정보에 의해 영향 받은 이후의 변형된 칼라는 다음과 같으며 이들의 색도, 순도, 밝기를 살펴보면 다음과 같다.

칼라 영역 1 : RGB (50, 0, 0)

색도 (0), 순도 (50), 밝기 (25)

칼라 영역 2 : RGB (250,200, 200)

색도 (0), 순도 (50), 밝기 (225)

칼라 영역 3 : RGB (200, 100, 100)

색도 (0), 순도 (100), 밝기 (150)

칼라 영역 4 : RGB (150, 100, 150)

색도 (300), 순도 (50), 밝기 (125)

칼라 영역 1과 2에서 알 수 있듯이 같은 순도를 지닌 영역일 때, 색도와 밝기, 순도의 변화는 밝기와 관계없이 일정하다.

즉, 칼라 영역1과 2는 같은 순도(0)이지만 밝기가 다르다. 하지만 칼라 왜곡 이후 색도, 순도, 밝기의 변화 정도는 두 영역이 모두 일치했다. 여기서 중요한 것은 색도의 변화이다.

색도는 이미지 검색 중에서 가장 중요한 요소로서, 칼라 왜곡에 의해 변형되었을 때 가장 큰 영향을 줄 수 있다. 낮은 순도를 지닌 칼라 영역 1과 2는 칼라 왜곡 정보가 지닌 색도 정보를 바로 반영하였다.

즉, 빨간색 조명이 왔을 때 색도는 바로 빨간색으로 변형되었다. 이는 어두운 색이나 밝은 색이나 상관없이 낮은 순도 영역에서 발생하는 현상이다. 게다가 아주 미세한 빨간색 조명이 오더라도 아주 낮은 순도 영역은 바로 빨간색으로 색도가 변형된다.

이는 RGB 각 요소를 이용하여 색도를 구하는 식을 살펴보면 쉽게 알 수 있다. 색도란 RGB 요소의 상대적 비율에 의해 결정되는데, 순도가 낮을수록 각 요소의 포함률이 낮으므로, 칼라 왜곡 정보에 의해 새로운 RGB 요소가 포함될 때. 각 요소의 상대적 비율이 쉽게 바뀔 수 있기 때문이다.

이에 반해서, 앞의 예에서 알 수 있듯이 상대적으로 높은 순도를 지닌 영역(칼라 영역 3,4)은 원래의 색도에 따라 색도 변화 정도가 다 다름을 알 수 있다.

(d1). 위 예를 통해 알 수 있는 또 다른 특징은 색도에 따라서 색도 왜곡 정도가 다르다는 것이다.

위 예에서 칼라 영역 3은 칼라 왜곡 정보와 같은 색도를 지니고 있으므로 색도의 변화가 없었다. 이에 반해 칼라 영역 4는 전혀 다른 푸른색 색도를 지니고 있었으나 칼라 왜곡 정보에 의해 보라색으로 색도 변화가 발생하였다.

즉, 칼라 왜곡 정보가 지닌 색도와 유사한 색도를 지닌 칼라일수록 색도의 왜곡 정도가 적은 것을 알 수 있다.

앞서 기술한 왜곡 민감도가 큰 특징 정보일수록 칼라 왜곡 정보가 포함되었을 때, 검색시 좋지 못한 결과를 가져올 수 있다. 따라서 검색 시 이러한 정보는 상대적으로 낮은 가중치를 사용하여 검색하는 것이 좋은 결과를 가져올 수 있다. 상기 기술한 왜곡 민감도 특성을 사용하여 특징 정보의 가중치를 설정하는 방법은 다음과 같이 네가지로 고려된다.

(a2). 왜곡 민감도에 따른 특징소의 가중치 보정 : 왜곡 민감도에 따라 검색에 사용하는 특징소들의 가중치를 조정하는 것으로, 이는 다음과 같이 두 가지로 세분화 된다.

첫째, 왜곡 민감도에 따른 특징소 군의 가중치 보정 : 검색에 사용되는 특징 소들을 칼라 관련 특징소 그룹과 기타 그룹으로 구분하여, 칼라 왜곡 정보가 포함되었을 때, 칼라 관련 특징소 그룹은 상대적으로 낮은 가중치로 설정하는 것이다.

이때 가중치의 조정 정도는 칼라 왜곡 정보의 강도에 따라 다르게 설정한다.

즉, 강도가 클수록 고정 정도도 이에 비례하여 설정한다. 칼라 왜곡 정보의 강도를 구하는 방법은 이후에 설명하기로 한다.

둘째, 왜곡 민감도에 따른 칼라 정보의 가중치 보정 : 검색에 사용되는 칼라 관련 특징소들 중 상대적으로 왜곡 민감도가 큰 특징소의 가중치를 다른 특징소의 가중치에 비해 낮게 설정하는 것이다.

즉, 같은 칼라 관련 특징소 그룹일경우에도 왜곡 민감도에 따라 각 칼라 관련 특징소의 가중치를 달리 설정하고자 하는 것이다.

이후 본 발명의 예에서는 칼라 관련 특징소로서 칼라 히스토그램과 지역 대표 칼라를 사용하였는데, 칼라 히스토그램의 왜곡 민감도가 지역 대표 칼라의 왜곡 민감도보다 크므로 칼라 히스토그램을 상대적으로 낮은 가중치를 설정한다.

(b2). 왜곡 민감도에 따른 칼라 요소의 가중치 보정 : 칼라 요소별로 칼라 왜곡 정보에 의해 색도가 변형되는 왜곡 민감도에 따라 그 가중치를 다르게 설정하는 것이다. 이는 다음과 같이 두 가지로 세분화된다.

첫째, 순도에 따른 칼라 요소의 가중치 보정 : 칼라 관련 특징소에서 사용되는 칼라 요소들 중 상대적으로 낮은 순도를 지닌 칼라 요소가 높은 순도를 지닌 칼라 요소보다 왜곡 민감도가 크므로 낮은 가중치를 설정하는 것이다.

둘째, 색도에 따른 칼라 요소의 가중치 보정 : 칼라 왜곡 정보와 유사한 색도를 지닌 칼라 영역은 색도의 변화가 거의 없으나, 그렇지 않은 칼라 영역의 색도 변화는 상대적으로 크게 나타났다.

즉, 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 영역일수록 색도의 왜곡 정도는 크므로, 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 요소일수록 낮은 가중치를 설정한다.

이와 같이, 세분화된 네 가지 유형의 가중치 보정은 칼라 왜곡의 강도(intensity)에 비례하여 적용한다. 즉 칼라 왜곡의 강도가 크면 가중치 보정 정도는 더욱 크게 설정한다. 이와 같은 개념을 이용하여 가중치 보정을 식으로 표현하면 다음과 같다.

new_Weight=original_Weight+((average_Sensibility-Sensibility(i))×Intensity))

; new_Weight : 가중치 보상에 의해 갱신된 새로운 가중치

original_Weight : 원래의 가중치

average_Sensibility : 모든 특징소들의 평균 왜곡 민감도

Sensibility(i) : i번째 특징소의 왜곡 민감도

Intensity : 칼라 왜곡 정보의 강도

상기 식은 특징소의 가중치 보정을 예로 하였는데 특징소 요소의 가중치 보정도 같은 방법으로 행할 수 있다.

이와 같이 칼라 왜곡의 강도에 비례한 가중치 보정을 위해서는 칼라 왜곡의 강도를 자동으로 추출할 수 있어야 하는데 칼라 왜곡의 강도는 칼라 왜곡 정보를 추출하면서 같이 추출될 수 있다.

다음은 칼라 왜곡 정보를 추출하는 방법을 기술하고 있다.

(a3). 이미지를 N*M 개의 부분 영역으로 분할하고,

(b3). 분할된 모든 영역에 대해 각 영역별로 순도가 일정 임계치 이하인 픽셀들의 평균 색도(HUE) 값과 평균 색도 값에 참여한 픽셀의 색도값에 대한 분산을 구한 후,

(c3). 분산이 일정 임계치 이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값들을 재평균하고 재 평균에 참여한 평균 색도값들의 분산을 구하여,

(d3). 상기에서 색도값 재평균에 참여한, 분산이 일정 임계치 이하를 만족하는 영역들이 이미지 전체에서 차지하는 비율을 칼라 왜곡의 강도로 지정하고, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정한다.

이와 같은 방법으로, 칼라 왜곡 정보의 색도 값과 강도를 추출할 수 있으며, 이들 값을 이용하여 상기에서 설명한 (a2),(b2)의 네 가지 유형의 가중치 보정을 수행할 수 있다.

앞서 설명한 모든 방법은 특징소, 또는 특징소 요소의 왜곡 민감도를 기준으로 가중치를 보정하고 있는데 왜곡 민감도는 멀티미디어 데이터의 표본집단으로부터 다음과 같은 방법으로 구해질 수 있다.

(a4). 칼라 왜곡이 일어나지 않은 데이터 표본 집단과,

(b4). 칼라 왜곡이 일어난 데이터의 표본 집단을 준비하여,

(c4). 서로 다른 표본집단에 속해있는 같은 데이터에 대해, 해당 특징소 또는 특징 요소를 기준으로 유사도를 측정하고,

(d4). 측정된 유사도들을 평균하여,

(e4). 평균 유사도에 반 비례하게 왜곡 민감도를 설정하도록 한다.

이와 같이 설명되는 본 발명에 대한 특징과 개념들을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1a 및 도 1b는 원래의 영상과 특정 조명에 의해서 변형된 영상에서 추출된 두개의 칼라 특징 정보를 비교하기 위한 히스토그램을 나타낸 것으로, 도 1a는 칼라 히스토그램이며, 도 1b는 텍스쳐 히스토그램을 나타낸 것이다.

두개의 그래프로부터 원래의 칼라 영상 정보가 조명에 의해 영향을 받아 왜곡된 것을 알 수 있다.

도 1a에서 보면 조명과 같은 분위기 칼라에 의해 칼라 정보가 오른쪽 쉬프트(sfift)된 즉, 왜곡된 것을 볼 수 있으며, 따라서 앞서 설명한 바와 같이 검색 성능을 저하시킨다.

이와 같이 분위기 칼라에 의해 멀티미디어의 칼라가 왜곡되었을 때에는 칼라 정보에 대한 신뢰성이 떨어지므로 칼라 이외의 정보를 보다 중요한 정보로서 고려하여야 좋은 검색 결과를 얻을 수 있다.

도 1b는 원래의 영상과 같은 조명에 의해서 변형된 영상에서 추출된 두개의 텍스트 정보를 비교해 준다. 두개의 그래프로부터 칼라 정보와는 달리 텍스트 정보 는 조명에 의해 크게 변형되지 않았음을 알 수 있다.

이것은 칼라 정보의 경우 조명에 의해 칼라 자체가 변형되지만, 텍스트는 칼라가 변형돼도 상대적인 칼라의 차이에 대한 패턴 정보만을 포함하므로 조명에 의해 변형되지 않기 때문이다.

이와 같이 칼라 이외의 정보는 분위기 칼라에 의해 크게 왜곡되지 않으므로, 분위기 칼라에 의해 왜곡된 멀티미디어의 검색시 칼라 정보에 비해 상대적으로 텍스트와 같은 정보를 보다 중요한 정보로서 고려할 경우 좋은 검색 결과를 얻을 수 있다.

다시 말하면 조명에 의해 칼라가 심하게 변형되었을 때에는 텍스트 등 조명에 영향 받지 않는 정보를 좀 더 신뢰할 수 있으므로 그러한 정보에 보다 많은 가중치를 주어 검색하는 것이 검색 성능을 높일 수 있다.

도 2는 본 발명 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색방법의 실행수순을 나타낸 플로우챠트이다.

본 예에서는 이미지 검색을 예로 하여 설명한다.

먼저 참조 이미지의 칼라 왜곡 정보를 추출하게 된다.

칼라 왜곡 정보는 검색 과정에서 추출될 수도 있으나 칼라 히스토그램과 같은 다른 특징소의 추출과정과 함께 추출되어 질 수 있다.

이와 같이 특징소 추출 과정에서 칼라 왜곡 정보가 추출될 경우, 이 정보는 다른 특징소와 함께 멀티미디어 묘사 정보로서 기록된 후 검색시 사용된다.

다음 참조 이미지와 비교할 대상 이미지를 선택한다. 대상 이미지는 일반적 으로 시스템이 대상 데이터 베이스에서 자동으로 설정한다. 대상 이미지가 선택되면 대상 이미지의 칼라 왜곡 정보를 추출한다.

이후, 참조 이미지와 대상 이미지의 칼라 왜곡 정보를 사용하여 검색에 사용될 특징소 간의 가중치를 조절한다.

이때 참조 이미지의 칼라 왜곡 정보만으로 가중치를 설정할 수도 있고 참조 이미지와 대상 이미지의 칼라 왜곡 정보를 모두 고려하여 가중치를 설정할 수도 있다.

본 예에서는 참조이미지의 칼라 왜곡 정보만을 이용하여 가중치를 설정하는 것을 예로 하였다.

특징소 간의 가중치는 칼라 왜곡 정도가 심할수록 칼라 이외의 특징소에 보다 많은 가중치를 할당한다.

즉, 왜곡 민감도에 따른 특징소 군의 가중치를 보정하고자 하는 것으로, 가중치가 할당되면 할당된 가중치를 적용하여 대상 이미지와 참조 이미지간의 유사도를 측정한다.

가중치를 이용한 두 이미지의 유사도 측정은 다음의 수학식 1과 같이 행할 수 있다.

sim(i) : i번째 특징소를 이용한 유사도

Wi : i번째 특징소의 가중치

Vr(i) : 참조이미지의 i번째 특징소 값(벡터)

Vt(i) : 대상이미지의 i번째 특징소 값(벡터)

유사도 측정이 끝나면 다음 대상 이미지를 선택한다.

이러한 과정을 반복하여 모든 이미지에 대해 본 과정이 끝나면 정렬 단계로 들어간다.

정렬 단계에서는 측정된 유사도를 기준으로 유사도가 가장 높은 순서로 대상 이미지들을 나열한다. 이로서 이미지 검색을 완료한다.

이와 같이 이미지 검색을 실행하게 된다.

상기 도 2에서 설명한 바와 같이, 특징소에 따른 가중치 보정은 해당 특징소가 칼라 왜곡 정보에 의해 얼마나 많이 왜곡되느냐에 따라 가중치를 설정하는 왜곡 민감도에 따른 특징소의 가중치 보정을 수행하는 것이다.

이와 같이 왜곡 민감도에 따른 가중치 보정은 다음 두가지의 경우가 있다. 첫번째는 상기 도 2에서 설명한 특징소 군의 가중치 조정이다.

즉, 칼라와 관련된 특징소, 텍스쳐와 관련된 특징소 등 각 특징소가 나타내는 정보의 종류에 따라 특징소의 그룹을 나누고, 각 그룹 단위로 왜곡 민감도가 큰 특징소 그룹의 가중치를 상대적으로 낮게 설정하는 것이다.

대부분의 경우 칼라와 관련된 특징소들은 왜곡 민감도가 크므로 칼라 왜곡 정보가 포함될 경우 상대적으로 낮은 가중치를 갖게 된다.

두번째는 같은 칼라 관련 특징소 그룹안에 속한 특징소라도 왜곡 민감도를 각각 다르게 보고 이에 따라 좀 더 세부적으로 가중치를 결정하는 왜곡 민감도에 따른 칼라 정보의 가중치 보정이다.

본 발명에서 소개하는 실시예에서는 칼라 히스토그램 정보와 지역 대표 칼라 정보를 사용하고 있는데, 이 경우 칼라 히스토그램 정보가 지역 대표 칼라 정보에 비해 좀 더 큰 왜곡 민감도를 나타낸다.

도 3a, 도 3b는 이를 나타낸 것으로, 가로축의 Recall은 검색으로 보여준 이미지를 얼마나 많이 찾아내는 가를 나타낸 것이고, 세로축의 Precision은 보여준 이미지중 얼마나 정확한 이미지가 포함되어있는 가를 나타내는 것이다.

도 3a에 나타낸 바와 같은, 칼라 히스토그램이란 이미지의 픽셀들에서 나타난 칼라의 분포를 보여주는 정보이며, 도 3b에 나타나는 지역 대표 칼라 정보란 이미지를 M*N 개의 영역으로 나눈 뒤 각 영역에서 해당 영역을 대표할 수 있는 대표 칼라 한 값으로 표현한 것을 의미한다.

즉, 이미지마다 M*N 개의 대표 칼라값으로 이루어진 특징소가 된다.

도 3a와 도 3b는 각각의 특징소를 사용하여 검색할 때, 칼라 왜곡 정보에 의한 성능 저하를 보여준다.

도 3a에서 나타나듯이 칼라 히스토그램 사용시 칼라 왜곡 정보에 의한 검색 성능 저하가 지역 대표 칼라 정보를 사용하는 것보다 크므로 왜곡 민감도가 크다고 할 수 있다.

따라서 칼라 왜곡 정보가 포함될 경우 칼라 히스토그램보다 지역 대표 칼라 정보에 상대적으로 큰 가중치를 부여하여 검색함으로써 검색 성능을 높일 수 있다.

본 시스템의 실시예에서는 특징소로서 칼라 히스토그램, 지역 대표 칼라, 텍스쳐 히스토그램, 지역 대표 텍스쳐 정보를 사용하였는데, 칼라 왜곡이 발생하였을 때 조정된 특징소 가중치의 관계는 다음과 같다.

[특징소 가중치 관계]

텍스쳐 히스토그램 = 지역 대표 텍스쳐 > 지역 대표 칼라 > 칼라 히스토그램

도 4는 칼라 왜곡 정보를 추출하는 방법의 실행과정을 나타낸 플로우챠트이다.

이미지를 N*M개의 지역 영역으로 분할한 후, 분할된 모든 지역 영역에 대해서, 순도(크로마)가 일정 임계치(Th1) 이하인 픽셀들의 Hue를 평균하고, 이 때 평균에 참여한 픽셀의 색도(Hue)의 분산(Var)을 구한다.

이때 계산된 Hue 분산(Var)이 일정 임계치(Th2) 이하이면, 이 평균 Hue를 칼라 왜곡 정보의 후보로서 저장한다.

모든 분할된 지역에 대해 이 과정이 끝나면 저장된 평균 hue들을 다시 재 평균하여 구해진 최종 평균 hue가 칼라 왜곡 정보의 색상이 되고, 이때 칼라 왜곡 정보의 후보로서 저장된 지역 영역의 수가 전체 영역 수에서 차지하는 비율이 칼라 왜곡 정보의 강도가 된다.

앞서 설명하였듯이 칼라 왜곡 정보 추출 시 칼라 왜곡 정보의 강도( intensity)를 구할 수 있는데 본 발명에서는 칼라 왜곡 정보에 의한 가중치 조절 시 이러한 강도 정보를 반영하여 수행한다.

예를 들어 칼라 왜곡 정보가 포함되었을 때 상대적인 특징소 가중치는 다음 식과 같이 특징소의 왜곡 민감도에 반비례하고 가중치 보상 정도는 왜곡 정보의 강도에 비례하게 된다.

도 5는 칼라 왜곡 정보를 기반으로 특징소 가중치를 자동 설정하여 검색했을 경우와 그렇지 않을 경우에 대한 대비를 나타낸 것으로, 칼라 왜곡 정보를 기반으로 특징소 가중치를 자동 설정하여 검색했을 때 왜곡된 이미지를 대상으로 검색한 결과, 본 발명에 의해 검색 성능이 30% 이상 증가되었음을 알 수 있다.

도 6은 멀티미디어 데이터의 칼라 왜곡 정보를 이용한 멀티미디어 검색의 또 다른 예를 나타낸 플로우챠트로서,

멀티미디어의 칼라 정보가 조명등의 영향으로 왜곡될 때 왜곡 정도는 칼라의 순도(크로마)에 따라 다르게 느껴진다.

예를 들어 순색의 경우 분위기 칼라에 의해 왜곡되더라도 사람이 인지할 수 있는 차이는 미세하나, 흰색과 같은 순도가 적은 색의 경우에는 그 차이가 상대적으로 심하게 느껴진다.

따라서 이 경우 순도가 낮은 색일수록 왜곡이 심하다고 가정하여 가중치를 낮은 값으로 정하여 검색하면 왜곡에 의한 검색 오류를 줄일 수 있다.

즉, 순도에 따른 칼라 요소의 가중치 보정을 수행하는 것이다. 마찬가지로 색도에 따른 칼라 요소의 가중치 보정을 수행할 수 있다.

이와 같이 칼라 요소의 가중치 보정은 일반적으로 칼라 요소간의 차이를 구하여 유사도 측정시 가중치 매트릭스의 곱에 의해 이루어진다.

일반적인 칼라 유사도 측정은 다음과 같이 모두 1값을 갖는 Identity matrix of order I(= Ii) 를 사용한다.

반면 가중치가 순도나 색도에 의해 보정이 되었을 때 다음과 같이 가중치 값에 따라 다른 매트릭스를 사용하여 유사도를 측정한다.

도 7은 이와 같이 칼라 왜곡 정보를 이용한 멀티미디어 검색을 구현하기 위한 이미지 데이터 구조를 나타낸 것으로,

본 구성예에서는 멀티미디어 검색을 위한 특징 정보로서 칼라 히스토그램, 지역 대표 칼라 정보, 텍스쳐 히스토그램, 지역 대표 텍스쳐 정보를 사용하였으며, 이들 네개의 특징 정보 외에 칼라 왜곡 정보를 더 포함하고 있다.

상기 칼라 왜곡 정보는 칼라 왜곡에 영향을 준 칼라가 어떤 칼라인지를 나타내는 왜곡 칼라 정보와, 이러한 왜곡 칼라 정보가 얼마만큼 영향을 주는지 강도를 나타내는 왜곡 강도 정보로 이루어져 있다.

도 7의 실시예에 제한받지 않고, 칼라 왜곡 정보로서 왜곡 강도 정보나 왜곡 칼라 정보 중 하나만 포함하거나 둘 다 포함할 수 있도록 다양하게 실시할 수 있다.

이상에서와 같은 칼라 왜곡정보를 이용하여 그 가중치를 자동 설정하고, 그 가중치를 이용하여 멀티미디어 검색 방법을 적용하게 되면, 조명이나 디바이스 특성상 삽입된 칼라 왜곡 정보에 의해 이미지 칼라 정보가 왜곡 됨으로써 나타나는 검색 성능의 저하를 막을 수 있는 효과를 가지고 있다.

특히, 본 발명은 특징소의 가중치를 자동으로 설정할 수 있는 알고리즘을 제시하고 있으므로 검색시 사용자의 노력 없이 효과적인 검색을 수행할 수 있다.

또한, 본 발명은 칼라 정보가 왜곡되었을 때 단순히 칼라 정보를 사용하지 않거나 가중치를 고정적으로 줄이는 것 대신, 같은 칼라 정보라도 그 왜곡 민감도를 계산하여 가장 최적화된 가중치를 설정하므로써, 보다 높은 검색 효과를 가져올 수 있다.

또한, 칼라 왜곡 정보의 강도(intensity)를 추출하여 이에 비례한 가중치 조 절을 행함으로써 칼라 왜곡 보상 시 발생할 수 있는 과보상이나 미보상 등의 오류를 막을 수 있다.

Claims (15)

1. 내용 기반 멀티미디어 검색 시스템에 있어서,

   (a) 칼라 왜곡 정보를 추출하는 단계와,

   (b) 상기 (a) 단계에서 추출된 칼라 왜곡 정보를 사용하여 내용 기반 멀티미디어 검색에 사용되는 특징소, 또는 특징소 요소의 가중치를 설정하는 단계와,

   (c) 상기 (b) 단계에서 설정된 가중치를 적용하여 멀티미디어 데이터를 검색하는 과정으로 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법
2. 제1항에 있어서,

   상기 칼라 왜곡 정보는 칼라 왜곡 강도를 나타내는 값이거나, 칼라 왜곡 정보의 칼라 값 또는 이들 값의 조합으로 이루어지는 정보임을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
3. 제2항에 있어서,

   칼라 왜곡 정보의 칼라 값은 색상(Hue) 정보임을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
4. 제1항에 있어서,

   상기 (b) 단계에서, 칼라 왜곡 정보를 사용한 특징소, 또는 특징소 요소의 가중치 조정은 특징소, 또는 특징소 요소가 갖는 왜곡 민감도 값이 클수록 낮은 가중치를 갖는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
5. 제1항에 있어서,

   상기 (b) 단계에서, 칼라 왜곡 정보를 사용한 특징소, 또는 특징소 요소의 가중치 조정은, 칼라 관련 특징소 그룹과 비 칼라 관련 특징소 그룹으로 나누고, 이들 중 칼라 관련 특징소 그룹과 비 칼라 관련 특징소 그룹의 왜곡 민감도를 고려하여 칼라 관련 특징소 그룹의 가중치를 비 칼라 관련 특징소 그룹에 비해 상대적으로 낮게 설정하도록 하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
6. 제5항에 있어서,

   상기 칼라 관련 특징소 그룹은 칼라 히스토그램과 지역 대표 칼라 정보이며, 상기 비 칼라 관련 특징소 그룹은 텍스쳐나 모양 정보임을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
7. 제5항에 있어서,

   상기 칼라 왜곡 정보를 사용한 가중치 조정은, 검색에 사용되는 칼라 관련 특징소들 중 상대적으로 왜곡 민감도가 큰 특징소의 가중치를 다른 특징소의 가중치에 비해 낮게 설정하는 것을 특징으로 하며,

   이때의 왜곡 민감도는 칼라 관련 특징소가 칼라 정보 자체에 의존하는 정도에 비례하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
8. 제5항에 있어서,

   상기 칼라 관련 특징소로서 칼라 히스토그램과 지역 대표 칼라를 사용하고, 칼라 히스토그램의 왜곡 민감도가 지역 대표 칼라의 왜곡 민감도보다 크다고 설정하여, 칼라 히스토그램을 지역대표 칼라 보다 상대적으로 낮은 가중치를 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
9. 제4항 또는 제5항에 있어서,

   상기 칼라 왜곡 정보를 사용한 가중치 조정은, 칼라 관련 특징소에서 사용되는 칼라 요소들 중 상대적으로 낮은 순도를 지닌 칼라 요소가, 높은 순도를 지닌 칼라 요소보다 왜곡 민감도가 커지게 됨을 감안하여 낮은 순도를 지닌 칼라요소일수록 낮은 가중치로 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
10. 제4항 또는 제5항에 있어서,

    상기 칼라 왜곡 정보를 사용한 가중치 조정은, 칼라 관련 특징소에서 사용되는 칼라 요소들 중 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 영역일수록 색도의 왜곡 정도가 커지게 됨을 감안하여, 칼라 왜곡 정보의 색도와 다른 색도를 지닌 칼라 요소일수록 낮은 가중치로 설정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
11. 제4항 또는 제5항에 있어서,

    상기 특징소 또는 특징소 요소의 왜곡 민감도는 칼라 왜곡 정보가 포함된 데이터와 포함되어 있지 않은 데이터를 대상으로 해당 특징소, 또는 특징소 요소별로 그 값을 비교한 후 그 평균 변형 정도에 비례하여 결정하는 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
12. 칼라 왜곡 정보를 이용하여 내용 기반 멀티미디어 검색방법을 구현하고자 함에 있어서,

    (a) 이미지를 N*M 개의 부분 영역으로 분할하는 단계와,

    (b) 상기 (a) 단계에서 분할된 모든 이미지 영역에 대해 각 영역별로 순도가 일정 임계치 이하인 픽셀들의 평균 색도(HUE) 값과 평균 색도 값에 참여한 픽셀의 색도값에 대한 분산을 구하는 단계와,

    (c) 상기 (b) 단계에서 구해진 분산에 대해 상기 분산이 일정 임계치 이하를 만족하는 영역만을 대상으로 각 영역에서 구해진 평균 색도값들을 재평균하는 단계와,

    (d) 상기 (c) 단계에서 색도값 재평균에 참여한, 분산이 일정 임계치 이하를 만족하는 영역들이 이미지 전체에서 차지하는 비율을 칼라 왜곡의 강도로 지정하고, 재평균된 평균 색도값들을 칼라 왜곡 정보의 색도 값으로 지정하는 단계를,

    포함하는 것을 특징으로 하는 칼라 왜곡 정보 추출 방법
13. 칼라 왜곡 정보를 이용하여 내용 기반 멀티미디어 검색방법을 구현하고자 함에 있어서,

    (a) 칼라 왜곡이 일어나지 않은 데이터 표본 집단을 준비하는 단계와,

    (b) 칼라 왜곡이 일어난 데이터의 표본 집단을 준비하는 단계와,

    (c) 상기 (a) 및 (b) 단계의 서로 다른 표본집단에 속해있는 같은 데이터에 대해, 해당 특징소 또는 특징 요소를 기준으로 유사도를 측정하는 단계와,

    (d) 상기 (c) 단계에서 측정된 유사도들을 평균하는 단계와,

    (e) 상기 (d) 단계에서 평균한 평균 유사도에 반 비례하게 왜곡 민감도를 설정하는 단계를

    포함하는 것을 특징으로 하는 왜곡 민감도 추출 방법.
14. 칼라 왜곡 정보를 추출하고, 상기 추출된 칼라 왜곡 정보에 따라 가중치를 자동설정하여 데이터를 검색할 수 있도록 하는 멀티미디어 검색 시스템에 있어서,

    검색에 사용되는 하나 이상의 특징소들을 갖는 특징정보를 생성하는 단계,

    멀티미디어 데이터의 칼라 왜곡을 표현하는 칼라 왜곡 정보를 생성하여 상기 특징정보와 함께 해당 멀티미디어를 묘사하는 정보로 기록하는 단계; 를 포함하는 것을 특징으로 하는 멀티미디어 데이터 생성 방법.
15. 제14항에 있어서,

    상기 칼라 왜곡 정보는 칼라 왜곡 강도, 또는 칼라 왜곡 정보의 색도 정보, 또는 이들간의 조합으로 구성됨을 특징으로 하는 멀티미디어 데이터 생성 방법.

Images