KR100595064B1 - 칼라 왜곡 정보를 이용한 내용기반 멀티미디어 검색 방법 - Google Patents

Abstract

본 발명은 내용 기반 멀티미디어 검색에 있어서, 멀티미디어 데이터의 칼라 왜곡 정보를 자동 추출하는 방법과, 이를 기반으로 하여 왜곡된 칼라를 복원하여 검색성능을 향상시킬 수 있도록 하는 멀티미디어 검색방법 및 이와 같이 추출된 칼라왜곡정보를 포함하는 멀티미디어 데이터 생성 방법에 관한 것이다.

본 발명에서는 멀티미디어 데이터의 칼라 정보를 왜곡 시킬 수 있는 왜곡 정보를 자동으로 추출하고, 추출된 왜곡정보를 이용하여 원래의 칼라로 복원하여 검색이 이루어질 수 있도록 하는 방법과, 이러한 개념의 실시를 위한 데이터 생성 방법을 제시하고자 하는 것으로,

칼라 왜곡정보로서, 색조 정보(Hue)와 강도정보를 자동으로 추출하고, 추출된 색조 정보와 강도정보로서, 왜곡된 칼라값을 구하여 원래의 칼라로 복원하도록 하므로써, 매우 효과적인 멀티미디어 데이터 검색 방법을 제시하고 아울러, 조명이나 디바이스 특성에 의한 칼라 왜곡 문제를 해결하고자 하는 것이다.

멀티미디어, 검색, 왜곡

Description

칼라 왜곡 정보를 이용한 내용기반 멀티미디어 검색 방법{Content-based multimedia searching method using color distortion data}

도 1은 본 발명에 있어서, 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 시스템의 관계를 나타낸 블록도.

도 2는 원래의 영상과 특정조명에 의해 변형된 영상에서 추출된 두 개의 칼라의 특징정보를 비교한 그래프.

도 3a, 도 3b는 본 발명에 있어서, 왜곡 칼라 추출 방법의 일 실시예 실행수순을 나타낸 플로우챠트.

도 4a, 도 4b는 본 발명에 있어서, 왜곡 칼라 추출 방법의 다른 실시예 실행수순을 나타낸 플로우챠트.

도 5는 본 발명에 있어서, 도 4a,4b에 도시된 왜곡 칼라 추출 방법의 또 다른 실시예 실행수순을 나타낸 플로우챠트.

도 6은 지역 대표 칼라 특징소를 사용하였을 경우에의 왜곡되지 않은 이미지 데이터 베이스의 검색과 왜곡된 이미지 데이터 베이스의 검색시의 검색성능의 차이를 나타낸 그래프.

도 7은 본 발명을 적용하였을 경우와 기존 방법에 의한 멀티미디어 데이터의 검색 성능 향상을 나타내기 위한 그래프.

도 8은 본 발명에 있어서, 멀티미디어 이미지 데이터 구조를 나타낸 블록도.

본 발명은 내용 기반 멀티미디어 검색에 있어서, 멀티미디어 데이터의 칼라 왜곡 정보를 자동 추출하기 위한 방법과, 이를 기반으로 하여 왜곡된 칼라를 복원하여 검색성능을 향상시킬 수 있도록 하는 멀티미디어 검색방법 및 이와 같이 추출된 칼라왜곡정보를 포함하는 멀티미디어 데이터 생성 방법에 관한 것이다.

최근 들어 내용기반으로 멀티미디어 데이터를 검색하기 위한 연구가 많이 진행되고 있다. 내용 기반 멀티미디어 검색에서 주로 사용되는 특징소로는 칼라, 텍스쳐, 모양 정보 등이 사용되는데 이들 중 칼라 정보가 가장 중요한 정보로 볼 수있다.

하지만 칼라 정보의 경우, 데이터 주변의 조명이나 영상 취득 디바이스(device) 특성 등으로 인해 쉽게 왜곡될 수 있는 단점이 있다.

즉, 같은 영상이라도 서로 다른 디바이스로 영상을 취득하거나 다른 조명 아래에서 취득했을 경우, 사람이 인지할 때에는 비슷한 영상이나 컴퓨터가 분석한 칼라 정보는 상이하게 나타날 수 있는데, 이러한 왜곡은 멀티미디어 데이터 검색 성능에 매우 좋지 못한 영향을 미치게 되는 것이다.

이러한 이유로 최근에는 이러한 조명에 영향받지 않고 검색을 하기 위한 연구가 많이 진행되고 있으며, 이러한 대부분의 기존 기술에서는 조명 등에 의해 왜 곡이 쉽게 일어날 수 있는 칼라 요소를 무시하여 검색하는 방법을 사용하고 있다.

예를 들어 밝기에 무관하게 검색을 하고 싶으면 칼라 요소 중 밝기 요소를 사용하지 않고 검색을 하고, 특정 색상을 포함한 조명에 무관하게 검색을 하고 싶으면 색상 요소를 사용하지 않고 검색을 하는 방법을 취한다.

하지만 이렇게 특정 칼라 요소를 무시하여 검색하는 방법은 주어진 정보를 단지 사용하지 않을 뿐 칼라의 왜곡을 정확히 반영하지 않기 때문에 전반적으로 낮은 검색 성능을 나타낼 수 밖에없다.

즉, 조명과 무관하게 전체적으로 낮은 성능을 가져올 수 있는 문제점을 지니고 있는 것이다.

만일 조명이나 디바이스 특성상 발생하는 칼라 왜곡 특성을 분석하여, 이를 이용, 각 데이터마다 해당 특성에 알맞은 왜곡 보상 방법을 취한다면 보다 높은 검색 성능을 얻을 수 있을 것이다.

본 발명에서는 앞서 설명한 멀티미디어의 칼라 정보를 왜곡 시킬 수 있는 왜곡 정보를 자동으로 추출하고, 추출된 왜곡정보를 이용하여 원래의 칼라로 복원하여 검색이 이루어질 수 있도록 하는 방법과, 이러한 개념의 실시를 위한 데이터 생성 방법을 제시하고자 한 것이다.

상기와 같은 목적을 달성하기 위하여 본 발명의 일측면에 따르면, 내용기반 멀티미디어 검색 시스템에 있어서,

멀티미디어 데이터의 칼라 왜곡 정보인 색조(Hue) 정보 및 왜곡 칼라의 강도 정보를 추출하는 단계와,
추출된 칼라 왜곡 정보를 사용하여 멀티미디어 데이터의 왜곡된 칼라를 원래의 칼라로 복원하는 단계와,

삭제

원래의 칼라로 복원된 멀티미디어 데이터들간의 유사도를 측정하는 단계와,

측정된 유사도를 기준으로 멀티미디어 데이터를 정렬하는 단계,

의 실행수순을 갖는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법을 제공한다.

상기의 실행수순을 갖는 멀티미디어 검색방법은 복원후 복원된 왜곡칼라 정보를 이용하여 특징소를 추출하도록 함을 특징으로 하는 것으로, 본 발명에 따른 멀티미디어 검색방법의 다른 실시예로는,

내용 기반 멀티미디어 검색시스템에 있어서,

멀티미디어 데이터의 칼라 왜곡정보인 색조(Hue) 정보 및 왜곡 칼라의 강도 정보를 추출하는 단계와,

멀티미디어 데이터를 사용하여 검색에 사용될 특징소를 추출하는 단계와,

추출된 특징소와 칼라 왜곡 정보를 저장하는 단계와,

저장된 칼라 왜곡정보를 이용하여 특징소 값을 원래 칼라의 특징소에 해당하는 값으로 복원하는 단계와,

복원된 특징소 값을 사용하여 멀티미디어 데이터들간의 유사도를 측정하는 단계와,

측정된 유사도를 기준으로 멀티미디어 데이터를 정렬하는 단계의,

실행수순을 갖는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법을 제공한다.

또한, 본 발명은, 내용 기반 멀티미디어 검색 시스템에 있어서,

멀티미디어 데이터의 칼라 왜곡 정보로서 왜곡 칼라의 색조값을 추출하는 단계와,

멀티미디어 데이터를 사용하여 검색에 사용될 특징소로서 이미지를 N*M 개의 지역 영역으로 분할한 뒤 각 영역별로 대표 칼라값을 추출하는 단계와,

추출된 특징소 칼라 왜곡 정보를 저장하는 단계와,

저장된 왜곡 칼라의 색조값을 이용하여 저장된 특징소인 각 지역 대표 칼라값을 원래 칼라에 해당하는 값으로 복원하는 단계와,

복원된 특징소값을 사용하여 멀티미디어 데이터들간의 유사도를 측정하는 단계와,

측정된 유사도를 기준으로 멀티미디어 데이터를 정렬하는 단계의,

실행수순을 갖는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법을 제공한다.

상기 단계들에 있어서, 추출되는 칼라 왜곡 정보는 색조(Hue) 정보임을 특징으로 하며,

이를 이용한 원래 칼라 복원 단계는, max(RGB)와 min(RGB) 값을 임의의 상수로 고정하였을 때, 칼라 왜곡정보의 Hue 값을 만족하는 R,G,B 값으로 변환하는 단계와, 특징소에서 표현된 칼라의 R,G,B값에서 이들 각 RGB요소를 일정상수를 곱하여 왜곡 칼라값을 구하고, 왜곡 칼라값을 각 픽셀마다 감하는 단계로 이루어짐을 특징으로 한다.

그리고, 상기와 같은, 칼라 왜곡 정보를 이용하여 내용 기반 멀티미디어 검색방법을 구현하고자 함에 있어서, 상기의 칼라 왜곡 정보 추출 방법은,

밝기가 소정의 설정된 임계치 이하이고 순도(Chroma)가 소정의 설정된 임계치이하인 픽셀들의 평균 Hue와 Hue 값의 분산을 계산하는 단계와,

밝기가 소정의 설정된 임계치 이상이고 순도가 소정의 설정된 임계치이하인 픽셀들의 평균 Hue와 Hue값의 분산을 계산하는 단계와,

상기 과정을 통해 계산된 두 개의 분산값이 모두 일정 임계치 이하이고, 두 평균 Hue값 간의 차이가 특정 임계치 이하이면, 두 평균 Hue 값의 재평균한 값을 최종 왜곡 칼라의 색조(Hue)로 지정하는 단계의 실행수순으로 이루어짐을 특징으로 한다.

그리고, 상기 과정에서 계산된 두 개의 분산값중 하나만이 소정의 설정된 임계치이하일 경우,

이미지 전체 픽셀에 대해 Hue 히스토그램을 생성하는 단계와,

생성된 Hue 히스토그램에서 최대 분포값을 갖는 Hue를 추출하는 단계와,

추출된 Hue의 분포값이 소정의 설정된 임계치이상이면, 그 추출된 Hue값과 상기 임계치 이하인 분산을 갖는 평균 Hue값의 평균값을 왜곡 칼라의 색조로 지정하는 단계를 더 포함하여 이루어진다.

또한, 본 발명 왜곡 칼라의 자동 추출방법은,

이미지를 N*M 개의 영역으로 분할하는 단계와,

분할된 모든 영역에 대해서 각 영역마다 밝기가 소정의 설정된 임계치 이하이고 순도가 소정의 설정된 임계치 이하인 픽셀들의 평균 Hue와 Hue값의 분산을 계산한후 분산값이 특정 임계치 이하인 것들만 어두운 색의 후보 왜곡 칼라 Hue로 등록하는 단계와,

분할된 모든 영역에 대해서 각 영역마다 밝기가 소정의 설정된 임계치이상이고 순도가 소정의 설정된 임계치 이하인 픽셀들의 평균 Hue와 Hue 값의 분산을 계산한 후 분산값이 특정 임계치 이하인 것들만 밝은색의 후보 왜곡 칼라 Hue로 등록하는 단계와,

상기 과정에서 등록된 어두운 색의 후보 왜곡 칼라 Hue 값들과 밝은색의 후보 왜곡 칼라 Hue 값 들을 각각 평균을 취하여 두 평균 Hue 값의 차가 소정의 설정된 임계치 이하이면, 두 평균 Hue 값의 재평균한 Hue 값을 최종 칼라 왜곡 색조로 지정하고, 등록된 후보 Hue 들의 개수를 전체 이미지에 대하여 나누어진 대상영역의 수 N*M개로 나누어 그 비율을 계산하고, 이의 값을 칼라 왜곡의 강도(왜곡 정도; intensity)로 지정하는 단계의,

실행수순으로 이루어짐을 특징으로 한다.

상기 왜곡 칼라의 자동 추출방법의 단계에 있어서, 밝은 색 또는 어두운 색의 후보 왜곡 칼라중 어느 하나에만 등록된 Hue 가 있을 경우에는, 등록된 Hue 들의 개수가 소정의 설정된 임계치를 넘을 때에만 등록된 Hue 들의 평균 Hue 값을 왜곡 칼라 Hue 로 정하고, 등록된 Hue 들의 개수를 전체 이미지에 대하여 나누어진 대상영역의 수 N*M개로 나누어 그 비율을 계산하고, 이의 값을 칼라 왜곡의 강도로 지정하는 단계를 더 포함하는 것을 특징으로 한다.

그리고, 상기 단계에서 칼라 왜곡 정보로서 왜곡 칼라의 강도 정보를 더 추출하는 단계와, 칼라 복원시에 강도에 비례하여 지역 대표 칼라 값을 복원하는 단계를 더 포함하는 것을 특징으로 한다.

한편, 칼라 왜곡정보를 이용한 멀티미디어 검색을 구현하기 위한 멀티미디어 데이터는 멀티미디어 검색을 위한 특징소와 칼라 왜곡 정보를 더 포함하여 생성되며,

칼라 왜곡 정보는 칼라 왜곡에 영향을 준 칼라가 어떤 칼라인지를 나타내는 왜곡 칼라의 Hue와, 이러한 왜곡 칼라 정보가 얼마만큼 영향을 주는 지에 대한 강도를 나타내는 왜곡 강도 정보를 포함하여 이루어짐을 특징으로 한다.

이와 같은 특징을 갖는 본 발명은 왜곡된 칼라 정보를 추출하고, 추출된 왜곡 칼라 정보를 이용하여 원래의 칼라를 복원하여 칼라 왜곡 정보에 의해 발생하는 멀티미디어 검색 성능 저하를 막고 보다 높은 검색 성능을 제공하기 위한 방법에 대한 것이다.

먼저, 이하 본 발명의 기술적 배경과 특징에 대하여 설명하면 다음과 같다.

일반적으로 칼라 왜곡은 조명이나 영상 취득에 사용되는 디바이스 특성, 그 리고 인코더, 필터 등 다양한 이유에 의해 일어날 수 있다.

영상으로부터 원래의 칼라가 조명 등의 어떠한 칼라의 영향을 받아 변형이 되었는지를 설명할 때 그 왜곡을 일으킨 칼라를 왜곡 칼라라고 하면, 만일 붉은 색의 조명이 이미지 취득 당시 영향을 주었다면 원래의 영상 색에 붉은 색 요소가 첨가되어 전체적으로 색조가 붉은 색화되었을 것이다.

따라서 만일 왜곡 칼라가 붉은 색이고 어느정도 영향을 미쳤는지를 알 수 있다면, 왜곡된 영상에서 붉은 색 요소를 다시 감함으로써 원래의 색을 복원할 수 있다.

하지만 주어진 영상에서 붉은 색의 왜곡 칼라가 영향을 주었는지 알아내는 방법은 매우 어려우며 기존 기술에서도 특정한 왜곡 칼라를 알아내려는 시도는 아직 나타나지 않고 있다.

왜냐하면 특정 영상 부분이 붉은 색조를 지니고 있다고 했을 때, 그 붉은 색이 원래 붉은 색인지, 다른 칼라가 왜곡 칼라에 의해 붉게 변형되었는지 판단할 수 있는 기준이 없기 때문이다.

본 발명에서는 그러한 왜곡 칼라를 자동으로 추출하는 방법을 제시하고 있는데, 왜곡된 영상의 다음과 같은 특성들을 이용하고 있다.

[색조 왜곡 민감도 ]

색의 특성상 일정한 색조(Hue ; R,G,B 상대비교 값)를 지닌 칼라를 더 첨가하였을 때, 색조의 변형 정도를 나타내는 색조 왜곡 민감도는 순도(Chroma)가 낮을수록 더 크다. 따라서 원래의 색이 순도가 높은 특정 색조였다면, 다른 색조의 왜 곡 칼라가 첨가되었다고 하더라도 쉽게 다른 색조로 변형되지 않는다.

하지만 흰색이나 검은색같이 순도가 매우 낮은 경우에는 첨가된 왜곡 칼라에 의해, 쉽게 왜곡 칼라가 지닌 색조에 가깝게 색조가 변형된다.

따라서 이미지 등 영상 데이터에서 특정 색조를 지닌 왜곡 칼라가 영향을 주었는지는, 순도가 낮은 색을 지닌 픽셀들을 조사함으로써 알 수 있다. 즉 낮은 순도를 지니고 있는 해당 픽셀들이 모두 일정한 색조를 지니고 있을 때 칼라 왜곡이 일어났을 확률이 높다.

[ 디바이스 인코더 특성 ]

디지털 동영상 무비카메라 등의 영상 취득 디바이스로 영상을 취득한 후 이를 디스플레이해보면, 디바이스마다 색조가 다르게 나타나는 것을 흔히 볼 수 있다.

이러한 이유는 자체 디바이스 특성이나, 취득된 영상을 파일로 저장하기 위한 인덱싱 수단(인코더)이 가지고 있는 인덱싱 알고리즘이 조금씩 다르기 때문인데, 이러한 영상을 살펴보면 다음과 같은 특징이 있다.

대부분 영상에서 흰색이나 검은색과 같은 회색 영역도 픽셀을 분석해보면 나름대로 색조를 지니고 있다.

사람이 인지할 때에는 희거나 검게 느껴지지만 컴퓨터로 표현된 색은 약간의 색을 포함하고 있는 것이다. 이러한 색조는 하나의 디바이스나 같은 인코딩 수단으로 인코딩 후 저장한 파일의 경우 일정하게 나타난다.

즉, 동영상의 한 프레임에서 검은색과 같이 보이는 픽셀들의 색조를 분석해 보면 프레임 내에서의 위치에 상관 없이 모두 일정한 색조를 지니고 있는 특성이 있다.

따라서 이와 같이 회색 영역, 즉 매우 낮은 순도를 지닌 픽셀들이 한 이미지 프레임에서 모두 같은 색조를 지니고 있다면, 이때의 색조는 실제로는 디바이스 및 인코더 특성에 의해 생성된 색조일 가능성이 매우 높다.

따라서 보다 효과적인 검색 성능을 위해서는 이러한 경우 색조를 제거하여 순수한 회색 영역으로 고려하는 것이 옳다.

상기에서 기술한 특성에 기반하여 왜곡 칼라를 추출할 수 있게 되는 것이며, 본 발명에서는 이와 같은 왜곡 칼라 정보를 이용하여 원래의 칼라로 복원할 수 있도록 하는 것이다.

이하, 첨부된 도면에 도시된 그 실시예를 참조하여 그 작용을 상세히 설명하면 다음과 같다.

도 1은 본 발명을 실시하기 위한 전체적인 시스템의 관계도를 나타낸 것이다.

먼저 멀티미디어 검색을 위해 특징 추출부(100)에서는 필요한 특징소들을 추출하는 특징소 추출 모듈(101)을 포함하고 있다.

특징소는 일반적으로 칼라 히스토그램과 같은 칼라 특징소와 텍스쳐, 모양 정보 등을 사용하고 있다.

왜곡 칼라 정보 추출 모듈(102)에서는 본 발명에서 제안한 알고리즘을 사용하여 왜곡 칼라 정보를 추출한다.

본 실시예서는 왜곡 칼라 정보로서 왜곡 칼라의 색조 정보 (Hue)와 강도 정보를 추출하였다.

이와 같이 추출된 특징소와 왜곡 칼라 정보는 특징소 및 왜곡 칼라 정보 저장 모듈(103)에 의해 저장된다.

검색은 사용자의 질의에 의해 행해지는데, 일반적으로 비슷한 데이터를 찾기 위해 참조 데이터를 사용자가 지정하므로써, 질의가 행해지는 바, 검색을 수행하기 위해, 먼저 검색부(200)의 특징소 칼라값 복원 모듈(201)에서는 상기 저장모듈(103)에 저장된 특징소와 왜곡 칼라 정보를 취득한 후, 왜곡 칼라 정보를 사용하여 특징소에 표현된 왜곡 칼라값을 원래의 칼라값으로 복원한다.

다음 복원된 특징소값을 이용하여 유사도 계산 모듈(202)에 의해 각 대상 데이터들의 유사도를 측정하고, 측정된 유사도를 기준으로 대상 데이터들을 나열하여 디스플레이하므로써, 검색과정은 종료된다.

여기에서, 미설명되는 부호 203은 유사도를 기준으로 대상 데이터를 정렬하기 위한 유사도 기준의 데이터 정렬모듈이고, 204는 사용자가 질의를 입력하기 위한 사용자 질의 인터페이스이고, 205는 검색결과를 디스플레이해주기 위한 검색결과 디스플레이 인터페이스이다.

이와 같은 본 발명의 실시예에 있어서, 왜곡 칼라를 추출하고, 추출된 왜곡 칼라 정보를 이용하여 원래의 칼라로 복원하여 멀티미디어 검색이 가능하도록 하는 바, 이와 같은 방법은 두가지로 나눌 수 있다.

첫 번째는 먼저 왜곡 칼라 정보를 이용하여 이미지의 각 픽셀에 대해 원래의 칼라로 복원한 후 칼라 히스토그램 등 검색에 필요한 특징 정보를 추출하는 것이 다.

이 방법은 보다 정확한 칼라의 복원이 가능하지만, 특징정보가 왜곡된 이미지 자체, 즉 사용자가 눈으로 봤을 때 보이는 칼라 정보 자체를 표현하지 못하고 원래의 칼라로 복원한 칼라 정보만을 표현한다는 단점이 뒤따르게 된다.

두 번째는 기존과 같이 왜곡된 이미지에서 특징 정보를 추출한 후, 검색시에 왜곡 칼라 정보를 반영하여 특징정보값을 원래의 칼라에 해당하는 정보로 변환하여 검색하는 방법이다.

이 방법은 검색시에 칼라 복원 시간이 요구되고, 이미 요약되어 추출된 특징 정보를 변환하는 것이므로, 전자의 경우보다 정확하지 못한 칼라 복원 방법이지만, 왜곡된 이미지 자체의 칼라 정보를 그대로 유지하면서 필요할 때만 원래의 칼라로 복원하여 검색할 수 있는 장점이 있다.

이와 같은 본 발명의 실시의 예에서는 앞에서 기술한 멀티미디어 검색방법중 특징소를 추출하고, 추출된 특징소를 칼라 왜곡정보로 복원하는 과정의 실행수순을 특징으로 하는 검색 방법을 중심으로 설명한 것이며, 이하의 실시예에 있어서도 앞서와 같은, 두 번째의 검색시 칼라정보를 이용하는 두 번째의 방법을 설명하기로 한다.

본 실시예에 있어서는 칼라 왜곡에 상관없이 효율적인 검색을 할 수 있는 검색시스템의 일예로서, 지역대표 칼라 정보를 특징소로서 사용하는 이미지 검색 시스템을 구현하였다.

지역 대표 칼라 정보는 이미지를 N*M으로 분할 한 후, 각 영역별로 대표 칼 라를 추출한 것이다.

이를 이용한 이미지간의 유사도 측정은 두 이미지의 같은 위치의 분할 영역에서의 대표 칼라를 비교하여 그 유사도의 합으로 계산된다.

이때, 각 이미지는 왜곡 칼라 Hue와 강도를 포함하고 있어서, 만일 왜곡 칼라 Hue가 존재하면 유사도 측정이전에 표현되어 있는 대표 칼라 값에서 왜곡 칼라 Hue 성분을 강도에 비례하여 빼주므로써, 원래 칼라 복원 과정을 실행한다.

이와 같이 복원된 대표 칼라 끼리의 유사도 측정으로 새로운 유사도 값이 계산되는 것이다.

그러면, 이하 왜곡된 칼라의 추출과정과, 그 추출된 왜곡 칼라 정보를 이용하여 원래 칼라를 복원하는 과정을 설명하면 다음과 같다.

도 2는 원래의 영상과 특정 조명에 의해서 변형된 영상에서 추출된 두 개의 칼라 특징 정보를 비교한 그래프를 나타낸 것으로,

두 개의 그래프로부터 원래의 칼라 영상정보가 원래의 칼라 영상 정보가 조명에 의해 영향을 받아 왜곡된 것을 알 수 있다.

두 그래프 중 하나의 라인은 원래의 영상에서 추출된 칼라 히스토그램(왜곡전)을 보여주고, 또 다른 라인은 조명에 의해 왜곡된 영상에서 추출된 칼라 히스토그램(왜곡후)을 보여준다.

도 2에서 알 수 있듯이 조명과 같은 왜곡 칼라에 의해 주요 칼라의 위치가 이동(shift)되었음을 확인할 수 있다.

이와 같이 칼라의 왜곡은 칼라 히스토그램과 같은 칼라 정보에 매우 많은 왜 곡을 발생하여 검색 성능을 저하시킨다.

[ 왜곡 칼라 정보 추출방법의 제 1실시예 ]

따라서, 본 발명에서는 다음의 도 3a,3b에서와 같은 방법을 통해 멀티미디어 데이터의 칼라 왜곡 정보를 추출하고자 한다.

먼저, 칼라를 보정하고자 하는 이미지에서 밝기가 소정의 설정된 임계치(Th_br1)이하이고, 순도가 소정의 설정된 임계치(Th_c1)이하인 픽셀들의 평균 Hue(Hue_avg1)를 구한다(s301).

그리고, 상기와 같은 픽셀들에 대하여 Hue의 분산(Hue_var1)을 구한다.

또한, 밝기가 소정의 설정된 임계치(Th_br2)이상이고, 순도가 소정의 설정된 임계치이하(Th_c2)인 픽셀들의 평균 Hue(Hue_avg2)와, Hue 값의 분산(Hue_var2)을 구한다.(s302)

즉, 기준대비 밝기가 어둡고, 순도가 낮은 픽셀들에 대하여 그리고, 기준대비 밝기가 어느정도 밝고, 순도가 낮은 평균 Hue와 Hue의 분산을 구하도록 하는 것이다.

이후, 상기 과정을 통해 구해진 두 분산값(Hue_var1, Hue_var2) 값이 분산에 대해 설정된 설정된 소정의 임계치(Th_v1)와 비교하여 임계치(Th_v1)이하인지를 판별하게 된다.(s303)

상기 과정(s303)에서 두 분산값(Hue_var1, Hue_var2)이 모두 임계치(Th_v1) 이하 일경우에는 이들의 Hue 평균(Hue_avg1, Hue_avg2)간의 차이(Diff_Hue_avg1,2)를 구하게 된다.(s304)

이와 같이 구한 Hue 평균(Hue_avg1, Hue_avg2)간의 차이(Diff_Hue_avg1,2)가 소정의 설정된 특정 임계치(Th_Diff1)이하이면, 상기 두 Hue 평균(Hue_avg1, Hue_avg2)을 재 평균한 값(Avg(Hue_avg1, Hue_avg2))을 왜곡 칼라 Hue로 지정하게 된다. (s306)

그러나, 상기 과정(s303)의 비교결과 두 분산값중 어느 하나만이 소정의 설정된 임계치(Th_v1) 이하일 경우(s307 또는 s307'), 이미지 전체 픽셀에 대해 Hue 히스토그램(Hue_Hist)을 생성한 후(s308 또는 s308'), 가장 큰 비중값을 갖는 Hue 값(Max_Hue)을 구한다(s309 또는 s309').

여기서는, 밝기가 어느정도 어두운 상태의 픽셀에 대한 진행과정(s307 또는 s307')에 의한 실행수순을 예를 들어 설명하기로 한다.

이와 같이 구한 가장 큰 비중을 갖는 Hue 값(Max_Hue)과 상기 과정(s307 또는 s307')에서의 임계치 이하의 분산값을 갖는 평균 Hue값(Hue_avg1)과의 차이(Diff_avgHue1_MaxHue 또는 Diff_avgHue2_MaxHue)를 구한다(s310 또는 s310').

이와 같이 상기 과정(s310 또는 s310')에서 구한 임계치 이하의 분산값을 갖는 평균 Hue값(Hue_avg1)과의 차이(Diff_avgHue1_MaxHue)의 차이 또는 평균 Hue값(Hue_avg2)과의 차이(Diff_avgHue2_MaxHue)의 차이를 이에 대하여 설정된 소정의 임계치(Th_Diff2)와 비교하게 된다(s311 또는 s311').

이때, 임계치(Th_Diff2)이하일 경우에 상기 과정(s309 또는 s309')에서 구해진 가장 큰 비중을 갖는 Hue 값(Max_Hue)과 평균 Hue 값(Hue_avg1 또는 Hue_avg2)을 재평균하여, 재평균 값(Avg(Max_Hue, Hue_avg1) 또는 Avg(Max_Hue, Hue_avg2))을 왜곡 칼라 Hue로 지정하게 된다(s312 또는 s312').

즉, 상기 과정(s311 또는 s311')은 가장 많은 분포를 갖는 Hue가 이미지 전체에 대한 Hue와 얼마나 비슷한 가를 판별하여 왜곡 칼라 Hue를 추출하기 위한 것이다.

이와 같은 과정을 갖는 왜곡 칼라 정보를 추출하는 방법은 간단하게 구현될 수 있는 장점이 있으나, 왜곡 칼라가 이미지 전체에 나타나 있는 지 부분적으로 나타나 있는지 알 수 없는 단점이 뒤따르게 된다.

만일 이와 같은 정보를 알 수 있다면, 이미지에 얼마나 많은 영역에서 왜곡 칼라가 나타났는지를 기준으로 왜곡칼라 이미지에 미치는 지역적인 영향 정도, 즉 강도의 척도로 사용할 수 있을 것이다.

다음의 도 4는 이러한 정보를 추출하기 위한 과정을 갖는 왜곡 칼라 추출 방법의 다른 실시예를 보여준 것이다.

[ 왜곡 칼라 추출방법의 제 2실시예 ]

전체 이미지에 대하여 N*M 개의 영역으로 분할하고, 어두운색 칼라 후보의 개수(N1), 밝은색 칼라 후보의 개수(N2)를 초기화한다.(s401)

이와 같이 분할된 모든 영역 각각에 대하여 어두운 왜곡 칼라 후보 및 밝은 색 왜곡 칼라 후보를 찾는 다음의 과정(403,404,405,406,407,408)을 반복하여 진행하게 된다.

이를 설명하면, 지정된 대상영역내의 모든 픽셀중에 밝기가 소정의 설정된 임계치(Th_br1)이하이고, 순도가 소정의 설정된 임계치(Th_c1)이하인 픽셀들에 대하여 평균 Hue(Hue_avg10)와 Hue 에 대한 분산(Hue_var10)을 구한다.(s403)

이와 같이 구한 Hue에 대한 분산(Hue_var10)을 설정된 임계치(Th_v1)와 비교하여(s404), 임계치(Th_v1)이하일 경우 어두운색 왜곡 칼라 후보로 등록하고 어두운색 칼라후보의 개수(N1)을 1만큼 증가시킨다(s405).

다음의 밝은색 왜곡 칼라 후보를 추출하는 과정(s406)을 진행하게 된다.

지정된 대상영역내의 모든 픽셀중에 밝기가 설정된 임계치(Th_br2)보다 크고, 순도가 설정된 임계치(Th_c1)이하인 픽셀들을 대상으로 평균 Hue(Hue_avg20)와 Hue 값의 분산(Hue_var20)을 구한다.(s406)

상기와 같이 Hue 값의 분산(Hue_var20)이 구해지면, 이 Hue 값의 분산(Hue_var20)을 설정된 임계치(Th_v2)와 비교하게 된다.(s407)

비교결과 임계치(Th_v2) 이하일 경우 밝은 색 왜곡 칼라 후보로 등록하고, 밝은 색 칼라 후보의 개수(N2)를 1만큼 증가시킨다.(s408)

N*M개로 나누어진 모든 대상영역에 대하여 상기와 같은 과정을 통해 어두운 색 왜곡 칼라 후보와 밝은색 왜곡 칼라 후보를 모두 구하게 되면, 어두운 색 왜곡 칼라 후보로 등록된 Hue 들의 평균(Hue_avg_D)과, 밝은색 왜곡 칼라 후보로 등록된 Hue 들의 평균(Hue_avg_L)을 구한다.(s411)

이후, 이와 같이 구한 Hue 들의 평균(Hue_avg_D, Hue_avg_L)의 차(Diff_avgL_avgD)를 구하고(s412), 이와 같이 구한 Hue 들의 평균의 차(Diff_avgL_avgD)를 설정된 임계치(Th_Diff1)와 비교한다.(s413)

비교결과 그 차(Diff_avgL_avgD)가 임계치(Th_Diff1)이하 일 경우 상기 두 개의 Hue 들에 대한 평균(Hue_avg_D, Hue_avg_L)을 다시 평균한 값(Avg(Hue_avg_D, Hue_avg_L))을 왜곡 칼라 Hue로 지정하게 된다.(s414)

그리고, 상기에서 구해진 어두운 색의 왜곡 칼라 후보의 개수(N1)와, 밝은 색의 왜곡 칼라 후보의 개수(N2)를 합하여, 전체 이미지에 대하여 나누어진 대상영 역의 수(N*M)로 나누어 그 비율을 계산하고, 이의 값을 최종 왜곡 칼라의 강도로 지정하게 된다.(s415)

한편, 도 5에서는 도 4에서 같이 상기 과정(s401 내지 s410)을 통해 어두운 색의 왜곡 칼라 후보 및 밝은 색의 왜곡 칼라 후보를 구한 경우, 어두운 색의 왜곡 칼라 후보 또는 밝은 색의 왜곡 칼라 후보중 어느 하나만이 하나이상의 저장된 Hue를 가지고 있을 경우에 대한 실행수순을 나타낸 것이다.

어두운색의 왜곡 칼라 후보 및 밝은 색의 왜곡 칼라 후보를 모두 구한후, 왜곡 칼라 후보의 개수(N1,N2)를 확인하게 된다.

왜곡 칼라 후보의 개수(N1,N2)를 확인한 결과, 두 후보 모두 하나이상의 Hue를 가질 경우에는 도 4b에서와 같은 과정을 진행하게 되지만, 둘 중 어느 하나(N1또는 N2)의 개수가 0일 경우, 즉, 아무런 Hue도 갖지 못할 경우에는, 하나이상의 Hue를 갖는 후보의 개수(N1 또는 N2)가 몇 개인지 설정된 기준 개수(Th_N)와 비교하여 그 과정을 진행하게 되는 바(s501)(s502),

본 실시예에서는 밝은 색의 칼라 후보일 경우를 나타낸 것으로, 이를 참조하여 설명하기로 한다.

밝은 색의 칼라 후보의 개수(N2)가 설정된 기준 개수(Th_N) 이상일 경우에는 밝은 색 왜곡 칼라 후보로 등록된 Hue 들의 평균(Hue_avg_L)을 구하고(s503), 구해진 Hue 들의 평균(Hue_avg_L)을 왜곡 칼라 Hue로 지정하게 된다.(s504)

그리고, 전체 이미지에 대하여 나누어진 대상영역의 개수(N*M)으로 밝은 색 왜곡 칼라 후보의 개수(N2)를 나누어 그 비율을 계산하고, 그 비율을 왜곡 칼라의 강도로 구하게 된다. (s505)

즉, 도 5에서와 같은 실시예는 한 방향만이 왜곡이 발생하였을 경우에 대한 문제점을 해결하고자 하는 것이다.

이와 같이 왜곡 칼라를 추출하게되는 것이며, 왜곡 칼라를 추출한후, 왜곡 칼라 정보를 이용하여 원 칼라를 복원 하므로써, 효과 높은 검색 시스템에 이용하게 된다.

상기와 같이 기술된 왜곡 칼라는 Hue 성분과 강도로 표현된다.

왜곡된 칼라 값이 있을 때, 이는 다음과 같은 방법으로 원래 칼라로 복원된다.

왜곡된 칼라 값이 R,G,B 이외의 다른 색좌표로 표현되었을 경우에는 R,G,B의 상대적인 분포값을 계산하게 된다.

이때의 상대적인 분포값은 MAX(RGB)와 MIN(RGB) 값을 일정상수로 가정하였을 때, 얻어질 수 있는 바, 본 발명 실시예에서는 MAX(RGB)=255, MIN(RGB)=0 이라고 가정하였다.

이때의 구하는 식은 다음의 수학식 1과 같다.

즉, Hue 값에 대한 하나의 R,G,B 값을 구하고, 그 R,G,B 값에 일정 상수를 곱해서 왜곡된 칼라값(R,G,B)을 구하고, 각 픽셀마다 원래의 R,G,B 값에서 빼주면 원래 칼라로 복원되는 것이다.

이때, 원래 칼라로 복원하기 위해 이용되는 상수는 왜곡 칼라 정보에 포함되는 강도 정보를 이용하여 설정할 수 있는 바,

강도값을 이용하거나, 또는 강도에 비례하는 일정 상수값으로 설정할 수 있다.

도 6은 지역 대표 칼라 특징소를 사용하였을 때, 왜곡되지 않은 이미지 데이터 베이스의 검색과 왜곡된 이미지 데이터 베이스의 검색시 검색 성능의 차이를 보여주는 것으로, 도 6에서의 가로축의 Recall은 정답으로 찾아야할 이미지중 얼마나 많이 검색결과로 보여주었는 지를 나타내는 것이고, 세로축의 Precision은 검색결 과로 보여준 이미지중 얼마나 정확한 이미지가 포함되어 있는 가를 나타낸 것이다.

도면에서 보는 바와 같이, 칼라 왜곡에 의해 평균 정확도(precision)가 10％정도 하락하는 것을 알 수 있다.

도 7은 본 발명을 적용하여 왜곡 칼라 정보를 이용한 칼라 복원 방법을 사용하여 검색 성능을 향상시켰음을 보여주는 것으로, 도면에서 보는 바와 같이, 기존의 칼라 왜곡으로 인해 발생한 오류의 증가분을 약 50％정도 개선할 수 있음을 알 수 있다.

도 8은 이와 같이 칼라 왜곡정보를 이용한 멀티미디어 검색을 구현하기 위한 멀티미디어 데이터 구조(10)를 나타낸 것으로, 멀티미디어 검색을 위한 특징소(Low-level color descriptors)(20)와 함께 칼라 왜곡 정보(30)를 더 포함하게 된다.

칼라 왜곡 정보(30)는 칼라 왜곡에 영향을 준 칼라가 어떤 칼라인지를 나타내는 왜곡 칼라의 Hue(40)와, 이러한 왜곡 칼라 정보가 얼마만큼 영향을 주는 지에 대한 강도를 나타내는 왜곡 강도 정보(Intensity: 50)로 이루어진다.

이와 같은 본 발명은 도 8에서와 같은 실시예에 제한 되지 않고, 상기 칼라 왜곡 정보로서 왜곡 칼라 정보나 왜곡 강도 정보중 하나만 포함하거나 둘다 포함하는 등 다양하게 실시 가능하다.

이와 같은 본 발명을 적용하게 되면, 조명이나 디바이스 특성상 삽입된 칼라 왜곡 정보에 의해 이미지 칼라 정보가 왜곡 되므로써, 나타나는 검색 성능의 저하 를 막을 수 있다.

또한, 본 발명은 원래의 칼라로 이미지를 복원할 수 있는 자체의 유용한 기능을 활용할 수도 있고, 이러한 칼라 왜곡 특성을 이용한 여타 파생 효과를 기대할 수 있다.

예를 들어, 살색과 같이 특정 오브젝트의 색 영역을 검출할때에도 왜곡 칼라 정보를 이용한 칼라 복원 방법을 사용하면 조명에 따라 다르게 나타나는 오브젝트 영역을 조명에 관계없이 추출할 수도 있다.

또한 왜곡 칼라 자체의 정보도 디바이스의 특성, 영상 취득시 사용한 필터의 특성을 나타내므로 이를 이용하여 같은 필터를 지닌 데이터를 그룹화할 수도 있다.

Claims (12)

1. 내용기반 멀티미디어 검색 시스템에 있어서,

   (a) 멀티미디어 데이터의 칼라 왜곡 정보인 색조(Hue) 정보 및 칼라 왜곡의 강도 정보를 추출하는 단계와,

   (b) 상기 (a) 단계에서 추출된 칼라 왜곡 정보를 사용하여 멀티미디어 데이터의 왜곡된 칼라를 원래의 칼라로 복원하는 단계와,

   (c) 상기 (b) 단계에서 원래의 칼라로 복원된 멀티미디어 데이터들간의 유사도를 측정하는 단계와,

   (d) 상기 (c) 단계에서 측정된 유사도를 기준으로 멀티미디어 데이터를 정렬하는 단계,

   를 포함하여 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
2. 내용 기반 멀티미디어 검색시스템에 있어서,

   (a) 멀티미디어 데이터의 칼라 왜곡정보인 색조(Hue) 정보 및 칼라 왜곡의 강도 정보를 추출하는 단계와,

   (b) 멀티미디어 데이터를 사용하여 검색에 사용될 특징소를 추출하는 단계와,

   (c) 상기 (a) 및 (b) 단계에서 추출된 특징소와 칼라 왜곡 정보를 저장하는 단계와,

   (d) 상기 (c) 단계에서 저장된 칼라 왜곡정보를 이용하여 특징소 값을 원래 칼라에 해당하는 값으로 복원하는 단계와,

   (e) 상기 (d) 단계에서 복원된 특징소 값을 사용하여 멀티미디어 데이터들간의 유사도를 측정하는 단계와,

   (f) 상기 (e) 단계에서 측정된 유사도를 기준으로 멀티미디어 데이터를 정렬하는 단계를,

   포함하여 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
3. 삭제
4. 삭제
5. 내용 기반 멀티미디어 검색 시스템에 있어서,

   (a) 멀티미디어 데이터의 칼라 왜곡 정보로서 왜곡 칼라의 색조(Hue)값을 추출하는 단계와,

   (b) 멀티미디어 데이터를 사용하여 검색에 사용될 특징소로서 이미지를 N*M 개의 지역 영역으로 분할한 뒤 각 영역별로 대표 칼라값을 추출하는 단계와,

   (c) 상기 (a) 및 (b) 단계에서 추출된 특징소와 칼라 왜곡 정보를 저장하는 단계와,

   (d) 상기 (c) 단계에서 저장된 왜곡 칼라의 색조값을 이용하여 저장된 특징소인 각 지역 대표 칼라값을 원래 칼라에 해당하는 값으로 복원하는 단계와,

   (e) 상기 (d) 단계에서 복원된 특징소값을 사용하여 멀티미디어 데이터들간의 유사도를 측정하는 단계와,

   (f) 상기 (e) 단계에서 측정된 유사도를 기준으로 멀티미디어 데이터를 정렬하는 단계를,

   포함하여 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
6. 제 5항에 있어서,

   상기 (d) 단계의 원래 칼라 복원 단계는, max(RGB)와 min(RGB) 값을 임의의 상수로 고정하였을 때, 칼라 왜곡정보의 Hue 값을 만족하는 R,G,B 값으로 변환하는 제1단계와;

   상기 제1단계의 특징소에서 표현된 칼라의 R,G,B값에서 이들 각 RGB요소를 일정상수를 곱하여 왜곡 칼라값을 구하고, 왜곡 칼라값을 각 픽셀마다 감하는 제2단계로 이루어짐을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
7. 제 6항에 있어서,

   상기 추출되는 왜곡 칼라 정보는 강도 정보를 더 포함하며, 상기 임의의 상수는 강도값 또는 강도값에 비례하는 값으로 설정하도록 한 것을 특징으로 하는 칼라 왜곡 정보를 이용한 내용 기반 멀티미디어 검색 방법.
8. (a) 밝기가 소정의 설정된 임계치 이하이고 순도(Chroma)가 소정의 설정된 임계치이하인 픽셀들의 평균 Hue와 Hue 값의 분산을 계산하는 단계와;

   (b) 밝기가 소정의 설정된 임계치 이상이고 순도가 소정의 설정된 임계치이하인 픽셀들의 평균 Hue와 Hue값의 분산을 계산하는 단계와;

   (c) 상기 (a) 및 (b)의 단계를 통해 계산된 두 개의 분산값이 모두 일정 임계치 이하이고, 두 평균 Hue값 간의 차이가 특정 임계치 이하이면, 두 평균 Hue 값의 재평균한 값을 최종 왜곡 칼라의 색조(Hue)로 지정하는 단계를;

   포함하여 이루어짐을 특징으로 하는 칼라 왜곡 정보 추출 방법.
9. 제 8항에 있어서,

   상기 단계에서 계산된 두 개의 분산값중 하나만이 소정의 설정된 임계치이하일 경우,

   이미지 전체 픽셀에 대해 Hue 히스토그램을 생성하는 제1단계와,

   상기 제1단계에서 생성된 Hue 히스토그램에서 최대 분포값을 갖는 Hue를 추출하는 제2단계와,

   상기 제2단계에서 추출된 Hue의 분포값이 소정의 설정된 임계치이상이면, 그 추출된 Hue값과 상기 임계치 이하인 분산을 갖는 평균 Hue값의 평균값을 왜곡 칼라의 색조로 지정하는 제3단계를 더 포함하여 이루어짐을 특징으로 하는 칼라 왜곡 정보 추출 방법.
10. (a) 이미지를 N*M 개의 영역으로 분할하는 단계와;

    (b) 상기 (a) 단계에서 분할된 모든 영역에 대해서 각 영역마다 밝기가 소정의 설정된 임계치 이하이고 순도가 소정의 설정된 임계치 이하인 픽셀들의 평균 Hue와 Hue값의 분산을 계산한후 분산값이 특정 임계치 이하인 것들만 어두운 색의 후보 왜곡 칼라 Hue로 등록하는 단계와;

    (c) 상기 (a) 단계에서 분할된 모든 영역에 대해서 각 영역마다 밝기가 소정의 설정된 임계치이상이고 순도가 소정의 설정된 임계치 이하인 픽셀들의 평균 Hue와 Hue 값의 분산을 계산한 후 분산값이 특정 임계치 이하인 것들만 밝은색의 후보 왜곡 칼라 Hue로 등록하는 단계와;

    (d) 상기 (b) 및 (c) 단계에서 등록된 어두운 색의 후보 왜곡 칼라 Hue 값들과 밝은색의 후보 왜곡 칼라 Hue 값 들을 각각 평균을 취하여 두 평균 Hue 값의 차가 소정의 설정된 임계치 이하이면, 두 평균 Hue 값의 재평균한 Hue 값을 최종 칼라 왜곡 색조로 지정하고, 등록된 후보 Hue 들의 개수를 전체 이미지에 대하여 나누어진 대상영역의 수 N*M개로 나누어 그 비율을 계산하고, 이의 값을 칼라 왜곡의 강도(왜곡 정도; intensity)로 지정하는 단계를;

    포함하여 이루어짐을 특징으로 하는 칼라 왜곡 정보 추출 방법.
11. 제 10항에 있어서,

    (e) 밝은 색 또는 어두운 색의 후보 왜곡 칼라중 어느 하나에만 등록된 Hue 가 있을 경우에는, 등록된 Hue 들의 개수가 소정의 설정된 임계치를 넘을 때에만 등록된 Hue 들의 평균 Hue 값을 왜곡 칼라 Hue 로 정하고, 등록된 Hue 들의 개수를 전체 이미지에 대하여 나누어진 대상영역의 수 N*M개로 나누어 그 비율을 계산하고, 이의 값을 칼라 왜곡의 강도로 지정하는 단계를 더 포함하는 것을 특징으로 하는 칼라 왜곡 정보 추출 방법.
12. 내용 기반 멀티미디어 검색시스템에 있어서,

    멀티미디어 검색을 위한 특징소와 칼라 왜곡 정보를 포함하여 구성되며,

    칼라 왜곡 정보는 칼라 왜곡에 영향을 준 칼라가 어떤 칼라인지를 나타내는 왜곡 칼라의 Hue와, 이러한 왜곡 칼라 정보가 얼마만큼 영향을 주는 지에 대한 강도를 나타내는 왜곡 강도 정보를 포함하여 이루어짐을 특징으로 하는 칼라 왜곡정보를 이용한 멀티미디어 검색의 구현이 가능한 멀티미디어 데이터 생성 방법.

Images