KR20010008792A - 비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법 - Google Patents

Abstract

본 발명은 MPEG-7의 영역 대표칼라에 관한 것으로, 특히 멀티미디어 인덱싱에서 영상에 나타나는 물체나 특정부위(ROI:Region Of Interest)의 칼라를 표현할수 있는 비디오 영역 대표칼라 설정방법과 데이타구조 및 신뢰도 추출방법에 관한 것이다.

종래에는 영역대표칼라 추출방법을 어느 한가지의 방법으로 표준화하지 않고 데이터구조만 표준화하므로 영역 대표칼라가 여러 시스템에서 사용할 경우 각 시스템에서 구성한 데이터의 호환성을 유지하기 힘들다.

본 발명은 영역대표칼라의 추출방법을 표현된 영역칼라의 정확도를 대표칼라의 빈도수, 대표칼라와의 비숫한 정도, 대표칼라들이 뭉쳐져 있는지 흩어져 있는지의 코히어런스, 각 칼라픽셀들의 영역상에서의 위치를 고려하여 선택적으로 반영해 주므로서 검색시 성능향상과 다른 추출방법으로 이루어진 영역대표칼라 사이의 호환성을 모색할수 있도록 한 것이다. 또한, 영역대표칼라 값의 추출방법을 그 추출방법의 타입, 전처리묘사, 빈도수조건묘사, 칼라스페이스묘사, 칼라서브스페이스묘사, 양자화묘사, 칼라클러스터링 묘사등으로 정형화하여 이종 시스템간에 표준화하므로서 각기 다른 시스템에서 다른 방법으로 추출된 영역대표칼라의 추출방법을 명시하여 이종시스템간에 비교 검색이 가능하도록 함에 있다.

Description

비디오 영역 대표칼라 설정방법과 데이타 구조 및 신뢰도 추출방법{Method for dominant color settlement of video region and data structure and method of confidence measure draw}

본 발명은 MPEG-7의 영역 대표칼라에 관한 것으로, 특히 멀티미디어 인덱싱에서 영상에 나타나는 물체나 특정부위(ROI:Region Of Interest)의 칼라를 표현할수 있는 비디오 영역 대표칼라 설정방법과 데이타구조 및 신뢰도 추출방법에 관한 것이다.

멀티미디어 검색시스템에서는 영상에 나타나는 물체(Object)나 특정부위(ROI)의 칼라 특징 표현방법은 여러 가지가 있을수 있고 이것은 각각의 시스템에 따라 달라진다.

그 방법으로는 영역의 평균칼라값을 이용하는 방법, 가장 많이 나타나는 하나의 칼라로 표현하는 방법, 정해진 n개의 많이 나타나는 칼라들(The n most frequently appearing colors)로 표현하는 방법, P% 이상 정해진 영역에서 나타나는 칼라를 이용하는 방법, 히스토그램을 이용하는 방법등이 있을수 있다.

이와같은 종래의 방법은 나름대로의 장점을 가질수 있다. 예로서 히스토그램은 데이터량이 많고 극히 적은 부분을 차지하는 칼라도 불필요하게 영역대표 칼라값으로 가질수 있지만 세세하게 표현한다는 장점을 가진다.

하나의 평균값을 가지는 영역대표칼라 값으로 가지는 경우는 함축된 데이터정보를 가진다는 장점과 내용기반 검색시 필터링 기능을 할수 있지만 영역의 칼라가 여러가지로 구성될 경우 정확하게 표현하기 힘들다.

영역대표칼라의 추출방법을 위의 한가지 방법으로 표준화하지 않고 데이터구조만 표준화할 경우 여러 시스템에서 사용할 경우 각 시스템에서 구성한 데이터의 호환성을 유지하기 힘들다.

또한, 같은 방법으로 대표칼라 값을 추출하더라도 이미지나 영역에 따라 대표칼라표현의 정확도가 일관되게 유지되지 않는다.

예로서, 평균값을 대표칼라로 표현할 때 제시한 문제외에도 히스토그램으로 영역칼라로 나타낼때에도 히스토그램 빈(histogram bin) 수 즉, 칼라레벨 수에 따라 영역칼라가 잘 표현되기도 하고 잘못 표현되기도 한다.

불필요하게 많은 빈(bin) 수를 가질때 영역칼라는 불필요하게 여러 칼라로 표현되어 검색성능을 저하시키고 너무 적은 빈(bin) 수의 칼라로 표현될때 역시 다양한 칼라로 구성되는 영역은 적절히 표현하기 어려워 검색성능이 저하된다.

상기와 같은 종래의 문제점을 해결하기 위하여 본 발명은 여러 가지의 영역대표칼라 특징 추출방법에 따른 영역대표칼라 값에 대해 하나이상의 다수의 칼라와 그 영역대표칼라 정보의 신되도 값으로서 영역대표칼라 표현이 가능하도록 한다.

이러한 영역대표칼라 추출방법의 명시방법을 추출방법타입, 전처리묘사,빈도수조건묘사,칼라스페이스묘사, 칼라 서브스페이스묘사, 양자화묘사,칼라클러스터링묘사 등으로 정형화시켜 주어 이종시스템간에 호환성을 유지할수 있도록 한 것이다.

또한 신뢰도를 추출하기 위해서 대표칼라와 분명하게 구별되지 않는 칼라의 비숫한 정도와, 주어진 칼라에 대해 그 칼라의 코히어런스와, 어떤 칼라가 임의의 칼라로 간주될 때 그 칼라의 정확한 값과 대표칼라값과의 차이와, 이미지 영역에서 대표칼라가 커버하는 영역의 크기와, 영역상에서의 각 칼라 픽셀들의 위치를 고려하여 신뢰도에 반영해 주므로서, 상호 이종 특징추출에 의한 영역 대표칼라값의 비교가 가능하도록 한다.

그리고, 전체 영역대표칼라에 대한 신뢰도값과 아울러 각 칼라당에 대해서 신뢰도를 표현해 주므로서 보다 자세한 영역대표칼라에 대한 정보를 가질수 있도록 한 것이다.

도 1은 본 발명 영역 대표칼라 설정방법을 보인 플로우 챠트.

도 2는 본 발명 영역 대표칼라를 이용한 정보검색 방법을 보인 플로우 챠트.

도 3은 본 발명 영역대표칼라 추출방법 정형화 데이터를 이용한 이종 시스템간의 호환성 유지방법을 보이기 위한 블록도.

본 발명 비디오 영역 대표칼라 설정방법은 도 1에 도시된 바와같이,

비쥬얼 데이터(video and/or images)로부터 영역(R)을 추출하는 과정과, 상기에서 주어진 영역에 대한 대표칼라정보(DCD;Dominant Color Descriptor)를 설정하는 과정과, 영역대표칼라 정보에 대한 영역정보와 설정된 대표칼라를 저장하는 과정으로 진행하게 된다.

상기의 대표칼라정보(DCD)는, 주어진 영역에 대한 칼라정보에 들어있는 대표칼라들의 수(N)와, 칼라정보로 표현된 임의의 대표칼라(Ci) 및 그 대표칼라의 나타나는 정도를 묘사하는 빈도수(Pi)와, 상기 칼라정보의 신뢰도(CM;Confidence Measure) 값으로 묘사하는 것을 특징으로 한다.

영역대표칼라를 이용한 정보검색 방법으로는 도 2에 도시된 바와같이,

사용자의 영역을 선택하고 그에 해당하는 영역정보를 추출하는 과정과, 상기의 해당영역에 대한 대표칼라를 추출한 다음 저장된 다른 모든 영역정보와 대표칼라를 비교하는 과정으로 진행하게 된다.

영역대표칼라 추출방법 정형화데이타를 이용한 이종 시스템간의 호환성 유지방법으로는 도 3에 도시된 바와같이,

각 시스템(System A, System B)의 영역정보(R)에 대한 영역대표칼라정보(DCD)를 구하고, 상기 영역 대표칼라 추출방법을 정형화하며, 상기의 영역 대표칼라정보와 정형화된 영역 대표칼라 추출방법 각각을 공유데이타 형식으로 변환하고 이를 비교검색하는 것을 특징으로 한다.

그리고, 영역대표칼라 추출방법을 명시하기 위한 정형화된 데이타구조는,

영역대표칼라를 추출하기 위한 추출방법 타입(Extraction method type)과, 상기 영역 대표칼라값을 구할 때 그 영역의 필터링방식을 묘사하는 전처리묘사(Preprocessing description)와, 히스토그램을 구하여 나타나는 대표칼라의 빈도수의 조건를 묘사하는 빈도수 조건묘사(Frequency condition description)와, 영역대표칼라를 표시하기 위해 사용하는 칼라스페이스에 대한 정보를 묘사하는 칼라스페이스묘사(Color space description)와, 영역대표칼라가 상기에서 정의한 기준 칼라스페이스의 서브스페이스에서 표현되어는지를 정의하는 칼라 서브스페이스묘사(Color sub-space description)와, 상기 칼라스페이스의 양자화방법을 명시하는 양자화 묘사(Quantization description)와, 상기의 영역칼라가 또 칼라 클러스터링 기반에 의해 표현되었을 경우 이를 묘사해주는 칼라 클러스터링묘사(Color clustering description)를 정의하여 정형화하게 된다.

그리고, 추출방법 타입으로는, 영역의 평균칼라값을 이용하는 방법과, 가장많이 나타나는 하나의 칼라로 표현하는 방법과, n개의 많이 나타나는 칼라들로 표현하는 방법과, 설정된 임계치(P%) 이상 정해진 영역에서 나타나는 칼라를 이용하는 방법과, 히스토그램(histogram)을 이용하는 방법 등에서 어느 하나의 방법을 정의해 준다.

그리고, 전처리묘사에서는 영역 대표칼라 값을 구할 때 설정되는 필터타입(filter type)과, 이미지영역에 적용되는 필터사이즈(filter size)와, 상기 필터 창(window)의 슬라이딩 방법(filter sliding method)을 정의해 주게된다.

빈도수조건묘사는 영역에서 영역대표칼라가 나타나는 빈도수의 임계치내에서 고려할 것인가를 정의하는 빈도수 임계치(frequency threshold)와, 영역대표 칼라의 빈도수에 따라 그 크기별로 설정치 만큼 지정하는 정렬순서묘사(sorting order description)와, 많이 나타나는 상위 n빈도수들의 임계치의 빈도수 합(frequency sum of top n frequencies threshold)을 각각 정의한다.

칼라스페이스묘사에서는 대표칼라의 기준이 되는 칼라스페이스(reference color space)와, 적용되는 칼라스페이스를 어떤 잘 알려진 칼라스페이스와 그 것간의 변환관계를 명시하기 위한 기준 칼라스페이스로부터 변환묘사(transformation from reference color space description)하되, 칼라스페이스의 채널 수(Number of color channels)와 칼라스페이스로의 변환방식 및 그 변환시 변환방법을 정의해 주게된다.

칼라 서브스페이스 묘사로는 영역 대표칼라 값이 특정한 서브스페이스를 고려할 경우, 이에 사용되는 칼라채널들의 수와 사용되는 칼라채널들과, 상기 채널의 범위와, 고려방법에 대한 벡터 서브스페이스 타입 및 그 타입에 대한 방법을 정의하게 된다.

양자화 묘사에서는 칼라스페이스의 양자화방법을 명시하기 위해, 양자화된 채널들의 수와 그 양자화된 칼라채널과, 적용되는 양자화방법과 각 채널당 양자화 레벨들의 수와, 양자화변환시 그 방법을 정의해주게 된다.

그리고, 칼라클러스터링 묘사는 클러스터링 사용여부와 클러스터링 개수가 영역에 따라 변화는지를 묘사하고, 클러스터의 개수 및 클러스터되는 칼라 채널을 묘사하며, 각각의 클러스터를 묘사하는 방법을 정의해 준다.

상기와 같은 DCD추출방법 정형화 데이터를 이용하여 다른 시스템에서 다른 DCD추출방법으로 만들어진 데이터들간의 비교검색이 가능하게 하고, 두 가지의 DCD추출방법을 한가지로 통일하는 과정을 거쳐 비교검색이 가능하게 한다.

그리고, 상기와 같은 영역대표칼라의 정확한 정도를 나타내는 신뢰도 값으로 표현해주어 검색시 성능향상과 다른 추출방법으로 이루어진 영역대표칼라간의 호환성을 모색할수 있도록 한 것이다.

이러한 신뢰도는, 이미지 영역에서 한 칼라가 어떤 값으로 표현될 때 이 칼라값의 증감에 따라 변화게 되는 칼라를 같은 칼라라고 간주할수 있는 최대 변화값(NADCA : Not Apparently Distinguishable Color Allowance)과, 주어진 칼라에 대해 그 칼라의 픽셀들이 뭉쳐져 있는지 흩어져 있는지를 측정하는 코히어런스(coherency)값과, 어떤 칼라가 대표칼라로 간주될 때 그 칼라의 정확한 칼라값과 대표칼라 값과의 차이(CME:Color Mapping Error)와, 이미지 영역에서 대표칼라가 커버하는 영역의 크기와, 칼라픽셀들의 영역상에서의 위치를 고려하여 일부 또는 전부를 신뢰도에 반영한다.

신뢰도 추출방법으로는,

신뢰도와 픽셀들의 카운트 합을 초기값으로 세팅시키는 과정과,

이후, 모든 영역 대표칼라들(Ci)에 대하여, 칼라픽셀들의 카운트값으로 부터 코히어런스 값을 구하고, 상기 코히어런스 값과 칼라픽셀들의 카운트값을 곱한 값에 초기값의 신뢰도를 더하여 모든 칼라들에 대한 신뢰도를 구하고,

상기에서 구해진 신뢰도값을 영역의 사이즈로 나누어 이미지 영역에 대한 신뢰도를 구하는 과정으로 진행하게 된다.

그리고, 신뢰도 추출방법을 이용하여 추출방법이 다른 각 칼라당에 대한 신뢰도를 구하는 것을 특징으로 한다.

상기와 같은 비디오 영역대표칼라 설정방법에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.

멀티미디어 인덱싱에서 영상 즉, 비쥬얼 데이터(video and/or images)에 나타나는 물체(object)나 특정부위(Region of interest)의 칼라를 표현할수 있는 영역 대표칼라정보(DCD; Dominant Color Descriptor)를 설정하게 된다.

영역 대표칼라정보(DCD)는 어떤 영역에 대한 칼라정보로서, 그 영역을 이미지 전체, 이미지 일부분, 비디오 세그먼트, 비디오 세그먼트의 같은 오브젝트에 대한 시간에 따라 비정규모양을 가지는 영역, 비디오 세그먼트의 시간에 따라 정규적인 위치를 표현하는 영역등에서 다양하게 정해질 수 있다.

이와같은 영역대표칼라정보(DCD)를 표현하게 되면, 주어진 영역에 대한 대표칼라들의 수(N; Number)와 표현된 i번째 대표칼라(Ci) 및 그 대표칼라(Ci)가 나타나는 빈도수(Pi; frequency)와 그 영역을 대표하는 칼라값의 정확한 정도로 표현되는 신뢰도(CM; Confidence Measure) 값으로 표현하게 된다.

즉, DCD : [N, {Ci,Pi)｜0〈i≤N}, CM]으로 표현되며,

이때, N은 DCD에서의 대표칼라들의 수이고, Ci는 DCD에서의 i번째(0〈i≤N) 표현된 대표칼라이며, Pi는 대표칼라(Ci)가 영역에 나타나는 빈도수(0〈i≤N)이고, CM은 신뢰도로서 그 영역을 대표하는 칼라값의 정확한 정도를 의미한다.

여기서, 대표칼라(Ci)는 실제로 다수의 파라미터로 정의된다. 즉, 칼라스페이스 정보(Color space), 양자화정보(Quantization), 칼라 클러스트정보(color clustering), 칼라채널의 수(number of color channels) 등의 채널정보 등으로 이루어진다.

그러므로, 여러 가지의 영역 대표칼라 특징추출방법에 따른 영역 대표칼라 값에 대해 상기와 같은 영역 대표칼라정보(DCD)의 표현법 즉, 하나이상의 다수의 칼라와 그 칼라의 신뢰도(CM) 값으로서 영역 대표칼라 표현을 가능하게 한다.

예로서, 평균칼라 방법으로 영역대표칼라 정보(DCD1)가 DCD1 = [N=1, {C0=(r,g,b),P0=UNDEFINED)}, CM=k]으로 표현될 때,

대표칼라의 수(N)는 항상 1이 되고, 표현된 대표칼라(C0)는 영역의 평균칼라(r,g,b) 값이 되며, 빈도수(P0)는 미정의(UNDEFINED)로 표현가능하고, 신뢰도(CM)은 평균값이 그 영역을 얼마나 잘 나타내는 지를 나타내는 신뢰도 값(k)이 된다.

그리고, 히스토그램으로 영역대표칼라(DCD5)를 DCD5 = [N=64, {C0=(r1,g1,b1), P0=10%),(C1=(r2,g2,b2), P1=5%),....,(C63 = (r63,g63,b63), P61=1%)}, CM=0.99]으로 나타낼 경우,

대표칼라들의 수(N)는 히스토그램 빈(bin) 수가 되므로 64개의 빈으로 히스토그램을 나타낼 경우 N=64이며, 이때 C0~C63은 해당 빈이 대표하는 칼라 값으로 표현된다.

이와같이 히스토그램으로 영역 대표칼라를 표현하면 히스토그램의 양자화 레벨 수와 한 칼라가 어떤 값으로 표현될 때 이 칼라값의 증감에 따라 변화는 칼라를 같은 칼라라고 간주할수 있는 최대 변화값(NADCA)에 따라 신뢰도(CM) 값이 달라진다.

만약, 히스토그램 구성시 양자화 레벨 수를 너무 많이 가지거나 너무 적게 가지면 신뢰도는 낮은 값을 가지게 되므로서, 그 신뢰도(CM) 값으로서 적당한 양자화 레벨 수로 구성되었는지를 알수 있다.

도 2는 영역대표칼라를 이용한 정보검색 방법으로서,

사용자의 영역을 선택하고 그에 해당하는 영역정보를 추출한 다음 상기의 해당영역에 대한 대표칼라를 추출하고, 저장된 다른 모든 영역정보와 상기에서 추출된 대표칼라를 비교하게 된다.

이와같이, 다른 모든 영역정보와 추출된 대표칼라를 비교하므로서 모든 영역정보에 대한 대표칼라를 이용하여 정보검색을 가능하게 한다.

그리고, 도 3은 영역대표칼라 추출방법 정형화데이타를 이용한 이종 시스템간의 호환성 유지방법으로서,

각 시스템(System A, System B) 데이타의 주어진 영역정보(R)에 대하여 영역 대표칼라정보(DCD)를 추출하고, 상기 영역 대표칼라의 각각 다른 특징 추출방법을 명시화하게 된다.

상기와 같은 대표칼라정보를 공유 데이터 형식으로 변환하여 이종 시스템간에 비교검색이 가능하게 하고, 또한 영역 대표칼라정보의 정형화된 데이터 각각을 공유데이타 형식으로 변환하여 이종시스템간의 비교검색을 행하므로서, 이종 시스템간의 호환성 유지가 가능하게 한다.

그러면, 영역대표칼라의 추출방법에 대한 정형화 데이타 구조는 영역대표칼라 각각의 다른 추출방법의 명시방법을 정형화하기 위하여 다음의 항목(항목1 ~ 항목7)을 사용하고, 각 항목은 다시 작은 항목으로 나누어진다.

항목1의 추출방법 타입에서는 영역의 평균칼라를 이용한 방법과, 가장많이 나타나는 하나의 칼라를 이용하는 방법과, 정해진 n개의 많이 나타나는 칼라들로 표현하는 방법, 임계치 이상(P%) 정해진 영역에서 나타나는 칼라를 이용하는 방법과, 히스토그램을 이용한 추출방법 등에서 어느 하나를 명시한다.

항목 2의 전처리묘사에서는 영역대표 값을 구할 때 그 영역을 스무싱(smoothing), 버링(burring) 등등을 위한 전처리(preprocessing) 방식을 묘사해주는 것으로,

그 세부항목으로는 이미지 영역에 적용되는 필터타입(예; 평균필터/등)과 필터사이즈(예; n,m / whole/ 등)를 설정해 주고, 또 필터를 적용할 때 필터 창(window)을 어떻게 슬라이딩시켜 줄 것인가를 묘사하는 필터 슬라이딩 방법(예; 1,1 / 2,3 / non-overlap / 등)을 표현해 주게 된다.

항목 3의 빈도수 조건묘사에서는 히스토그램을 구하여 그 대표칼라들이 나타나는 빈도수들을 어떻게 이용하느냐에 관계되는 것으로,

그 세부항목으로는 임계치 이하의 빈도수에 대해서는 고려하지 않는다는 빈도수의 임계치를 정의하고, 그 고려대상이 되는 빈도수들중 많이 나타나는 몇 개에 대해서만 대표칼라로 설정하는 정렬순서 임계치를 정의하고, 많이 나타나는 상위 n개의 빈도수들의 임계치에 대한 빈도수 합을 정의하게 된다.

항목 4의 칼라스페이스 묘사에서는 영역대표칼라를 표시하기 위해 사용하는 칼라스페이스 자체에 대한 정보로서,

그 세부항목에서 기준 칼라스페이스(예 ; RGB, HSV 등)을 정의하고 그 기준 칼라스페이스로부터 어떤 잘 알려진 칼라스페이스와 그 것간의 변환관계를 묘사하게 된다.

즉, 기준 칼라스페이스로부터의 변환묘사에서는 적용되는 칼라스페이스의 칼라채널들의 수와 기준칼라에서 적용되는 칼라스페이스로의 변환(linear type/ non-linear type)을 정의하고 그 변환에 따른 방법을 정의하게 된다.

만약, 칼라스페이스로의 변환방법이 선형타입(linear type)이면 변환 메트릭스로 정의되어지고, 그렇지 않으면(non-linear type) C코드 종류를 방법정의(예; 방정식과 조건으로 정의)로 이용된다.

항목 5의 칼라 서브스페이스 묘사에서는 영역대표칼라가 칼라스페이스에서 정의한 어떤 칼라스페이스의 서브스페이스에서 표현되었는지를 알기 위한 것으로,

그 세부항목으로는 서브스페이스를 고려할 것인가, 고려할 경우 사용되는 칼라채널들의 수와 해당 칼라채널들을 정의해 주고 벡터 서브스페이스의 타입의 적용유무(vector space type/ non-vector space type)를 정의해 주고, 또한 각 채널의 범위들을 나타내 주게된다.

여기서, 채널범위는 불균형 신호를 갖는 임계치로 표현되므로, 그 항목의 종속적인 방법을 위하여 이 조건이 매번 바뀌는 것에 대해 재정의 하게 된다.

만약, 벡터 서브스페이스 타입항목이 논-벡터(non-vector) 스페이스 타입이면 방법정의를 해주지 않고, 그렇지 않으면 방법정의를 명확하게 정의해 주며, 이때에도 항목의 의존적인 방법을 위하여 이 조건이 바뀔 때마다 재정의를 명확하게 해준다.

항목 6의 양자화묘사에서는 칼라스페이스의 양자화방법을 명시한 것으로서,

그 세부항목으로는 양자화된 채널들의 수와 양자화된 칼라 채널들과 양자화 타입(linear type/non-linear type/vector quantization type)을 정의하고. 또 각 채널의 양자화 레벨수와 상기에서 정의되는 양자화타입을 상세하게 정의를 해주게 된다.

만약, 양자화 타입이 선형타입이면 이것을 명시해주고, 비선형 타입이면 칼라 한 채널당 하나의 벡터를 명시하고, 그리고 벡터 양자화 타입이면 방정식과 조건 방법에 의해 정의해 주며, 또는 룩업 테이블(Look-up table)로도 명확하게 표현해 주게된다.

항목 7의 칼라 클러스터링 묘사에서는 칼라가 또다시 클러스터링 되었는지를 표현하기 위한 것으로,

그 세부항목으로는 클러스터링되어 레벨타입이 고정되어 있으면, 클러스터링의 개수가 영역에 따라 변하는지를 표현하며, 그 클러스터의 개수와 클러스터된 칼라채널들을 표시하고, 각각의 클러스터를 정의해 주게된다.

만약, 각각의 클러스터 칼라를 정의해 줄때 타원체(ellipsoid)의 파라미터와 타원체의 중심점(centeroid)으로 표현해 주게 된다.

이와같이 영역대표칼라 각각의 다른 추출방법의 명시방법의 정형화 중에서 평균칼라(average color)를 사용한 추출방법의 예를 들어 설명하면 다음과 같다.

〈평균값을 이용한 추출방법의 묘사〉

1. Extraction method type = average color

2. preprocessing description:

2-1. Filter type =Average filter.

2-2. Filter size = Whole.

2-3. Filter sliding method = non-ovelap

3. Frequency condition description:

3-1. Frequency threshold = 0% or n/a

3-2. Sorting order threshold = n/a

3-3. Frequency sum of top n frequencies threshold = 100% or n/a

4. Color space description:

4-1. Reference color space = RGB

4-2. Transformation from reference color space description:

4-2-1. Number of color channels = n/a

4-2-2. Linear type transformation = n/a

4-2-3. Method definition = n/a.

5. Color sub-space description:

5-1. Sub-space used = FALSE

5-2. Number of using color channels = n/a

5-3. Using color channels = n/a

5-4. Channel ranges = n/a

5-5. Vector sub-space type = n/a

5-6. Method definition = n/a

6. Quantization description:

6-1. Number of quantized channels = 3.

6-2. Quantied color channels = {challel 1, channel 2, channel 3}

6-3. Type = linear type

6-4. Number of quantization levels per channel = (4, 4, 4)

6-5. Quantization definition = n/a

7. Color clustering description:

7-1. Clustering used = FLASE

7-2. Fixed lever Type = n/a

7-3. Number of clusters = n/a

7-4. clustered color channels = n/a

7-5. cluster definition = n/a

이를 상세하게 설명하면, 평균값을 이용한 추출방법의 묘사에서 항목 1의 추출방법의 타입을 평균칼라(average color)로 추출한다는 의미이다.

항목 2는 전처리 묘사로서, 그 세부항목에서 필터타입(2-1)을 평균필터에 의해 이미지영역을 평균 필터링하고, 필터사이즈(2-2)가 전체(whole)라는 것은 어떤 필터사이즈로 이미지 영역을 평균 필터링시킨다는 의미가 아니고 전체를 평균한다는 의미이며. 필터 슬라이딩 방법(2-3)이 "non-overlap" 이라는 의미는 필터 창을 적용할 때 이전 필터창과 나중 필터창을 서로 겹치게 하지 않는다는 의미이다.

항목 3에서는 히스토그램을 구하여 그 빈도수를 이용할 때, 빈도수 임계치(3-1)가 0% or n/a 이므로 이를 고려하지 않겠다는 의미이고, 정렬 빈도수 임계치(3-2)와 상위 n개로 자주 나타나는 빈도수들의 임계치의 빈도수 합(3-3)이 n/a이므로 이를 고려하지 않겠다는 의미이다.

항목 4는 칼라 스페이스 자체에 대한 정보로서, 기준칼라 스페이스(4-1)와 기준칼라 스페이스로 부터의 변환묘사(4-2)는 적용하는 칼라스페이스를 어떤 잘 알려진 칼라스페이스와 그 것간의 변환관계를 표현하기 위한 것이다.

즉, 기준 칼라스페이스는 RGB 스페이스이고, 이로부터 변환묘사(4-2)가 n/a이므로 새로 변환되는 칼라스페이스는 없고 영역대표칼라 값을 표현한 칼라스페이스는 RGB임을 의미한다.

만약, RGB와 다른 칼라스페이스를 사용하고 그 칼라스페이스와 RGB간의 변환을 명시할 경우, 선형타입이 참(TRUE)이면 하나의 변환메트릭스를 정의하여 표현해주면 되고, 선형변환이 아닐 경우 방정식이나 조건문을 사용하여 그 세부항목을 정의해 주게 된다.

항목 5의 칼라 서브스페이스의 묘사는 영역대표칼라가 항목 4에서 정의한 어떤 칼라스페이스의 서브 스페이스에서 표현되었는지를 알기 위해서이며, 사용된 서브 스페이스가 거짓(FALSE)으로 세팅되어 있으므로 영역대표칼라 값이 특정한 서브 스페이스를 고려하지 않는다는 의미이다.

항목 6의 양자화 묘사에서는 칼라스페이스의 양자화 방법을 명시한 것으로, 양자화된 채널들의 수(6-1)는 3이고, 양자화된 3개의 칼라 채널들(6-2)은 『channel 1,channel 2,channel 3}이며, 양자화 타입(6-3)이 선형타입이므로 선형양자화가 적용되고, 각 채널당 양자화 레벨(6-4)들의 수가 4, 4, 4로서 R,G,B 각각의 채널이 4,4,4개의 총 64개의 레벨로 양자화되어 있음을 나타낸다.

그리고, 양자화 방법정의(6-5)는 상기의 6-1 ~ 6-4의 정보로 양자화를 알수 있으므로, 선형타입에 대해서는 고려하지 않아도 된다.

만약, 6-3의 양자화 타입이 비선형일 경우 칼라 한 채널당 하나의 벡터가 명시되어야 하고, 또 벡터 양자화 타입일 경우 수식으로 표현해 주면된다.

항목 7은 칼라가 또다시 클러스터링되지 않아으므로(Clustering used = FALSE) 사용하지 않음을 보여준다.

그리고, 다른 추출방법에 대한 명시방법(히스토그램) 정형화의 다른 예를 설명하면 다음과 같다.

다음의 추출방법은 최대 열 개까지의 칼라를 영역 대표칼라(At most top ten frequently appearing colors) 값으로 가지며, 그 영역에 대한 히스토그램을 구한 후 상기 히스토그램 빈(bin)에 해당하는 칼라로 지정하되 그 빈도수가 1.5%이하인 것은 제외한다.

이러한 추출방법을 표현하기 위한 정형화된 항목을 다음과 같이 설정한다.

〈히스토그램을 이용한 추출방법의 묘사〉

1. Extraction method type = At most top ten frequently appearing colors

2. Preprocessing description:

2-1. Filter type =Average filter.

2-2. Filter size = 5,5(means 5 by 5 filter)

2-3. Filter sliding method = 1,1

3. Frequency condition description:

3-1 Frequency threshold = 1.5%

3-2 Sorting order threshold = 10

3-3 Frequency sum of top n frequencies threshold = n/a% (or 100%)

4. Color space description:

4-1 Reference color space = RGB

4-2 Transformation from reference color space description:

4-2-1 Numberof color channels = 3

4-2-2 Linear type transformation = FALSE

4-2-3 Method definition =

input ranges: r =(0,255),g=(0,255),b=(0,255);

output ranges: C1=(0,255), C2=(0,255), C3=(0,360);

C1 = max(r,g,b);

if max(r,g,b)=0, C2 = 0;

else C2 =;

if max (r,g,b) = 0, C3 = UNDEFINED;

else if r = max(r,g,b) (g-b〉0)

C3 =;

else if r = max(r,g,b) (g-b〈0)

C3 = 360 +;

else if r = max C3 = 120 +;

else C3 = 240 +;

5 Color sub-space description:

5-1 Sub-space used = TRUE

5-2 Number of using color channels = 1

5-3 Using color channels = C1

5-4 Channel ranges = 0,360

5-5 Vector sub-space type = FALSE

5-6 Method definition = n/a

6 Quantization description:

6-1 Number of quantized channels = 1.

6-2 Quantied color channels = C1

6-3 Type = linear type

6-4 Number of quantization levels per channel = 24

6-5 Quantization definition = n/a

7 Color clustering description:

7-1 Clustering used = FALSE.

7-2 Fixed level type = n/a

7-3 Number of clusters = n/a

7-4 clustered color channels = n/a

7-5 cluster definition = n/a

이를 상세하게 설명하면, 항목 1은 추출방법의 타입으로 최대 열개까지의 칼라(At most top 10 frequently appearing colors)라고 명시한다.

항목 2의 전처리묘사에서 2-1은 영역대표값을 구할 때 그 영역의 평균필터 타입을 적용하는 의미이고, 2-2는 필터사이즈가 5 by 5인 필터를 적용하였다는 것이고, 2-3의 필터 슬리이딩 방법이 1,1이란 의미는 필터 창을 가로 세로 1, 1씩 필터의 중심을 이동하면서 적용하였다는 것을 나타낸다.

항목 3는 빈도수 조건묘사로서, 3-1의 빈도수 임계치가 1.5%이므로 그 빈도수가 1.5% 이하인 것은 제외하고, 3-2의 정렬순서 임계치가 "10"이므로 히스토그램에서 칼라의 빈도수에 따라 그 크기별로 최대 10개까지를 대표칼라로 지정한다는 것이며, 3-3의 n/a는 이 항목은 고려하지 않겠다는 것을 의미한다.

항목 4는 칼라스페이스 묘사로서, 기준 칼라스페이스(4-1)를 RGB로 하고, 기준 칼라스페이스로부터의 변환묘사(4-2)를 위해 적용되는 칼라스페이스의 칼라 채널(4-2-1)은 3개이며, 선형타입 변환(4-2-2)이 거짓(FALSE)으로 세팅되어 있으므로 RGB에서 적용하는 칼라스페이스로의 변환이 비선형 변환임을 의미하며, 4-2-3에서 비선형 변환방법에 대한 조건이 묘사되어 있다.

그리고, 비선형 변환방법의 조건(4-2-3)에서는 각 채널에 대한 입력범위들(Input ranges)과 출력범위들(Out ranges)을 정의해 주고, 상기 입력들의 조건에 따른 출력범위를 재정의해 주는 것이다.

항목 5는 칼라 서브스페이스의 묘사로서, 영역대표칼라가 항목 4에서 정의한 어떤 칼라스페이스의 서브 스페이스에서 표현되었는지를 알기 위해서이다.

여기서는 사용된 서브 스페이스가 참(TRUE)으로 세팅되어 있으므로 영역대표칼라 값이 특정한 서브 스페이스를 고려하는 것을 알수 있고, 5-2와 5-3과 5-4에서 단지 하나의 칼라채널(C1)이 0~360의 채널범위 값으로 고려되었음을 알수 있다.

항목 6의 양자화 묘사에서는 칼라스페이스의 양자화 방법을 명시한 것으로, 양자화된 채널의 수(6-1)가 1이고 그 양자화된 채널(6-2)이 C1이며, 양자화 타입(6-3)을 선형 양자화 타입으로 적용하고 이에 대한 방법정의(6-5)를 할 필요는 없다.

그리고, 각 채널당 양자화 레벨들의 수(6-4)는 채널(C1)이 24레벨로 양자화되었나를 나타내게 된다.

한편, 항목 7은 칼라가 또다시 클러스터링되었는지를 알수 있으므로 클러스터링 사용을 거짓(FALSE)으로 하여 사용하지 않음을 알수 있다.

이러한 데이터 구조는 각각의 영역에 대해 영역대표칼라 값들이 명시되는 메모리의 헤드(header)로서 명시되며, 각 항목이 바뀔 때 마다 바뀌는 항목에 대하여 재정의 되어진다.

이렇게 특징추출방법을 명시하므로서, 특징추출방법이 다른 각각 다른 시스템간에 대표칼라의 의미를 명확히 해주어 데이터들간의 비교검색으로 호환성유지가 가능하게 한다.

즉, 영역 대표칼라의 추출방법 정형화 데이터로 영역대표칼라에 대한 추출방법을 알아내고 또 이를 이용하여 두가지 영역대표칼라를 한가지로 통일하는 과정(공유데이타 형식변환)을 거쳐 비교검색이 가능하게 하므로서, 영역대표칼라 추출방법에 대한 정형화 데이터를 이용하여 다른 특징 추출방법간의 호환성을 유지할수 있도록 한다.

한편, 영역대표칼라의 신뢰도(CM)는 표현된 영역 대표칼라의 정확한 정도를 의미하는 정보로서, 그 영역이 하나의 색으로 표현가능한지의 여부, 그 영역이 하나의 색으로 표현될 때 그 정도를 나타내는 수치등으로 설정된다.

상기의 신뢰도를 표현하기 위해 0에서 1까지 정규화한 값으로 나타낼수도 있고 신뢰도를 구성하는 요소들을 각각의 숫자로 벡터표현으로도 가능하다.

예로서, CM = [C, ACME, P ,AISI]으로 표현할수 있다.

여기서, C는 0~1로 정규화된 코히어런스 평균, ACME는 칼라맵핑 차이(color mapping error) 평균값, P는 모든 영역대표칼라의 빈도수를 합산한 값, AISI는 평균 이미지 스페이스 중요도(importance)이다.

그러므로, 신뢰도(CM)는 영역칼라를 한가지 색으로만 표현할 때 더욱 더 유용하다. 즉, 영역은 하나의 칼라의 색으로 표현하기 어려운 경우가 종종있고 이때 신뢰도 값은 절대적으로 중요하다.

또한, 신뢰도(CM) 값이 낮다는 의미는 한 영역이 여러 칼라로 복잡하게 구성되어 있다는 정보도 주므로 검색할 때에도 유용하며, 각각의 영역에 대해 하나이상의 추출방법으로 구성되어 있는 경우 또는 다른 특징정보가 존재하는 경우 신뢰도 값에 따라 여러가지 방법으로 장점을 살릴수 있다.

즉, 평균값 추출방법으로 추출한 영역대표 칼라의 신뢰도 값이 낮을 경우 히스토그램 추출방법에 의한 영역대표 칼라정보나 기타 다른 정보를 이용하여 검색에 쓸수있다.

그리고, 정해진 n개의 많이 나타나는 칼라들(n most appearing colors)의 추출방법과 같이 어떤 방법에 의해 다수개의 대표칼라 값으로 영역대표칼라를 나타낼 경우 신뢰도 값에 따라 그 영역이 적절한 개수로 표현되었는지를 알수 있다.

이와같은 신뢰도를 추출하기 위해 선택적으로 반영되는 요소들을 보면,

먼저, 한 칼라가 어떤 값으로 표현될 때 이 칼라값의 증감에 따라 칼라는 변화게 된다. 이때 같은 칼라라고 간주할 수 있는 최대 변화값(NADCA;Not Apparently Distinguish Color Allowance)을 반영해 주게 된다.

이때, 같은 칼라라고 간주할수 있는 최대 변화를 사람이 느끼는지 못 느끼는지의 미세변화의 차이로 판단하는 것이 아니라 그 칼라를 어느정도 비숫하다고 인정하는지 아닌지에 따라 결정한다.

즉, 이미지의 푸른 하늘영역은 실제로 수백가지의 칼라로 표현되어 사람의 눈으로 자연스럽게 보이지만 내용기반 이미지 검색에서는 하나의 칼라, 어떤 푸른색으로 충분히 표현 가능하므로, 내용기반 이미지 검색시 너무 많은 구분의 칼라는 의미가 없다.

특히, 영역 대표칼라 값을 평균값으로 구할 때 NADCA값을 미리 정의하여 평균값이 이미지 영역에서 커버하는 영역의 크기(frequency)로서 신뢰도 값을 구할수 있다.

그리고, 주어진 칼라에 대해 그 칼라의 픽셀들이 뭉쳐있는지 흩어져 있는지를 측정하는 코히어런스(COH; Coherency)값을 반영해 주게 되는데, 이 코히어런스값은 정규화하여 0에서 1까지의 값을 가지며 이 값이 클수록 신뢰도 값이 높아진다.

또한, 칼라 스페이스에서의 한 점으로 표현되는 대표칼라 값은 이미지 영역에서 어떤 칼라(Pj)가 대표칼라(Ci)로 간주될 때 그 칼라의 정확한 값과 대표칼라 값과의 차이(CME;Color Mapping Error)를 반영해 주게 되는데, 이 차이가 적을수록 신뢰도가 높아지고 차이가 클수록 신뢰도값이 낮아진다.

즉, CME = DISTANCE( Ci, MAPPING_COLOR_POINT_Pj_TO_Ci)이다.

그리고, 이미지 영역에서 대표칼라가 커버하는 영역의 크기(Pi)를 신뢰도에 반영해 주며, 이때 대표칼라가 커버하는 영역의 크기가 클수록 대표칼라의 신뢰도가 높아진다.

또한, 각 칼라 픽셀들의 영역(R) 상에서의 위치(ISI; Image Space Importance)를 고려하여 신뢰도에 반영시켜 준다. 예로서 칼라 픽셀들이 이미지 중앙에 많이 위치하면 그 칼라는 중요한 칼라일 가능성이 높아지고 가장자리에 많이 위치하면 덜 중요한 칼라일 가능성이 높아짐을 반영해서 대표칼라 값으로 표현되는 이미지 영역의 칼라들이 중앙에 많이 위치하므로 그 신뢰도가 높아진다.

즉, 상기와 같이 추출되는 신뢰도가 높다는 의미는 칼라들이 서로 떨어져 있고, 양자화 스텝이 실재 NADCA 값에 근접할 경우, 영역 칼라들이 전체 영역을 커버하고 있을 때이다.

그리고, 신뢰도가 낮다는 의미는 칼라들이 섞여 있거나, 양자화 스텝이 실재 NADCA 값으로부터 먼 경우, 영역칼라들이 영역을 충분히 커버하지 못할 때이다.

이와같은 신뢰도를 추출하기 위한 알고리즘은,

a) 신뢰도를 초기값(=0)으로 세팅시키는 과정을 수행하고,

b) 카운터 픽셀들의 합(SUM_COUNT_PELS)을 초기값(=0)으로 세팅시키는 과정을 수행하며,

c) 모든 영역대표 칼라들에 대하여, 칼라픽셀들을 카운트하여 코히어런스(COH_Ci)값을 구하고, 상기의 코히어런스 값과 칼라픽셀들의 카운트(COUNT_PELS_Ci)값을 곱한 다음 이 값에 상기의 신뢰도를 더하여 영역대표칼라에 대한 신뢰도(CM)를 구하며,

d) 상기에서 구해진 신뢰도 값을 영역 사이즈(SIZE_R)로 나누어 이미지 영역에 대한 신뢰도를 구하게 된다.

e) 상기에서 구해진 신뢰도를 출력하는 과정으로 진행된다.

여기서, 영역사이즈(SIZE_R)는 영역에 있는 사이즈이며 이는 영역(R)에 있는 픽셀들의 카운팅에 의해 계산된다.

이때, 하나의 대표칼라(Ci) 값에 대한 코히어런스(COH_Ci)를 구하는 방법을 두 가지(Method 1, Method 2)를 제시하고자 한다.

첫 번째 방법(Method 1)은;

1) 소정의 폭(WIDTH)과 높이(HEIGHT)를 갖는 코히어런스 체킹 마스크(CCM ; Coherency Checking Mask)의 사이즈를 입력하는 과정과,

2) 칼라픽셀들의 카운트(COUNT_PELS_Ci)값과 코히어런트 전체 수(TOTAL_NUM_COHERENT)를 초기값(=0)으로 세트시켜 입력하고,

3) 픽셀(PELj)의 칼라가 대표칼라로 맵핑되어지는 것을 만족하는 영역(R)에 있는 모든 픽셀들(PELj)에 대하여,

3-1) 상기의 칼라픽셀들을 하나씩 증가시켜 칼라픽셀들의 카운트값을 구하고(COUNT_PELS_Ci=COUNT_PELS_Ci+1),

3-2) 코히어런스 체킹마스크(CCM)의 중앙배열에 의해 마스크된 칼라픽셀이 대표칼라로 맵핑되었을 경우 그 마스크된 픽셀들의 수(중앙픽셀 제외)를 카운팅하여 코히어런트 수「(0~WIDTH*HEIGHT)-1]를 구하며,

3-3) 상기의 코히어런트 수와 상기에서 구해진 코히어런트 전체 수를 더하여 코히어런트 전체의 수(TOTAL_NUM_COHERENT)를 구하고,

4) 상기에서 구해진 코히어런트 전체 수를 픽셀칼라의 카운트 값과 중앙픽셀을 제외한 전체픽셀(WIDTH*HEIGHT -1)을 곱한 값으로 나누어 하나의 대표칼라값에 대한 코히어런스(COH_Ci) 값을 구하며,

5) 하나의 대표칼라 값에 대한 코히어런스 값과 픽셀칼라의 카운트 값을 출력하는 과정으로 진행하게 된다.

두 번째 방법으로는; 한정된 픽셀에 상관없이 결정된 임계치를 사용한 것으로,

1) 소정의 폭과 높이를 갖는 코히어런스 체킹 마스크(CCM)의 사이즈를 입력하고,

2) 적당한 수의 경계 임계치를 설정하고(예를 들면, WIDTH*HEIGHT -1),

3) 칼라픽셀들의 카운트 값과 코히어런트 전체 수와 비경계 픽셀들의 카운트값을 각각 초기값(=0)으로 하고,

4) 픽셀칼라가 대표칼라로 맵핑되는 것을 만족하는 영역에 있는 모든 픽셀들에 대하여,

4-1) 칼라픽셀들의 하나씩 증가시켜 카운트하고 칼라픽셀들의 카운트값을 구하고,

4-2) 코히어런스 체킹마스크(CCM)의 중앙배열에 의해 마스크된 칼라픽셀이 대표칼라로 맵핑되었을 경우 그 마스크된 픽셀들의 수(중앙픽셀 제외)를 카운팅하여 코히어런트 수「(0~WIDTH*HEIGHT)-1]를 구하며,

4-3) 코히어런트 수가 경계 임계치보다 크거나 같다면, 비경계 픽셀들을 하나씩 증가시켜 카운트하여 비경계 픽셀들(NONBOUND_PELS)의 카운트 값을 구하고,

5) 상기에서 구해진 비경계 픽셀들의 카운트 값을 칼라픽셀들의 카운트값으로 나누어 하나의 대표칼라에 대한 코히어런스 값을 구하고,

6) 하나의 대표칼라에 대한 코히어런스 값과 칼라픽셀들의 카운트 값을 출력하는 과정을 수행하게 된다.

상기의 두 방법에 대하여, 대표칼라와 매핑되는 칼라를 결정하기 위한 조건으로 대표칼라와 같은 칼라(분명하게 구별되지 않는 칼라)로 다루어지는 픽셀칼라가 있는 대표칼라와 픽셀칼라의 차이가 NADCA보다 작을 때, 즉 DISTANCE(Ci, COLOR_OF_PELj)〈 NADCA 을 만족하면 이 조건으로 바꿀수 있다.(method1 의 제 3과정, method2 의 제 4과정)

그리고 대표칼라와 같은 칼라로 다루어 지는 조건으로 대표칼라와 마스크된 픽셀 칼라의 차이가 NADCA보다 작을 때 즉, DISTANCE(Ci, COLOR_OF_MASKED_PEXELk) 〈 NADCA을 만족하면 이 조건으로 대체할수 있다.(method 1의 제 3-2과정, method2 의 제 4-2 과정)

상기와 같이 영역대표칼라에 대한 신뢰도를 추출하므로서, 신뢰도를 이용하여 이종 특징 추출방법에 대한 영역대표칼라에 대해서 검색시 호환성을 어느 정도 가질수 있다.

즉, 어떤 영역 대표칼라는 영역평균 값으로 구해지고, 어떤 영역 대표칼라는 히스토그램에 의해 구해졌을 경우 신뢰도값을 가지므로서, 상호 이종 특징추출에 의한 영역대표칼라 값의 비교에 도움을 준다.

또한 DCD추출방법 정형화 데이터는 아래의 예와 같이,

DCD1 = [N=1, {(C0=gray, P0=n/a)}, CM=0.01],

DCD2 = [N=1, {(C0=gray, P0=n/a)}, CM=0.99]

DCD3 = [N=2, {(C0=red, P0=50%),(C1=cyan, P1=50%)}, CM=0.99],

DCD4 = [N=2, {(C0=red, P0=50%),(C1=cyan, P1=50%)}, CM=0.01],

DCD5 = [N=n, {C0=red, P0=10%),(C1=yellow, P1=5%),....,(Cn-1=gray, Pn-1=1%)}, CM=0.99]; DCD5로부터 검출되는 평균칼라는 "gray"으로 추정한다.

DCD6 = [N=n, {C0=red, P0=10%),(C1=yellow, P1=5%),....,(Cn-1=gray, Pn-1=50%)}, CM=0.99]; DCD6로부터 검출되는 평균칼라를 "gray"로 추정한다.

여기서의 영역대표칼라정보로 부터 DCD2 DCD4 DCD6의 대표칼라가 유사하고, DCD1 DCD3 DCD5 의 대표칼라가 유사하다.

이때의 영역 대표칼라정보에서 DCD1은 C0가 평균값으로 구했음을 알수 있고, DCD3의 (C0,P0),(C1,P1)이 히스토그램임을 알수 있을 때 (C0,P0),(C1,P1)으로부터 평균칼라 C*를 구하여 CO와 비교할수 있다.

한편, 전체 영역대표칼라 정보(DCD)에 대한 신뢰도값 외에 각 칼라(Ci)에 대해서 신뢰도(CMi)를 가지게 된다.

즉, DCD = [N, {Ci, Pi, CMi｜0〈i≤N)} , CM]으로 표현된다.

이는 각 칼라에 대한 신뢰도(CMi)를 상기의 영역에 대한 신뢰도에서 나열한 것과 같이 여러 요소 즉, 정규화된 코히어런스, 칼라 맵핑 차이(CME), 대표칼라가 커버하는 영역이 크기, 각 칼라 픽셀들의 영역상에서의 위치 등을 고려하되, 정해진 칼라에 대해서만 그 신뢰도값을 구하는 것이다.

그 방법으로 칼라맵핑차이(CME)를 고려하여 어떤 칼라에 대한 신뢰도(CM_Ci)값은 다음의 식으로 구할수 있다.

CM_Ci = 1-SUM [Distance{(CENTROID_Ci, MAPPING_COLOR_POINT_Pj_TO_Ci)/ (MAX_DISTANCE_Pj_TO_Ci × NUM_MAPPING_COLOR_POINT_Pj_TO_Ci)}] for all j

CM = Sum(CM_Ci) for all i / MAX_j+1

즉, 어떤 대표칼라에 대한 신뢰도(CM_Ci)는 대표칼라로 간주되는 모든 칼라에 대하여,

Distance(CENTROID_Ci, MAPPING_COLOR_POINT_Pj_TO_Ci)는 대표칼라(Ci) 값과 이 대표칼라로 간주될때의 정확한 칼라(Pj)값과의 차이이며,

DISTANCE(MAX_DISTANCE_Pj_TO_Ci)는 두 칼라(Pj,Ci)의 최대 거리차이이며,

DISTANCE(NUM_MAPPING_COLOR_POINT_Pj_TO_Ci)는 두 칼라(Pj,Ci)의 맵핑칼라 포인트의 수에 대한 차이이다.

이와같이 구해진 값들을 정규화하게 되므로 어떤 대표칼라에 대한 신뢰도는 0에서 1사이의 값을 가지게 된다.

그리고, 모든 대표칼라 값에 대한 그 신뢰도를 합(SUM(CM_Ci) for all i)하여 같은 칼라로 간주될수 있는 칼라의 최대값(MAX_j+1)으로 나누어 구하게 이미지 영역대한 신뢰도(CM)를 구하게 된다.

이상에서 설명한 바와같이, 표현된 영역 대표칼라정보와 그 신뢰도를 이미지 영역에 대한 칼라의 비숫한 정도와 그 차이, 그리고 대표칼라가 영역을 커버하는 크기와 영역상에서의 위치 등을 고려하여 표현해주므로서 검색성능 향상과 다른 추출방법으로 이루어진 영역대표칼라간의 호환성을 제공하고자 한다.

또한, 영역 대표칼라정보의 추출방법을 칼라스페이스 정보, 양자화정보, 칼라클러스트정보, 칼라채널수등으로 정형화하여 이종시스템간에 표준화하므로서 다른 시스템에서 다른 방법으로 추출된 영역대표칼라간의 비교검색을 가능하게 하는 효과가 있다.

Claims (21)

1. 다양한 영역 대표칼라 추출방법에 따른 영역 대표칼라에 있어서,

   주어진 영역에 대한 대표칼라들의 수와 표현된 대표칼라 및 그 대표칼라가 나타나는 빈도수와 그 영역을 대표하는 칼라값의 정확한 정도로 표현되는 신뢰도 값으로 영역 대표칼라 정보를 표현하는 것을 특징으로 하는 비디오 영역 대표칼라설정방법.
2. 제 1항에 있어서, 상기 영역 대표칼라 정보의 추출방법에 대한 정형화 데이타로 다른 시스템에서 다른 대표칼라 정보 추출방법으로 만들어진 데이타들을 고유데이타 형식으로 변환하여 두 가지 영역 대표칼라 정보를 비교검색할수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
3. 제 1항에 있어서, 영역 대표칼라 정보의 신뢰도 값의 높고 낮음에 따라 어떤 방법에 의해 추출되는 대표칼라들의 정확한 표현정도를 알수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
4. 제 1항 또는 제 3항에 있어서, 어떤 값으로 표현되는 칼라의 증감에 따라 변화게 되는 그 칼라를 같은 칼라라고 간주할수 있는 최대변화값을 고려하여 신뢰도에 반영해 줄수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
5. 제 1항 또는 제 3항에 있어서, 이미지 영역에서의 어떤 칼라가 대표칼라로 간주(Mapping)될 때 그 칼라의 정확한 값과 대표칼라 값과의 차이를 신뢰도에 반영해 줄수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
6. 제 1항 또는 제 3항에 있어서, 주어진 대표칼라에 대해 그 칼라의 픽셀들의 응집정도를 나타내는 코히어런스 값을 신뢰도에 반영해 줄수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
7. 제 1항 또는 제 3항에 있어서, 이미지 영역에서 대표칼라가 커버하는 영역이 크기(빈도수)를 신뢰도에 반영해 줄수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
8. 제 1항 또는 제 3항에 있어서, 이미지 영역의 각 칼라픽셀들의 영역상에서의 위치를 고려하여 신뢰도에 반영해 줄수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
9. 제 1항 또는 제 3항에 있어서, 신뢰도는 정규화된 코히어런스 평균, 어떤 칼라가 대표칼라로 간주될 때 그 차이에 대한 평균값, 모든 이미지 영역에서 대표칼라가 커버하는 영역의 크기(빈도수)를 합산한 값, 각 칼라 픽셀들의 영역상에서의 위치를 평균한 값을 구성요소로 하는 벡터표현으로 나타내 주는 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
10. 제 1항 또는 제 3항에 있어서, 서로 다른 영역대표칼라 특징 추출방법에 의해 구해진 영역대표칼라정보에 표현되는 각각의 신뢰도 값으로 부터 영역 대표칼라 값들을 비교하여 상호 이종 특징추출 방법간의 호환성을 유지할수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
11. 제 1항에 있어서, 전체 영역 대표칼라정보의 각 칼라당에 대한 정확한 신뢰도를 표현해 줄수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정방법.
12. 영역대표칼라정보의 각각 다른 추출방법에 대하여, 영역대표칼라를 추출하기 위한 추출방법 타입과, 상기 영역 대표칼라값을 구할 때 그 영역의 필터링방식을 묘사하는 전처리묘사와, 히스토그램을 구하여 나타나는 대표칼라의 빈도수의 조건를 묘사하는 빈도수 조건묘사와, 영역대표칼라를 표시하기 위해 사용하는 칼라스페이스에 대한 정보를 묘사하는 칼라스페이스묘사와, 영역대표칼라가 상기에서 정의한 어떤 칼라스페이스의 서브스페이스에서 표현되어는지를 정의하는 칼라 서브스페이스묘사와, 상기 칼라스페이스의 양자화방법을 명시하는 양자화 묘사와, 상기의 영역칼라가 또다시 클러스터링 되었는지를 묘사해주는 칼라 클러스터링묘사를 정의하여 정형화시켜 주는 것을 특징으로 하는 비디오 영역 대표칼라 설정 데이타 구조.
13. 제 12항에 있어서, 상기 정형화된 데이타구조를 대표칼라 값들이 명시되는 메모리의 헤드에서 명시해 주고 그 항목이 바뀔때 마다 재 정의해 주도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정 데이타구조.
14. 제 12항에 있어서, 상기 영역 대표칼라 정보의 추출방법에 대한 정형화 데이타로 다른 시스템에서 다른 대표칼라 정보 추출방법으로 만들어진 데이타들을 고유데이타 형식으로 변환하여 두 가지 영역 대표칼라 정보를 비교검색할수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정 데이타구조.
15. 제 12항에 있어서, 상기 전처리 묘사에서는 영역대표 칼라값을 구할때 그 영역에 적용되는 필터타입과, 상기의 필터가 이미지 전체영역에 적용되는 방식을 정의하는 필터 사이즈와, 필터 창에 대한 슬라이딩 방법을 표현해 주는 것을 특징으로 하는 비디오 영역 대표칼라 설정 데이타구조.
16. 제 12항에 있어서, 상기 빈도수 조건묘사에서는 히스토그램을 구하여 히스토그램 빈에 해당하는칼라의 빈도수에 따라 배열한 후 그 크기별로 설정된 임계치까지를 대표칼라로 지정할수 있도록 한 것을 특징으로 하는 비디오 영역 대표칼라 설정 데이타구조.
17. 제 12항에 있어서, 상기 칼라스페이스 묘사에서는 기준칼라스페이스와 이것으로 부터 칼라스페이스로의 변환관계를 표현하기 위해 칼라채널의 수 및 그 변환방법을 정의해 주는 비디오 영역 대표칼라 설정 데이타구조.
18. 제 12항에 있어서, 칼라 서브스페이스의 묘사에서는 영역대표칼라가 상기 칼라스페이스의 서브스페이스에서 표현될 때 사용되는 칼라채널들이 수 및 그 칼라채널과 각 채널의 범위를 정의해 주는 것을 특징으로 하는 비디오 영역 대표칼라 설정 데이타구조.
19. 제 12항에 있어서, 양자화묘사에서는 칼라스페이스의 양자화된 채널들의 수와 양자화되는 채널들, 각 채널의 양자화 레벨의 수를 정의해 주는 것을 특징으로 하는 비디오 영역 대표칼라 설정 데이타구조.
20. 제 12항에 있어서, 칼라 클러스터링 묘사에서는 칼라가 다시 클러스터링 되었을 경우, 그 클러스터링의 개수가 영역에 따라 변화면 그 레벨타입과, 상기 클러스터이 개수와 클러스터된 칼라 채널을 정의해 주는 것을 특징으로 하는 비디오 영역대표칼라 설정 데이타구조.
21. 신뢰도와 픽셀들의 카운트 합을 초기값으로 하는 과정과,

    모든 영역대표칼라에 대해 코히어런스 값과 상기의 신뢰도와 픽셀들의 카운트 합을 구하는 과정과,

    상기에서 구해진 신뢰도로 나누어 이미지 영역에 대한 신뢰도를 추출하는 과정으로 진행되는 것을 특징으로 하는 비디오 영역 대표칼라의 신뢰도 추출방법.