KR100319155B1

KR100319155B1 - 신뢰도를 이용한 대표칼라 지정방법

Info

Publication number: KR100319155B1
Application number: KR1019990003181A
Authority: KR
Inventors: 이희연; 이진수; 김현준
Original assignee: 구자홍; 엘지전자주식회사
Priority date: 1999-02-01
Filing date: 1999-02-01
Publication date: 2001-12-29
Also published as: WO2000045337A1; JP3538147B2; AU1896100A; KR20000054859A; EP1068593A1; CN101673405A; CA2326631A1; US6721447B1; US7227987B2; US6941010B2; CN1296597A; EP1068593B1; JP2002536728A; EP1068593A4; US20050254705A1; US20040091146A1

Abstract

본 발명은 예를 들면 이미지 검색 시스템 등에 적용하기 위한 대표칼라값 지정방법에 관한 것으로서 특히, 주어진 이미지 영역(Region Of Given Image)의 대표칼라값을 그 영역에 대한 대표칼라값과 함께 그 대표칼라의 정확성을 나타내는 신뢰도(reliability score)와 함께 표현하여 영역 대표칼라를 지정하는 방법에 관한 것이다.

본 발명은 주어진 이미지 영역에 대한 특징소로서의 칼라 정보를 그 영역의 대표 칼라값과 신뢰도로 표현하는데 그 특징이 있으며, 대표 칼라값과 신뢰도로 표현되는 이미지 영역 칼라정보 표현방법을 이용해서 신뢰도에 따라 가중치를 두어 데이타를 이용할 수 있게되며, 두 이미지 간의 유사도를 상기 신뢰도에 따른 가중치로부터 대표 칼라값과 함께 고려하여 측정함으로써 이미지 검색의 성능을 높이고 이미지 검색시에 보다 적응적인 정보이용이 가능하게 되며, 이미지 영역에서 같은 칼라를 가지는 영역끼리 나누어 하나의 칼라로 간주하는 칼라 세그멘테이션을 신뢰도의 정도에 따라 수행할 수 있다.

Description

신뢰도를 이용한 대표칼라 지정방법{METHOD OF REPRESENTATIVE COLOR MAPPING USING RELIABILITY SCORE}

또한 본 발명은 주어진 이미지 영역의 대표칼라값을 그 칼라값에 대한 신뢰도와 함께 표현하여 이미지의 지역 대표 칼라값(Resional Representative Color)을 지정하는 방법에 관한 것이다.

또한 본 발명은 주어진 이미지 영역에 대하여 그 이미지 영역을 대표하는 칼라값과 함께 그 칼라값의 신뢰도를 표현한 구조의 이미지 칼라 특징값을 이용해서 적어도 2개 이상의 이미지 상호간의 유사도(Similarity)를 측정하는 방법에 관한 것이다.

또한 본 발명은 주어진 이미지 영역에 대하여 그 이미지 영역을 대표하는 칼라값과 함께 그 칼라값의 신뢰도를 표현한 구조의 이미지 칼라 특징값을 이용해서 이미지를 유사영역으로 분할(Color Segmentation)하는 방법에 관한 것이다.

이미지 검색 분야에서 이미지 검색을 위한 정보로 사용되는 칼라정보는 이미지의 특징을 구성하는 중요한 요소로 취급되고 있다.

종래에는 이미지를 n*m의 그리드(Grid)로 분할하고, 각각의 분할된 셀(cell)에 대하여 칼라 히스토그램을 구하여 그 최대값을 그 셀에 대한 영역 대표 칼라값으로 정하는 방법, 칼라 히스토그램의 평균값을 그 영역의 대표칼라값으로 정하는 방법, 주요 색상(Hue)벡터를 그 영역의 대표칼라값으로 정하는 방법 등이 제시되고 있다.

그러나, 이미지는 그 특성이 다양하고, 칼라 또한 한가지의 칼라값으로 표현하기 어려운 경우가 대부분이므로 위와같이 이미지 영역을 대표칼라값 1개의 정보로만 표현하는 것은 이미지의 특징을 표현하는데 부적절할 뿐만 아니라, 정밀한 이미지 특징 데이타 베이스화나 이 것을 이용한 이미지 검색의 성능을 떨어뜨리는 원인이 되었다.

더구나, 여러가지 칼라를 이용해서 영역 대표칼라값을 표현하는 경우는 저장공간이 많이 소요될 뿐만 아니라, 그 칼라들의 상호관계 표현을 정확히 전달하기 어려운 점이 있다.

또한, 주어진 이미지 영역의 칼라 분포에 따라 대표칼라값을 정하기 어려울 경우가 빈번하고, 이러한 경우 정해진 영역 대표칼라값은 그 정확성이 결여될 수 밖에 없다.

본 발명은 주어진 이미지 영역의 칼라정보를 표현함에 있어서, 이미지 영역을 대표하는 칼라값과 함께 그 대표 칼라값의 정확한 정도를 표시하는 신뢰도(Reliability)를 함께 표시하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법을 제공한다.

또한 본 발명은 주어진 이미지의 대표칼라값과 함께 표시되는 신뢰도를 이용해서 이미지 영역의 칼라정보를 표현하는 방법과, 이미지 영역의 칼라 세그멘테이션(segmentation)방법을 제공한다.

또한 본 발명은 주어진 이미지 영역의 대표칼라값과 함께 그 대표칼라값의 신뢰도를 표시함으로써, 이 신뢰도값에 따라 가중치를 두어 이미지 검색 등에 이용할 수 있도록 하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법을 제공한다.

도1은 본 발명의 신뢰도를 이용한 대표칼라 지정방법의 플로우차트

도2는 본 발명에서, 칼라평균 및 칼라 유사도를 이용해서 신뢰도를 구하는 방법의 플로우차트

도3은 본 발명에서, 칼라 유사도를 구하는 방법의 플로우차트

도4는 본 발명에서, 섞임정도(Mix Rate) 및 칼라 유사도를 이용해서 신뢰도를 구하는 방법의 플로우차트

도5는 본 발명에서, 섞임정도를 구하는 방법의 플로우차트

도6은 본 발명에서, 이미지 영역에서 크로마(Chroma)가 일정한 임계치 이상이 되는 칼라 픽셀수의 빈도(Chromatic Color Portion)을 구하는 수순을 나타낸 플로우차트

도7 및 도8은 본 발명에서, 섞임정도를 구하기 위하여 신장 마스크 (Expansion Mask)를 주어진 이미지 영역에 적용하여 해당 칼라의 존재여부를 검색하는 방법의 예를 나타낸 플로우차트

도9는 본 발명에서, 주어진 이미지 영역에서 신뢰도를 이용해서 대표칼라값을 지정하는 방법의 플로우차트

도10은 본 발명에 의하여 대표칼라값과 신뢰도로 표현되는 이미지 영역의 대표칼라 지정의 결과(데이타 구조)를 나타낸 예의 도면

도11은 본 발명에서, 이미지 영역의 그리드의 각각의 셀(Cell)에 대표칼라값과 신뢰도를 설정하는 수순을 나타낸 플로우차트

도12는 본 발명에서, 2개의 영역에 대한 이미지 그리드 상호간의 칼라 유사도를 구하는 방법의 플로우차트

도13은 본 발명에서, 대표칼라값과 신뢰도로 표현되는 이미지 영역의 대표칼라 지정의 결과(Segmentation)를 나타낸 예의 도면

도14는 본 발명에서 주어진 이미지 영역을 신뢰도를 이용해서 적절하게 분할한 유사영역을 구하는 수순(Segmentation)의 플로우차트

도15는 본 발명에서, 주어진 이미지 영역에서 신뢰도를 이용해서 대표칼라값을 지정하는 방법의 다른 실시예를 나타낸 플로우차트

본 발명은 주어진 이미지에 대하여, 그 이미지 영역을 대표하는 대표 칼라값과, 상기 대표 칼라값의 정확한 정도를 표시하는 신뢰도로 표시하는 것을 특징으로 하는 대표칼라 지정방법이다.

또한 본 발명은 대표칼라값을 지정함에 있어서 그 신뢰도를 고려하여, 신뢰도값을 소정의 임계치와 비교한 결과에 따라서 대표칼라값을 지정하는 것을 특징으로 하는 대표칼라 지정방법이다.

또한 본 발명은 주어진 이미지 영역내의 칼라들의 섞임정도(Mix_Rate)와 칼라 유사도에 따라서 칼라값의 신뢰도를 결정하는 것을 특징으로 하는 대표칼라 지정방법이다.

또한 본 발명은 주어진 이미지 영역을 일정한 그리드로 만든 다음 각각의 그리드 셀에 대하여 영역 대표칼라와 신뢰도를 표현하고, 적어도 2개 이상의 이미지들에 대하여 각각의 이미지별 그리드 셀들의 대표칼라와 신뢰도를 서로 비교하여 이미지들 사이의 칼라 유사도를 구하는 것을 특징으로 하는 신뢰도를 이용한 칼라 유사도 측정방법이다.

또한 본 발명은 주어진 이미지 영역들에 대하여 그 영역들을 대표하는 각각의 칼라값과 신뢰도로 표현하고, 상기 신뢰도의 정도에 따라 같은 칼라를 가지는 영역으로 간주하여 표시하는 칼라 세그멘테이션 방법이다.

이하 첨부된 도면을 참조하여 본 발명을 더욱 상세히 설명하면 다음과 같다.

먼저, 도1은 본 발명의 신뢰도를 이용한 대표칼라 지정방법의 전체적인 수순을 나타낸 플로우차트로서, 주어진 이미지 영역의 신뢰도를 구하는 단계와, 주어진 이미지 영역에 대하여 상기 구해진 신뢰도를 그 영역의 신뢰도로 설정하는 단계와, 상기 주어진 이미지 영역의 대표칼라값을 구하는 단계와, 상기 주어진 이미지 영역에 대하여 구해진 대표칼라값을 그 영역의 칼라 신뢰도와 함께 대표 칼라값으로 설정하는 단계로 이루어짐을 특징으로 한다.

도1에서 보는 바와같이 본 발명에서는 주어진 이미지 전체 또는 하나의 이미지내의 부분영역에 대하여 그 이미지 영역에 대한 신뢰도를 구한다.

여기서 신뢰도는 그 영역을 대표하는 칼라값의 정확한 정도를 의미하는 정보로서, 그 영역이 하나의 색으로 표현 가능한지의 여부, 그 영역이 하나의 색으로 표현될 때 그 정도를 나타내는 수치 등으로 설정된다.

그러므로, 이미지 영역이 한가지 칼라로 되어 있다면 신뢰도는 '1'이 될 것이고, 상이한 색으로 뚜렷하게 나뉘어 있다면 신뢰도는 '0'에 가깝게 된다.

여러가지 칼라로 이미지가 구성되어 있더라도 이 것들이 골고루 잘 섞여있다면 한가지의 칼라로 보일 수 있다.

즉, 파란색과 빨간색이 골고루 잘 섞여있다면 보라색으로 보일 것이고, 잘 섞여있지 않더라도 매우 유사한 칼라로 구성되어 있다면 이 것은 한가지 칼라로 표현해도 무리가 없을 것이다.

예를 들면 노란색 계통의 여러가지 칼라라 골고루 섞이지 않았다고 하더라도 임의의 노란색을 그 영역을 대표하여 표현해도 무방할 것이다.

그러므로 신뢰도는 이미지 영역내의 칼라들의 섞임정도와 칼라 유사도에 따라서 결정되는 값으로 설정한다.

신뢰도를 구하는 방법은 도2 내지 도8을 참조하여 후에 설명한다.

상기한 바와같이 주어진 이미지 영역에 대하여 신뢰도를 설정한 다음, 그 신뢰도값에 따라서 영역 대표칼라를 구하여 구해진 영역 대표칼라를 그 영역에 대한 대표칼라값으로 설정한다.

이와같이 신뢰도와 함께 대표칼라값을 이미지 영역의 칼라정보로 표현함으로써 신뢰도에 가중치를 두어 이미지 검색시에 사용할 수 있고, 신뢰도를 이용한 칼라 유사도의 측정과, 신뢰도를 이용한 칼라 세그멘테이션을 수행하며, 이 것에 대한 설명은 후에 도11 내지 도14를 참조하여 설명한다.

한편, 상기 이미지 영역의 대표 칼라값은 상기 해당 이미지 영역에 대하여 구해진 신뢰도를 소정의 설정된 임계치와 비교한 결과에 따라서 설정하며, 이와같이 신뢰도를 이용해서 대표 칼라값을 지정하는 방법을 도9에 나타내었으며, 이에 대한 설명은 후에 하기로 한다.

상기한 바와같이 본 발명은 주어진 이미지 영역의 신뢰도를 구하고, 이 신뢰도에 따라서 대표 칼라값을 정하여 이미지 영역을 대표하는 정보로서 대표 칼라값과 신뢰도를 함께 표현하고 있다.

도2는 본 발명에서 신뢰도를 구하는 방법의 제 1 실시예를 나타낸다.

이 방법은 주어진 이미지 영역의 평균처리(Averaging)하여 섞임요소를 제거한 다음 칼라 유사도에 따라 신뢰도를 구하는 방법이다.

먼저, 주어진 이미지 영역을 사각형 모양이라고 가정하는데, 사각형이 아니라도 이 방법은 테두리 부분을 고려하여 적용 가능하다.

주어진 이미지 영역을 해상도가 낮은 이미지로 만드는데, 이때 이웃한 n*n 정방형 픽셀 칼라값을 평균 칼라값의 하나의 픽셀로 만든다.

이 방법은 양자화 에러가 존재하지만 속도가 빠르다.

또는 n*n평균 필터링을 하여 이미지를 버링(burring)하는데 이 방법은 전자의 방법에 비하여 상대적으로 정확하지만 속도는 느리다.

이와같이 평균 필터링 처리를 수행하면 칼라가 섞여 있을수록 이미지 영역내에 존재하는 칼라의 수가 줄어들고 섞임요소에 대한 효과를 반영하게 된다.

즉, 섞임정도의 요소를 제거하는 것이다.

다음에는 칼라 유사도(C_Sim)를 구하여 이 값을 신뢰도 값으로 설정하는데, 도3에 칼라 유사도(C_Sim)를 구하는 방법을 나타내었다.

칼라 유사도를 구하기 위하여 먼저, 주어진 이미지 영역의 모든 픽셀들에 대한 평균칼라를 구한 다음, 평균칼라에 대하여 색상(Hue_av),밝기(L_av), 크로마(Ch_av)요소를 구한다.

또는 주어진 이미지 영역을 색상, 밝기, 크로마 요소로 변형한 다음에 모든 픽셀들에 대한 평균값으로 구해도 마찬가지의 경과를 얻을 수 있다.

이와같이 주어진 이미지 영역의 평균색에 대한 색상, 밝기, 크로마 요소를 구한 다음에는 색좌표 공간상에서 서로 유사도를 비교할 값들이 떨어진 정도를 나타내는 변수(Color_Diff)를 '0'값으로 설정한다.

그리고, 주어진 이미지 영역의 모든 픽셀들 각각(Pi)에 대하여 색상(Hue_i),밝기(L_i), 크로마(Ch_i)요소로 변환하고, 색좌표 공간상에서의 상기 Hue_av와 Hue_i, L_av와 L_i, Ch_av와 Ch_i 사이의 거리(D)를 구하여 그 거리값을 그 이미지 영역의 마지막 픽셀까지 합산한다.

즉, 주어진 이미지 영역의 모든 픽셀의 평균색에 대한 색상과 밝기 및 크로마 요소와, 주어진 이미지 영역의 모든 픽셀들의 색상, 밝기 및 크로마 요소를 각각 서로 비교하여 그들의 색좌표 공간상의 거리의 합을 구하는 것이다.

이와같이 구해진 색좌표 공간상의 거리는 결국 해당 픽셀과 평균색의 색차이값의 합이 된다.

이 값을 0 내지 1 사이의 값으로 정규화(Normalize)하고, 이 값을 1에서 감산한 값을 칼라 유사도C_Sim로 결정한다.

여기서 색차이값(1-색유사도값)을 구하기 위하여 사용하는 색좌표공 공간은 어떤 것이라도 사용할 수 있지만 그 색좌표 공간이 인간의 색인지에 대하여 그 변화가 모든 색좌표 공간 영역에서 균등하게 변할수록 정확한 값이 된다.

도4는 본 발명에서 신뢰도를 구하는 방법의 제 2 실시예를 나타낸다.

도4에서는 주어진 이미지 영역내의 칼라의 섞임정도(Mix_Rate)와 칼라 유사도(C_Sim)를 이용해서 신뢰도를 구하는 방법으로서, 이미지 영역내의 칼라의 섞임정도(Mix_Rate)(이 값은 0 내지 1 사이의 값을 가진다)와 칼라 유사도(C_Sim)를 구하여 신뢰도를 Mix_Rate+(1-Mix_Rate)(C_Sim)로 표현하는 방법이다.

즉, 섞임정도(Mix_Rate)의 값이 1에 가까울수록 신뢰도 값은 Mix_Rate값에 의해서만 결정되고 Mix_Rate값이 0에 가까울수록 신뢰도 값은 칼라 유사도(C_Sim)값에 의해서 결정하는 것이다.

이 것의 의미는 주어진 이미지 영역내의 칼라 섞임정도가 크면 클수록 칼라가 골고루 분포되어 그 영역의 칼라는 인간의 시각상 하나의 칼라로 인식될 수 있고 그러한 경우는 그 영역의 대표 칼라값의 신뢰도가 섞임정도 의존적이 된다는 것이며, 칼라의 섞임정도가 작으면 작을수록 그 영역의 대표 칼라값의 신뢰도는 칼라 유사도 의존적이 된다는 것이다.

여기서 칼라 유사도(C_Sim)는 상기한 도3과 같은 방법으로 구해지며, 칼라의 섞임정도(Mix_Rate)는 도5와 같이, 주어진 이미지 영역내에서 크로마가 일정 이상이 되는 칼라 픽셀의 빈도수(Chromatic Color Portion)와, 해당 칼라가 이미지 영역에서 다른 칼라들과 얼마나 잘 섞여 있는지를 나타내는 신장율(Expansion_Rate)을 이용해서 구한다.

즉, 칼라의 섞임정도(Mix_Rate)는 주어진 이미지 영역의 모든 칼라(Ci)에 대하여; 해당 칼라를 가지는 픽셀(Pi)들이 주어진 이미지 영역에서 차지하는 비율 Portion(Ci)을 구하고, 해당 칼라가 이미지 영역에서 다른 칼라들과 얼마나 잘 섞여 있는지를 나타내는 신장율 Expansion_Rate(Ci)을 구하고, 이렇게 구해진 픽셀(Pi)마다의 모든 칼라(Ci)에 대한 Portion(i) 및 Expansion_Rate(Ci)의 곱을 Mix_Rate 값으로 누적해 나감으로써 주어진 이미지 영역의 섞임정도(Mix_Rate)를 구하는 것이다.

여기서 이미지 영역의 크로마가 일정 이상이 되는 칼라 픽셀의 빈도수를 구하는 방법은 도6에 나타내었다.

도6을 참조하면, 먼저 크로마 칼라 빈도수(C)를 구하기 위하여, 주어진 이미지 영역에 속한 임의의 픽셀(Pi)의 크로마 요소(Ch_i)를 추출하여 이 크로마 요소(Ch_i)가 임계치 이상이 되는 것만을 크로마 칼라 빈도수(C)에 가산하여 그 영역의 마지막 픽셀까지 상기 과정을 반복함으로써, 주어진 이미지 영역에 속한 모든 픽셀에 대한 크로마 요소가 일정 이상이 되는 칼라픽셀의 갯수를 구하고, 이 것을 그 영역내의 모든 픽셀의 수로 나눔으로써 그 빈도수를 구하는 것이다.

이와같이 크로마 칼라 빈도수(Ci)를 구했으면 신장율(Expansion_Rate(Ci))을 구하게 되었는데, 신장율 Expansion_Rate(Ci)은

Expansion_Rate(Ci)/Max_Expansion(Ci) 로 계산한다.

여기서 Max_Expansion은 e_size와 이미지 영역에 따라 정해지는 최대 신장값으로서, 다음과 같이 표현된다.

Max_Expansion(C) = ME(C); if ME(C) ＜ 이미지 영역의 크기(Size of the image region),

Max_Expansion(C) = 이미지 영역의 크기(Size of the image region); ME(C) ≥ 이미지 영역의 크기.

여기서 ME(C) = (esize*(esize+1)*4+1)*(영역내의 칼라 픽셀의 빈도수C) 이고, esize = (Expansion_Mask폭 -1)/2 으로서 여기서 Expansion_Mask폭(=높이)가 홀수(odd number)이다.

즉, esize는 신장 마스크의 크기와 비례하는 값으로서 어떤 픽셀이 공간적으로 미칠 수 있는 범위의 정도를 정하는 값이다.

한편, Expansion(Ci)은 다음과 같은 수순으로 구한다.

(a). 먼저 어떤 칼라의 Expansion을 구할 것인지 칼라를 정하고 esize를 상기한 바와같이 정하는데 여기서 esize는 Expansion Mask(도7 참조; 701, 도8 참조; 801)의 크기와 비례하는 값으로 어떤 픽셀이 공간적으로 미칠 수 있는 범위의 정도를 정하는 값이고, esize = (Expansion_Mask폭 -1)/2 및 Expansion_Mask폭(=높이)가 홀수(odd number) 이다.

(b). 모든 이미지내의 픽셀에 대하여 해당 칼라의 이미지내의 갯수를 구한다.

(c). 해당 픽셀을 중심으로 Expansion_Mask를 겹쳐서 그 범위내에 해당 칼라가 존재하는지의 여부를 검색하여(도7 및 도8 참조), 해당 칼라가 존재하면 Expansion값을 증가시킨다.

(d). 위 과정을 모든 이미지 영역에 대하여 수행하고 그 결과로 구한 Expansion갑에 해당 칼라의 이미지내 갯수(C)를 더하여 최종적으로 Expansion(Ci)를 설정한다.

도7은 Expansion_Mask(esize=2, 폭=높이=5)(701)를 주어진 이미지 영역(702)내에서 1픽셀(703)마다 이동시켜 가면서 상기 수순을 실행하는 것을 나타낸 도면이고, 도8은 Expansion_Mask(801)를 주어진 이미지 영역(702)내에서 1픽셀(803)마다 적용한 경우의 예를 나타낸 도면으로서 각 픽셀안에 표기된 숫자는 칼라값을 의미하고 있다.

도8에 도시한 바와 같은 상태에서는 마스크(801)의 중심이 '3'이 아니고 '3'은 마스크 영역의 나머지 영역에 존재하므로 +1값이 Expansion(C=3)에 기여하게 됨을 보인 것이다.

도2에서는 신뢰도값을 소정의 임계치와 비교하여, 신뢰도값이 소정의 임계치 이상이면 그 영역의 모든 칼라값의 평균을 대표 칼라값으로 지정하고, 신뢰도가 소정의 임계치 이하이면 크로마 칼라 비율 즉, 크로마 칼라 픽셀수의 빈도(Chroma Color Pixel Portion)을 구하여 이 크로마 칼라 픽셀수의 빈도를 임계치와 비교한 결과에 따라서, 평균값이나 색상(Hue)성분의 추출과정을 통해서 구한 색상셋(Hue_Set)을 이용해서 대표 칼라값을 지정하는 방법을 제시하고 있다.

도9를 참조하여 대표 칼라값을 지정하는 방법을 더욱 상세히 설명하면 다음과 같다.

먼저, 앞에서 설명한 도2 내지 도8과 같은 방법으로 구한 신뢰도를 소정의 설정된 임계치와 비교한다.

신뢰도와 임계치의 비교 결과 신뢰도가 임계치 보다 크면 주어진 이미지 영역의 칼라를 평균해서 그 평균값(Ca)을 해당 이미지 영역의 대표 칼라값으로 설정한다.

그러나 신뢰도가 임계치보다 작으면 주어진 이미지 영역의 크로마 칼라 빈도수(C)를 앞에서 설명한 도6의 방법으로 구해서 이 칼라 빈도수(C)값을 소정의 설정된 임계이와 비교한다.

칼라 빈도수(C)가 임계치보다 작으면 주어진 이미지 영역의 칼라 평균값을 그 영역의 대표 칼라로 정하고, 칼라 빈도수(C)가 임계치 보다 큰 값이면 주어진이미지 영역에 속한 모든 픽셀에 대해서 픽셀의 칼라에서 색상(Hue)요소를 뽑아낸 다음 그 값을 양자화하여 그이미지 영역에 대한 Hue히스토그램을 구한다.

이렇게 구한 Hue히스토그램을 bin값으로 내림차순 정렬하고, 큰 값을 가지는 bin순서대로 bin값을 일정한 임계치가 될 때 까지 합산한다.

이때 일정 임계치 이상이 되면 이전까지의 bin에 해당하는 칼라셋을 Hue_set이라고 하고, 여기에 해당하는 이미지 영역내의 픽셀값을 평균하여 그 평균값을 대표 칼라값으로 정한다.

도15는 본 발명에서, 주어진 이미지 영역에서 신뢰도를 이용해서 대표칼라값을 지정하는 방법의 플로우차트로서 상기 도9와 다른 실시예를 보이고 있다.

신뢰도가 임계치보다 작으면 색상(hue)히스토그램을 구하고 모든 칼라(Ci)에 대하여 다음의 과정을 반복한다.

임의의 칼라(Ci)의 hue(hi)를 구하고, 이 값이 설정된 임계치 보다 큰 경우를 카운트하여 해당 칼라(Ci)의 평균값(C_av_h)을 마지막 픽셀까지 반복하여 계산한다.

마지막 픽셀까지의 계산이 끝났으면 임계치 이상인 H(hi)값이 없는 경우 즉, h_카운트값이 0인 경우는 주어진 이미지 영역의 칼라평균(Ca)을 영역 대표 칼라값으로 정하고, 임계치 이상인 H(hi)값이 적어도 한 개라도 있는 경우는 상기 해당 칼라의 임계치 이상인 값들의 평균값(C_ave_h)을 그 영역에 대한 대표 칼라값(RRC)으로 정하는 것이다.

도10은 앞에서 설명한 바와같이, 주어진 이미지 영역을 대표 칼라값과 그 대표 칼라값의 신뢰도로 표현한, 64개의 로칼 셀(local cell)로 이루어지는 8*8 그리드 영역의 대표 칼라정보 표시구조를 나타내었다.

즉, 각각의 로칼 셀(이미지의 부분영역이다)에 그 로칼 셀의 대표 칼라값(Cij)과 신뢰도(Sij)로 칼라 정보를 표현한 것이다.

도11은 도10에 도시한 바와같이 이미지 영역을 그리드로 분할하고 각각의 그리드의 로칼 셀에 대한 대표칼라값을 지정하는 수순을 나타낸다.

즉, 이미지 영역을 n*m의 그리드로 만들고, 이렇게 그리드로 분할된 각각의 로칼 셀(LCij)에 대한 각각의 신뢰도(Sij)를 앞에서 설명한 도2 또는 도4의 방법으로 구한 다음, 각각의 로칼 셀에 대한 신뢰도(Sij)를 이용해서 각각의 로칼 셀(LCij)에 대한 대표 칼라값(Cij)을 도2에서 설명한 방법으로 구하여, 모든 로칼 셀에 대한 칼라정보를 대표 칼라값(Cij)과 신뢰도(Sij)로서 표현하는 것이다.

도12는 2개의 이미지 영역을 각각 도11과 같은 방법으로 그리드로 만들고 각각의 로칼셀을 대표 칼라값과 신뢰도로 표현한 구조를 가지고 2개의 이미지 영역의 유사도를 측정하는 방법을 나타낸다.

즉, 이미지 그리드(G1,G2)의 모든 로칼 셀(n*m)에 대하여 서로 대응되는 로칼 셀 끼리 비교를 수행하여 로칼 셀 끼리의 칼라 유사도 C_Sim(C1ij,C2ij)와 신뢰도(S1ij,S2ij)를 구한 다음, 두 이미지 영역간의 유사도 RC_Sim(G1,G2)를 칼라 유사도와 신뢰도의 곱으로서 결정하는 것이다.

즉, 두 이미지 영역간의 유사도(RC_Sim(G1,G2)는;

SUM_all_cell(i,j)[[a*S1ij*S2ij*C_Sim(C1ij,C2ij)+b*(1-(S1ij-S2ij)²] /

(number of cells)(a+b)]]...... (a,b는 가중치,number of cells = n*m);

로 측정한 것이다.

이때 신뢰도에 따라 가중치를 두면 두 영역간의 칼라 유사도를 적응적으로 구할 수 있다.

도13은 앞에서 설명한 본 발명의 영역 대표 칼라 지정방법 즉, 주어진 이미지 영역의 대표칼라값을 그 신뢰도와 함께 표현한 구조를 이용해서 같은 칼라를 가지는 이미지 영역끼리 나누어 표시하는 칼라 세그멘테이션의 결과를 예로써 나타낸 것이다.(Quad Tree representation to segment and present color regions).

즉, 본 발명처럼 같은 칼라를 가지는 영역끼리 나누어 표시하는 칼라 세그멘테이션에 신뢰도를 이용하면 정확히 같은 칼라가 아니더라도 신뢰도의 정도에 따라 일정한 값 이상이 되면 하나의 칼라로 간주하는 칼라 세그멘테이션을 할 수 있는 것이다.

이러한 칼라 세그멘테이션 방법은 도14에 나타내었으며, 도13 및 도14는 그 실시예로서 이미지 영역을 4등분하여 나누어가는 방법(Quad Tree이용)을 설명하는 것이다.

즉, 주어진 이미지 영역의 신뢰도(S)를 구하고, 이 신뢰도(S)가 설정된 소정의 임계치 큰 값에 대해서만 주어진 이미지 영역을 서브 영역으로 2*2=4분할한 다음, 각각의 서브영역은 다시 신뢰도값을 계산하여 그 영역이 나누어질 것인가의 여부를 결정한다.

영역이 더 이상 나누어지지 않을 때 까지 위와같은 과정을 진행하면 모든 나누어진 영역은 모두 미리 정해진 신뢰도 임계치 이상의 값을 갖게되므로, 이러한 서브 영역의 셋을 하나의 칼라로 간주할 수 있게 되는 것이다.

즉, 이미지 전체나 사용자가 지정한 임의의 영역을 쿼드 트리(Quad Tree)를 이용해서 표현하고, 쿼드 트리의 각각의 노드는 분할 영역을 나타내며 이 영역은 다시 영역 대표 칼라와 신뢰도 값으로 나타내고, 각각의 노드는 신뢰도 값이 소정의 임계치 이상인 값이 될 때 까지 나누어진 구조로 되는 것

본 발명은 주어진 이미지 영역의 대표 칼라값을 그 신뢰도와 함께 표현하는 구조를 가지므로 이미지 검색시에 이 신뢰도에 따라 가중치를 두어 이용할 수 있다.

또한 본 발명은 주어진 이미지 영역의 대표 칼라값을 그 신뢰도와 함께 표현함으로써, 두 이미지 간의 칼라 유사도를 측정할 때 신뢰도에 따라 칼라 유사도를 더욱 정밀하고 또 정확하게 측정하여 이미지 검색성능을 향상시킬 수 있다.

또한 본 발명은 주어진 이미지 영역의 대표 칼라값을 그 신뢰도와 함께 표현함으로써, 주어진 이미지 영역을 서브 영역으로 분할하여 같은 칼라를 가지는 영역끼리 나누어 표시하는 칼라 세그멘테이션을 수행할 때 신뢰도의 정도에 따라 칼라 세그멘테이션을 수행할 수 있으므로, 같은 칼라를 가지는 영역끼리 나누어 표시하는 칼라 세그멘테이션을 보다 효과적으로 수행할 수 있다.

Claims

주어진 이미지에 대한 정보로서 칼라값을 그 이미지 영역에 대한 정보로 표현하는 방법에 있어서,

주어진 이미지 영역을 대표하는 대표 칼라값과 함께, 이미지 영역이 그 영역을 대표하는 하나의 색으로 표현 가능한지의 여부를 나타내는 상기 대표 칼라값의 신뢰도를 해당 이미지 영역의 칼라 정보로서 표현하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 1 항에 있어서, 상기 신뢰도는 이미지 영역이 그 영역을 대표하는 하나의 색으로 표현 가능한 정도를 더 포함하여 나타내는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 1 항에 있어서, 상기 신뢰도는 해당 이미지 영역내에서 칼라의 섞임정도와 칼라 유사도에 따라 결정되는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 4 항에 있어서, 상기 신뢰도는 해당 이미지 영역내에서 칼라의 섞임정도와 칼라 유사도를 고려하여; 이미지 영역의 칼라값을 평균하여 섞임정도의 요소를 제거한 다음 칼라 유사도를 그 영역의 신뢰도로 설정하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 4 항에 있어서, 상기 신뢰도는 해당 이미지 영역내에서 칼라의 섞임정도와 칼라 유사도를 고려하여; 칼라의 섞임정도를 구하고, 칼라 유사도를 구하고, 상기 칼라의 섞임정도에 따라 신뢰도값을 설정하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 6 항에 있어서, 상기 신뢰도는 칼라의 섞임정도(Mix_Rate)와 칼라 유사도(C_Sim)를 고려하여; 신뢰도 = Mix_Rate + (1-Mix_Rate)*(C_Sim)의 값으로 설정하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 4 항 내지 제 7 항 중의 어느 한항에 있어서, 상기 색유사도는 주어진 이미지 영역의 평균칼라에 대한 색상, 밝기, 크로마 요소를 구하고, 주어진 이미지 영역의 각각의 픽셀에 대한 색상, 밝기, 크로마 요소를 구하고, 상기 픽셀들의 색상, 밝기, 크로마 요소와 상기 평균칼라의 색상, 밝기, 크로마 요소와의 색좌표 공간상에서의 거리값에 의해서 결정되는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 4 항 또는 제 6 항 또는 제 7 항중의 어느 한항에 있어서, 상기 칼라 섞임정도는; 모든 이미지내의 모든 칼라에 대하여 해당 칼라를 가지는 픽셀들이 주어진 이미지 영역에서 차지하는 비율(Chromatic Color Portion)을 구하고, 해당 칼라가 이미지 영역에서 다른 칼라들과 섞여있는 정도를 나타내는 신장율(Expansion_Rate)을 구하고, 상기 비율과 신장율의 곱을 모든 칼라에 대하여 합산한 값으로 구해지는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 9 항에 있어서, 상기 신장율(Expansion_Rate)은; 모든 이미지내의 픽셀에 대하여 해당 칼라의 이미지 내의 갯수와, 해당 픽셀을 중심으로 소정의 크기로 설정된 신장 마스크(Expansion_Mask)를 겹쳐서 그 범위내에 존재하는 해당 칼라의 갯수를 합산하여 구한 값(Expansion(Ci))과, 신장 마스크에 비례하여 설정되는 값으로서 어떤 픽셀이 공간적으로 미칠 수 있는 범위를 정하는 esize값과 이미지 영역에 따라 정해지는 최대 신장값(Max_Expansion(Ci))의 비율로 구해지는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 10 항에 있어서, 상기 어떤 픽셀이 공간적으로 미칠 수 있는 범위를 정하는 esize값은 (신장 마스크의 폭-1)2 (단, 신장 마스크의 폭=높이=홀수)로 설정되는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 9 항에 있어서, 모든 이미지내의 모든 칼라에 대하여 해당 칼라를 가지는 픽셀들이 주어진 이미지 영역에서 차지하는 비율(Chromatic Color Portion)은; 주어진 이미지 영역에 속한 모든 픽셀에 대하여; 해당 픽셀의 크로마 요소를 추출하고, 추출된 크로마 요소가 소정의 설정된 임계치 이상이 되는 픽셀들의 갯수를 구하여 그 값을 이미지 영역내의 픽셀수에 대한 비로써 구하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 1 항에 있어서, 상기 대표 칼라값은; 상기 신뢰도 값을 소정의 설정된 임계치와 비교하여 임계치 보다 크면 그 영역의 모든 칼라를 평균한 값을 대표 칼라값으로 지정하고, 상기 신뢰도값이 임계치보다 작으면 그 영역에 크로마가 일정값 이상이 되는 칼라 픽셀수의 빈도(Chromatic Color Portion)에 따라서 대표 칼라값을 지정하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
제 13 항에 있어서, 상기 크로마가 일정값 이상이 되는 칼라 픽셀수의 빈도가 설정된 소정의 임계치 보다 작으면 그 영역의 칼라 평균값을 대표 칼라값으로 지정하고, 크로마 칼라 픽셀수의 빈도가 임계치보다 크면 이미지 영역에 속한 모든 픽셀에 대하여; 픽셀에서 추출한 색상(Hue) 히스토그램을 큰값을 가지는 bin순서로 일정 임계치가 될 때 까지 합산한 결과에 해당하는 이미지 영역내의 픽셀값의 평균을 대표 칼라값으로 정하는 것을 특징으로 하는 신뢰도를 이용한 대표칼라 지정방법.
주어진 이미지에 대한 정보로서 칼라값을 그 이미지 영역에 대한 정보로 표현하는 방법에 있어서,

주어진 이미지 영역을 n*m의 로칼 영역으로 분할하고, 분할된 각각의 로칼 영역을 대표하는 대표 칼라값과 함께, 상기 대표 칼라값의 신뢰도를 해당 로칼 영역의 칼라 정보로서 표현하는 것을 특징으로 하는 신뢰도를 이용한 로칼 대표칼라 지정방법.
주어진 이미지 영역을 대표하는 대표 칼라값과 함께, 상기 대표 칼라값의 신뢰도를 해당 이미지 영역의 칼라 정보로서 표현하고, 서로 비교 대상이 되는 이미지 사이의 상기 신뢰도를 비교하여 그 신뢰도에 따라 이미지의 유사여부를 판정하는 것을 특징으로 하는 이미지의 유사도 측정방법.
제 16 항에 있어서, 상기의 이미지 유사도 측정시에 상기의 신뢰도를 가중치로 활용하는 것을 특징으로 하는 이미지의 유사도 측정방법.
주어진 이미지 영역을 대표하는 대표 칼라값과 함께, 상기 대표 칼라값의 신뢰도를 해당 이미지 영역의 칼라 정보로서 표현하고, 상기 신뢰도를 소정의 설정된 임계치와 비교하여 상기 신뢰도가 임계치 이상이 되는 영역을 신뢰도가 임계치 이하가 될 때 까지 등분하는 과정을 진행하여, 주어진 이미지를 유사 칼라 영역으로나누는 것을 특징으로 하는 이미지의 칼라 세그멘테이션 방법.
제 18 항에 있어서, 이미지 전체나 사용자가 지정한 임의의 영역을 쿼드 트리(Quad Tree)를 이용해서 표현하고, 쿼드 트리의 각각의 노드는 분할 영역을 나타내며 이 영역은 다시 영역 대표 칼라와 신뢰도 값으로 나타내고, 각각의 노드는 신뢰도 값이 소정의 임계치 이상인 값이 될 때 까지 나누어진 구조로 되는 것을 특징으로 하는 이미지의 칼라 세그멘테이션 방법.