KR20070008729A

KR20070008729A - 컬러 화상 표시 및 검색을 위한 장치 및 방법

Info

Publication number: KR20070008729A
Application number: KR1020067027307A
Authority: KR
Inventors: 레스제크 씨에플린스키
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 1999-04-29
Filing date: 2000-04-28
Publication date: 2007-01-17
Also published as: JP2000348179A; JP2011192316A; CN101038595A; KR20010113903A; CN101042708A; EP1445733A3; JP5236785B2; US7636094B2; AU4767100A; JP5123998B2; KR20070086677A; CN1358296A; GB9909961D0; US20060072829A1; EP1173827B1; US7015931B1; WO2000067203A1; EP1496473A2; US6801657B1; GB2349460B

Abstract

컬러 화상을 표시하는 방법은, 화상의 영역을 선택하는 단계, 영역에 대한 대표 컬러들로서 하나 이상의 컬러들을 선택하는 단계, 및 둘 이상의 대표 컬러들을 갖는 영역에 대하여, 각각의 대표 컬러에 관련되는 컬러 분포에 관한 둘 이상의 파라미터를 각각의 대표 컬러에 대하여 계산하고 화상 영역에 대한 기술자들을 도하기 위해 상기 파라미터를 이용하는 단계를 포함한다.

대표 컬러, 평균, 분산, 질의, 매칭 함수, 기술자

Description

컬러 화상 표시 및 검색을 위한 장치 및 방법{METHOD AND APPARATUS FOR REPRESENTING AND SEARCHING FOR COLOUR IMAGES}

도 1은 본 발명의 일 실시예에 따른 시스템의 블럭도;

도 2는 제1 검색 방법의 흐름도;

도 3은 제2 검색 방법의 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

8: 화상 데이터베이스

2: 제어유닛

6: 포인팅 장치

10: 기술자 데이터베이스

12: 검색 엔진

4: 디스플레이 유닛

본 발명은 검색을 목적으로 화상의 영역 또는 컬러 화상을 표시하기 위한 방법 및 장치, 및 컬러 화상이나 화상 영역을 검색하기 위한 방법 및 장치에 관한 것 이다.

예를 들면, 멀티미디어 데이터 베이스로부터 정지 화상 및 영상을 검색하기 위한 화상 콘텐트(image content)에 기초한 검색 기술들이 공지되어 있다. 컬러, 텍스쳐, 에지 정보, 형상 및 동작을 포함한 다양한 화상 특성들이 그런 기술들을 위하여 이용되었다. 그런 기술들의 응용은 인터넷 검색 엔진, 대화형 TV, 원격 의료 및 원격 쇼핑을 포함한다.

화상 데이터 베이스로부터의 화상 검색을 위하여, 화상들 또는 화상의 영역들은 화상내의 컬러에 기초한 기술자(descriptor)를 포함하는 기술자들에 의해 표시된다. 화상 영역의 평균 컬러, 화상 영역내의 컬러 변화에 기초한 통계적 모멘트, 화상 영역의 가장 큰 영역을 커버하는 컬러와 같은 대표 컬러, 및 소정의 컬러 세트 각각의 영역에서 픽셀 수를 카운트함으로써 화상 영역에 대하여 히스토그램이 도출되는 컬러 히스토그램을 포함하는, 다양한 형태의 컬러 기초의 기술자들이 공지되어 있다.

공지된 콘텐트 기반의 화상 검색 시스템은 QBIC(query by image content)(US 5579471, MPEG 문서 M4582/P165: IBM 알마덴 연구센터의 MPEG-7을 위한 컬러 기술자 참조)이다. 그 시스템 동작 모드중 하나에서, 데이터 베이스의 각각의 화상은 블럭들로 분할된다. 각각의 블럭은 유사한 컬러들의 서브세트들로 그룹화되고 가장 큰 서브세트가 선택된다. 선택된 서브세트의 평균 컬러가 각각의 블럭의 대표 컬러로서 선택된다. 화상에 대한 대표 컬러 정보가 데이터 베이스에 저장된다. 질의(query) 화상을 선택함으로써 데이터 베이스에 하나의 질의가 만들어질 수 있 다. 질의 화상에 대한 대표 컬러 정보는 전술된 바와 동일한 방식으로 도출된다. 그 후, 질의 정보는, 가장 근접한 매치들의 위치를 정하기 위한 알고리즘을 이용하여, 데이터 베이스내에 저장된 화상들에 대한 정보와 비교된다.

MPEG 논문 M4582/P437 및 US 5586197 는 유사하지만, 화상을 블럭들로 분할하는 더욱 유연한 방법 및 화상들을 비교하는 상이한 방법을 사용하는 접근을 개시한다. MPEG 문서 M4582/P576: 시각적 물체에 대한 컬러 표시에서 기술된, 또 다른 변형에서는, 영역당 두 개의 대표 컬러 각각에 대하여 단일의 값이 사용된다.

M4582/P76: MPEG-7: 가변 바이너리(Variable-Bin) 컬러 히스토그램을 위한 컬러 기술자와 같이, 컬러 히스토그램에 기초하여 화상을 표시하기 위한 여러가지의 기술들이 개발되었다. 다른 기술들은 화상 영역의 컬러 분포의 통계적 기술(statistical descriptions)을 이용한다. 예를 들면, MPEG 문서 M4582/P549: 영상 시퀀스에서 서브 영역의 화상 정보 측정을 사용하는 컬러 기술자는, 화상이 높고 낮은 엔트로피 영역들로 분할되고 영역의 각각의 형태에 대하여 컬러 분포 특성들이 계산되는 기술을 개시한다. MPEG 문서 M4852/P319: MPEG-7 컬러 기술자 제안은, 화상 영역에 대한 기술자로서 평균 및 공분산(covariance)값을 사용하는 것에 대하여 기술한다.

전술된 모든 접근법들은 중요한 단점들을 갖는다. 그들중 일부, 특히 컬러 히스토그램 기술들은 매우 높은 정밀도를 갖지만, 상대적으로 큰 저장 용량 및 처리 시간을 필요로 한다. 하나 또는 두 개의 대표 컬러를 사용하는 것들과 같은 다른 방법들은 높은 저장 및 계산 효율을 갖지만 충분히 정밀하지 못하다. 통계적 기술자들은 그 두 가지 형태의 기술들 사이의 절충안이지만, 유연성이 부족할 수 있는데, 특히 영역내에서 픽셀 컬러들이 광범위하게 변하는 경우가 그렇다.

본 발명은, 화상 영역의 기술자를 도출하기 위해 화상 영역에서 대표 컬러에 각각이 대응하는 다수의 성분 분포들을 이용하여 컬러 분포를 근사화시킴으로써 화상을 표시하는 방법을 제공한다.

또한, 본 발명은 이러한 기술자들을 이용하여 화상을 검색하는 방법을 제공한다.

또한, 본 발명은 상기 방법들을 실행하기 위한 컴퓨터 프로그램 및 그런 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 매체를 제공한다. 컴퓨터 판독 가능 매체는 플로피 디스크나 CD-ROM과 같은 별도의 매체나 RAM과 같은 메모리일 수 있다.

본 발명의 일 실시예는 첨부되는 도면들을 참조하여 설명될 것이다.

본 발명의 일 실시형태에 따른 시스템이 도 1에 도시된다. 본 시스템은 시스템의 동작을 제어하기 위한 컴퓨터와 같은 제어 유닛(2), 화상과 텍스트를 포함하는 출력을 디스플레이하고, 제어 유닛(2)에 접속되는, 모니터와 같은 디스플레이 유닛(4) 및 제어 유닛(2)로 명령들을 입력시키는 마우스와 같은 포인팅 장치(6)를 포함한다. 또한, 본 시스템은 복수의 화상들의 디지털 버젼을 저장하는 화상 데이터 베이스(8) 및 화상 데이터 베이스(8)에 저장된 각각의 화상들에 대한, 이하 더 욱 상세히 설명되는, 기술자 정보를 저장하는 기술자 데이터 베이스(10)를 포함한다. 화상 데이터 베이스(8) 및 기술자 데이터 베이스(10) 각각은 제어 유닛(2)에 접속된다. 또한, 본 시스템은 제어 유닛(2)의 제어를 받는 컴퓨터 프로그램이고 기술자 데이터 베이스(10)상에서 동작하는 검색 엔진(12)을 포함한다.

본 실시예에서는, 시스템 구성 요소들이 영구적으로 링크되는, 화상 라이브러리와 같은, 단일 사이트 상에 본 시스템의 요소들이 제공된다.

기술자 데이터 베이스(10)는 화상 데이터 베이스에 저장된 모든 화상들의 기술자들을 저장한다. 특히, 본 실시예에서, 기술자 데이터 베이스(10)는 각각의 화상의 복수의 영역들 각각에 대한 기술자들을 포함한다. 기술자들은 아래에 기술된 바와 같이 도출된다.

데이터 베이스(8)의 각각의 화상은 픽셀의 다수의 비중첩 사각형 블럭들로 분할된다. 각각의 블럭에 대하여, 소정의 수의 컬러들을 선택하고, 각각의 컬러의 블럭에서 픽셀 수를 카운트함으로써 컬러 히스토그램이 도출된다.

그렇게 획득된 컬러 히스토그램은 블럭내의 픽셀들의 컬러 분포를 나타낸다. 일반적으로, 그 영역은 하나 이상의 지배적인 컬러들을 갖게 되고, 히스토그램은 그 컬러들에 대응하는 피크들을 갖게 될 것이다.

블럭들에 대한 기술자들은 히스토그램으로부터 식별되는 바와 같은 지배적인 컬러들에 기초한다. 각각의 블럭에 대한 기술자는, 다음과 같은 요소들을 갖는다:

(1) 기술자 등급으로 지칭되는 지배적 컬러 수, n(여기서, n≥1), 및

각각의 지배적 컬러에 대하여:

(2)(a) 블럭에서의 각각의 지배적 컬러의 상대적 중요성을 나타내는 가중치(weight). 여기서, 가중치는 블럭의 총픽셀수에 대한 관련 컬러의 블럭에 있는 픽셀수의 비이다.

(b) 평균값,

,

여기서 x, y 및 z는, 예를 들면, RGB 컬러 공간에서의 적색, 녹색 및 청색 성분인 컬러 성분들의 인덱스(index)이다. 여기서, 평균값은 각각의 지배적 컬러의 컬러 성분들에 대응한다.

(c) 공분산 행렬

,

여기서 c_ii는 컬러 성분 i의 분산을 나타내고 c_ij는 성분 i와 j 사이의 공분산을 나타낸다. 공분산 행렬은 대칭적(c_ij=c_ji)이므로 그것을 저장하기 위하여 오직 6개의 숫자들만이 필요하다.

전술된 바와 같이 기술자를 획득하는데 있어서, 컬러 분포는 n개의 상이한 하위 분포(sub-distribution)로서 취급되며, 여기서 n은 지배적인 컬러 수이고, 각각의 하위 분포는 평균으로서 각각의 지배적인 컬러에 집중된다. 하위 분포의 범위는 중첩되는 것이 당연하고, 적절한 알고리즘을 사용하여 가중치, 평균 및 공분산 행렬을 계산하기 위한 각각의 분포 범위가 결정되는데, 이것은 당업자에게 자명 할 것이다. 기술자 성분을 추정하는 한 가지 방법은, 가우시안 함수들의 혼합으로부터 추정된 값들과 실제 히스토그램 카운트들 사이의 차이를 최소화함으로써 히스토그램 피크에 중심을 둔 가우시안 함수들을 히스토그램에 맞추는 것이다.

기술자 데이터 베이스(10)는 화상 데이터 베이스(8)에 저장된 각각의 화상의 각각의 블럭에 대하여 전술된 바와 같이 기술자를 저장한다. 전술된 기술자 구조를 이용하는 각각의 블럭내의 컬러 분포의 표시는 많은 양의 기술적(descriptive) 정보를 포함하지만, 예를 들면 풀 히스토그램(full histogram) 정보보다 더 적은 저장 공간을 필요로 한다.

일 예로서, 특정 블록에 대한 컬러 히스토그램은 세 개의 지배적 컬러들에 대응하는 세 개의 피크를 나타낼 수 있다. 히스토그램 컬러 분포는 3색의 하위 분포로서 분석되고, 그 결과, 기술자는 지배적인 컬러의 수를 나타내는 숫자 3과, 3개의 가중치와, 3개의 피크들에 대한 컬러 벡터에 대응하는 3개의 평균 벡터, 및 3개의 대응하는 공분산 행렬들을 포함한다.

본 시스템은 기술자 데이터 베이스에 저장된 기술자들을 이용하여 화상 데이터 베이스의 화상들을 검색한다. 본 실시형태는 두 개의 검색 방법을 제공하는데, 그것은 단일 컬러 기반 검색과 영역 기반 검색이다.

단일 컬러 기반 검색은 도 2에 도시된 흐름도를 참조하여 기술될 것이다.

단일 컬러 기반 검색에서, 사용자는 포인팅 장치(6)와, 디스플레이 유닛(4)상에 디스플레이되는 팔레트(palette)나 컬러 휠(colour wheel)과 같은 메뉴를 이용하여, 검색될 컬러를 선택함으로써 질의(query)를 입력한다(단계 102). 그 후, 제어 유닛(2)는 질의 컬러에 대한 대응 컬러 벡터를 획득하며, 컬러 벡터는 질의 컬러에 대한 각각의 컬러 성분들인 성분들, 즉 적색, 녹색 및 청색 성분들을 갖는다(단계 104).

그 후, 제어 유닛(2)은 검색엔진(12)을 사용하여 질의 컬러를 포함하는 화상 데이터 베이스(8)내의 화상들을 검색한다. 검색엔진(12)은 질의 컬러벡터 및 기술자 데이터 베이스(10)의 화상 블럭들에 대한 기술자들을 이용하여 매칭 절차를 수행한다(단계 106).

매칭값 M을 계산하기 위해 다음의 공식을 이용하여 매칭 절차가 수행된다.

이고,

여기서 q는 질의 컬러 벡터이다. 블럭에 대한 기술자의 m 및 C의 각각의 값을 이용하여 각각의 블럭의 각각의 지배적 컬러에 대하여 매칭값이 계산된다. 따라서, 차수 n의 기술자에 대하여, n 개의 매칭값들이 획득된다.

매칭값은 확률 밀도 함수를 가우시안 함수로서 모델링하여, 질의 컬러값에 의해 정의되는 지점에서 블럭의 각각의 컬러 하위 분포에 대응하는 확률 밀도 함수값으로서 간주될 수 있다.

주어진 기술자에 대하여, 매칭값 M이 클수록, 대응하는 블럭은 선택된 컬러와 더욱 근접하게 매치한다.

매칭값들이 기술자 데이터 베이스(10)의 각각의 기술자에 대하여 계산되는 경우, 검색 엔진(12)은 1보다 큰 차수의 임의의 기술자에 대하여 M의 최대값만을 고려하여, M의 최대값으로부터 시작하여 M의 크기에 따라 그 결과에 순서를 매긴다(단계 108).

제어 유닛(2)는 검색 엔진(12)으로부터 매칭 절차의 결과들을 취하고, K개의 가장 높은 M값들에 대응하는, 가장 근접한 매치들인 소정의 K개의 화상들을 화상 데이터 베이스로부터 검색한다. 그 후, 그 화상들은 디스플레이 유닛(4)상에 디스플레이된다(단계 110). 제어 유닛(2)의 셋업은 가장 근접한 매치들이 얼마나 많이 디스플레이 유닛상에 디스플레이될 것인지 결정한다. 그 숫자는 사용자에 의해 변경될 수 있다.

전술된 설명으로부터 이해되는 바와 같이, 단일 컬러 기반 검색은 사용자에 의해 초기에 선택된 컬러에 근사하거나 그와 동일한 지배적 컬러를 갖는 블럭을 갖는 화상 데이터 베이스(8)로부터 화상들을 검색한다.

영역 기반 검색은 도 3에 도시된 흐름도를 참조하여 설명될 것이다.

영역 기반 검색에서, 제어 유닛(2)는 화상 데이터 베이스(8)로부터의 화상들인 소정 세트의 검색 화상들을 디스플레이 유닛(4)상에 디스플레이하도록 동작한다(단계 202). 검색 화상들은 제어 유닛의 셋업에 의해 전적으로 결정될 수 있거나, 사용자에 의해 입력된 다른 요건들에 의존할 수 있다. 예를 들면, 키워드 기초 검색들을 지원하는 더 큰 시스템에서는, 사용자가 단어 "나뭇잎(leaves)"을 입력하고, 그 결과 나뭇잎을 나타내는 소정 세트의 화상이 컬러 기반 검색을 위한 화상으로서 도시된다.

각각의 검색 화상들은, 기술자들이 도출된 블럭들에 대응하여 화상을 블럭들 로 분할하는 그리드(grid)로 도시된다. 그 후, 사용자는 포인팅 장치(6)를 사용하여, 객체의 컬러 분포를 도시하는 화상들중의 하나 위에 한 블럭을 선택한다(단계 204).

그 후, 제어 유닛(2)은 기술자 데이터 베이스(10)로부터 선택된 화상 블럭에 대한 기술자를 검색하고 그것을 질의 기술자로서 이용한다(단계 206). 검색 화상들이 화상 데이터 베이스(8)로부터 취해지므로, 기술자는 이미 이용 가능하다. 그 후, 검색 엔진은 매칭 함수들을 이용하여 기술자 데이터 베이스에 저장된 다른 기술자들과 질의 기술자를 비교하는 검색을 수행한다(단계 208).

지배적 컬러중 하나에 대한 평균값 m_a 및 공분산 행렬 C_a를 갖는 질의 기술자 및 지배적 컬러중 하나에 대한 평균값 m_b 및 공분산 행렬 C_b을 갖는 또 다른 기술자의 경우, 매칭함수는 다음과 같이 정의된다:

여기서 q는 컬러 벡터와 유사한 3차원 벡터이며 적분은 (0, 0, 0) 내지 (255, 255, 255)의 범위에 걸쳐 계산되며, 255는 컬러성분의 최대값이다. 다른 실시예에서의 적분의 범위는 사용된 컬러 좌표계 및 표시에 의존할 것이다.

이것은 화상 블럭들에 대한 대응 컬러 하위 분포들을 가우시안 함수들 형태의 확률 질량 함수들(probability mass functions)로서 모델링하고, 그들이 중첩하는 정도를 결정하는 것, 즉 그들간의 유사성을 결정하는 것과 등가이다. 상기 계 산의 결과가 클수록, 대응하는 컬러 분포들이 더욱 근접된다. 이 경우, 함수는 질의 화상블럭의 컬러 하위 분포와 저장된 화상의 컬러 하위 분포가 중첩하는 정도를 결정한다.

한 기술자를 또 다른 기술자와 매칭시키는 풀매칭 함수는,

와 같이 정의되며, 이 때 v 및 w는 하위 분포에 대한 가중치들이고, 합산은 양쪽 영역들의 모든 하위 분포들에 대하여 수행된다.

따라서, 질의 화상 블럭의 기술자에 기술된 각각의 지배적 컬러에 대하여, 매칭값은 기술자 데이터 베이스(10)로부터의 기술자의 각각의 지배적인 컬러에 대하여 계산된다. 결과적인 매칭값들은 가중화가 적용된 후, 합산되어 m_f에 대응하는 최종 매칭값을 생성한다.

풀 매칭값들은 질의 기술자에 대하여 데이터 베이스의 모든 기술자들에 대하여 전술된 바와 같이 계산된다. 단일 컬러 기반 검색에서와 같이, 결과들이 순서화되고(단계 210), 가장 근접한 매치들을 나타내는 가장 높은 매칭값들을 갖는 K개의 화상들이 사용자를 위하여 디스플레이 유닛상에 디스플레이된다.(단계 212).

검색의 추가적인 반복은 이전의 검색에서 발견된 화상의 화상 영역을 선택함으로써 수행될 수 있다.

매칭은 전술된 것 이외의 다른 유사성 측정을 이용하여 수행될 수 있다. 또 다른 예가 이하에 제시된다.

두 영역에 대한 한 쌍의 기술자 F₁ 및 F₂에 대하여 유사성 측정 D은,

와 같이 정의되고, 여기서

이고

이다.

여기서 i 및 j는 대표 컬러의 인덱스이고,

x 및 y는 기술자의 인덱스이고,

N₁은 제1 기술자에서의 대표컬러수이고,

N₂은 제2 기술자에서의 대표컬러수이고,

P_1i는 제1 기술자에서의 i번째 가중치이고,

P_2j는 제2 기술자에서의 j번째 가중치이고,

l, u 및 v는 본 특정예에서의 적색, 녹색 및 청색 컬러 성분과 같은 컬러 성 분을 나타내고,

c 및 v는 각각 지배적 컬러값(평균값) 및 컬러 분산이며, c_xil은 x번째 기술자의 i번째 대표 컬러값의 l번째 성분이고, v_xil은 x번째 기술자의 i번째 대표 컬러의 분산의 l번째 성분이다.

이전에 기술된 매칭함수들과 대조적으로, 기술자 F₁ 및 F₂에 대하여, D의 값이 작을 수록, 기술자 F₁ 및 F₂에 대응하는 영역들간의 매치는 더욱 근접한다. 따라서, 전술된 바와 같은 검색 절차로부터 야기되는 값 D는 D의 최소값으로부터 시작하여 증가하는 크기로 순서화된다. 그렇지 않으면, 검색 및 매칭 절차는, 상이한 유사성 측정을 고려하는 적절한 변형에 의해, 실질적으로 전술된 바와 같이 수행될 수 있다. 이러한 유사성 측정은 공분산 행렬이 아닌 분산을 이용하는 점이 주목될 것이다. 따라서, 한 영역에 대한 기술자는 분산을 포함하지만 공분산 행렬을 필요로 하지는 않는다. 따라서, 전술된 기술자와 비교하면 저장의 필요성이 감소된다.

본 발명에 따른 시스템은, 예를 들면, 화상 라이브러리에 제공될 수 있다. 또한, 데이터 베이스들은 인터넷과 같은 네트워크 또는 전화선과 같은 임시 링크에 의해 제어 유닛로 접속되어, 시스템의 제어 유닛로부터 원거리에 위치될 수 있다. 화상 및 기술자 데이터 베이스들은 예를 들면, CD-ROM 또는 DVD와 같은 휴대용 데이터 저장 매체나 영구 저장 매체에 제공될 수 있다.

상기 설명에서, 컬러 표시는 적색, 녹색 및 청색 컬러 성분에 관하여 설명되 었다. 물론, 색조(hue), 채도 및 명도를 이용하는 표시, 또는 YUV 좌표계, 또는 임의의 컬러 공간의 컬러 성분의 서브 세트, 예를 들면 HSI의 색조 및 채도를 사용하는 표시와 같은 다른 표시가 사용될 수 있다.

전술된 본 발명의 실시형태는 화상의 사각형 블럭에 대하여 도출된 기술자들을 이용한다. 화상의 다른 서브 영역들이 기술자를 위한 기초로서 사용될 수 있다. 예를 들면, 상이한 형상과 크기의 영역들이 이용될 수 있다. 또한, 기술자들은 예를 들면, 자동차, 집 또는 사람과 같은 물체에 대응하는 화상 영역에 대하여 도출될 수 있다. 어느 경우나, 기술자들은 모든 화상 또는 그 일부에 대해서만 도출될 수 있다.

검색 방법에서, 단순한 컬러 질의를 입력하거나 화상 블럭을 선택하는 것 대신에, 사용자는 예를 들면 포인팅 장치를 이용하여 화상 영역을 기술(즉, 그것을 둘러쌈으로써)할 수 있고, 그리하여 제어 유닛는 그 영역에 대한 기술자를 도출하고 그것을 이용하여 전술한 바와 유사한 방식으로 검색을 한다. 또한, 검색을 개시하기 위하여 화상 데이터 베이스에 이미 저장되어 있는 화상들을 사용하는 것 대신에, 하나의 화상이, 예를 들면, 화상 스캐너나 디지털 카메라를 이용하여 시스템으로 입력될 수 있다. 그런 경우 검색을 수행하기 위하여, 먼저 시스템은 자동으로 또는 사용자에 의해 결정된 대로, 화상의 영역들 또는 화상에 대한 기술자를 도출한다.

본 발명의 적절한 실시 형태는 하드웨어나 소프트웨어를 사용하여 구현될 수 있다.

상기 실시예에서, 각각의 대표 컬러에 대한 성분 하위 분포들은 가우시안 함수들을 이용하여 근사화되고, 그 함수들의 평균 및 공분산은 기술자 값들로서 이용된다. 그러나, 다른 함수들 또는 파라미터들은 예를 들면, 사인 및 코사인과 같은 기초 함수들을 이용하여, 그 함수들에 기초한 기술자들로 성분 분포들을 근사화하는데 사용될 수 있다.

본 발명에 따르면, 화상 영역의 기술자를 도출하기 위해 화상 영역에서 대표 컬러에 각각이 대응하는 다수의 성분 분포들을 이용하여 컬러 분포를 근사화시킴으로써 화상을 표시하는 방법이 제공된다.

또한, 본 발명에 따르면, 이러한 기술자들을 이용하여 화상을 검색하는 방법이 제공된다.

또한, 본 발명에 따르면, 상기 방법들을 실행하기 위한 컴퓨터 프로그램 및 그런 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 매체가 제공된다.

Claims

데이터 저장 수단에 저장된 컬러 화상들을 검색하는 방법으로서,

화상의 컬러에 관한 질의를 입력하는 단계;

매칭 함수를 사용하여 저장된 화상들에 대한 기술자들과 상기 질의를 비교하는 단계; 및

매칭 함수가 상기 질의와 상기 화상의 적어도 일부 사이의 근접 매치를 나타내기 위한 적어도 하나의 화상을 선택하는 단계

를 포함하고,

저장된 화상들에 대한 기술자들은 상기 화상에 대한 2개 이상의 지배적인 컬러들에 대한 컬러 공간 값 및 상기 화상 전반의 개별적인 컬러 분산의 값을 포함하는 컬러 화상 검색 방법.
제1항에 있어서,

저장된 화상들에 대한 상기 기술자들은, 상기 화상에 대한 지배적인 컬러들로서 2개 이상의 컬러들을 선택하고, 각 지배적인 컬러들에 대해, 상기 지배적인 컬러와 비교하여 컬러 공간에서의 상기 화상의 컬러 분포의 분산을 계산하며, 각 대표 컬러의 상기 컬러 공간 값 및 상기 개별적인 컬러 분산의 값의 관점에서 상기 이미지를 표시함으로써 도출되는 컬러 화상 검색 방법.
제1항에 있어서,

질의를 입력하는 단계는,

질의 화상을 선택하거나 입력하는 단계, 및

상기 화상에 대한 지배적인 컬러들로서 2개 이상의 컬러들을 선택하고, 각 대표 컬러들에 대해, 상기 지배적인 컬러와 비교하여 컬러 공간에서의 상기 화상의 컬러 분포의 분산을 계산하며, 각 지배적인 컬러의 상기 컬러 공간 값 및 상기 개별적인 컬러 분산의 값의 관점에서 상기 이미지를 표시함으로써 상기 화상에 대한 기술자를 획득하는 단계

를 포함하는 컬러 화상 검색 방법.
제2항 또는 제3항에 있어서,

상기 저장된 화상 또는 질의 화상에 대한 지배적인 컬러들을 선택하는 상기 단계는 상기 영역에 대한 컬러 히스토그램을 도출하는 단계를 포함하는 컬러 화상 검색 방법.
제4항에 있어서,

대표 컬러들을 선택하는 상기 단계는 상기 컬러 히스토그램에서 국부적인 피크들을 식별하는 단계 및 대응하는 컬러들을 대표 컬러들로서 선택하는 단계를 포함하는 컬러 화상 검색 방법.
제2항 내지 제5항 중 어느 한 항에 있어서,

상기 화상의 영역을 선택하는 단계를 포함하고,

상기 대표 컬러들 및 분산들은 상기 영역에 대해 선택 및 계산되는 컬러 화상 검색 방법.
제6항에 있어서,

상기 화상 영역은 객체에 대응하는 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 있어서,

상기 컬러 값들은 복수의 컬러 성분의 관점으로 표현되고, 상기 방법은 각 컬러 성분에 대한 컬러 분산을 계산하는 단계를 포함하는 컬러 화상 검색 방법.
제8항에 있어서,

컬러 성분들의 쌍들에 대한 컬러 공분산들을 계산하는 단계를 포함하는 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 있어서,

상과 화상 영역에서 상기 지배적인 컬러의 상대적인 중요성을 나타내는 각 지배적인 컬러에 대한 가중치를 계산하는 단계를 포함하는 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 있어서,

상기 매칭 함수는
에 기초하며,

q는 질의에 대응하는 컬러 벡터이고 m 및 C는 대표 컬러에 대한 컬러 분포의 제1 및 제2 중앙 모멘트들을 표시하는 기술자 값들인 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 있어서,

상기 매칭 함수는
에 기초하고,

여기서,

이며 m 및 C는 대표 컬러에 대한 컬러 분포들에 대한 제1 및 제2 중앙 모멘트들을 표시하는 기술자 값들이고, v 및 w는 가중치들이고, i, j, a 및 b는 비교되는 상기 기술자들에 대한 하위 분포들(sub-distributions)의 인덱스인 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 있어서,

상기 매칭 함수는

에 기초하며,

여기서,

이고

이며

D는 유사성 측정이고;

F₁는 제1 기술자를 표시하고;

F₂는 제2 기술자를 표시하고;

i 및 j는 대표 컬러들의 인덱스이고;

x 및 y는 기술자들의 인덱스이고;

N₁은 제1 기술자에서의 대표 컬러들의 수이고;

N₂은 제2 기술자에서의 대표 컬러들의 수이고;

P_1i는 제1 기술자에서의 i번째 가중치이고;

P_2j는 제2 기술자에서의 j번째 가중치이고;

l, u 및 v는 컬러 성분들을 표시하며;

c 및 v는 각각 지배적 컬러값들(평균값들) 및 분산들인 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 있어서,

질의를 입력하는 단계는 단일 컬러 값을 선택하는 단계를 포함하는 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 있어서,

상기 컬러 공간의 상기 성분들 중 단지 일부만을 사용해서 질의를 입력하는 컬러 화상 검색 방법.
선행 청구항들 중 어느 한 항에 기재된 방법을 구현하도록 구성된 장치.
제1항 내지 제15항 중 어느 한 항에 기재된 방법을 수행하도록 프로그램된 제어 디바이스.
제17항에 기재된 제어 디바이스를 포함하는 장치.
화상을 검색하기 위한 시스템으로서,

적어도 하나의 화상을 입력하는 입력 디바이스;

상기 입력 화상에 대한 적어도 2개의 지배적인 컬러들 또는 상기 입력 화상의 영역을 결정하는 검출기;

상기 화상 또는 화상 영역 내의 화소들에 기초하여 컬러 기술자들을 형성하기 위해 각 지배적인 컬러에 대하여 컬러 분산을 결정하는 제어기; 및

적어도 하나의 실질적으로 매칭하는 화상을 찾기 위해 상기 입력 화상에 대한 상기 컬러 기술자를 메모리 내에 저장된 픽셀에 대한 컬러 기술자와 비교하는 비교기

를 포함하는 화상 검색 시스템.
복수의 실행가능한 명령어가 저장된 머신-판독가능한 매체로서,

상기 복수의 명령어는,

적어도 하나의 화상을 포함하는 입력을 수신하고,

상기 입력 화상 또는 상기 입력 화상의 영역에 대한 적어도 2개의 지배적인 컬러들을 결정하고;

상기 화상 또는 화상 영역 내의 픽셀들에 기초하여 컬러 기술자들을 생성하기 위해 각 지배적인 컬러에 대하여 컬러 분산을 결정하고;

적어도 하나의 실질적으로 매칭하는 화상을 찾기 위해 상기 입력 화상에 대한 상기 컬러 기술자를 메모리 내에 저장된 화상에 대한 컬러 기술자와 비교하고; 및

상기 적어도 하나의 실질적으로 매칭하는 화상을 표시하는

명령어들을 포함하는 머신-판독가능한 매체.
컬러 화상을 표시하는 방법으로서,

상기 화상의 영역을 선택하는 단계;

상기 영역에 대한 대표 컬러들로서 하나 이상의 컬러들을 선택하는 단계; 및

2개 이상의 대표 컬러들을 갖는 영역에 있어서, 각 대표 컬러에 대해 상기 개별적인 대표 컬러와 관련하여 컬러 분포에 관한 적어도 2개의 파라미터들을 계산하고 상기 파라미터들을 사용하여 상기 화상 영역에 대한 기술자들을 도출하는 단계

를 포함하는 컬러 화상 표시 방법.