KR20070079330A - 표시 제어장치 및 방법, 컴퓨터 프로그램, 및 기록 매체 - Google Patents

Abstract

표시 제어장치는 선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 계산 수단과, 유사한 순서에 따라 상기 제 2의 화상의 표시를 제어하는 표시 제어 수단과, 사용자의 지시에 따라, 유사한 순서대로 표시된 복수의 상기 제 2의 화상으로부터 1개의 상기 제 2의 화상을 선택하는 선택 수단을 구비한다. 상기 표시 제어 수단은, 1개의 상기 제 2의 화상이 선택되었을 경우, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상을, 상기 그룹에 있어서의 소정의 순서대로 표시되도록, 상기 제 2의 화상 및 상기 제 3의 화상의 표시를 제어한다.

Description

표시 제어장치 및 방법, 컴퓨터 프로그램, 및 기록 매체{Display control apparatus, display control method, computer program, and recording medium}

도 1은, 본 발명의 일실시의 형태의 화상 처리 시스템의 구성을 나타내는 도면이다.

도 2는, 디지털 스틸 카메라의 구성의 예를 나타내는 블럭도이다.

도 3은, 서버의 구성의 예를 나타내는 블럭도이다.

도 4는, 컴퓨터 프로그램을 실행하는 마이크로 프로세서부(MPU)에 의해 실현되는 기능의 구성을 나타내는 도면이다.

도 5는, 컴퓨터 프로그램을 실행하는 중앙처리부(CPU)에 의해 실현되는 기능의 구성을 나타내는 도면이다.

도 6은, 화상 해석부의 구성의 예를 나타내는 블럭도이다.

도 7은, 촬영의 처리를 설명하는 플로차트이다.

도 8은, 본화상과 축소 화상과의 관계부를 나타내는 도면이다.

도 9는, 백업의 처리를 설명하는 플로차트이다.

도 10은, 화상 해석의 처리를 설명하는 플로차트이다.

도 11은, 색히스토그램의 생성을 설명하는 도면이다.

도 12는, 수직 성분 히스토그램 및 수평 성분 히스토그램의 생성을 설명하는 도면이다.

도 13a와 도 13b는, 수직 성분 히스토그램 및 수평 성분 히스토그램의 생성을 설명하는 도면이다.

도 14는, 화상의 백업과 메타 데이터 오버라이팅을 설명하는 도면이다.

도 15는, 메타 데이터의 구체적인 예를 나타내는 도면이다.

도 16은, 콘텐츠 데이터베이스 또는 콘텐츠 데이터베이스에 기록되어 있는 메타 데이터의 구성을 나타내는 도면이다.

도 17은, 콘텐츠 데이터베이스에 기록되어 있는 메타 데이터 및 유사 특징 데이터베이스에 기록되어 있는 메타 데이터의 구조를 나타내는 도면이다.

도 18은, 유사 특징 아이템의 구조를 나타내는 도면이다.

도 19는, 화상의 취득의 처리를 설명하는 플로차트이다.

도 20은, 화상의 취득과 메타 데이터의 오버라이팅을 설명하는 도면이다.

도 21은, 검색의 처리를 설명하는 플로차트이다.

도 22는, 디지털 스틸 카메라 및 서버에 대해서 공통되는 메타 데이터와 화상과의 관계를 설명하는 도면이다.

도 23은, 검색의 처리를 설명하는 플로차트이다.

도 24는, 축소 화상의 표시의 예를 나타내는 도면이다.

도 25는, 축소 화상의 표시의 예를 나타내는 도면이다.

도 26은, 유사한 화상의 검색의 처리를 설명하는 플로차트이다.

도 27은, 메타 데이터 및 거리의 구조를 나타내는 도면이다.

도 28은, 콘텐츠 데이터베이스, 유사 결과 데이터베이스, 및 시간 그룹 데이터베이스의 각각의 레코드의 관계를 나타내는 도면이다.

도 29는, 유사한 순서의 표시를 나타내는 도면이다.

도 30은, 유사한 순서의 표시와 시계열의 표시와의 변환을 설명하는 도면이다.

도 31은, 검색의 처리를 설명하는 플로차트이다.

도 32는, 유사한 순서의 표시와 시계열의 표시와의 변환을 설명하는 도면이다.

도 33은, 색특징 추출부를 나타내는 블럭도이다.

도 34는, 관련도 추출부와 대응하는 부분에 기록되어 있는 대응 정보를 나타내는 도면이다.

도 35는, 추출 특징 보관 유지부에 기록되는 관련도의 논리 구조를 나타내는 도면이다.

도 36은, 색특징 추출의 처리의 상세를 설명하는 플로차트이다.

도 37은, 관련도 추출의 처리의 상세를 설명하는 플로차트이다.

도 38은, RGB의 색공간(color space)을 나타내는 도면이다.

도 39는, L*a*b*공간을 나타내는 도면이다.

도 40은, 흰색의 서브 공간 및 흑색의 서브 공간의 예를 나타내는 도면이다.

도 41은, 채도 경계 및 휘도 경계의 예를 나타내는 도면이다.

도 42는, 녹, 청, 적, 및 황색의 각각의 서브 공간의 예를 나타내는 도면이 다.

도 43은, 관련도 추출 처리의 상세한 다른 예를 설명하는 플로차트이다.

도 44는, 관련도 추출 처리의 상세한 또 다른 예를 설명하는 플로차트이다.

도 45는, 판단 데이터의 예를 나타내는 도면이다.

도 46은, 관련도 추출 처리의 상세한 다른 예를 설명하는 플로차트이다.

도 47은, 검색의 처리를 설명하는 플로차트이다.

도 48은, 검색에 있어서의 GUI의 화상의 예를 나타내는 도면이다.

도 49a-도 49d는, 검색처리된 화상의 예를 나타내는 도면이다.

본 발명은 2006년 2월 1일 일본 특허청에 제출된 일본특허 JP 2006-024186호에 기재된 주제와 관련되며, 그 전체 내용은 참조로서 여기에 포함되어 있다.

본 발명은 표시 제어장치 및 방법, 컴퓨터 프로그램, 및 기록 매체에 관한 것이며, 특히, 소망하는 화상을 표시하기 위한 표시 제어장치 및 방법, 컴퓨터 프로그램, 및 기록 매체에 관한 것이다.

일본 미심사 특허 출원 공보 2005－269605호는 유사 화상을 검색하여, 열람하는 기술을 제안하고 있다.

유사 화상이 단순히 검색되고 열람된다면, 이용자는 유사 순서대로 화상을 볼 수만 있게 된다. 인간의 기억의 지배적인 요소인 시간의 흐름과는 달리 화상 들이 표시된다. 결과적으로, 이용자는 소망하는 화상을 실제 사용가능한 방법에 의해 검색하지 못하게 된다.

여러가지 그룹화된 윈도우들이 한 번에 표시된다면, 작은 표시 화면을 가지는 디지털 스틸 카메라는 한 번에 모든 윈도우를 표시할 수 없다.

유사 화상은 통계 수법을 이용하여 계산된 유사성에 근거하여 검색된다. 인간이 유사하다고 생각하는 화상이 반드시 통계학적으로 유사하다고 여겨지는 것은 아니다. 유사한 화상 검색 기술을 이용하여 동일한 데이터에 대해서 다른 조명으로 다른 각도에서, 촬영한 화상을 검색하는 것은 곤란했다.

그러므로, 단순한 조작으로, 소망하는 화상을 표시하는 것이 바람직하다.

본 발명의 한 실시예에 따르면, 표시 제어장치는 선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 계산 수단과, 유사한 순서에 따라 상기 제 2의 화상의 표시를 제어하는 표시 제어 수단과, 사용자의 지시에 따라, 유사한 순서대로 표시된 복수의 상기 제 2의 화상으로부터 1개의 상기 제 2의 화상을 선택하는 선택 수단을 구비한다. 상기 표시 제어 수단은, 1개의 상기 제 2의 화상이 선택되었을 경우, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상을, 상기 그룹에 있어서의 소정의 순서대로 표시되도록, 상기 제 2의 화상 및 상기 제 3의 화상의 표시를 제어한다.

상기 표시 제어 수단은, 상기 제 2의 화상이 선택되었을 경우, 촬영된 시각의 순서에 따라 상기 제 2의 화상 및 상기 제 3의 화상이 표시되도록, 상기 제 2의 화상 및 상기 제 3의 화상의 표시를 제어한다.

상기 계산 수단은, 상기 제 1의 화상 및 상기 제 2의 화상의 색이 감소되는 소정의 수의 각각의 발생 빈도를 나타내는 히스토그램에 근거하여, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산한다.

상기 계산 수단은, 상기 히스토그램에 있어서의 각 색의 발생 빈도를 요소로 하는 벡터의 거리가 되는, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산한다.

상기 계산 수단은, 상기 제 1의 화상 및 상기 제 2의 화상의 각각을 분할해서 되는 소정의 수의 블록에 있어서의 최대 주파수 성분의 발생 빈도를 나타내는 히스토그램을 기본으로 하여, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산한다.

상기 계산 수단은, 상기 히스토그램에 있어서의 화상의 주파수의 각 성분의 발생 빈도를 요소로 하는 벡터의 거리가 되는, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산한다.

상기 계산 수단은, 상기 제 1의 화상 및 상기 제 2의 화상의 각각의 특징량이며, 데이터베이스에 기록되어 있는 특징량을 기본으로 하여, 선택된 상기 제 1의 화상에 대한 복수의 상기 제 2의 화상의 유사한 정도를 계산한다.

상기 표시 제어 수단은, 사용자의 지시에 따라, 상기 제 1의 화상에 대한 유사한 순서대로 상기 제 2의 화상의 표시와, 상기 그룹에 속하는 상기 제 3의 화상 및 상기 제 2의 화상을 소정의 순서대로 표시하는 것이 절환되도록, 상기 제 2의 화상 및 상기 제 3의 화상의 표시를 제어한다.

본 발명의 한 실시예에 따르면, 표시 제어 방법은 선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 스텝과, 유사한 순서대로 표시된 상기 복수의 제 2의 화상으로부터, 사용자의 지시에 따라, 1개의 상기 제 2의 화상을 선택하는 스텝과, 1개의 상기 제 2의 화상이 선택되었을 경우, 상기 제 3의 화상 및 상기 제 2의 화상이 소정의 순서대로 표시되도록, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상의 표시를 제어하는 스텝을 포함한다.

본 발명의 한 실시예에 따르면, 컴퓨터에 의해 실행시키는 컴퓨터 프로그램은 선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 스텝과, 유사한 순서대로 표시된 상기 복수의 제 2의 화상으로부터, 사용자의 지시에 따라, 1개의 상기 제 2의 화상을 선택하는 스텝과, 1개의 상기 제 2의 화상이 선택되었을 경우, 상기 제 3의 화상 및 상기 제 2의 화상이 소정의 순서대로 표시되도록, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상의 표시를 제어하는 스텝을 포함한다.

본 발명의 한 실시예에 따르면, 기록매체는 컴퓨터 프로그램을 기록한다.

본 발명의 한 실시예에 따르면, 선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도가 계산되며, 유사한 순서에 따라 상기 제 2의 화상이 표시되도록 제어되며, 사용자의 지시에 따라, 유사한 순서대로 표시된 복수의 상기 제 2의 화상으로부터 1개의 상기 제 2의 화상이 선택된다. 1개의 상기 제 2의 화상이 선택되었을 경우, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상이, 상기 그룹에 있어서의 소정의 순서대로 표시되도록 제어된다.

유사 순서대로 화상을 표시할 수 있다.

보다 적은 조작으로, 신속히 소망하는 화상을 표시할 수 있다.

본 발명의 실시의 형태를 설명하기 이전에, 본 발명의 청구항의 구성 요건과 본 명세서 또는 도면에 기재된 구성 요소들간의 대응 관계를 기술한다. 이 기재는, 본 발명을 지지하는 실시의 형태가, 명세서 또는 도면에 기재되어 있다는 것을 확인하기 위한 것이다. 따라서, 명세서 또는 도면에서 다음의 실시예의 구성 요소가 본 발명의 어느 특징과 관련되는 것으로 기재되어 있지 않더라도, 그것은 그 구성요소가 청구항의 어느 특징과 관련이 없는 것을 의미하는 것은 아니다. 반대로, 한 개의 구성요소가 청구항의 어느 특징과 관련이 있는 것으로 기재되어 있더라도, 그것은 그 구성요소가 청구항의 다른 특징과 관련이 없다는 것을 의미하는 것은 아니다.

본 발명의 한 실시예에 따르면, 표시 제어장치는, 선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 계산 수단(예를 들면, 도 4의 거리계산부 : 121)과, 유사한 순서대로 제 2의 화상의 표시하는 단계를 제어하는 표시 제어 수단(예를 들면, 도 4의 표시 제어부 : 106)과, 사용자의 지시에 따라, 유사한 순서대로 표시된 복수의 제 2의 화상으로부터, 1개의 제 2의 화상을 선 택하는 선택 수단(예를 들면, 도 4의 검색부 : 107)을 구비한다. 표시 제어 수단은, 1개의 제 2의 화상이 선택되었을 경우, 선택된 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 제 2의 화상이 그 그룹에 있어서의 소정의 순서대로 표시되도록, 제 2의 화상 및 제 3의 화상의 표시를 제어한다.

본 발명의 한 실시예에 따르면, 표시 제어 방법 및 컴퓨터 프로그램중 하나는 선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하며(예를 들면, 도 26의 스텝 : S135), 유사한 순서대로 제 2의 화상을 표시하는 단계를 제어하며(예를 들면, 도 23의 스텝 : S104), 사용자의 지시에 따라, 유사한 순서대로 표시된 복수의 제 2의 화상으로부터, 1개의 제 2의 화상을 선택하며(예를 들면, 도 23의 스텝 : S105), 1개의 제 2의 화상이 선택되었을 경우, 선택된 제 2의 화상이 속하는 그룹에 속하는 제3의 화상 및 제 2의 화상이 그룹에 있어서의 소정의 순서대로 표시되도록 제 2의 화상 및 제 3의 화상의 표시를 제어하는(예를 들면, 도 23의 스텝 : S110)스텝을 포함한다.

도 1은, 본 발명의 일실시의 형태의 화상 처리 시스템의 구성을 나타내는 도면이다. 쵤영 기기의 일례인 디지털 스틸 카메라(11)는, 화상을 촬영하고, 촬영한 화상을 화상 처리 장치의 일례인 서버(13)에 공급한다. 촬영 기기의 다른 일례인 휴대 전화기(12)는, 화상을 촬영하고, 촬영한 화상을 서버(13)에 공급한다. 이 경우, 디지털 스틸 카메라(11) 및 휴대 전화기(12)는, 촬영한 화상으로부터, 그 화상을 축소한 축소 화상을 생성한다.

디지털 스틸 카메라(11), 휴대 전화기(12), 그리고 서버(13)는, 표시 제어장 치의 일례이기도 하다.

서버(13)는, 퍼스널 컴퓨터, 비휴대형의 레코더, 게임기기와 전용 기기를 포함하며, 디지털 스틸 카메라(11) 또는 휴대 전화기(12)로부터 공급된 화상을 기록한다. 서버(13)는, 디지털 스틸 카메라(11)와 휴대 전화기(12)로부터 공급된 화상을 화상 처리하고, 화상의 특징을 추출한다. 서버(13)는, 처리 결과로서 얻어지는 데이터를 디지털 스틸 카메라(11)와 휴대 전화기(12)에 공급한다.

서버(13)는, 네트워크(14)를 통해 웹 서버(15-1)와 웹 서버(15-2)로부터 화상을 취득하고, 취득한 화상을 기록한다. 서버(13)는, 웹 서버 (15-1)와 웹 서버(15-2)로부터 취득한 화상을 화상 처리하며, 취득한 화상으로부터, 그 화상을 축소한 축소 화상을 생성한다. 서버(13)는, 화상 처리의 결과로서 얻어지는 데이터를, 축소 화상과 함께 디지털 스틸 카메라(11)와 휴대 전화기(12)에 공급한다.

디지털 스틸 카메라(11)와 휴대 전화기(12)는, 서버(13)로부터 공급되고, 화상 처리의 결과로서 얻어지는 데이터를 기본으로 하여, 기록된 화상으로부터 소망하는 화상을 검색한다. 또한, 서버(13)는, 화상 처리의 결과로서 얻어지는 데이터를 기본으로 하여, 기록된 화상중 소망하는 화상을 검색한다.

디지털 스틸 카메라(11), 휴대 전화기(12), 및 서버(13)의 각각은 화상 처리의 결과로서 얻어지는 데이터를 기본으로 하여 화상을 검색하므로, 소망하는 화상을 동일한 방식으로 검색할 수 있다.

도 2는, 디지털 스틸 카메라(11)의 구성을 나타내는 블록도이다. 디지털 스틸 카메라(11)는, 촬영 렌즈(31), 조리개(stop : 32), 촬상 기기( 33), 아날로그 신호 처리부(34), A/D(Analog to Digital)컨버터(35), 디지털 신호 처리부(36), MPU(Micro Processing Unit)(37), 메모리(38), D/A(Digital to Analog)컨버터(39), 모니터(40), 압축 신장부(41), 카드 I/F(인터페이스)(42), 메모리 카드(43), AF(auto focus) 모터 및 줌 모터 (44), 제어 회로(45), EEPROM(Electrically Erasable Programmable Read Only Memory)(46), 통신부(47), 통신부(48), 및 입력부(49)를 포함한다.

촬영 렌즈(31)는, 조리개(32)를 통해 피사체의 광학적인 상을 촬상 기기(33)의 수광면에 결상시킨다(focus). 촬영 렌즈(31)는, 최소한 한 개의 렌즈로 구성된다. 촬영 렌즈(31)는, 단초점 렌즈 또는 줌 렌즈와 같은 가변 초점 형태가 될 수 있다.

조리개(32)는, 촬상 기기(33)의 수광면에 결상되는 광학적인 상의 광량을 조정한다. 촬상 기기(33)는, CCD(Charge Coupled Device) 또는 CMOS(complementary metal oxide semiconductor)센서중 한 개를 포함하며, 수광면에 결상한 광학적인 상을 전기신호로 변환한다. 촬상 기기(33)는, 변환에 의해 얻어지는 전기신호를 아날로그 신호 처리부(34)에 공급한다.

아날로그 신호 처리부(34)는, 샘플링 홀드 회로, 색분리 회로, 게인 조정 회로 등을 포함한다. 아날로그 신호 처리부(34)는, 촬상 기기 (33)로부터의 전기신호에 대해 상관 이중 샘플링(correlated double sampling)(CDS) 처리를 실행함과 동시에, 전기신호를 R, G, B의 각 색신호 로 분리하고, (백색 균형 처리(white balance process)에서)각 색신호의 신호 레벨을 조정한다. 아날로그 신호 처리 부(34)는, 색신호를 A/D컨버터 (35)에 공급한다.

A/D컨버터(35)는, 색신호의 각각을 디지털 신호로 변환하고, 그 디지털 신호를 디지털 신호 처리부(36)에 공급한다.

디지털 신호 처리부(36)는, 휘도 및 색 차이 신호 생성 회로, 샤프니스(sharpness) 보정 회로, 콘트라스트 보정 회로, 화이트 밸런스 보정 회로등을 포함한다. 디지털 신호 처리부(36)는, MPU(37)의 제어에 근거하여, 디지털 신호를, 휘도 신호(Y신호) 및 색 차이 신호(Cr, Cb신호)로 변환한다. 디지털 신호 처리부(36)는, 처리된 디지털 신호를 메모리(38)에 공급한다.

MPU(37)는, 내장형 프로세서이며, 일반적으로 컴퓨터 프로그램을 실행하여 디지털 스틸 카메라(11)를 제어한다.

메모리(38)는, DRAM(Dynamic Random Access Memory)을 포함한다. 메모리(38)는 MPU(37)의 제어에 근거하여, 디지털 신호 처리부(36)로부터 공급된 디지털 신호를 일시적으로 기억한다. D/A컨버터(39)는, 메모리 (38)로부터 디지털 신호를 읽어내고, 읽어낸 디지털 신호를 아날로그 신호로 변환하고, 모니터(40)에 공급한다.

LCD(Liquid Crystal Display) 또는 유기 EL(Electro Luminescence) 디스플레이와 같은 모니터(40)는, D/A 컨버터(39)로부터 공급된 아날로그 신호에 응답하여 화상을 표시한다.

촬상 기기(33)로부터 출력되는 전기신호는 메모리(38)의 디지털 신호를 정기적으로 갱신하며, 갱신된 디지털 신호로부터 생성되는 아날로그 신호가 모니터(40) 에 공급된다. 결과적으로, 촬상 기기(33)에 결상되는 화상이 실시간으로 모니터(40)에 표시된다.

모니터(40)는 GUI(Graphical User Interface)의 화상을 화면에 표시한다. 이러한 목적을 위해, MPU(37)는, GUI의 화상을 표시하기 위한 화상 데이터를 메모리(38)에 기입하고, D/A컨버터(39)를 통해 화상 데이터를 아날로그 신호에 변환시키고, 모니터(40)에, 그 아날로그 신호에 근거하여 GUI의 화상을 표시한다.

압축 신장부(41)는, MPU(37)의 제어에 근거하여, 메모리(38)에 기억되어 있는 디지털 신호를 JPEG(Joint Photographic Experts Group) 또는 JPEG2000등의 방식으로 인코드한다.

압축 신장부(41)는, 인코드된 화상 데이터를, 카드 I/F(인터페이스) (42)를 통해 메모리 카드(43)에 공급한다.

메모리 카드(43)는, 반도체 메모리 또는 HDD(Hard Disk Drive)를 포함하며, 디지털 스틸 카메라(11)에 탈착식으로 장착되어 있다. 디지털 스틸 카메라(11)에 장착되어 있는 경우, 메모리 카드(43)는, 카드 I/F(42)와 전기적으로 접속한다. 메모리 카드(43)는, 카드 I/F(42)로부터 공급되는 화상 데이터를 기록한다.

카드 I/F(42)는, MPU(37)로부터의 지령에 따라, 전기적으로 접속되어있는 메모리 카드(43)에 대한 화상 데이터의 기록, 및 메모리 카드(43)로부터의 화상 데이터의 읽기를 제어한다.

메모리 카드(43)에 기록되어 있는 화상 데이터는, 카드 I/F(42)를 통해 판독되고 압축 신장부(41)에 의해 디지털 신호로 복호된다.

AF모터 및 줌 모터(44)는, 제어 회로(45)에 의해서 구동되어 촬영 렌즈(31)의 초점이나 촛점거리를 변경하기 위해, 촬상 기기(33)에 대해서 촬영 렌즈(31)를 이동시킨다.

제어 회로(45)는, MPU(37)로부터의 지령에 따라, AF모터 및 줌 모터 (44)를 구동하는 동시에, 조리개(32)와 촬상 기기(33)를 제어한다.

EEPROM(46)은, MPU(37)에 의해 실행되는 컴퓨터 프로그램과 각종의 데이터를 기억한다.

통신부(47)는, USB(Universal Serial Bus) 또는 IEEE(Institute of Electrical and Electronic Engineers)1394와 같은 표준 규격을 만족시키며 유선 전송 매체를 통해 서버(13)와 각종의 데이터를 송수신한다.

통신부(48)는, IEEE802.11a, IEEE802.11b, 혹은 IEEE802.11g, 또는 블루투스(Bluetooth)와 같은 표준 규격을 만족시키며 무선 전송 매체를 통해 서버(13)와 각종의 데이터를 송수신한다.

입력부(49)는, 스윗치, 버튼과 터치 패널을 포함하며 사용자에 의한 조작입력에 대응하는 신호를 MPU(37)에 공급한다.

상술한 바와 같이, 메모리 카드(43)는 화상 데이터를 기록한다. 기록된 화상 데이터를 가지는 매체는, 반도체 메모리 또는 자기 디스크로 한정되는 것이 아니고, 그 매체는 광디스크, 광학 자기 디스크증 어느 것이 될 수 있다. 또한, 전자적, 자기적, 광학적, 혹은 양자역학적, 또는 이러한 조합에 의해 데이터가 기록 및 판독되는 것은 매체로서 이용할 수 있다. 이러한 매체는, 디지털 스틸 카메라(11)에 내장될 수 있다.

화상 데이터를 단지 화상이라고도 칭한다.

도 3은, 서버(13)의 구성의 예를 나타내는 블록도이다. CPU(Central Processing Unit)(71)는, ROM(Read Only Memory)(72), 또는 기억부(78)에 기억되어 있는 컴퓨터 프로그램의 제어에 따라 각종의 처리를 실행한다. RAM(Random Access Memory)(73)은 CPU(71)가 실행하는 컴퓨터 프로그램과 데이터를 기록한다. 이러한 CPU(71), ROM(72) 및 RAM(73)은, 버스(74)에 의해 서로 접속되어 있다.

CPU(71)는 버스(74)를 통해 입출력 인터페이스(75)에 접속되어 있다.입출력 인터페이스(75)에는, 키보드, 마우스, 마이크로폰 등으로 구성되는 입력부(76), 디스플레이, 스피커로 구성되는 출력부(77)가 접속되어 있다. CPU(71)는, 입력부(76)로부터 입력되는 지령에 대응하여 각종의 처리를 실행한다. CPU(71)는, 처리의 결과를 출력부(77)에 출력한다.

입출력 인터페이스(75)에 접속되어 있는 기억부(78)는, 예를 들면 하드 디스크를 포함하며, CPU(71)가 실행하는 컴퓨터 프로그램과 데이터를 기억한다.통신부(79)는, USB 또는 IEEE1394와 같은 표준 규격을 만족시키며 유선 전송 매체를 통해, 디지털 스틸 카메라(11)와 휴대 전화기(12)로 각종의 데이터를 송수신하거나, 또는, IEEE802.11a, IEEE802.11b, 혹은 IEEE802.11g, 또는 블루투스(Bluetooth)와 같은 표준 규격을 만족시키며 무선 전송 매체를 통해, 디지털 스틸 카메라(11)와 휴대 전화기(12)로 각종의 데이터를 송수신한다. 통신부(80)는, 인터넷이나 근거리 통신망과 같은 네트워크 (14)를 통해 웹 서버(15-1)와 웹 서버(15-2)중 한 서 버와 통신한다.

통신부(80)를 통해 컴퓨터 프로그램이 취득되고, 기억부(78)에 기록될 수 있다.

입출력 인터페이스(75)에 접속되어 있는 드라이브(81)는, 자기 디스크, 광디스크, 광학 자기 디스크, 혹은 반도체 메모리와 같음 탈착가능 매체(82)와 같이 장착되었을 때, 장착된 매체를 구동하여, 거기에 기록되어 있는 컴퓨터 프로그램과 데이터를 판독한다. 판독된 컴퓨터 프로그램과 데이터는, 필요에 따라 기억부(78)에 전송되어 기억된다.

도 4는, 컴퓨터 프로그램을 실행하는 MPU(37)의 기능을 나타내는 도면이다. MPU(37)는, 컴퓨터 프로그램을 실행하여, 촬영 제어부(101), 축소 화상 생성부(102), 메타 데이터 생성부(103), 엔트리 생성부(104), 기록 제어부(105), 표시 제어부(106), 검색부(107), 송신 제어부(108), 수신 제어부(109), 화상 보관 유지부(110), 콘텐츠 데이터베이스(111), 유사 특징 데이터베이스 (112), 유사 결과 데이터베이스(113), 시간 그룹 데이터베이스(114), 및 검색 결과 보관 유지부(115)를 실현한다.

촬영 제어부(101)는, 촬영 렌즈(31) 내지 디지털 신호 처리부(36) 및 메모리(38) 내지 제어 회로(45)를 제어하여, 디지털 스틸 카메라(11)에 있어서의 촬영을 제어한다. 촬영 제어부(101)는, 촬영한 화상을, 화상 보관 유지부(110)로서 기능하는 메모리 카드(43)의 기록 영역에 기록시킨다.

축소 화상 생성부(102)는, 촬영된 화상의 디지털 신호를 메모리(38)로부터 읽어내고, 촬영된 화상을 축소하여, 축소 화상을 생성한다. 생성된 축소 화상은, 카드 I/F(42)를 통해 메모리 카드(43)에 공급되어 화상 보관 유지부(110)로서 기능하는 메모리 카드(43)의 기록 영역에 기록된다.

촬영 제어부(101)의 제어에 근거하여, 화소의 수가 300만 내지 400만인 고해상도의 화상이 촬영된다. 축소 화상 생성부(102)는, 촬영된 화상으로부터, 디지털 스틸 카메라(11)로 열람하는데 적합한 640 화소×480 화소의 VGA(Video Graphics Array)의 화상 크기 또는 이것과 동등한 크기의 축소 화상을 생성한다.

축소 화상 생성부(102)는, 화상 보관 유지부(110)로부터 화상을 읽어내고, 읽어낸 화상을 축소하여 축소 화상을 생성할 수 있다.

축소 화상과 촬영된 화상을 구별하기 위해서, 촬영된 화상을 본화상이라고 칭한다. 축소 화상과 본화상을 구별할 필요가 없을 때, 단지 화상이라고 칭한다.

후술하는 바와 같이, 본화상과 축소 화상이란, 콘텐츠 데이터베이스 (111)에 기록되어 있는 데이터에 의해서 서로 서로에 대해서 매핑된다.

메타 데이터 생성부(103)는, 본화상에 대한 메타 데이터를 생성한다.예를 들면, 메타 데이터 생성부(103)는, JEIDA(Japanese Electronic Industry Development Association)에 의해서 규격화되어 있는 EXIF(Exchangeable Image File Format) 방식에 의해 특정된 포맷으로 기록되는 메타 데이터를 생성한다.

엔트리 생성부(104)는, 데이터베이스 매니지먼트 시스템(Database Management System)으로서 구성되며, 본화상이 촬영되었을 때, 본화상 및 축소 화 상의 엔트리를 생성한다. 생성된 엔트리는, 콘텐츠 데이터베이스 (111)에 기록된다.

기록 제어부(105)는, 본화상 및 축소 화상의 화상 보관 유지부(110)에 대한 기록을 제어한다.

표시 제어부(106)는, 축소 화상 및 GUI의 화상의 모니터(40)에 대한 표시를 제어한다.

검색부(107)는, 콘텐츠 데이터베이스(111), 유사 특징 데이터베이스 (112), 유사 결과 데이터베이스(113), 또는 시간 그룹 데이터베이스(114)에 기록되어 있는 데이터를 기본으로 하여, 화상 보관 유지부(110)에 기록되어 있는 축소 화상 또는 본화상으로부터 소망하는 축소 화상 또는 본화상을 검색한다. 검색부(107)는, 검색의 결과에 대응하는 데이터를 검색 결과 보관 유지부(115)에 기록한다.

검색부(107)는 거리계산부(121)를 포함한다. 거리계산부(121)는 유사 특징 데이터베이스(112)에 기록되어 있는 화상의 특징을 나타내는 데이터로부터, 2개의 화상의 유사한 정도를 나타내는 거리를 계산한다. 거리계산부(121)는, 계산한 거리를 유사 결과 데이터베이스(113)에 기록한다.

송신 제어부(108)는, 통신부(47)를 제어하고, 통신부(47)에 의해 본화상 또는 축소 화상을 서버(13)로 송신하는 것을 제어한다. 수신 제어부(109)는, 통신부(47)를 제어하고, 통신부(47)에 의해 서버(13)로부터 송신되어 오는 화상의 특징의 수신을 제어한다. 화상의 특징은 서버(13)를 통해 각종의 화상처리를 이용하여 얻어진다.

화상 보관 유지부(110)는, 메모리 카드(43)의 기록 공간에 구축되며, 본화상 또는 축소 화상을 기록한다.

콘텐츠 데이터베이스(111), 유사 특징 데이터베이스(112), 유사 결과 데이터베이스(113), 및 시간 그룹 데이터베이스(114)는, 메모리 카드(43)의 소정의 기록 공간 및 각각의 데이터베이스 매니지먼트 시스템으로 구성된다.

콘텐츠 데이터베이스(111)는, 각 화상을 특정하는 데이터 및 이에 대응하는 화상의 각종의 메타 데이터를 저장한다. 유사 특징 데이터베이스 (112)는, 서버(13)에 있어서의 화상의 화상 처리의 결과로서 얻어지는 화상의 특징을 나타내는 데이터를 저장한다.

유사 결과 데이터베이스(113)는, 검색부(107)의 거리계산부(121)에 의해 계산된 2개의 화상의 유사한 정도를 나타내는 거리를 저장한다.

시간 그룹 데이터베이스(114)는, 사용자가 화상을 그룹으로 분류했을 경우에, 각각의 그룹에 속하는 화상을 특정하는 정보를 저장한다.

검색 결과 보관 유지부(115)는, 검색의 결과로서 데이터를 기록한다. 예를 들면, 검색 결과 보관 유지부(115)는, 가중치에 대응하는 색을 가지는 화상의 검색 결과를 저장한다. 검색 작업은 각 화상이 특정한 색의 이름으로 판단되는 관련도와 사용자로부터의 조작에 따라 입력된 색의 이름으로 나타내지는 색의 가중치에 따라 실행되었다.

관련도의 자세한 것은, 후술한다.

도 5는, 컴퓨터 프로그램을 실행하는 CPU(71)의 기능을 나타내는 도면이다. CPU(71)는, 컴퓨터 프로그램을 실행하여, 화상 해석부(131), 축소 화상 생성부 (132), 메타 데이터 생성부(133), 엔트리 생성부(134), 기록 제어부(135), 표시 제어부(136), 검색부(137), 송신 제어부(138-1) 및 송신 제어부(138-2), 수신 제어부(139-1) 및 수신 제어부(139-2), 화상 보관 유지부(140), 콘텐츠 데이터베이스(141), 유사 특징 데이터베이스(142), 유사 결과 데이터베이스(143), 시간 그룹 데이터베이스(144), 관련도 추출부 대응 보관 유지부(145), 추출 특징 보관 유지부(146), 및 검색 결과 보관 유지부 (147)를 실현한다.

화상 해석부(131)는 화상의 특징을 추출한다. 즉, 화상 해석부 (131)는, 각 화상에 화상 처리를 적용하고, 화상을 해석한다. 화상 해석부(131)는, 화상 처리의 결과로서 얻어지는 화상의 특징을 유사 특징 데이터베이스(142)와 송신 제어부(138-1)에 공급한다.

도 6은, 화상 해석부(131)의 구성을 나타내는 블록도이다. 화상 해석부(131)는, 얼굴 화상 검출부(161) 및 유사 특징량 추출부(162)로 구성된다.

얼굴 화상 검출부(161)는, 화상에 포함되는 얼굴의 화상에 관한 정보인 화상의 특징을 추출한다. 예를 들면, 얼굴 화상 검출부(161)는, 화상에 포함되는 얼굴의 화상의 수, 화상에 있어서의 얼굴의 화상의 위치, 얼굴의 화상의 크기, 또는 얼굴의 화상에 있어서의 얼굴의 방향을 추출한다.

유사 특징량 추출부(162)는, 화상의 유사한 정도를 결정하기 위해 화상의 특징량을 추출한다. 유사 특징량 추출부(162)는, 유사 특징 벡터 산출부(171) 및 색특징 추출부(172)로 구성된다. 유사 특징 벡터 산출부 (171)는, 2개의 화상의 유사한 정도가 계산되는 2개의 화상의 특징을 추출한다. 색특징 추출부(172)는 각 화소의 화상으로부터, 화상이 소정의 색의 이름에 의해서 판단되는 정도를 나타내는 관련도를 추출한다. 바꾸어 말하면, 색특징 추출부(172)는, 화상의 화소 가운데, 소정의 이름을 가지는 색으로 분류되는 화소의 수를 나타내는 특징을 추출한다.

도 5를 참조하면, 축소 화상 생성부(132)는, 수신 제어부(139-2)의 제어에 따라, 네트워크(14)를 통해 웹 서버(15-1)와 웹 서버(15-2)로부터 취득한 본화상을 축소하고, 축소 화상을 생성한다. 생성된 축소 화상은, 화상 보관 유지부(140)에 기록된다.

축소 화상 생성부(132)는, 화상 보관 유지부(140)로부터 화상을 읽어내고, 읽어낸 화상을 축소하고, 축소 화상을 생성할 수 있다.

메타 데이터 생성부(133)는, 본화상에 대한 메타 데이터를 생성한다.예를 들면, 메타 데이터 생성부(133)는, JEIDA에 의해서 규격화되어 있는 EXIF 방식의 데이터로서 저장되는 메타 데이터를 생성한다.

엔트리 생성부(134)는, 데이터베이스 매니지먼트 시스템으로서 구성되며, 수신 제어부(139-1)의 제어에 따라, 디지털 스틸 카메라(11)로부터 취득된 본화상의 엔트리를 생성한다. 엔트리 생성부(134)는, 수신 제어부(139-2)의 제어에 따라, 네트워크(14)를 통해 웹 서버(15-1)와 웹 서버(15-2)중 한 개의 서버로부터 본화상을 취득한다. 본화상으로부터 축소 화상이 생성되었을 경우, 본화상 및 축소 화상의 엔트리를 생성한다. 생성된 엔트리는, 콘텐츠 데이터베이스(141)에 저 장된다.

기록 제어부(135)는, 본화상 및 축소 화상의 화상 보관 유지부(140)에 대한 기록을 제어한다.

표시 제어부(136)는, 디스플레이가 되는 출력부(77)에 대한 본화상 및 GUI의 화상의 표시를 제어한다.

검색부(137)는, 콘텐츠 데이터베이스(141), 유사 특징 데이터베이스 (142), 또는 시간 그룹 데이터베이스(144)중 한 개에 저장된 데이터에 따라, 소망하는 본화상 또는 축소 화상을 위해 화상 보관 유지부(140)에 저장되어 있는 본화상 또는 축소 화상을 검색한다. 검색부(137)는, 추출 특징 보관 유지부(146)에 저장되어 있는 데이터에 따라, 소망하는 본화상 또는 축소 화상을 위해 화상 보관 유지부(140)에 저장되어 있는 본화상 또는 축소 화상을 검색한다. 검색부(137)는, 검색의 결과 데이터를 검색 결과 보관 유지부(147)에 저장한다.

검색부(137)는, 거리계산부(151)를 포함한다. 거리계산부(151)는 유사 특징 데이터베이스(142)에 저장되어 있는 화상의 특징을 나타내는 데이터로부터 2개의 화상의 유사한 정도를 나타내는 거리를 계산한다. 거리계산부(151)는, 계산한 거리를 유사 결과 데이터베이스(143)에 기록시킨다.

송신 제어부(138-1)는, 통신부(79)를 제어하여, 통신부(79)를 통해 화상 해석부(131)에서 화상 처리의 결과 얻어진 화상의 특징을 디지털 스틸 카메라(11)에 송신시킨다. 수신 제어부(139-1)는, 통신부(79)를 제어하여, 통신부(79)가, 디지털 스틸 카메라(11)로부터 송신되어 오는 본화상 및 축소 화상을 수신하도록 한 다. 송신 제어부(138-2)는, 통신부(80)를 제어한다. 송신 제어부(138-2)는, 통신부(80)를 통해 네트워크(14)를 통해, 화상의 요구를 웹 서버(15-1)와 웹 서버(15-2)중 한 서버로 송신시킨다. 수신 제어부(139-2)는, 통신부(80)를 제어하여, 통신부(80)가, 웹 서버(15-1)와 웹 서버(15-2)중 한 서버로부터 송신되어 오는 본화상과 축소화상을 수신하도록 한다.

화상 보관 유지부(140)는, 하드 디스크로 구성되는 기억부(78)의 기록 공간에 구축되며, 본화상 또는 축소 화상을 기록한다. 화상 보관 유지부(140)는 드라이브(81)에 장착되는, 자기 디스크, 광디스크, 광학 자기 디스크, 혹은 반도체 메모리와 같은 탈착가능 매체(82)의 기록 공간에 배치될 수 있다.

콘텐츠 데이터베이스(141), 유사 특징 데이터베이스(142), 유사 결과 데이터베이스(143) 및 시간 그룹 데이터베이스(144)는 기억부(78)의 소정의 기록 공간 및 각각의 데이터베이스 매니지먼트 시스템으로 구성된다.

콘텐츠 데이터베이스(141)는, 화상을 특정하는 데이터 및 그 데이터를 식별하기 위해 대응되는 각종의 메타 데이터를 저장한다. 유사 특징 데이터베이스(142)는, 화상 해석부(131)에 있어서의 화상의 화상 처리의 결과 얻어지는 화상의 특징을 나타내는 데이터를 저장한다.

유사 결과 데이터베이스(113)는, 검색부(137)의 거리계산부(151)에 의해 계산된 2개의 화상의 유사한 정도를 나타내는 거리를 저장한다.

시간 그룹 데이터베이스(144)는, 사용자가 화상을 그룹으로 분류했을 경우의, 각각의 그룹에 속하는 화상을 특정하는 정보를 저장한다.

관련도 추출부 대응 보관 유지부(145)는, 색특징 추출부(172)에 있어서의, 색의 이름과 색 마다 관련도를 추출하는 관련도 추출부(자세한 것은 도 33을 참조해 후술한다)와의 대응을 나타내는 대응 정보를 저장한다.

추출 특징 보관 유지부(146)는, 화상이 소정의 색의 이름에 의해서 판단되는 정도를 나타내는 관련도를 저장한다. 관련도는 색특징 추출부(172)에 의해 추출된다.

검색 결과 보관 유지부(147)는, 가중치에 대응하는 색을 가지는 화상의 검색 결과를 저장한다. 검색 작업은 각 화상이 특정한 색의 이름으로 판단되는 관련도와 사용자로부터의 조작에 따라 입력된 색의 이름으로 나타내지는 색의 가중치에 따라 실행되었다. 예를 들면, 검색 결과 보관 유지부(147)는, 관련도와 색의 이름으로 나타내지는 색의 가중치인 검색 조건하에서 검색된, 가중치에 대응하는 색의 화상의 검색 결과를 저장한다.

화상으로부터 특징이 추출되고, 추출된 특징이 서버(13) 및 디지털 스틸 카메라(11)에 기록된다.

도 7의 플로차트를 참조하면서 디지털 스틸 카메라(11)의 촬영의 처리를 설명한다.

스텝(S11)에서, 촬영 제어부(101)는, 촬영 렌즈(31) 내지 디지털 신호 처리부(36), 메모리(38), AF모터 및 줌 모터(44), 및 제어 회로(45)를 제어하여, 피사체를 촬영한다. 스텝(S12)에서, 촬영 제어부(101)에 의해, 압축 신장부(41)는, 메모리(38)에 기억되어 있는 디지털 신호를 JPEG 또는 JPEG2000에 따라 인코드하 고, 화상 데이터로서 본화상을 생성시킨다. 촬영 제어부(101)는 본화상을 화상 보관 유지부(110)에 기록한다.

메타 데이터 생성부(103)는, 본화상에 대한 메타 데이터를 생성한다.예를 들면, 메타 데이터 생성부(103)는, JEIDA에 의해서 규격화되어 있는 EXIF 데이터내에 저장되는 메타 데이터를 생성한다. 그 메타 데이터는 예를 들어, 본화상의 촬영 시각 또는 촬영 조건을 포함한다.

스텝(S13)에서, 축소 화상 생성부(102)는, 촬영된 화상의 디지털 신호를 메모리(38)로부터 읽어내고, 촬영된 화상을 축소하고, 축소 화상을 생성한다. 축소 화상 생성부(102)에 의해, 화상 보관 유지부(110)는 축소 화상을 기록한다.

스텝(S14)에서, 엔트리 생성부(104)는, 본화상 및 축소 화상의 엔트리를 생성한다. 엔트리 생성부(104)는, 생성된 엔트리와 메타 데이터 생성부(103)에 의해 생성한 메타 데이터를 연관시키며, 콘텐츠 데이터베이스(111)에 그 엔트리들을 추가(저장)하고, 처리는 종료한다.

콘텐츠 데이터베이스(111)에, 촬영 시각 또는 촬영 조건과 같은 메타 데이터가 저장되므로, 촬영 시각 또는 촬영 조건에 의해 본화상 또는 축소 화상을 검색할 수 있다.

휴대 전화기(12)는, 도 7의 플로차트에 도시된 바와 같은 처리와 동일한 촬영의 처리를 실행한다.

도 8에 도시된 바와 같이, 디지털 스틸 카메라(11)와 휴대 전화기 (12)중 어느 하나가 화상을 촬영하면, 본화상(201)과 관련된 메타 데이터가 콘텐츠 데이터베 이스(111)에 저장되고, 본화상(201)으로부터 축소 화상(202)이 생성된다. 본화상(201)과 관련되며 콘텐츠 데이터베이스(111)에 저장되어 있는 메타 데이터는 축소 화상(202)과 또한 연관된다.

도 9의 플로차트를 참조하여, 서버(13)의 백업 처리를 아래에서 설명한다. 백업 처리에서는, 디지털 스틸 카메라(11)에 의해 촬영된 화상이 서버(13)에 의해 백업된다. 서버(13)의 백업의 처리는, 디지털 스틸 카메라(11)에 일단이 접속되어 있는 USB 케이블이 서버(13)에 접속되면 컴퓨터 프로그램의 실행에 응답하여 개시된다.

스텝(S31)에서, 서버(13)의 송신 제어부(138-1) 및 송신 제어부 (138-1)는, 통신부(79)를 통해 디지털 스틸 카메라(11)에 접속되어 있다.

스텝(S32)에서, 서버(13)의 송신 제어부(138-1) 및 송신 제어부 (138-1)는, 통신부(79)를 제어하여 통해 디지털 스틸 카메라(11)로부터 본화상(201) 및 축소 화상(202)을 취득시킨다. 예를 들면, 스텝(S32)에서, 송신 제어부(138-1)는, 통신부(79)를 제어하여, 디지털 스틸 카메라(11)로 본화상(201) 및 축소 화상(202)의 송신 요구를 송신시킨다. 디지털 스틸 카메라(11)가 본화상(201) 및 축소 화상(202)을 송신하므로, 수신 제어부(139-1)는, 통신부(79)를 제어하여, 디지털 스틸 카메라(11)로부터 송신된 본화상(201) 및 축소 화상(202)을 수신시킨다. 수신 제어부(139-1)는 수신한 본화상(201) 및 축소 화상(202)을 화상 보관 유지부 (140)에 공급한다.

스텝(S33)에서, 화상 보관 유지부(140)는, 디지털 스틸 카메라(11)로부터 취 득한 본화상(201) 및 축소 화상(202)을 기록한다.

스텝(S34)에서, 화상 해석부(131)는 화상 보관 유지부(140)에 기록된 화상을 해석한다.

화상 해석부(131)는, 본화상(201) 또는 축소 화상(202)을 해석할 수 있다.

스텝(S34)의 화상의 해석 처리의 상세 부분은 도 10의 플로차트를 참조하여 설명한다.

스텝(S41)에서, 화상 해석부(131)의 얼굴 화상 검출부(161)는 화상으로부터 얼굴 화상을 검출한다. 즉, 스텝(S41)에서, 얼굴 화상 검출부 (161)는 화상에 포함되는 얼굴의 화상에 관한 정보로서 화상의 특징을 추출한다. 스텝(S41)에서, 얼굴 화상 검출부(161)는, 화상에 포함되는 얼굴의 화상의 수, 화상에 있어서의 얼굴의 화상의 위치, 얼굴의 화상의 크기와 얼굴의 화상이 바라보는 방향을 추출한다.

보다 구체적으로는, 얼굴 화상 검출부(161)는 사람의 피부의 색에 대응하는 소정의 색의 범위에 속하는 색을 나타내는 화소치를 가지는 화소를 식별한다. 그 후에, 얼굴 화상 검출부(161)는, 색에 의해서 식별된된 화소 가운데, 소정의 수의, 서로 인접하고 있는 화소에 의해 구성되는 영역을 얼굴의 화상으로 지정한다.

얼굴 화상 검출부(161)는, 검출된 얼굴의 화상의 수를 센다. 얼굴 화상 검출부(161)는, 화상의 전체의 높이 및 전체의 폭을 각각 1로 했을 경우, 화상 전체에 대한 얼굴의 화상의 위치로서, 얼굴의 화상의 세로 방향 위치 및 가로 방향 위치를 검출한다.

얼굴 화상 검출부(161)는, 화상의 전체의 높이 및 전체의 폭을 각각 1로 했을 경우, 화상의 전체에 대한 얼굴의 화상의 크기로서, 얼굴의 화상의 높이 및 폭을 검출한다.

얼굴 화상 검출부(161)는, 얼굴의 각 지정된 방향내에서 선택된 얼굴 화상이 미리 정의된 복수의 패턴들중 한 패턴과 일치되는지를 판정한다. 그 얼굴의 방향은 그 얼굴의 화상의 패턴과 일치하는 방향을 얼굴의 방향으로서 판정함으로써 검출된다. 이 경우, 얼굴 화상 검출부(161)는, 선택된 얼굴의 화상의 얼굴 방향으로서, 얼굴의 롤각(roll angle), 피치각, 및 요각(yaw angle)을 검출한다.

스텝(S42)에서, 화상 해석부(131)의 유사 특징량 추출부(162)의 유사 특징 벡터 산출부(171)는 화상의 유사한 정도를 판정할 때에 특징량으로서 유사 특징 벡터를 산출한다. 즉, 스텝(S42)에서, 유사 특징 벡터 산출부 (171)는, 2개의 화상의 유사한 정도가 계산되는 2개의 화상의 특징을 추출한다.

예를 들면, 유사 특징 벡터 산출부(171)는, 색히스토그램인 유사 특징 벡터를 산출한다.

보다 구체적으로는, 도 11에 도시한 바와 같이, 유사 특징 벡터 산출부(171)는, 24비트 RGB의 본화상(201)의 167772161색의 색을, 32색으로 감소시키고, 32색을 가지는 감소된 색화상(221)을 생성한다. 즉, 5비트 RGB의 감소된 색화상(221)이 생성된다. 유사 특징 벡터 산출부(171)는, 본화상(201)의 화소의 화소치로부터, 소정의 상위의 비트를 추출하여, 감소된 색화상(221)을 생성한다.

유사 특징 벡터 산출부(171)는, RGB로 나타내지는 감소된 색화상 (221)의 각 화소의 색을, L*a*b*로 변환한다. 유사 특징 벡터 산출부 (171)는, 감소된 색화상(221)의 각 화소의 색을 나타내는 L*a*b*공간상의 위치를 식별한다. 즉, 감소된 색화상(221)의 각 화소에 의해 표현되는 32색중 몇 개의 색(L*a*b*공간상의 위치)이 식별된다.

유사 특징 벡터 산출부(171)는, 감소된 색화상(221)내의 32색의 각 색의 화소들의 수, 즉, 각 색의 발생 빈도를 결정함으로써, 색히스토그램을 생성한다. 색히스토그램의 스케일은 색을 나타내며, 색히스토그램의 빈도(frequency)는, 색의 화소들의 수를 나타낸다.

예를 들면, 유사 특징 벡터 산출부(171)는, 수직 성분 히스토그램 및 수평 성분 히스토그램으로서 유사 특징 벡터를 산출한다.

도 12에 도시한 바와 같이, 유사 특징 벡터 산출부(171)는, 본화상 (201)을, 각각 16 화소×16 화소를 포함하는 블록(241)으로 분할한다. 각각의 블록(241)에, 수직 방향 및 수평 방향으로 DFT(Discrete Fourier Transform)를 적용한다.

유사 특징 벡터 산출부(171)는, 각 블록(241)의 세로 1열에 배열된 16개의 화소에 대해 DFT의 처리를 적용하고, 세로 1열의 16개의 화소내에 있는 화상의 주파수 성분을 추출한다. 각 블록(241)은 16개의 수직 열을 포함하며, 각 수직열은 16개의 화소를 포함하므로, 유사 특징 벡터 산출부 (171)는 각 블록(241)에 대한 수직 방향의 DFT의 처리를 실행함으로써, 16개의 화상의 주파수 성분을 추출하게 된다.

유사 특징 벡터 산출부(171)는, 각 블록 (241)에 수직 방향의 DFT 처리를 적 용한 결과 얻어지는 화상의 주파수 성분을, 주파수마다 가산한다. 유사 특징 벡터 산출부(171)는 가산한 값 가운데, DC성분을 제외한, 8개의 가장 낮은 주파수 성분들중에서, 최대의 성분을 추출한다. 최대치가 미리 정한 임계치보다 적을 때에, 그 블록(241)의 처리의 결과는 파기된다.

유사 특징 벡터 산출부(171)는, 화상내에서 각 블록(241)내에서 판정된 최대치를 8개의 주파수 마다 가산한다 도 13a와 도 13b에 도시한 바와 같이, 유사 특징 벡터 산출부(171)는 8개의 주파수에 대한 최대치의 발생 빈도를 나타내는 수직 성분 히스토그램을 생성한다. 수직 성분 히스토그램의 스케일은 화상의 주파수를 나타내며, 수직 성분 히스토그램의 발생 빈도는 그 주파수의 성분이 최대가 되는 빈도를 나타낸다.

이와 같이, 유사 특징 벡터 산출부(171)는, 각 블록(241)의 한 열내에 배열된 16개의 화소에 대해 DFT의 처리를 적용하고, 한 열의 16개의 화소에 대해 화상의 주파수 성분을 추출한다. 각 블록(241)에는, 16개의 열들이 있으며, 각 열을 16개의 화소를 포함하므로, 유사 특징 벡터 산출부 (171)는, 각각의 블록(241)에 대한 수평 방향의 DFT의 처리에 의해서 16개의 화상의 주파수 성분을 추출하게 된다.

유사 특징 벡터 산출부(171)는 각 블록(241)에 수평 방향의 DFT 처리를 적용한 결과 얻어지는 화상의 주파수 성분을 주파수마다 가산한다. 유사 특징 벡터 산출부(171)는, 각 블록(241)에 수평 방향의 DFT의 처리를 적용한 결과를 가산한 값 가운데, DC성분을 제외한, 8개의 가장 낮은 주파수의 성분들중에서, 최대의 성 분을 추출한다. 최대치가 미리 정한 임계치보다 적을 때에는, 그 블록(241)의 처리의 결과는 파기된다.

유사 특징 벡터 산출부(171)는, 화상내의 각 블록(241)내에서 판정된 최대치를 8개의 주파수 마다 가산한다. 도 13a와 도 13b에 도시한 바와 같이, 유사 특징 벡터 산출부(171)는 8개의 주파수에 대한 최대치의 발생 빈도를 나타내는 수평 성분 히스토그램을 생성한다. 수평 성분 히스토그램의 스케일은 화상의 주파수를 나타내며, 수평 성분 히스토그램의 발생 빈도는 그 주파수의 성분이 최대가 되는 빈도를 나타낸다.

이와 같이, 유사 특징 벡터 산출부(171)는, 화상에 대해서, 수직 성분 히스토그램 및 수평 성분 히스토그램을 생성한다.

예를 들면, 스텝(S42)에서, 유사 특징 벡터 산출부(171)는, 2개의 화상의 유사한 정도가 계산되는 2개의 화상의 각각의 특징을 색 히스토그램, 수평 히스토그램, 및 수직 성분 히스토그램을 추출한다.

도 10을 참조하면, 스텝(S43)에서, 화상 해석부(131)의 유사 특징량 추출부(162)의 색특징 추출부(172)는, 화상에 대해 색특징 추출 처리를 적용하고, 처리는 종료한다. 색특징 추출의 처리에 의해서, 화상으로부터, 화상의 화소의 색을 기본으로 하여, 화상이 소정의 색의 이름에 의해서 판단되는 관련도가 추출된다. 색특징 추출의 처리의 자세한 것은, 도 36의 플로차트를 참조해 후술한다.

스텝(S34)에서, 화상 해석부(131)는, 화상 보관 유지부(140)에 기록된 화상을 해석하고, 화상의 특징을 추출한다.

스텝(S35)에서, 메타 데이터 생성부(133)는, 스텝(S34)에서 추출된 화상의 특징을 포함하는 화상의 메타 데이터를 생성한다. 스텝(S36)에서, 엔트리 생성부(134)는, 본화상 (201) 및 축소 화상(202)의 엔트리를 생성한다. 엔트리 생성부(134)는, 생성된 엔트리를, 스텝(S35)에서 생성된 메타 데이터와 연관시키며, 콘텐츠 데이터베이스(141) 및 유사 특징 데이터베이스(142)에 추가한다. 콘텐츠 데이터베이스(141) 및 유사 특징 데이터베이스(142)는, 서버 (13)에 의해 추출된 화상의 특징을 포함하는 메타 데이터를 기록한다.

스텝(S37)에서, 송신 제어부(138-1)는 통신부(79)를 제어하여, 디지털 스틸 카메라(11)의 콘텐츠 데이터베이 (111) 및 유사 특징 데이터베이스 (112)에, 추출된 화상의 특징을 포함하는 메타 데이터를 기입시킨다. 즉, 스텝(S37)에서, 송신 제어부(138-1)는, 통신부(79)를 제어하여, 콘텐츠 데이터베이스(111) 및 유사 특징 데이터베이스(112)에 대한 기입 지령과 스텝(S35)에서 생성된 메타 데이터를, 디지털 스틸 카메라(11)로 송신시킨다. 통신부(47)가 메타 데이터와, 콘텐츠 데이터베이스(111) 및 유사 특징 데이터베이스(112)에 대한 기입 지령을 수신하면, 수신 제어부(109)는, 메타 데이터와 콘텐츠 데이터베이스(111) 및 유사 특징 데이터베이스(112)에 대한 기입 지령을, 콘텐츠 데이터베이스(111) 및 유사 특징 데이터베이스 (112)에 공급한다. 콘텐츠 데이터베이스(111) 및 유사 특징 데이터베이스 (112)는, 기입 지령을 받으면, 서버(13)내에서 추출된 화상의 특징을 포함하는 메타 데이터를 기록한다.

콘텐츠 데이터베이스(141) 및 유사 특징 데이터베이스(142)와, 콘텐츠 데이 터베이스(111) 및 유사 특징 데이터베이스(112)는 서버(13)에서 추출된 화상의 특징을 포함하는 동일한 메타 데이터를 기록한다.

스텝(S38)에서, 서버(13)의 송신 제어부(138-1) 및 수신 제어부 (139-1)는, 통신부(79)를 제어하여 디지털 스틸 카메라(11)와의 접속을 절단시키고, 처리는 종료된다.

서버(13)는, 휴대 전화기(12)에 의해 촬영된 화상에 대해서, 도 9에 도시된 것돠 같은 백업 처리를 실행할 수 있다.

도 14에 도시된 바와 같이, 디지털 스틸 카메라(11)와 휴대 전화기 (12)중 어느 한 개에 의해 촬영된 화상이 서버(13-1)와 서버(13-2)중 한 서버에 의해 백업되면, 서버(13-1)와 서버(13-2)는, 백업된 화상을 해석하고, 화상의 특징을 추출하고, 추출한 화상의 특징을 기술한 메타 데이터(261)로 디지털 스틸 카메라(11)와 휴대 전화기(12)중 한 기기에 오버라이트한다.

도 15는, 본화상(201) 및 축소 화상(202)과 관련되며 추출한 화상의 특징을 기술한 메타 데이터(261)의 구체적인 예를 나타내는 도면이다.

메타 데이터(261)는, 예를 들면, XML(eXtensible Mark-up Language) 방식으로 기술된다.

<photo>태그 및 </photo>태그의 사이에는, 본화상(201) 및 축소 화상 (202)과의 관계를 나타내는 정보 및 본화상(201) 및 축소 화상(202)의 특징을 나타내는 정보가 배치된다.

<guid>태그 및 </guid>태그의 사이에는, 이 메타 데이터(261)와 관련되는 본 화상(201) 및 축소 화상(202)을 식별하는 특식별 정보인 콘텐츠 ID가 배치된다. 예를 들면, 콘텐츠 ID는, 128비트이다. 콘텐츠 ID는, 본화상(201)과 그 본화상(201)으로 도출된 축소 화상(202)에 공통으로 사용된다.

<FullImgPath>태그 및 </FullImgPath>태그의 사이에는, 화상 데이터인 본화상(201)을 포함하는 파일의 경로와, 본화상(201)을 포함하는 파일의 파일명이 배치된다. <CacheImgPath>태그 및 </CacheImgPath>태그의 사이에는, 화상 데이터인 축소 화상(202)을 포함하는 파일의 경로와, 축소 화상(202)을 포함하는 파일의 파일면이 배치된다.

<TimeStamp>태그 및 </TimeStamp>태그의 사이에 배치되어 있는2003:03:31 06:52:32는, 본화상(201)이, 2003년 3월 31일 6시 52분 32초에 촬영된 것을 가리키는 타임 스탬프이다.

<Faceinfo>태그 및 </Faceinfo>태그의 사이에는, 콘텐츠 ID에 의해 식별되는 본화상(201) 및 축소 화상(202)에 포함되는 얼굴의 화상에 관한 정보가 배치된다.

<TotalFace>태그 및 </TotalFace>태그의 사이에 배치되어 있는 1은, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상에 포함되는 얼굴의 화상의 수가 1개인 것을 나타낸다.

즉, <TotalFace>태그 및 </TotalFace>태그의 사이에 배치되어 있는 값은, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상에 포함되는 얼굴의 화상의 총수를 나타낸다.

<FaceEntry>태그 및 </FaceEntry>태그의 사이에는, 1개의 얼굴의 화상에 대 한 정보가 배치된다. 도 15에 도시된 메타 데이터(261)에 있어서의 얼굴의 화상의 총수가 1이므로, 한 쌍의의 <FaceEntry>태그 및</FaceEntry>태그가 배치되게 된다.

<x>태그 및 </x>태그의 사이에 배치되어 있는 값은, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상내의 얼굴 화상의 가로방향의 위치를 나타낸다. 도 15에 도시한 바와 같이, <x>태그 및</x>태그의 사이에 배치되어 있는 0.328767은, 본화상(201)과 축소 화상(202)중 한 화상의 좌단을 0.0으로 하고, 본화상(201)과 축소 화상(202)중 한 화상의 우단을 1.0으로 했을 경우에, 얼굴의 화상의 우단의 가로 방향의 위치가, 0.328767인 것을 나타낸다.

<y>태그 및 </y>태그의 사이에 배치되어 있는 값은, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 얼굴 화상의 세로 방향의 위치를 나타낸다. 도 15에 도시한 바와 같이, <y>태그 및 </y>태그의 사이에 배치되어 있는 0.204082는, 본화상(201)과 축소 화상(202)중 한 화상의 상단을 0.0으로 하고, 본화상(201)과 축소 화상(202)중 한 화상의 하단을 1.0으로 했을 경우에, 얼굴의 화상의 상단의 세로 방향의 위치가, 0.204082인 것을 나타낸다.

즉, <x>태그 및 </x>태그의 사이에는, 얼굴의 화상의 정규화된 가로방향의 위치가 배치되며, <y>태그 및 </y>태그의 사이에는, 얼굴의 화상의 정규화된 세로 방향의 위치가 배치된다.

<width>태그 및 </width>태그의 사이에 배치되어 있는 값은, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)에 있어서의 얼굴의 화상의 폭(가로 방향의 크기)을 나타낸다. 도 15에 도시한 바와 같이, <width>태그 및 </width>태그의 사이에 배치되어 있는 0.408163은, 본화상(201)과 축소 화상(202)중 한 화상의 폭을 1.0으로 했을 경우에, 얼굴의 화상의 폭이, 0.408163인 것을 나타낸다.

<height>태그 및 </height>태그의 사이에 배치되어 있는 값은, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상에 있어서의 얼굴의 화상의 높이(세로 방향의 사이즈)를 나타낸다. 도 15에 도시된 바와 같이, <height>태그 및 </height>태그의 사이에 배치되어 있는 0.273973은 , 본화상(201)과 축소 화상(202)중 한 화상의 높이를 1.0으로 했을 경우에, 얼굴의 화상의 높이가, 0.273973인 것을 나타낸다.

즉, <width>태그 및 </width>태그의 사이에는, 얼굴의 화상의 정규화된 폭이 배치되며, <height>태그 및</height>태그의 사이에는, 얼굴의 화상의 정규화된 높이가 배치된다.

<roll>태그 및 </roll>태그의 사이에 배치되어 있는 값은, 얼굴의 화상에 있어서의 얼굴의 롤각을 나타낸다. 도 15에 도시된 바와 같이, <roll>태그 및 </roll>태그의 사이에 배치되어 있는 0.000000은, 얼굴의 화상에 있어서의 얼굴의 롤각이, 0.000000°인 것을 나타낸다.

<pitch>태그 및 </pitch>태그의 사이에 배치되어 있는 값은, 얼굴의 화상에 있어서의 얼굴의 피치각을 나타낸다. 도 15에 도 15에 도시된 바와 같이, <pitch>태그 및 </pitch>태그의 사이에 배치되어 있는 0.000000은, 얼굴의 화상에 있어서의 얼굴의 피치각이, 0.000000°인 것을 나타낸다.

<yaw>태그 및 </yaw>태그의 사이에 배치되어 있는 값은, 얼굴의 화상에 있어서의 얼굴의 요각을 나타낸다. 도 15에 도시된 바와 같이, <yaw>태그 및 </yaw>태그의 사이에 배치되어 있는 0.000000은, 얼굴의 화상에 있어서의 얼굴의 요각이, 0.000000°인 것을 나타낸다.

롤각은, 얼굴의 전후방향의 위치를 나타내는 전후축(x축)에 대한 각도이다. 피치각은, 얼굴의 좌우 방향의 위치를 나타내는 가로축(y축)에 대한 각도이다. 요각은, 얼굴의 상하 방향의 위치를 나타내는 수직축(z축)에 대한 각도이다.

<Similarityinfo>태그 및 </Similarityinfo>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 특징량이다. 그 특징량은 콘텐츠 ID로 식별되는 본화상(201) 및 축소 화상(202)중 한 화상과 다른 화상과의 유사한 정도를 구하는 경우에 이용된다.

도 15에 도시한 바와 같이, <Similarityinfo>태그 및</Similarityinfo>태그의 사이에는, 관련도와 특징량이 배치되어 있다. 관련도는 본화상(201)과 축소 화상(202)중 한 화상이 소정의 색의 이름에 의해서 판단되는 정도를 나타내며, 특질양은 색 또는 화상의 주파수 성분의 유사한 정도를 계산하기 위해 이용된다.

<ColorInfo>태그 및 </ColorInfo>태그의 사이에 배치된 관련도는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상으로부터 추출된, 본화상(201)과 축소 화상(202)중 한 화상의 화소의 색을 기본으로 하여, 본화상(201)과 축소 화상(202)중 한 화상이 소정의 색의 이름에 의해서 판단되는 정도를 나타낸다.

<ColorWhite>태그 및</ColorWhite>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 화소의 색으로부터 추출된 흰색의 색의 이름에 의해서 본화상(201)과 축소 화상(202)중 한 화상이 판단되는 정도를 나타내는 관련도가 배치된다. 도 15에 도시한 바와 같이, <ColorWhite>태그 및 </ColorWhite >태그의 사이에 배치되어 있는 0은, 본화상(201)과 축소 화상(202)중 한 화상이 흰색인 색의 이름에 의해서 판단되는 정도를 나타내는 관련도가 0인 것을 나타낸다.

<ColorBlack>태그 및 </ColorBlack>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 화소의 색으로부터 추출된 흑색의 색의 이름에 의해서 본화상(201)과 축소 화상(202)중 한 화상이 판단되는 정도를 나타내는 관련도가 배치된다. 도 15에 도시한 바와 같이, <ColorBlack>태그 및 </ColorBlack >태그의 사이에 배치되어 있는 0은, 본화상(201)과 축소 화상(202)중 한 화상이 흑색의 색의 이름에 의해서 판단되는 정도를 나타내는 관련도가 0인 것을 나타낸다.

<ColorRed>태그 및 </ColorRed>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 화소의 색으로부터 추출된 빨강색의 색의 이름에 의해서 본화상(201)과 축소 화상(202)중 한 화상이 판단되는 정도를 나타내는 관련도가 배치된다. 도 15에 도시한 바와같이, <ColorRed>태그 및 </ColorRed>태그의 사이에 배치되어 있는 0은, 본화상(201)과 축소 화상(202)중 한 화상이 빨강색의 색의 이름에 의해서 판단되는 정도를 나타내는 관련도가 0인 것을 나타낸다.

<ColorYellow>태그 및 </ColorYellow>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 화소의 색으로부터 추출된 노랑색의 색의 이름에 의해서 본화상(201)과 축소 화상(202)중 한 화상이 판단되는 정도를 나타내는 관련도가 배치된다. 도 15에 도시한 바와같이, <ColorYellow>태그 및</ColorYe llow>태그의 사이에 배치되어 있는 0은, 본화상(201)과 축소 화상(202)중 한 화상이 빨강색의 색의 이름에 의해서 판단되는 정도를 나타내는 관련도가 0인 것을 나타낸다.

<ColorGreen>태그 및 </ColorGreen>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 화소의 색으로부터 추출된 초록색의 색의 이름에 의해서 본화상(201)과 축소 화상(202)중 한 화상이 판단되는 정도를 나타내는 관련도가 배치된다. 도 15에 도시한 바와같이, <ColorGreen>태그 및 </ColorGreen>태그의 사이에 배치되어 있는 12는, 본화상(201)과 축소 화상(202)중 한 화상이 초록인 색의 이름에 의해서 판단되는 정도를 나타내는 관련도가 0.12인 것을 나타낸다. 즉, 여기에서는 관련도가 퍼센트로 표시된다.

<ColorBlue>태그 및</ColorBlue>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 화소의 색으로부터 추출된 파랑색의 색의 이름에 의해서 본화상(201)과 축소 화상(202)중 한 화상이 판단되는 정도를 나타내는 관련도가 배치된다. 도 15에 도시한 바와같이, <ColorBlue>태그 및</ColorBlue>태그의 사이에 배치되어 있는 0은, 본화상(201)과 축소 화상(202)중 한 화상이 파랑색의 색의 이름에 의해서 판단되는 정도를 나타내는 관련도가 0인 것을 나타낸다.

<VectorInfo>태그 및 </VectorInfo>태그의 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상의 특징이 배치되어, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)중 한 화상과 다른 화상과의 유사한 정도를 판단한다.

<VectorInfo>태그 및 </VectorInfo>태그의 한 쌍 사이에는, 콘텐츠 ID로 식별되는 본화상(201)과 축소 화상(202)의 각각의 1개의 특징이 배치된다. 도 15의 메타 데이터(261)의 예에는, <VectorInfo>태그 및</VectorInfo>태그의 3개 쌍이 기술되어 있다.

각 쌍의 <VectorInfo>태그 및</VectorInfo>태그의 사이에는, <method>태그와 </method>태그, 및<vector>태그와 </vector>태그가 배치된다. <method>태그 및 </method>태그의 사이에는, 특징의 방식이 기술되며, <vector>태그 및 </vector>태그의 사이에는, 그 특징의 양이 기술된다. <vector>태그 및 </vector> 태그의 사이에 기술되는 특징량은, 벡터로 여겨진다

도 15의 상부의 <VectorInfo>태그 및 /VectorInfo>태그의 사이에 배치된 <method>태그 및</method>태그 사이에 기술된 색특징은, 그 다음의<vector>태그 및 </vector>태그의 사이에 배치되어 있는 특징량이 색의 특징량인 것을 나타낸다. 색의 특징량은, 도 11을 참조하여 설명한 색히스토그램내에 도시된 특징량이다.

도 15에 도시한 바와 같이, 위로부터 2번째의<VectorInfo>태그 및 </VectorInfo>태그의 사이의, < method>태그 및 </method>태그의 사이에 배치되어 있는 텍스트 특징(text feature)은, 그 다음의<vector>태그 및</vector>태그의 사이에 배치되어 있는 특징량이, 패턴의 특징량인 것을 나타낸다. 패턴의 특징량은, 주파수 성분의 히스토그램, 즉, 도 12 및 도 13을 참조하여 설명한 수직 성분 히스토그램 및 수평 성분 히스토그램에 의해 표시되는 특징량이다.

메타 데이터(261)는, 전체적으로, 디지털 스틸 카메라(11)내의 콘텐츠 데이터베이스(111)와 유사 특징 데이터베이스(112)와, 서버(13)내의 콘텐츠 데이터베이스(141)와 유사 특징 데이터베이스(142)에 저장된다. 즉, 메타 데이터(261)는, 콘텐츠 데이터베이스(111)에 저장된 일부분과, 유사 특징 데이터베이스(112)에 저장된 나머지 부분들로 적절하게 분할된다. 서버(13)에서는, 콘텐츠 데이터베이스(111)에 저장되어 있는 메타 데이터(261)의 동일한 부분이 역시 콘텐츠 데이터베이스(141)에도 저장되어 있으며, 유사 특징 데이터베이스(112)에 저장되고 있는 메타 데이터(261)의 동일한 부분도 유사 특징 데이터베이스(142)에 저장되어 있다.

도 16은, 콘텐츠 데이터베이스(111)와 콘텐츠 데이터베이스(141)에 저장되어 있는 메타 데이터 구성을 나타내는 도면이다.

콘텐츠 데이터베이스(111)와 콘텐츠 데이터베이스(141)에 저장되어 있는 메타 데이터는, 콘텐츠 ID, 촬영 시각, 경로명, 파일명, 그룹 ID, 화상에 포함되는 얼굴의 화상에 관한 정보(이하, 얼굴 화상 정보라고 칭한다), 라벨 ID, 및 코멘트를 포함한다.

콘텐츠 ID는, 화상에 고유한 ID이며, 화상을 식별한다. 콘텐츠 ID에 의해 서, 본화상(201) 및 축소 화상(202)이 식별된다. 콘텐츠 ID는, GUID 특성이며 문자열의 형태로 표현된다. 화상이 촬영된 일시를 나타내는 촬영 시각은, 협약된 세계시 및 로컬 타임으로 표현된다. 협약된 세계시로 나타내지는 촬영 시각은, EXIF 방식의 데이터의 Date Time Original에 기입되는 촬영 시각(UTC : Universal Coordinated Time )과 같다.

로컬 타임으로 나타내지는 촬영 시각은, 일자 특성이며, 일자의 형태로 표현된다. 로컬 타임에 기술된 촬영 시각은, EXIF 방식의 데이터의 Date Time Original에 기입되는 촬영 시각(Local time)과 같다.

ms/DCIM/XXXXX/와 같은 경로명은, 본화상(201)의 파일의 디렉토리명(파일명)을 나타낸다. 경로명은, 경로 특성이며 문자열의 형태로 표현된다.

DSC00001.JPG와 같은 파일명은, 화상 데이터인 본화상(201)을 포함하는 파일의 이름을 나타낸다. 파일명은, DCFname 특성이며 문자열의 형태로 표현된다.

/DATA/EVENTIMAGE/000000000001.JPG와 같은 축소 화상 (202)의 경로명 및 파일명은, 축소 화상(202)의 파일의 디렉토리명 및 파일명을 나타낸다. 축소 화상(202)의 경로명 및 파일명은, vgaCachePath 특성이며 문자열의 형태로 표현된다.

그룹 ID는, 화상이 소속하는 그룹을 식별하는 데이터이다. 화상은, 사용자에 의해서, 소망하는 그룹으로 분류된다. 그룹 ID는, 분류된 화상의 그룹을 식별한다. 예를 들면, 화상들은 이벤트(여행, 운동회와 같은 행사)에 의해 분류되며, 각 이벤트에서 촬영된 화상들은 그 이벤트에 대응하는 그룹으로 분류된다.

그룹 ID는, groupID 특성이며, 수치의 형태로 표현된다.

예를 들면, 얼굴 화상 정보는, 화상이, 풍경화(얼굴이 비치지 않은 화상), 소수 인원의 인물화(1 내지 5명의 얼굴이 비치고 있는 화상), 또는 많은 사람들의 인물화(6명 이상의 얼굴이 비치고 있는 화상)중 한 개를 나타낸다. 얼굴 화상 정보가 1이라면, 화상이 풍경화인 것을 나타내며, 얼굴 화상 정보가 2라면, 화상이 소수 인원수의 인물화인 것을 나타내며, 얼굴 화상 정보가 3이라면, 화상이 많은 사람의 인물화인 것을 나타낸다. 얼굴 화상 정보는 faceExistence 특성이며 수치의 형태로 표현된다.

얼굴 화상 정보는, 화상에 포함되는 얼굴의 화상의 수, 화상에 있어서의 얼굴의 화상의 위치, 얼굴의 화상의 크기, 또는 얼굴의 화상에 있어서의 얼굴이 향하는 방향을 나타낸다.

라벨 ID는, 화상에 첨부된 라벨을 나타낸다. 라벨 ID는, labels 특성이며, 수치의 배열의 형태로 표현된다.

코멘트는, comment 특성이며, 문자열의 형태로 표현된다.

보호 상태는, 소거 또는 부가와 같은 화상의 보호 상태를 나타낸다.보호 상태는, protect 특성이며, 논리 데이터의 형태로 표현된다.

교환／임포트(import) 플래그는, 그 화상이 교환되었는지, 또는 화상이 중요한지를 가리킨다. 교환／임포트 플래그는, exchangeOrImportFlag 특성이며, 논리 데이터의 형태로 표현된다.

True인 메타 구동 플래그는, 서버(13)에 의해 그 화상의 메타 데이터가 생성된 것을 가리킨다. 메타 구동 플래그는, metaEnableFlag 특성이며, 논리 데이터 의 형태로 표현된다.

True인 백업 플래그는, 서버(13)에 의해 그 화상이 백업된 것을 가리킨다. 백업 플래그는, backUpFlag 특성이며, 논리 데이터의 형태로 표현된다.

도 17은, 디지털 스틸 카메라(11)에 저장된 메타 데이터의 부분 및 유사 특징 데이터베이스(112)에 저장된 메타 데이터의 부분의 구조를 나타내는 도면이다.

콘텐츠 데이터베이스 (111)에는, 각 화상에 대한 콘텐츠 아이템이 저장된다. 콘텐츠 아이템은, 메타 데이터(261)의 일부분의 데이터로 구성된다.

예를 들면, 콘텐츠 아이템(281-1)은, 저장된 콘텐츠 ID에 의해 식별되는 1개의 화상에 대응하며, 콘텐츠 ID, 본화상(201)의 경로명 및 파일명(도 17의 경로), 축소 화상(202)의 경로명 및 파일명, 그룹 ID, 로컬 타임으로 표현되는 촬영 시각, 및 얼굴 화상 정보를 포함한다. 콘텐츠 아이템(281-2)은, 다른 화상에 대응하며, 콘텐츠 ID, 본화상(201)의 경로명 및 파일명(도 17의 경로), 축소 화상(202)의 경로명 및 파일명, 그룹 ID, 로컬 타임으로 표시되는 촬영 시각, 및 얼굴 화상 정보를 포함한다.

콘텐츠 아이템(281-1) 및 콘텐츠 아이템(281-2)을 구별할 필요가 없을 때, 단지, 콘텐츠 아이템(281)으로 칭한다.

유사 특징 데이터베이스(112)에는, 각 화상에 대한 유사 특징 아이템이 저장된다. 이러한 유사 특징 아이템은, 콘텐츠 아이템(281)을 제외하고 메타 데이터(261)의 한 부분을 포함한다. 유사 특징 아이템은, 콘텐츠 ID를 포함한다.

예를 들면, 유사 특징 아이템(282-1)은, 저장된 콘텐츠 ID로 식별되는 콘텐 츠 아이템(281-1)에 대응하며, 즉, 저장된 콘텐츠 ID로 식별되는 1개의 화상에 대응한다. 유사 특징 아이템(282-1)은, 콘텐츠 ID, 색히스토그램, 및 주파수 성분의 히스토그램으로 구성된다.

색히스토그램은, 화상내의 32개의 각 색의 발생 빈도를 나타내며, histogram 특성이 된다. 주파수 성분의 히스토그램은, 수직 성분 히스토그램과 수평 성분 히스토그램을 포함하며, 화상의 세로 방향 및 가로 방향의 각 방향내에서 8개의 주파수에 대한 주파수 성분의 최대치의 발생 빈도를 나타내며, texture 특성이 된다.

이와 같이, 예를 들면, 유사 특징 아이템(282-2)은, 저장된 콘텐츠 ID로 식별되는 콘텐츠 아이템(281-2)에 대응하며, 즉, 저장된 콘텐츠 ID로 식별되는 1개의 화상에 대응한다. 유사 특징 아이템(282-2)은, 콘텐츠 ID, 색히스토그램, 및 주파수 성분의 히스토그램으로 구성된다.

콘텐츠 아이템(282-1) 및 콘텐츠 아이템(282-2)을 구별할 필요가 없을 때, 단지, 콘텐츠 아이템(282)으로 칭한다.

유사 특징 데이터베이스(112)에는, 콘텐츠 데이터베이스(111)에 저장되어 있는 콘텐츠 아이템(281)에 대응하는 유사 특징 아이템(282)이 저장된다.

도 18은, 유사 특징 아이템(282)의 구조를 나타내는 도면이다. 유사 특징 아이템(282)은 아이템(291), 아이템(292-1) 내지 아이템(292-32), 및 아이템(293)으로 구성되어 있다. 아이템(291)은, 콘텐츠 ID, 아이템 (292-1) 내지 아이템(292-32)을 나타내는 포인터, 및 아이템(293)을 나타내는 포인터로 구성된다. 아이템 (292-1) 내지 아이템(292-32)을 나타내는 포인터는 색히스토그램에 대응한 다. 아이템(293)을 나타내는 포인터는, 주파수 성분의 히스토그램에 대응하고 있다.

아이템(292-1) 내지 아이템(292-32)을 나타내는 포인터는, 색히스토그램의 발생 빈도, 즉, L*a*b*로 표현되는 각 색과, 각각의 색이 화상내에서 점유하고 있는 비율(예를 들면, 32색의 각각의 화소의 수)을 나타낸다.아이템(292-1)은, L*a*b*로 나타내지며, 32색중 한 개의 색이 되는, 제 1의 색과 제 1의 색이 화상내에서 점유하고 있는 비율을 나타낸다. 아이템(292-2)은, L*a*b*로 나타내지는 색이며, 32색중 한 개의 색이 되는, 제 2의 색과, 제 2의 색이 화상내에서 점유하고 있는 비율을 나타낸다.

아이템(292－3) 내지 아이템(292－32)은 L*a*b*로 나타내지는 각각의 색이며, 32색 중 제 3색 내지 제 32색을 포함하고, 화상내에서 제 3색 내지 제 32색의 점유율을 각각 나타낸다.

아이템(292－1) 내지 아이템(292－32)는 일반적으로 1개의 화상의 색막대 그래프를 나타낸다. 색막대 그래프는, 색특징 벡터(Cv)로 나타낼 수도 있다. 색특징 벡터(Cv)는 Cv=(c1,r1),..., (c32,r32)로서 표현될 수 있다. (c1,r1) 내지 (c32,r32)의 각각은 c1 내지 c32로 나타내지는 각각의 32색에 의한 화상의 점유율을 나타낸다.

아이템(293)은 수직 성분 막대 그래프 및 수평 성분 막대 그래프를 나타낸다. 수직 성분 막대 그래프 및 수평 성분 막대 그래프는 각각 8개의 주파수 빈도를 나타낸다.

수직 성분 막대 그래프 및 수평 성분 막대 그래프로 구성된 주파수 성분의 막대 그래프는 주파수 성분 벡터(Tv)로 나타낼 수도 있다. 주파수 성분 벡터(Tv)는 Tv=(t1,1),..., (t8,1),(t9,1),..., (t16,1)로서 기재될 수 있다. 각각의 (t1,1) 내지 (t16,1)은 t1 내지 t16로 나타내지는 주파수 성분의 최대가 되는 수(빈도)를 나타낸다.

다음에, 도 19의 플로차트(flow chart)를 참조하여, 서버(13)의 화상의 취득 처리를 설명한다. 화상의 취득 처리에 있어서, 서버(13)는 웹 서버(15－1), 웹 서버(15－2) 또는 그 외의 기기 중 하나로부터 화상을 취득한다.

단계(S61)에 있어서, 서버(13)의 송신 제어부(138－2) 및 수신 제어부(138－2)는 네트워크(14)를 거쳐서 통신부(80)가 웹 서버(15－1)로부터 마스터 화상(201)을 취득하도록 한다.

예를 들면, 단계(S61)에 있어서, 송신 제어부(138－2) 및 수신 제어부(139－2)는 통신부(80)가 네트워크(14)를 거쳐서 웹 서버(15－1)에 접속하도록 한다. 송신 제어부(138－2)는 통신부(80)가 네트워크(14)를 거쳐서 웹 서버(15－1)로 마스터 화상(201)을 송신하는 요구를 송신하도록 한다. 웹 서버(15－1)는 요구된 마스터 화상(201)을 네트워크(14)를 거쳐서 송신한다. 송신 제어부(138－2)는 통신부(80)가 웹 서버(15－1)에 의해 송신되어 온 마스터 화상(201)을 수신하도록 한다. 송신 제어부(138－2)는 수신한 마스터 화상(201)을 화상 기억부(140)에 공급한다.

단계(S62)에 있어서, 축소 화상 생성부(132)는 수신한 마스터 화상(201)으로 부터 축소 화상(202)을 생성한다. 예를 들면, 축소 화상 생성부(132)는 마스터 화상(201)의 화소를 데시메이트(decimate) 함으로써 마스터 화상(201)으로부터 축소 화상(202)을 생성한다. 또는, 축소 화상 생성부(132)는 마스터 화상(201)의 연속적인 복수의 화소를 평균화하고, 그 1개의 평균 화소치에 의해 복수의 연속하는 화소를 나타냄으로써 축소 화상(202)을 생성한다.

축소 화상 생성부(132)는 생성한 축소 화상(202)을 화상 기억부(140)에 공급한다.

단계(S63)에 있어서, 화상 기억부(140)는 수신한 마스터 화상(201) 및 축소 화상 생성부(132)에 의해 생성된 축소 화상(202)을 기록한다.

축소 화상 생성부(132)는 화상 기억부(140)로부터 마스터 화상(201)을 판독해도 좋고, 판독된 마스터 화상(201)으로부터 축소 화상(202)을 생성해도 좋다.

단계(S64)에 있어서, 화상 해석부(131)는 화상 기억부(140)에 기록된 화상을 해석한다. 단계(S64)의 화상 해석 처리는 도 10의 플로차트(flow chart)를 참조하여 설명한 처리와 일치하므로, 그 설명은 생략한다.

단계(S65)에 있어서, 메타데이터(metadata) 생성부(133)는 단계(S64)에서 추출된 화상의 특징을 포함한 화상의 메타데이터를 생성한다. 단계(S66)에 있어서, 엔트리 생성부(134)는 마스터 화상(201) 및 축소 화상(202)의 엔트리를 생성한다. 엔트리 생성부(134)는 생성한 엔트리를 단계(S65)에서 생성된 메타데이터와 연관시키고, 그 다음, 컨텐츠 데이터베이스(141)(유사 특징 데이터베이스(142)에 엔트리를 기억시킨다.

단계(S67)에 있어서, 송신 제어부(138－1) 및 수신 제어부(139－1)는 통신부(79)가 디지털 스틸 카메라(11)에 접속하도록 한다.

단계(S68)에 있어서, 검색부(137)는 디지털 스틸 카메라(11)로부터 송신되어 오는 데이터에 근거하여, 화상 기억부(140)에 기록되어 있는 축소 화상(202) 가운데, 디지털 스틸 카메라(11)에 전송되도록 축소 화상(202)을 선택한다. 검색부(137)는 화상 기억부(140)로부터 선택한 축소 화상(202)을 판독하고, 판독된 축소 화상(202)을 송신 제어부(138－1)에 공급한다.

단계(S69)에 있어서, 송신 제어부(138－1)는 통신부(79)가 디지털 스틸 카메라(11)로 선택된 축소 화상(202)을 송신하도록 한다.

단계(S70)에 있어서, 송신 제어부(138－1)는 단계(S37)와 동일한 처리로, 통신부(79)가 디지털 스틸 카메라(11)의 컨텐츠 데이터베이스(111) 및 유사 특징 데이터베이스(112)상에, 송신된 축소 화상(202)의 메타데이터로서, 화상의 특징을 기록하도록 한다.

단계(S72)에 있어서, 서버(13)의 송신 제어부(138－1) 및 수신 제어부(139－1)는 통신부(79)가 디지털 스틸 카메라(11)와의 링크를 차단하도록 한다. 그러므로, 처리가 종료된다.

도 20에 나타낸 바와 같이, 서버(13－1) 또는 서버(13－2)는 네트워크(14)를 거쳐서 웹 서버(15－1), 웹 서버(15－2) 또는 그 외의 기기로부터 마스터 화상(201)을 취득하고, 취득한 마스터 화상(201)을 기록한다. 서버(13－1) 또는 서버(13－2) 중 하나는 마스터 화상(201)으로부터 축소 화상(202)을 생성하고, 마 스터 화상(201)의 특징을 추출하기 위해 마스터 화상(201)을 해석한다. 서버(13－1)와 서버(13－2) 중 하나는 추출한 마스터 화상(201)의 특징을 포함하는 메타데이터(261)와 함께 축소 화상(202)을 디지털 스틸 카메라(11)와 휴대 전화기(12)중 하나에 기입한다.

다음에, 도 21의 플로차트를 참조하여, 디지털 스틸 카메라(11)의 검색 처리가 아래에 기재된다. 단계(S81)에 있어서, 검색부(107)는 디지털 스틸 카메라(11)와 휴대 전화기(12) 중 하나에 기억된 메타데이터 가운데, 검색에 이용하는 메타데이터를 선택한다. 예를 들면, 검색부(107)는 관련도(relation level) 및 특징 사이의 검색에 이용하는 메타데이터로서 선택된다. 관련도는 사용자가 입력부(49)를 조작할 때 입력부(49)로부터 나오는 신호에 근거하여, 촬영 시각, 촬영 조건, 얼굴의 화상 정보, 소정의 색에 응답하여 화상이 고려되는 연관 정도를 나타낸다. 이 특징은 색 혹은 화상의 주파수 성분 등의 유사한 정도를 계산하는데 사용된 하나이다.

또, 단계(S81)에 있어서, 사용자에 의해 조작된 입력부(49)로부터의 신호에 응답하여, 검색부(107)는 화상 기억부(110)에 기록되어 있는 마스터 화상(201)과 축소 화상(202) 중 하나의 검색내에서 검색의 범위를 선택한다.

단계(S82)에 있어서, 검색부(107)는 사용자에 의해 조작된 입력부(49)로부터 공급되는 신호로서의 검색 개시 명령을 취득한다.

단계(S83)에 있어서, 검색부(107)는 컨텐츠 데이터베이스(111)와 유사 특징 데이터베이스(112) 중 하나로부터, 검색하는 범위내의 마스터 화상(201)과 축소 화 상(202) 중 하나의 메타데이터(261)를 순서적으로 판독한다.

단계(S84)에 있어서, 검색부(107)는 메타데이터(261)가 존재하는지 아닌지, 즉, 메타데이터(261)가 널(null)인지 아닌지의 여부를 판정한다. 메타데이터(261)가 존재한다고 단계(84)에서 판정되면, 처리가 단계(S85)로 진행된다. 검색부(107)는 메타데이터(261)로부터 검색 결과 표시 제어 데이터를 생성한다.

단계(S85)에 있어서, 색 또는 화상의 주파수 성분에 대한 유사성의 정도를 계산하는데 사용된 특징을 나타내는 벡터인 메타데이터가 사용된다. 좀더 구체적으로, 메타데이터에 근거하여, 검색부(107)는 선택된 화상(기준 화상으로 역할)의 벡터인 메타데이터 및 검색 범위내의 화상에 대한 벡터인 메타데이터에 근거하여 벡터의 거리를 계산한다. 그러므로, 검색부(107)는 벡터의 거리인 검색 결과 표시 제어 데이터를 생성한다.

이 벡터의 거리가 더 작으면 작을수록 화상은 더 유사하게 보인다. 벡터의 거리인 검색 결과 표시 제어 데이터를 이용하여, 보다 유사한 화상을 판독하고, 그 다음, 화상이 유사성의 순서로 표시된다.

단계(S85)에 있어서, 검색부(107)는 소정의 색에 응답하여 화상이 고려되는 연관의 정도를 나타내는 관련도로서의 메타데이터에 근거하여 입력 임계치와 관련도를 비교하고, 입력 임계치보다 높은 관련도를 가지는 검색 결과 표시 제어 데이터를 생성한다.

입력 임계치보다 높은 관련도를 가지는 검색 결과 표시 제어 데이터를 이용하여, 색 이름에 응답하여 관련의 높은 정도를 가지는 화상 이를 테면, 그 색의 더 많은 성분을 가지는 화상이 판독된다. 그러므로, 그 색 이름의 색을 가지는 화상만이 표시된다.

예를 들면, 검색부(107)는 소정의 색 이름에 응답하여 연관이 창조되는 연관의 정도를 나타내는 관련도로서의 메타데이터에 근거하여 관련도와 입력 임계치 사이의 거리를 계산함으로써 검색 결과 표시 제어 데이터를 계산한다.

검색 결과 표시 제어 데이터 즉, 관련도와 입력 임계치 사이의 거리를 이용하여, 소망한 색 이름의 색 성분의 소망하는 양을 가지는 화상이 판독되고, 그 다음 표시된다.

검색 결과 표시 제어 데이터는 컨텐츠 ID를 포함하고, 이 컨텐츠 ID는 검색 결과 표시 제어 데이터에 대응하는 마스터 화상(201)과 축소 화상(202) 중 하나를 특정하는데 사용된다.

단계(S86)에 있어서, 검색부(107)는 생성한 검색 결과 표시 제어 데이터를 검색 결과 기억부(115)에 기억한다.

단계(S87)에 있어서, 검색부(107)는 검색하는 범위내의 모든 마스터 화상(201) 또는 축소 화상(202)이 처리되는지 아닌지를 판정한다. 검색하는 범위내의 모든 마스터 화상(201) 또는 축소 화상(202)이 처리되지 않는다고 판단되면, 처리는 단계(S83)로 돌아온다. 검색부(107)는 컨텐츠 데이터베이스(111)와 유사 특징 데이터베이스(112) 중 하나로부터, 검색하는 범위내의 다음의 마스터 화상(201)과 축소 화상(202) 중의 메타데이터(261)를 판독하여, 상술한 처리를 반복한다.

단계(S84)에 있어서, 메타데이터(261)가 존재하지 않는다는 것 즉, 메타데이터(261)가 널(null)이라고 판정되는 경우, 단계(S83)로 돌아온다. 검색부(107)는 컨텐츠 데이터베이스(111)와 유사 특징 데이터베이스(112) 중 하나로부터, 검색하는 범위의 다음의 마스터 화상(201)과 축소 화상(202) 중 하나의 메타데이터(261)를 판독하고, 상술한 처리를 반복한다.

단계(S87)에 있어서, 검색하는 범위내의 모든 마스터 화상(201) 또는 축소 화상(202)이 처리되는지를 판정하는 경우, 처리가 단계(S88)로 진행된다. 표시 제어부(106)는 검색 결과 기억부(115)로부터 검색 결과 표시 제어 데이터를 판독한다. 단계(S89)에 있어서, 표시 제어부(106)는 검색 결과 표시 제어 데이터에 근거하여, 화상 기억부(110)로부터 마스터 화상(201)과 축소 화상(202) 중 하나를 판독하고, 마스터 화상(201)과 축소 화상(202) 중 하나를 표시시킨다. 그러므로 처리가 종료된다.

예를 들면, 단계(S85)에 있어서, 색 또는 화상의 주파수 성분에 대한 유사성의 정도를 계산하는데 사용된 특징을 나타내는 벡터의 거리인 검색 결과 표시 제어 데이터가 생성되는 경우, 단계(S89)에 있어서, 표시 제어부(106)는 마스터 화상(201)과 축소 화상(202) 중 하나를 기준 화상에 대하여 유사성의 순서로 모니터(40)에 표시시킨다.

예를 들면, 단계(S85)에 있어서, 소정의 색 이름에 응답하여 상기되는 정도를 나타내는 관련도가 입력 임계치 이상인 것을 나타내는 검색 결과 표시 제어 데이터가 생성되는 경우, 단계(S89)에 있어서, 표시 제어부(106)는 그 색 이름의 많 은 색을 포함하는 마스터 화상(201)과 축소 화상(202) 중 하나를 모니터(40)에 표시시킨다.

단계(S85)에 있어서, 소정의 색 이름과 입력 임계치에 응답하여 상기되는 연관의 정도를 나타내는 관련도 사이의 거리인 검색 결과 표시 제어 데이터가 생성되는 경우, 단계(S89)에 있어서, 표시 제어부(106)는 소망한 색 이름의 색의 소망한 양을 포함하는 마스터 화상(201)과 축소 화상(202) 중 하나를 모니터(40)에 표시시킨다.

휴대 전화기(12)는 도 21의 주파수 성분 막대 그래프를 참조하여 설명한 동일한 검색 처리를 실행한다. 서버(13)는 도 21의 주파수 성분 막대 그래프를 참조하여 설명한 동일한 검색 처리를 실행한다.

도 22에 나타낸 바와 같이, 서버(13－1)와 서버(13－2) 중 하나에 있어서, 컨텐츠 데이터베이스(141) 및 유사 특징 데이터베이스(142)에 기억되어 있는 메타데이터(261)에 근거하여 마스터 화상(201)이 검색되는 동일한 방식으로, 디지털 스틸 카메라(11)와 휴대 전화기(12) 중 하나에 있어서, 축소 화상(202)이 컨텐츠 데이터베이스(111) 및 유사 특징 데이터베이스(112)에 기억되어 있는 메타데이터(261)에 근거하여 검색된다.

다음에, 디지털 스틸 카메라(11)의 구체적인 검색 처리가 아래에 설명된다.

도 23은 디지털 스틸 카메라(11)의 다른 검색 처리를 나타내는 플로차트(flow chart)이다. 단계(S101)에 있어서, 표시 제어부(106)는 축소 화상(202)이 모니터(40)상의 시계열에 표시되도록 한다. 즉, 단계(S101)에 있어서, 화상 기억부(110)는 기록된 축소 화상(202) 가운데, 사용자에 의해 조작된 입력부(49)로부터의 신호에 응답하는 소정의 범위내의 축소 화상(202)을 표시 제어부(106)에 공급한다. 또, 컨텐츠 데이터베이스(111)는 표시 제어부(106)에 공급된 소정의 범위내의 축소 화상(202)의 메타데이터(261) 가운데, 촬영 시각에서 메타데이터를 표시 제어부(106)에 공급한다. 표시 제어부(106)는 모니터(40)가 촬영 시각에 의해 축소 화상(202)을 촬영된 순서의 시계열로 표시하도록 한다.

도 24에 나타낸 바와 같이, 표시 제어부(106)는 모니터(40)가 그룹마다 촬영된 순서의 시계열로 축소 화상(202)을 표시하도록 한다. 각 그룹은 그룹 ID에 의해 식별된다. 도 24의 우측에 있어서의 사각(square)은 1개의 축소 화상(202)을 나타내고, 사각안의 숫자는 촬영된 순서를 나타낸다. 표시 제어부(106)는 그룹마다 래스터 스캔 시퀀스의 촬영된 순서로 축소 화상(202)을 모니터(40)에 표시시킨다.

단계(S101)에 있어서, 화상 기억부(110)는 모니터(40)상에 클러스터링한 화상을 표시하도록 해도 좋다.

여기서, 시각(t1 내지 t12)에서 촬영된 화상(p1 내지 p12)이 각각 클러스터트 된다. 예를 들면, 조건(A)과 조건(B)가 클러스터링 처리에 설정된다. 그 중의 조건(A)로부터, 1개의 클러스터가 화상(p1 내지 p12)으로 구성된다. 여기서, 조건(A)은 낮은 입도(granularity)(엉성)의 클러스터를 규정하는 조건이며, 조건(B)은 높은 입도(미세)의 클러스터를 규정하는 조건이다. 조건(B)은 조건(A)보다 높은 입도를 가진다. 예를 들면, 조건(A)에 의해 규정된 클러스터에는 이 벤트명 「결혼식(wedding ceremony)」이 설정된다.

「결혼식」의 이벤트명이 설정되어 있는 클러스터에 있어서, 화상의 화상 촬영 시각의 시간 간격의 변동 정도가 소정의 임계치보다 더 작다.

화상(p1 내지 p12)로부터, 조건(B)은 화상(p1 내지 p3)의 1개의 클러스터가 규정되고, 화상(p4 내지 p7)의 다른 클러스터가 규정되고, 화상(p8내지 p12)의 또 다른 클러스터가 규정된다.

화상(p1 내지 p3)으로 이루어진 클러스터에는 「교회의 의식」, 화상(p4 내지 p7)으로 이루어진 클러스터에는 「피로연」, 화상(p8 내지 p12)으로 이루어지는 클러스터에는 「2차 파티」의 이벤트명이 각각 설정된다.

화상의 화상 촬영 시간의 시간 간격에서의 변동 정도는 「교회의 의식」의 이벤트명을 갖는 클러스터에서 화상(p1 내지 p3) 사이에서 보다도 작다. 거기에서, 화상 촬영 시간의 시간 간격에서(시간축상에서)의 낮은 변동 정도를 갖는 화상(p4 내지 p7)으로 이루어진 다음의 클러스터에 대한 제 1화상인 화상(p3 내지 p4)으로부터의 비교적 오랜 시간간격을 발생시킨다. 화상(p3 내지 p4) 사이의 시간 간격 동안에, 발생 빈도가 변화되었다고 판단된다.

또, 「피로연」의 이벤트명이 설정되어 있는 클러스터에 있어서, 화상 촬영 시간의 시간 간격에서의 변동 정도는 화상(p4 내지 p7) 사이에서 보다도 작다. 거기에서 화상 촬영 시간의 시간 간격에서(시간축상에서)의 낮은 변동 정도를 갖는 화상(p8 내지 p12)으로 이루어진 다음의 클러스터에 대한 제 1화상인 화상(p7 내지 p8)으로부터의 비교적 오랜 시간간격을 발생시킨다. 화상(p7 내지 p8) 사이의 시간 간격 동안에, 빈도의 주파수가 변화되도록 판단된다.

「2차 파티」의 이벤트명이 설정되어 있는 클러스터에 있어서, 화상 촬영 시간의 시간 간격에서의 변동 정도는 화상(p8 내지 p12) 사이에서 작다. 화상(p12)과 화상 촬영 시간의 시간 간격에서(시간축상에서)의 낮은 변동 정도를 갖는 다음의 클러스터의 제 1화상인 다음 화상으로 비교적 오랜 시간간격을 발생시킨다. 화상(p12)과 다음 화상 사이의 시간 간격 동안에, 빈도의 주파수가 변화되도록 판단된다.

「결혼식」, 「교회의 의식」, 「피로연」, 「2차 파티」의 각각의 이벤트명은 예를 들면, 사용자에 의해 수동으로 설정된다.

복수의 조건은 클러스터 화상으로 설정되고, 다른 입도의 클러스터가 이 조건에 근거하여 규정된다.

그러므로, 규정된 각각의 클러스터에 포함되는 화상은 계층 구조로 사용자에게 제시된다.

단계(S101)에 있어서, 화상 기억부(110)는 모니터(40)가 날짜마다 표시 영역을 구분하도록 해도 좋고, 이 파티션에 할당된 데이터가 촬영 날짜에 일치하도록 소정의 파티션에 축소 화상(202)을 표시하도록 해도 좋다. 즉, 단계(S101)에 있어서, 화상 기억부(110)는 달력 표시에서 축소 화상(202)을 표시시킨다.

단계(S102)에 있어서, 검색부(107)는 사용자에 의해 조작된 모니터(40)로부터의 신호에 근거하여 모니터(40)에 표시되어 있는 축소 화상(202)으로부터 1개의 축소 화상(202)을 선택한다.

도 24에 나타낸 바와 같이, 시계열 형태로 표시된 축소 화상(202) 중 어느 것이 선택될 때, 표시 제어부(106)는 선택된 축소 화상(202)을 강조하거나, 선택된 축소 화상(202)의 윤곽을 향상시킨다.

도 25에 나타낸 바와 같이, 시계열 형태로 표시된 축소 화상(202) 중 어느 것이 선택될 때, 표시 제어부(106)는 선택된 축소 화상(202)을 모니터(40)상에 확대한다.

단계(S103)에 있어서, 검색부(107)는 유사하는 화상을 검색한다.

도 26은 단계(S103)에서 실행된 유사한 화상 검색 처리를 설명하는 플로차트(flow chart)이다. 단계(S131)에 있어서, 검색부(107)는 사용자에 의해 조작된 입력부(49)로부터의 신호를 수신하므로, 모니터(40)상에 표시된 메뉴안의 「유사 검색」의 항목을 선택함으로써 유사 검색의 지시를 취득한다.

단계(S132)에 있어서, 검색부(107)는 사용자에 의해 조작된 모니터(40)로부터 신호를 수신함으로써 검색 개시의 지시를 수신한다.

단계(S133)에 있어서, 검색부(107)는 유사 특징 데이터베이스(112)로부터, 단계(S102)에 대해 선택된 축소 화상(202)의 컨텐츠 ID에 대응하는 유사 특징 벡터를 판독한다. 유사 특징 벡터는 색특징 벡터(Cv)인지와 주파수 성분 벡터(Tv) 중 하나이다.

단계(S134)에 있어서, 검색부(107)는 유사 특징 데이터베이스(112)로부터, 검색하는 범위내의 하나의 축소 화상(202)의 컨텐츠 ID에 대응하는 유사 특징 벡터를 판독한다.

단계(S133)에 있어서 색특징 벡터(Cv)인 유사 특징 벡터가 판독되는 경우, 단계(S134)에 있어서, 색특징 벡터(Cv)인 유사 특징 벡터가 판독된다. 단계(S133)에 있어서 주파수 성분 벡터(Tv)인 유사 특징 벡터가 판독되는 경우, 단계(S134)에 있어서, 주파수 성분 벡터(Tv)인 유사 특징 벡터가 판독된다.

단계(S135)에 있어서, 검색부(107)는 검색하는 범위내의 축소 화상(202)의 유사 특징 벡터와 선택된 축소 화상(202)의 유사 특징 벡터 사이의 거리를 산출한다.

32의 요소를 가지는 각각의 색특징 벡터(Cv1=(c1_1,r1_1),..., (c32_ 1,r32_1))와 색특징 벡터(Cv2=(c1_2,r1_2),..., (c32_2,r32_2)) 사이의 거리의 산출이 아래에 기재된다.

접지 거리(dij=d(c1i,c2j))의 개념이 여기에서 도입된다. 접지 거리(dij)는 색특징 벡터의 요소 사이의 거리를 규정하고, 2개의 색 사이의 유클리드(Euclidean) 거리(L*a*b*의 3축공간에 있어서의 거리)이다. 그러므로, 접지 거리(dij)는 dij=∥c1i－c2j∥로 기재되어 있다.

색특징 벡터(Cv1)와 색특징 벡터(Cv2)와의 사이의 EMD(Earth Movers Distance)는 색특징 벡터(Cv1)에서 색특징 벡터(Cv2)로 플로우(F=Fji)를 결정하는 수송 문제를 해결함으로써 산출된다. 여기서, 색특징 벡터(Cv1)는 공급지(supplier)이고, 색특징 벡터(Cv2)는 수요지(market)이고, dij는 단위 수송 코스트이다.

EMD는 플로우의 수로 수송 문제의 최적치(수송 코스트의 총계의 최소치)를 나눠서 정규화함으로써 식(1)로부터 계산된다.

[수 1]

이 때,

식(1)에 의해 계산되는 EMD는 색특징 벡터(Cv1)와 색특징 벡터(Cv2)와의 사이의 거리이다.

주파수 성분 벡터(Tv)의 거리는 색특징 벡터(Cv)의 거리와 동일한 방식으로 결정된다.

가중치(Wc)는 색특징 벡터(Cv)의 거리에 대해서 결정할 수 있고, 가중치(Wt)는 주파수 성분 벡터(Tv)의 거리에 대해서 결정할 수 있고, 식(2)을 이용하여 최종적인 거리를 계산할 수 있도록 해도 좋다.

[수 2]

사용자가 가중치(Wc) 및 가중치(Wt)를 결정하도록 해도 좋다. 가중치(Wc) 및 가중치(Wt)가 고정된 값이어도 좋다. 보다 구체적으로는, 가중치(Wc) 및 가중치(Wt)는 각각 0.5로서 최종적인 거리가 색특징 벡터(Cv)의 거리와 주파수 성분 벡터(Tv)의 거리를 평균화함으로써 결정되어도 좋다.

벡터 거리의 계산에서 사용된 EMD(earth movers distance), Y.Rubner, C.Tomasi, and L.J. Guibas에 의한 the 1998 IEEE International Conference on Computer Vision, Bombay, India, January 1998, pp. 59-66에 "A Metric for Distributions with Applications to Image Databases로 제목된 논문에 공개되어 있다. 이 벡터 거리 계산은 이 방법에 한정되지 않는다. 예를 들면, 유클리드 거리나 하우스도프(Hausdorff) 거리가 이용되어도 좋다.

Kyoritsu Shuppan, pp. 30-41에 의해 출판된 컴퓨터 사이언스잡지 비트 12 월호에서 미치히로 코바야카와 및 마모루 호시에 의한 작성된, "Interactive Image Retrieval based on Wavelet Transform"로 제목된 논문과, IECE pp. 9-16에 의해 전자 정보 통신 학회 기술 연구 보고 Vol. 10, No 31, May 2, 2000인, 전자 정보 통신 학회에서, K.OH, K. 카네코, A. 마키노우치, A. 우에노에 의해 작성된 "Design, Implementation and Performance Evaluation of Similar Image Retrieval System based on Self-Organizing Feature Map"으로 제목된 논문에 공개되어 있다.

단계(S136)에 있어서, 검색부(107)는 검색하는 범위내의 화상으로 거리를 유사 결과 데이터베이스(113)에 기억한다. 예를 들면, 단계(S136)에 있어서, 검색부(107)는 검색하는 범위내의 화상의 컨텐츠 ID와 함께 거리를 유사 결과 데이터베이스(113)에 기억한다.

도 27은 컨텐츠 데이터베이스(111) 및 유사 특징 데이터베이스(112)에 기억되어 있는 메타데이터 및 유사 결과 데이터베이스(113)에 기억되고 있는 거리의 구조를 나타내는 도면이다.

도 27에 도시된 바와 같이, 데이터베이스 레코드(301－1)는 컨텐츠 아이템(281－1) 및 각 컨텐츠 아이템(281－1)에 대응하고, 데이터베이스 레코드(301－2)는 컨텐츠 아이템(281－2) 및 각 컨텐츠 아이템(281－2)에 대응한다.

즉, 데이터베이스 레코드(301－1) 및 데이터베이스 레코드(301－2)는 각각 컨텐츠 ID, 유사 특징 벡터, 마스터 화상(201)의 패스명 및 파일명, 그룹 ID, 촬영 시각 및 그 외의 특징을 포함한다.

유사 결과 데이터베이스(113)상에 기억된 거리 레코드(302)는 컨텐츠 ID와 선택된 화상으로부터의 거리를 포함한다. 거리 레코드(302)는 컨텐츠 ID를 이용하여 각각의 데이터베이스 레코드(301－1) 및 데이터베이스 레코드(301－2)에 관련된다.

이하, 데이터베이스 레코드(301－1) 및 데이터베이스 레코드(301－2) 사이에서 구별할 필요가 없는 경우, 데이터베이스 레코드는 데이터베이스 레코드(301)로서 간주된다.

거리 레코드(302)에 있어서의 거리는 거리 특성이다.

시간 그룹 데이터베이스(114)에 기억된 시간 그룹 레코드(303)는 그룹에 대한 고유의(그룹을 특정하기 위한) 그룹 ID와 그룹 ID로 특정되는 그룹에 속하는 화상을 특정하는 컨텐츠 ID를 포함한다. 시간 그룹 레코드(303)에 있어서의 컨텐 츠 ID의 배열은 PhotoIdArray인 특성이다.

도 28에 나타낸 바와 같이, 컨텐츠 데이터베이스(111), 유사 결과 데이터베이스(113) 및 시간 그룹 데이터베이스(114)의 각각의 레코드가 관련된다. 1개 또는 복수의 데이터베이스 레코드(301)는 각각의 컨텐츠 데이터베이스(111) 및 유사 특징 데이터베이스(112)(도시하지 않음)상에 기억되고, 1개 또는 복수의 시간 그룹 레코드(303)는 시간 그룹 데이터베이스(114)상에 기억된다.

도 26으로 돌아오고, 단계(S137)에 있어서, 검색부(107)는 검색하는 범위내의 모든 화상이 종료되는지의 여부를 판정한다. 단계(S137)에 있어서, 모든 화상이 종료되지 않는 것이 판정되는 경우, 단계(S134)로 복귀한다. 검색부(107)는 검색 범위의 다음의 축소 화상(202)의 컨텐츠 ID에 대응하는 유사 특징 벡터를 판독하고, 상술한 처리를 반복한다.

단계(S137)에 있어서, 모든 화상이 종료되었다고 판단되는 경우, 단계(S138)로 진행된다. 검색부(107)는 유사 특징 데이터베이스(112)로부터, 검색하는 범위내의 화상에 관련된 거리를 판독한다. 예를 들면, 단계(S138)에 있어서, 검색부(107)는 유사 특징 데이터베이스(112)로부터, 검색하는 범위내의 화상을 특정하는 컨텐츠 ID와 함께, 거리를 판독한다.

단계(S139)에 있어서, 검색부(107)는 단계(S138)에서 판독된 거리에 따라 검색하는 범위내의 화상을 분류하여, 처리를 종료한다. 예를 들면, 단계(S139)에 있어서, 검색부(107)는 거리의 순서에 따라 검색하는 범위내의 화상을 특정하는 컨텐츠 ID를 분류함으로써, 검색하는 범위의 화상을 유사 순서로 분류한다.

도 23으로 복귀하고, 단계(S104)에 있어서, 표시 제어부(106)는 모니터(40)에, 유사한 순서로 축소 화상(202)을 표시시킨다. 즉, 단계(S104)에 있어서, 표시 제어부(106)는 화상 기억부(110)로부터 축소 화상(202)을 판독하고, 단계(S139)에 대해 분류된 유사한 순서로 축소 화상(202)을 모니터(40)에 표시시킨다.

예를 들면, 도 29에 나타낸 바와 같이, 표시 제어부(106)는, 모니터(40)에, 단계(S102)에서 선택된 축소 화상(202)에 유사하는 축소 화상(202)을, 유사한 순서대로 표시시킨다. 예를 들면, 표시 제어부(106)는 모니터(40)의 표시 영역의 좌상(top left)에 단계(S102)에서 선택된 축소 화상(202)(도 29의 키 화상)을 표시시키고, 그 다음 키 화상에 유사하는 축소 화상(202)을 래스터(raster) 스캔 순서의 유사한 순서로 표시시킨다. 도 29의 우측에 있어서의 각 사각(square)은 1개의 축소 화상(202)을 나타내고, 각 사각의 알파벳은 축소 화상(202)에 대한 유사한 순서를 나타낸다.

단계(S105)에 있어서, 검색부(107)는 사용자에 의해 조작된 입력부(49)로부터의 신호에 응답하여, 모니터(40)에 표시되어 있는 축소 화상(202)으로부터, 1개의 축소 화상(202)을 선택한다.

예를 들면, 도 29에 나타낸 바와 같이, B 라벨된 축소화상(202)이 유사한 순서의 래스터 스캔 형태로 모니터(40)에 표시되어 있는 축소 화상(202) 가운데, 선택되는 경우, 선택된 축소 화상(202)은 강조되거나, 또는 선택된 축소 화상(202)의 윤곽은 향상된다. 동시에, 표시부(106)는 모니터(40)의 표시 영역에서의 키 화상 이하의 선택된 축소 화상(202)을 확대 관점으로 표시한다.

단계(S106)에 있어서, 검색부(107)는 사용자에 의해 조작된 입력부(49)로부터의 신호에 응답하여, 캔슬(cancel)하는지의 여부를 판정한다. 검색부(107)가 캔슬하지 않는다고 판정하는 경우, 단계(S107)로 진행된다. 검색부(107)는 선택된 축소 화상(202)이 들어오는지의 여부를 판정한다.

단계(S107)에 있어서, 선택된 축소 화상(202)이 들어올 수 있다고 판정되는 경우, 검색부(107)는 단계(S105)에서 선택되어 있는 축소 화상(202)의 그룹 ID를 취득한다. 즉, 검색부(107)는 단계(S105)에서 선택되어 있는 축소 화상(202)의 컨텐츠 ID로 특정되는 메타데이터(261)를 판독하고, 선택되어 있는 축소 화상(202)이 속하는 그룹을 특정하는 그룹 ID를 메타데이터(261)로부터 추출하고, 선택되어 있는 축소 화상(202)의 그룹 ID를 취득한다.

단계(S109)에 있어서, 검색부(107)는 취득한 그룹 ID로 특정되는 그룹에 속하는 축소 화상(202)을 화상 기억부(110)로부터 판독한다. 보다 구체적으로는, 검색부(107)는 취득한 그룹 ID에 따라 시간 그룹 데이터베이스(114)의 시간 그룹 레코드(303)를 검색한다. 검색부(107)는 취득한 그룹 ID와 같은 그룹 ID를 갖는 시간 그룹 레코드(303)에 따라 그룹 ID로 특정되는 그룹에 속하는 화상을 특정하는 컨텐츠 ID의 배열(string)을 시간 그룹 데이터베이스(114)로부터 판독한다. 검색부(107)는 판독된 컨텐츠 ID의 배열의 요소인 컨텐츠 ID로 특정되는 축소 화상(202)을 화상 기억부(110)로부터 판독한다. 검색부(107)는 판독된 축소 화상(202)을 표시 제어부(106)에 공급한다.

단계(S110)에 있어서, 표시 제어부(106)는 모니터(40)가 판독된 축소 화 상(202)을 시계열로 표시하도록 한다. 그러므로, 처리는 종료된다.

단계(S110)에 있어서, 표시 제어부(106)는 모니터(40)가 클러스터된 형태 또는 달력 형태로 축소 화상(202)을 표시하도록 해도 좋다.

단계(S107)에 있어서, 선택된 축소 화상(202)이 들어오지 않는다고 판단한 경우, 단계(S104)로 돌아오고, 단계(104)와 다음 단계를 반복한다.

단계(S106)에 있어서, 선택이 캔슬한다고 판정되는 경우, 단계(S101)로 돌아오고, 단계(101)와 그 다음 단계를 반복한다.

단계(S102) 또는 단계(S105)에 있어서, 다음의 화상이 선택될 때까지, 화상의 선택 상태는 화면상에 유지된다. 단계(S101), 단계(S104), 또는 단계(S110)에 있어서, 선택된 화상은 사용자가 선택된 화상을 식별할 수 있도록 한 방식의 향상된 윤곽으로 표시된다.

즉, 전환 조작은 선택된 화상 상태를 유지하면서 시계열의 표시 상태와 유사 순서의 표시 상태 사이의 화상의 표시로 실행된다.

이와 같은 방식으로, 소정의 화상에 유사하는 화상이 촬영된 시각에 가까운 시각에서 촬영된 화상은 즉시 표시될 수 있다. 소정의 화상이 촬영된 시각에 가까운 시각에서 촬영된 화상에 유사하는 화상은 즉석에서 표시할 수 있다. 그러므로, 화상 유사 기준 또는 가까운 시간 기준 중 하나에 의해 검색되는 순서대로 추적될 수 있다. 시간축 검색 및 유사 검색을 효과적으로 결합함으로써, 심지어 작은 하면 크기를 갖는 디지털 스틸 카메라(11)는 인간의 기억을 지배하는 요소인 유사성에 관하여 검색 화상 및 시간을 사용자가 보도록 허락한다.

유사를 나타내는 거리는 통계적인 유사성를 나타내고, 검색 누락이 발생될 수 있다. 사람의 감각으로부터 유사하게 표시되는 화상은 검색을 회피할 수 있다. 이러한 검색 누락이 발생될지라도, 근접하는 이벤트에서의 화상이 하나의 관점에서 표시되고, 사용자는 사람의 감각으로부터 유사하게 표시되는 화상을 바로 식별할 수 있다.

꽃놀이의 화상, 불꽃의 화상, 바베큐 파티 등의 이벤트 화상은 매년 촬영될 수 있다. 이러한 이벤트의 화상은 누적될 수 있다. 이 화상은 유사한 검색을 실행한 후에 시계열 순서로 즉시 재배열될 수 있다. 이 시계열 순서로 표시된 유사한 이벤트의 화상은 사용자가 이벤트를 회상하도록 도우는 앨범으로서 역할을 할 수 있다.

디지털 스틸 카메라(11)는 도 23의 플로차트(flow chart)의 처리에서 마스터 화상(201)을 검색하도록 해도 좋다.

도 23의 플로차트(flow chart)에 설명된 검색 처리에 있어서, 도 30의 위쪽에 나타낸 바와 같이, 축소 화상(202)은 모니터(40)에 그룹마다 시계열 순서로 표시된다. 시계열 형태로 표시되어 있는 축소 화상(202) 가운데, A의 알파벳이 부가된 축소 화상(202)이 선택되면, A의 알파벳이 부가된 축소 화상(202)에 유사한 축소 화상(202)은 모니터(40)상에 유사한 순서로 검색되어 표시된다.

모니터(40)는 키 화상 이를 테면 A의 알파벳이 부가된 축소 화상(202)을 확대 관점으로 표시시킨다.

유사한 순서로 표시되어 있는 축소 화상(202) 가운데, B의 알파벳이 부가된 축소 화상(202)이 선택되면, 모니터(40)는 키 화상으로서 B의 알파벳이 부가된 축소 화상(202)을 확대 관점으로 표시시킨다.

A의 알파벳이 부가된 축소 화상(202)에 유사하는 축소 화상(202)은 유사한 순서로 모니터(40)에 표시된다. A의 알파벳이 부가된 축소 화상(202)의 선택이 캔슬되는 경우, 시계열 형태로 축소 화상(202)이 표시하는 상태로 돌아온다.

유사한 순서로 표시되어 있는 축소 화상(202) 가운데, B의 알파벳이 부가된 축소 화상(202)이 선택될 때 엔터키가 선택되는 경우, B의 알파벳이 부가된 축소 화상(202)의 그룹에 속하는 축소 화상(202)은 시계열 형태로 표시된다. 이 경우, B의 알파벳이 부가된 축소 화상(202)은 향상된 외곽으로 표시된다.

촬영된 일자에 의해서 축소 화상(202)이 그룹으로 분류될 수 있다. 그룹 근거마다 모니터(40)는 B의 알파벳이 부가된 축소 화상(202)의 촬영된 일자에 가까운 일자를 갖는 축소 화상(202)을 시계열 형태로 표시된다.서버(13)의 검색 처리가 이하에 기재될 것이다. 도 31은 서버(13)의 검색처리를 나타내는 플로차트(flow chart)이다. 스텝(S161)에 있어서, 서버(13)의 표시제어부(136)는, 디스플레이로서의 출력부(77)에 시계열 형식(time series format)으로 본화상(master image)(201)을 표시시킨다. 더상세하게는, 스텝(S161)에 있어서, 화상보관유지부(140)는, 기록되어 있는 본화상(201) 중에서, 사용자에 의해 조작된 입력부(76)로부터의 신호에 대응하는 검색범위 내의 본화상(201)을 표시제어부(136)에 공급한다. 컨텐츠 데이터베이스(141)는 표시제어부(136)에 공급된 소정의 범위 내의 본화상(201)의 메타데이터(261) 중에서 촬영시각의 메타데이터를 표시제어부(136) 에 공급한다. 표시제어부(136)는 촬영시각에 따라 촬영의 시계열 순서(time series sequence of the image capture)로 출력부(77)에 본화상(201)을 표시시킨다.

예를 들면, 도 32의 우측에 나타낸 바와 같이, 표시제어부(136)는 축소화상(contracted image)(202)을 촬영시간 순으로 출력부(77)에 표시시킨다(예를 들면, 시간축을 따라). 표시제어부(136)는 그룹마다 촬영된 순서대로 본화상(201)을 출력부(77)에 표시시킨다.

스텝(S162)에 있어서, 검색부(137)는 사용자에 의해 조작된 입력부(76)로부터의 신호에 대한 응답으로 출력부(77)에 표시되는 본화상(201) 중 하나를 선택한다.

스텝(S163)에 있어서, 검색부(137)는 유사한 화상의 검색처리를 실행한다. 스텝(S163)의 검색처리는 검색부(107)를 대신하여 검색부(137)에 의해 실행된다. 스텝(S163)의 나머지 검색처리는 도 26의 플로차트를 참조하여 설명한 처리에서 변경된 것이 없으므로, 그 상세한 설명은 생략한다.

스텝(S164)에 있어서, 표시제어부(136)는 출력부(77)에 유사한 순서대로 본화상(201)을 표시시킨다. 더 상세하게는, 스텝(S164)에 있어서, 표시제어부(136)는 정렬된(sorted) 유사한 순서대로 본화상(201)을 출력부(77)에 표시시킨다.

예를 들면, 도 32의 좌측에 나타낸 바와 같이, 표시제어부(136)는 스텝(S162)에서 선택된 본화상(201)과 유사한 본화상(201)을 유사한 순서대로 출력 부(77)에 표시시킨다.

스텝(S165)에 있어서, 검색부(137)는 사용자에 의해 조작된 입력부(49)로부터의 신호에 대한 응답으로, 출력부(77)에 표시되고 있는 본화상(201) 중에서 1개의 본화상(201)을 선택한다.

스텝(S166)에 있어서, 검색부(137)는 사용자에 의해 조작된 입력부(49)로부터의 신호에 대한 응답으로, 화상이 시계열 형식(time series format)으로 표시하는지 아닌지를 판정한다. 예를 들면, 검색부(137)는 사용자가 출력부(77)에 표시되고 있는 전환버튼(351) 또는 전환버튼(352) 중 하나를 선택할 때 입력부(76)로부터의 신호에 대한 응답으로 화상을 시계열 순으로 표시하는지 아닌지를 판정한다.

예를 들면, 화상이 시계열 순서로 표시되도록 지시하는 출력부(77)의 전환버튼(351)이 선택되면, 스텝(S166)에서 시계열 표시가 수행되는 것으로 판정된다. 처리는 스텝(S167)으로 진행된다.

스텝(S167)에 있어서, 검색부(137)는 컨텐츠 데이터베이스(141)로부터 선택된 본화상(201)의 그룹 ID를 취득한다. 더 상세하게는, 검색부(137)는 컨텐츠 데이터베이스(141)로부터 선택된 본화상(201)의 컨텐츠 ID에 의해 특정되는 메타데이터(261)를 읽어내고, 읽어낸 메타데이터(261)로부터 선택된 본화상(201)의 그룹을 특정하는 그룹 ID를 추출한다. 검색부(137)는 따라서 선택된 본화상(201)의 그룹 ID를 취득한다.

스텝(S168)에 있어서, 검색부(137)는 취득한 그룹 ID에 의해 특정되는 그룹 에 속하는 본화상(201)을 화상보관유지부(140)로부터 읽어낸다. 검색부(137)는 취득한 그룹 ID에 따라 시간 그룹 데이터베이스(time group database)(144)의 시간 그룹 레코드(time group record)(303)를 검색한다. 검색부(137)는 취득한 그룹 ID와 동일한 그룹 ID를 포함하는 시간 그룹 레코드(303)에 따른 그룹 ID에 의해 특정되는 그룹에 속하는 화상을 특정하는 컨텐츠 ID의 배열(string)을 시간 그룹 데이터베이스(144)로부터 읽어낸다. 검색부(137)는 읽어낸 컨텐츠 ID의 배열의 요소(element)로서 컨텐츠 ID에 의해 특정되는 본화상(201)을 화상보관유지부(140)로부터 읽어낸다. 검색부(137)는 읽어낸 본화상(201)을 표시제어부(136)에 공급한다.

스텝(S169)에 있어서, 표시제어부(136)는 출력부(77)에 읽어낸 본화상(201)을 표시시킨다. 더 상세하게는, 스텝(S169)에 있어서, 표시제어부(136)는 출력부(77)에 읽어낸 본화상(201)을 시계열 형식으로 표시시킨다.

스텝(S170)에 있어서, 검색부(137)는 사용자에 의해 조작된 입력부(76)로부터의 신호에 대한 응답으로 출력부(77)에 표시되는 축소 화상(201) 중에서, 1개의 본화상(201)을 선택한다.

스텝(S171)에 있어서, 검색부(137)는 사용자에 의해 조작된 입력부(49)로부터의 신호에 대한 응답으로 화상을 시계열 형식으로 표시하는지 아닌지를 판정한다. 예를 들면, 검색부(137)는 사용자에 의해 출력부(77)에 표시되는 전환버튼(351) 또는 전환버튼(352) 중 하나가 선택되었을 때 입력부(76)로부터의 신호에 대한 응답으로 화상을 시계열 형식으로 표시하는지 아닌지를 판정한다.

화상이 유사한 순서로 표시되도록 지시하는 출력부(77) 상의 전환버튼(352)이 사용자에 의해 선택되면, 검색부(137)는 스텝(S171)에서 유사한 순서로 화상을 표시하는 것으로 판정한다. 스텝(S171)에서 화상이 시계열 형식으로 표시된다고 판정되면, 처리는 스텝(S163)으로 돌아간다.

화상이 시계열 순으로 표시되도록 지시하는 출력부(77) 상의 전환버튼(351)이 사용자에 의해 선택되면, 검색부(137)는 스텝(S171)에서 유사한 순서로 회상을 표시하지 않는 것으로 판정한다. 처리는, 스텝(S167)으로 돌아가 스텝(S167) 및 이후의 처리를 반복한다.

스텝(S166)에서 전환버튼(352)이 선책되면, 화상은 시계열 형식으로 표시되지 않고, 처리는 스텝(S163)으로 돌아가 스텝(S163) 및 이후의 처리를 반복한다.

유사한 순서의 표시와 시계열 순서의 표시 사이의 전환 동작(switching operation)은 출력부(77) 상에 표시되는 전환버튼(351)과 전환버튼(352)의 선택에 대한 응답으로 자유롭게 수행된다.

다음으로 서버(13)의 관련도 추출 처리(relation level extraction process)에 대하여 설명한다.

디지털 카메라(11), 휴대 전화기(12) 및 서버(13)는 화상의 특징으로서 색 이름(color name)과 그 색 이름의 관련도(relation level)를 이용하여 화상을 검색한다. 서버(13)는 화상의 특징 중 하나로서 화상으로부터 소정의 색 이름의 관련도를 추출한다.

색 이름의 관련도란 화상이 특정한 색 이름에 대한 응답으로 상기되는 관련 의 정도(degree of association)를 의미한다. 다시 말하면, 관련도는 화상이 특정한 색 이름의 색이라고 생각되는 색의 비율에 관한 것이다.

색 이름은, 예를 들면, 적(red), 청(blue), 황(yellow), 백(white), 흑(black), 녹(green) 등이다.

도 33은, 색 이름의 관련도를 추출하는 색특징 추출부(color feature extractor)(172)의 구성의 예를 나타내는 블록도이다. 색특징 추출부(172)는 화상 입력부(401), 빨강관련도 추출부(402), 파랑관련도 추출부(403), 노랑관련도 추출부(404) 및 추출특징 기록부(405)를 포함한다.

빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)는, 단지 예를 위해 기술된 것이며, 임의의 색의 관련도를 추출하는 임의의 수의 관련도 추출부가 설치될 수 있다. 더 상세하게는, 관련도 추출부는 색 이름마다 준비된다.

이하에 기술된 예에서는, 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)가 설치되어 있다.

화상 입력부(401)는 화상보관유지부(140)로부터 관련도 추출의 대상이 되는 본화상(201)을 취득한다. 화상 입력부(401)는 관련도추출부 대응 보관유지부(145)로부터 색 이름과 각각의 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)의 매핑(mapping)을 나타내는 대응정보를 취득한다.

도 34에 나타낸 바와 같이, 관련도추출부 대응 보관유지부(145)에 기록되어 있는 대응정보에는 색 이름과 그 색 이름의 관련도가 추출되는 빨강관련도 추출 부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)를 특정하는 정보가 포함되어 있다. 예를 들면, 도 34에 나타낸 바와 같이 색 이름 "빨강"은 빨강관련도 추출부(402)에 대응하고 색 이름 "파랑"은 파랑관련도 추출부(403)에 대응하고 색 이름 "노랑"은 노랑관련도 추출부(404)에 대응한다.

대응정보에 근거하여, 화상 입력부(401)는 화상보관유지부(140)로부터 취득한 본화상(201)을, 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)에 공급한다.

빨강관련도 추출부(402)는 화상 입력부(401)로부터 공급된 본화상(201)으로부터 본화상(201)이 색 이름 빨강에 대응한다고 생각되는 관련 정도를 나타내는 관련도를 추출한다. 빨강관련도 추출부(402)는 그 후 본화상(201)으로부터 추출된, 색 이름 빨강에 관한 관련 정도를 나타내는 관련도를 추출특징 기록부(405)에 공급한다.

파랑관련도 추출부(403)는 화상 입력부(401)로부터 공급된 본화상(201)으로부터 본화상(201)이 색 이름 파랑에 대응한다고 생각되는 관련 정도를 나타내는 관련도를 추출한다. 파랑관련도 추출부(403)는 그 후 본화상(201)으로부터 추출된, 색 이름 파랑에 관한 관련 정도를 나타내는 관련도를 추출특징 기록부(405)에 공급한다.

노랑관련도 추출부(404)는 화상 입력부(401)로부터 공급된 본화상(201)으로부터 본화상(201)이 색 이름 노랑에 대응한다고 생각되는 관련 정도를 나타내는 관련도를 추출한다. 노랑관련도 추출부(404)는 그 후 본화상(201)으로부터 추출 된, 색 이름 노랑에 관한 관련 정도를 나타내는 관련도를 추출특징 기록부(405)에 공급한다.

추출특징 기록부(405)는 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)로부터 각각 공급되는 색 이름 빨강에 관한 관련 정도를 나타내는 관련도, 색 이름 파랑에 관한 관련 정도를 나타내는 관련도 및 색 이름 노랑에 관한 관련 정도를 나타내는 관련도를 본화상(201)과 관련시키고(associate), 그 결과로서의 관련도를 추출특징 보관유지부(146)에 저장한다.

도 35에 나타낸 바와 같이, 추출특징 보관유지부(146)는 본화상(201)을 특정하는 컨텐츠 ID와 함께, 색 이름 빨강에 관한 관련 정도를 나타내는 관련도, 색 이름 파랑에 관한 관련 정도를 나타내는 관련도 및 색 이름 노랑에 관한 관련 정도를 나타내는 관련도를 저장한다.

상기한 바와 같이, 화상 입력부(401)는 화상보관유지부(140)에 기록된 본화상(201)을 입력한다. 본화상(201) 뿐만 아니라, 축소화상(contracted image)(202) 또는 색 감소 화상(reduced color image)(221)이 입력되고 처리될 수 있다. 화상 대신에, 관련도가 추출되는 각 화상에 관련된 색 히스토그램(color histogram)이 화상 입력부(401)에 의해 입력될 수 있다. 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)는 그 후 입력된 히스토그램으로부터 그 관련도를 추출할 수 있다.

도 35는 추출특징 보관유지부(146)에 기록되는 관련도의 논리구조를 나타내는 도면이다. 나타낸 바와 같이, 000의 컨텐츠 ID에 관련하여, 추출특징 보관유 지부(146)는 000의 컨텐츠 ID에 의해 특정되는 본화상(201)으로부터 각각 추출된 색 이름 빨강에 관한 관련 정도를 나타내는 0.80의 관련도, 색 이름 파랑에 관한 관련 정도를 나타내는 0.00의 관련도 및 색 이름 노랑에 관한 관련 정도를 나타내는 0.10의 관련도를 저장한다. 001의 컨텐츠 ID에 관련하여, 추출특징 보관유지부(146)는 001의 컨텐츠 ID에 의해 특정되는 본화상(201)으로부터 각각 추출된 색 이름 빨강에 관한 관련 정도를 나타내는 0.00의 관련도, 색 이름 파랑에 관한 관련 정도를 나타내는 0.25의 관련도 및 색 이름 노랑에 관한 관련 정도를 나타내는 0.20의 관련도를 저장한다. 더욱이, 추출특징 보관유지부(146)는 002의 컨텐츠 ID에 관련하여, 002의 컨텐츠 ID에 의해 특정되는 본화상(201)으로부터 추출된 색 이름 빨강에 관한 관련 정도를 나타내는 0.15의 관련도, 색 이름 파랑에 관한 관련 정도를 나타내는 0.05의 관련도 및 색 이름 노랑에 관한 관련 정도를 나타내는 0.00의 관련도를 저장한다.

추출특징 기록부(405)는, 메타데이터(261)로서, 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)로부터 각각 공급된 색 이름 빨강에 관한 관련 정도를 나타내는 관련도, 색 이름 파랑에 관한 관련 정도를 나타내는 관련도 및 색 이름 노랑에 관한 관련 정도를 나타내는 관련도를 본화상(201)과 관련시키고, 유사특징(similar feature) 데이터베이스(142)에 저장한다.

관련도는 EXIF 데이터로서 본화상(201)의 소정의 영역에 내장되도록 할 수 있다.

검색부(137)는 화상의 특징으로서 색 이름과 그 색 이름의 관련도를 검색한 다. 이 경우, 검색부(137)는 검색조건 입력부(retrieval condition input unit)(421) 및 조건 조합부(condition matching unit)(422)를 포함할 수 있다.

검색조건 입력부(421)는 사용자에 의해 조작된 입력부(76)로부터의 신호에 대한 응답으로 관련도의 검색조건을 수신한다. 검색조건 입력부(421)는 관련도의 검색조건을 조건조합부(422)에 공급한다.

조건조합부(422)는, 검색조건 입력부(421)로부터 공급된 검색조건을 추출특징 보관유지부(146)에 기록되어 있는 관련도에 대하여 조합한다. 조건조합부(422)는 조합 결과, 즉, 검색조건을 만족하는 관련도에 대응하는 컨텐츠 ID를 검색결과 보관유지부(147)에 저장한다.

도 36은, 스텝(S43)에 대응하는 색 특징 추출 처리를 상세히 나타내는 플로차트(flow chart)이다. 스텝(S201)에 있어서, 화상 입력부(401)는 화상보관유지부(140)로부터 관련도가 추출되는 화상으로서 본화상(201)을 수신한다. 또한, 화상 입력부(401)는 관련도추출부 대응 보관유지부(145)로부터 대응정보를 수신한다.

스텝(S202)에 있어서, 화상 입력부(401)는 색 이름을 수신한다. 스텝(S203)에 있어서, 화상 입력부(401)는 대응정보에 대한 응답으로, 입력된 색 이름에 대응하는 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404)를 특정한다.

예를 들면, 스텝(S202)에 있어서 빨강의 색 이름이 입력되었을 경우, 스텝(S203)에서 화상 입력부(401)는 대응정보에 대한 응답으로 빨강관련도 추출 부(402)를 특정한다.

화상 입력부(401)는 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404) 중 특정된 어느 하나에 입력된 본화상(201)을 공급한다.

스텝(S204)에 있어서, 스텝(S203)에서 특정된 빨강관련도 추출부(402), 파랑관련도 추출부(403) 및 노랑관련도 추출부(404) 중의 하나는 관련도 추출처리를 실행한다. 관련도 추출처리는 이후에 상세히 설명한다.

추출된 관련도는 추출특징 기록부(405)에 공급된다.

스텝(S205)에 있어서, 추출특징 기록부(405)는 관련도가 추출되는 대상으로서의 본화상(201)과 관련되는 색 특징 벡터(color feature vector)로서 추출된 관련도를 추출특징 보관유지부(146)에 저장한다.

스텝(S206)에 있어서, 화상 입력부(401)는 모든 색 이름에 대해 본화상(201)으로부터 관련도가 추출되었는지를 판정한다. 모든 색 이름이 완료되지 않았을 경우, 처리는 스텝(S202)로 돌아가 다음의 색 이름을 입력하고 이후의 처리를 반복한다.

스텝(S206)에서 현재의 색 이름이 마지막, 즉, 모든 색의 이름에 대해 본화상(201)으로부터 관련도가 추출되었다고 판정되면, 처리는 종료한다.

도 37은 스텝(S203)에서 빨강관련도 추출부(402)가 특정되었을 경우에 수행되는 도 36의 스텝(S204)에 대응하는 관련도 추출처리를 상세히 나타내는 플로차트이다.

스텝(S221)에 있어서, 빨강관련도 추출부(402)는 내장 카운터(internal counter)를 클리어(clear) 한다. 최초로 실행되는 스텝(S222)에 있어서, 빨강관련도 추출부(402)는 최초 화소(first pixel)의 색, 즉, 본화상(201)의 최초 화소의 화소값(pixel value)을 수신한다. 스텝(S223)에 있어서, 빨강관련도 추출부(402)는 색 공간(color space)에서 화소의 색의 위치를 계산한다.

스텝(S224)에 있어서, 빨강관련도 추출부(402)는 색 공간에서 계산된 위치가 빨강의 색 이름에 대응하는 서브 공간(sub space) 내인지를 판정한다.

이하, 화소의 색에 대하여 계산되는 색 공간에서의 위치에 대하여 설명한다.

예를 들면, 본화상(201)의 각 화소의 화소값은 RGB로 표현된다. 화소값은 R값, G값, 및 B값으로 구성된다. RGB 공간(RGB space)은, 도 38에 나타낸 바와 같이, 세 개의 축, 즉, R축, G축 및 B축이 서로 직교하는 것에 의해 정의된다. 하나의 화소값은 RGB 색 공간에서 하나의 위치를 결정한다.

RGB 색 공간에 있어서, 인간에 의해 하나의 색 이름의 색으로 인식되는 색의 위치를 하나의 영역(area)으로 기술하는 것은 어렵다.

여기서, L*a*b* 공간에서의 위치에 의해 화소의 색을 기술하는 것이 생각된다. L*a*b* 공간은, 도 39에 나타낸 바와 같이, 서로 직교하는 세 개의 축, 즉, L*축, a*축 및 b*축으로 정의된다. L*a*b* 공간에 있어서, L*축에서 L*값이 커지면, 휘도(luminance)가 높아지게 되고, L*축에서 L*값이 작아지면, 휘도가 낮아진다. L*값이 일정하게 주어진 경우, L*축에 가까워질수록 채도(color saturation)가 낮아진다.

하나의 화소값은 L*a*b* 공간에서 하나의 위치를 결정한다.

L*a*b* 공간에 있어서, 인간에 의해 하나의 색 이름의 색으로 인식되는 색의 위치가 하나의 영역으로 기술된다. 인간에 의해 소정의 색 이름의 색으로 인식되는 색의 위치를 포함하는 영역을 서브 공간이라고 칭한다. 서브 공간은, 예를 들면, L*a*b* 공간에서 폭(breadth)을 가지는 영역이다.

이하, 흰색 및 검정에 대한 서브 공간의 예를 설명한다.

도 40은, 흰색 서브 공간(441) 및 검정 서브 공간(442)을 나타내는 도면이다. 흰색 서브 공간(441)은 하나의 축이 L*축과 일치하는(collinear) 타원체(elliptical body)의 일부(part)이다. 타원체의 도시된 중심(graphical center)이 L*a*b* 공간의 꼭대기(top position)에 위치한다(L*축의 최대값으로 주어지는 위치). 흰색 서브 공간(441)은 또한 L*a*b* 공간에 의해 공통으로 공유되는(commonly shared) 타원체의 내부 공간(internal space)의 일부이다. 흰색 서브 공간(441)은 낮은 채도를 제공하는 반면, 높은 휘도를 제공한다. 흰색 서브 공간(441) 내의 위치에서 나타내지는 색은 인간에 의해서는 흰색으로 인식된다.

검정 서브 공간(442)은 하나의 축이 L*축과 일치하는 타원체의 일부이다. 타원체의 도시된 중심이 L*a*b* 공간의 맨 아래(bottom position)에 위치한다(L*축의 최소값으로 주어지는 위치). 검정 서브 공간(442)은 또한 L*a*b* 공간에 의해 공통으로 공유되는(commonly shared) 타원체의 내부 공간(internal space)의 일부이다. 검정 서브 공간(442)은 낮은 채도를 제공하면서 낮은 휘도를 제공한다. 검정 서브 공간(442) 내의 위치에서 나타내지는 색은 인간에 의해서는 검정으로 인식된다.

이하, 빨강, 노랑, 녹색 및 파랑에 대한 서브 공간을 설명한다.

빨강, 노랑, 녹색 및 파랑은 유채색(chromatic color)이므로, 채도경계(color saturation boundary)(461)의 내부 공간, 휘도 하한경계(luminance lower limit)(462)의 아래쪽 공간 및 휘도 상한경계(luminance upper limit)(463)의 위쪽 공간이 L*a*b*공간으로부터 제외된다. 채도경계(461)의 내부 공간은 낮은 채도를 제공하고, 그 공간 내의 위치로 나타내지는 색은 인간에 의해 빨강, 노랑, 녹색 또는 파랑으로 인식될 수 없다.

휘도 하한경계(462)의 아래쪽의 공간은 낮은 휘도를 제공하고, 그 공간 내의 위치로 나타내지는 색의 인간에 의해 빨강, 노랑, 녹색 또는 파랑으로 인식될 수 없다.

휘도 상한경계(463)의 위쪽의 공간은 높은 휘도를 제공하고, 그 공간 내의 위치로 나타내지는 색은 인간에 의해 빨강, 노랑, 녹색 또는 파랑으로 인식될 수 없다.

채도경계(461)의 내부 공간, 휘도 하한경계(462)의 아래쪽 공간 및 휘도 상한경계(463)의 위쪽 공간을 제외한 L*a*b* 공간 내의 색은 인간에 의해 빨강, 노랑, 녹색 또는 파랑으로 인식된다.

채도경계(461)의 내부 공간, 휘도 하한경계(462)의 아래쪽 공간 및 휘도 상한경계(463)의 위쪽 공간을 제외한 L*a*b* 공간이, 도 42에 나타낸 바와 같이, a*축과 b*축에 의해 형성되는 평면에 대해 수직인 L*축으로부터 방사상으로(radially) 연장되는 경계들에 의해 분할(segment)된다. 예를 들면, L*a*b* 공간을 L*축의 양의 부분(positive portion)의 위치의 위쪽에서 보았을 때, 녹색 서브 공간(481)은 a*축을 따르는 공간이며, a*축의 음의 부분(negative portion) 위쪽의 L*축으로부터 연장하는 경계와 a*축의 음의 부분 위쪽의 L*축으로부터 연장하는 경계로 둘러싸인 공간이다. 녹색 서브 공간(481) 내의 위치로 나타내지는 색은 인간에 의해 녹색으로 인식된다.

L*a*b* 공간을 L*축의 양의 부분의 위쪽으로부터 보았을 경우, 파랑 서브 공간(482)은 b*축을 따르는 공간이며, L*축으로부터 b*축의 음의 부분의 우측으로 연장하는 경계와 L*축으로부터 b*축의 음의 부분의 좌측으로 연장하는 경계로 둘러싸인 공간이다. 파랑 서브 공간(482) 내의 위치로 나타내지는 색은 인간에 의해 파랑으로 인식된다.

L*a*b* 공간을 L*축의 양의 부분의 위쪽에서 보았을 경우, 빨강의 서브 공간(483)은 a*축을 따르는 공간이며, a*축의 양의 부분 위쪽에 연장하는 경계와 a*축의 양의 부분 아래에 연장하는 경계로 둘러싸인 공간이다. 빨강 서브 공간(483) 내의 위치로 나타내지는 색은 인간에 의해 빨강으로 인식된다. L*a*b* 공간을 L*축의 양의 부분의 위쪽에서 보았을 경우, 노랑 서브 공간(484)은 b*축을 따르는 공간이며, b*축의 양의 부분의 우측으로 연장하는 경계와 b*축의 양의 부분의 좌측으로 연장하는 경계로 둘러싸인 공간이다. 노랑 서브 공간(484) 내의 위치로 나타내지는 색은 인간에 의해 노랑으로 인식된다.

스텝(S223)에 있어서, 빨강관련도 추출부(402)는 화소의 색에 대응하는 L*a*b* 공간 내의 위치를 계산한다. 스텝(S224)에 있어서, 빨강관련도 추출 부(402)는 L*a*b* 공간 내의 계산된 위치가 빨강의 색 이름에 대응하는 파랑 서브 공간(482)내에 있는지를 판정한다. 더 상세하게는, 스텝(S224)에 있어서, 빨강관련도 추출부(402)는, 화소의 색이 인간에 의해 빨강으로 인식될 수 있는 색인지를 판정한다.

스텝(S224)에서 계산된 L*a*b* 공간 내의 위치가 빨강의 색 이름에 대응하는 빨강 서브 공간(483) 내라고 판정되었을 경우, 화소의 색은 인간에 의해 빨강으로 인식될 수 있는 색이다. 처리는 스텝(S225)으로 진행된다. 빨강관련도 추출부(402)는 카운터를 1 증가시키고(increment) 그 후 처리는 스텝(S226)으로 진행된다.

스텝(S224)에 있어서, 계산된 L*a*b* 공간 내의 위치가 빨강의 색 이름에 대응하는 빨강 서브 공간(483) 내가 아니라고 판정되었을 경우, 화소의 색은 인간에 의해 빨강으로 인식되는 색이 아니다. 처리는 스텝(S225)을 건너뛰고(skip), 즉, 카운터를 증가시키지 않고, 스텝(S226)으로 진행된다.

스텝(S226)에서 빨강관련 레벨 추출부(402)는 본화상(201)의 모든 화소가 처리되는 지를 판정한다. 본화상(201)의 모든 화소가 처리되지 않았다고 스텝(S226)에서 판정되었을 경우, 처리를 스텝(S222)으로 복귀한다. 본화상(201)의 화소 중 다음 화소의 색, 즉, 다음 화소의 화소치가 입력되고, 상술한 처리가 반복된다.

스텝(S226)에서 본화상(201)의 모든 화소가 처리된다고 판정하는 경우에는, 처리를 스텝(S227)으로 진행한다. 빨강관련 레벨 추출부(402)는 카운터의 수를 본화상(201)의 화소의 수로 제산된다. 그 결과, 본화상(201)에서 빨강으로 판정된 색의 비율이 산출된다.

스텝(S228)에서 빨강관련 레벨 추출부(402)는 제산(division)의 결과를 빨강 관련레벨로서 처리하고, 빨강 관련 레벨을 추출 특징 기록부(405)로 공급하고, 처리는 종료한다.

또한, L*a*b*공간의 서브 공간을 예로 설명했지만, 본 발명은 L*a*b*공간에 한정하지 않고, 소정의 색 이름의 색을 하나의 공간을 이용하여 표현되는 색공간(color space)이 될 수 있다. 이러한 색 공간을 이용하여 관련레벨이 색 공간의 서브공간에 의거하여 판정될 수 있다.

도 37의 관련레벨 추출 처리에서 화소 마다 색이 서브 공간의 안쪽인지 아닌지 2진값 판단처리가 실시되었다. 각 화소의 색이 서브 공간의 중심으로 가까운 것인지, 그렇지 않으면 서브 공간의 경계에 가까운 것인지가 관련레벨에서 반영될 수 있다.

다음에, 이 경우의 관련레벨 추출 처리를 설명한다.

도 43은 빨강관련 레벨 추출부(402)가 스텝(S203)에서 특정되었을 경우 도 36의 스텝(S204)에서의 다른 빨강관련 레벨 추출처리를 상세하게 설명하는 플로차트(flow chart)이다. 스텝(S241)에서 빨강관련 레벨 추출부(402)는 기억된 관련레벨을 클리어한다. 최초로 실행되는 스텝(S242)에서 빨강관련 레벨 추출부(402)는 본화상(201)의 화소 가운데, 최초의 화소의 색, 즉, 화소치를 수신한다. 스텝(S243)에서 빨강관련 레벨 추출부(402)는 색 공간의 화소의 색에 대응하는 위치를 계산한다.

스텝(S224)에서 빨강관련 레벨 추출부(402)는 계산된 색공간상의 위치에 도달하고, 색의 이름에 대응하는 서브 공간에 내의 확신도를 산출한다. 즉, 스텝(S224)에서 빨강관련 레벨 추출부(402)는 계산된 색공간(color space)상의 위치에 도달하고, 빨강인 색의 이름에 대응하는 서브 공간(483)내의 확신도를 산출한다.

확신도는 서브 공간의 중심으로 가까운 것인지, 그렇지 않으면 서브 공간의 경계에 가까운 것인지를 나타내는 확신의 정도이며, 서브 공간의 중심에서 외측으로 떨어진 계산된 위치로서 0에서 1까지 연속적으로 감소한다.

예를 들면, 스텝(S224)에서 빨강관련 레벨 추출부(402)는 계산된 색공간상의 위치가 빨강 서브 공간(483)의 중심으로 가까운 경우 1에 가까운 확신도를 산출하고, 계산된 색공간상의 위치가 빨강 서브 공간(483)의 경계에 가까운 경우, 0에 가까운 확신도를 산출한다. 스텝(S245)에서 빨강관련 레벨 추출부(402)는 관련레벨에 확신도를 가산한다. 스텝(S246)에서, 빨강관련 레벨 추출부(402)는 현재 화소가 마지막인지 아닌지, 즉, 본화상(201)의 모든 화소가 처리되었는지 아닌지를 판정한다. 스텝(S245)에서 화소가 마지막이 아니라고 판정되었을 경우, 처리를 스텝(S242)으로 복귀한다. 본화상(201)의 화소 가운데, 다음의 화소의 색, 즉, 다음의 화소의 화소치가 입력되고, 상술한 처리를 반복한다.

스텝(S226)에서 화소가 마지막 화소 즉, 본화상(201)의 모든 화소가 처리되었다고 판정되었을 경우, 빨강관련 레벨 추출부(402)는 빨강의 관련레벨을 추출 특 징 기록부(405)로 공급하고, 처리는 종료한다.

확신도에 의거하여 관련레벨을 산출했을 경우에는, 사람의 감각에 가까운 관련레벨이 된다. 특히, 화상이 서브 공간의 경계에 가까운 색을 많이 포함한 경우에도 보다 적확한 관련레벨을 얻을 수 있다.

도 37을 참조하여 설명한 관련레벨 추출 처리에서 스텝(S224)의 처리는 화소의 색이 특정의 색 이름의 색으로 판정되는지 아닌지에 대한 2진 분류처리이고, 여러 가지의 패턴 인식 기술로 대체될 수 있다.

다음에, 이 경우의 관련레벨 추출 처리를 설명한다.

도 44는 빨강관련 레벨 추출부(402)가 스텝(S203)에서 특정되었을 경우, 도 36의 스텝(S204)에서 실시되는 다른 빨강관련 레벨 추출부(402)를 상세하게 설명하는 플로차트이다. 스텝(S261) 및 스텝(S262)의 처리는 각각, 도 37의 스텝(S221) 및 스텝(S222)의 처리와 동일하여 그 설명은 생략한다.

스텝(S263)에서 빨강관련 레벨 추출부(402)는 화소의 색의 패턴을 인식한다.

예를 들면, 스텝(S263)에서 빨강관련 레벨 추출부(402)는 뉴럴 네트워크(neural network)를 이용하여 화소의 색을 인식한다. 예를 들면, 뉴럴 네트워크에 의한 패턴 인식 기술은 예를 들면, 조 와키 준이치로 토리와기가 저작한 "인식 공학-패턴 인식 및 그 응용"이라는 제목을 가진 책에 기술되어 있다.

패턴 인식에서, 특정의 색값(L*,a*,b*)을 가지는 색이 특정의 색 이름의 색 나타내는 복수의 피스의 판단 데이터가 인위적으로 수집되고, 수집된 판단 데이터상에 뉴럴 네트워크 학습 처리를 실시하여 인식에 필요한 파라미터를 생성한다.

도 45는 색값이 파랑인지 아닌지를 나타내는 판단 데이터의 예이다. 도 45의 판단 데이터에서, 0.02인 L*값, 0.04인 a*값 및 0.10인 b*값으로 특정되는 색은 파랑이 아니고, 0.72인 L*값, 0.00인 a*값 및 0.12인 b*값으로 특정되는 색은 파랑이며, 0.28인 L*값,－0.02인 a*값 및 0.15인 b*값으로 특정되는 색은 파랑은 아닌 것을 나타낸다.

뉴럴 네트워크의 이용은 화소의 색에 대해서 이와 같이 생성된 파라미터에 따라서 특정의 색 이름의 색으로서 화소의 색이 판정된다.

패턴 인식 기술은 화소의 색이 특정의 색 이름의 색인지 아닌지를 판별할 수 있는 것이면 좋고, 예를 들면, SVM(Support Vector Machine)기술이 사용될 수 있다.

스텝(S264)에서 빨강관련 레벨 추출부(402)는 인식의 결과, 화소의 색이 빨강에 속하는지 아닌지를 판정한다. 스텝(S224)에서 화소의 색이 빨강에 속한다고 판정되었을 경우 처리를 스텝(S265)으로 진행한다. 빨강관련 레벨추출부(402)는 카운터를 1만큼 증가하고, 스텝(S266)으로 진행한다.

스텝(S264)에서 화소의 색이 빨강에 속하지 않는다고 판정되었을 경우, 스텝 (S265)을 스킵하여 즉, 카운터 증가 없이 스텝(S266)으로 처리를 진행한다.

스텝(S266) 내지 스텝(S268)의 처리는 각각, 도 37의 스텝(S226) 내지 스텝 (S228)의 처리와 동일하여 그 설명은 생략한다.

또한, 패턴 인식 기술을 이용하여 확신도가 산출될 수 있다.

도 46은 빨강관련 레벨 추출부(402)가 스텝(S203)에서 특정되었을 경우, 도 36의 스텝(S204)에서 실행되는 빨강관련레벨 추출 처리를 상세하게 설명하는 플로차트이다. 스텝(S281)의 처리는 도 43의 스텝(S241)의 처리와 동일하여 그 설명은 생략한다. 스텝(S282) 및 스텝(S283)의 처리는 각각, 도 44의 스텝(S262) 및 스텝(S263)의 처리와 동일하여 그 설명은 생략한다.

스텝(S284)에서 빨강관련 레벨 추출부(402)는 인식의 결과로서 화소의 색이색 이름의 색에 속하는 확신도를 산출한다. 즉, 스텝(S284)에서 빨강관련 레벨 추출부(402)는 인식의 결과로서, 화소의 색이 빨강에 속하는 확신도를 산출한다. 예를 들면, 확신도로서 뉴럴 네트워크의 출력층에 입력되는 값이 이용될 수 있다.

스텝(S285) 및 스텝(S286)의 처리는 각각 도 43의 스텝(S245) 및 스텝(S246)의 처리와 동일하여 그 설명은 생략한다.

또한, 파랑관련레벨 추출부(403)가 스텝(S203)에서 특정되었을 경우의 도 36의 스텝(S204)에서 실행되는 관련레벨 추출 처리 및 노랑관련레벨 추출부(404)가 스텝(S203)에서 특정되었을 경우의 도 36의 스텝(S204)에서 실행되는 관련레벨 추출 처리는 파랑관련레벨 추출부(403) 및 노랑관련레벨 추출부(404)가 처리되는 점과 서브 공간 등이 다르지만, 빨강관련레벨 추출부(402)가 스텝(S203)에서 특정되었을 경우의 스텝(S204)에서 실행되는 관련레벨 처리와 각각 동일하다. 그 외의 처리는 도 37, 도 43, 도 44 및 도 46을 참조하여 설명한 처리와 동일하여 그 설명은 생략한다.

도 47은 검색의 처리를 설명하는 플로차트이다. 스텝(S311)에서 검색 조건 입력부(421)는 사용자에 의해 조작되는 입력부(76)로부터의 신호에 의거하여 관 련레벨에 대한 검색의 조건을 취득한다. 검색 조건 입력부(421)는 관련레벨에 대한 검색의 조건을 조건 조합부(422)에 공급한다.

예를 들면, 도 48에 나타내는 바와 같이, 디스플레이인 출력부(77)에 그래픽 유저 인터페이스(GUI)(Graphical User Interface) 화상이 표시된다. 도 48에 나타내는 바와 같이, 사용자에 의해 조작되는 슬라이드 바(491)는 검색의 조건으로서 색 이름 마다 입도(granularity)(임계값)를 지정한다. 체크 박스(492)가 사용자에 의해서 체크되는 경우, 체크 박스(492)의 체크와 대응하는 슬라이드 바(491)로 지정된 색 이름의 입도가 검색 조건으로서 스텝(S311)에서 취득된다.

예를 들면, 흑색의 체크 박스(492), 빨강의 체크 박스(492) 및 초록의 체크 박스(492)가 체크되고 있는 경우, 흑색의 슬라이드 바(491)로 지정된 흑색의 입도, 빨강의 슬라이드 바(491)로 지정된 빨강의 입도 및 초록의 슬라이드 바(491)로 지정된 초록의 입도가 검색 조건으로서 스텝(S311)에서 취득된다.

AND 검색 라디오 버튼(493)이 선택되는 경우, 슬라이드 바(491)로 지정된 색의 입도에 대한 논리 AND가 최종 검색 조건으로서 설정된다. OR검색 라디오 버튼(494)이 선택되는 경우, 슬라이드 바(491)로 지정된 색의 입도에 대한 논리 OR이 최종 검색 조건으로 설정된다.

보다 구체적으로, 스텝(S311)에서 검색 조건 입력부(421)는 ("빨강"＞0.5) AND("파랑"≥0.3) AND("초록"＜0.1)등의 복수의 색 이름에 대한 논리식으로 나타낸 검색의 조건을 취득한다.

사용자는 푸른 하늘의 화상을 검색하고 싶은 경우, "파랑"≥0.3인 검색 조건 을 입력하고, 스텝(S311)에서 검색 조건 입력부(421)는 "파랑"≥0.3인 검색 조건을 취득한다.

또한, 사용자는 딸기 따는 화상을 검색하고 싶은 경우에는, ("빨강"＞0.1 ) AND("초록"≥0.3)인 검색 조건을 입력하고, 스텝(S311)에서 검색 조건 입력부(421)는 ("빨강"＞0.1) AND("초록"≥0.3)인 검색 조건을 취득한다.

또한, 검색의 조건에 있어서 색의 이름은 관련레벨 추출부에 의해 정의된(준비된)색 이름일 필요는 없다. 즉, 검색 조건에 있어서 색 이름은 정의된 색 이름 또는 하나의 색 이름의 일부가 될 수 있다.

또한, 색의 이름은 직접 수치를 입력하여 취득될 수 있다.

스텝(S312)에서 조건 조합부(422)는 추출 특징 유지부(146)로부터 검색의 대상이 되는 본화상(201)의 색특징 벡터를 취득한다.

스텝(S313)에서 조건 조합부(422)는 취득한 색특징 벡터가 검색의 조건에 일치하는지 아닌지를 판정한다.

예를 들면, 스텝(S313)에서, 조건 조합부(422)는 취득한 색특징 벡터가 검색조건을 만족하는지의 여부를 파정한다. 스텝(S313)에서 취득한 색특징 벡터의 요소 가운데 체크된 체크 박스(492)에 대응하는 색 이름의 요소는 슬라이드 바(491)로 지정된 색 이름에 대한 입도와 비교된다. 조건 조합부(422)는 색특징 벡터의 색 이름의 요소가 지정된 입도 이상인 경우, 색특징 벡터가 검색 조건을 만족한다고 판정한다.

예를 들면, 색 이름의 입도의 논리 AND가 최종검색 조건이 될 수 있다. 스 텝(S313)에서 조건 조합부(422)는 체크된 체크 박스(492)에 대응하는 색 이름의 모든 요소에 특정된 입도이상인 경우, 색특징 벡터가 검색 조건을 만족한다고 판정한다.

예를 들면, 색 이름에 대한 입도의 논리 OR이 최종 검색 조건이 될 수 있다. 조건 조합부(422)는 스텝(S313)에서 색특징 벡터의 색의 이름의 요소가 체크된 체크 박스(492)에 대응하는 색 이름의 요소중 어느 요소에서 특정된 입도 이상인 경우 색특징 벡터가 검색의 조건에 만족한다고 판정한다.

스텝(S313)에서 취득한 색특징 벡터가 검색 조건에 만족한다고 판정되었을 경우, 스텝(S314)으로 처리가 진행된다. 조건 조합부(422)는 검색 결과 유지부(147)로 스텝(S312)에서 취득한 색특징 벡터에 대응하는 본화상(201)을 특정하는 컨텐츠 ID를 추가하고 처리가 스텝(S315)으로 진행된다.

스텝(S313)에서 취득한 색특징 벡터가 검색 조건을 만족하지 않는다고 판정되었을 경우, 스텝(S314)의 처리는 스킵되어 검색 결과 유지부(147)로 컨텐츠 ID를 추가하지 않고, 처리가 스텝(S315)으로 진행된다.

스텝(S315)에서 검색 조건 입력부(421)는 현재 화상이 마지막인지 아닌지, 즉, 모든 화상이 대해 검색되었는 지를 판정하고, 스텝(S315)에서 모든 화상이 검색되지 않았다고 판정되었을 경우, 처리를 스텝(S312)으로 복귀하고, 다음 본화상(201)의 색특징 벡터를 취득하고 상술한 처리를 반복한다.

스텝(S315)에서 현재 화상이 마지막 화상 즉, 모든 화상이 검색되었다고 판정되었을 경우, 처리는 종료된다.

이 처리에 의해 검색 결과 유지부(147)에는 검색 조건을 만족하는 본화상(201)을 특정하는 컨텐츠 ID가 기억된다.

도 49a-도 49d는 디스플레이인 출력부(77)에 표시되고, 검색 결과 유지부(147)에 기억된 컨텐츠 ID로 특정되는 본화상(201)의 예를 나타내는 도면이다. 예를 들면, 초록의 체크 박스(492)가 체크되어 초록의 슬라이드 바(491)로 입도가 지정되었을 경우, 도 49에 나타나는 바와 같이, 초록을 많이 포함한 본화상(201)이 디스플레이인 출력부(77)에 표시된다. 또한, 초록의 체크 박스(492)가 초록의 슬라이드 바(491)상에 지정된 입도와 함께 체크될 수 있고, 빨강의 체크 박스(492)는 빨강의 슬라이드 바(491)상에 지정된 입도와 함께 체크될 수 있고, AND 검색 라디오 버튼(493)이 선택될 수 있다. 도 49b에 나타내는 바와 같이, 초록과 빨강을 많이 포함한 본화상(201)이 출력부(77)상에 표시된다.

파랑의 체크 박스(492)는 파랑의 슬라이드 바(491)상에 지정된 입도와 함께 체크될 수 있다. 도 49c에 나타내는 바와 같이, 파랑을 많이 포함한 본화상(201)이 출력부(77)상에 표시된다. 파랑의 체크 박스(492)는 파랑의 슬라이드 바(491)상의 지정된 입도와 함께 체크될 수 있고, 흰색의 체크 박스(492)는 흰색의 슬라이드 바(491)상에 지정된 입도와 함께 체크될 수 있고, AND 검색 라디오 버튼(493)이 선택될 수 있다. 이 경우, 도 49c에 나타내는 바와 같이, 파랑과 흰색을 많이 포함한 본화상(201)이 출력부(77)상에 표시된다.

따라서, 본 발명은 사용자에게 소망한 화상이 어떠한 색을 어느 정도 포함하 고 있는지를 추측하는 것은 용이하게 하고, 소망한 화상을 간단하게 검색할 수 있게 한다.

또한, 검색의 결과에 따라서 사용자는 검색 조건을 좁히거나 입도를 변경하여 화상을 검색할 수 있다. 따라서 사용자는 한층 더 간단하게 소망한 화상을 검색할 수 있다.

이와 같이, 사용자는 각 화상의 색의 이미지 및 색의 분위기로부터 직감적으로 화상을 검색할 수 있게 된다.

다양한 검색 조건이 화상의 집합에 대해서 설정되기 때문에 화상에 따른 검색 결과가 임의의 입도로 취득될 수 있다.

화상에 대해서, 관련레벨을 포함하는 색특징 벡터를 미리 추출하여, 관련레벨의 대소의 비교결과 또는 논리 연산 결과에 따라서 화상을 검색할 수 있으므로, 신속히 화상을 검색할 수 있다.

관련레벨은 비교적 자리수가 적은 수치로 표현될 수 있으므로, 색특징 벡터의 데이터사이즈가 작게된다. 따라서, 색특징 벡터의 기록에 필요로 하는 기록 공간의 용량이 작아진다.

또한, 기기의 예로서 디지털 카메라(11) 및 휴대 전화기(12)를 들었지만, 화상을 취급하는 기기면 어느 것이든 좋고, 휴대형의 플레이어 또는 모빌 뷰어등이어도 좋다.

이와 같이, 화상의 동일성(유사성)이 산출되는 경우, 화상은 동일성의 순서로 표시될 수 있다. 선택된 제 1화상에 의거하여 복수의 제 2화상 각각의 동일성 이 산출된다. 제 2화상의 표시는 제 2화상이 동일성의 순서로 표시될 수 있도록 제어된다. 사용자로부터의 지지에 대응하여 하나의 제 2화상은 동일성의 순서로 표시된 제 2화상중에서 선택된다. 선택된 제 2화상의 그룹에 속하는 제 3화상 및 제 2화상을 그룹에서 소정의 순서로 표시시키도록 제 2화상 및 제 3화상의 표시를 제어된다. 이 배열에서 보다 적은 조작으로 신속히 소망한 화상을 표시시킬 수 있다.

상술한 일련의 처리는 하드웨어 또는 소프트웨어에 의해 실행될 수 있다. 상기 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는 소프트웨어의 구성에 포함된 컴퓨터상에 소프트웨어를 형성하는 컴퓨터컴퓨터 프로그램 또는 다양한 기능을 실행하는 범용의 퍼스널 컴퓨터상에 인스톨될 수 있다.

컴퓨터에 인스톨되어 컴퓨터에 의해서 실행 가능한 상태가 되는 컴퓨터 프로그램을 기록하는 기록 매체는, 도 2 및 도 3에 나타내는 바와 같이, 자기 디스크(플렉시블 디스크를 포함한다), 광디스크(CD-ROM, DVD, 광학 자기 디스크를 포함한다) 또는 반도체 메모리를 포함하고, 컴퓨터 프로그램을 일시적 혹은 영구적으로 기억하는 기억부(78)로서 ROM(72), EEPROM(46) 또는 하드 디스크를 포함한다. 컴퓨터 프로그램 기록 매체상에 컴퓨터 프로그램의 저장은 라우터, 모뎀, 근거리 통신망, 인터넷 및 디지털 위성방송 등을 포함하는 인터페이스로서 통신부(47), 통신부(48), 통신부(79) 및 통신부(80)를 포함하는 유선 또는 무선의 통신 매체를 이용하여 실시될 수 있다.

상술한 바와 같이, 컴퓨터 프로그램 기록 매체에 기억(저장)되는 컴퓨터 프 로그램을 기술하는 처리 스텝은 기재된 순서와 동일하게 시계열적으로 실행될 수 있다. 또한, 상기 처리스텝은 상기 기술된 바와 같이 시계열적으로 처리되지 않아도 좋고, 선택적으로, 상기 처리 스텝은 병렬적 혹은 개별적으로 실행될 수 있다.

본 명세서의 내용에서 시스템은 복수의 장치를 포함하는 장치 전체를 나타내는 것이다.

본 발명의 첨부된 청구범위 또는 청구범위에 상당하는 범위내에서 다양한 변경 및 수정이 가능하다는 것이 이 기술분야에서 지식을 가진자에 의해 이해될 것이다.

Claims (12)

1. 표시 제어장치에 있어서,

   선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 계산 수단과,

   유사한 순서에 따라 상기 제 2의 화상의 표시를 제어하는 표시 제어 수단과,

   사용자의 지시에 따라, 유사한 순서대로 표시된 복수의 상기 제 2의 화상으로부터 1개의 상기 제 2의 화상을 선택하는 선택 수단을 구비하며,

   상기 표시 제어 수단은, 1개의 상기 제 2의 화상이 선택되었을 경우, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상을, 상기 그룹에 있어서의 소정의 순서대로 표시되도록, 상기 제 2의 화상 및 상기 제 3 의 화상의 표시를 제어하는 표시 제어장치.
2. 제 1항에 있어서,

   상기 표시 제어 수단은, 상기 제 2의 화상이 선택되었을 경우, 촬영된 시간의 순서에 따라 상기 제 2의 화상 및 상기 제 3의 화상이 표시되도록, 상기 제 2의 화상 및 상기 제 3의 화상의 표시를 제어하는 표시 제어장치.
3. 제 1항에 있어서,

   상기 계산 수단은, 상기 제 1의 화상 및 상기 제 2의 화상의 색이 감소되는 소정의 수의 각각의 발생 빈도를 나타내는 히스토그램에 근거하여, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산하는 표시 제어장치.
4. 제 3항에 있어서,

   상기 계산 수단은, 상기 히스토그램에 있어서의 각 색의 발생 빈도를 요소로 하는 벡터의 거리가 되는, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산하는 표시 제어장치.
5. 제 1항에 있어서,

   상기 계산 수단은, 상기 제 1의 화상 및 상기 제 2의 화상의 각각을 분할해서 되는 소정의 수의 블록에 있어서의 최대 주파수 성분의 발생 빈도를 나타내는 히스토그램을 기본으로 하여, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산하는 표시 제어장치.
6. 제 5항에 있어서,

   상기 계산 수단은, 상기 히스토그램에 있어서의 화상의 주파수의 각 성분의 발생 빈도를 요소로 하는 벡터의 거리가 되는, 복수의 상기 제 2의 각 화상과 상기 제 1의 화상과의 유사한 정도를 계산하는 표시 제어장치.
7. 제 1항에 있어서,

   상기 계산 수단은, 상기 제 1의 화상 및 상기 제 2의 화상의 각각의 특징량이며, 데이터베이스에 기록되어 있는 특징량을 기본으로 하여, 선택된 상기 제 1의 화상에 대한 복수의 상기 제 2의 화상의 유사한 정도를 계산하는 표시 제어장치.
8. 제 1항에 있어서,

   상기 표시 제어 수단은, 사용자의 지시에 따라, 상기 제 1의 화상에 대한 유사한 순서대로 상기 제 2의 화상의 표시와, 상기 그룹에 속하는 상기 제 3의 화상 및 상기 제 2의 화상을 소정의 순서대로 표시하는 것이 절환되도록, 상기 제 2의 화상 및 상기 제 3의 화상의 표시를 제어하는 표시 제어장치.
9. 표시 제어 방법에 있어서,

   선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 스텝과,

   유사한 순서대로 표시된 상기 복수의 제 2의 화상으로부터, 사용자의 지시에 따라, 1개의 상기 제 2의 화상을 선택하는 스텝과,

   1개의 상기 제 2의 화상이 선택되었을 경우, 상기 제 3의 화상 및 상기 제 2의 화상이 소정의 순서대로 표시되도록, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상의 표시를 제어하는스텝을 포함하는 표시 제어 방법.
10. 컴퓨터 프로그램에 있어서,

    선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 스텝과,

    유사한 순서대로 표시된 상기 복수의 제 2의 화상으로부터, 사용자의 지시에 따라, 1개의 상기 제 2의 화상을 선택하는 스텝과,

    1개의 상기 제 2의 화상이 선택되었을 경우, 상기 제 3의 화상 및 상기 제 2의 화상이 소정의 순서대로 표시되도록, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상의 표시를 제어하는스텝을 컴퓨터에 의해 실행시키는 컴퓨터 프로그램.
11. 청구항 10항에 기재된 컴퓨터 프로그램을 기록하는 기록 매체.
12. 표시 제어장치에 있어서,

    선택된 제 1의 화상에 대한 복수의 제 2의 화상의 각각의 유사한 정도를 계산하는 계산부와,

    유사한 순서에 따라 상기 제 2의 화상의 표시를 제어하는 표시 제어 부와,

    사용자의 지시에 따라, 유사한 순서대로 표시된 복수의 상기 제 2의 화상으로부터 1개의 상기 제 2의 화상을 선택하는 선택부를 구비하며,

    상기 표시 제어 수단은, 1개의 상기 제 2의 화상이 선택되었을 경우, 선택된 상기 제 2의 화상이 속하는 그룹에 속하는 제 3의 화상 및 상기 제 2의 화상을, 상기 그룹에 있어서의 소정의 순서대로 표시되도록, 상기 제 2의 화상 및 상기 제 3의 화상의 표시를 제어하는 표시 제어장치.

Images