KR20010093654A

KR20010093654A - 멀티미디어 데이터 검색방법, 인덱스정보 제공방법,멀티미디어 데이터 검색장치, 인덱스 서버 및 멀티미디어데이터 검색서버

Info

Publication number: KR20010093654A
Application number: KR1020010011761A
Authority: KR
Inventors: 가나이다츠노리; 마에다세이지; 야오히로시; 야노히로쿠니
Original assignee: 니시무로 타이죠; 가부시끼가이샤 도시바
Priority date: 2000-03-29
Filing date: 2001-03-07
Publication date: 2001-10-29
Also published as: EP1139239A3; CN1313955C; EP1139239A2; US20030069893A1; JP2001282813A; CN1378156A

Abstract

본 발명은, 디지털 카메라로 찍은 사진 데이터 등의 멀티미디어 데이터를 용이하게 검색할 수 있도록 관리한다.

멀티미디어 데이터에 시각정보와 위치정보를 관련지어 관리함과 더불어, 시각과 위치의 2개의 정보에 관련지어진 이벤트의 데이터베이스를 이용하여 이벤트명 혹은 그 조합으로 지정된 검색대상의 시각과 위치의 범위를 구하고, 그 범위에 있는 시각정보와 위치정보를 갖는 멀티미디어 데이터를 검색한다.

Description

멀티미디어 데이터 검색방법, 인덱스정보 제공방법, 멀티미디어 데이터 검색장치, 인덱스 서버 및 멀티미디어 데이터 검색서버 {MULTIMEDIA DATA SEARCHING METHOD, INDEX INFORMATION PROVIDING METHOD, MULTIMEDIA DATA SEARCHING DEVICE, INDEX SERVER AND MULTIMEDIA DATA SEARCHING SERVER}

본 발명은, 복수의 멀티미디어 데이터 중에서 소망하는 데이터를 검색하기위한 멀티미디어 데이터 검색방법, 인덱스정보 제공방법, 멀티미디어 데이터 검색장치, 인덱스 서버 및 멀티미디어 데이터 검색서버에 관한 것이다.

디지털 카메라(디지털 스틸 카메라라고도 함)나 이미지 스캐너, 필름 스캐너, 디지털 비디오 카메라 등의 기기의 진보에 따라, 디지털화된 정지화상(예컨대 사진이나 문서 등)이나, 디지털화된 동화상(예컨대 비디오 등), 혹은 디지털화된 음성, 혹은 그들을 조합시킨 것 등의 멀티미디어 데이터를 간단히 제작할 수 있게 되어, 각종의 분야에서 그러한 멀티미디어 데이터가 이용되도록 되어 있다.

이러한 멀티미디어 데이터는, 컴퓨터의 파일 시스템이나 데이터베이스 관리시스템 혹은 전용의 소프트웨어를 사용하여 관리하는 일이 많고, 필요한 멀티미디어 데이터를 검색하기 쉽도록 여러 가지의 궁리가 이루어져 왔다.

종래부터 널리 사용되고 있는 멀티미디어 데이터의 관리방법은, 정지화상이나 동화상이나 음성 등의 멀티미디어 데이터가 들어 있는 복수의 파일을, 디렉토리 또는 폴더 등이라고 불리는 그룹을 만들어 분류하는 방법이다.

도 33에 그 구체예를 나타낸다. 도 33에 나타낸 예에서는, 「PHOTO」라고 하는 이름의 디렉토리 아래에 「1970」과 「1998」의 2개의 디렉토리를 만들고, 「1970」 디렉토리의 아래에는 「이세시마」와 「일본만국박람회(日本萬國博覽會)」의 2개의 디렉토리를, 「1998」 디렉토리의 아래에는 「교토(京都)」와 「나가노(長野) 올림픽」의 2개의 디렉토리를 만들고 있다.

더욱이, 「이세시마」 디렉토리 아래에는, 이세시마로 여행한 때에 디지털 카메라로 찍은 부부바위의 사진데이터 「부부바위.JPG」와, 이세진구(伊勢神宮)에서 찍은 사진데이터 「이세진구.JPG」를 관리하고 있다. 「일본만국박람회」 디렉토리에는, 오사카로 일본만국박람회를 보러 여행한 때에 박람회장내의 태양의 탑에서 찍은 사진데이터 「태양의 탑.JPG」와, 아메리카관에서 찍은 사진데이터 「아메리카관.JPG」와, 돌아오는 길에 들린 오사카성에서 찍은 사진데이터 「오사카성.JPG」를 관리하고 있다. 「교토」 디렉토리 아래에는 교토로 여행한 때에 디지털 카메라로 찍은 긴가쿠지(金閣寺)의 사진데이터 「긴가쿠지.JPG」와, 기요미즈데라(淨水寺)에서 찍은 사진데이터 「기요미즈데라.JPG」를 관리하고 있다. 「나가노 올림픽」 디렉토리에는 나가노 올림픽을 보러 여행한 때에 점프경기장에서 찍은 사진데이터 「점프.JPG」와, 스피드 스케이트 경기장에서 찍은 사진데이터 「스피드 스케이트.JPG」와, 돌아오는 길에 들린 젠코우지(善光寺)에서 찍은 사진데이터 「젠코우지.JPG」를 관리하고 있다. 이들 사진데이터는, 여기서는 JPEG형식의 정지화상 데이터이고 「.JPG」라는 확장자를 갖는 파일이라고 가정하고 있지만, 그 밖의 데이터형식의 것도 있다.

종래부터 널리 사용되고 있는 다른 방법은, 개개의 멀티미디어 데이터에 대해 검색용의 키워드를 붙여 두고, 그 키워드를 사용하여 검색하는 방법이다.

도 34 및 도 35에 그 하나의 구체예를 나타낸다(여기서, 도 35는 도 34의 키워드표 파일 「KEYWORD」의 내용의 예이다).

도 34 및 도 35에 나타낸 예에서는, 「P0000100.JPG」로부터 「P0000581.JPG」까지의 10개의 사진 데이터의 파일을, 파일 시스템내의 「PHOTO」라고 하는 이름의 디렉토리에 관리해 두고, 더욱이 그들 개개의 파일에 대해 붙여진 키워드의 리스트를 키워드표로서 「KEYWORD」라고 하는 디렉토리에 관리하고 있다. 여기서는 「P0000100.JPG」에는 「부부바위」와 「이세시마」와 「정월」의 3개의 키워드를, 「P0000101.JPG」에는 「이세진구」과 「이세시마」와 「정월」의 3개의 키워드를, 이라고 하는 방식으로, 각각의 데이터마다 임의 개수의 키워드를 붙여 관리하고 있다.

이와 같이 관리함으로써, 예컨대 이세시마에서 찍은 사진의 데이터가 필요한 때에는, 「이세시마」라고 하는 키워드를 갖는 「P0000100.JPG」와 「P0000101.JPG」를 선출할 수 있다. 키워드의 관리방법으로서는, 도 34 및 도 35의 예와 같이 사진 데이터의 파일명과 그것에 붙여진 키워드의 대응을 보지(保持)하는 파일을 만든다거나, 혹은 데이터베이스 관리시스템을 사용하거나, 여러 가지의 방법을 이용할 수 있다.

이상에서 설명한 바와 같은 방법은, 예로 나타낸 바와 같이 사진 데이터와 같은 정지화상뿐만 아니라, 비디오와 같은 동화상 데이터나 음성 데이터, 통상의 텍스트 파일과 같은 데이터, 얼마간의 측량 데이터, WEB의 URL과 같은 다른 데이터로의 링크 등, 여러 가지의 형식의 데이터의 관리에 이용된다.

디지털 카메라의 사진 데이터의 관리에는, 통상의 인화지에 인화한 사진을 정리하는 앨범과 같이, 전자적인 문서상에 사진을 레이아웃(layout)해 가는 앨범 소프트웨어를 사용하는 방법도 이용되고 있다.

예컨대, 「디지털 스틸 카메라용 화상파일 포맷규격(Exif) Version 2.1」(JEIDA-49-1998, 일본 전자공업진흥협회)나 「Recording-Helical-scandigital video cassette recording system using 6, 35mm magnetic tape for consumer use (525-60, 625-50, 1125-60 and 1250-50 systems) -」(IEC 61834)에 개시되어 있는 바와 같이, 디지털 카메라(혹은 디지털 스틸 카메라)로 촬영한 사진 데이터나, 디지털 비디오 카메라로 촬영한 비디오 데이터의 데이터 포맷에는, 촬영한 시각이나 위치 등의 속성정보를 기록할 수 있게 되어 있다. 디지털 카메라나 디지털 비디오 카메라는, 내장 시계나 GPS 등으로부터 얻어지는 정보를 사용하여, 이들의 포맷에 따라 촬영시각이나 촬영위치의 정보를 데이터의 속성으로서 자동적으로 기록하는 기능을 갖춘 것도 있다.

이러한 촬영시각이나 촬영위치 등이 자동적으로 붙여지는 속성정보를 사용하면, 상술한 바와 같은 방법과 같이 분류하거나 키워드를 붙이거나 하는 번잡한 작업을 하는 일없이 촬영시각을 지정하거나, 촬영장소를 위도와 경도로 지정하여 데이터를 검색할 수 있다.

이와 같이, 위도와 경도의 조로 위치를 지정하여 검색하기 위해서는, 검색하고자 하는 장소의 위도와 경도를 미리 알고 있지 않으면 안된다. 보다 검색하기 쉽게 하는 궁리로서는, 화면에 지도를 표시하고, 사진과 그것을 찍은 지도상의 위치에 배치하여 표시하는 방식이 있다. 또, 지명과 그것이 가리키는 대표점의 위도와 경도의 대응표를 가지고 있고, 지명을 지정하면 그것에 대응하는 대표점의 위도와 경도를 조사하고, 그 근처에서 촬영한 사진을 검색하는 방식도 이용된다.

종래부터 널리 사용되고 있는 멀티미디어 데이터를 디렉토리로 분류하여 관리하는 방식은, 사람이 알기 쉬운 이름을 붙인 디렉토리로 분류하고, 또 필요에 따라 개개의 파일명도 알기 쉬운 이름을 붙인다고 하는 번잡한 작업이 필요하다고 하는 결점을 가지고 있다. 또, 개념적으로 복수의 그룹으로 분류할 수 있는 데이터에 대해서는, 복수의 디렉토리에 사본(copy)을 만들어 넣는다거나, 혹은 링크기구를 이용하여 1개의 데이터가 가상적으로 복수의 디렉토리에 들어가 있는 것처럼 보이게 할 필요가 있었다.

종래부터 널리 사용되고 있는 다른 방법인 멀티미디어 데이터에 키워드를 붙여 관리하여 검색하는 방식에서는, 키워드를 붙인다고 하는 번잡한 작업이 필요했다. 또, 후에 검색하기 쉬운 키워드를 붙여 놓지 않으면, 데이터를 검색할 수 없다고 하는 결점을 가지고 있었다.

디지털 카메라용의 앨범 소프트웨어를 사용하여 전자적인 앨범을 작성하는 방식은, 앨범을 작성한다고 하는 작업 자체가 성가시고 번잡한 작업이었다.

한편, 디지털 카메라와 디지털 비디오 카메라가 자동적으로 붙이는 촬영시각이나 촬영위치의 정보를 이용하는 방식은, 사람이 검색용으로 키워드를 붙인다거나 분류한다고 하는 수고가 불필요하다. 그러나, 시각이나 위치를 정확히 지정하여 검색하기 위해서는, 검색대상의 촬영시각이나 촬영위치를 미리 어느 정도 정확히 알고 있을 필요가 있어 실용적인 검색은 곤란하였다.

지도상의 지명과 그것이 가리키는 대표점의 위도와 경도의 대응표를 가지고 있고, 구체적인 위도와 경도의 수치가 아니라 지명을 지정하여 가까운 위치의 데이터를 검색하는 방식도 있지만, 이 경우에도 지명이 아닌 개념을 지정하여 검색할수 없었다.

디렉토리명이나 키워드를 사용하는 방식에서는, 예컨대 「나가노 올림픽」이나 「일본만국박람회」라고 하는 지도상의 지명이 아니더라도 사람이 알기 쉬운 개념을 나타내는 단어를 디렉토리명이나 키워드로 사용할 수 있으므로, 보다 직감적으로 알기 쉬운 검색이 가능하지만, 자동적으로 붙인 시각이나 위치 등의 정보만으로는 사람이 알기 쉬운 개념으로의 검색은 곤란했다.

본 발명은, 상기 사정을 고려하여 이루어진 것으로, 검색을 위해 멀티미디어 데이터를 분류하거나 키워드를 붙이거나 하는 번잡한 작업을 필요로 하지 않고, 시각이나 위치 등이 자동적으로 붙여지는 속성정보를 이용하여 보다 사람이 알기 쉬운 개념을 나타내는 단어를 사용하여 유연하게 멀티미디어 데이터를 검색하는 것을 가능하게 하는 멀티미디어 데이터 검색방법, 인덱스정보 제공방법, 멀티미디어 데이터 검색장치, 인덱스 서버 및 멀티미디어 데이터 검색서버를 제공하는 것을 목적으로 한다.

또, 본 발명은, 멀티미디어 데이터에 기록되어 있는 내용을 나타내는 정보를 미리 멀티미디어 데이터를 분류하거나 키워드를 붙이거나 하는 번잡한 작업을 하는 일없이 시각이나 위치 등의 멀티미디어 데이터에 자동적으로 붙여지는 속성정보를 이용하여 보다 사람이 알기 쉬운 개념을 나타내는 단어를 사용하여 표시하는 것을 가능하게 하는 멀티미디어 데이터 검색방법, 인덱스정보 제공방법, 멀티미디어 데이터 검색장치, 인덱스 서버 및 멀티미디어 데이터 검색서버를 제공하는 것을 목적으로 한다.

도 1은 본 발명의 한 실시형태에 따른 멀티미디어 데이터 검색장치의 구성례를 나타낸 도면,

도 2는 데이터 관리부에서의 데이터 관리의 일례를 나타낸 도면,

도 3은 데이터 관리부에서의 데이터 관리의 다른 예를 나타낸 도면,

도 4는 데이터 관리부에서의 데이터 관리의 다른 예를 나타낸 도면,

도 5는 데이터 관리부에서의 데이터 관리의 더욱 다른 예를 나타낸 도면,

도 6은 데이터 관리부에서의 데이터 관리의 더욱 다른 예를 나타낸 도면,

도 7은 데이터 관리부에서의 데이터 관리의 더 한층 다른 예를 나타낸 도면,

도 8은 인덱스 처리부의 구성례를 나타낸 도면,

도 9는 인덱스 테이블의 예를 나타낸 도면,

도 10은 인덱스 검색부의 동작의 일례를 나타낸 플로우차트,

도 11은 본 발명의 한 실시형태에 따른 인덱스 서버를 호출하는 멀티미디어 데이터 검색장치의 구성례를 나타낸 도면,

도 12는 인덱스 서버를 호출하는 인덱스 처리부의 구성례를 나타낸 도면,

도 13은 본 발명의 한 실시형태에 따른 인덱스 서버의 구성례를 나타낸 도면,

도 14는 복수의 인덱스 테이블을 갖춘 인덱스 처리부의 구성례를 나타낸 도면,

도 15는 인덱스 테이블과 인덱스 서버를 병용하는 인덱스 처리부의 구성례를 나타낸 도면,

도 16은 데이터 선택부의 동작의 일례를 나타낸 플로우차트,

도 17은 프론트엔드 프로그램을 가진 멀티미디어 데이터 검색장치의 예에 대해 설명하기 위한 도면,

도 18은 지도를 사용하여 검색범위를 좁혀 들어가는 예에 대해 설명하기 위한 도면,

도 19는 지도로 좁혀 들어간 예에 대해 설명하기 위한 도면,

도 20은 시각으로 좁혀 들어간 예에 대해 설명하기 위한 도면,

도 21은 시각정보를 사용하여 검색범위를 좁혀 들어가는 예에 대해 설명하기 위한 도면,

도 22는 이벤트명의 조합에 의한 검색범위를 좁혀 들어가는 예에 대해 설명하기 위한 도면,

도 23은 프론트엔드 프로그램을 가진 멀티미디어 데이터 검색장치의 다른 예에 대해 설명하기 위한 도면,

도 24는 사진표시영역을 갖는 프론트엔드 프로그램의 예에 대해 설명하기 위한 도면,

도 25는 프론트엔드 프로그램을 가진 멀티미디어 데이터 검색장치의 더욱 다른 예에 대해 설명하기 위한 도면,

도 26은 WEB 브라우저를 탑재한 클라이언트로부터 네트워크를 매개로 하여 프론트엔드 프로그램 및 멀티미디어 데이터 검색프로그램을 실행하는 멀티미디어 데이터 검색 서버를 억세스하는 구성례를 나타낸 도면,

도 27은 WEB 브라우저를 탑재한 클라이언트로부터 네트워크를 매개로 하여 프론트엔드 프로그램 및 멀티미디어 데이터 검색프로그램을 실행하는 멀티미디어 데이터 검색 서버를 억세스하는 다른 구성례를 나타낸 도면,

도 28은 본 발명의 한 실시형태에 따른 역검색기능을 갖는 멀티미디어 데이터 검색장치의 구성례를 나타낸 도면,

도 29는 역검색부의 동작의 일례를 나타낸 플로우차트,

도 30은 본 발명의 한 실시형태에 따른 인덱스 서버를 사용한 역검색기능을 갖는 멀티미디어 데이터 검색장치의 구성례를 나타낸 도면,

도 31은 본 발명의 한 실시형태에 따른 역검색기능을 갖는 인덱스 서버의 구성례를 나타낸 도면,

도 32는 역검색기능을 갖는 프론트엔드 프로그램의 예에 대해 설명하기 위한 도면,

도 33은 종래의 디렉토리를 사용한 멀티미디어 데이터의 관리의 예에 대해설명하기 위한 도면,

도 34는 종래의 키워드를 사용한 멀티미디어 데이터의 관리의 예에 대해 설명하기 위한 도면,

도 35는 종래의 키워드를 사용한 멀티미디어 데이터의 관리의 예에 대해 설명하기 위한 도면이다.

＜도면부호의 설명＞

1 --- 멀티미디어 데이터 검색장치, 6 --- 네트워크,

3 --- 인덱스 서버, 11 --- 인덱스 처리부,

12 --- 데이터 선택부, 13 --- 데이터 관리부,

14 --- 역검색부, 31, 111 --- 인덱스 검색부,

34 --- 인덱스정보 송신부, 35 --- 검색결과 송신부,

32, 112, 112-1∼112-4 --- 인덱스 테이블,

33, 113 --- 검색요구 송신부, 114 --- 인덱스정보 수신부,

115 --- 인덱스정보 통합부, 143 --- 역검색요구 송신부,

144 --- 역검색결과 수신부, 301 --- 클라이언트,

302 --- 멀티미디어 데이터 검색 서버.

본 발명에 따른 멀티미디어 데이터 검색방법/멀티미디어 데이터 검색장치에서는, 복수의 멀티미디어 데이터의 각각을 그 멀티미디어 데이터의 발생과의 관계를 가지고 자동적으로 작성된 시각정보 및 위치정보와 관련지어 관리하고, 이벤트명을 이용하여 지정된 검색요구를 수취한 경우, 그 검색요구에 대응하는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 구하며, 관리되고 있는 상기 복수의 멀티미디어 데이터를 구해진 상기 시각정보 또는 위치정보, 또는 시각정보 및 위치정보에 기초하여 검색하는 것을 특징으로 한다.

또, 본 발명에 따른 인덱스정보 제공방법/인덱스 서버에서는, 요구원(要求元)으로부터 네트워크를 매개로 이벤트명을 이용하여 지정된 검색요구를 수취하고, 복수의 이벤트명과, 각 이벤트명에 관련지어진 시각정보와 위치정보의 양쪽 또는 한쪽을 포함하는 인덱스 테이블을 참조함으로써, 상기 검색요구에 이용된 상기 이벤트명에 기초하여 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 구하며, 구해진 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 네트워크를 매개로 하여 상기 요구원에 제공하는 것을 특징으로 한다.

또, 본 발명에 따른 멀티미디어 데이터 검색방법/멀티미디어 데이터 검색서버는, 복수의 멀티미디어 데이터의 각각을 그 멀티미디어 데이터의 발생과의 관계를 가지고 자동적으로 작성된 시각정보와 위치정보의 양쪽 또는 한쪽과 관련지어 관리하고, 요구원으로부터 네트워크를 매개로 이벤트명을 이용하여 지정된 검색요구를 수취하며, 수취한 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 구하고, 관리되고 있는 상기 복수의 멀티미디어 데이터를 구해진 상기 시각정보와 위치정보의 양쪽 또는 한쪽에 기초하여 검색하며, 이 검색결과를 네트워크를 매개로 하여 상기 요구원에 제공하는 것을 특징으로 한다.

또한, 장치에 관계된 본 발명은 방법에 관계된 발명으로서도 성립하고, 방법에 관계된 본 발명은 장치에 관계된 발명으로서도 성립한다.

또, 장치 또는 방법에 관계된 본 발명은, 컴퓨터에 당해 발명에 상당하는 수순을 실행시키기 위한(혹은 컴퓨터를 당해 발명에 상당하는 수단으로서 기능시키기 위한, 혹은 컴퓨터에 당해 발명에 상당하는 기능을 실현시키기 위한) 프로그램을 기록한 컴퓨터 독출가능한 기록매체로서도 성립한다.

본 발명에서는, 멀티미디어 데이터가 촬영 등 될 때 또는 그 근방에서 자동적으로 부여 또는 취득 등 된 시각정보나 위치정보를 이용하여 멀티미디어 데이터를 관리함과 더불어, 이벤트명과 시각정보나 위치정보의 대응을 등록한 인덱스 테이블을 설치하는 등으로 함으로써, 이벤트명을 사용하여 지정된 검색요구를 수취한 경우에는, 그 이벤트명에 기초하여 그 검색요구에 대응하는 시각정보나 위치정보를 구하고, 이 구해진 시각정보나 위치정보에 기초하여 멀티미디어 데이터를 검색한다.

이와 같이 본 발명에 의하면, 관리하고자 하는 멀티미디어 데이터를 디렉토리나 폴더로 분류하거나 검색용의 키워드를 붙이는 것과 같은 번잡한 작업이 불필요하게 되고, 사용자가 직감적으로 알기 쉬운 이벤트명 및 그 조합에 의해 소망하는 멀티미디어 데이터를 검색하는 것이 가능하게 된다. 또, 인덱스 테이블을 인덱스 서버에 둠으로써, 새로운 이벤트명을 서버측에서 추가할 수 있으므로, 사용자는 인덱스 테이블의 갱신과 같은 작업을 하지 않고도 새로운 이벤트명을 사용한 검색이 가능하게 된다.

(발명의 실시형태)

이하, 도면을 참조하면서 발명의 실시형태를 설명한다.

본 발명의 멀티미디어 데이터 검색장치는, 검색대상으로 되는 개개의 멀티미디어 데이터에는 적어도 시각정보와 위치정보의 양쪽 또는 한쪽이 관계지어져 있다는 것을 전제로 하고, 적어도 그들 정보를 이용하여 검색, 표시 등을 행하는 것으로 한다. 본 실시형태에서는, 구체예로서는 시각정보와 위치정보의 양쪽을 이용하는 경우를 예로 들어 설명하고 있다.

또, 본 실시형태에서는, 촬영위치나 부속의 장치 등에 의해 자동적으로 멀티미디어 데이터에 관계지어진 속성정보(시각정보와 위치정보의 양쪽 또는 한쪽)가 존재하고, 그 속성정보를 이용하는 경우를 예로 들어 설명하고 있다.

앞에 설명한 바와 같이, 디지털 카메라(혹은 디지털 스틸 카메라)로 촬영한 사진 데이터나, 디지털 비디오 카메라로 촬영한 비디오 데이터의 데이터 포맷에는, 촬영한 시각이나 위치 등의 속성정보를 기록할 수 있게 되어 있다. 디지털 카메라나 디지털 비디오 카메라는, 내장 시계나 GPS(예컨대, 카메라 본체에 내장된 것이나, 카메라 외부에 부착된 것 등이 있음) 등으로부터 얻어지는 정보를 사용하여, 이들의 포맷에 따라 시각정보나 촬영위치의 정보를 데이터의 속성으로서 자동적으로 기록하는 기능을 갖는 것이 있으므로, 그것을 이용할 수 있다.

디지털 카메라나 디지털 비디오 카메라에는, 촬영시각의 정보를 기록할 수 있지만, 위치를 기록하는 기능은 갖고 있지 않은 것도 많다. 이러한 디지털 카메라나 디지털 비디오 카메라를 사용하고 있는 경우에는, 시각과 위치를 정기적으로 기록할 수 있는 휴대형의 GPS장치를 한꺼번에 가지고 다니면 좋다. 촬영한 사진 혹은 비디오에는 촬영시각의 정보가 붙어 있으므로, 휴대형의 GPS장치의 데이터로부터 촬영시각의 위치정보를 알아내고, 그것을 촬영위치의 정보로서 사용할 수 있다.

GPS 외에는, 예컨대 PHS나 블루투스(bluetooth) 등을 이용하여 위치정보를 획득하여 붙이는 방법도 있다. 또, 휴대형의 GPS 등의 수단을 사용할 수 없는 경우는, 위치정보만은 지도의 데이터를 참조하면서 사람의 손으로 붙이는 방식도 가능하다.

이와 같이 하여 시각·위치라고 하는 속성정보에 관련지어진 멀티미디어 데이터의 집합에 대해, 본 발명의 멀티미디어 데이터 검색장치에서는 「이벤트」에 의한 검색을 가능하게 한다.

본 발명에 있어서, 「이벤트」라고 하는 것은, 멀티미디어 데이터가 가질 수 있는 n(n은 1 이상)종류의 속성정보 중 1 이상 n 이하의 종류의 속성정보에 관련지어지는 여러 가지의 개념이고, 그 개념에 붙어 있는 이름을 「이벤트명」이라 부른다.

본 실시형태의 구체예에서는, 속성정보로서 시각과 위치를 이용하는 경우를 예로 들고 있으므로, 본 실시형태의 구체예에서의 이벤트는 시각과 위치의 양쪽 혹은 한쪽에 관련지어지는 것으로 된다.

예컨대, 「나가노 올림픽」이라고 하는 것은 이벤트명의 하나이고, 그 단어에는 나가노 올림픽이 열린 기간과 장소가 각각 시각정보 및 위치정보로서 관련지어져 있다. 「일본만국박람회」나 「요코하마 전국체전」, 「오키나와 서미트(수뇌회담)」, 「전자쇼 '99」 등도, 각각 열린 기간과 장소가 시각정보 및 위치정보로서 관련지어져 있는 이벤트명이다.

또, 이벤트에는 「기온축제」, 「올림픽」, 「서미트」, 「전자쇼」 등과 같이, 몇 번이나 열리는 것도 있다. 이러한 이벤트명에 대해서는, 열린 시간과 장소를 나타내는 시각정보와 위치정보가 복수 관련지어져 있다.

또, 이벤트에는, 시각정보와 위치정보 중 한쪽만을 가지고 있는 것도 있다. 예컨대, 「신슈(信州)」, 「신주쿠」, 「후지산」, 「요코하마 시립 ＯＯＯ소학교」, 「ＯＯ제조회사 ＯＯ공장」 등은 위치정보만이 관련지어져 있는 이벤트명이다. 다만, 위치를 나타내는 이벤트명이어도, 지명변경 등에 의해 이전에 사용된 지명으로 이제는 사용되고 있지 않은 것이나, 반대로 최근에 새로 붙인 지명 등, 시각정보를 갖는 것도 있다. 또, 예컨대 「국제아동의 해」나 「제10회 전국안전위생의 달」과 같이, 정해진 위치정보가 없고 시각정보만이 관련지어져 있는 이벤트명도 있다. 더욱이, 시각정보만이 관련지어져 있는 이벤트명에는, 「정월」, 「크리스마스」, 「발렌타인데이」, 「윤년」 등과 같이, 매년 정해진 기간에 있는 이벤트나, 수년걸러 있는 이벤트도 있는데, 이러한 이벤트에는 시각정보가 복수개 관련지어진다.

도 1에 본 발명의 한 실시형태에 따른 멀티미디어 데이터 검색장치의 구성례를 나타낸다.

본 멀티미디어 데이터 검색장치(1)는, 도 1에 나타낸 바와 같은 구성을 갖고, 크게 인덱스 처리부(11), 데이터 선택부(12), 데이터 관리부(13)의 3개의 구성요소를 갖는다.

각 구성요소의 개요는, 시각정보와 위치정보의 양쪽을 이용하는 경우에는, 다음과 같이 된다.

데이터 관리부(13)는, 멀티미디어 데이터를 시각정보와 위치정보의 양쪽과 관련지어 관리하고 있다.

인덱스 처리부(11)는, 1개의 이벤트명 또는 복수의 이벤트명의 조합에 의해 검색요구가 입력되면, 입력된 이벤트명에 대응하는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 취출한다(즉, 이벤트명에 따라 시각정보가 취출되지만 위치정보가 없는 경우와, 위치정보가 취출되지만 시각정보가 없는 경우와, 시각정보 및 위치정보가 취출되는 경우가 있다).

또한, 복수의 이벤트명의 조합에 의해 검색요구가 입력된 경우에는, 본 실시형태의 구체예에서는 복수의 이벤트명의 각각을 가중조건으로서 취급하는 것으로 하고, 복수의 이벤트명에 대해 취출된 시각정보끼리 혹은 위치정보끼리에 대해 AND를 취하는 등의 계산을 행해 시각정보나 위치정보를 좁혀 들어가는 경우를 구체예로 들어 설명하고 있다. 물론, 복수의 이벤트명에 대해 AND, OR, NOT 등을 적절히 지정할 수 있도록 하는 것도 가능하다(이 경우에는, AND, OR, NOT 등 지정된 계산을 행하면 된다).

데이터 선택부(12)는, 데이터 관리부(13)가 관리하는 멀티미디어 데이터 중에서 그 관련지어져 있는 시각정보/위치정보가, 상기 검색요구에 대해 인덱스 처리부(11)가 취출한 시각정보 또는 위치정보, 또는 시각정보 및 위치정보에 매치하는 것을 선출하고, 그렇게 하여 선출된 멀티미디어 데이터의 집합을 검색결과로서 돌려 보낸다.

한편, 각 구성요소의 개요는, 시각정보와 위치정보의 한쪽을 이용하는 경우에는, 다음과 같이 된다.

데이터 관리부(13)는, 멀티미디어 데이터를 시각정보(또는 위치정보)와 관련지어 관리하고 있다.

인덱스 처리부(11)는, 1개의 이벤트명 또는 복수의 이벤트명의 조합에 의해 검색요구가 입력되면, 입력된 이벤트명에 대응하는 시각정보(또는 위치정보)를 취출한다. 복수의 이벤트명의 조합의 경우는, 상기와 마찬가지이다.

데이터 선택부(12)는, 데이터 관리부(13)가 관리하는 멀티미디어 데이터 중에서 그 관련지어져 있는 시각정보(또는 위치정보)가, 상기 검색요구에 대해 인덱스 처리부(11)가 취출한 시각정보(또는 위치정보)에 매치하는 것을 선출하고, 그렇게 하여 선출된 멀티미디어 데이터의 집합을 검색결과로서 돌려 보낸다.

물론, 시각정보에 더하여 다른 정보를 이용하는 경우나, 위치정보에 더하여 다른 정보를 이용하는 경우나, 시각정보와 위치정보에 더하여 다른 정보를 이용하는 경우도, 마찬가지로 가능하다.

이하에서는, 시각정보와 위치정보의 양쪽을 이용하는 경우를 중심으로 설명한다.

상술한 바와 같이 본 실시형태의 멀티미디어 데이터 검색장치의 데이터 관리부(13)는, 검색대상으로 되는 복수의 멀티미디어 데이터를 각각 시각정보와 위치정보의 양쪽 또는 한쪽과 관련지어 관리한다.

도 2에 본 실시형태의 멀티미디어 데이터 검색장치의 데이터 관리부(13)의 실현방식의 하나의 예를 나타낸다.

도 2의 예에 나타낸 바와 같이, 「디지털 스틸 카메라용 화상파일 포맷규격(Exif) Version 2.1」(JEIDA-49-1998, 일본 전자공업진흥협회)나 「Recording-Helical-scan digital video cassette recording system using 6, 35mm magnetic tape for consumer use (525-60, 625-50, 1125-60 and 1250-50 systems) -」(IEC 61834)에 개시되어 있는 바와 같은 시각정보와 위치정보를 포함할 수 있는 데이터 포맷을 이용하는 방식이다.

도 2의 예에서는, 파일 시스템내의 「PHOTO」라고 하는 디렉토리에, 「디지털 스틸 카메라용 화상파일 포맷규격(Exif) Version 2.1」에서 규정되어 있는 포맷으로 기록되어 있는 복수의 디지털 사진의 데이터를 기록하여 관리하고 있다. 「P0000100.JPG」로부터 「P0000581.JPG」까지가 디지털 사진의 데이터가 들어 있는 파일이다. 이들 파일 중에는, 디지털 사진의 정지화상 데이터 외에, 그 사진을 찍은 시각의 정보(도 2에서는 「TIME:」이라고 표기하고 있음)와, 그 사진을 찍은 위치의 정보로서 위도와 경도(도 2에서는 「LOCATION:」이라고 표기하고 있음)도기록되어 있다. 예컨대, 「P0000100.JPG」라고 하는 데이터 파일은, 시각정보로서 「1970/01/01 06:30:05」라고 하는 값을, 위치정보로서 「E136°47'29.37", N34°30'20.05"」이라고 하는 값을 갖고, 1970년 1월 1일 오전 6시 30분 5초에 동경 136°47'29.37", 북위 34°30'20.05"에서 촬영한 사진의 데이터임을 나타내고 있다.

도 2는 디지털 사진 데이터를 대상으로 한 예이지만, 디지털 비디오의 경우도, 예컨대 「Recording-Helical-scan digital video cassette recording system using 6, 35mm magnetic tape for consumer use (525-60, 625-50, 1125-60 and 1250-50 systems) -」(IEC 61834)에 개시되어 있는 디지털 포맷을 사용하여, 비디오 영상의 속성정보로서 촬영시간과 촬영위치의 위도경도를 기록할 수 있다. 다만, 디지털 카메라(혹은 디지털 스틸 카메라) 등으로 작성한 정지화상의 경우에는, 1개의 데이터에 대해 촬영시각과 촬영위치의 정보가 1개 대응하는데 반해, 디지털 비디오 카메라로 촬영한 정지화상과 같은 경우에는, 1개의 데이터에 대해 촬영시각이나 촬영위치는 1개로는 한정되지 않는 점이 다르다. 즉, 1개의 데이터 내에 다른 시간에 다른 장소에서 촬영한 쇼트가 혼재하고 있는 경우가 있다.

한편, 본 발명의 수법은, 상기 설명에서 기술한 포맷 이외의 여러 가지의 포맷의 디지털 사진이나 디지털 비디오 데이터에 대해 적용가능하다는 것은, 당업자에게는 자명하다.

도 3 및 도 4에 본 실시형태의 멀티미디어 데이터 검색장치의 데이터 관리부(13)의 실현방식의 다른 예를 나타낸다(여기서, 도 4는 도 3의 위치정보파일「LOCATION.DAT」의 내용의 예이다).

도 3 및 도 4의 예에 나타낸 바와 같이, 관리대상의 각 데이터는 시각정보만을 갖고, 각각의 데이터와 그 데이터의 위치정보의 대응은 파일이나 데이터베이스 관리시스템 등을 사용하여 별도로 관리하는 방식이다.

도 3 및 도 4에서는, 「PHOTO」 디렉토리에 관리하고 있는 「P0000100.JPG」로부터 「P0000581.JPG」까지의 10개의 디지털 사진 데이터에는, 각각 촬영한 시각이 시각정보로서 기록되어 있다. 이때의 사진 데이터의 데이터 포맷으로서는, 상기의 Exif Version 2.1을 이용할 수 있다. 사진 데이터와는 별도로, 각각의 사진과 그것을 찍은 장소를 나타내는 위치정보의 대응을 위치정보파일에 기록하여 관리한다. 도 3 및 도 4의 예에서는, 「LOCATION.DAT」라고 하는 이름의 파일이 위치정보파일이다. 「LOCATION.DAT」 내에는, 도 3 및 도 4에 나타낸 바와 같이, 예컨대 「P0000100.JPG」라고 하는 이름의 파일에 기록되어 있는 디지털 사진 데이터의 위치정보로서는 동경 136°47'29.37", 북위 34°30'20.05"를 나타내는 「E136°47'29.37", N34°30'20.05"」이 대응지어져 있다.

도 5 및 도 6에 본 실시형태의 멀티미디어 데이터 검색장치의 데이터 관리부(13)의 실현방식의 더욱 다른 예를 나타낸다(여기서, 도 6은 도 5의 속성정보파일 「PROPERTY.DAT」의 내용의 예이다).

도 5 및 도 6의 예에 나타낸 바와 같이, 관리대상의 각 데이터는 시각정보도 위치정보도 갖지 않고, 각각의 데이터와 그 데이터의 시각정보 및 위치정보의 대응은 파일이나 데이터베이스 관리시스템 등을 사용하여 별도로 관리하는 방식이다.

도 5 및 도 6에서는, 「PHOTO」 디렉토리에 관리하고 있는 「P0000100.JPG」로부터 「P0000581.JPG」까지의 10개의 디지털 사진 데이터는, 시각정보도 위치정보도 갖고 있지 않다. 사진 데이터와는 별도로, 각각의 사진과 그 시각정보 및 위치정보의 대응은 속성정보파일에 기록하여 관리한다. 도 5 및 도 6의 예에서는, 「PROPERTY.DAT」라고 하는 이름의 파일이 속성정보파일이다. 「PROPERTY.DAT」 내에는, 도 5 및 도 6에 나타낸 바와 같이, 예컨대 「P0000100.JPG」라고 하는 이름의 파일에 기록되어 있는 디지털 사진 데이터의 시각정보로서는 1970년 1월 1일 오전 6시 30분 5초를 나타내는 「1970/01/01 06:30:05」가, 위치정보로서는 동경 136°47'29.37", 북위 34°30'20.05"를 나타내는 「E136°47'29.37", N34°30'20.05"」이 대응지어져 있다.

도 7에 본 실시형태의 멀티미디어 데이터 검색장치의 데이터 관리부(13)의 실현방식의 더 한층 다른 예를 나타낸다.

도 7의 예에 나타낸 바와 같이, 관리대상의 각 데이터는 시각정보만을 갖고, 위치정보는 GPS의 데이터를 병용하여 대응짓는 방식이다.

도 7에서는, 「PHOTO」 디렉토리에 관리하고 있는 「P0000100.JPG」로부터 「P0000581.JPG」까지의 10개의 디지털 사진 데이터는, 시각정보는 갖고 있지만 위치정보는 갖고 있지 않다. 사진 데이터와는 별도로, 각각의 사진을 찍은 때의 GPS의 데이터를 관리하고 있다. 도 7의 예에서는, 「19700101.GPS」라고 하는 이름의 파일은 1970년 1월 1일의 GPS정보의 데이터, 「19700612.GPS」라고 하는 이름의 파일은 1970년 6월 12일의 GPS정보의 데이터라고 하는 상태로, 1일분의 GPS정보를 1개의 파일로서 관리하고 있다. 각각의 GPS정보파일 중에는, 일정 시간마다 그 시점의 위도와 경도를 대응표로서 기록하고 있다.

이 GPS정보를 사용함으로써, 예컨대 「P0000100.JPG」의 위치정보가 필요한 때는 「P0000100.JPG」의 시각정보로부터 대응하는 GPS정보파일인 「19700101.GPS」를 선택하고, 그 안의 정보로부터 오전 6시 30분 5초의 시각에 있었다고 추정되는 위치정보를 구한다. 이 때, GPS정보는 일정 시간간격으로 밖에(즉 이산적으로 밖에) 기록되어 있지 않기 때문에, 찾고자 하는 바로 그 시각의 위치정보가 기록되어 있는 것은 드물다. 그 때문에, 찾고자 하는 시각에 가장 가까운 시각의 위치정보를 사용하거나, 혹은 찾고자 하는 시각의 전후의 위치정보로부터 보간하여 계산한 위치정보를 사용할 수 있다.

또한, 이상의 각 방법은 멀티미디어 데이터에 관련지어진 속성정보가 2종류의 경우의 예이지만, 속성정보가 1종류나 3종류 이상의 경우도 마찬가지의 방법을 적용가능하다.

도 2, 도 3 및 도 4, 도 5 및 도 6, 도 7에서 설명한 데이터 관리부(13)의 각 실현예에서는, 모두 사진 데이터의 파일은 「PHOTO」라고 하는 이름의 1개의 디렉토리에 모두 관리하고 있다. 이들 관리방식은, 종래부터 있는 디렉토리를 사용한 분류방식이나 키워드를 사용하여 검색을 가능하게 하는 관리방식을 병용하는 것도 용이하다.

데이터 관리부(13)가 관리하는 멀티미디어 데이터는, 상기한 예와 같이, 멀티미디어 데이터 검색장치(1)내에 관리하는 방식 외에, 원격 파일 시스템 등의 네트워크를 매개로 한 파일이나 데이터의 억세스수단을 이용하여 다른 컴퓨터로 관리하도록 실시하는 것도 가능하다.

본 실시형태의 멀티미디어 데이터 검색장치는, 검색요구를 인덱스 처리부(11)가 수취함으로써 동작을 개시한다. 검색요구는, 사용자로부터 직접 멀티미디어 데이터 검색장치(1)에 대해 출력되거나, 혹은 사용자와 멀티미디어 데이터 검색장치(1)와의 사이의 인터페이스로 되는 프론트엔드 프로그램으로부터 출력되거나, 혹은 각종 응용 프로그램으로부터 출력된다.

검색요구는, 1개의 이벤트명 혹은 복수의 이벤트명의 조합의 형태로, 인덱스 처리부(11)에 부여된다.

예컨대, 신슈(信州)에서 찍은 사진 데이터를 검색하고자 하는 경우에 「신슈」라고 하는 이벤트명이 검색요구로 되고, 나가노 올림픽을 보러 갔을 때에 찍은 사진 데이터를 검색하고자 하는 경우에 「나가노 올림픽」이라고 하는 이벤트명이 검색요구로 되며, 정월에 찍은 사진 데이터를 검색하고자 하는 경우에 「정월」이라고 하는 이벤트명이 검색요구로 된다.

이벤트명을 조합시킴으로써, 1개의 이벤트명으로는 표현할 수 없는 검색조건을 지정할 수 있다. 예컨대, 「교토(京都)」라고 하는 장소를 나타내는 이벤트명과 「정월」이라고 하는 시각을 나타내는 이벤트명을 조합시킨 「교토의 정월」이라고 하는 검색요구는, 정월에 교토에서 찍은 사진 데이터의 검색요구로 된다. 또, 「1970년 정월의 교토」라고 하는 방식으로 더 검색조건을 좁혀 들어갈 수 있다.

물론, 상기의 설명은, 기본적인 이벤트명을 복합시킨 형태로 되어 있는 것을 이벤트명으로서는 배제하는 취지가 아니라, 「교토의 정월」과 같은 1개의 이벤트명을 형성해도 상관없다.

다른 예로서는, 「(이벤트명) + (의 장소)」로 한정함으로써 위치정보만을 지정하여 검색하거나, 반대로 「(이벤트명) + (의 때)」로 한정하여 시각정보만을 지정하여 검색할 수 있다. 예컨대, 「나가노 올림픽」이라고 하는 이벤트명은, 시각정보와 위치정보의 양쪽을 지정한 검색요구로 되지만, 「나가노 올림픽의 장소」로 한정함으로써 위치정보만을 지정하여 검색하거나, 「나가노 올림픽의 때」로 한정함으로써 시각정보만을 지정하여 검색할 수도 있다. 더욱이, 「(이벤트명) + (의 때의) + (이벤트명)」, 예컨대 「나가노 올림픽 때의 삿포로」라고 하는 방식으로, 검색조건을 좁혀 들어갈 수도 있다.

도 8에 본 실시형태의 멀티미디어 데이터 검색장치의 인덱스 처리부(11)의 구성례를 나타낸다.

도 8에 나타낸 바와 같이, 본 인덱스 처리부(11)는 인덱스 검색부(111)와 인덱스 테이블(112)을 갖추고 있다.

인덱스 검색부(111)는, 먼저 1개의 이벤트명 혹은 복수의 이벤트명의 조합을 검색요구로서 수취하고, 그 안에 포함된 각 이벤트명에 대응하는 시각정보와 위치정보를, 인덱스 테이블(112)을 찾아 구한다.

다음에, 인덱스 검색부(111)는 검색조건이 1개의 이벤트명이면, 그 시각정보 및/또는 위치정보를, 인덱스정보로서 데이터 선택부(12)로 넘겨준다. 검색조건이복수의 이벤트명의 조합이면, 각각의 이벤트명에 대한 시각정보 및/또는 위치정보로부터 계산하여 구한 조합후의 시각정보 및/또는 위치정보를 인덱스정보로서 데이터 선택부(12)로 넘겨준다.

「인덱스 테이블」은, 이벤트명과 그것이 갖는 n종류의 속성정보와의 대응을 관리하는 표이다. 여기서, 1종류의 속성정보에 대해 1개의 항목이 존재하는 경우와, 복수의 항목이 존재하는 경우가 있다(예컨대, 시각정보로서 기간을 나타내는 경우에는, 적어도 개시시각과 종료시각의 2개의 항목이 필요하게 된다).

본 실시형태에서의 인덱스 테이블은, 이벤트명과 그것이 갖는 시각정보와 위치정보의 양쪽 혹은 한쪽의 대응을 관리하는 표이다.

도 9에 인덱스 테이블(112)의 예를 나타낸다. 이 예의 인덱스 테이블(112)은, 각 이벤트명에 대해 그 시각정보로서 「개시시각」과 「종료시각」을, 위치정보로서 「경도1」과 「위도1」과 「경도2」와 「위도2」를 관리하고 있다. 예컨대, 「오사카성」이라고 하는 이벤트명은 대응하는 시각정보는 갖지 않고 위치정보로서 대표점의 위치정보를 「경도1」 및 「위도1」로 갖고 있다.

위치정보를 대표점으로 나타내는 경우, 그 점을 중심으로 어디까지가 그 이벤트명이 지시하는 범위인가가 애매하게 된다. 그 때문에, 대표점으로부터의 유효한 반경의 거리를 이벤트 테이블에 한꺼번에 기록해 두도록 해도 좋다. 반경이 양(陽)으로 기록되어 있지 않은 경우(또는 반경을 양으로 기록하는 방법을 취하지 않는 경우)에는, 예컨대 데이터 선택부(12)에서 적당한 기준으로 대표점으로부터의 유효한 거리를 설정하면 좋다. 또한, 위치정보의 지정을 대표점이 아니라 대표로되는 선으로 지정할 수도 있다. 이 경우도, 그 선으로부터 어느 정도의 거리까지가 그 이벤트에 속하는가의 판단은, 대표점의 경우와 마찬가지로, 그 거리를 인덱스 테이블에 한꺼번에 기록해 두도록 하거나, 혹은 데이터 선택부(12)에서 적당한 기준으로 유효한 거리를 설정할 수 있다.

또, 도 9의 인덱스 테이블(112)에 있어서, 「교토」라고 하는 이벤트명에는 경도1로서 「E135°38'59.49"」, 위도1로서 「N35°06'15.19"」, 경도2로서 「E135°50'04.32"」, 위도2로서 「N34°54'56.38"」을 위치정보로서 갖고 있다. 즉, 「교토」라고 하는 이벤트명이 지시하는 영역의 위치정보를, 지정한 평면상의 2점을 대각으로 하는 장방형으로 근사(近似)하여 나타내고 있다.

위치정보의 지정방법으로서는, 도 9의 예와 같이 장방형으로 영역을 지정하는 이외에, 보다 실제의 영역에 가까운 다각형으로 근사하는 방법도 있다. 또, 복수의 점 혹은 영역의 집합으로 나타내는 방법도 있다.

도 9의 인덱스 테이블(112)에 있어서, 「일본만국박람회」라고 하는 이벤트명에는 개시시각으로서 「1970/3/14」, 종료시각으로서 「1970/9/13」을 시각정보로서 갖고, 경도1로서 「E135°31'22.20"」, 위도1로서 「N34°48'50.41"」, 경도2로서 「E135°32'43.65"」, 위도2로서 「N34°47'57.92"」을 위치정보로서 갖고 있다. 시각정보는 이벤트의 종류나 필요성에 따라 더 미세한 시간까지 지정하거나, 반대로 더 넓은 해(年)만을 지정하는 것도 가능하다.

검색요구로 지정하는 이벤트명에는, 이벤트 테이블을 찾을 필요가 없는 시각정보나 위치정보를 직접 지정하는 것도 가능하다. 예컨대, 「1970년」에서 1970년의 1년간을 검색요구의 시각지정으로 하거나, 위도와 경도를 직접 지정하여 검색요구의 위치정보를 지정할 수 있다. 이러한 지정의 방법은, 이벤트명을 조합시킬 때에 유효하게 사용할 수 있다. 예컨대, 「1970년의 교토」라고 하는 검색요구로, 1970년에 교토에서 찍은 사진을 검색할 수 있다.

또한, 도 9에 나타낸 인덱스 테이블(112)의 예에서는, 도 2의 예에 나타낸 디지털 사진에 관련한 이벤트만을 기록하고 있지만, 이것은 설명에 필요한 부분만을 나타내고 있는 것이고, 실제로는 보다 많은 이벤트를 등록하여 실시하면 좋다.

본 실시형태의 멀티미디어 데이터 검색장치(1)의 인덱스 처리부(11)의 인덱스 검색부(111)는, 예컨대 도 10에 나타낸 바와 같은 수순으로 동작한다.

인덱스 검색부(111)는, 먼저 검색요구를 수취하고(단계 S1), 다음에 그 검색요구내에 포함된 이벤트명을 취출한다(단계 S2).

다음에, 취출한 이벤트명을 키(key)로 하여 인덱스 테이블(112)을 찾아 각각의 이벤트명에 대응하는 시각정보와 위치정보를 구한다(단계 S3).

이렇게 하여 구한 시각정보 및/또는 위치정보를 기초로, 검색요구에 나타낸 이벤트명의 조합방법에 따라 검색대상의 시각정보 및/또는 위치정보를 계산한다(단계 S4).

인덱스 검색부(111)는, 이렇게 하여 구한 검색대상의 시각정보 및/또는 위치정보(즉, 검색요구에 포함된 이벤트명에 따라, 시각정보가 있고 위치정보가 없는 경우나, 위치정보가 있고 시각정보가 없는 경우나, 시각정보 및 위치정보가 있는 경우가 있음)를, 인덱스정보로서 데이터 선택부(12)에 넘겨준다(단계 S5).

그런데, 여기서 설명한 인덱스 처리부(11)의 구성에 있어서는, 인덱스 처리부(11)내의 인덱스 검색부(111)와 인덱스 테이블(112)을 국부적으로 갖추고 있다. 인덱스 처리부(11)의 다른 구성례로서는, 도 11에 나타낸 바와 같이 인덱스 처리부(11)는 인터넷 혹은 인트라넷 등의 네트워크(6)로 연결되어 있는 원거리의 인덱스 서버(3)를 사용하여 처리하는 방식도 있다.

도 12에 이 경우의 인덱스 처리부(11)의 구성례를 나타낸다. 도 12에 나타낸 바와 같이, 이때의 인덱스 처리부(11)는 수취한 검색요구를 인덱스 서버(3)로 보내는 검색요구 송신부(113)와, 이 검색요구에 기초하여 인덱스 서버(3)에서 구해진 인덱스정보를 수취하여 데이터 선택부(12)에 넘겨주는 인덱스정보 수신부(114)를 갖추고 있다.

도 13에 이 경우의 인덱스 서버(3)의 구성례를 나타낸다. 도 13에 나타낸 바와 같이, 이때의 인덱스 서버(3)는 인터넷 등의 네트워크(6)를 매개로 하여 검색요구를 수취하는 검색요구 수신부(33)와, 이벤트명과 그것에 대응하는 시각정보와 위치정보를 관리하는 인덱스 테이블(32), 인덱스 테이블(32)을 참조하여 검색요구로부터 인덱스정보를 구하는 인덱스 검색부(31) 및, 구한 인덱스정보를 되돌려 보내는 인덱스정보 송신부(34)를 갖추고 있다. 인덱스 검색부(31)와 인덱스 테이블(32)은, 예컨대 도 10이나 도 9의 예에서 나타낸 바와 같은 국부적으로 처리하는 인덱스 처리부(11)가 갖는 것과 마찬가지의 동작을 하도록 구성하면 된다.

인덱스 서버(3)를 사용하는 경우에 있어서, 검색요구가 복수의 이벤트명의 조합으로 지정된 경우에 행하는 (시각정보나 위치정보에 관한) 계산을 인덱스서버(3)측에서 하지 않고, 멀티미디어 데이터 검색장치(1)내의 인덱스 처리부(11)측에서 계산하도록 구성할 수도 있다(이 경우에는, 인덱스 서버(3)로부터 멀티미디어 데이터 검색장치(1)로, 각 이벤트명에 대한 시각정보나 위치정보를 그대로 반송시키면 된다). 이러한 방법은, 후에 설명하는 바와 같이, 복수의 인덱스 서버(3)를 조합시켜 사용하거나, 혹은 국부적인 인덱스 테이블(112)과 인덱스 서버(3)를 조합시켜 사용하는 경우에도 유효하게 사용할 수 있다.

인덱스 테이블을 국부적으로 갖는 인덱스 처리부(11)의 이점은, 멀티미디어 데이터 검색장치(1)가 통신기능을 갖추지 않아도 좋다는 것이다. 다만, 새로운 이벤트는 무엇인가의 수단으로 그것을 인덱스 테이블에 추가해 갈 필요가 있다. 예컨대, 플로피나 CD-ROM으로 보내거나, 인터넷으로 보내거나, 방송의 전파에 실어 보내거나 하는 방법이 가능하다.

인덱스 서버(3)를 사용하는 인덱스 처리부(11)는, 새로운 이벤트의 추가와 같은 인덱스 테이블의 유지·보수를 스스로 하지 않아도 좋은 것이 이점이다. 새로운 이벤트가 인덱스 서버(3)에 추가되면, 별로 특별한 작업을 하지 않아도 그대로 곧바로 사용할 수 있다. 또, 인덱스 서버(3)는 네트워크(6)에 연결되어 있기 때문에, 동일한 네트워크(6)에 연결되어 있는 복수의 멀티미디어 데이터 검색장치(1)가 1개의 인덱스 서버(3)를 공유하여 사용할 수도 있다.

인덱스 서버(3)를 사용하는 외의 실시형태로서, 인덱스 서버(3)가 갖춘 인덱스 테이블(32)의 데이터를, 멀티미디어 데이터 검색장치(1)내에서 캐시하는 방식도 있다. 즉, 멀티미디어 데이터 검색장치(1)의 데이터 관리부(13)에 관리하는 사진등의 멀티미디어 데이터가 갖는 시각정보와 위치정보로부터, 그것이 매치하는 이벤트의 데이터를 인덱스 서버(3)로부터 선독출하여 국부적인 인덱스 테이블(112)에 기억해 둔다거나, 혹은 한번 인덱스 서버(3)로부터 독출하여 사용한 이벤트의 데이터를 국부적인 인덱스 테이블(112)에 캐시해 둔다. 이후의 검색요구의 처리에는, 국부적인 인덱스 테이블(112)의 정보만으로 처리할 수 있는 경우에는 그것만을 사용하여 인덱스정보를 구할 수 있다. 캐시나 선독출을 행하는 이벤트의 데이터의 범위는 여러 가지로 결정할 수 있다. 예컨대, 해당하는 범위 전부, 최근 사용한 것만, 사진이 많은 것, 빈번하게 찾는 것 등의 여러 가지의 기준을 사용할 수 있다.

또, 인덱스 서버(3)는, 복수 준비하여 필요에 따라 절체하거나, 혹은 복수의 인덱스 서버의 정보를 조합시켜 사용하도록 실시할 수도 있다.

예컨대, 동일한 인덱스 테이블을 갖는 인덱스 서버를 복수 준비하여 두고, 부하를 분산시키거나, 혹은 어떤 인덱스 서버의 장해시에 다른 인덱스 서버를 사용하도록 하여 신뢰성을 높일 수 있다. 또, 예컨대 다른 이벤트의 데이터를 갖는 인덱스 서버를 복수 준비하고, 필요에 따라 사용하는 인덱스 서버를 절체할 수도 있다. 또, 예컨대 세계 레벨의 정보를 갖는 인덱스 서버, 일본 레벨의 정보를 갖는 인덱스 서버, 가나가와현 레벨의 정보를 갖는 인덱스 서버, …라고 하는 바와 같이, 다른 레벨의 정보를 갖는 인덱스 서버를 복수 준비해 두고, 하위의 레벨로부터 상위의 레벨까지의 복수의 인덱스 서버를 사용하여 검색하며, 그들 인덱스 서버로부터 얻어지는 인덱스정보를 조합시켜 검색요구에 대응하는 인덱스정보를 계산하도록 실시하는 것도 가능하다.

또, 도 8에 나타낸 인덱스 검색부(멀티미디어 데이터 검색장치)나 도 13에 나타낸 인덱스 검색부(인덱스 서버)의 구성례에서는, 인덱스 검색부가 찾는 인덱스 테이블은 1개였지만, 인덱스 테이블을 복수로 분할하여 갖추도록 실시해도 좋다.

도 14에 도 8의 인덱스 처리부(11)를 인덱스 테이블을 복수 갖추도록 구성한 예를 나타낸다. 도 14의 예에서는 4개의 인덱스 테이블(도중, 112-1∼112-4)을 갖고 있다.

이러한 복수의 인덱스 테이블의 사용방법으로서는, 예컨대 이벤트를 복수의 분야로 분류하여 각각을 다른 인덱스 테이블에 기록함으로써, 인덱스 테이블을 관리하기 쉽게 할 수 있다.

또, 다른 사용방법으로서, 예컨대 도 14에서 인덱스 테이블 #1은 복수의 사용자에 의해 공유하는 인덱스 테이블로 하고, 인덱스 테이블 #2, 인덱스 테이블 #3, 인덱스 테이블 #4는 각각 다른 사용자용의 이벤트가 기록되어 있는 인덱스 테이블로 할 수 있다. 이와 같이 실시한 경우, 어떤 사용자의 경우는 인덱스 테이블 #1과 인덱스 테이블 #2를 사용하고, 어떤 사용자의 경우는 인덱스 테이블 #1과 인덱스 테이블 #3을 사용하며, 어떤 사용자의 경우는 인덱스 테이블 #1과 인덱스 테이블 #4를 사용하는 것과 같이, 사용자에 따라 최적의 인덱스 테이블을 사용하여 검색하는 것이 가능하게 된다. 이 경우, 사용자용의 인덱스 테이블에는, 개인용의 이벤트를 기록하도록 실시할 수도 있고, 혹은 특정의 분야에 흥미를 갖는 사용자의 그룹에 의해 공유하는 이벤트를 기록하도록 실시할 수도 있다.

보다 일반적으로는, 공유하는 인덱스 테이블과 사용자 그룹의 인덱스 테이블과 개인용의 인덱스 테이블을 필요한 개수 조합시켜 사용하도록 인덱스 검색부(111)를 구성할 수 있다.

물론, 도 14의 예에 나타낸 바와 같은 복수의 인덱스 테이블을 갖는 인덱스 검색부는, 도 13에 나타낸 인덱스 서버의 인덱스 검색부(31)에도 마찬가지로 적용하는 것이 가능하다는 것은 자명하다.

다음으로, 도 15에 도 8에 나타낸 바와 같은 국부적인 인덱스 테이블(112)을 갖는 인덱스 처리부(11)(를 갖춘 멀티미디어 데이터 검색장치(1))가 더 원거리의 인덱스 서버(3)를 병용하도록 한 구성례를 나타낸다.

이 예의 인덱스 처리부(11)는, 검색요구가 오면, 그것을 국부의 인덱스 검색부(111)와 검색요구 송신부(113)의 양쪽으로 넘겨준다.

검색요구 송신부(113)는, 검색요구를 네트워크(6)를 매개로 하여 인덱스 서버(3)로 보내고, 인덱스 서버(3)에서 검색한 인덱스정보를 인덱스정보 수신부(114)에서 수취하며, 그것을 인덱스정보 통합부(115)로 넘겨준다. 이때, 검색요구에 이벤트명의 조합이 지정된 경우, 인덱스 서버(3)는 각각의 이벤트명에 대한 시각정보와 위치정보를 검색하고, 그들을 그대로 돌려 보내도록 구성해도 좋으며, 인덱스 서버(3)내에서 복수의 이벤트에 대한 시각정보 및/또는 위치정보의 조합을 계산하여 돌려 보내도록 구성해도 좋다.

검색요구를 수취한 인덱스 검색부(111)는, 국부의 인덱스 테이블(112)을 찾아 검색요구에 지정된 각 이벤트에 대응하는 시각정보와 위치정보를 검색하고, 인덱스정보 통합부(115)로 넘겨준다. 이때, 검색요구에 이벤트명의 조합이 지정된 경우, 인덱스 검색부(111)는 각각의 이벤트명에 대한 시각정보와 위치정보를 검색하고, 그들을 그대로 인덱스정보 통합부(115)로 넘겨주도록 구성해도 좋으며, 인덱스 검색부(111)에서 복수의 이벤트명에 대한 시각정보 및/또는 위치정보의 조합을 계산하여 인덱스정보 통합부(115)로 넘겨주도록 구성해도 좋다.

또한, 원거리의 인덱스 서버(3) 혹은 국부의 인덱스 검색부(111) 단독으로는, 검색요구에 지정된 모든 이벤트에 대한 시각정보 및/또는 위치정보를 구할 수 없는 경우에는, 단독으로 검색할 수 있는 이벤트에 관한 시각정보와 위치정보를 구해 인덱스정보 통합부(115)로 넘겨준다.

인덱스정보 통합부(115)는, 인덱스 검색부(111)와 인덱스정보 수신부(114)로부터 넘겨받은 정보를 조합시켜 검색요구에 대응하는 최종적인 검색대상의 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 계산하고, 그것을 인덱스정보로서 데이터 선택부(12)로 넘겨준다.

이와 같이, 멀티미디어 데이터 검색장치내의 국부적인 인덱스 테이블과, 인덱스 서버측의 인덱스 테이블을 병용하는 방식은, 개인적인 이벤트명과 일반적인 이벤트명을 혼재시킨 검색을 하는 경우에 유효하다.

예컨대, 딸의 생일에 ＯＯ호텔에서 식사를 한 때에 사진을 찾고자 하는 경우, 「ＯＯ호텔」이라고 하는 이벤트명에 대한 위치정보는 인덱스 서버에서 검색할 수 있지만, 「딸의 생일」이라고 하는 개인적인 정보는 복수의 사용자에 의해 공유하는 인덱스 서버(3)에서는 검색할 수 없다. 그래서, 멀티미디어 데이터검색장치(1)내의 국부적인 개인용의 인덱스 테이블(112)에, 「딸의 생일」이라고 하는 이벤트명에서 생일의 시각정보을 넣어 두면, 이 데이터를 인덱스 서버(3)의 데이터를 조합시켜 검색할 수 있다. 이렇게 하면, 예컨대 「ＯＯ호텔에서의 딸의 생일」이라고 하는 것과 같이, 인덱스 서버(3)에 있는 이벤트명과 국부적인 인덱스 테이블(112)에 있는 개인의 이벤트명을 조합시킨 검색도 가능하게 된다(「ＯＯ호텔」에 대해 인덱스 서버로부터 위치정보가 얻어지고, 「딸의 생일」에 대해 국부적인 인덱스 테이블로부터 시각정보가 얻어진다). 여기서는, 개인용의 인덱스 테이블(112)을 멀티미디어 데이터 검색장치(1)내에 국부적으로 갖춘 방식을 설명했지만, 개인용의 인덱스를 인덱스 서버(3)측에 갖고, 인덱스 서버(3)내에서 개인용의 인덱스 테이블과 일반적인 공용의 인덱스 테이블을 조합시켜 처리하도록 실시하는 것도 가능하다.

물론, 도 8에 나타낸 바와 같은 국부적으로 인덱스 테이블을 갖는 멀티미디어 데이터 검색장치(1)가 더 원거리의 인덱스 서버를 병용하는 것과 마찬가지로, 도 13에 나타낸 바와 같은 국부적으로 인덱스 테이블을 갖는 인덱스 서버가 다른 인덱스 서버를 더 병용하도록 하는 것도 가능하다.

그런데, 개인용의 인덱스 테이블로서, 개인의 스케줄 데이터를 사용하도록 실시하는 것도 가능하다. 예컨대, 계산기로 관리하는 전자적인 스케줄 수첩에는 날짜 또는 시간 등의 단위로 개인의 스케줄이 기록되어 있다. 이 정보를 이용하여, 기입되어 있는 스케줄을 이벤트명으로 하고, 그 이벤트명이 검색요구로서 지정된 경우에는, 그것에 대응하는 스케줄의 일시를 시각정보로서 취출하고, 인덱스정보의 계산에 이용하도록 해도 좋다. 이와 같이 하면, 예컨대 「지점장 회의」라고 하는 스케줄이 스케줄 수첩에 등록되어 있으면, 「산업회관에서 열린 지점장 회의」라고 하는 검색요구에 대해, 인덱스 서버에서 찾은 산업회관의 위치정보와, 스케줄 수첩에서 찾은 지점장 회의의 시각정보를 조합시켜 인덱스정보를 계산할 수 있다. 스케줄 수첩의 데이터로부터 인덱스 테이블로 변환하는 방식으로서는, 적당한 시점에서 일괄하여 인덱스 테이블로 변환해 두도록 하는 것도 가능하고, 또 검색요구를 처리하는 시점에서 스케줄 수첩을 직접 참조하도록 할 수도 있다.

그리고, 본 실시형태의 멀티미디어 데이터 검색장치의 인덱스 처리부(11)에서 인덱스정보가 구해지면, 그 정보는 데이터 선택부(12; 도 1 참조)로 넘겨진다. 데이터 선택부(12)는, 예컨대 도 16에 나타낸 바와 같은 수순으로 동작한다.

즉, 데이터 선택부(12)는 인덱스 처리부(11)로부터 인덱스정보를 수취하면(단계 S11), 데이터 관리부(13)가 관리하는 멀티미디어 데이터 중에서 인덱스정보로 지정된 시각정보 및/또는 위치정보(시각정보만의 경우도, 위치정보만의 경우도, 시각정보 및 위치정보의 경우도 있음)에 해당하는 것을 선택하고(단계 S12), 그것을 검색결과로서 출력한다(단계 S13).

인덱스정보에 지정된 시각정보 및 위치정보에 해당하는 멀티미디어 데이터를 선택하는 경우(또는 인덱스정보에 지정된 위치정보에 해당하는 멀티미디어 데이터를 선택하는 경우), 앞에 설명한 바와 같이, 인덱스정보의 위치정보가 대표점만 지정되어 있어 반경이 지정되어 있지 않은 경우도 있다. 이러한 경우는, 미리 정해둔 거리를 반경으로 사용하도록 구성하거나, 혹은 GUI(Graphical User Interface)를 사용한 프론트엔드 프로그램을 병용하고 있을 때에는 화면에 표시할 수 있는 멀티미디어 데이터의 수에 따라 반경을 정하도록 구성할 수도 있다.

또한, 검색결과로서, 상술한 바와 같이 인덱스정보에 지정된 시각정보 또는 위치정보, 또는 시각정보 및 위치정보에 해당하는 멀티미디어 데이터만을 출력하는 방식 이외에, 인덱스정보에 지정된 시각정보 또는 위치정보에 해당하지 않지만 시각 또는 위치가 가까운 멀티미디어 데이터도 출력하도록 구성할 수도 있다. 이 방식은, 특히 GUI를 이용한 프론트엔드 프로그램을 매개로 하여 검색하는 경우에 유효하다. 즉, 예컨대 어떤 검색요구에 대해 해당하는 사진이 화면에 표시되는 경우에, 해당하고 있지 않지만 가까운 장소에서 찍은 사진이나, 가까운 시기에 찍은 사진이 있는 것을 알면 그것들도 한꺼번에 표시해 두면, 더욱이 그것을 키로 하여 검색대상을 넓히거나, 좁히거나, 변경하거나 하는 것이 용이해진다. 이때, 해당하는 사진과 해당하지 않지만 시각 또는 위치가 가까운 사진은 구별할 수 있도록 표시의 방법을 바꾸어 두면 좋다.

한편, 데이터 선택부의 처리를 고속화하기 위해서는, 시각정보나 위치정보로부터 목표로 되는 데이터를 찾기 위한 B-TREE 등의 데이터 구조를 강구하면 좋다.

또, 데이터 관리부(13)가 관리하는 멀티미디어 데이터를 그룹으로 나누어 두고, 데이터 선택부(12)에서의 멀티미디어 데이터의 선택시에, 대상으로 되는 그룹을 지정하도록 실시하는 것도 가능하다. 예컨대, 데이터 관리부(13)가 관리하는 멀티미디어 데이터에 대해, 「비밀의 사진」, 「추천의 사진」, 「실패사진」 등을 나타내는 마크를 붙여 두고, 사람에게 보여 줄 때에는 추천의 사진 마크가 붙은 데이터의 집합으로부터 검색하거나, 친한 친구에게는 비밀의 사진 마크가 붙은 사진도 한꺼번에 검색하여 보여 주거나 하는 사용방법이 가능하다.

이제까지 설명해 온 실시형태에서는, 검색요구로서 이벤트명의 조합이 지정된 경우, 인덱스 처리부(11)내의 인덱스 검색부(111)에서 시각정보와 위치정보의 조합을 계산한 결과를 인덱스정보로서 데이터 선택부(12)로 넘겨주도록 하고 있다. 다른 실시방식으로서는, 인덱스 처리부(11)에서는 개개의 이벤트의 시각정보와 위치정보를 구해 그대로 데이터 선택부(12)로 넘겨주는 방식도 가능하다. 이 경우, 복수의 이벤트의 시각정보와 위치정보로부터, 검색대상으로 되는 시각정보와 위치정보를 계산하는 것은 데이터 선택부(12)의 역할로 된다.

다음에, GUI를 사용한 프론트엔드 프로그램을 매개로 하여 이용하도록, 본 발명의 멀티미디어 데이터 검색장치를 실시하는 예를 설명한다.

도 17에 본 실시형태의 멀티미디어 데이터 검색장치가 갖는 GUI(의 화면)의 일례를 나타낸다.

도 17에 예시한 GUI에서는, 화면은 크게 3개의 영역으로 분할된다.

좌측 아래의 영역(a1)은 검색요구를 입력하는 영역으로, 도 17의 예에서는 「정월」이라고 하는 이벤트명을 지정하여 검색한 상태를 나타내고 있다.

좌측 위의 영역(a2)은, 위치표시를 위한 영역으로, 검색결과의 멀티미디어 데이터를 대응하는 위치에 표시한다. 여기서는, 검색결과의 디지털 사진을 사무넬화상(p1∼p4)으로 나타내고 있다. 위치표시의 영역에는, 지도의 데이터를 표시하여 그 위에 검색결과를 겹쳐 표시할 수도 있고, 더 간단한 약도를 사용하거나, 혹은 단순한 좌표의 눈금을 사용하여 표시할 수도 있다. 물론, 아래에 아무것도 표시하지 않고, 검색결과만을 위치관계를 반영하도록 표시할 수도 있다.

화면의 우측의 영역(a3)은, 시각표시의 영역이다. 검색된 멀티미디어 데이터를 시간축에 따라 사무넬 등으로 표시한다.

한편, GUI 화면상에는 필요에 따라 검색패턴이나 스크롤 바나 체크 박스나 옵션 버튼 등 각종의 컨트롤이 배치될 수 있지만, 그들에 대한 설명은 생략한다.

그리고, 도 17의 구체예는, 「정월」이라고 하는 이벤트명을 검색요구로 하여, 도 2에 나타낸 디지털 사진의 데이터를, 도 9의 인덱스 테이블을 사용하여 검색한 예이다. 이 결과로부터, 1970년 정월에 이세시마에 갔을 때의 사진과, 1998년 정월에 교토에 갔을 때의 사진이 있음을 알 수 있다.

더욱이, 여기서 검사결과를 예컨대 교토의 사진만으로 좁혀 들어갈 수 있다.

검색결과를 좁혀 들어가는 하나의 방법은, 도 18에 나타낸 바와 같이 위치표시영역에서 교토의 부분을 마우스의 포인터 등으로 선택하여 지정하는 방식이다. 도 18에서는, 파선의 장방형(d1)이 마우스로 선택하고 있는 영역을 나타내고 있다. 이와 같이 선택하면, 도 19에 나타낸 바와 같이 선택된 부분이 표시된다. 여기서, 시각표시의 쪽도 동기하여 교토의 사진의 부분만으로 좁혀 들어가도록 하고 있지만, 도 20에 나타낸 바와 같이 시각표시의 쪽은 변화시키지 않도록 구성할 수도 있다. 이벤트명에 따른 검색요구의 란(欄)은, 표시의 방법을 바꾸어 현재의 검색결과와 동기하고 있지 않은 것(해당 이벤트명으로 검색한 결과를 표시한 것이 아닌 것)을 나타내도록 하면, 사용자가 알기 쉬워진다.

검색결과를 좁혀 들어가는 다른 방법은, 도 21에 나타낸 바와 같이, 시각표시영역에서 교토에 간 1998년의 부분을 마우스의 포인터 등으로 선택하여 지정하는 방식이다. 도 21에서는, 파선의 장방형(d2)이 마우스로 선택하고 있는 영역을 나타내고 있다. 이와 같이 선택하면, 도 19에 나타낸 바와 같이 선택된 부분이 표시된다. 여기서, 위치표시의 쪽도 동기하여 교토의 사진의 부분만으로 좁혀 들어가도록 하고 있지만, 위치표시의 쪽은 변화하지 않도록 할 수도 있다. 이벤트명에 따른 검색요구의 란(欄)은, 표시의 방법을 바꾸어 현재의 검색결과와 동기하고 있지 않은 것을 나타내도록 하면, 사용자가 알기 쉬워진다.

검색결과를 좁혀 들어가는 더욱 다른 방법은, 도 22에 나타낸 바와 같이, 검색요구에 「교토」라고 하는 새로운 이벤트명을 추가하여 증분(incremental)에 검색을 거는 방식이다. 이와 같이 검색하면, 도 23에 나타낸 바와 같이 선택된 부분이 표시된다. 여기서, 위치표시와 시간표시도 동기하여 교토의 사진의 부분만으로 좁혀 들어가도록 하고 있지만, 위치표시나 시간표시는 변화하지 않도록 할 수도 있다. 검색요구에는 「정월」과 같은 이벤트명이 아니라 「1998년」과 같이 시각정보를 직접 지정할 수도 있다. 이 기능을 사용하면, 도 22와 마찬가지로 좁혀 들어가면, 「정월」과 「1998년」의 조합으로 실현할 수도 있다.

한편, 이들 검색결과를 좁혀 들어가는 방식과, 후술하는 근린검색(近隣檢索), 더 나아가서는 후술하는 역검색을 조합시키면, 사용자가 검색하기 쉬운 멀티미디어 데이터 검색장치를 실현할 수 있다.

그런데, 도 17∼도 23의 예에서는, 위치표시와 시각표시의 영역에 표시하는검색결과에는, 어느 쪽도 사무넬 화상을 사용함으로써 쌍방의 영역간의 대응관계를 알기 쉽도록 표시하는 예를 나타낸다. 그 외에도, 색이나 각종의 마크(예컨대, Ｏ, △, □의 마크, 혹은 스페이드, 하트, 다이아몬드, 클로우버의 마크 등)을 맞추는 방법, 선으로 연결하여 표시할 수 있도록 하는 방법, 한쪽의 영역에서 무엇인가 조작을 하면 다른 한쪽의 영역의 대응하는 것을 하이라이트 등으로 표시하는 방법 등, 각종의 방법으로 대응관계를 알기 쉽게 표시할 수 있다.

도 24는 사진을 화면상에서 보다 크게 표시하거나, 혹은 동시에 보다 많은 사진을 화면상에 표시할 수 있는 프론트엔드 프로그램의 표시화면에 의한 표시예이다. 이 예에서는, 도 17의 구체예와 동일한 검색결과를 표시하고 있지만, 위치표시영역과 시각표시영역과 검색요구영역을 작게 하여 좌측에 모으고, 우측에 사진을 표시하는 커다란 영역을 설치하고 있다. 사진과 그 위치정보와 시각정보의 대응은 기호를 사용하여 나타내고 있다. 즉, 사진의 아래에 있는 기호와 동일한 기호를, 위치표시와 시각표시의 영역이 대응하는 위치에 표시함으로써, 대응을 나타내고 있다.

다음에, 도 25는 「일본만국박람회」라고 하는 이벤트명을 검색요구로서 검색한 예이다. 이 예에서는, 1970년에 일본만국박람회에 가서 찍은 사진 외에, 돌아오는 길에 들른 오사카성의 사진도 표시하고 있다. 이와 같이, 시각 혹은 위치가 가까운 것도 한꺼번에 표시하는 근린검색기능을 갖추면, 사용자가 애매한 기억을 기초로 검색을 진행하는 경우 등에 대단히 유효하다.

또한, 검색대상에 해당하는 검색결과와, 해당하지 않지만 가까운 근린의 검색결과를 동시에 화면에 표시하는 경우, 그 차이를 표시방식의 차이로 나타낼 수도 있다. 예컨대, 근린의 것은 흐리게 표시하거나, 색을 바꾸어 표시하거나, 작게 표시하거나, 다른 마크로 표시하거나 할 수 있다.

물론, 근린검색기능을 갖춘 경우에, 그 기능을 사용할 것인가 아닌가를 사용자가 선택가능하게 하는 것도 가능하다.

한편, 이제까지 설명해 온 GUI의 프론트엔드 프로그램을 매개로 하여 검색하는 멀티미디어 데이터 검색장치(단, 이미 설명한 바와 같이, 인덱스 서버를 이용하지 않는 형태와, 이용하는 형태가 있음. 또, 멀티미디어 데이터를 자(自)장치로 관리하는 형태와, 다른 컴퓨터로 관리하는 형태가 있음. 그 밖에, 각종 변경이 있음)은, 프론트엔드 프로그램 및 멀티미디어 데이터 검색장치의 기능에 상당하는 프로그램(멀티미디어 데이터 검색프로그램이라 칭함)을 실행하는 컴퓨터상에서 GUI의 화면을 표시하는 구성이 가능하지만, 이하와 같이 구성하는 것도 가능하다.

예컨대, 도 26에 나타낸 바와 같이, 인덱스 서버를 사용하지 않는 멀티미디어 데이터 검색장치의 경우에, GUI의 화면을 표시하는 컴퓨터(클라이언트라 칭함; 301)와, 프론트엔드 프로그램(321) 및 멀티미디어 데이터 검색프로그램(322)을 실행하는 컴퓨터(멀티미디어 데이터 검색서버라 칭함; 302)를 독립시켜 구성하고, 그들을 인터넷 혹은 인트라넷 등의 네트워크(6)로 접속가능하게 하고, 클라이언트(301)상의 WEB 브라우저(311)를 매개로 하여 멀티미디어 데이터 검색서버(302)상의 프론트엔드 프로그램(321)을 조작할 수 있도록 하여 실현하도록 해도 좋다.

이렇게 한 경우, 네트워크상의 어느 컴퓨터(WEB 브라우저를 탑재한 컴퓨터)로부터라도, 프론트엔드 프로그램과, 그리고 멀티미디어 데이터 검색프로그램을 조작할 수 있게 된다.

도 27에 나타낸 바와 같이, 하나 또는 복수의 인덱스 서버(3)를 이용하는 멀티미디어 데이터 검색장치의 경우도 마찬가지이다.

또한, 도 26이나 도 27에 있어서, 멀티미디어 데이터를 네트워크(6)로 접속된 다른 컴퓨터(멀티미디어 데이터 관리서버라 칭함)로 관리하는 것도 가능하다.

계속해서, 본 발명의 다른 실시형태에 대해 설명한다. 이제부터 설명하는 실시형태는, 상기의 실시형태의 멀티미디어 데이터 검색장치의 기능에 더하여, 특정의 멀티미디어 데이터를 지정하여 그에 대응하는 하나 혹은 복수의 이벤트명을 검색하는 역검색기능을 갖춘 것이다. 이 역검색기능을 사용함으로써, 특정의 사진에 무엇이 찍혀 있는가를 알기 위한 정보를 얻을 수 있다. 또, 그렇게 하여 검색한 이벤트명을 사용하여 재차 검색을 걺으로써, 어떤 사진에 관련한 사진을 검색하는 것과 같은 이용법도 가능하다.

이하에서는, 이제까지 설명한 실시형태에 부가되는 부분을 중심으로 설명한다.

역검색기능은, 이벤트명으로부터 그 이벤트에 관한 시각정보와 위치정보를 찾기 위한 인덱스 테이블을 역으로 찾음으로써 실현할 수 있다. 즉, 인덱스 테이블은 통상 이벤트명을 키로 하여 찾지만, 역검색의 경우는 지정된 시각정보와 위치정보의 양쪽 혹은 한쪽을 포함하는 이벤트(혹은, 그것에 더하여 지정에는 해당하지않지만 가까운 시각 또는 위치를 포함하는 이벤트)를 검색한다.

도 28에 역검색기능을 갖는 멀티미디어 데이터 검색장치의 구성을 나타낸다. 이 구성은, 도 1 및 도 8에 나타낸 인덱스 테이블을 국부적으로 갖추고 있는 멀티미디어 데이터 검색장치에, 역검색요구기능을 갖게 한 경우의 실시형태이다.

사용자의 역검색요구는, 역검색부(14)에 입력되고, 역검색부(14)는 데이터 관리부(13)가 관리하는 멀티미디어 데이터와 인덱스 처리부(11)가 갖춘 인덱스 테이블(111)을 이용하여 역검색을 행하고, 그 결과를 출력한다.

도 29에 역검색부(14)의 동작의 흐름의 일례를 나타낸다.

역검색부(14)는, 먼저 사용자로부터의 역검색요구를 수취한다(단계 S21). 사용자는, 이벤트명의 역검색을 행하고자 하는 디지털 사진 등의 멀티미디어 데이터를 지정하여 역검색을 요구한다. 이때, 멀티미디어 데이터의 지정 방법은, 데이터 관리부(13)가 관리하는 멀티미디어 데이터를 일의(一意)로 식별할 수 있는 이름을 사용할 수 있다. GUI를 사용한 프론트엔드 프로그램을 매개로 하여 역검색을 지시하는 경우에는, 화면상에 표시되어 있는 사진을 지정하면 그것을 일의로 식별하는 이름을 사용하여 역검색요구가 발행되도록 하면, 사용자가 사용하기 쉬워진다.

역검색요구을 수취한 역검색부(14)는, 그 검색요구 중에서 예컨대 역검색을 하고자 하는 멀티미디어 데이터를 지정하는 식별자 등의 검색대상의 지정을 취출한다(단계 S22).

다음에, 데이터 관리부(13)에 관리되어 있는 검색대상의 멀티미디어 데이터가 갖는 시각정보와 위치정보를 취출한다(단계 S23). 이렇게 하여 취출한 검색대상의 시각정보와 위치정보를 포함하는 시각정보와 위치정보를 갖는 이벤트를, 인덱스 테이블(112)내에서 검색한다(단계 S24).

또한, 이 검색의 방법에는, 지정된 멀티미디어 데이터가 갖는 시각정보와 위치정보의 양쪽에 해당하는 이벤트를 검색하는 방법, 이에 더하여 시각정보 또는 위치정보의 한쪽을 갖는 이벤트로서 지정의 시각정보 또는 위치정보에 해당하는 이벤트를 검색하는 방법, 지정의 시각정보와 위치정보의 적어도 한쪽에 해당하는 것을 갖는 이벤트를 검색하는 방법, 그들의 어느 것인가에 더하여 시각정보와 위치정보의 적어도 한쪽이 지정에는 해당하지 않지만 가까운 값을 갖는 이벤트를 검색하는 방법 등, 여러 가지의 방법이 있다.

이때 검색되는 이벤트는 1개로는 한정되지 않고, 복수 존재하는 경우도 있다.

이렇게 하여 검색한 1개 혹은 복수의 이벤트명을 역검색결과로서 돌려 보낸다(단계 S25). 여기서, 역검색의 결과로서 복수의 이벤트명이 있는 경우, 예컨대 검색대상을 포함하는 이벤트나, 시각적 혹은 위치적으로 보다 가까운 이벤트를 보다 우선도가 높은 것으로 간주하고, 우선도가 높은 것으로부터 순서대로 변경하여 검색결과로 하면, 검색결과를 보다 유효하게 이용할 수 있다. 또, 검색결과의 각 이벤트명에 우선도의 높이를 나타내는 스코어를 붙여 돌려 보내도록 할 수도 있다.

물론, 이러한 역검색기능은, 도 11에 나타낸 바와 같은 인덱스 서버를 호출하는 멀티미디어 데이터 검색장치에도 적용할 수 있다.

도 30에 인덱스 서버를 사용한 역검색기능을 갖는 멀티미디어 데이터 검색장치의 구성례를 나타낸다.

이 예에서는, 역검색부(14)는 역검색요구 송신부(143)와 역검색결과 수신부(144)로 구성된다. 사용자로부터의 역검색요구는 역검색요구 송신부(143)로 입력된다. 역검색요구 송신부(143)는, 먼저 사용자의 역검색요구에 지정된 검색대상의 멀티미디어 데이터를 취출하고, 지정된 검색대상의 멀티미디어 데이터가 갖고 있는 시각정보와 위치정보를 데이터 관리부(13)로부터 얻는다. 이렇게 하여 얻은 검색대상의 시각정보와 위치정보를 역검색기능을 갖는 인덱스 서버(3)로의 역검색요구로서 네트워크(6)를 매개로 하여 송신한다. 인덱스 서버(3)에서 실행된 역검색의 결과는, 네트워크(6)를 매개로 하여 송신한다. 인덱스 서버(3)에서 실행된 역검색의 결과는, 네트워크(6)를 매개로 하여 역검색결과 수신부(144)가 수취하고, 그것을 역검색결과로서 출력한다.

도 31에 역검색기능을 갖는 인덱스 서버(3)의 구성례를 나타낸다.

이 예에서는, 인덱스 서버(3)에 대한 검색요구는, 검색요구 수신부(33)가 수취하고, 통상의 검색요구이면 인덱스 검색부(31)로, 역검색요구이면 역검색부(34)로 검색요구를 넘겨준다.

인덱스 검색부(31)의 동작은 도 13의 인덱스 서버와 마찬가지이다.

역검색부(34)는, 인덱스 검색부(31)와 공유하고 있는 인덱스 테이블(32)을 참조하여, 전술한 바와 같이 역검색요구에 지정되어 있는 검색대상의 위치정보와 시각정보를 포함하는 위치정보와 시각정보를 갖는 이벤트, 혹은 검색대상의 위치정보와 시각정보에 가까운 위치정보와 시각정보를 갖는 이벤트를, 인덱스 테이블(32)내에서 검색한다. 그렇게 하여 검색한 1개 혹은 복수의 이벤트명을 검색결과로서 검색결과 송신부(35)로 넘겨준다.

검색결과 송신부(35)는 인덱스 검색부(31) 혹은 역검색부(34)로부터 넘겨받은 검색결과를 검색요구를 낸 멀티미디어 데이터 검색장치(1)로 돌려 보낸다.

도 32에는 GUI를 갖는 프론트엔드 프로그램을 매개로 하여 이용하도록, 역검색기능을 갖는 멀티미디어 데이터 검색장치를 실시한 경우의, GUI의 화면의 예를 나타낸다. 도 32의 예는, 도 24의 예와 마찬가지로 「정월」이라고 하는 이벤트명으로 디지털 사진의 데이터를 검색한 경우의 화면이다. 여기서 도 24와 다르게 우측의 사진표시영역의 각 사진의 아래에 그 사진이 찍혀 있다고 생각되는 이벤트명이 표시되어 있다. 이 이벤트명은, 각각의 사진의 데이터에 대해 역검색을 행하고, 그 결과 검색된 이벤트명 중에서 가장 우선도가 높은 것을 1개 표시하도록 하고 있다.

역검색의 결과의 표시법에는 각종의 방식을 이용할 수 있다. 예컨대, 1개의 사진에 대해 복수의 이벤트명이 검색된 경우에는, 우선도가 상위로부터 정해진 개수의 이벤트명을 표시하거나, 혹은 표시는 우선도가 높은 것 1개였지만 외에도 검색된 이벤트명이 있음을 알 수 있도록 표시하고, 예컨대 아이콘의 클릭 등의 조작으로 다른 이벤트명도 볼 수 있도록 할 수 있다. 또, 역검색으로 검색된 이벤트명을 위치표시영역의 지도의 대응하는 위치에 표시하도록 할 수도 있다.

여기서 설명한 역검색기능을 갖는 멀티미디어 데이터 검색장치에 있어서도,앞에 설명한 멀티미디어 데이터 검색장치의 경우와 마찬가지로, 복수의 인덱스 테이블을 갖추도록 실시하거나, 국부적으로 갖는 인덱스 테이블과 원거리의 인덱스 서버를 병용하도록 실시하거나 할 수 있음은 당업자에게는 자명하다. 또, GUI의 프론트엔드 프로그램을 매개로 하여 검색하는 경우에 있어서, GUI의 화면을 표시하는 컴퓨터를 독립시켜 구성함으로써, 네트워크상의 어느 WEB 브라우저를 탑재한 컴퓨터로부터라도 프론트엔드 프로그램과, 그리고 멀티미디어 데이터 검색프로그램을 조작가능하게 할 수 있는 점도 마찬가지이다. 그 외, 앞에 설명한 멀티미디어 데이터 검색장치에서의 여러 가지의 구성례, 변경은 여기서도 적용가능하다.

또한, 본 실시형태의 멀티미디어 데이터 검색장치의 검색대상으로 하는 데이터는, 이제까지의 실시형태에서 설명한 바와 같은 디지털 카메라나 스캐너 등의 정지화상이나, 디지털 비디오 카메라나 디지털 방송 등의 동화상에 한정되는 것이 아니다. 관리해야 할 데이터에 대해, 시간정보 및 위치정보의 어느 하나 혹은 양쪽을 관계지어 관리하고 있으면, 어떠한 데이터라도 상관없다. 예컨대, 관광지, 축제, 콘서트, 박람회, 스포츠대회 등의 여러 가지의 이벤트에 관하여, 그들에 관해 기술한 문서, 그들에 관한 정보를 갖는 WEB 페이지로의 링크, 그들을 설명하고 있는 백과사전의 항목으로의 링크, 그들의 티켓이나 기록을 판매하는 온라인 숍으로의 링크 등도 마찬가지로 관리하여 검색할 수 있다.

또, 본 실시형태에 있어서, 이벤트의 시각정보나, 멀티미디어 데이터에 관련지어진 시각정보는 시차를 고려하여 취급하도록 하면 바람직하다. 또, 이벤트명을 복수의 언어(예컨대, 일본어, 영어, 프랑스어, 스페인어, 이탈리아어, 중국어, 러시아어 등 )로 등록해 두고, 다른 언어로도 검색할 수 있도록 해 두면 바람직하다.

또한, 이상의 각 기능은 소프트웨어로도 실현가능하다.

또, 본 실시형태는 컴퓨터에 소정의 수단을 실행시키기 위한(혹은 컴퓨터를 소정의 수단으로서 기능시키기 위한, 혹은 컴퓨터에 소정의 기능을 실현시키기 위한) 프로그램을 기록한 컴퓨터 독출가능한 기록매체로서도 실시할 수도 있다.

본 발명은, 상술한 실시형태에 한정되는 것이 아니라 그 기술적 범위에 있어서 여러 가지로 변형하여 실시할 수 있다.

본 발명에서는, 시각정보나 위치정보를 이용하여 멀티미디어 데이터를 관리하고, 하나 또는 복수의 이벤트명을 사용하여 지정된 검색요구를 수취한 경우에는 인덱스 테이블이나 인덱스 서버에 의해 그 이벤트명에 기초하여 구한 그 검색요구에 대응하는 시각정보나 위치정보를 이용하여 멀티미디어 데이터를 검색하므로, 관리하고자 하는 멀티미디어 데이터를 디렉토리나 폴더로 분류하거나 검색용의 키워드를 붙이는 것과 같은 번잡한 작업이 불필요하게 되고, 사용자가 직감적으로 알기 쉬운 이벤트명 및 그 조합에 의해 소망하는 멀티미디어 데이터를 검색하는 것이 가능하게 된다.

Claims

복수의 멀티미디어 데이터의 각각을 그 멀티미디어 데이터의 발생과의 관계를 가지고 자동적으로 작성된 시각정보 및 위치정보와 관련지어 관리하고,

이벤트명을 이용하여 지정된 검색요구를 수취한 경우, 그 검색요구에 대응하는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 구하며,

관리되고 있는 상기 복수의 멀티미디어 데이터를 구해진 상기 시각정보 또는 위치정보, 또는 시각정보 및 위치정보에 기초하여 검색하는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
제1항에 있어서, 복수의 이벤트명과, 각 이벤트명에 관련지어진 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 포함하는 인덱스 테이블을 참조함으로써, 상기 검색요구에 대응하는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 구하는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
제1항에 있어서, 이벤트명에 대응하는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 구하는 인덱스 서버에 대해, 상기 검색요구를 송신함으로써, 그 인덱스 서버로부터 상기 검색요구에 대응하는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 얻는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
제2항에 있어서, 스케줄 데이터에 포함된 스케줄의 내용을 나타내는 명칭정보를 상기 이벤트명으로 하고, 스케줄의 일시를 상기 시각정보로 하며, 스케줄의 장소를 상기 위치정보로 하여, 스케줄 데이터를 상기 인덱스 테이블로서 이용하는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 관리되고 있는 상기 복수의 멀티미디어 데이터 중의 어떤 멀티미디어 데이터에 대한 지정을 수취한 경우, 그 지정된 멀티미디어 데이터에 관련지어져 있는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 구하는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
복수의 멀티미디어 데이터의 각각을 그 멀티미디어 데이터의 발생과의 관계를 가지고 자동적으로 작성된 시각정보 및 위치정보와 관련지어 관리하는 수단과,

이벤트명을 이용하여 지정된 검색요구를 수취한 경우, 그 검색요구에 대응하는 시각정보 또는 위치정보, 또는 시각정보 및 위치정보를 구하는 수단 및,

관리되고 있는 상기 복수의 멀티미디어 데이터를 구해진 상기 시각정보 또는 위치정보, 또는 시각정보 및 위치정보에 기초하여 검색하는 수단을 구비한 것을 특징으로 하는 멀티미디어 데이터 검색장치.
요구원(要求元)으로부터 네트워크를 매개로 이벤트명을 이용하여 지정된 검색요구를 수취하고,

복수의 이벤트명과, 각 이벤트명에 관련지어진 시각정보와 위치정보의 양쪽 또는 한쪽을 포함하는 인덱스 테이블을 참조함으로써, 상기 검색요구에 이용된 상기 이벤트명에 기초하여 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 구하며,

구해진 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 네트워크를 매개로 하여 상기 요구원에 제공하는 것을 특징으로 하는 인덱스정보 제공방법.
제7항에 있어서, 상기 인덱스 테이블로서, 적어도 커스터마이즈(customize)된 복수의 제1의 인덱스 테이블 부분과, 공용을 위한 제2의 인덱스 테이블 부분을 포함하고,

상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 구할 때에, 참조해야 할 인덱스 테이블로서 적어도 상기 요구원에 대응하는 상기 제1의 인덱스 테이블 부분 및 상기 제2의 인덱스 테이블 부분을 이용하는 것을 특징으로 하는 인덱스정보 제공방법.
제7항 또는 제8항에 있어서, 스케줄 데이터에 포함된 스케줄의 내용을 나타내는 명칭정보를 상기 이벤트명으로 하고, 스케줄의 일시와 장소의 양쪽 또는 한쪽을 상기 시각정보와 위치정보의 양쪽 또는 한쪽으로 하여, 스케줄 데이터를 상기 인덱스 테이블로서 이용하는 것을 특징으로 하는 인덱스정보 제공방법.
요구원으로부터 네트워크를 매개로 이벤트명을 이용하여 지정된 검색요구를 수취하는 수단과,

복수의 이벤트명과, 각 이벤트명에 관련지어진 시각정보와 위치정보의 양쪽 또는 한쪽을 포함하는 인덱스 테이블을 참조함으로써, 상기 검색요구에 이용된 상기 이벤트명에 기초하여 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 구하는 수단 및,

구해진 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 네트워크를 매개로 하여 상기 요구원에 제공하는 수단을 구비한 것을 특징으로 하는 인덱스 서버.
복수의 멀티미디어 데이터의 각각을 그 멀티미디어 데이터의 발생과의 관계를 가지고 자동적으로 작성된 시각정보와 위치정보의 양쪽 또는 한쪽과 관련지어 관리하고,

요구원으로부터 네트워크를 매개로 이벤트명을 이용하여 지정된 검색요구를 수취하며,

수취한 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 구하고,

관리되고 있는 상기 복수의 멀티미디어 데이터를 구해진 상기 시각정보와 위치정보의 양쪽 또는 한쪽에 기초하여 검색하며,

이 검색결과를 네트워크를 매개로 하여 상기 요구원에 제공하는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
제11항에 있어서, 복수의 이벤트명과, 각 이벤트명에 관련지어진 시각정보와 위치정보의 양쪽 또는 한쪽을 포함하는 인덱스 테이블을 참조함으로써, 상기 검색요구에 이용된 상기 이벤트명에 기초하여 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을 구하는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
제11항 또는 제12항에 있어서, 관리되고 있는 상기 복수의 멀티미디어 데이터 중의 어떤 멀티미디어 데이터에 대한 지정을 수취한 경우, 그 지정된 멀티미디어 데이터에 관련지어져 있는 시각정보와 위치정보의 양쪽 또는 한쪽을 구하는 것을 특징으로 하는 멀티미디어 데이터 검색방법.
복수의 멀티미디어 데이터의 각각을 그 멀티미디어 데이터의 발생과의 관계를 가지고 자동적으로 작성된 시각정보와 위치정보의 양쪽 또는 한쪽과 관련지어 관리하는 수단과,

요구원으로부터 네트워크를 매개로 이벤트명을 이용하여 지정된 검색요구를 수취하는 수단,

수취한 상기 검색요구에 대응하는 시각정보와 위치정보의 양쪽 또는 한쪽을구하는 수단,

관리되고 있는 상기 복수의 멀티미디어 데이터를 구해진 상기 시각정보와 위치정보의 양쪽 또는 한쪽에 기초하여 검색하는 수단 및,

이 검색결과를 네트워크를 매개로 하여 상기 요구원에 제공하는 수단을 구비한 것을 특징으로 하는 멀티미디어 데이터 검색서버.