KR20070096890A - 정보 처리 장치, 정보 처리 방법 및 프로그램 제품 - Google Patents

Abstract

정보 처리 장치는, 서로 관련된 복수개의 화상 중 소정의 화상의 특징을 추출하는 특징 추출 수단과, 추출된 상기 특징에 기초하여, 상기 소정의 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면(face)의 화상인지를 판정하는 화상 판정 수단과, 상기 소정의 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에, 상기 문자열의 문자열 데이터인 제1 메타데이터(metadata)를 부가하는 메타데이터 부가 수단을 포함한다.

메타데이터, 문자열, 데이터베이스, 공통 메타데이터 수 판정 수단, 그룹화 수단

Description

정보 처리 장치, 정보 처리 방법 및 프로그램 제품{INFORMATION PROCESSING APPARATUS, METHOD, AND PROGRAM PRODUCT}

도 1은 본 발명의 일실시예에 따른 HDD 레코더의 예를 나타낸 블록도이다.

도 2는 HDD 레코더의 제어부의 구성의 예를 나타낸 블록도이다.

도 3은 화상의 클러스터의 예를 나타낸 도면이다.

도 4는 화상의 클러스터에 대해 추가로 클러스터링을 행하는 일례를 나타낸 도면이다.

도 5는 메타데이터를 부가하는 처리의 예를 설명하는 플로차트이다.

도 6은 스크랩북의 작성 처리의 예를 설명하는 플로차트이다.

도 7은 배경 템플릿의 예를 나타낸 도면이다.

도 8은 배치 템플릿의 예를 나타낸 도면이다.

도 9는 스크랩북의 소정의 페이지의 구성의 예를 나타낸 도면이다.

도 10은 스크랩북의 구성의 예를 나타낸 도면이다.

도 11은 스크랩북의 자동 생성 처리의 예를 설명하는 플로차트이다.

도 12는 스크랩북에 화상을 추가하는 처리의 예를 설명하는 플로차트이다.

도 13은 메타데이터를 부가하는 처리의 다른 예를 설명하는 플로차트이다.

도 14는 스크랩북의 표시 처리의 예를 설명하는 플로차트이다.

도 15는 스크랩북의 일람(table)의 표시의 예를 나타낸 도면이다.

도 16은 스크랩북의 일람의 표시의 다른 예를 나타낸 도면이다.

도 17은 스크랩북의 일람의 표시의 또 다른 예를 나타낸 도면이다.

도 18은 퍼스널 컴퓨터의 구성의 예를 나타낸 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

1 : HDD 레코더

2 : 모니터

18 : 기록/재생 유닛

19 : 조작 유닛

20 : 제어 유닛

31 : 화상 DB

32 : 템플릿 DB

33 : 컨텐츠 DB

34 : 사전 DB

51 : 선택 유닛

52 : 기록/재생 제어 유닛

54 : 특징 추출 유닛

55 : 화상 판정 유닛

56 : 메타데이터 부가 유닛

57 : 메타데이터 추출 유닛

58 : 컨텐츠 작성 유닛

59 : 공통 메타데이터 수 판정 유닛

60 : 동의어 취득 유닛

71 : 문자 인식 유닛

72 : 연산 유닛

73 : 템플릿 설정 유닛

본 발명은 정보 처리 장치, 정보 처리 방법 및 프로그램 제품에 관한 것으로, 특히 메타데이터에 따라 컨텐츠를 분류하여 새로운 컨텐츠를 작성할 수 있도록 하는 정보 처리 장치, 정보 처리 방법 및 프로그램 제품에 관한 것이다.

본 출원은 2006년 3월 27일자로 일본 특허청에 출원된 일본 특허 출원 번호 2006-086130호에 대해 U.S.C. §119 하에 우선권을 주장하며, 상기 특허 출원의 전체 내용은 본 명세서에 참고자료로 통합되어 있다.

종래, HDD(Hard Disk Drive) 레코더나 퍼스널 컴퓨터 등의 기기는 컨텐츠에 부가된 메타데이터를 이용하여 컨텐츠의 검색을 행할 수 있다. 그러나, 이 경우, 사용자는 능동적으로 어느 메타데이터로 검색하고 싶은가를 기기에 대해서 알려줄 필요가 있다. 또한, 사용자는 검색된 결과가 표시된 리스트 중에서 최종적으로 하나의 컨텐츠를 선택하여야 한다.

종래의 필름 카메라로 촬영된 사진을 앨범에 보존하는 경우, 예를 들어, 이벤트, 촬영된 장소 혹은 일자별로 구분하여 앨범을 나누거나 페이지를 나누어 사진을 보존할 수 있다. 또한, 촬영된 사진에 관련된 영수증, 팜플렛, 티켓 등도 함께 보존할 수 있다. 이로써, 세월이 지난 후 사진을 찾을 때, 분류된 앨범이나 페이지로부터 일자 또는 이벤트명을 키(key)로 하여 용이하게 찾을 수 있다.

또한, 사진 촬영된 필름 화상을 전자 화상으로 변환하고, 이것에 촬영 일자나 장소 등의 부가 정보를 추가하여 전자 데이터로서 보존 관리하고, 화상이 기록된 사진 필름을 전자 데이터와 관련지어 보관하도록 한 것도 있다(예를 들어, 일본 특허 공개 평10-143631호 공보 참조).

그러나, 종래 기술의 HDD 레코더 또는 퍼스널 컴퓨터에서는 사진이나 동영상 등의 컨텐츠를 종래의 필름 카메라로 촬영된 사진의 앨범과 같이 영수증, 팜플렛 또는 티켓 등에 관련시켜 보존할 수 없다.

본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 예를 들어, 영수증, 팜플렛, 티켓 등으로부터 생성된 메타데이터에 기초하여 컨텐츠를 분류할 수 있도록 한다.

본 발명의 실시예에 따른 정보 처리 장치는 서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 특징 추출 수단과, 추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지 여부를 판정하는 화상 판정 수단과, 상기 지정된 화상이 문자열이 기록되 어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는 메타데이터 부가 수단을 구비한다.

상기 특징 추출 수단은 상기 지정된 화상에 나타나 있는 문자열인 상기 특징을 추출할 수 있다.

상기 특징 추출 수단은 상기 지정된 화상의 상기 특징을 추출하고, 상기 지정된 화상에 나타나 있는 문자열을 인식할 수 있다.

상기 정보 처리 장치는 서로 관련된 상기 복수개의 화상에 부가되어 있는 제2 메타데이터를 추출하는 메타데이터 추출 수단과, 추출된 상기 제2 메타데이터에 기초하여 상기 복수개의 화상을 그룹으로 나누는 그룹화 수단(grouping means)을 더 포함하는 것이 가능하다.

상기 정보 처리 장치는 서로 관련된 상기 복수개의 화상에 부가되어 있는 제2 메타데이터를 추출하는 메타데이터 추출 수단과, 추출된 상기 제2 메타데이터에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치되는 컨텐츠를 작성하는 작성 수단을 더 포함하는 것이 가능하다.

상기 작성 수단은, 상기 컨텐츠를 표시할 때에, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 따라, 상기 복수개의 화상의 배경으로 되는 배경 화상과, 상기 컨텐츠에서의 상기 복수개의 화상의 배치를 설정할 수 있다.

상기 정보 처리 장치는, 상기 제1 메타데이터와 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인지를 판정하는 공통 메타데이터 수 판정 수단을 더 포함하며, 상기 작성 수단은 상기 제1 메타데이터와 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치된 컨텐츠를 작성할 수 있다.

상기 정보 처리 장치는, 상기 제1 메타데이터 또는 상기 제2 메타데이터가 단어로서 부가되어 있는 화상마다에 대해 상기 제1 메타데이터 또는 상기 제2 메타데이터의 동의어(synonym)를 취득하는 동의어 취득 수단과, 상기 제1 메타데이터와 상기 제2 메타데이터 중에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인지의 여부를 판정하는 공통 메타데이터 수 판정 수단을 더 포함하며, 상기 작성 수단은, 상기 제1 메타데이터와 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 상기 제1 메타데이터, 또는 상기 제2 메타데이터 또는 각각의 화상의 상기 동의어에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치된 컨텐츠를 작성할 수 있다.

상기 정보 처리 장치는 상기 컨텐츠의 표시를 제어하는 표시 제어 유닛을 더 포함하는 것이 가능하다.

본 발명의 실시예에 따른 정보 처리 방법은, 서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 단계와, 추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지를 판정하는 단계와, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는 단계를 포함한다.

본 발명의 실시예에 따른 프로그램 제품은, 컴퓨터에 의해 실행될 시에, 컴퓨터로 하여금, 서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 과정과, 추출된 상기 특징에 기초하여 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지를 판정하는 과정과, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는 과정을 수행하도록 하는 컴퓨터 실행 가능한 명령을 포함한다.

본 발명의 실시예에 의하면, 서로 관련된 복수개의 화상 중 지정된 화상의 특징이 추출되고, 추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지의 여부가 판정되며, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에 상기 문자열의 문자열 데이터인 제1 메타데이터가 부가된다.

본 발명의 실시예에 의하면, 전술한 바와 같이 컨텐츠가 작성될 수 있다. 또한, 본 발명의 실시예에 의하면, 예컨대 영수증, 팜플렛, 티켓 등에 의해 생성된 메타데이터에 기초하여 컨텐츠가 그룹으로 나누어질 수 있다.

이하에서는, 본 발명의 실시예를 설명하며, 본 발명의 구성 요건과 명세서 또는 도면에 개시된 실시예와의 대응 관계를 예시하면 다음과 같이 된다. 본 설명은 본 발명을 구현하는 실시예가 명세서 또는 도면에 기재되어 있다는 것을 확인하기 위한 것이다. 따라서, 명세서 또는 도면 중에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시예로서 개시되어 있지 않은 실시예가 있다고 해도, 그것은 그 실시예가 그 구성 요건에 대응하지 않는다는 것을 의미하는 것은 아니다. 반대로, 실시예가 구성 요건에 대응하는 실시예인 것으로 기재되어 있다고 해도, 그것은 그 실시예가 그 구성 요건 이외의 다른 구성 요건에는 대응하지 않는다는 것을 의미하는 것도 아니다.

본 발명의 실시예에 따른 정보 처리 장치는, 서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 특징 추출 수단(예를 들어, 도 2의 특징 추출 유닛(54))과, 추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지의 여부를 판정하는 화상 판정 수단(예를 들어, 도 2의 화상 판정 유닛(55))과, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는 메타데이터 부가 수단(예를 들어, 도 2의 메타데이터 부가 유닛(56))을 포함한다.

상기 특징 추출 수단은 상기 지정된 화상에 나타나 있는 문자열인 상기 특징 을 추출할 수 있다(예를 들어, 도 5의 단계 S13).

상기 특징 추출 수단은 상기 지정된 화상의 상기 특징을 추출하고, 상기 지정된 화상에 나타나 있는 문자열을 인식할 수 있다(예를 들어, 도 5의 단계 S14).

상기 정보 처리 장치는, 서로 관련된 상기 복수개의 화상에 부가되어 있는 제2 메타데이터를 추출하는 메타데이터 추출 수단(예를 들어, 도 2의 메타데이터 추출 유닛(57))과, 추출된 상기 제2 메타데이터에 기초하여 상기 복수개의 화상을 그룹으로 나누는 그룹화 수단(예를 들어, 도 2의 연산 유닛(72))을 더 포함한다.

상기 정보 처리 장치는, 추출된 상기 제2 메타데이터에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치되는 컨텐츠를 작성하는 작성 수단(예를 들어, 도 2의 컨텐츠 작성 수단(58))을 더 포함한다.

상기 작성 수단은, 상기 컨텐츠를 표시할 때에, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 따라, 상기 복수개의 화상의 배경으로 되는 배경 화상과 상기 컨텐츠에서의 상기 복수개의 화상의 배치를 설정할 수 있다(예를 들어, 도 6의 단계 S36 및 단계 S39).

상기 정보 처리 장치는, 상기 제1 메타데이터와 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인지의 여부를 판정하는 공통 메타데이터 수 판정 수단(예를 들어, 도 2의 공통 메타데이터 수 판정 유닛(59))을 더 포함하며, 상기 작성 수단은, 상기 제1 메타데이터와 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 기초 하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치되는 컨텐츠를 작성할 수 있다(예를 들어, 도 11의 단계 S64 내지 S70).

상기 정보 처리 장치는, 상기 제1 메타데이터 또는 상기 제2 메타데이터가 단어로서 부가되어 있는 화상마다에 대하여 상기 제1 메타데이터 또는 상기 제2 메타데이터의 동의어를 취득하는 동의어 취득 수단(예를 들어, 도 2의 동의어 취득 유닛(60))을 더 포함한다.

상기 정보 처리 장치는 상기 컨텐츠의 표시를 제어하는 표시 제어 수단(예를 들어, 도 2의 표시 제어 유닛(53))을 더 포함한다.

본 발명의 실시예에 따른 정보 처리 방법은, 서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 단계(예를 들어, 도 5의 단계 S12 및 단계 S13)와, 추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지의 여부를 판정하는 단계(예를 들어, 도 5의 단계 S15)와, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는 단계(예를 들어, 도 5의 단계 S18)를 포함한다.

본 발명의 실시예에 따른 프로그램은, 서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 단계(예를 들어, 도 5의 단계 S12 및 단계 S13)와, 추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지의 여부를 판정하는 단계(예를 들어, 도 5의 단계 S15)와, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는 단계(예를 들어, 도 5의 단계 S18)를 포함한다.

도 1은 본 발명의 실시예에 따른 HDD 레코더의 구성의 예를 나타낸 블록도이다.

도 1의 HDD 레코더는 도시하지 않은 외부 장치로부터 공급되는 AV(Audio Video) 신호, 또는 도시하지 않은 아날로그 튜너 또는 도시하지 않은 라인 튜너로부터 공급되는 아날로그 신호로서 입력되는 영상 신호 및 음성 신호를 기록 및 재생한다. HDD 레코더(1)는 재생된 영상 신호를 외부에 접속되어 있는 모니터(2)에 출력한다. 또, HDD 레코더(1)는 재생된 음성 신호를 외부에 접속되어 있는 스피커(3)에 출력한다.

AV 신호를 공급하는 외부 장치는 예를 들어 i.LINK(Sony Corporation의 등록 상표)를 통하여 접속되는 외부 장치, 디지털 BS(Broadcasting Satellite) 튜너, 디지털 CS(Communications Satellite) 튜너, 디지털 비디오 카메라, 디지털 스틸 카메라, 또는 스캐너 등이다.

HDD 레코더(1)에는 필요에 따라 드라이브(4)가 접속된다. 드라이브(4)에는, 자기 디스크(플렉서블 디스크를 포함함), 광디스크(CD-ROM(Compact Disc-Read Only Memory) 및 DVD(Digital Versatile Disc)를 포함함), 광자기 디스크, 또는 반도체 메모리 등의 이동 가능 매체(5)가 필요에 따라 장착되어, 데이터의 수수를 수행하 도록 되어 있다

도 1의 HDD 레코더(1)는 코덱(11), 샘플링 레이트 변환기(12), 아날로그 입력 처리 유닛(13), A/D 변환기(14), 전환 유닛(15), NTSC(National Television System Committee) 디코더(16), 인코더(17), 기록/재생 유닛(18), 조작 유닛(19), 제어 유닛(20), 디코더(21), NTSC 인코더(22), 및 D/A 변환기(23)로 구성된다.

코덱(11)은 도시하지 않은 외부 장치로부터 공급되는 AV 신호 중 디지털 비디오 신호를 신장하여 NTSC 디코더(16)에 공급한다.

샘플링 레이트 변환기(12)는 도시하지 않은 외부 장치로부터 공급되는 AV 신호 중 디지털 오디오 신호의 샘플링 레이트를 상이한 샘플링 레이트로 변환한다. 샘플링 레이트 변환기(12)는 변환된 디지털 오디오 신호를 전환 유닛(15)에 공급한다.

아날로그 입력 처리 유닛(13)은 제어 유닛(20)으로부터 공급되고 조작 유닛(19)에서의 사용자로부터의 조작을 나타내는 신호에 따라 도시하지 않은 아날로그 튜너 또는 도시하지 않은 라인 튜너로부터 공급되는 아날로그 신호 중 한쪽을 선택한다. 아날로그 입력 처리 유닛(13)은 선택된 아날로그 신호 중 아날로그 비디오 신호를 NTSC 디코더(16)에 공급한다. 또한, 아날로그 입력 처리 유닛(13)은 선택된 아날로그 신호 중 아날로그 오디오 신호를 A/D 변환기(14)에 공급한다.

A/D 변환기(14)는 아날로그 입력 처리 유닛(13)으로부터 공급된 아날로그 오디오 신호를 A/D 변환한다. A/D 변환기(14)는 A/D 변환된 결과인 디지털 오디오 신호를 전환 유닛(15)에 공급한다.

전환 유닛(15)은, 제어 유닛(20)으로부터 공급되는 조작 유닛(19)에서의 사용자로부터의 조작을 나타내는 신호에 기초하여, 샘플링 레이터 변환기(12)로부터 공급된 디지털 오디오 신호 또는 A/D 변환기(14)로부터 공급된 디지털 오디오 신호 중 한쪽을 선택한다. 전환 유닛(15)은 선택된 디지털 오디오 신호를 NTSC 디코더(16)에 공급한다.

NTSC 디코더(16)는 코덱(11)으로부터 공급된 디지털 비디오 신호 또는 아날로그 입력 처리 유닛(13)으로부터 입력된 아날로그 비디오 신호를 NTSC 방식의 디지털 비디오 신호로 변환한다. NTSC 디코더(16)는 변환된 NTSC 방식의 디지털 비디오 신호와, 전환 유닛(15)으로부터 공급된 디지털 오디오 신호를 합성한다.

HDD 레코더(1)에 입력되는 영상 신호 및 음성 신호를 기록하는 경우에는, NTSC 디코더(16)는 합성된 신호인 디지털 AV 신호를 인코더(17)에 공급한다. 한편, HDD 레코더(1)에 입력되는 영상 신호 및 음성 신호를 기록하지 않고 그대로 재생하는 경우에는, NTSC 디코더(16)는 합성된 신호인 디지털 AV 신호를 후술하는 NTSC 인코더(22) 및 D/A 변환기(23)에 공급한다.

인코더(17)는 NTSC 디코더(16)로부터 공급된 디지털 AV 신호에 대해서 예를 들어 MPEG(Moving Picture Experts Group) 방식 등의 소정의 방식에 따른 인코드 처리를 실행한다. 인코더(17)는 인코딩 처리의 결과인 압축 부호화된 신호 데이터를 기록/재생 유닛(18)에 공급한다.

기록/재생 유닛(18)은 예를 들어 하드 디스크 또는 광디스크 등으로 구성된다. 기록/재생 유닛(18)은 인코더(17)로부터 공급된 신호 데이터를 기록한다. 또, 기록/재생 유닛(18)은 또한 기록된 신호 데이터를 디코더(21)에 공급한다. 즉, 기록/재생 유닛(18)은 기록된 신호 데이터를 재생한다.

조작 유닛(19)은 예를 들어 각종 조작 버튼, 키 또는 터치 패널 등을 포함한다. 사용자는 HDD 레코더(1)에 대한 지시를 입력하기 위해 조작 유닛(19)을 조작한다. 조작 유닛(19)은 사용자의 조작에 따라 사용자의 조작을 나타내는 신호를 제어 유닛(20)에 공급한다.

제어 유닛(20)은 예를 들어, 마이크로 프로세서 등을 포함하고, 조작 유닛(19)으로부터 공급되는 사용자의 조작을 나타내는 신호에 따라 HDD 레코더(1) 전체를 제어한다.

디코더(21)는 기록/재생 유닛(18)으로부터 공급된 신호 데이터에 대해서 예를 들어 MPEG(Moving Picture Experts Group) 방식 등의 전술한 방식에 대응하는 방식에 따른 디코드 처리를 수행한다. 디코더(21)는 처리의 결과인 신장 복호화된 디지털 AV 신호 중 디지털 비디오 신호를 NTSC 인코더(22)에 공급한다. 또한, 디코더(21)는 처리의 결과인 신장 복호화된 디지털 AV 신호 중 디지털 오디오 신호를 D/A 변환기(23)에 공급한다.

NTSC 인코더(22)는 디코더(21)로부터 공급된 디지털 비디오 신호를 NTSC 방식의 비디오 신호로 변환한다. NTSC 인코더(22)는 변환된 비디오 신호를 모니터(2)에 공급한다.

D/A 변환기(23)는 디코더(21)로부터 공급된 디지털 오디오 신호를 D/A 변환한다. D/A 변환기(23)는 변환된 결과인 오디오 신호를 스피커(3)에 공급한다.

이와 같은 구성에 의하면, HDD 레코더(1)는 입력된 영상 신호 및 음성 신호를 기록 및 재생하는 것이 가능하다.

도 2는 도 1의 HDD 레코더(1)의 기록/재생 유닛(18) 및 제어 유닛(20)의 구성의 예를 나타낸 블록도이다.

기록 재생 유닛(18)은 화상 데이터베이스(31), 템플릿 데이터베이스(32), 컨텐츠 데이터베이스(33) 및 사전 데이터베이스(34)를 포함한다. 이하, 화상 데이터베이스(31)를 화상 DB(31)로 지칭하며, 템플릿 데이터베이스(32)를 템플릿 DB(32)로 지칭하고, 컨텐츠 데이터베이스(33)를 컨텐츠 DB(33)로 지칭하며, 사전 데이터베이스(34)를 사전 DB(34)로 지칭하기로 한다.

화상 DB(31)는 도 1의 인코더(17)로부터 공급된 화상의 데이터인 화상 데이터와 화상의 속성을 나타낸 메타데이터를 연관시켜 기억한다.

템플릿 DB(32)는, 컨텐츠 DB(33)에 기록되는 컨텐츠인 스크랩북을 표시하는 경우에, 스크랩북에 배치되는 화상의 배경이 되는 배경 화상의 데이터인 배경 템플릿과, 스크랩북에서의 화상의 배치를 설정하는 정보인 배치 템플릿과, 배경 템플릿 또는 배치 템플릿의 속성을 나타낸 메타데이터를 이들과 연관시켜 기록한다.

컨텐츠 DB(33)는 메타데이터에 의해 그룹으로 나누어진 화상이 그룹에 따라 배치되는 컨텐츠인 스크랩북의 데이터를 기록한다. 컨텐츠의 자세한 것은 후술한다.

사전 DB(34)는 일본어 사전, 영-일 사전, 일-영 사전, 동의어 사전 등의 각종 사전의 데이터를 단어로서 기록한다.

제어 유닛(20)은 선택 유닛(51), 기록/재생 제어 유닛(52), 표시 제어 유닛(53), 특징 추출 유닛(54), 화상 판정 유닛(55), 메타데이터 부가 유닛(56), 메타데이터 추출 유닛(57), 컨텐츠 작성 유닛(58), 공통 메타데이터 수 판정 유닛(59), 및 동의어 취득 유닛(60)을 포함한다.

선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 조작되는 지시를 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다.

선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는 모니터(2)에 표시되는 화상, 배경 템플릿 또는 스크랩북을 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되는 화상, 배경 템플릿, 또는 컨텐츠를 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다.

선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는 화상이 보존되어 있는 지정된 폴더를 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되는 지정된 폴더를 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다.

선택 유닛(51)은 기록/재생 제어 유닛(52)에 의해 판독되는 화상의 화상 데이터로부터 지정된 화상 데이터를 선택한다.

또한, 선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는, 동일한 메타데이터가 부가되어 있는 화상의 수를 판정하는 임계값을 설정하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 설정되는 임계값을 나타내는 정보를 공통 메타데이터 수 판정 유닛(59)에 공급한다.

기록/재생 제어 유닛(52)은 기록/재생 유닛(18)에 의해 수행되는 기록 또는 재생을 제어한다. 또한, 기록/재생 제어 유닛(52)은 기록/재생 유닛(18)으로부터 화상 데이터, 배경 템플릿, 배치 템플릿 또는 스크랩북의 데이터를 판독한다.

기록/재생 제어 유닛(52)은, 선택 유닛(51)으로부터 공급되는, 사용자에 의해 선택되는 지정된 폴더를 나타내는 정보에 기초하여, 지정된 폴더에 보존되어 있는 화상 데이터를 판독한다.

기록/재생 제어 유닛(52)은 판독된 화상 데이터를 특징 추출 유닛(54)에 공급한다. 또한, 기록/재생 제어 유닛(52)은, 새롭게 판독되고, 메타데이터 부가 유닛(56)으로부터 공급된 메타데이터가 부가된 화상 데이터를 기록/재생 유닛(18)에 기록시킨다.

또한, 기록/재생 제어 유닛(52)은 판독된 화상 데이터, 배경 템플릿, 배치 템플릿 또는 스크랩북의 데이터를 컨텐츠 작성 유닛(58)에 공급한다.

표시 제어 유닛(53)은 기록/재생 제어 유닛(52)에 의해 판독된 화상 데이터, 배경 템플릿, 배치 템플릿 또는 스크랩북의 데이터에 기초하여 디코더(21)의 디코드 처리를 제어한다.

특징 추출 유닛(54)은 기록/재생 제어 유닛(52)으로부터 공급되는 화상 데이터의 화상의 특징을 추출한다. 구체적으로, 특징 추출 유닛(54)은 기록/재생 제어 유닛(52)으로부터 공급되는 화상 데이터의 화상의 에지 및 평탄부에서의 특징을 추출한다. 또한, 특징 추출 유닛(54)은 기록/재생 제어 유닛(52)으로부터 공급되는 화상 데이터의 화상에 포함되는 문자열의 영역을 추출한다.

또한, 특징 추출 유닛(54)은 문자 인식 유닛(71)을 포함한다. 문자 인식 유닛(71)은 추출된 문자열 영역의 문자를 인식한다.

특징 추출 유닛(54)은 추출된 화상의 에지 및 평탄부에서의 특징의 양을 나타내는 특징량과, 인식된 문자열의 문자를 화상 판정 유닛(55)에 공급한다.

화상 판정 유닛(55)은, 특징 추출 유닛(54)으로부터 공급되는, 화상의 에지 및 평탄부에서의 특징의 양을 나타내는 특징량과 인식된 문자열의 문자에 기초하여, 기록/재생 제어 유닛(52)에 의해 판독된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지의 여부를 판정한다. 화상 판정 유닛(55)은, 기록/재생 제어 유닛(52)에 의해 판독된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 인식된 문자열의 문자에 기초하여 문자열 데이터를 취득한다.

화상 판정 유닛(55)은 취득된 문자열 데이터를 메타데이터 부가 유닛(56)에 공급한다.

메타데이터 부가 유닛(56)은 화상 판정 유닛(55)으로부터 공급되는 문자열 데이터인 메타데이터를 기록/재생 제어 유닛(52)에 공급한다. 구체적으로, 메타데이터 부가 유닛(56)은 화상 판정 유닛(55)으로부터 공급되는 문자열 데이터를 기록/재생 제어 유닛(52)에 의해 새롭게 판독된 화상 데이터에 메타데이터로서 부가한다.

메타데이터 추출 유닛(57)은 기록/재생 제어 유닛(52)에 의해 판독되는 화상 데이터에 부가되어 있는 메타데이터를 추출한다. 메타데이터 추출 유닛(57)은 추 출된 메타데이터를 컨텐츠 작성 유닛(58)에 공급한다.

또한, 메타데이터 추출 유닛(57)은 추출된 메타데이터 중 공통 메타데이터가 존재하는지의 여부를 판정한다. 메타데이터 추출 유닛(57)은, 공통 메타데이터가 존재하는 것으로 판정된 경우, 공통 메타데이터의 수, 즉 동일한 메타데이터가 부가되어 있는 화상의 수를 산출하여, 공통 메타데이터 수 판정 유닛(59)에 공급한다. 메타데이터 추출 유닛(57)은 공통 메타데이터를 컨텐츠 작성 유닛(58)에 공급한다.

컨텐츠 작성 유닛(58)은, 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터 또는 후술하는 동의어 취득 유닛(60)으로부터 공급되는 동의어에 기초하여, 기록/재생 제어 유닛(52)에 의해 판독되고 메타데이터 또는 동의어에 따라 그룹으로 나누어진 복수개의 화상이 그룹에 따라 배치되는 컨텐츠인 스크랩북(scrap book)을 작성한다. 컨텐츠 작성 유닛(58)은 연산 유닛(72) 및 템플릿 설정 유닛(73)을 포함한다.

연산 유닛(72)은, 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터 또는 동의어 취득 유닛(60)으로부터 공급되는 동의어에 기초하여, 메타데이터 또는 동의어에 따라 복수개의 화상을 그룹으로 나눈다. 연산 유닛(72)은 클러스터링 유닛(91) 및 계층 결정 유닛(92)을 포함한다.

클러스터링 유닛(91)은 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터 또는 동의어 취득 유닛(60)으로부터 공급되는 동의어에 기초하여 화상의 클러스터링을 행한다. 클러스터링 유닛의 예는 미국 특허 출원 번호 11/523,515(2006 년 9월 20일자 출원됨)에 개시되어 있으며, 이 특허 출원 또한 본 명세서에 참고자료로 통합되어 있다.

계층 결정 유닛(92)은, 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터 또는 동의어 취득 유닛(60)으로부터 공급되는 동의어에 기초하여, 클러스터링 유닛(91)의 클러스터링 결과인 클러스터의 계층을 결정한다.

이하에서는, 도 3 및 도 4를 참조하여 연산 유닛(72)이 메타데이터에 따라 복수개의 화상을 그룹으로 나누는 처리에 대하여 설명한다.

도 3은 화상의 그룹(클러스터)의 예를 나타낸 도면이다.

도 3에서, 화상 p1 내지 p25는 기록/재생 유닛(18)의 화상 DB(31)에 기록되어 있는 화상을 나타낸다. 도 3의 하나의 사각형은 1개의 화상을 나타낸다. 그러나, 본 발명의 구현 시에서는 어떠한 형태의 화상도 사용 가능하다. 또한, 화상 p1 내지 p25에는 각각 메타데이터가 부가되어 있다.

도 3의 예에서, 화상 p1 내지 p12에는, 이벤트를 나타내는 메타데이터로서 「결혼식」이 부가되어 있다. 화상 p13 내지 p19에는, 이벤트를 나타내는 메타데이터로서 「꽃놀이」가 부가되어 있다. 화상 p20 내지 p25에는, 이벤트를 나타내는 메타데이터로서 「회사 여행」이 부가되어 있다.

클러스터링 유닛(91)은 화상 p1 내지 p25에 부가되어 있는 이벤트를 나타내는 메타데이터에 기초하여 화상의 클러스터링을 행한다.

구체적으로, 도 3에 나타낸 바와 같이, 클러스터링 유닛(91)은 화상 p1 내지 p12를 포함하는 클러스터, 화상 p13 내지 p19을 포함하는 클러스터, 및 화상 p20 내지 p25를 포함하는 클러스터를 생성한다.

도 4는 도 3의 화상의 그룹(클러스터)에 대하여 클러스터링이 추가로 수행된 예를 나타내는 도면이다.

화상 p1 내지 p25는 이벤트를 나타내는 메타데이터인 「결혼식」, 「꽃놀이」 또는 「회사 여행」 외의 메타데이터를 갖는다. 구체적으로, 화상 p1 내지 p25는 「교회에서의 결혼식」, 「피로연」, 「2차 모임」, 「벚꽃」, 「연회」, 「개」 및 「온천」의 메타데이터를 갖는다.

클러스터링 유닛(91)은 화상 p1 내지 p25에 부가되어 있는 이벤트를 나타내는 메타데이터에 기초하여 화상의 클러스터링을 행한다. 계층 결정 유닛(92)은, 이벤트를 표시하는 메타데이터인 「결혼식」, 「꽃놀이」 또는 「회사 여행」 및 이벤트의 중의 하위의 이벤트인 서브이벤트의 메타데이터인 「교회에서의 결혼식」, 「피로연」, 「2차 모임」, 「벚꽃」, 「연회」, 「개」 또는 「온천」에 기초하여, 클러스터링 유닛(91)의 클러스터링 결과인 클러스터 계층을 결정한다.

구체적으로, 도 4에 나타낸 바와 같이, 클러스터링 유닛(91) 및 계층 결정 유닛(92)은 화상 p1 내지 p3을 포함하는 클러스터, 화상 p4 내지 p7을 포함하는 클러스터, 화상 p8 내지 p12을 포함하는 클러스터, 화상 p13 및 p14를 포함하는 클러스터, 화상 p15 내지 p17을 포함하는 클러스터, 화상 p18 및 p19를 포함하는 클러스터, 화상 p20 내지 p22를 포함하는 클러스터, 및 화상 p23 내지 p25를 포함하는 클러스터를 생성한다.

이와 같이 생성된 클러스터는 작성될 스크랩북의 페이지를 구성한다.

다시 도 2를 참조하면, 템플릿 설정 유닛(73)은, 기록/재생 제어 유닛(52)으로 하여금, 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터 또는 동의어 취득 유닛(60)으로부터 공급되는 동의어에 따라, 기록/재생 유닛(18)으로부터 배경 템플릿 및 배치 템플릿을 판독하도록 한다. 템플릿 설정 유닛(73)은 판독된 배경 템플릿 및 배치 템플릿을 생성된 클러스터에 대하여 설정한다.

컨텐츠 작성 유닛(58)은, 메타데이터 또는 동의어에 따라 그룹으로 나누어진 복수개의 화상이 그룹마다 배치되고 배경 템플릿 및 배치 템플릿이 설정된 스크랩북을, 기록/재생 제어 유닛(52)을 통하여 기록/재생 유닛(18)의 컨텐츠 DB(33)에 기록시킨다.

공통 메타데이터 수 판정 유닛(59)은, 동일한 메타데이터가 부가되어 있고 메타데이터 추출 유닛(57)으로부터 공급되는 화상의 수가, 선택 유닛(51)으로부터 취득한 소정의 임계값 이상인지의 여부를 판정한다. 공통 메타데이터 수 판정 유닛(59)은, 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상이라는 것을 나타내는 정보를 컨텐츠 작성 유닛(58)에 공급한다.

동의어 취득 유닛(60)은 메타데이터가 부가되어 있는 화상마다에 대해 메타데이터의 동의어를 취득한다. 구체적으로, 기록/재생 제어 유닛(52)에 의해 판독되는 화상 데이터에 부가되어 있는 메타데이터의 동의어를, 기록/재생 유닛(18)의 사전 DB(34)로부터 취득한다. 동의어 취득 유닛(60)은 취득한 동의어를 컨텐츠 작성 유닛(58)에 공급한다.

다음으로, HDD 레코더(1)에서의 메타데이터의 부가 처리에 대하여 설명한다.

HDD 레코더(1)의 제어 유닛(20)은 예를 들어 기록/재생 유닛(18)의 지정된 폴더 내에 화상이 기록될 때에 처리를 개시한다.

도 5는 HDD 레코더(1)에서의 메타데이터의 부가 처리의 예를 나타낸 플로차트이다.

단계 S11에서, 기록/재생 제어 유닛(52)은 기록/재생 유닛(18)의 지정된 폴더 내에 기록된 화상의 화상 데이터를 판독한다. 선택 유닛(51)은 기록/재생 제어 유닛(52)에 의해 판독된 화상 데이터로부터 지정된 화상 데이터를 선택한다. 기록/재생 제어 유닛(52)은 선택된 화상 데이터를 특징 추출 유닛(54)에 공급한다.

단계 S12에서, 특징 추출 유닛(54)은 기록/재생 제어 유닛(52)으로부터 공급되는 화상 데이터의 화상의 에지 및 평탄부에서의 특징을 추출한다. 특징 추출 유닛(54)은 화상 데이터의 화상에서의 패턴 반복의 특징을 추출하거나, 화상의 다이나믹 레인지나 액티비티의 특징을 추출할 수 있다. 즉, 특징 추출 유닛(54)은 화상이 증서, 증지, 티켓 또는 노트의 화상인 경우와, 인물 또는 풍경의 화상인 경우를 구별하는데 사용할 수 있는 화상의 특징을 추출할 수 있다.

단계 S13에서, 특징 추출 유닛(54)은 기록/재생 제어 유닛(52)으로부터 공급되는 화상 데이터의 화상에 포함되는 문자열의 영역을 추출한다. 예를 들어, 특징 추출 유닛(54)은, 단계 S12에서 검출된 에지의 위치, 검출된 에지에 의해 둘러싸이는 영역의 토폴로지 등을 기초로, 문자열의 영역을 추출한다.

단계 S14에서, 문자 인식 유닛(71)은 추출된 영역의 화상에 포함되는 문자열 의 문자를 인식한다. 특징 추출 유닛(54)은 추출된 화상의 에지 및 평탄부에서의 특징의 양을 나타내는 특징량 및 인식된 문자열의 문자를 화상 판정 유닛(55)에 공급한다.

단계 S15에서, 화상 판정 유닛(55)은 특징 추출 유닛(54)으로부터 공급되는 화상의 에지 및 평탄부에서의 특징의 양을 나타내는 특징량 및 인식된 문자열의 문자에 기초하여, 기록/재생 제어 유닛(52)에 의해 판독된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면(face)의 화상인지의 여부를 판정한다. 즉, 화상 판정 유닛(55)은 선택된 화상이 증지, 증서, 티켓 및 노트의 화상인지, 인물 또는 풍경의 화상인지를 판정한다. 예를 들어, 동일한 크기의 문자가 20개 이상의 문자가 화상에 포함되어 있는 경우, 또는 동일한 크기의 10개 이상의 문자가 화상에 포함되고, 문자에서의 에지가 화상의 에지 전체의 80% 이상을 차지하고, 평탄부가 화상의 60% 이상을 차지하는 경우에, 화상 판정 유닛(55)은 그 화상이 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정한다.

단계 S15에서, 기록/재생 제어 유닛(52)에 의해 판독된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 처리는 단계 S16으로 진행한다.

단계 S16에서, 화상 판정 유닛(55)은 인식된 문자열에 기초하여 문자열 데이터를 취득한다. 화상 판정 유닛(55)은 취득된 문자열 데이터를 메타데이터 부가 유닛(56)에 공급한다.

단계 S17에서, 선택 유닛(51)은 기록/재생 제어 유닛(52)에 의해 판독된 화 상 데이터로부터 다른 화상 데이터를 선택한다.

단계 S18에서, 메타데이터 부가 유닛(56)은 화상 판정 유닛(55)으로부터 공급되는 문자열 데이터인 메타데이터를 기록/재생 제어 유닛(52)에 공급한다. 구체적으로, 메타데이터 부가 유닛(56)은 화상 판정 유닛(55)으로부터 공급되는 문자열 데이터를 기록/재생 제어 유닛(52)에 의해 새로이 판독되는 화상 데이터의 다른 화상에 부가하며, 처리가 종료된다.

한편, 단계 S15에서, 기록/재생 제어 유닛(52)에 판독된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상이 아닌 것으로 판정된 경우에는, 처리가 종료된다.

그리고, 단계 S11로 복귀하여, 판독된 화상으로부터 다음 화상을 선택하고, 판독한 화상의 모두에 대하여 전술한 처리를 그 순서대로 적용하는 것이 바람직하다.

이와 같이, HDD 레코더(1)는 증서, 증지, 티켓 또는 노트의 면의 화상의 문자열의 문자열 데이터를 메타데이터로서 다른 화상에 부가하는 것이 가능하다.

다음에, HDD 레코더(1)에서의 스크랩북의 작성 처리에 대하여 설명한다.

HDD 레코더(1)의 제어 유닛(20)은, 예를 들어 조작 유닛(19)이 조작되고, 제어 유닛(20)이 스크랩북의 작성 처리의 지시를 취득할 때에 처리를 개시한다.

도 6은 HDD 레코더(1)에서의 스크랩북의 작성 처리의 예를 나타낸 플로차트이다.

단계 S31에서, 선택 유닛(51)은 조작 유닛(19)으로부터 공급되는, 화상이 보 존되어 있는 지정된 폴더를 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되는 지정된 폴더를 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다. 기록/재생 제어 유닛(52)은 선택 유닛(51)으로부터 공급되는, 사용자에 의해 선택되는 지정된 폴더를 나타내는 정보에 기초하여, 지정된 폴더에 보존되어 있는 화상 데이터를 판독한다. 기록/재생 제어 유닛(52)은 판독된 화상 데이터를 메타데이터 추출 유닛(57) 및 컨텐츠 작성 유닛(58)에 공급한다.

단계 S32에서, 컨텐츠 작성 유닛(58)은 스크랩북이 자동으로 작성되는지를 판정한다. 구체적으로, 컨텐츠 작성 유닛(58)은 조작 유닛(19)으로부터 공급되는, 스크랩북이 자동으로 작성되는지를 선택하는 사용자의 조작, 예를 들어 자동 작성 버튼의 클릭을 나타내는 신호에 기초하여, 스크랩북이 자동으로 작성되는지를 판정한다.

단계 S32에서 스크랩북이 자동으로 작성되는 것으로 판정된 경우, 처리는 단계 S33으로 진행한다.

단계 S33에서, 메타데이터 추출 유닛(57)은 기록/재생 제어 유닛(52)에 의해 판독된 지정된 폴더에 보존되어 있는 화상 데이터에 부가되어 있는 메타데이터를 추출한다. 메타데이터 추출 유닛(57)은 추출된 메타데이터를 컨텐츠 작성 유닛(58)에 공급한다.

단계 S34에서, 컨텐츠 작성 유닛(58)의 연산 유닛(72)은 추출된 메타데이터에 기초하여 이벤트에 따라 화상을 클러스터링한다. 즉, 클러스터링 유닛(91)은 지정된 폴더에 보존되어 있는 화상 데이터에 부가되어 있는, 이벤트를 나타내는 메 타데이터에 기초하여 화상을 그룹으로 나눈다.

단계 S35에서, 컨텐츠 작성 유닛(58)의 템플릿 설정 유닛(73)은 클러스터링 된 각각의 이벤트에 대응하는 메타데이터가 부가되어 있는 배경 템플릿을 판독한다. 즉, 템플릿 설정 유닛(73)은, 기록/재생 제어 유닛(52)으로 하여금, 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터에 따라, 기록/재생 유닛(18)으로부터 배경 템플릿을 판독하도록 한다.

단계 S36에서, 템플릿 설정 유닛(73)은, 클러스터링된 이벤트 클러스터에 대해서, 판독된 배경 템플릿, 즉 이벤트에 대응하는 메타데이터가 부가되어 있는 배경 템플릿을 설정한다.

도 7은 배경 템플릿의 구성예를 나타낸 도면이다. 도 7에 도시한 배경 템플릿(111-1 내지 111-3)은 각각 메타데이터를 포함한다. 템플릿 설정 유닛(73)은 이벤트에 대응하는 클러스터인 이벤트 클러스터를 생성하는 화상 데이터에 부가되어 있는 메타데이터에 대응하는 메타데이터를 갖는 배경 템플릿을 설정한다.

단계 S37에서, 연산 유닛(72)은 각 이벤트의 화상에 부가되어 있는 메타데이터에 기초하여 서브이벤트에 따라 화상을 클러스터링한다. 즉, 연산 유닛(72)은 메타데이터에 기초하여 서브이벤트에 따라 화상을 그룹으로 나누고, 서브이벤트에 따라 화상을 페이지로 나눈다.

단계 S38에서, 템플릿 설정 유닛(73)은 각각의 서브이벤트마다 클러스터링된 화상의 수에 따라 페이지마다의 배치 템플릿을 판독한다.

단계 S39에서, 템플릿 설정 유닛(73)은, 각 페이지에 대해서, 판독된 페이지 마다 배치 템플릿을 설정한다.

도 8은 배치 템플릿의 구성의 예를 나타낸 도면이다. 도 8에 나타내는 배치 템플릿(131-1 내지 131-3)은 각각 메타데이터를 포함한다. 템플릿 설정 유닛(73)은 서브이벤트 마다의 클러스터인 서브이벤트 클러스터를 생성하는 화상 데이터에 부가되어 있는 메타데이터에 대응하고 또한 서브이벤트의 각 페이지에서의 화상의 수에 대응하는 배치 템플릿을 설정한다.

도 9는 작성되는 스크랩북의 소정의 페이지의 구성예를 나타낸 도면이다.

도 9의 예에서, 페이지 "151"에는 배경 템플릿(111) 및 배치 템플릿(131)이 설정되어 있다. 배경 템플릿(111)은 예를 들어 페이지(151)에 배치되어 있는 4개 화상의 메타데이터와 동일한 메타데이터를 갖는다. 배치 템플릿(131)에 따라, 예를 들어 4개 화상의 배치가 결정된다. 또한, 페이지(151)에는, 「○△□×2005」의 코멘트가 표시되어 있다. 사용자는 조작 유닛(19)을 조작함으로써 페이지(151)의 임의의 위치에 임의의 코멘트를 설정할 수 있다.

단계 S40에서, 컨텐츠 작성 유닛(58)은, 메타데이터에 따라 그룹으로 나누어진 복수개의 화상이 그룹마다 배치되고 배경 템플릿 및 배치 템플릿이 설정된 스크랩북을, 기록/재생 제어 유닛(52)을 통하여 기록/재생 유닛(18)의 컨텐츠 DB(33)에 공급하여 기록시키며, 처리가 종료된다.

도 10은 작성되는 스크랩북의 구성의 예를 나타낸 도면이다.

도 10의 예에서, 스크랩북(171)은 페이지 "151" 내지 "155"의 5개의 페이지를 포함한다. 스크랩북(171)의 페이지(151 내지 155)에 배치되어 있는 화상은 모 두 동일한 이벤트를 나타내는 메타데이터를 포함한다. 스크랩북(171)에는 그 메타데이터에 대응하는 배경 템플릿(111)이 설정된다. 페이지 "151"는 스크랩북(171)의 표지로 된다. 페이지 "152" 내지 "155"에는 페이지 "151"와 마찬가지로 각각 배치 템플릿(131)에 의해 결정되는 소정수의 화상이 배치된다.

또한, 페이지(151 내지 155) 중 어느 하나에는 증서, 증지, 티켓 또는 노트의 면의 화상을 배치하여도 된다.

한편, 단계 S32에서, 스크랩북을 자동으로 작성하지 않는 것으로 판정된 경우, 처리는 단계 S41로 진행한다. 단계 S41 내지 단계 S46에서는 스크랩북이 수동으로 작성된다.

단계 S41에서, 선택 유닛(51)은 조작 유닛(19)으로부터 공급되는, 판독된 폴더로부터 화상을 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되는 지정된 폴더 내의 화상을 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다. 기록/재생 제어 유닛(52)은, 선택 유닛(51)으로부터 공급되는 사용자에 의해 선택되는 화상을 나타내는 정보에 기초하여, 지정된 폴더에 보존되고 사용자에 의해 선택된 화상 데이터를 판독한다. 기록/재생 제어 유닛(52)은 선택된 화상 데이터를 컨텐츠 작성 유닛(58)에 공급한다.

단계 S42에서, 컨텐츠 작성 유닛(58)의 연산 유닛(72)은 단계 S41에서 선택된 화상 데이터를 1개의 클러스터로 그룹화한다.

단계 S43에서, 선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는 배경 템플릿을 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되 는 배경 템플릿을 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다.

단계 S44에서, 기록/재생 제어 유닛(52)은, 선택 유닛(51)으로부터 공급되는 사용자에 의해 선택되는 배경 템플릿을 나타내는 정보에 기초하여, 기록/재생 유닛(18)으로부터 배경 템플릿을 판독한다.

단계 S45에서, 템플릿 설정 유닛(73)은, 기록/재생 제어 유닛(52)으로부터, 선택된 배경 템플릿을 취득한다. 템플릿 설정 유닛(73)은 화상이 그룹화된 클러스터에 대해서 기록/재생 제어 유닛(52)에 의해 취득한 배경 템플릿을 설정한다.

단계 S46에서, 연산 유닛(72)은, 그룹의 화상에 부가되어 있는 메타데이터에 기초하여, 서브이벤트에 따라 화상을 클러스터링하고, 서브이벤트에 따른 페이지로 화상을 나누며, 처리는 단계 S38으로 진행한다.

이에 따라, HDD 레코더(1)는 메타데이터에 따라 그룹으로 나누어진 복수개의 화상이 그룹마다 배치되는 스크랩북을 작성할 수 있다.

스크랩북은 화상 데이터로부터 새로이 생성되는 화상 데이터의 편성으로 해도 되고, 화상 데이터를 참조하여 화상의 표시 위치를 지정하는 데이터인 편집 데이터로 하여도 된다.

또한, 스크랩북은 복수개의 다른 스크랩북과 링크시킬 수도 있다. 구체적으로, 예를 들어, 각각의 스크랩북에 배치되어 있는 화상에 부가되어 있는 소정의 메타데이터를 서로 관련시킴으로써 스크랩북을 서로 링크시킬 수가 있다. 또한, 예를 들어, 동일한 화상이 배치되어 있는 스크랩북을 서로 링크시킬 수도 있다.

다음에, HDD 레코더(1)에서의 스크랩북의 자동 생성 처리에 대하여 설명한 다.

HDD 레코더(1)의 제어 유닛(20)은 예를 들어 기록/재생 유닛(18)의 화상 DB(31)에 화상이 추가될 때 스크랩북의 자동 생성 처리를 행한다. 또한, 예를 들어, 화상 DB(31)에 기록되어 있는 화상의 수가 소정의 수로 될 때에 스크랩북의 자동 생성 처리를 수행하도록 해도 된다. 또한, 예를 들어, 소정의 기간마다 스크랩북의 자동 생성 처리를 수행하도록 해도 된다.

도 11은 HDD 레코더(1)에서의 스크랩북의 자동 작성 처리의 예를 나타낸 플로차트이다.

단계 S61에서, 기록/재생 제어 유닛(52)은 기록/재생 유닛(18)으로부터 스크랩북에 보존되어 있지 않은 모든 화상 데이터를 판독한다. 메타데이터 추출 유닛(57)은 기록/재생 제어 유닛(52)에 의해 판독된 스크랩북에 보존되어 있지 않은 모든 화상 데이터에 부가되어 있는 메타데이터를 추출한다.

단계 S62에서, 메타데이터 추출 유닛(57)은 추출된 메타데이터 중 공통 메타데이터가 존재하는지를 판정한다. 즉, 메타데이터 추출 유닛(57)은 공통 메타데이터가 부가되어 있는 화상이 존재하는지를 판정한다.

단계 S62에서, 공통 메타데이터가 존재하는 것으로 판정된 경우, 메타데이터 추출 유닛(57)은 공통 메타데이터의 수, 즉 동일한 메타데이터가 부가되어 있는 화상의 수를 산출하고, 그 수를 공통 메타데이터 수 판정 유닛(59)에 공급하며, 처리는 단계 S63으로 진행한다.

단계 S63에서, 공통 메타데이터 수 판정 유닛(59)은, 메타데이터 추출 유 닛(57)으로부터 공급되고 동일한 메타데이터가 부가되어 있는 화상의 수가 선택 유닛(51)으로부터 취득한 소정의 임계값 이상인지의 여부를 판정한다. 단계 S63에서, 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 공통 메타데이터 수 판정 유닛(59)은 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상이라는 것을 나타내는 정보를 컨텐츠 작성 유닛(58)에 공급하며, 메타데이터 추출 유닛(57)은 공통 메타데이터를 컨텐츠 작성 유닛(58)에 공급하고, 처리는 단계 S64로 진행한다.

단계 S64에서, 컨텐츠 작성 유닛(58)은, 공통 메타데이터 수 판정 유닛(59)으로부터 공급되는 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상이라는 것을 나타내는 정보에 따라, 메타데이터 추출 유닛(57)으로부터 공급되는 공통 메타데이터에 기초하여, 기록/재생 제어 유닛(52)에 의해 판독된 스크랩북에 보존되어 있지 않은 화상 데이터로부터, 공통 메타데이터가 부가되어 있는 화상 데이터를 취득한다.

단계 S65에서, 동의어 취득 유닛(60)은, 공통 메타데이터가 부가되어 있는 화상 데이터로서, 기록/재생 제어 유닛(52)에 의해 판독되는 화상 데이터에 부가되어 있는 메타데이터의 동의어를, 기록/재생 유닛(18)의 사전 DB(34)로부터 취득한다. 동의어 취득 유닛(60)은 취득한 동의어를 컨텐츠 작성 유닛(58)에 공급한다. 컨텐츠 작성 유닛(58)의 템플릿 설정 유닛(73)은, 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터 또는 동의어 취득 유닛(60)으로부터 공급되는 동의어에 기초하여, 메타데이터 추출 유닛(57)으로부터 공급되는 메타데이터 또는 동의어 취득 유닛(60)으로부터 공급되는 동의어에 대응하는 메타데이터가 부가되어 있는 배경 템플릿을 판독한다.

단계 S66에서, 템플릿 설정 유닛(73)은 판독된 배경 템플릿을 공통 메타데이터가 부가되어 있는 화상에 대해 설정한다.

단계 S67에서, 연산 유닛(72)은 공통 메타데이터가 부가되어 있는 화상에 부가되어 있는 다른 메타데이터에 기초하여 서브이벤트마다 화상을 클러스터링한다.

도 11의 플로차트에서의 단계 S68 내지 S70의 처리는 도 6의 플로차트에서의 단계 S38 내지 S40의 각각의 처리와 동일하므로, 그 설명을 생략한다.

단계 S71에서, 메타데이터 추출 유닛(57)은 추출된 메타데이터 중 다른 공통 메타데이터가 존재하는지의 여부를 판정한다. 단계 S71에서 다른 공통 메타데이터가 존재하지 않는 것으로 판정된 경우, 처리가 종료된다.

한편, 단계 S71에서 다른 공통 메타데이터가 존재하는 것으로 판정된 경우, 처리는 단계 S63으로 복귀하고, 단계 S63 이후의 처리를 반복한다.

또, 단계 S62에서 공통 메타데이터가 존재하지 않는 것으로 판정된 경우, 처리는 종료한다. 또한, 단계 S63에서, 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상이 아닌 것으로 판정된 경우에도, 처리는 종료한다.

이와 같이 하여, HDD 레코더(1)는, 공통 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상이 되었을 경우, 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북을 자동으로 생성할 수 있다.

다음에, HDD 레코더(1)에서의 스크랩북에의 화상의 추가 처리에 대하여 설명 한다.

HDD 레코더(1)의 제어 유닛(20)은 예를 들어 기록/재생 유닛(18)의 화상 DB(31)에 화상이 추가될 때에 스크랩북에의 화상의 추가 처리를 행한다. 또한, 예를 들어, 화상 DB(31)에 기록되어 있는 화상의 수가 소정수로 되면, 스크랩북에의 화상의 추가 처리를 수행하도록 해도 된다. 또한, 예를 들어, 소정의 기간마다 스크랩북에의 화상의 추가 처리를 수행하도록 해도 된다.

도 12는 HDD 레코더(1)에서의 스크랩북에의 화상의 추가 처리의 예를 나타낸 플로차트이다.

단계 S81에서, 기록/재생 제어 유닛(52)은 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북이 존재하는지의 여부를 판정한다. 예를 들어, 기록/재생 제어 유닛(52)은, 도 11의 스크랩북의 작성 처리에서, 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북이 생성되었다는 것을 나타내는 이력 정보를 참조함으로써, 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북이 존재하는지의 여부를 판정한다. 단계 S81에서, 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북이 존재하는 것으로 판정된 경우, 처리는 단계 S82로 진행한다.

단계 S82에서, 기록/재생 제어 유닛(52)은, 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북이 작성되었다는 것을 나타내는 이력 정보에 기초하여, 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북을, 기록/재생 유닛(18)으로부터 판독한다. 또한, 기록/재생 제어 유닛(52)은 스크랩북에 보존되어 있지 않은 화상의 모든 화상 데이터를 판독한다. 메타데이터 추출 유닛(57)은 기록/재생 제어 유닛(52)에 의해 판독된 스크랩북의 메타데이터, 및 스크랩북에 보존되어 있지 않은 모든 화상 데이터에 부가되어 있는 메타데이터를 추출한다.

단계 S83에서, 메타데이터 추출 유닛(57)은, 스크랩북에 보존되어 있지 않은 모든 화상 데이터에 부가되어 있는 추출된 메타데이터 중에, 스크랩북에 부가되어 있는 공통 메타데이터가 존재하는지를 판정한다. 즉, 메타데이터 추출 유닛(57)은 공통 메타데이터가 부가되어 있는 다른 화상이 존재하는지를 판정한다.

단계 S83에서, 공통 메타데이터가 존재하는 것으로 판정된 경우, 메타데이터 추출 유닛(57)은 공통 메타데이터를 컨텐츠 작성 유닛(58)에 공급하며, 처리는 단계 S84으로 진행한다.

단계 S84에서, 컨텐츠 작성 유닛(58)은, 메타데이터 추출 유닛(57)으로부터 공급되는 공통 메타데이터에 기초하여, 기록/재생 제어 유닛(52)에 의해 판독된 스크랩북에 보존되어 있지 않은 화상 데이터 중에서, 공통 메타데이터가 부가되어 있는 다른 화상 데이터를 선택한다. 또한, 컨텐츠 작성 유닛(58)은 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북에 보존되어 있는 화상 데이터를 선택한다.

단계 S85에서, 연산 유닛(72)은, 스크랩북에 보존되어 있는 화상 데이터 및 공통 메타데이터가 부가되어 있는 다른 화상에 부가되어 있는 메타데이터에 따라, 서브이벤트마다 화상을 클러스터링한다.

도 12의 플로차트에서의 단계 S86 내지 S88의 처리는 도 6의 플로 차트에서 의 단계 S38 내지 S40의 각각의 처리와 동일하므로 그 설명을 생략한다.

한편, 단계 S81에서, 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북이 존재하지 않는 것으로 판정된 경우, 처리는 종료한다.

또한, 단계 S83에서, 공통 메타데이터가 존재하지 않는 것으로 판정된 경우, 처리는 종료한다.

이와 같이 하여, HDD 레코더(1)는, 이미 작성되어 있고 공통 메타데이터가 부가되어 있는 화상을 포함하는 스크랩북에, 화상을 추가할 수 있다.

전술한 설명에서, HDD 레코더(1)는 미리 화상 데이터에 부가되어 있는 메타데이터에 기초하여 스크랩북을 작성하도록 하였지만, 작성되어 있는 스크랩북에 새롭게 메타데이터를 부가하도록 해도 된다.

보다 구체적으로, HDD 레코더(1)에서 스크랩북에 메타데이터를 부가하는 처리에 대하여 설명한다.

HDD 레코더(1)의 제어 유닛(20)은, 예를 들어 조작 유닛(19)이 조작되고 제어 유닛(20)이 메타데이터의 부가 처리의 지시를 취득하면 처리를 개시한다.

도 13은 HDD 레코더(1)에서 스크랩북에 메타데이터를 부가하는 처리의 예를 나타낸다.

단계 S101에서, 선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는 모니터(2)에 표시되는 스크랩북을 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되는 스크랩북을 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다. 기록/재생 제어 유닛(52)은, 사용자에 의해 선택되는 스크랩북을 나 타내는 정보에 기초하여, 기록/재생 유닛(18)으로부터 사용자에 의해 선택된 스크랩북의 데이터를 판독한다.

단계 S102에서, 선택 유닛(51)은 기록/재생 제어 유닛(52)에 의해 판독된 스크랩북의 데이터로부터 지정된 화상 데이터를 선택한다. 기록/재생 제어 유닛(52)은 선택된 화상 데이터를 특징 추출 유닛(54)에 공급한다.

도 13의 플로차트에서의 단계 S103 내지 S105의 처리는 도 5의 플로차트에서의 단계 S12 내지 S14의 각각의 처리와 동일하므로 그 설명을 생략한다.

단계 S106에서, 기록/재생 제어 유닛(52)에 의해 판독된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 처리는 단계 S107로 진행한다.

단계 S107에서, 화상 판정 유닛(55)은 인식된 문자열에 기초하여 문자열 데이터를 취득한다. 화상 판정 유닛(55)은 취득된 문자열 데이터를 메타데이터 부가 유닛(56)에 공급한다.

단계 S108에서, 메타데이터 부가 유닛(56)은 화상 판정 유닛(55)으로부터 공급되는 문자열 데이터인 메타데이터를 기록/재생 제어 유닛(52)에 공급한다. 구체적으로, 화상 판정 유닛(55)으로부터 공급되는 문자열 데이터가 기록/재생 제어 유닛(52)에 의해 판독된 스크랩북에 메타데이터로서 부가되며, 처리는 종료한다.

한편, 단계 S106에서, 기록/재생 제어 유닛(52)에 의해 판독된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상이 아닌 것으로 판정된 경우, 처리는 단계 S109로 진행한다.

단계 S109에서, 선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는 스크랩북으로부터 다른 화상을 선택하는지의 여부를 나타내는 사용자의 조작을 나타내는 신호에 기초하여, 스크랩북으로부터 다른 화상을 선택하는지를 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다. 즉, 기록/재생 제어 유닛(52)은 스크랩북으로부터 다른 화상을 선택하는지를 판정한다.

단계 S109에서 스크랩북으로부터 다른 화상을 선택하는 것으로 판정된 경우, 처리는 단계 S102로 복귀하여 단계 S102 이후의 처리를 반복한다.

한편, 단계 S109에서 스크랩북으로부터 다른 화상을 선택하지 않는 것으로 판정된 경우, 처리는 종료한다.

이와 같이 하여, 제어 유닛(20)은 스크랩북에 보존되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상의 문자열의 문자열 데이터를 메타데이터로서 스크랩북에 부가하는 것이 가능하다.

다음에, HDD 레코더(1)에서 스크랩북을 표시하는 처리에 대하여 설명한다.

HDD 레코더(1)의 제어 유닛(20)은, 예를 들어, 조작 유닛(19)이 조작되고 제어 유닛(20)이 스크랩북의 표시 처리의 지시를 취득할 때에 처리를 개시한다.

도 14는 스크랩북의 표시 처리의 예를 나타낸 플로차트이다.

단계 S121에서, 선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는, 모니터(2)에 표시되는 스크랩북을 표시하는 일람(table)의 표시 패턴을 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되는 스크랩북을 표시하는 일람의 표시 패턴을 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다.

단계 S122에서, 기록/재생 제어 유닛(52)은 기록/재생 유닛(18)으로부터 기록되어 있는 전부의 스크랩북을 판독한다. 기록/재생 제어 유닛(52)은, 사용자에 의해 선택되는 스크랩북을 표시하는 일람의 표시 패턴을 나타내는 정보에 따라, 스크랩북의 일람을 표시하기 위한 표시 데이터를 표시 제어 유닛(53)에 공급한다. 제어 유닛(20)의 제어에 따라, HDD 레코더(1)는 모니터(2)에 스크랩북의 일람을 표시하게 한다.

단계 S123에서, 선택 유닛(51)은, 조작 유닛(19)으로부터 공급되는, 모니터(2)에 표시되는 스크랩북의 일람으로부터 스크랩북 중의 하나를 선택하는 사용자의 조작을 나타내는 신호에 기초하여, 사용자에 의해 선택되는 스크랩북의 일람으로부터 스크랩북 중의 하나를 나타내는 정보를 기록/재생 제어 유닛(52)에 공급한다.

도 15 내지 도 17은 모니터(2)에 표시되는 스크랩북의 일람의 예를 나타내는 도면이다.

도 15는 인덱스 형식으로 표시되는 스크랩북의 일람의 예를 나타내는 도면이다. 도 15의 예에서, 각각의 스크랩북의 표지로 되는 첫 번째 페이지가 모니터(2)의 화면(191) 상에 일람으로서 표시되어 있다. 사용자는 조작 유닛(19)을 조작하고 커서(211)를 이동시킴으로써 스크랩북 중의 하나를 선택할 수 있다.

도 16은 캘린더를 사용하여 표시되는 스크랩북의 일람의 예를 나타낸 도면이다.

모니터(2)의 화면(191)은 좌측 방향에 표시되는 캘린더 표시 영역과, 우측에 표시되는 프리뷰 화면 표시 영역을 갖는다. 캘린더 표시 영역에는, 스크랩북에 부가되어 있는, 일자(date)를 나타내는 메타데이터에 기초하여, 캘린더의 대응하는 일자란에, 각각의 스크랩북의 표지가 되는 첫 번째 페이지가 표시된다. 프리뷰 화면 표시 영역에는, 캘린더 표시 영역의 커서(231-1)에 의해 선택되는 일자에 존재하는 스크랩북의 프리뷰 화면(231-2)이 표시된다.

도 16의 예에서는, 11월을 나타내는 캘린더 표시 영역에, 커서(231-1)에 의해 11월 18일이 선택되어 있다. 프리뷰 화면 표시 영역에는, 선택된 11월 18일의 메타데이터가 부가되어 있는 스크랩북의 프리뷰 화면(231-2)이 표시된다.

도 17은 지도를 사용하여 표시되는 스크랩북의 일람의 예를 나타낸 도면이다. 모니터(2)의 화면(191)은 좌측 방향에 표시되는 지도 표시 영역과, 우측에 표시되는 일람 표시 영역을 포함한다. 지도 표시 영역에는, 소정의 지역을 나타내는 지도가 표시된다. 사용자는 표시되는 지도상의 소정의 장소를 선택할 수 있다. 일람 표시 영역에는, 사용자에 의해 선택된 장소의 메타데이터가 부가되어 있는 스크랩북의 일람이 표시된다.

도 17의 예에서, 지도 표시 영역의 지도 상의 「도쿄」가 커서(251-1)에 의해 선택되어 있다. 일람표시 영역에는 「도쿄」의 메타데이터가 부가되어 있는 스크랩북의 표지가 표시된다. 사용자는 표시된 일람으로부터 스크랩북 중의 하나를 선택할 수 있다.

이와 같이 하여, 표시된 스크랩북의 일람으로부터 스크랩북 중의 하나를 선택할 수 있다.

다시 도 14를 참조하면, 단계 S124에서, 기록/재생 제어 유닛(52)은, 사용자에 의해 선택되는 스크랩북의 일람으로부터 스크랩북 중의 하나를 나타내는 정보에 기초하여, 선택된 스크랩북을 표시하기 위한 표시 데이터를 표시 제어 유닛(53)에 공급한다. 제어 유닛(20)의 제어에 따라, HDD 레코더(1)는 선택된 스크랩북의 첫 번째 페이지(표지)를 모니터(2)에 표시하게 한다.

단계 S125에서, 기록/재생 제어 유닛(52)은 표시되는 스크랩북의 다음 페이지가 존재하는지를 판정한다. 단계 S125에서, 다음 페이지가 존재하지 않는 것으로 판정된 경우, 처리는 종료한다.

한편, 단계 S125에서 다음 페이지가 존재하는 것으로 판정된 경우, 처리는 단계 S126으로 진행한다.

단계 S126에서, 제어 유닛(20)의 제어에 기초하여, HDD 레코더(1)는 선택된 스크랩북의 다음 페이지를 모니터(2)에 표시시키며, 처리는 단계 S125로 복귀한다.

이와 같이, HDD 레코더(1)는 스크랩북을 표시하게 하는 것이 가능하다.

전술한 설명에서는, 화상 데이터에 메타데이터를 부가하는 처리가 제어 유닛(20)에 의해 자동으로 수행되도록 하였지만, 사용자가 조작 유닛(19)을 조작하여 증서, 증지, 티켓 및 노트의 화상을 선택함으로써 메타데이터의 부가 처리를 수행하도록 해도 된다.

전술한 설명에서는, 화상 데이터로부터 스크랩북을 작성하는 것으로 하였으나, 스크랩북으로부터 스크랩북을 작성하도록 해도 된다.

이에 따라서, 컨텐츠의 작성을 제어하도록 한 경우에는 컨텐츠를 작성할 수 있다. 또한, 서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하고, 추출된 특징을 기초로, 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인지의 여부를 판정하여, 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우에, 그리고 복수개의 화상 중 다른 화상에 문자열의 문자열 데이터인 제1 메타데이터를 부가하도록 한 경우에는, 예를 들어, 영수증, 팜플렛, 티켓 등으로부터 생성된 메타데이터에 따라 컨텐츠를 그룹으로 분류할 수 있다.

또한, 본 발명은 HDD 레코더로 한정되지 않고, 화상이나 컨텐츠를 기록 또는 재생할 수 있는 기기이면 되고, 예를 들어 퍼스널 컴퓨터 등에 적용할 수 있다.

전술한 일련의 처리는 하드웨어에 의해 실행되는 것도 가능하고, 소프트웨어에 의해 실행되는 것도 가능하다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어는 소프트웨어에 포함된 프로그램이 전용 하드웨어 또는 예를 들어 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한 범용의 퍼스널 컴퓨터에, 프로그램 기록 매체로부터 인스톨된다.

컴퓨터에 인스톨되어 컴퓨터에 의해 실행 가능한 상태로 되는 프로그램을 저장하는 프로그램 기록 매체는, 도 18에 나타낸 바와 같이, 자기 디스크(플렉서블 디스크를 포함), 광디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함), 광자기 디스크 혹은 반도체 메모리 등의 패키지 미디어인 이동 가능 매체(311), 프로그램이 일시적으로 또는 영구적으로 저장되는 ROM(도시하지 않음), 기억부(308)를 구성하는 하드 디스크 등을 포함한다.

그리고, 본 발명의 실시예는 전술한 실시예로 한정되지 않고, 본 발명의 요지를 벗어나지 않는 범위에 있어서 각종 변경이 가능하다.

본 발명은 첨부된 청구범위 또는 그 등가물의 요지 내에서 설계 요건 및 기타 요소에 따라 다양한 변경, 조합, 부분 조합 및 수정이 가능하다.

이상과 같이, 본 발명의 실시예에 따라 컨텐츠를 작성할 수 있다. 또, 본 발명의 일특징에 의하면, 예를 들어 영수증, 팜플렛, 티켓 등으로부터 생성된 메타데이터에 따라 컨텐츠를 분류할 수 있다.

Claims (20)

1. 정보 처리 장치에 있어서,

   서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 특징 추출 수단;

   추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면(face)의 화상인지를 판정하는 화상 판정 수단; 및

   상기 지정된 화상이 문자열(character string)이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에, 상기 문자열의 문자열 데이터인 제1 메타데이터(metadata)를 부가하는 메타데이터 부가 수단

   을 포함하는 정보 처리 장치.
2. 제1항에 있어서,

   상기 특징 추출 수단은 상기 지정된 화상에 나타나 있는 문자열인 상기 특징을 추출하는, 정보 처리 장치.
3. 제1항에 있어서,

   상기 특징 추출 수단은 상기 지정된 화상의 상기 특징을 추출하고, 상기 지 정된 화상에 나타나 있는 문자열을 인식하는, 정보 처리 장치.
4. 제1항에 있어서,

   서로 관련된 상기 복수개의 화상에 부가되어 있는 제2 메타데이터를 추출하는 메타데이터 추출 수단과,

   추출된 상기 제2 메타데이터에 기초하여 상기 복수개의 화상을 그룹으로 나누는 그룹화 수단(grouping means)

   을 더 포함하는 정보 처리 장치.
5. 제1항에 있어서,

   서로 관련된 상기 복수개의 화상에 부가되어 있는 제2 메타데이터를 추출하는 메타데이터 추출 수단과,

   추출된 상기 제2 메타데이터에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치된 컨텐츠를 작성하는 작성 수단

   을 더 포함하는 정보 처리 장치.
6. 제5항에 있어서,

   상기 작성 수단은, 상기 컨텐츠를 표시할 때에, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 따라, 상기 복수개의 화상의 배경이 되는 배경 화상과, 상기 컨텐츠에서의 상기 복수개의 화상의 배치를 설정하는,

   정보 처리 장치.
7. 제5항에 있어서,

   상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인지를 판정하는 공통 메타데이터 수 판정 수단(number-of-common metadata derermination means)

   을 더 포함하며,

   상기 작성 수단은, 상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치된 컨텐츠를 작성하는,

   정보 처리 장치.
8. 제5항에 있어서,

   상기 제1 메타데이터 또는 상기 제2 메타데이터가 단어로서 부가되어 있는 화상마다, 상기 제1 메타데이터 또는 상기 제2 메타데이터의 동의어를 취득하는 동의어 취득 수단과,

   상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인지를 판정하는 공통 메타데이터 수 판정 수단

   을 더 포함하며,

   상기 작성 수단은, 상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 상기 제1 메타데이터, 또는 상기 제2 메타데이터, 또는 각각의 화상의 상기 동의어에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치되는 컨텐츠를 작성하는,

   정보 처리 장치.
9. 제5항에 있어서,

   상기 컨텐츠의 표시를 제어하는 표시 제어 수단을 더 포함하는, 정보 처리 장치.
10. 정보 처리 방법에 있어서,

    서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 단계;

    추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면(face)의 화상인지를 판정하는 단계; 및

    상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에, 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는 단계

    를 포함하는 정보 처리 방법.
11. 컴퓨터에 의해 실행될 시에, 상기 컴퓨터로 하여금,

    서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하고;

    추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면(face)의 화상인지를 판정하고;

    상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에, 상기 문자열의 문자열 데이터인 제1 메타데이터를 부가하는,

    과정을 수행하도록 하는 컴퓨터 실행 가능한 명령을 포함하는 컴퓨터 프로그램 제품.
12. 정보 처리 장치에 있어서,

    서로 관련된 복수개의 화상 중 지정된 화상의 특징을 추출하는 특징 추출 유닛;

    추출된 상기 특징에 기초하여, 상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면(face)의 화상인지를 판정하는 화상 판정 유닛; 및

    상기 지정된 화상이 문자열이 기록되어 있는 증서, 증지, 티켓 또는 노트의 면의 화상인 것으로 판정된 경우, 상기 복수개의 화상 중 다른 화상에, 상기 문자열의 문자열 데이터인 제1 메타데이터(metadata)를 부가하는 메타데이터 부가 유닛

    을 포함하는 정보 처리 장치.
13. 제12항에 있어서,

    상기 특징 추출 유닛은 상기 지정된 화상에 나타나 있는 문자열인 상기 특징을 추출하는, 정보 처리 장치.
14. 제12항에 있어서,

    상기 특징 추출 유닛은 상기 지정된 화상의 상기 특징을 추출하고, 상기 지정된 화상에 나타나 있는 문자열을 인식하는, 정보 처리 장치.
15. 제12항에 있어서,

    서로 관련된 상기 복수개의 화상에 부가되어 있는 제2 메타데이터를 추출하는 메타데이터 추출 유닛과,

    추출된 상기 제2 메타데이터에 기초하여 상기 복수개의 화상을 그룹으로 나누는 그룹화 유닛

    을 더 포함하는 정보 처리 장치.
16. 제12항에 있어서,

    서로 관련된 상기 복수개의 화상에 부가되어 있는 제2 메타데이터를 추출하는 메타데이터 추출 유닛과,

    추출된 상기 제2 메타데이터에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치된 컨텐츠를 작성하는 컨텐츠 작성 유닛

    을 더 포함하는 정보 처리 장치.
17. 제16항에 있어서,

    상기 컨텐츠 작성 유닛은, 상기 컨텐츠를 표시할 때에, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 따라, 상기 복수개의 화상의 배경이 되는 배경 화상과, 상기 컨텐츠에서의 상기 복수개의 화상의 배치를 설정하는,

    정보 처리 장치.
18. 제16항에 있어서,

    상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인지를 판정하는 공통 메타데이터 수 판정 유닛

    을 더 포함하며,

    상기 컨텐츠 작성 유닛은, 상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 상기 제1 메타데이터 또는 상기 제2 메타데이터에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치되는 컨텐츠를 작성하는,

    정보 처리 장치.
19. 제16항에 있어서,

    상기 제1 메타데이터 또는 상기 제2 메타데이터가 단어로서 부가되어 있는 화상마다, 상기 제1 메타데이터 또는 상기 제2 메타데이터의 동의어를 취득하는 동의어 취득 유닛과,

    상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인지를 판정하는 공통 메타데이터 수 판정 유닛

    을 더 포함하며,

    상기 컨텐츠 작성 유닛은, 상기 제1 메타데이터 및 상기 제2 메타데이터에서 동일한 메타데이터가 부가되어 있는 화상의 수가 소정의 임계값 이상인 것으로 판정된 경우, 상기 제1 메타데이터, 또는 상기 제2 메타데이터, 또는 각각의 화상의 상기 동의어에 기초하여 그룹으로 나누어진 상기 복수개의 화상이 그룹에 따라 배치되는 컨텐츠를 작성하는,

    정보 처리 장치.
20. 제16항에 있어서,

    상기 컨텐츠의 표시를 제어하는 표시 제어 유닛을 더 포함하는, 정보 처리 장치.

Images