JP4645498B2

JP4645498B2 - 情報処理装置および方法、並びにプログラム

Info

Publication number: JP4645498B2
Application number: JP2006086130A
Authority: JP
Inventors: 卓之大輪; みさ田村; 聰赤川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-03-27
Filing date: 2006-03-27
Publication date: 2011-03-09
Anticipated expiration: 2026-03-27
Also published as: CN101046818A; CN100454312C; JP2007264795A; US20070282871A1; KR20070096890A; US7844115B2; EP1840771A2; EP1840771A3

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、メタデータに基づいてコンテンツを分類し、新たなコンテンツを作成することができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、HDD（Hard Disk Drive）レコーダやパーソナルコンピュータなどの機器において、コンテンツに付加されたメタデータを利用してコンテンツの検索を行うことができる。しかしこの場合、ユーザが、能動的にどのメタデータで検索したいかを、機器に対して働きかける必要がある。また、検索された結果が表示されたリストの中から、ユーザが、最終的に１つのコンテンツを選択しなければならない。

銀塩カメラで撮影された写真をアルバムに保存する場合、例えば、イベント毎、撮影された場所毎、日付毎にアルバムを分けたり、ページを分けたりして写真を保存することができる。さらに、撮影された写真に関連した、レシート、パンフレットやチケット等もあわせて保存することができる。これにより、年月が経ってから写真を探すときに、分類されたアルバムやページから、日付やイベント名をキーに容易にさかのぼることができる。

また、写真撮影されたフィルム画像を電子画像に変換し、これに撮影日や場所等の付加情報を付加して電子データとして保存管理し、画像が記録された写真フィルムを電子データと関連付けて保管するようにしたものもある（例えば、特許文献１参照）。

特開平１０−１４３６３１号公報

しかしながら、HDDレコーダやパーソナルコンピュータにおいて、写真や動画などのコンテンツを、銀塩カメラで撮影された写真のアルバムのように、レシート、パンフレットやチケット等に関連させて保存することはできない。

本発明は、このような状況に鑑みてなされたものであり、例えば、レシート、パンフレットやチケット等から生成したメタデータに基づいてコンテンツを分類することができるようにするものである。

本発明の一側面の情報処理装置は、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出する特徴抽出手段と、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する画像判定手段と、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加するメタデータ付加手段と、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出するメタデータ抽出手段と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定する共通メタデータ数判定手段と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する作成手段とを備える。

前記特徴抽出手段は、前記所定の画像にあらわれている文字列である前記特徴を抽出することができる。

前記特徴抽出手段は、前記所定の画像の前記特徴を抽出すると共に、前記所定の画像にあらわれている文字列を認識することができる。

前記情報処理装置には、前記第１または前記第２のメタデータで前記複数の画像をグループに分けるグループ分け手段をさらに設けることができる。

前記作成手段は、前記第１のメタデータまたは前記第２のメタデータに応じて、前記コンテンツを表示する場合の、前記複数の画像の背景となる背景画像と、前記コンテンツにおける前記複数の画像の配置とを設定することができる。

前記情報処理装置には、単語である前記第１のメタデータまたは前記第２のメタデータが付加されている画像毎に、前記第１のメタデータまたは前記第２のメタデータの類義語を取得する類義語取得手段をさらに設け、前記作成手段は、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータ、前記第２のメタデータ、または画像毎の前記類義語でグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成することができる。

前記情報処理装置には、前記コンテンツの表示を制御する表示制御手段をさらに設けることができる。

本発明の一側面の情報処理方法は、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出する特徴抽出手段と、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する画像判定手段と、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加するメタデータ付加手段と、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出するメタデータ抽出手段と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定する共通メタデータ数判定手段と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する作成手段とを備える情報処理装置の情報処理方法であって、前記特徴抽出手段が、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出し、前記画像判定手段が、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定し、前記メタデータ付加手段が、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加し、前記メタデータ抽出手段が、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出し、前記共通メタデータ数判定手段が、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定し、前記作成手段が、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成するステップを含む。

本発明の一側面のプログラムは、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出し、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定し、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加し、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出し、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定し、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、相互に関係付けられている複数の画像のうちの所定の画像の特徴が抽出され、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かが判定され、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータが付加され、相互に関係付けられている複数の画像に付加されている第２のメタデータが抽出され、第１のメタデータまたは第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かが判定され、第１のメタデータまたは第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、第１のメタデータまたは第２のメタデータでグループに分けられた複数の画像が、グループ毎に配置されてなるコンテンツが作成される。

以上のように、本発明の一側面によれば、コンテンツを作成することができる。また、本発明の一側面によれば、例えば、レシート、パンフレットやチケット等から生成したメタデータに基づいてコンテンツを分類することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の情報処理装置は、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出する特徴抽出手段（例えば、図２の特徴抽出部５４）と、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する画像判定手段（例えば、図２の画像判定部５５）と、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加するメタデータ付加手段（例えば、図２のメタデータ付加部５６）と、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出するメタデータ抽出手段（例えば、図２のメタデータ抽出部５７）と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定する共通メタデータ数判定手段（例えば、図２の共通メタデータ数判定部５９）と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する作成手段（例えば、図２のコンテンツ作成部５８）とを備える。

前記特徴抽出手段は、前記所定の画像にあらわれている文字列である前記特徴を抽出することができる（例えば、図５のステップＳ１３）。

前記特徴抽出手段は、前記所定の画像の前記特徴を抽出すると共に、前記所定の画像にあらわれている文字列を認識することができる（例えば、図５のステップＳ１４）。

前記情報処理装置には、前記第１または前記第２のメタデータで前記複数の画像をグループに分けるグループ分け手段（例えば、図２の演算部７２）とをさらに設けることができる。

前記作成手段は、前記第１のメタデータまたは前記第２のメタデータに応じて、前記コンテンツを表示する場合の、前記複数の画像の背景となる背景画像と、前記コンテンツにおける前記複数の画像の配置とを設定することができる（例えば、図６のステップＳ３６およびステップＳ３９）。

前記情報処理装置には、単語である前記第１のメタデータまたは前記第２のメタデータが付加されている画像毎に、前記第１のメタデータまたは前記第２のメタデータの類義語を取得する類義語取得手段（例えば、図２の類義語取得部６０）をさらに設け、前記作成手段は、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータ、前記第２のメタデータ、または画像毎の前記類義語でグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成することができる（例えば、図１１のステップＳ６４乃至ステップＳ７０）。

前記情報処理装置には、前記コンテンツの表示を制御する表示制御手段（例えば、図２の表示制御部５３）をさらに設けることができる。

本発明の一側面の情報処理方法は、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出し（例えば、図５のステップＳ１２およびステップＳ１３）、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定し（例えば、図５のステップＳ１５）、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加し（例えば、図５のステップＳ１８）、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出し、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定し（例えば、図１１のステップＳ６３）、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する（例えば、図１１のステップＳ６８およびステップＳ６９）ステップを含む。

本発明の一側面のプログラムは、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出し（例えば、図５のステップＳ１２およびステップＳ１３）、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定し（例えば、図５のステップＳ１５）、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加し（例えば、図５のステップＳ１８）、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出し、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定し（例えば、図１１のステップＳ６３）、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する（例えば、図１１のステップＳ６８およびＳ６９）ステップを含む処理をコンピュータに実行させる。

図１は、本発明の一実施の形態であるHDDレコーダの構成の例を示すブロック図である。

図１のHDDレコーダ１は、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。HDDレコーダ１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、HDDレコーダ１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。

AV信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、デジタルBS（Broadcasting Satellite）チューナもしくはデジタルCS（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。

HDDレコーダ１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。

図１のHDDレコーダ１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３、A/Dコンバータ１４、切換部１５、NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１、NTSCエンコーダ２２、およびD/Aコンバータ２３から構成される。

コーデック１１は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１６に供給する。

サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、変換されたデジタルオーディオ信号を切換部１５に供給する。

アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。

A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、A/D変換された結果であるデジタルオーディオ信号を切換部１５に供給する。

切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。

NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ１６は、変換されたNTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。

HDDレコーダ１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、エンコーダ１７に供給する。一方、HDDレコーダ１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。

エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルAV信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果である圧縮符号化された信号データを記録再生部１８に供給する。

記録再生部１８は、例えば、ハードディスクまたは光ディスクなどで構成される。記録再生部１８は、エンコーダ１７から供給された信号データを記録する。また、記録再生部１８は、記録された信号データをデコーダ２１に供給する。即ち、記録再生部１８は、記録された信号データを再生する。

操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、HDDレコーダ１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部２０に供給する。

制御部２０は、例えば、マイクロプロセッサなどからなり、操作部１９から供給されるユーザの操作を示す信号に基づいて、HDDレコーダ１全体を制御する。

デコーダ２１は、記録再生部１８から供給された信号データに対して、例えば、MPEG（Moving Picture Experts Group）方式など、上述した方式に対応する方式に従ったデコード処理を施す。デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。

NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ２２は、変換されたビデオ信号をモニタ２に供給する。

D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ２３は、変換された結果であるオーディオ信号をスピーカ３に供給する。

このような構成により、HDDレコーダ１は入力された映像信号および音声信号を記録、または再生することができる。

図２は、図１のHDDレコーダ１の記録再生部１８および制御部２０の構成の例を示すブロック図である。

記録再生部１８は、画像データベース３１、テンプレートデータベース３２、コンテンツデータベース３３、および辞書データベース３４から構成される。以下、画像データベース３１を画像DB３１と称し、テンプレートデータベース３２をテンプレートDB３２と称し、コンテンツデータベース３３をコンテンツDB３３と称し、辞書データベース３４を辞書DBと称することとする。

画像DB３１は、図１のエンコーダ１７から供給された画像のデータである画像データと、画像の属性を示すメタデータを対応づけて記憶する。

テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックに配置される画像の背景となる背景画像のデータである背景テンプレートおよびスクラップブックにおける画像の配置を設定する情報である配置テンプレートと、背景テンプレートまたは配置テンプレートの属性を示すメタデータとを対応づけて記録する。

コンテンツDB３３は、メタデータでグループに分けられた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックのデータを記録する。なお、コンテンツの詳細は後述する。

辞書DB３４は、例えば、国語辞典、英和辞典、和英辞典、類語辞典などの各種の辞典のデータを単語として記録する。

制御部２０は、選択部５１、記録再生制御部５２、表示制御部５３、特徴抽出部５４、画像判定部５５、メタデータ付加部５６、メタデータ抽出部５７、コンテンツ作成部５８、共通メタデータ数判定部５９、および類義語取得部６０から構成される。

選択部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を記録再生制御部５２に供給する。

選択部５１は、操作部１９から供給される、モニタ２に表示される画像、背景テンプレート、またはスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される画像、背景テンプレート、またはコンテンツを示す情報を記録再生制御部５２に供給する。

選択部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。

選択部５１は、記録再生制御部５２に読み出される画像の画像データから所定の画像データを選択する。

また、選択部５１は、操作部１９から供給される、同じメタデータを付加した画像の数を判定する閾値を設定するユーザの操作を示す信号に基づいて、ユーザにより設定される閾値を示す情報を共通メタデータ数判定部５９に供給する。

記録再生制御部５２は、記録再生部１８が行う記録、または再生を制御する。また、記録再生制御部５２は、記録再生部１８から画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを読み出す。

記録再生制御部５２は、選択部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。

記録再生制御部５２は、読み出された画像データを特徴抽出部５４に供給する。また、記録再生制御部５２は、新たに読み出され、メタデータ付加部５６から供給されるメタデータが付加された画像データを記録再生部１８に記録させる。

また、記録再生制御部５２は、読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを、コンテンツ作成部５８に供給する。

表示制御部５３は、記録再生制御部５２により読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを基に、デコーダ２１のデコード処理を制御する。

特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像の特徴を抽出する。具体的には、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出する。また、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。

さらに、特徴抽出部５４は、文字認識部７１を有する。文字認識部７１は、抽出された文字列の領域の文字を認識する。

特徴抽出部５４は、抽出された画像のエッジおよび平坦部の特徴の量を表す特徴量、および認識された文字列の文字を、画像判定部５５に供給する。

画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部の特徴の量を表す特徴量、および認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。画像判定部５５は、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、認識された文字列の文字に基づいて、文字列データを取得する。

画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。

メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、メタデータ付加部５６は、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に新たに読み出された画像データに付加する。

メタデータ抽出部５７は、記録再生制御部５２に読み出される画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。

また、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。メタデータ抽出部５７は、共通するメタデータが存在すると判定された場合、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給する。メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給する。

コンテンツ作成部５８は、メタデータ抽出部５７から供給されるメタデータ、または後述する類義語取得部６０から供給される類義語に基づいて、記録再生制御部５２に読み出された画像であって、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置されてなるコンテンツであるスクラップブックを作成する。コンテンツ作成部５８は、演算部７２、およびテンプレート設定部７３から構成される。

演算部７２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータまたは類義語で複数の画像をグループに分ける。演算部７２は、クラスタリング部９１、および階層決定部９２から構成される。

クラスタリング部９１は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて，画像のクラスタリングを行う。

階層決定部９２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。

ここで、図３および図４を参照して、演算部７２がメタデータで複数の画像をグループに分ける処理について説明する。

図３は、画像のグループ（クラスタ）の例を示す図である。

図３において、画像ｐ1乃至ｐ25は、記録再生部１８の画像DB３１に記録されている画像を示す。図３の１つの四角形は１枚の画像を表す。また、画像ｐ1乃至ｐ25には、それぞれメタデータが付加されている。

図３の例においては、画像ｐ1乃至ｐ12には、イベントを表すメタデータとして「結婚式」が付加されている。画像ｐ13乃至ｐ19には、イベントを表すメタデータとして「お花見」が付加されている。画像ｐ20乃至ｐ25には、イベントを表すメタデータとして「社員旅行」が付加されている。

クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。

具体的には、図３に示すように、クラスタリング部９１は、画像ｐ1乃至ｐ12からなるクラスタ、画像ｐ13乃至ｐ19からなるクラスタ、および画像ｐ20乃至ｐ25からなるクラスタを生成する。

図４は、図３の画像のグループ（クラスタ）を、さらにクラスタリングした例を示す図である。

画像ｐ1乃至ｐ25は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」の他にもメタデータを有する。具体的には、画像ｐ1乃至ｐ25は、「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」のいずれかのメタデータを有する。

クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。階層決定部９２は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」、およびイベントの中の下位のイベントであるサブイベントのメタデータである「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。

具体的には、図４に示すように、クラスタリング部９１および階層決定部９２は、画像ｐ1乃至ｐ3からなるクラスタ、画像ｐ4乃至ｐ7からなるクラスタ、画像ｐ8乃至ｐ12からなるクラスタ、画像ｐ13およびｐ14からなるクラスタ、画像ｐ15乃至ｐ17からなるクラスタ、画像ｐ18およびｐ19からなるクラスタ、画像ｐ20乃至ｐ22からなるクラスタ、並びに画像ｐ23乃至ｐ25からなるクラスタを生成する。

このように生成されたクラスタによって、作成されるスクラップブックのページが構成される。

図２に戻り、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートおよび配置テンプレートを読み出させる。テンプレート設定部７３は、読み出された背景テンプレートおよび配置テンプレートを生成されたクラスタに設定する。

コンテンツ作成部５８は、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に記録させる。

共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、選択部５１より取得した所定の閾値以上であるか否かを判定する。共通メタデータ数判定部５９は、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給する。

類義語取得部６０は、メタデータが付加されている画像毎に、メタデータの類義語を取得する。具体的には、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。

次に、HDDレコーダ１におけるメタデータの付加処理について説明する。

HDDレコーダ１の制御部２０は、例えば、記録再生部１８の所定のフォルダ内に画像が記録されると処理を開始する。

図５は、HDDレコーダ１におけるメタデータの付加処理の例を示すフローチャートである。

ステップＳ１１において、記録再生制御部５２は、記録再生部１８の所定のフォルダ内に記録された画像の画像データを読み出す。選択部５１は、記録再生制御部５２に読み出された画像データから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。

ステップＳ１２において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出する。なお、特徴抽出部５４は、画像データの画像における模様のくり返しの特徴を抽出したり、画像のダイナミックレンジやアクティビティなどの特徴を抽出したりするようにできる。即ち、特徴抽出部５４は、画像が、証紙、証書、券、または帖の画像である場合と、人物または風景の画像である場合とを区別する場合に用いることができる画像の特徴を抽出する。

ステップＳ１３において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。例えば、特徴抽出部５４は、ステップＳ１２において検出されたエッジの位置、検出されたエッジに囲まれる領域のトポロジーなどを基に、文字列の領域を抽出する。

ステップＳ１４において、特徴抽出部５４の文字認識部７１は、抽出された領域の画像に含まれる文字列の文字を認識する。特徴抽出部５４は、抽出された画像のエッジおよび平坦部などの特徴の量を表す特徴量、および認識された文字列の文字を、画像判定部５５に供給する。

ステップＳ１５において、画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部などの特徴の量を表す特徴量、および認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。即ち、画像判定部５５は、選択された画像が、証紙、証書、券、または帖の画像であるか、人物または風景の画像であるかを判定する。例えば、画像判定部５５は、画像にほぼ同じ大きさの文字が２０文字以上含まれている場合、画像にほぼ同じ大きさの文字が１０文字以上含まれ、かつ、文字におけるエッジが画像のエッジ全体の８０％以上を占め、かつ、平坦部が画像の６０％以上を占める場合など、証書、証紙、券、または帖の面の画像であると判定する。

ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。

ステップＳ１７において、選択部５１は、記録再生制御部５２に読み出された画像データから他の画像データを選択する。

ステップＳ１８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に読み出されている、選択部５１により新たに選択された他の画像の画像データに付加し、処理は終了する。

一方、ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理は終了する。

なお、ステップＳ１１に戻り、読み出された画像から次の画像を選択し、読み出した画像の全てについて、順に上述した処理を適用するようにしてもよい。

このように、HDDレコーダ１は、証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、他の画像に付加することができる。

次に、HDDレコーダ１におけるスクラップブックの作成処理について説明する。

HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの作成処理の指示を取得すると処理を開始する。

図６は、HDDレコーダ１におけるスクラップブックの作成処理の例を示すフローチャートである。

ステップＳ３１において、選択部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、選択部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。記録再生制御部５２は、読み出された画像データを、メタデータ抽出部５７およびコンテンツ作成部５８に供給する。

ステップＳ３２において、コンテンツ作成部５８は、スクラップブックを自動で作成するか否かを判定する。具体的には、コンテンツ作成部５８は、操作部１９から供給される、スクラップブックを自動で作成するか否かを選択するユーザの操作、例えば、自動作成ボタンのクリックを示す信号に基づいて、スクラップブックを自動で作成するか否かを判定する。

ステップＳ３２において、スクラップブックを自動で作成すると判定された場合、処理はステップＳ３３に進む。

ステップＳ３３において、メタデータ抽出部５７は、記録再生制御部５２に読み出された所定のフォルダに保存されている画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。

ステップＳ３４において、コンテンツ作成部５８の演算部７２は、抽出されたメタデータに基づいて、イベント毎に画像をクラスタリングする。即ち、クラスタリング部９１は、所定のフォルダに保存されている画像データに付加されている、イベントを表すメタデータに基づいて、画像をグループに分ける。

ステップＳ３５において、コンテンツ作成部５８のテンプレート設定部７３は、クラスタリングされた、それぞれのイベントに対応するメタデータが付加されている背景テンプレートを読み出す。即ち、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータに応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートを読み出させる。

ステップＳ３６において、テンプレート設定部７３は、クラスタリングされたイベントクラスタに対して、読み出された背景テンプレート、即ち、イベント毎に対応するメタデータが付加されている背景テンプレートを設定する。

図７は、背景テンプレートの構成の例を示す図である。図７に示される１１１−１乃至１１１−３の背景テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、イベント毎のクラスタであるイベントクラスタを生成する画像データに付加されているメタデータに対応するメタデータを有する背景テンプレートを設定する。

ステップＳ３７において、演算部７２は、各イベントの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。即ち、演算部７２は、メタデータに基づいて、サブイベント毎に画像をグループ分けし、サブイベント毎のページに画像を分ける。

ステップＳ３８において、テンプレート設定部７３は、それぞれのサブイベントにクラスタリングされた画像の数に応じて、ページ毎の配置テンプレートを読み出す。

ステップＳ３９において、テンプレート設定部７３は、各ページに対して、読み出されたページ毎の配置テンプレートを設定する。

図８は、配置テンプレートの構成の例を示す図である。図８に示される１３１−１乃至１３１−３の配置テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、サブイベント毎のクラスタであるサブイベントクラスタを生成する画像データに付加されているメタデータ、およびサブイベントの各ページにおける画像の数に対応する配置テンプレートを設定する。

図９は、作成されるスクラップブックの所定のページの構成の例を示す図である。

図９の例において、ページ１５１には、背景テンプレート１１１および配置テンプレート１３１が設定されている。背景テンプレート１１１は、例えば、ページ１５１に配置されている４枚の画像のメタデータと同じメタデータを有する。また、配置テンプレート１３１によって、例えば、４枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。ユーザは、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができる。

ステップＳ４０において、コンテンツ作成部５８は、メタデータでグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給し記録させ、処理は終了する。

図１０は、作成されるスクラップブックの構成の例を示す図である。

図１０の例において、スクラップブック１７１は、ページ１５１乃至ページ１５５の５ページで構成される。スクラップブック１７１のページ１５１乃至ページ１５５に配置されている画像は全て、同じイベントを表すメタデータを有する。スクラップブック１７１には、そのメタデータに対応する背景テンプレート１１１が設定される。ページ１５１は、スクラップブック１７１の表紙となる。ページ１５２乃至ページ１５５には、ページ１５１と同様に、それぞれ配置テンプレート１３１によって決定される所定の数の画像が配置される。

また、ページ１５１乃至ページ１５５のいずれかには、証書、証紙、券、または帖の面の画像を配置するようにしてもよい。

一方、ステップＳ３２において、スクラップブックを自動で作成しないと判定された場合、処理はステップＳ４１に進む。ステップＳ４１乃至ステップＳ４６において、手動でスクラップブックが作成される。

ステップＳ４１において、選択部５１は、操作部１９から供給される、読み出された所定のフォルダ内から画像を選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダ内の画像を示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、選択部５１から供給される、ユーザにより選択される画像を示す情報に基づいて、所定のフォルダに保存され、ユーザにより選択された画像データを読み出す。記録再生制御部５２は、選択された画像データをコンテンツ作成部５８に供給する。

ステップＳ４２において、コンテンツ作成部５８の演算部７２は、ステップＳ４１において選択された画像データを、１つのクラスタにグループ化する。

ステップＳ４３において、選択部５１は、操作部１９から供給される、背景テンプレートを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される背景テンプレートを示す情報を記録再生制御部５２に供給する。

ステップＳ４４において、記録再生制御部５２は、選択部５１から供給される、ユーザにより選択される背景テンプレートを示す情報に基づいて、記録再生部１８から、背景テンプレートを読み出す。

ステップＳ４５において、テンプレート設定部７３は、記録再生制御部５２から、選択された背景テンプレートを取得する。テンプレート設定部７３は、画像がグループ化されたクラスタに対して、記録再生制御部５２により取得した背景テンプレートを設定する。

ステップＳ４６において、演算部７２は、グループの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングし、サブイベント毎のページに画像を分けて処理はステップＳ３８に進む。

このようにして、HDDレコーダ１は、メタデータでグループに分けられた複数の画像が、グループ毎に配置されてなるスクラップブックを作成することができる。

なお、スクラップブックは、画像データから生成される新たな画像データの組み合わせとしてもよく、また、画像データを参照し、画像の表示位置を指定するデータである編集データとしてもよい。

さらに、スクラップブックは、複数の他のスクラップブックとリンクさせるようにしてもよい。具体的には、例えば、それぞれのスクラップブックに配置されている画像に付加されている所定のメタデータを関連づけることによって、スクラップブック同士をリンクさせることができる。また、例えば、同じ画像が配置されているスクラップブック同士をリンクさせるようにしてもよい。

次に、HDDレコーダ１におけるスクラップブックの自動生成処理について説明する。

HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックの自動生成処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックの自動生成処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックの自動生成処理を行うようにしてもよい。

図１１は、HDDレコーダ１におけるスクラップブックの自動生成処理の例を示すフローチャートである。

ステップＳ６１において、記録再生制御部５２は、記録再生部１８からスクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。

ステップＳ６２において、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている画像が存在するか否かを判定する。

ステップＳ６２において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給し、処理はステップＳ６３に進む。

ステップＳ６３において、共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、選択部５１より取得した所定の閾値以上であるか否かを判定する。ステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給すると共に、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ６４に進む。

ステップＳ６４において、コンテンツ作成部５８は、共通メタデータ数判定部５９から供給される同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報に応じて、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている画像データを取得する。

ステップＳ６５において、類義語取得部６０は、共通するメタデータが付加されている画像データであって、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。コンテンツ作成部５８のテンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に対応するメタデータが付加されている背景テンプレートを読み出す。

ステップＳ６６において、テンプレート設定部７３は、共通するメタデータが付加されている画像に対して、読み出された背景テンプレートを設定する。

ステップＳ６７において、演算部７２は、共通するメタデータが付加されている画像に付加されている他のメタデータに基づいて、サブイベント毎に画像をクラスタリングする。

図１１のフローチャートにおけるステップＳ６８乃至Ｓ７０の処理は、図６のフローチャートにおけるステップＳ３８乃至Ｓ４０の処理のそれぞれと同様であるのでその説明は省略する。

ステップＳ７１において、メタデータ抽出部５７は、抽出されたメタデータのうち、他の共通するメタデータが存在しないか否かを判定する。ステップＳ７０において、他の共通するメタデータが存在しないと判定された場合、処理はステップＳ７１に進む。

一方、ステップＳ７１において、他の共通するメタデータが存在すると判定された場合、処理はステップＳ６３に戻り、ステップＳ６３以降の処理を繰り返す。

また、ステップＳ６２において、共通するメタデータが存在しないと判定された場合、処理は終了する。さらにステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上でないと判定された場合、処理は終了する。

このようにして、HDDレコーダ１は、共通するメタデータが付加された画像の数が、所定の閾値以上になった場合、共通するメタデータが付加されている画像からなるスクラップブックを自動生成することができる。

次に、HDDレコーダ１におけるスクラップブックへの画像の追加処理について説明する。

HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックへの画像の追加処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックへの画像の追加処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックへの画像の追加処理を行うようにしてもよい。

図１２は、HDDレコーダ１におけるスクラップブックのへの画像の追加処理の例を示すフローチャートである。

ステップＳ８１において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。例えば、記録再生制御部５２は、図１１のスクラップブックの作成処理において、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報を参照することによって、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在すると判定された場合、処理はステップＳ８２に進む。

ステップＳ８２において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報に基づいて、共通するメタデータが付加されている画像からなるスクラップブックを、記録再生部１８から読み出す。また、記録再生制御部５２は、スクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックのメタデータ、およびスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。

ステップＳ８３において、メタデータ抽出部５７は、抽出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータのうち、スクラップブックに付加されている共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている他の画像が存在するか否かを判定する。

ステップＳ８３において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ８４に進む。

ステップＳ８４において、コンテンツ作成部５８は、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている他の画像データを選択する。また、コンテンツ作成部５８は、共通するメタデータが付加されている画像からなるスクラップブックに保存されている画像データを選択する。

ステップＳ８５において、演算部７２は、スクラップブックに保存されている画像データおよび共通するメタデータが付加されている他の画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。

図１２のフローチャートにおけるステップＳ８６乃至Ｓ８８の処理は、図６のフローチャートにおけるステップＳ３８乃至Ｓ４０の処理のそれぞれと同様であるのでその説明は省略する。

一方、ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在しないと判定された場合、処理は終了する。

また一方、ステップＳ８３において、共通するメタデータが存在しないと判定された場合、処理は終了する。

このようにして、HDDレコーダ１は、既に生成されている、共通するメタデータが付加されている画像からなるスクラップブックに、画像を追加することができる。

上述した説明では、HDDレコーダ１は、予め画像データに付加されているメタデータに基づいて、スクラップブックを作成するようにしたが、作成されているスクラップブックに、新たにメタデータを付加するようにしてもよい。

より具体的に、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理について説明する。

HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がメタデータの付加処理の指示を取得すると処理を開始する。

図１３は、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理の例を示す。

ステップＳ１０１において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを示す情報に基づいて、記録再生部１８からユーザにより選択されたスクラップブックのデータを読み出す。

ステップＳ１０２において、選択部５１は、記録再生制御部５２に読み出されたスクラップブックのデータから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。

図１３のフローチャートにおけるステップＳ１０３乃至Ｓ１０５の処理は、図５のフローチャートにおけるステップＳ１２乃至Ｓ１４の処理のそれぞれと同様であるのでその説明は省略する。

ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。

ステップＳ１０８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に読み出されたスクラップブックに付加し、処理は終了する。

一方、ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理はステップＳ１０９に進む。

ステップＳ１０９において、選択部５１は、操作部１９から供給される、スクラップブックから他の画像を選択するか否かを表すユーザの操作を示す信号に基づいて、記録再生制御部５２に、スクラップブックから他の画像を選択するか否かを示す情報を供給する。即ち、記録再生制御部５２は、スクラップブックから他の画像を選択するか否かを判定する。

ステップ１０９において、スクラップブックから他の画像を選択すると判定された場合、処理はステップＳ１０２に戻り、ステップＳ１０２以降の処理を繰り返す。

一方、ステップＳ１０９において、スクラップブックから他の画像を選択しないと判定された場合、処理は終了する。

このように、制御部２０は、スクラップブックに保存されている証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、スクラップブックに付加することができる。

次に、HDDレコーダ１におけるスクラップブックの表示処理について説明する。

HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの表示処理の指示を取得すると処理を開始する。

図１４は、スクラップブックの表示処理の例を示すフローチャートである。

ステップＳ１２１において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを表示する一覧の表示パターンを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報を記録再生制御部５２に供給する。

ステップＳ１２２において、記録再生制御部５２は、記録再生部１８から記録されている全部のスクラップブックを読み出す。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報に応じて、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２にスクラップブックの一覧を表示させる。

ステップＳ１２３において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックの一覧からスクラップブックの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報を記録再生制御部５２に供給する。

図１５乃至図１７は、モニタ２に表示されるスクラップブックの一覧の例を示す図である。

図１５は、インデックス形式で表示されるスクラップブックの一覧の例を示す図である。図１５の例においては、モニタ２の画面１９１上に、それぞれのスクラップブックの表紙となる１ページ目が一覧として表示されている。ユーザは、操作部１９を操作し、カーソル２１１を移動させスクラップブックの１つを選択することができる。

図１６は、カレンダーを用いて表示されるスクラップブックの一覧の例を示す図である。
モニタ２の画面１９１は、左方に表示されるカレンダー表示領域と、右方に表示されるプレビュー画面表示領域とから構成される。カレンダー表示領域には、スクラップブックに付加されている、日付を表すメタデータに基づいて、カレンダーの対応する日の欄に、それぞれのスクラップブックの表紙となる１ページ目が表示される。プレビュー画面表示領域には、カレンダー表示領域のカーソル２３１−１により選択される日に存在するスクラップブックのプレビュー画面２３１−２が表示される。

図１６の例においては、１１月を表すカレンダー表示領域において、カーソル２３１−１によって１１月１８日が選択されている。プレビュー画面表示領域には、選択された１１月１８日のメタデータが付加されているスクラップブックのプレビュー画面２３１−２が表示される。

図１７は、地図を用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示される地図表示領域と、右方に表示される一覧表示領域とから構成される。地図表示領域には、所定の地域を表す地図が表示される。ユーザは、表示される地図上の所定の場所を選択することができる。一覧表示領域には、ユーザにより選択された場所のメタデータが付加されているスクラップブックの一覧が表示される。

図１７の例においては、地図表示領域の地図上の「東京都」がカーソル２５１−１により選択されている。一覧表示領域には、「東京都」のメタデータが付加されているスクラップブックの表紙が表示される。ユーザは、表示された一覧から、スクラップブックの１つを選択することができる。

このようにして、表示されたスクラップブックの一覧からスクラップブックの１つを選択することができる。

図１４に戻り、ステップＳ１２４において、記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報に基づいて、選択されたスクラップブックを表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの最初のページを表示させる。

ステップＳ１２５において、記録再生制御部５２は、表示されているスクラップブックの次のページが存在しないか否かを判定する。ステップＳ１２５において、次のページが存在しないと判定された場合、処理は終了する。

一方、ステップＳ１２５において、次のページが存在すると判定された場合、処理はステップＳ１２６に進む。

ステップＳ１２６において、制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの次のページを表示させ、処理はステップＳ１２５に戻る。

このように、HDDレコーダ１は、スクラップブックを表示させることができる。

なお、上述した説明では、画像データへのメタデータの付加処理は、制御部２０が自動で行うようにしたが、ユーザが操作部１９を操作し、証書、証紙、券、または帖の画像を選択することによって、メタデータの付加処理を行うようにしてもよい。

また、上述した説明では、画像データからスクラップブックを作成するものとしたが、スクラップブックからスクラップブックを作成するようにしてもよい。

このように、コンテンツの作成を制御するようにした場合には、コンテンツを作成することができる。また、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出し、抽出された特徴から、所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定し、所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、複数の画像のうちの他の画像に、文字列の文字列データである第１のメタデータを付加するようにした場合には、例えば、レシート、パンフレットやチケット等から生成したメタデータに基づいてコンテンツを分類することができる。

また、本発明は、HDDレコーダに限らず、画像やコンテンツを記録または再生できる機器であればよく、例えば、パーソナルコンピュータなどに適用できる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM（図示せず）や、記憶部３０８を構成するハードディスクなどにより構成される。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施の形態であるHDDレコーダの例を示す図である。 HDDレコーダの制御部の構成の例を示すブロック図である。画像のクラスタの例を示す図である。画像のクラスタを、さらにクラスタリングした例を示す図である。メタデータの付加処理の例を説明するフローチャートである。スクラップブックの作成処理の例を説明するフローチャートである。背景テンプレートの例を示す図である。配置テンプレートの例を示す図である。スクラップブックの所定のページの構成の例を示す図である。スクラップブックの構成の例を示す図である。スクラップブックの自動生成処理の例を説明するフローチャートである。スクラップブックへの画像の追加処理の例を説明するフローチャートである。メタデータの付加処理の他の例を説明するフローチャートである。スクラップブックの表示処理の例を説明するフローチャートである。スクラップブックの一覧の表示の例を示す図である。スクラップブックの一覧の表示の他の例を示す図である。スクラップブックの一覧の表示のさらに他の例を示す図である。パーソナルコンピュータの構成の例を示す図である。

符号の説明

１ HDDレコーダ，２モニタ，１８記録再生部，１９操作部，２０制御部，３１画像DB，３２テンプレートDB，３３コンテンツDB，３４辞書DB，５１選択部，５２記録再生制御部，５３表示制御部，５４特徴抽出部，５５画像判定部，５６メタデータ付加部，５７メタデータ抽出部，５８コンテンツ作成部，５９共通メタデータ数判定部，６０類義語取得部，７１文字認識部，７２演算部，７３テンプレート設定部，９１クラスタリング部，９２階層決定部，３０８記憶部，３１１リムーバブルメディア

Claims

相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出する特徴抽出手段と、
抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する画像判定手段と、
前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加するメタデータ付加手段と、
相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出するメタデータ抽出手段と、
前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定する共通メタデータ数判定手段と、
前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する作成手段と
を備える情報処理装置。
前記特徴抽出手段は、前記所定の画像にあらわれている文字列である前記特徴を抽出する
請求項１に記載の情報処理装置。
前記特徴抽出手段は、前記所定の画像の前記特徴を抽出すると共に、前記所定の画像にあらわれている文字列を認識する
請求項１に記載の情報処理装置。
前記第１または第２のメタデータで前記複数の画像をグループに分けるグループ分け手段をさらに備える
請求項１に記載の情報処理装置。
前記作成手段は、前記第１のメタデータまたは前記第２のメタデータに応じて、前記コンテンツを表示する場合の、前記複数の画像の背景となる背景画像と、前記コンテンツにおける前記複数の画像の配置とを設定する
請求項１に記載の情報処理装置。
単語である前記第１のメタデータまたは前記第２のメタデータが付加されている画像毎に、前記第１のメタデータまたは前記第２のメタデータの類義語を取得する類義語取得手段をさらに備え、
前記作成手段は、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータ、前記第２のメタデータ、または画像毎の前記類義語でグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する
請求項１に記載の情報処理装置。
前記コンテンツの表示を制御する表示制御手段をさらに備える
請求項１に記載の情報処理装置。
相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出する特徴抽出手段と、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する画像判定手段と、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加するメタデータ付加手段と、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出するメタデータ抽出手段と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定する共通メタデータ数判定手段と、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する作成手段とを備える情報処理装置の情報処理方法であって、
前記特徴抽出手段が、相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出し、
前記画像判定手段が、抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定し、
前記メタデータ付加手段が、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加し、
前記メタデータ抽出手段が、相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出し、
前記共通メタデータ数判定手段が、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定し、
前記作成手段が、前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する
ステップを含む情報処理方法。
相互に関係付けられている複数の画像のうちの所定の画像の特徴を抽出し、
抽出された前記特徴から、前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定し、
前記所定の画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、前記複数の画像のうちの他の画像に、前記文字列の文字列データである第１のメタデータを付加し、
相互に関係付けられている前記複数の画像に付加されている第２のメタデータを抽出し、
前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であるか否かを判定し、
前記第１のメタデータまたは前記第２のメタデータのうち、同じものが付加された画像の数が、所定の閾値以上であると判定された場合、前記第１のメタデータまたは前記第２のメタデータでグループに分けられた前記複数の画像が、グループ毎に配置されてなるコンテンツを作成する
ステップを含む処理をコンピュータに実行させるプログラム。