JP6137295B2 - 画像情報処理装置及びプログラム - Google Patents

Description

本発明は、画像情報処理装置及びプログラムに関する。

近年、記録媒体の低廉化等に伴い、ユーザは、大量の画像データ、音声データ、文書データ等のコンテンツデータを保有するようになっている。このため、大量のコンテンツデータの適切な管理が求められている。例えば、特許文献１の記載は、同一の属性を示す撮影画像を、まとめて１つの記録用フォルダに記録する方法を開示しており、撮影画像の管理を容易にしている。

また、画像データを蓄積して表示するデジタルフォトフレームにおいて、写真ごとに、当該写真を撮影したときの、ユーザの「日常度」の情報を、例えば「平日／祝祭日」の別や、滞在場所などの情報から生成して写真に関連付けて記録する技術が、特許文献２に開示されている。この「日常度」の情報は例えば、観光のときなどの非日常の写真を優先的に再生する、などの処理において利用される。

特開２００４−３１２２４４号公報 特開２０１０−０７２８１８号公報

しかしながら、日常度のような情報に基づいて表示をするのでは、例えば複数回、それぞれ別の場所へ旅行をした後に写真を整理しようとすると、いずれも同じ「非日常」の写真として検出されてしまい、特定のイベントの写真を検索するということができず、利便性を十分に向上できない。

本発明は上記従来例の問題点に鑑みてなされたもので、利便性を向上できる画像情報処理装置及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、画像情報処理装置であって、少なくとも一つの付加情報を含む画像データを受け入れて、当該画像データを予め定めたサイズに縮小ないし拡大したサムネイル画像データに関連付けて蓄積して記憶する記憶手段と、少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連するサムネイル画像データを、前記蓄積した画像データから抽出して提示する手段と、さらに、しぼりこみを行うべき旨の指示を受けて、前記記憶手段に格納された画像データに含まれる付加情報の一覧を生成し、当該一覧の少なくとも一部を提示する手段と、前記提示された付加情報のうち、いずれかの付加情報の選択を受けて、現在一覧表示しているサムネイル画像データのうち、関連する画像データが当該選択された付加情報を含むサムネイル画像データを抽出し、当該抽出したサムネイル画像データの一覧を改めて表示する手段と、を含むこととしたものである。

また、既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブルを保持する保持手段と、当該保持手段に保持された付加情報追加条件のうち、前記受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段と、前記取り出した付加情報を、前記受け入れた画像データに追加的に含める手段と、を含んでもよい。

またここで、前記付加情報は、Ｅｘｉｆのメタデータ部に含まれる情報であってもよいし、前記付加情報は、ネットワークを介して接続されたサーバから取得された情報であってもよい。

また、前記しぼりこみを行うべき旨の指示を受けて付加情報を提示する際には、現在一覧表示している画像データに関連する付加情報を選択して提示してもよい。

さらに、前記付加情報を削除する手段をさらに含んでもよく、画像データに付加情報を追加または削除することにより、前記選択されたサムネイル画像データに係る画像データをアルバムに含めるか否かが切り替えられることとしてもよい。また、アルバムを表す付加情報と、「お気に入り」を表す付加情報と、「ゴミ箱に入れる」ことを表す付加情報とが設定されており、サムネイル画像データの一覧を提示して、当該一覧から選択されたサムネイル画像データに関連する画像データに対し、前記アルバムを表す付加情報と、「お気に入り」を表す付加情報と、「ゴミ箱に入れる」ことを表す付加情報のいずれかを付加、あるいは削除する旨の指示を受け入れて、当該指示に従って前記選択されたサムネイル画像データに関連する画像データに対し前記付加情報を付加、あるいは削除する処理を行う手段をさらに含んでもよい。

さらに本発明の一態様は、コンピュータを、画像情報処理装置として機能させるプログラムであって、前記コンピュータを、少なくとも一つの付加情報を含む画像データを受け入れて、当該画像データを予め定めたサイズに縮小ないし拡大したサムネイル画像データに関連付けて蓄積して記憶する記憶手段と、少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連するサムネイル画像データを、前記蓄積した画像データから抽出して提示する手段と、さらに、しぼりこみを行うべき旨の指示を受けて、前記記憶手段に格納された画像データに含まれる付加情報の一覧を生成し、当該一覧の少なくとも一部を提示する手段と、前記提示された付加情報のうち、いずれかの付加情報の選択を受けて、現在一覧表示しているサムネイル画像データのうち、関連する画像データが当該選択された付加情報を含むサムネイル画像データを抽出し、当該抽出したサムネイル画像データの一覧を改めて表示する手段と、として機能させることとしたものである。

本実施の形態によると、画像情報を、付加情報別に抽出して表示することができるので、利便性を向上できる。

本発明の実施の形態に係る画像情報処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像情報処理装置が受け入れる画像データの内容例を表す説明図である。 本発明の実施の形態に係る画像情報処理装置が用いる付加情報設定テーブルの内容例を表す説明図である。 本発明の実施の形態に係る画像情報処理装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る画像情報処理装置における画像データの蓄積態様の例を表す説明図である。 本発明の実施の形態に係る画像情報処理装置の画面表示例を表す説明図である。 本発明の実施の形態に係る画像情報処理装置のまた別の画面表示例を表す説明図である。 本発明の実施の形態に係る画像情報処理装置のもう一つの例を表す機能ブロック図である。 本発明の実施の形態に係る画像情報処理装置が用いる特別日データベースの内容例を表す説明図である。 本発明の実施の形態に係る画像情報処理装置が実行する処理の内容例を表すフローチャート図である。

本発明の実施の形態に係る画像情報処理装置１は、図１に例示するように、制御部１１、記憶部１２、操作受入部１３、表示出力部１４、画像入力部１５、計時部１６及び通信部１７を含んで構成される。本実施の形態のある例では、この画像情報処理装置１は、家庭用テレビと、ネットワーク（インターネット）とに接続される。

ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態において、この制御部１１は、少なくとも一つの付加情報を含む画像データを受け入れて、蓄積して記憶させる手段として機能する。また、保持手段としての記憶部１２に保持された付加情報追加条件のうち、受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段、並びに、この取り出した付加情報を、受け入れた画像データに追加的に含める手段としても機能する。

さらに制御部１１は、少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段、及び、当該提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連する画像データを、蓄積した画像データから抽出して提示する手段としても機能する。この制御部１１の具体的な動作については後に詳しく述べる。

記憶部１２は、メモリデバイスを含んで構成される。この記憶部１２は、またハードディスクドライブ等のディスクデバイスを含んでもよい。この記憶部１２は、制御部１１によって実行されるプログラムを保持する。このプログラムは、例えばＤＶＤ−ＲＯＭ等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されて格納される。または、このプログラムは、ネットワーク上のサーバ装置からダウンロードによって取得されたものであってもよい。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。なお、記憶部１２には不揮発性のメモリが含まれてもよい。この不揮発性メモリには電源断があったとしても保持しておくべきデータ（例えば起動時に必要なパラメータのデータ等）が保持される。

さらに、本実施の形態においてこの記憶部１２は、制御部１１から入力される指示に従って、画像データを蓄積して記憶する。本実施の形態において画像データは、図２に例示するように、画像データの本体（Ｂ）と、付加情報（Ｈ）とを関連付けたものとなっている。一例として画像データは、デジタルカメラ等で撮影された、ＪＰＥＧ（Joint Picture Experts Group）形式の画像データ本体と、メタデータ部とを含んだＥｘｉｆ（Exchangeable image file format）フォーマットのデータであってもよい。また付加情報はこのメタデータ部に含まれてもよい。また画像データは静止画像だけに限られず、動画像のデータであってもよい。動画像データである場合も、データ本体と付加情報とを含むフォーマットとすればよい。ここで付加情報には、撮影日の情報、撮影場所を表す緯度経度標高の情報（いわゆるジオタグ）、カメラの向いている方角を表す情報等、カメラ等のデバイスが付加する情報を含む。また本実施の形態の付加情報には、利用者が設定した文字列等の情報も含まれる。

さらに記憶部１２は、既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブル（付加情報設定テーブル）を保持する。一例としてこのテーブルは図３に示すように、画像データに含まれる付加情報のうち、撮影日時の情報と法定の祝祭日との関係等、既存の付加情報に基づく条件（Ａ）に対応して、新たに付加するべき付加情報（Ｂ）を関連付けたものである。

操作受入部１３は、利用者からの指示操作を受け入れて制御部１１に出力する。この操作受入部１３は、例えばボタンやスイッチ等を含む。またこの操作受入部１３は、利用者の操作を受け入れるリモートコントロールユニットと、このリモートコントロールユニットから無線または有線にて当該利用者の操作を受信する受信器とを含んでもよい。一例としてこの操作受入部１３は、赤外線によるリモートコントロールを受け入れるユニットを含んでなる。

表示出力部１４は、制御部１１から入力される指示に従って、利用者に提示するべき画面の画像を表す画面情報を外部に出力する。この表示出力部１４は、例えば制御部１１から指示される画面情報を、テレビ信号に変換して、外部のテレビに出力する。

画像入力部１５は、例えば、赤外線受信器や、メモリカードリーダー等であり、制御部１１から入力される指示に従い、これらのインタフェースを介して画像データの入力を受け入れて、受け入れた画像データを制御部１１に出力する。計時部１６は、カレンダーＩＣ等を含んで構成され日時を計時する。この計時部１６の計時している日時は、制御部１１からの指示により設定される。通信部１７は、例えばネットワークインタフェース等であり、制御部１１から入力される指示に従ってデータを外部に出力する。またこの通信部１７は、外部から受信したデータを制御部１１に出力する。

次に、制御部１１による処理について述べる。本実施の形態の制御部１１は、設定処理、画像データ取り込み処理、メニュー提示処理、カレンダー表示処理、アルバム整理処理、アルバム表示処理等の処理を実行する。

［設定処理］
制御部１１は、利用者の指示により、現在日時、画面のデザイン、画像データを連続的に表示する際の表示時間（スライドショーの間隔）、接続されているテレビの画面比率、被写体となり得る人物の誕生日情報等の設定を受け入れて、これらを計時部１６や記憶部１２に設定ないし保持する。

例えば制御部１１は、利用者が現在日時の設定を行うと、当該設定の内容で計時部１６の計時日時を上書きする。また、被写体となり得る人物の名前と誕生日情報とが入力されると、これらを関連付けて記憶部１２に、誕生日データベースとして保持してもよい。

［画像データ取り込み処理］
本実施の形態のある例では、操作受入部１３に、本実施の形態の画像情報処理装置１の筐体に設けた「取り込み」スイッチを含む。利用者が画像入力部１５の、例えばメモリカードリーダーにメモリカードを挿入し、この「取り込み」スイッチを押下すると、制御部１１が、当該操作を受け入れて、以下の画像データ取り込み処理を行う。

この画像データ取り込み処理は、機能的には、図４に例示するように、画像データ取得部２１と、付加情報読出部２２と、情報展開部２３と、新規付加情報設定部２４と、蓄積処理部２５とを含んで構成される。

画像データ取得部２１は、「取り込み」スイッチが押下されたことを受けて、画像入力部１５を介して画像データを取得する。一例として、画像データが、画像入力部１５としてのメモリカードリーダーに差し込まれたメモリカードに格納されている場合は、画像データ取得部２１は、当該メモリカードから未だ読み出していない画像データを一つ、読み出して取得する。

付加情報読出部２２は、画像データ取得部２１が取得した画像データから付加情報を抽出する。上述のように、画像データがＥｘｉｆ形式である場合は、この付加情報読出部２２はメタデータ部に含まれる情報を読み出す。

情報展開部２３は、付加情報読出部２２が読み出した情報に基づいて、予め定めた種類の情報を、生成または通信部１７を介した通信により取得する。一例として、この情報展開部２３は、ジオタグを、通信部１７を介して予め設定されたサーバに送信し、ジオタグに対応する地名・施設名情報を受信して取得する。このようなサーバとしては、日本国の国土交通省が提供している位置参照情報サーバや、米国グーグル社が提供するグーグル・マップのサービス等があるので詳しい説明を省略する。

また、この情報展開部２３の処理の別の例は次のようなものである。すなわち、記憶部１２に誕生日データベースが保持されている場合、情報展開部２３は、計時部１６の計時する日時の情報を取得する。また情報展開部２３は、誕生日データベースを参照し、誕生日データベースに誕生日が設定されている人物ごとに、誕生日と計時部１６から取得した日時の情報との差を演算し、年齢の情報を算出する（誕生日から現在の日時までの経過年を得ればよい）。そして演算された年齢の情報（誕生日データベースに複数人の誕生日が記録されている場合は各人の年齢の情報）を記憶する。

新規付加情報設定部２４は、記憶部１２に格納されている付加情報設定テーブルに含まれる条件のうち、付加情報読出部２２が読み出した情報、または情報展開部２３によって得られた情報が満足する条件を検索により見いだす。そして新規付加情報設定部２４は、検索により見いだした条件に関連付けられて記録されている付加情報を取り出して、画像データに付加する。この付加情報設定テーブルに含まれる条件は、例えば次のようなものである。なお、以下の説明では付加情報の設定の対象は画像データである。

条件１．「撮影日が４月１日から４月１０日の間、かつ、ジオタグに関連して取得した施設名情報に『小学校』、『中学校』、『高校』、『高等学校』、または『大学』のいずれかが含まれる」
この条件１には、例えば「入学式」の文字列が関連付けられる。そして、この条件１を満足する画像データが取得された場合、新規付加情報設定部２４は、当該取得した画像データに「入学式」の文字列の付加情報を設定する。

なお、条件に係る日時の情報は必ずしも日の情報まで含まなくてもよい。例えば、次の条件を設定してもよい。

条件２．「撮影の時間が１１時３０分から１時３０分の間、かつ、ジオタグに関連して取得した施設の情報が『飲食店』である」
この条件２には、例えば「ランチ」の文字列が関連付けられる。なお、付加情報設定テーブルにおいて、ある条件に関連付けられている付加情報は、固定の文字列に限られず、例えばジオタグに関連して取得した施設名の文字列に「ランチ」を組み合わせて得られる文字列（例えばジオタグに関連して取得した施設名の文字列が「いろは亭」であれば、これに「ランチ」を連接して「いろは亭ランチ」とした文字列）などとしてもよい。このようにする場合、この条件２を満足する画像データが取得されると、新規付加情報設定部２４は、ジオタグに関連して取得した施設名の文字列と、固定の文字列「ランチ」とを組み合わせた文字列を生成し、取得した画像データに当該生成した文字列の付加情報を設定する。

また、ここまででは撮影の日時に係る条件を、開始日時と終了の日時とを指定することにより設定していたがこれに限られない。例えば、次のように条件を設定してもよい。

条件３．「撮影日時が１月１日、かつ、ジオタグに関連して取得した施設の情報が『寺社仏閣』である」
この条件３には、例えば、固定の文字列として「初詣」の文字列が関連付けられる。または、この条件３には、撮影の日時から年を表す文字列を抜き出し、当該抜き出した年を表す文字列と『初詣』の文字列とを組み合わせた文字列を付加情報として関連付けてもよい。この場合、この条件３を満足する画像データが取得されると、新規付加情報設定部２４は、撮影の日時から抜き出される年を表す文字列と、固定の文字列「初詣」とを組み合わせた文字列（例えば「１１年初詣」のような文字列）を生成し、取得した画像データに当該生成した文字列の付加情報を設定する。

このように付加情報設定テーブルにおいては、付加情報を付加する対象となっている画像データの撮影日時の情報から生成されるべき文字列が指定されてもよい。この例としては、例えば次の条件４に対応する処理があり得る。

条件４．「誕生日データベースに含まれる誕生日ｄ1，ｄ2…のうちに、計時部１６の計時する日時ｄcとの差ｄc−ｄiが、予め定めたしきい値ｄthを下回るものがある」
この条件においてしきい値ｄthは、例えば１００日とする。この条件は、例えば誕生日からの経過日時が１００日以下の場合に満足されたこととなる。そしてこの条件に対しては、例えば、上記差ｄc−ｄiに相当する経過日数を算出し、当該算出した経過日数の文字列ｘを用いて表される文字列を付加情報としてもよい。この場合、「出生後ｘ日目」のような文字列が、条件４を満足する画像データに付加される。

また情報展開部２３が被写体となり得る人物の年齢の情報を演算している場合、この条件４に代えて、
条件４′．「当該演算された年齢の情報のうちに「０」（０歳）がある」
という条件としてもよい。

以下同様に、
条件５．「撮影月が７月または８月、かつ、ジオタグに関連して取得した施設の情報が『海岸』である」
との条件に対して、「海水浴」の文字列が、設定されるべき付加情報として関連付けられてもよい。

さらにジオタグに関連する情報のみを条件としてもよい。例えば、
条件６．「ジオタグに含まれる標高の情報が予め定めたしきい値を越えている」
との条件に対して、「飛行移動中」の文字列が、設定されるべき付加情報として関連付けられてもよい。

さらに本実施の形態の別の例では、付加情報設定テーブルにおける条件として、撮影日時の情報と事前に設定された特別日データベースに含まれる日付との関係に基づく条件が含まれてもよい。この特別日データベースは、例えば日付（月名（１月から１２月までのいずれか）及び日にち）と、特別日の名称とを関連付けたエントリを記憶部１２に蓄積したものであり、一例としては法定の祝祭日（例えば日本国であれば祝日法で定められた日）と、その名称とを関連付けたエントリを含む。

具体的には
条件７．「撮影日時が特別日データベースに含まれる日付のいずれかに一致する」
との条件が設定され、この条件に関連して、特別日データベースにおいて日付が一致したエントリに含まれる名称の文字列を、設定されるべき付加情報とするものでもよい。

また例えば特別日データベースに含まれる法定の祝祭日の日付と一致するのではなく、撮影日と法定の祝祭日の日付との日数差が予め定めたしきい値の範囲にある、との条件としてもよい。さらに、このしきい値は法定の祝祭日ごとに異なって設定されてもよい。例えば日本国の祝日のうちでは、敬老の日は９月の第三月曜日と定められているが、実際に敬老の日のイベントが行われるのは前後の土日を含むことも考慮し、敬老の日については、撮影日が敬老の日の２日前の土曜日から、敬老の日までの３日間にある画像データには、「敬老の日」の文字列の付加情報を設定させることとしてもよい。

なお、この新規付加情報設定部２４は、付加情報設定テーブルの内容によらず、情報展開部２３によって得られた情報をそのまま付加情報として画像データに付加してもよい。例えば、ジオタグに関連して取得した施設名の情報をそのまま付加情報として画像データに付加してもよい。

蓄積処理部２５は、新規付加情報設定部２４によって付加情報が付加された画像データについて、当該画像データを予め定めたサイズに縮小ないし拡大したサムネイル画像データを生成する。また当該画像データにさらに、取り込みの日時を表す情報として計時部１６から取得した日時の情報を付加情報として含める。そして当該画像データとサムネイル画像データとを関連付けて、記憶部１２に蓄積する。この処理により、記憶部１２には、図５に例示するように、複数の付加情報（Ｈ）が付加されている画像データが、そのサムネイル画像データとともに蓄積されることとなる。

［メニュー提示処理］
制御部１１はまた、記憶部１２に蓄積された画像データを表示する処理を実行する。この表示の態様として、本実施の形態では、
「最近取り込んだもの」、
「撮影日時での一覧」、
「付加情報ごとの一覧」（アルバム表示）、
のいずれかを選択的に行うものとする。

制御部１１は、例えば、電源投入後、図６に例示する画面を提示する。この画面には、メニュー（Ａ、以下トップメニューと呼ぶ）と、記憶部１２のうち、画像データを蓄積可能な領域の容量と、その使用量（画像データをハードディスクドライブに蓄積する場合はその全容量と使用中の容量ないし空き容量）を表す画像（Ｂ）とを含む。

ここでトップメニューには、「最近取り込んだもの」、「アルバム」、「カレンダー」、「その他の機能」といった選択肢を配列する。ここで利用者が例えば「最近取り込んだもの」を選択する操作を行うと、制御部１１は、一覧抽出条件情報として「最近取り込んだもの」を記憶し、計時部１６から現在の日時を表す情報を取得する。そして制御部１１は、記憶部１２に蓄積されている画像データのうち、その付加情報に含まれる取り込みの日時と、取得した現在の日時との差が予め定めたしきい値未満（例えば６日未満）の画像データを抽出し、当該抽出した画像データに関連付けられているサムネイル画像データの一覧を表示する（図７）。

また上記トップメニューから、利用者が「アルバム」を選択する操作を行うと、制御部１１は、記憶部１２に格納されている画像データに含まれる付加情報の一覧（重複を省く）を生成して、この一覧の少なくとも一部を、アルバムの一覧として提示する。そして利用者が、当該提示された一覧からいずれかの付加情報を抽出条件として選択すると、制御部１１は、一覧抽出条件情報としてこの選択された付加情報を記憶し、記憶部１２に格納されている画像データから、当該選択された付加情報を含む画像データを抽出する。そして制御部１１は、当該抽出した画像データに関連付けられたサムネイル画像データを記憶部１２から読み出して、その一覧を表示する。すなわち、本実施の形態では、付加情報の一覧が抽出条件の一覧として提供されるが、この抽出条件の一覧には、現実に画像データに付加されていない付加情報（当該抽出条件により選択される画像データが蓄積されていない抽出条件）は、含まれないように制御されるのである。つまり、法定の祝祭日等、予め付加情報として付加され得る情報があったとしても、現実に付加された画像データが存在しない付加情報に係るアルバムについては、そのようなアルバムがないものとして扱われることとなり、自然なインタフェースが提供される。

また、このように、本実施の形態では、現実に付加されている付加情報、またはその一部が、「アルバム」の名称として利用される。このことにより、例えば複数のアルバムに画像データを分類したい場合も、各アルバムに対応する記憶領域（ディレクトリ等）に、画像データを複写して重複して記録するのではなく、複数のアルバムに関する付加情報を画像データに含めることで分類が達成できる。

［表示中の処理］
制御部１１は、例えば一覧表示中に一覧に含まれるサムネイル画像データのいずれかをポイントするカーソルを表示する（図７（Ｃ））。制御部１１は、利用者からカーソルの移動操作または選択の操作を受け入れ、当該操作に従ってカーソルを別のサムネイル画像データへ移動し、または選択の操作を受け入れたときにカーソルによりポイントされているサムネイル画像データに関連付けられている画像データを記憶部１２から読み出し、一覧の画像に代えて当該画像データを表示する。

また制御部１１は、一覧表示中に、メニューの表示を行うべき旨の操作が為されると、例えば「しぼりこみ」、「アルバムに入れる」、「お気に入り編集」、「ゴミ箱へ移動」等の選択項目が含まれるメニューを表示する。なお、「アルバム」の選択から一覧表示が行われている場合は、制御部１１は、このメニューに「アルバムを編集」といった、アルバムに固有の選択項目を含めてもよい。

ここで制御部１１が、「しぼりこみ」の選択を受けると、制御部１１は利用者に新たな検索条件の入力を求める。具体的に制御部１１は、記憶部１２に格納されている画像データに含まれる付加情報の一覧（重複を省く）を生成して、この一覧の少なくとも一部（例えば現在一覧表示しているサムネイル画像データに関連付けられた画像データに含まれるものを選択して）を提示する。そして利用者が当該提示された一覧からいずれかの付加情報を選択すると、制御部１１は現在一覧表示しているサムネイル画像データのうち、関連する画像データに当該選択された付加情報が含まれるものを抽出し、当該抽出したサムネイル画像データの一覧を改めて表示する。

また制御部１１は、一覧表示中のメニューから「アルバムに入れる」が選択されると、記憶部１２に格納されている画像データに含まれる付加情報の一覧（重複を省く）を生成して、この一覧の少なくとも一部（例えば一覧抽出条件情報に相当するものを除く）を提示する。そして利用者が、当該提示された一覧からいずれかの付加情報を選択（付加対象と呼ぶ）すると、制御部１１は、現在一覧表示しているサムネイル画像データのうちから少なくとも一つのサムネイル画像データを選択するよう利用者に求める。利用者は、例えばカーソルの移動操作と選択操作とを行って少なくとも一つのサムネイル画像データを選択し、選択を終了した旨の操作を行う。制御部１１は、この利用者の操作により選択された、少なくとも一つのサムネイル画像データについて、その各々に関連する画像データに対して付加対象となった付加情報を付加する。

さらに制御部１１は、一覧表示中のメニューから「お気に入り編集」が選択されると、現在一覧表示しているサムネイル画像データのうち、関連する画像データに「お気に入り」であることを表す付加情報（例えばその旨の制御コードなど、利用者が通常の操作で入力不能な情報としておく）が含まれているサムネイル画像データに、「お気に入り」が設定されていることを表す画像（例えば星印の画像）を重ね合わせて表示する。

そして利用者が、例えばカーソルの移動操作と選択操作とを行って、一覧に含まれるサムネイル画像データを選択する操作を行うと、制御部１１は、選択されたサムネイル画像データに係る「お気に入り」の設定を切り替える。つまり制御部１１は、選択されたサムネイル画像データに係る画像データに、「お気に入り」であることを表す付加情報が含まれていれば、当該「お気に入り」であることを表す付加情報を削除する。また、制御部１１は、選択されたサムネイル画像データに係る画像データに、「お気に入り」であることを表す付加情報が含まれていなければ、「お気に入り」であることを表す付加情報を付加する。

さらに利用者が、一覧表示中のメニューから「アルバムを編集」を選択すると、現在一覧表示しているサムネイル画像データのうち、関連する画像データに一覧抽出条件情報と同じ付加情報が含まれているサムネイル画像データに、アルバムに含まれていることを表す画像（例えば星印の画像）を重ね合わせて表示する。

そして利用者が、例えばカーソルの移動操作と選択操作とを行って、一覧に含まれるサムネイル画像データを選択する操作を行うと、制御部１１は、選択されたサムネイル画像データに係る画像データをアルバムに含めるか否かを切り替える。つまり制御部１１は、選択されたサムネイル画像データに係る画像データに一覧抽出条件情報と同じ付加情報が含まれていれば、当該一覧抽出条件情報と同じ付加情報を削除する。また、制御部１１は、選択されたサムネイル画像データに係る画像データに一覧抽出条件情報と同じ付加情報が含まれていなければ、一覧抽出条件情報として記憶している付加情報を付加する。

［記念日の設定］
また制御部１１は、利用者から任意の日付（月、日により特定される日付）を、「記念日」として設定するよう指示を受け入れて、記念日の設定処理を実行してもよい。この処理では、制御部１１は、利用者から月名（１月から１２月までのいずれか）と日付との入力を受け入れ、また、記念日の名称を受け入れる。ここではこの記念日の名称が、そのまま付加情報として扱われる。

制御部１１は、入力された月日の情報と、付加情報とを関連付けて特別日データベースに含めて記憶部１２に格納する。このようにして特別日データベースを更新可能としておくことにより、本実施の形態の画像情報処理装置１を所有する利用者が、当該利用者固有の記念日、例えば結婚記念日を設定すると、制御部１１は、撮影日が当該結婚記念日として設定された日付に一致する画像データを取り込んだときに、「結婚記念日」との付加情報を、当該取り込んだ画像データに付加する。

また、これにより「結婚記念日」との名称のアルバムが選択可能となり、当該アルバムの一覧表示においては、「結婚記念日」として設定された日付に撮影された画像データが表示されることになる。

なお、既に述べたように記念日や祝祭日に関わる行事は、必ずしもその記念日や祝祭日の当日に行われるとは限らない。そこで本実施の形態では、設定された記念日等の前後に予め定めた該当範囲を設定してもよい。この該当範囲は、例えば予め決められた日数（設定された当日の前３日から後２日までの期間とするなど）としてもよいし、曜日の情報を用いて「直前の土曜日から次の日曜日までの間」などとしてもよい。また、具体的に該当範囲をその開始日から終了日までの間として設定してもよい。これらの場合、特別日データベースは、該当範囲を表す情報と、付加情報とを関連付けたものとなる。

ここで該当範囲を表す情報は、個々のエントリごとに異なってもよい。一例としてこの該当範囲を表す情報は、例えば１月１日の元日については該当範囲は当日のみとして、当日を表す「１月１日」と、当日前何日前から該当範囲とするかを表す情報（「０」日とする）と、当日後何日後までを該当範囲とするかを表す情報（「０」日とする）とを含むものとなる。また、成人の日についてはその前後の土日に式典が行われることが多いことに鑑みて、当日を表す「１月第２月曜日」と、その「直前の土曜日から次の日曜日までの間」を表す情報とを含む情報が該当範囲を表す情報として設定される。

［付加情報の追加］
さらに本実施の形態の画像情報処理装置１の制御部１１は、付加情報設定テーブルの新たなエントリを利用者の指示に従って設定させることとしてもよい。この場合利用者は、付加情報を設定する条件と、設定する付加情報とを入力する。一例として利用者は、「撮影月が１１月、かつ、ジオタグに関連して取得した施設の情報に『神社』を含む」との条件と、付加情報としての「七五三」の文字列とを入力する。制御部１１は、これらを関連付けて付加情報設定テーブルに格納する。

このようにしておくと、撮影日が１１月中であり、撮影場所であるジオタグに関連して取得される施設情報に「神社」を含む画像データを取り込むと、制御部１１が、当該取り込んだ画像データに対し、「七五三」との付加情報を付加する。

また、これにより「七五三」との名称のアルバムが選択可能となり、当該アルバムの一覧表示においては、「七五三」のアルバムに含まれる画像データとして撮影日が１１月中であり、撮影場所であるジオタグに関連して取得される施設情報に「神社」を含む画像データに係るサムネイル画像データの一覧が表示されることになる。

［付加情報追加時の再付与処理］
またこのように新たな付加情報設定テーブルのエントリや記念日を新たに追加したときには、制御部１１は、既に記憶部１２に蓄積されている画像データについても再度、付加情報を付加するための処理を実行してもよい。この処理は、図４に例示した画像データ取り込み処理と略同様であり、この処理を実行する制御部１１は、図８に例示するように、機能的には画像読み出し部２１′と、付加情報読出部２２と、情報展開部２３と、新規付加情報設定部２４と、付加情報調整部２６とを含んで構成される。なお、図４に例示した構成と同様の動作を行うものについては、同じ符号を付して繰り返しての説明を省略する。

画像読み出し部２１′は、記憶部１２に格納されている画像データを一つずつ順次、読み出して取得する。また、付加情報調整部２６は、新規付加情報設定部２４が新規の付加情報を付加した画像データについて、重複して同じ付加情報が複数含まれているか否かを調べ、重複して同じ付加情報が複数含まれているときには、当該付加情報を一つだけ残して削除する。これにより付加情報が重複して付加されることを防止している。

［動作］
本実施の形態の画像情報処理装置１は、このような構成を有してなり、次の例のように動作する。ここでは利用者がＧＰＳ機能付きのカメラ（ジオタグを画像データに付加するカメラ）で撮影した画像データを、この画像情報処理装置１で管理する場合を例として説明する。以下の説明では、この画像情報処理装置１の記憶部１２に、図９に例示するように、特別日データベースとして、成人の日について、当日を表す「１月第２月曜日」と、その「直前の土曜日から次の日曜日までの間」を表す情報とを含む該当範囲を表す情報と、付加情報としての「成人の日」なる文字列とを関連付けたエントリが記録されているものとする。

そしてここでの例では、日本国内の法令により１月１５日が成人の日である年に、日本では慣例となっている成人式が、その直前の日曜日である１月１４日に行われたとし、当該成人式において写真を撮影した利用者が、当該写真の画像データを、画像情報処理装置１に読み込ませるものとする。

利用者が、画像データを撮像したカメラからその画像データを記録したメモリカードを取り出し、画像情報処理装置１の画像入力部１５に差し込み、「取り込み」スイッチを押下すると、画像情報処理装置１は、メモリカードに格納されている画像データのうち、未だ読み出していない画像データを順次選択して読み出す。

ここで未だ読み出していない画像データであるか否かは、例えば次のようにして判断する。本実施の形態の画像情報処理装置１は、記憶部１２に格納している画像データの各々について、固有のハッシュ値を予め定めた方法で演算している。このハッシュ値はＭＤ５等の広く知られたもので構わない。そして画像情報処理装置１は当該演算したハッシュ値のリストを記憶部１２に保持している。

そこで画像情報処理装置１は、メモリカードに格納されている画像データのうち、そこから上記予め定めた方法で演算されるハッシュ値が、記憶部１２のリストに含まれていない画像データを抜き出す。これにより、未だ読み出していない画像データが抜き出される。画像情報処理装置１は、図１０に例示するように、この抜き出した画像データのうち一つを選択する（Ｓ１）。

画像情報処理装置１は、選択した画像データを読み出して、当該読み出した画像データを処理対象として、当該処理対象となった画像データから付加情報を読み出す（Ｓ２）。そして、画像情報処理装置１は、当該読み出した付加情報に基づいて、予め定めた種類の情報を生成する（Ｓ３）。またこの処理Ｓ３では通信部１７を介した通信により、読み出した付加情報に基づいて、予め定めた種類の情報を取得することとしてもよい。

ここでは具体的に、処理対象の画像データから読み出した付加情報のうちのジオタグを、通信部１７を介して予め設定されたサーバに送信し、ジオタグに対応する地名・施設名情報を受信して取得しておく。ここでの例では、子供の入学式での写真の画像データであるため、ジオタグに基づいて得られる地名・施設名の情報には「小学校」の文字列が含まれる。

画像情報処理装置１は、記憶部１２に格納されている付加情報設定テーブルに含まれる条件のうち、未選択の条件がなくなるまでループを開始し（Ｓ４）、未選択の条件を一つ選択して（Ｓ５）、処理Ｓ２にて読み出した付加情報、または処理Ｓ３で得られた情報が、処理Ｓ５にて選択した条件を満足するか否かを判断する（Ｓ６）。

ここで、付加情報設定テーブルに、条件（以下条件ａと呼ぶ）として、「撮影日が４月１日から４月１０日の間、かつ、ジオタグに関連して取得した施設名情報に『小学校』、『中学校』、『高校』、『高等学校』、または『大学』のいずれかが含まれる」との条件が含まれているとすると、ここでの例の画像データは撮影日が１月１４日であるので、この条件ａを満足しないものと判断する。

またこの付加情報設定テーブルに、条件（以下条件ｂと呼ぶ）として、「特別日データベースに含まれるエントリの該当範囲に撮影日が含まれる」との条件が含まれるとする。ここでの例では、撮影日である１月１４日が、当日である１月１５日の直前の日曜日であるため、特別日データベースに含まれる情報で特定される成人の日についての該当範囲に撮影日があることとなり、条件ｂを満足することとなる。

画像情報処理装置１は、この処理Ｓ６において、条件が満足されたと判断すると（Yesであると）、当該条件に関連付けて、付加情報設定テーブルに保持されている付加情報を取り出して、処理対象の画像データに付加する（Ｓ７）。

ここで「特別日データベースに含まれるエントリの該当範囲に撮影日が含まれる」との条件については、「当該該当範囲に関連付けられた付加情報」を付加情報とする旨が関連付けられているものとすると、成人の日に係るエントリに含まれる付加情報である「成人の日」の文字列が取り出され、ここでの例の画像データに対して付加される。

そして画像情報処理装置１は、未選択の条件があるならば処理Ｓ４からのループを繰り返す（Ｓ８）。また、画像情報処理装置１は、この処理Ｓ４からＳ８のループを抜けると、処理対象の画像データに基づくサムネイル画像データを生成し、当該生成したサムネイル画像データと、処理対象の画像データとを関連付けて、記憶部１２に蓄積して格納する（Ｓ９）。そして、読み出されていない画像データがまだメモリカードにあるか否かを判断し（Ｓ１０）、まだあれば（Yesならば）、処理Ｓ１に戻って処理を続ける。また、処理Ｓ１０において、読み出されていない画像データがなければ（Noならば）、処理を終了する。

画像情報処理装置１は、また、処理Ｓ６において、条件が満足されなかったと判断すると（Noであると）、そのまま処理Ｓ８へ移行して処理を続ける。

画像情報処理装置１は、この処理を終了すると、トップメニューの表示処理を実行し、「最近取り込んだもの」やアルバム表示等、表示態様を選択させるメニューを表示する。ここで利用者が、「アルバム」での表示を選択する操作を行うと、画像情報処理装置１は、記憶部１２に蓄積されている画像データに含まれる付加情報の一覧（重複を省く）を生成して、この一覧の少なくとも一部、例えば付加情報のうち撮影日やジオタグ自体等、予め定めた種類の情報を除く付加情報を、アルバムの一覧として提示する。

ここでの例では、蓄積された画像データのうちには、上述のように「成人の日」なる付加情報が付加されているものがある。そこでこの一覧には「成人の日」なる文字列が含まれることとなる。

利用者が、当該提示された一覧から「成人の日」を選択すると、画像情報処理装置１は、一覧抽出条件情報としてこの選択された付加情報を記憶し、記憶部１２に格納されている画像データから、当該選択された「成人の日」の付加情報を含む画像データを抽出し、当該抽出した画像データに関連付けられたサムネイル画像データを記憶部１２から読み出して、その一覧を表示する。

そして画像情報処理装置１は、この一覧表示中に一覧に含まれるサムネイル画像データのいずれかをポイントするカーソルを表示し、利用者からカーソルの移動操作または選択の操作を受け入れて、選択の操作を受け入れたときにカーソルによりポイントされているサムネイル画像データに関連付けられている画像データを記憶部１２から読み出し、一覧の画像に代えて当該画像データを表示する。

［変形例］
なお、付加情報設定テーブルに設定可能な条件はここまでに説明したものに限られない。この条件には例えば、画像データからＯＣＲで得られる文字列に係る条件が含まれ得る。例えば画像データに対してＯＣＲ処理を行った結果、「『祭』の文字列が含まれている」との条件を設定してもよい。この条件に対しては、例えば「お祭」なる付加情報を関連付けておく。

また、利用者が設定した誕生日データベースから得られる被写体となり得る人物の年齢の情報を用いてもよい。例えば撮影日において「５」才以上「７」才未満の範囲にある人物が誕生日データベースに設定され、かつ、４月１日から４月１５日までの間に撮影日があり、かつ、ジオタグに基づいて取得される施設名の情報に「小学校」が含まれる、との条件を設定してもよい。

さらに、ジオタグと撮影日の情報とから、イベントの名称が得られる場合もある。一例としてジオタグに基づいて、場所や施設名の情報として「多摩川付近」が得られ、撮影日とこの得られた施設名の情報とを通信部１７を介してインターネット上の検索エンジンに送信し、予め定めたイベント名称テンプレート（例えば「祭」や「花火大会」、「大会」、「フリーマーケット」等の文字列）を含むものが見いだされたときに、当該イベント名称テンプレートに合致する文字列を、付加情報として取得してもよい。

あるいは、ジオタグと撮影日の情報とに対して、イベントの名称を関連付けて保持するサーバを用意しておき、画像情報処理装置１は、このサーバにアクセスして、イベント名称を取得し、当該取得したイベント情報を付加情報として利用してもよい。

１ 画像情報処理装置、１１ 制御部、１２ 記憶部、１３ 操作受入部、１４ 表示出力部、１５ 画像入力部、１６ 計時部、１７ 通信部、２１ 画像データ取得部、２１′ 画像読み出し部、２２ 付加情報読出部、２３ 情報展開部、２４ 新規付加情報設定部、２５ 蓄積処理部、２６ 付加情報調整部。

Claims (8)

1. 画像情報処理装置であって、
   少なくとも一つの付加情報を含む画像データを受け入れて、当該画像データを予め定めたサイズに縮小ないし拡大したサムネイル画像データに関連付けて蓄積して記憶する記憶手段と、
   少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、
   前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連するサムネイル画像データを、前記蓄積した画像データから抽出して提示する手段と、
   さらに、しぼりこみを行うべき旨の指示を受けて、前記記憶手段に格納された画像データに含まれる付加情報の一覧を生成し、当該一覧の少なくとも一部を提示する手段と、
   前記提示された付加情報のうち、いずれかの付加情報の選択を受けて、現在一覧表示しているサムネイル画像データのうち、関連する画像データが当該選択された付加情報を含むサムネイル画像データを抽出し、当該抽出したサムネイル画像データの一覧を改めて表示する手段と、
   を含み、
   アルバムを表す付加情報と、「お気に入り」を表す付加情報と、「ゴミ箱に入れる」ことを表す付加情報とが設定されており、
   サムネイル画像データの一覧を提示して、当該一覧から選択されたサムネイル画像データに関連する画像データに対し、前記アルバムを表す付加情報と、「お気に入り」を表す付加情報と、「ゴミ箱に入れる」ことを表す付加情報のいずれかを付加、あるいは削除する旨の指示を受け入れて、当該指示に従って前記選択されたサムネイル画像データに関連する画像データに対し前記付加情報を付加、あるいは削除する処理を行う手段をさらに含む画像情報処理装置。
2. 請求項１記載の画像情報処理装置であって、
   既存の付加情報に関する付加情報追加条件と、当該条件を満足する際にさらに付加するべき付加情報とを関連付けたテーブルを保持する保持手段と、
   前記保持手段に保持された付加情報追加条件のうち、前記受け入れた画像データに含まれる付加情報が満足する付加情報追加条件に関連づけられた付加情報を取り出す手段と、
   前記取り出した付加情報を、前記受け入れた画像データに追加的に含める手段と、
   を含む画像情報処理装置。
3. 請求項１または２記載の画像情報処理装置であって、
   前記付加情報は、Ｅｘｉｆのメタデータ部に含まれる情報である画像情報処理装置。
4. 請求項１から３のいずれか一項に記載の画像情報処理装置であって、
   前記付加情報は、ネットワークを介して接続されたサーバから取得された情報である画像情報処理装置。
5. 請求項１から４のいずれか一項に記載の画像情報処理装置であって、
   前記しぼりこみを行うべき旨の指示を受けて付加情報を提示する際には、現在一覧表示している画像データに関連する付加情報を選択して提示する画像情報処理装置。
6. 請求項１から５のいずれか一項に記載の画像情報処理装置であって、
   前記付加情報を削除する手段をさらに含む画像情報処理装置。
7. 請求項６に記載の画像情報処理装置であって、
   画像データに付加情報を追加または削除することにより、前記選択されたサムネイル画像データに係る画像データをアルバムに含めるか否かが切り替えられる画像情報処理装置。
8. コンピュータを、画像情報処理装置として機能させるプログラムであって、前記コンピュータを、
   少なくとも一つの付加情報を含む画像データを受け入れて、当該画像データを予め定めたサイズに縮小ないし拡大したサムネイル画像データに関連付けて蓄積して記憶する記憶手段と、
   少なくとも一つの抽出条件であって、各抽出条件が少なくとも一つの付加情報に関連付けられた抽出条件の一覧を提供する一覧提供手段と、
   前記提供された一覧から抽出条件の選択を受け入れ、選択された抽出条件を満足する付加情報に関連するサムネイル画像データを、前記蓄積した画像データから抽出して提示する手段と、
   さらに、しぼりこみを行うべき旨の指示を受けて、前記記憶手段に格納された画像データに含まれる付加情報の一覧を生成し、当該一覧の少なくとも一部を提示する手段と、
   前記提示された付加情報のうち、いずれかの付加情報の選択を受けて、現在一覧表示しているサムネイル画像データのうち、関連する画像データが当該選択された付加情報を含むサムネイル画像データを抽出し、当該抽出したサムネイル画像データの一覧を改めて表示する手段と、
   アルバムを表す付加情報と、「お気に入り」を表す付加情報と、「ゴミ箱に入れる」ことを表す付加情報とが設定されており、サムネイル画像データの一覧を提示して、当該一覧から選択されたサムネイル画像データに関連する画像データに対し、前記アルバムを表す付加情報と、「お気に入り」を表す付加情報と、「ゴミ箱に入れる」ことを表す付加情報のいずれかを付加、あるいは削除する旨の指示を受け入れて、当該指示に従って前記選択されたサムネイル画像データに関連する画像データに対し前記付加情報を付加、あるいは削除する処理を行う手段と、
   として機能させるプログラム。

Images