JP5998807B2 - 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP5998807B2
JP5998807B2 JP2012217749A JP2012217749A JP5998807B2 JP 5998807 B2 JP5998807 B2 JP 5998807B2 JP 2012217749 A JP2012217749 A JP 2012217749A JP 2012217749 A JP2012217749 A JP 2012217749A JP 5998807 B2 JP5998807 B2 JP 5998807B2
Authority
JP
Japan
Prior art keywords
information
data
search
search key
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012217749A
Other languages
English (en)
Other versions
JP2014071702A (ja
Inventor
武資 森本
武資 森本
真吾 西岡
真吾 西岡
鈴木 健太郎
健太郎 鈴木
大介 牧
大介 牧
大屋 誠
誠 大屋
将幸 根本
将幸 根本
Original Assignee
株式会社メルコホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メルコホールディングス filed Critical 株式会社メルコホールディングス
Priority to JP2012217749A priority Critical patent/JP5998807B2/ja
Priority to US14/033,144 priority patent/US9286360B2/en
Priority to CN201310452312.1A priority patent/CN103714108B/zh
Publication of JP2014071702A publication Critical patent/JP2014071702A/ja
Priority to US15/000,767 priority patent/US20160132534A1/en
Application granted granted Critical
Publication of JP5998807B2 publication Critical patent/JP5998807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • G06F16/447Temporal browsing, e.g. timeline
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Description

本発明は、例えば画像ファイルの閲覧、管理等を行う情報処理システム、及びこのシステムに適用可能な情報処理装置、情報処理方法及び情報処理プログラムに関する。
デジタルスチルカメラ、デジタルビデオカメラ、デジタルオーディオプレーヤー、さらには地上デジタルテレビ放送等の放送波を受信して録画する録画装置の普及により、家庭において大量の画像ファイル、音楽ファイル、動画ファイル、番組ファイルを保管し、管理して閲覧・聴取・視聴する機会が増えている。
デジタルスチルカメラにより撮像されて作成された画像ファイルには、Exif(Exchangeable image file format)規格により定められた形式で撮影日時、GPS(Global Positioning System)情報などの情報が格納されることがある。また、音楽ファイルには、ID3タグ規格により定められた形式で曲名、アーティスト名、リリース年月日などの情報が格納されることがある。さらに、日本の地上デジタルテレビ放送波であればISDB−T(Integrated Services Digital Broadcasting-Terrestrial)規格により各種情報が重畳されて放送されるので、重畳された情報を、地上デジタルテレビ放送波を録画した番組ファイルに格納することができる。従って、デジタルスチルカメラ等において、画像ファイル等に格納された情報(上述した各種情報を含めて「タグ情報」と総称する)を用いて画像ファイル等を管理することが可能である。
非特許文献1には、デジタルスチルカメラの内蔵メモリに格納された写真ファイルに対して、カメラ側で予め用意した撮影日付、撮影モード等の検索キーを用いて検索動作を行い、検索結果の候補画像のサムネイルを液晶モニタに表示する技術が開示されている。
「おまかせテクノロジー|μTOUGH-6020|コンパクトデジタルカメラ|オリンパスイメージング」、[平成24年8月31日検索]、インターネット〈URL:http://olympus-imaging.jp/product/compact/mjutough6020/feature/index3.html〉
しかしながら、上述した従来の技術では、デジタルスチルカメラの製品機能として予め用意されている撮影日付等の検索キーを用いて画像ファイルを検索し、検索結果として抽出された候補画像のサムネイルをデジタルスチルカメラの液晶モニタに表示しているので、例えばユーザが注目する画像ファイルを発見することや、この画像ファイルに付与されているタグ情報に関連するタグ情報が付与された画像ファイルを検索することが簡便にできなかった。つまり、従来の技術では、検索して閲覧を希望する画像ファイルのタグ情報(例えば何月何日に撮影した画像ファイル)をユーザが事前に特定しておく必要があるので、注目する画像ファイルをキーにしてこの画像ファイルに関連する画像ファイル(例えば、注目する画像ファイルと同じ日時に撮影された画像ファイル)を検索するためには、注目する画像ファイルに付与されたタグ情報を別途入手し、このタグ情報を用いて改めて検索作業をする必要があった。かかる作業はユーザにとって手間のかかる作業であった。
本発明は上述した課題に鑑みてなされたものであり、関連するデータを簡便に検索することの可能な情報処理システム、情報処理装置、情報処理方法及び情報処理プログラムを提供することをその目的の一つとしている。
本発明は、データが格納された記憶部を備えた情報処理装置と、この情報処理装置から出力された情報を表示する出力部と、入力指示を受け付けてこの入力指示に対応する入力指示信号を情報処理装置に送出する入力部とを備えた情報処理システムに適用される。そして、情報処理装置に、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを出力部により表示させ、出力部により表示されたデータまたはこのデータを示すインデックスのうち少なくとも一つが選択されたことに伴う入力部からのデータ選択信号を受信すると、選択されたデータを特定するファイル選択部と、ファイル選択部により特定されたデータに関連する、数値情報を含む情報を取得する情報取得部と、情報取得部により取得された情報の少なくとも一つを使用して、数値情報である取得情報の範囲を表す検索キーを含む、取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、検索キー生成部により生成された検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを出力部に表示させるデータ検索部とを設け、さらに、データ検索部が、検索キー生成部が生成した、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をすることにより、上述した課題を解決している。
検索キー生成部は、情報取得部により取得された、データに関連する情報を抽象化した検索キーを少なくとも一つ生成し、データ検索部は、検索キーにより生成された検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを出力部に表示させている。これにより、データに関連する情報をユーザが予め特定することなくデータを検索することができる。
また、本発明は、データが格納された記憶部を備えた情報処理装置に適用される。そして、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるファイル選択部と、ファイル選択部により選択を受け入れたデータに関連する、数値情報を含む情報を取得する情報取得部と、情報取得部により取得された情報の少なくとも一つを使用して、数値情報である取得情報の範囲を表す検索キーを含む、取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、検索キー生成部により生成された検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するデータ検索部とを設け、さらに、データ検索部が、検索キー生成部が生成した、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をすることにより、上述した課題を解決している。
ここで、データ検索部は、情報取得部により取得された数値情報に近いほど小範囲を小さく区分することが好ましい。あるいは、データ検索部は、情報取得部により取得された数値情報に近いほど抽出するデータの個数を多くするかの少なくとも一方により検索をすることが好ましい。
ここで、検索キー生成部は生成した検索キーを提示し、データ検索部は、検索キー生成部により提示された検索キーの少なくとも一つの選択を受け入れ、選択を受け入れた検索キーにより記憶部内のデータを検索することが好ましい。
さらに情報取得部は、データに予め付与されたタグを情報として取得することが好ましい。
そして、ファイル選択部は、記憶部に格納されたデータのうち少なくとも一部のデータについて関連する情報を取得した後、情報を取得したデータまたはこのデータを示すインデックスの少なくとも一部を提示し、このとき、提示されたデータまたはインデックスの少なくとも一部は関連する情報が互いに異なることが好ましい。
また、本発明は、データが格納された記憶部と制御部とを備えた情報処理装置における情報処理方法に適用される。そして、制御部に、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、選択を受け入れたデータに関連する、数値情報を含む情報を取得するステップと、取得された情報の少なくとも一つを使用して、数値情報である取得情報の範囲を表す検索キーを含む、この取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、生成した検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップとを実行し、さらに、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をするステップを実行させることにより、上述した課題を解決している。
さらに、本発明は、データが格納された記憶部と制御部とを備えたコンピュータにおいて実行される情報処理プログラムに適用される。そして、このプログラムがコンピュータにより実行されると、制御部に、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、選択を受け入れたデータに関連する、数値情報を含む情報を取得するステップと、取得された情報の少なくとも一つを使用して、、数値情報である取得情報の範囲を表す検索キーを含む、取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、生成した検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップとを実行させ、さらに、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をするステップを実行させることにより、上述した課題を解決している。
本発明によれば、取得情報を抽象化した検索キーを少なくとも一つ生成し、生成した検索キーによって記憶部内のデータを検索して表示しているので、検索表示を希望する検索キーをユーザが予め特定することなく、データに関連する他のデータを簡便に検索することができる。
本発明の第1実施形態である情報処理システムの概略構成を示すブロック図である。 第1実施形態に用いられる画像ファイルのデータ構造の一例を示す図である。 第1実施形態である情報処理システムの機能構成を示す機能ブロック図である。 第1実施形態である情報処理システムにおいて表示される初期画面の一例を示す図である。 第1実施形態である情報処理システムにおいて表示される選択画面の一例を示す図である。 第1実施形態である情報処理システムにおいて表示される検索キー表示画面の一例を示す図である。 第1実施形態である情報処理システムにおいて表示される検索表示画面の一例を示す図である。 第1実施形態である情報処理システムにおいて表示されるタイムライン画面の一例を示す図である。 第1実施形態である情報処理システムにおいて表示される検索キー絞り込み画面の一例を示す図である。 第1実施形態である情報処理システムにおいて表示される検索キー追加画面の一例を示す図である。 第1実施形態である情報処理システムにおいて表示される検索キー追加画面の他の例を示す図である。 第1実施形態である情報処理システムに用いられるシソーラスの一例を示す図である。 第1実施形態である情報処理システムにおけるタグ情報と検索キーとの関係の一例を示す図である。 第1実施形態である情報処理システムにおけるタグ情報と検索キーとの関係の他の例を示す図である。 第1実施形態である情報処理システムの動作の一例を説明するためのフローチャートである。 第1実施形態である情報処理システムの動作の他の例を説明するためのフローチャートである。 本発明の第2実施形態である情報処理システムに用いられる音楽ファイルのデータ構造の一例を示す図である。 本発明の第3実施形態である情報処理システムに用いられる番組ファイルのデータ構造の一例を示す図である。 本発明の第4実施形態である情報処理システムにおいて表示される初期画面の一例を示す図である。 第4実施形態である情報処理システムにおいて表示される検索表示画面の一例を示す図である。 第4実施形態である情報処理システムにおいて表示される検索絞り込み表示画面の一例を示す図である。 第4実施形態である情報処理システムにおける検索範囲の区分の一例を示す図である。 第4実施形態である情報処理システムにおける検索範囲の区分の他の例を示す図である。 第4実施形態である情報処理システムにおける検索範囲の区分のまた他の例を示す図である。 第4実施形態である情報処理システムにおいて検索されるデータの頻度の一例を示す図である。 第4実施形態である情報処理システムにおける検索範囲の区分のさらにまた他の例を示す図である。 第4実施形態である情報処理システムにおいて表示される検索絞り込み表示画面の他の例を示す図である。
以下、図面を参照して、本発明の実施形態である情報処理装置について説明する。
(第1実施形態)
図1は、本発明の第1実施形態である情報処理システムの概略構成を示すブロック図である。図1において、本実施形態の情報処理システムSは情報処理装置1を備え、この情報処理装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、入力部5、HDMI(High-Definition Multimedia Interface)インタフェース(I/F)6、ネットワークインタフェース(I/F)7及びHDD(Hard Disk Drive)部8を備えており、これらはバスにより互いに接続されている。
CPU2は、後述するROM3内に格納されたファームウェア等のプログラムが実行されることにより、情報処理装置1全体の制御を行う。ROM3には、ファームウェア等のプログラムが格納され、このプログラムが情報処理装置1の起動時に読み出され、RAM4において展開された後で実行されることで、CPU2による情報処理装置1全体の制御が行われる。
RAM4は情報処理装置1のワークメモリとして機能し、CPU2を含めた情報処理装置1の動作時に一時的に使用されるプログラム、データ等が格納される。また、このRAM4には、この情報処理装置1の使用者(ユーザ)及びその家族等に関する個人情報4aがテーブル化されて格納されている。個人情報4aは、例えば使用者及びその家族の誕生日、結婚記念日等の記念日、使用者及び家族の被写体を特定するための情報などである。
入力部5は、入力インタフェース(I/F)5a、入力指示部5b、カードインタフェース(I/F)5c及びUSB(Universal Serial Bus)インタフェース(I/F)5dを備える。入力インタフェース5aには入力指示部5b及び入力機器12が接続され、ユーザが入力指示部5bまたは入力機器12を操作することにより入力される入力信号を受信する。入力指示部5bとしては、例えば画像取り込み指示ボタン等が挙げられ、また、入力機器12としては、例えばリモコン、キーボード、マウス等が挙げられる。カードインタフェース5cはカードスロット(図略)を備え、このカードスロットに挿入されたメモリーカード13に対してデータの読み出し/書き込みを行う。メモリーカード13の形式に限定はなく、一例としてmini、microを含むSDメモリーカード、メモリースティック(登録商標)が好適に挙げられる。USBインタフェース5dはUSBコネクタ(図略)を備え、このUSBコネクタに直接、あるいはUSBケーブル(図略)を介して接続されたUSB機器14に対してデータの読み出し/書き込みを行う。USB機器14としては、USBフラッシュメモリ、USBコネクタを備えたデジタルカメラ等が挙げられる。
HDMIインタフェース6はHDMIコネクタ(図略)を備え、このHDMIコネクタにHDMIケーブル(図略)を介して接続されたHDMI出力機器15に対してAVストリーム(映像信号及び音声信号)を出力する。HDMI出力機器15としては、例えばTVやモニタ等が挙げられる。ネットワークインタフェース7はネットワークコネクタ(図略)を備え、このネットワークコネクタにネットワークケーブル(図略)を介してルータ16が接続され、このルータ16がインターネット等のWAN(Wide Area Network)17に接続されることで、外部ネットワークとの間でデータの送受信がされる。このネットワークインタフェース7は、例えばIEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.3規格に基づく有線通信を行うものである。あるいは、ネットワークインタフェース7は、IEEE802.11規格に基づく無線通信を行うものであってもよく、あるいは、有線/無線通信のいずれも行うものであってもよい。
HDD部8は、HDD(HDD装置)8aとHDDインタフェース(I/F)8bとを備える。HDD8aは、記録媒体であるディスクと、このディスクの回転を行う回転部と、ディスクに対してデータの読み出し/書き込みを行うヘッド部とを備える(いずれも不図示)。HDDインタフェース8bは、このHDD8aに対するデータの読み出し/書き込み指令があった場合に、HDD8a全体の制御を行うとともに、データの読み出し/書き込み制御を行い、読み出されたデータを出力する。また、このHDD8aには、ユーザにより提供される画像ファイル10、及び特定の単語を提供するとその類義語を提示するシソーラス辞書ファイル11が格納されている。
この画像ファイル10をHDD8aに格納する手法は任意であるが、一例として、メモリーカード13内に画像ファイル10を格納しておき、このメモリーカード13をカードインタフェース5cのカードスロットに挿入して、入力指示部5bが操作されたことによりこのメモリーカード13内に格納された画像ファイル10をHDD8a内に取り込む手法が挙げられる。また、USB機器14内に画像ファイル10を格納しておき、このUSB機器14をUSBインタフェース5dのUSBコネクタに挿入して、入力指示部5bが操作されたことによりこのUSB機器14内に格納された画像ファイル10をHDD8a内に取り込んでもよい。さらに、WAN17に存在する画像ファイル10をルータ16及びネットワークインタフェース7を介してHDD8a内に取り込んでもよい。画像ファイル10の詳細な構成については後述する。なお、図1において画像ファイル10はそれぞれ1つずつ図示されているが、本実施例においては少なくとも画像ファイル10は複数個HDD8a内に格納されている。
(画像ファイルのデータ構造)
図2は、本実施形態の情報処理装置1のHDD8a内に格納されている画像ファイル10のデータ構造の一例を示す図である。本実施形態の画像ファイル10はExifで定められるファイルフォーマットを有し、そのヘッダ部分10aにタグ情報が格納され、さらにサムネイル画像データが格納されたサムネイル画像領域10b、及び画像データが格納された画像データ領域10cが設けられている。本実施形態の画像ファイル10では、ヘッダ部分10aに格納されたタグ情報は、被写体撮像時に図略のデジタルスチルカメラにより画像ファイル10のヘッダ部分10aの所定領域に記述される。
画像ファイル10のヘッダ部分10aには、画像データの画素数が記述される画素数領域10d、画像ファイル10の撮影日時が記述される撮影日時領域10e、画像ファイル10の情報処理装置1への取り込み日時が記述される取り込み日時領域10f、画像ファイル10が撮像された撮像装置(デジタルスチルカメラなど)の機種名が記述される機種名領域10g、画像ファイル10の画像データが撮像された際の撮像装置の各種情報、例えば絞り値、焦点距離が記述される撮影情報領域10h、画像ファイル10が撮像されたときに撮像装置が所在する位置をGPSシステムにより得た位置情報(例えば緯度、経度、高度情報)が記述されるGPS情報領域10i、画像ファイル10の画像データに対して情報処理装置1が顔認識を行った結果得られた情報、例えば画像データ内に含まれる被写体を特定するための情報が記述される顔認識情報領域10j、情報処理装置1のユーザが各種情報を任意に記述するためのユーザ定義領域10kが設けられている。当然、これ以外の領域を画像ファイル10のヘッダ部分10aに設けることは任意である。
ここで、ヘッダ部分10aの各領域に記述される各種情報について一例を挙げて説明する。撮影日時領域10eには、撮像装置の内部時計を参考にして、画像ファイル10の画像データが撮像されたときの日時、つまり撮影日時が、一例として“2012/08/24 10:15:24”、すなわち年月日及び秒単位までの時間として記述される。取り込み日時領域10fには、情報処理装置1の図略の内部時計を参考にして、画像ファイル10の画像データが情報処理装置1に取り込まれたときの日時、つまり取り込み日時が、一例として“2012/09/01 18:00:58”、すなわち年月日及び秒単位までの時間として記述される。機種名領域10gには、撮像装置の機種名が、撮像装置の製造者が定めたデータで、一例として「XYZ−○」として記述される。撮影情報領域10hには、画像ファイル10の画像データが撮像された際の撮像装置の各種情報が、一例として「絞り値F=8、シャッタースピード1/125」として記述される。GPS情報領域10iには、画像ファイル10が撮像されたときに撮像装置が所在する位置をGPSシステムを用いて得た位置情報、より詳細には撮像装置が所在する位置の緯度情報、経度情報及び高度情報が、一例として“lat=+35.00.35.600, lon=+135.41.35.600,alt=50”として記述される。顔認識情報領域10jには、画像ファイル10の画像データに対して情報処理装置1が顔認識を行った結果得られた情報が、画像データ内に含まれる被写体を区別するための情報として、一例として“user=0010”として記述される。
(情報処理システムの機能構成)
次に、図3は、本実施形態の情報処理システムSの機能構成を示す機能ブロック図である。この図において、本実施形態の情報処理システムSは情報処理装置1と出力部21と入力部22とを備える。
情報処理装置1は、記憶部23と制御部24とを備える。記憶部23は、各種データ、ファイルを少なくとも一時的に保管し、制御部24の指示によりこのデータ、ファイルを記憶部23から読み出し、あるいは記憶部23に書き込む動作を行う。この記憶部23には、画像ファイル10、シソーラス辞書ファイル11及び個人情報4aが格納されている。画像ファイル10、シソーラス辞書ファイル11及び個人情報4aの詳細については上述したとおりである(図1、図2参照)。
制御部24は、この情報処理装置1全体の制御を行う。この制御部24は、画像ファイル選択部25、情報取得部26、検索キー生成部27及び画像ファイル検索部(データ検索部)28を備える。
画像ファイル選択部25は、記憶部23に格納された画像ファイル10の画像データを出力部21により表示させ、そして、出力部21により表示された画像データの少なくとも一つが入力部22により選択された際、この入力部22から出力される画像データ選択信号を受信し、この画像データ選択信号に対応する画像ファイル10を記憶部23に格納された画像ファイル10から検索して特定する。また、画像ファイル選択部25は、記憶部23に格納された画像ファイル10の画像データを出力部21により表示する際に、記憶部23に格納された画像ファイル10の画像データのうち少なくとも一部の画像ファイル10について、この画像ファイル10に関連する情報を取得し、さらに、出力部21に表示させる画像ファイル10の画像データについて、少なくともその一部の画像ファイル10の取得情報が異なるように、表示すべき画像ファイル10を選択しても良い。なお、本明細書では、画像データには、画像ファイル10のサムネイル画像領域10bに格納された、画像データのインデックスであるサムネイル画像データも含まれるものとする。
より具体的には、画像ファイル選択部25は、記憶部23に格納された画像ファイル10のヘッダ部分10aの各領域に記述されたタグ情報を取得し、タグ情報の頻度を算出し、高頻度のタグ情報を有する画像ファイル10に対して重み付けを低く設定する。一例として、撮影日時領域10eに記述された撮影日時タグ情報の頻度を算出し、同一の撮影日時タグ情報を有する画像ファイル10が多数存在する場合は、その画像ファイル10の重み付けを低く設定する。そして、画像ファイル選択部25は、重み付けができるだけ均等になるように表示すべき画像ファイル10を選択する。これにより、画像ファイル選択部25が画像ファイル10の画像データを出力部21に表示させる際に、特定のタグ情報を有する画像ファイル10が集中して表示されないようにすることができる。
情報取得部26は、画像ファイル選択部25により特定された画像ファイル10を含む、制御部24により特定された画像ファイル10に関連する情報を取得する。情報取得部26により取得される情報には、画像ファイル10のヘッダ部分10aの各領域に記述された情報が含まれる。情報取得部26により取得される他の情報としては、例えば、画像ファイル10のヘッダ部分10aの各領域に記述された情報を記憶部23に格納されたシソーラス辞書ファイル11に提供して得られたシソーラス情報、さらには画像ファイル10のヘッダ部分10aの各領域に記述された情報をWAN17に提供して得られた情報が含まれる。
検索キー生成部27は、情報取得部26により取得された、画像ファイル10に関連する情報の少なくとも一つを使用して、この取得情報を抽象化した検索キーを少なくとも一つ、好ましくは複数生成する。ここで、取得情報の「抽象化」とは、取得情報そのものを検索キーとして用いずに、例えば取得情報の一部を検索キーとして用いることや、取得情報を記憶部23に格納されたシソーラス辞書ファイル11に提供して得られたシソーラスを検索キーとして用いることや、取得情報が数値情報である場合は、この数値情報の範囲を表す検索キーを用いることや、取得情報の少なくとも一部が一致するデータの数を示す検索キーを用いることや、顔認識情報領域10jに記述された被写体区別情報そのものを検索キーとして用いることや、被写体区別情報と個人情報4aとを用いて被写体を特定する情報(例えば被写体の名前)を検索キーとして用いることや、取得情報をWAN17に提供して知識ベース等を用いて得られたデータを検索キーとして用いることが含まれる。当然、抽象化した検索キーに加えて、取得情報そのものを検索キーとして用いてもよい。
そして、検索キー生成部27は、生成した検索キーの少なくとも一つ、好ましくは複数の検索キーを出力部21により表示させる。この際、ユーザの利便性を考慮して、生成された検索キーを用いて記憶部23に格納された画像ファイル10の少なくとも一部を検索し、この検索キーにより検索された結果である画像ファイル10と検索キーとを関連づけて表示させてもよい。また、検索キー生成部27は、生成した検索キーに対して所定の範囲を設定することで、検索キーの曖昧化を図ることも可能である。
また、検索キー生成部27は、入力部22を介してユーザから検索キーの微調整入力指示信号を受信すると、この微調整入力指示信号に応じて微調整した検索キーを生成し、この検索キーを出力部21に表示させてもよい。加えて、微調整した検索キーを用いて記憶部23に格納された画像ファイル10の少なくとも一部を検索し、この検索キーにより検索された結果である画像ファイル10と検索キーとを関連づけて表示させてもよい。また、検索キー生成部27は、画像ファイル検索部28により画像ファイル10により特定されたことがある検索キーを優先して生成してもよい。検索キーの具体例については後述する。
画像ファイル検索部28は、出力部21により表示された検索キーの少なくとも一つが入力部22により選択された際、この入力部22から出力される検索キー選択信号を受信し、選択された検索キーを用いて記憶部23に格納された画像ファイル10を検索する。そして、検索結果となる画像ファイル10の画像データの少なくとも一つを出力部21に表示させる。また、画像ファイル検索部28は、出力部21に表示された検索キーが入力部22により複数選択された場合は、この入力部22から出力される複数の検索キー選択信号を受信し、複数の検索キーの検索結果の和集合または積集合、さらに和集合と積集合との少なくとも2つの組み合わせである集合である画像ファイル10を検索し、検索結果となる画像ファイル10の画像データの少なくとも一つを出力部21に表示させる。
入力部22は、好ましくは出力部21による表示と連動して、ユーザによる各種入力を受け付けて、この入力に対応した入力指示信号を情報処理装置1に送信する。出力部21は、情報処理装置1から送信された表示信号に基づいて、その表示画面に各種表示を行う。
情報処理装置1、出力部21、入力部22の詳細な動作については後述する。なお、以上の説明において、入力部22は入力指示部5b及び入力機器12により構成され、出力部21はHDMI出力機器15により構成され、記憶部23はRAM4及びHDD8aにより構成され、そして制御部24はCPU2、入力インタフェース5a、HDMIインタフェース6、ネットワークインタフェース7及びHDDインタフェース8bにより構成される。
(検索キーの詳細)
次に、図13及び図14を参照して、本実施形態の情報処理システムSにおいて用いられる検索キーについて説明する。以下に説明する検索キーは、既に述べたように検索キー生成部27により主に生成される。
図13は、画像ファイル10のヘッダ部分10aに記述されたタグ情報と、このタグ情報から生成される検索キーとの関係の一例を示す図である。図13に示す例では、一つのタグ情報から複数の検索キーが生成されている。
例えば、撮影日時領域10eに記述された撮影日時タグ情報から、「月」「月日」「曜日」などの検索キーが検索キー生成部27により生成される。上述のように撮影日時領域10eに記述された撮影日時タグ情報は、例えば“2012/08/24 10:15:24”といったように年月日及び秒単位までの時間、すなわち数値情報として記述されているので、「月」「月日」「曜日」などの検索キーは、この撮影日時タグ情報の一部を用いて抽象化されて生成されている。同様に、撮影日時領域10eに記述された撮影日時タグ情報から、「時間帯」「季節」「季節のイベント」などの検索キーが検索キー生成部27により生成される。これら「時間帯」「季節」「季節のイベント」などの検索キーは、この撮影日時タグ情報の範囲を示す形で抽象化して形成されている。ここで、「季節のイベント」検索キーについては、例えばGW(ゴールデンウィーク)であると年毎に祝日が異なり、また、土日といった休日を含めてGWという認識をすることができるので、「季節のイベント」検索キー生成の際には年毎の祝日、休日等を考慮して範囲設定を行う。さらに、撮影日時領域10eに記述された撮影日時タグ情報から、「日間撮影枚数」などの検索キーが検索キー生成部27により生成される。この「日間撮影枚数」などの検索キーは、この撮影日時タグ情報の一部(「日間撮影枚数」であれば年月日の情報)を用いて、記憶部23に格納された画像ファイル10を検索した結果の枚数の範囲を示す形で抽象化して生成されている。
また、GPS情報領域10iに記述された位置タグ情報から、「観光地名」「分類」「地名」などの検索キーが検索キー生成部27により生成される。上述のようにGPS情報領域10iに記述された位置タグ情報は、例えば“lat=+35.00.35.600, lon=+135.41.35.600,alt=50”のように緯度情報、経度情報及び高度情報として記述されているので、「観光地名」「分類」「地名」などの検索キーは、この緯度情報、経度情報及び高度情報をWAN17に所在する外部サーバ、一例として地図サーバや観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマーク名を入手し、このランドマーク名そのもの、さらにはランドマーク名を用いてランドマークの分類やそのランドマークが所在する地名を用いて抽象化することで検索キーが生成されている。
さらに、顔認識情報領域10jに記述された被写体区別タグ情報から、「同一人物」「個数」などの検索キーが検索キー生成部27により生成される。上述のように顔認識情報領域10jに記述された被写体区別タグ情報は、例えば“user=0010”のように画像ファイル10の画像データ内に存在する被写体を区別するための情報として記述されているので、この被写体区別タグ情報と個人情報4a内の情報と照合してこの被写体の氏名を特定することができる。そして、この被写体特定情報そのものを検索キーとして(「○○ちゃん」といった表示になる)生成するとともに、被写体特定情報が同一の画像ファイル10の画像データ内にいくつ存在するかという抽象化を行って検索キーを生成する。
次に、図14は、画像ファイル10のヘッダ部分10aに記述されたタグ情報と、このタグ情報から生成される検索キーとの関係の他の例を示す図である。図14に示す例では、複数のタグ情報、あるいはタグ情報と他の情報とから複数の検索キーが生成されている。
例えば、撮影日時領域10eに記述された撮影日時タグ情報、顔認識情報領域10jに記述された被写体区別タグ情報及び個人情報4aに記述された被写体特定情報及び誕生日情報から、「誕生日」「年齢」などの検索キーが検索キー生成部27により生成される。例えば、「誕生日」検索キーについては、被写体区別タグ情報及び被写体特定情報により画像ファイル10の画像データ内の被写体の氏名を特定することができ、さらに、被写体の氏名及び誕生日情報により画像ファイル10の画像データ内の被写体の誕生日を特定することができ、そして、被写体の誕生日の月日と撮影日時タグ情報内の月日とが合致する、すなわち撮影日時タグ情報内の一部が一致するものを検索するキーとして抽象化を行い、「誕生日」検索キーを生成することができる。また、「年齢」検索キーについては、被写体の誕生日の月日と、この誕生日の月日に所定の年数を加え、特定の年齢に達した被写体の誕生日の年月日から1年の範囲内に存在する撮影日時タグ情報の年月日を検索するキーとして抽象化を行い、「年齢」検索キーを生成することができる。
また、撮影日時領域10eに記述された撮影日時タグ情報及び個人情報4aに記述された記念日情報から、「記念日」などの検索キーが検索キー生成部27により生成される。例えば、「記念日」検索キーについては、撮影日時タグ情報内の月日と記念日情報の月日とが合致するものを検索するキーとして抽象化を行い、「記念日」検索キーを生成することができる。
さらに、撮影日時領域10eに記述された撮影日時タグ情報、顔認識情報領域10jに記述された被写体区別タグ情報及び個人情報4aに記述された被写体特定情報から、「日間撮影人物」などの検索キーが検索キー生成部27により生成される。例えば、「日間撮影人物」検索キーについては、被写体区別タグ情報及び被写体特定情報により画像ファイル10の画像データ内の被写体の氏名を特定することができ、そして、撮影日時タグ情報内の年月日が特定の年月日に合致し、さらに、特定の被写体氏名が画像ファイル10の画像データに存在するものを検索するキーとして抽象化を行い、「日間撮影人物」検索キーを生成することができる。
そして、撮影日時領域10eに記述された撮影日時タグ情報及びGPS情報領域10iに記述された位置タグ情報から、「日間撮影場所」「イベント」などの検索キーが検索キー生成部27により生成される。例えば、「日間撮影場所」検索キーについては、GPS情報領域10iに記述された位置タグ情報の緯度情報、経度情報及び高度情報をWAN17に所在する外部サーバ、一例として地図サーバや観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマーク名を入手し、このランドマークの緯度情報、経度情報及び高度情報がGPS情報領域10iに記述された位置タグ情報の緯度情報、経度情報及び高度情報と一致し、さらに撮影日時タグ情報内の年月日が特定の年月日に合致するものを検索し、検索した結果の枚数の範囲を示す形で抽象化を行い、「日間撮影場所」検索キーを生成することができる。また、「イベント」検索キーについては、GPS情報領域10iに記述された位置タグ情報の緯度情報、経度情報及び高度情報及び撮影日時タグ情報内の年月日をWAN17に所在する外部サーバ、一例として観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマークにおいて撮影日時タグ情報内の年月日にどのようなイベントが開催されたかを入手し、このランドマークの緯度情報、経度情報及び高度情報がGPS情報領域10iに記述された位置タグ情報の緯度情報、経度情報及び高度情報と一致し、さらに撮影日時タグ情報内の年月日が特定の年月日に合致するものを検索するキーを特定イベントに関する画像ファイル10を検索するキーとして抽象化を行い、「イベント」検索キーを生成することができる。
ここで、図13及び図14には図示しないが、既に述べたように、画像ファイル10のヘッダ部分10aの各領域に記述されたタグ情報に基づいて作成した検索キーに対して所定の範囲を設定することで、検索キーの曖昧化を図ることも可能である。一例として、「月日」検索キーが「9月1日」であった場合は、前後3日の撮影日時タグ情報を有する画像ファイル10も「9月1日」検索キーで検索可能とすることができる。また、「時間帯」検索キーが「昼過ぎ」であった場合は、午後12時から前後4時間の撮影日時タグ情報を有する画像ファイル10も「昼過ぎ」検索キーで検索可能とすることができる。さらに、「日間撮影枚数」検索キーが「30枚/日」であった場合は、撮影日時タグ情報のうち特定の年月日を有する画像ファイル10が24枚〜36枚であった場合も「30枚/日」で検索可能とすることができる。さらに、「地名」検索キーが「東京」であった場合は、東京都の周辺、例えば神奈川県、埼玉県、千葉県において東京都に隣接する市町村に属する位置タグ情報を有する画像ファイル10も「東京」検索キーで検索可能とすることができる。
検索キーの曖昧化についてより詳細に説明する。まず、曖昧化を行う対象のタグ情報に対して、順序が設定できるかどうかを検討する。例えば撮影日時領域10eに記述された撮影日時タグ情報であれば時間軸に沿った一方向の順序と、曜日という周期性を持った順序が設定可能である。また、GPS情報領域10iに記述された位置タグ情報であれば、緯度情報または経度情報の数値の昇順または降順という順序が設定可能である。次いで、順序が設定できたタグ情報に対して、この順序に沿った一定の範囲を設定することで検索キーの曖昧化を行う。この時、順序設定は単純に範囲指定を行うだけではなく、シソーラス辞書ファイル11等を参照して範囲設定を行ってもよい。具体的には、「地名」検索キーが山手線の特定の駅に関するキー、例えば「新宿駅」であった場合は、シソーラス辞書ファイル11等を参照することで、山手線において新宿駅に隣接する「新大久保駅」「代々木駅」に対応する位置タグ情報を有する画像ファイル10も「新宿駅」検索キーで検索可能とすることができる。
さらに、タグ情報に対して範囲設定をする際に、他のタグ情報を利用して範囲設定して曖昧化を行ってもよい。例えば、「月日」検索キーが「9月1日」であった場合は、撮影日時タグ情報が9月1日付近の画像ファイル10を検索し、9月1日を中心として時間軸上で前後に位置する画像ファイル10のうち、9月1日以前の画像ファイル10を30枚、9月1日以降の画像ファイル10を30枚選択し、これら画像ファイル10を「9月1日」検索キーで検索可能とすることができる。さらに、特定のタグ情報に対してその周辺にグループを設定し、このグループ内に包含される画像ファイル10を特定の検索キーで検索可能とすることができる。例えば、「月日」検索キーが「9月1日」であった場合は、撮影日時タグ情報が9月1日付近の画像ファイル10を検索し、画像ファイル10の撮影者の行動モデルを作成する。そして、撮影者の行動モデルから、当該撮影者が撮影を集中的に行った期間(大抵は旅行中といった具体的な行動に紐付けられる)を、例えば隠れマルコフモデル等の手法を用いて推定し、この期間内に存在する画像ファイル10を「9月1日」検索キーで検索可能とすることができる。
また、この検索キーの曖昧化は、例えば後述する検索キー表示画面30cにおいて、曖昧化された検索キーを表示するボタンを設け、このボタンが入力部22により選択されたことを契機に検索キー生成部27が生成してもよいし、検索キー生成部27により生成された検索キーにより検索可能な画像ファイル10の数が少ない場合、検索キー生成部27が生成した検索キーに対して曖昧化を行ってもよい。
(情報処理システムの動作)
次に、図4〜図12を参照して、本実施形態の情報処理システムSの動作の概要を、出力部21の表示画面を中心にして説明する。
まず、図4は、出力部21の表示画面に表示される、情報処理システムSの初期画面を示す図である。初期画面を示す表示画面30aには、写真データ閲覧モードに移行するためのボタン31が(図4に示す例では2つ)表示されている。同様に、初期画面を示す表示画面30aには、カレンダーモードに移行するためのボタン32及びアルバムモードに移行するためのボタン33が表示されている。
ここに、カレンダーモードとは、記憶部23に格納されている画像ファイル10の画像データを年月日順に配列し、カレンダーを閲覧するように画像ファイル10の画像データを閲覧できるモードであり、アルバムモードとは、記憶部23に格納されている画像ファイル10の画像データのうち、予めユーザが付与したアルバムタグ情報(例えば「2012年運動会」)を有する画像データのみを抽出して閲覧できるモードである。これらカレンダーモード及びアルバムモードの詳細については説明を省略する。
写真データ閲覧モードに移行するためのボタン31には、記憶部23に格納されている画像ファイル10の画像データのうち代表となる画像データが重畳されて表示されている。ボタン31に重畳される画像データは、記憶部23に格納されている任意の画像ファイル10の画像データをランダムに抽出すればよいが、事前に代表的な検索キーにより記憶部23に格納されている画像ファイル10の画像データを検索し、同一の検索キーにより検索される可能性のある画像データができるだけ重複して表示されないように抽出してもよい。
初期画面を示す表示画面30aには、ユーザによる入力位置を示すポインタ34が表示されている。ユーザは、リモコン、マウス等の入力部22によりこのポインタ34を表示画面30a内で移動させ、選択を希望するボタン31〜33にこのポインタ34の少なくとも一部を重畳表示させた状態でこの入力部22を操作することで、ユーザによりどのボタンが選択されたかを示す選択入力信号が入力部22から出力され、情報処理装置1に入力される。
次に、図5は、出力部21の表示画面に表示される、情報処理システムSの選択画面を示す図である。図5に示す選択画面は、図4において写真データ閲覧モードに移行するためのボタン31がユーザにより選択されることにより表示される。
選択画面を示す表示画面30bには、記憶部23に格納されている画像ファイル10の画像データのサムネイル画像35が複数表示されている。図5に示す例では、サムネイル画像35は縦3枚×横4枚表示されているが、表示画面30bにサムネイル画像35が複数枚表示されているならばその枚数及び表示形態に限定はない。
選択画面を示す表示画面30bに表示されるサムネイル画像35は、記憶部23に格納されている任意の画像ファイル10の画像データをランダムに抽出してそのサムネイル画像を表示すればよいが、事前に代表的な検索キーにより記憶部23に格納されている画像ファイル10の画像データを検索し、同一の検索キーにより検索される可能性のある画像データのサムネイル画像ができるだけ重複して表示されないように抽出してもよい。
選択画面を示す表示画面30bにも、ユーザによる入力位置を示すポインタ34が表示されている。ユーザは入力部22によりこのポインタ34を表示画面30b内で移動させ、選択を希望するサムネイル画像35にこのポインタ34の少なくとも一部を重畳表示させた状態でこの入力部22を操作することで、ユーザによりどのサムネイル画像35(図5に示す例では太枠で表示されたサムネイル画像35)が選択されたかを示す選択入力信号が入力部22から出力され、情報処理装置1に入力される。
次に、図6は、出力部21の表示画面に表示される、情報処理システムSの検索キー表示画面を示す図である。図6に示す検索キー表示画面は、図5においていずれかのサムネイル画像35がユーザにより選択されることにより表示される。
検索キー表示画面を示す表示画面30cは、図5に示す選択画面を示す表示画面30bに、関連写真ウィンドウ36が重畳されて表示されて構成されている。関連写真ウィンドウ36には、図5において選択されたサムネイル画像35(図6においてハッチングを付したサムネイル画像35)に対応する画像ファイル10に関連する画像ファイル10のサムネイル画像37及びこのサムネイル画像37を抽出する際に用いられた検索キー38が組となって複数組表示されている。図6に示す例では、サムネイル画像37及び検索キー38の組は5組表示されているが、表示画面30cにサムネイル画像37及び検索キー38が複数組表示されているならばその組数及び表示形態に限定はない。
関連写真ウィンドウ36に表示されるサムネイル画像37及び検索キー38の組は、図5において選択されたサムネイル画像35に対応する画像ファイル10のヘッダ部分10aの各領域に記述されたタグ情報を参照して生成された検索キーと、この検索キーにより記憶部23に格納されている画像ファイル10を検索して得られた検索結果である画像ファイル10のサムネイル画像から適宜選択される。
一例として、「海」検索キーは、「分類」検索キーの一例であり、GPS情報領域10iに記述された位置タグ情報から生成される。また、「○○ちゃん」検索キーは、顔認識情報領域10jに記述された被写体区別タグ情報及び個人情報4aに記述された被写体特定情報から生成される。さらに、「場所が近い」検索キーは、GPS情報領域10iに記述された位置タグ情報に基づき、この位置タグ情報の周囲(例えば半径50m)の位置タグ情報を有する画像ファイル10を検索する検索キーとして生成される。さらに、「1年前」検索キーは、撮影日時領域10eに記述された撮影日時タグ情報に基づき、この撮影日時タグ情報内の年月日のうち年のみ1を減じた(つまり1年前)値を有する画像ファイル10を検索する検索キーとして生成される。そして、「XYZ−○」検索キーは、機種名領域10gに記述された機種名タグ情報が「XYZ−○」である画像ファイル10を検索する検索キーとして生成される。
ここで、上述のように、図5において選択されたサムネイル画像35に対応する画像ファイル10のヘッダ部分10aの各領域に記述されたタグ情報を参照することで複数の検索キーを生成することが可能であるので、この複数の検索キーからいずれの検索キー37を選択して表示するかは任意であるが、ユーザに対して異なる観点からの検索キー37及びサムネイル画像38の組を表示する観点から、異なる種類の検索キー、あるいは異なるタグ情報を用いた検索キーをできるだけ多く表示することも可能である。
検索キー表示画面を示す表示画面30cにも、ユーザによる入力位置を示すポインタ34が表示されている。ユーザは入力部22によりこのポインタ34を表示画面30c内で移動させ、選択を希望するサムネイル画像37にこのポインタ34の少なくとも一部を重畳表示させた状態でこの入力部22を操作することで、ユーザによりどのサムネイル画像37(図6に示す例では太枠で表示されたサムネイル画像37)が選択されたかを示す選択入力信号が入力部22から出力され、情報処理装置1に入力される。
次に、図7は、出力部21の表示画面に表示される、情報処理システムSの検索表示画面を示す図である。図7に示す検索表示画面は、図6においていずれかのサムネイル画像37がユーザにより選択されることにより表示される。
検索表示画面を示す表示画面30dには、図6において選択されたサムネイル画像37と組になっている検索キー38を用いて記憶部23に格納されている画像ファイル10を検索し、その検索結果である画像ファイル10の画像データのサムネイル画像39が表示されている。図7に示す例では、サムネイル画像39は縦3枚×横4枚表示されているが、表示画面30dに表示されるサムネイル画像39の枚数は検索結果に依存して決まり、また、全ての検索結果である画像ファイル10のサムネイル画像39を表示しなくてもよい。加えて、サムネイル画像39の表示形態にも限定はない。図7と異なる別の表示形態について図8を参照して説明する。
図8は、出力部21の表示画面に表示される、情報処理システムSのタイムライン画面を示す図である。図8に示すタイムライン画面は、図6においていずれかのサムネイル画像37がユーザにより選択されることにより表示される。
タイムライン画面を示す表示画面30eには、図6において選択されたサムネイル画像37と組になっている検索キー38を用いて記憶部23に格納されている画像ファイル10を検索し、その検索結果である画像ファイル10の画像データのサムネイル画像40が表示されている。図7の表示画面30dと図8の表示画面30eとの相違点は、図7の表示画面30dではサムネイル画像39は特段の配列順に従って配列されておらず、あるいは、特段の配列順を有する場合でもその配列順は表示画面30d上からは判別することが困難であるのに対し、図8の表示画面30eでは、サムネイル画像40に対応する画像ファイル10の撮影日時タグ情報が示す撮影日時が時間軸に沿って左から右に進むようにサムネイル画像40が配列されている点である。
より詳細には、表示画面30eの第1領域41aには、撮影日時タグ情報の年月日がX年Y月21日(X、Yは任意の年月を示す自然数)であるサムネイル画像40が、第2領域41bには、撮影日時タグ情報の年月日がX年Y月22日であるサムネイル画像40が、第3領域41cには、撮影日時タグ情報の年月日がX年Y月23日であるサムネイル画像40が、第4領域41dには、撮影日時タグ情報の年月日がX年Y月24日であるサムネイル画像40が配列されている。これにより、選択されたサムネイル画像37に対応する検索キー38により検索された結果としての画像ファイル10のサムネイル画像40を時間軸上で把握することができ、ユーザの利便性を向上することができる。
次に、図9は、出力部21の表示画面に表示される、情報処理システムSの検索キー絞り込み画面を示す図である。図9に示す検索キー絞り込み画面は、図5においていずれかのサムネイル画像35がユーザにより選択されることにより表示される。
検索キー絞り込み画面を示す表示画面30fは、図5に示す選択画面を示す表示画面30bに、図6と同様な関連写真ウィンドウ42が重畳されて表示されて構成されている。すなわち、関連写真ウィンドウ42には、図5において選択されたサムネイル画像35(図9においてハッチングを付したサムネイル画像35)に対応する画像ファイル10に関連する画像ファイル10のサムネイル画像43及びこのサムネイル画像43を抽出する際に用いられた検索キー44が組となって複数組表示されている。
検索キー絞り込み画面を示す表示画面30fにも、ユーザによる入力位置を示すポインタ34が表示されている。ユーザは入力部22によりこのポインタ34を表示画面30f内で移動させ、選択を希望するサムネイル画像43にこのポインタ34の少なくとも一部を重畳表示させた状態でこの入力部22を操作し、これを順次繰り返すことで複数のサムネイル画像43(図9に示す例では太枠で表示されたサムネイル画像43)を選択する。図6に示す検索キー表示画面30cにおける単一のサムネイル画像37選択動作と図9に示す検索キー絞り込み画面30fにおける複数のサムネイル画像43選択動作とを区別して入力操作する手法は任意であり、一例として、入力部22側に複数のサムネイル画像43選択動作を選択するための特別なキー、ボタン等を設け、このキー等が操作されることにより、複数のサムネイル画像43選択動作に移行する手法が挙げられる。さらに、図9の検索キー絞り込み画面30fにおけるサムネイル画像43選択動作の結果として表示される検索表示画面30dにおいて、選択された複数のサムネイル画像43のそれぞれに対応する検索キー44による検索結果の和集合または積集合のいずれを表示するかを選択するキー、ボタン等を入力部22に設けることが好ましい。
ユーザにより複数のサムネイル画像43が選択されると、ユーザによりどのサムネイル画像43が選択されたかを示す選択入力信号と、このサムネイル画像43に対応する検索キー44による検索結果の和集合または積集合のいずれを表示するかを選択する検索結果選択信号とが入力部22から出力され、情報処理装置1に入力される。
この後、図7に示す検索表示画面を示す表示画面30dが出力部21の表示画面に表示される。この際、表示画面30dには、図9において選択された複数のサムネイル画像37と組になっている検索キー38のそれぞれを用いて記憶部23に格納されている画像ファイル10を検索し、検索結果選択信号に基づいてその検索結果の和集合または積集合である画像ファイル10の画像データのサムネイル画像39が表示される。
次に、図10は、出力部21の表示画面に表示される、情報処理システムSの検索キー追加画面の一例を示す図である。図10に示す検索キー追加画面は、図5においていずれかのサムネイル画像35がユーザにより選択されることにより表示される。
検索キー追加画面を示す表示画面30gは、図5に示す選択画面を示す表示画面30bに、図6と同様な関連写真ウィンドウ45が重畳されて表示されて構成されている。すなわち、関連写真ウィンドウ45には、図5において選択されたサムネイル画像35(図10においてハッチングを付したサムネイル画像35)に対応する画像ファイル10に関連する画像ファイル10のサムネイル画像46及びこのサムネイル画像46を抽出する際に用いられた検索キー47が組となって複数組表示されている。
検索キー追加画面を示す表示画面30gにも、ユーザによる入力位置を示すポインタ34が表示されている。ユーザは入力部22によりこのポインタ34を表示画面30g内で移動させ、選択を希望するサムネイル画像46にこのポインタ34の少なくとも一部を重畳表示させた状態でこの入力部22を操作することで、サムネイル画像46(図10に示す例では太枠で表示されたサムネイル画像46)を選択する。
サムネイル画像46が選択されると、選択されたサムネイル画像46に対応する検索キー47が特定され、この検索キー47に対して、タグ情報を微調整した新たな検索キー48が生成され、さらに、この新たな検索キー48を用いて記憶部23に格納されている画像ファイル10を検索して得られた検索結果である画像ファイル10のサムネイル画像49が抽出され、これら検索キー48及びサムネイル画像49が組となって表示される。ここに、微調整とは、特定の検索キーにより検索するタグ情報領域は変更せず、その検索条件の一部を変更し、類似する検索キーを生成することを意味する。一例として、図10の例では、「土曜日」検索キー47が選択されたので、この検索キー47により検索するタグ領域である撮影日時領域10eは変更せず、土曜日の次の曜日である「日曜日」検索キー48を生成する。あるいは、上述した検索キーの曖昧化作業における順序設定動作を用いて、「土曜日」の次の曜日である「日曜日」検索キー48を生成してもよい。
図6に示す検索キー表示画面30cにおける単一のサムネイル画像37選択動作と図10に示す検索キー追加画面30gにおける微調整された検索キー48生成動作とを区別して入力操作する手法は任意であり、一例として、入力部22側に微調整された検索キー生成動作を指令するための特別なキー、ボタン等を設け、このキー等が操作されることにより、微調整された検索キー生成動作に移行する手法が挙げられる。微調整された検索キー48に基づくサムネイル画像49はポインタ34により同様に選択可能であり、いずれのサムネイル画像46、49が選択されても、ユーザによりどのサムネイル画像46、49が選択されたかを示す選択入力信号が入力部22から出力され、情報処理装置1に入力される。
次に、図11は、出力部21の表示画面に表示される、情報処理システムSの検索キー追加画面の別の例を示す図である。図11に示す検索キー追加画面は、図5においていずれかのサムネイル画像35がユーザにより選択されることにより表示される。
検索キー追加画面を示す表示画面30hは、図5に示す選択画面を示す表示画面30bに、図6と同様な関連写真ウィンドウ50が重畳されて表示されて構成されている。すなわち、関連写真ウィンドウ50には、図5において選択されたサムネイル画像35(図11においてハッチングを付したサムネイル画像35)に対応する画像ファイル10に関連する画像ファイル10のサムネイル画像51及びこのサムネイル画像51を抽出する際に用いられた検索キー52が組となって複数組表示されている。
検索キー追加画面を示す表示画面30hにも、ユーザによる入力位置を示すポインタ34が表示されている。ユーザは入力部22によりこのポインタ34を表示画面30h内で移動させ、選択を希望するサムネイル画像51にこのポインタ34の少なくとも一部を重畳表示させた状態でこの入力部22を操作することで、サムネイル画像51(図10に示す例では太枠で表示されたサムネイル画像51)を選択する。
サムネイル画像51が選択されると、選択されたサムネイル画像51に対応する検索キー52が特定され、この検索キー52に対して、記憶部23内のシソーラス辞書11(図3参照)を用いて新たな検索キー53が生成され、さらに、この新たな検索キー53を用いて記憶部23に格納されている画像ファイル10を検索して得られた検索結果である画像ファイル10のサムネイル画像54が抽出され、これら検索キー53及びサムネイル画像54が組となって表示される。
シソーラス辞書11による新たな検索キー53生成の具体例を、図11及び図12を参照して説明する。図11においては、ポインタ34により「海水浴」検索キー52に対応するサムネイル画像51が選択されている。この「海水浴」検索キーは、GPS情報領域10iに記述された位置タグ情報をWAN17に所在する外部サーバ、一例として地図サーバや観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマーク名を入手し、このランドマーク名が海水浴場である画像ファイル10を検索するキーとして生成されている。そして、「海水浴」という単語そのものをシソーラス辞書11に提供し、「海水浴」のシソーラスである単語の提供を受ける。
図12は、シソーラス辞書11の一例を示す図である。図12に示す例では、「海水浴」と「潮干狩り」は同じ「海」というカテゴリーに属するシソーラスである。従って、シソーラス辞書11は、「海水浴」のシソーラスとして「潮干狩り」を提供する。そして、この新たな検索キー「潮干狩り」53を用いて記憶部23に格納されている画像ファイル10を検索して得られた検索結果である画像ファイル10のサムネイル画像54が抽出され、これら検索キー53及びサムネイル画像54が組となって表示される。なお、WAN17に所在する外部サーバ内に置かれたシソーラス辞書を用いてもよい。
図6に示す検索キー表示画面30cにおける単一のサムネイル画像37選択動作と図11に示す検索キー追加画面30hにおけるシソーラス辞書11による検索キー53生成動作とを区別して入力操作する手法は任意であり、一例として、入力部22側にシソーラス辞書11による検索キー生成動作を指令するための特別なキー、ボタン等を設け、このキー等が操作されることにより、シソーラス辞書11による検索キー生成動作に移行する手法が挙げられる。シソーラス辞書11による検索キー53に基づくサムネイル画像54はポインタ34により同様に選択可能であり、いずれのサムネイル画像54が選択されても、ユーザによりどのサムネイル画像54が選択されたかを示す選択入力信号が入力部22から出力され、情報処理装置1に入力される。
(情報処理システムの動作フロー)
次に、図15及び図16のフローチャートを参照して、本実施形態の情報処理システムSの動作フローについて説明する。
図15のフローチャートに示す動作は、図略の電源ボタン等を操作することで情報処理装置1に電源が投入されて起動する時点から開始する。まず、ステップS1において、情報処理装置1の制御部24の画像ファイル選択部25は、記憶部23内に格納されている画像ファイル10の画像データを読み込み、次いでステップS2において、画像ファイル選択部25は、記憶部23から読み出した画像ファイル10のヘッダ部分10aの各領域に記述されたタグ情報を抽出する。抽出されたタグ情報は記憶部23に一時的に格納される。また、ヘッダ部分10aの各領域に記述されたタグ情報をキーとして、記憶部23内のシソーラス辞書11、あるいはWAN17に所在する外部サーバに問い合わせた結果としての情報を入手しても良い。
次いで、ステップS3では、画像ファイル選択部25が図5の選択画面30bに表示するための画像ファイル10を選択する。既に述べたように、ステップS3における画像ファイル10選択動作において、画像ファイル選択部25は、記憶部23内に格納されている画像ファイル10から、選択画面30bに表示できるサムネイル画像35の数だけ画像ファイル10をランダムに選択してもよいし、ステップS2において抽出したタグ情報に基づき、同一の検索キーにより検索される可能性のある画像データのサムネイル画像35ができるだけ重複して表示されないように選択してもよい。
次いで、ステップS4では、初期画面30aに表示すべきボタン31に重畳すべき画像ファイル10の画像データを選択する。選択の母集団となる画像ファイル10は、ステップS3において選択された画像ファイル10である。この時、既に述べたように、同一の検索キーにより検索される可能性のある画像データができるだけ重複して表示されないように選択してもよい。そして、ステップS5では、ステップS4で選択された画像ファイル10の画像データを含む、図4に示すような初期画面30aのデータを生成し、出力部21に表示させる。
次いで、ステップS6では、入力部22をユーザが操作することにより初期画面30a上でポインタ34が移動し、そして、ポインタ34がいずれかのボタン31〜33の少なくとも一部に重畳された状態で入力部22がユーザにより操作されることで、ボタン31〜33のいずれかが選択されたことを示す選択入力信号が入力部22から出力されるまで待機し、写真データ閲覧モードに移行するためのボタン31がユーザにより選択されたことを示す選択入力信号が入力部22から制御部24に出力されると(ステップS6においてYES)、プログラムはステップS7に移行する。
ステップS7では、画像ファイル選択部25が、ステップS3で選択した画像ファイル10のサムネイル画像35を含む、図5に示すような選択画面30bのデータを生成し、出力部21に表示させる。次いで、ステップS8では、入力部22をユーザが操作することにより選択画面30b上でポインタ34が移動し、そして、ポインタ34がいずれかのサムネイル画像35の少なくとも一部に重畳された状態で入力部22がユーザにより操作されることで、いずれのサムネイル画像35が選択されたことを示す選択入力信号が入力部22から出力されるまで待機し、いずれかのサムネイル画像35がユーザにより選択されたことを示す選択入力信号が入力部22から制御部24に出力されると(ステップS8においてYES)、プログラムは図16のステップS9に移行する。
ステップS9では、情報取得部26が、ステップS8において選択されたサムネイル画像35に対応する画像ファイル10のタグ情報を取得する。既に述べたように、情報取得部26により取得される情報には、画像ファイル10のヘッダ部分10aの各領域に記述された情報が含まれる。情報取得部26により取得される他の情報としては、例えば、画像ファイル10のヘッダ部分10aの各領域に記述された情報を記憶部23に格納されたシソーラス辞書ファイル11に提供して得られたシソーラス情報、さらには画像ファイル10のヘッダ部分10aの各領域に記述された情報をWAN17に提供して得られた情報が含まれる。
次いで、ステップS10では、検索キー生成部27が、ステップS9で情報取得部が取得したタグ情報のうち少なくとも一つを使用して、取得タグ情報を抽象化した検索キーを少なくとも一つ、好ましくは複数生成する。抽象化した検索キーの生成手順及び生成される検索キーの具体例については既に述べたのでここでは説明を省略する。同様に、検索キー生成部27は、生成した検索キーに対して微調整を行い、また、生成した検索キーに対して曖昧化を図ることもある。微調整作業及び曖昧化作業についても既に述べたのでここでは説明を省略する。
ステップS11では、検索キー生成部27が、ステップS10において生成した検索キーを用いて、記憶部23に格納された画像ファイル10を検索する。ここで、検索キー生成部27は、ステップS10において生成した検索キーの全てについてステップS11において画像ファイル10を検索する必要はなく、図6に示す検索キー表示画面30cにおいて表示するサムネイル画像37及び検索キー38の組数に対応する検索キー(つまり検索キー表示画面30cに表示される検索キー38)を用いて最低限検索を行えばよい。そして、ステップS12では、検索キー生成部27が、ステップS10において生成した検索キー及びステップS11において検索した画像ファイル10に基づいて、図6に示すような検索キー表示画面30cのデータを生成し、出力部21に表示させる。既に述べたように、検索キー表示画面30cに表示されるサムネイル画像37及び検索キー38の組は、ステップS10及びステップS11において生成、検索された検索キー及び画像ファイル10の全てに対応するものとは限らない。
ステップS13では、入力部22をユーザが操作することにより検索キー表示画面30c上でポインタ34が移動し、そして、ポインタ34がいずれかのサムネイル画像37の少なくとも一部に重畳された状態で入力部22がユーザにより操作されことで、いずれかのサムネイル画像37が選択されたことを示す選択入力信号が入力部22から出力されるまで待機し、いずれかのサムネイル画像37がユーザにより選択されたことを示す選択入力信号が入力部22から制御部24に出力されると(ステップS13においてYES)、プログラムはステップS14に移行する。既に述べたように、ステップS13において、複数のサムネイル画像43が選択されることがあり(図9参照)、また、複数のサムネイル画像43が選択された場合は、検索結果として複数のサムネイル画像43に対応する検索キー44の和集合または積集合のいずれを表示するかも選択されるので、この場合は、入力部22から、複数のサムネイル画像43選択入力信号と、このサムネイル画像43に対応する検索キー44による検索結果の和集合または積集合のいずれを表示するかを選択する検索結果選択信号とが出力される。
ステップS14では、画像ファイル検索部28が、ステップS13において選択された検索キー37を用いて、記憶部23に格納された画像ファイル10を検索する。また、画像ファイル検索部28は、出力部21に表示された検索キー43が入力部22により複数選択された場合は、この入力部22から出力される複数の検索キー選択信号、及びこのサムネイル画像43に対応する検索キー44による検索結果の和集合または積集合のいずれを表示するかを選択する検索結果選択信号を受信し、複数の検索キー44の検索結果の和集合または積集合である画像ファイル10を検索する。
そして、ステップS15では、画像ファイル検索部28が、ステップS14において検索された画像ファイル10のうち少なくとも一つの画像ファイル10のサムネイル画像39を含む、図7に示すような検索表示画面30dのデータ、あるいは図8に示すようなタイムライン画面30eを生成し、出力部に表示させる。既に述べたように、画像ファイル検索部28が出力部22に表示させるサムネイル画像39の枚数は検索結果に依存して決まり、また、全ての検索結果である画像ファイル10のサムネイル画像39を表示しなくてもよい。
(第1実施形態の効果)
以上詳細に説明したように、本実施形態の情報処理システムSでは、記憶部23内に格納された画像ファイル10のサムネイル画像35を表示画面30bに表示させるとともに、画像ファイル10のタグ情報を取得し、このサムネイル画像35が選択されると、選択されたサムネイル画像35に対応する画像ファイル10のタグ情報に基づいて検索キー38を生成し、この検索キー38が選択されると、選択された検索キー38により画像ファイル10を検索して、その検索結果である画像ファイル10のサムネイル画像39を表示している。あるいは、サムネイル画像35が選択されると、選択されたサムネイル画像35に対応する画像ファイル10のタグ情報を取得し、このタグ情報に基づいて検索キー38を生成し、この検索キー38が選択されると、選択された検索キー38により画像ファイル10を検索して、その検索結果である画像ファイル10のサムネイル画像39を表示している。
すなわち、ユーザは表示されたサムネイル画像35に注目したら、そのサムネイル画像35を選択することにより、選択されたサムネイル画像35に関連するサムネイル画像37及び検索キー38が表示され、いずれかのサムネイル画像37を選択すれば、対応する検索キー38により記憶部23内の画像ファイル10が検索されてその検索結果である画像ファイル10のサムネイル画像39を得ることができる。
従って、本実施形態によれば、上述の従来の技術のように検索表示を希望するタグ情報をユーザが予め特定することなく、画像ファイル10のサムネイル画像35を基準にこの画像ファイル10に関連する画像ファイル10を簡便に検索することができる。これにより、ユーザの利便性を飛躍的に向上させることができる。
(第2実施形態)
次に、図17を参照して、本発明の第2実施形態である情報処理システムSについて説明する。図17は、本発明の第2実施形態である情報処理システムSに用いられる音楽ファイルのデータ構造を示す図である。なお、本実施形態の情報処理システムSは、第1実施形態の画像ファイルのかわりに図17に示す音楽ファイルが適用される以外は、その構成が上述の第1実施形態と同様であるので、同一の構成要素については同一の符号を付し、その説明を簡略化する。
本実施形態の音楽ファイル60は、mp3(MPEG Audio Layer-3)形式のファイルフォーマットを有し、そのヘッダ部分60aに、ID3タグで定められたフォーマットに従ってタグ情報が格納され、さらにサムネイル画像データが格納されたサムネイル画像領域60b、及び音楽データが格納された音楽データ領域60cが設けられている。本実施形態の音楽ファイル60では、ヘッダ部分60aに格納されたタグ情報は、音楽ファイル60の作成時に、GracenoteのようなCDDB(Compact Disc Data Base)に図略のPC(Personal Computer)等が問い合わせ、このCDDBから返信されたタグ情報をPC等がヘッダ部分60aの所定領域に格納することで記述されている。従って、ヘッダ部分60aに格納されたタグ情報は、情報処理装置1への音楽ファイル60取り込み時に既に音楽ファイル60のヘッダ部分60aの所定領域に記述されているものとする。
音楽ファイル60のヘッダ部分60aには、音楽ファイル60の曲名が記述される曲名領域60d、音楽ファイル60を制作したアーティストの名称が記述されるアーティスト名領域60e、音楽ファイル60が収録されているアルバムの名称が記述されるアルバム名領域60f、音楽ファイル60がリリースされた年号が記述されるリリース年領域60g、音楽ファイル60の属するジャンルが記述されるジャンル領域60h、音楽ファイル60の作詞者の名称が記述される作詞者領域60i、音楽ファイル60の作曲者の名称が記述される作曲者領域60j、音楽ファイル60が音楽CDから取得された場合にこの音楽CDに一意に付された識別子が記述される音楽CD識別子領域60k、及び情報処理装置1のユーザが各種情報を任意に記述するためのユーザ定義領域60mが設けられている。当然、これ以外の領域を音楽ファイル60のヘッダ部分60aに設けることは任意である。
図17にデータ構造を示した音楽ファイル60を本実施形態の情報処理システムSに適用した場合、例えば、曲名領域60dに記述された曲名タグ情報の一部を利用して、すなわち抽象化して「桜の季節の曲」といった検索キーを作成し、この検索キーにより音楽ファイル60を検索した結果を表示することが可能である。また、シソーラス辞書ファイル11やWAN17上の外部サーバを用いて、アーティスト名領域60eに記述されているアーティスト名タグ情報から、このアーティストと共演することが多い他のアーティスト名に関する検索キーを作成し、この検索キーにより音楽ファイル60を検索した結果を表示することが可能である。
この場合、音楽ファイル60及び検索キーをユーザに選択させるには、どのような音楽ファイル60及び検索キーが情報処理装置1内に格納され、また情報処理装置1により生成されたかをユーザが確認できる必要がある。この、音楽ファイル60及び検索キーをユーザに確認させる手法として、音楽ファイル60であれば、サムネイル画像領域60bに格納された、音楽ファイル60のインデックスであるサムネイル画像データをHDMI出力機器15を用いて表示させる手法が挙げられ、また、検索キーについては検索キーを示す文字列をHDMI出力機器15を用いて表示させる手法が挙げられる。あるいは、音楽ファイル60については、曲名領域60dに格納された、音楽ファイル60のインデックスである曲名データをリスト形式でHDMI出力機器15を用いて表示させてもよい。
従って、本実施形態によっても、上述した第1実施形態と同様の効果を奏することができる。
(第3実施形態)
次に、図18を参照して、本発明の第3実施形態である情報処理システムSについて説明する。図18は、本発明の第3実施形態である情報処理システムSに用いられる番組ファイルのデータ構造を示す図である。なお、本実施形態の情報処理システムSは、第1実施形態の画像ファイルのかわりに図18に示す番組ファイルが適用される以外は、その構成が上述の第1実施形態と同様であるので、同一の構成要素については同一の符号を付し、その説明を簡略化する。
本実施形態の番組ファイル70は、MPEG(Moving Picture Experts Group)−2形式のファイルフォーマットを有し、そのヘッダ部分70aにタグ情報が格納され、さらにサムネイル画像データが格納されたサムネイル画像領域70b、及び番組データが格納された番組データ領域70cが設けられている。本実施形態の番組ファイル70では、ヘッダ部分70aに格納されたタグ情報は、図略の録画装置が放送局から送信されたEPG(Electronic Program Guide)データを図略の録画装置が予め取得し、番組ファイル70の録画時に、この録画装置がEPGデータ内の番組情報データから取得したタグ情報をヘッダ部分70aの所定領域に格納することで記述されている。日本の地上デジタルテレビ放送で使用されている規格であるISDB−T(Integrated Services Digital Broadcasting-Terrestrial)では、この番組情報データはMPEG−2 TS(Transport Stream)のEIT(Event Information Table)に記述されている。従って、ヘッダ部分70aに格納されたタグ情報は、情報処理装置1への番組ファイル70取り込み時に既に番組ファイル70のヘッダ部分70aの所定領域に記述されているものとする。
番組ファイル70のヘッダ部分70aには、番組ファイル70の放送時刻が記述される放送時刻領域70d、番組ファイル70の放送チャンネルが記述される放送チャンネル領域70e、番組ファイル70の番組タイトルが記述されるタイトル領域70f、番組ファイル70の番組説明が記述される番組説明領域70g、番組ファイル70の番組内容に関連するキーワードが記述されるキーワード領域70h、番組ファイル70の番組内容が属するジャンルが記述されるジャンル領域70i、及び情報処理装置1のユーザが各種情報を任意に記述するためのユーザ定義領域70jが設けられている。当然、これ以外の領域を番組ファイル70のヘッダ部分70aに設けることは任意である。
図18にデータ構造を示した番組ファイル70を本実施形態の情報処理システムSに適用した場合、例えば、放送時刻領域70dに記述された放送時刻タグ情報の一部を利用して、すなわち抽象化して「深夜番組」といった検索キーを作成し、この検索キーにより番組ファイル70を検索した結果を表示することが可能である。また、シソーラス辞書ファイル11やWAN17上の外部サーバを用いて、番組説明領域70gに記述されている出演者名タグ情報から、この出演者と共演することが多い他の出演者に関する検索キーを作成し、この検索キーにより番組ファイル70を検索した結果を表示することが可能である。
この場合、番組ファイル70及び検索キーをユーザに選択させるには、どのような番組ファイル70及び検索キーが情報処理装置1内に格納され、また情報処理装置1により生成されたかをユーザが確認できる必要がある。この、番組ファイル70及び検索キーをユーザに確認させる手法として、番組ファイル70であれば、サムネイル画像領域70bに格納された、番組ファイル70のインデックスであるサムネイル画像データをHDMI出力機器15を用いて表示させる手法が挙げられ、また、検索キーについては検索キーを示す文字列をHDMI出力機器15を用いて表示させる手法が挙げられる。あるいは、番組ファイル70については、タイトル領域70fに格納された、番組ファイル70のインデックスであるタイトルデータをリスト形式でHDMI出力機器15を用いて表示させてもよい。
従って、本実施形態によっても、上述した第1実施形態及び第2実施形態と同様の効果を奏することができる。
(第4実施形態)
次に、図19〜図26を参照して、本発明の第4実施形態である情報処理システムSについて説明する。なお、本実施形態の情報処理システムSは、出力部21に表示される表示画面及び検索手順が異なる以外は、その構成が第1実施形態と同様であるので、同一の構成については同一の符号を付し、その説明を簡略化する。
まず、図19は、出力部21の表示画面に表示される、情報処理システムSの初期画面を示す図である。初期画面を示す表示画面30a1には、図20に示す検索表示画面に移行するためのボタン31aが表示されている。同様に、初期画面を示す表示画面30a1には、上述の第1実施形態と同様に、カレンダーモードに移行するためのボタン32及びアルバムモードに移行するためのボタン33が表示されている。
すなわち、本実施形態では、第1実施形態のように、初期画面→選択画面→検索キー表示画面→検索表示画面の順に移行するのではなく、初期画面30a1に直接検索表示画面に移行するためのボタン31aが表示されている。ユーザは、リモコン、マウス等の入力部22によりこのポインタ34を初期画面30a1内で移動させ、選択を希望するボタン31aにこのポインタ34の少なくとも一部を重畳表示させた状態でこの入力部22を操作することで、ユーザによりボタン31aが選択されたかを示す選択入力信号が入力部22から出力され、情報処理装置1に入力される。
次に、図20は、出力部21の表示画面に表示される、情報処理システムSの検索表示画面を示す図である。図20に示す検索表示画面は、図19においてボタン31aがユーザにより選択されることにより表示される。
検索表示画面を示す表示画面30d1には、ボタン31aがユーザにより選択されたことをトリガとして、記憶部23に格納されている画像ファイル10を所定の検索キーを用いて検索し、その検索結果である画像ファイル10の画像データのサムネイル画像39が表示されている。ここに、所定の検索キーとは、ユーザの選択によらず、予め定められた複数の検索キー候補から検索キー生成部27が一定の条件に従って複数個選定した検索キーである。このように、検索キー生成部27が予め定められた検索キー候補から所定の検索キーを複数個選定し、この所定の検索キーにより検索された結果を検索表示画面30d1上に表示しているので、ユーザは、記憶部23内に格納された画像ファイル10の中から多面的な観点に沿った画像ファイル10を閲覧することができ、後述のように、この画像ファイル10に関連する画像ファイル10を簡便に検索することができる。
あるいは、上述の第1実施形態のように、記憶部23に格納された画像ファイル10のヘッダ部分10aの各領域に記述されたタグ情報を取得し、タグ情報の頻度を算出し、高頻度のタグ情報を有する画像ファイル10に対して重み付けを低く設定してもよい。そして、重み付けができるだけ均等になるように表示すべき画像ファイル10を選択することで、特定のタグ情報を有する画像ファイル10を集中して表示させないようにすることができる。
あるいは、サムネイル画像39毎に、この検索表示画面30d1においてユーザがサムネイル画像39を選択した回数を記憶部23に記憶させておき、この選択回数を画像ファイル10のタグ情報として用いる。選択回数は、検索表示画面30d1における選択回数のみならず、後述する検索絞り込み表示画面30iにおける選択回数も記憶してもよく、この際、検索絞り込み表示画面30iにおいてサムネイル画像80が選択された場合、このサムネイル画像80を表示する際に選択された検索表示画面30d1のサムネイル画像39についても選択回数を記憶してもよい。そして、このように画像ファイル10のタグ情報として記憶された選択回数に基づき、ユーザがどの程度の選択回数を有するサムネイル画像39、80を選択しているかという行動履歴に基づいて、検索表示画面30d1、検索絞り込み表示画面30iに表示するサムネイル画像39、80を決定すればよい。例えば、ユーザが選択回数の多いサムネイル画像39、80を選択している傾向が強ければ選択回数の多いサムネイル画像39、80を優先して検索表示画面30d1、検索絞り込み表示画面30iに表示し、ユーザが選択回数の少ないサムネイル画像39、80を選択している傾向が強ければ選択回数の少ないサムネイル画像39、80を優先して検索表示画面30d1、検索絞り込み表示画面30iに表示する。このようにして、ユーザの行動履歴に応じた検索表示画面30d1、検索絞り込み表示画面30iの表示を行うことができる。
次に、図21は、出力部21の表示画面に表示される、情報処理システムSの検索絞り込み表示画面を示す図である。図21に示す検索絞り込み表示画面は、図20においていずれかのサムネイル画像39がユーザにより選択されることにより表示される。
検索絞り込み表示画面を示す表示画面30iには、図20において選択されたサムネイル画像39に対応する画像ファイル10のタグ情報から、検索キー生成部27が生成した検索キーを用いて記憶部23に格納されている画像ファイル10を検索し、その検索結果である画像ファイル10の画像データのサムネイル画像80が表示されている。また、一部のサムネイル画像80については、そのサムネイル画像80を含む、検索絞り込み表示画面30i上に表示されている一部のサムネイル画像80が検索された元となる検索キーに関連する内容が表示されたラベル81がこのサムネイル画像80の近傍に表示されている。
図21に示す検索絞り込み表示画面30iを表示するために検索キー生成部27が生成する検索キーは予め定められたものであり、具体的には、(1)図20において選択されたサムネイル画像39に対応する画像ファイル10のタグ情報のうち、撮影日時領域10e(図2参照)に格納された撮影日時タグ情報を中心として、時間軸上でこの前後にある撮影日時タグ情報を有する画像ファイル10であって、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に近い撮影日時タグ情報を有する画像ファイル10を優先して検索する検索キー、(2)図20において選択されたサムネイル画像39に対応する画像ファイル10のタグ情報のうち、撮影日時領域10eに格納された撮影日時タグ情報を中心とする時間帯を設定し、この時間帯内に存在しかつ前後一定期間(数週間)の撮影日時タグ情報を有する画像ファイル10を検索する検索キー、(3)図20において選択されたサムネイル画像39に対応する画像ファイル10のタグ情報のうち、撮影日時領域10eに格納された撮影日時タグ情報を中心とする時間帯を設定し、この時間帯において、機種名領域10gに記述された機種名タグ情報が異なる画像ファイル10を検索する検索キー、(4)図20において選択されたサムネイル画像39に対応する画像ファイル10のタグ情報のうち、撮影日時領域10eに格納された撮影日時タグ情報を中心とする時間帯を設定し、この時間帯内に存在しかつ前後一定期間(数年間)の撮影日時タグ情報を有する画像ファイル10を検索する検索キー、の4種類である。以下、図22〜図24を参照して詳細に説明する。
図22は、上述した検索キー(1)の具体的内容を説明するための図である。まず、図20において選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報を参照し、この撮影日時タグ情報を中心として一定期間、図示例では1ヶ月の時間的範囲を設定する。次に、この1ヶ月の時間的範囲を小範囲に分割する。この際、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に近くなるに従って、個々の小範囲の時間的範囲を短くする。そして、小範囲内に対応する撮影日時タグ情報を有する画像ファイル10を検索して抽出する。この時も、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に遠い小範囲よりも、近い小範囲から抽出する画像ファイル10の数を多くする。このようにして、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に近い撮影日時タグ情報を有する画像ファイル10を優先的に抽出する。なお、図22に示す例に限らず、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に近くなるに従って、個々の小範囲の時間的範囲を短くするか、あるいは、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に遠い小範囲よりも、近い小範囲から抽出する画像ファイル10の数を多くするかのいずれかを採用する構成でもよい。
図23は、上述した検索キー(2)の具体的内容を説明するための図である。まず、図20において選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報を参照し、この撮影日時タグ情報を中心として一定期間、図示例では14日(2週間)の時間的範囲を設定する。次に、この14日の時間的範囲において、1日置きに(つまり、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に対して、「日」の部分だけを1日ずつ増減させた)基点を設定し、この基点の前後2時間に小範囲を設定する。そして、小範囲内に対応する撮影日時タグ情報を有する画像ファイル10を検索して抽出する。このようにして、選択されたサムネイル画像39に対応する画像ファイル10が撮像された時間帯と同じ時間帯に撮像された画像ファイル10を抽出する。
図24は、上述した検索キー(4)の具体的内容を説明するための図である。まず、図20において選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報を参照し、この撮影日時タグ情報を中心として一定期間、図示例では5年間の時間的範囲を設定する。次に、この5年間の時間的範囲において、1年置きに(つまり、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に対して、「年」の部分だけを1年ずつ増減させた)基点を設定し、この基点の前後12時間及び1週間にそれぞれ小範囲を設定する。そして、小範囲内に対応する撮影日時タグ情報を有する画像ファイル10を検索して抽出する。このようにして、選択されたサムネイル画像39に対応する画像ファイル10が撮像された月日と同じ月日に撮像された画像ファイル10を抽出する。
このように、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に対して、上述の(1)〜(4)に示すような検索キーを設定することで、すなわち、サムネイル画像39に対応する画像ファイル10の撮影日時タグ情報の「月日」に合致する撮影日時タグ情報を有する画像ファイル10だけでなく、その前後の撮影日時タグ情報を有する画像ファイル10を検索することで、ユーザが閲覧を希望すると推測される画像ファイル10を検索絞り込み表示画面30iに表示することができる。この作用を図25を参照して説明する。
図25に示すように、ユーザが図20の検索表示画面30d1において特定の被写体の誕生日に関するサムネイル画像39を選択した場合、図21の検索絞り込み表示画面30iにおいては、上述の検索キー(1)〜(4)を用いて検索された結果であるサムネイル画像80が表示される。このとき、検索キー(2)を用いると、被写体の誕生日に対応する撮影日時タグ情報に対して、「年」の部分だけを1年ずつ増減させた基点が設定される。図25に示す例では、1年後の撮影日時タグ情報(1年後の誕生日)が基点として設定されている。そして、この基点の前後12時間及び1週間に設定された小範囲内に対応する撮影日時タグ情報を有する画像ファイル10を検索して抽出する。ここで、サムネイル画像39に対応する撮影日時タグ情報が休日の日時タグ情報であったとしても、1年後の誕生日は休日であるとは限らない。この場合、1年後の誕生日にユーザが画像ファイル10を撮像する確率は低いものと考えられる。そこで、上述のように小範囲を設定することで、この小範囲内に存在する、例えば週末に開催されたお誕生会の画像ファイル10を検索キー(2)により検索してこれを検索絞り込み表示画面30iに表示することができる。
なお、図21に示す検索絞り込み表示画面30iにおいて、いずれかのサムネイル画像80をユーザが選択すると、このサムネイル画像80に対応する画像ファイル10のタグ情報から、検索キー生成部27が生成した検索キーを用いて記憶部23に格納されている画像ファイル10を検索し、その検索結果である画像ファイル10の画像データのサムネイル画像が表示された検索絞り込み表示画面が再度生成されて表示される。
ここで、図21の検索絞り込み表示画面30iに表示されているラベル81と一部のサムネイル画像80が検索された元となる検索キーとの関係について図26を参照して説明する。図26は、検索キー(図26に示す例では上述の検索キー(1))とラベル81の表示との関係を説明するための図である。図26において、図20の検索表示画面30d1で選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報に対して、当日、1〜4日前後、5〜10日前後、11〜21日前後、22日以降あるいは以前の小領域が設定されている。
このとき、当日の小領域については、年月日そのものをラベル81に記述する内容として表示されている。「当日」と表示するよりは、年月日そのものを表示するほうが、後述する「1週間後」「半月後」といった他のラベル表示が実際にはどの月日であるかをユーザが推測しやすくなるという利点がある。次に、1〜4日前後の小領域については、「n日後」「n日前」(n=1〜4の自然数で、検索された画像ファイル10が有する撮影日時タグ情報に応じて選択)という表示がラベル81に記述する内容として表示されている。さらに、5〜10日前後の小領域については、「1週間後」「1週間前」という表示がラベル81に記述する内容として表示されている。さらに、さらに、11〜21日前後の小領域については、「半月後」「半月前」という表示がラベル81に記述する内容として表示されている。そして、22日以降あるいは以前の小領域については、「1ヶ月後」「1ヶ月前」という表示がラベル81に記述する内容として表示されている。
このように、検索キーに対応する表示がラベル81に記述されるよりも、ユーザとしては、例えば図26に示すような表示がラベル81に記述されることで、ラベル81に対応するサムネイル画像80が有する撮影日時タグ情報が概略どの程度の日時に対応するものであるかを直感的かつ簡易に理解することができる。しかも、1つの小領域については表示するラベル81の数を1つにしておくことで、表示すべきラベル81の数を削減できる利点もある。
ここで、図26に示す小領域は、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報から時間軸上で離れるほど小領域が大きくなるように(つまりラベル81の表示としてはより曖昧に)設定されている。しかも、5〜10日前後、11〜21日前後、22日以降あるいは以前の小領域は、それぞれ、1週間前後、2週間前後、4週間前後または1月前後という基点を中心に設定されており、この基点に対して、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報から時間軸上で離れるほど基点から小領域の境界点までの時間幅が大きくなるように設定されている。具体的には、11〜21日前後の小領域については、基点となる2週間前後に対して、サムネイル画像39に対応する画像ファイル10の撮影日時タグ情報から時間軸上で近い側は11日〜14日の時間幅であるのに対し、時間軸上で離れた側は14日〜21日の時間幅が設定されており、日数にして約2倍の大きさになっている。このように、選択されたサムネイル画像39に対応する画像ファイル10の撮影日時タグ情報から時間軸上で離れるほど小領域が大きくなるように設定されることで、ラベル81に対応するサムネイル画像80が有する撮影日時タグ情報が概略どの程度の日時に対応するものであるかをより直感的かつ簡易に理解することができる。
(変形例)
なお、本発明の情報処理システムは、その細部が上述した各実施形態に限定されず、種々の変形例が可能である。
一例として、上述の各実施形態において情報処理システムに適用されるファイルは画像ファイル10、音楽ファイル60及び番組ファイル70であったが、本発明の情報処理システムに適用可能なファイルはこれに限定されず、メタ情報が取得可能なファイルであれば限定はない。一例として、電子メールの本文情報、送受信者情報等からなる電子メールファイルにも本発明の情報処理システムが適用可能であり、この場合の検索キーとしては、例えば送受信者情報を抽象化した検索キーとして、送受信者のメールアドレス中のドメイン情報を用いて「同一組織に所属する送信者」検索キーを生成し、また、送受信者情報を統計処理して「メールの送受信をn(nは自然数)件以上している相手」検索キーを生成することが可能である。また、シソーラス辞書ファイル等を用いた検索キーとして、家族のいずれかに送信した電子メールの送受信者情報から「家族に送受信したメール」検索キーを生成することができる。
また、上述の各実施形態において情報処理システムに適用される画像ファイル10、音楽ファイル60及び番組ファイル70にはそのヘッダ部分10a、60a、70aの各領域にメタ情報が予め記述されていたが、これらファイルの情報処理装置への取り込み時、あるいはファイルの選択時にシソーラス辞書ファイルやWAN上の外部サーバを参照してメタ情報を取得し、取得したメタ情報を各領域に記述してもよい。具体的には、画像ファイル10等のヘッダ部分10aに、各画像ファイル10等を識別可能なID(Identification)番号を格納しておき、このID番号をキーとしてシソーラス辞書ファイルやWAN上の外部サーバを参照してメタ情報を取得すればよい。
さらに、上述の第1実施形態では、複数の検索キーによる和集合または積集合の検索結果を得るために、ユーザが複数の検索キーを個別指定していたが、有用な検索結果が得られるであろう検索キーの組み合わせを事前に設定しておき、情報処理装置が検索キーの組み合わせを推奨してもよい。
さらに、上述の第1実施形態では、検索キー生成部27が生成した検索キーを出力部21に表示し、入力部22により選択された検索キーに基づいてデータ検索部28が記憶部23内の画像ファイル10を検索していたが、検索キーの表示は必須ではなく、例えば図6の検索キー表示画面30cにおいてサムネイル画像37のみ表示してもよい。また、図6の検索キー表示画面30cにおいて入力部22によりサムネイル画像37を選択させることなく、検索キー生成部27により生成された検索キーの少なくとも一つを用いてデータ検索部28が記憶部23内の画像ファイル10を検索し、検索表示画面30dを表示してもよい。
さらに、上述の各実施形態における表示画面の表示形態はあくまでも一例であり、種々の変形例が可能であることはいうまでもない。例えば、第4実施形態における検索絞り込み表示画面において、図21に示す検索絞り込み表示画面30iに加えて、検索キーによりどの程度の画像ファイル10が検索されたのかを示すインデックス表示を行っても良い。具体的には、図27に示すように、検索絞り込み表示画面30i1の下部に、検索絞り込み表示画面30i1を生成するために用いた画像ファイル10のサムネイル画像82と、このサムネイル画像82に対応する画像ファイル10の撮影日時タグ情報の前後の時間軸上の時間を離散的に表示した時間軸表示部83と、ユーザが選択したサムネイル画像80がこの時間軸のどこに概略位置するかを示す時間表示バー84とを表示するような例が挙げられる。
あるいは、上述の各実施形態における表示画面において、ユーザが選択したサムネイル画像に対応する画像ファイル10の撮影日時タグ情報を表示するときに、このサムネイル画像の例えば右下部に日付を表す7セグメント表示をすることで、簡略的な表示でありながらユーザに対して撮影日時タグ情報を直感的に示すことができる。
また、上述の各実施形態では、情報処理装置1から出力される映像信号、音声信号等はHDMIインタフェース6を経由してHDMI出力機器15により表示等されていたが、出力するインタフェースはHDMIに限定されず、既知の出力インタフェースが採用可能である。さらに、情報処理装置1が液晶ディスプレイ、スピーカ等の出力部を備えてもよい。
そして、上述の各実施形態において、情報処理装置を動作させるプログラムはROM等に格納されて提供されていたが、不図示の光学ディスクドライブ、USBポート等を用いて、プログラムが格納されたDVD(Digital Versatile Disc)、USBフラッシュメモリ装置等を接続し、このDVD等からプログラムを情報処理装置1に読み込んでこれら情報処理装置を動作させてもよい。また、WAN上に存在するサーバ装置等の内にプログラムを格納しておき、ネットワークインタフェースを介してこのプログラムを情報処理装置に読み込んでこの情報処理装置を動作させてもよい。さらに、上述の各実施形態において、情報処理装置は複数のハードウェア要素により構成されていたが、これらハードウェア要素の一部の動作をCPU等がプログラムの動作により実現することも可能である。
S 情報処理システム
1 情報処理装置
2 CPU
3 ROM
4 RAM
4a 個人情報
5 入力部
5a 入力インタフェース
5b 入力指示部
5c カードインタフェース
5d USBインタフェース
6 HDMIインタフェース
7 ネットワークインタフェース
8 HDD部
10 画像ファイル
10a、60a、70a ヘッダ部分
10b サムネイル画像領域
10c 画像データ領域
10d 画素数領域
10e 撮影日時領域
10f 取り込み日時領域
10g 機種名領域
10h 撮影情報領域
10i GPS情報領域
10j 顔認識情報領域
10k ユーザ定義領域
11 シソーラス辞書ファイル
12 入力機器
13 メモリーカード
14 USB機器
15 HDMI出力機器
16 ルータ
17 WAN
21 出力部
22 入力部
23 記憶部
24 制御部
25 画像ファイル選択部
26 情報取得部
27 検索キー生成部
28 画像ファイル検索部
30a、30a1 初期画面
30b 選択画面
30c 検索キー表示画面
30d、30d1、30e 検索表示画面
30f 検索キー絞り込み画面
30g、30h 検索キー追加画面
30i、30i1 検索絞り込み表示画面
31、31a、32、33 ボタン
34 ポインタ
35、37、39、40、43、46、49、51、54、80 サムネイル画像
36、42、45、50 関連写真ウィンドウ
38、44、47、48、52、53 検索キー
41a 第1領域
41b 第2領域
41c 第3領域
41d 第4領域
60 音楽ファイル
60c 音楽データ領域
70 番組ファイル
70c 番組データ領域
81 ラベル

Claims (10)

  1. データが格納された記憶部を備えた情報処理装置と、この情報処理装置から出力された情報を表示する出力部と、入力指示を受け付けてこの入力指示に対応する入力指示信号を情報処理装置に送出する入力部とを備えた情報処理システムにおいて、
    情報処理装置は、
    前記記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを前記出力部により表示させ、この出力部により表示されたデータまたはこのデータを示すインデックスのうち少なくとも一つが選択されたことに伴う前記入力部からのデータ選択信号を受信すると、選択されたデータを特定するファイル選択部と、
    前記ファイル選択部により特定されたデータに関連する、数値情報を含む情報を取得する情報取得部と、
    前記情報取得部により取得された情報の少なくとも一つを使用して、前記数値情報である取得情報の範囲を表す検索キーを含む、前記取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、
    前記検索キー生成部により生成された検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを出力部に表示させるデータ検索部と
    を備え、さらに、
    前記データ検索部は、前記検索キー生成部が生成した、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をすることを特徴とする情報処理システム
  2. データが格納された記憶部を備えた情報処理装置において、
    前記記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるファイル選択部と、
    前記ファイル選択部により選択を受け入れたデータに関連する、数値情報を含む情報を取得する情報取得部と、
    前記情報取得部により取得された情報の少なくとも一つを使用して、前記数値情報である取得情報の範囲を表す検索キーを含む、前記取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、
    前記検索キー生成部により生成された検索キーの少なくとも一つにより前記記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するデータ検索部と
    を備え、さらに、
    前記データ検索部は、前記検索キー生成部が生成した、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をすることを特徴とする情報処理装置。
  3. 前記データ検索部は、前記情報取得部により取得された数値情報に近いほど前記小範囲を小さく区分することを特徴とする請求項2記載の情報処理装置。
  4. 前記データ検索部は、前記情報取得部により取得された数値情報に近いほど抽出する前記データの個数を多くするかの少なくとも一方により検索をすることを特徴とする請求項2記載の情報処理装置。
  5. 前記検索キー生成部は、生成した前記検索キーを提示し、
    前記データ検索部は、前記検索キー生成部により提示された検索キーの少なくとも一つの選択を受け入れ、選択を受け入れた前記検索キーにより前記記憶部内のデータを検索する
    ことを特徴とする請求項2〜4のいずれかに記載の情報処理装置。
  6. 前記情報取得部は、データに予め付与されたタグを情報として取得することを特徴とする請求項2〜5のいずれかに記載の情報処理装置。
  7. 前記検索キー生成部は、前記情報取得部により取得された情報の少なくとも一つを使用して検索キーを複数生成して、この複数の検索キーを提示することを特徴とする請求項2〜6のいずれかに記載の情報処理装置。
  8. 前記ファイル選択部は、前記記憶部に格納されたデータのうち少なくとも一部のデータについて関連する情報を取得した後、情報を取得したデータまたはこのデータを示すインデックスの少なくとも一部を提示し、このとき、提示された前記データまたはインデックスの少なくとも一部は関連する情報が互いに異なることを特徴とする請求項2〜7のいずれかに記載の情報処理装置。
  9. データが格納された記憶部と制御部とを備えた情報処理装置における情報処理方法であって、
    前記制御部は、
    前記記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、
    選択を受け入れたデータに関連する、数値情報を含む情報を取得するステップと、
    取得された情報の少なくとも一つを使用して、前記数値情報である取得情報の範囲を表す検索キーを含む、前記取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、
    生成した検索キーの少なくとも一つにより前記記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップと
    を実行し、さらに、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をするステップを実行することを特徴とする情報処理方法。
  10. データが格納された記憶部と制御部とを備えたコンピュータにおいて実行される情報処理プログラムであって、
    このプログラムはコンピュータにより実行されると、前記制御部に、
    前記記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、
    選択を受け入れたデータに関連する、数値情報を含む情報を取得するステップと、
    取得された情報の少なくとも一つを使用して、前記数値情報である取得情報の範囲を表す検索キーを含む、前記取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、
    生成した検索キーの少なくとも一つにより前記記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップと
    を実行させ、さらに、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をするステップを実行させることを特徴とする情報処理プログラム。
JP2012217749A 2012-09-28 2012-09-28 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム Active JP5998807B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012217749A JP5998807B2 (ja) 2012-09-28 2012-09-28 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
US14/033,144 US9286360B2 (en) 2012-09-28 2013-09-20 Information processing system, information processing device, information processing method, and computer readable recording medium
CN201310452312.1A CN103714108B (zh) 2012-09-28 2013-09-27 信息处理系统、信息处理装置以及信息处理方法
US15/000,767 US20160132534A1 (en) 2012-09-28 2016-01-19 Information processing system, information processing device, inofrmation processing method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012217749A JP5998807B2 (ja) 2012-09-28 2012-09-28 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016097632A Division JP6206534B2 (ja) 2016-05-16 2016-05-16 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2014071702A JP2014071702A (ja) 2014-04-21
JP5998807B2 true JP5998807B2 (ja) 2016-09-28

Family

ID=50385281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012217749A Active JP5998807B2 (ja) 2012-09-28 2012-09-28 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (2) US9286360B2 (ja)
JP (1) JP5998807B2 (ja)
CN (1) CN103714108B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015060470A1 (ko) * 2013-10-23 2015-04-30 엘지전자 주식회사 단말기 및 그 제어방법
JP6381208B2 (ja) 2013-12-26 2018-08-29 キヤノン株式会社 画像再生装置、画像再生方法、およびプログラム
JP6163440B2 (ja) * 2014-02-28 2017-07-12 富士フイルム株式会社 商品検索装置及び方法、商品検索システム
JP6145416B2 (ja) * 2014-02-28 2017-06-14 富士フイルム株式会社 商品検索装置及び方法、商品検索システム
WO2015140922A1 (ja) * 2014-03-18 2015-09-24 楽天株式会社 情報処理システム、情報処理方法、および情報処理プログラム
KR102040271B1 (ko) * 2014-12-12 2019-11-04 삼성전자주식회사 단말장치 및 컨텐츠 검색 방법
JP6570840B2 (ja) * 2015-01-29 2019-09-04 Dynabook株式会社 電子機器および方法
CN105095342A (zh) * 2015-05-26 2015-11-25 努比亚技术有限公司 一种搜索音乐的方法、设备和系统
JP6802623B2 (ja) * 2015-06-30 2020-12-16 株式会社インタラクティブソリューションズ 検索情報管理装置、検索情報管理方法及び検索情報管理プログラム
CA3009817A1 (en) 2015-12-29 2017-07-06 Tao Tao Systems and methods for caching task execution
JP6666557B2 (ja) * 2016-06-15 2020-03-18 株式会社バッファロー 画像管理システム、画像管理システムに用いられる情報処理装置、情報処理装置による情報提示方法及びプログラム
JP6242547B1 (ja) * 2017-01-30 2017-12-06 三菱電機株式会社 設備維持管理システムおよび設備情報提供方法
TWI650656B (zh) * 2017-05-26 2019-02-11 虹光精密工業股份有限公司 於電腦系統搜尋影像檔案之方法、影像檔案搜尋裝置以及電腦系統
JP6805996B2 (ja) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム
JP6939220B2 (ja) * 2017-08-03 2021-09-22 富士通株式会社 データ解析プログラム、データ解析方法、およびデータ解析装置
CN108664561A (zh) * 2018-04-09 2018-10-16 博光系统有限公司 搜索对比系统及其搜索方法
JP7236286B2 (ja) * 2019-02-15 2023-03-09 シャープ株式会社 画像形成装置
JP7129931B2 (ja) * 2019-02-22 2022-09-02 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2021071844A (ja) * 2019-10-30 2021-05-06 エヌ・ティ・ティ・アドバンステクノロジ株式会社 画像処理装置、画像処理方法及びプログラム
US11423019B2 (en) * 2020-03-24 2022-08-23 Rovi Guides, Inc. Methods and systems for modifying a search query having a non-character-based input
JP7228167B2 (ja) * 2020-11-27 2023-02-24 株式会社インタラクティブソリューションズ 検索情報管理装置、検索情報管理方法及び検索情報管理プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076765B1 (en) * 1998-06-24 2006-07-11 Kabushiki Kaisha Toshiba System for hiding runtime environment dependent part
US6513028B1 (en) * 1999-06-25 2003-01-28 International Business Machines Corporation Method, system, and program for searching a list of entries when search criteria is provided for less than all of the fields in an entry
US7289979B2 (en) * 2003-12-10 2007-10-30 Alcatel Lucent Parallel asymmetric binary search on lengths
JP2005212902A (ja) * 2003-12-29 2005-08-11 Uichi Miyawaki 開口が容易にできる密封包装袋
US7840586B2 (en) * 2004-06-30 2010-11-23 Nokia Corporation Searching and naming items based on metadata
JP2007034847A (ja) * 2005-07-28 2007-02-08 Canon Inc 検索装置及び検索方法
US20130051776A1 (en) * 2005-09-22 2013-02-28 JFDI Engineering Search tool
JP4929723B2 (ja) * 2006-01-16 2012-05-09 株式会社ニコン 検索装置及び検索プログラム
KR20070096812A (ko) * 2006-03-27 2007-10-02 소니 가부시끼 가이샤 콘텐츠 리스트 표시 방법, 콘텐츠 리스트 표시장치, 콘텐츠선택 처리 방법 및 콘텐츠 선택 처리장치
JP4986225B2 (ja) 2007-03-26 2012-07-25 富士フイルム株式会社 登録制コミュニケーションサイトの提供装置及び方法
JP4527753B2 (ja) * 2007-07-03 2010-08-18 株式会社エスグランツ ビット列検索装置、検索方法及びプログラム
JP5025398B2 (ja) * 2007-09-26 2012-09-12 富士フイルム株式会社 画像再生装置、及びプログラム
KR20090032261A (ko) * 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP4632102B2 (ja) * 2008-07-17 2011-02-16 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US8019753B2 (en) * 2008-09-11 2011-09-13 Intuit Inc. Method and system for generating a dynamic help document
JP5268595B2 (ja) * 2008-11-28 2013-08-21 ソニー株式会社 画像処理装置、画像表示方法及び画像表示プログラム
JP2010176346A (ja) * 2009-01-29 2010-08-12 Sony Corp 撮像装置および検索方法、並びにプログラム
JP2010218371A (ja) 2009-03-18 2010-09-30 Olympus Corp サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
JP5234836B2 (ja) 2010-04-19 2013-07-10 日本電信電話株式会社 コンテンツ管理装置,情報関連度算出方法および情報関連度算出プログラム
NZ589787A (en) * 2010-12-08 2012-03-30 S L I Systems Inc A method for determining relevant search results
US8515953B2 (en) * 2011-11-29 2013-08-20 Microsoft Corporation Temporal visualization of query results

Also Published As

Publication number Publication date
JP2014071702A (ja) 2014-04-21
US20160132534A1 (en) 2016-05-12
CN103714108A (zh) 2014-04-09
US20140093175A1 (en) 2014-04-03
CN103714108B (zh) 2017-07-25
US9286360B2 (en) 2016-03-15

Similar Documents

Publication Publication Date Title
JP5998807B2 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
KR101329266B1 (ko) 관련된 오디오 반주를 찾도록 디지털 영상들의 컨텐트특징들과 메타데이터를 사용하는 시스템 및 방법
US9317531B2 (en) Autocaptioning of images
US8934717B2 (en) Automatic story creation using semantic classifiers for digital assets and associated metadata
US10324899B2 (en) Methods for characterizing content item groups
US8879890B2 (en) Method for media reliving playback
US9082452B2 (en) Method for media reliving on demand
US20090119614A1 (en) Method, Apparatus and Computer Program Product for Heirarchical Navigation with Respect to Content Items of a Media Collection
US20070043744A1 (en) Method and system for linking digital pictures to electronic documents
US8527492B1 (en) Associating external content with a digital image
US8255395B2 (en) Multimedia data recording method and apparatus for automatically generating/updating metadata
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US20090287649A1 (en) Method and apparatus for providing content playlist
US20080288551A1 (en) Method and System for Updating User Profiles
WO2021050728A1 (en) Method and system for pairing visual content with audio content
KR20150004681A (ko) 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP5920848B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6206534B2 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
US20070168386A1 (en) Device and method for managing multimedia content in portable digital apparatus
EP2144240B1 (en) Method of searching for meta data
JP2008225584A (ja) 物品推薦装置、物品推薦システム、物品推薦方法及び物品推薦プログラム
JP2010191940A (ja) 情報処理装置および情報処理方法、並びにプログラム
KR20110042626A (ko) 전자액자의 이미지 표시 방법 및 장치
US20080104120A1 (en) Data processing apparatus, data storage apparatus, data processing system, data processing method, and data storing method
JP2013073281A (ja) コンテンツ情報記録装置、コンテンツ情報記録方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160815

R150 Certificate of patent or registration of utility model

Ref document number: 5998807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250