JP6206534B2 - Information processing system, information processing apparatus, information processing method, and information processing program - Google Patents
Information processing system, information processing apparatus, information processing method, and information processing program Download PDFInfo
- Publication number
- JP6206534B2 JP6206534B2 JP2016097632A JP2016097632A JP6206534B2 JP 6206534 B2 JP6206534 B2 JP 6206534B2 JP 2016097632 A JP2016097632 A JP 2016097632A JP 2016097632 A JP2016097632 A JP 2016097632A JP 6206534 B2 JP6206534 B2 JP 6206534B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- data
- search key
- search
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 155
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 18
- 230000002354 daily effect Effects 0.000 description 7
- 238000003287 bathing Methods 0.000 description 6
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 4
- 230000012447 hatching Effects 0.000 description 4
- 230000001932 seasonal effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- LFYJSSARVMHQJB-QIXNEVBVSA-N bakuchiol Chemical compound CC(C)=CCC[C@@](C)(C=C)\C=C\C1=CC=C(O)C=C1 LFYJSSARVMHQJB-QIXNEVBVSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、例えば画像ファイルの閲覧、管理等を行う情報処理システム、及びこのシステムに適用可能な情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing system for browsing and managing image files, for example, and an information processing apparatus, an information processing method, and an information processing program applicable to the system.
デジタルスチルカメラ、デジタルビデオカメラ、デジタルオーディオプレーヤー、さらには地上デジタルテレビ放送等の放送波を受信して録画する録画装置の普及により、家庭において大量の画像ファイル、音楽ファイル、動画ファイル、番組ファイルを保管し、管理して閲覧・聴取・視聴する機会が増えている。 With the spread of digital still cameras, digital video cameras, digital audio players, and recording devices that receive and record broadcast waves such as digital terrestrial television broadcasts, a large number of image files, music files, video files, and program files can be Opportunities for storage, management, browsing, listening and viewing are increasing.
デジタルスチルカメラにより撮像されて作成された画像ファイルには、Ｅｘｉｆ（Exchangeable image file format）規格により定められた形式で撮影日時、ＧＰＳ（Global Positioning System）情報などの情報が格納されることがある。また、音楽ファイルには、ＩＤ３タグ規格により定められた形式で曲名、アーティスト名、リリース年月日などの情報が格納されることがある。さらに、日本の地上デジタルテレビ放送波であればＩＳＤＢ−Ｔ（Integrated Services Digital Broadcasting-Terrestrial）規格により各種情報が重畳されて放送されるので、重畳された情報を、地上デジタルテレビ放送波を録画した番組ファイルに格納することができる。従って、デジタルスチルカメラ等において、画像ファイル等に格納された情報（上述した各種情報を含めて「タグ情報」と総称する）を用いて画像ファイル等を管理することが可能である。 An image file created by taking an image with a digital still camera may store information such as shooting date and time, GPS (Global Positioning System) information, and the like in a format defined by the Exif (Exchangeable image file format) standard. The music file may store information such as a song name, an artist name, and a release date in a format defined by the ID3 tag standard. Furthermore, in the case of a Japanese terrestrial digital TV broadcast wave, various information is broadcast in accordance with the ISDB-T (Integrated Services Digital Broadcasting-Terrestrial) standard. It can be stored in a program file. Therefore, in a digital still camera or the like, it is possible to manage the image file or the like using information stored in the image file or the like (collectively referred to as “tag information” including the various information described above).
非特許文献１には、デジタルスチルカメラの内蔵メモリに格納された写真ファイルに対して、カメラ側で予め用意した撮影日付、撮影モード等の検索キーを用いて検索動作を行い、検索結果の候補画像のサムネイルを液晶モニタに表示する技術が開示されている。
In Non-Patent
しかしながら、上述した従来の技術では、デジタルスチルカメラの製品機能として予め用意されている撮影日付等の検索キーを用いて画像ファイルを検索し、検索結果として抽出された候補画像のサムネイルをデジタルスチルカメラの液晶モニタに表示しているので、例えばユーザが注目する画像ファイルを発見することや、この画像ファイルに付与されているタグ情報に関連するタグ情報が付与された画像ファイルを検索することが簡便にできなかった。つまり、従来の技術では、検索して閲覧を希望する画像ファイルのタグ情報（例えば何月何日に撮影した画像ファイル）をユーザが事前に特定しておく必要があるので、注目する画像ファイルをキーにしてこの画像ファイルに関連する画像ファイル（例えば、注目する画像ファイルと同じ日時に撮影された画像ファイル）を検索するためには、注目する画像ファイルに付与されたタグ情報を別途入手し、このタグ情報を用いて改めて検索作業をする必要があった。かかる作業はユーザにとって手間のかかる作業であった。 However, in the above-described conventional technology, an image file is searched using a search key such as a shooting date prepared in advance as a product function of a digital still camera, and thumbnails of candidate images extracted as search results are displayed on the digital still camera. For example, it is easy to find an image file that the user is interested in, or to search for an image file to which tag information related to tag information given to this image file is added. I could n’t. In other words, in the conventional technique, the user needs to specify in advance tag information (for example, an image file taken on what day of the month) of an image file to be searched and browsed. To search for an image file related to this image file as a key (for example, an image file shot at the same date and time as the image file of interest), separately obtain tag information attached to the image file of interest, It was necessary to search again using this tag information. Such work is time-consuming work for the user.
本発明は上述した課題に鑑みてなされたものであり、関連するデータを簡便に検索することの可能な情報処理システム、情報処理装置、情報処理方法及び情報処理プログラムを提供することをその目的の一つとしている。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an information processing system, an information processing apparatus, an information processing method, and an information processing program capable of easily searching for related data. It is one.
本発明は、データが格納された記憶部を備えた情報処理装置と、この情報処理装置から出力された情報を表示する出力部と、入力指示を受け付けてこの入力指示に対応する入力指示信号を情報処理装置に送出する入力部とを備えた情報処理システムに適用される。そして、情報処理装置に、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを出力部により表示させ、出力部により表示されたデータまたはこのデータを示すインデックスのうち少なくとも一つが選択されたことに伴う入力部からのデータ選択信号を受信すると、選択されたデータを特定するファイル選択部と、ファイル選択部により特定されたデータに関連する情報を取得する情報取得部と、情報取得部により取得された、互いに異なる複数の情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、検索キー生成部により生成された検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを出力部に表示させるデータ検索部とを設けることにより、上述した課題を解決している。
The present invention relates to an information processing apparatus including a storage unit in which data is stored, an output unit that displays information output from the information processing apparatus, and an input instruction signal that receives an input instruction and corresponds to the input instruction. The present invention is applied to an information processing system including an input unit that transmits to an information processing device. Then, the information processing apparatus causes the output unit to display at least one of the data stored in the storage unit or the index indicating the data, and at least one of the data displayed by the output unit or the index indicating the data is selected. When a data selection signal is received from the input unit associated with the data selection, a file selection unit that specifies the selected data, an information acquisition unit that acquires information related to the data specified by the file selection unit, and information acquisition obtained by section, by using a plurality of different information from each other, this at least one generation to the search key generating unit a search key for these acquired information abstraction, the search key generated by the search key generator At least one of the data in the storage unit is searched, and the search result data or the index indicating this data is small. By providing the data retrieval unit to be displayed on the output section of one Kutomo solves the problems described above.
検索キー生成部は、情報取得部により取得された、互いに異なる複数の情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成し、データ検索部は、検索キーにより生成された検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを出力部に表示させている。これにより、データに関連する情報をユーザが予め特定することなくデータを検索することができる。
The search key generation unit uses at least one piece of information acquired by the information acquisition unit to generate at least one search key that abstracts the acquired information , and the data search unit is generated by the search key. Data in the storage unit is searched using at least one of the search keys, and at least one of the search result data or an index indicating this data is displayed on the output unit. Thereby, data can be searched without a user specifying information related to data in advance.
また、本発明は、データが格納された記憶部を備えた情報処理装置に適用される。そして、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるファイル選択部と、ファイル選択部により選択を受け入れたデータに関連する情報を取得する情報取得部と、情報取得部により取得された、互いに異なる複数の情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、検索キー生成部により生成された検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するデータ検索部とを設けることにより、上述した課題を解決している。
The present invention is also applied to an information processing apparatus including a storage unit that stores data. A file selection unit that presents at least one of data stored in the storage unit or an index indicating the data, and accepts selection of at least one of the presented data or the index indicating the data, and a file selection unit at least one information acquisition unit that acquires information related to accept the selected data, acquired by the information acquisition unit, by using a plurality of different information with each other, the search key abstraction of these obtained information Data that searches the data in the storage unit by at least one of the search key generation unit to be generated and the search key generated by the search key generation unit, and presents at least one of the search result data or an index indicating this data By providing the search unit, the above-described problems are solved.
ここで、データが画像データまたは動画データである場合、検索キー生成部は、検索キーを生成するための情報として、データが撮影された日時を示す撮影日時情報、データが撮影されたときに撮像装置が所在する位置を示す位置情報、及びデータ内に含まれる被写体の顔認識を行って被写体を特定するための顔認識情報の少なくとも二つを使用することが好ましい。また、検索キー生成部は、撮影日時情報及び顔認識情報を使用して、これら取得情報を抽象化した結果として被写体の誕生日に関する検索キーを生成することが好ましい。
さらに、情報取得部により取得された情報に数値情報が含まれる場合、検索キー生成部は、数値情報である取得情報の一部または数値情報の範囲の少なくとも一方を表す検索キーを生成することが好ましい。さらに、検索キー生成部は、生成した前記検索キーに対して所定の範囲を設定し、検索キーに対して設定した所定の範囲についても検索可能とすることが好ましい。さらに、データ検索部は、検索結果となる前記データに対して、前記検索キー生成部が予め定めた前記検索キーを用いて絞り込み検索を行うことが好ましい。
また、検索キー生成部は生成した検索キーを提示し、データ検索部は、検索キー生成部により提示された検索キーの少なくとも一つの選択を受け入れ、選択を受け入れた検索キーにより記憶部内のデータを検索することが好ましい。
Here, when the data is image data or moving image data, the search key generation unit captures, as information for generating the search key, shooting date / time information indicating the date / time when the data was shot, when the data was shot It is preferable to use at least two of position information indicating a position where the device is located and face recognition information for performing face recognition of the subject included in the data to identify the subject. The search key generation unit preferably uses the shooting date / time information and the face recognition information to generate a search key related to the birthday of the subject as a result of abstracting the acquired information.
Further, when the information acquired by the information acquisition unit includes numerical information, the search key generation unit may generate a search key that represents at least one of a part of the acquisition information that is numerical information or a range of the numerical information. preferable. Further, it is preferable that the search key generation unit sets a predetermined range for the generated search key, and enables a search for the predetermined range set for the search key. Furthermore, it is preferable that the data search unit performs a narrowing search on the data that is a search result using the search key predetermined by the search key generation unit.
The search key generation unit presents the generated search key, and the data search unit accepts at least one selection of the search key presented by the search key generation unit, and the search key that accepts the selection stores the data in the storage unit. It is preferable to search.
また、情報取得部により取得された情報には数値情報が含まれる場合は、検索キー生成部は、数値情報である取得情報の範囲を表す検索キーを生成することが好ましい。
さらに、検索キー生成部は、数値情報である取得情報の一部または数値情報の範囲の少なくとも一方を表す検索キーを生成し、データ検索部は、検索キー生成部が生成した、数値情報である取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当するデータから検索結果として抽出するデータの個数を定めて検索をすることが好ましい。さらに、データ検索部は、情報取得部により取得された数値情報に近いほど小範囲を小さく区分するか、または、抽出するデータの個数を多くするかの少なくとも一方により検索をすることが好ましい。
In addition, when the information acquired by the information acquisition unit includes numerical information, it is preferable that the search key generation unit generates a search key that represents a range of acquired information that is numerical information.
Further, the search key generation unit generates a search key that represents at least one of a part of the acquired information that is numerical information or the range of the numerical information, and the data search unit is the numerical information generated by the search key generation unit. Using a search key that represents the range of acquired information, divide the range of acquired information into a plurality of small ranges, and perform a search by determining the number of data to be extracted as search results from the corresponding data within the small range Is preferred. Furthermore, it is preferable that the data search unit performs a search by at least one of dividing a small range smaller as the numerical information acquired by the information acquisition unit is closer, or increasing the number of data to be extracted.
さらに、情報取得部は、データに予め付与されたタグを情報として取得することが好ましい。あるいは、情報取得部は、データのＩＤ番号をキーとして外部サーバを参照し、メタ情報を情報として取得することが好ましい。
Furthermore , it is preferable that the information acquisition unit acquires a tag previously assigned to the data as information. Or it is preferable that an information acquisition part acquires meta information as information with reference to an external server by using the ID number of data as a key.
さらに、データ検索部は、検索キー生成部により提示された検索キーの複数の選択を受け入れ、選択を受け入れた複数の検索キーの検索結果の和集合または積集合、または検索結果の和集合または積集合の組み合わせであるデータの少なくとも一つを提示することが好ましい。
Further, the data search unit accepts a plurality of selections of search keys presented by the search key generation unit, and a union or product set of search results of a plurality of search keys that have accepted the selection, or a union or product of search results. It is preferable to present at least one piece of data that is a combination of sets .
そして、ファイル選択部は、記憶部に格納されたデータのうち少なくとも一部のデータについて関連する情報を取得した後、情報を取得したデータまたはこのデータを示すインデックスの少なくとも一部を提示し、このとき、提示されたデータまたはインデックスの少なくとも一部は関連する情報が互いに異なることが好ましい。 Then, the file selection unit obtains information related to at least a part of the data stored in the storage unit, and then presents at least a part of the data from which the information is obtained or an index indicating the data. Sometimes it is preferred that at least some of the presented data or indexes have different related information.
また、本発明は、データが格納された記憶部と制御部とを備えた情報処理装置における情報処理方法に適用される。そして、制御部に、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、選択を受け入れたデータに関連する情報を取得するステップと、取得された、互いに異なる複数の情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、生成した検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップとを実行させることにより、上述した課題を解決している。
The present invention is also applied to an information processing method in an information processing apparatus including a storage unit storing data and a control unit . Then, presenting at least one of data stored in the storage unit or an index indicating the data to the control unit, and accepting selection of at least one of the presented data or the index indicating the data, and selecting acquiring information related to receiving data, which is acquired, by using a plurality of different information to each other, comprising the steps of: generate at least one search key abstraction of these acquired information to generate search searching the data in the storage unit by at least one key, by Rukoto to execute the steps of presenting at least one index indicating the data or the data as a search result, have solved the above problems.
さらに、本発明は、データが格納された記憶部と制御部とを備えたコンピュータにおいて実行される情報処理プログラムに適用される。そして、このプログラムがコンピュータにより実行されると、制御部に、記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、選択を受け入れたデータに関連する情報を取得するステップと、取得された、互いに異なる複数の情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、生成した検索キーの少なくとも一つにより記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップとを実行させることにより、上述した課題を解決している。 Furthermore, the present invention is applied to an information processing program executed on a computer including a storage unit storing data and a control unit . When the program is executed by the computer, the control unit presents at least one of data stored in the storage unit or an index indicating the data, and at least of the presented data or the index indicating the data. a step of accepting a single selection, obtaining information related to accept the selected data, which is acquired, by using a plurality of different information with each other, the search key abstraction of these acquired information at least comprising the steps of one product, it searches the data in the storage unit by at least one of the generated search key, the Rukoto to execute the steps of presenting at least one index indicating the data or the data as the search results The problem described above is solved.
本発明によれば、取得情報を抽象化した検索キーを少なくとも一つ生成し、生成した検索キーによって記憶部内のデータを検索して表示しているので、検索表示を希望する検索キーをユーザが予め特定することなく、データに関連する他のデータを簡便に検索することができる。 According to the present invention, at least one search key that abstracts the acquired information is generated, and the data in the storage unit is searched and displayed using the generated search key. Other data related to the data can be easily searched without specifying in advance.
以下、図面を参照して、本発明の実施形態である情報処理装置について説明する。
（第１実施形態）
図１は、本発明の第１実施形態である情報処理システムの概略構成を示すブロック図である。図１において、本実施形態の情報処理システムＳは情報処理装置１を備え、この情報処理装置１は、ＣＰＵ（Central Processing Unit）２、ＲＯＭ（Read Only Memory）３、ＲＡＭ（Random Access Memory）４、入力部５、ＨＤＭＩ（High-Definition Multimedia Interface）インタフェース（Ｉ／Ｆ）６、ネットワークインタフェース（Ｉ／Ｆ）７及びＨＤＤ（Hard Disk Drive）部８を備えており、これらはバスにより互いに接続されている。
Hereinafter, an information processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of an information processing system according to the first embodiment of the present invention. In FIG. 1, the information processing system S of this embodiment includes an
ＣＰＵ２は、後述するＲＯＭ３内に格納されたファームウェア等のプログラムが実行されることにより、情報処理装置１全体の制御を行う。ＲＯＭ３には、ファームウェア等のプログラムが格納され、このプログラムが情報処理装置１の起動時に読み出され、ＲＡＭ４において展開された後で実行されることで、ＣＰＵ２による情報処理装置１全体の制御が行われる。
The
ＲＡＭ４は情報処理装置１のワークメモリとして機能し、ＣＰＵ２を含めた情報処理装置１の動作時に一時的に使用されるプログラム、データ等が格納される。また、このＲＡＭ４には、この情報処理装置１の使用者（ユーザ）及びその家族等に関する個人情報４ａがテーブル化されて格納されている。個人情報４ａは、例えば使用者及びその家族の誕生日、結婚記念日等の記念日、使用者及び家族の被写体を特定するための情報などである。
The
入力部５は、入力インタフェース（Ｉ／Ｆ）５ａ、入力指示部５ｂ、カードインタフェース（Ｉ／Ｆ）５ｃ及びＵＳＢ（Universal Serial Bus）インタフェース（Ｉ／Ｆ）５ｄを備える。入力インタフェース５ａには入力指示部５ｂ及び入力機器１２が接続され、ユーザが入力指示部５ｂまたは入力機器１２を操作することにより入力される入力信号を受信する。入力指示部５ｂとしては、例えば画像取り込み指示ボタン等が挙げられ、また、入力機器１２としては、例えばリモコン、キーボード、マウス等が挙げられる。カードインタフェース５ｃはカードスロット（図略）を備え、このカードスロットに挿入されたメモリーカード１３に対してデータの読み出し／書き込みを行う。メモリーカード１３の形式に限定はなく、一例としてmini、microを含むＳＤメモリーカード、メモリースティック（登録商標）が好適に挙げられる。ＵＳＢインタフェース５ｄはＵＳＢコネクタ（図略）を備え、このＵＳＢコネクタに直接、あるいはＵＳＢケーブル（図略）を介して接続されたＵＳＢ機器１４に対してデータの読み出し／書き込みを行う。ＵＳＢ機器１４としては、ＵＳＢフラッシュメモリ、ＵＳＢコネクタを備えたデジタルカメラ等が挙げられる。
The
ＨＤＭＩインタフェース６はＨＤＭＩコネクタ（図略）を備え、このＨＤＭＩコネクタにＨＤＭＩケーブル（図略）を介して接続されたＨＤＭＩ出力機器１５に対してＡＶストリーム（映像信号及び音声信号）を出力する。ＨＤＭＩ出力機器１５としては、例えばＴＶやモニタ等が挙げられる。ネットワークインタフェース７はネットワークコネクタ（図略）を備え、このネットワークコネクタにネットワークケーブル（図略）を介してルータ１６が接続され、このルータ１６がインターネット等のＷＡＮ（Wide Area Network）１７に接続されることで、外部ネットワークとの間でデータの送受信がされる。このネットワークインタフェース７は、例えばＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）８０２．３規格に基づく有線通信を行うものである。あるいは、ネットワークインタフェース７は、ＩＥＥＥ８０２．１１規格に基づく無線通信を行うものであってもよく、あるいは、有線／無線通信のいずれも行うものであってもよい。
The
ＨＤＤ部８は、ＨＤＤ（ＨＤＤ装置）８ａとＨＤＤインタフェース（Ｉ／Ｆ）８ｂとを備える。ＨＤＤ８ａは、記録媒体であるディスクと、このディスクの回転を行う回転部と、ディスクに対してデータの読み出し／書き込みを行うヘッド部とを備える（いずれも不図示）。ＨＤＤインタフェース８ｂは、このＨＤＤ８ａに対するデータの読み出し／書き込み指令があった場合に、ＨＤＤ８ａ全体の制御を行うとともに、データの読み出し／書き込み制御を行い、読み出されたデータを出力する。また、このＨＤＤ８ａには、ユーザにより提供される画像ファイル１０、及び特定の単語を提供するとその類義語を提示するシソーラス辞書ファイル１１が格納されている。
The
この画像ファイル１０をＨＤＤ８ａに格納する手法は任意であるが、一例として、メモリーカード１３内に画像ファイル１０を格納しておき、このメモリーカード１３をカードインタフェース５ｃのカードスロットに挿入して、入力指示部５ｂが操作されたことによりこのメモリーカード１３内に格納された画像ファイル１０をＨＤＤ８ａ内に取り込む手法が挙げられる。また、ＵＳＢ機器１４内に画像ファイル１０を格納しておき、このＵＳＢ機器１４をＵＳＢインタフェース５ｄのＵＳＢコネクタに挿入して、入力指示部５ｂが操作されたことによりこのＵＳＢ機器１４内に格納された画像ファイル１０をＨＤＤ８ａ内に取り込んでもよい。さらに、ＷＡＮ１７に存在する画像ファイル１０をルータ１６及びネットワークインタフェース７を介してＨＤＤ８ａ内に取り込んでもよい。画像ファイル１０の詳細な構成については後述する。なお、図１において画像ファイル１０はそれぞれ１つずつ図示されているが、本実施例においては少なくとも画像ファイル１０は複数個ＨＤＤ８ａ内に格納されている。
The method of storing the
（画像ファイルのデータ構造）
図２は、本実施形態の情報処理装置１のＨＤＤ８ａ内に格納されている画像ファイル１０のデータ構造の一例を示す図である。本実施形態の画像ファイル１０はＥｘｉｆで定められるファイルフォーマットを有し、そのヘッダ部分１０ａにタグ情報が格納され、さらにサムネイル画像データが格納されたサムネイル画像領域１０ｂ、及び画像データが格納された画像データ領域１０ｃが設けられている。本実施形態の画像ファイル１０では、ヘッダ部分１０ａに格納されたタグ情報は、被写体撮像時に図略のデジタルスチルカメラにより画像ファイル１０のヘッダ部分１０ａの所定領域に記述される。
(Data structure of image file)
FIG. 2 is a diagram illustrating an example of a data structure of the
画像ファイル１０のヘッダ部分１０ａには、画像データの画素数が記述される画素数領域１０ｄ、画像ファイル１０の撮影日時が記述される撮影日時領域１０ｅ、画像ファイル１０の情報処理装置１への取り込み日時が記述される取り込み日時領域１０ｆ、画像ファイル１０が撮像された撮像装置（デジタルスチルカメラなど）の機種名が記述される機種名領域１０ｇ、画像ファイル１０の画像データが撮像された際の撮像装置の各種情報、例えば絞り値、焦点距離が記述される撮影情報領域１０ｈ、画像ファイル１０が撮像されたときに撮像装置が所在する位置をＧＰＳシステムにより得た位置情報（例えば緯度、経度、高度情報）が記述されるＧＰＳ情報領域１０ｉ、画像ファイル１０の画像データに対して情報処理装置１が顔認識を行った結果得られた情報、例えば画像データ内に含まれる被写体を特定するための情報が記述される顔認識情報領域１０ｊ、情報処理装置１のユーザが各種情報を任意に記述するためのユーザ定義領域１０ｋが設けられている。当然、これ以外の領域を画像ファイル１０のヘッダ部分１０ａに設けることは任意である。
The header portion 10a of the
ここで、ヘッダ部分１０ａの各領域に記述される各種情報について一例を挙げて説明する。撮影日時領域１０ｅには、撮像装置の内部時計を参考にして、画像ファイル１０の画像データが撮像されたときの日時、つまり撮影日時が、一例として“2012/08/24 10:15:24”、すなわち年月日及び秒単位までの時間として記述される。取り込み日時領域１０ｆには、情報処理装置１の図略の内部時計を参考にして、画像ファイル１０の画像データが情報処理装置１に取り込まれたときの日時、つまり取り込み日時が、一例として“2012/09/01 18:00:58”、すなわち年月日及び秒単位までの時間として記述される。機種名領域１０ｇには、撮像装置の機種名が、撮像装置の製造者が定めたデータで、一例として「ＸＹＺ−○」として記述される。撮影情報領域１０ｈには、画像ファイル１０の画像データが撮像された際の撮像装置の各種情報が、一例として「絞り値Ｆ＝８、シャッタースピード１／１２５」として記述される。ＧＰＳ情報領域１０ｉには、画像ファイル１０が撮像されたときに撮像装置が所在する位置をＧＰＳシステムを用いて得た位置情報、より詳細には撮像装置が所在する位置の緯度情報、経度情報及び高度情報が、一例として“lat=+35.00.35.600, lon=+135.41.35.600，alt=50”として記述される。顔認識情報領域１０ｊには、画像ファイル１０の画像データに対して情報処理装置１が顔認識を行った結果得られた情報が、画像データ内に含まれる被写体を区別するための情報として、一例として“user=0010”として記述される。
Here, various information described in each area of the header portion 10a will be described with an example. In the shooting date and time area 10e, referring to the internal clock of the imaging device, the date and time when the image data of the
（情報処理システムの機能構成）
次に、図３は、本実施形態の情報処理システムＳの機能構成を示す機能ブロック図である。この図において、本実施形態の情報処理システムＳは情報処理装置１と出力部２１と入力部２２とを備える。
(Functional configuration of information processing system)
Next, FIG. 3 is a functional block diagram showing a functional configuration of the information processing system S of the present embodiment. In this figure, the information processing system S of this embodiment includes an
情報処理装置１は、記憶部２３と制御部２４とを備える。記憶部２３は、各種データ、ファイルを少なくとも一時的に保管し、制御部２４の指示によりこのデータ、ファイルを記憶部２３から読み出し、あるいは記憶部２３に書き込む動作を行う。この記憶部２３には、画像ファイル１０、シソーラス辞書ファイル１１及び個人情報４ａが格納されている。画像ファイル１０、シソーラス辞書ファイル１１及び個人情報４ａの詳細については上述したとおりである（図１、図２参照）。
The
制御部２４は、この情報処理装置１全体の制御を行う。この制御部２４は、画像ファイル選択部２５、情報取得部２６、検索キー生成部２７及び画像ファイル検索部（データ検索部）２８を備える。
The
画像ファイル選択部２５は、記憶部２３に格納された画像ファイル１０の画像データを出力部２１により表示させ、そして、出力部２１により表示された画像データの少なくとも一つが入力部２２により選択された際、この入力部２２から出力される画像データ選択信号を受信し、この画像データ選択信号に対応する画像ファイル１０を記憶部２３に格納された画像ファイル１０から検索して特定する。また、画像ファイル選択部２５は、記憶部２３に格納された画像ファイル１０の画像データを出力部２１により表示する際に、記憶部２３に格納された画像ファイル１０の画像データのうち少なくとも一部の画像ファイル１０について、この画像ファイル１０に関連する情報を取得し、さらに、出力部２１に表示させる画像ファイル１０の画像データについて、少なくともその一部の画像ファイル１０の取得情報が異なるように、表示すべき画像ファイル１０を選択しても良い。なお、本明細書では、画像データには、画像ファイル１０のサムネイル画像領域１０ｂに格納された、画像データのインデックスであるサムネイル画像データも含まれるものとする。
The image
より具体的には、画像ファイル選択部２５は、記憶部２３に格納された画像ファイル１０のヘッダ部分１０ａの各領域に記述されたタグ情報を取得し、タグ情報の頻度を算出し、高頻度のタグ情報を有する画像ファイル１０に対して重み付けを低く設定する。一例として、撮影日時領域１０ｅに記述された撮影日時タグ情報の頻度を算出し、同一の撮影日時タグ情報を有する画像ファイル１０が多数存在する場合は、その画像ファイル１０の重み付けを低く設定する。そして、画像ファイル選択部２５は、重み付けができるだけ均等になるように表示すべき画像ファイル１０を選択する。これにより、画像ファイル選択部２５が画像ファイル１０の画像データを出力部２１に表示させる際に、特定のタグ情報を有する画像ファイル１０が集中して表示されないようにすることができる。
More specifically, the image
情報取得部２６は、画像ファイル選択部２５により特定された画像ファイル１０を含む、制御部２４により特定された画像ファイル１０に関連する情報を取得する。情報取得部２６により取得される情報には、画像ファイル１０のヘッダ部分１０ａの各領域に記述された情報が含まれる。情報取得部２６により取得される他の情報としては、例えば、画像ファイル１０のヘッダ部分１０ａの各領域に記述された情報を記憶部２３に格納されたシソーラス辞書ファイル１１に提供して得られたシソーラス情報、さらには画像ファイル１０のヘッダ部分１０ａの各領域に記述された情報をＷＡＮ１７に提供して得られた情報が含まれる。
The
検索キー生成部２７は、情報取得部２６により取得された、画像ファイル１０に関連する情報の少なくとも一つを使用して、この取得情報を抽象化した検索キーを少なくとも一つ、好ましくは複数生成する。ここで、取得情報の「抽象化」とは、取得情報そのものを検索キーとして用いずに、例えば取得情報の一部を検索キーとして用いることや、取得情報を記憶部２３に格納されたシソーラス辞書ファイル１１に提供して得られたシソーラスを検索キーとして用いることや、取得情報が数値情報である場合は、この数値情報の範囲を表す検索キーを用いることや、取得情報の少なくとも一部が一致するデータの数を示す検索キーを用いることや、顔認識情報領域１０ｊに記述された被写体区別情報そのものを検索キーとして用いることや、被写体区別情報と個人情報４ａとを用いて被写体を特定する情報（例えば被写体の名前）を検索キーとして用いることや、取得情報をＷＡＮ１７に提供して知識ベース等を用いて得られたデータを検索キーとして用いることが含まれる。当然、抽象化した検索キーに加えて、取得情報そのものを検索キーとして用いてもよい。
The search
そして、検索キー生成部２７は、生成した検索キーの少なくとも一つ、好ましくは複数の検索キーを出力部２１により表示させる。この際、ユーザの利便性を考慮して、生成された検索キーを用いて記憶部２３に格納された画像ファイル１０の少なくとも一部を検索し、この検索キーにより検索された結果である画像ファイル１０と検索キーとを関連づけて表示させてもよい。また、検索キー生成部２７は、生成した検索キーに対して所定の範囲を設定することで、検索キーの曖昧化を図ることも可能である。
The search
また、検索キー生成部２７は、入力部２２を介してユーザから検索キーの微調整入力指示信号を受信すると、この微調整入力指示信号に応じて微調整した検索キーを生成し、この検索キーを出力部２１に表示させてもよい。加えて、微調整した検索キーを用いて記憶部２３に格納された画像ファイル１０の少なくとも一部を検索し、この検索キーにより検索された結果である画像ファイル１０と検索キーとを関連づけて表示させてもよい。また、検索キー生成部２７は、画像ファイル検索部２８により画像ファイル１０により特定されたことがある検索キーを優先して生成してもよい。検索キーの具体例については後述する。
When the search
画像ファイル検索部２８は、出力部２１により表示された検索キーの少なくとも一つが入力部２２により選択された際、この入力部２２から出力される検索キー選択信号を受信し、選択された検索キーを用いて記憶部２３に格納された画像ファイル１０を検索する。そして、検索結果となる画像ファイル１０の画像データの少なくとも一つを出力部２１に表示させる。また、画像ファイル検索部２８は、出力部２１に表示された検索キーが入力部２２により複数選択された場合は、この入力部２２から出力される複数の検索キー選択信号を受信し、複数の検索キーの検索結果の和集合または積集合、さらに和集合と積集合との少なくとも２つの組み合わせである集合である画像ファイル１０を検索し、検索結果となる画像ファイル１０の画像データの少なくとも一つを出力部２１に表示させる。
The image
入力部２２は、好ましくは出力部２１による表示と連動して、ユーザによる各種入力を受け付けて、この入力に対応した入力指示信号を情報処理装置１に送信する。出力部２１は、情報処理装置１から送信された表示信号に基づいて、その表示画面に各種表示を行う。
The
情報処理装置１、出力部２１、入力部２２の詳細な動作については後述する。なお、以上の説明において、入力部２２は入力指示部５ｂ及び入力機器１２により構成され、出力部２１はＨＤＭＩ出力機器１５により構成され、記憶部２３はＲＡＭ４及びＨＤＤ８ａにより構成され、そして制御部２４はＣＰＵ２、入力インタフェース５ａ、ＨＤＭＩインタフェース６、ネットワークインタフェース７及びＨＤＤインタフェース８ｂにより構成される。
Detailed operations of the
（検索キーの詳細）
次に、図１３及び図１４を参照して、本実施形態の情報処理システムＳにおいて用いられる検索キーについて説明する。以下に説明する検索キーは、既に述べたように検索キー生成部２７により主に生成される。
(Details of search key)
Next, a search key used in the information processing system S of the present embodiment will be described with reference to FIGS. The search key described below is mainly generated by the search
図１３は、画像ファイル１０のヘッダ部分１０ａに記述されたタグ情報と、このタグ情報から生成される検索キーとの関係の一例を示す図である。図１３に示す例では、一つのタグ情報から複数の検索キーが生成されている。
FIG. 13 is a diagram illustrating an example of a relationship between tag information described in the header portion 10a of the
例えば、撮影日時領域１０ｅに記述された撮影日時タグ情報から、「月」「月日」「曜日」などの検索キーが検索キー生成部２７により生成される。上述のように撮影日時領域１０ｅに記述された撮影日時タグ情報は、例えば“2012/08/24 10:15:24”といったように年月日及び秒単位までの時間、すなわち数値情報として記述されているので、「月」「月日」「曜日」などの検索キーは、この撮影日時タグ情報の一部を用いて抽象化されて生成されている。同様に、撮影日時領域１０ｅに記述された撮影日時タグ情報から、「時間帯」「季節」「季節のイベント」などの検索キーが検索キー生成部２７により生成される。これら「時間帯」「季節」「季節のイベント」などの検索キーは、この撮影日時タグ情報の範囲を示す形で抽象化して形成されている。ここで、「季節のイベント」検索キーについては、例えばＧＷ（ゴールデンウィーク）であると年毎に祝日が異なり、また、土日といった休日を含めてＧＷという認識をすることができるので、「季節のイベント」検索キー生成の際には年毎の祝日、休日等を考慮して範囲設定を行う。さらに、撮影日時領域１０ｅに記述された撮影日時タグ情報から、「日間撮影枚数」などの検索キーが検索キー生成部２７により生成される。この「日間撮影枚数」などの検索キーは、この撮影日時タグ情報の一部（「日間撮影枚数」であれば年月日の情報）を用いて、記憶部２３に格納された画像ファイル１０を検索した結果の枚数の範囲を示す形で抽象化して生成されている。
For example, from the shooting date / time tag information described in the shooting date / time area 10e, the search
また、ＧＰＳ情報領域１０ｉに記述された位置タグ情報から、「観光地名」「分類」「地名」などの検索キーが検索キー生成部２７により生成される。上述のようにＧＰＳ情報領域１０ｉに記述された位置タグ情報は、例えば“lat=+35.00.35.600, lon=+135.41.35.600，alt=50”のように緯度情報、経度情報及び高度情報として記述されているので、「観光地名」「分類」「地名」などの検索キーは、この緯度情報、経度情報及び高度情報をＷＡＮ１７に所在する外部サーバ、一例として地図サーバや観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマーク名を入手し、このランドマーク名そのもの、さらにはランドマーク名を用いてランドマークの分類やそのランドマークが所在する地名を用いて抽象化することで検索キーが生成されている。
The search
さらに、顔認識情報領域１０ｊに記述された被写体区別タグ情報から、「同一人物」「個数」などの検索キーが検索キー生成部２７により生成される。上述のように顔認識情報領域１０ｊに記述された被写体区別タグ情報は、例えば“user=0010”のように画像ファイル１０の画像データ内に存在する被写体を区別するための情報として記述されているので、この被写体区別タグ情報と個人情報４ａ内の情報と照合してこの被写体の氏名を特定することができる。そして、この被写体特定情報そのものを検索キーとして（「○○ちゃん」といった表示になる）生成するとともに、被写体特定情報が同一の画像ファイル１０の画像データ内にいくつ存在するかという抽象化を行って検索キーを生成する。
Further, the search
次に、図１４は、画像ファイル１０のヘッダ部分１０ａに記述されたタグ情報と、このタグ情報から生成される検索キーとの関係の他の例を示す図である。図１４に示す例では、複数のタグ情報、あるいはタグ情報と他の情報とから複数の検索キーが生成されている。
Next, FIG. 14 is a diagram illustrating another example of the relationship between the tag information described in the header portion 10a of the
例えば、撮影日時領域１０ｅに記述された撮影日時タグ情報、顔認識情報領域１０ｊに記述された被写体区別タグ情報及び個人情報４ａに記述された被写体特定情報及び誕生日情報から、「誕生日」「年齢」などの検索キーが検索キー生成部２７により生成される。例えば、「誕生日」検索キーについては、被写体区別タグ情報及び被写体特定情報により画像ファイル１０の画像データ内の被写体の氏名を特定することができ、さらに、被写体の氏名及び誕生日情報により画像ファイル１０の画像データ内の被写体の誕生日を特定することができ、そして、被写体の誕生日の月日と撮影日時タグ情報内の月日とが合致する、すなわち撮影日時タグ情報内の一部が一致するものを検索するキーとして抽象化を行い、「誕生日」検索キーを生成することができる。また、「年齢」検索キーについては、被写体の誕生日の月日と、この誕生日の月日に所定の年数を加え、特定の年齢に達した被写体の誕生日の年月日から１年の範囲内に存在する撮影日時タグ情報の年月日を検索するキーとして抽象化を行い、「年齢」検索キーを生成することができる。
For example, from the shooting date / time tag information described in the shooting date / time area 10e, the subject identification tag information described in the face
また、撮影日時領域１０ｅに記述された撮影日時タグ情報及び個人情報４ａに記述された記念日情報から、「記念日」などの検索キーが検索キー生成部２７により生成される。例えば、「記念日」検索キーについては、撮影日時タグ情報内の月日と記念日情報の月日とが合致するものを検索するキーとして抽象化を行い、「記念日」検索キーを生成することができる。
The search
さらに、撮影日時領域１０ｅに記述された撮影日時タグ情報、顔認識情報領域１０ｊに記述された被写体区別タグ情報及び個人情報４ａに記述された被写体特定情報から、「日間撮影人物」などの検索キーが検索キー生成部２７により生成される。例えば、「日間撮影人物」検索キーについては、被写体区別タグ情報及び被写体特定情報により画像ファイル１０の画像データ内の被写体の氏名を特定することができ、そして、撮影日時タグ情報内の年月日が特定の年月日に合致し、さらに、特定の被写体氏名が画像ファイル１０の画像データに存在するものを検索するキーとして抽象化を行い、「日間撮影人物」検索キーを生成することができる。
Further, a search key such as “daily photographed person” is selected from the shooting date / time tag information described in the shooting date / time area 10e, the subject distinguishing tag information described in the face
そして、撮影日時領域１０ｅに記述された撮影日時タグ情報及びＧＰＳ情報領域１０ｉに記述された位置タグ情報から、「日間撮影場所」「イベント」などの検索キーが検索キー生成部２７により生成される。例えば、「日間撮影場所」検索キーについては、ＧＰＳ情報領域１０ｉに記述された位置タグ情報の緯度情報、経度情報及び高度情報をＷＡＮ１７に所在する外部サーバ、一例として地図サーバや観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマーク名を入手し、このランドマークの緯度情報、経度情報及び高度情報がＧＰＳ情報領域１０ｉに記述された位置タグ情報の緯度情報、経度情報及び高度情報と一致し、さらに撮影日時タグ情報内の年月日が特定の年月日に合致するものを検索し、検索した結果の枚数の範囲を示す形で抽象化を行い、「日間撮影場所」検索キーを生成することができる。また、「イベント」検索キーについては、ＧＰＳ情報領域１０ｉに記述された位置タグ情報の緯度情報、経度情報及び高度情報及び撮影日時タグ情報内の年月日をＷＡＮ１７に所在する外部サーバ、一例として観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマークにおいて撮影日時タグ情報内の年月日にどのようなイベントが開催されたかを入手し、このランドマークの緯度情報、経度情報及び高度情報がＧＰＳ情報領域１０ｉに記述された位置タグ情報の緯度情報、経度情報及び高度情報と一致し、さらに撮影日時タグ情報内の年月日が特定の年月日に合致するものを検索するキーを特定イベントに関する画像ファイル１０を検索するキーとして抽象化を行い、「イベント」検索キーを生成することができる。
The search
ここで、図１３及び図１４には図示しないが、既に述べたように、画像ファイル１０のヘッダ部分１０ａの各領域に記述されたタグ情報に基づいて作成した検索キーに対して所定の範囲を設定することで、検索キーの曖昧化を図ることも可能である。一例として、「月日」検索キーが「９月１日」であった場合は、前後３日の撮影日時タグ情報を有する画像ファイル１０も「９月１日」検索キーで検索可能とすることができる。また、「時間帯」検索キーが「昼過ぎ」であった場合は、午後１２時から前後４時間の撮影日時タグ情報を有する画像ファイル１０も「昼過ぎ」検索キーで検索可能とすることができる。さらに、「日間撮影枚数」検索キーが「３０枚／日」であった場合は、撮影日時タグ情報のうち特定の年月日を有する画像ファイル１０が２４枚〜３６枚であった場合も「３０枚／日」で検索可能とすることができる。さらに、「地名」検索キーが「東京」であった場合は、東京都の周辺、例えば神奈川県、埼玉県、千葉県において東京都に隣接する市町村に属する位置タグ情報を有する画像ファイル１０も「東京」検索キーで検索可能とすることができる。
Here, although not shown in FIGS. 13 and 14, as described above, a predetermined range is set for the search key created based on the tag information described in each area of the header portion 10 a of the
検索キーの曖昧化についてより詳細に説明する。まず、曖昧化を行う対象のタグ情報に対して、順序が設定できるかどうかを検討する。例えば撮影日時領域１０ｅに記述された撮影日時タグ情報であれば時間軸に沿った一方向の順序と、曜日という周期性を持った順序が設定可能である。また、ＧＰＳ情報領域１０ｉに記述された位置タグ情報であれば、緯度情報または経度情報の数値の昇順または降順という順序が設定可能である。次いで、順序が設定できたタグ情報に対して、この順序に沿った一定の範囲を設定することで検索キーの曖昧化を行う。この時、順序設定は単純に範囲指定を行うだけではなく、シソーラス辞書ファイル１１等を参照して範囲設定を行ってもよい。具体的には、「地名」検索キーが山手線の特定の駅に関するキー、例えば「新宿駅」であった場合は、シソーラス辞書ファイル１１等を参照することで、山手線において新宿駅に隣接する「新大久保駅」「代々木駅」に対応する位置タグ情報を有する画像ファイル１０も「新宿駅」検索キーで検索可能とすることができる。
The search key ambiguity will be described in more detail. First, it is examined whether the order can be set for the tag information to be obfuscated. For example, in the case of shooting date / time tag information described in the shooting date / time area 10e, it is possible to set an order in one direction along the time axis and an order having a periodicity of day of the week. In addition, as long as the position tag information is described in the
さらに、タグ情報に対して範囲設定をする際に、他のタグ情報を利用して範囲設定して曖昧化を行ってもよい。例えば、「月日」検索キーが「９月１日」であった場合は、撮影日時タグ情報が９月１日付近の画像ファイル１０を検索し、９月１日を中心として時間軸上で前後に位置する画像ファイル１０のうち、９月１日以前の画像ファイル１０を３０枚、９月１日以降の画像ファイル１０を３０枚選択し、これら画像ファイル１０を「９月１日」検索キーで検索可能とすることができる。さらに、特定のタグ情報に対してその周辺にグループを設定し、このグループ内に包含される画像ファイル１０を特定の検索キーで検索可能とすることができる。例えば、「月日」検索キーが「９月１日」であった場合は、撮影日時タグ情報が９月１日付近の画像ファイル１０を検索し、画像ファイル１０の撮影者の行動モデルを作成する。そして、撮影者の行動モデルから、当該撮影者が撮影を集中的に行った期間（大抵は旅行中といった具体的な行動に紐付けられる）を、例えば隠れマルコフモデル等の手法を用いて推定し、この期間内に存在する画像ファイル１０を「９月１日」検索キーで検索可能とすることができる。
Further, when setting the range for the tag information, the range may be set using other tag information for ambiguity. For example, if the “month and date” search key is “September 1”, the image date and time tag information is searched for the
また、この検索キーの曖昧化は、例えば後述する検索キー表示画面３０ｃにおいて、曖昧化された検索キーを表示するボタンを設け、このボタンが入力部２２により選択されたことを契機に検索キー生成部２７が生成してもよいし、検索キー生成部２７により生成された検索キーにより検索可能な画像ファイル１０の数が少ない場合、検索キー生成部２７が生成した検索キーに対して曖昧化を行ってもよい。
In order to make the search key ambiguous, for example, a search
（情報処理システムの動作）
次に、図４〜図１２を参照して、本実施形態の情報処理システムＳの動作の概要を、出力部２１の表示画面を中心にして説明する。
(Operation of information processing system)
Next, an outline of the operation of the information processing system S of the present embodiment will be described with reference to FIGS. 4 to 12 focusing on the display screen of the
まず、図４は、出力部２１の表示画面に表示される、情報処理システムＳの初期画面を示す図である。初期画面を示す表示画面３０ａには、写真データ閲覧モードに移行するためのボタン３１が（図４に示す例では２つ）表示されている。同様に、初期画面を示す表示画面３０ａには、カレンダーモードに移行するためのボタン３２及びアルバムモードに移行するためのボタン３３が表示されている。
First, FIG. 4 is a diagram showing an initial screen of the information processing system S displayed on the display screen of the
ここに、カレンダーモードとは、記憶部２３に格納されている画像ファイル１０の画像データを年月日順に配列し、カレンダーを閲覧するように画像ファイル１０の画像データを閲覧できるモードであり、アルバムモードとは、記憶部２３に格納されている画像ファイル１０の画像データのうち、予めユーザが付与したアルバムタグ情報（例えば「２０１２年運動会」）を有する画像データのみを抽出して閲覧できるモードである。これらカレンダーモード及びアルバムモードの詳細については説明を省略する。
Here, the calendar mode is a mode in which the image data of the
写真データ閲覧モードに移行するためのボタン３１には、記憶部２３に格納されている画像ファイル１０の画像データのうち代表となる画像データが重畳されて表示されている。ボタン３１に重畳される画像データは、記憶部２３に格納されている任意の画像ファイル１０の画像データをランダムに抽出すればよいが、事前に代表的な検索キーにより記憶部２３に格納されている画像ファイル１０の画像データを検索し、同一の検索キーにより検索される可能性のある画像データができるだけ重複して表示されないように抽出してもよい。
On the
初期画面を示す表示画面３０ａには、ユーザによる入力位置を示すポインタ３４が表示されている。ユーザは、リモコン、マウス等の入力部２２によりこのポインタ３４を表示画面３０ａ内で移動させ、選択を希望するボタン３１〜３３にこのポインタ３４の少なくとも一部を重畳表示させた状態でこの入力部２２を操作することで、ユーザによりどのボタンが選択されたかを示す選択入力信号が入力部２２から出力され、情報処理装置１に入力される。
A
次に、図５は、出力部２１の表示画面に表示される、情報処理システムＳの選択画面を示す図である。図５に示す選択画面は、図４において写真データ閲覧モードに移行するためのボタン３１がユーザにより選択されることにより表示される。
Next, FIG. 5 is a diagram illustrating a selection screen of the information processing system S displayed on the display screen of the
選択画面を示す表示画面３０ｂには、記憶部２３に格納されている画像ファイル１０の画像データのサムネイル画像３５が複数表示されている。図５に示す例では、サムネイル画像３５は縦３枚×横４枚表示されているが、表示画面３０ｂにサムネイル画像３５が複数枚表示されているならばその枚数及び表示形態に限定はない。
A plurality of
選択画面を示す表示画面３０ｂに表示されるサムネイル画像３５は、記憶部２３に格納されている任意の画像ファイル１０の画像データをランダムに抽出してそのサムネイル画像を表示すればよいが、事前に代表的な検索キーにより記憶部２３に格納されている画像ファイル１０の画像データを検索し、同一の検索キーにより検索される可能性のある画像データのサムネイル画像ができるだけ重複して表示されないように抽出してもよい。
The
選択画面を示す表示画面３０ｂにも、ユーザによる入力位置を示すポインタ３４が表示されている。ユーザは入力部２２によりこのポインタ３４を表示画面３０ｂ内で移動させ、選択を希望するサムネイル画像３５にこのポインタ３４の少なくとも一部を重畳表示させた状態でこの入力部２２を操作することで、ユーザによりどのサムネイル画像３５（図５に示す例では太枠で表示されたサムネイル画像３５）が選択されたかを示す選択入力信号が入力部２２から出力され、情報処理装置１に入力される。
A
次に、図６は、出力部２１の表示画面に表示される、情報処理システムＳの検索キー表示画面を示す図である。図６に示す検索キー表示画面は、図５においていずれかのサムネイル画像３５がユーザにより選択されることにより表示される。
Next, FIG. 6 is a diagram showing a search key display screen of the information processing system S displayed on the display screen of the
検索キー表示画面を示す表示画面３０ｃは、図５に示す選択画面を示す表示画面３０ｂに、関連写真ウィンドウ３６が重畳されて表示されて構成されている。関連写真ウィンドウ３６には、図５において選択されたサムネイル画像３５（図６においてハッチングを付したサムネイル画像３５）に対応する画像ファイル１０に関連する画像ファイル１０のサムネイル画像３７及びこのサムネイル画像３７を抽出する際に用いられた検索キー３８が組となって複数組表示されている。図６に示す例では、サムネイル画像３７及び検索キー３８の組は５組表示されているが、表示画面３０ｃにサムネイル画像３７及び検索キー３８が複数組表示されているならばその組数及び表示形態に限定はない。
The
関連写真ウィンドウ３６に表示されるサムネイル画像３７及び検索キー３８の組は、図５において選択されたサムネイル画像３５に対応する画像ファイル１０のヘッダ部分１０ａの各領域に記述されたタグ情報を参照して生成された検索キーと、この検索キーにより記憶部２３に格納されている画像ファイル１０を検索して得られた検索結果である画像ファイル１０のサムネイル画像から適宜選択される。
The set of the
一例として、「海」検索キーは、「分類」検索キーの一例であり、ＧＰＳ情報領域１０ｉに記述された位置タグ情報から生成される。また、「○○ちゃん」検索キーは、顔認識情報領域１０ｊに記述された被写体区別タグ情報及び個人情報４ａに記述された被写体特定情報から生成される。さらに、「場所が近い」検索キーは、ＧＰＳ情報領域１０ｉに記述された位置タグ情報に基づき、この位置タグ情報の周囲（例えば半径５０ｍ）の位置タグ情報を有する画像ファイル１０を検索する検索キーとして生成される。さらに、「１年前」検索キーは、撮影日時領域１０ｅに記述された撮影日時タグ情報に基づき、この撮影日時タグ情報内の年月日のうち年のみ１を減じた（つまり１年前）値を有する画像ファイル１０を検索する検索キーとして生成される。そして、「ＸＹＺ−○」検索キーは、機種名領域１０ｇに記述された機種名タグ情報が「ＸＹＺ−○」である画像ファイル１０を検索する検索キーとして生成される。
As an example, the “sea” search key is an example of a “classification” search key, and is generated from position tag information described in the
ここで、上述のように、図５において選択されたサムネイル画像３５に対応する画像ファイル１０のヘッダ部分１０ａの各領域に記述されたタグ情報を参照することで複数の検索キーを生成することが可能であるので、この複数の検索キーからいずれの検索キー３７を選択して表示するかは任意であるが、ユーザに対して異なる観点からの検索キー３７及びサムネイル画像３８の組を表示する観点から、異なる種類の検索キー、あるいは異なるタグ情報を用いた検索キーをできるだけ多く表示することも可能である。
Here, as described above, a plurality of search keys may be generated by referring to tag information described in each area of the header portion 10a of the
検索キー表示画面を示す表示画面３０ｃにも、ユーザによる入力位置を示すポインタ３４が表示されている。ユーザは入力部２２によりこのポインタ３４を表示画面３０ｃ内で移動させ、選択を希望するサムネイル画像３７にこのポインタ３４の少なくとも一部を重畳表示させた状態でこの入力部２２を操作することで、ユーザによりどのサムネイル画像３７（図６に示す例では太枠で表示されたサムネイル画像３７）が選択されたかを示す選択入力信号が入力部２２から出力され、情報処理装置１に入力される。
A
次に、図７は、出力部２１の表示画面に表示される、情報処理システムＳの検索表示画面を示す図である。図７に示す検索表示画面は、図６においていずれかのサムネイル画像３７がユーザにより選択されることにより表示される。
Next, FIG. 7 is a diagram showing a search display screen of the information processing system S displayed on the display screen of the
検索表示画面を示す表示画面３０ｄには、図６において選択されたサムネイル画像３７と組になっている検索キー３８を用いて記憶部２３に格納されている画像ファイル１０を検索し、その検索結果である画像ファイル１０の画像データのサムネイル画像３９が表示されている。図７に示す例では、サムネイル画像３９は縦３枚×横４枚表示されているが、表示画面３０ｄに表示されるサムネイル画像３９の枚数は検索結果に依存して決まり、また、全ての検索結果である画像ファイル１０のサムネイル画像３９を表示しなくてもよい。加えて、サムネイル画像３９の表示形態にも限定はない。図７と異なる別の表示形態について図８を参照して説明する。
On the
図８は、出力部２１の表示画面に表示される、情報処理システムＳのタイムライン画面を示す図である。図８に示すタイムライン画面は、図６においていずれかのサムネイル画像３７がユーザにより選択されることにより表示される。
FIG. 8 is a diagram showing a timeline screen of the information processing system S displayed on the display screen of the
タイムライン画面を示す表示画面３０ｅには、図６において選択されたサムネイル画像３７と組になっている検索キー３８を用いて記憶部２３に格納されている画像ファイル１０を検索し、その検索結果である画像ファイル１０の画像データのサムネイル画像４０が表示されている。図７の表示画面３０ｄと図８の表示画面３０ｅとの相違点は、図７の表示画面３０ｄではサムネイル画像３９は特段の配列順に従って配列されておらず、あるいは、特段の配列順を有する場合でもその配列順は表示画面３０ｄ上からは判別することが困難であるのに対し、図８の表示画面３０ｅでは、サムネイル画像４０に対応する画像ファイル１０の撮影日時タグ情報が示す撮影日時が時間軸に沿って左から右に進むようにサムネイル画像４０が配列されている点である。
On the
より詳細には、表示画面３０ｅの第１領域４１ａには、撮影日時タグ情報の年月日がＸ年Ｙ月２１日（Ｘ、Ｙは任意の年月を示す自然数）であるサムネイル画像４０が、第２領域４１ｂには、撮影日時タグ情報の年月日がＸ年Ｙ月２２日であるサムネイル画像４０が、第３領域４１ｃには、撮影日時タグ情報の年月日がＸ年Ｙ月２３日であるサムネイル画像４０が、第４領域４１ｄには、撮影日時タグ情報の年月日がＸ年Ｙ月２４日であるサムネイル画像４０が配列されている。これにより、選択されたサムネイル画像３７に対応する検索キー３８により検索された結果としての画像ファイル１０のサムネイル画像４０を時間軸上で把握することができ、ユーザの利便性を向上することができる。
More specifically, in the
次に、図９は、出力部２１の表示画面に表示される、情報処理システムＳの検索キー絞り込み画面を示す図である。図９に示す検索キー絞り込み画面は、図５においていずれかのサムネイル画像３５がユーザにより選択されることにより表示される。
Next, FIG. 9 is a diagram showing a search key narrowing screen of the information processing system S displayed on the display screen of the
検索キー絞り込み画面を示す表示画面３０ｆは、図５に示す選択画面を示す表示画面３０ｂに、図６と同様な関連写真ウィンドウ４２が重畳されて表示されて構成されている。すなわち、関連写真ウィンドウ４２には、図５において選択されたサムネイル画像３５（図９においてハッチングを付したサムネイル画像３５）に対応する画像ファイル１０に関連する画像ファイル１０のサムネイル画像４３及びこのサムネイル画像４３を抽出する際に用いられた検索キー４４が組となって複数組表示されている。
The
検索キー絞り込み画面を示す表示画面３０ｆにも、ユーザによる入力位置を示すポインタ３４が表示されている。ユーザは入力部２２によりこのポインタ３４を表示画面３０ｆ内で移動させ、選択を希望するサムネイル画像４３にこのポインタ３４の少なくとも一部を重畳表示させた状態でこの入力部２２を操作し、これを順次繰り返すことで複数のサムネイル画像４３（図９に示す例では太枠で表示されたサムネイル画像４３）を選択する。図６に示す検索キー表示画面３０ｃにおける単一のサムネイル画像３７選択動作と図９に示す検索キー絞り込み画面３０ｆにおける複数のサムネイル画像４３選択動作とを区別して入力操作する手法は任意であり、一例として、入力部２２側に複数のサムネイル画像４３選択動作を選択するための特別なキー、ボタン等を設け、このキー等が操作されることにより、複数のサムネイル画像４３選択動作に移行する手法が挙げられる。さらに、図９の検索キー絞り込み画面３０ｆにおけるサムネイル画像４３選択動作の結果として表示される検索表示画面３０ｄにおいて、選択された複数のサムネイル画像４３のそれぞれに対応する検索キー４４による検索結果の和集合または積集合のいずれを表示するかを選択するキー、ボタン等を入力部２２に設けることが好ましい。
A
ユーザにより複数のサムネイル画像４３が選択されると、ユーザによりどのサムネイル画像４３が選択されたかを示す選択入力信号と、このサムネイル画像４３に対応する検索キー４４による検索結果の和集合または積集合のいずれを表示するかを選択する検索結果選択信号とが入力部２２から出力され、情報処理装置１に入力される。
When a plurality of
この後、図７に示す検索表示画面を示す表示画面３０ｄが出力部２１の表示画面に表示される。この際、表示画面３０ｄには、図９において選択された複数のサムネイル画像３７と組になっている検索キー３８のそれぞれを用いて記憶部２３に格納されている画像ファイル１０を検索し、検索結果選択信号に基づいてその検索結果の和集合または積集合である画像ファイル１０の画像データのサムネイル画像３９が表示される。
Thereafter, a
次に、図１０は、出力部２１の表示画面に表示される、情報処理システムＳの検索キー追加画面の一例を示す図である。図１０に示す検索キー追加画面は、図５においていずれかのサムネイル画像３５がユーザにより選択されることにより表示される。
Next, FIG. 10 is a diagram illustrating an example of a search key addition screen of the information processing system S displayed on the display screen of the
検索キー追加画面を示す表示画面３０ｇは、図５に示す選択画面を示す表示画面３０ｂに、図６と同様な関連写真ウィンドウ４５が重畳されて表示されて構成されている。すなわち、関連写真ウィンドウ４５には、図５において選択されたサムネイル画像３５（図１０においてハッチングを付したサムネイル画像３５）に対応する画像ファイル１０に関連する画像ファイル１０のサムネイル画像４６及びこのサムネイル画像４６を抽出する際に用いられた検索キー４７が組となって複数組表示されている。
The
検索キー追加画面を示す表示画面３０ｇにも、ユーザによる入力位置を示すポインタ３４が表示されている。ユーザは入力部２２によりこのポインタ３４を表示画面３０ｇ内で移動させ、選択を希望するサムネイル画像４６にこのポインタ３４の少なくとも一部を重畳表示させた状態でこの入力部２２を操作することで、サムネイル画像４６（図１０に示す例では太枠で表示されたサムネイル画像４６）を選択する。
A
サムネイル画像４６が選択されると、選択されたサムネイル画像４６に対応する検索キー４７が特定され、この検索キー４７に対して、タグ情報を微調整した新たな検索キー４８が生成され、さらに、この新たな検索キー４８を用いて記憶部２３に格納されている画像ファイル１０を検索して得られた検索結果である画像ファイル１０のサムネイル画像４９が抽出され、これら検索キー４８及びサムネイル画像４９が組となって表示される。ここに、微調整とは、特定の検索キーにより検索するタグ情報領域は変更せず、その検索条件の一部を変更し、類似する検索キーを生成することを意味する。一例として、図１０の例では、「土曜日」検索キー４７が選択されたので、この検索キー４７により検索するタグ領域である撮影日時領域１０ｅは変更せず、土曜日の次の曜日である「日曜日」検索キー４８を生成する。あるいは、上述した検索キーの曖昧化作業における順序設定動作を用いて、「土曜日」の次の曜日である「日曜日」検索キー４８を生成してもよい。
When the
図６に示す検索キー表示画面３０ｃにおける単一のサムネイル画像３７選択動作と図１０に示す検索キー追加画面３０ｇにおける微調整された検索キー４８生成動作とを区別して入力操作する手法は任意であり、一例として、入力部２２側に微調整された検索キー生成動作を指令するための特別なキー、ボタン等を設け、このキー等が操作されることにより、微調整された検索キー生成動作に移行する手法が挙げられる。微調整された検索キー４８に基づくサムネイル画像４９はポインタ３４により同様に選択可能であり、いずれのサムネイル画像４６、４９が選択されても、ユーザによりどのサムネイル画像４６、４９が選択されたかを示す選択入力信号が入力部２２から出力され、情報処理装置１に入力される。
A method for performing an input operation by distinguishing the
次に、図１１は、出力部２１の表示画面に表示される、情報処理システムＳの検索キー追加画面の別の例を示す図である。図１１に示す検索キー追加画面は、図５においていずれかのサムネイル画像３５がユーザにより選択されることにより表示される。
Next, FIG. 11 is a diagram illustrating another example of the search key addition screen of the information processing system S displayed on the display screen of the
検索キー追加画面を示す表示画面３０ｈは、図５に示す選択画面を示す表示画面３０ｂに、図６と同様な関連写真ウィンドウ５０が重畳されて表示されて構成されている。すなわち、関連写真ウィンドウ５０には、図５において選択されたサムネイル画像３５（図１１においてハッチングを付したサムネイル画像３５）に対応する画像ファイル１０に関連する画像ファイル１０のサムネイル画像５１及びこのサムネイル画像５１を抽出する際に用いられた検索キー５２が組となって複数組表示されている。
The
検索キー追加画面を示す表示画面３０ｈにも、ユーザによる入力位置を示すポインタ３４が表示されている。ユーザは入力部２２によりこのポインタ３４を表示画面３０ｈ内で移動させ、選択を希望するサムネイル画像５１にこのポインタ３４の少なくとも一部を重畳表示させた状態でこの入力部２２を操作することで、サムネイル画像５１（図１０に示す例では太枠で表示されたサムネイル画像５１）を選択する。
A
サムネイル画像５１が選択されると、選択されたサムネイル画像５１に対応する検索キー５２が特定され、この検索キー５２に対して、記憶部２３内のシソーラス辞書１１（図３参照）を用いて新たな検索キー５３が生成され、さらに、この新たな検索キー５３を用いて記憶部２３に格納されている画像ファイル１０を検索して得られた検索結果である画像ファイル１０のサムネイル画像５４が抽出され、これら検索キー５３及びサムネイル画像５４が組となって表示される。
When the
シソーラス辞書１１による新たな検索キー５３生成の具体例を、図１１及び図１２を参照して説明する。図１１においては、ポインタ３４により「海水浴」検索キー５２に対応するサムネイル画像５１が選択されている。この「海水浴」検索キーは、ＧＰＳ情報領域１０ｉに記述された位置タグ情報をＷＡＮ１７に所在する外部サーバ、一例として地図サーバや観光地に関する情報が蓄積されたサーバに問い合わせ、この緯度情報、経度情報及び高度情報を有するランドマーク名を入手し、このランドマーク名が海水浴場である画像ファイル１０を検索するキーとして生成されている。そして、「海水浴」という単語そのものをシソーラス辞書１１に提供し、「海水浴」のシソーラスである単語の提供を受ける。
A specific example of generating a
図１２は、シソーラス辞書１１の一例を示す図である。図１２に示す例では、「海水浴」と「潮干狩り」は同じ「海」というカテゴリーに属するシソーラスである。従って、シソーラス辞書１１は、「海水浴」のシソーラスとして「潮干狩り」を提供する。そして、この新たな検索キー「潮干狩り」５３を用いて記憶部２３に格納されている画像ファイル１０を検索して得られた検索結果である画像ファイル１０のサムネイル画像５４が抽出され、これら検索キー５３及びサムネイル画像５４が組となって表示される。なお、ＷＡＮ１７に所在する外部サーバ内に置かれたシソーラス辞書を用いてもよい。
FIG. 12 is a diagram illustrating an example of the
図６に示す検索キー表示画面３０ｃにおける単一のサムネイル画像３７選択動作と図１１に示す検索キー追加画面３０ｈにおけるシソーラス辞書１１による検索キー５３生成動作とを区別して入力操作する手法は任意であり、一例として、入力部２２側にシソーラス辞書１１による検索キー生成動作を指令するための特別なキー、ボタン等を設け、このキー等が操作されることにより、シソーラス辞書１１による検索キー生成動作に移行する手法が挙げられる。シソーラス辞書１１による検索キー５３に基づくサムネイル画像５４はポインタ３４により同様に選択可能であり、いずれのサムネイル画像５４が選択されても、ユーザによりどのサムネイル画像５４が選択されたかを示す選択入力信号が入力部２２から出力され、情報処理装置１に入力される。
A method for performing an input operation by distinguishing between the operation for selecting a
（情報処理システムの動作フロー）
次に、図１５及び図１６のフローチャートを参照して、本実施形態の情報処理システムＳの動作フローについて説明する。
(Operation flow of information processing system)
Next, the operation flow of the information processing system S of the present embodiment will be described with reference to the flowcharts of FIGS. 15 and 16.
図１５のフローチャートに示す動作は、図略の電源ボタン等を操作することで情報処理装置１に電源が投入されて起動する時点から開始する。まず、ステップＳ１において、情報処理装置１の制御部２４の画像ファイル選択部２５は、記憶部２３内に格納されている画像ファイル１０の画像データを読み込み、次いでステップＳ２において、画像ファイル選択部２５は、記憶部２３から読み出した画像ファイル１０のヘッダ部分１０ａの各領域に記述されたタグ情報を抽出する。抽出されたタグ情報は記憶部２３に一時的に格納される。また、ヘッダ部分１０ａの各領域に記述されたタグ情報をキーとして、記憶部２３内のシソーラス辞書１１、あるいはＷＡＮ１７に所在する外部サーバに問い合わせた結果としての情報を入手しても良い。
The operation shown in the flowchart of FIG. 15 starts when the
次いで、ステップＳ３では、画像ファイル選択部２５が図５の選択画面３０ｂに表示するための画像ファイル１０を選択する。既に述べたように、ステップＳ３における画像ファイル１０選択動作において、画像ファイル選択部２５は、記憶部２３内に格納されている画像ファイル１０から、選択画面３０ｂに表示できるサムネイル画像３５の数だけ画像ファイル１０をランダムに選択してもよいし、ステップＳ２において抽出したタグ情報に基づき、同一の検索キーにより検索される可能性のある画像データのサムネイル画像３５ができるだけ重複して表示されないように選択してもよい。
Next, in step S3, the image
次いで、ステップＳ４では、初期画面３０ａに表示すべきボタン３１に重畳すべき画像ファイル１０の画像データを選択する。選択の母集団となる画像ファイル１０は、ステップＳ３において選択された画像ファイル１０である。この時、既に述べたように、同一の検索キーにより検索される可能性のある画像データができるだけ重複して表示されないように選択してもよい。そして、ステップＳ５では、ステップＳ４で選択された画像ファイル１０の画像データを含む、図４に示すような初期画面３０ａのデータを生成し、出力部２１に表示させる。
In step S4, image data of the
次いで、ステップＳ６では、入力部２２をユーザが操作することにより初期画面３０ａ上でポインタ３４が移動し、そして、ポインタ３４がいずれかのボタン３１〜３３の少なくとも一部に重畳された状態で入力部２２がユーザにより操作されることで、ボタン３１〜３３のいずれかが選択されたことを示す選択入力信号が入力部２２から出力されるまで待機し、写真データ閲覧モードに移行するためのボタン３１がユーザにより選択されたことを示す選択入力信号が入力部２２から制御部２４に出力されると（ステップＳ６においてＹＥＳ）、プログラムはステップＳ７に移行する。
Next, in step S6, when the user operates the
ステップＳ７では、画像ファイル選択部２５が、ステップＳ３で選択した画像ファイル１０のサムネイル画像３５を含む、図５に示すような選択画面３０ｂのデータを生成し、出力部２１に表示させる。次いで、ステップＳ８では、入力部２２をユーザが操作することにより選択画面３０ｂ上でポインタ３４が移動し、そして、ポインタ３４がいずれかのサムネイル画像３５の少なくとも一部に重畳された状態で入力部２２がユーザにより操作されることで、いずれのサムネイル画像３５が選択されたことを示す選択入力信号が入力部２２から出力されるまで待機し、いずれかのサムネイル画像３５がユーザにより選択されたことを示す選択入力信号が入力部２２から制御部２４に出力されると（ステップＳ８においてＹＥＳ）、プログラムは図１６のステップＳ９に移行する。
In step S <b> 7, the image
ステップＳ９では、情報取得部２６が、ステップＳ８において選択されたサムネイル画像３５に対応する画像ファイル１０のタグ情報を取得する。既に述べたように、情報取得部２６により取得される情報には、画像ファイル１０のヘッダ部分１０ａの各領域に記述された情報が含まれる。情報取得部２６により取得される他の情報としては、例えば、画像ファイル１０のヘッダ部分１０ａの各領域に記述された情報を記憶部２３に格納されたシソーラス辞書ファイル１１に提供して得られたシソーラス情報、さらには画像ファイル１０のヘッダ部分１０ａの各領域に記述された情報をＷＡＮ１７に提供して得られた情報が含まれる。
In step S9, the
次いで、ステップＳ１０では、検索キー生成部２７が、ステップＳ９で情報取得部が取得したタグ情報のうち少なくとも一つを使用して、取得タグ情報を抽象化した検索キーを少なくとも一つ、好ましくは複数生成する。抽象化した検索キーの生成手順及び生成される検索キーの具体例については既に述べたのでここでは説明を省略する。同様に、検索キー生成部２７は、生成した検索キーに対して微調整を行い、また、生成した検索キーに対して曖昧化を図ることもある。微調整作業及び曖昧化作業についても既に述べたのでここでは説明を省略する。
Next, in step S10, the search
ステップＳ１１では、検索キー生成部２７が、ステップＳ１０において生成した検索キーを用いて、記憶部２３に格納された画像ファイル１０を検索する。ここで、検索キー生成部２７は、ステップＳ１０において生成した検索キーの全てについてステップＳ１１において画像ファイル１０を検索する必要はなく、図６に示す検索キー表示画面３０ｃにおいて表示するサムネイル画像３７及び検索キー３８の組数に対応する検索キー（つまり検索キー表示画面３０ｃに表示される検索キー３８）を用いて最低限検索を行えばよい。そして、ステップＳ１２では、検索キー生成部２７が、ステップＳ１０において生成した検索キー及びステップＳ１１において検索した画像ファイル１０に基づいて、図６に示すような検索キー表示画面３０ｃのデータを生成し、出力部２１に表示させる。既に述べたように、検索キー表示画面３０ｃに表示されるサムネイル画像３７及び検索キー３８の組は、ステップＳ１０及びステップＳ１１において生成、検索された検索キー及び画像ファイル１０の全てに対応するものとは限らない。
In step S11, the search
ステップＳ１３では、入力部２２をユーザが操作することにより検索キー表示画面３０ｃ上でポインタ３４が移動し、そして、ポインタ３４がいずれかのサムネイル画像３７の少なくとも一部に重畳された状態で入力部２２がユーザにより操作されことで、いずれかのサムネイル画像３７が選択されたことを示す選択入力信号が入力部２２から出力されるまで待機し、いずれかのサムネイル画像３７がユーザにより選択されたことを示す選択入力信号が入力部２２から制御部２４に出力されると（ステップＳ１３においてＹＥＳ）、プログラムはステップＳ１４に移行する。既に述べたように、ステップＳ１３において、複数のサムネイル画像４３が選択されることがあり（図９参照）、また、複数のサムネイル画像４３が選択された場合は、検索結果として複数のサムネイル画像４３に対応する検索キー４４の和集合または積集合のいずれを表示するかも選択されるので、この場合は、入力部２２から、複数のサムネイル画像４３選択入力信号と、このサムネイル画像４３に対応する検索キー４４による検索結果の和集合または積集合のいずれを表示するかを選択する検索結果選択信号とが出力される。
In step S13, when the user operates the
ステップＳ１４では、画像ファイル検索部２８が、ステップＳ１３において選択された検索キー３７を用いて、記憶部２３に格納された画像ファイル１０を検索する。また、画像ファイル検索部２８は、出力部２１に表示された検索キー４３が入力部２２により複数選択された場合は、この入力部２２から出力される複数の検索キー選択信号、及びこのサムネイル画像４３に対応する検索キー４４による検索結果の和集合または積集合のいずれを表示するかを選択する検索結果選択信号を受信し、複数の検索キー４４の検索結果の和集合または積集合である画像ファイル１０を検索する。
In step S <b> 14, the image
そして、ステップＳ１５では、画像ファイル検索部２８が、ステップＳ１４において検索された画像ファイル１０のうち少なくとも一つの画像ファイル１０のサムネイル画像３９を含む、図７に示すような検索表示画面３０ｄのデータ、あるいは図８に示すようなタイムライン画面３０ｅを生成し、出力部に表示させる。既に述べたように、画像ファイル検索部２８が出力部２２に表示させるサムネイル画像３９の枚数は検索結果に依存して決まり、また、全ての検索結果である画像ファイル１０のサムネイル画像３９を表示しなくてもよい。
In step S15, the image
（第１実施形態の効果）
以上詳細に説明したように、本実施形態の情報処理システムＳでは、記憶部２３内に格納された画像ファイル１０のサムネイル画像３５を表示画面３０ｂに表示させるとともに、画像ファイル１０のタグ情報を取得し、このサムネイル画像３５が選択されると、選択されたサムネイル画像３５に対応する画像ファイル１０のタグ情報に基づいて検索キー３８を生成し、この検索キー３８が選択されると、選択された検索キー３８により画像ファイル１０を検索して、その検索結果である画像ファイル１０のサムネイル画像３９を表示している。あるいは、サムネイル画像３５が選択されると、選択されたサムネイル画像３５に対応する画像ファイル１０のタグ情報を取得し、このタグ情報に基づいて検索キー３８を生成し、この検索キー３８が選択されると、選択された検索キー３８により画像ファイル１０を検索して、その検索結果である画像ファイル１０のサムネイル画像３９を表示している。
(Effect of 1st Embodiment)
As described above in detail, in the information processing system S of the present embodiment, the
すなわち、ユーザは表示されたサムネイル画像３５に注目したら、そのサムネイル画像３５を選択することにより、選択されたサムネイル画像３５に関連するサムネイル画像３７及び検索キー３８が表示され、いずれかのサムネイル画像３７を選択すれば、対応する検索キー３８により記憶部２３内の画像ファイル１０が検索されてその検索結果である画像ファイル１０のサムネイル画像３９を得ることができる。
That is, when the user pays attention to the displayed
従って、本実施形態によれば、上述の従来の技術のように検索表示を希望するタグ情報をユーザが予め特定することなく、画像ファイル１０のサムネイル画像３５を基準にこの画像ファイル１０に関連する画像ファイル１０を簡便に検索することができる。これにより、ユーザの利便性を飛躍的に向上させることができる。
Therefore, according to the present embodiment, the user does not specify tag information desired to be searched and displayed in advance as in the above-described conventional technique, and the user is related to the
（第２実施形態）
次に、図１７を参照して、本発明の第２実施形態である情報処理システムＳについて説明する。図１７は、本発明の第２実施形態である情報処理システムＳに用いられる音楽ファイルのデータ構造を示す図である。なお、本実施形態の情報処理システムＳは、第１実施形態の画像ファイルのかわりに図１７に示す音楽ファイルが適用される以外は、その構成が上述の第１実施形態と同様であるので、同一の構成要素については同一の符号を付し、その説明を簡略化する。
(Second Embodiment)
Next, with reference to FIG. 17, the information processing system S which is 2nd Embodiment of this invention is demonstrated. FIG. 17 is a diagram showing a data structure of a music file used in the information processing system S according to the second embodiment of the present invention. The information processing system S of the present embodiment is the same as the first embodiment except that the music file shown in FIG. 17 is applied instead of the image file of the first embodiment. The same constituent elements are denoted by the same reference numerals, and the description thereof is simplified.
本実施形態の音楽ファイル６０は、ｍｐ３（MPEG Audio Layer-3）形式のファイルフォーマットを有し、そのヘッダ部分６０ａに、ＩＤ３タグで定められたフォーマットに従ってタグ情報が格納され、さらにサムネイル画像データが格納されたサムネイル画像領域６０ｂ、及び音楽データが格納された音楽データ領域６０ｃが設けられている。本実施形態の音楽ファイル６０では、ヘッダ部分６０ａに格納されたタグ情報は、音楽ファイル６０の作成時に、GracenoteのようなＣＤＤＢ（Compact Disc Data Base）に図略のＰＣ（Personal Computer）等が問い合わせ、このＣＤＤＢから返信されたタグ情報をＰＣ等がヘッダ部分６０ａの所定領域に格納することで記述されている。従って、ヘッダ部分６０ａに格納されたタグ情報は、情報処理装置１への音楽ファイル６０取り込み時に既に音楽ファイル６０のヘッダ部分６０ａの所定領域に記述されているものとする。
The
音楽ファイル６０のヘッダ部分６０ａには、音楽ファイル６０の曲名が記述される曲名領域６０ｄ、音楽ファイル６０を制作したアーティストの名称が記述されるアーティスト名領域６０ｅ、音楽ファイル６０が収録されているアルバムの名称が記述されるアルバム名領域６０ｆ、音楽ファイル６０がリリースされた年号が記述されるリリース年領域６０ｇ、音楽ファイル６０の属するジャンルが記述されるジャンル領域６０ｈ、音楽ファイル６０の作詞者の名称が記述される作詞者領域６０ｉ、音楽ファイル６０の作曲者の名称が記述される作曲者領域６０ｊ、音楽ファイル６０が音楽ＣＤから取得された場合にこの音楽ＣＤに一意に付された識別子が記述される音楽ＣＤ識別子領域６０ｋ、及び情報処理装置１のユーザが各種情報を任意に記述するためのユーザ定義領域６０ｍが設けられている。当然、これ以外の領域を音楽ファイル６０のヘッダ部分６０ａに設けることは任意である。
The header portion 60a of the
図１７にデータ構造を示した音楽ファイル６０を本実施形態の情報処理システムＳに適用した場合、例えば、曲名領域６０ｄに記述された曲名タグ情報の一部を利用して、すなわち抽象化して「桜の季節の曲」といった検索キーを作成し、この検索キーにより音楽ファイル６０を検索した結果を表示することが可能である。また、シソーラス辞書ファイル１１やＷＡＮ１７上の外部サーバを用いて、アーティスト名領域６０ｅに記述されているアーティスト名タグ情報から、このアーティストと共演することが多い他のアーティスト名に関する検索キーを作成し、この検索キーにより音楽ファイル６０を検索した結果を表示することが可能である。
When the
この場合、音楽ファイル６０及び検索キーをユーザに選択させるには、どのような音楽ファイル６０及び検索キーが情報処理装置１内に格納され、また情報処理装置１により生成されたかをユーザが確認できる必要がある。この、音楽ファイル６０及び検索キーをユーザに確認させる手法として、音楽ファイル６０であれば、サムネイル画像領域６０ｂに格納された、音楽ファイル６０のインデックスであるサムネイル画像データをＨＤＭＩ出力機器１５を用いて表示させる手法が挙げられ、また、検索キーについては検索キーを示す文字列をＨＤＭＩ出力機器１５を用いて表示させる手法が挙げられる。あるいは、音楽ファイル６０については、曲名領域６０ｄに格納された、音楽ファイル６０のインデックスである曲名データをリスト形式でＨＤＭＩ出力機器１５を用いて表示させてもよい。
In this case, in order for the user to select the
従って、本実施形態によっても、上述した第１実施形態と同様の効果を奏することができる。 Therefore, the present embodiment can achieve the same effects as those of the first embodiment described above.
（第３実施形態）
次に、図１８を参照して、本発明の第３実施形態である情報処理システムＳについて説明する。図１８は、本発明の第３実施形態である情報処理システムＳに用いられる番組ファイルのデータ構造を示す図である。なお、本実施形態の情報処理システムＳは、第１実施形態の画像ファイルのかわりに図１８に示す番組ファイルが適用される以外は、その構成が上述の第１実施形態と同様であるので、同一の構成要素については同一の符号を付し、その説明を簡略化する。
(Third embodiment)
Next, with reference to FIG. 18, the information processing system S which is 3rd Embodiment of this invention is demonstrated. FIG. 18 is a diagram showing a data structure of a program file used in the information processing system S that is the third embodiment of the present invention. The information processing system S of the present embodiment has the same configuration as that of the first embodiment except that the program file shown in FIG. 18 is applied instead of the image file of the first embodiment. The same constituent elements are denoted by the same reference numerals, and the description thereof is simplified.
本実施形態の番組ファイル７０は、ＭＰＥＧ（Moving Picture Experts Group）−２形式のファイルフォーマットを有し、そのヘッダ部分７０ａにタグ情報が格納され、さらにサムネイル画像データが格納されたサムネイル画像領域７０ｂ、及び番組データが格納された番組データ領域７０ｃが設けられている。本実施形態の番組ファイル７０では、ヘッダ部分７０ａに格納されたタグ情報は、図略の録画装置が放送局から送信されたＥＰＧ（Electronic Program Guide）データを図略の録画装置が予め取得し、番組ファイル７０の録画時に、この録画装置がＥＰＧデータ内の番組情報データから取得したタグ情報をヘッダ部分７０ａの所定領域に格納することで記述されている。日本の地上デジタルテレビ放送で使用されている規格であるＩＳＤＢ−Ｔ（Integrated Services Digital Broadcasting-Terrestrial）では、この番組情報データはＭＰＥＧ−２ ＴＳ（Transport Stream）のＥＩＴ（Event Information Table）に記述されている。従って、ヘッダ部分７０ａに格納されたタグ情報は、情報処理装置１への番組ファイル７０取り込み時に既に番組ファイル７０のヘッダ部分７０ａの所定領域に記述されているものとする。
The
番組ファイル７０のヘッダ部分７０ａには、番組ファイル７０の放送時刻が記述される放送時刻領域７０ｄ、番組ファイル７０の放送チャンネルが記述される放送チャンネル領域７０ｅ、番組ファイル７０の番組タイトルが記述されるタイトル領域７０ｆ、番組ファイル７０の番組説明が記述される番組説明領域７０ｇ、番組ファイル７０の番組内容に関連するキーワードが記述されるキーワード領域７０ｈ、番組ファイル７０の番組内容が属するジャンルが記述されるジャンル領域７０ｉ、及び情報処理装置１のユーザが各種情報を任意に記述するためのユーザ定義領域７０ｊが設けられている。当然、これ以外の領域を番組ファイル７０のヘッダ部分７０ａに設けることは任意である。
In the header portion 70a of the
図１８にデータ構造を示した番組ファイル７０を本実施形態の情報処理システムＳに適用した場合、例えば、放送時刻領域７０ｄに記述された放送時刻タグ情報の一部を利用して、すなわち抽象化して「深夜番組」といった検索キーを作成し、この検索キーにより番組ファイル７０を検索した結果を表示することが可能である。また、シソーラス辞書ファイル１１やＷＡＮ１７上の外部サーバを用いて、番組説明領域７０ｇに記述されている出演者名タグ情報から、この出演者と共演することが多い他の出演者に関する検索キーを作成し、この検索キーにより番組ファイル７０を検索した結果を表示することが可能である。
When the
この場合、番組ファイル７０及び検索キーをユーザに選択させるには、どのような番組ファイル７０及び検索キーが情報処理装置１内に格納され、また情報処理装置１により生成されたかをユーザが確認できる必要がある。この、番組ファイル７０及び検索キーをユーザに確認させる手法として、番組ファイル７０であれば、サムネイル画像領域７０ｂに格納された、番組ファイル７０のインデックスであるサムネイル画像データをＨＤＭＩ出力機器１５を用いて表示させる手法が挙げられ、また、検索キーについては検索キーを示す文字列をＨＤＭＩ出力機器１５を用いて表示させる手法が挙げられる。あるいは、番組ファイル７０については、タイトル領域７０ｆに格納された、番組ファイル７０のインデックスであるタイトルデータをリスト形式でＨＤＭＩ出力機器１５を用いて表示させてもよい。
In this case, in order for the user to select the
従って、本実施形態によっても、上述した第１実施形態及び第２実施形態と同様の効果を奏することができる。 Therefore, the present embodiment can provide the same effects as those of the first embodiment and the second embodiment described above.
（第４実施形態）
次に、図１９〜図２６を参照して、本発明の第４実施形態である情報処理システムＳについて説明する。なお、本実施形態の情報処理システムＳは、出力部２１に表示される表示画面及び検索手順が異なる以外は、その構成が第１実施形態と同様であるので、同一の構成については同一の符号を付し、その説明を簡略化する。
(Fourth embodiment)
Next, an information processing system S that is the fourth embodiment of the present invention will be described with reference to FIGS. The information processing system S of the present embodiment has the same configuration as that of the first embodiment except that the display screen displayed on the
まず、図１９は、出力部２１の表示画面に表示される、情報処理システムＳの初期画面を示す図である。初期画面を示す表示画面３０ａ１には、図２０に示す検索表示画面に移行するためのボタン３１ａが表示されている。同様に、初期画面を示す表示画面３０ａ１には、上述の第１実施形態と同様に、カレンダーモードに移行するためのボタン３２及びアルバムモードに移行するためのボタン３３が表示されている。
First, FIG. 19 is a diagram showing an initial screen of the information processing system S displayed on the display screen of the
すなわち、本実施形態では、第１実施形態のように、初期画面→選択画面→検索キー表示画面→検索表示画面の順に移行するのではなく、初期画面３０ａ１に直接検索表示画面に移行するためのボタン３１ａが表示されている。ユーザは、リモコン、マウス等の入力部２２によりこのポインタ３４を初期画面３０ａ１内で移動させ、選択を希望するボタン３１ａにこのポインタ３４の少なくとも一部を重畳表示させた状態でこの入力部２２を操作することで、ユーザによりボタン３１ａが選択されたかを示す選択入力信号が入力部２２から出力され、情報処理装置１に入力される。
That is, in the present embodiment, as in the first embodiment, the initial screen → selection screen → search key display screen → search display screen is not shifted in this order, but the initial screen 30a1 is shifted to the search display screen directly.
次に、図２０は、出力部２１の表示画面に表示される、情報処理システムＳの検索表示画面を示す図である。図２０に示す検索表示画面は、図１９においてボタン３１ａがユーザにより選択されることにより表示される。
Next, FIG. 20 is a diagram illustrating a search display screen of the information processing system S displayed on the display screen of the
検索表示画面を示す表示画面３０ｄ１には、ボタン３１ａがユーザにより選択されたことをトリガとして、記憶部２３に格納されている画像ファイル１０を所定の検索キーを用いて検索し、その検索結果である画像ファイル１０の画像データのサムネイル画像３９が表示されている。ここに、所定の検索キーとは、ユーザの選択によらず、予め定められた複数の検索キー候補から検索キー生成部２７が一定の条件に従って複数個選定した検索キーである。このように、検索キー生成部２７が予め定められた検索キー候補から所定の検索キーを複数個選定し、この所定の検索キーにより検索された結果を検索表示画面３０ｄ１上に表示しているので、ユーザは、記憶部２３内に格納された画像ファイル１０の中から多面的な観点に沿った画像ファイル１０を閲覧することができ、後述のように、この画像ファイル１０に関連する画像ファイル１０を簡便に検索することができる。
On the display screen 30d1 showing the search display screen, the
あるいは、上述の第１実施形態のように、記憶部２３に格納された画像ファイル１０のヘッダ部分１０ａの各領域に記述されたタグ情報を取得し、タグ情報の頻度を算出し、高頻度のタグ情報を有する画像ファイル１０に対して重み付けを低く設定してもよい。そして、重み付けができるだけ均等になるように表示すべき画像ファイル１０を選択することで、特定のタグ情報を有する画像ファイル１０を集中して表示させないようにすることができる。
Alternatively, as in the first embodiment described above, the tag information described in each area of the header portion 10a of the
あるいは、サムネイル画像３９毎に、この検索表示画面３０ｄ１においてユーザがサムネイル画像３９を選択した回数を記憶部２３に記憶させておき、この選択回数を画像ファイル１０のタグ情報として用いる。選択回数は、検索表示画面３０ｄ１における選択回数のみならず、後述する検索絞り込み表示画面３０ｉにおける選択回数も記憶してもよく、この際、検索絞り込み表示画面３０ｉにおいてサムネイル画像８０が選択された場合、このサムネイル画像８０を表示する際に選択された検索表示画面３０ｄ１のサムネイル画像３９についても選択回数を記憶してもよい。そして、このように画像ファイル１０のタグ情報として記憶された選択回数に基づき、ユーザがどの程度の選択回数を有するサムネイル画像３９、８０を選択しているかという行動履歴に基づいて、検索表示画面３０ｄ１、検索絞り込み表示画面３０ｉに表示するサムネイル画像３９、８０を決定すればよい。例えば、ユーザが選択回数の多いサムネイル画像３９、８０を選択している傾向が強ければ選択回数の多いサムネイル画像３９、８０を優先して検索表示画面３０ｄ１、検索絞り込み表示画面３０ｉに表示し、ユーザが選択回数の少ないサムネイル画像３９、８０を選択している傾向が強ければ選択回数の少ないサムネイル画像３９、８０を優先して検索表示画面３０ｄ１、検索絞り込み表示画面３０ｉに表示する。このようにして、ユーザの行動履歴に応じた検索表示画面３０ｄ１、検索絞り込み表示画面３０ｉの表示を行うことができる。
Alternatively, for each
次に、図２１は、出力部２１の表示画面に表示される、情報処理システムＳの検索絞り込み表示画面を示す図である。図２１に示す検索絞り込み表示画面は、図２０においていずれかのサムネイル画像３９がユーザにより選択されることにより表示される。
Next, FIG. 21 is a diagram showing a search refinement display screen of the information processing system S displayed on the display screen of the
検索絞り込み表示画面を示す表示画面３０ｉには、図２０において選択されたサムネイル画像３９に対応する画像ファイル１０のタグ情報から、検索キー生成部２７が生成した検索キーを用いて記憶部２３に格納されている画像ファイル１０を検索し、その検索結果である画像ファイル１０の画像データのサムネイル画像８０が表示されている。また、一部のサムネイル画像８０については、そのサムネイル画像８０を含む、検索絞り込み表示画面３０ｉ上に表示されている一部のサムネイル画像８０が検索された元となる検索キーに関連する内容が表示されたラベル８１がこのサムネイル画像８０の近傍に表示されている。
On the display screen 30i showing the search refinement display screen, the search
図２１に示す検索絞り込み表示画面３０ｉを表示するために検索キー生成部２７が生成する検索キーは予め定められたものであり、具体的には、（１）図２０において選択されたサムネイル画像３９に対応する画像ファイル１０のタグ情報のうち、撮影日時領域１０ｅ（図２参照）に格納された撮影日時タグ情報を中心として、時間軸上でこの前後にある撮影日時タグ情報を有する画像ファイル１０であって、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に近い撮影日時タグ情報を有する画像ファイル１０を優先して検索する検索キー、（２）図２０において選択されたサムネイル画像３９に対応する画像ファイル１０のタグ情報のうち、撮影日時領域１０ｅに格納された撮影日時タグ情報を中心とする時間帯を設定し、この時間帯内に存在しかつ前後一定期間（数週間）の撮影日時タグ情報を有する画像ファイル１０を検索する検索キー、（３）図２０において選択されたサムネイル画像３９に対応する画像ファイル１０のタグ情報のうち、撮影日時領域１０ｅに格納された撮影日時タグ情報を中心とする時間帯を設定し、この時間帯において、機種名領域１０ｇに記述された機種名タグ情報が異なる画像ファイル１０を検索する検索キー、（４）図２０において選択されたサムネイル画像３９に対応する画像ファイル１０のタグ情報のうち、撮影日時領域１０ｅに格納された撮影日時タグ情報を中心とする時間帯を設定し、この時間帯内に存在しかつ前後一定期間（数年間）の撮影日時タグ情報を有する画像ファイル１０を検索する検索キー、の４種類である。以下、図２２〜図２４を参照して詳細に説明する。
The search key generated by the search
図２２は、上述した検索キー（１）の具体的内容を説明するための図である。まず、図２０において選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報を参照し、この撮影日時タグ情報を中心として一定期間、図示例では１ヶ月の時間的範囲を設定する。次に、この１ヶ月の時間的範囲を小範囲に分割する。この際、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に近くなるに従って、個々の小範囲の時間的範囲を短くする。そして、小範囲内に対応する撮影日時タグ情報を有する画像ファイル１０を検索して抽出する。この時も、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に遠い小範囲よりも、近い小範囲から抽出する画像ファイル１０の数を多くする。このようにして、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に近い撮影日時タグ情報を有する画像ファイル１０を優先的に抽出する。なお、図２２に示す例に限らず、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に近くなるに従って、個々の小範囲の時間的範囲を短くするか、あるいは、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に遠い小範囲よりも、近い小範囲から抽出する画像ファイル１０の数を多くするかのいずれかを採用する構成でもよい。
FIG. 22 is a diagram for explaining the specific contents of the search key (1) described above. First, the shooting date / time tag information of the
図２３は、上述した検索キー（２）の具体的内容を説明するための図である。まず、図２０において選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報を参照し、この撮影日時タグ情報を中心として一定期間、図示例では１４日（２週間）の時間的範囲を設定する。次に、この１４日の時間的範囲において、１日置きに（つまり、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に対して、「日」の部分だけを１日ずつ増減させた）基点を設定し、この基点の前後２時間に小範囲を設定する。そして、小範囲内に対応する撮影日時タグ情報を有する画像ファイル１０を検索して抽出する。このようにして、選択されたサムネイル画像３９に対応する画像ファイル１０が撮像された時間帯と同じ時間帯に撮像された画像ファイル１０を抽出する。
FIG. 23 is a diagram for explaining the specific contents of the search key (2) described above. First, the shooting date / time tag information of the
図２４は、上述した検索キー（４）の具体的内容を説明するための図である。まず、図２０において選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報を参照し、この撮影日時タグ情報を中心として一定期間、図示例では５年間の時間的範囲を設定する。次に、この５年間の時間的範囲において、１年置きに（つまり、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に対して、「年」の部分だけを１年ずつ増減させた）基点を設定し、この基点の前後１２時間及び１週間にそれぞれ小範囲を設定する。そして、小範囲内に対応する撮影日時タグ情報を有する画像ファイル１０を検索して抽出する。このようにして、選択されたサムネイル画像３９に対応する画像ファイル１０が撮像された月日と同じ月日に撮像された画像ファイル１０を抽出する。
FIG. 24 is a diagram for explaining the specific contents of the search key (4) described above. First, the shooting date / time tag information of the
このように、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に対して、上述の（１）〜（４）に示すような検索キーを設定することで、すなわち、サムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報の「月日」に合致する撮影日時タグ情報を有する画像ファイル１０だけでなく、その前後の撮影日時タグ情報を有する画像ファイル１０を検索することで、ユーザが閲覧を希望すると推測される画像ファイル１０を検索絞り込み表示画面３０ｉに表示することができる。この作用を図２５を参照して説明する。
As described above, by setting the search key as shown in the above (1) to (4) for the shooting date / time tag information of the
図２５に示すように、ユーザが図２０の検索表示画面３０ｄ１において特定の被写体の誕生日に関するサムネイル画像３９を選択した場合、図２１の検索絞り込み表示画面３０ｉにおいては、上述の検索キー（１）〜（４）を用いて検索された結果であるサムネイル画像８０が表示される。このとき、検索キー（２）を用いると、被写体の誕生日に対応する撮影日時タグ情報に対して、「年」の部分だけを１年ずつ増減させた基点が設定される。図２５に示す例では、１年後の撮影日時タグ情報（１年後の誕生日）が基点として設定されている。そして、この基点の前後１２時間及び１週間に設定された小範囲内に対応する撮影日時タグ情報を有する画像ファイル１０を検索して抽出する。ここで、サムネイル画像３９に対応する撮影日時タグ情報が休日の日時タグ情報であったとしても、１年後の誕生日は休日であるとは限らない。この場合、１年後の誕生日にユーザが画像ファイル１０を撮像する確率は低いものと考えられる。そこで、上述のように小範囲を設定することで、この小範囲内に存在する、例えば週末に開催されたお誕生会の画像ファイル１０を検索キー（２）により検索してこれを検索絞り込み表示画面３０ｉに表示することができる。
As shown in FIG. 25, when the user selects the
なお、図２１に示す検索絞り込み表示画面３０ｉにおいて、いずれかのサムネイル画像８０をユーザが選択すると、このサムネイル画像８０に対応する画像ファイル１０のタグ情報から、検索キー生成部２７が生成した検索キーを用いて記憶部２３に格納されている画像ファイル１０を検索し、その検索結果である画像ファイル１０の画像データのサムネイル画像が表示された検索絞り込み表示画面が再度生成されて表示される。
When the user selects any
ここで、図２１の検索絞り込み表示画面３０ｉに表示されているラベル８１と一部のサムネイル画像８０が検索された元となる検索キーとの関係について図２６を参照して説明する。図２６は、検索キー（図２６に示す例では上述の検索キー（１））とラベル８１の表示との関係を説明するための図である。図２６において、図２０の検索表示画面３０ｄ１で選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報に対して、当日、１〜４日前後、５〜１０日前後、１１〜２１日前後、２２日以降あるいは以前の小領域が設定されている。
Here, the relationship between the
このとき、当日の小領域については、年月日そのものをラベル８１に記述する内容として表示されている。「当日」と表示するよりは、年月日そのものを表示するほうが、後述する「１週間後」「半月後」といった他のラベル表示が実際にはどの月日であるかをユーザが推測しやすくなるという利点がある。次に、１〜４日前後の小領域については、「ｎ日後」「ｎ日前」（ｎ＝１〜４の自然数で、検索された画像ファイル１０が有する撮影日時タグ情報に応じて選択）という表示がラベル８１に記述する内容として表示されている。さらに、５〜１０日前後の小領域については、「１週間後」「１週間前」という表示がラベル８１に記述する内容として表示されている。さらに、さらに、１１〜２１日前後の小領域については、「半月後」「半月前」という表示がラベル８１に記述する内容として表示されている。そして、２２日以降あるいは以前の小領域については、「１ヶ月後」「１ヶ月前」という表示がラベル８１に記述する内容として表示されている。
At this time, for the small area of the day, the date itself is displayed as the contents described in the
このように、検索キーに対応する表示がラベル８１に記述されるよりも、ユーザとしては、例えば図２６に示すような表示がラベル８１に記述されることで、ラベル８１に対応するサムネイル画像８０が有する撮影日時タグ情報が概略どの程度の日時に対応するものであるかを直感的かつ簡易に理解することができる。しかも、１つの小領域については表示するラベル８１の数を１つにしておくことで、表示すべきラベル８１の数を削減できる利点もある。
In this way, rather than the display corresponding to the search key being described in the
ここで、図２６に示す小領域は、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報から時間軸上で離れるほど小領域が大きくなるように（つまりラベル８１の表示としてはより曖昧に）設定されている。しかも、５〜１０日前後、１１〜２１日前後、２２日以降あるいは以前の小領域は、それぞれ、１週間前後、２週間前後、４週間前後または１月前後という基点を中心に設定されており、この基点に対して、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報から時間軸上で離れるほど基点から小領域の境界点までの時間幅が大きくなるように設定されている。具体的には、１１〜２１日前後の小領域については、基点となる２週間前後に対して、サムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報から時間軸上で近い側は１１日〜１４日の時間幅であるのに対し、時間軸上で離れた側は１４日〜２１日の時間幅が設定されており、日数にして約２倍の大きさになっている。このように、選択されたサムネイル画像３９に対応する画像ファイル１０の撮影日時タグ情報から時間軸上で離れるほど小領域が大きくなるように設定されることで、ラベル８１に対応するサムネイル画像８０が有する撮影日時タグ情報が概略どの程度の日時に対応するものであるかをより直感的かつ簡易に理解することができる。
Here, the small area shown in FIG. 26 becomes larger as the distance from the shooting date / time tag information of the
（変形例）
なお、本発明の情報処理システムは、その細部が上述した各実施形態に限定されず、種々の変形例が可能である。
(Modification)
Note that the information processing system of the present invention is not limited to the above-described embodiments, and various modifications are possible.
一例として、上述の各実施形態において情報処理システムに適用されるファイルは画像ファイル１０、音楽ファイル６０及び番組ファイル７０であったが、本発明の情報処理システムに適用可能なファイルはこれに限定されず、メタ情報が取得可能なファイルであれば限定はない。一例として、電子メールの本文情報、送受信者情報等からなる電子メールファイルにも本発明の情報処理システムが適用可能であり、この場合の検索キーとしては、例えば送受信者情報を抽象化した検索キーとして、送受信者のメールアドレス中のドメイン情報を用いて「同一組織に所属する送信者」検索キーを生成し、また、送受信者情報を統計処理して「メールの送受信をｎ（ｎは自然数）件以上している相手」検索キーを生成することが可能である。また、シソーラス辞書ファイル等を用いた検索キーとして、家族のいずれかに送信した電子メールの送受信者情報から「家族に送受信したメール」検索キーを生成することができる。
As an example, the files applied to the information processing system in each of the above-described embodiments are the
また、上述の各実施形態において情報処理システムに適用される画像ファイル１０、音楽ファイル６０及び番組ファイル７０にはそのヘッダ部分１０ａ、６０ａ、７０ａの各領域にメタ情報が予め記述されていたが、これらファイルの情報処理装置への取り込み時、あるいはファイルの選択時にシソーラス辞書ファイルやＷＡＮ上の外部サーバを参照してメタ情報を取得し、取得したメタ情報を各領域に記述してもよい。具体的には、画像ファイル１０等のヘッダ部分１０ａに、各画像ファイル１０等を識別可能なＩＤ（Identification）番号を格納しておき、このＩＤ番号をキーとしてシソーラス辞書ファイルやＷＡＮ上の外部サーバを参照してメタ情報を取得すればよい。
In each of the above-described embodiments, meta information is described in advance in each area of the header portions 10a, 60a, and 70a in the
さらに、上述の第１実施形態では、複数の検索キーによる和集合または積集合の検索結果を得るために、ユーザが複数の検索キーを個別指定していたが、有用な検索結果が得られるであろう検索キーの組み合わせを事前に設定しておき、情報処理装置が検索キーの組み合わせを推奨してもよい。 Furthermore, in the first embodiment described above, the user individually designates a plurality of search keys in order to obtain a search result of a union or product set using a plurality of search keys, but a useful search result can be obtained. A search key combination may be set in advance, and the information processing apparatus may recommend a search key combination.
さらに、上述の第１実施形態では、検索キー生成部２７が生成した検索キーを出力部２１に表示し、入力部２２により選択された検索キーに基づいてデータ検索部２８が記憶部２３内の画像ファイル１０を検索していたが、検索キーの表示は必須ではなく、例えば図６の検索キー表示画面３０ｃにおいてサムネイル画像３７のみ表示してもよい。また、図６の検索キー表示画面３０ｃにおいて入力部２２によりサムネイル画像３７を選択させることなく、検索キー生成部２７により生成された検索キーの少なくとも一つを用いてデータ検索部２８が記憶部２３内の画像ファイル１０を検索し、検索表示画面３０ｄを表示してもよい。
Furthermore, in the first embodiment described above, the search key generated by the search
さらに、上述の各実施形態における表示画面の表示形態はあくまでも一例であり、種々の変形例が可能であることはいうまでもない。例えば、第４実施形態における検索絞り込み表示画面において、図２１に示す検索絞り込み表示画面３０ｉに加えて、検索キーによりどの程度の画像ファイル１０が検索されたのかを示すインデックス表示を行っても良い。具体的には、図２７に示すように、検索絞り込み表示画面３０ｉ１の下部に、検索絞り込み表示画面３０ｉ１を生成するために用いた画像ファイル１０のサムネイル画像８２と、このサムネイル画像８２に対応する画像ファイル１０の撮影日時タグ情報の前後の時間軸上の時間を離散的に表示した時間軸表示部８３と、ユーザが選択したサムネイル画像８０がこの時間軸のどこに概略位置するかを示す時間表示バー８４とを表示するような例が挙げられる。
Furthermore, the display form of the display screen in each of the above-described embodiments is merely an example, and it goes without saying that various modifications are possible. For example, on the search refinement display screen in the fourth embodiment, in addition to the search refinement display screen 30i shown in FIG. 21, an index display indicating how many image files 10 have been retrieved by the search key may be performed. Specifically, as shown in FIG. 27, at the bottom of the search refinement display screen 30i1, a
あるいは、上述の各実施形態における表示画面において、ユーザが選択したサムネイル画像に対応する画像ファイル１０の撮影日時タグ情報を表示するときに、このサムネイル画像の例えば右下部に日付を表す７セグメント表示をすることで、簡略的な表示でありながらユーザに対して撮影日時タグ情報を直感的に示すことができる。
Alternatively, when the shooting date / time tag information of the
また、上述の各実施形態では、情報処理装置１から出力される映像信号、音声信号等はＨＤＭＩインタフェース６を経由してＨＤＭＩ出力機器１５により表示等されていたが、出力するインタフェースはＨＤＭＩに限定されず、既知の出力インタフェースが採用可能である。さらに、情報処理装置１が液晶ディスプレイ、スピーカ等の出力部を備えてもよい。
In each of the above-described embodiments, the video signal, the audio signal, and the like output from the
そして、上述の各実施形態において、情報処理装置を動作させるプログラムはＲＯＭ等に格納されて提供されていたが、不図示の光学ディスクドライブ、ＵＳＢポート等を用いて、プログラムが格納されたＤＶＤ（Digital Versatile Disc）、ＵＳＢフラッシュメモリ装置等を接続し、このＤＶＤ等からプログラムを情報処理装置１に読み込んでこれら情報処理装置を動作させてもよい。また、ＷＡＮ上に存在するサーバ装置等の内にプログラムを格納しておき、ネットワークインタフェースを介してこのプログラムを情報処理装置に読み込んでこの情報処理装置を動作させてもよい。さらに、上述の各実施形態において、情報処理装置は複数のハードウェア要素により構成されていたが、これらハードウェア要素の一部の動作をＣＰＵ等がプログラムの動作により実現することも可能である。
In each of the above-described embodiments, a program for operating the information processing apparatus is provided by being stored in a ROM or the like. However, a DVD (in which a program is stored using an optical disk drive, a USB port, etc. (not shown)) is provided. Digital Versatile Disc), a USB flash memory device, or the like may be connected, and the
Ｓ 情報処理システム
１ 情報処理装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
４ａ 個人情報
５ 入力部
５ａ 入力インタフェース
５ｂ 入力指示部
５ｃ カードインタフェース
５ｄ ＵＳＢインタフェース
６ ＨＤＭＩインタフェース
７ ネットワークインタフェース
８ ＨＤＤ部
１０ 画像ファイル
１０ａ、６０ａ、７０ａ ヘッダ部分
１０ｂ サムネイル画像領域
１０ｃ 画像データ領域
１０ｄ 画素数領域
１０ｅ 撮影日時領域
１０ｆ 取り込み日時領域
１０ｇ 機種名領域
１０ｈ 撮影情報領域
１０ｉ ＧＰＳ情報領域
１０ｊ 顔認識情報領域
１０ｋ ユーザ定義領域
１１ シソーラス辞書ファイル
１２ 入力機器
１３ メモリーカード
１４ ＵＳＢ機器
１５ ＨＤＭＩ出力機器
１６ ルータ
１７ ＷＡＮ
２１ 出力部
２２ 入力部
２３ 記憶部
２４ 制御部
２５ 画像ファイル選択部
２６ 情報取得部
２７ 検索キー生成部
２８ 画像ファイル検索部
３０ａ、３０ａ１ 初期画面
３０ｂ 選択画面
３０ｃ 検索キー表示画面
３０ｄ、３０ｄ１、３０ｅ 検索表示画面
３０ｆ 検索キー絞り込み画面
３０ｇ、３０ｈ 検索キー追加画面
３０ｉ、３０ｉ１ 検索絞り込み表示画面
３１、３１ａ、３２、３３ ボタン
３４ ポインタ
３５、３７、３９、４０、４３、４６、４９、５１、５４、８０ サムネイル画像
３６、４２、４５、５０ 関連写真ウィンドウ
３８、４４、４７、４８、５２、５３ 検索キー
４１ａ 第１領域
４１ｂ 第２領域
４１ｃ 第３領域
４１ｄ 第４領域
６０ 音楽ファイル
６０ｃ 音楽データ領域
７０ 番組ファイル
７０ｃ 番組データ領域
８１ ラベル
S
3 ROM
4 RAM
4a
DESCRIPTION OF
Claims (14)
情報処理装置は、
前記記憶部に格納された前記データまたはこのデータを示すインデックスの少なくとも一つを前記出力部により表示させ、この出力部により表示された前記データまたはこのデータを示す前記インデックスのうち少なくとも一つが選択されたことに伴う前記入力部からのデータ選択信号を受信すると、選択されたデータを特定するファイル選択部と、
前記ファイル選択部により特定されたデータに関連する情報を取得する情報取得部と、
前記情報取得部により取得された、互いに異なる複数の前記情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、
前記検索キー生成部により生成された前記検索キーの少なくとも一つにより前記記憶部内の前記データを検索し、検索結果となる前記データまたはこのデータを示す前記インデックスの少なくとも一つを前記出力部に表示させるデータ検索部とを備え、
前記データは画像データまたは動画データであり、
前記検索キー生成部は、前記検索キーを生成するための前記情報として、前記データが撮影された日時を示す撮影日時情報、前記データが撮影されたときに撮像装置が所在する位置を示す位置情報、及び前記データ内に含まれる被写体の顔認識を行って被写体を特定するための顔認識情報の少なくとも二つを使用することを特徴とする情報処理システム。 An information processing apparatus having a storage unit storing data, an output unit for displaying information output from the information processing apparatus, and an input instruction signal corresponding to the input instruction received from the input instruction to the information processing apparatus In an information processing system including an input unit for sending out,
Information processing device
The output unit displays at least one of the data stored in the storage unit or an index indicating the data, and at least one of the data displayed by the output unit or the index indicating the data is selected. When receiving a data selection signal from the input unit accompanying that, a file selection unit that identifies the selected data,
An information acquisition unit for acquiring information related to the data specified by the file selection unit;
A search key generation unit that generates at least one search key obtained by abstracting the acquired information using a plurality of pieces of information acquired by the information acquisition unit;
The data in the storage unit is searched by at least one of the search keys generated by the search key generation unit, and at least one of the data indicating the search result or the index indicating the data is displayed on the output unit. A data search unit
The data is image data or video data,
The search key generation unit includes, as the information for generating the search key, shooting date / time information indicating the date / time when the data was shot, and position information indicating a position where the imaging device is located when the data was shot And at least two pieces of face recognition information for performing face recognition of the subject included in the data to identify the subject .
前記記憶部に格納された前記データまたはこのデータを示すインデックスの少なくとも一つを提示し、提示された前記データまたはこのデータを示す前記インデックスのうち少なくとも一つの選択を受け入れるファイル選択部と、
前記ファイル選択部により選択を受け入れた前記データに関連する情報を取得する情報取得部と、
前記情報取得部により取得された、互いに異なる複数の前記情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成する検索キー生成部と、
前記検索キー生成部により生成された前記検索キーの少なくとも一つにより前記記憶部内の前記データを検索し、検索結果となる前記データまたはこのデータを示す前記インデックスの少なくとも一つを提示するデータ検索部と
を備え、
前記データは画像データまたは動画データであり、
前記検索キー生成部は、前記検索キーを生成するための前記情報として、前記データが撮影された日時を示す撮影日時情報、前記データが撮影されたときに撮像装置が所在する位置を示す位置情報、及び前記データ内に含まれる被写体の顔認識を行って被写体を特定するための顔認識情報の少なくとも二つを使用することを特徴とする情報処理装置。 In an information processing apparatus including a storage unit in which data is stored,
A file selection unit that presents at least one of the data stored in the storage unit or an index indicating the data, and accepts selection of at least one of the presented data or the index indicating the data;
An information acquisition unit for acquiring information related to the data accepted by the file selection unit;
A search key generation unit that generates at least one search key obtained by abstracting the acquired information using a plurality of pieces of information acquired by the information acquisition unit;
A data search unit that searches the data in the storage unit by at least one of the search keys generated by the search key generation unit and presents at least one of the data that is a search result or the index indicating the data And
The data is image data or video data,
The search key generation unit includes, as the information for generating the search key, shooting date / time information indicating the date / time when the data was shot, and position information indicating a position where the imaging device is located when the data was shot And at least two pieces of face recognition information for identifying the subject by performing face recognition of the subject included in the data.
前記検索キー生成部は、数値情報である前記取得情報を抽象化して、当該取得情報の一部または当該取得情報の表す数値情報の範囲の少なくとも一方を表す前記検索キーを生成することを特徴とする請求項２に記載の情報処理装置。 The information acquired by the information acquisition unit includes numerical information,
The search key generation unit abstracts the acquisition information that is numerical information, and generates the search key that represents at least one of a part of the acquisition information or a range of numerical information represented by the acquisition information. The information processing apparatus according to claim 2.
前記データ検索部は、前記検索キー生成部により提示された検索キーの少なくとも一つの選択を受け入れ、選択を受け入れた前記検索キーにより前記記憶部内のデータを検索することを特徴とする請求項２〜６のいずれかに記載の情報処理装置。 The search key generation unit presents the generated search key,
The data search unit accepts selection of at least one search key presented by the search key generation unit, and searches the data in the storage unit by the search key that accepts the selection. 6. The information processing apparatus according to any one of 6 .
前記データ検索部は、前記検索キー生成部が生成した、数値情報である前記取得情報の範囲を表す検索キーを用いて、この取得情報の範囲を複数の小範囲に区分し、この小範囲内に該当する前記データから検索結果として抽出する前記データの個数を定めて検索をすることを特徴とする請求項４に記載の情報処理装置。 The search key generation unit generates a search key that represents a range of the acquisition information that is numerical information,
The data search unit divides the range of the acquisition information into a plurality of small ranges using a search key that represents the range of the acquisition information that is numerical information generated by the search key generation unit. 5. The information processing apparatus according to claim 4 , wherein the search is performed by determining the number of the data extracted as a search result from the data corresponding to.
前記制御部は、
前記記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、
選択を受け入れたデータに関連する情報を取得するステップと、
取得された、互いに異なる複数の前記情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、
生成した検索キーの少なくとも一つにより前記記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップとを実行し、
前記データは画像データまたは動画データであり、
前記検索キーを生成するステップでは、前記検索キーを生成するための前記情報として、前記データが撮影された日時を示す撮影日時情報、前記データが撮影されたときに撮像装置が所在する位置を示す位置情報、及び前記データ内に含まれる被写体の顔認識を行って被写体を特定するための顔認識情報の少なくとも二つを使用することを特徴とする情報処理方法。 An information processing method in an information processing apparatus comprising a storage unit storing data and a control unit,
The controller is
Presenting at least one of data stored in the storage unit or an index indicating the data, and accepting selection of at least one of the presented data or an index indicating the data;
Obtaining information related to the data that accepted the selection;
Using the acquired plurality of different pieces of information to generate at least one search key that abstracts the acquired information; and
Searching the data in the storage unit by at least one of the generated search keys, and executing at least one of data indicating a search result or an index indicating the data ;
The data is image data or video data,
In the step of generating the search key, as the information for generating the search key, shooting date / time information indicating the date / time when the data was shot, and a position where the imaging device is located when the data was shot are shown. An information processing method using at least two of position information and face recognition information for performing face recognition of a subject included in the data to identify the subject .
このプログラムはコンピュータにより実行されると、前記制御部に、
前記記憶部に格納されたデータまたはこのデータを示すインデックスの少なくとも一つを提示し、提示されたデータまたはこのデータを示すインデックスのうち少なくとも一つの選択を受け入れるステップと、
選択を受け入れたデータに関連する情報を取得するステップと、
取得された、互いに異なる複数の前記情報を使用して、これら取得情報を抽象化した検索キーを少なくとも一つ生成するステップと、
生成した検索キーの少なくとも一つにより前記記憶部内のデータを検索し、検索結果となるデータまたはこのデータを示すインデックスの少なくとも一つを提示するステップと
を実行させ、
前記データは画像データまたは動画データであり、
前記検索キーを生成するステップでは、前記検索キーを生成するための前記情報として、前記データが撮影された日時を示す撮影日時情報、前記データが撮影されたときに撮像装置が所在する位置を示す位置情報、及び前記データ内に含まれる被写体の顔認識を行って被写体を特定するための顔認識情報の少なくとも二つを使用させることを特徴とする情報処理プログラム。 An information processing program executed in a computer including a storage unit storing data and a control unit,
When this program is executed by a computer, the control unit
Presenting at least one of data stored in the storage unit or an index indicating the data, and accepting selection of at least one of the presented data or an index indicating the data;
Obtaining information related to the data that accepted the selection;
Using the acquired plurality of different pieces of information to generate at least one search key that abstracts the acquired information; and
Searching the data in the storage unit by at least one of the generated search keys, and executing the step of presenting at least one of data that becomes a search result or an index indicating the data ,
The data is image data or video data,
In the step of generating the search key, as the information for generating the search key, shooting date / time information indicating the date / time when the data was shot, and a position where the imaging device is located when the data was shot are shown. An information processing program that uses at least two of position information and face recognition information for performing face recognition of a subject included in the data to identify the subject .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016097632A JP6206534B2 (en) | 2016-05-16 | 2016-05-16 | Information processing system, information processing apparatus, information processing method, and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016097632A JP6206534B2 (en) | 2016-05-16 | 2016-05-16 | Information processing system, information processing apparatus, information processing method, and information processing program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012217749A Division JP5998807B2 (en) | 2012-09-28 | 2012-09-28 | Information processing system, information processing apparatus, information processing method, and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016177827A JP2016177827A (en) | 2016-10-06 |
| JP6206534B2 true JP6206534B2 (en) | 2017-10-04 |
Family
ID=57071249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016097632A Active JP6206534B2 (en) | 2016-05-16 | 2016-05-16 | Information processing system, information processing apparatus, information processing method, and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6206534B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6896608B2 (en) * | 2017-12-27 | 2021-06-30 | 富士フイルム株式会社 | Information presentation devices, methods and programs |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7840586B2 (en) * | 2004-06-30 | 2010-11-23 | Nokia Corporation | Searching and naming items based on metadata |
| JP2007065745A (en) * | 2005-08-29 | 2007-03-15 | Canon Inc | Document search method and document search device, and program |
| JP4929723B2 (en) * | 2006-01-16 | 2012-05-09 | 株式会社ニコン | Search device and search program |
| JP5098253B2 (en) * | 2006-08-25 | 2012-12-12 | コニカミノルタエムジー株式会社 | Database system, program, and report search method |
-
2016
- 2016-05-16 JP JP2016097632A patent/JP6206534B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016177827A (en) | 2016-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5998807B2 (en) | Information processing system, information processing apparatus, information processing method, and information processing program | |
| KR101329266B1 (en) | System and method for using content features and metadata of digital images to find related audio accompaniment | |
| US8934717B2 (en) | Automatic story creation using semantic classifiers for digital assets and associated metadata | |
| US9317531B2 (en) | Autocaptioning of images | |
| US10324899B2 (en) | Methods for characterizing content item groups | |
| US8879890B2 (en) | Method for media reliving playback | |
| US9082452B2 (en) | Method for media reliving on demand | |
| US20070043744A1 (en) | Method and system for linking digital pictures to electronic documents | |
| US20100274782A1 (en) | Generating metadata for association with a collection of content items | |
| US8527492B1 (en) | Associating external content with a digital image | |
| JP2006155384A (en) | Video comment input/display method and device, program, and storage medium with program stored | |
| US20210082382A1 (en) | Method and System for Pairing Visual Content with Audio Content | |
| US8255395B2 (en) | Multimedia data recording method and apparatus for automatically generating/updating metadata | |
| US20090287649A1 (en) | Method and apparatus for providing content playlist | |
| KR20150004681A (en) | Server for providing media information, apparatus, method and computer readable recording medium for searching media information related to media contents | |
| US20060074923A1 (en) | Data retrieval method and apparatus | |
| JP5920848B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6206534B2 (en) | Information processing system, information processing apparatus, information processing method, and information processing program | |
| US20070168386A1 (en) | Device and method for managing multimedia content in portable digital apparatus | |
| JP2008225584A (en) | Article recommendation apparatus, article recommendation system, article recommendation method, and article recommendation program | |
| EP2144240B1 (en) | Method of searching for meta data | |
| JP2010191940A (en) | Information processing apparatus, information processing method, and program | |
| US20080104120A1 (en) | Data processing apparatus, data storage apparatus, data processing system, data processing method, and data storing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170821 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6206534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |