以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の再生装置をデジタルカメラに適用した場合を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
図1は、デジタルカメラ1の背面図である。図1に示すように、デジタルカメラ1は、カメラ本体2の上面に配設された電源スイッチ3や撮影タイミングを指示するためのレリーズスイッチ4、カメラ本体2の背面に配設されたズームスイッチ5やモード切換スイッチ6、メニュースイッチ7、INFOスイッチ8、デジタルカメラ1の動作モードに応じた各種操作を入力するための3つの機能スイッチ9,10,11、上下左右の各方向スイッチ(上スイッチ、下スイッチ、左スイッチおよび右スイッチ)を有する十字キー12、操作内容を確定する等のためのOKスイッチ13、各種画面を表示する表示部24等を備えている。また、図示しないが、カメラ本体2の前面には、フラッシュや撮像レンズ等が配設されている。ここで、モード切換スイッチ6は、デジタルカメラ1の動作モードを撮影モード(記録モード)と再生モードとで切り換えるためのものであり、例えばスライドスイッチを用いて実現される。INFOスイッチ8は、本実施の形態では、デジタルカメラ1を検索モードに切り換える際に用いる。
また、機能スイッチ9,10,11には、デジタルカメラ1の動作モード毎に個別の機能が割り当てられており、本実施の形態では、検索モード時に用いる。具体的には、本実施の形態の検索モードでは、画像中に映る人物および場所について画像検索ができるようになっており、機能スイッチ9は、ユーザが後述する再生検索条件として人物検索条件を選択操作/選択解除操作するために用いられ、機能スイッチ10は、再生検索条件として場所検索条件を選択操作/選択解除操作するために用いられる。また、本実施の形態では、期間を選択して画像検索ができるようになっており、機能スイッチ11は、期間を選択操作するために用いられる。以下、検索モードで用いる機能スイッチ9を「人物検索スイッチ9」と呼び、検索モードにおいて用いる機能スイッチ10を「場所検索スイッチ10」と呼び、検索モードにおいて用いる機能スイッチ11を「期間選択スイッチ11」と呼ぶ。
なお、詳細は図20を参照して後述するが、検索モード中に表示部24に表示される検索結果画面では、人物検索スイッチ9と対応する位置(人物検索条件表示エリアET1)において再生検索条件として選択されている人物検索条件が文字表示され、場所検索スイッチ10と対応する位置(場所検索条件表示エリアET2)において再生検索条件として選択されている場所検索条件が文字表示されるようになっている。また、期間選択スイッチ11と対応する位置(撮影期間表示エリアET3)において選択期間が文字表示されるようになっている。
一方、カメラ本体2の側面には、可搬型の記録媒体を着脱自在に装着する不図示のカードスロットが設けられている。撮影モードで撮影された撮影画像の画像データは、例えばこのカードスロットに装着される記録媒体に書き込まれ、再生モードにおいてこの記録媒体に記録された画像データが読み出される。さらに、カメラ本体2の側面には、データの入力端子を備えた不図示の通信コネクタが設けられており、通信ケーブルによって外部機器と接続できるようになっている。この通信コネクタには、USB等種々の形式が適宜用いられる。本実施の形態では、デジタルカメラ1は、この通信コネクタを介してパーソナルコンピュータ(PC)等の外部機器と接続され、この外部機器から画像データを取得できるようになっている。
このデジタルカメラ1において電源スイッチ3を押下して電源を投入し、モード切換スイッチ6をスライドさせて動作モードを撮影モードに切り換えると、デジタルカメラ1は撮影可能な状態となる。この撮影モードでは、撮像レンズを通して入射する被写体像が1フレーム(例えば1/30秒)毎に出力され、ライブビュー画像として表示部24にリアルタイムに表示されるようになっている。ユーザは、ライブビュー画像を見ながらレリーズスイッチ4を押下して静止画や動画の撮影を行う。また電源投入時、ユーザは、モード切換スイッチ6をスライドさせて動作モードを再生モードに切り換え、デジタルカメラ1で撮影された静止画や動画を表示部24に表示(再生)して楽しむ。あるいは、INFOスイッチ8を押下して動作モードを検索モードに切り換えれば、過去に撮影した画像や外部機器から取得した画像を検索し、表示することができるようになっている。
図2は、デジタルカメラ1の主要な機能構成の一例を示すブロック図である。図2に示すように、デジタルカメラ1は、画像取得手段としての撮像部21、画像処理部22、操作部23、表示部24、記録部25、一時記録部28、時計部31、画像取得手段としての通信部(USB)32、GPS受信部33等を備える。
撮像部21は、撮像レンズを通して入射する被写体像を光電変換し、アナログ電気信号を出力するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を含み、撮像素子からのアナログ電気信号をデジタル電気信号に変換して画像データを出力する。
画像処理部22は、撮像部21から出力された画像データに対して各種の画像処理を施すとともに、記録用や表示用に適した画像データに変換する処理を行う。例えば、撮影画像の画像データを記録する際、あるいは記録されている画像データを表示する際等に、JPEG(Joint Photographic Experts Group)方式等に基づく画像データの圧縮処理や伸張処理を行う。また、画像処理部22は、撮影画像を縮小処理して表示用の小画像(サムネイル)の画像データ(サムネイルデータ)を生成する処理を行う。
操作部23は、撮影タイミングの指示(撮影指示)、撮影モードや再生モード、検索モードといったデジタルカメラ1の動作モードの切り換え、撮影条件の設定等、ユーザによる各種操作を受け付けて操作信号を処理部34に通知するためのものである。この操作部23は、図1の電源スイッチ3やレリーズスイッチ4、ズームスイッチ5、モード切換スイッチ6、メニュースイッチ7、INFOスイッチ8、機能スイッチ9,10,11、十字キー12、OKスイッチ13を含む。
表示部24は、撮影された静止画や動画、ライブビュー画像の他、デジタルカメラ1の各種設定情報等を表示するためのものであり、LCD(Liquid Crystal Display)やELディスプレイ(Electroluminescence Display)等の表示装置で実現される。この表示部24には、撮影モード中は例えば1フレーム毎にライブビュー画像が再描画されて動画的に連続表示され、再生モードや検索モード中は撮影された画像、あるいは通信部32を介して外部装置から取得した画像が表示される。
記録部25は、更新記録可能なフラッシュメモリやROM等の各種半導体メモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、メモリカード等の記録媒体およびその読み書き装置等によって実現されるものであり、用途に応じた記録装置を適宜採用し、あるいは組み合わせて用いることができる。この記録部25には、デジタルカメラ1を動作させ、このデジタルカメラ1が備える種々の機能を実現するための各種のカメラプログラムや、このカメラプログラムの実行中に使用されるデータ等が記録される。例えば、記録部25には、属性情報記録手段として、画像属性情報テーブル(マスターテーブル)26が記録される。
また、記録部25には、複数の画像ファイル270である画像情報27が記録される。本実施の形態では、画像処理部22によって記録用に画像処理された撮影画像の画像データが、例えば撮影日時、撮影時に得たGPSデータ、タイトル、コメント、個人情報といったEXIF(Exchangeable Image File)情報を含むヘッダを付加したファイル形式の画像ファイル270として記録部25に記録される。図3は、画像ファイルのデータ構成例を示す図である。図3に示すように、画像ファイル270は、画像ID271と、撮影日時274やGPSデータ275等の撮影情報(EXIF情報)273と、撮影画像の画像データ277と、撮影画像のサムネイルデータ279とを含む。画像ID271は、各画像を識別するために例えばその画像データの生成時に固有に割り当てられる識別情報である。なお、画像情報27を構成する各画像ファイル270は、自機で撮影された撮影画像の画像ファイルの他、通信部32を介して外部機器と通信することによって取得した画像(以下、「外部取得画像」と呼ぶ。)の画像ファイルを適宜含む。
一時記録部28は、例えばRAM等の半導体メモリで構成され、処理部34の作業用メモリとして用いられる。この一時記録部28は、処理部34が実行するプログラムやこのプログラムの実行に係るデータ等を一時的に保持するメモリ領域を備える。例えば、再生用情報としての再生用一時テーブル29や選択期間内一覧テーブル30を一時記録する。また、一時記録部28は、撮像部21から出力される画像データの一時記録用等に使用され、1フレーム毎に撮像部21から取り込まれる画像(ライブビュー画像)の画像データや、撮影タイミングで撮像部21から取り込まれる画像(撮影画像)の画像データ等を一時記録する。
時計部31は、日付および時刻を計時するためのものである。この時計部31が計時する現在時刻によって撮影時の日付や時刻が特定されるようになっており、撮影画像の画像データは、記録部25に記録される際、特定された撮影日時とともに記録される。
GPS受信部33は、位置を検出するための電波を受信してデジタルカメラ1の現在の位置情報(例えば緯度や経度、高度)を算出し、GPSデータとして処理部34に出力する。例えば、GPS(Global Positioning System)衛星からの電波を受信するアンテナやアンテナで受信した電波に基づいて位置情報を算出する演算装置等によって実現される。本実施の形態では、このGPS受信部33からの出力をもとに、撮影時の場所(撮影場所)が特定される。
通信部32は、通信ケーブルを介して外部機器と所定の情報を送受するための装置であり、例えばUSB(Universal Serial Bus)等の通信規格によってデジタルカメラ1をPC等の外部機器と接続し、通信ケーブルを介して外部機器との間で所定の情報を送受するための処理を行う。
処理部34は、操作部23からの操作信号に応じて記録部25からカメラプログラムを読み出して実行し、デジタルカメラ1を構成する各部に対する指示やデータの転送等を行ってデジタルカメラ1の動作を統括的に制御する。この処理部34は、CPUや各部間のDMA転送を制御するためのDMAコントローラ等を適宜含む。
また、処理部34は、画像特徴抽出手段としての画像特徴抽出部341と、場所情報変換部343と、画像属性情報作成手段および画像属性情報追加手段としての画像属性情報作成部345と、注目画像選択手段としての注目画像選択部347と、期間設定手段としての検索条件設定部349と、再生用情報作成手段としての再生用情報作成・更新部351と、検索条件選択部としての検索条件選択部353と、選択期間内一覧作成部354と、画像表示データ作成部355と、OSDデータ作成部357と、重畳表示処理部359とを含む。
なお、画像特徴抽出部341、場所情報変換部343、画像属性情報作成部345、注目画像選択部347、検索条件設定部349、再生用情報作成・更新部351、検索条件選択部353、選択期間内一覧作成部354、画像表示データ作成部355、OSDデータ作成部357および重畳表示処理部359が行う処理は、ハードウェアで構成することとしてもよい。あるいは、これらの各部が行う処理の一部または全部をCPUが行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。
画像特徴抽出部341は、撮影画像または外部取得画像の画像データを解析処理し、特徴情報を抽出する。場所情報変換部343は、GPSデータ275をもとに、その位置情報を場所情報(撮影場所)に変換する。画像属性情報作成部345は、画像ファイル270に撮影情報273として設定されている画像ID271や撮影日時274、画像特徴抽出部341によって抽出された特徴情報、場所情報変換部343によって変換された場所情報をもとに、撮影画像または外部取得画像の画像属性情報を作成する。
注目画像選択部347は、ユーザによる注目画像の選択操作を受け付け、受け付けた選択操作に従って注目画像を選択する。検索条件設定部349は、注目画像選択部347によって注目画像が選択されたタイミングで、選択された注目画像の画像属性情報をもとに検索条件を設定する。本実施の形態では、3種類の検索条件を設定する。
再生用情報作成・更新部351は、検索条件設定部349によって検索条件が設定された際に、設定された各検索条件をそれぞれ満たす画像の画像属性情報を画像属性情報テーブル26から取得して検索条件毎に再生用一時テーブル29を作成する。また、再生用情報作成・更新部351は、画像属性情報作成部345から画像属性情報が通知された場合に、必要に応じて該当する再生用一時テーブル29を更新する。
検索条件選択部353は、ユーザによる再生検索条件の選択操作および選択解除操作を受け付け、受け付けた選択操作または選択解除操作に従って再生検索条件を選択する。本実施の形態では、検索条件設定部349によって設定された3種類の検索条件をそれぞれ再生検索条件として個別に選択操作または選択解除操作できるようになっている。検索条件選択部353は、ユーザ操作に従って、これらの検索条件を再生検索条件として選択する。
選択期間内一覧作成部354は、ユーザによる期間の選択操作を受け付け、受け付けた選択操作に従って選択期間を選択する。そして、選択期間内一覧作成部354は、画像属性情報テーブル26を参照し、撮影日が選択した選択期間内に含まれる画像の画像属性情報を取得して選択期間内一覧テーブル30を作成する。
画像表示データ作成部355、OSDデータ作成部357および重畳表示処理部359は、検索結果再生手段として注目画像についての再生結果を再生する。これら各部の処理によって、再生検索条件に応じた再生用一時テーブル29に設定されている画像属性情報の画像が再生対象として表示部24に表示処理される。具体的には、画像表示データ作成部355は、検索条件選択部353によって選択されている再生検索条件に応じた再生用一時テーブル29を参照することで、再生検索条件を満たす画像のサムネイルデータを配置した検索結果画面を表示するための画像表示データを作成する。OSDデータ作成部357は、選択されている再生検索条件を提示するための文字情報を含むOSDデータ(OSD:On Screen Display)を作成する。重畳表示処理部359は、画像表示データ作成部355によって作成された画像表示データとOSDデータ作成部357によって作成されたOSDデータとを重畳表示する処理を行う。
また、画像表示データ作成部355、OSDデータ作成部357および重畳表示処理部359は、期間内画像再生手段として撮影期間の一例である選択期間内の画像を再生する。これら各部の処理によって、選択期間内一覧テーブル30に設定されている画像属性情報の画像が再生対象として表示部24に表示処理される。具体的には、画像表示データ作成部355は、選択期間内一覧テーブル30を参照することで、選択期間内一覧作成部354によって選択された選択期間内の画像のサムネイルデータを配置した検索結果画面を表示するための画像表示データを作成する。OSDデータ作成部357は、選択期間を提示するための文字情報を含むOSDデータ(OSD:On Screen Display)を作成する。重畳表示処理部359は、画像表示データ作成部355によって作成された画像表示データとOSDデータ作成部357によって作成されたOSDデータとを重畳表示する処理を行う。
ここで、以上のように構成されるデジタルカメラ1の各部の処理について図4〜図13を参照して説明する。
図4は、画像属性情報を画像属性情報テーブル26に登録する際のデジタルカメラ1の各部の処理を説明する説明図である。この処理は、撮影指示が入力されて撮影画像の画像データが生成されたとき、および外部機器から外部取得画像が取得されたタイミングでその画像ファイルを処理対象として実施される。
撮影画像が生成されると、あるいは外部取得画像が取得されると、図4に示すように、場所情報変換部343が、その画像のGPSデータを用いて位置情報を場所情報に変換する。例えば、予め位置情報(緯度や経度、高度)の範囲と例えばその地名との対応関係を設定しておく。そして、場所情報変換部343は、GPSデータをもとにその位置情報に対応付けられた地名を読み出し、場所情報に変換する。
また、画像特徴抽出部341が、その画像の画像データを解析処理して特徴情報を抽出する。例えば、公知技術である顔検出処理を行って特徴情報を抽出する。この顔検出処理は、例えば、パターンマッチングを適用して画像データ中の顔の領域(顔領域)を検出し、この顔領域の検出結果をもとに左右の目や鼻、唇等の各顔パーツを検出するものである。本実施の形態では、画像特徴抽出部341は、この顔検出処理を行い、顔検出結果をもとに、例えば検出された顔の数を検出する。そして、検出した顔の数である人数情報を特徴情報として抽出する。具体的には、人物が映っていない画像であれば“0”を設定し、人物が映っていればその人数を設定した人数情報を特徴情報として抽出する。
ここで、例示した人数情報は特徴情報の一例であって、これに限定されるものではない。例えば、顔検出結果をもとに画像データ中の顔の大きさを検出し、検出した顔の大きさを特徴情報として用いてもよい。また、顔検出結果をもとに公知の手法を用いて画像データ中の顔の性別を判別(推定)し、指定した性別を特徴情報として用いてもよい。また、顔検出結果をもとに公知の手法を用いてその年齢を判別(推定)し、推定した年齢を特徴情報として用いてもよい。また、顔検出結果をもとに公知の手法を用いてその表情が笑顔か否かを判別し、判別結果を特徴情報として用いてもよい。また、予め特定人物の顔を登録しておき、画像データ中に登録された特定人物の顔が映っているか否かを特徴情報として用いてもよい。この場合には、顔検出結果をもとに画像データ中の顔領域を登録されている顔画像と照合し、特定人物の顔か否かを識別する。そして、この識別結果を特徴情報として用いる。あるいは、これら画像中に映る人物に関する情報を複数組み合わせて特徴情報として用いることとしてもよい。
また、特徴情報は、画像中に映る人物に関する情報に限定されるものではない。例えば、画像中に映る風景に関する情報を特徴情報として用いることとしてもよい。この場合には、その画像データを画像処理し、例えば画像中に映る山や川、海、建物等を検出しての風景を検出することによって特徴情報として用いることができる。
そして、図4に示すように、画像属性情報作成部345が、その画像の画像IDおよび撮影日時と、画像特徴抽出部341が抽出した特徴情報と、場所情報変換部343が変換した場所情報とを対応付けてその撮影画像または外部取得画像についての画像属性情報を作成する。作成された画像属性情報は、画像属性情報テーブル(マスターテーブル)26に登録(追加記録)される。人物情報および場所情報は、その画像の属性を示す属性値の一例である。
図5は、画像属性情報テーブル26のデータ構成例を示す図である。図5に示すように、画像属性情報テーブル26は、画像IDと、人物情報と、場所情報と、撮影日時とを対応付けたデータテーブルであり、図5では、21枚の画像(撮影画像または外部取得画像)についての画像属性情報が登録されている。なお、図5では、撮影日時として撮影時の年月日が記録される場合を例示しているが、曜日や時間を適宜含めることとしてよい。ここで、人物情報は、前述のように、その画像IDの画像データから画像特徴抽出部341によって抽出された特徴情報である。例えば、レコードR11の画像ID“130”の画像属性情報は、人物が映っていない画像であって、沖縄(Okinawa)で2007年7月30日に撮影された画像(撮影画像または外部取得画像)について画像属性情報作成部345が作成した画像属性情報である。
また、図6は、再生用一時テーブル29を作成する際のデジタルカメラ1の各部の処理を説明する説明図である。この処理は、検索モードにおいて注目画像の選択操作を受け付けたタイミングで、その注目画像について(その注目画像の画像IDを用いて)実施される。
操作部23を介して注目画像の選択操作を受け付けると、図6に示すように、注目画像選択部347が、その選択操作に従って注目画像(具体的には注目画像の画像ID)を選択する。
そして、検索条件設定部349が、画像属性情報テーブル26を参照し、注目画像選択部347によって選択された注目画像の画像IDが設定された画像属性情報を読み出す。そして、検索条件設定部349は、読み出した画像属性情報に従って検索条件を設定する。
本実施の形態では、検索条件設定部349は、読み出した注目画像についての画像属性情報の人物情報および場所情報をもとに、人物検索条件と、場所検索条件と、これらの人物検索条件および場所検索条件を組み合わせたアンド条件である人物&場所検索条件とを設定する。ここで、人物検索条件は、その人物情報をもとに人物の有無を設定する。すなわち、人物情報として“0”が設定されている場合には人物検索条件として“人物無し”を設定し、人物情報として“0”以外の値が設定されている場合には人物検索条件として“人物有り”を設定する。また、場所検索条件としては、その場所情報を設定する。
例えば、注目画像選択部347によって図5のレコードR11に示す画像ID“130”の画像が注目画像として選択された場合であれば、検索条件設定部349は、人物検索条件として“人物有り”を設定し、場所検索条件として“Okinawa”を設定し、人物&場所検索条件として“人物有り&Okinawa”を設定する。
そして、図6に示すように、再生用情報作成・更新部351が、検索条件設定部349によって設定された人物検索条件、場所検索条件および人物&場所検索条件の3種類の検索条件をもとに各検索条件それぞれについて再生用一時テーブル29を作成する。
具体的には、再生用情報作成・更新部351は、画像属性情報テーブル26を参照して人物検索条件を満たす画像属性情報を読み出し、再生用一時テーブル29の1つである人物検索結果テーブル291を作成する。図7は、人物検索結果テーブル291の一例を示す図である。図7では、図5の画像属性情報テーブル26をもとに、人物検索条件として“人物有り”が設定されている場合に作成される人物検索結果テーブル291を示している。人物検索条件として“人物有り”が設定されている場合には、再生用情報作成・更新部351は、画像属性情報テーブル26から人物情報に“0”以外の値が設定されている全ての画像属性情報を人物検索条件を満たす画像属性情報として読み出し、読み出した画像属性情報を設定した図7に例示する人物検索結果テーブル291を作成する。
また、再生用情報作成・更新部351は、画像属性情報テーブル26を参照して場所検索条件を満たす画像属性情報を読み出し、再生用一時テーブル29の1つである場所検索結果テーブル292を作成する。図8は、場所検索結果テーブル292(292−1)の一例を示す図である。また、図9は、場所検索結果テーブル292(292−2)の他の例を示す図である。ここで、図8では、図5の画像属性情報テーブル26をもとに、場所検索条件として“Okinawa”が設定されている場合に作成される場所検索結果テーブル292−1を示している。一方、図9では、図5の画像属性情報テーブル26をもとに、場所検索条件として“Tokyo”が設定されている場合に作成される場所検索結果テーブル292−2を示している。例えば場所検索条件として“Okinawa”が設定されている場合には、再生用情報作成・更新部351は、画像属性情報テーブル26から場所情報に“Okinawa”が設定されている全ての画像属性情報を場所検索条件を満たす画像属性情報として読み出し、読み出した画像属性情報を設定した図8に例示する場所検索結果テーブル292−1を作成する。
また、再生用情報作成・更新部351は、人物検索条件または場所検索条件を満たす画像属性情報の中から人物検索条件を満たし且つ場所検索条件を満たす画像属性情報を選出し、再生用一時テーブル29の1つである人物&場所検索結果テーブル293を作成する。図10は、人物&場所検索結果テーブル293の一例を示す図である。図10では、人物検索条件として“人物有り”が設定され、場所検索条件として“Okinawa”が設定されている場合に作成される人物&場所検索結果テーブル293を示している。人物&場所検索条件として“人物有り&Okinawa”が設定されている場合であれば、再生用情報作成・更新部351は、例えば、前述のように人物検索条件“人物有り”をもとに画像属性情報テーブル26からそれぞれ読み出した画像属性情報の中から、場所情報に“Okinawa”が設定されている画像属性情報を人物&場所検索条件を満たす画像属性情報として選出し、選出した画像属性情報を設定した人物&場所検索結果テーブル293を作成する。
そして、再生用情報作成・更新部351は、図6に示すように、これら人物検索結果テーブル291、場所検索結果テーブル292および人物&場所検索結果テーブル293を一時記録部28に記録する。
また、再生用情報作成・更新部351は、検索モード中に撮影画像が生成された場合に、生成された撮影画像の画像属性情報をもとに再生用一時テーブル29を更新する。これは、撮影指示の直後に検索モードに切り換えられて注目画像が選択され、撮影画像の画像データが生成されて画像ファイル270が記録されるよりも先に再生用一時テーブル29が生成された場合を想定している。さらに、再生用情報作成・更新部351は、検索モード中に通信部32を介して外部機器との間が接続され、この外部機器から外部取得画像が取得された場合に、取得された外部取得画像の画像属性情報をもとに再生用一時テーブル29を更新する。
すなわち、再生用情報作成・更新部351は、該当するタイミングで画像属性情報作成部345が作成した画像属性情報をもとに、この画像属性情報に設定されている人物情報および場所情報が人物検索条件または場所検索条件を満たすか否かを判定する。そして、再生用情報作成・更新部351は、人物情報が人物検索条件を満たす場合であればその画像属性情報を人物検索結果テーブル291に追加する。また、再生用情報作成・更新部351は、場所情報が場所検索条件を満たす場合であればその画像属性情報を場所検索結果テーブル292に追加する。また、再生用情報作成・更新部351は、人物情報が人物検索条件を満たし、且つ場所情報が場所検索条件を満たす場合であればその画像属性情報を人物&場所検索結果テーブル293に追加する。
そして、以上のようにして再生用一時テーブル29を更新した場合には、再生用情報作成・更新部351は、表示更新要求を画像表示データ作成部355に通知する。
また、図11は、再生用一時テーブル29を参照して検索結果を再生する際の各部の処理を説明する説明図である。この処理は、検索モードにおいて注目画像の選択操作を受け付けた後、ユーザによる再生検索条件の選択操作または選択解除操作を受け付けたとき、あるいは再生用情報作成・更新部351が画像表示データ作成部355に対して表示更新要求を通知したタイミングで実施される。
操作部23を介して再生検索条件の選択操作または選択解除操作を受け付けると、図11に示すように、検索条件選択部353が、その選択操作または選択解除操作に従って再生検索条件を選択する。
なお、ユーザ操作については後述するが、検索条件選択部353は、人物検索スイッチ9が押下された場合には人物検索条件を再生検索条件として選択し、再度人物検索スイッチ9が押下されれば人物検索条件を非選択とする。同様に、検索条件選択部353は、場所検索スイッチ10が押下された場合には場所検索条件を再生検索条件として選択し、再度場所検索スイッチ10が押下されれば場所検索条件を非選択とする。
また、検索条件選択部353は、再生検索条件として人物検索条件を選択している状態で場所検索スイッチ10が押下された場合には、人物&場所検索条件を再生検索条件として選択する。あるいは、検索条件選択部353は、再生検索条件として場所検索条件を選択している状態で人物検索スイッチ9が押下された場合には、人物&場所検索条件を再生検索条件として選択する。
そして、再生検索条件として人物&場所検索条件を選択している状態で人物検索スイッチ9が押下された場合には、検索条件選択部353は、人物検索条件を非選択とする(再生検索条件は場所検索条件となる)。あるいは、再生検索条件として人物&場所検索条件を選択している状態で場所検索スイッチ10が押下された場合には、検索条件選択部353は、場所検索条件を非選択とする(再生検索条件は人物検索条件となる)。
さらに、検索条件選択部353は、人物検索条件を再生検索条件として選択している状態で人物検索スイッチ9が押下された場合には、人物検索条件を非選択とし、場所検索条件を再生検索条件として選択している状態で場所検索スイッチ10が押下された場合には、場所検索条件を非選択とする。したがって、人物検索条件、場所検索条件および人物&場所検索条件の各検索条件が全て再生検索条件として選択されていない非選択の状態となるが、この場合には、画像属性情報テーブル26に画像属性情報が登録された画像(すなわち記録部25に画像ファイル270として記録されている全ての画像)が再生されるようになっている。
以上のようにして検索条件選択部353が再生検索条件を選択すると、画像表示データ作成部355が、選択された再生検索条件に従って画像表示データを作成する。具体的には、画像表示データ作成部355は、再生検索条件をもとに参照する再生用一時テーブル29(人物検索結果テーブル291、場所検索結果テーブル292または人物&場所検索結果テーブル293)を特定して再生対象の画像IDを読み出し、この再生対象の画像IDをもとに、画像情報27の該当する画像ファイル270からサムネイルデータ279を読み出す。そして、画像表示データ作成部355は、再生対象のサムネイルを並べて配置した画像表示データを作成する。
一方、OSDデータ作成部357が、検索条件選択部353によって選択された再生検索条件等を提示するための文字情報を所定位置に配置したOSDデータを作成する。
そして、重畳表示処理部359が、画像表示データ作成部355によって作成された画像表示データ上にOSDデータ作成部357によって作成されたOSDデータを重畳表示する処理を行い、検索結果画面として表示部24に表示する。
例えば、再生検索条件として人物検索条件が選択された場合には、人物検索結果テーブル291を参照先として特定する。そして、この人物検索結果テーブル291に設定されている各画像属性情報の画像IDを再生対象の画像IDとし、画像情報27を参照してそのサムネイルを並べて配置した画像表示データを作成する。また、人物検索条件の内容を文字表示したOSDデータを作成する。そして、これらを表示部24に重畳表示する。これにより、人物検索条件を満たす画像がサムネイル表示され、その人物検索条件の内容が提示された検索結果画面が表示部24に表示されて人物検索結果が再生される。
また、再生検索条件として場所検索条件が選択された場合には、場所検索結果テーブル292を参照先として特定する。そして、この場所検索結果テーブル292に設定されている各画像属性情報の画像IDを再生対象の画像IDとし、その画像情報27を参照してそのサムネイルを並べて配置した画像表示データを作成する。また、場所検索条件の内容を文字表示したOSDデータを作成する。そして、これらを表示部24に重畳表示する。これにより、場所検索条件を満たす画像がサムネイル表示され、その場所検索条件の内容が提示された検索結果画面が表示部24に表示されて場所検索結果が再生される。
また、再生検索条件として人物&場所検索条件が選択された場合には、人物&場所検索結果テーブル293を参照先として特定する。そして、この人物&場所検索結果テーブル293に設定されている各画像属性情報の画像IDを再生対象の画像IDとし、その画像情報27を参照してそのサムネイルを並べて配置した画像表示データを作成する。また、人物&場所検索条件の内容を文字表示したOSDデータを作成する。そして、これらを表示部24に重畳表示する。これにより、人物&場所検索条件を満たす画像がサムネイル表示され、その人物&場所検索条件の内容が提示された検索結果画面が表示部24に表示されて人物&場所検索結果が再生される。
また、画像表示データ作成部355は、再生用情報作成・更新部351から表示更新要求が通知された場合に、画像表示データを再度作成する。この場合には、画像表示データ作成部355は、現時点で選択されている再生検索条件に応じた再生用一時テーブル29から再生対象の画像IDを読み出し、この再生対象の画像IDをもとに、画像情報27の該当する画像ファイル270からサムネイルデータ279を読み出す。そして、画像表示データ作成部355は、再生対象の画像のサムネイルを並べて配置した画像表示データを作成する。
また、以上のようにして画像表示データ作成部355が画像表示データを再度作成した場合には、重畳表示処理部359は、画像表示データ作成部355によって作成された画像表示データを用いて表示部24に表示している検索結果画面を更新表示する処理を行う。ここでの処理により、デジタルカメラ1の機能によって画像が撮影され、あるいは外部機器から画像が取得された結果選択されている再生検索条件に応じた再生用一時テーブル29が更新された場合には、この更新後の再生用一時テーブル29によって検索結果が再度再生される。
図12は、選択期間内一覧テーブル30を作成する際のデジタルカメラ1の各部の処理を説明する説明図である。この処理は、検索モードにおいて期間の選択操作を受け付けたタイミングで実施される。
操作部23を介して期間の選択操作を受け付けると、選択期間内一覧作成部354が、検索結果表示画面において現時点でサムネイル表示している各画像の撮影日時をもとに、最も古い撮影日と最も新しい撮影日とを選出して選択期間を設定する。
なお、ユーザ操作については後述するが、選択期間内一覧作成部354は、期間選択スイッチ11が押下された場合に選択期間を設定する。
続いて、選択期間内一覧作成部354は、画像属性情報テーブル26を参照し、撮影日が設定した選択期間内に含まれる画像属性情報を読み出す。そして、選択期間内一覧作成部354は、読み出した画像属性情報を設定した選択期間内一覧テーブル30を作成し、一時記録部28に記録する。
図13は、選択期間内一覧テーブル30の一例を示す図である。図13は、再生検索条件として場所検索条件が選択されており、図8に示した場所検索結果テーブル292−1を参照した検索結果画面が表示部24に表示されている状態でユーザが期間選択スイッチ11を押下した場合に作成される選択期間内一覧テーブル30の一例を示している。この場合には、選択期間内一覧作成部354は、図8に示した場所検索結果テーブル292−1において最も古い撮影日である“2007年7月30日”と最も新しい撮影日である“2007年8月1日”とをもとに撮影期間“2007年7月30日〜2007年8月1日”を設定する。そして、選択期間内一覧作成部354は、撮影日が選択期間内に含まれる画像属性情報を画像属性情報テーブル26から読み出し、読み出した画像属性情報を設定した図13に例示する選択期間内一覧テーブル30を作成する。
この結果、図8の場所検索結果テーブル292−1の画像属性情報に、レコードR21,R23の各画像属性情報が追加された選択期間内一覧テーブル30が作成される。ここで、場所情報を“Okinawa”とする5枚の画像が沖縄旅行で撮影された画像であったとする。この場合、追加されたレコードR21の画像属性情報が示す東京(Tokyo)で2007年7月30日に撮影された画像およびレコードR23の画像属性情報が示す東京(Tokyo)で2007年8月1日に撮影された画像は、沖縄に移動する途中の駅や車中、飛行場や飛行機の機内等で撮影された可能性が高い。そしてこのような場合、これらの東京で撮影された各画像は、沖縄で撮影された5枚の各画像と関連性があるといえる。このように、例えば場所検索条件の検索結果をもとに選択期間を設定し、撮影日が選択期間内に含まれる画像を画像属性情報テーブル26から新たに読み出して選択期間内一覧テーブル30を作成することによって、人物検索条件や場所検索条件では検索結果に含まれない関連性のある画像を再生することが可能となる。
そして、図12に示すように、画像表示データ作成部355が、選択期間内一覧テーブル30に設定されている全ての画像属性情報の画像IDを再生対象の画像IDとし、その画像情報27を参照してサムネイルを並べて配置した画像表示データを作成する。また、選択期間の内容を文字表示したOSDデータを作成する。そして、これらを表示部24に重畳表示する。この結果、撮影日が選択期間内に含まれる画像がサムネイル表示され、その選択期間の内容が提示された検索結果画面が表示部24に表示される。
次に、デジタルカメラ1が行う処理手順について説明する。図14は、デジタルカメラ1が行う基本処理の手順を示すフローチャートである。電源投入時、図14に示すように、モード切換スイッチ6がスライド操作されてデジタルカメラ1の動作モードが撮影モードに切り換えられると(ステップa1:Yes)、撮影モード処理に移る(ステップa3)。一方、モード切換スイッチ6によって動作モードが再生モードに切り換えられた場合には(ステップa5:Yes)、再生モード処理に移る(ステップa7)。この再生モード処理では、処理部34は、例えば記録部25に記録されている画像ファイル270の画像データ277を表示部24に再生表示するための処理を行う。また、通信部32を介した外部機器との接続を検知した場合には(ステップa9:Yes)、外部画像取得処理に移る(ステップa11)。そして、INFOスイッチ8が押下されて検索モードに切り換えられると(ステップa13:Yes)、検索モード処理に移る(ステップa15)。
そして、ステップa17では、基本処理を終了するか否かを判定する。例えば、電源スイッチ3が押下されて電源OFFが指示された場合に、本処理を終える(ステップa17:Yes)。一方、終了しない場合には(ステップa17:No)、ステップa1に戻る。
ここで、ステップa3の撮影モード処理、ステップa11の検索モード処理およびステップa15の外部画像取得処理について説明する。図15は、撮影モード処理の処理手順を示すフローチャートである。
ここで、撮影モード処理では、表示部24に対してライブビュー画像の表示が継続的に行われる。そして、図15に示すように、レリーズスイッチ4が押下されて撮影指示されたタイミングで(ステップb1:Yes)、処理部34は、撮像部21を駆動して撮影処理を行う(ステップb3)。ここでの処理によって、レリーズスイッチ4の押下タイミングでの撮影範囲の画像データが撮影画像の画像データとして生成される。またこのとき、画像処理部22が、撮影画像の画像データに対する記録用の圧縮処理や、撮影画像を縮小処理してサムネイルデータを生成する処理等を行う。
続いて、ステップb5に移るが、このステップb5以降の処理は、デジタルカメラ1に対して例えば再生モードや検索モード等への切り替え操作が入力された場合には、これら各種操作入力に応じた処理と並行して行われるようになっている。すなわち、ステップb5以降の各処理の実行中に例えばINFOスイッチ8が押下されてデジタルカメラ1の動作モードが検索モードに切り換えられた場合には、ステップb5以降の各処理と並行して図17〜図19を参照して後述する検索モード処理が行われることとなる。
そして、ステップb5では、処理部34は、時計部31によって計時されている現在時刻を撮影日時として取得する。続いて、処理部34は、GPS受信部33によって算出された現在位置のGPSデータを取得する(ステップb7)。そして、処理部34は、撮影画像に画像IDを割り当てて、画像処理後の画像データやそのサムネイルデータを、取得した現在時刻やGPSデータとともに画像ファイル270として記録部25に記録する処理を行う(ステップb9)。
続いて、画像特徴抽出部341が、撮影画像の画像データを解析処理し、特徴情報を抽出する(ステップb11)。本実施の形態では、画像特徴抽出部341は、顔検出処理を行って撮影画像から顔の領域を検出する。そして、画像特徴抽出部341は、この顔領域の検出結果をもとに顔の有無および顔が映っている場合にはその数を検出し、特徴情報として人物情報を抽出する。また、場所情報変換部343が、撮影画像のGPSデータを場所情報に変換する(ステップb13)。そして、画像属性情報作成部345が、ステップb5で取得された撮影日時、ステップb9で撮影画像に割り当てられた画像ID、ステップb11で抽出された特徴情報およびステップb13で変換された場所情報を対応付けて画像属性情報を作成し、画像属性情報テーブル26に登録する(ステップb15)。
画像属性情報を登録したならば、続いて、再生用情報作成・更新部351が、現在検索モード中であって、且つ注目画像についての検索結果が再生中か否かを判定する。具体的には、再生用情報作成・更新部351は、再生用一時テーブル29が生成されている場合に再生中と判定し(ステップb17:Yes)、ステップb15で新規に登録した画像属性情報の人物情報および場所情報がその検索条件を満たすか否かを判定する。具体的には、再生用情報作成・更新部351は、登録した画像属性情報の人物情報および/または場所情報が、注目画像の人物情報および/または場所情報とそれぞれ一致するか否かによって、検索条件を満たすか否かを判定する。そして、再生用情報作成・更新部351は、検索条件を満たす場合に(ステップb19:Yes)、該当する再生用一時テーブル(人物検索結果テーブル291、場所検索結果テーブル292または人物&場所検索結果テーブル293)を更新する(ステップb21)。
続いて、再生用情報作成・更新部351は、現在選択されている再生検索条件をもとに、更新した再生用一時テーブル29の検索結果を再生中か否かを判定する。例えば、再生用情報作成・更新部351は、現時点で選択されている再生検索条件の再生用一時テーブル29を更新したか否かによって判定し、再生中であれば(ステップ23:Yes)、再生用情報作成・更新部351は、表示更新要求を画像表示データ作成部355に通知する(ステップb25)。これに応答し、図19を参照して後述する検索モード処理のステップd63において、検索結果画面が更新表示されることとなる。その後、図14のステップa3にリターンし、ステップa17に移行する。
また、図16は、外部画像取得処理の処理手順を示すフローチャートである。デジタルカメラ1が通信部32を介して外部機器と接続されると、図16に示すように、処理部34が、通信部32を介して外部機器から外部取得画像の画像ファイルを取得する(ステップc1)。取得された外部取得画像の画像ファイルは、記録部25に画像ファイル270として記録される(ステップc3)。
続いて、画像特徴抽出部341が、取得した外部取得画像の画像データを解析処理し、特徴情報を抽出する(ステップc5)。また、場所情報変換部343が、取得した外部取得画像のGPSデータを場所情報に変換する(ステップc7)。そして、画像属性情報作成部345が、ステップc5で抽出された特徴情報とステップc7で変換された場所情報とを、ステップc1で取得された外部取得画像の画像ファイルに設定されている画像IDおよび撮影日時と対応付けて画像属性情報を作成し、画像属性情報テーブル26に登録する(ステップc9)。その後、図14のステップa11にリターンし、ステップa17に移行する。
また、図17〜図19は、検索モード処理の処理手順を示すフローチャートである。図17に示すように、検索モード処理では、先ず、画像属性情報テーブル26に画像属性情報が登録されている全ての画像を再生対象とした検索結果画面が表示部24に表示処理される(ステップd1)。具体的には、先ず画像表示データ作成部355が、画像属性情報テーブル26に設定されている全ての画像IDを再生対象として読み出し、この再生対象の画像IDをもとに、画像情報27の該当する画像ファイル270からサムネイルデータ279を読み出す。そして、画像表示データ作成部355は、再生対象のサムネイルを並べて配置した画像表示データを作成する。また、OSDデータ作成部357が、再生検索条件を空欄としたOSDデータを作成する。そして、重畳表示処理部359が、画像表示データ上にOSDデータを重畳表示する処理を行い、検索結果画面として表示部24に表示する。
続いて、注目画像選択部347が注目画像の選択操作を受け付ける。そして、受け付けたならば(ステップd3:Yes)、注目画像選択部347は、その注目画像の選択操作に従って注目画像を選択する(ステップd5)。続いて、検索条件設定部349が、注目画像の人物情報および場所情報をもとに、検索条件を設定する(ステップd7)。
そして、再生用情報作成・更新部351が、画像属性情報テーブル26を参照し、人物検索条件を満たす画像属性情報を設定した人物検索結果テーブル291を作成する(ステップd9)。また、再生用情報作成・更新部351は、画像属性情報テーブル26を参照し、場所検索条件を満たす画像属性情報を設定した場所検索結果テーブル292を作成する(ステップd11)。また、再生用情報作成・更新部351は、画像属性情報テーブル26を参照し、人物&場所検索条件を満たす画像属性情報を設定した人物&場所検索結果テーブル293を作成する(ステップd13)。
その後、検索条件選択部353が、再生検索条件の選択操作/選択解除操作を受け付ける。そして、受け付けたならば(ステップd15:Yes)、検索条件選択部353は、その再生検索条件の選択操作/選択解除操作に応じて再生検索条件を選択する(ステップd16)。
そして、ステップd16で選択された再生検索条件に応じて処理を分岐する。すなわち、再生検索条件として人物検索条件が選択された場合には(ステップd17:Yes)、画像表示データ作成部355が人物検索結果テーブル291を参照して画像表示データを作成し(ステップd19)、OSDデータ作成部357が人物検索条件の内容を文字表示したOSDデータを作成する(ステップd21)。そして、重畳表示処理部359が、ステップd19で作成された画像表示データ上にステップd21で作成されたOSDデータを重畳表示する処理を行って検索結果画面を表示部24に表示する(ステップd23)。これによって、注目画像についての人物検索結果が再生される。
また、図18に示すように、図17のステップd16で再生検索条件として場所検索条件が選択された場合には(ステップd25:Yes)、画像表示データ作成部355が場所検索結果テーブル292を参照して画像表示データを作成し(ステップd27)、OSDデータ作成部357が場所検索条件の内容を文字表示したOSDデータを作成する(ステップd29)。そして、重畳表示処理部359が、ステップd27で作成された画像表示データ上にステップd29で作成されたOSDデータを重畳表示する処理を行って検索結果画面を表示部24に表示する(ステップd31)。これによって、注目画像についての場所検索結果が再生される。
また、図17のステップd16で再生検索条件として人物&場所検索条件が選択された場合には(ステップd33:Yes)、画像表示データ作成部355が人物&場所検索結果テーブル293を参照して画像表示データを作成し(ステップd35)、OSDデータ作成部357が人物&場所検索条件の内容を文字表示したOSDデータを作成する(ステップd37)。そして、重畳表示処理部359が、ステップd35で作成された画像表示データ上にステップd37で作成されたOSDデータを重畳表示する処理を行って検索結果画面を表示部24に表示する(ステップd39)。これによって、注目画像についての人物&場所検索結果が再生される。
また、図17のステップd16で再生検索条件が非選択となった場合、すなわち、再生検索条件が人物検索条件でなく(図17のステップd17:No)、場所検索条件でなく(図18のステップd25:No)、人物&場所検索条件でもない場合には(ステップd33:No)、図17のステップd1に戻る。この結果、全画像を再生対象とした検索結果画面が表示部24に表示される。
また、図19に示すように、注目画像の人物検索結果、場所検索結果または人物&場所検索結果を再生している間、選択期間内一覧作成部354が、期間の選択操作を受け付ける。そして、受け付けたならば(ステップd41:Yes)、選択期間内一覧作成部354は、現時点で再生対象としている画像ID(すなわち選択されている再生検索条件応じた再生用一時テーブル29に設定されている画像ID)をもとに選択期間を設定する(ステップd43)。そして、選択期間内一覧作成部354は、画像属性情報テーブル26を参照し、撮影日が選択期間内に含まれる画像属性情報を設定した選択期間内一覧テーブル30を作成する(ステップd45)。
そして、画像表示データ作成部355が、選択期間内一覧テーブル30を参照して画像表示データを作成し(ステップd47)、OSDデータ作成部357が選択期間の内容を文字表示したOSDデータを作成する(ステップd49)。そして、重畳表示処理部359が、ステップd47で作成された画像表示データ上にステップd49で作成されたOSDデータを重畳表示する処理を行って検索結果画面を表示部24に表示する(ステップd51)。これによって、選択期間内の画像が再生される。
また、注目画像の検索結果を再生している間、デジタルカメラ1が通信部32を介して外部機器と接続されると(ステップd53:Yes)、外部画像取得処理に移る(ステップd55)。この外部画像取得処理は、図16に示した外部画像取得処理と同様の処理手順で実現できる。
続いて、再生用情報作成・更新部351が、ステップd55で新規に登録した画像属性情報の人物情報および場所情報が検索条件を満たすか否かを判定する。そして、再生用情報作成・更新部351は、検索条件を満たす場合に(ステップd57:Yes)、該当する再生用一時テーブル(人物検索結果テーブル291、場所検索結果テーブル292または人物&場所検索結果テーブル293)を更新する(ステップd59)。
続いて、再生用情報作成・更新部351は、現在選択されている再生検索条件をもとに、更新した再生用一時テーブル29の検索結果を再生中か否かを判定する。例えば、再生用情報作成・更新部351は、現時点で選択されている再生検索条件の再生用一時テーブル29を更新したか否かによって判定し、再生中であれば(ステップd61:Yes)、画像表示データ作成部355に表示更新要求を通知する(ステップd62)。
本実施の形態では、このステップd62で表示更新要求を通知する場合に加えて、図15の撮影モード処理でステップb25の処理として説明したように、撮影モード処理中に画像表示データ作成部355に対して表示更新要求を通知する場合がある。このため、検索モード処理では、続くステップd63において、表示更新要求の通知を監視している。そして、表示更新要求の通知があった場合には(ステップd63:Yes)、表示部24において検索結果画面が更新表示されるようになっている(ステップd64)。具体的にはこのとき、画像表示データ作成部355が、表示更新要求に応答し、選択されている再生検索条件に応じた再生用一時テーブル29を参照して画像表示データを再度作成する。また、重畳表示処理部359が、再度作成した画像表示データを用いて表示部24に表示している検索結果画面を更新表示する処理を行う。
その後、処理部34が検索モードの終了判定を行い、終了する場合には(ステップd65:Yes)、図14のステップa15にリターンし、ステップa17に移行する。例えば、デジタルカメラ1の動作モードが撮影モードや再生モード等の他の動作モードに切り換えられた場合には、検索モードを終了する。検索モードを終了しない場合には(ステップd65:No)、図17のステップd15に戻る。
次に、検索モードにおけるデジタルカメラ1の操作例について説明する。図20は、INFOスイッチ8を押下して動作モードを検索モードに切り換えた際に表示部24に表示される検索結果画面の基本構成例を示す図であり、図20では、検索モードに切り換えられた直後の検索結果画面を示している。図20に示すように、検索結果画面は、画像表示エリアEIと、文字表示エリアETとを備える。
画像表示エリアEIには、再生対象の画像がサムネイル表示される。検索モードに切り換えられた直後は、画像表示エリアEIにおいて、画像属性情報テーブル26に画像属性情報が登録された画像(すなわち記録部25に画像ファイル270として記録されている全ての画像)が再生対象とされ、各画像がサムネイル表示される。図20の画像表示エリアEIでは、図5の画像属性情報テーブル26に画像属性情報が登録されている各画像のサムネイルS10が配置された様子を示している。この画像表示エリアEIにおいて、ユーザは、十字キー12を押下して所望のサムネイルにカーソルCsrを移動させた状態でOKスイッチ13を押下することによって、注目画像の選択操作を行う。
一方、文字表示エリアETには、再生検索条件や選択期間等が文字表示される。この文字表示エリアETは、再生検索条件として人物検索条件が選択されている場合にその内容が文字表示される人物検索条件表示エリアET1と、再生検索条件として場所検索条件が選択されている場合にその内容が文字表示される場所検索条件表示エリアET2と、画像表示エリアEIにおいてサムネイル表示されて再生されている各画像の撮影期間を文字表示する撮影期間表示エリアET3とを含む。ここで、選択期間が設定されている場合には、撮影期間表示エリアET3には選択期間が文字表示されることとなる。
ここで、人物検索条件表示エリアET1は、図20に示すように、カメラ本体2に具備され、検索モード中に人物検索スイッチ9として用いられる機能スイッチ9と対応する位置に表示される。また、場所検索条件表示エリアET2は、検索モード中に場所検索スイッチ10として用いられる機能スイッチ10と対応する位置に表示される。また、撮影期間表示エリアET3は、検索モード中に期間選択スイッチ11として用いられる機能スイッチ11と対応する位置に表示される。
図21〜図23は、検索モード中の操作入力に伴う検索結果画面の遷移例を示す図である。例えば、図21(a)に示すように、画像表示エリアEIにおいてカーソルCsrをサムネイルS10−1に移動させた状態で、OKスイッチ13を押下したとする。
この場合には、内部処理として、画像ID“130”の画像が注目画像として選択される。そして、この注目画像の人物情報および場所情報をもとに人物検索条件、場所検索条件および人物&場所検索条件の各検索条件が設定され、再生用一時テーブル29が作成されて一時記録部28に記録される。ここで、図5のレコードR11等に示すように、画像ID“130”の画像の人物情報は“1”であり、場所情報は“Okinawa”である。したがって、人物検索条件として“人物有り”、場所検索条件として“Okinawa”、人物&場所検索条件として“人物有り&Okinawa”がそれぞれ設定され、人物検索結果テーブル291、場所検索結果テーブル292および人物&場所検索結果テーブル293が作成される。
そして、この状態で、人物検索スイッチ9を押下したとする。この場合には、再生検索条件として人物検索条件“人物有り”が選択される。この結果、注目画像の人物情報をもとに設定された人物検索条件“人物有り”の検索結果である人物検索結果テーブル291が参照され、この人物検索結果テーブル291に設定されている画像属性情報の各画像が再生対象となる。そして、図21(b)に示すように、注目画像を含む各画像のサムネイルS20が画像表示エリアEIに配置され、画像ID“130”の画像について作成された人物検索結果テーブル291を参照した人物検索結果が再生される。また、文字表示エリアETの人物検索条件表示エリアET1において、人物検索条件である“有(人物有り)”が文字表示される。なお、このとき、撮影期間表示エリアET3の表示が更新され、画像表示エリアEIにおいてサムネイルS20の表示によって再生されている各画像の撮影期間が文字表示される。
なお、図21(b)の状態で再度人物検索スイッチ9を押下した場合には、再生検索条件として選択されていた人物検索条件が解除され、再生検索条件は非選択となる。この結果、図21(a)に示す全画像を再生した検索結果画面が再度表示される。
一方、図21(a)に示す状態で、場所検索スイッチ10を押下したとする。この場合には、再生検索条件として場所検索条件“Okinawa”が選択される。この結果、注目画像の場所情報をもとに設定された場所検索条件“Okinawa”の検索結果である場所検索結果テーブル292が参照され、この場所検索結果テーブル292に設定されている画像属性情報の各画像が再生対象となる。そして、図21(c)に示すように、注目画像を含む各画像のサムネイルS30が画像表示エリアEIに配置され、画像ID“130”の画像について作成された場所検索結果テーブル292を参照した場所検索結果が再生される。また、文字表示エリアETの場所検索条件表示エリアET2において、場所検索条件である“Okinawa”が文字表示される。そして、撮影期間表示エリアET3の表示が更新され、画像表示エリアEIにおいて再生されている各画像の撮影期間が文字表示される。
なお、図21(c)の状態で再度場所検索スイッチ10を押下した場合には、再生検索条件として選択されていた場所検索条件が解除され、再生検索条件は非選択となる。この結果、図21(a)に示す全画像を再生した検索結果画面が再度表示される。
また、図21(b)に示す状態でさらに場所検索スイッチ10を押下したとする。この場合には、再生検索条件として人物&場所検索条件“人物有り&Okinawa”が選択される。この結果、注目画像の人物情報および場所情報をもとに設定された人物&場所検索条件“人物有り&Okinawa”の検索結果である人物&場所検索結果テーブル293が参照され、この人物&場所検索結果テーブル293に設定されている画像属性情報の各画像が再生対象となる。そして、図21(d)に示すように、注目画像を含む各画像のサムネイルS40が画像表示エリアEIに配置され、画像ID“130”の画像について作成された人物&場所検索結果テーブル293を参照した場所検索結果が再生される。また、文字表示エリアETの人物検索条件表示エリアET1において、人物検索条件である“人物有り”が文字表示されるとともに、場所検索条件表示エリアET2において、場所検索条件である“Okinawa”が文字表示される。そして、撮影期間表示エリアET3の表示が更新され、画像表示エリアEIにおいて再生されている各画像の撮影期間が文字表示される。
なお、図21(d)の状態で再度場所検索スイッチ10を押下した場合には、再生検索条件として選択されていた場所検索条件が解除され、再生検索条件は人物検索条件“人物有り”となる。この結果、図21(b)に示す人物検索結果を再生した検索結果画面が再度表示される。
そして、図21(c)に示す状態でさらに人物検索スイッチ9を押下した場合も同様に、この場合には、再生検索条件として人物&場所検索条件“人物有り&Okinawa”が選択される。この結果、人物&場所検索条件“人物有り&Okinawa”の検索結果である人物&場所検索結果テーブル293が参照され、この人物&場所検索結果テーブル293に設定されている画像属性情報の各画像が再生対象となる。そして、図21(d)に示す検索結果画面が表示され、人物&場所検索結果テーブル293を参照した場所検索結果が再生される。また、文字表示エリアETの人物検索条件表示エリアET1において、人物検索条件である“人物有り”が文字表示されるとともに、場所検索条件表示エリアET2において、場所検索条件である“Okinawa”が文字表示される。そして、撮影期間表示エリアET3の表示が更新され、画像表示エリアEIにおいて再生されている各画像の撮影期間が文字表示される。
なお、図21(d)の状態で再度人物検索スイッチ9を押下した場合には、再生検索条件として選択されていた人物検索条件が解除され、再生検索条件は場所検索条件“Okinawa”となる。この結果、図21(c)に示す場所検索結果を再生した検索結果画面が再度表示される。
また、図22(a)に示すように、画像表示エリアEIにおいて人物検索結果が再生された検索結果画面において、カーソルCsrを画像ID“130”の画像のサムネイルS20−1から画像ID“120”の画像のサムネイルS20−2に移動させてOKスイッチ13を押下したとする。この場合には、注目画像が画像ID“120”の画像に変更される。
この場合には、注目画像の選択操作によって再生検索条件が非選択の状態となり、画像ID“130”の画像について作成された再生用一時テーブル29が削除される。その後、内部処理として、新たに画像ID“120”の画像が注目画像として選択される。そして、この注目画像の人物情報および場所情報をもとに人物検索条件、場所検索条件および人物&場所検索条件の各検索条件が設定され、再生用一時テーブル29が作成されて一時記録部28に記録される。ここで、図5等に示すように、画像ID“120”の画像の人物情報は“2”であり、場所情報は“Tokyo”である。したがって、人物検索条件として“人物有り”、場所検索条件として“Tokyo”、人物&場所検索条件として“人物有り&Tokyo”がそれぞれ設定され、人物検索結果テーブル291、場所検索結果テーブル292および人物&場所検索結果テーブル293が作成される。
そして、この状態で、場所検索スイッチ10を押下したとする。この場合には、注目画像の場所情報をもとに設定された場所検索条件“Tokyo”の検索結果である場所検索結果テーブル292が参照され、この場所検索結果テーブル292に設定されている画像属性情報の各画像が再生対象となる。そして、図22(b)に示すように、注目画像を含む各画像のサムネイルS50が画像表示エリアEIに配置され、画像ID“120”の画像について作成された場所検索結果テーブル292を参照した人物検索結果が再生される。また、文字表示エリアETの場所検索条件表示エリアET2において、場所検索条件である“Tokyo”が文字表示される。そして、撮影期間表示エリアET3の表示が更新され、画像表示エリアEIにおいて再生されている各画像の撮影期間が文字表示される。
また、図23(a)に示すように、画像表示エリアEIにおいて画像ID“130”の注目画像のサムネイルS30−1を含む場所検索結果が再生された検索結果画面において、期間選択スイッチ11を押下したとする。
この場合には、期間の選択操作によって再生検索条件が非選択の状態となり、内部処理として、再生中の場所検索結果テーブル292を参照されて選択期間が設定される。そして、選択期間内一覧テーブル30が作成されて一時記録部28に記録される。ここで、図23(a)の例では、再生中の各画像の撮影期間は2007年7月30日〜2007年8月1日であり、2007年7月30日〜2007年8月1日が選択期間として設定される。そして、撮影日がこの選択期間に含まれる画像属性情報が画像属性情報テーブル26から読み出されて選択期間内一覧テーブル30が作成される。そして、図23(b)に示すように、注目画像を含む撮影日が選択期間内である各画像のサムネイルS60が画像表示エリアEIに配置される。そして、撮影期間表示エリアET3の表示が更新され、選択期間が文字表示される。
以上説明したように、本実施の形態によれば、注目画像が選択された時点で、その人物情報である人物検索条件、その場所情報である場所検索条件、その人物情報および場所情報である人物&場所検索条件がそれぞれ選択された場合を想定し、検索条件を人物検索条件とした検索結果である人物検索結果テーブル291と、検索条件を場所検索条件とした検索結果である場所検索結果テーブル292と、検索条件を人物&場所検索条件とした検索結果である人物&場所検索結果テーブル293とを再生用一時テーブル29として先ず作成することができる。そして、人物検索スイッチ9、場所検索スイッチ10またはこれらに対する押下操作の組み合わせによってユーザが選択した再生検索条件に応じて該当する再生用一時テーブル29を参照し、検索結果を再生することができる。すなわち、再生検索条件として人物検索条件が選択された場合には、人物検索結果テーブル291を参照して人物検索結果を再生することができる。また、再生検索条件として場所検索条件が選択された場合には、場所検索結果テーブル292を参照して場所検索結果を再生することができる。また、再生検索条件として人物&場所検索条件が選択された場合には、人物&場所検索結果テーブル293を参照して人物&場所検索結果を再生することができる。したがって、検索時間の短縮が図れ、画像を効率よく検索することができるという効果を奏する。
また、本実施の形態によれば、期間選択スイッチ11が押下された場合に、再生中の各画像の撮影期間を選択期間として設定し、撮影日が選択期間内に含まれる画像の画像属性情報を取得して選択期間内一覧テーブル30を作成することができる。そして、この選択期間内一覧テーブル30を参照して選択期間内の画像を再生することができる。
なお、注目画像選択部347によって注目画像が選択された際、再生用情報作成・更新部351が作成する人物検索結果テーブル291、場所検索結果テーブル292および人物&場所検索結果テーブル293の各再生用一時テーブル29の作成順(再生用情報作成順)を設定する構成としてもよい。この場合には、図2に示した処理部34において、再生用情報作成順設定手段としての再生用情報作成順設定部を追加してデジタルカメラを構成する。なお、本変形例では、注目画像が選択された際に検索条件として人物検索条件および場所検索条件の2種類の検索条件を設定することとする。
この再生用情報作成順設定部は、例えば、前回選択された人物検索スイッチ9が押下されたのか場所検索スイッチ10が押下されたのかに応じて再生用情報作成順を設定する。これは、前回例えば人物検索スイッチ9が押下された場合には次回に押下されるのは場所検索スイッチ10であるとの推定に基づくものである。同様に、前回場所検索スイッチ10が押下された場合には次回押下されるのは人物検索スイッチ9であるとの推定に基づいている。例えば、人物検索条件による検索結果を再生中に、再生中の画像に映る場所について検索したくなるといったユーザの心理を想定して推定している。
この場合には、再生用情報作成順設定部は、例えば最先に押下されたのが人物検索スイッチ9の場合には、次回の再生用情報作成順を、場所検索結果テーブル→人物検索結果テーブルの順に設定する。一方、最先に押下されたのが場所検索スイッチ10であれば、次回の再生用情報作成順を、人物検索結果テーブル→場所検索結果テーブルとする。
画像の枚数が増大すると、例えば、人物検索結果テーブルや場所検索結果テーブルの作成にある程度の時間を要する。このため、注目画像が選択された直後に人物検索スイッチ9または場所検索スイッチ10が押下された場合に、これら各再生用一時テーブルの作成が間に合わず、ユーザを待機させる事態が発生する。このような事態を緩和するため、予め再生用情報作成順をしておくことによって、想定した通りに人物検索スイッチ9または場所検索スイッチ10が押下されれば、ユーザを待たせる時間を短縮できる。本例では、例えば、人物検索結果テーブル→場所検索結果テーブルの順番で再生用一時テーブルを作成している際に人物検索結果スイッチが押下されれば、先に人物検索結果テーブルが作成されるので待機時間が短い。なお、再生用情報作成順として、人物検索結果テーブル→場所検索結果テーブルの順番が設定されており、人物検索結果テーブルの作成中に場所検索スイッチ10が押下された場合には、人物検索結果テーブルの作成を中断して場所検索テーブルの作成を先に行う。
あるいは、注目画像が選択操作されるたびに順番を交互に入れ替えて再生用情報作成順を設定することとしてもよい。この場合には、再生用情報作成順設定部は、例えば初回の再生用情報作成順として所定の順番を設定する。例えば、人物検索結果テーブル→場所検索結果テーブルの順に設定する。そして、再生用情報作成順設定部は、その後注目画像が選択操作されるたびにこの順を入れ替えて再生用情報作成順を設定する。
図24は、本変形例における検索モード処理の処理手順の一部を示すフローチャートである。なお、図24において、上記した実施の形態と同様の処理工程には、同一の符号を付する。図24に示すように、ステップd7で検索条件設定部が検索条件を設定した後、再生用情報作成順設定部が、2つの人物検索条件および場所検索条件の再生用情報作成順を入れ替えて設定する(ステップe9)。そして、再生用情報作成・更新部が、ステップe9で設定された再生用情報作成順に従って人物検索結果テーブルおよび場所検索結果テーブルを作成する(ステップe11)。その後、ステップd15に移行する。
また、ここでは人物検索条件および場所検索条件の2種類について説明したが、3種類以上の検索条件を設定する場合には、今回最初に作成した再生用一時テーブルの作成順を次回最終順にするように再生用情報作成順を巡回させて設定することとしてもよい。
なお、上記した実施の形態では、再生用一時テーブル29を一時記録部28に記録することとし、新たに注目画像が選択操作されたタイミングで前回の注目画像について作成した再生用一時テーブル29を削除することとした。これに対し、作成した再生用一時テーブルを削除せずに注目画像の画像IDと対応付けて記録部25に記録しておく構成としてもよい。また、複数の注目画像について重複して再生用一時テーブル29を記録する場合には、画像ID毎の個別のテーブルとして記録する構成としてもよいし、1つのテーブル内に画像IDを対応付けて記録する構成としてもよい。
また、上記した実施の形態では、十字キー12によってカーソルを移動させ、OKスイッチ13の押下操作によって注目画像の選択操作を確定する構成としたが、カーソルの移動によって注目画像の選択操作を確定する構成としてもよい。またこの場合に、カーソルが移動されるたびに各画像を注目画像とした再生用一時テーブルを作成する構成としてもよい。
また、カメラ本体の背面に設けられた表示部にタッチパネルが形成された構成のデジタルカメラでは、このタッチパネルに対する操作によって注目画像の選択操作を実現することも可能である。この場合には、人物検索条件を再生検索条件として選択する操作を、人物検索スイッチ9の押下にかえて、例えば図20等に示した人物検索条件表示エリアET1に注目画像のサムネイルをドラッグアンドドロップ操作することで実現してもよい。一方、人物検索条件を再生検索条件として選択解除する操作を、人物検索スイッチ9を再度押下する操作にかえて、図20等に示した人物検索条件表示エリアET1に文字表示されている人物検索条件を人物検索条件表示エリアET1の外側にドラッグアンドドロップ操作することで実現してもよい。これは、場所検索スイッチ10の押下による場所検索条件の選択操作/選択解除操作についても同様である。
また、上記した実施の形態では、GPSデータを場所情報に変換する構成について例示したが、GPSデータをそのまま場所情報として用いることとも可能である。この場合には、注目画像の場所情報である緯度や経度、高度を中心とした所定の範囲内の位置で撮影された画像の画像属性情報を画像属性情報テーブルから読み出して場所検索結果テーブルを作成することとしてもよい。
また、上記した実施の形態では、検索条件として人物検索条件、場所検索条件および人物&場所検索条件を設定する場合について説明したが、設定する検索条件はこれに限定されるものではない。例えば、人物検索条件または場所検索条件を満たすことを条件とするオア条件を設定することとしてもよい。
また、上記した実施の形態では、画像データを解析処理して抽出した特徴情報と撮影時の場所情報とを画像の属性を示す属性値として用い、検索条件を設定することとしたが、これらに限定されるものではなく、特徴情報として用いる値等に応じて適宜設定できる。
また、上記実施の形態では、本発明の再生装置をデジタルカメラに適用した場合について説明したが、これに限定されるものではない。例えば、カメラ付きの携帯電話機に適用してもよい。あるいは、再生装置は撮像部21(カメラ)の構成を備えた装置に限定されるものではなく、例えば複数の画像が記録されたPCに適用することもできる。