JP5321564B2 - 画像管理方法および装置、記録媒体、並びにプログラム - Google Patents

画像管理方法および装置、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP5321564B2
JP5321564B2 JP2010250245A JP2010250245A JP5321564B2 JP 5321564 B2 JP5321564 B2 JP 5321564B2 JP 2010250245 A JP2010250245 A JP 2010250245A JP 2010250245 A JP2010250245 A JP 2010250245A JP 5321564 B2 JP5321564 B2 JP 5321564B2
Authority
JP
Japan
Prior art keywords
keyword
image
information
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010250245A
Other languages
English (en)
Other versions
JP2011081819A (ja
Inventor
奨 田中
修 伊達
克巳 松野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010250245A priority Critical patent/JP5321564B2/ja
Publication of JP2011081819A publication Critical patent/JP2011081819A/ja
Application granted granted Critical
Publication of JP5321564B2 publication Critical patent/JP5321564B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は画像管理方法および装置、記録媒体、並びにプログラムに関し、特に、撮像した画像を検索する画像管理方法および装置、記録媒体、並びにプログラムに関する。
昨今、デジタルスチルカメラやデジタルビデオカメラなどの普及とともに、それらの機器で撮像した画像を記録するメモリーカードなどの記録媒体の容量も増加している。
これらのデジタルスチルカメラやデジタルビデオカメラでは、撮像した画像を小型のLCD(Liquid Crystal Display)に表示し、表示された画像を基に、ユーザは、撮像した画像を確認する。
記録媒体の容量が増加することで、記録媒体に記録できる画像の枚数も増加し、それと共に記録された画像の管理や閲覧が困難になっている。
ユーザが画像を撮像した後、撮像した画像に対応したキーワードを付加情報として入力し、入力したキーワードを条件にして画像を検索することで、画像をより容易に管理できるようにしているものもある。
また、撮像した画像の一覧を撮影日時順でLCDの画面に表示して、撮像した画像の確認をするデジタルスチルカメラもある(例えば、特許文献1参照)。
特開2000−278563号公報
しかしながら、キーワードを入力する作業は面倒であり、その作業には手間がかかる。
また、その都度入力されるキーワードは統一されにくい。すなわち、ユーザが同じ意味であると認識している複数の種類の単語をキーワードとして設定しがちである。このため、キーワードが無駄に増加してしまい、迅速に所望の画像を検索することができなくなってしまう。
本発明は、このような状況に鑑みてなされたものであり、より簡単に、より迅速に、統一されたテキストデータを撮像した画像データに付加することができる。その結果、より迅速に、より確実に所望の画像を検索できるようになる。
本発明の画像管理方法は、複数の画像から構成される画像群の一部の画像と関連付けられた付属情報から、第1の付属情報を選択する第1のステップと、前記画像群において、前記選択された第1の付属情報と関連付けられた画像に関連付けられた、前記第1の付属情報以外の他の付属情報を抽出する第2のステップと、前記抽出された他の付属情報から、第2の付属情報を選択する第3のステップと、前記選択された第2の付属情報を、前記画像群の一部の画像に関連付ける第4のステップとを含む。
前記第2の付属情報に基づいて分類された前記画像群の画像の数量を計測する第5のステップをさらに含む。
前記第2の付属情報毎に前記画像群の画像の数量を視覚的に表示する第6のステップをさらに含む。
前記付属情報前記画像が記録された日時に関する情報を含む
前記付属情報はテキスト情報を含む。
前記付属情報は前記画像が記録された場所に関する情報を含む
本発明の画像管理装置、記録媒体のプログラム、またはプログラムは、上述した本発明の画像管理方法に対応する画像管理装置、記録媒体のプログラム、またはプログラムである
本発明の画像管理方法、画像管理装置、記録媒体のプログラム、およびプログラムにおいては、複数の画像から構成される画像群の一部の画像と関連付けられた付属情報から、第1の付属情報が選択され、画像群において、選択された第1の付属情報と関連付けられた画像に関連付けられた、第1の付属情報以外の他の付属情報が抽出され、抽出された他の付属情報から、第2の付属情報が選択され、選択された第2の付属情報が、画像群の一部の画像に関連付けられる。
以上のように、本発明によれば、画像を検索することができる。また、本発明によれば、より簡単に、より迅速に、統一されたテキストデータを撮像した画像データに付加することができる。その結果、より迅速に、より確実に所望の画像を検索することができるようになる。
本発明のデジタルスチルカメラの一実施の形態の構成を示すブロック図である。 制御部において実行される制御プログラムの構成を示すブロック図である。 画像データ情報管理ファイルと画像データファイルとの対応関係の例を示す図である。 画像データに対する撮像情報またはキーワードを記録する処理を説明するフローチャートである。 画像と付加情報を表示するLCDの画面の例を示す図である。 キーワード入力画面を表示するLCDの画面の例を示す図である。 画像をサムネイル形式で表示するLCDの画面の例を示す図である。 キーワードの設定の処理を説明するフローチャートである。 キーワードを設定する画像の絞り込みの処理を説明するフローチャートである。 検索区分の選択画面を表示するLCDの画面の例を示す図である。 キーワードの度数のヒストグラム表示の処理を説明するフローチャートである。 キーワードテーブルの例を示す図である。 キーワードテーブルを基に、キーワードをヒストグラム形式で表示するLCDの画面の例を示す図である。 キーワードが選択された場合のキーワードの度数のヒストグラム表示の処理を説明するフローチャートである。 キーワードテーブルの例を示す図である。 キーワードテーブルを基に、キーワードをヒストグラム形式で表示するLCDの画面の例を示す図である。 撮像情報に基づくヒストグラム表示の処理を説明するフローチャートである。 撮像情報メニューを表示するLCDの画面の例を示す図である。 撮影日時をヒストグラム形式で表示するLCDの画面の例を示す図である。 画像を表示するか、他の撮像情報で検索するかを指定する画面を表示するLCDの画面の例を示す図である。 撮像情報メニューを表示するLCDの画面の例を示す図である。 位置情報による検索結果をヒストグラム形式で表示するLCDの画面の例を示す図である。 画像を表示するか、他の撮像情報で検索するかを指定する画面を表示するLCDの画面の例を示す図である。 キーワードまたは撮像情報を検索条件として、抽出された画像の一覧を表示するLCDの画面の例を示す図である。 デジタルスチルカメラの操作部に設けられている十字ボタンによる画像の絞り込みの例を説明する図である。 デジタルスチルカメラの操作部に設けられている十字ボタンの例を示す図である。 キーワードの抽出および設定の処理を説明するフローチャートである。 キーワードまたは撮像情報を検索条件として、抽出された画像の一覧を表示するLCDの画面の例を示す図である。 類似画像検索により検索されたキーワードを表示するLCDの画面の例を示す図である。 類似画像検索により検索された複数の画像の検索結果を表示するLCDの画面の例を示す図である。 本発明を適用した情報処理システムの一実施の形態を示す図である。 サーバの構成例を示すブロック図である。 サーバにより実行されるプログラムの構成の例を示す図である。 デジタルスチルカメラが、サーバからキーワードを取得する処理について説明するフローチャートである。 デジタルスチルカメラが、キーワードが設定された画像データをサーバに設定する処理について説明するフローチャートである。 デジタルスチルカメラが、類似キーワードをサーバから検索する処理について説明するフローチャートである。 パーソナルコンピュータが、キーワードまたは関連情報を、サーバに設定する処理について説明するフローチャートである。 デジタルスチルカメラが、キーワードまたは関連情報を、サーバから検索する処理について説明するフローチャートである。 サーバで検索されたキーワードおよび関連情報を表示するLCDの画面の例を示す図である。 デジタルスチルカメラが、キーワードまたはURL情報を、サーバから検索する処理について説明するフローチャートである。 サーバで検索されたキーワードおよびURL情報を表示するLCDの画面の例を示す図である。
以下、図面を参照しながら本発明の実施の形態について説明する。
図1は、本発明のデジタルスチルカメラ1の一実施の形態の構成を示すブロック図である。
デジタルスチルカメラ1は、被写体を撮像し、撮像の結果得られた画像データを記録する画像管理装置の一例である。
以下、デジタルスチルカメラ1を例にして説明するが、これに限らず、本発明は、例えば、デジタルビデオカメラ、撮像機能付き携帯電話機、または撮像機能付きパーソナルコンピュータなどに適用することができる。
デジタルスチルカメラ1は、カメラ部11、カメラDSP(Digital Signal Processor)12、SDRAM(Synchronous Dynamic Random Access Memory)13、制御部14、操作部15、LCDコントローラ16、LCD17、媒体インターフェイス18、記録媒体19、および外部インターフェイス20を備える。
カメラ部11は、撮像素子と、撮像素子に映像を結像させるレンズなどの光学系から構成される。カメラ部11は、被写体の像を結像させて、結像させた画像を光電変換して、画像に対応する画像データを生成する。カメラ部11は、生成した画像データをカメラDSP12に供給する。
カメラ部11は、光学ブロック31、CCD(Charge Coupled Device)32、前処理回路33、光学ブロックドライバ34、CCDドライバ35、タイミング生成回路36を含む。
光学ブロック31は、例えば、光学レンズ、フォーカス機構、シャッタ機構、および絞り(アイリス)機構などから構成され、被写体に反射した光(の像)を集め、すなわち、被写体の像を光をCCD32の受光部に結像させる。光学ブロック31は、光学ブロックドライバ34により駆動される。
CCD32は、CCDセンサから構成され、CCDドライバ35から供給される駆動信号に応じて、光学ブロック31により結像された光(像)を光電変換することにより、光をアナログの電気信号に変換する。CCD32は、制御部14により制御されるタイミング生成回路36からのタイミング信号を基に、変換したアナログ信号である画像データを前処理回路33に供給する。
なお、CCD32は、CCDセンサに限らず、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサなど、画素を単位として画像の信号を生成する撮像素子であればよい。
前処理回路33は、CCD32から供給されるアナログ信号である画像データに対して、CDS(Correlated Double Sampling)処理を行い、S/N(Signal/Noise)比を良好に保つようにするとともに、AGC(Automatic Gain Control)処理を行い、利得を制御する。そして、前処理回路33は、A/D(Analog/Digital)変換を行い、アナログ信号をデジタル信号に変換し、変換したデジタル信号である画像データをカメラDSP12に供給する。
光学ブロックドライバ34は、制御部14からの制御に応じて、光学ブロック31を動作させる駆動信号を生成し、生成した駆動信号を光学ブロック31に供給して、光学ブロック31を動作させる。例えば、光学ブロックドライバ34は、画像の撮像時に、ユーザの指示に基づいて、合焦させたり、絞りを調節して光量を調整させるための駆動信号を光学ブロック31に供給する。
CCDドライバ35は、タイミング生成回路36から供給されるタイミング信号を基に、CCD32を駆動するための駆動信号を生成し、生成した駆動信号をCCD32に供給する。
タイミング生成回路36は、制御部14による制御を基に、CCD32の動作の時間的な基準となるタイミング信号を生成し、生成したタイミング信号を、CCD32およびCCDドライバ35に供給する。
カメラDSP12は、CCD32から供給されるデジタル信号である画像データに対して、画像処理を適用する。カメラDSP12は、例えば、AF(Auto Focus)処理部41、AE(Auto Exposure)処理部42、AWB(Auto White Balance)処理部43、および圧縮伸張部44などを含み、CCD32から供給された画像データに所定のカメラ信号処理を適用し、所定のカメラ信号処理により、種々の調整がされた画像データを所定の圧縮方式で圧縮する。
また、カメラDSP12は、SDRAMコントローラ45を含む。
カメラDSP12は、例えば、専用のIC(Integrated Circuit)である専用DSP、または汎用DSPなどからなる。
カメラDSP12は、制御部14の制御を基に、システムバス55を介して、圧縮した画像データを記録媒体19に供給し、記録媒体19に画像データをファイルとして記録させる。
また、カメラDSP12は、タッチパネルやコントロールキーなどからなる操作部15を通じて受け付けたユーザからの操作入力に応じて、目的とする画像データが記録媒体19から読み出された場合、システムバス55を介して、記録媒体19から供給されるデータ圧縮されている画像データを、そのデータ圧縮に応じた所定の伸張処理(解凍処理)を行うことで、画像データを伸張し、伸張した画像データを、システムバス55を介して、LCDコントローラ16に供給する。
SDRAM13に記憶されるカメラ部11から供給された画像データに対して、AF処理部41は、被写体に焦点(ピント)を合わせる処理(いわゆる、オートフォーカス)を行い、AE処理部42は、被写体の明るさを基に露出を決定する処理(いわゆる、自動露出)を行い、AWE処理部43は、白色である予め定められたの基準の色を基に全体の画像データを補正する処理(いわゆる、ホワイトバランス)を行う。
圧縮伸張部44は、所定のカメラ信号処理により、種々の調整がされた画像データを所定の圧縮方式で圧縮する。例えば、圧縮伸張部44は、画像データをJPEG(Joint Photographic Experts Group)方式で圧縮する。これにより、画像データのデータ量を減らしてから、画像データを記録媒体19に記録することができる。
また、圧縮伸張部44は、画像データが記録媒体19から読み出された場合、システムバス55を介して、記録媒体19から供給される圧縮されている画像データを、その圧縮の方式に応じた所定の伸張処理(解凍処理)を行うことで、画像データを伸張する。伸張した画像データは、システムバス55を介して、LCDコントローラ16に供給される。
SDRAMコントローラ45は、カメラDSP12が実行するプログラムや各種データに基づいて、SDRAM13を制御することにより、一時的にそれらのプログラムや各種データをSDRAM13に記憶させる。
SDRAM13は、SDRAMコントローラ45の制御に基づいて、カメラDSP12が実行するプログラムや各種データなどを適宜記憶する。例えば、SDRAM13が、カメラ部11から供給される画像データを一時的に記憶することで、カメラDSP12は、一時的に記憶された画像データに対して、所定のカメラ信号処理、および画像データを圧縮する処理を適用して、圧縮された画像データを生成する。生成された画像データは、SDRAM13から読み出され、システムバス55を介して、記録媒体19に供給される。
制御部14は、カメラ部11またはカメラDSP12など、デジタルスチルカメラ1の各部を制御する。例えば、制御部14は、画像を撮像する場合、光学ブロックドライバ34を制御して、光学ブロック31を動作するようにする駆動信号を生成させて、生成した駆動信号を光学ブロック31に供給することで、光学ブロック31を動作させる。
制御部14は、例えば、汎用の組み込み用のMPU(Micro Processing Unit)からなり、CPU(Central Processing Unit)51、RAM(Random Access Memory)52、フラッシュROM(Read Only Memory)53、リアルタイムクロック54、およびシステムバス55を含む。
CPU51は、カメラ部11およびカメラDSP12などデジタルスチルカメラ1の各部を制御する。また、CPU51は、フラッシュROM53またはRAM52に記憶されているプログラムに従って各種の処理を実行する。
RAM52は、CPU51が実行するプログラムや各種のデータなどが適宜記憶される。フラッシュROM53は、CPU51が実行するプログラムや各種のデータを記録する。リアルタイムクロック54は、現在年月日、現在曜日、現在時刻を示すデータを提供する。これにより、デジタルスチルカメラ1は、例えば、撮影日時などを取得することができる。これらのCPU51、RAM52、フラッシュROM53、およびリアルタイムクロック54は、システムバス55により相互に接続される。
システムバス55には、さらに、カメラ部11、カメラDSP12、操作部15、LCDコントローラ16、媒体インターフェイス18、および外部インターフェイス20が接続されている。
操作部15は、例えば、タッチパネル(例えば、LCD17の画面)やコントロールキー(スイッチ)(図示せず)などから構成され、ユーザの操作入力に対応する信号をCPU51に供給する。
LCDコントローラ16は、カメラDSP12から供給される画像データを基に、LCD17に供給する画像信号を生成し、生成した画像信号をLCD17に供給する。LCDコントローラ16は、画像信号をLCD17に供給することにより、LCD17の表示を制御する。
LCD17は、LCDコントローラ16から供給される画像信号を基に、画像信号に応じた画像を表示画面に表示する。これにより、例えば、記録媒体19に記録されている画像データに応じた画像が、LCD17の画面に表示される。
なお、画像の表示の形態は、フラッシュROM14に記録された制御プログラム(後述する)に従う。すなわち、LCDコントローラ16は、CPU51の実行する制御プログラムに従って、LCD17の画面に表示する、画像の表示の形態を決定する。
媒体インターフェイス18は、記録媒体19に対応した所定のインターフェイスである。例えば、媒体インターフェイス18は、記録媒体19がメモリーカードの場合、そのメモリーカードに対応した所定のインターフェイスで構成される。
記録媒体19は、例えば、磁気ディスク71(例えば、HDD(Hard Disk))、光ディスク72(例えば、記録可能なCD(Compact Disc)や記録可能なDVD(Digital Versatile Disc))、光磁気ディスク73(例えば、MD(Mini-Disc)(商標))、または半導体メモリ74(例えば、メモリーカード)などから構成され、着脱が可能である。
外部インターフェイス20は、例えば、IEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)インターフェイスなどの有線用インターフェイス、または光や電波による無線インターフェイスから構成される。すなわち、外部インターフェイス20は、有線、無線のいずれの通信のインターフェイスであってもよい。
例えば、外部インターフェイス20は、例えば、インターネットなどのネットワークに接続することにより、外部のパーソナルコンピュータ(図示せず)と接続して、ネットワークを介して、パーソナルコンピュータから画像データの供給を受けて、これを記録媒体19に記録したり、また、ネットワークを介して、記録媒体19に記録されている画像データを外部のパーソナルコンピュータなどに供給したりする。
また、外部インターフェイス20に通信モジュールを接続して、例えば、インターネットなどのネットワークに接続することにより、デジタルスチルカメラ1は、ネットワークを介して、外部のパーソナルコンピュータから、種々の画像データやその他の情報を取得したり、ネットワークを介して、記録媒体19に記録されている画像データなどの情報を、目的とする相手に供給したりすることもできる。
さらに、ネットワークを介して、外部のパーソナルコンピュータから取得し、記録媒体19に記録した画像データなどの情報についても、デジタルスチルカメラ1において読み出して再生し、LCD17の画面に表示してユーザが利用することも勿論できるようにされている。
このように、デジタルスチルカメラ1は、被写体の画像を撮像して、デジタルスチルカメラ1に装着された記録媒体19に記録することができる共に、記録媒体19に記録された画像データを読み出して、読み出した画像データを再生し、利用することができる。また、デジタルスチルカメラ1は、ネットワークを介して、外部のパーソナルコンピュータから、画像データを取得し、取得した画像データを記録媒体19に記録したり、また、読み出して再生したりすることもできるものである。
図2は、制御部14において実行される制御プログラム101の構成を示すブロック図である。
制御プログラム101は、例えば、制御部14のフラッシュROM53に記憶される。また、制御プログラム101は、フラッシュROM53からRAM52に適宜記憶され、CPU51により実行される。例えば、制御プログラム101は、フラッシュROM53からRAM52に適宜記憶され、撮像後にユーザによって適宜設定される情報(以下、キーワードと称する)、または撮像時に設定される情報(以下、撮像情報と称する)による検索などを行う。
制御プログラム101は、撮像情報記録部111、キーワード記録部112、設定対象画像検索部113、類似情報設定済画像検索部114、キーワード抽出部115、キーワード設定部116、ヒストグラム表示データ生成部117、表示制御部118、および通信制御部119を含む。
撮像情報記録部111は、撮像時に画像データが記録媒体19に記録された場合、画像データに対応させて、記録媒体19に撮像情報を記録させる。例えば、撮像情報記録部111は、画像データに対応させて、“2004.02.28”である撮像日時を記録媒体19に記録させる。
キーワード記録部112は、操作部15へのユーザの操作に基づいて、画像データに対応させて、記録媒体19にキーワードを記録させる。例えば、キーワード記録部112は、画像データに対応させて、“スノーボード”であるキーワードを記録媒体19に記録させる。
設定対象画像検索部113は、キーワードの設定の対象となる画像データを検索する。
設定対象画像検索部113は、キーワード検索部121および撮像情報検索部122を含む。
キーワード検索部121は、記録媒体19に記録されている画像データに設定されているキーワードを検索する。ユーザからキーワードが指示されていない場合、キーワード検索部121は、記録媒体19に記録されている総ての画像データに設定されているキーワードを検索する。ユーザからキーワードが指示されている場合、キーワード検索部121は、記録媒体19に記録されている画像データのうちの、ユーザから指示されているキーワードが設定されている画像データに設定されているキーワードであって、他のキーワード(ユーザから指示されているキーワードを除く、他のキーワード)を検索する。
キーワード検索部121は、記録媒体19に記録されている画像データおよびキーワードから、ユーザから指示されるキーワードを検索の条件(以下、検索条件とする)として、そのキーワードが設定された画像データに設定された他キーワードを検索する。例えば、キーワード検索部121は、ユーザの指示により、“娘”であるキーワードが検索条件として指定された場合、媒体インターフェイス18に装着されている記録媒体19から、“娘”であるキーワードを検索条件として、“娘”であるキーワードが設定されている画像データに設定された、“娘”以外の他キーワードを検索する。
また、キーワード検索部121は、キーワードテーブル(キーワードと、キーワードの度数とを対応させた情報を記憶するテーブル)に、検索したキーワードが格納されているか否かを判定する。キーワード検索部121は、キーワードテーブルに、検索したキーワードが格納されていると判定された場合、キーワードテーブルに格納されている、検索したキーワードの度数を1増加させ、一方、キーワードテーブルに、検索したキーワードが格納されていないと判定された場合、検索したキーワードをキーワードテーブルに新規に追加する。また、キーワード検索部121は、キーワードテーブルのキーワードを度数順に並び替える。
例えば、キーワード検索部121は、キーワード検索部121が検索した“娘”であるキーワードを、記録媒体19から読み出し、キーワードテーブルに格納されているキーワードに、“娘”であるキーワードが格納されているか否かを判定する。キーワード検索部121は、キーワードテーブルに格納されているキーワードに“娘”であるキーワードが格納されていると判定された場合、キーワードテーブルに格納された“娘”であるキーワードの度数を1増加させ、一方、キーワードテーブルに“娘”であるキーワードが格納されていないと判定された場合、“娘”であるキーワードに関連付けて“1”である度数をキーワードテーブルに追加する。
例えば、“娘”であるキーワードが設定されている画像データに設定された、“娘”以外の他のキーワードを検索する場合、キーワード検索部121は、キーワード検索部121が検索した“娘”であるキーワードが設定されている画像データに設定されている“野球”であるキーワードを、記録媒体19から読み出し、キーワードテーブルに格納されているキーワードに、“野球”であるキーワードが格納されている否かを判定する。キーワード検索部121は、キーワードテーブルに格納されているキーワードに“野球”であるキーワードが格納されていると判定された場合、キーワードテーブルに格納された“野球”であるキーワードの度数を1増加させ、一方、キーワードテーブルに“野球”であるキーワードが格納されていないと判定された場合、“野球”であるキーワードに関連付けて“1”である度数をキーワードテーブルに追加する。
また、キーワード検索部121は、キーワードテーブルのキーワードを度数の多い順(降順)にソート(並び替え)をする。例えば、キーワード検索部121は、キーワードテーブルの“娘”(例えば、“2000”である度数)、“スキー”(例えば、“1008”である度数)、“野球”(例えば、“680”である度数)、“温泉”(例えば、“1355”である度数)であるキーワードを“娘”、“温泉”、“スキー”、“野球”のように、降順でソートする。
撮像情報検索部122は、記録媒体19に記録されている画像データに付されている撮像情報を検索する。撮像情報は、画像データの撮像に関する情報である。例えば、撮像情報は、撮影日時、撮影時刻、撮影位置、画像データを撮像した装置を特定する情報、画像データを撮像した撮像者を特定する情報、シャッタースピード・F値・EV値などの撮像時の撮像条件、などである。
なお、以下、撮像情報における、時間に関する情報、位置に関する情報、機器に関する情報、撮像者に関する情報などの情報の種類を区分とも称する。
撮像情報検索部122は、ユーザから撮像情報の区分が指示された場合、記録媒体19に記録されている画像データに付されている撮像情報であって、ユーザから指示された区分の撮像情報を検索する。また、撮像情報検索部122は、ユーザからの所定の区分における撮像情報の特定の値(例えば、“2003.10.12”である撮像日時、または池袋駅付近である撮影位置など)が指定された場合、記録媒体19に記録されている画像データであって、指示された特定の値の撮像情報が付されている画像データについて、その画像データに付されている撮像情報であって、ユーザから指示された区分以外の区分、すなわち他の区分の撮像情報を検索する。
以下、検索において、ユーザが指示する、撮像情報の区分、撮像情報の特定の値、キーワードを検索条件とも称する。
撮像情報検索部122は、ユーザの指示により、“2003.10.12”である撮像情報が検索条件に指定された場合、記録媒体19から、“2003.10.12”である撮像情報を検索条件として、“2003.10.12”である撮像情報が付された画像データに設定された他の撮像情報を検索する。
例えば、撮像情報検索部122は、ユーザの指示により、撮像日時である撮像情報が検索条件に指定された場合、記録媒体19から、“撮像日時”である撮像情報の検索区分を検索条件として、“2003.10.12”、“2003.09.15”、“2003.04.01”、または“2004.04.01”などの画像データに設定された“撮像日時”を検索する。
さらに、撮像情報検索部122は、検索した撮像情報を記録媒体19から読み出し、撮像情報テーブル(撮像情報と、撮像情報の度数とを対応させた情報を記憶するテーブル)に、検索した撮像情報が含まれているか否かを判定する。撮像情報検索部122は、撮像情報テーブルに、検索した撮像情報が格納されていると判定された場合、撮像情報テーブルの検索した撮像情報の度数を1増加させ、一方、撮像情報テーブルに検索した撮像情報が格納されていないと判定された場合、検索した撮像情報を撮像情報テーブルに新規に追加する。また、撮像情報検索部122は、撮像情報テーブルの撮像情報を度数順に並び替える。
例えば、撮像情報検索部122は、検索した“2003.10.12”である撮像情報を記録媒体19から読み出し、撮像情報テーブルに、“2003.10.12”である撮像情報が格納されているか否かを判定する。撮像情報検索部122は、撮像情報テーブルに“2003.10.12”である撮像情報が格納されていると判定された場合、撮像情報テーブルに格納された“2003.10.12”である撮像情報の度数を1増加させ、一方、撮像情報テーブルに“2003.10.12”である撮像情報が格納されていないと判定された場合、“2003.10.12”である撮像情報に関連付けて“1”である度数を撮像情報テーブルに追加する。
さらにまた、撮像情報検索部122は、撮像情報テーブルの撮像情報を度数の多い順(降順)にソート(並び替え)をする。例えば、撮像情報検索部122は、撮像情報テーブルの“2003.10.12”(例えば、“200”である度数)、“2003.04.01”(例えば、“60”である度数)、“2004.04.01”(例えば、“25”である度数)、および“2003.09.15”(例えば、“90”である度数)である撮像情報を“2003.10.12”、“2003.09.15”、“2003.04.01”、“2004.04.01”のように降順でソートする。
類似情報設定済画像検索部114は、ユーザから指示されたキーワードと異なるキーワードが設定され、ユーザから指示されたキーワードが設定されている画像データを検索する。また、類似情報設定済画像検索部114は、ユーザから指示されたキーワードと異なるキーワードが設定され、ユーザから指示されたキーワードおよび撮像情報が設定されている画像データを検索する。
すなわち、類似情報設定済画像検索部114は、設定対象画像検索部113による画像データの検索における検索条件であるキーワードまたは撮像情報が設定されている画像データであって、検索条件とされていないキーワードが設定されている画像データを検索する。
例えば、類似情報設定済画像検索部114は、ユーザの指示により、“娘”であるキーワード、および“2003.10.12”である撮像日時によって、キーワードを設定するための絞りこみが行われた場合(設定対象画像検索部113によって画像データが検索された場合)、記録媒体19に記録された画像データから、“娘”であるキーワードが設定され、“2003.10.12”である撮像日時である撮像情報が付加され、かつ、“娘”であるキーワード以外のキーワードが設定されている画像データを検索する。
また、類似情報設定済画像検索部114は、ユーザの指示に基づいて、画像を検索するか否かを判定する。例えば、類似情報設定済画像検索部114は、ユーザの指示により、LCD17の画面に表示された画像を検索するボタンに応じたコントロールキーが押された場合、画像を検索すると判定する。さらに、類似情報設定済画像検索部114は、所望の画像データにキーワード入力をすることを示す指示情報を設定する。例えば、類似情報設定済画像検索部114は、キーワードを入力する画像データに指示情報(例えば、フラグ)を設定する。
キーワード抽出部115は、類似情報設定済画像検索部114が検索した画像データに設定されているキーワードを抽出する。キーワード抽出部115は、抽出したキーワードを表示制御部118に供給する。例えば、キーワード抽出部115は、類似情報設定済画像検索部114が“結婚式”、“○○家”、および“娘”であるキーワードが設定された画像データを検索した場合、検索された画像データに設定されている“結婚式”、“○○家”、および“娘”であるキーワードを抽出し、抽出した“結婚式”、“○○家”、および“娘”であるキーワードを表示制御部118に供給する。
キーワード設定部116は、記録媒体19に記録されている画像データに対してキーワードを設定する。例えば、キーワード設定部116は、記録媒体19に記録されている画像データ(例えば、スノーボードをしている画像)に対して、“スノーボード”であるキーワードを設定する。
また、キーワード設定部116は、類似情報設定済画像検索部114により指示情報が設定された画像データに対して、キーワード抽出部115が抽出したキーワードを設定する。より具体的には、キーワード抽出部115により“結婚式”および“○○家”であるキーワードが抽出された場合、キーワード設定部116は、指示情報が設定された画像データに対して、“結婚式”および“○○家”であるキーワードを設定する。
さらに、キーワード設定部116は、記録媒体19に記録されている画像データに対して、キーワードおよびキーワードに対応する関連情報を設定する。例えば、キーワード設定部116は、記録媒体19に記録されている画像データに対して、“○○温泉”であるキーワードおよび“○○温泉”であるキーワードに対応する“○○温泉付近の△△という食堂はおいしい”などである関連情報を設定する。
ここで、関連情報とは、キーワードに関連した情報をいい、例えば、“○○温泉”であるキーワードに対応した、“○○温泉付近の△△という食堂はおいしい”である情報が関連情報である。
さらにまた、キーワード設定部116は、記録媒体19に記録されている画像データに対して、キーワードおよびキーワードに対応したURL(Uniform Resource Locator)情報を設定する。例えば、キーワード設定部116は、記録媒体19に記録されている画像データに対して、“○○温泉”であるキーワードおよび“○○温泉”であるキーワードに対応する“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”などであるURL情報を設定する。
ここで、URL情報とは、URL方式のWebページへのリンク情報とそのリンクページのタイトルなどからなる情報をいい、例えば、“○○温泉”であるキーワードに対応する“○○温泉紹介 http://www.aaa.or.jp”である情報がURL情報である。なお、URL情報は、URL方式のWebページへのリンク情報のみからなるようにしてもよい。
ヒストグラム表示データ生成部117は、キーワード検索部121から供給されたキーワードテーブルに格納されたデータを基に、キーワードに対するキーワードの度数(キーワードの数)をヒストグラム形式でLCD17の画面に表示するためのデータ(以下、ヒストグラム表示データと称する)を生成する。また、ヒストグラム表示データ生成部117は、撮像情報検索部122から供給された撮像情報テーブルに格納されたデータを基に、撮像情報に対する撮像情報の度数(撮像情報の数)をヒストグラム形式でLCD17の画面に表示するためのヒストグラム表示データを生成する。ヒストグラム表示データ生成部117は、生成したヒストグラム表示データを表示制御部118に供給する。
例えば、ヒストグラム表示データ生成部117は、キーワード検索部121から供給されたキーワードテーブルに格納されたデータが、“娘”であるキーワードと、“娘”であるキーワードに対応した度数が“2000”である場合、“娘”であるキーワードに対する“2000”である度数を示すヒストグラムを表示するためのヒストグラム表示データを生成し、生成したヒストグラム表示データを表示制御部118に供給する。
表示制御部118は、LCDコントローラ16を制御することで、記録媒体19に記録された画像データに応じた画像、キーワード、または撮像情報などを、所定の形式(例えば、ヒストグラム形式やサムネイル形式など)に従って、LCD17の画面に表示させる。
例えば、表示制御部118は、ヒストグラム表示データ生成部117から供給されるヒストグラム表示データに応じて、キーワードまたは撮像情報に対する度数をヒストグラム形式でLCD17の画面に表示する。
通信制御部119は、外部インターフェイス20を制御して、例えば、インターネットなどのネットワークを介して、外部インターフェイス20にサーバとのデータのやり取りをさせる。
通信制御部119は、送信制御部123および受信制御部124を含む。
送信制御部123は、外部インターフェイス20において行われる、例えば、キーワードまたは撮像情報などの送信を制御する。例えば、送信制御部123は、ユーザが画像データに設定するキーワードをサーバに問い合わせる所定の操作を行った場合、外部インターフェイス20を制御して、外部インターフェイス20に撮像情報をサーバに送信させる。
受信制御部124は、外部インターフェイス20において行われる、例えば、後述する関連情報またはURL情報などの受信を制御する。例えば、受信制御部124は、外部インターフェイス20を制御して、外部インターフェイス20にサーバから送信されてきた関連情報を受信させる。
図3は、画像データ情報管理ファイルと画像データファイルとの対応関係の例を示す図である。
画像データ情報管理ファイル201−1乃至画像データ情報管理ファイル201−N、および画像データファイル211−1乃至画像データファイル211−Nは、例えば、記録媒体19に記録される。
画像データ情報管理ファイル201−1は、画像データファイル211−1に関する情報を記録する。画像データ情報管理ファイル201−1は、例えば、撮像情報群212−1、キーワード群213−1、ファイルポインタ214−1、およびサムネイルデータ215−1を含むように構成される。また、ファイルポインタ214−1と画像データファイル211−1とが関連付けされている。
撮像情報群212−1は、画像データファイル211−1に設定された、撮像日時、位置情報、カメラ情報、または撮像者などの撮像情報である。撮像情報群212−1は、例えば、“2003.10.12”である撮像日時、“池袋駅付近”からなる。
キーワード群213−1は、画像データファイル211−1に設定された、ゼロ、1、または複数のキーワードを記録する。キーワード群213−1は、例えば、“娘”であるキーワードからなる。
ここで、上述した撮像情報とキーワードについて、より詳細な説明をする。また、撮像情報とキーワードを総称して、付加情報と称する。
キーワードは、撮像情報を基にして、設定することもできる。例えば、キーワードは、撮像情報とキーワードとが関連付けされた変換テーブルを予め記憶しておく(例えば、フラッシュROM53に記憶する)ことで、設定することができる。より具体的には、“6:00〜10:00”である撮像時間に対応して、“朝”であるキーワードを変換テーブルに予め記憶しておくことで、例えば、8時に撮像された画像には、“朝”であるキーワードが設定される。
また、詳細は後述するが、予め特定した場所(例えば、緯度、経度などで特定した場所および範囲)である位置情報に対応して、“自宅”であるキーワードを変換テーブルに予め記憶しておくことで、例えば、特定の場所で撮影された画像には、“自宅”であるキーワードが設定される。
さらに、キーワードは、撮像情報をデジタルスチルカメラ1以外の装置(例えば、パーソナルコンピュータ)に供給することで設定することもできる。より具体的には、例えば、外部インターフェイス20は、CPU51の制御に基づいて、ネットワークを介して、撮像情報を外部のサーバ(図示せず)に供給する。サーバは、取得した撮像情報および予め記憶された変換テーブルを基に、取得した撮像情報に対応したキーワードを検索し、ネットワークを介して、検索したキーワードをデジタルスチルカメラ1に供給する。デジタルスチルカメラ1は、サーバから供給されたキーワードを取得して、CPU51の制御に基づいて、取得したキーワードを対象となる画像に対して設定することもできる。
なお、撮像情報とキーワードとを複合条件(AND条件)にして検索することも可能である。より具体的には、始めに、“娘”であるキーワードで画像を検索し、さらに、撮影日時(例えば、“2003年10月12日”)である撮像情報で画像を検索することができる。すなわち、キーワードとして“娘”が設定されている画像で、かつ、“2003年10月12日”に撮像された画像を検索することができる。
また、キーワードは、数字、記号は勿論、日本語のみならず、英語、フランス語など、任意の言語とすることができる。
ファイルポインタ214−1は、画像データ情報管理ファイル201−1と画像データファイル211−1との関連を示す情報である。ファイルポインタ214−1は、例えば、画像データファイル211−1の記録媒体19上のメモリ領域を指し示す変数、いわゆるポインタとすることにより、画像データ情報管理ファイル201−1と画像データファイル211−1とを関連付ける。
サムネイルデータ215−1は、画像データファイル211−1の画面のサイズおよびデータのサイズを縮小した画像データである。画像データファイル211−1に対するサムネイルデータ215−1で記録することにより、例えば、LCD17の画面にサムネイル形式の画像を表示する場合、画像データファイル211−1ではなくサムネイルデータ215−1を用いてサムネイル形式の画像を表示することができるので、より迅速に、サムネイル形式の画像をLCD17の画面に表示することができる。
画像データファイル211−1は、例えば、JPEG方式で圧縮された画像データを格納する。
画像データ情報管理ファイル201−2と画像データファイル211−2との対応関係、乃至、画像データ情報管理ファイル201−Nと画像データファイル211−Nとの対応関係は、画像データ情報管理ファイル201−1と画像データファイル211−1との対応関係と同一であるので、その説明は省略する。
また、画像データ情報管理ファイル201−2乃至画像データ情報管理ファイル201−Nは、画像データ情報管理ファイル201−1と同様に構成されるので、その説明は省略する。
このように、画像データの情報を管理する画像データ情報管理ファイル201−1乃至画像データ情報管理ファイル201−Nと、画像データを格納する画像データファイル211−1乃至画像データファイル211−Nとを別々に記録することで、例えば、付加情報をLCD17の画面に表示したい場合、画像データ情報管理ファイル201−1乃至画像データ情報管理ファイル201−Nから、付加情報およびサムネイルデータのうち、必要なデータ(情報)のみを読み込めばよいので、読み出すデータのデータ量およびシーク回数を減らすことができ、より迅速に、付加情報またはサムネイルをLCD17の画面に表示することができる。
なお、画像データ情報管理ファイル201−1乃至画像データ情報管理ファイル201−Nと、画像データファイル211−1乃至画像データファイル211−Nとを別々のファイルとして記録するように説明したが、画像データ情報管理ファイル201−1乃至画像データ情報管理ファイル201−Nに含まれる情報を、画像データファイル211−1乃至画像データファイル211−Nに含まれる情報にそれぞれ埋め込み、それぞれ埋め込まれた情報を含む画像データファイル211−1乃至画像データファイル211−N(例えば、EXIF(Exchangeable Image File Format)形式)をそれぞれ1つのファイルとして記録するようにしてもよい。
また、画像データ情報管理ファイル201−1乃至画像データ情報管理ファイル201−Nに記録される情報は、上述した、撮像情報群212−1乃至撮像情報群212−N、キーワード群213−1乃至キーワード群213−N、ファイルポインタ214−1乃至ファイルポインタ214−N、サムネイルデータ215−1乃至サムネイルデータ215−Nに限られるものではなく、例えば、関連情報を記録する関連情報群、URL情報を記録するURL情報群などを設けるようにしてもよい。
以下、画像データ情報管理ファイル201−1乃至画像データ情報管理ファイル201−Nを個々に区別する必要がないとき、単に、画像データ情報管理ファイル201と称する。また、以下、撮像情報群212−1乃至撮像情報群212−Nを個々に区別する必要がないとき、単に、撮像情報群212と称する。さらに、以下、キーワード群213−1乃至キーワード群213−Nを個々に区別する必要がないとき、単に、キーワード群213と称する。
さらにまた、以下、ファイルポインタ214−1乃至ファイルポインタ214−Nを個々に区別する必要がないとき、単に、ファイルポインタ214と称する。また、以下、サムネイルデータ215−1乃至サムネイルデータ215−Nを個々に区別する必要がないとき、単に、サムネイルデータ215と称する。さらに、以下、画像データファイル211−1乃至画像データファイル211−Nを個々に区別する必要がないとき、単に、画像データファイル211と称する。
次に、上述した撮像情報群212またはキーワード群213と画像データファイル211とを関連付ける処理について説明する。
図4は、画像データに対する撮像情報またはキーワードを記録する処理を説明するフローチャートである。
ステップS1において、上述したように、カメラDSP12は、制御部14の制御を基に、システムバス55を介して、圧縮した画像データを記録媒体19に供給し、記録媒体19に画像データを画像データファイル211として記録させる。
ステップS2において、撮像情報記録部111は、画像データ(画像データファイル211)に対応させて撮像情報を記録させる。例えば、撮像情報記録部111は、リアルタイムクロック54から現在の日時を取得し、取得した日時を撮像日時として、画像データファイル211に対応させて“2004.02.28”である撮像日時を撮像情報群212に記録させる。
ステップS3において、キーワード記録部112は、ユーザの操作に応じた操作部15からの信号に基づいて、画像データ(画像データファイル211)に対応させてキーワードを記録させて処理は終了する。例えば、キーワード記録部112は、ユーザの操作に基づいて、画像データファイル211に対応させて、“スノーボード”であるキーワードをキーワード群213に記録させる。
上述したキーワードを画像データに設定する方法(例えば、図4のステップS3の処理)は、ユーザがキーワードを設定する画面から、キーワードを手入力し、手入力されたキーワードを画像データに設定する方法と、画像データに既に設定されているキーワードを抽出して、抽出されたキーワードを所望の画像データに設定する方法がある。ここでは、まず、図5および図6を参照して、ユーザの手入力によるキーワードの設定の例を説明する。
図5は、画像と付加情報とを表示するLCD17の画面の例を示す図である。
画像と付加情報とを示す画面は、例えば、ユーザの操作により、サムネイル形式で表示された1枚の画像が選択され、所定のコントロールキーが押されることで、LCD17の画面に表示される。
画像251は、撮像情報252である撮像情報、およびキーワード253であるキーワードが、付加情報として設定されている画像である。
撮像情報252は、画像251(を表示させる画像データ)に設定されている撮像情報である。撮像情報252は、“2004.02.28”である日時(撮像日時)、“ユーザA”である撮像者、および“○○温泉付近”である場所(撮像位置)からなり、これらが、画像251(を表示させる画像データ)の撮像情報として設定されている。キーワード253は、画像251(を表示させる画像データ)に設定されているキーワードである。キーワード253は、“息子”および“○○温泉”からなり、これらが、画像251(を表示させる画像データ)のキーワードとして設定されている。
例えば、ユーザがデジタルスチルカメラ1の操作部15に設けられているスイッチ(以下、単にスイッチと称する)を押すことで、追加ボタン254に対応する信号がCPU51に供給される。すなわち、追加ボタン254は、画像251にキーワード253以外のキーワードを設定したい場合、ユーザに操作される。
また、追加ボタン254に対応する信号をCPU51に供給する処理は、上述した例に限定されるものではない。例えば、LCD17の上側にタッチパネルを設けて、ユーザがLCD17の画面に表示される追加ボタン254に触れることで(タッチパネルを押圧することで)、追加ボタン254に対応する信号がCPU51に供給されるようにしてもよい。
なお、以下の説明においては、LCD17の画面に表示される種々のボタンに対応する信号は、ユーザが操作部15のスイッチを押すことで、CPU51に供給されるものとして説明するが、これに限るものではなく、ユーザがタッチパネル、ダイヤル、キーボード、ジョグダイアルなどを操作することにより、CPU51に供給するようにしてもよい。
図6は、キーワード入力画面を表示するLCD17の画面の例を示す図である。
ユーザの操作により、例えば、図5の追加ボタン254に対応するスイッチが押された場合、CPU51は、追加ボタン254から供給される信号に応じて、LCDコントローラ16に、キーワード入力画面をLCD17の画面に表示させる。
以下、図5の追加ボタン254に対応するスイッチが押された場合について説明する。LCD17の画面に表示されたキーワード入力画面には、図5の画像251にキーワードを追加するので、画像251のキーワード253、追加するキーワードを入力するテキストボックス261、および決定ボタン263が表示される。
キーワード253は、画像251にキーワードを追加する前に設定されているキーワードであり、例えば、“息子”および“○○温泉”である。テキストボックス261には、ユーザの操作により、画像251に追加したいキーワードが入力される。例えば、画像251は、スノーボードをしている画像であるので、画像251を連想させる文字列として“スノーボード”であるキーワードを入力する(図6に示す例において、文字262は、“スノーボード”であるキーワードを入力する途中の文字“すのー”である)。
決定ボタン263は、例えば、ユーザが決定ボタン263に対応したスイッチを押すことで、決定ボタン263に対応する信号をCPU51に供給する。キーワード設定部116は、供給された信号に応じたCPU51の制御に基づいて、テキストボックス261に入力されたキーワードを対象となっている画像に対して設定する。例えば、キーワード設定部116は、CPU51の制御に基づいて、“スノーボード”であるテキストボックス261に入力されたキーワードを、画像251(を表示させる画像データ)のキーワードとして設定する。
すなわち、画像251(を表示させる画像データ)には、“息子”、“〇〇温泉”、および“スノーボード”であるキーワードが設定されたことになる。
このように、ユーザの操作によって、キーワードを手入力することによって、任意の画像に対して任意のキーワードを設定することができる。
次に、図7乃至図30を参照して、上述したキーワードを手入力によって設定する方法ではなく、画像データに既に設定されているキーワードを抽出して、抽出されたキーワードを所望の画像データに設定する例を説明する。
図7は、画像をサムネイル形式で表示するLCD17の画面の例を示す図である。
画像272−1乃至画像272−12は、記録媒体19に記録されている画像データに対するサムネイルの画像である。
より具体的には、LCDコントローラ16は、制御プログラム101の表示制御部118を実行するCPU51の制御に基づいて、記録媒体19から、複数の画像を一覧表示するために縮小された画像であるサムネイル形式の画像を表示させるためのサムネイルデータ215を取得し、取得したサムネイルデータ215に応じた画像信号を生成し、生成した画像信号をLCD17に供給する。LCD17は、LCDコントローラ16から供給された画像信号を基に、画像272−1乃至画像272−12を表示する。
検索ボタン271は、例えば、ユーザが検索ボタン271に対応するスイッチを押すことで、検索ボタン271に対応する信号をCPU51に供給する。例えば、検索ボタン271は、付加情報に基づいて所望の画像を検索したい場合、ユーザの操作により選択される。
以下、ユーザの操作により、検索ボタン271に対応するスイッチが押された場合について説明する。
図8は、画像データに既に設定されているキーワードを抽出して、抽出されたキーワードを所望の画像データに設定する、キーワードの設定の処理を説明するフローチャートである。
ステップS11において、制御プログラム101は、ユーザの指示に基づいて、キーワードまたは撮像情報により、キーワードを設定する画像を絞り込む。キーワードを設定する画像の絞り込みの処理の詳細は後述する。
ステップS12において、制御プログラム101は、ステップS11の処理で絞り込んだ画像に対して設定するキーワードを抽出し、抽出したキーワードを絞り込んだ画像に設定して処理は終了する。キーワードの抽出および設定の処理の詳細は後述する。
次に、ステップS11の処理に対する、図8のキーワードを設定する画像の絞り込みの処理について、図9のフローチャートを参照して説明する。
ステップS101において、キーワード検索部121、ヒストグラム表示データ生成部117、および表示制御部118は、キーワードの度数のヒストグラムの表示の処理を実行する。例えば、キーワードの度数のヒストグラムの表示の処理において、キーワード検索部121は、ユーザの指示に基づいて、全画像データに設定されているキーワードを検索する。キーワードの度数のヒストグラム表示の処理の詳細は後述する。
ステップS102において、キーワード検索部121、ヒストグラム表示データ生成部117、および表示制御部118は、キーワードが選択された場合のキーワードの度数のヒストグラムの表示の処理を実行する。例えば、ステップS102の処理において、キーワード検索部121は、ユーザによって、“娘”であるキーワードが選択された場合、“娘”であるキーワードが設定されている画像データのその他のキーワードを検索する。キーワードが選択された場合のキーワードの度数のヒストグラム表示の処理の詳細は後述する。
ステップS103において、撮像情報検索部122、ヒストグラム表示データ生成部117、および表示制御部118は、撮像情報に基づくヒストグラムの表示の処理を実行する。例えば、ステップS103の処理において、撮像情報検索部122は、ユーザによって、“2003.10.12”である撮像情報が選択された場合、“2003.10.12”である撮像情報が設定されている画像データの撮像情報を検索する。撮像情報に基づくヒストグラム表示の処理の詳細は後述する。
なお、キーワードの度数のヒストグラムの表示の処理、キーワードが選択された場合のキーワードの度数のヒストグラム表示の処理、撮像情報に基づくヒストグラム表示の処理の順に、処理が実行される例を説明したが、これに限らず、所望の順序で処理を実行するようにしてもよい。例えば、撮像情報に基づくヒストグラム表示の処理を実行してから、キーワードの度数のヒストグラムの表示の処理およびキーワードが選択された場合のキーワードの度数のヒストグラム表示の処理を実行したり、撮像情報に基づくヒストグラム表示の処理の後に、再度、キーワードの度数のヒストグラムの表示の処理およびキーワードが検索された場合のキーワードの度数のヒストグラム表示の処理を実行したりするようにしてもよい。
キーワードの度数のヒストグラムの表示の処理、キーワードが選択された場合のキーワードの度数のヒストグラム表示の処理、および撮像情報に基づくヒストグラム表示の処理の順序は、ユーザからの指示によって決めることができる。図10は、この順序を決めるための、検索区分の選択画面を表示するLCD17の画面の例を示す図である。
ユーザの操作により、例えば、図7の検索ボタン271に対応するスイッチが押された場合、CPU51は、検索ボタン271から供給される信号に応じて、LCDコントローラ16に、検索区分の選択画面をLCD17の画面に表示させる。検索区分の選択画面には、撮像情報検索ボタン281およびキーワード検索ボタン282が表示される。
例えば、ユーザがキーワード検索ボタン282に対応したスイッチを押した場合、キーワードの度数のヒストグラムの表示の処理およびキーワードが選択された場合のキーワードの度数のヒストグラム表示の処理が実行される。
例えば、ユーザが撮像情報検索ボタン271に対応したスイッチを押した場合、撮像情報に基づくヒストグラム表示の処理が実行される。
ステップS104において、設定対象画像検索部113は、キーワードまたは撮像情報を検索条件として、ステップS101乃至ステップS103の処理を行うことで、絞り込まれた画像データを検索する。
ステップS105において、表示制御部118は、ステップS104の処理によって検索された画像データを基に、キーワードを設定する画像データで表示される画像をLCD17の画面に表示して処理は終了する。
例えば、表示制御部118は、ステップS101またはステップS102の処理において、検索条件として“娘”であるキーワードが指示され、ステップS103の処理において、“2003.10.12”である撮像情報が指示された場合、“娘”であるキーワードおよび“2003.10.12”である撮像情報とが設定された画像データをキーワードを設定する画像データとして、表示制御部118は、その画像データで表示される画像をLCD17の画面に表示させる。例えば、後述する図24で示されるように、キーワードまたは撮像情報を検索条件として、抽出された画像の一覧が表示される。
次に、図9のステップS101の処理に対する、キーワードの度数のヒストグラム表示の処理の詳細について、図11のフローチャートを参照して説明する。
ステップS201において、キーワード検索部121は、記憶媒体19から、1つの画像データに対して設定されたキーワード群213を検索する。例えば、キーワード検索部121は、記録媒体19に記録された1つの画像データに対して設定された“娘”であるキーワードを示すキーワード群213を検索する。
ここで、キーワード群213とは、上述したように、1つの画像データに対して設定されたゼロ、1、または複数のキーワードの集合をいう。例えば、“娘”および“スキー”であるキーワードが設定されている画像データに対するキーワード群213は、“娘”であるキーワードおよび“スキー”であるキーワードを含む。また、画像データには、キーワードが設定されているものと、キーワードが設定されていないものがあるが、キーワード検索部121は、キーワードが設定されていない画像データについても検索結果として“キーワードなし”を取得する。
ステップS202において、キーワード検索部121は、ステップS201の処理によって検索されたキーワード群213を、記録媒体19から読み出す。
ステップS203において、キーワード検索部121は、ステップS202の処理で読み出したキーワード群213に含まれるキーワードを基に、キーワードが存在するか否かを判定する。例えば、キーワード検索部121は、キーワード群213に“娘”であるキーワードが含まれている場合(画像データに“娘”であるキーワードが設定されている場合)、キーワードが存在すると判定し、キーワード群213にキーワードが含まれていない場合、すなわち、“キーワードなし”である検索結果が得られた場合、キーワードは存在しないと判定する。
ステップS203において、キーワードが存在しないと判定された場合、ステップS204に進み、キーワード検索部121は、キーワードテーブルの“キーワードなし”の度数を1増加させる。
なお、キーワードテーブルを、例えば、RAM52または記録媒体19などに予め記録するようにしてもよく、また、キーワードの度数のヒストグラム表示の処理を実行する前に、キーワード検索部121が、キーワードテーブルを生成するようにしてもよい。
図12は、キーワードテーブルの例を示す図である。
図12で示されるキーワードテーブルの例において、1行目は項目を示し、2行目以降は各キーワードの度数を示す。また、左側の1列目は“キーワード”、右側の2列目は“度数”を示す。すなわち、キーワードテーブルは、キーワードと、キーワードに対応させて各キーワードが何件あるかを示す値である度数とを格納する。
例えば、図12で示されるキーワードテーブルの例において、“娘”であるキーワードに対して、“2000”である度数が記録されている。また、“スキー”であるキーワードに対して、“1008”である度数が記録されている。さらに、“野球”であるキーワードに対して、“680”である度数が記録されている。また、“温泉”であるキーワードに対して、“1355”である度数が記録されている。さらに、“入園式”であるキーワードに対して、“450”である度数が記録されている。また、“遊園地”であるキーワードに対して、“500”である度数が記録されている。さらに、“キーワードなし”に対して、“455”である度数が記録されている。なお、キーワードテーブルにおける“キーワードなし”に対する度数は、キーワードが設定されていない画像データの数を示す。
例えば、ステップS203において、キーワードが存在しないと判定された場合、キーワード検索部121は、例えば、図12のキーワードテーブルの“キーワードなし”に対する度数を、“455”から“456”へ増加させる。
図11に戻り、一方、ステップS203において、キーワードが存在すると判定された場合、ステップS205に進み、キーワード検索部121は、キーワード群213に含まれるキーワードが、キーワードテーブルに記憶されているキーワードに含まれているか否かを判定する。
例えば、ステップS205において、キーワード検索部121は、キーワード群213に含まれるキーワードが、図12のキーワードテーブルに格納されているか否かを判定する。より具体的には、例えば、キーワード群213に“娘”であるキーワードが含まれている場合、キーワード検索部121は、“娘”であるキーワードが、図12のキーワードテーブルに格納されているので、対象となっているキーワード(“娘”であるキーワード)がキーワードテーブルに格納されていると判定する。一方、例えば、キーワード群213に“息子”であるキーワードが含まれている場合、キーワード検索部121は、“息子”であるキーワードが、図12のキーワードテーブルに格納されていないので、対象となっているキーワード(“息子”であるキーワード)がキーワードテーブルに格納されていないと判定する。
ステップS205において、キーワード群213に含まれるキーワードが、キーワードテーブルに格納されていないと判定された場合、ステップS206に進み、キーワード検索部121は、該当するキーワードをキーワードテーブルに新規に追加し、新規に追加したキーワードに対して、 “1”である度数を追加する。
例えば、キーワード検索部121は、キーワード群213のキーワードが“息子”の場合、図12のキーワードテーブルに格納されているキーワードには、“息子”であるキーワードが存在しないので、図12のキーワードテーブルに、“息子”であるキーワードと、“息子”であるキーワードに対して、“1”である度数を記録する。すなわち、“息子”であるキーワードが、図12のキーワードテーブルに新規に追加される(図示せず)。
一方、ステップS205において、キーワード群213に含まれるキーワードが、キーワードテーブルに格納されていると判定された場合、ステップS207に進み、キーワード検索部121は、キーワードテーブルの該当するキーワードの度数を1増加させる。例えば、キーワード検索部121は、キーワード群213のキーワードが“娘”の場合、図12のキーワードテーブルの“娘”に対する度数を、“2000”から“2001”へ増加させる。
なお、複数のキーワードが設定された画像データの場合、キーワード検索部121は、キーワードの数だけ、ステップS205乃至ステップS207の処理を繰り返す。例えば、キーワード検索部121は、キーワード群213に“娘”であるキーワードおよび“スキー”であるキーワードが含まれる場合、図12のキーワードテーブルの“娘”に対する度数を“2000”から“2001”へ増加させ、さらに、“スキー”に対する度数を“1008”から“1009”へ増加させる。
ステップS208において、キーワード検索部121は、ステップS201の処理で、キーワード群213が検索された画像データが、最終の画像データであるか否かを判定する。
ステップS208において、最終の画像データではないと判定された場合、画像データはまだ残っているので(検索されていないキーワードがまだ残っているので)、ステップS201に戻り、上述した処理を繰り返す。
一方、ステップS208において、最終の画像データであると判定された場合、総てのキーワードを検索したので、ステップS209に進み、キーワード検索部121は、キーワードテーブルのキーワードを度数の多い順(降順)にソート(並び替え)をする。キーワード検索部121は、ソートしたキーワードテーブルのデータをヒストグラム表示データ生成部117に供給する。
例えば、キーワード検索部121は、図12のキーワードテーブルの“娘”、“スキー”、“野球”、“温泉”、“入園式”、“遊園地”、および“キーワードなし”であるキーワードを“娘”、“温泉”、“スキー”、“野球”のように、降順でソートし、さらに、“娘”、“温泉”、“スキー”、“野球”以外のキーワードである“その他”、キーワードが設定されていない画像データである“キーワードなし”の順に並べて、ソートしたキーワードテーブルのデータをヒストグラム表示データ生成部117に供給する。
ステップS210において、ヒストグラム表示データ生成部117は、キーワード検索部121から供給されたキーワードテーブルのデータを基に、キーワードをヒストグラム形式でLCD17の画面に表示するためデータであるヒストグラム表示データを生成する。ヒストグラム表示データ生成部117は、生成したヒストグラム表示データを表示制御部118に供給する。
例えば、ヒストグラム表示データ生成部117は、キーワード検索部121から供給される図12のキーワードテーブルのデータを基に、ヒストグラム表示データを生成し、生成したヒストグラム表示データを表示制御部118に供給する。
ステップS211において、表示制御部118は、ヒストグラム表示データ生成部117から供給されるヒストグラム表示データを基に、キーワードをヒストグラム形式でLCD17の画面に表示して、処理は終了する。
図13は、キーワードの度数のヒストグラム表示の処理による、図12のキーワードテーブルを基に、キーワードをヒストグラム形式で表示するLCD17の画面の例を示す図である。
図中左側のキーワードに対して、キーワードの度数に対応した長さの長方形(柱)が表示され、さらに、この長方形の右側に、度数が数字で表示される。また、選択キーワード表示エリア291には、ユーザの指示に基づいて、絞り込みの条件となったキーワード(既に選択されているキーワード)が表示される(図13で示される例においては、まだ、キーワードによる絞り込みをしていないので(またキーワードが選択されていないので)、“選択キーワード:なし”と表示される)。
カーソル292は、キーワードを選択するためのカーソルである。例えば、ユーザがカーソル292を移動させて、所望のキーワードがカーソル292で選択されている状態でスイッチを押した場合、ヒストグラム形式でLCD17の画面に表示されているキーワードから、ユーザの操作により選択されたキーワードにより、さらに、画像が絞り込まれる。
例えば、図12で示されるキーワードをヒストグラム形式で表示するLCD17の画面の例において、“娘”であるキーワードに対して、“2000”である度数に対応した長さの長方形がLCD17の画面に表示される。また、“温泉”であるキーワードに対して、“1355”である度数に対応した長さの長方形がLCD17の画面に表示される。さらに、“スキー”であるキーワードに対して、“1008”である度数に対応した長さの長方形がLCD17の画面に表示される。また、“野球”であるキーワードに対して、“680”である度数に対応した長さの長方形がLCD17の画面に表示される。さらに、“その他”であるキーワードに対して、“1470”である度数に対応した長さの長方形がLCD17の画面に表示される。さらにまた、“なし”であるキーワードに対して、“455”である度数に対応した長さの長方形がLCD17の画面に表示される。
すなわち、ステップS201乃至ステップS208の処理によって、キーワードテーブルにキーワードおよび度数が設定され、設定されたキーワードテーブルを基に、ステップS209の処理において、キーワードが降順にソートされ、ステップS210およびステップS211の処理において、キーワードがソートされたキーワードテーブルを基に、ヒストグラムが表示される。
このように、キーワードによる画像の検索の結果が、ヒストグラム形式でLCD17の画面に表示されるので、ユーザは、直感的に、キーワードの数、すなわち、各キーワードが設定された画像の数を把握することができる。
次に、図13を参照して説明した、キーワードをヒストグラム形式でLCD17の画面に表示した後、ユーザの指示により、ヒストグラム形式で表示されたキーワードの中から、所望のキーワード(“娘”であるキーワード)が選択された場合について説明する。
図14は、図9のステップS102の処理に対する、キーワードが選択された場合のキーワードの度数のヒストグラム表示の処理の詳細を説明するフローチャートである。
ステップS301において、キーワード検索部121は、ユーザの指示により選択された所望のキーワードを取得する。例えば、キーワード検索部121は、図13で示される例において、ユーザが、“娘”であるキーワードをカーソル292で選択し、スイッチを押した場合、“娘”であるキーワードを取得する。
ステップS302において、キーワード検索部121は、キーワードを、再度、ヒストグラム形式で表示するために、キーワードテーブルをクリアする。例えば、キーワード検索部121は、図13のキーワードをヒストグラム形式で表示する基となった、図12のキーワードテーブルをクリアする。
ステップS303において、キーワード検索部121は、取得したキーワードを基に、記録媒体19から、取得したキーワードが設定されている画像データに設定されているその他のキーワード群213を検索する。例えば、キーワード検索部121は、“娘”であるキーワードを取得した場合、記録媒体19に記録された画像データから、“娘”であるキーワードが設定されている画像データについて、その画像データに設定された“娘”であるキーワード以外の“温泉”、“入園式”、“野球”、“スキー”、“遊園地”、または“テニス”などをその他のキーワードとして検索する。
また、“娘”であるのキーワード以外のキーワードが設定されていない画像データ、すなわち、“娘”であるキーワードのみが設定されている画像データは、検索結果として“キーワードなし”を取得する。
ステップS304において、キーワード検索部121は、ステップS303の処理によって検索されたキーワード群213を、記録媒体19から読み出す。例えば、キーワード検索部121は、ステップS303の処理によって検索された、記録媒体19に記録された、“娘”であるキーワードが設定された画像データの“娘”であるキーワード以外の“温泉”、“入園式”、“野球”、“スキー”、“遊園地”、または“テニス”などであるキーワード群213を、記録媒体19から読み出す。
ステップS305において、キーワード検索部121は、ステップS304の処理で読み出したキーワード群213に含まれるキーワードを基に、選択されたキーワードとは異なる他のキーワードが存在するか否かを判定する。例えば、“娘”であるキーワードが選択されている場合、キーワード検索部121は、キーワード群213に“野球”であるキーワードおよび“娘”であるキーワードが含まれているとき(画像データに“野球”であるキーワードおよび“娘”であるキーワードが設定されているとき)、“娘”であるキーワードとは異なる他のキーワード“野球”が存在すると判定し、キーワード群213に“娘”であるキーワードのみが含まれているとき(すなわち、“キーワードなし”である検索結果が得られたとき)、“娘”であるキーワードとは異なる他のキーワードは存在しないと判定する。
ステップS305において、他のキーワードが存在しないと判定された場合、ステップS306に進み、キーワード検索部121は、キーワードテーブルの“キーワードなし”の度数を1増加させ、手続きは、ステップS310に進む。
ステップS305において、他のキーワードが存在すると判定された場合、ステップS307に進み、キーワード検索部121は、ステップS304の処理で読み出したキーワード群213に含まれるキーワードが、キーワードテーブルに格納されているか否かを判定する。
図15は、“娘”であるキーワードが選択されている場合のキーワードテーブルの例を示す図である。
図15で示されるキーワードテーブルの例において、1行目は項目を示し、2行目以降は各キーワードの度数を示す。また、左側の1列目は“キーワード”、右側の2列目は“度数”を示す。すなわち、キーワードテーブルは、キーワードと、キーワードに対応させて各キーワードが何件あるかを示す値である度数を格納する。
ここで、図15で示されるキーワードテーブルの例における度数は、“娘”であるキーワードが設定されている画像データに設定されている他のキーワード(“娘”と異なるキーワード)の数を示す。
例えば、図15で示されるキーワードテーブルの例において、“温泉”であるキーワードに対して、“1000”である度数が記録されている。また、“入園式”であるキーワードに対して、“390”である度数が記録されている。さらに、“野球”であるキーワードに対して、“180”である度数が記録されている。また、“スキー”であるキーワードに対して、“50”である度数が記録されている。さらに、“遊園地”であるキーワードに対して、“450”である度数が記録されている。また、“テニス”であるキーワードに対して、“110”である度数が記録されている。さらに、“キーワードなし”に対して“234”である度数が記録されている。
例えば、ステップS307において、キーワード検索部121は、キーワード群213に含まれるキーワードが、図15のキーワードテーブルに格納されているか否かを判定する。より具体的には、例えば、キーワード群213のキーワードが“温泉”である場合、キーワード検索部121は、“温泉”であるキーワードが、図15のキーワードテーブルに格納されているので、対象となっているキーワード(“温泉”であるキーワード)がキーワードテーブルに格納されていると判定する。一方、例えば、キーワード群213のキーワードが“海水浴”である場合、キーワード検索部121は、“海水浴”であるキーワードが、図15のキーワードテーブルに格納されていないので、対象となっているキーワード(“海水浴”であるキーワード)がキーワードテーブルに格納されていないと判定する。
図14に戻り、ステップS307において、キーワード群213に含まれるキーワードがキーワードテーブルに格納されていないと判定された場合、ステップS308に進み、キーワード検索部121は、該当するキーワードをキーワードテーブルに新規に追加し、新規に追加したキーワードに対して、“1”である度数を追加する。
例えば、キーワード検索部121は、キーワード群213のキーワードが“海水浴”である場合、図15のキーワードテーブルに“海水浴”であるキーワードが存在しないので、図15のキーワードテーブルに、“海水浴”であるキーワードに対して、“1”である度数を記録する。すなわち、“海水浴”であるキーワードが、図15のキーワードテーブルに新規に追加される(図示せず)。
一方、ステップS307において、キーワード群213に含まれるキーワードが、キーワードテーブルに格納されていると判定された場合、ステップS309に進み、キーワード検索部121は、キーワードテーブルの該当するキーワードの度数を1増加させる。例えば、キーワード検索部121は、キーワード群213のキーワードが“温泉”である場合、図15のキーワードテーブルの“温泉”であるキーワードの度数を、“1000”から“1001”へ増加させる。
なお、選択されたキーワードと異なる複数のキーワードが画像データに設定されている場合、キーワード検索部121は、選択されたキーワードと異なるキーワードの数だけ、ステップS307乃至ステップS309の処理を繰り返す。例えば、キーワード検索部121は、“娘”、“温泉”、および“スキー”であるキーワードが設定された画像データの場合、図15のキーワードテーブルの“温泉”に対する度数を“1000”から“1001”へ増加させ、さらに、“スキー”に対する度数を“50”から“51”へ増加させる。
ステップS310において、キーワード検索部121は、ステップS303の処理で、キーワード群213が検索された画像データが、最終の画像データであるか否かを判定する。
ステップS310において、最終の画像データではないと判定された場合、画像データはまだ残っているので(選択されたキーワードと異なるキーワードであって、検索されていないキーワードがまだ残っている可能性があるので)、ステップS303に戻り、上述した処理を繰り返す。
一方、ステップS310において、最終の画像データであると判定された場合、ステップS311に進み、キーワード検索部121は、キーワードテーブルのキーワードを度数の多い順(降順)にソート(並び替え)をする。キーワード検索部121は、ソートしたキーワードテーブルのデータをヒストグラム表示データ生成部117に供給する。
例えば、キーワード検索部121は、図15のキーワードテーブルの“温泉、“入園式”、“野球”、“スキー”、“遊園地”、“テニス”、および“キーワードなし”であるキーワードを“温泉”、“遊園地”、“入園式”、“野球”のように降順でソートし、さらに、“温泉”、“遊園地”、“入園式”、“野球”以外のキーワードである“その他”、キーワードが設定されていない画像データである“キーワードなし”の順に並べて、ソートしたキーワードテーブルのデータをヒストグラム表示データ生成部117に供給する。
ステップS312において、ヒストグラム表示データ生成部117は、キーワード検索部121から供給されたキーワードテーブルのデータを基に、ヒストグラム表示データを生成する。ヒストグラム表示データ生成部117は、生成したヒストグラム表示データを表示制御部118に供給する。
例えば、ヒストグラム表示データ生成部117は、キーワード検索部121から供給される図15のキーワードテーブルのデータを基に、ヒストグラム表示データを生成し、生成したヒストグラム表示データを表示制御部118に供給する。
ステップS313において、表示制御部118は、ヒストグラム表示データ生成部117から供給されるヒストグラム表示データを基に、キーワードをヒストグラム形式でLCD17の画面に表示して、処理は終了する。
図16は、キーワードが選択された場合のキーワードの度数のヒストグラム表示の処理による、図15のキーワードテーブルを基に、キーワードをヒストグラム形式で表示するLCD17の画面の例を示す図である。
図中左側のキーワードに対して、キーワードの数に対応した長さの長方形(柱)が表示され、さらに、この長方形の右側に、ヒストグラムの度数が数字で表示される。また、選択キーワード表示エリア295には、ユーザの指示に基づいて、絞り込みの条件となった選択されたキーワードが表示される。図16で示される例においては、“娘”であるキーワードが選択されて画像データの絞り込みを行ったので、選択キーワード表示エリア295には、“選択キーワード:娘”が表示される。
例えば、図16で示されるキーワードをヒストグラム形式で表示するLCD17の画面の例において、“温泉”であるキーワードに対して、“1000”である度数に対応した長さの長方形が、LCD17の画面に表示される。また、“遊園地”であるキーワードに対して、“450”である度数に対応した長さの長方形がLCD17の画面に表示される。さらに、“入園式”であるキーワードに対して、“390”である度数に対応した長さの長方形がLCD17の画面に表示される。また、“野球”であるキーワードに対して、“180”である度数に対応した長さの長方形がLCD17の画面に表示される。さらに、“その他”であるキーワードに対して、“401”である度数に対応した長さの長方形がLCD17の画面に表示される。さらにまた、“なし”に対して、“234”である度数に対応した長さの長方形がLCD17の画面に表示される。
すなわち、“娘”であるキーワードが設定された画像データについて、“娘”以外のキーワードの数をカウントした結果が、キーワード毎に表示される。また、図16において、“なし”は、“娘”であるキーワードのみが設定されていることを示し、その度数は、“娘”であるキーワードのみが設定されている画像データの数を示す。
より具体的には、ステップS301乃至ステップS310の処理によって、選択されたキーワードが設定されている画像の他のキーワードについて、キーワードテーブルにキーワードまたは度数が設定され、キーワードまたは度数が設定されたキーワードテーブルを基に、ステップS311の処理において、キーワードが度数の多い順にソートされ、ステップS312およびステップS313の処理において、キーワードがソートされたキーワードテーブルを基にヒストグラムが表示される。
このように、例えば、選択された“娘”であるキーワードが設定されている画像における“娘”以外のキーワードの数についてカウントした結果が、キーワード毎に表示されるので、ユーザは、娘が写っている画像について、どのようなキーワードが設定されているかを直感的に把握することができる。また、“なし”であるキーワードを設けたことにより、“娘”以外のキーワードが設定されていない画像(“娘”であるキーワードのみが設定されている画像)についても、ユーザは、その数を直感的に把握することができる。
なお、図16を参照して説明した、キーワードをヒストグラム形式でLCD17の画面に表示した後、ユーザによって、ヒストグラム形式で表示されたキーワードの中から、“野球”であるキーワードを選択された場合、さらに、“娘”および“野球”であるキーワードが設定された画像データを検索し、検索した画像データのキーワードをヒストグラム形式でLCD17の画面に表示することができる。
このように、ヒストグラム形式で表示されたキーワードを順次選択することにより、選択したキーワードを検索条件に順次追加して画像データを絞り込むことができるので、より確実に、所望の画像を検索することができる。
次に、図14のフローチャートを参照して説明した、キーワードをヒストグラム形式でLCD17の画面に表示した後、さらに、撮像情報により、絞り込む場合について説明する。
図17は、図9のステップS103の処理に対する、撮像情報に基づくヒストグラム表示の処理を説明するフローチャートである。
ステップS401において、撮像情報検索部122は、ユーザの指示に基づいて、(撮像情報の)検索区分を取得する。例えば、撮像情報検索部122は、ユーザの指示に基づいて、“撮像日時”である検索区分を取得する。
図18は、撮像情報による検索区分のメニュー(以下、単に撮像情報メニューと称する)301を表示するLCD17の画面の例を示す図である。
撮像情報メニュー301は、検索区分として、例えば、撮像日時302、位置情報303、カメラ情報304、および撮影者305を表示する。なお、検索区分となる撮像情報は、上述した例に限らず、撮像時に画像に対して付加できる情報であればよい。
また、検索区分として、関連情報またはURL情報を設けることも可能である。例えば、検索区分として、関連情報を設けた場合、ユーザは、画像データに設定されている関連情報から、画像データを検索することができる。また、検索区分として、URL情報を設けた場合、ユーザは、画像データに設定されているURL情報から、画像データを検索することができる。
また、カーソル311は、ユーザの指示に基づいて、例えば、撮像日時302、位置情報303、カメラ情報304、および撮影者305からなる撮像情報メニュー301において、撮像日時302、位置情報303、カメラ情報304、および撮影者305のうちいずれか1つを選択する。
例えば、撮像情報検索部122は、ユーザがスイッチを押した場合、カーソル311により選択された、撮像日時302、位置情報303、カメラ情報304、および撮影者305のうちのいずれか1つの区分を検索区分として取得する。例えば、撮像情報検索部122は、ユーザの指示に基づいて、撮像日時302がカーソル311により選択された場合、“撮像日時”を検索区分として取得する。
図17に戻り、ステップS402において、撮像情報検索部122は、取得した検索区分を基に、画像データに付されている撮像情報から、取得した検索区分の撮像情報を検索する。所定のキーワードが選択されている場合、ステップS402において、撮像情報検索部122は、取得した検索区分を基に、選択されているキーワードが設定されている画像データに付されている撮像情報から、取得した検索区分の撮像情報を検索する。例えば、“娘”であるキーワードが選択されている場合、撮像情報検索部122は、取得した“撮像日時”である検索区分を基に、“娘”であるキーワードが設定された画像データに付されている撮像情報から、“撮像日時”である撮像情報を検索する。
ステップS403において、撮像情報検索部122は、記録媒体19から、ステップS403の処理によって検索された撮像情報を読み出す。例えば、撮像情報検索部122は、記録媒体19から、ステップS403の処理によって検索された“娘”であるキーワードが設定された画像データの“撮像日時”である撮像情報を読み出す。
ステップS404において、撮像情報検索部122は、ステップS404の処理で読み出した撮像情報の内容が、撮像情報テーブル(図示せず)に格納されているか否かを判定する。
なお、ここでは、撮像情報テーブルではなく、上述したキーワードテーブルを用いるようにしてもよい。すなわち、ステップS402の処理の前に、キーワードテーブルをクリアすることによって、再度、キーワードテーブルを利用することもできる。例えば、撮像情報検索部122は、図16のキーワードをヒストグラム形式で表示する基となった、図15のキーワードテーブルをクリアすることで、再度、キーワードテーブルを撮像情報テーブルとして利用することができる。
ステップS404において、撮像情報の内容(撮像情報の具体的な値)が撮像情報テーブルに格納されていないと判定された場合、ステップS405に進み、撮像情報検索部122は、該当する撮像情報の内容を撮像情報テーブルに新規に追加し、追加した撮像情報に対して、“1”である度数を格納する。
例えば、撮像情報検索部122は、撮像情報の内容が“2004.05.05”である場合、図示しないが、撮像情報テーブルに“2004.05.05”が存在しないとき、撮像情報テーブルに“2004.05.05”である撮像情報の内容が存在しないので、撮像情報テーブルに、“2004.05.05”である撮像情報の内容と、“2004.05.05”である撮像情報の内容に対して、“1”である度数を記録する。すなわち、“2004.05.05”である撮像情報の内容(撮像情報の具体的な値)が、撮像情報テーブルに新規に追加される。
一方、ステップS404において、撮像情報の内容が撮像情報テーブルに格納されていると判定された場合、ステップS406に進み、撮像情報検索部122は、撮像情報テーブルの該当する撮像情報の内容の度数を1増加させる。例えば、撮像情報検索部122は、撮像情報の内容が“2003.10.12”である場合、図示しないが、撮像情報テーブルに“2003.10.12”である撮像情報の内容の度数が“200”で格納されているとき、撮像情報テーブルの“2003.10.12”である撮像情報の内容の度数を、“200”から“201”へ増加させる。
ステップS407において、撮像情報検索部122は、ステップS402の処理で、撮像情報が検索された画像データが、最終の画像データであるか否かを判定する。
ステップS407において、最終の画像データではないと判定された場合、画像データはまだ残っているので、ステップS402に戻り、上述した処理を繰り返す。
一方、ステップS407において、最終の画像データであると判定された場合、ステップS408に進み、撮像情報検索部122は、撮像情報テーブルの撮像情報を度数の多い順(降順)にソート(並び替え)をする。撮像情報検索部122は、ソートした撮像情報テーブルのデータをヒストグラム表示データ生成部117に供給する。
例えば、撮像情報検索部122は、撮像情報テーブル(図示せず)の“、“2003.10.12”(例えば、“200”である度数)、“2003.04.01”(例えば、“60”である度数)、“2004.04.01”(例えば、“25”である度数)、および“2003.09.15”(例えば、“90”である度数)である撮像情報を“2003.10.12”、“2003.09.15”、“2003.04.01”、“2004.04.01”のように降順でソートし、さらに、“2003.10.12”、“2003.09.15”、“2003.04.01”、“2004.04.01”以外の撮像情報である“その他”の順に並べて、ソートした撮像情報テーブルのデータをヒストグラム表示データ生成部117に供給する。
ステップS409において、ヒストグラム表示データ生成部117は、撮像情報検索部122から供給された撮像情報テーブルのデータを基に、ヒストグラム表示データを生成する。ヒストグラム表示データ生成部117は、生成したヒストグラム表示データを表示制御部118に供給する。
ステップS410において、表示制御部118は、ヒストグラム表示データ生成部117から供給されるヒストグラム表示データを基に、撮像情報をヒストグラム形式でLCD17の画面に表示して、処理は終了する。
なお、画像データに設定された撮像情報の検索の処理は、上述した撮像情報テーブル(または、キーワードテーブル)を基に、画像データに設定された撮像情報を検索する例に限定されるものではない。例えば、撮像情報検索部122(または、キーワード検索部121)が、適宜、検索条件をRAM52に記憶させることにより、画像データに設定された撮像情報を検索するとき、撮像情報検索部122(または、キーワード検索部121)が、記憶された検索条件を読み出して、画像データに設定された撮像情報を検索するようにしてもよい。
図19は、撮影日時をヒストグラム形式で表示するLCD17の画面の例を示す図である。
図中左側の撮像日時に対して、撮影日時毎のヒストグラムを表示し、さらに、ヒストグラムの右側に、ヒストグラムの度数を表示する。また、カーソル321は、ユーザの指示により、例えば、“2003.10.12”である撮像日時などを選択することができる。
例えば、図19で示される例において、“2003.10.12”である撮像日時に対して、“200”である度数に対応した長さの長方形(柱)がLCD17の画面に表示される。また、“2003.09.15”である撮像日時に対して、“90”である度数に対応した長さの長方形(柱)がLCD17の画面に表示される。さらに、“2003.04.01”である撮像日時に対して、“60”である度数に対応した長さの長方形(柱)がLCD17の画面に表示される。また、“2004.04.01”である撮像日時に対して、“25”である度数に対応した長方形(柱)がLCD17の画面に表示される。さらに、“その他”である撮像日時に対して、“70”である度数に対応した長さの長方形(柱)がLCD17の画面に表示される。
このように、撮像情報による画像の検索の結果が、ヒストグラム形式でLCD17の画面に表示されるので、ユーザは、直感的に、各撮像情報が設定された画像の数を把握することができる。
また、上述した例では、“撮像日時”である撮像情報を基に、撮像情報を検索したが、さらに、“撮像日時”である撮像情報以外の撮像情報で絞り込みをすることができる。
以下、図19で示される例において、ユーザにより、“2003.10.12”である撮像日時がカーソル321で選択され、さらに、スイッチが押された場合について説明する。
図20は、画像を表示するか、他の撮像情報で検索するかを指定する画面を表示するLCD17の画面の例を示す図である。
例えば、LCD17の画面には、画像表示ボタン341、さらに絞り込むボタン342、およびカーソル351が表示される。
画像表示ボタン341は、例えば、ユーザの操作に対応して、カーソル351で選択され、ユーザがスイッチを押すと、画像表示ボタン341に対応する信号がCPU51に供給される。この場合、現在の検索条件で検索される画像がサムネイル形式でLCD17の画面に表示される。
さらに絞り込むボタン342は、例えば、ユーザの操作に対応して、カーソル351で選択され、ユーザがスイッチを押すと、さらに絞り込むボタン342に対応する信号がCPU51に供給される。この場合、撮像情報メニューがLCD17の画面に表示される。
ユーザの指示に基づいて、他の撮像情報で検索する場合(すなわち、ユーザにより、さらに絞り込むボタン342が選択された場合)、さらに、撮像情報で絞り込むために、検索区分を選択する画面が表示される。
以下、図20で示される例において、ユーザにより、さらに絞り込むボタン342がカーソル351で選択され、さらに、スイッチが押された場合について説明する。
図21は、この場合における、撮像情報メニュー301を表示するLCD17の画面の例を示す図である。
撮像情報メニュー301は、撮像情報による検索のキーとなる項目として、例えば、位置情報303、カメラ情報304、および撮影者305を表示する。なお、図21の撮像情報メニュー301には、上述した図18の撮像情報メニュー301と異なり、撮像日時302は表示されない。これは、撮像日時302は、図17のステップS401の処理において、すでに検索条件として選択されているので、再度、撮像日時で検索する必要がないため、撮像日時302は、撮像情報メニュー301として、LCD17の画面上には表示されない。
また、カーソル311は、ユーザの指示に基づいて、例えば、位置情報303、カメラ情報304、または撮影者305である撮像情報メニュー301を選択する。
例えば、撮像情報検索部122は、ユーザがスイッチを押した場合、カーソル311により選択された撮像情報メニュー301を検索区分として取得し、取得した検索区分を撮像情報検索部122に供給する。より具体的には、撮像情報検索部122は、ユーザの指示に基づいて、位置情報303がカーソル311により選択された場合、“位置情報”を検索区分として取得し、取得した“位置情報”である検索区分を撮像情報検索部122に供給する。
以下、図21で示される例において、ユーザにより、位置情報303がカーソル311で選択され、さらに、スイッチが押された場合について説明する。
図22は、位置情報による検索結果をヒストグラム形式で表示するLCD17の画面の例を示す図である。
図中左側の位置情報に対して、位置名称毎の度数に対応した長さの長方形が表示され、さらに、この長方形の右側に、度数が数字で表示される。また、カーソル361は、ユーザの指示により、例えば、“池袋駅付近”である位置情報などを選択することができる。また、以下、具体的な位置の名称(例えば、“池袋駅付近”)を位置名称と称し、位置名称の場所を特定するための情報を位置座標(例えば、緯度と経度)と称する。
例えば、図22で示される例において、表示制御部118は、ヒストグラム表示データ生成部117から供給されるヒストグラム表示データを基に、“池袋駅付近”である位置名称に対して、“150”である度数に対応した長さの長方形をLCD17の画面に表示させ、“目黒駅付近”である位置名称に対して、“50”である度数に対応した長さの長方形をLCD17の画面に表示させる。
ここで、位置情報についてより詳細な説明をする。例えば、位置情報は、デジタルスチルカメラ1が、位置座標を取得するための受信装置(図示せず)を備えることにより、GPS(Global Positioning System)やPHS(Personal Handyphone System)などから取得する。位置座標は、例えば、緯度と経度を示す2次元の情報(または、緯度、経度、高度を示す3次元の情報)からなり、ユーザの指示により予め定められた領域に取得した位置座標が含まれる場合、表示制御部118は、予め定められた領域に対応した位置名称を位置情報としてLCD17の画面に表示させる。
より具体的には、ユーザは、予め地図上の任意の領域を設定し、設定した任意の領域に対応した位置名称を設定する。例えば、位置名称には、設定した任意の領域に含まれる駅、公園、遊園地、動物園、博物館などのランドマークを設定する。このように位置情報に対応した位置名称を予め設定しておくことで、例えば、表示制御部118は、位置情報を基に、位置名称をLCD17の画面に表示させることができる。
このように、位置情報による画像の検索の結果が、ヒストグラム形式でLCD17の画面に表示されるので、ユーザは、直感的に、所定の場所で撮像された画像の数を把握することができる。
なお、位置名称は、上述したように、ユーザの指示に基づいて設定するようにしてもよいし、いわゆる工場出荷時設定として、予め主要な地域をランドマークとして設定しておくようにしてもよい。
以下、図22で示される例において、ユーザの操作に対応して、“池袋駅付近”である位置名称がカーソル361で選択され、さらに、ユーザがスイッチを押した場合について説明する。
図23は、画像を表示するか、他の撮像情報で検索するかを指定する画面を表示するLCD17の画面の例を示す図である。また、図20と同様の部分には、同一の符号が付してあり、その説明は省略する。
例えば、ユーザの操作に対応して、カーソル351によって画像表示ボタン341が選択された場合、これ以上、撮像情報を検索条件とする検索を行なわず、図9のステップS104およびステップS105の処理が実行され、キーワードを設定する画像データが検索され、検索された画像データを基に、画像が表示される。一方、ユーザの操作に対応して、カーソル351によってさらに絞り込むボタン342が選択された場合、“娘”であるキーワード、並びに“2003.10.12”および“池袋駅付近”である撮像情報に、さらに他の撮像情報を検索条件に加えて、画像データに付された撮像情報が検索される。
以下、図23で示される例において、ユーザにより、画像表示ボタン341がカーソル351で選択され、さらに、スイッチが押された場合について説明する。
図24は、キーワードまたは撮像情報を検索条件として、検索された画像データで表示される画像の一覧を表示するLCD17の画面の例を示す図である(例えば、上述した図9のステップS104の処理によって表示される)。図24で示されるLCD17の画面の例には、キーワードを設定する画像データの候補の画像が表示されている。
例えば、LCD17の画面には、画像401−1乃至画像401−4、スクロールボタン402、スクロールボタン403、キーワード入力ボタン411、類似検索ボタン412、チェックボタン413、およびカーソル421が表示される。
画像401−1乃至画像401−4は、キーワードを設定する画像データの候補の画像である。画像401−1乃至画像401−4は、表示制御部118により、サムネイル形式で表示される。例えば、画像401−1乃至画像401−4は、設定対象画像検索部113によって、“娘”であるキーワード、並びに、“2003.10.12”および“池袋駅付近”を検索条件として検索された画像データに対応するサムネイル画像である。すなわち、画像401−1乃至画像401−4は、“娘”であるキーワード、“2003.10.12”および“池袋駅付近”である撮像情報が設定された画像データに対応するサムネイル画像である。
例えば、ユーザがスクロールボタン402に対応したスイッチを押すことで、LCD17の画面は、左側にスクロールされ、4枚のサムネイル形式で表示された画像が、左から、画像401−2、画像401−3、画像401−4、画像401−5の順に表示される。さらに、ユーザがスクロールボタン402に対応したスイッチを押すことで、LCD17の画面には、4枚のサムネイル形式で表示された画像が、左から、画像401−3、画像401−4、画像401−5、画像401−6の順に表示される。
例えば、ユーザがスクロールボタン403に対応したスイッチを押すことで、LCD17の画面は、右側にスクロールされる。例えば、“娘”、“2003.10.12”、および“池袋駅付近”である検索条件と一致する画像データが150枚ある場合、ユーザがスクロールボタン403に対応したスイッチを押すことで、LCD17の画面には、4枚のサムネイル形式で表示された画像が、左から、画像401−150、画像401−1、画像401−2、画像401−3の順に表示される。さらに、ユーザがスクロールボタン403に対応したスイッチを押すことで、LCD17の画面には、4枚のサムネイル形式で表示された画像が、左から、画像401−149、画像401−150、画像401−1、画像401−2の順に表示される。
キーワード入力ボタン411がカーソル421で選択され、スイッチが押されると、キーワード入力ボタン411に対応する信号がCPU51に供給される。表示制御部118は、キーワード入力画面(例えば、図6のキーワード入力画面)を表示する。
類似画像検索ボタン412がカーソル421で選択され、スイッチを押されると、類似画像検索ボタン412に対応する信号がCPU51に供給される。類似情報設定済画像検索部114は、類似画像データを検索する。類似画像データとは、選択されているキーワードが設定され、選択されている撮像情報が付されている画像データであって、選択されているキーワードと異なる他のキーワードが設定されている画像データをいう。例えば、“娘”であるキーワードが選択され、“2003.10.12”および“池袋駅付近”である撮像情報が選択されている場合、類似画像設定済画像検索部112は、“娘”であるキーワードが設定され、“2003.10.12”および“池袋駅付近”である撮像情報が付されている画像データであって、“娘”であるキーワードと異なる他のキーワードが設定されている画像データを検索する。
チェックボタン413は、キーワードを設定する画像データの候補のうち、キーワードを設定する画像データを選択するためのボタンである。画像401−1乃至画像401−4のうちのいずれかを選択してから、チェックボタン413を、例えば、ユーザの操作によって、カーソル421が選択され、ユーザがスイッチを押すことで、選択された画像401−1乃至画像401−4に対応する画像データが、キーワードを設定する画像データとして選択される。このようにして選択されたキーワードを設定する画像データは、例えば、フラグによって指定される。
このようにすることで、キーワード設定部116は、画像データに付加されたフラグを基に、フラグが立っている画像データに対して、キーワードを設定することができる。
また、ステップS11の処理における、キーワードを設定する画像の絞り込みの処理であるが、上述した、キーワードをヒストグラム形式で表示することによる絞り込み(例えば、図11を参照して説明したキーワードの度数のヒストグラム表示の処理)に限らず、他の手法によって画像の絞り込みを行うことも可能である。
以下、図25および図26を参照して、キーワードを設定する画像の絞込みを、デジタルスチルカメラ1の十字ボタンによって行う場合について説明する。
図25は、デジタルスチルカメラ1の操作部15に設けられている十字ボタンによる画像の絞り込みの例を説明する図である。
図25の左側に示されたLCD17の画面は、検索されたキーワードの一覧(以下、キーワード一覧と称する)をLCD17の画面に表示する例を示す図である。例えば、図25の左側に示されたLCD17の画面のキーワード一覧は、図10の検索区分の選択画面において、ユーザにより、キーワード検索ボタン282が選択された場合、LCD17の画面に表示される。
図25の左側に示されたLCD17の画面を表示させる処理であるが、例えば、上述した、図11のキーワードの度数のヒストグラム表示の処理において、ステップS201の処理乃至ステップS209の処理を同様に行い、ステップS210およびステップS211の処理の代わりに、表示制御部118が、キーワードテーブルのデータを基に、図25の左側に示されたLCD17の画面のキーワード一覧を表示させるようにすればよい。
すなわち、図25の左側に示されたLCD17の画面のキーワード一覧は、キーワードによる絞り込みをしていないので(まだキーワードが選択されていないので)、全画像データに設定されているキーワードが表示される。
図25の左側に示されたLCD17の画面で示される例において、各行は、キーワードとそのキーワードの度数(キーワードの右側のカッコの中の数)を示す。すなわち、1行目は、“娘”であるキーワードに対して、“2000”である度数がLCD17の画面に表示されている。また、2行目には、“温泉”であるキーワードに対して、“1335”である度数がLCD17の画面に表示されている。さらに、3行目には、“スキー”であるキーワードに対して、“1008”である度数がLCD17の画面に表示されている。さらにまた、4行目には、“野球”であるキーワードに対して、“680”である度数がLCD17の画面に表示されている。また、5行目には、“その他”であるキーワードに対して、“1470”である度数がLCD17の画面に表示されている。さらに、6行目には、“なし”に対して、“455”である度数がLCD17の画面に表示されている。
なお、カーソル423は、ユーザの指示に基づいて、キーワードを選択する。
図26は、デジタルスチルカメラ1の操作部15に設けられている十字キー428の例を示す図である。
デジタルスチルカメラ1の上面には、ユーザにより押圧操作される十字キー428および決定ボタン429が配置され、ユーザの操作に応じて、カーソル423の移動またはコマンドの決定などを指示する。
なお、以下、ユーザにより、十字キー428の上側の矢印が押圧操作されることを、上十字キーが押圧操作されると称し、また、ユーザにより、十字キー428の下側の矢印が押し圧操作されることを、下十字キーが押圧操作されると称し、さらに、ユーザにより、十字キー428の右側の矢印が押圧操作されることを、右十字キーが押圧操作されると称し、さらにまた、十字キー428の左側の矢印が押圧操作されることを、左十字キーが押圧操作されると称する。
上十字キーまたは下十字キーが押圧操作された場合、ユーザの操作に応じた操作部15からの信号に基づいて、カーソル423を移動させることで、キーワード一覧から、所望のキーワードを選択する。
右十字キーが押圧操作された場合、ユーザの操作に応じた操作部15からの信号に基づいて、カーソル423で選択されたキーワードにより画像を絞り込む。
左十字キーが押圧操作された場合、ユーザの操作に応じた操作部15からの信号に基づいて、検索条件となったキーワードのうち、直近に選択されたキーワード(以下、直近のキーワードと称する)を除くキーワードで画像を絞り込む(すなわち、検索条件となったキーワードを1つ減らす)。
決定ボタン429が押された場合、ユーザの操作に応じた操作部15からの信号に基づいて、それまでにキーワードによって絞り込まれた画像をサムネイル形式でLCD17の画面に表示する。
図25に戻り、図25の左側に示されたLCD17の画面のキーワード一覧において、ユーザにより、“娘”であるキーワードが、カーソル423で選択され、さらに、右十字キーが押圧操作された場合、図25の中央上側に示されたLCD17の画面のキーワード一覧がLCD17の画面に表示される。
図25の中央上側に示されたLCD17の画面のキーワード一覧は、図25の左側に示されたLCD17の画面のキーワード一覧において、“娘”であるキーワードを検索条件にして絞り込んだキーワードの一覧である。すなわち、図25の中央上側に示されたLCD17の画面のキーワード一覧は、“娘”であるキーワードが設定された画像データの他のキーワードが表示される。
図25の中央上側に示されたLCD17の画面を表示させる処理であるが、例えば、上述した、図14のキーワードが選択された場合のキーワードの度数のヒストグラム表示の処理において、ステップS301乃至ステップS311の処理を同様に行い、ステップS312およびステップS313の代わりに、表示制御部118がキーワードテーブルのデータを基に、図25の中央上側に示されたLCD17の画面のキーワード一覧を表示させるようにすればよい。
図25の中央上側に示されたLCD17の画面で示される例において、各行は、キーワードとそのキーワードの度数(キーワードの右側のカッコの中の数)を示す。すなわち、1行目は、“温泉”であるキーワードに対して、“1000”である度数がLCD17の画面に表示されている。また、2行目には、“遊園地”であるキーワードに対して、“450”である度数がLCD17の画面に表示されている。さらに、3行目には、“入園式”であるキーワードに対して、“390”である度数がLCD17の画面に表示されている。さらにまた、4行目には、“野球”であるキーワードに対して、“180”である度数がLCD17の画面に表示されている。また、5行目には、“その他”であるキーワードに対して、“401”である度数がLCD17の画面に表示されている。さらに、6行目には、“なし”に対して、“234”である度数がLCD17の画面に表示されている。
すなわち、右十字キーが押圧操作された場合、カーソル423で選択されたキーワードで、さらに画像の絞り込みをすることができる。例えば、図25の中央上側に示されたLCD17の画面において、ユーザにより、“温泉”であるキーワードが、カーソル423で選択され、さらに、右十字キーが押圧操作された場合、キーワード一覧(図示せず)には、“娘”であるキーワードおよび“温泉”であるキーワードが設定された画像データの他のキーワードが表示される。
また、図25の中央上側に示されたLCD17の画面のキーワード一覧において、左十字キーが押圧操作された場合、キーワード検索部121は、直近のキーワードを検索条件から外して検索し、表示制御部118は、キーワード検索部121によって検索されたキーワードに設定された画像データの他のキーワードについてのキーワード一覧をLCD17の画面に表示させる。より具体的には、例えば、上述した、“娘”であるキーワードおよび“温泉”であるキーワードが設定された画像データの他のキーワードが表示されるキーワード一覧(図示せず)において、左十字キーが押圧操作された場合、キーワード検索部121は、検索条件となった“娘”であるキーワードおよび“温泉”であるキーワードのうち、直近のキーワードである“温泉”であるキーワードを検索条件から外したキーワード(すなわち、“娘”であるキーワードのみ)を検索条件として検索し、表示制御部118は、キーワード検索部121によって検索された“娘”であるキーワードが設定された画像データの他のキーワードである図25の中央上側に示されたLCD17の画面のキーワード一覧をLCD17の画面に表示させる。
さらに、図25の中央上側に示されたLCD17の画面のキーワード一覧において、左十字キーが押圧操作された場合、表示制御部118は、キーワード検索部121によって検索された“娘”である直近のキーワードを検索条件から外したキーワード、すなわち、全画像データのキーワードである図25の左側に示されたLCD17の画面のキーワード一覧をLCD17の画面に表示させる。
なお、左十字キーが押圧操作された場合の画面が遷移した際のカーソル423の位置であるが、表示制御部118は、度数が最も多いキーワード合わせてもよいし、検索条件となった直近のキーワードに合わせてもよい。
より具体的には、例えば、図25の左側に示されたLCD17の画面のキーワード一覧において、“スキー”であるキーワードが、カーソル423で選択され、さらに、決定ボタン429が押された場合、キーワード一覧(図示せず)には、“スキー”であるキーワードが設定された画像データの他のキーワードが表示される。その“スキー”であるキーワードが設定された画像データの他のキーワードが表示されているキーワード一覧(図示せず)において、左十字キーが押圧操作された場合、上述したように、図25の左側に示されたLCD17の画面に画面が遷移するが、そのときのカーソル423の位置は、度数が最も多い、“娘”であるキーワードに合わせてもよいし、直近のキーワードである“スキー”であるキーワードに合わせてもよい。
図25の中央上側に示されたLCD17の画面のキーワード一覧において、ユーザにより、“野球”であるキーワードが、カーソル423で選択され、さらに、決定ボタン429が押された場合、図25の右側に示されたLCD17の画面のサムネイル形式の画像424−1乃至画像424−9がLCD17の画面に表示される。
すなわち、ユーザにより、決定ボタン429が押されることによって、これまでに絞り込みの条件としてきたキーワード(例えば、“娘”(図25の左側に示されたLCD17の画面)と“野球”(図25の中央上側に示されたLCD17の画面))であるキーワードが設定された画像424−1乃至画像424−9が、サムネイル形式でLCD17の画面に表示される。
換言すれば、図25の右側に示されたLCD17の画面のサムネイル形式の画像424−1乃至画像424−9は、“娘”であるキーワード、かつ、“野球”であるキーワードが設定された画像である。
このように、サムネイル形式で画像を表示するので、より迅速に、サムネイル形式の画像をLCD17の画面に表示することができる。
なお、“娘”であるキーワード、かつ、“野球”であるキーワードが設定された画像データが、9つ検索された場合、図25の右側に示されたLCD17の画面のサムネイル形式の画像424−1乃至画像424−9がLCD17の画面に表示されるが、画像データが9つ以上(9つ未満)検索された場合にも、勿論、対応することができる。すなわち、画像データが9つ以上検索された場合には、例えば、予め定められた所定の枚数まで画像の絞込み促す旨のメッセージをLCD17の画面に表示するようにしてもよいし、例えば、スクロールボタンをLCD17の画面に表示させて、ユーザにより、スクロールボタンが押された場合、次の画像(例えば、画面424−10乃至画面424−18)を表示し、さらに、スクロールボタンが表示された場合には、さらに次の画像(例えば、画面424−19乃至画面424−27)をLCD17の画面に表示させるようにしてもよい。
また、図25の中央上側に示されたLCD17の画面のキーワード一覧において、ユーザにより、“その他”であるキーワードが、カーソル423で選択され、さらに、決定ボタン429が押された場合、図25の中央下側に示されたLCD17の画面のキーワード一覧が表示される。
図25の中央下側に示されたLCD17の画面のキーワード一覧は、図25の左側に示されたLCD17の画面のキーワード一覧の“娘”であるキーワードを検索条件にして絞り込んだキーワードのうち、度数の少ないキーワードの集合である“その他”として集計されたキーワードの詳細の一覧が表示される。すなわち、“その他”であるキーワードは、“娘”であるキーワードを含み、かつ、“温泉”、“遊園地”、“入園式”、および“野球”であるキーワード、並びに、“なし”以外のキーワードの集合である。
図25の中央下側に示されたLCD17の画面で示される例において、各行は、キーワードとそのキーワードの度数(キーワードの右側のカッコの中の数)を示す。すなわち、1行目は、“サッカー”であるキーワードに対して、“100”である度数がLCD17の画面に表示されている。また、2行目には、“大阪”であるキーワードに対して、“45”である度数がLCD17の画面に表示されている。さらに、3行目には、“結婚式”であるキーワードに対して、“39”である度数がLCD17の画面に表示されている。さらにまた、4行目には、“春”であるキーワードに対して、“17”である度数がLCD17の画面に表示されている。また、5行目には、“その他”であるキーワードに対して、“200”である度数がLCD17の画面に表示されている。さらに、6行目には、“なし”に対して、“234”である度数がLCD17の画面に表示されている。
すなわち、画像データに対して、少数しか設定されていないキーワードについても検索することができるので、より正確に所望の画像を検索することができる。
このように、例えば、右十字キーが押圧操作されることにより、より迅速にキーワードによる検索を行うことができる。特に、デジタルスチルカメラ1において、ボタンを押す操作はユーザにとって手間であるので、より効果的である。
次に、上述したキーワードおよび撮像情報によって検索された画像に対して、キーワードを設定する処理について説明する。
図27は、図8のステップS12の処理に対する、キーワードの抽出および設定の処理について説明するフローチャートである。
ステップS501において、類似情報設定済画像検索部114は、ユーザの指示に基づいて、キーワードを入力する画像を取得(選択)する。以下、ステップS501の処理によって選択された、キーワードを入力する画像を、単に、選択画像と称する。
図28は、キーワードまたは撮像情報を検索条件として、抽出された画像の一覧を表示するLCD17の画面の例を示す図である。図24と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
マーク431−1乃至マーク431−3は、キーワードを入力する画像を示すマークである。マーク431−1乃至マーク431−3は、上述したように、例えば、ユーザによるチェックボタン413の操作によって付加され、このマーク431−1乃至マーク431−3が付加された画像データ(例えば、画像401−1、画像401−2、および画像401−4である選択画像)にキーワードが設定される。
図27に戻り、ステップS502において、類似情報設定済画像検索部114は、類似画像検索をするか否かを判定する。例えば、類似情報設定済画像検索部114は、図28で示される例において、ユーザの指示により、カーソル421で類似画像検索ボタン412が選択された場合、類似画像検索をすると判定し、また、カーソル411でキーワード入力ボタン411が選択された場合、類似画像検索をしないと判定する。
ステップS503において、類似画像検索であると判定された場合、ステップS503に進み、類似情報設定済画像検索部114は、記録媒体19に記録されている全画像データから、撮像情報、所定のキーワード、および所定のキーワード以外のキーワード(以下、類似キーワードと称する)が設定された画像データを検索する。すなわち、ステップS503において、類似情報設定済画像検索部114は、選択されているキーワードが設定され、選択されている撮像情報が付されている画像データであって、選択されているキーワードと異なる他のキーワードが設定されている画像データを検索する。例えば、類似情報設定済画像検索部114は、記録媒体19に記録されている全画像データから、“2003.10.12”、および“池袋駅付近”である撮像情報、“娘”であるキーワード、並びに“娘”以外のキーワードが設定された画像データを検索する。
なお、類似情報設定済画像検索部114は、記録媒体19に記録されている全画像データから、撮像情報または所定のキーワードのいずれか一方と、類似キーワードが設定された画像データを検索するようにしてもよい。
ステップS504において、キーワード抽出部115は、ステップS503の処理によって、検索された画像データに設定されているキーワードを抽出する。キーワード抽出部115は、抽出したキーワードを表示制御部118およびキーワード設定部116に供給する。例えば、キーワード抽出部115は、ステップS503の処理おいて、検索された画像データに設定されている“結婚式”、“○○家”、および“娘”であるキーワードを抽出し、抽出したキーワードを表示制御部118およびキーワード設定部116に供給する。
ステップS505において、表示制御部118は、所定の形式に従って、キーワード抽出部115から供給されたキーワードをLCD17の画面に表示させる。例えば、表示制御部118は、所定の形式に従って、キーワード抽出部115から供給された“結婚式”、“○○家”、および“娘”であるキーワードをLCD17の画面に表示させる。
図29は、類似画像検索により検索されたキーワードを表示するLCD17の画面の例を示す図である。
検索結果内容441は、検索条件と検索枚数を含むメッセージを表示する。例えば、検索結果内容441は、“2003.10.12”、および“池袋駅付近”である撮像情報、“娘”である所望のキーワード、および“娘”以外のキーワードを検索条件として検索し、画像データが1つ検索された場合、“「2003.10.12」に「池袋駅付近」で撮像されたキーワード入力済みの画像が1枚検索されました。”とのメッセージを示す。
画像442は、図27のステップS503の処理により、検索された画像データにより表示される画像である。例えば、“2003.10.12”、および“池袋駅付近”である撮像情報、“娘”である所望のキーワード、および“娘”以外のキーワードを検索条件として検索し、画像データが1つ検索された場合、検索された1つの画像データを基に画像442が表示される。
設定キーワード443は、画像442を表示させる画像データに設定されているキーワードである。例えば、設定キーワード443は、“結婚式”、“○○家”、および“娘”などのキーワードからなる。すなわち、画像442には、“結婚式”、“○○家”、および“娘”であるキーワードが設定されている。
例えば、ユーザがキーワード一括入力ボタン444に対応したスイッチを押すことで、キーワード設定部116は、設定キーワード443を選択画像に設定する。例えば、キーワード設定部116は、“結婚式”、“○○家”、“娘”である設定キーワード443を、選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)に設定する。
図27に戻り、ステップS506において、キーワード設定部116は、選択画像に類似キーワードを設定するか否かを判定する。例えば、キーワード設定部116は、図29で示される例において、ユーザの指示により、キーワード一括入力ボタン444が押された場合、選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)に類似キーワードを設定すると判定し、一方、キーワード一括入力ボタン444が押されなかった場合、ユーザはキーワードを設定する意思がないので、類似キーワードを設定しないと判定する。
ステップS506において、選択画像に類似キーワードを設定する判定された場合、ステップS507に進み、キーワード設定部116は、類似キーワードを選択画像に対応させて設定して、処理は終了する。例えば、キーワード設定部116は、既に設定されているキーワードが“娘”の場合、“娘”以外のキーワードである“結婚式”および“○○家”である類似キーワードを選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)に設定する。すなわち、キーワード設定部116は、選択画像に対応するキーワード群213に類似キーワードを格納させる。
一方、ステップS506において、類似キーワードを設定しないと判定された場合、類似キーワードを設定しないので、ステップS507の処理をスキップして処理は終了する。
図30は、類似画像検索により検索された複数の画像の検索結果を表示するLCD17の画面の例を示す図である。図29に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
検索結果内容441は、検索条件と検索枚数を含むメッセージを示す。例えば、検索結果内容441は、“2003.10.12”、および“池袋駅付近”である撮像情報、“娘”である所望のキーワード、および“娘”以外のキーワードを検索条件として検索し、画像が複数枚(例えば、5枚)検索された場合、“「2003.10.12」に「池袋駅付近」で撮像されたキーワード入力済みの画像が5枚検索されました。”とのメッセージである。
画像461は、図27のステップS503の処理により、検索された画像データによって表示される画像である。例えば、“2003.10.12”、および“池袋駅付近”である撮像情報、“娘”であるキーワード、および“娘”以外のキーワードを検索条件として検索し、設定キーワード462として、“結婚式”、“披露宴”、および“娘”であるキーワードが設定された画像が3枚検索された場合、画像461に重ねて、検索された画像の枚数である“3”が表示される。
設定キーワード462は、画像461に設定されているキーワードである。例えば、設定キーワード462は、“結婚式”、“披露宴”、および“娘”である。すなわち、画像461には、“結婚式”、“披露宴”、および“娘”であるキーワードが設定されている。
画像463は、図27のステップS503の処理により、検索された画像データによって表示される画像である。例えば、“2003.10.12”、および“池袋駅付近”である撮像情報、“娘”であるのキーワード、および“娘”以外のキーワードを検索条件として検索し、設定キーワード464として、“結婚式”、“2次会”、および“娘”であるキーワードが設定された画像が2枚検索された場合、画像463に重ねて、検索された画像の枚数である“2”が表示される。
設定キーワード464は、画像463に設定されているキーワードである。例えば、設定キーワードは、“結婚式”、“2次会”、および“娘”である。すなわち、画像463には、“結婚式”、“2次会”、および“娘”であるキーワードが設定されている。
積キーワード465は、複数の画像が検索された場合、検索された画像に共通して設定されているキーワードである。例えば、“結婚式”、“披露宴”、および“娘”である設定キーワード462が設定された画像461と、“結婚式”、“2次会”、および“娘”である設定キーワード464が設定された画像463とが検索された場合、画像461と画像463に共通するキーワードである“結婚式”と“娘”が積キーワード465とされる。
例えば、ユーザが表示ボタン471に対応したスイッチを押すと、サムネイル表示部116は、カーソル473によって選択された画像を表示する。例えば、画像461がカーソル473により選択されていた場合、“結婚式”、“披露宴”、および“娘”である設定キーワード462が設定された3枚の画像461がサムネイル形式でLCD17の画面に表示される。また、画像463がカーソル473により選択されていた場合、“結婚式”、“2次会”、および“娘”である設定キーワード464が設定された2枚の画像463がサムネイル形式でLCD17の画面に表示される。
例えば、ユーザがキーワード一括入力ボタン444に対応したスイッチを押すと、キーワード設定部116は、設定キーワードを選択画像に設定する。例えば、キーワード設定部116は、“結婚式”、“2次会”、“娘”である設定キーワード464を、選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)に設定する。
例えば、ユーザが積キーワード一括ボタン472に対応したスイッチを押すと、キーワード設定部116は、積キーワードを選択画像に設定する。例えば、キーワード設定部116は、“結婚式”および“娘”である積キーワード465を、選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)に設定する。
このように、複数の類似画像が検索された場合にも、検索された類似画像を基に、キーワードを入力せずに、キーワードを設定することができる。
図27に戻り、一方、ステップS502において、類似画像検索でないと判定された場合(例えば、図28のキーワード入力ボタン411が押された場合)、ステップS508に進み、表示制御部118は、キーワード入力画面(例えば、図6のキーワード入力画面)を表示させる。
ステップS509において、キーワード設定部116は、ユーザの指示に基づいて、キーワード入力画面に入力されたキーワードを設定して、処理は終了する。例えば、キーワード設定部116は、図6のキーワード入力画面のテキストボックス261に入力されたキーワードを選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)に設定する。
より具体的には、例えば、キーワード設定部116は、“教会”であるテキストボックス261に入力されたキーワードを選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)に設定する。すなわち、この場合、選択画像(例えば、画像401−1、画像401−2、および画像401−4である選択画像)には、付加情報として、“娘”および“教会”であるキーワード、並びに、“2003.10.12”および“池袋駅付近”である撮像情報が設定されていることになる。
このように、1または複数の類似画像を検索して、検索された類似画像に設定されているキーワードを基に、キーワードを入力することなく、所望の画像にキーワードを設定することができるので、ユーザは、キーワードを入力する手間を省くことができる。また、一度入力されたキーワードを再利用することで、キーワードが統一されるので、統一されたキーワードを基に、より迅速に、確実に所望の画像を検索することができる。
次に、図31乃至図41を参照して、本発明に係る情報処理システムの一実施の形態の構成について説明する。
図31は、本発明を適用した情報処理システム2の一実施の形態を示す図である。この情報処理システム2においては、サーバ601に、デジタルスチルカメラ1−1、デジタルスチルカメラ1−2、およびパーソナルコンピュータ602が接続されている。また、図示はしていないが、デジタルスチルカメラ1−1、デジタルスチルカメラ1−2、サーバ601、およびパーソナルコンピュータ602は、例えば、インターネットなどのネットワークを介して、それぞれ接続されている。
デジタルスチルカメラ1−1およびデジタルスチルカメラ1−2は、上述したデジタルスチルカメラ1の一例であり、同様の機能を備えるが、説明の便宜上、以下、サーバ601に対して、データを受信または送信をするデジタルスチルカメラ1をデジタルスチルカメラ1−1とし、サーバ601に対して、データを送信するのみのデジタルスチルカメラ1をデジタルスチルカメラ1−2として説明する。また、デジタルスチルカメラ1−1とデジタルスチルカメラ1−2を使用するユーザは、別の(異なる)ユーザとして説明する。
サーバ601は、例えば、インターネットなどのネットワークを介して、デジタルスチルカメラ1−1、デジタルスチルカメラ1−2、またはパーソナルコンピュータ602の間でやり取りされる、キーワードまたは撮像情報などを受信または送信したり、デジタルスチルカメラ1−1からの要求に応じて、関連情報またはURL情報などを送信したりする。また、サーバ601は、キーワード、撮像情報、関連情報、またはURL情報の送信または受信に必要なデータを記録する。例えば、サーバ601は、キーワードを管理するキーワードデータベースサーバとして設けられる。
パーソナルコンピュータ602は、例えば、デスクトップ型または携帯型のパーソナルコンピュータであり、ユーザの指示に基づいて、インターネットなどのネットワークを介して、所定のウェブブラウザプログラムに入力したキーワードまたは関連情報などをサーバ601に送信する。
なお、図31で示される情報処理システム2の例においては、デジタルスチルカメラ1−1およびデジタルスチルカメラ1−2が2台設けられているが、実際には、1または所望の数の複数台のデジタルスチルカメラを設けるようにしてもよい。また、同様に、サーバ601が1台設けられているが、実際には、1または所望の数の複数台のサーバを設けるようにしてもよい。さらに、同様に、パーソナルコンピュータが1台設けられているが、実際には、1または所望の数の複数台のパーソナルコンピュータを設けるようにしてもよい。
図32は、サーバ601の構成例を示すブロック図である。
CPU621は、ROM622に記憶されているプログラム、または、記録部628に記録されているプログラムに従って各種の処理を実行する。RAM623には、CPU621が実行するプログラムやデータなどが適宜記憶される。これらのCPU621、ROM622、およびRAM623は、バス624を介して相互に接続されている。
CPU621にはまた、バス624を介して入出力インターフェイス625が接続されている。入出力インターフェイス625には、キーボード、マウスなどよりなる入力部626、ディスプレイなどよりなる出力部627が接続されている。CPU621は、入力部626から入力される指令に対応して各種の処理を実行する。そして、CPU621は、処理の結果得られた画像や音声などを出力部627に出力する。
入出力インターフェイス625に接続されている記録部628は、例えば、ハードディスクなどで構成され、CPU621が実行するプログラムや各種のデータを記録する。通信部629は、通信網、インターネット、その他のネットワーク、または通信媒体を介して外部の装置と通信する。
また、通信部629を介してプログラムを取得し、記録部628に記録してもよい。
入出力インターフェイス625に接続されているドライブ630は、磁気ディスク641、光ディスク642、光磁気ディスク643、或いは半導体メモリ644などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部628に転送され、記録される。
図33は、サーバ601により実行されるプログラムの構成の例(機能の構成の例)を示す図である。
OS(Operating System)651は、例えば、ファイルの管理、メモリの管理、入出力の管理、またはユーザインターフェイスの提供などを行う基本プログラムである。例えば、OS651は、他のプログラムの要求に応じて、各種の機能を提供する。
ウェブサーバプログラム652は、インターネットを介して、Webページを閲覧させるためのデータを相手に提供するプログラムである。例えば、ウェブサーバプログラム652は、記録部628に記録された情報(例えば、HTMLで記述された文書や画像データなど)を、パーソナルコンピュータ602のウェブブラウザプログラム(図示せず)からの、HTTP(HyperText Transfer Protocol)プロトコルなどの所定のプロトコルに従ったリクエストに応じて、インターネットなど介して、これらの情報を送信する。すなわち、ウェブサーバプログラム652から送信されてきた情報を受信したパーソナルコンピュータ602のウェブブラウザプログラムは、受信した情報の記述に基づく文または画像を表示部(図示せず)に表示させる。
キーワード管理プログラム653は、例えば、キーワードを取得したり、キーワードを提供したりする。
キーワード管理プログラム653は、キーワード検索部661、キーワード設定部662、関連情報設定部663、関連情報検索部664、類似情報設定済画像検索部665、URL情報検索部666、受信制御部667、および送信制御部668を含む。
キーワード検索部661は、受信制御部667から供給される撮像情報を基に、例えば、記録部628から、キーワードを検索する。例えば、キーワード検索部661は、受信制御部667から供給される“新宿駅”の位置座標である撮像情報に基づいて、例えば、記録部628が記録する対応テーブル(例えば、位置座標と位置名称とが関連付けされた情報が設定されている対応テーブル)から、“新宿駅”の位置座標である撮像情報に応じたキーワードを検索する。
キーワード設定部662は、受信制御部667から供給されたキーワードが設定された画像データを、例えば、記録部628に記録させる。例えば、キーワード設定部662は、受信制御部667から供給された“娘”および“運動会”であるキーワードが設定された画像データを記録部628に記録させる。
関連情報設定部663は、受信制御部667から供給されるキーワードおよび関連情報を、例えば、記録部628に記録させる。例えば、関連情報設定部663は、受信制御部667から供給される“○○温泉”であるキーワード、および“○○温泉”に対応した“○○温泉付近の△△という食堂はおいしい”である関連情報を記録部628に記録させる。
関連情報検索部664は、キーワード検索部661から供給されるキーワードに基づいて、キーワードに対応する関連情報を検索する。関連情報検索部664は、検索した関連情報を送信制御部668に供給する。
例えば、関連情報検索部664は、キーワード検索部661から供給される“○○温泉”および“イベント1”であるキーワードに基づいて、“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”、および“イベント1”であるキーワードに対応した“イベント1ではXXが来ていたよ”である関連情報をそれぞれ検索し、検索した“○○温泉付近の△△という食堂はおいしい”および“イベント1ではXXが来ていたよ”を送信制御部668に供給する。
類似情報設定済画像検索部665は、受信制御部667から供給されるキーワードまたは撮像情報を基に、例えば、記録部628に記録されている画像データから、受信制御部667から供給されるキーワードまたは撮像情報、および受信制御部667から供給されるキーワード以外のキーワードが設定された画像データを検索する。類似情報設定済画像検索部665は、検索した画像データに設定されているキーワードを送信制御部668に供給する。
例えば、類似情報設定済画像検索部665は、記録部628に記録されている画像データから、受信制御部667から供給される“娘”であるキーワード、および“娘”であるキーワード以外のキーワードが設定された画像データを検索し、検索した画像データに設定されている“娘”および“運動会”であるキーワードを送信制御部668に供給する。
URL情報検索部666は、キーワード検索部661から供給されるキーワードに基づいて、例えば、インターネット上のWebページを検索して、キーワードに対応するURL情報を検索する。URL情報検索部666は、検索したURL情報を送信制御部668に供給する。
例えば、URL情報検索部666は、例えば、インターネット上のWebページを検索する、いわゆるインターネットのサーチエンジンの機能を備え、キーワード検索部661から供給される“○○温泉”および“イベント1”であるキーワードに基づいて、インターネットを介して、“○○温泉”であるキーワードに対応した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報をそれぞれ検索し、検索した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”を送信制御部668に供給する。
受信制御部667は、通信部629において行われる、例えば、撮像情報などの受信を制御する。例えば、受信制御部667は、通信部629を制御して、通信部629にデジタルスチルカメラ1−1から送信されてきた撮像情報を受信させる。
送信制御部668は、通信部629において行われる、例えば、キーワードなどの送信を制御する。例えば、受信部668は、キーワード検索部661からキーワードが供給されてきたとき、通信部629を制御して、通信部629に、供給されたキーワードをデジタルスチルカメラ1−1に送信させる。
図34は、デジタルスチルカメラ1−1が、サーバ601からキーワードを取得する処理について説明するフローチャートである。
ステップS601において、デジタルスチルカメラ1−1の制御プログラム101の送信制御部123は、ユーザが画像データに設定するキーワードをサーバ601に問い合わせる所定の操作を行った場合、例えば、インターネットなどのネットワークを介して、外部インターフェイス20に、撮像情報をサーバ601に送信させる。
より具体的には、例えば、ユーザが“新宿駅”の周辺で画像を撮像し、撮像した画像(以下、キーワード設定予定画像と称する)に設定するキーワードをサーバ601に問い合わせる操作を行った場合、上述したように、デジタルスチルカメラ1−1の位置座標を取得するための受信装置(図示せず)は、例えば、GPSから、位置座標を取得し、取得した位置座標を送信制御部123に供給する。例えば、送信制御部123は、ネットワークを介して、受信装置から供給された“新宿駅”の周辺の画像を撮像した場所を示す位置座標(以下、単に、“新宿駅”の位置座標と称する)をサーバ601に送信する。
ステップS611において、サーバ601のキーワード管理プログラム653の受信制御部667は、例えば、インターネットなどのネットワークを介して、デジタルスチルカメラ1−1から送信される撮像情報を通信部629に受信させる。受信制御部667は、受信した撮像情報を、キーワード検索部661に供給する。例えば、受信制御部667は、ネットワークを介して、デジタルスチルカメラ1−1から、受信した“新宿駅”の位置座標である撮像情報を、キーワード検索部661に供給する。
ステップS612において、キーワード検索部661は、受信制御部667から供給される撮像情報に基づいて、キーワードを検索する。キーワード検索部661は、検索したキーワードを送信制御部668に供給する。
例えば、キーワード検索部661は、受信制御部667から供給される“新宿駅”の位置座標である撮像情報に基づいて、例えば、記録部628が記録する対応テーブル(例えば、位置座標と位置名称とが関連付けされた情報が設定されている対応テーブル)から、“新宿駅”の位置座標である撮像情報に応じたキーワードを検索する。より具体的には、例えば、対応テーブルに、“新宿駅”の位置座標と“新宿駅付近”である位置名称とが関連付けされている場合、キーワード検索部661は、“新宿駅”である位置座標に基づいて、“新宿駅付近”である位置名称を検索し、検索した“新宿駅付近”である位置名称(キーワード)を送信制御部668に供給する。
ステップS613において、送信制御部668は、例えば、インターネットなどのネットワークを介して、通信部629に、キーワード検索部661から供給されたキーワードをデジタルスチルカメラ1−1に送信させる。例えば、送信制御部668は、ネットワークを介して、キーワード検索部661から“新宿駅付近”であるキーワードが供給された場合、通信部629に、“新宿駅付近”であるキーワードをデジタルスチルカメラ1−1に送信させる。
ステップS602において、デジタルスチルカメラ1−1の制御プログラム101の受信制御部124は、例えば、インターネットなどのネットワークを介して、サーバ601から送信されるキーワードを外部インターフェイス20に受信させる。受信制御部124は、ネットワークを介して、受信したキーワードを表示制御部118に供給する。例えば、受信制御部124は、サーバ601から送信される“新宿駅付近”であるキーワードを受信し、受信した“新宿駅付近”であるキーワードを表示制御部118に供給する。
ステップS603において、表示制御部118は、受信制御部124から供給されたキーワードを基に、キーワードを所定の形式でLCD17の画面に表示させる。例えば、表示制御部118は、受信制御部124から供給された“新宿駅付近”であるキーワードを、所定の形式でLCD17の画面に表示させる。
ステップS604において、キーワード検索部121は、ユーザの指示を基に、LCD17の画面に所定の形式で表示されたキーワードから、設定するキーワードを選択する。キーワード検索部121は、選択されたキーワードをキーワード設定部116に供給する。例えば、キーワード検索部121は、ユーザにより、“新宿駅付近”であるキーワードが選択された場合、選択された“新宿駅付近”であるキーワードをキーワード設定部116に供給する。
ステップS605において、キーワード設定部116は、キーワード設定予定画像に対して、キーワード検索部121から供給されたキーワードを設定し、処理は終了する。例えば、キーワード設定部116は、キーワード設定予定画像に対して、キーワード検索部121から供給された“新宿駅付近”であるキーワードを設定する。
このように、デジタルスチルカメラ1−1は、記録媒体19に記録された画像データに対して設定されたキーワード以外にも、例えば、インターネットなどのネットワークを介して、サーバ601から、キーワードを取得することができるので、キーワードを入力する手間を省くことができ、また、画像に対して最適なキーワードを設定することができる。
次に、図35および図36を参照して、デジタルスチルカメラ1−1が、上述した類似画像を検索する処理(例えば、図27のステップS503の処理)を、記録媒体19に記録された画像データからではなく、サーバ601にの記録部628に記録された画像データから検索する処理について説明する。
図35は、デジタルスチルカメラ1−2が、キーワードが設定された画像データをサーバ601に設定する処理について説明するフローチャートである。
ステップS651において、デジタルスチルカメラ1−2の制御プログラム101の送信制御部123は、例えば、インターネットなどのネットワークを介して、外部インターフェイス20に、キーワードが設定された画像データをサーバ601に送信させる。例えば、送信制御部123は、外部インターフェイス20に、ネットワークを介して、“娘”および“運動会”であるキーワードが設定された画像データをサーバ601に送信させる。
ステップS661において、サーバ601のキーワード管理プログラム653の受信制御部667は、例えば、インターネットなどのネットワークを介して、デジタルスチルカメラ1−2から送信されるキーワードが設定された画像データを通信部629に受信させる。受信制御部667は、受信したキーワードが設定された画像データを、キーワード設定部662に供給する。例えば、受信制御部667は、ネットワークを介して、デジタルスチルカメラ1−2から送信されてくる“娘”および“運動会”であるキーワードが設定された画像データを通信部629に受信させ、受信した“娘”および“運動会”であるキーワードが設定された画像データをキーワード設定部662に供給する。
ステップS662において、キーワード設定部662は、受信制御部667から供給されたキーワードが設定された画像データを、例えば、記録部628に記録させ、処理は終了する。例えば、キーワード設定部662は、受信制御部667から供給された“娘”および“運動会”であるキーワードが設定された画像データを記録部628に記録させる。
このようにして、サーバ601は、ネットワークを介して、デジタルスチルカメラ1−2から送信されたキーワードが設定された画像データを記録部628に記録することができる。
図36は、デジタルスチルカメラ1−1が、類似キーワードをサーバ601から検索する処理について説明するフローチャートである。
ステップS671において、デジタルスチルカメラ1−1の制御プログラム101の類似情報設定済画像検索部114は、所望の画像(以下、類似キーワード設定予定画像と称する)に対して、類似画像検索の処理を行う。類似画像検索の処理は、上述した図27のステップS503の処理と同様であり、その説明は省略する。
ステップS672において、送信制御部123は、例えば、インターネットなどのネットワークを介して、ステップS671の処理の検索条件であるキーワード、または撮像情報を外部インターフェイス20にサーバ601宛てに送信させる。すなわち、ステップS671の処理の検索条件であるキーワード、または撮像情報をサーバ601に送信することで、サーバ601の記録部628に記録された画像データに関しても、類似画像検索の処理を行うことができる。例えば、送信制御部123は、ネットワークを介して、“娘”であるキーワードをサーバ601に送信する。
ステップS681において、サーバ601のキーワード管理プログラム653の受信制御部667は、例えば、インターネットなどのネットワークを介して、デジタルスチルカメラ1−1から送信されたキーワードまたは撮像情報を通信部629に受信させる。受信制御部667は、受信したキーワードまたは撮像情報を類似情報設定済画像検索部665に供給する。例えば、受信制御部667は、デジタルスチルカメラ1−1から送信された“娘”であるキーワードを通信部629に受信させ、受信した“娘”であるキーワードを類似情報設定済画像検索部665に供給する。
ステップS682において、類似情報設定済画像検索部665は、受信制御部667から供給されるキーワードまたは撮像情報を基に、例えば、記録部628に記録されている画像データから、受信制御部667から供給されるキーワードまたは撮像情報、および受信制御部667から供給されるキーワード以外の類似キーワードが設定された画像データを検索する。類似情報設定済画像検索部665は、検索した画像データに設定されている類似キーワードを送信制御部668に供給する。
例えば、類似情報設定済画像検索部665は、記録部628に記録されている画像データから、受信制御部667から供給される“娘”であるキーワード、および類似キーワードが設定された画像データ(例えば、図35のステップS662の処理で“娘”および“運動会”であるキーワードが設定された画像データ)を検索し、検索した画像データに設定されている“運動会”である類似キーワードを送信制御部668に供給する。
ステップS683において、送信制御部668は、例えば、インターネットなどのネットワークを介して、類似情報設定済画像検索部665から供給された類似キーワードを通信部629にデジタルスチルカメラ1−1宛てに送信させる。例えば、送信制御部668は、ネットワークを介して、類似情報設定済画像検索部665から“運動会”である類似キーワードが供給された場合、通信部629に、“運動会”である類似キーワードをデジタルスチルカメラ1−1に送信させる。
ステップS673において、デジタルスチルカメラ1−1の制御プログラム101の受信制御部124は、例えば、インターネットなどのネットワークを介して、サーバ601から送信されてくる類似キーワードを外部インターフェイス20に受信させる。受信制御部124は、ネットワークを介して、受信した類似キーワードを表示制御部118に供給する。例えば、受信制御部124は、サーバ601から送信される“運動会”である類似キーワードを外部インターフェイス20に受信させ、受信した“運動会”である類似キーワードを表示制御部118に供給する。
ステップS674において、表示制御部118は、受信制御部124から供給された類似キーワードを基に、類似キーワードを所定の形式でLCD17の画面に表示させる。例えば、表示制御部118は、受信制御部124から供給された“運動会”である類似キーワードを、所定の形式でLCD17の画面に表示させる。
ステップS675において、キーワード検索部121は、ユーザの指示を基に、LCD17の画面に所定の形式で表示されたキーワードから、設定する類似キーワードを選択する。キーワード検索部121は、選択されたキーワードをキーワード設定部116に供給する。例えば、キーワード検索部121は、ユーザにより、“運動会”である類似キーワードが選択された場合、選択された“運動会”である類似キーワードをキーワード設定部116に供給する。
ステップS676において、キーワード設定部116は、類似キーワード設定予定画像に対して、キーワード検索部121から供給された類似キーワードを設定し、処理は終了する。例えば、キーワード設定部116は、類似キーワード設定予定画像に対して、キーワード検索部121から供給された“運動会”である類似キーワードを設定する。
このように、デジタルスチルカメラ1−1は、記録媒体19に記録された画像データに対して設定されたキーワード以外にも、例えば、インターネットなどのネットワークを介して、サーバ601から、類似キーワードを取得することにより、より多くのキーワードからキーワードを選択することができるので、画像に対して最適なキーワードを設定することができる。
図37は、パーソナルコンピュータ602が、キーワードまたは関連情報を、サーバ601に設定する処理について説明するフローチャートである。
ステップS701において、例えば、パーソナルコンピュータ602の所定のウェブブラウザプログラム(図示せず)は、ユーザ(例えば、デジタルスチルカメラ1−1とデジタルスチルカメラ1−2のユーザ以外のユーザ)の操作(例えば、ユーザが入力したキーワードおよび関連情報)に基づいて、すなわち、ユーザによる入力部(図示せず)への操作に対応した入力部から出力される信号に基づいて、キーワードおよび関連情報を取得する。所定のウェブブラウザプログラムは、取得したキーワードおよび関連情報を送信部(図示せず)に供給する。
例えば、ユーザの操作によって、“○○温泉”であるキーワードに対応して、“○○温泉付近の△△という食堂はおいしい”である関連情報が入力された場合、所定のウェブブラウザプログラムは、“○○温泉”であるキーワード、および“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”である関連情報を取得し、取得した、“○○温泉”であるキーワード、および“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”である関連情報を送信部に供給する。
ステップS702において、送信部(図示せず)は、例えば、インターネットなどのネットワークを介して、所定のウェブプログラムから供給されたキーワードおよび関連情報をサーバ601に送信する。例えば、送信部は、ネットワークを介して、“○○温泉”であるキーワード、および“○○温泉”に対応した“○○温泉付近の△△という食堂はおいしい”である関連情報をサーバ601に送信する。
ステップS711において、受信制御部667は、例えば、インターネットなどのネットワークを介して、パーソナルコンピュータ602から送信されるキーワードおよび関連情報を受信する。受信制御部667は受信したキーワードおよび関連情報を関連情報設定部663に供給する。
例えば、受信制御部667は、ネットワークを介して、パーソナルコンピュータ602から送信されてきた、“○○温泉”であるキーワード、および“○○温泉”に対応した“○○温泉付近の△△という食堂はおいしい”である関連情報を通信部629に受信させ、受信した“○○温泉”であるキーワード、および“○○温泉”に対応した“○○温泉付近の△△という食堂はおいしい”である関連情報を関連情報設定部663に供給する。
ステップS712において、関連情報設定部663は、受信制御部667から供給されるキーワードおよび関連情報を、例えば、記録部628に記録させ、処理は終了する。例えば、関連情報設定部663は、受信制御部667から供給される“○○温泉”であるキーワード、および“○○温泉”に対応した“○○温泉付近の△△という食堂はおいしい”である関連情報を記録部628に記録させる。
なお、ステップS712において、関連情報設定部663は、ユーザ(例えば、サーバ601の管理者)の指示に基づいて、受信制御部667から供給されるキーワードおよび関連情報を記録部628に記録させないようにすることもできる。すなわち、例えば、受信制御部667から供給されるキーワードに対して、好ましくない関連情報(例えば、相手を誹謗中傷するような文言)である場合、ユーザは、所定の管理画面などにより、関連情報を設定しないようにする所定の処理を行うことができる。
このようにして、サーバ601は、パーソナルコンピュータ602から送信されたキーワードおよび関連情報を記録部628に記録することができる。
図38は、デジタルスチルカメラ1−1が、キーワードまたは関連情報を、サーバ601から検索する処理について説明するフローチャートである。
ステップS721において、デジタルスチルカメラ1−1の制御プログラム101の送信制御部123は、ユーザが画像データに設定するキーワードまたは関連情報をサーバ601に問い合わせる所定の操作を行った場合、例えば、インターネットなどのネットワークを介して、撮像情報を外部インターフェイス20にサーバ601宛てに送信させる。
より具体的には、例えば、ユーザが“○○温泉”の周辺で画像を撮像し、撮像した画像(以下、関連情報設定予定画像と称する)に設定するキーワードまたは関連情報をサーバ601に問い合わせる操作を行った場合、上述したように、デジタルスチルカメラ1−1の位置座標を取得するための受信装置(図示せず)は、例えば、GPSから、位置座標を取得し、取得した位置座標を送信制御部123に供給する。例えば、送信制御部123は、ネットワークを介して、受信装置から供給された“○○温泉”の周辺の画像を撮像した場所を示す位置座標(以下、単に、“○○温泉”の位置座標と称する)をサーバ601に送信する。
ステップS741において、サーバ601のキーワード管理プログラム653の受信制御部667は、例えば、インターネットなどのネットワークを介して、デジタルスチルカメラ1−1から送信される撮像情報を通信部629に受信させる。受信制御部667は、受信した撮像情報をキーワード検索部661に供給する。例えば、受信制御部667は、ネットワークを介して、デジタルスチルカメラ1−1から、受信した“○○温泉”の位置座標である撮像情報をキーワード検索部661に供給する。
ステップS742において、キーワード検索部661は、受信制御部667から供給される撮像情報に基づいて、撮像情報に対応するキーワードを検索する。キーワード検索部661は、検索したキーワードを関連情報検索部664および送信制御部668にそれぞれ供給する。
例えば、キーワード検索部661は、受信制御部667から供給される“○○温泉”の位置座標である撮像情報に基づいて、例えば、記録部628が記録する対応テーブル(例えば、位置座標と位置名称とが関連付けされた情報が設定されている対応テーブル)から、“○○温泉”の位置座標である撮像情報に対応するキーワードを検索する。より具体的には、例えば、対応テーブルに、“○○温泉”の位置座標と“○○温泉”である位置名称とが関連付けされている場合、キーワード検索部661は、“○○温泉”である位置座標に基づいて、“○○温泉”である位置名称を検索する。さらに、“○○温泉”の位置座標に“イベント1”である位置名称(イベント情報)とが関連付けされている場合(すなわち、“○○温泉”で“イベント1”が催されている場合)、キーワード検索部661は、“○○温泉”である位置座標に基づいて、“イベント1”であるイベント情報を検索する。
すわわち、キーワード検索部661は、“○○温泉”および“イベント1”であるキーワードを検索し、検索した“○○温泉”および“イベント1”であるキーワードを送信制御部668に供給する。
ステップS743において、関連情報検索部664は、キーワード検索部661から供給されるキーワードに基づいて、キーワードに対応する関連情報を検索する。関連情報検索部664は、検索した関連情報を送信制御部668に供給する。
例えば、関連情報検索部664は、キーワード検索部661から供給される“○○温泉”および“イベント1”であるキーワードに基づいて、“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”(例えば、図37のステップS712の処理で“○○温泉”であるキーワード対して設定された“○○温泉付近の△△という食堂はおいしい”である関連情報)、および“イベント1”であるキーワードに対応した“イベント1ではXXが来ていたよ”である関連情報をそれぞれ検索し、検索した“○○温泉付近の△△という食堂はおいしい”および“イベント1ではXXが来ていたよ”である関連情報を送信制御部668に供給する。
ステップS744において、送信制御部668は、例えば、インターネットなどのネットワークを介して、キーワード検索部661から供給されたキーワード、および関連情報検索部664から供給された関連情報を通信部629にデジタルスチルカメラ1−1宛てに送信させる。
例えば、送信制御部668は、ネットワークを介して、キーワード検索部661から“○○温泉”および“イベント1”であるキーワード、並びに関連情報検索部664から“○○温泉付近の△△という食堂はおいしい”および“イベント1ではXXが来ていたよ”である関連情報が供給された場合、“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”および“イベント1”に対応した“イベント1ではXXが来ていたよ”である関連情報をデジタルスチルカメラ1−1に送信する。
ステップS722において、デジタルスチルカメラ1−1の制御プログラム101の受信制御部124は、例えば、インターネットなどのネットワークを介して、サーバ601から送信されるキーワードおよび関連情報を外部インターフェイス20に受信させる。受信制御部124は、受信したキーワードおよび関連情報を表示制御部118に供給する。例えば、受信制御部124は、ネットワークを介して、サーバ601から送信される“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”および“イベント1”に対応した“イベント1ではXXが来ていたよ”である関連情報を受信し、受信した“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”および“イベント1”に対応した“イベント1ではXXが来ていたよ”である関連情報を表示制御部118に供給する。
ステップS723において、表示制御部118は、受信制御部124から供給されたキーワードおよび関連情報を基に、キーワードおよび関連情報を所定の形式でLCD17の画面に表示させる。例えば、表示制御部118は、受信制御部124から供給された“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉付近の△△という食堂はおいしい”および“イベント1”に対応した“イベント1ではXXが来ていたよ”である関連情報を所定の形式でLCD17の画面に表示させる。
図39は、サーバ601で検索されたキーワードおよび関連情報を表示するLCD17の画面の例を示す図である。
検索結果内容701は、検索されたキーワード(以下、関連キーワードと称する)に関するメッセージである。例えば、検索結果内容701として、“○○温泉”、および“イベント1”であるキーワードが検索された場合、“関連キーワードは「○○温泉」、「イベント1」です。”とのメッセージが表示される。
関連情報内容702は、検索結果内容701の関連キーワードに対応した関連情報に関するメッセージである。例えば、関連情報内容702として、“○○温泉”に対応して“○○温泉付近の△△という食堂はおいしい”である関連情報が検索された場合、“1.○○温泉付近の△△という食堂はおいしい”とのメッセージが表示され、“イベント1”に対応して、“イベント1ではXXが来ていたよ”である関連情報が検索された場合、“2.イベント1ではXXが来ていたよ”とのメッセージが表示される。
例えば、ユーザが、カーソル721でキーワード登録ボタン711を選択して、スイッチを押すと、キーワード設定部116は、検索結果内容701に表示された関連キーワードを関連情報設定予定画像に設定する。例えば、キーワード設定部116は、“○○温泉”、“イベント1”である関連キーワードを関連情報設定予定画像に設定する。
例えば、ユーザが、カーソル721で関連情報登録ボタン712を選択して、スイッチを押すと、キーワード設定部116は、関連キーワードに対応して関連情報内容702に表示された関連情報を関連情報設定予定画像に設定する。例えば、キーワード設定部116は、“○○温泉”に対応して“○○温泉付近の△△という食堂はおいしい”、および“イベント1”に対応して“イベント1ではXXが来ていたよ”である関連情報を関連情報設定予定画像に設定する。
図38に戻り、ステップS724において、キーワード検索部121は、ユーザの指示を基に、LCD17の画面に所定の形式で表示されたキーワードから、設定するキーワードを選択する。キーワード設定部111は、選択されたキーワードをキーワード設定部116に供給する。例えば、キーワード検索部121は、ユーザにより、“○○温泉”であるキーワードが選択された場合、選択された“○○温泉”であるキーワードをキーワード設定部116に供給する。
ステップS725において、キーワード検索部121は、キーワードに対応した関連情報を設定するか否かを判定する。例えば、キーワード検索部121は、ユーザにより、関連情報登録ボタン712が押された場合、キーワードに対応した関連情報を設定すると判定し、一方、ユーザにより、キーワード登録ボタン711が押された場合、キーワードに対応する関連情報を設定すると判定する。
ステップS725において、キーワードに対応した関連情報を設定すると判定された場合、ステップS726に進み、キーワード検索部121は、ユーザにより、選択されたキーワードに対応する関連情報をキーワード設定部116に供給する。例えば、キーワード検索部121は、ユーザにより、選択された“○○温泉”であるキーワードに対応する“○○温泉付近の△△という食堂はおいしい”である関連情報をキーワード設定部116に供給する。
ステップS727において、キーワード設定部116は、関連情報設定予定画像に対して、キーワード検索部121から供給されたキーワードおよびキーワードに対応した関連情報を設定し、処理は終了する。例えば、キーワード設定部116は、関連情報設定予定画像に対して、キーワード検索部121から供給された“○○温泉”であるキーワードおよび“○○温泉”であるキーワードに対応する“○○温泉付近の△△という食堂はおいしい”である関連情報を設定する。
なお、キーワードおよびキーワードに対応する関連情報は、上述したように、キーワード設定部116が、関連情報設定予定画像に対して、キーワードと関連情報の両方を設定するようにしてもよいし、キーワードと関連情報のいずれか一方を設定するようにしてもよい。例えば、キーワード設定部116は、関連情報設定予定画像に対して、“○○温泉”であるキーワードに対応する“○○温泉付近の△△という食堂はおいしい”である関連情報のみを設定することができる。
一方、ステップS725において、キーワードに対応した関連情報を設定しないと判定された場合、キーワードに対する関連情報を設定しないので、ステップS728に進み、キーワード設定部116は、関連情報設定予定画像に対して、キーワード検索部121から供給されたキーワードのみを設定し、処理は終了する。例えば、キーワード設定部116は、関連情報設定予定画像に対して、キーワード検索部121から供給された“○○温泉”であるキーワードのみを設定する。
このように、デジタルスチルカメラ1−1は、サーバ601から、キーワードの他に、キーワードに対する詳細な情報である関連情報を取得し、画像に対して設定することができるので、ユーザは、キーワードのみならず、関連情報からも、画像に対応するより詳細な情報を取得することができる。
図40は、デジタルスチルカメラ1−1が、キーワードまたはURL情報を、サーバ601から検索する処理について説明するフローチャートである。
ステップS751において、デジタルスチルカメラ1−1の制御プログラム101の送信制御部123は、ユーザが画像データに設定するキーワードまたはURL情報をサーバ601に問い合わせる所定の操作を行った場合、例えば、インターネットなどのネットワークを介して、撮像情報を外部インターフェイス20にサーバ601宛てに送信させる。
より具体的には、例えば、ユーザが“○○温泉”の周辺で画像を撮像し、撮像した画像(以下、URL情報設定予定画像と称する)に設定するキーワードまたはURL情報をサーバ601に問い合わせる操作を行った場合、上述したように、デジタルスチルカメラ1−1の位置座標を取得するための受信装置(図示せず)は、例えば、GPSから、位置座標を取得し、取得した位置座標を送信制御部123に供給する。例えば、送信制御部123は、ネットワークを介して、受信装置から供給された“○○温泉”の周辺の画像を撮像した場所を示す位置座標(以下、単に、“○○温泉”の位置座標と称する)をサーバ601に送信する。
ステップS771において、サーバ601のキーワード管理プログラム653の受信制御部667は、例えば、インターネットなどのネットワークを介して、デジタルスチルカメラ1−1から送信される撮像情報を通信部629に受信させる。受信制御部667は、ネットワークを介して、受信した撮像情報をキーワード検索部661に供給する。例えば、受信制御部667は、デジタルスチルカメラ1−1から、受信した“○○温泉”の位置座標である撮像情報をキーワード検索部661に供給する。
ステップS772において、キーワード検索部661は、受信制御部667から供給される撮像情報に基づいて、撮像情報に対応するキーワードを検索する。キーワード検索部661は、検索したキーワードをURL情報検索部666および送信制御部668にそれぞれ供給する。
例えば、キーワード検索部661は、受信制御部667から供給される“○○温泉”の位置座標である撮像情報に基づいて、例えば、記録部628が記録する対応テーブル(例えば、位置座標と位置名称とが関連付けされた情報が設定されている対応テーブル)から、“○○温泉”の位置座標である撮像情報に対応するキーワードを検索する。より具体的には、例えば、対応テーブルに、“○○温泉”の位置座標と“○○温泉”である位置名称とが関連付けされている場合、キーワード検索部661は、“○○温泉”である位置座標に基づいて、“○○温泉”である位置名称を検索する。さらに、“○○温泉”の位置座標に“イベント1”である位置名称(イベント情報)とが関連付けされている場合(すなわち、“○○温泉”で“イベント1”が催されている場合)、キーワード検索部661は、“○○温泉”である位置座標に基づいて、“イベント1”であるイベント情報を検索する。
すわわち、キーワード検索部661は、“○○温泉”および“イベント1”であるキーワードを検索し、検索した“○○温泉”および“イベント1”であるキーワードをURL情報検索部666および送信制御部668にそれぞれ供給する。
ステップS773において、URL情報検索部666は、キーワード検索部661から供給されるキーワードに基づいて、例えば、インターネット上のWebページを検索して、キーワードに対応するURL情報を検索する。URL情報検索部666は、検索したURL情報を送信制御部668に供給する。
例えば、URL情報検索部666は、例えば、インターネット上のWebページを検索する、いわゆるインターネットのサーチエンジンの機能を備え、キーワード検索部661から供給される“○○温泉”および“イベント1”であるキーワードに基づいて、インターネットを介して、“○○温泉”であるキーワードに対応した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報をそれぞれ検索し、検索した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”を送信制御部668に供給する。
ステップS774において、送信制御部668は、例えば、インターネットなどのネットワークを介して、キーワード検索部661から供給されたキーワード、およびURL情報検索部666から供給されたURL情報を通信部629にデジタルスチルカメラ1−1宛てに送信させる。例えば、送信制御部668は、ネットワークを介して、キーワード検索部661から、“○○温泉”および“イベント1”であるキーワード、並びにURL情報検索部666から、“○○温泉”であるキーワードに対応した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報が供給された場合、“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報をデジタルスチルカメラ1−1に送信する。
ステップS752において、デジタルスチルカメラ1−1の制御プログラム101の受信制御部124は、例えば、インターネットなどのネットワークを介して、サーバ601から送信されるキーワードおよびURL情報を外部インターフェイス20に受信させる。受信制御部124は、ネットワークを介して、受信したキーワードおよびURL情報を表示制御部118に供給する。例えば、受信制御部124は、サーバ601から送信される“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報を受信し、受信した“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報を表示制御部118に供給する。
ステップS753において、表示制御部118は、受信制御部124から供給されたキーワードおよびURL情報を基に、キーワードおよびURL情報を所定の形式でLCD17の画面に表示させる。例えば、表示制御部118は、受信制御部124から供給された“○○温泉”および“イベント1”であるキーワード、並びに“○○温泉”であるキーワードに対応した“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報を所定の形式でLCD17の画面に表示させる。
図41は、サーバ601で検索されたキーワードおよびURL情報を表示するLCD17の画面の例を示す図である。
検索結果内容731は、検索されたキーワード(関連キーワード)に関するメッセージである。例えば、“○○温泉”、および“イベント1”であるキーワードが検索された場合、“関連キーワードは「○○温泉」、「イベント1」です。”とのメッセージが検索結果内容731として表示される。
URL情報内容732は、検索結果内容731の関連キーワードに対応したURL情報に関するメッセージである。例えば、URL情報内容732は、“○○温泉”に対応して“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報が検索された場合、“1.○○温泉紹介 http://www.aaa.or.jp 2.○○温泉観光協会 http://www.bbb.or.jp”とのメッセージがURL情報内容732として表示される。
例えば、ユーザが、カーソル721でキーワード登録ボタン711を選択して、スイッチを押すと、キーワード設定部116は、検索結果内容731に表示された関連キーワードをURL情報設定予定画像に設定する。例えば、キーワード設定部116は、CPU51の制御に基づいて、“○○温泉”、“イベント1”である関連キーワードをURL情報設定予定画像に設定する。
例えば、ユーザが、カーソル721でURL登録ボタン713を選択して、スイッチを押すと、キーワード設定部116は、関連キーワードに対応して、検索結果内容731に表示されたURL情報をURL情報設定予定画像に設定する。例えば、キーワード設定部116は、“○○温泉”に対応して“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報をURL情報設定予定画像に設定する。
図40に戻り、ステップS754において、キーワード検索部121は、ユーザの指示を基に、LCD17の画面に所定の形式で表示されたキーワードから、設定するキーワードを選択する。キーワード検索部121は、選択されたキーワードをキーワード設定部116に供給する。例えば、キーワード検索部121は、ユーザにより、“○○温泉”であるキーワードが選択され、キーワード登録ボタン711が押された場合、選択された“○○温泉”であるキーワードをキーワード設定部116に供給する。
ステップS755において、キーワード検索部121は、キーワードに関連するWebページのURL情報を設定するか否かを判定する。例えば、キーワード検索部121は、ユーザにより、URL情報設定ボタン712が押された場合、キーワードに関連するURL情報を設定すると判定し、一方、ユーザにより、キーワード登録ボタン711が押された場合、キーワードに関連するURL情報を設定しないと判定する。
ステップS755において、キーワードに関連するURL情報を設定すると判定された場合、ステップS756に進み、キーワード検索部121は、ユーザにより、選択されたキーワードに対応するURL情報をキーワード設定部116に供給する。例えば、キーワード検索部121は、ユーザにより、選択された“○○温泉”であるキーワードに対応する“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報をキーワード設定部116に供給する。
ステップS757において、キーワード設定部116は、URL情報設定予定画像に対して、キーワード検索部121から供給されたキーワードおよびキーワードに対応したURL情報を設定し、処理は終了する。例えば、キーワード設定部116は、URL情報設定予定画像に対して、キーワード検索部121から供給された“○○温泉”であるキーワードおよび“○○温泉”であるキーワードに対応する“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報を設定する。
なお、キーワードおよびキーワードに対応するURL情報は、上述したように、キーワード設定部116が、URL情報設定予定画像に対して、キーワードとURL情報の両方を設定するようにしてもよいし、キーワードとURL情報のいずれか一方を設定するようにしてもよい。例えば、キーワード設定部116は、URL情報設定予定画像に対して、“○○温泉”であるキーワードに対応する“○○温泉紹介 http://www.aaa.or.jp”および“○○温泉観光協会 http://www.bbb.or.jp”であるURL情報のみを設定することができる。
一方、ステップS755において、キーワードに関連するURL情報を設定しないと判定された場合、ステップS758に進み、キーワード設定部116は、URL情報設定予定画像に対して、キーワード検索部121から供給されたキーワードのみを設定し、処理は終了する。例えば、キーワード設定部116は、URL情報設定予定画像に対して、キーワード検索部121から供給された“○○温泉”であるキーワードのみを設定する。
このように、デジタルスチルカメラ1−1は、サーバ601から、キーワードの他に、キーワードに対するWebページへのリンク情報であるURL情報を取得し、画像に対して設定することができるので、ユーザは、URL情報で指定されたURLに基づいて、いわゆるホームページにアクセスすることで、キーワードに応じたより詳細な情報を取得することができる。
以上のように、撮像した画像を、撮像情報またはキーワードにより検索し、検索した画像に設定されたキーワードを基に、撮像情報またはキーワードによって検索された画像に対して、キーワードを設定することができるので、キーワードが統一されて、記録媒体に記録された画像を把握することが容易になり、所望の画像をより迅速に、確実に検索することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
この記録媒体は、図1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク71(フレキシブルディスクを含む)、光ディスク72(CD-ROM(Compact Disc-Read Only Memory)を含む)、光磁気ディスク73(MD(商標)を含む)、若しくは半導体メモリ74などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM52や、フラッシュROM53などで構成される。
また、この記録媒体は、図32に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク641(フレキシブルディスクを含む)、光ディスク642(CD-ROM、DVDを含む)、光磁気ディスク643(MD(商標)を含む)、若しくは半導体メモリ644などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM622や、記録部628に含まれるハードディスクなどで構成される。
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
1,1−1および1−2 デジタルスチルカメラ, 2 情報処理システム, 11 カメラ部, 12 カメラDSP, 13 SDRAM, 14 制御部, 15 操作部, 16 LCDコントローラ, 17 LCD, 18 媒体インターフェイス, 19 記録媒体, 20 外部インターフェイス, 31 光学ブロック, 32 CCD, 33 前処理回路, 34 光学ブロックドライバ, 35 CCDドライバ, 36 タイミング生成回路, 41 AF処理部, 42 AE処理部, 43 AWB処理部, 44 圧縮伸張部, 45 SDRAMコントローラ, 51 CPU, 52 RAM, 53 フラッシュROM, 54 リアルタイムクロック, 55 システムバス, 71 磁気ディスク, 72 光ディスク, 73 光磁気ディスク, 74 半導体メモリ, 101 制御プログラム, 111 撮像情報記録部, 112 キーワード記録部, 113 設定対象画像検索部, 114 類似情報設定済画像検索部, 115 キーワード抽出部, 116 キーワード設定部, 117 ヒストグラム表示データ生成部, 118 表示制御部, 119 通信制御部, 121 キーワード検索部, 122 撮像情報検索部, 123 送信制御部, 124 受信制御部, 601 サーバ, 602 パーソナルコンピュータ, 621 CPU, 622 ROM, 623 RAM, 624 バス, 625 入出力インターフェイス, 626 入力部, 627 出力部, 628 記録部, 629 通信部, 630 ドライブ, 641 磁気ディスク, 642 光ディスク, 643 光磁気ディスク, 644 半導体メモリ, 651 OS, 652 ウェブサーバプログラム, 653 キーワード管理プログラム, 661 キーワード検索部, 662 キーワード設定部, 663 関連情報設定部, 664 関連情報検索部, 665 類似情報設定済画像検索部, 666 URL情報検索部, 667 受信制御部, 668 送信制御部

Claims (9)

  1. 複数の画像から構成される画像群の一部の画像と関連付けられた付属情報から、第1の付属情報を選択する第1のステップと、
    前記画像群において、前記選択された第1の付属情報と関連付けられた画像に関連付けられた、前記第1の付属情報以外の他の付属情報を抽出する第2のステップと、
    前記抽出された他の付属情報から、第2の付属情報を選択する第3のステップと、
    前記選択された第2の付属情報を、前記画像群の一部の画像に関連付ける第4のステップと
    を含む画像管理方法。
  2. 前記第2の付属情報に基づいて分類された前記画像群の画像の数量を計測する第5のステップをさらに含む
    請求項1に記載の画像管理方法。
  3. 前記第2の付属情報毎に前記画像群の画像の数量を視覚的に表示する第6のステップをさらに含む
    請求項2に記載の画像管理方法。
  4. 前記付属情報は前記画像が記録された日時に関する情報を含む
    請求項1に記載の画像管理方法。
  5. 前記付属情報はテキスト情報を含む
    請求項1に記載の画像管理方法。
  6. 前記付属情報は前記画像が記録された場所に関する情報を含む
    請求項1に記載の画像管理方法。
  7. 複数の画像から構成される画像群の一部の画像と関連付けられた付属情報から、第1の付属情報を選択する第1の手段と、
    前記画像群において、前記選択された第1の付属情報と関連付けられた画像に関連付けられた、前記第1の付属情報以外の他の付属情報を抽出する第2の手段と、
    前記抽出された他の付属情報から、第2の付属情報を選択する第3の手段と、
    前記選択された第2の付属情報を、前記画像群の一部の画像に関連付ける第4の手段と
    を含む画像管理装置。
  8. 複数の画像から構成される画像群の一部の画像と関連付けられた付属情報から、第1の付属情報を選択する第1のステップと、
    前記画像群において、前記選択された第1の付属情報と関連付けられた画像に関連付けられた、前記第1の付属情報以外の他の付属情報を抽出する第2のステップと、
    前記抽出された他の付属情報から、第2の付属情報を選択する第3のステップと、
    前記選択された第2の付属情報を、前記画像群の一部の画像に関連付ける第4のステップと
    をコンピュータに実行させるプログラムが記録されている記録媒体。
  9. 複数の画像から構成される画像群の一部の画像と関連付けられた付属情報から、第1の付属情報を選択する第1のステップと、
    前記画像群において、前記選択された第1の付属情報と関連付けられた画像に関連付けられた、前記第1の付属情報以外の他の付属情報を抽出する第2のステップと、
    前記抽出された他の付属情報から、第2の付属情報を選択する第3のステップと、
    前記選択された第2の付属情報を、前記画像群の一部の画像に関連付ける第4のステップと
    をコンピュータに実行させるプログラム。
JP2010250245A 2010-11-08 2010-11-08 画像管理方法および装置、記録媒体、並びにプログラム Expired - Fee Related JP5321564B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010250245A JP5321564B2 (ja) 2010-11-08 2010-11-08 画像管理方法および装置、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010250245A JP5321564B2 (ja) 2010-11-08 2010-11-08 画像管理方法および装置、記録媒体、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004169426A Division JP2005354134A (ja) 2004-06-08 2004-06-08 画像管理方法および装置、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2011081819A JP2011081819A (ja) 2011-04-21
JP5321564B2 true JP5321564B2 (ja) 2013-10-23

Family

ID=44075737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010250245A Expired - Fee Related JP5321564B2 (ja) 2010-11-08 2010-11-08 画像管理方法および装置、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP5321564B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206387A (ja) * 2012-03-29 2013-10-07 Ntt Docomo Inc データ検索システム及びデータ検索方法
US20140108405A1 (en) * 2012-10-16 2014-04-17 Realnetworks, Inc. User-specified image grouping systems and methods
JP6314465B2 (ja) * 2013-12-12 2018-04-25 株式会社バッファロー 情報処理装置、画像処理システム、情報処理装置におけるデータ表示方法及びプログラム
EP3260968A4 (en) * 2015-03-27 2018-02-14 Huawei Technologies Co. Ltd. Method and apparatus for displaying electronic picture, and mobile device
JP6311684B2 (ja) * 2015-09-25 2018-04-18 京セラドキュメントソリューションズ株式会社 表示操作装置、及び画像形成装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3219840B2 (ja) * 1992-05-13 2001-10-15 富士通株式会社 情報検索装置
JP3149309B2 (ja) * 1994-04-21 2001-03-26 キヤノン株式会社 情報機器
JPH10334121A (ja) * 1997-05-30 1998-12-18 Casio Comput Co Ltd 画像の検索属性付与方法および検索方法、画像処理装置、その検索属性付与プログラムおよび検索プログラムを記録した記録媒体
JP3994422B2 (ja) * 1997-11-12 2007-10-17 富士フイルム株式会社 デジタルスチルカメラ
JP4340367B2 (ja) * 1999-01-27 2009-10-07 株式会社リコー 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000276474A (ja) * 1999-03-24 2000-10-06 Fuji Photo Film Co Ltd データベース検索装置および方法
JP2001357045A (ja) * 2000-06-13 2001-12-26 Nippon Telegr & Teleph Corp <Ntt> 画像管理装置,画像管理方法および画像管理プログラムの記録媒体
US20020093678A1 (en) * 2000-10-17 2002-07-18 Skidgel John M. Managing and searching digital images
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
JP2002152671A (ja) * 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd 画像処理回路、画像処理方法、および画像処理プログラムを記録した記録媒体
JP2003032474A (ja) * 2001-07-13 2003-01-31 Fuji Photo Film Co Ltd 画像ファイリング方法および装置並びにプログラム
JP2003256461A (ja) * 2002-03-04 2003-09-12 Fuji Photo Film Co Ltd 画像検索方法および装置並びにプログラム
JP4090926B2 (ja) * 2002-03-29 2008-05-28 富士フイルム株式会社 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム
JP2003333467A (ja) * 2002-05-14 2003-11-21 Nikon Gijutsu Kobo:Kk 画像管理装置及び画像管理プログラム
JP2004102678A (ja) * 2002-09-10 2004-04-02 Minolta Co Ltd データ管理装置及びデータ管理プログラム

Also Published As

Publication number Publication date
JP2011081819A (ja) 2011-04-21

Similar Documents

Publication Publication Date Title
JP2005354134A (ja) 画像管理方法および装置、記録媒体、並びにプログラム
US8078618B2 (en) Automatic multimode system for organizing and retrieving content data files
JP5385598B2 (ja) 画像処理装置及び画像管理サーバ装置及びそれらの制御方法及びプログラム
TWI351621B (en) Search apparatus and method, and program
CN109766457B (zh) 一种媒体内容搜索方法、装置及存储介质
JP5321564B2 (ja) 画像管理方法および装置、記録媒体、並びにプログラム
JP2011028534A (ja) 表示処理装置、表示処理方法および表示処理プログラム
JP4929723B2 (ja) 検索装置及び検索プログラム
JP2007034403A (ja) 画像表示装置、および画像表示プログラム
JP2006277196A (ja) 画像データの関連情報提供技術
JP2005039359A (ja) 画像再生装置及びプログラム
JP5454751B2 (ja) 検索方法、検索システム、プログラム及びコンピュータ
JP5262308B2 (ja) 評価装置、評価方法、評価プログラムおよび評価システム
JP4796022B2 (ja) 画像記録装置、制御プログラム、コンピュータ読み取り可能な記録媒体、及び画像記録方法
JP5708868B1 (ja) プログラム、情報処理装置及び方法
JP2007104326A (ja) コンテンツ作成装置及びコンテンツ作成方法
JP5664729B2 (ja) 検索方法、検索装置、プログラム、検索条件設定方法、情報端末装置
JP5921830B2 (ja) 情報提供システム、情報提供システムにおける情報提供方法および情報提供プログラム
JP2010191940A (ja) 情報処理装置および情報処理方法、並びにプログラム
JP6428877B2 (ja) 電子機器、プログラム及びカメラ
JP6113323B2 (ja) 撮像装置および撮像装置の撮像方法
JP6543933B2 (ja) 情報処理装置、情報処理システム、情報処理装置における表示制御方法及びプログラム
JP2011176574A (ja) デジタルカメラおよび画像ファイリング装置並びに画像ファイリングプログラム
JP2010074309A (ja) 電子カメラ及びデータ処理システム
JP2009177323A (ja) 情報処理装置、その制御方法、プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130321

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130701

LAPS Cancellation because of no payment of annual fees