JP5648318B2 - 画像検索システム - Google Patents

Description

本発明は、画像検索システムに関する。

従来、データベース等に記憶された画像の管理や画像の表示を実行する画像表示装置が種々考案されている。例えば複数の画像を例えば撮影日時などの情報を用いてグループ分けし、一覧表示された各グループの代表画像からユーザの意図する代表画像を選択したときに、選択された代表画像が含まれるグループの画像を一覧表示する画像表示装置が考案されている（特許文献１参照）。また、この他に、取得された画像の枚数以上の分割数で分割された表示領域に取得された画像をそれぞれ配置したインデックス画像を表示することで、取得された全ての画像を一括して表示する画像表示装置も考案されている（特許文献２参照）。

特開２００４−１３５７５号公報 特開２００８−８５６７１号公報

しかしながら、特許文献１に記載の画像表示装置の場合には、検索開始時には各グループの代表画像しか表示されないことから、ユーザが意図する画像がどのグループに含まれる画像であるかを認識していない場合には、ユーザはグループ毎の画像を確認しながら意図する画像を検索する必要がある。また、特許文献２に記載の画像表示装置の場合には、画像が増加する度にインデックス画像が更新されることになるが、その分割数が多くなると、所定の画像と近接する画像との配置関係が変化しまうことになり、ユーザの意図する画像を検索するのが困難である。

本発明は、複数の画像を用いた画像一覧を表示した場合に、目的の画像を容易に検索することができるようにした画像検索システムを提供することを目的とする。

上述した課題を解決するために、本発明の画像検索システムは、二次元に配置した複数の画像を表示することが可能な表示部と、前記表示部に表示される前記複数の画像の配置領域から、設定された選択範囲を用いて検索対象範囲を決定する範囲決定部と、前記範囲決定部による前記検索対象範囲の決定を、前記選択範囲が最小選択範囲となるまで前記選択範囲を段階的に小さくしながら複数回実行することで、検索対象画像を絞り込む画像絞込部と、前記画像絞込部による前記検索対象画像の絞り込みを行うことで前記選択範囲が前記最小選択範囲となるときに、該選択範囲に含まれる画像のいずれかを選択する画像選択部と、前記画像絞込部による前記検索対象画像の絞り込みの際に、前記範囲決定部により前記検索対象範囲が決定される毎に、決定された前記検索対象範囲に含まれる画像を、前記検索対象画像を絞り込む前の配置状態を維持したまま前記表示部に表示させ、前記画像選択部により前記選択範囲に含まれる画像のいずれかが選択された場合に、選択された画像を前記表示部に表示させる表示制御部と、前記最小選択範囲に合わせて画像を配置した画像群を所定の配列順序で配置することで、前記複数の画像を二次元に配置する画像配置部と、を備え、前記複数の画像は配置される位置が固定であり、前記画像配置部は、前記複数の画像のいずれかの画像が削除されたときに、削除された画像に対する領域に、前記削除された画像の近傍の画像に沿った画像を配置した上で、前記削除された画像を除く画像を配置することを特徴とする。

また、前記表示制御部は、前記画像絞込部による前記検索対象画像の絞り込みを行う過程で前記範囲決定部によって決定された前記検索対象範囲を変更する場合に、該検索対象範囲を決定する際に前記表示部に表示された複数の画像を再度表示することが好ましい。

また、前記最小選択範囲は、予め設定された数の画像を行列状に配置したときの矩形状の範囲からなるとともに、前記選択範囲は、前記最小選択範囲と相似し、且つ大きさの異なる範囲からなることが好ましい。

また、前記表示部及び前記表示制御部を少なくとも備えた電子機器と、前記電子機器とネットワークを介して接続可能なサーバと、前記複数の画像を記憶する画像記憶部と、を有し、前記画像記憶部は、前記電子機器又は前記サーバの少なくともいずれか一方に設けられることが好ましい。

本発明によれば、複数の画像から目的の画像を容易に絞り込むことができるとともに、画像の検索に係る時間を短縮することができる。

画像検索システムの構成の概略を示す図である。 表示装置の構成の概略を示す図である。 第１配置領域における配置領域の構成を示す図である。 第２配置領域における配置領域の構成を示す図である。 第３配置領域における配置領域の構成を示す図である。 画像検索時の表示装置における処理の流れを示すフローチャートである。 画像検索時の画像検索サーバにおける処理の流れを示すフローチャートである。 画像検索時の画像検索サーバにおける処理の流れを示すフローチャートである。 第３画像配置領域を表示範囲とした画像一覧の表示状態を示す図である。 第２画像配置領域を表示範囲とした画像一覧の表示状態を示す図である。 第１画像配置領域を表示範囲とした画像一覧の表示状態を示す図である。 ユーザの意図する画像の表示状態を示す図である。 検索用画像の配置状態を示す図である。 第１画像配置領域における検索用画像の配置例を示す図である。 画像検索を実行することが可能な電子機器の構成を示す図である。 画像検索における処理の流れを示すフローチャートである。 画像検索における処理の流れを示すフローチャートである。 図１５に示す電子機器を画像検索用サーバとネットワーク接続した場合を示す図である。

図１は、本発明の画像検索システム１０の構成の概略を示す図、図２は、画像検索システム１０を構成する表示装置１６ａの構成の概略を示す図である。図１に示すように、画像検索システム１０は、画像検索サーバ１５と、電子機器１６とから構成される。この電子機器１６と画像検索サーバ１５とはインターネット１７を介してネットワーク接続される。電子機器１６としては、表示装置１６ａ、ＰＣ１６ｃ、携帯型電話機１６ｃなど、表示部を備えた、又は表示部との接続が可能な電子機器が挙げられる。以下では、電子機器１６として表示装置１６ａを挙げて説明する。

表示装置１６ａは、例えばテレビジョン（ＴＶ）装置が挙げられる。表示装置１６ａは、ＣＰＵ２１はＲＯＭ２２に記憶された制御プログラム（図示省略）を実行することで、表示装置１６ａの各部を統括的に制御する。なお、このＣＰＵ２１には、後述する操作部２６からの操作信号が入力されるので、これら操作信号に基づいた処理が実行される。ＲＯＭ２２は、制御プログラムの他に、ＷＥＢブラウザ２３と呼ばれるアプリケーションソフトを記憶する。このＷＥＢブラウザ２３は、ＣＰＵ２１により実行されることで、インターネット１７を介して画像検索サーバ１５と接続される。これにより、表示装置１６ａと画像検索サーバ１５との間で各種信号やデータの送受信を行うことが可能となる。ＲＡＭ２４は、ＣＰＵ２１における制御の際に生成される数値や、画像検索サーバ１５から送信された各種信号やデータが一時的に格納される。なお、ＣＰＵ２１は、バス２５を介して、上述したＲＯＭ２２やＲＡＭ２４の他に、通信Ｉ／Ｆ２７、表示制御回路２８、メディアスロット２９、Ｉ／Ｆポート３０などと接続される。

操作部２６は、画像検索時に画像一覧が表示部３１に表示されたときに選択エリアを指定する際に操作される。この選択エリアは、二次元に配置される複数の画像の配置領域から、検索対象となる範囲を絞り込むために用いられる。なお、この選択エリアは、画像一覧として表示される画像の画像数に応じて、その大きさが変化する。なお、実際には、選択エリアを示す表示として、後述するエリア枠が挙げられる。

また、操作部２６は、表示倍率を変更する際にも操作される。この表示倍率を変更することによって、表示部３１に表示される画像数が変更される。例えば表示倍率を大きくすると、表示部３１に表示される画像数、つまり検索対象となる画像が絞り込まれる。以下、表示部３１に１つの画像が表示されるときを拡大率が最大であると称する。一方、表示倍率を小さすると、表示部３１に表示される画像数が多くなる。以下、全ての画像が表示されるときを、縮小率が最大であると称する。

なお、本実施形態では表示装置１６ａとしてテレビジョンを挙げていることから、この操作部２６としては、表示装置１６ａに設けられた入力操作部２６やリモートコントローラなどが挙げられる。なお、マウスやキーボードを接続することができるのであれば、これらマウスやキーボードも操作部２６となる。通信Ｉ／Ｆ２７は、ルータやモデムなどが挙げられる。この通信Ｉ／Ｆ２７を介してインターネット１７に接続される。

表示制御回路２８は、表示部３１の駆動を制御する。表示装置１６ａが液晶表示装置であれば、表示部３１は、液晶パネルとバックライトとから構成されることから、表示制御回路２８は、これら液晶パネルとバックライトとの駆動制御を行う。メディアスロット２９は、メモリカード、光学ディスク及び磁気ディスクなどの記憶媒体３２が抜き差しされる。Ｉ／Ｆポート３０は、例えばＵＳＢ規格のケーブル端子を接続する接続ポートや、ＩＥＥＥ規格のケーブル端子を接続する接続ポートなどから構成される。このＩ／Ｆポート３０を介して、ＵＳＢメモリ３３、ハードディスクドライブ（ＨＤＤ）３４などが電気的に接続される。

このような表示装置１６ａを含む電子機器１６がネットワーク接続される画像検索サーバ１５は、以下の構成からなる。この画像検索サーバ１５は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、データベース４４及び通信Ｉ／Ｆ４５等を備えている。なお、これらは、バス４６を介して接続される。ＣＰＵ４１は、画像検索サーバ１５の各部を統括的に制御する。ＲＯＭ４２は、画像検索用プログラム４８や図示を省略した制御プログラムが記憶される。ＲＡＭ４３は、ＣＰＵ４１がこれらプログラムを実行することで算出される演算子や受信したデータなどが一次記憶される。

データベース４４は、画像ファイル４９が記憶される。この画像検索サーバ１５には、複数のユーザが接続することが一般的であることから、データベース４４に記憶される画像ファイル４９は、該画像検索サーバ１５に接続可能なユーザ毎に生成されたフォルダにまとめられて記憶されるのが一般的である。しかしながら、本実施形態では、説明を簡略化するために、１人のユーザが接続することが可能な画像検索サーバ１５の場合について説明する。なお、上述した画像ファイル４９は、デジタルカメラやカメラ機能付き携帯電話機などにより撮影された静止画像や動画像の元になる画像ファイルである。画像ファイル４９が静止画像に基づいたものであれば、この画像ファイル４９は、静止画像データやサムネイル画像データの他に、撮影情報などの付帯情報がまとめられている。また、このデータベース４４には、画像一覧の元になる画像データ（以下、一覧画像データ）５０が複数記憶される。

上述したＣＰＵ４１は、ＲＯＭ４２に記憶された画像検索用プログラム４８を実行することで、トリミング処理部５１、画像配置部５２及び画像合成部５３の機能を有する。

トリミング処理部５１は、データベース４４に記憶された画像ファイル４９から読み出されたサムネイル画像データを読み出しトリミング処理を実行する。周知のようにトリミング処理は、画像から必要な領域を切り出す処理である。

例えば撮影時に取得される画像のアスペクト比は４：３（横縦比１．３３：１）又は１６：９（横縦比１．７８：１）が用いられるのが一般的である。そこで、トリミング処理部５１では、トリミング処理後の画像における横縦比が１：１となるように、各画像に対するトリミング処理を行う。例えば横長の画像であれば、画像の左右を残して画像の中心のみを切り出す。また、縦長の画像であれば、画像の上下を残して画像の中心のみを切り出す。つまり、短辺の長さに合わせて長辺が切り取られる。このトリミング処理は、データベース４４に記憶される全ての画像ファイル４９のサムネイル画像データを対象として実行される。

画像配置部５２は、トリミング処理済みの画像データに対して、画像サイズが同一サイズとなるようにリサイズ処理を施した後、リサイズ処理が施された画像データを配置する。以下、リサイズ処理が施された画像データを、検索用画像データと称する。なお、検索用画像データは、例えば撮影日時に基づいて所定の順序で配置される。なお、撮影日時に限定される必要はなく、例えばイベント毎に分けて、又は画像に含まれる被写体毎に分けて配置してもよい。

以下、検索用画像を配置する手順を説明する。画像配置部５２は、検索用画像を、例えば縦２個×横３個の計６個などの最小画像数配置した第１画像配置領域６１を形成するように検索用画像のそれぞれを配置する。図３に示すように、第１画像配置領域６１を形成する際の検索用画像の配列順序は、配置領域６２ａ、配置領域６２ｂ、配置領域６２ｃ、配置領域６２ｄ、配置領域６２ｅ、配置領域６２ｆの順となる。

図４に示すように、検索用画像を配列した第１画像配置領域６１ａが形成されると、画像配置部５２は、形成された第１画像配置領域６１ａの右隣に検索用画像を配置していく。そして、第１画像配置領域６１ｂが形成されると、画像配置部５２は、領域６１ｃに検索用画像を配置していく。そして、横方向に４つの第１画像配置領域６１ａ〜６１ｄが配置されると、画像配置部５２は、第１画像配置領域６１ａの下隣となる位置に、検索用画像を配置していく。これにより、横方向に４つの第１画像配置領域６１ｅ〜６１ｈがそれぞれ形成される。同様にして、画像配置部５２は、領域６１ｉ、領域６１ｊ、領域６１ｋ、領域６１ｌの順で検索用画像を配置することで、第１画像配置領域を形成する。最後に、画像配置部５２は、領域６１ｍ、領域６１ｎ、領域６１ｏ、領域６１ｐの順で検索用画像を配置し、第１画像配置領域を形成する。このようにして、縦４個×横４個の計１６個の第１画像配置領域６１を組み合わせることで、第２画像配置領域６３が形成される。

画像配置部５２は、第２画像配置領域６３が形成されると、形成された第２画像配置領域６３の右隣に検索用画像を配置していく。なお、この検索用画像を配置していく手順は、上述した手順と同様であることから、ここでは、省略する。これにより、第３画像配置領域６４が形成される。なお、第３画像配置領域６４が形成される位置の順序は、第２画像配置領域が形成される位置の順序と同一である。この様に、縦４個×横４個の計１６個の第２画像配置領域６３を組み合わせると、第３画像配置領域６４が形成される（図５参照）。

画像合成部５３は、画像配置部５２によって配置された画像を合成することで、画像一覧用の画像を生成する。なお、この画像一覧用の画像の元になる一覧画像データ５０はデータベース４４に記憶される。画像一覧を表示する際には、この一覧画像データ５０が表示装置１６ａに送信される。

次に、画像検索時の表示装置における処理の流れについて、図６のフローチャートに基づいて説明する。

ステップＳ１０１は、ＷＥＢブラウザ２３を起動したか否かを判定する処理である。操作部２６を操作することによって、操作部２６からの操作信号がＣＰＵ２１に入力される。ＣＰＵ２１に入力される操作信号が、ＷＥＢブラウザ２３を起動する旨の信号であれば、ＣＰＵ２１は、ＷＥＢブラウザ２３を起動すると判定する。この場合、ステップＳ１０１の判定処理がＹｅｓとなり、ステップＳ１０２に進む。一方、ＣＰＵ２１に入力される操作信号がＷＥＢブラウザ２３を起動する旨の信号以外であれば、ＣＰＵ２１は、ＷＥＢブラウザ２３を起動しないと判定する。この場合ステップＳ１０１の判定処理がＮｏとなり、操作信号に基づく処理を実行する。この場合、操作信号に基づく処理が実行されることから、画像検索に係る処理は実行されないので、このフローチャートの処理は終了する。

ステップＳ１０２は、ＷＥＢブラウザ２３を起動する処理である。ＣＰＵ２１は、ＲＯＭ２２に記憶されたＷＥＢブラウザ２３を読み出して、読み出したＷＥＢブラウザ２３を起動する。ＷＥＢブラウザ２３を起動する際には、ＣＰＵ２１は、ＷＥＢブラウザ２３を起動したことを示す起動コマンドを画像検索サーバ１５に送信している。なお、画像検索サーバ１５によって画像検索用プログラム４８が実行されることで、メニュー画像の元になる画像データが表示装置１６ａに送信される。これを受けて、ＣＰＵ２１は、表示制御回路２８にメニュー画像データを出力する。これにより、表示制御回路２８は、表示部３１にメニュー画像を表示させる。

ステップＳ１０３は、画像一覧の表示の指示があるか否かを判定する処理である。操作部２６による操作信号が、画像一覧の表示の指示を示すものであれば、ＣＰＵ２１は、このステップＳ１０３の判定をＹｅｓとする。この場合ステップＳ１０４に進む。一方、操作部２６による操作信号が、画像一覧の表示の指示を示すものでない場合には、ＣＰＵ２１は、ステップＳ１０３の判定をＮｏとする。この場合、画像一覧の表示の指示を示す操作信号がＣＰＵ２１に入力されるまで、このステップＳ１０３の判定処理が実行される。

ステップＳ１０４は、画像一覧表示コマンドを送信する処理である。ＣＰＵ２１は、画像検索サーバ１５に対して画像一覧表示コマンドを送信する。

ステップＳ１０５は、一覧画像データを受信したか否かを判定する処理である。一覧画像データ５０を受信した場合には、ＣＰＵ２１はステップＳ１０５の判定処理をＹｅｓとする。この場合、ステップＳ１０６に進む。なお、一覧画像データ５０は、ＲＡＭ２４に一次記憶される。一方、一覧画像データ５０を受信していない場合には、ＣＰＵ２１はステップＳ１０５の判定処理をＮｏとする。この場合、一覧画像データ５０を受信するまで、ステップＳ１０５の判定処理を繰り返し実行する。

ステップＳ１０６は、画像一覧を表示するステップである。ＣＰＵ２１は、ＲＡＭ２４に記憶された一覧画像データ５０を読み出し、表示制御回路２８に出力する。これにより、表示部３１には、画像一覧が表示される。この画像一覧としては、図９に示すように、第３画像配置領域６４を表示範囲とした画像一覧が挙げられる。なお、図９においては、図の煩雑さを解消するために、各画像配置領域に配置される画像については省略している。なお、第３画像配置領域６４を表示範囲とした画像一覧が表示部３１に表示されたときには、選択エリアを示すエリア枠７１が、画像一覧と重畳されて表示される。この場合、エリア枠７１の大きさとして、第２画像配置領域６３の大きさが用いられる。

ステップＳ１０７は、エリア枠を移動するか否かを判定する処理である。操作部２６の操作信号がＣＰＵ２１に入力されると、ＣＰＵ２１は、入力された操作信号がエリア枠７１を移動する旨の信号であるか否かを判定する。例えば操作部２６の操作信号が、エリアを選択する旨の信号であれば、ＣＰＵ２１は、ステップＳ１０７の判定処理をＹｅｓとする。一方、操作部２６の操作信号が、選択エリアを選択する旨の信号でない場合には、ＣＰＵ２１は、ステップＳ１０７の判定処理をＮｏとする。この場合は、ステップＳ１０９に進む。

ステップＳ１０８は、エリア枠を移動させる処理である。ステップＳ１０７において、ＣＰＵ２１に入力される操作信号がエリア枠７１を移動させる旨の信号であると判定されているので、ＣＰＵ２１は、表示制御回路２８に該操作信号に基づくエリア枠７１の移動方向を示す信号を出力する。これを受けて、表示制御回路２８は、画像一覧に重畳表示されるエリア枠７１を図９中ｘ方向又はｙ方向に移動させる。

ステップＳ１０９は、エリア枠の位置を決定するか否かを判定する処理である。操作部２６の操作信号がエリア枠７１の位置を決定する旨の信号である場合には、このステップＳ１０９の判定処理をＹｅｓとする。この場合、ステップＳ１１０に進む。一方、操作部２６の操作信号がない場合や、異なる信号である場合には、このステップＳ１０９の判定処理をＮｏとする。この場合、ステップＳ１０７に戻る。

ステップＳ１１０は、拡大表示をするか否かを判定する処理である。操作部２６の操作による操作信号が、拡大表示を示す旨の信号であれば、ＣＰＵ２１は、このステップＳ１１０の判定処理をＹｅｓとし、ステップＳ１１１に進む。一方、操作信号が拡大表示を示す旨の信号でない場合には、ＣＰＵ２１は、このステップＳ１１０の判定処理をＮｏとし、ステップＳ１２１に進む。

ステップＳ１１１は、拡大率が最大であるか否かを判定する処理である。画像一覧を表示する際の拡大率は、少なくとも上限値が設定されている。この拡大率が最大となる場合には、ＣＰＵ２１は、ステップＳ１１１の判定処理をＹｅｓとする。この場合、ステップＳ１１５に進む。一方、拡大率が最大でない場合には、ＣＰＵ２１はステップＳ１１１の判定処理をＮｏとし、ステップＳ１１２に進む。

ステップＳ１１２は、拡大表示コマンドを画像検索サーバ１５に送信する処理である。表示制御回路２８は、エリア枠の大きさと位置とを示す情報をＣＰＵ２１に出力する。これを受けて、ＣＰＵ２１は、エリア枠の大きさと位置とを示す情報を拡大表示コマンドに付与した後、該拡大表示コマンドを画像検索サーバ１５に送信する。

ステップＳ１１３は、一覧画像データを受信したか否かを判定する処理である。一覧画像データ５０を受信していれば、ＣＰＵ２１は、このステップＳ１１３の判定処理をＹｅｓとする。この場合、ステップＳ１１４に進む。なお、受信した一覧画像データ５０は、ＲＡＭ２４に一次記憶される。一方、一覧画像データ５０を受信していない場合には、ＣＰＵ２１は、このステップＳ１１３の判定処理をＮｏとする。この場合、一覧画像データ５０を受信するまで、このステップＳ１１３の判定処理を実行する。

ステップＳ１１４は、画像一覧の表示を行う処理である。ＣＰＵ２１はＲＡＭ２４に記憶された一覧画像データ５０を表示制御回路２８に出力する。これを受けて、表示部３１に表示される画像が差し替えられる。例えば、第３画像配置領域６４を表示範囲にした画像一覧が表示部３１の表示画面３１ａに表示された場合、エリア枠７１は該第３画像配置領域６４に含まれる第２画像配置領域６３のいずかが選択されるので、第３画像配置領域６４を表示範囲にした画像一覧の表示から、選択された第２画像配置領域６３を表示範囲とした画像一覧に切り替わる（図９及び図１０参照）。この画像一覧の切り替えとしては、例えばエリア枠７１に含まれる画像がそれぞれ拡大される様子を擬似的に表示することが可能である。

なお、第３画像配置領域６４は、第２画像配置領域６３を縦４個×横４個の計１６個を配置したものであるから、第２画像配置領域６３を表示範囲とした画像一覧を表示したときの画像数は、第３画像配置領域６４を表示範囲とした画像一覧を表示したときの画像数の１／１６となる。一方、第２画像配置領域６３を表示範囲とした画像一覧を表示したときの画像の表示面積は、第３画像配置領域６４を表示範囲とした画像一覧を表示したときの画像の表示面積は１６倍となる。なお、第２画像配置領域６３を表示範囲とした画像一覧が表示部３１の表示画面３１ａに表示されたときには、選択エリアを示すエリア枠７２が、第１画像配置領域６１のいずれかに重畳されて表示される。この場合、エリア枠７２の大きさは、配置領域６２の大きさとなる。

ステップＳ１１５は、画像検索を終了するか否かを判定する処理である。操作部２６による操作信号が画像検索を終了する旨の信号であれば、ＣＰＵ２１は、このステップＳ１１５の判定処理をＹｅｓとする。この場合ステップＳ１１６に進む。一方、操作部２６による操作信号が画像検索を終了する旨の信号でない場合、ＣＰＵ２１は、このステップＳ１１５の判定処理をＮｏとする。この場合、ステップＳ１０７に戻る。

ステップＳ１１６は、ＷＥＢブラウザ２３を終了するか否かを判定する処理である。操作部２６からの操作信号がＷＥＢブラウザ２３を終了する旨の信号であれば、ＣＰＵ２１は、ステップＳ１１６の判定処理をＹｅｓとする。この場合、一連の処理が終了する。この際、ＣＰＵ２１は、ＷＥＢブラウザ２３を終了する際に、画像検索サーバ１５に向けて終了コマンドを送信する。一方、操作部２６からの操作信号がＷＥＢブラウザ２３を終了する旨の信号でない場合には、ＣＰＵ２１は、ステップＳ１１６の判定処理をＮｏとする。この場合、ステップＳ１０３に戻る。

ステップＳ１１０において、ＣＰＵ２１に入力される操作信号が、拡大表示を行う旨の信号でない場合には、ステップＳ１２１に進む。

ステップＳ１２１は、縮小表示をするか否かを判定する処理である。操作部２６の操作による操作信号が、縮小表示を示す旨の信号であれば、ＣＰＵ２１は、このステップＳ１２１の判定処理をＹｅｓとし、ステップＳ１２２に進む。一方、操作信号が縮小表示を示す旨の信号でない場合には、ＣＰＵ２１は、このステップＳ１２１の判定処理をＮｏとし、ステップＳ１１５に進む。

ステップＳ１２２は、縮小率が最大であるか否かを判定する処理である。画像一覧を表示する際の縮小率は、少なくとも上限値が設定されている。この縮小率が最大となる場合には、ＣＰＵ２１は、ステップＳ１２２の判定処理をＹｅｓとする。この場合、ステップＳ１１５に進む。一方、縮小率が最大でない場合には、ＣＰＵ２１はステップＳ１２２の判定処理をＮｏとし、ステップＳ１２３に進む。

ステップＳ１２３は、縮小表示コマンドを画像検索サーバ１５に送信する処理である。表示制御回路２８は、エリア枠の大きさと位置とを示す情報をＣＰＵ２１に出力する。これを受けて、ＣＰＵ２１は、エリア枠の大きさと位置とを示す情報を縮小表示コマンドに付与した後、該縮小表示コマンドを画像検索サーバ１５に送信する。

ステップＳ１２４は、一覧画像データを受信したか否かを判定する処理である。一覧画像データ５０を受信すれば、ＣＰＵ２１は、このステップＳ１２４の判定処理をＹｅｓとする。この場合、ステップＳ１２５に進む。なお、受信した一覧画像データ５０は、ＲＡＭ２４に一次記憶される。一方、一覧画像データ５０を受信していない場合には、ＣＰＵ２１は、このステップＳ１２４の判定処理をＮｏとする。この場合、一覧画像データ５０を受信するまで、このステップＳ１２４の判定処理を実行する。

ステップＳ１２５は、画像一覧の表示を行う処理である。ＣＰＵ２１はＲＡＭ２４に記憶された一覧画像データ５０を表示制御回路２８に出力する。これを受けて、表示制御回路２８は、一覧画像データ５０に基づく画像を表示部３１に表示する。これにより、決定されたエリア枠内に配置される画像が縮小された画像一覧が表示される。なお、この場合、エリア枠は、縮小率に応じた大きさのものが画像一覧に重畳される。この処理が実行されると、ステップＳ１１５に進む。

例えば、図１０に示すように、第２画像配置領域６３を表示範囲とした画像一覧を表示部３１に表示している際に縮小表示を行う場合には、第３画像配置領域６４を表示範囲とした画像一覧に切り替わる（図９参照）。上述したように、第３画像配置領域６４は、第２画像配置領域６３を縦４個×横４個の計１６個配置したものであるから、第２画像配置領域６３を表示範囲とした画像一覧から、第３画像配置領域６４を表示範囲とした画像一覧に切り替えた場合には、表示される画像数は１６倍となり、画像の表示面積は１／１６に縮小される。

次に、画像検索時における画像検索サーバ１５の処理の流れを、図７及び図８に示すフローチャートに基づいて説明する。ステップＳ２０１は、起動コマンドを受信したか否かを判定する処理である。表示装置１６ａにおいて、ＷＥＢブラウザを起動させたときには、起動コマンドが表示装置１６ａから画像検索サーバ１５に送信される。起動コマンドを受信した場合には、ＣＰＵ４１は、このステップＳ２０１の判定処理をＹｅｓとする。この場合、ステップＳ２０２に進む。一方、起動コマンドを受信していない場合には、ＣＰＵ４１は、ステップＳ２０１の判定処理をＮｏとし、起動コマンドを受信したと判定されるまで、ステップＳ２０１の判定処理が繰り返し実行される。

ステップＳ２０２は、画像検索用プログラムを実行する処理である。ＣＰＵ４１は、ＲＯＭ４２に記憶された画像検索用プログラム４８を読み出し、該アプリケーションソフトを実行する。この画像検索用プログラム４８を実行することで、ＣＰＵ４１は、メニュー画像の元になる画像データを表示装置１６ａに送信する。

ステップＳ２０３は、画像一覧表示コマンドを受信したか否かを判定する処理である。表示装置１６ａから、画像一覧表示コマンドを受信した場合には、ＣＰＵ４１は、このステップＳ２０３の判定処理をＹｅｓとし、ステップＳ２０４に進む。一方、画像一覧表示コマンドを受信していない場合には、ＣＰＵ４１は、ステップＳ２０３の判定処理をＮｏとする。この場合、画像一覧表示コマンドが受信されるまで、このステップＳ２０３の判定処理が繰り返し実行される。

ステップＳ２０４は、画像データに対するトリミング処理である。ＣＰＵ４１は、データベース４４に記憶された画像ファイルからサムネイル画像データを読み出す。そして、サムネイル画像データに基づく画像の横縦比が１：１となるように、画像の中心部分を切り出す。なお、この際に、画像の短辺の長さはトリミング処理前と、トリミング処理後とは同一の長さとなる。なお、このステップＳ２０４におけるトリミング処理は、データベース４４に記憶された全画像ファイルに記憶されたサムネイル画像データに対して実行される。

ステップＳ２０５は、画像データを配置する処理である。ＣＰＵ４１は、ステップＳ２０４にて実行されたトリミング処理済みの画像データに対して、画像サイズが一定の大きさとなるようにリサイズ処理を施す。これにより、検索用画像の元になる画像データ（検索用画像データ）が生成される。なお、トリミング処理済みの画像データの画像サイズが、配置する検索用画像データの画像サイズと一致している場合には、トリミング処理済みの画像データが検索用画像データとして使用される。

この検索用画像データを下記に示す手順で配置する。まず、ＣＰＵ４１は、配置領域６２ａ、配置領域６２ｂ、配置領域６２ｃ、配置領域６２ｄ、配置領域６２ｅ、配置領域６２ｆの順で検索用画像を配置する。これにより、第１画像配置領域６１ａが形成される（図４参照）。第１画像配置領域６１ａへの画像の配置が終了すると、領域６１ｂに検索用画像が同様の手順で配置され、第１画像配置領域が形成される。以下、領域６１ｃ、領域６１ｄ、領域６１ｅ、領域６１ｆ、領域６１ｇ、・・・・領域６１ｐの順で配置され、各第１画像配置領域６１が形成される。これら縦４個×横４個の計１６個の第１画像配置領域６１を組み合わせることで、第２画像配置領域６３が形成される。同様にして、縦４個×横４個の計１６個の第２画像配置領域６３を組み合わせることで第３画像配置領域６４が形成される。そして、全ての検索用画像が配置されることで、ステップＳ２０５の処理が終了する。

ステップＳ２０６は、画像データを合成する処理である。ステップＳ２０７において、トリミング処理された検索用画像が全て配置されていることから、ＣＰＵ４１は、配置された検索用画像を合成し、一つの画像を生成する。この合成された画像の元になる画像データが一覧画像データ５０としてデータベース４４に記憶される。

ステップＳ２０７は、一覧画像データを送信する処理である。ＣＰＵ４１は、データベースに記憶された一覧画像データ５０を読み出し、該一覧画像データ５０を表示装置１６ａに送信する。

ステップＳ２０８は、拡大表示コマンドの受信があるか否かを判定する処理である。画像一覧を拡大する際には、表示装置１６ａから画像検索サーバ１５に拡大表示コマンドが送信される。拡大表示コマンドを受信した場合には、ＣＰＵ４１はステップＳ２０８の判定処理をＹｅｓとし、ステップＳ２０９に進む。一方、拡大表示コマンドを受信していない場合には、ＣＰＵ４１はステップＳ２０８の判定処理をＮｏとし、ステップＳ２２１に進む。

ステップＳ２０９は、拡大率が最大であるか否かを判定する処理である。拡大表示コマンドには、エリア枠の大きさと位置とを示す情報が付与されている。ＣＰＵ４１は、エリア枠の大きさが、検索用画像の大きさであるか否かを判定する。例えばエリア枠の大きさが、検索用画像の大きさであれば、指定される拡大率は最大となるので、ＣＰＵ４１は、ステップＳ２０９の判定処理をＹｅｓとする。この場合ステップＳ２１１に進む。一方、エリア枠の大きさが第１画像配置領域６１以上の大きさであれば、指定される拡大率は最大ではないので、ＣＰＵ４１は、ステップＳ２０９の判定処理をＮｏとする。この場合、ステップＳ２１５に進む。

ステップＳ２１０は、画像データを読み出す処理である。ステップＳ２１０において、エリア枠の大きさが検索用画像の大きさであると判定されている。また、拡大表示コマンドには、エリア枠の位置を示す情報が付与されている。ＣＰＵ４１は、このエリア枠の位置を示す情報と、データベース４４に記憶された一覧画像データとから、検索用画像を特定する。そして、特定された検索用画像の元になる画像ファイルから、サムネイル画像データ又は、静止画像データを読み出す。

ステップＳ２１１は、画像データを送信する処理である。ステップＳ２１０によって、サムネイル画像データ又は静止画像データが読み出されているので、ＣＰＵ４１は、読み出した画像データを画像一覧データ５０として表示装置１６ａに送信する。

ステップＳ２１２は、画像検索終了コマンドを受信したか否かを判定する処理である。表示装置１６ａから画像検索終了コマンドを受信した場合には、ＣＰＵ４１は、このステップＳ２１２の判定処理をＹｅｓとして、ステップＳ２１３に進む。一方、表示装置１６ａから画像検索終了コマンドを受信していない場合には、ＣＰＵ４１は、このステップＳ２１２の判定処理をＮｏとして、ステップＳ２０８に戻る。

ステップＳ２１３は、画像検索プログラムを終了する処理である。このステップＳ２１３を実行することで、ネットワーク接続を利用した画像検索が終了する。

一方、ステップＳ２０９の判定処理においてＮｏとなる場合、つまり指定される拡大率は最大ではない場合には、ステップＳ２１５に進む。

ステップＳ２１５は、画像データに対するトリミング処理である。ＣＰＵ４１は、一覧画像データと、拡大表示コマンドに付与されたエリア枠の位置を示す情報とを用いて、エリア枠に含まれる検索用画像を特定する。そして、特定された検索用画像に基づく画像ファイルからサムネイル画像データを読み出す。そして、サムネイル画像データに基づく画像の横縦比が１：１となるように、画像の中心部分を切り出す。

ステップＳ２１６は、画像データを配置する処理である。ＣＰＵ４１は、トリミング処理済みの画像データに対して、一定の画像サイズとなるようにリサイズ処理を施し、検索用画像データを生成する。この生成された検索用画像データを用いて、各画像データを配置する。

ステップＳ２１７は、画像データを合成する処理である。ステップＳ２１６において、検索用画像データが全て配置されていることから、ＣＰＵ４１は、配置された検索用画像データを合成し、一覧画像データ５０を生成する。生成された一覧画像データ５０は、データベース４４に記憶される。

ステップＳ２１８は、一覧画像データを送信する処理である。ＣＰＵ４１は、ステップＳ２１７により生成された一覧画像データ５０を読み出す。そして、ＣＰＵ４１は、読み出した一覧画像データを表示装置１６ａに送信する。このステップＳ２１８の処理が実行されると、ステップＳ２１２に進む。これにより、拡大表示コマンドを受信した場合には、拡大表示コマンドに付与されたエリア枠の大きさや位置の情報に基づいたサムネイル画像データが読み出され、一覧画像データが生成される。

また、ステップＳ２０８の判定処理においてＮｏとなる場合、つまり、受信したコマンドが拡大表示コマンドでない場合には、ステップＳ２２１に進む。

ステップＳ２２１は、縮小表示コマンドを受信したか否かを判定する処理である。画像一覧を縮小する際には、表示装置１６ａから画像検索サーバ１５に縮小表示コマンドが送信される。縮小表示コマンドを受信した場合には、ＣＰＵ４１はステップＳ２２１の判定処理をＹｅｓとし、ステップＳ２２２に進む。一方、縮小表示コマンドを受信していない場合には、ＣＰＵ４１はステップＳ２２１の判定処理をＮｏとし、ステップＳ２１２に進む。

ステップＳ２２２は、一覧画像データを読み出す処理である。ＣＰＵ４１は、データベース４４に記憶された過去の一覧画像データ５０から、２番目に新しく生成された一覧画像データを読み出す。なお、最も新しく生成された一覧画像データは、表示装置１６ａの表示部３１に表示された画像一覧の元になる画像データである。

ステップＳ２２３は、一覧画像データを送信する処理である。ＣＰＵ４１は、データベース４４から読み出した一覧画像データ５０を表示装置１６ａに送信する。このステップＳ２２３の処理が終了すると、ステップＳ２１２に進む。このように、縮小表示コマンドを受信した場合には、新たに一覧画像データを生成せずに、データベース４４に記憶された一覧画像データを読み出すだけで済むので、一覧画像データを生成する手間を省くことができる。

以下、表示部３１における表示形態について説明する。図９に示すように、画像一覧の表示として、第３画像配置領域６４を表示範囲とした画像一覧が表示されている場合、第２画像配置領域６３の大きさのエリア枠７１が、画像一覧とともに表示部３１の表示画面３１ａに表示される。ユーザが操作部２６を操作することで、エリア枠７１がｘ方向又はｙ方向に移動する。このとき、エリア枠７１は、隣り合う第２画像配置領域６３毎にずれながら移動する。エリア枠７１の位置が、ユーザの意図する位置となる場合に、操作部２６を操作してエリア枠７１の位置を決定した後、拡大表示する旨の操作を行うことで、エリア枠７１により決定された第２画像配置領域６３を表示範囲とした画像一覧が表示部３１の表示画面３１ａに表示される（図１０参照）。なお、第３画像配置領域６４は、縦４個×横４個計１６個の第２画像配置領域６３からなるので、１つの第２画像配置領域６３を表示範囲とした画像一覧を表示させると、１６倍の表示倍率で画像が拡大表示される。

第２画像配置領域６３を表示範囲とした画像一覧が表示部３１の表示画面３１ａに表示されたときには、選択エリアを示すエリア枠７２が重畳されて表示される。なお、このエリア枠７２は、第１画像配置領域６１の大きさからなる。この場合も、同様にして、ユーザは操作部２６を操作して、エリア枠７２をユーザの意図する位置に移動させる。このとき、エリア枠７２は、エリア枠７１は、隣り合う第１画像配置領域６１毎にずれながら移動する。エリア枠７２の位置が、ユーザの意図する位置となる場合に、操作部２６を操作してエリア枠７２の位置を決定する。この決定の後、ユーザは拡大表示する旨の操作を行うことで、エリア枠７２により決定された第１画像配置領域６１を表示範囲とした画像一覧が表示部３１の表示画面３１ａに表示される（図１１参照）。なお、第２画像配置領域６３は、縦４個×横４個計１６個の第１画像配置領域６１からなるので、１つの第１画像配置領域６１を表示範囲とした画像一覧を表示させると、１６倍の表示倍率で各画像が拡大表示される。

第１画像配置領域６１を表示範囲とした画像一覧が表示部３１の表示画面３１ａに表示されたときには、選択エリアを示すエリア枠７３が重畳されて表示される。なお、このエリア枠７３は、検索用画像の大きさからなる。この場合も、同様にして、ユーザは操作部２６を操作して、エリア枠７３をユーザの意図する位置に移動させる。このとき、エリア枠７３は、隣り合う検索用画像毎にずれながら移動する。エリア枠７３の位置が、ユーザの意図する位置となる場合に、操作部２６を操作してエリア枠７３の位置を決定する。その後、ユーザが操作部２６を操作して、拡大表示する旨の操作を行うことで、エリア枠７３が重畳される検索用画像が、該検索用画像の中心が表示画面３１ａの中心となるように移動した後、該検索用画像の元になる静止画像が、図１２の斜線で示す領域に表示される。

このように検索対象となる画像の範囲の決定を、エリア枠の大きさが最小画像数となるまで段階的に絞り込むことができる。この際、配置される検索用画像の位置は固定であることから、絞り込み時に各画像の配置関係は変化しない。つまり、ユーザは、画像の配置関係がある程度覚えていれば、その配置関係に一致する領域を指定するだけで、画像を絞り込むことができる。これによれば、ユーザの目視による画像の確認作業を実行する回数が減少し、画像検索に係る手間を省くことができる。また、配置される画像は、撮影月日の順序で配置されていれば、同一の撮影月日となる画像のいずれかの位置さえ覚えておけば、検索対象となる画像の範囲を容易に特定することができる。この結果、画像検索に係る時間を短縮することができる。

一方、画像の絞り込み時に拡大表示を行う選択エリアを間違えて決定してしまった場合には、ユーザは、操作部２６を用いて縮小表示を行う旨の操作を行う。例えば第２画像配置領域６３を表示範囲とした画像一覧が表示部３１の表示画面３１ａに表示されるときに、縮小表示を行う場合には、表示部３１の表示画面３１ａには、第２画像配置領域６３を表示範囲とした画像一覧の表示から、第３画像配置領域６４を表示範囲とした画像一覧の表示に切り替わる。このとき、画像一覧として表示される第３画像配置領域６４は、先に表示した第２画像配置領域６３が含まれる第３画像配置領域６４であるとともに、拡大表示を行う第２画像配置領域６３を選択する際に表示部３１の表示画面３１ａに表示された第３画像配置領域６４と同一の配置領域である。つまり、選択した範囲に意図する画像がない場合であっても、直前の画像一覧に戻すことが可能となるので、検索対象となる画像の範囲を容易に変更することができる。

本実施形態では、画像検索サーバ１５は電子機器１６から送信される拡大表示コマンドに基づいて一覧画像データを生成し、該一覧画像データを電子機器１６に送信しているが、これに限定する必要はなく、例えば画像検索サーバは、全ての画像ファイルのサムネイル画像データを用いた一覧画像データを生成し、この生成された一覧画像データを電子機器に送信するだけでも良い。この場合、電子機器１６は、受信した一覧画像データに対してトリミング処理により切り出し、切り出した画像データを用いて画像一覧を表示部に表示させるなどすればよい。

本実施形態では、第１画像配置領域が形成される順序として、横方向に形成される４つの領域（領域６１ａ、領域６１ｂ、領域６１ｃ、６１ｄ）にそれぞれ検索用画像を配置した後、これら領域の下方に形成される４つの領域（領域６１ｅ、領域６１ｆ、領域６１ｇ、６１ｈ）に検索用画像を配置していくようにしているが、これに限定される必要はなく、例えば、横２個×縦２個計４個の領域毎に検索用画像を配置することも可能である。この場合、まず、領域６１ａに検索用画像を配置した後、領域６１ｂ、領域６１ｅ、６１ｆの順で画像を配置する。その後、横２個×縦２個計４個の領域全てに検索用画像が配置された後、これら領域の右側方となる領域（この場合、領域６１ｃ）に検索用画像を配置する。そして、横方向に４個の第１画像配置領域が形成された後、領域６１ｉに検索用画像を配置する。このようにして、横４個×縦４個計１６個の第１画像配置領域６１を組み合わせることで、第２画像配置領域６３を形成することも可能である。

本実施形態では、画像検索サーバ１５に設けられたデータベース４４に記憶された画像ファイル４９を対象とした画像検索について述べているが、これに限定される必要はない。本実施形態の表示装置１６ａにおいては、メディアスロット２９に記憶媒体３２を差し込むことが可能であり、又Ｉ／Ｆポート３０にＵＳＢメモリ３３やＨＤＤ３４等を接続させることが可能である。つまり、画像検索サーバ１５に設けられたデータベース４４に記憶される画像ファイル４９だけでなく、メディアスロット２９に差し込まれた記憶媒体３２に記憶された画像ファイル、また、Ｉ／Ｆポート３０に差し込まれたＵＳＢメモリ３３や、ＨＤＤ３４に記憶された画像ファイルを画像検索時の検索対象とすることも可能である。この場合、画像検索サーバ１５に設けられたデータベース４４、メディアスロット２９に差し込まれた記憶媒体３２、Ｉ／Ｆポートポート３０に接続されるＵＳＢメモリ３３やＨＤＤ３４など、画像検索時に用いる画像ファイルが記憶される部位が複数となることから、画像検索時に用いられる画像ファイルが記憶される部位を予め選択できるようにしても良い。

この場合、図７のフローチャートにおけるステップＳ２０４において、画像に対するトリミング処理を実行する前に、表示装置１６ａのＣＰＵ４１により、画像検索時に用いられる画像ファイルが記憶される部位を予め選択させる。この選択時に、画像検索時に用いられる画像ファイルが記憶される部位として、メディアスロット２９に差し込まれた記憶媒体３２、Ｉ／Ｆポートポート３０に接続されるＵＳＢメモリ３３やＨＤＤ３４が選択されていれば、これら選択された部位から画像ファイルを読み出して、読み出した画像ファイルを表示装置１６ａから画像検索サーバ１５に送信させる。画像検索サーバ１５は、受信した画像ファイルを用いて画像のトリミング処理を実行すればよい。

なお、このように、画像ファイルが複数の部位に亘って記憶されている場合に、これら画像ファイルに基づく画像一覧を表示させたときには、その画像がどこに記憶されているものかが不明である。このため、データベース４４に記憶される画像ファイルに基づいた検索用画像には「○」、メディアスロット２９に差し込まれた記憶媒体３２に記憶される画像ファイルに基づいた検索用画像の場合には「×」など、検索用画像の元になる画像ファイルが記憶された箇所を示すマークを各検索用画像に重畳して表示してもよい。また、この他に、データベース４４に記憶される画像ファイルに基づく検索用画像に関しては明るく表示し、それ以外の検索用画像に対しては、ぼかして表示させる、または暗く表示させることも可能である。さらに、この場合、画像ファイルの所在毎に画像を切り替え表示することも可能である。この場合、検索用画像の位置は変更せずに固定であることが好ましい。

本実施形態では、画像検索サーバ１５のデータベース４４に記憶される画像ファイルを一定の数記憶されている場合について説明しているが、この画像検索サーバ１５のデータベース４４に新たな画像ファイルを記憶することも可能であるし、不要となる画像ファイルを削除することも可能である。

例えば新たな画像ファイルを記憶させたときに、画像検索サーバ１５のＣＰＵ４１は、新たに記憶された画像ファイルからサムネイル画像データを読み出し、トリミング処理や解像度変換処理を行うことで、検索用画像を生成する。そして、検索用画像の元になる画像データと、一覧画像データとを合成すればよい。なお、新たに生成された検索用画像の配置位置は、テンプレートに最後に配置される検索用画像の位置に基づいて配置される。図３に示すように、第１画像配置領域６１の配置領域６２ｂまで検索用画像が配置されているのであれば、新たに生成された検索用画像は、第１画像配置領域６１の配置領域６２ｃに配置される。

一方、画像検索サーバ１５のデータベース４４に記憶された画像ファイルを削除した場合、画像検索サーバ１５のＣＰＵ４１は一覧画像データを読み出し、削除した画像ファイルに基づく検索用画像を削除する。これに併せて、ＣＰＵ４１は、一覧画像データを読み出し、削除した検索用画像が配置される配置領域には、検索用画像を配置しない。図１３に示すように、配置領域Ａから配置領域Ｘのそれぞれに検索用画像が配置されており、配置領域Ｅや配置領域Ｏに配置される検索用画像の元になる画像ファイルが削除された場合には、配置領域Ｅや配置領域Ｏに配置された検索用画像を削除し、これら配置領域Ｅや配置領域Ｏは空けておく。これによれば、表示される画像一覧における各検索用画像の配置位置が変化しないので、ユーザは、画像一覧における各検索用画像の配置を記憶しておけば、検索対象となる画像が含まれるであろう領域を容易に特定することが可能となる。

なお、この検索用画像が削除されることによって空いた配置領域には、検索用画像とは異なる画像を配置することも可能である。検索用画像とは異なる画像としては、例えば、編み目の画像や所定の色で塗りつぶした画像や、削除を示す画像などが挙げられる。また、この他に、花や山などのイメージ画像であってもよい。これら画像を配置する場合には、共通のものを使用してもよいし、検索用画像が削除されることによって空いた配置領域近傍の画像に沿ったものを使用してもよい。なお、これら画像は、ランダムに決定されるものであってもよい。

本実施形態では、例えば第３画像配置領域を表示範囲とした画像一覧を表示した場合、エリア枠の大きさを第２画像配置領域の大きさとし、また、このときのエリア枠の移動量を、第２画像配置領域の横幅又は縦幅に相当する移動量としている。しかしながら、エリア枠の移動量は、これに限定される必要はない。上述したように、第２画像配置領域は、二次元状に配置された複数の第１画像配置領域から構成されることから、第３画像配置領域を表示したときのエリア枠の移動量を、第２画像配置領域の横幅又は縦幅に相当する移動量ではなく、第１画像配置領域の横幅又は縦幅に相当する移動量としてもよい。これによれば、エリア枠を移動させるときの自由度、言い換えれば検索対象領域を選択する際の自由度を高くすることが可能となる。

本実施形態では、第１画像配置領域を、縦２個×横３個の計６個の検索用画像から構成しているが、これに限定されるものではなく、縦３個×横２個の計６個の検索用画像や、縦４個×横２個の計８個の検索用画像から構成するなどしてよい。なお、これら検索用画像の数は、表示部の縦横比に基づいて設定されていればよいものである。また、第２画像配置領域における第１画像配置領域の配置数や、第３画像配置領域における第２画像配置領域の配置数を、縦４個×横４個の計１６個としているが、例えば縦２個×横２個の計４個の配置領域とするなど、適宜設定してよい。

また、この他に、配置領域に配置される検索用画像の大きさは一定としているが、画像によっては、その大きさが一致しない場合もある。図１４に示すように、例えば配置領域７５と、該配置領域の４倍の大きさからなる配置領域７６との組み合わせから、第１画像配置領域６１に対する検索用画像の配置を行うことも可能である。

本実施形態においては、電子機器１６と画像検索サーバ１５とをインターネット１７を介したネットワーク接続により接続した画像検索システム１０としているが、これに限定される必要はなく、例えば画像検索を実行することが可能な電子機器であってもよい。この場合、電子機器としては、デジタルカメラ、携帯型電話機、携帯型端末機や、家庭用ゲーム機器、ＴＶなどの表示装置などが挙げられる。

図１５に示すように、電子機器８１は、ＣＰＵ８２によって統括的に制御される。このＣＰＵ８２は、ＲＯＭ８３に記憶された制御プログラム（図示省略）を実行することで、電子機器８１の各部を統括的に制御する。なお、このＣＰＵ８２には、操作部８４からの操作信号が入力されるので、これら操作信号に基づいた処理が実行される。ＲＯＭ８３は、制御プログラムの他に、画像検索用プログラム８５を記憶する。ＲＡＭ８６は、ＣＰＵ８２における制御の際に生成される数値やデータが一時的に格納される。なお、ＣＰＵ８２は、バス８７を介して、上述したＲＯＭ８３やＲＡＭ８６の他に、表示制御回路８８、メディアスロット８９及びＩ／Ｆポート９０などと接続される。

操作部８４は、マウスやキーボードの他に、リモートコントローラなどが挙げられる。表示制御回路８８は、表示部９１の駆動を制御する。メディアスロット８９は、メモリカード、光学ディスク及び磁気ディスクなどの記憶媒体９２が抜き差しされる。Ｉ／Ｆポート９０は、例えばＵＳＢ規格のケーブル端子を接続する接続ポートや、ＩＥＥＥ規格のケーブル端子を接続する接続ポートなどから構成される。このＩ／Ｆポート９０を介して、ＵＳＢメモリ９３、ハードディスクドライブ（ＨＤＤ）９４などが電気的に接続される。

上述したＣＰＵ８２は、ＲＯＭ８３に記憶された画像検索用プログラム８５を実行することで、トリミング処理部９５、画像配置部９６及び画像合成部９７の機能を有する。なお、これら機能は、本実施形態にて説明しているので、ここでは、その詳細を省略する。

以下、この電子機器における画像検索の手順について図１６及び図１７のフローチャートに基づいて説明する。なお、このフローチャートは、主電源がオンとなる場合を契機にして実行される。

ステップＳ３０１は、画像検索用プログラムを実行する処理である。ＣＰＵ８２は、ＲＯＭ８３に記憶された画像検索用プログラム８５を読み出し、読み出した画像検索用プログラム８５を実行する。

ステップＳ３０２は、画像一覧の表示を実行するか否かを判定する処理である。ＣＰＵ８２には、操作部８４からの操作信号が入力される。この操作部８４からの操作信号が、画像一覧の表示を行う旨の信号であれば、ＣＰＵ８２は、このステップＳ３０２の判定処理をＹｅｓとする。この場合、ステップＳ３０３に進む。一方、操作部８４からの操作信号が、画像一覧の表示を行う旨の信号でない場合には、ＣＰＵ８２は、このステップＳ３０２の判定処理をＮｏとする。この場合、操作部８４からの操作信号が画像一覧の表示を行う旨の信号であると判定されるまで、このステップＳ３０２の判定処理が繰り返し実行される。

ステップＳ３０３は、画像データに対するトリミング処理である。ＣＰＵ８２は、メディアスロット８９に差し込まれた記憶媒体９２、又はＩ／Ｆポート９０に接続されたＵＳＢメモリ９３やＨＤＤ９４の有無を確認した上で、これらに記憶された画像ファイルのサムネイル画像データを読み出す。このとき、メディアスロット８９に記憶媒体９２が差し込まれ、又Ｉ／Ｆポート９０にＵＳＢメモリ９３やＨＤＤ９４が接続されている場合には、これらのいずれかから画像ファイルを読み出すようにしてもよいし、これら全てから画像ファイルを読み出すことも可能である。このように画像ファイルが読み出されると、ＣＰＵ８２は、画像ファイルのサムネイル画像データを読み出す。そして、ＣＰＵ８２は、画像の縦横比が１：１となるように、読み出したサムネイル画像データに対するトリミング処理を実行する。

ステップＳ３０４は、画像データを配置する処理である。なお、この画像を配置する処理については、ステップＳ２０５にて説明しているので、ここでは、詳細を省略する。

ステップＳ３０５は、画像データを合成する処理である。ＣＰＵ８２は、ステップＳ３０４の処理を実行することで二次元に配置される複数の検索用画像を合成する。これにより、一覧画像データ９５が生成される。なお、この一覧画像データ９５はＲＡＭ８６に記憶される。

ステップＳ３０６は、画像一覧を表示する処理である。ＣＰＵ８２は、ＲＡＭ８６に記憶された一覧画像データ９５を表示制御回路８８に出力する。これを受けて、表示制御回路８８は、一覧画像データ９５に基づく画像を表示部９１に表示する。これにより、表示部９１に画像一覧が表示される。この画像一覧を表示する際に、表示制御回路８８は、画像一覧にエリア枠を重畳させて記憶する。

ステップＳ３０７は、エリア枠を移動するか否かを判定する処理である。ＣＰＵ８２には操作部８４の操作に基づく操作信号が入力される。この操作信号が、エリア枠を移動する旨を示す信号であると判定した場合に、ＣＰＵ８２は、ステップＳ３０７の処理をＹｅｓと判定する。この場合ステップＳ３０８に進む。一方、ＣＰＵ８２に入力される操作信号が、エリア枠を移動する旨を示す信号でない場合には、ＣＰＵ８２は、ステップＳ３０７の判定処理をＮｏとし、ステップＳ３０９に進む。

ステップＳ３０８は、エリア枠を移動する処理である。ステップＳ３０７を実行することで、ＣＰＵ８２に入力される操作信号がエリア枠を示す旨の信号であることから、ＣＰＵ８２は、該エリア枠を移動する旨の信号を表示制御回路８８に出力する。これを受けて、表示制御回路８８は、表示部９１に重畳されたエリア枠を操作信号に基づいた方向に移動させる。

ステップＳ３０９は、エリア枠の位置を決定するか否かを判定する処理である。操作部８４の操作信号がエリア枠の位置を決定する旨の信号である場合には、ＣＰＵ８２は、ステップＳ３０９の判定処理をＹｅｓとする。この場合、ステップＳ３１０に進む。一方、操作部８４の操作信号がない場合や、異なる信号である場合には、ＣＰＵ８２は、ステップＳ３０９の判定処理をＮｏとする。この場合、ステップＳ３０７に戻る。

ステップＳ３１０は、拡大表示をするか否かを判定する処理である。操作部８４の操作による操作信号が、拡大表示を示す旨の信号であれば、ＣＰＵ８２は、ステップＳ３１０の判定処理をＹｅｓとし、ステップＳ３１１に進む。一方、操作信号が拡大表示を示す旨の信号でない場合には、ＣＰＵ８２は、このステップＳ３１０の判定処理をＮｏとし、ステップＳ３２１に進む。

ステップＳ３１１は、指定された拡大率が最大であるか否かを判定する処理である。ＣＰＵ８２は、表示制御回路８８からエリア枠の大きさを示す情報を取得している。ＣＰＵ８２は、この情報に基づいて、エリア枠の大きさが検索用画像の大きさであるか否かを判定する。例えばエリア枠の大きさが検索用画像の大きさであれば、指定される拡大率は最大となるので、ＣＰＵ８２はステップＳ３１１の判定処理をＹｅｓとする。この場合、ステップＳ３１２に進む。一方、エリア枠の大きさが第１画像配置領域６１以上の大きさであれば、指定される拡大率は最大ではないので、ＣＰＵ８２は、ステップＳ３１１の判定処理をＮｏとする。この場合、ステップＳ３１５に進む。

ステップＳ３１２は、画像データを読み出す処理である。ステップＳ３１２において、エリア枠の大きさが検索用画像の大きさであると判定されている。また、拡大表示コマンドには、エリア枠の位置を示す情報が付与されている。ＣＰＵ８２は、このエリア枠の位置を示す情報と、ＲＡＭ８６に記憶された一覧画像データ９５とから、検索用画像を特定する。そして、特定された検索用画像の元になる画像ファイルから、サムネイル画像データ又は静止画像データを読み出す。

ステップＳ３１３は、画像を表示する処理である。ＣＰＵ８２は、特定された検索用画像の元になる画像ファイルから、サムネイル画像データ又は静止画像データを読み出しているので、この画像データを表示制御回路８８に出力する。これを受けて、表示制御回路８８は、画像データに基づく画像を表示部９１に表示する。

ステップＳ３１４は、画像検索を終了するか否かを判定する処理である。操作部８４からＣＰＵ８２に出力される操作信号が、画像検索を終了する旨の信号であれば、ＣＰＵ８２は、このステップＳ３１４の判定処理をＹｅｓとし、画像検索に係る処理を終了する。一方、操作部８４からＣＰＵ８２に出力される操作信号が画像検索を終了する旨以外の信号であれば、ＣＰＵ８２は、ステップＳ３１４の判定処理をＮｏとする。この場合、ステップＳ３０７に戻る。

ステップＳ３１１の判定処理において、指定された拡大率が最大でない場合には、ステップＳ３１１の判定処理はＮｏとなる。この場合、ステップＳ３１５に進む。

ステップＳ３１５は、画像データに対するトリミング処理である。ＣＰＵ８２は、エリア枠の位置を示す情報と一覧画像データ９５とから、エリア枠に含まれる検索用画像を特定する。そして、特定された検索用画像に基づく画像ファイルからサムネイル画像データを読み出す。そして、サムネイル画像データに基づく画像の横縦比が１：１となるように、画像の中心部分を切り出す。

ステップＳ３１６は、画像データを配置する処理である。ＣＰＵ８２は、トリミング処理済みの画像データに対して、一定の画像サイズとなるようにリサイズ処理を施し、検索用画像データを生成する。この生成された検索用画像データを用いて、各画像データを配置する。なお、各画像データの配置手順については、図７のステップＳ２１６と同一で有るため説明を省略する。

ステップＳ３１７は、画像データを合成する処理である。ステップＳ３１６において、検索用画像データが全て配置されていることから、ＣＰＵ８２は、配置された検索用画像データを合成し、一覧画像データ９５を生成する。生成された一覧画像データ９５は、ＲＡＭ８６に記憶される。

ステップＳ３１８は、画像一覧を表示する処理である。ＣＰＵ８２は、ステップＳ３１７において生成された一覧画像データ９５を表示制御回路８８に出力する。これを受けて、表示制御回路８８は、表示部９１に画像一覧の表示を実行する。この処理が実行されると、ステップＳ３１４に進む。

また、ステップＳ３１０の判定処理においてＮｏとなる場合、つまり、受信したコマンドが拡大表示コマンドでない場合には、ステップＳ３２１に進む。

ステップＳ３２１は、縮小表示を行うか否かを判定する処理である。操作部８４の操作による操作信号が、縮小表示を示す旨の信号であれば、ＣＰＵ８２は、ステップＳ３２１の判定処理をＹｅｓとし、ステップＳ３２２に進む。一方、操作信号が縮小表示を示す旨の信号でない場合には、ＣＰＵ８２は、このステップＳ３２１の判定処理をＮｏとし、ステップＳ３１４に進む。

ステップＳ３２２は、一覧画像データを読み出す処理である。ＣＰＵ８２は、ＲＡＭ８６に記憶された過去の一覧画像データ９５から、２番目に新しい一覧画像データ９５を読み出す。

ステップＳ３２３は、画像一覧を表示する処理である。ＣＰＵ８２は、ステップＳ３１７において生成された一覧画像データ９５を表示制御回路８８に出力する。これを受けて、表示制御回路８８は、表示部９１に画像一覧の表示を実行する。この処理が実行されると、ステップＳ３１４に進む。このように、縮小表示コマンドを受信した場合には、新たに一覧画像データ９５を生成せずに、ＲＡＭ８６に記憶された一覧画像データ９５を読み出すだけで済むので、一覧画像データ９５を生成する手間を省くことができる。

なお、図１８に示すように、上述した電子機器８１は、インターネット９８を介して画像記憶サーバ９９とネットワーク接続させることも可能である。この場合、ＲＯＭ８３にＷＥＢブラウザ１００を記憶させておく。ＣＰＵ８２がＷＥＢブラウザ１００を実行すると、電子機器８１がインターネット９８を介して画像記憶サーバ９９とネットワーク接続される。なお、符号１０１は通信Ｉ／Ｆである。この場合、画像記憶サーバ９９に設けられたデータベース１０２に記憶された画像ファイルからサムネイル画像データを読み出し、画像一覧の表示を表示部に実行させることが可能となる。

本発明は、画像検索を実行するための画像検索システムや画像検索が実行可能な電子機器について説明しているが、この他に、図１におけるトリミング処理部５１、画像配置部５２及び画像合成部５３の機能、或いは、図１５におけるトリミング処理部９５、画像配置部９６及び画像合成部９７の機能や、図１６及び図１７のフローチャートの機能をコンピュータに実行させる可能な画像検索プログラムであってもよい。この画像検索プログラムは、例えばメモリカード、光学ディスク、磁気ディスクなどのコンピュータが読み取り可能な記憶媒体に記憶されることが好ましい。

１０・・・画像検索システム、１５…画像検索サーバ、１６，８１…電子機器、２１，４１，８２…ＣＰＵ、２２，４２，８３…ＲＯＭ、２３…ＷＥＢブラウザ、２６，８４…操作部、３１，９１…表示部、３２，９２…記憶媒体、３３，９３…ＵＳＢメモリ、３４，９４…ＨＤＤ、４４…データベース、４８…画像検索用プログラム、４９…画像ファイル、５０，９５…一覧画像データ、５１，９５…トリミング処理部、５２，９６…画像配置部、５３，９７…画像合成部

Claims (4)

1. 二次元に配置した複数の画像を表示することが可能な表示部と、
   前記表示部に表示される前記複数の画像の配置領域から、設定された選択範囲を用いて検索対象範囲を決定する範囲決定部と、
   前記範囲決定部による前記検索対象範囲の決定を、前記選択範囲が最小選択範囲となるまで前記選択範囲を段階的に小さくしながら複数回実行することで、検索対象画像を絞り込む画像絞込部と、
   前記画像絞込部による前記検索対象画像の絞り込みを行うことで前記選択範囲が前記最小選択範囲となるときに、該選択範囲に含まれる画像のいずれかを選択する画像選択部と、
   前記画像絞込部による前記検索対象画像の絞り込みの際に、前記範囲決定部により前記検索対象範囲が決定される毎に、決定された前記検索対象範囲に含まれる画像を、前記検索対象画像を絞り込む前の前記複数の画像の配置状態を維持したまま前記表示部に表示させ、前記画像選択部により前記選択範囲に含まれる画像のいずれかが選択された場合に、選択された画像を前記表示部に表示させる表示制御部と、
   前記最小選択範囲に合わせて画像を配置した画像群を所定の配列順序で配置することで、前記複数の画像を二次元に配置する画像配置部と、を備え、
   前記複数の画像は配置される位置が固定であり、
   前記画像配置部は、前記複数の画像のいずれかの画像が削除されたときに、削除された画像に対する領域に、前記削除された画像の近傍の画像に沿った画像を配置した上で、前記削除された画像を除く画像を配置することを特徴とする画像検索システム。
2. 請求項１に記載の画像検索システムにおいて、
   前記表示制御部は、前記画像絞込部による前記検索対象画像の絞り込みを行う過程で前記範囲決定部によって決定された前記検索対象範囲を変更する場合に、該検索対象範囲を決定する際に前記表示部に表示された複数の画像を再度表示することを特徴とする画像検索システム。
3. 請求項１又は請求項２に記載の画像検索システムにおいて、
   前記最小選択範囲は、予め設定された数の画像を行列状に配置したときの矩形状の範囲からなるとともに、前記選択範囲は、前記最小選択範囲と相似し、且つ大きさの異なる範囲からなることを特徴とする画像検索システム。
4. 請求項１から請求項３のいずれか１項に記載の画像検索システムにおいて、
   前記表示部及び前記表示制御部を少なくとも備えた電子機器と、
   前記電子機器とネットワークを介して接続可能なサーバと、
   前記複数の画像を記憶する画像記憶部と、
   を有し、
   前記画像記憶部は、前記電子機器又は前記サーバの少なくともいずれか一方に設けられ
   ることを特徴とする画像検索システム。

Images