JP4352264B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、デジタルスチルカメラの高性能化や記録メディアの大容量化に伴って、多数の画像データを扱うユーザが増加してきている。所望の画像についてレタッチや印刷をするためには、まず、画像ビューワ等で多数の画像データから所望の画像を示す画像を検索する必要がある（例えば、特許文献１）。
特開２００５−２０２０９号公報

従来の画像表示においては、多数の画像から所望の画像を高速に検索することが困難であった。
すなわち、サムネイル画像をタイル状に表示すると複数の画像を一度に視認することができるが、多数の画像（例えば、数千枚）から所望の画像を検索する際にタイル状の表示を切り替えていっても、所望の画像を見つけだすのは極めて困難である。また、ある順序で並んでいる画像の中から複数の画像を抽出して表示するにあたり、所定枚数の画像をスキップしながら画像送りを行ったとしても、所望の画像が表示されずスキップされてしまえば、やはり所望の画像を高速に見つけだすのは困難である。
本発明は、上記課題にかんがみてなされたもので、多数の画像から所望の画像を高速に検索することが可能な画像処理装置、画像処理方法および画像処理プログラムの提供を目的とする。

上記目的を達成するため、本発明では第１の方向に沿って時系列情報としての年月日が異なる画像を並べ、時系列情報が共通の画像を時刻に基づいて第２の方向に沿って並べることによって、画像を２次元的に表示する。さらに、このような表示を行っている状態で、時系列情報を切り替える指示に基づいて画像を切り替えることができる。従って、本発明によれば、画像の内容とともに時系列情報が共通の画像の量を把握しながら時系列的に画像を検索することができる。この結果、直感的な画像の検索を行うことが可能になり、多数の画像から所望の画像を高速に検索することができる。

すなわち、画像を作成したユーザ、例えば、写真を撮影したユーザはその画像の内容や撮影時の行動、撮影した量の概略を記憶している。従って、本発明のように、検索対象の画像と同じ日時に作成された画像の内容とその量とを同時に把握することができれば、上記概略の記憶に基づいて直感的に画像を検索することができる。より具体的には、検索対象の画像を撮影した日と同じ日に作成した画像にはどのような内容の画像が含まれ、どれほどの量であるという記憶に基づき、この記憶に概略一致する量、日時、内容の画像が表示されるまで、次々に画像表示手段による切替を行えばよい。記憶と概略一致する画像が表示されれば、その中に検索対象の画像が含まれるのかを詳細に検証することで、高速に検索を行うことが可能である。

ここで、上記表示装置は、画像を表示することができれば良く、各種の表示装置を採用可能である。例えば、画像データを蓄積するための記憶媒体と画像ビューワとが一体になった装置におけるディスプレイや、プリンタに組み込まれたディスプレイ、コンピュータに接続されたディスプレイ、テレビジョン等、種々の表示装置を採用可能である。

時系列情報取得手段においては、画像に対応づけられた時系列情報を取得することができれば良い。時系列情報は、時間の流れに沿って画像同士を比較することができる情報であればよく、年、月、日、時刻のいずれかまたは組み合わせを採用することができる。また、時系列情報は画像に対応づけられていればよいので、例えば、画像を示す画像データのヘッダに記載されている日時等を示すデータを本発明における時系列情報として採用することができる。

画像表示手段は、複数の画像を時系列情報でソートして第１の方向に並べ、時系列が共通の画像を第１の方向と異なる第２の方向に並べて表示することができればよく、種々の構成を採用可能である。ここで、第１の方向と第２の方向とは異なっていればよいが、２つの方向が異なる方が視認しやすいので、直角に近い方が好ましい。但し、直角である必要はなく、直角に近い範囲で第１の方向に沿った軸と第２の方向に沿った軸とが交わればよく、画面の大きさや画像の大きさに基づいて適宜方向を設定可能である。

また、画像を並べるに際して、第２の方向へは時系列情報が共通の画像を並べることができればよい。このとき、時系列情報として採用する時間の単位を予め決定しておき、最小単位より短い単位の情報に基づいて画像を並べる構成を採用することも可能である。すなわち、第１の方向および第２の方向の双方とも時間の経過に従った順序で画像を並べるが、時系列情報として採用する時間の単位をある単位までで区切って第１の方向に並べ、それより小さな単位については第２の方向に並べる。

この結果、第１の方向および第２の方向のいずれについても直感的に理解しやすい順序で画像を並べることができる。例えば、時系列情報として年、月、日を採用して第１の方向に並べ、日より短い単位の情報、すなわち、時刻情報に従って第２の方向に並べる構成を採用可能である。この構成によれば、年、月、日に従って第１の方向に画像をソートしながら表示し、時刻に従って第２の方向に画像をソートしながら表示することができる。

この結果、画像を作成した日および同じ日に作成した画像の量を把握し、かつ、同じ日に作成された画像のそれぞれについて作成された時刻の順序も把握しながら画像を検索することが可能になる。むろん、時系列情報として採用すべき最小単位が日であることは必須ではなく、例えば、最小単位を時間として時系列情報に含め、それより小さな分および秒に基づいて第２の方向へ画像を並べても良い。尚、並べて表示する画像は検索対象の画像と同じ大きさの画像であっても良いが、画像の概略を把握しながら高速に検索を行う意味では、画像のサムネイルであることが好ましい。

画像表示切替手段は、切替指示を取得して画像の表示を切り替えることができれば良く、種々の構成を採用可能である。切替指示を取得するための構成としては、特に限定されず、マウスによる指示やボタンによる指示、ダイヤルによる指示など、種々の指示を切替指示として取得可能である。また、切替指示は表示対象となる画像の時系列情報を切り替える指示である。

すなわち、表示装置の表示領域は物理的に限られた領域であるので、表示候補として多数の画像を想定したときには全画像の中の一部を表示領域に表示することとなる。このとき、表示されている画像の時系列情報は、全画像の時系列情報の一部であるため、第１の方向に沿って画像を切り替えることにより、時系列的に並ぶ画像を次々に切り替えることができる。この結果、画像の検索を行うことが可能である。

画像表示手段においては、画像を表示するのみならず、他の情報を表示しても良い。例えば、画像に対応づけられた時系列情報を識別するための識別情報を表示しても良い。この構成によれば、表示装置上に並べて表示される複数の画像とともにその時系列情報を把握することができ、検索を容易にすることができる。尚、識別情報は、複数の画像同士で識別情報が異なる場合に少なくとも識別情報が異なることが明示されればよいが、むろん、識別情報自体（例えば、年、月、日、時刻の少なくとも一つ）を表示するように構成しても良い。後者の場合は、確実に識別情報を把握することが可能になる。

また、このように識別情報を表示する際に、その表示態様としては種々の態様を採用可能である。例えば、時系列情報が共通の画像について共通の時系列情報であることを示す情報を表示するように構成可能である。この結果、時系列情報が共通であることを容易に把握することが可能になる。共通の時系列情報であることを表示する際にも各種の表示態様を採用可能であり、時系列情報が共通の画像に対して共通の背景色を付す構成や、時系列情報が異なる画像同士を線で区切る構成など、種々の表示態様を採用可能である。

さらに、画像表示手段によって時系列情報が共通の画像を第２の方向に並べて表示するとしても、より表示を分かり易くするために、時系列情報が共通の複数の画像を異なるグループに分け、当該グループ毎に画像を表示する構成を採用しても良い。この結果、時系列情報が共通の画像が大量に存在する場合であっても分かり易い表示を行うことが可能である。

ここでは、少なくとも各グループにおいて画像が第２の方向に沿って並べて表示されればよい。従って、異なるグループが第２の方向に沿って並べられ、かつ各グループ内でも画像が第２の方向に沿って並べられる構成を採用しても良いし、異なるグループが第１の方向に沿って並べられ、各グループ内で画像が第２の方向に沿って並べられる構成を採用しても良い。

このように、共通の時系列情報の画像が異なるグループに分類され、第１の方向に沿って並べられる場合には、上述のように、時系列情報が共通の画像について共通の時系列情報であることを示す情報を表示する構成を採用することが好ましい。この構成によれば、確実に時系列情報が共通であるか否かを確実に識別することが可能である。

また、グループを分ける際の手法も種々の手法を採用可能である。例えば、画像毎にグループを指示する指示入力を受け付け、指示に従ってグループを分けても良いし、画像に対応づけられたデータから自動でグループ分けを行っても良い。画像に対応づけられたデータとしては、上記時系列情報や他の情報（例えば、画像の縦横比、画素数、縦横の向き等）を採用可能である。

さらに、複数の画像を表示する際に好適な構成として、時系列情報が共通の画像を第２の方向に沿って並べるにあたり、画像の一部を重ねながら並べる構成を採用すると好ましい。この構成によれば、画像の一部が重なるので、表示装置上の表示領域を有効利用しながら多数の画像を同時に表示することが可能である。このとき、予め決められた代表画像については画像の全体を表示する構成を採用しても良い。この構成によれば、代表画像について全体を把握することができる。

従って、共通の時系列情報の画像を複数個重ねて表示する際に、これらの画像の内容を良く表す画像を代表画像とすることで、容易に画像の内容を把握しながら検索を行うことが可能である。むろん、代表画像は予め決めておくが、画像検索の際に明示的に代表画像以外の画像を指示する入力を受け付けた場合には、当該指示された画像の全体を表示する構成を採用するのが好ましい。

さらに、高速に画像を検索するために好適な構成として、表示対象となる各画像について一部を重ねながら並べた画像を想定し、当該想定した画像を示す画像データを予め作成しておいてもよい。この構成によれば、画像表示手段によってこの画像データを参照するのみで所要の表示を行うことができ、多数の画像を表示するとしても多数の画像を示す画像データのそれぞれを参照する必要がない。従って、高速に表示を行うことが可能である。

むろん、画像データのみならず、上記時系列情報を予め取得してファイルに保存しておき、各画像のそれぞれについて個別に時系列情報を参照するのではなく、当該ファイルを参照することで、全画像の時系列情報を取得できるように構成しても良い。

さらに、画像を表示する際に好ましい構成例として、異なる時系列情報を持つ画像同士を離間して表示し、この離間距離を時系列情報の間隔に応じて単調に増加させる構成を採用するのが好ましい。すなわち、画像同士を離間するにあたり、時系列情報の間隔が離れている画像ほど離間距離が大きくなるように構成すれば、画像を検索する際に時系列情報の間隔を視覚的に把握することができ、より容易に検索を行うことが可能になる。尚、ここで時系列情報の間隔とは、異なる画像に対応づけられた時系列情報を比較したときの時間間隔に相当する。離間距離は、時系列情報の間隔に応じて単調に増加すれば良く、時系列情報の間隔に対して離間距離が線形的に変化しても良いし、非線形であっても良い。

さらに、離間距離の好ましい構成例として、離間距離は、時系列情報の間隔に応じて単調に増加するとともに、時系列情報の増大に伴って当該離間距離が飽和する構成を採用可能である。すなわち、時系列情報は、年、月、日など、異なる単位を含み得るし、時系列情報の間隔がある画像同士では非常に大きく別の画像同士では非常に小さいと言う状況が発生し得る。

このような場合に、離間距離が時系列情報の間隔に応じて線形変化するのみであると、時系列情報の間隔が大きな画像同士を一画面内に並べて表示することができなくなるなど、見やすい表示を行うことはできない。そこで、時系列情報の増大に伴って離間距離が飽和する構成を採用すれば、時系列情報の間隔が大きい場合であっても、過度に画像同士の離間距離が大きくならず、見やすい表示を行うことが可能である。

以上のように、画像同士の離間距離は時系列情報の間隔と一対一に対応し得るので、両者の関係を示すテーブルデータを予め作成しておき、画像表示手段によって当該テーブルデータを参照して離間距離を決定する構成を採用可能である。この構成によれば、高速に離間距離を決定することができ、高速の検索を行うことが可能である。

また、画像同士の離間距離と時系列情報の間隔との相関を示すテーブルデータを複数個用意しても良い。すなわち、表示装置の表示領域は有限であるため、上述のように時系列情報の間隔が大きくなるに連れて離間距離が飽和する構成を採用した場合には、異なる間隔で表示すべき画像同士で有意な離間距離を与えられないことがあり得る。そこで、上記テーブルデータを複数個用意しておき、表示対象となる画像における時系列情報の間隔に基づいて、適切なテーブルデータを選択すれば、表示対象となる画像毎に適切な離間距離にすることが可能である。

さらに、複数のテーブルデータを作成する際に好ましい構成例として、上記時系列情報の間隔に対する画像同士の離間距離の変曲点が異なるようにしても良い。すなわち、時系列情報の間隔に対して画像同士の離間距離をプロットしたグラフを作成すると、単調増加かつ飽和するために、時系列情報の間隔に対する画像同士の離間距離の変化率が最大となる変曲点が生じる。複数のテーブルデータを想定すると、変曲点に対応する時系列情報の間隔が大きな値であるほど、離間距離を飽和させるための時系列情報の間隔は大きくなる。

従って、表示対象となる画像における時系列情報の間隔が離れているほど、上記変曲点に対応する時系列情報の間隔が大きいテーブルデータを参照するように構成すれば、時系列情報の間隔がより大きな値である場合に画像同士の離間距離を飽和させることになる。この結果、表示する画像の時系列情報に応じて適切な離間距離とすることができる。

さらに、検索をより便利にするために、スクロールバーを表示しても良い。すなわち、表示対象となり得る総ての画像と表示されている画像との関係を示すスクロールバーによって表示すれば、表示装置で表示している画像と表示されていない画像を含む総ての画像との相関を非常に容易に把握することができる。また、このスクロールバーの表示とともに上記時系列情報を表示する構成を採用しても良い。

この構成によれば、スクロールバーによって表示領域内の画像と総ての画像との相関を把握するとともに、表示領域内の画像の時系列情報を容易に把握することができる。従って、表示領域内の画像における時系列情報と総ての画像における時系列情報との相関を容易に把握することができ、より高速に検索を行うことが可能になる。

さらに、画像表示を切り替える際の好ましい表示態様として、同一の時系列情報を持つ複数の画像が画像の切り替え方向と逆の方向に所定量ずれるように並べて表示する構成を採用しても良い。この構成によれば、画像の表示を切り替えているときに、時系列情報が進んでいる方向を容易に把握することができる。すなわち、画像の切り替え方向が、時間経過に沿った方向であるか、時間経過の逆方向であるのかを把握することが可能である。

ところで、上述した画像処理装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。また、２次元的に画像を表示する手順に発明が存在するとも言える。したがって、本発明は方法としても適用可能であり、請求項２にかかる発明においても、同様の作用となる。また、本発明を実施しようとする際に、コンピュータにて所定のプログラムを実行させる場合もある。従って、本発明は、そのプログラムとしても適用可能であり、請求項３にかかる発明においても、同様の作用となる。

また、いかなる記憶媒体もプログラムを提供するために使用可能である。例えば、磁気記録媒体や光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一部がソフトウェアであって、一部がハードウェアで実現される場合においても本発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む形態のものも含まれる。さらに、一次複製品、二次複製品などの複製段階についても同等である。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）画像処理装置の構成：
（２）画像列情報ファイル作成処理：
（３）画像表示処理：
（４）他の実施形態：

（１）画像処理装置の構成：
図１は、本発明の一実施形態にかかる画像処理装置を含む画像ビューワ装置１０の概略構成を示している。同図における画像ビューワ装置１０は、複数の画像を蓄積可能であるとともに、その筐体に組み込まれた表示パネルに各画像を表示可能である。また、複数の画像から表示対象を検索するために、画像を表示しながら検索を行うことが可能である。これらの機能を実現するため、画像ビューワ装置１０は、ＣＰＵ１１と表示コントローラ１２と表示パネル１２ａとメモリ１３とカードＩ／Ｆ１４とハードディスクドライブ（ＨＤＤ）１５と操作ボタン１６とを備えている。

ＣＰＵ１１はシステムバスを介して画像ビューワ装置１０全体の制御を行う。ＨＤＤ１５には、各部を制御するためのプログラムや画像データを格納することが可能であり、これらのプログラムは、実行時にＣＰＵ１１によってメモリ１３に転送される。また、ＣＰＵ１１は、メモリ１３を一時的なワークエリアとして適宜アクセスしながら種々のプログラムを実行する。

図１には、ＣＰＵ１１によって実行される画像検索プログラムの主な機能を画像列情報ファイル作成部１１ａ、画像表示部１１ｂ、切替指示受付部１１ｃとして示している。カードＩ／Ｆ１４にはデジタルカメラで撮影した画像を示す画像データ等を格納したメモリカードを接続することが可能であり、ＣＰＵ１１は当該メモリカードに記録された画像データをＨＤＤ１５に転送することが可能である。ＨＤＤ１５に転送された画像データは画像ファイルとして保存される（画像ファイル１５ｃ）。

むろん、カードＩ／Ｆ１４に接続されるメモリカードの形式は特に限定されず、画像データを格納することができる限りにおいて各種の画像データを採用可能である。本実施形態においては、当該画像ファイル１５ｃの保存に際して上記画像列情報ファイル作成部１１ａが、高速に画像検索を行うためのデータを作成し、画像列情報ファイル１５ａとしてＨＤＤ１５に記録する。このファイルの詳細は後述する。

表示コントローラ１２は、表示パネル１２ａを制御してメモリ１３に格納された画像データに基づく画像を表示するコントローラであり、画像表示部１１ｂは、表示対象の画像を示す画像データを表示コントローラ１２に指示し、表示パネル１２ａ上に適宜画像を表示させる。本実施形態において、画像表示部１１ｂは、上記画像検索を行う際に画像ファイル１５ｃが示す画像のサムネイル画像を２次元的に配置して表示する。

このために、ＨＤＤ１５には隣り合う画像の離間距離を示す距離テーブル１５ｂが予め保存されており、画像表示部１１ｂは、当該距離テーブル１５ｂと上記画像列情報ファイル１５ａとを参照し、表示対象の画像を示す画像データを取得して表示パネル１２ａ上に表示する。当該画像の表示処理および距離テーブル１５ｂの詳細は後述する。

図２は、表示パネル１２ａ上の表示例を示す図である。同図に示す例では、矩形によってサムネイル画像Ｔ（簡単のため単に画像と呼ぶこともある）を示しており、時系列情報として年月日を採用し、画像を撮影した年月日に基づいて画像を横方向に並べている。また、同じ日に撮影された画像を撮影時刻に基づいて縦方向に並べている。このように、撮影年月日に基づいて画像を並べることにより、ユーザは画像の時系列的な並びを把握することができる。撮影時刻に基づいて画像を並べることにより、ユーザは画像の撮影順を把握することができる。

さらに、撮影年月日と撮影時刻との双方に基づいて画像を並べることにより、ある年月日と他の年月日とで撮影された画像の多寡を比較することができる。尚、本明細書では、横方向に同じ位置であり、縦方向に位置が少しずつずれながら並ぶ複数の画像を画像列と呼ぶ。また、本実施形態においては、表示パネル１２ａ上に、スクロールバーＳを表示している。同スクロールバーＳは、その両端の矢印によって画面左右方向（すなわち、未来の年月日あるいは過去の年月日）に表示できなかった画像が存在することを示している。

さらに、スクロールバーＳの長さによってＨＤＤ１５に記録された総ての画像ファイル１５ｃにおける年月日の範囲を示し、スクロールバーＳ上のハッチＨによって表示パネル１２ａ上に表示されている画像の年月日と全体との相関を示している。すなわち、スクロールバーＳの長さとハッチＨが示された部分の長さとの相対関係から、ＨＤＤ１５に記録された全画像の年月日と表示されている画像の年月日との相対関係を把握することが可能である。尚、本実施形態では、スクロールバーＳの縦方向に線を付して年の区切りおよび月の区切りを示すことで、同じ撮影年および撮影月の画像が全体に占める割合を把握できるようにしている。

さらに、本実施形態では、年月日が異なる画像同士を離間して表示しており、その距離が離間距離Ｌになるようにしている。当該離間距離Ｌは撮影年月日の間隔に従って単調増加するように設定されており、上記距離テーブル１５ｂによって予め定義されている。本実施形態では、撮影年月日の間隔が増加するに伴って離間距離Ｌが比例して増加するように定義していることを想定しているが、この定義に限られることはなく後述する種々の定義を採用可能である。尚、以上の表示態様は一例であり、年月日を文字で表示するなど、種々の表示手法を採用可能である。

操作ボタン１６は画像ビューワ装置１０の筐体外面に配設された複数のボタンを備えており、各ボタンの操作内容を示すデータはＣＰＵ１１によって取得され、操作内容に応じた制御やプログラムの実行がなされる。本実施形態においては、この操作の一つとして、画像検索時の操作を行うことが可能であり、この操作内容は切替指示受付部１１ｃによって取得される。

切替指示受付部１１ｃがこの操作内容を受け付けると、画像表示部１１ｂに指示を行い、画像表示部１１ｂは表示パネル１２ａに表示している画像を切り替える。すなわち、表示パネル１２ａには２次元的に画像が並べられているが、表示パネル１２ａの表示領域は有限であるため、表示対象とすべき画像の年月日を切り替えることによって一画面で表示しきれない画像を表示する。以上の構成により、本実施形態では操作ボタン１６の操作によって表示対象となる画像を切り替えることができ、ユーザは、表示パネル１２ａを視認しながら所望の画像を検索することが可能である。

（２）画像列情報ファイル作成処理：
図３は、画像列情報ファイルを作成する処理を説明するためのフローチャートである。画像ビューワ装置１０においてユーザがカードＩ／Ｆ１４を介してメモリカードから画像ファイル１５ｃをＨＤＤ１５に記録すると、画像列情報ファイル作成部１１ａは、取得した画像ファイル１５ｃが新規のファイルであるか否かを判別する（ステップＳ１００）。同ステップＳ１００にて新規のファイルを取得したと判別されないときには、他の処理をスキップして処理を終了する。

上記ステップＳ１００にて新規のファイルを取得したと判別されたときには、その画像ファイルに含まれる撮影年月日情報を取得する（ステップＳ１１０）。図４は、画像ファイル１５ｃの構成例を示す図であり、ファイル全体を大きな矩形で示すとともに、画像ファイルに含まれるデータを文字にて示している。同図に示すように、画像ファイル１５ｃには、ヘッダとサムネイルデータと画像データとが含まれている。ヘッダは、図４に示すように年月日情報を含み、本実施形態においては、この情報が撮影年月日情報である。また、図示しない撮影時刻情報も当該ヘッダに含まれている。

また、画像データは、複数の画素毎に複数の色成分の階調値が指定されたデータであり、このデータによって各画素の色が特定され、画像が形成される。サムネイルデータは当該画像データより少ない画素数で画像を表現したデータであり、例えば、画像データの画素を間引くこと等によって作成されている。このような形式のファイルとしては、例えば、Ｅｘｉｆファイル（Ｅｘｉｆは登録商標）を採用可能である。むろん、ここでは、画像データに対応づけられた時系列情報を取得することができる限りにおいて種々のファイルを採用可能である。

画像ファイル１５ｃに含まれる撮影年月日情報を取得したら、画像列情報ファイル作成部１１ａは、当該撮影年月日情報に基づいてその年月日の画像を並べ、画像列を表示するための画像列データを構成し、画像列情報ファイル１５ａを更新する（ステップＳ１２０）。具体的には、画像列情報ファイル１５ａは図５のように、画像列毎に画像列撮影日、対応画像ファイル、画像列サムネイルを示すデータを定義することによって画像列データを構成しており、新規ファイルの撮影年月日と同一の画像列についてこれらの画像列データを更新する。

すなわち、画像列撮影日は上記撮影年月日であり、同じ撮影年月日の画像については同じ画像列データとされる。対応画像ファイルは、同じ撮影年月日の画像ファイルについてその名称を示している。そこで、新規ファイルの年月日情報と共通の年月日情報を持つ既存の画像列データを画像列情報ファイル１５ａから抽出し、その画像列データにおける対応画像ファイルに新規ファイルのファイル名を追加する。新規ファイルの年月日情報と共通の年月日情報を持つ既存の画像列データが存在しない場合には、その年月日情報の画像列データを新たに作成し、画像列情報ファイル１５ａに追加する。

また、図５に示す画像列サムネイルは、図２に示すように複数のサムネイルを縦方向に重ねた状態で表示パネル１２ａ上に表示する画像データのファイル名である。すなわち、画像列情報ファイル１５ａは、上記対応画像ファイルとして列挙された画像（新規に追加された画像ファイルも含む）の画像ファイル１５ｃを参照し、各画像のサムネイルデータを取得する。

このとき、各画像の撮影時刻情報を取得し、最も撮影時刻が早い画像のサムネイルデータを前面に配置し、前面のサムネイルによって一部が隠れるように撮影時刻の順にサムネイルを並べ、画像データを作成する。当該作成した画像データはＨＤＤ１５に対して画像列サムネイルデータ１５ｄとして保存され、このデータのファイル名が上記画像列サムネイルにおけるファイル名となる。尚、図５において（）の次に記載されている文字がデータの実体であり、（）は各データの内容を示すラベルである。

さらに、本実施形態では、画像列間の離間距離Ｌに対応する年月日の間隔を示す列間情報データを構成し、画像列情報ファイル１５ａを更新する（ステップＳ１３０）。具体的には、画像列情報ファイル１５ａは図５のように、撮影年月日毎にその前後の画像列との時間間隔を年月日で定義している。例えば、図５に示すように、撮影年月日が２００４年１１月１６日と２００４年１１月２１日である画像列が存在するときには、２００４年１１月１６日の後ろの画像列との間隔を１５日とする。

このため、ステップＳ１３０では、ある画像列の年月日情報を取得し、その前後の画像列の年月日情報を取得してその間隔を算出するとともに画像列情報ファイル１５ａに記述する。尚、本実施形態においては、上記スクロールバーＳにハッチＨを表示するために、各年月日における画像の枚数（図５の２００４年１１月１６日では５３枚）を記述している。むろん、列間情報は、容易に算出することができるため、後述する画像表示処理を実行する際に列間情報を算出しても良いが、予め算出しておくことにより、画像表示処理を高速に実施することが可能になる。

さらに、本実施形態では、スクロールバーＳを構成するための情報を構成する（ステップＳ１４０）。すなわち、画像列情報ファイル１５ａは図５のようにスクロールバー情報を含んでおり、撮影年が共通の画像の枚数および撮影月が共通の画像の枚数を算出し、スクロールバー情報として画像列情報ファイル１５ａに記述する。

この情報によれば、スクロールバーＳの長さに対して同じ撮影年の画像が占める割合および同じ撮影月の画像が占める割合を把握することができる。そこで、これらの情報を用いればスクロールバーＳを表示するための画像データを作成可能であり、本実施形態においては、この画像データを作成し、ＨＤＤ１５に保存しておく（図示省略）。ここでも、予めスクロールバー情報を作成し、その画像データを作成することにより、後述する画像表示処理を高速に実施することが可能である。以上のように、本実施形態においては、画像列を高速表示するために必要な画像列情報ファイル１５ａを新規ファイルの取得時に作成する。

（３）画像表示処理：
図６は、画像表示処理を示すフローチャートである。画像ビューワ装置１０のユーザが画像の検索を指示する操作ボタン１６を操作すると、切替指示受付部１１ｃは図６に示す処理を実行する。検索に際しては、まず、予め決められた撮影年月日（デフォルトで決められても良いし、前回の検索と同じ年月日にしても良い）の画像列およびスクロールバーＳを表示対象とし、初期画面を表示する（ステップＳ２００）。

むろん、このとき、スクロールバーＳ上に表示対象となっている画像列の年月日に対応するハッチＨを表示する。この結果、表示パネル１２ａ上には、図２に示すような表示がなされ、この状態で切替指示受付部１１ｃは、操作ボタンによる切替指示（スクロール指示）を受け付ける（ステップＳ２０５）。ここでは、表示対象の年月日を進めるかあるいは遅らせる指示を受け付けるが、表示対象の年月日を進めるかあるいは遅らせると、表示対象の画像列が横方向に移動するので、画面をスクロールさせる指示を受け付けていることになる。

ステップＳ２０５にてスクロール指示を受け付けたと判別されないときには、ステップＳ２１０〜Ｓ２２５をスキップする。ステップＳ２０５にてスクロール指示を受け付けたと判別されたときには、画像表示部１１ｂが画像列情報ファイル１５ａを参照し、スクロールした後に表示対象とすべき画像列の撮影年月日情報を取得する（ステップＳ２１０）。表示対象とすべき画像列の撮影年月日情報を取得したら、各画像列の離間距離Ｌを取得する（ステップＳ２１５）。

すなわち、画像表示部１１ｂは、表示対象とすべき画像列の撮影年月日情報を取得し、その撮影年月日についての列間情報を取得する。そして、上記距離テーブル１５ｂを参照し、列間情報として定義された年月日の間隔に対応する離間距離Ｌを取得する。この結果、表示対象の画像列とその離間距離とが判明したことになる。

そこで、画像表示部１１ｂは、当該表示対象の画像列を表示する（ステップＳ２２０）。すなわち、画像表示部１１ｂは、画像列情報ファイル１５ａを参照し、表示対象となっている画像列に対応づけられた画像列サムネイルデータ１５ｄを取得する。そして、各画像列を上記離間距離Ｌだけ離間させながら表示パネル１２ａ上に表示する。以上のように、本実施形態では、上記ステップＳ２０５の処理が画像用事切替手段における処理に相当し、上記ステップＳ２１０の処理が上記時系列情報取得手段における処理に相当し、ステップＳ２００，Ｓ２２０の処理が上記画像表示手段における処理に相当する。

さらに、画像表示部１１ｂは、スクロールバーＳ上で、表示対象となっている画像列に対応したハッチＨを表示するようにスクロールバーの表示を更新する（ステップＳ２２５）。以上の処理の結果、図２のような画像列の表示を行いつつ、操作ボタン１６の指示によってスクロールを行うことが可能である。従って、利用者の操作に応じて所望の画像を検索することができる。

本実施形態においては、サムネイル画像から検索対象の画像を抽出して表示することが可能であり、操作ボタン１６によって特定の画像が選択されたか否かを判別する（ステップＳ２３０）。すなわち、画像表示部１１ｂは、操作ボタン１６に連動して移動するポインタ等によって所望のサムネイル画像を指示できるように画面表示を行っており、当該ポインタによってサムネイル画像が指示されると、その画像を表示すべき選択がなされたと判別する。

ステップＳ２３０にて特定の画像が選択されたと判別されないときには、上記ステップＳ２０５以降を繰り返す。すなわち、画像の検索処理を続ける。ステップＳ２３０にて特定の画像が選択されたと判別されたとき、画像表示部１１ｂは、画像列情報ファイル１５ａを参照し、上記指示されたサムネイル画像からその画像ファイルを特定する。そして、指示された画像ファイル１５ｃから画像データを読み出して、表示パネル１２ａ上に表示する（ステップＳ２３５）。以上の処理によって、画像の検索と検索結果の表示がなされることになる。

以上の実施形態においては、撮影年月日に基づいて画像列を横方向に並べ、撮影時刻に基づいて画像列を縦方向に並べている。従って、写真を撮影したユーザが撮影日として記憶している概略の年月日とその日の撮影枚数を思い浮かべながら、その記憶内容通りの画像列を探すことにより、所望の画像を簡単に見つけだすことができる。従って、多数の画像から所望の画像を高速に検索することができる。

（４）他の実施形態：
以上の実施形態は、本発明を構成する一例であり、多数の画像から所望の画像を高速に検索することができる限りにおいて、種々の構成を採用可能である。例えば、撮影年月日の間隔と離間距離Ｌとの相関が線形であることは必須ではなく、非線形にしても良い。この場合、撮影年月日の間隔が大きくなるほど離間距離Ｌが単調に増加するものの、その増加率は徐々に小さくなり、最終的には飽和するように構成することが好ましい。

図７は、撮影年月日の間隔が大きくなるほど離間距離が飽和する場合の両者の相関（距離テーブル１５ｂ）を示す例である。同図には、相関を複数個示しているが、いずれにしても、撮影年月日の間隔が大きくなると離間距離が飽和する。この結果、有限の表示パネル１２ａを有効に利用して画像列を表示することができる。

図８Ａは、このような相関に基づいて画像列の離間距離Ｌを決定する場合の例を示した図である。同図においては、画像列Ｒ_１と画像列Ｒ_２との離間距離Ｌ_１が１日、画像列Ｒ_２と画像列Ｒ_３との離間距離Ｌ_２が２日、画像列Ｒ_３と画像列Ｒ_４との離間距離Ｌ_３が１５日である例を示している。撮影年月日間隔に離間距離が比例しているとすれば、離間距離Ｌ_３が離間距離Ｌ_１の１５倍であるはずである。

この場合、表示パネル１２ａの一画面上に画像列Ｒ_１〜画像列Ｒ_４を表示することはできない。しかし、この例において、離間距離Ｌ_３は離間距離Ｌ_１の１５倍より小さいので、表示パネル１２ａの一画面上に画像列Ｒ_１〜画像列Ｒ_４を表示することができる。また、離間距離Ｌ_３が離間距離Ｌ_１の１５倍でなかったとしても、離間距離Ｌ_３と離間距離Ｌ_１との差を感覚的には把握することができるので、画像列間の年月日の相対関係は容易に把握することができる。従って、撮影年月日間隔に離間距離が比例していなくても、直感的に高速な検索が可能である。

尚、撮影年月日の間隔が大きくなるほど離間距離が飽和するように構成した場合、両者の相関が一種類であると、撮影年月日の間隔が大きい画像列同士で間隔の差異が判定しづらくなる。そこで、図７のように複数個の相関１５ｂ１〜１５ｂ３を予め用意しておき、表示対象となる画像列の撮影年月日によって適切な相関を選択するように構成しても良い。

具体的には、撮影年月日の間隔が１５日と７０日との双方に対応した離間距離が飽和していてほぼ同じ離間距離となる場合には、図８Ｂに示すように、撮影年月日の間隔が１５日の画像列と間隔が７０日の画像列とで離間距離が同じように見えてしまう。そこで、上記図７に示すように複数個の相関１５ｂ１〜１５ｂ３を用意する。同図に示すように、これらの相関では、撮影年月日の間隔が大きくなるに連れて離間距離も大きくなりやがて飽和するが、それぞれでは変曲点Ｉ_１〜Ｉ_３の位置（変曲点に対応する撮影年月日の間隔）が異なっている。

相関の選択に際しては、表示パネル１２ａ上に同時に表示する画像列同士の撮影年月日間隔が大きいほど図７の右側に変曲点を持つ相関（すなわち、変曲点を与える撮影年月日の間隔がより大きい相関）を選択すればよい。例えば、表示パネル１２ａ上に表示する総ての画像列（あるいは、その中の一部でもよい）について撮影年月日の間隔を取得し、その平均を算出する。そして、予め決めておいた閾値と当該算出した平均値とを比較し、平均値が大きい程、右側に変曲点を持つ相関を選択するなどの構成を採用する。この結果、撮影年月日の間隔が大きい画像列同士でもその間隔を把握することができ、直感的な検索が可能である。

また、本発明においては、画像列を２次元的に表示することができれば良く、画像列を表示する手法としても、上記図２に示すような例に限定されることはない。図９は、他の表示例を示す図である。同図においては、横方向に撮影年月日の順に従って画像列を並べているが、撮影時刻の順に画像を並べる際に、年月日を並べる方向に対して直角ではなく斜め方向に並べるようにしてある。このように画像を並べた画像列によって表示画面を構成すると、表示パネル１２ａ上に同時に表示できる画像の枚数は上記図２より少なくなるが、重なり合った画像の内容がより分かり易くなる。

図９においては、さらに、撮影年月日に対応した識別情報を同時に表示している。すなわち、撮影月が共通の画像列については共通の背景色になるように構成している。さらに、異なる撮影月の画像同士は縦方向の線によって区切られるように構成している。また、各画像列の下には撮影月日を表示している。このような構成によれば、より明確に画像列に対応づけられた時系列情報を把握することができる。

尚、図９に示す画像列の表示を行うためには、上記図５に示す画像列情報ファイル１５ａを作成する際に、列間情報として隣り合う画像列同士で月が変わっているか否かを示す情報を含めることが好ましい。この情報が予め作成されていれば、画像表示部１１ｂが画像を表示する際にこの情報を参照するのみで上記図９に示すような撮影月ごとの識別を行うように表示を制御することができる。従って、高速に画面を表示することができ、高速に検索を行うことができる。むろん、上述のように年月日に対応した識別情報として月に対応した識別情報を採用することは必須ではなく、撮影日毎に別の識別情報を付すなど、種々の態様を採用可能である。

図１０は、他の表示例を示す図である。同図においては、同じ撮影年月日が対応づけられている画像を異なるグループに分類して表示する例を示している。すなわち、ある画像列に含まれる複数の画像を予め複数のグループ（図１０では、グループＧ_１〜Ｇ_３）に分類しておき、分類毎にまとめて画像列を構成している。各グループは、予め分類されていれば良く、例えば、上記新規ファイルの取得に際して画像を分類していく構成を採用すればよい。

また、分類を行うための指標は種々の指標を採用可能である。例えば、撮影時刻が所定の時間以上離れている場合に両者を異なるグループに分類する構成を採用可能であるし、予めユーザが画像の分類を指示しても良い。このように、同じ撮影年月日の画像を複数のグループに分類すれば、画像を撮影したイベント毎に画像を分類することができ、より、分かり易く画像を表示することができる。

すなわち、同じ日に異なるイベントに参加した者が画像を撮影したのであれば、イベント毎に画像が分類されていることによって、所望の画像をより簡単に検索することが可能になる。むろん、グループに分けた画像列は、図１０に示すように縦方向に並べても良いし、横方向に並べても良く、種々の構成を採用可能である。

さらに、画像表示の切替指示を受け付けて画面をスクロールする際に、より分かり易い画面の切替を行うことも可能である。図１１は、当該スクロール時の工夫を示す図である。同図においても図２と同様に紙面右側を時系列情報が進む方向として定義しており、図１１Ａは、左方向にスクロール（年月日を進める場合）を行っているときの画面表示を示している。このように、左方向にスクロールする際には、画像列が縦方向に並ぶとともにスクロールと逆方向である右側にずれるように画像を並べて表示する。

図１１Ｂは、右方向にスクロール（年月日を逆方向に進める場合）を行っているときの画面表示を示している。右方向にスクロールする際には、画像列が縦方向に並ぶとともにスクロールと逆方向である左側にずれるように画像を並べて表示する。この表示によれば、スクロールを行っていることおよびその方向を直感的に把握することが可能である。むろん、この表示を行うために、上記画像列情報ファイル１５ａを作成する際に右および左に画像をずらしながら並べた画像データを作成しておけば、高速に表示を行うことが可能である。

上述の実施形態においては、撮影時刻順に画像列を並べていたので、同じ撮影年月日の画像で最も撮影時刻が早い画像が前面に表示されていたが、前面に表示する画像を画像列内で代表的な画像になるように構成しても良い。この場合、上記画像列情報ファイル１５ａを作成する際に、代表的な画像を指定するように構成し、指定された画像を最前面に配置し、サムネイル画像の全体が表示されるようにする。また、残りの画像については、撮影時刻順に表示するように画像列データを構成すればよい。この構成によれば、代表画像からの連想によって画像列に含まれる画像の内容を容易に把握可能になる。

さらに、上述のように、撮影年月日を横軸、撮影時刻を縦軸にする構成は必須ではなく、撮影年月日を縦軸、撮影時刻を横軸に沿って並べても良い。さらに、画像の切替を指示するための装置は、操作ボタンに限られず、ダイヤルやレバー、十字キー等、種々の入力装置を採用可能である。さらに、画像列を並べる部分と、画像列の中の一つをサムネイル画像より大きな画像として表示する部分とによって表示パネル１２ａの表示を構成しても良い。

さらに、本発明の適用対象としては、上述の画像ビューワ装置に限られず、プリンタやプリンタとスキャナとが一体化された複合機に適用しても良いし、コンピュータにおける画像ビューワソフトウェアに本発明を適用しても良い。すなわち、画像の表示を実施し得る総ての装置において本発明を適用することが可能である。

画像ビューワ装置の概略構成を示す図である。 表示パネル上の表示例を示す図である。 画像列情報ファイルを作成する処理のフローチャートである。 画像ファイルの構成例を示す図である。 画像列情報ファイルの構成例を示す図である。 画像表示処理を示すフローチャートである。 複数の距離テーブルを利用する例を示す図である。 画像列の離間距離Ｌを決定する例を示す図である。 画像列の表示例を示す図である。 画像列の表示例を示す図である。 画像切替時の表示例を示す図である。

符号の説明

１０…画像ビューワ装置、１１ａ…画像列情報ファイル作成部、１１ｂ…画像表示部、１１ｃ…切替指示受付部、１２…表示コントローラ、１２ａ…表示パネル、１３…メモリ、１４…カードＩ／Ｆ、１５ａ…画像列情報ファイル、１５ｂ…距離テーブル、１５ｃ…画像ファイル、１５ｄ…画像列サムネイルデータ、１６…操作ボタン

Claims (3)

1. 表示装置に対して画像を表示させる画像処理装置であって、
   複数の画像に対応付けられた年月日と時刻とを取得する時系列情報取得手段と、
   表示対象となる複数の画像を上記年月日に基づいて第１の方向に並べるとともに年月日が共通の画像を時刻に基づいて第２の方向に並べて表示する画像表示手段と、
   表示対象となる複数の画像を第１の方向に沿って切り替える切替指示を取得し、当該切替指示に基づいて上記画像表示手段における画像の表示を切り替えさせる画像表示切替手段とを具備するとともに、
   上記画像表示手段は、上記年月日の間隔に応じた離間間隔によって表示対象となる各画像を上記第１の方向に関して離間させ、
   上記年月日の間隔と上記離間間隔は、上記年月日の間隔が変曲点よりも大きくなると上記離間間隔が飽和していく単調増加の相関を有し、該変曲点は表示対象となる複数の画像の上記年月日の間隔に応じて異なることを特徴とする画像処理装置。
2. 表示装置に対して画像を表示させる画像処理方法であって、
   時系列情報取得手段が、複数の画像に対応付けられた年月日と時刻とを取得し、
   画像表示手段が、表示対象となる複数の画像を上記年月日に基づいて第１の方向に並べるとともに年月日が共通の画像を時刻に基づいて第２の方向に並べて表示し、
   画像表示切替手段が、表示対象となる複数の画像を第１の方向に沿って切り替える切替指示を取得し、当該切替指示に基づいて上記画像表示手段における画像の表示を切り替えさせるととともに、
   上記画像表示手段は、上記年月日の間隔に応じた離間間隔によって表示対象となる各画像を上記第１の方向に関して離間させ、
   上記年月日の間隔と上記離間間隔は、上記年月日の間隔が変曲点よりも大きくなると上記離間間隔が飽和していく単調増加の相関を有し、該変曲点は表示対象となる複数の画像の上記年月日の間隔に応じて異なることを特徴とする画像処理方法。
3. 表示装置に対して画像を表示させる機能をコンピュータに実行させる画像処理プログラムであって、
   複数の画像に対応付けられた年月日と時刻とを取得する時系列情報取得機能と、
   表示対象となる複数の画像を上記年月日に基づいて第１の方向に並べるとともに年月日が共通の画像を時刻に基づいて第２の方向に並べて表示する画像表示機能と、
   表示対象となる複数の画像を第１の方向に沿って切り替える切替指示を取得し、当該切替指示に基づいて上記画像表示機能による画像の表示を切り替えさせる画像表示切替機能とをコンピュータに実行させるとともに、
   上記画像表示機能は、上記年月日の間隔に応じた離間間隔によって表示対象となる各画像を上記第１の方向に関して離間させ、
   上記年月日の間隔と上記離間間隔は、上記年月日の間隔が変曲点よりも大きくなると上記離間間隔が飽和していく単調増加の相関を有し、該変曲点は表示対象となる複数の画像の上記年月日の間隔に応じて異なることを特徴とする画像処理プログラム。

Images