JP5167970B2 - 画像情報処理装置、画像情報処理方法、および画像情報処理用プログラム - Google Patents

Description

本発明は、複数の画像をグループ化する技術に係り、特に、グループ単位で時間間隔のばらつき程度を評価することによりグループ化を行なう画像情報処理装置、画像情報処理方法、および画像情報処理用プログラムに関する。

近年、ディジタルスチルカメラで撮影された静止画像、ディジタルビデオカメラで撮影された動画像を自動的にグループ分けする技術が種々提案されている。例えば、特許文献1には、撮影時刻の時間間隔のばらつき程度が閾値より大きい部分がグループの境界部分となるようにグループ分けを行なうことで、ユーザの主観に沿った形でグループ分けを行なうことが記載されている。
特開２００７−９４７６２号公報

しかしながら、特許文献１に記載された発明は、撮影時刻のみを属性情報としてグループ分け処理を実行するものであり、各グループのまとまり具合や、グループ毎のデータ数のばらつき具合等を考慮したグループ分けをすることができない。また、画像単位で時間間隔のばらつき程度を評価しているため、撮影時の状況によりグループ分けの結果が大きく左右され、偏りのあるグループ分けがなされる可能性がある。このため、グループ単位で時間間隔のばらつき程度を評価し、各グループのまとまり具合や、グループ毎のデータ数のばらつき具合等を考慮した新たなグループ分けの手法の開発が望まれている。

本発明はこのような状況を鑑みてなされたものであり、撮影時の状況に左右されない新たな画像グループ分けの手法を用いた画像情報処理装置、画像情報処理方法、および画像情報処理用プログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る画像情報処理装置は、撮影時刻および撮影間隔の情報が取得可能な複数の画像データを参照可能な画像情報処理装置であって、撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、あらかじめ定められた１または複数の評価項目を用いて、前記段階毎の評価値を算出する評価手段と、各段階のグループ数と前記算出された段階毎の全ての評価値に基づく関数とに応じてグループ分けの段階を決定するグループ分け段階決定手段と、を備える。

本発明では、グループ化の段階毎にグループ単位で時間間隔のばらつき程度を評価することにより、撮影時の状況に左右されない新たな画像グループ分けが実現できる。

ここで、前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づく関数において、段階毎の傾きの変化量の大きさに基づいてグループ分けの段階を決定することができる。

あるいは、前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づいて定められる曲線における段階毎の曲率の大きさに基づいてグループ分けの段階を決定するようにしてもよい。

さらには、前記グループ分け段階決定手段は、前記算出された段階毎の評価値において、極小値をとる評価値に対応する段階のいずれか１つをグループ分けの段階として決定するようにしてもよい。

上記課題を解決するため、本発明に係る画像情報処理装置は、撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能な画像情報処理装置であって、撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、あらかじめ定められた１つまたは複数の第１の評価項目を用いて、前記段階毎の第１の評価値を算出する第１評価手段と、あらかじめ定められた１つまたは複数の第２の評価項目を用いて、前記段階毎の第２の評価値を算出する第２評価手段と、各段階のグループ数と前記算出された段階毎の第１の評価値に基づいて定められる曲線における、段階毎の曲率の大きさを求めるとともに、前記算出された段階毎の第２の評価値において、極小値をとる第２の評価値に対応する段階を求め、求められた両者とに基づいてグループ分けの段階を決定するグループ分け段階決定手段と、を備える。

ここで、前記決定されたグループ分けの段階で定められる各グループに含まれる画像データに対応したインデックスを選択可能な状態で表示する表示制御手段をさらに備えることができる。このとき、前記表示制御手段は、いずれかのインデックスが選択されると、対応するグループに含まれる画像データを表示することができる。
また、前記表示制御手段は、各グループに含まれる画像ファイルに対応したインデックスと共に、各グループに属する画像ファイルの数を表示するようにしても良い。ここで、各グループに含まれる画像ファイルに対応したインデックスとして、各グループに属する画像ファイルから取得したサムネイル画像や、ファイル名、撮影開始時刻、撮影期間、撮影地点名称等の文字情報を表示できる。また、前記グループ分け段階決定手段は、グループ分けした際の一グループの画像ファイル数の上限値を予め決めておき、前記上限値を超えないように、グループ分けの段階を再決定しても良いし、前記表示制御手段は、一画面に表示可能なインデック数である最大表示インデック数を前記グループ分け段階決定手段に送り、前記グループ分け段階決定手段は、前記最大表示インデック数になるように、グループ分けの段階を再決定するようにしても良い。なお、これらのことは、後述する画像情報処理方法および画像情報処理プログラムでも同様に適用される。

上記課題を解決するため、本発明に係る画像情報処理方法は、撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能な情報処理装置における画像情報処理方法であって、撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分けステップと、あらかじめ定められた１つまたは複数の評価項目を用いて、前記段階毎の評価値を算出する評価ステップと、各段階のグループ数と前記算出された段階毎の全ての評価値に基づく関数とに応じてグループ分けの段階を決定するグループ分け段階決定ステップと、を含む。

本発明では、グループ化の段階毎にグループ単位で時間間隔のばらつき程度を評価することにより、撮影時の状況に左右されない新たな画像グループ分けが実現できる。

ここで、前記グループ分け段階決定ステップは、前記算出された段階毎の評価値に基づく関数において、段階毎の傾きの変化量の大きさに基づいてグループ分けの段階を決定することができる。

あるいは、前記グループ分け段階決定ステップは、前記算出された段階毎の評価値に基づいて定められる曲線における段階毎の曲率の大きさに基づいてグループ分けの段階を決定するようにしてもよい。

さらには、前記グループ分け段階決定ステップは、前記算出された段階毎の評価値において、極小値をとる評価値に対応する段階のいずれか１つをグループ分けの段階として決定するようにしてもよい。

上記課題を解決するため、本発明に係る画像情報処理方法は、撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能な情報処理装置における画像情報処理方法であって、撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分けステップと、あらかじめ定められた１つまたは複数の第１の評価項目を用いて、前記段階毎の第１の評価値を算出する第１評価ステップと、あらかじめ定められた１つまたは複数の第２の評価項目を用いて、前記段階毎の第２の評価値を算出する第２評価ステップと、各段階のグループ数と前記算出された段階毎の第１の評価値に基づいて定められる曲線における段階毎の曲率の大きさを求めるとともに、前記算出された段階毎の第２の評価値において、極小値をとる第２の評価値に対応する段階を求め、求められた両者とに基づいてグループ分けの段階を決定するグループ分け段階決定ステップと、を含む。

ここで、決定されたグループ分けの段階で定められる各グループに含まれる画像データに対応したインデックスを選択可能な状態で表示する表示ステップをさらに備えることができる。このとき、前記表示ステップは、いずれかのインデックスが選択されると、対応するグループに含まれる画像データを示す画像を表示することができる。

上記課題を解決するため、本発明に係る画像情報処理用プログラムは、撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能なコンピュータを、撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、あらかじめ定められた１つまたは複数の評価項目を用いて、前記段階毎の評価値を算出する評価手段と、各段階のグループ数と前記算出された段階毎の全ての評価値に基づく関数とに応じてグループ分けの段階を決定するグループ分け段階決定手段と、として機能させる。

本発明では、グループ化の段階毎にグループ単位で時間間隔のばらつき程度を評価することにより、撮影時の状況に左右されない新たな画像グループ分けが実現できる。

ここで、前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づく関数において、段階毎の傾きの変化量の大きさに基づいてグループ分けの段階を決定することができる。

また、前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づいて定められる曲線における段階毎の曲率の大きさに基づいてグループ分けの段階を決定するようにしてもよい。

さらには、前記グループ分け段階決定手段は、前記算出された段階毎の評価値において、極小値をとる評価値に対応する段階のいずれか１つをグループ分けの段階として決定するようにしてもよい。

上記課題を解決するため、本発明に係る画像情報処理用プログラムは、撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能なコンピュータを、撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、あらかじめ定められた１つまたは複数の第１の評価項目を用いて、前記段階毎の第１の評価値を算出する第１評価手段と、あらかじめ定められた１つまたは複数の第２の評価項目を用いて、前記段階毎の第２の評価値を算出する第２評価手段と、前記算出された段階毎の第１の評価値に基づいて定められる曲線における、段階毎の曲率の大きさを求めるとともに、各段階のグループ数と前記算出された段階毎の第１の評価値に基づいて定められる曲線における段階毎の曲率の大きさを求めるとともに、前記算出された段階毎の第２の評価値において、極小値をとる第２の評価値に対応する段階を求め、求められた両者とに基づいてグループ分けの段階を決定するグループ分け段階決定手段と、として機能させる。

ここで、前記画像情報処理用プログラムは、決定されたグループ分けの段階で定められる各グループに含まれる画像データに対応したインデックスを選択可能な状態で表示させる表示制御手段として前記コンピュータをさらに機能させることができる。このとき、前記表示制御手段は、いずれかのインデックスが選択されると、対応するグループに含まれる画像データを示す画像を表示させることができる。

実施例１．
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の実施形態である画像情報処理装置１００の構成を示すブロック図である。本図において画像情報処理装置１００は、画像ファイル格納部１１０、グループ情報記録部１２０、グループ分け部１３０、評価部１４０、グループ分け段階決定部１５０、表示制御部１６０、操作受付部１７０を備えており、表示装置３００と接続されている。

画像ファイル格納部１１０は、ハードディスク、半導体記憶装置等の不揮発性の記憶装置で構成され、ディジタルビデオカメラで撮影された動画像ファイル、ディジタルスチルカメラで撮影された静止画像ファイル、その他の画像ファイルが複数個格納される。画像ファイル格納部１１０は、画像情報処理装置１００から着脱可能に構成してもよい。それぞれの画像ファイル２００には、撮影開始日時、撮影時間長等の撮影情報が付されている。撮影情報は、例えば、ＪＰＥＧ、ＭＰＥＧ等の画像フォーマットや、画像情報処理装置１００の管理規則に従って、画像ファイル２００のヘッダ部分、インデックス部分、管理情報用ファイル等に記録されている。なお、本実施形態では動画像ファイルと静止画像ファイルとを特に区別せずに画像ファイルとして同様に扱うものとする。この場合、静止画像ファイルにおいては、撮影時間長を所定の値、例えば、０秒や５秒等と見なして、後に説明する評価を行なうようにする。もちろん、動画像ファイルと静止画像ファイルとを区別して別個に扱うようにしてもよい。

グループ情報記録部１２０は、ハードディスク、半導体記憶装置等の不揮発性の記憶装置で構成され、画像ファイル格納部１１０に格納された画像ファイル２００をグループ分けする際の各種情報を記録する。

グループ分け部１３０は、画像ファイル格納部１１０に格納された画像ファイル２００を撮影日時順で時系列に並べ、所定の規則にしたがって、段階を経て徐々にグループ分けしていく。評価部１４０は、所定の評価項目を用いてグループ分けの各段階における評価値を算出する。グループ分け段階決定部１５０は、算出された評価値とあらかじめ定めた基準とにしたがって、最終的なグループ分けをどの段階で終了させるかを決定する。これらの機能部が行なうグループ分け、評価、グループ数決定の具体的な処理については後述する。

表示制御部１６０は、画像情報処理装置１００に接続された表示装置３００にユーザに対する操作メニューを表示したり、画像ファイル格納部１１０に格納されている画像を再生表示したり、グループ分けされた各グループの代表画像を表示する。操作受付部１７０は、操作ボタン、メニュー操作等を介してユーザからの操作を受け付ける。なお、表示装置３００は、画像情報処理装置１００に設けられていても勿論よい。

画像情報処理装置１００は、例えば、撮影した画像ファイルを内部あるいは外部のメディアに蓄積できるディジタルビデオカメラ、ディジタルスチルカメラ、画像ファイルストレージ装置等に適用することができる。また、画像ファイル２００を読み込んで格納するパーソナルコンピュータ、レコーダ装置、その他の電子機器を用いて構成することができる。

次に、上記構成の画像情報処理装置１００における画像ファイル２００のグループ分け処理について説明する。図２は、画像ファイル２００のグループ分け処理の概要を示すフローチャートである。

画像ファイル２００のグループ分け処理では、最初に全ての画像ファイル２００を１つのグループとして扱い、１段階毎に所定の基準に従って１つのグループを２つのグループに分割していく。この処理を最終的にすべての画像ファイル２００が別グループになるまで繰り返す。すなわち、画像ファイル２００の数分、グループ分けの段階が存在することになる。

そして、各グループ分けの段階毎に、所定の評価を行ない、その評価結果に基づいてどの段階でグループ分けを終了させるかを決定する。本実施形態では、決定した段階におけるグループを最適な画像ファイル２００のグループとして取り扱うものとする。

なお、本処理に先立ち、ユーザがあらかじめ画像ファイル２００に分類用の情報を付与できるようにしてもよい。例えば、画像ファイル２００の対象となったイベント等の内容（レジャー、運動会、スポーツ、子供、ペット、結構式、パーティ等）を示すような分類用の情報を付加し、その分類用情報別に画像ファイル２００のグループ分けを行なうようにしてもよい。

図２において、グループ分け処理では、まず、グループ分け部１３０が、画像ファイル格納部１１０に格納されているグループ分け対象の画像ファイル２００から撮影情報を抽出する（Ｓ１０１）。図３は、抽出した撮影情報を記録したテーブルの一例を示す図である。ただし、必ずしもテーブル形式で記録する必要はない。

本図において撮影情報テーブル１２１は、ファイル名１２１ａ、撮影開始日時１２１ｂ、撮影時間長１２１ｃを画像ファイル２００毎に記録する。ここで、画像ファイル２００は、撮影開始日時１２１ｂ順にソートするものとする。また、撮影開始日時１２１ｂと撮影時間長１２１ｃとに加え、撮影終了日時を算出して記録するようにしてもよい。この場合、後に説明する画像ファイル２００同士の撮影間隔の取得が容易になる。さらには、ユーザが付した分類用の情報を記録するようにしてもよい。

そして、撮影情報テーブル１２１に基づいて１段階ずつ、グループ分けを行なう（Ｓ１０２）。このグループ分け処理は、すべての画像ファイル２００が別グループになるまで繰り返す（Ｓ１０３）。ここで、グループ分け処理は、最初に全画像ファイル２００を１つのグループとして扱い、同じグループに含まれる画像ファイル２００のうち、最も撮影間隔の長い画像ファイル２００同士を区切ることで１つのグループを２つのグループに分割していくものとする。つまり、１段階のグループ分けでグループが１つ増えることになる。なお、撮影間隔は、連続する画像ファイル２００間において、前の画像ファイル２００の撮影開始日時１２１ｂに撮影時間長１２１ｃを加えた時刻（すなわち、撮影終了日時）と、次の画像ファイル２００の撮影開始日時１２１ｂとの時間間隔である。

図４は、グループ分けを説明するための模式図である。ここでは、ファイルＡ〜Ｐの１６個の画像ファイル２００が存在しているものとする。１段階目ではファイルＡ〜Ｐのすべての画像ファイル２００を１つのグループとする。このグループに含まれる画像ファイル２００のうち、ファイルＩとファイルＪとの間が最も撮影間隔が長いものとする。

この場合、２段階目で、ファイルＩとファイルＪとの間を区切り、２つのグループとする。すなわち、ファイルＡ〜Ｉの１番目のグループと、ファイルＪ〜Ｐの２番目のグループである。この２つのグループの中で、ファイルＥとファイルＦとの間が最も撮影間隔が長い場合には、３段階目でファイルＥとファイルＦとの間を区切り、３つのグループとする。

以下同様に、同じグループに含まれる画像ファイル２００のうち、最も撮影間隔の長い画像ファイル２００同士を１段階ずつ区切ることで、最終的に１６段階目で画像ファイル２００と同じ個数の１６個のグループに分割される。

なお、本例では、最初にすべての画像ファイル２００を１つのグループとして扱い、１段階毎に分割するようにしていたが、図５に示すように、最初にすべての画像ファイルを別々のグループとして扱い、１段階ずつ、最も時間間隔の短い画像ファイル同士をまとめてグループ化することで、最終的に１つのグループに併合するようにしてもよい。このとき、クラスター分析の手法を用いることができる。また、撮影間隔が他の撮影間隔と比して極端に大きい画像ファイル２００同士は、あらかじめ分別して別個のグループ化処理を行なうようにしてもよい。

また、本例では、グループ分けの基準として撮影間隔を用いたが、他の基準値を用いることもできる。特に後述するグループ分けの段階数を決定するための評価項目を用いて、その評価値の最大値、あるいは最小値を示す画像ファイル２００間をグループ分けの箇所とすることができる。

図２の説明に戻って、グループ分けが終了すると（Ｓ１０３：Ｙｅｓ）、グループ分けの段数を決定する（Ｓ１０４）。ここで、グループ分けの段数の決定は、評価部１４０が１段階ずつ行なったグループ分けの各段階を所定の評価項目で評価を行ない、グループ分け段階決定部１５０が、評価結果に基づいて各段階の中で最も適切と判断される段階を決定し、その段階で示されるグループ分けを最終的なグループ分けとして決定することをいう。

例えば、図４に示した例において、１６段階のグループ分けで段階毎に所定の評価を行なったところ、６段階目が最も適切であると判断されたとする。この場合、６段階目が示すグループ、すなわち、ファイルＡ〜Ｅの１番目のグループ、ファイルＦ〜Ｈの２番目のグループ、ファイルＩの３番目のグループ、ファイルＪ〜Ｋの４番目のグループ、ファイルＬ〜Ｍの５番目のグループ、ファイルＮ〜Ｐの６番目のグループの６つのグループ分けが最適であるとして、最終的な画像ファイル２００のグループとして決定される。決定されたグループ分けの結果はグループ情報記録部１２０に記録される。あるいは、画像ファイル２００自身に記録するようにしてもよい。このとき、すべての画像ファイル２００に記録してもよいし、グループの区切りとなる画像ファイル２００に記録するようにしてもよい。

最終的なグループ分けが決定されると、表示制御部１６０は各グループの代表画像のインデックスを、例えば、サムネイル画像形式で表示し（Ｓ１０５）、ユーザの選択を促す。ただし、インデックスの表示形式は、サムネイル画像形式に限られない。例えばファイル名、撮影時刻等の文字情報等の種々の表示形態を採用することができる。

インデックス表示される各グループは、関連性の高いと判断された画像ファイル２００がまとめられたものであるため、ユーザは目的とする画像ファイル２００を含むグループを容易に選択することができる。

なお、代表画像は、例えば、グループの先頭の画像ファイル２００のサムネイル画像とすることができる。静止画像、動画像のどちらであってもよい。もちろん、ユーザが設定できるようにしたり、他の基準で決定するようにしてもよい。例えば、最も撮影時間長の長い画像ファイル２００や、最新の画像ファイル２００等としてもよい。

そして、グループの代表画像がユーザに選択されると、表示制御部１６０は、そのグループに含まれる画像ファイル２００のサムネイル画像を一覧表示し、画像ファイル２００の選択を促す。画像ファイル２００が選択されると、表示制御部１６０は、選択された画像ファイル２００の再生を行なう。また、グループの代表画像が選択された場合に、そのグループに含まれる画像ファイル２００を順次再生するようにしてもよい。これにより、グループ単位で画像ファイル２００の閲覧を行なわせることができる。

以下に、グループ分け段数決定処理（Ｓ１０４）の具体的な内容について、いくつかのパターンに分けて説明する。

＜１．第１パターン＞
図６は、グループ分け段数決定処理の第１パターンを説明するフローチャートである。
第１パターンでは、あらかじめ１または複数（１〜Ｋ）個の評価項目を定めておき、評価項目毎に各段階（１〜Ｎ）の評価値を算出する（Ｓ２０１）。

ここで、第１パターンにおける評価項目の例について説明する。

［１−１．グループ撮影時間長］
これは、各グループに属する画像ファイル２００の撮影時間長の合計を算出し、その平均／分散を評価値とするものである。グループ内の撮影時間長の合計値はグループ数が増えるに従い短くなる。ある程度グループ分けされると極端に撮影時間長合計の長いグループがなくなり、合計撮影時間長の平均は小さくなる。また、グループ毎の撮影時間が均等になると合計撮影時間長の分散は小さくなる。この評価項目は、ほぼ同じ撮影時間長の画像ファイル２００をグループ化する際に有効である。

図４の例では、ファイルＡ〜Ｉの各画像ファイル２００の撮影時間長の合計値と、ファイルＪ〜Ｐの各画像ファイル２００の撮影時間長の合計値との平均／分散が第２段階の評価値となる。

［１−２．グループ内非撮影時間長］
これは、各グループの最初の画像ファイル２００の撮影開始時刻と、最後の画像ファイル２００の撮影終了時刻との差から、グループに含まれる画像ファイル２００の撮影時間長の合計を引いた値を算出し、その平均／分散を評価値とするものである。グループ分けが進むほど、グループ内の非撮影時間長平均は小さくなる。また、グループ分けが進むほど、極端に長い非撮影時間長がなくなるため、グループ内の非撮影時間長分散は小さくなる。

図４の例では、ファイルＡの撮影開始時刻とファイルＩの撮影終了時刻の差からファイルＡ〜Ｉの各画像ファイル２００の撮影時間長の合計値を引いた値と、ファイルＪの撮影開始時刻とファイルＰの撮影終了時刻の差からファイルＪ〜Ｐの各画像ファイル２００の撮影時間長の合計値を引いた値との平均／分散が第２段階の評価値となる。

［１−３．その段階でグループ分けしたファイル間の撮影間隔］
これは、グループ分けの各段階に移行する際に、グループ分けを行なったファイル間の撮影間隔を評価値とするものである。グループ分けが進むほど、分けられる撮影間隔は短くなり、同じグループに属するグループ間ではほぼ撮影間隔が等しくなる。

図４の例では、ファイルＩとファイルＪとの撮影間隔が第２段階の評価値となる。

［１−４．その段階でグループ分けしたファイル間の撮影間隔／グループ分けしたファイル間の撮影間隔平均］
これは、グループ分けの段階に移行する際に、グループ分けを行なったファイル間の撮影間隔を、既にグループ分けを行なった画像ファイル２００間の撮影間隔の平均で割った値を評価値とするものである。グループ分けが進むほど、分けられる撮影間隔は短くなるが、本評価項目は、他のグループより撮影間隔が相対的に長いかどうかを評価するものである。

図４の例では、ファイルＭとファイルＮとの撮影間隔を、ファイルＩとファイルＪとの撮影間隔と、ファイルＥとファイルＦとの撮影間隔との平均値で割った値が第４段階の評価値となる。

［１−５．その段階でグループ分けしていないファイル間の撮影間隔／グループ分けしたファイル間の撮影間隔平均］
これは、グループ分けの段階に移行する際に、グループ分けを行なっていないファイル間の撮影間隔を、既にグループ分けを行なった画像ファイル２００間の撮影間隔の平均で割った値を評価値とするものである。グループ分けが進むほど、分けられる撮影間隔は短くなるが、本評価項目も、他のグループより撮影間隔が相対的に長いかどうかを評価するものである。

図４の例では、ファイルＦとファイルＧとの撮影間隔を、ファイルＡ−Ｂ、ファイルＢ−Ｃ、ファイルＣ−Ｄ、ファイルＤ−Ｅ、ファイルＥ−Ｆ、ファイルＧ−Ｈ、ファイルＨ−Ｉ、ファイルＩ−Ｊ、ファイルＪ−Ｋ、ファイルＫ−Ｌ、ファイルＬ−Ｍ、ファイルＭ−Ｎ、ファイルＮ−Ｏ、ファイルＯ−Ｐのそれぞれの撮影間隔の平均値で割った値が第１５段階の評価値となる。

［１−６．グループ分けしていないファイル間の撮影間隔平均］
これは、まだグループ分けを行なっていないファイル間の時間間隔の平均を評価値とするものである。グループ分けすべき時間間隔で分けられればこの評価値は小さくなる。

図４の例では、ファイルＦとファイルＧとの撮影間隔と、ファイルＮとファイルＯとの撮影間隔との平均値が第１４段階の評価値となる。

［１−７．グループ分けしていないファイル間の撮影間隔分散］
これは、まだグループ分けを行なっていないファイル間の時間間隔の分散を評価値とするものである。グループ分けするべき時間間隔で分けられれば時間間隔はほぼ等しくなるため、評価値は小さくなる。

図４の例では、ファイルＦとファイルＧとの撮影間隔と、ファイルＮとファイルＯとの撮影間隔との分散が第１４段階の評価値となる。

［１−８．グループ内の画像ファイル数の分散］
これは、グループ内の画像ファイル数を求め、その分散を評価値とするものである。グループ内にほぼ同じ数の画像ファイルを含める場合に有効である。

図４の例では、グループ１、グループ２、グループ３に含まれる画像ファイルの数の分散が第３段階の評価値となる。

［１−９．各画像ファイルのグループ重心からの距離の合計］
これは、各グループの重心の時刻（撮影している時間における中心時刻）を求め、すべての画像ファイルについて、その画像ファイルの中心時刻と属するグループの重心時刻との差を求める。そして、すべての画像ファイルの重心時刻との差の合計を評価値とするものである。グループの中に重心時刻から極端に離れた画像ファイルがある場合に評価値が大きくなる。逆にこの評価値が小さくなるとグループはある程度まとまっていることになる。

［１−１０．各画像ファイルのグループ重心からの重み付き距離の合計］
これは、各グループの重心の時刻を求め、すべての画像ファイルについて、その画像ファイルの中心時刻と属するグループの重心時刻との差を求める。そして、すべての画像ファイルの重心時刻との差に画像ファイルの撮影時間長をかけた値の合計を評価値とするものである。グループの中に重心時刻から極端に離れた画像ファイルがある場合に評価値が大きくなる。逆にこの評価値が小さくなるとグループはある程度まとまっていることになる。そして、極端に長い画像ファイルは単独のグループとなる。

［１−１１．その段階でグループ分けしたファイル間の撮影間隔／グループ分けしたファイル間の撮影間隔平均］
これは、グループ分けの段階に移行する際に、グループ分けを行なったファイル間の撮影間隔を、まだグループ分けを行なっていない画像ファイル２００間の撮影間隔の平均で割った値を評価値とするものである。グループ分けが進むほど、分けられる撮影間隔は短くなるが、本評価項目は、他のファイル間の間隔より撮影間隔が相対的に短いかどうかを評価するものである。

第１パターンでは、以上に示した評価項目のうち、１または複数個の評価項目を用いて段階毎に評価値を算出する。どの評価項目を用いるかについてはあらかじめ定めておくものとする。ただし、上記に示した評価項目に限られず、他の評価項目を用いるようにしてもよい。

第１パターンで示した評価項目は、グループ分けの段階が進むにつれて評価値が小さくなる傾向を有している。このため評価値とグループ分けの段階との関係は、概ね図７に示すようなグラフで表わされる。

本実施例では、全体的な傾向を見るために、窓関数、移動平均等を用いてこのグラフを平滑化するが（Ｓ２０２）、必ずしも平滑化は行なわなくてもよい。

第１パターンでは、評価値に基づくグラフの傾きの変化量が大きい段階をグループ分けの候補として取り扱う。例えば、評価項目として［１−３．その段階でグループ分けしたファイル間の撮影間隔］を用いた場合に、グループ分けすべき画像ファイル２００間の撮影間隔と、同じグループに含まれる画像ファイル２００間の撮影間隔とは、一般的に大きな差が見られるからである。

そこで、例えば、数（１）に示す数式により各段階の傾きの変化量を算出する（Ｓ２０３）。
ここで、d(Ci)は、ｉ段階における評価値である。また、P(Ci)は、ｉ段階における評価値d(Ci)と前ｋ番目の段階の評価値d(Ci+k)とで求められる傾きと、評価値d(Ci)と後ｋ番目の段階の評価値d(Ci-k)とで求められる傾きとの変化量であり、ｋは例えば１、３、５等とすることができる。

図８は、傾きの変化量とグループ分けの段階との関係を示すグラフである。
第１パターンで示した評価項目では、段階毎の傾きの変化量は一般的に本図のような形状を描く。なお、グラフの端部では傾きの変化量は定義されないが本図では便宜的に値を付与している。評価項目が１つである場合には、傾きの変化量が最も大きい段階を最終的なグループ分けの段階として決定する（Ｓ２０４）。

評価項目が複数の場合は、例えば、図９に示すようなグラフとなる。ここでは、評価項目（１）、評価項目（２）、評価項目（３）の３つの評価項目毎に評価値が得られ、それぞれについて傾きの変化量が算出される。複数の評価項目を用いた場合は、例えば、傾きの変化量に所定の閾値を設け、その閾値を超えた評価項目の数が最も多い段階を最終的なグループ分けの段階として決定する（Ｓ２０４）。この場合、それぞれの評価項目の傾きの変化量をその最大値で割ることにより、傾きの変化量の最大値を揃えるように変形することが望ましい。

あるいは、それぞれの評価項目の傾きの変化量を合計し、合計値の最も大きい段階を最終的なグループ分けの段階として決定するようにしてもよい。この場合も最大値を揃えることが望ましい。また、評価項目に重み付けをするようにしてもよい。

＜２．第２−１パターン＞
つぎに、グループ分け段数決定処理の第２パターンについて説明する。第２パターンはさらに３つのパターンに分けられるため、まず第２−１パターンについて説明する。図１０は、グループ分け段数決定処理の第２−１パターンを説明するフローチャートである。第２−１パターンでは、あらかじめ１または複数（１〜K）個の評価項目を定めておき、評価項目毎に各段階（１〜Ｎ）の評価値を算出する（Ｓ３０１）。

ここで、第２−１パターンにおける評価項目は、第１パターンと同様とすることができる。これらの評価項目のうち、１または複数個の評価項目を用いて段階毎に評価値を算出する。どの評価項目を用いるかについてはあらかじめ定めておくものとする。

そして、第２−１パターンでは、評価値に基づくグラフの曲率が大きい段階をグループ分けの候補として取り扱う。例えば、評価項目として［１−３．その段階でグループ分けしたファイル間の撮影間隔］を用いた場合に、一般的な撮影方法では、グループ分けすべき２つの画像ファイル２００間の撮影間隔と、同じグループに含めるべき２つの画像ファイル２００間の撮影間隔とでは、前者の方がかなり長くなる傾向がある。そこで、近似曲線から評価値が大きく変化する段階を求め、その段階を最適なグループ分けとする。もちろん、曲率に限られず、第１パターンと同様に傾きの変化量を用いるようにしてもよい。

第２−１パターンでは、第１パターンで示した評価項目を用いるため、グループ分けの段階が進むにつれて評価値が小さくなる傾向を有している。このため評価値とグループ分けの段階との関係は、図１１の実線に示すようなグラフで表わされる。なお、評価値に任意の値を乗じるようにしてもよい。例えば、（全ファイル数／評価値の最大値）を乗じるようにしてもよい。

本実施例では、全体的な傾向を見るために、（数２）に示すような累乗曲線を用いて曲線近似を行なう（Ｓ３０２）。この結果、得られた曲線を図１１の破線で示す。なお、曲線近似の係数は従来の技術を用いて算出することができる。また、累乗曲線に限られず他の関数を用いてもよい。
そして、段階毎に近似曲線の曲率を算出する（Ｓ３０３）。図１２は、近似曲線の曲率とグループ分けの段階との関係を示すグラフである。本図では、評価項目（１）、評価項目（２）、評価項目（３）の３つの評価項目毎に評価値が得られ、それぞれについて近似曲線の曲率が算出される。複数の評価項目を用いた場合は、例えば、近似曲線の曲率に所定の閾値を設け、その閾値を超えた評価項目の数が最も多い段階を最終的なグループ分けの段階として決定する（Ｓ３０４）。この場合、それぞれの評価項目の近似
曲線の曲率をその最大値で割ることにより、近似曲線の曲率の最大値を１に揃えるように変形することが望ましい。また、評価項目毎に重み付けをしてもよい。

あるいは、それぞれの評価項目の近似曲線の曲率を合計し、合計値の最も大きい段階を最終的なグループ分けの段階として決定するようにしてもよい。この場合も最大値を揃えたり、評価項目に重み付けをするようにしてもよい。さらには、評価項目毎に曲率が最も大きくなる段階のグループ数を求め、その平均のグループ数になる段階を最適な段階としてもよい。

＜３．第２−２パターン＞
次に、グループ分け段数決定処理の第２−２パターンについて説明する。図１３は、グループ分け段数決定処理の第２−２パターンを説明するフローチャートである。第２−２パターンでは、あらかじめ１または複数（１〜Ｍ）個の評価項目を定めておき、評価項目毎に各段階（１〜Ｎ）の評価値を算出する（Ｓ４０１）。

ここで、第２−２パターンにおける評価項目の例について説明する。

［２−１．グループ内撮影時間長分散］
これは、各グループに属する画像ファイル２００の撮影時間長の分散を算出し、その平均／分散を評価値とするものである。最適に分割されたグループ内では被写体等が同じ、あるいは似ていると考えられるため、各画像ファイル２００で同じくらいの撮影時間長で撮影されると考えられる。この場合、撮影時間長の分散の平均値は小さくなる。撮影時間長の分散の分散が小さい場合には、各グループの分散値にばらつきが小さいことを示しているため、すべてのグループで撮影時間のばらつきが小さくなっているといえる。

図４の例では、ファイルＡ〜Ｉの各画像ファイル２００の撮影時間長の分散と、ファイルＪ〜Ｐの各画像ファイル２００の撮影時間長の分散との平均／分散が第２段階の評価値となる。

［２−２．グループ内撮影間隔分散］
これは、各グループに属する画像ファイル２００間の撮影間隔の分散を算出し、その平均／分散を評価値とするものである。撮影状況が一定であれば、最適に分割されたグループ内では各画像ファイル２００の撮影間隔は近似すると考えられる。この場合、撮影間隔の分散の平均値は小さくなる。撮影間隔の分散の分散が小さい場合には、各グループの分散値にばらつきが小さいことを示しているため、すべてのグループで撮影間隔のばらつきが小さくなっているといえる。

図４の例では、ファイルＡ〜Ｉの各画像ファイル２００の撮影間隔の分散と、ファイルＪ〜Ｐの各画像ファイル２００の撮影間隔の分散との平均／分散が第２段階の評価値となる。

第２−２パターンでは、以上に示した評価項目のうち、１または複数個の評価項目を用いて段階毎に評価値を算出する。どの評価項目を用いるかについてはあらかじめ定めておくものとする。ただし、上記に示した評価項目に限られず、他の評価項目を用いるようにしてもよい。

第２−２パターンで示した評価項目は、グループに含まれる画像ファイル２００の撮影時間長あるいは撮影間隔が均等になるほど小さくなる。一般に、同一の対象物を撮影している場合、撮影時間長および撮影間隔がほぼ等しくなると考えられる。この場合、前後の段階よりも分散の値が小さくなる。そこで、第２−２パターンでは、評価項目の評価値が極小値を示す段階をグループ分けの候補として扱うものとする。

図１４は、評価値とグループ分けの段階との関係を示すグラフである。評価項目が１つである場合には、評価値が極小値となっているＬｍｉｎ１、Ｌｍｉｎ２、Ｌｍｉｎ３、Ｌｍｉｎ４に対応するいずれかの段階を最終的なグループ分けの段階として決定する（Ｓ２０４）。極小値に対応するどの段階を採用するかは任意であるが、あらかじめ定めておいたり、ユーザの設定に基づいて決定することができる。例えば、最終的なグループ数を少なくしたい場合には、最もグループ数の少ないＬｍｉｎ１に対応する段階を最終的なグループ分けの段階として決定する。

評価項目が複数の場合は、例えば、図１５に示すようなグラフとなる。ここでは、評価項目（１）、評価項目（２）の２つの評価項目毎に評価値が得られる。評価項目は、グループ内撮影時間長分散の平均値とグループ内撮影時間長分散の分散、あるいはグループ内撮影間隔分散の平均値とグループ内撮影間隔分散の分散というように、同一対象の平均値と分散とを組み合わせることが望ましい。

この場合は、複数の評価項目の評価値のいずれもが極小値となっているＬｍｉｎ２、Ｌｍｉｎ３、Ｌｍｉｎ４に対応するいずれかの段階を最終的なグループ分けの段階として決定する（Ｓ２０４）。極小値に対応するどの段階を採用するかは任意であるが、あらかじめ定めておいたり、ユーザの設定に基づいて決定することができる。

＜４．第２−３パターン＞
次に、グループ分け段数決定処理の第２−３パターンについて説明する。図１６は、グループ分け段数決定処理の第２−３パターンを説明するフローチャートである。第２−３パターンは、第２−１パターンと、第２−２パターンとを組み合わせたものであり、第２−１パターンの処理（Ｓ３０１）〜（Ｓ３０３）と、第２−２パターンの処理（Ｓ４０１）〜（Ｓ４０２）を行なった後、双方の結果を組み合わせて最終的なグループ分けの段階を決定する（Ｓ５０１）。

具体的には、第２−１パターンで得られた近似曲線の段階毎の曲率の値（図１２参照）のうち、第２−２パターンで得られた評価項目の極小値に対応する段階に対して、ポイントが高くなるような処理を施した上で、第２−１パターンと同様の評価を行なって最終的なグループ分けの段階を決定する。ポイントが高くなるような処理は、曲率に所定の数値を足し合わせたり、所定の係数を乗じることにより行なうことができる。

例えば、第２−２パターンで得られた評価項目において、第４段階、第７段階、第１１段階で極小値が得られたとする。この場合第２−１パターンで得られた段階毎の曲率のうち、第４段階、第７段階、第１１段階の曲率を１．５倍する。

また別の具体例として、第２−２パターンの極小値に対応する段階のうち、第２−１パターンで得られた曲率の値が最も高い段階とその前後いくつかの段階に所定の数値を足し合わせる。足し合わせる数値は極小値に対応する段階が最も高く、その段階から離れる毎に低くなるようにする。

例えば、第２−１パターンで曲率が最も大きくなるのが第５段階、第２−２パターンで極小値をとるのが第８段階と第１５段階だった場合、第８段階に１０ポイント、第７段階と第５段階にそれぞれ７ポイント、第６段階と第４段階にそれぞれ３ポイントというような形となる。

そして、処理が施された段階毎の曲率に対して、２−１パターンと同様に、ある閾値を超えた評価項目の数が最も多い段階、あるいは、曲率の合計値が最も大きい段階等を最終的なグループ分けの段階として決定する。

＜５．その他の変形例＞
上述の実施形態では、１つの画像ファイル２００を１単位としてグループ分けを行なったが、画像ファイル２００が複数のシーンで構成される場合には、シーン毎にグループ分けを行なうようにしてもよい。この場合、画像ファイル２００に含まれるシーン毎に、シーン開始時刻、シーン時間長を把握することにより、画像ファイル２００と同じ取り扱いをすることができる。

実施例２．
実施例２は、実施例１等の方法により作成されたグループ情報に基づき、表示制御部１６０が表示装置３００上に表示するインデックス画面の一例を示すものである。実施例２の画像情報表示装置の構成自体は、図１に示す実施例１のものと同じであるので、図１を参照して説明する。ただし、実施例２や、後述する実施例３，５の発明は、インデックス画面の表示の仕方に特徴があるので、画像ファイルのグループ分けは、上記実施例１に限定されるものではなく、他の画像ファイルのグループ分けでも適用可能である。

以下、図１７〜図２２は、実施例２の表示制御部１６０が、グループ分け段階決定部１５０により決定されたグループ情報に基づき、表示装置３００上に表示するインデックス画面の一例を示している。

図１７は、実施例２による表示装置３００上におけるインデックス画面３１０の一例を示す図である。

図１７において、インデックス表示画面３００には、９つの各グループ毎に、インデックスとして各グループの代表画像であるサムネイル画像３１１と、各グループの画像ファイル数３１２とが表示されている。なお、後述するように、インデックスとしてサムネイル画像３１１の代わりに、撮影時刻や撮影地点、撮影内容等を示す文字情報のみによる表示でもよい。

つまり、図１７に示すように、表示装置３００上には、１画面に所定数、ここでは縦３×横３の９つまでの９グループのサムネイル画像３１１が表示されている。勿論、１画面におけるグループの表示数は、１画面９グループ表示に限定されることはなく、１画面１グループ表示でも、１画面２グループ表示、１画面縦２×横２の４グループ表示、１画面縦４×横３の１２グループ表示、１画面縦４×横４の１６グループ表示等でも勿論よい。

そして、本実施例２では、表示制御部１６０によりそれぞれのサムネイル画像として、各グループに属する画像ファイルから得られるサムネイル画像３１１を表示している。サムネイル画像３１１として表示される画像の例には、撮影された画像が静止画ならばグループ内で最初に記録された画像ファイルの画像や、グループの半分の枚数の順番に取られた画像などが挙げられる。一方、動画である場合は、グループの最初に撮影された画像の最初に表示される画像、あるいは適当な時刻が経過した時点での画像を表示する等の例が考えられる。

そして、本実施例２では、表示制御部１６０は、図１７に示すように、各グループのサムネイル画像３１１上に、そのグループに属する画像ファイル数３１２を重ねて表示している。ここで、画像ファイルとは、撮影オンから撮影オフまでの撮影時間が連続した一の画像ファイルのことをいい、一度撮影オフにして再度撮影オンした場合には、別の画像ファイルになる。この画像ファイルをシーンと考えると、画像ファイル数とはシーン数ということになる。

図１７において、グループ１であれば、画像ファイル数３１２が“５”、グループ２であれば、画像ファイル数３１２が“７”、グループ３であれば、画像ファイル数３１２が“６”、・・・グループ８であれば、画像ファイル数３１２が“９”、グループ９であれば、画像ファイル数３１２が“１０”というように、表示制御部１６０は、各グループのサムネイル画像３１１上に、そのグループに属する画像ファイル数３１２を重ねて表示している。ここで、９つの各グループのサムネイル画像３１１の並び方は、撮影時間等の時系列順でも、画像ファイル数３１２の大きい順、各グループのファイル名順等、いずれでも良い。

なお、インデックス画面３００における右上の“１／１”は、インデックス画面３００の総数（分母）が１枚であり、そのうちの１枚目（分子）を表示していることを示している。

図１８は、実施例２による表示装置３００上における別のインデックス画面３２０の一例を示す図である。

図１８に示すインデックス画面３２０では、各グループのインデックスであるサムネイル画像３２１が隠れないように、各グループのサムネイル画像３２１の上方に各グループの画像ファイル数３２２を表示している。勿論、サムネイル画像３２１が画像ファイル数３２２により隠れないように表示するのであれば、画像ファイル数３２２は、サムネイル画像３２１の下方でも、右や左の横でも良い。

図１９は、実施例２による表示装置３００上におけるさらに別のインデックス画面３３０の一例を示す図である。

図１９に示すインデックス画面３３０では、各グループのインデックスとしてサムネイル画像の代わりに、各グループの画像ファイルの撮影期間を示す文字情報３３１を表示し、その文字情報３３１の上に各グループの画像ファイル数３３２を表示している。勿論、図１８と同様に、文字情報３３１が隠れないよう、文字情報３３１の上方や下方に画像ファイル数３３２を表示しても良い。なお、文字情報３３１は、表示制御部１６０が、各グループの画像ファイルの記録（撮影）開始および終了時刻情報等から取得したものである。

図２０は、実施例２による表示装置３００上におけるさらに別のインデックス画面３４０の一例を示す図である。

図２０に示すインデックス画面３４０では、各グループのインデックスとして、各グループの画像ファイルの撮影場所や撮影地点を示す文字情報３４１を表示し、その文字情報３４１の上に各グループの画像ファイル数３４２を表示している。勿論、図１８と同様に、文字情報３４１が隠れないよう、文字情報３４１の上方や下方に画像ファイル数３４２を表示しても良い。なお、撮影場所や撮影地点を示す文字情報３４１は、操作受付部１７０によりユーザが入力しても良いし、本装置にＧＰＳ受信機が設けられていれば、ＧＰＳ受信機が得た経度・緯度等の位置情報等に基づいて撮影場所や撮影地点を示していも良いし、経度緯度等を直接表示するようにしても良い。

図２１は、実施例２による表示装置３００上におけるさらに別のインデックス画面３５０の一例を示す図である。

図２１に示すインデックス画面３５０では、各グループの画像ファイルの撮影期間を示す文字情報３５１と、各グループの画像ファイル数３５２とを１行に表示するリスト表示としている。この場合、図２１に示すように、“撮影期間”、“画像ファイル数”と大きな表示することが可能なので、他の例より、画像ファイル数３５２の数値の意味を理解しやすい。

図２２は、実施例２による表示装置３００上におけるさらに別のインデックス画面３６０の一例を示す図である。

図２２に示すインデックス画面３６０では、図１７に示すインデックス画面３１０と、図１９に示すインデックス画面３３０とを合わせたもので、インデックス画面３６０上に、各グループを代表するサムネイル画像３６１と、各グループの画像ファイルの撮影開始時刻等を示す文字情報３６２と、各グループの画像ファイル数３６３とを表示している。勿論、文字情報３６２として、撮影開始時刻から終了時刻の撮影期間を表示するようにしても良い。

従って、本実施例２によれば、上記実施例１のようにしてグループ分けされた撮影画像のインデックスであるサムネイル画像や撮影期間や撮影位置等の文字情報を、表示装置３００上に表示する際に、各グループに属する画像ファイル数も併せて表示するようにしたので、ユーザからすると各グループに属する画像ファイル数を簡単に把握することができる。

なお、本実施例２では、各グループのサムネイル画像や文字情報上に、そのグループに属する画像ファイル数を数値により表示するものとして説明したが、本発明では、これに限らず、画像ファイル数をバー表示等しても良いし、さらには画像ファイル数の代わりに、各グループの属する画像の合計撮影時間または合計再生時間を表示するようにしても良いし、画像ファイル数と共に、各グループの属する画像の合計撮影時間または合計再生時間を表示するようにしても良い。また、本実施例２が、上記実施例１の方法により作成されたグループ情報に基づき表示するインデックス画面の一例を示すものである場合、図１７〜図２２に一例で示すサムネイル画像等のインデックスと画像ファイル数とが表示されたインデックス画面３１０〜３６０の一部に、さらに、グループ分け段階決定部１５０が上記実施例１の方法により決定したグループ分けの段階を表示するようにしても良い。つまり、グループ分け段階決定部１５０が、例えば図４における段階９のグループ数９に段階を決定した場合、表示制御部１６０は、例えば“グループ分け段階９／１６”という文字情報をインデックス画面３１０〜３６０の一部、例えば、インデックス画面３１０〜３６０の一部である左上や、左下、右下にさらに表示したり、同様に、図５において、例えば段階５のグループ数１２に決定した場合は、“グループ分け段階５／１６”という文字情報をインデックス画面３１０〜３６０の一部にさらに表示する。なお、分母の１６は、図４、図５におけるグループ分け段階の総数である。このようにすれば、ユーザは、現在のグループ分けの段階も容易に把握することができる。また、ユーザがインデックス画面３１０〜３６０の一部に表示されたグループ分け段階を参照して、操作受付部１７０を介しグループ分け段階決定部１５０に対しグループ分けの段階を変更を指示したり、インデックス画面３１０〜３６０の一部でユーザの指が届きやすい左上や、左下、右下にグループ分けの段階と共にさらに表示したグループ分け段階進退ボタン（図示せず）を操作することにより、グループ分け段階決定部１５０がグループ分けの段階を変更するようにしても勿論よい。

また、図１７に示すようにサムネイル画像３１１上に重ねて画像ファイル数３１２を表示すると、各グループのサムネイル画像３１１が画像ファイル数３１２の下に隠れるので、表示制御部１６０は、インデックス画面表示に切換えた際に、画像ファイル数は、数秒などの所定時間だけ表示されて、その後消えるようにしたり、さらには画像ファイル数表示の消去を、操作受付部１７０からユーザが指示できるようにしても勿論よい。

実施例３．
実施例３は、表示装置３００上に表示したインデックス画面を切替えるようにしたものである。

インデックス画面の切替えは、ユーザが操作受付部１７０にてボタン操作等することにより行われる。

図２３は、実施例３の表示制御部１６０によるインデックス画面の切替え例を示す図である。

この例では、表示部３００に表示されるインデックス画面を、操作受付部１７０のボタン操作等により、図２３（ａ）に示すように各画像ファイルをグループ分けせずにそれぞれの代表画像であるサムネイル画像を表示した全画像ファイルのインデックス画面３７０と、図２３（ｂ）に示すように実施例２の図１７および図１８にて示すグループ毎のサムネイル画像を表示したインデックス画面３１０，３２０と、図２３（ｃ）に示すように実施例２の図１９〜図２１にて示すグループ毎の録画（撮影）期間や撮影地点等の文字情報を表示したインデックス画面３３０〜３５０との間で相互に切替えられるようにしている。勿論、インデックス画面は、図２３（ａ）〜（ｃ）に図示したものに限らず、実施例２にて示した図２２に示すいずれのインデックス画面３６０は勿論のこと、他のインデックス画面でも勿論よいし、図２３のように３画面だけでなく、図２３（ａ）と（ｂ）の間、（ａ）と（ｃ）の間、（ｂ）と（ｃ）の間等の２画面だけの切替えでも、あるいは４画面以上の切換えでも良い。なお、図２３（ａ）に示す全画像ファイルのインデックス画面３７０は、全画像ファイルをグループ分けする前であり、１／８〜８／８の８つのインデックス画面３７０により全画像ファイルのサムネイル画像が表示される。

これにより、ユーザは、図２３（ａ）〜（ｃ）に示す各種インデックス画面を、操作受付部１７０を操作することにより切替えることができる。そのため、画像ファイル数が少ない場合は、図２３（ａ）に示す全ファイルのインデックス画面３７０、ファイル数が多く撮影内容による検索を行いたい場合は、図２３（ｂ）に示すグループ毎のサムネイル画像を表示したインデックス画面３１０，３２０、撮影時刻や撮影地点等による検索を行いたい場合は、図２３（ｃ）に示すグループ毎の録画（撮影）期間や撮影地点等の文字情報を表示したインデックス画面３３０〜３５０とをユーザの用途等に応じて切り替え、画像ファイルの検索を行うことが可能となる。

図２４は、実施例３の表示制御部１６０によるインデックス画面の他の切替え例を示す図である。

つまり、図２４（ａ）に示すようなグループ毎のサムネイル画像を表示したインデックス画面３１０にて、任意のサムネイル画像３１１ａが選択されると、表示制御部１６０は、図２４（ｂ）に示すように、その選択されたグループに属する各画像ファイルのサムネイル画像３８１が表示されたインデックス画面３８０を表示部３００に表示する。図２４（ａ）では、５つの画像ファイル数を有するサムネイル画像３１１ａが選択されたので、図２４（ｂ）に示すように、選択されたサムネイル画像３８１ａのグループの５つの各画像ファイルのサムネイル画像３８１が表示される。

従って、本実施例３によれば、ユーザの好みに応じて、図２３や図２４に示すように各種インデックス画面の表示を切替えることができ、画像ファイル数が増大しても、ユーザが欲する画像ファイルを容易に検索することができる。

実施例４．
実施例４は、実施例１〜３において、グループ分け段階決定部１５０がグループ分け段階を決定した際の、１グループの画像ファイル数に上限を設けるものである。

図２５は、実施例４における１グループに属するファイル数の上限を、例えば１００とした場合のグループ分け段階の再決定の一例を示している。

まず、グループ分け段階決定部１５０では、３段階目の、グループ１が８０ファイル、グループ２が２１０ファイル、グループ３が６０ファイルのグループ分けが最適であると決定したものとする。

しかし、グループ２の画像ファイル数が表示インデックス数上限値の１００より大きい。このような場合、グループ分け段階決定部１５０は、すべてのグループが１００ファイル以下になるように、再度グループ分けの段階を決定する。

例えば、すべてのグループが１００ファイル以下になる段階までグループ分けの段階を進める例が考えられる。図２５に示す例では、グループ分け段階決定部１５０は、すべてのグループが１００ファイル以下になる６段階目を最適なグループ分け段階として決定することになる。その結果、グループ分け部１３０は、６段階目に示すように、画像ファイルを６つのグループに分けることになる。

また、グループ分け段階決定部１５０では、グループ分けの段階は変更せずに、ファイル数が上限値の１００以上のグループだけをグループ数が１００以下になるように、さらにグループ分けしても良い。例えば、図２６に示すように、３段階目の２１０ファイル数のグループ２だけをより細かくグループ分けすることにより、すべてのグループのファイル数を１００以下とする。ここで、図２６に示す例は、グループ分け部１３０が、１００ファイル数を超えるグループ２の先頭から１００個毎に別グループとしてグループ分けする方法である。その結果、グループ分け部１３０は、３段階目の２１０ファイルのグループ２を、１００ファイル数のグループが２つと、１０ファイル数のグループとの３つに分けることになる。

また、図２７に示す例は、グループ分け部１３０が、１００ファイル数を超えるグループ２を、ファイル数が均等になるようにグループ分けする方法である。その結果、グループ分け部１３０は、グループ２を、７０ファイル数のグループ３つに分けることになる。

また、図２８に示す例は、グループ分け部１３０が、１００ファイル数を超えるグループ内のファイル間で、撮影間隔が長い部分を順にグループ分けすることでグループに属するファイル数を１００以下にする方法である。この方法では、まずグループ２の中において最も撮影間隔が長い部分でグループ分けを行ない、グループ２を１５０ファイルからなるグループ２−１と、６０ファイルからなるグループ２−２とに分ける。この段階でも、まだグループ２−１が上限値の１００個より大きいファイルを含むため、続いてグループ２の中で2番目に撮影間隔が長い部分でグループ分けを行なう。これによりグループ２は、１００個以下のファイルからなるグループ２−１、２−２、２−３の３グループにグループ分けされる。

従って、本実施例４によれば、グループ分け段階決定部１５０は、表示装置３００における１グループにおける画像ファイル数に基づいて、あるグループの画像ファイル数が上限値を超える場合、再度グループ分けの段階を決定したり、あるいはグループ分け部１３０が再グループ分け等を行うようにしたので、１グループに含まれる画像ファイル数を、上限値を超えないようにすることができる。

実施例５．
実施例５は、実施例１〜３において、グループ分け段階決定部１５０がグループ分けした際のグループ数に上限を設け、グループ分けの段階を再決定したり、グループ分け段階決定部１５０が決定したグループ数に応じ最大表示インデックス数を変更するものである。

つまり、実施例５の表示制御部１６０は、例えば、図１７に示すように、表示装置３００の１画面にてインデックスを表示できる最大表示インデック数が最大９つとすると、グループ分け段階決定部１５０に対しその最大表示インデック数の９を送る。

すると、実施例４のグループ分け段階決定部１５０は、決定された段階でのグループ数が１０以上である場合、すべてのグループのインデックスであるサムネイル画像を１画面内に表示することができないため、再度、グループ数が９になるように段階の再決定または再グループ分けを行なう。なお、再度ではなく、最初からグループ数が表示インデックス数上限値の９になるように段階の決定またはグループ分けを行なうようにしても勿論よい。

つまり、グループ分け段階決定部１５０が、例えば、図４における段階１２のグループ数１２に決定した場合、１画面に最大表示可能なインデックス数が９であるので、図４における段階９のグループ数９に段階を再決定する。同様に、図５において、例えば、段階５のグループ数１２に決定した場合は、段階８のグループ数９に段階を再決定する。

また、実施例４のグループ分け段階決定部１５０は、決定された段階でのグループ数が最大表示インデックス数の９未満であると判断した場合、そのままでも良いが、グループ数がその最大表示インデックス数の９になるように段階の再決定または再グループ分けを行なうようにしてもよい。なお、再度ではなく、最初からグループ数が表示インデックス数上限値の９になるように段階の決定またはグループ分けを行なうようにしても勿論よい。

つまり、グループ分け段階決定部１５０が、例えば、図４における段階４のグループ数４に決定した場合、１画面に最大表示可能なインデックス数が９であるので、図４における段階９のグループ数９に段階を再決定する。同様に、図５において、例えば、段階１４のグループ数３に決定した場合は、段階８のグループ数９に段階を再決定する。

また、このように、グループ分け段階決定部１５０が決定したグループ数の方が、最大表示インデックス数より小さい場合、グループ分け段階決定部１５０が決定したグループ数分け数は変更せずに、表示制御部１６０が、最大表示インデックス数を変更して、各グループのインデックスを大きく表示するようにしても勿論よい。つまり、グループ分け段階決定部１５０が、例えば、図４における段階４のグループ数４に決定した場合、表示制御部１６０は、最大表示インデックス数９から、４つのグループのインデックスが最も大きく表示される最大表示インデックス数４等に変更するようにする。また、図５における段階１４のグループ数３に決定した場合も、同様に、最大表示インデックス数９から、３つのグループのインデックスが最も大きく表示される最大表示インデックス数４や３等に変更するようにする。

従って、本実施例５によれば、上記実施例１〜３においてグループ分け段階決定部１５０は、表示装置３００における１画面に表示できる最大表示インデックス数に応じてグループ分けの段階を再決定したり、グループ分け部１３０がグループ分けを再度行うので、上記実施例１〜３の効果の他に、ユーザにとっては１画面で画像ファイルのグループ分けの結果を効率よく把握することができる。

なお、本実施例５では、表示装置３００における１画面に表示できる最大表示インデックス数に基づいて、グループ分けの段階を再決定したり、グループ分けを再度行うように説明したが、画面に表示するインデックス数は、２グループや、４グループ、１６グループ等変更可能であるので、最大のインデックス数ではなく、表示装置３００おける１画面に表示されるインデックス数に応じ適応的に、グループ分けの段階を再決定したり、グループ分けを再度行うようにしても勿論良い。

本発明の実施形態である画像情報処理装置の構成を示すブロック図である。 グループ分け処理の概要を示すフローチャートである。 抽出した撮影情報を記録したテーブルの一例を示す図である。 グループ分けを説明するための模式図である。 グループ分けの別例を説明するための模式図である。 グループ分け段数決定処理の第１パターンを説明するフローチャートである。 評価値とグループ分けの段階との関係を示す図である。 傾きの変化量とグループ分けの段階との関係を示すグラフである。 評価項目が複数の場合の傾きの変化量とグループ分けの段階との関係を示すグラフである。 グループ分け段数決定処理の第２−１パターンを説明するフローチャートである。 評価値とグループ分けの段階との関係を示すグラフである。 近似曲線の曲率とグループ分けの段階との関係を示すグラフである。 グループ分け段数決定処理の第２−２パターンを説明するフローチャートである。 評価値とグループ分けの段階との関係を示すグラフである。 評価項目が複数の場合の評価値とグループ分けの段階との関係を示すグラフである。 グループ分け段数決定処理の第２−３パターンを説明するフローチャートである。 実施例２による表示装置上におけるインデックス画面の一例を示す図である。 実施例２による表示装置上における別のインデックス画面の一例を示す図である。 実施例２による表示装置上におけるさらに別のインデックス画面の一例を示す図である。 実施例２による表示装置上におけるさらに別のインデックス画面の一例を示す図である。 実施例２による表示装置上におけるさらに別のインデックス画面の一例を示す図である。 実施例２による表示装置上におけるさらに別のインデックス画面の一例を示す図である。 実施例３の表示制御部１６０によるインデックス画面の切替え例を示す図である。 実施例３の表示制御部１６０によるインデックス画面の他の切替え例を示す図である。 実施例４により１グループに属するファイル数の上限値を決めた場合の段階の再決定の一例を示す図である。 実施例４により１グループに属するファイル数の上限値を決めた場合の再グループ分けの他の例を示す図である。 実施例４により１グループに属するファイル数の上限値を決めた場合の再グループ分けのさらに他の例を示す図である。 実施例４により１グループに属するファイル数の上限値を決めた場合の再グループ分けのさらに他の例を示す図である。

符号の説明

１００…画像情報処理装置、１１０…画像ファイル格納部、１２０…グループ情報記録部、１２１…撮影情報テーブル、１３０…グループ分け部、１４０…評価部、１５０…グループ分け段階決定部、１６０…表示制御部、１７０…操作受付部、２００…画像ファイル

Claims (26)

1. 撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能な画像情報処理装置であって、
   撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、
   あらかじめ定められた１つまたは複数の評価項目を用いて、前記段階毎の評価値を算出する評価手段と、
   各段階のグループ数と前記算出された段階毎の全ての評価値に基づく関数とに応じてグループ分けの段階を決定するグループ分け段階決定手段と、
   を備えたことを特徴とする画像情報処理装置。
2. 請求項１に記載の画像情報処理装置であって、
   前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づく関数において、段階毎の傾きの変化量の大きさに基づいてグループ分けの段階を決定することを特徴とする画像情報処理装置。
3. 請求項１に記載の画像情報処理装置であって、
   前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づいて定められる曲線における段階毎の曲率の大きさに基づいてグループ分けの段階を決定することを特徴とする画像情報処理装置。
4. 請求項１に記載の画像情報処理装置であって、
   前記グループ分け段階決定手段は、前記算出された段階毎の評価値において、極小値をとる評価値に対応する段階のいずれか１つをグループ分けの段階として決定することを特徴とする画像情報処理装置。
5. 撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能な画像情報処理装置であって、
   撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、
   あらかじめ定められた１つまたは複数の第１の評価項目を用いて、前記段階毎の第１の評価値を算出する第１評価手段と、
   あらかじめ定められた１つまたは複数の第２の評価項目を用いて、前記段階毎の第２の評価値を算出する第２評価手段と、
   各段階のグループ数と前記算出された段階毎の第１の評価値に基づいて定められる曲線における、段階毎の曲率の大きさを求めるとともに、前記算出された段階毎の第２の評価値において、極小値をとる第２の評価値に対応する段階を求め、求められた両者とに基づいてグループ分けの段階を決定するグループ分け段階決定手段と、
   を備えたことを特徴とする画像情報処理装置。
6. 請求項１〜５のいずれか１項に記載の画像情報処理装置であって、
   前記決定されたグループ分けの段階で定められる各グループに含まれる画像データに対応したインデックスを選択可能な状態で表示する表示制御手段をさらに備えたことを特徴とする画像情報処理装置。
7. 請求項６に記載の画像情報処理装置であって、
   前記表示制御手段は、いずれかのインデックスが選択されると、対応するグループに含まれる画像データを示す画像を表示することを特徴とする画像情報処理装置。
8. 請求項６または請求項７に記載の画像情報処理装置であって、
   前記表示制御手段は、
   各グループに含まれる画像ファイルに対応したインデックスと共に、各グループに属する画像ファイルの数を表示する、画像情報処理装置。
9. 請求項８に記載の画像情報処理装置であって、
   前記表示制御手段は、
   各グループに含まれる画像ファイルに対応したインデックスとして、各グループに属する画像ファイルから取得したサムネイル画像を表示する、画像情報処理装置。
10. 請求項８に記載の画像情報処理装置であって、
    前記表示制御手段は、
    各グループに含まれる画像ファイルに対応したインデックスとして、各グループに属する画像ファイルから取得した文字情報を表示する、画像情報処理装置。
11. 請求項１〜請求項１０のいずれか一の請求項に記載の画像情報処理装置であって、
    前記グループ分け段階決定手段は、
    グループ分けした際の一グループの画像ファイル数の上限値を予め決めておき、前記上限値を超えないように、グループ分けの段階を再決定する、画像情報処理装置。
12. 請求項１〜請求項１０のいずれか一の請求項に記載の画像情報処理装置であって、
    前記表示制御手段は、一画面に表示可能なインデック数である最大表示インデック数を前記グループ分け段階決定手段に送り、
    前記グループ分け段階決定手段は、
    前記最大表示インデック数になるように、グループ分けの段階を再決定する、画像情報処理装置。
13. 撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能な情報処理装置における画像情報処理方法であって、
    撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分けステップと、
    あらかじめ定められた１つまたは複数の評価項目を用いて、前記段階毎の評価値を算出する評価ステップと、
    各段階のグループ数と前記算出された段階毎の全ての評価値に基づく関数とに応じてグループ分けの段階を決定するグループ分け段階決定ステップと、
    を含むことを特徴とする画像情報処理方法。
14. 請求項１３に記載の画像情報処理方法であって、
    前記グループ分け段階決定ステップは、前記算出された段階毎の評価値に基づく関数において、段階毎の傾きの変化量の大きさに基づいてグループ分けの段階を決定することを特徴とする画像情報処理方法。
15. 請求項１３に記載の画像情報処理方法であって、
    前記グループ分け段階決定ステップは、前記算出された段階毎の評価値に基づいて定められる曲線における段階毎の曲率の大きさに基づいてグループ分けの段階を決定することを特徴とする画像情報処理方法。
16. 請求項１３に記載の画像情報処理方法であって、
    前記グループ分け段階決定ステップは、前記算出された段階毎の評価値において、極小値をとる評価値に対応する段階のいずれか１つをグループ分けの段階として決定することを特徴とする画像情報処理方法。
17. 撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能な情報処理装置における画像情報処理方法であって、
    撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分けステップと、
    あらかじめ定められた１つまたは複数の第１の評価項目を用いて、前記段階毎の第１の評価値を算出する第１評価ステップと、
    あらかじめ定められた１つまたは複数の第２の評価項目を用いて、前記段階毎の第２の評価値を算出する第２評価ステップと、
    各段階のグループ数と前記算出された段階毎の第１の評価値に基づいて定められる曲線における段階毎の曲率の大きさを求めるとともに、前記算出された段階毎の第２の評価値において、極小値をとる第２の評価値に対応する段階を求め、求められた両者とに基づいてグループ分けの段階を決定するグループ分け段階決定ステップと、
    を含むことを特徴とする画像情報処理方法。
18. 請求項１３〜１５のいずれか一項に記載の画像情報処理方法であって、
    決定されたグループ分けの段階で定められる各グループに含まれる画像データに対応したインデックスを選択可能な状態で表示する表示ステップをさらに含むことを特徴とする画像情報処理方法。
19. 請求項１８に記載の画像情報処理方法であって、
    前記表示ステップは、いずれかのインデックスが選択されると、対応するグループに含まれる画像データを示す画像を表示することを特徴とする画像情報処理方法。
20. 撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能なコンピュータを、
    撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、
    あらかじめ定められた１つまたは複数の評価項目を用いて、前記段階毎の評価値を算出する評価手段と、
    各段階のグループ数と前記算出された段階毎の全ての評価値に基づく関数とに応じてグループ分けの段階を決定するグループ分け段階決定手段と、
    として機能させるための画像情報処理用プログラム。
21. 請求項２０に記載の画像情報処理用プログラムであって、
    前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づく関数において、段階毎の傾きの変化量の大きさに基づいてグループ分けの段階を決定する画像情報処理用プログラム。
22. 請求項２０に記載の画像情報処理用プログラムであって、
    前記グループ分け段階決定手段は、前記算出された段階毎の評価値に基づいて定められる曲線における段階毎の曲率の大きさに基づいてグループ分けの段階を決定する画像情報処理用プログラム。
23. 請求項２０に記載の画像情報処理用プログラムであって、
    前記グループ分け段階決定手段は、前記算出された段階毎の評価値において、極小値をとる評価値に対応する段階のいずれか１つをグループ分けの段階として決定する画像情報処理用プログラム。
24. 撮影時刻および撮影間隔の情報を取得可能な複数の画像データを参照可能なコンピュータを、
    撮影時刻順の前記複数の画像データを、撮影間隔を用いて１段階ずつ分割あるいは併合することにより段階毎のグループ分けを行なうグループ分け手段と、
    あらかじめ定められた１つまたは複数の第１の評価項目を用いて、前記段階毎の第１の評価値を算出する第１評価手段と、
    あらかじめ定められた１つまたは複数の第２の評価項目を用いて、前記段階毎の第２の評価値を算出する第２評価手段と、
    各段階のグループ数と前記算出された段階毎の第１の評価値に基づいて定められる曲線における段階毎の曲率の大きさを求めるとともに、前記算出された段階毎の第２の評価値において、極小値をとる第２の評価値に対応する段階を求め、求められた両者とに基づいてグループ分けの段階を決定するグループ分け段階決定手段と、
    として機能させるための画像情報処理用プログラム。
25. 請求項２０〜２４のいずれか一項に記載の画像情報処理用プログラムであって、
    前記決定されたグループ分けの段階で定められる各グループに含まれる画像データに対応したインデックスを選択可能な状態で表示させる表示制御手段として前記コンピュータをさらに機能させるための画像情報処理用プログラム。
26. 請求項２０に記載の画像情報処理用プログラムであって、
    前記表示制御手段は、いずれかのインデックスが選択されると、対応するグループに含まれる画像データを示す画像を表示させる画像情報処理用プログラム。