JPWO2008133046A1 - 写真グループ化装置、写真グループ化方法、および写真グループ化用プログラム - Google Patents

Abstract

課題 撮影対象となったイベントの性質やユーザの撮影性向が異なる場合であっても、高精度に写真をグループ化できるようにする。解決手段 近傍データ選択手段（撮影時刻距離ベース近傍データ選択手段）１は、時系列撮影時刻情報に基づいて、撮影された順に配列される写真群において隣接する２つの写真の撮影時刻によって挟まれる時間区間である各隣接写真区間に定めた判定時刻からの時間的距離制約を満たす撮影時刻を有する写真を近傍写真として選択し、その近傍写真の撮影時刻データを指定するための近傍データ指定情報を出力する。グループ境界決定手段２は、近傍データ指定情報によって指定される各隣接写真区間内の判定時刻における近傍写真の撮影時刻データを用いて、各隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間にグループの境界があるか否かを判定する。

Description

デジタルカメラやカメラ付き携帯端末等で撮影した写真のグループ化を行うための写真グループ化装置、写真グループ化方法、および写真グループ化用プログラムに関し、特に、撮影された時刻の時間軸に沿って写真のグループ化を行う写真グループ化装置、写真グループ化方法、および写真グループ化用プログラムに関する。

この種の写真グループ化装置では、撮影日時毎にグループ化したり、続けて撮影した写真の時間間隔がある一定の閾値を超えた場合に異なるグループにグループ化したりすることによって、写真を管理している（例えば、特許文献１）。

図１９は、特許文献１のように撮影時刻の時間間隔を閾値処理することによって写真をグループ化する写真グループ化装置の構成例を示すブロック図である。図１９に示す写真グループ化装置は、隣接写真間撮影時間間隔算出手段９０１と時間間隔閾値処理手段９０２とを備えている。隣接写真間撮影時間間隔算出手段９０１は、時系列に撮影された各写真の撮影時刻を示す時系列撮影時刻情報を入力とし、時系列に並べた各写真間の撮影時間間隔を示す時系列撮影時間間隔情報を時間間隔閾値処理手段９０２に渡す。時間間隔閾値処理手段９０２は、隣接写真間撮影時間間隔算出手段９０１から出力される時系列撮影時間間隔情報を入力とし、グループ化対象の写真群におけるグループ境界の位置を示すグループ境界位置情報を出力する。

次に、図１９に示す写真グループ化装置の動作について説明する。隣接写真間撮影時間間隔算出手段９０１には、写真あるいはそれに添付されている関連情報から抽出された時系列に撮影された写真の撮影時刻データである時系列撮影時刻情報が撮影時刻順に入力される。通常、撮影時刻データは、Ｅｘｉｆのフォーマットで写真内に格納されているため、この情報を読み取ることによって時系列撮影時刻情報を得ることができる。

隣接写真間撮影時間間隔算出手段９０１は、入力される時系列撮影時刻情報から、時間的に隣接する写真同士で撮影時刻間の差分を計算する。具体的には、入力される写真の総数をＮ枚とし、ｉ番目の写真の撮影時刻をＴ（ｉ）とすると、以下の式（１）を各ｉ（ｉ＝１，・・・，Ｎ−１）に対して行い、得られた時間間隔ｄ（ｉ）（ｉ＝１，・・・，Ｎ−１）を時系列撮影時間間隔情報として時間間隔閾値処理手段９０２に出力する。

ｄ（ｉ）＝Ｔ（ｉ＋１）−Ｔ（ｉ） ・・・式（１）

時間間隔閾値処理手段９０２は、入力される時系列撮影時間間隔情報を一定の閾値と比較して、時間間隔が閾値を超えている場合に、その位置をグループ境界として識別する。具体的には、閾値をＴＨとすると、以下の式（２）を各時間間隔ｄ（ｉ）（ｉ＝１，・・・，Ｎ−１）に対して行い、式（２）を満たしたｉをグループ境界、すなわち、ｉ番目の写真とｉ＋１番目の写真の間にグループの区切り目が存在すると識別する。時間間隔閾値処理手段９０２は、式（２）を満たすｉを全て求め、グループ境界情報として出力する。

ｄ（ｉ）＞ＴＨ ・・・式（２）

上記の例では、イベントの分割に用いる閾値ＴＨは固定であるが、前後の一定数の撮影時間間隔に応じて動的に閾値の値を変化させて写真をグループ化する方法が非特許文献１に開示されている。

図２０は、非特許文献１のように、動的に閾値を変化させて撮影時刻の時間間隔を閾値処理することによって写真をグループ化する写真グループ化装置の構成例を示すブロック図である。図２０に示す写真グループ化装置は、隣接写真間撮影時間間隔算出手段９０１と、時間間隔閾値処理手段９０２と、一定個数撮影時間間隔データ選択手段９１１と、閾値決定手段９１２とを備えている。

図２０に示す例では、隣接写真間撮影時間間隔算出手段９０１は、時系列撮影時刻情報を入力とし、時系列撮影時間間隔情報を一定個数撮影時間間隔データ選択手段９１１と時間間隔閾値処理手段９０２とに出力する。一定個数撮影時間間隔データ選択手段９１１は、隣接写真間撮影時間間隔算出手段９０１から出力される時系列撮影時間間隔情報を入力とし、一定個数の撮影時間間隔データを閾値決定手段９１２に出力する。閾値決定手段９１２は、一定個数撮影時間間隔データ選択手段９１１から出力される一定個数の撮影時間間隔データを入力とし、閾値を時間間隔閾値処理手段９０２に出力する。時間間隔閾値処理手段９０２は、隣接写真間撮影時間間隔算出手段９０１から出力される時系列撮影時間間隔情報と、閾値決定手段９１２から出力される閾値とを入力とし、グループ境界位置情報を出力する。

次に、図２０に示す写真グループ化装置の動作について説明する。隣接写真間撮影時間間隔算出手段９０１は、時系列撮影時刻情報が入力されると、図１９に示した例と同様に、時間的に隣接する写真同士で撮影時刻間の差分を計算して時系列撮影時間間隔情報を出力する。

一定個数撮影時間間隔データ選択手段９１１は、処理対象とする時間間隔の前後一定数の撮影時間間隔を選択する。具体的には、ｋ番目の時間間隔ｄ（ｋ）を処理対象とした場合、一定数をｗとすると、前後ｗ個の時間間隔ｄ（ｋ−ｗ），ｄ（ｋ−ｗ＋１），・・・，ｄ（ｋ），ｄ（ｋ＋１），・・・，ｄ（ｋ＋ｗ）を選択する。選択された時間間隔は一定個数の撮影時間間隔データとして閾値決定手段９１２に出力される。

閾値決定手段９１２は、一定個数の撮影時間間隔データから、処理対象であるｄ（ｋ）の閾値処理に用いる閾値ＴＨ（ｋ）を算出する。具体的には、以下の式（３）を用いて算出する。ここで、Ｋは定数であり、実験的に、Ｋ＝ｌｏｇ（１７）としている。得られた閾値ＴＨ（ｋ）は、時間間隔閾値処理手段９０２に出力される。

時間間隔閾値処理手段９０２の動作は、図１９に示した例と同様である。ただし、用いる閾値は、固定ではなく各ｉ（ｉ＝１，・・・，Ｎ−１）に応じて変化させる。例えば、ｄ（ｋ）の閾値処理には、閾値決定手段９１２から出力される閾値ＴＨ（ｋ）を用いる。

特開２００４−３５５４９３号公報 J.C.Platt, M.Czerwinski, B.A.Field, "Photo TOC: automaticclustering for browsing sersonal photographs", Proceedings of the 2003Joint conference on International Conference on Information, Communication andSignal Processing and Pacific Rim Conference on Multimedia, 2003, Vol.1,pp.6-10

図１９や図２０に示す写真グループ化装置を用いれば、時系列の写真をグループ化することはできる。しかしながら、グループ化の精度（分割精度）が低下する場合が存在する。分割精度が低下する要因は次のとおりである。

第１の問題点は、図１９に示すような固定閾値による分割では、高精度なグループ化を実現する閾値を決定することが非常に困難な点である。その理由は、固定閾値では、撮影する対象やイベントの性質の変化、ユーザの撮影性向をうまく反映できないためである。例えば、まばらにしか写真をとらないイベントをベースにして閾値を決定した場合、頻繁に写真を撮影するイベントの写真群からグループ境界をうまく見つけられないといった問題がある。逆に、頻繁に写真を撮影するイベントをベースにして閾値を決定した場合には、まばらにしか写真を撮影しないイベントの写真群を過分割してしまうという問題がある。また、写真の撮影頻度は撮影者の撮影性向に強く依存するため、特定の人の傾向を反映して決定した閾値は、他の人が撮影した写真のグループ化には適さない可能性が高い。

第２の問題点は、図２０に示すような閾値制御法による分割では、時間的に大きく離れた写真の撮影時刻が閾値決定に用いる一定個数の撮影時間間隔データに含まれた場合に、うまく閾値を決定できない点である。その理由は、時間的にまばらに撮影された写真の場合、一定個数の撮影時間間隔データに、時間的に大きく離れた写真との撮影時間間隔が含まれることがあるが、この大きく離れた撮影時間間隔の影響によって閾値が大きくなり、分割精度が低下するためである。時間的に大きく離れた写真は、本来なら現在グループ化しようとしている写真の内容とは無関係であるが、それにもかかわらず、選択基準とした個数（枚数）の範囲内であれば閾値決定に影響を与えてしまう。仮に、これを排除するために閾値決定に用いる写真の枚数を減らすと、逆に撮影頻度が高いイベントの写真のグループ化ではごく近傍の写真のみしか閾値決定に影響を与えないため、閾値が不安定になるおそれがある。

そこで、本発明は、撮影対象となったイベントの性質やユーザの撮影性向が異なる場合であっても、高精度に写真をグループ化することができる写真グループ化装置、写真グループ化方法、および写真グループ化用プログラムを提供することを目的とする。

本発明による写真グループ化装置は、撮影された順に配列される写真群において隣接する２つの写真の間にグループ境界があるか否かを判定することによって、写真をグループ化する写真グループ化装置であって、
写真群において隣接する２つの写真の撮影時刻によって挟まれる時間区間である各隣接写真区間内に定めたある時刻から所定の時間的距離制約を満たしている写真の撮影時刻または写真間の撮影時間間隔に基づいて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する。

また、本発明による写真グループ化方法は、
撮影された順に配列される写真群において隣接する２つの写真の間にグループ境界があるか否かを判定することによって、写真をグループ化する写真グループ化方法であって、
写真群において隣接する２つの写真の撮影時刻によって挟まれる時間区間である各隣接写真区間内に定めたある時刻から所定の時間的距離制約を満たしている写真の撮影時刻または写真間の撮影時間間隔に基づいて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する。

また、本発明による写真グループ化用プログラムは、撮影された順に配列される写真群において隣接する２つの写真の間にグループ境界があるか否かを判定することによって、写真をグループ化するための写真グループ化用プログラムであって、コンピュータに、写真群において隣接する２つの写真の撮影時刻によって挟まれる時間区間である各隣接写真区間内に定めたある時刻から所定の時間的距離制約を満たしている写真の撮影時刻または写真間の撮影時間間隔に基づいて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する処理を実行させる。

本発明によれば、各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻と撮影時刻との間で所定の時間的距離制約を満たしている写真の撮影時刻または前記時間的距離制約を満たしている写真間の撮影時間間隔に基づいて、該隣接写真区間内での撮影傾向の変化を検出するので、任意の隣接写真区間で、枚数制限によって漏れることなく同じイベントまたは被写体に関連するであろう一連の写真を判定用に用いることができる。従って、分割範囲を限定することなく、高精度に写真をグループ化することができる。

また、時間的に大きく離れた無関係な写真データの影響を受けずに撮影傾向の変化を検出することができるので、写真をまばらにしか撮影しない場合であっても、精度よくグループ化することができる。

第１の実施の形態による写真グループ化装置の構成例を示すブロック図である。 写真グループ化装置の動作例を示すフローチャートである。 近傍データ選択手段１の構成例を示すブロック図である。 近傍データ選択手段１の他の構成例を示すブロック図である。 時間幅決定手段１２の構成例を示すブロック図である。 時間幅決定手段１２の他の構成例を示すブロック図である。 グループ境界決定手段２の構成例を示すブロック図である。 撮影密度算出手段２１の構成例を示すブロック図である。 ウィンドウ関数の例を示す説明図である。 撮影密度の算出例を示す説明図である。 撮影密度算出手段２１の他の構成例を示すブロック図である。 グループ境界決定手段２の他の構成例を示すブロック図である。 グループ境界決定手段２の他の構成例を示すブロック図である。 第２の実施の形態による写真グループ化装置の構成例を示すブロック図である。 グループ境界決定手段２’の構成例を示すブロック図である。 グループ境界決定手段２’の他の構成例を示すブロック図である。 グループ境界決定手段２’の他の構成例を示すブロック図である。 第３の実施の形態による写真グループ化装置の構成例を示すブロック図である。 関連技術における写真グループ化装置の構成例を示すブロック図である。 関連技術における写真グループ化装置の構成例を示すブロック図である。

実施の形態１．
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明の第１の実施の形態による写真グループ化装置の構成例を示すブロック図である。図１に示す写真グループ化装置は、撮影時刻距離ベース近傍データ選択手段１（以下、単に近傍データ選択手段１という。）と、グループ境界決定手段２とを備える。ここで、近傍データ選択手段１は、撮影された順に配列される写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報を入力とし、各隣接写真区間内（グループ化対象の写真群において隣接した２つの写真の撮影時刻によって挟まれる時刻内）に定めた判定時刻からの時間的距離制約を満たす撮影時刻データを指定するための情報である近傍データ指定情報をグループ境界決定手段２に出力する。また、グループ境界決定手段２は、時系列撮影時刻情報と近傍データ選択手段１から出力される近傍データ指定情報を入力とし、グループ化対象の写真群におけるグループ境界の位置を示すグループ境界位置情報を出力する。

ここで、時間的距離とは、ある時刻とある時刻との間の時間間隔（時間幅）をいう。また、写真群におけるグループ境界の位置とは、写真群の配列上においてグループの境界線となる区切り目をいう。また、撮影時刻とは、写真の撮影に関連した時刻であって、シャッターを実際に押した時刻に限らず、例えば、被写体のイメージがセンサ上に生成された時刻、生成後にＪＰＥＧなどの圧縮や画質補正などの処理を行って保存用画像データを生成した時刻、携帯電話機のようにユーザが保存の有無を撮影後に選択できる場合には、ユーザが保存指定した時刻、撮影直後にサーバなどの別の機器に写真を転送する場合にはその転送時刻など、写真の撮影からその画像データの保存までの一連のプロセスにおける所定のタイミングで計時された時刻であればよい。また、時系列撮影時刻情報は、例えば、各写真に関連づけられたＥｘｉｆ情報から取得してもよい。また、ＭＰＥＧ−７やＭＰＥＧ−Ａ Ｐａｒｔ３やそれ以外でも同等の内容を記述するメタデータ記述方式で格納されたメタデータから取得してもよい。

近傍データ選択手段１は、時系列撮影時刻情報に基づいて、各隣接写真区間に対し、その隣接写真区間内に定めたある時刻からの時間的距離制約を満たす撮影時刻を有する写真をグループ境界の有無の判定に用いる近傍写真として選択し、グループ境界決定手段２に対してその近傍写真の撮影時刻データを指定するための近傍データ指定情報を出力する。以下、近傍写真を選択する基準とする時刻を判定時刻と呼ぶ。本実施の形態では、近傍データ選択手段１は、時系列撮影時刻情報の中から、各隣接写真区間に設けた判定時刻からの時間的距離制約を満たす撮影時刻を示している写真の撮影時刻データを近傍データとして選択し、その近傍データを指定する近傍データ指定情報を出力することによって、グループ境界決定手段２に対して近傍写真を指定している。

グループ境界決定手段２は、近傍データ指定情報によって指定される各隣接写真区間内の判定時刻における近傍写真の撮影時刻データ（近傍データ）を用いて、各隣接写真区間内での撮影傾向の変化を検出し、その検出結果に応じて各隣接写真区間にグループの境界があるか否かを判定することによって、グループ化対象の写真群におけるグループ境界を決定する。

なお、本実施の形態において、近傍データ選択手段１およびグループ境界決定手段２は、例えば、プログラムに従って動作するＣＰＵ等のデータ処理装置によって実現される。

次に、本実施の形態の動作について説明する。図２は、本実施の形態における写真グループ化装置の動作例を示すフローチャートである。図２に示すように、まず、近傍データ選択手段１は時系列撮影時刻情報を入力する（ステップＳ１）。近傍データ選択手段１は、例えば、撮影された順番に並べられているグループ化対象として指定された写真の画像データに付随しているＥｘｉｆ情報から撮影時刻データを取得（参照）することによって、各写真の撮影時刻データを撮影された順番で示す時系列撮影時刻情報を入力してもよい。時系列撮影時刻情報が入力されると、撮影時刻ベース近傍データ選択手段１は、各隣接写真区間内に定めた判定時刻からの時間的距離制約を満たす時刻に撮影された写真を近傍写真とし、その近傍写真の撮影時刻データをその判定時刻における近傍データとして選択する（ステップＳ２）。なお、近傍データは、その判定時刻を挟んで撮影された２つの写真の間で撮影傾向が変化したか否かを検出するためのサンプル（標本）データとして用いられる。

例えば、近傍データ選択手段１は、入力される写真の総数をＮ枚とし、ｉ番目の写真の撮影時刻をＴ（ｉ）とすると、ｊ番目とｊ＋１番目の写真による隣接写真区間に対して、以下の式（４）を満たす判定時間Ｔを選び、その判定時刻Ｔからの時間的距離がある一定の制約を満たす撮影時刻Ｔ（ｉ）を示す撮影時刻データを近傍データとして選択してもよい。

判定時刻Ｔは、隣接写真区間の任意の位置に設定可能である。また、１つの隣接写真区間に複数設定することも可能である。例えば、隣接写真の撮影時刻そのものを判定時刻としてもよいし、隣接写真区間における中点を求め、その中点の時刻を判定時刻としてもよい。また、例えば、ある一定の時間幅で隣接写真区間を分割し、それぞれの分割境界の時刻を判定時刻としてもよい。なお、１つの隣接写真区間に対し複数の判定時刻を設定した場合には、各近傍データは別個のものとして各判定時刻における近傍データとして扱ってもよいし、同じ隣接写真区間に設定した判定時刻における近傍データを統合させて、各隣接写真区間における近傍データとして扱うことも可能である。

また、撮影時刻の制約には、例えば、判定時刻Ｔからの時間的距離が一定時間以下であるという条件を用いることができる。また、誕生会などのイベントが一年単位で起こることを考慮して、例えば、一年程度時間的に前の撮影時刻も合わせて用いるという条件にしてもよい。また、近傍データは、必ずしも連続して撮影された写真を範囲に選択されなくてもよく、食事のようにイベントが生じる時間帯が予め定まっていることを考慮して、同じ時間帯に含まれる撮影時刻（例えば、２４時間の倍数に近い撮影時刻）も合わせて用いるという条件にしてもよい。なお、近傍データの具体的な選択方法については、近傍データ選択手段１のより詳細な実施の形態の説明において説明する。

近傍データ選択手段１は、例えば、各判定時刻Ｔ（各隣接写真区間内に設定した１つまたは複数の判定時刻Ｔ）に対し、選択した近傍データを指定する近傍データ指定情報をグループ境界決定手段２に出力する。近傍データ指定情報は、選択した近傍データそのもの（近傍写真の撮影時刻データ）であってもよいし、または、近傍データとして選択された写真のインデックス値を示す情報であってもよい。また、連続した写真を近傍写真に選択した場合には、選択した写真の範囲を示すインデックス値（例えば、選択した写真のインデックスの最大値と最小値や、最大値か最小値の一方と選択した個数など）であってもよい。

そして、グループ境界決定手段２は、近傍データ選択手段１によって指定される各隣接写真区間内の判定時刻における近傍データを用いて、各隣接写真区間内での撮影傾向の変化を検出し、その検出結果に応じて各隣接写真区間にグループの境界があるか否かを判定する（ステップＳ３）。例えば、グループ境界決定手段２は、近傍データ指定情報で示される各判定時刻における近傍データ（すなわち、撮影時刻データ）を用いて、その判定時刻の前後で撮影傾向が変化したか否かを検出し、撮影傾向の変化が検出された場合に、その判定時刻を挟んで撮影された２つの写真の間にグループ境界があると判定すればよい。

撮影傾向の変化を判断する指標として、撮影回数の密度、平均撮影間隔、撮影時間間隔などがあるが、これらに限らず、同様に撮影傾向を反映した統計量であればよい。または、これらを組み合わせた統計量を用いて判断してもよい。例えば、これらを重み付け加算した統計量、選択的に用いる統計量などが考えられる。なお、撮影傾向の変化の具体的な判断方法についてはグループ境界決定手段２についてのより詳細な説明において記述する。

グループ境界決定手段２は、各隣接写真区間に対するグループ境界の有無の判定結果に応じて、グループ化対象の写真群におけるグループ境界の位置を示すグループ境界位置情報を出力する。なお、グループ境界決定手段２は、グループ境界の位置を示すグループ境界位置情報を出力するだけでなく、例えば、グループ毎に写真をフォルダに振り分けるなどユーザがグループ境界の位置を認識できるような出力形式であればよい。

また、写真グループ化装置は、大きな時間幅を時間的距離制約にして写真をグループ化した後で、各グループに分割された写真群に対し小さな時間幅を時間的距離制約にしてさらにグループ化するなど、グループ化操作を繰り返して、他段階にグループ化することも可能である。

以上のように、各隣接写真区間に設定した判定時刻に対して、撮影時刻距離ベースで選択される近傍データを用いて隣接写真区間におけるグループ境界の有無を判定することで、撮影時刻が時間的に大きく離れた無関係な写真の撮影時刻データの影響を受けずに適応的にグループ境界を判定することができる。また、時間的に近傍に存在する写真の撮影時刻データは、写真数に依存せずに全て近傍データとして指定できるため、同じイベントまたは被写体に関連する一連の写真を判定用に用いることができ、ユーザの撮影性向やイベントの性質などの影響をより的確に反映させてグループ境界を判別できる。

また、時間的に離れた写真の撮影時刻データを除外しつつ、時間的に近傍に存在する写真の撮影時刻データを写真数に依存せず近傍データとして選択することによって、写真を高精度にイベント単位でグループ化することができるので、例えば、イベントの区切り目を意識した写真のスライドショー提示等、写真の効果的な利用が可能である。例えば、スライドショーで写真を提示する際に、グループ内では連続的なトランジション効果（ディゾルブといった２つの画像がブレンドされて徐々に切り替わる効果）を用い、グループ境界では視覚的なインパクトが大きな視覚効果（ワイプやボックスイン／アウトといったトランジションの効果）を用いることによって、単に写真が一定の視覚効果で切り替わっていく通常のスライドショーに比べて、イベントの区切り目を意識した効果的なスライドショーを実現できる。

次に、近傍データ選択手段１についてより詳細に説明する。

図３は、近傍データ選択手段１の構成例を示すブロック図である。図３に示すように、近傍データ選択手段１は、一定時刻距離内近傍データ選択手段１１を含んでいてもよい。ここで、一定時刻距離内近傍データ選択手段１１は、時系列撮影時刻情報と、ある時刻からの時間的距離（時間幅）を示す時間幅情報を入力とし、近傍データ指定情報を出力する。

一定時刻距離内近傍データ選択手段１１は、時系列撮影時刻情報で示されている各写真の撮影時刻と所定の時間幅情報で示される時間幅とに基づいて、各隣接写真区間に対し、その隣接写真区間に設定される判定時刻から撮影時刻までの時間間隔が一定時間以下であることを制約として近傍データを選択する。

次に、本例の撮影時刻距離ベース近傍データ選択手段１の動作について説明する。一定時刻距離内近傍データ選択手段１１は、時系列撮影時刻情報および時間幅情報が入力されると、各隣接写真区間に対し、判定時刻を設定して、隣接写真区間内の判定時刻から撮影時刻までの時間間隔が時間幅情報で示される時間幅（時間間隔）以下である写真の撮影時刻データを近傍データとして選択する。近傍データ選択手段１は、ｉ番目の写真の撮影時刻をＴ（ｉ）とし、一定時刻距離を示す時間幅をＷとすると、例えば、ｊ番目とｊ＋１番目の写真の隣接写真区間に対しては、既に示した式（４）を満たす判定時刻Ｔに対して以下の式（５）を満たす撮影時刻Ｔ（ｉ）を示す撮影時刻データを近傍データとして選択してもよい。

｜Ｔ（ｉ）−Ｔ｜＜Ｗ ・・・式（５）

ここで、時間幅Ｗは、予め定めておいた値を用いてもよいし、ユーザが値を指定できるようになっていてもよい。

このように、近傍データを選択する際の時間的距離制約が一定時間以下という制約の場合には、近傍データに選択させる写真の時間の範囲を時間幅Ｗによって指定できる。従って、時間幅Ｗを調節することによって、グループ境界の有無の判定に用いるデータの範囲を調節することができるようになる。また、ユーザが時間幅Ｗを指定できるようにすることで、自動的な時間幅Ｗの調整がうまくいかない場合であっても、ユーザとのインタラクションにより簡単に調整できる。

例えば、時間幅を広く設定すれば、近傍データに選択される写真の時間的範囲が広がって、グループ境界の判定用に算出する指標（後述の撮影密度や撮影時間間隔等）の時間変化を平衡化することができるので、大局的な変動で撮影傾向の変化を検出するようになり、分割粒度を粗くすることができる。逆に、時間幅を狭く設定すれば、近傍データに選択される写真の時間的範囲が狭まり、短時間内で細やかな時間変化で撮影傾向の変化を検出するようになり、グループを細かく分割できる。例えば、結婚式の写真をグループ化する場合を例にすると、大きな時間幅を設定すれば「挙式」「披露宴」「二次会」のように比較的大きな単位のイベントでグループ化し、小さな時間幅を設定すれば「披露宴」の中の「入場」「スピーチ」「ケーキカット」・・・「花束贈呈」といった、比較的小さな単位のイベントでグループ化するといったことも可能になる。

また、近傍データ選択手段１の構成は、図４に示すような構成であってもよい。図４は、近傍データ選択手段１の他の構成例を示すブロック図である。図４に示すように、近傍データ選択手段１は、一定時刻距離内近傍データ選択手段１１と、時間幅決定手段１２とを含んでいてもよい。ここで、時間幅決定手段１２は、時系列撮影時刻情報を入力とし、時間幅情報を一定時刻距離内近傍データ選択手段１１に出力する。一定時刻距離内近傍データ選択手段１１は、時系列撮影時刻情報と、時間幅決定手段１２から出力される時間幅情報とを入力とし、近傍データ指定情報を出力する。

すなわち、本例では、時間幅決定手段１２が時間幅を決定し、一定時刻距離内近傍データ選択手段１１は時間幅決定手段１２が決定した時間幅Ｗを用いて近傍データを選択する。

時間幅決定手段１２は、各写真の撮影時刻情報から、撮影されている可能性が高いイベントを推定し、そのイベントに適する時間幅を決定する。なお、イベントに適する時間幅の決定方法については後述する。なお、時間幅決定手段１２が決定する時間幅Ｗは、個々の判定時刻ごとに異なる値となるようにしてもよいし、ある一定の判定時刻間で同じ値となるようにしてもよい。また、決定した時間幅Ｗを示す時間幅情報は、時間幅Ｗそのものであってもよいし、予め定められた複数の時間幅Ｗのうちのいずれかを識別する時間幅識別情報であってもよい。

一定時刻距離内近傍データ選択手段１１は、時系列撮影時刻情報によって時系列で示されている各写真の撮影時刻と時間幅決定手段１２から出力される時間幅情報で示される時間幅とに基づいて、各隣接写真区間に対し、その隣接写真区間に設定される判定時刻から撮影時刻までの時間的な距離が一定値以内に含まれることを制約として近傍データを選択する。なお、一定時刻距離内近傍データ選択手段１１の動作は、図３に示す例と同様である。

このようにして、イベントの性質に適した時間幅を決定すれば、イベントの性質によって近傍データとする範囲を自動で調整することができる。従って、イベントによる撮影傾向の違いをグループ化に反映できる。

次に、時間幅の決定方法について、時間幅決定手段１２の具体的な構成とともに説明する。図５は、時間幅決定手段１２の構成例を示すブロック図である。図５に示すように、時間幅決定手段１２は、イベント推定手段１２１と、時間幅算出手段１２２とを有していてもよい。ここで、イベント推定手段１２１は、時系列撮影時刻情報を入力とし、イベント種別を示すイベント種別情報を時間幅算出手段１２２に出力する。時間幅算出手段１２２は、イベント推定手段１２１から出力されるイベント種別情報を入力とし、時間幅情報を出力する。

イベント推定手段１２１は、少なくとも各写真の撮影時刻に基づいて撮影対象となっているイベントの種別を推定する。また、時間幅算出手段１２２は、イベント推定手段１２１によって推定されるイベントの種別に対応づけられている撮影パターンに基づいて、時間幅を算出する。

次に、本例の時間幅決定手段１２の動作について説明する。時系列撮影時刻情報が入力されると、イベント推定手段１２１は、各写真の撮影時刻から、イベントの内容（種別）を推定する。例えば、撮影時刻が昼や夕方の食事時の場合には、食事または食事のシーンを撮影している可能性が高いとして、イベント種別を「食事関連」と推定してもよい。また、例えば、被写体となる人物の誕生日が予め登録されている場合や、ユーザが明示的に登録しなくても、過去の誕生会の写真に対して付与されたキーワードなどの他の情報が登録されている場合には、それらの情報と撮影日時とを組合わせることによって誕生日がいつであるかを自動的に推定し、撮影日時が誕生日に近ければ誕生会である可能性が高いとして、イベント種別を「誕生日関連」と推定してもよい。この場合、休日はこのようなイベントが起こる可能性が高いことを考慮して、さらにカレンダー情報も使って誕生日に近い休日も範囲に含めて、イベント種別を「誕生日関連」と推定するようになっていてもよい。なお、イベント推定手段１２１は、判定時刻毎にイベント種別を判定してもよいし、グループ化対象である写真群の全体の撮影時刻に基づいて、大まかな分類でイベント種別を推定してもよい。

なお、イベント推定手段１２１は、具体的には、予め定めておいた判定方法（判定の手順や条件等）に基づいて、予め定義されているイベント種別のうち少なくとも１のイベント種別を選択すればよい。なお、イベント推定手段１２１は、イベント種別のいずれの条件にも当てはまらない場合に、イベント種別＝不明を示すイベント種別情報を出力するようにしてもよい。

このようにして推定されたイベントを識別するイベント種別情報を時間幅算出手段１２２に出力する。ここで、イベント種別情報は、１つの推定されたイベントの種別を示す情報であってもよいし、候補となる複数のイベントの種別を示す情報であってもよい。また、イベント推定手段１２１は、イベントの種別と一緒に、イベント推定の信頼度を示す指標のデータも合わせて出力するようにしてもよい。

次に、時間幅算出手段１２２は、イベント推定手段１２１によって推定されたイベントの種別に応じて、時間幅Ｗを制御（決定）する。例えば、イベント種別が「食事関連」のイベントを表す場合には、食事をしている間は写真を撮影しないことを考慮し、時間幅を大きくとって食事の写真が過分割されないように制御する。また、例えば、イベント種別が「誕生会」など、そのイベント中にさらに細かいイベント（ケーキカット、ろうそくの吹き消しシーン、プレゼント交換など）が複数含まれるような場合には、誕生会の中の個別のイベントを分離できるように、時間幅を短くするように制御してもよい。なお、時間幅算出手段１２２は、予めイベント種別に応じた時間幅Ｗを定めておいて、イベント種別に応じた時間幅Ｗを求めればよい。

また、イベント種別情報に複数の候補のイベント種別が含まれる場合には、これらの候補全体として適した時間幅を算出する。例えば、時間幅算出手段１２２は、各イベント種別に適した時間幅が予め個別に設定されている場合には、候補順に重みをつけて加重平均をとることによって１つの時間幅を算出してもよい。この際、イベント推定の信頼度指標も一緒に用いることができる場合には、この信頼度指標も重みに反映させてもよい。例えば、信頼度指標に比例した重みで加重平均をとって時間幅を算出すればよい。また、例えば、信頼度が低い場合にはデフォルトの時間幅に近づくように、デフォルトの時間幅も加えて加重平均をとるようにしてもよい。

さらに、時間幅算出手段１２２は、ユーザがグループ化したいイベントの粒度を設定できるように、ユーザからのイベント粒度を示すパラメータの入力を受け付けてもよい。ここで、イベント粒度とは、グループ化の単位とするイベントの規模を示す指標であって、イベント粒度が粗い程、グループ化の単位となるイベントの規模も大きくなる。時間幅算出手段１２２は、イベント粒度が設定された場合には、そのイベント粒度をグループ化粒度（分割粒度）に反映させた時間幅を算出すればよい。具体的には、イベント粒度が粗い程、時間幅を広くして大局的な変動で撮影傾向の変化が検出されるようにし、逆にイベント粒度が細かい程、時間幅を狭くして細やかな時間変化で撮影傾向の変化が検出されるようにする。なお、最終的には、イベント種別に応じて算出した時間幅とユーザのイベント粒度に対する意向の両方を反映させた時間幅とをマージして算出する。この算出方法としては、イベント種別に応じて定まる時間幅とユーザの要求によって定まる時間幅との重み付け加算など、両方をマージする任意の方法を用いることができる。

このように、撮影時刻情報に基づいてイベントの内容を推定することで、イベント内容に適した時間幅を選択できるようになる。また、ユーザがイベント粒度をパラメータで指定すれば、イベント推定による結果とユーザの意向の両方を反映させた時間幅の指定が可能となる。また、本例では、撮影時刻情報のみを用いてイベント内容を推定することによって、演算量の制約が大きいカメラや携帯電話などの端末上でも容易に実装できるという利点もある。

また、図６は、時間幅決定手段１２の他の構成例を示すブロック図である。図６に示すように、時間幅決定手段１２は、イベント推定手段１２１と、時間幅算出手段１２２とを有していてもよい。なお、図６に示す時間幅決定手段１２は、イベント推定手段１２１が時系列撮影時刻情報だけでなく、写真データ（写真の画像データ）や写真のメタデータを入力する点で異なるが、他の点に関しては図５に示した例と同様である。

本例では、イベント推定手段１２１は、写真の撮影時刻に加え、写真の画像データやメタデータも用いてイベントの内容を推定する。具体的には、写真の画素データを用いて、写真全体または写真を領域分割した領域単位で、色や模様、構図などを解析した情報をイベント推定に用いる。例えば、写真全体が暗く、さらに撮影時刻が夜である場合には、被写体が夜景である可能性が高いとし、そのような特徴を示す写真群に対してイベントの種別を「夜景関連」と推定する。さらに、撮影日時が夏であれば、花火である可能性が高いとし、そのような特徴を示す写真群に対してイベントの種別を「花火」と推定するようにしてもよい。なお、イベント推定手段１２１は、例えば、予め画像データの解析情報（写真全体または領域単位の色、模様、構図等）と、撮影時刻の時間帯と、イベント種別とを対応づけて記憶しておき、解析結果と撮影時刻とに基づいて、対応するイベント種別を参照することによって求めればよい。

さらに、ＧＰＳ（Global Positioning System ）などによって撮影場所の情報が自動的に取得できる場合には、メタデータとして撮影位置情報も用いることができる。例えば、同じイベント種別「花火」が推定される写真群であっても、大きく異なる撮影位置が示されている場合には、異なる花火イベントであるとして、撮影位置が変化した位置を境にイベントの種別「花火」に該当する写真の範囲を別々に示すようにしてもよい。または、イベント種別とともにイベント規模を示す情報を出力するようにしてもよい。なお、処理対象の写真の撮影位置情報が取得できなかったとしても、撮影時刻が近い他の写真で撮影位置情報が取得できている場合には、その撮影位置情報を用いて処理対象の写真の推撮影位置を推定することも可能である。

なお、時間幅算出手段１２２は、イベント推定手段１２１から出力されるイベント種別だけでなく、推定されたイベント種別が該当する写真の範囲や、イベントの規模を反映させて、時間幅を算出すればよい。例えば、イベント種別に応じて定まる時間幅に対し、写真の範囲で示される時間幅と、イベントの規模に応じて定まる時間幅とをマージして算出すればよい。

このように、撮影時刻情報に加えて写真の画像データや撮影位置などのメタデータも用いることで、より高精度にイベントを推定できるようになり、より適切に時間幅を算出できるようになる。

次に、グループ境界決定手段２についてより詳細に説明する。

図７は、グループ境界決定手段２の構成例を示すブロック図である。図７に示すように、グループ境界決定手段２は、撮影密度算出手段２１と、極小点検出手段２２とを含んでいてもよい。ここで、撮影密度算出手段２１は、時系列撮影時刻情報と近傍データ指定情報とを入力とし、各判定時刻における撮影密度を示す密度情報を極小点検出手段２２に出力する。極小点検出手段２２は、撮影密度算出手段２１から出力される密度情報を入力とし、グループ境界位置情報を出力する。

撮影密度算出手段２１は、近傍データに基づいて、各判定時刻（各隣接写真区間の１つまたは複数の判定時刻）での撮影密度を算出する。ここで、撮影密度とは、判定時刻を基準とする所定の時間領域に対して写真を撮影する行為が密集している度合いを示す指標である。極小点検出手段２２は、撮影密度算出手段２１によって算出される各判定時刻での撮影密度を比較して極小点を検出し、検出された極小点の時間領域における位置に基づいてグループ境界を判定する。

次に、本例のグループ境界決定手段２の動作について説明する。撮影密度算出手段２１は、時系列撮影時刻情報と近傍データ指定情報とを入力する。撮影密度算出手段２１は、近傍データ指定情報によって指定される各判定時刻における近傍データである近傍写真の撮影時刻データを用いて、各判定時刻における撮影密度を算出する。そして、算出した各判定時刻における撮影密度を示す密度情報を極小点検出手段２２に出力する。なお、撮影密度は、判定時刻から時間的距離制約として用いた時間幅を範囲とする時間領域における写真の撮影頻度（撮影回数）として求めてもよい。また、後述するウィンドウ関数を用いて求めることも可能である。

極小点検出手段２２は、撮影密度算出手段２１から出力される密度情報で示される各判定時刻における撮影密度に基づいて、撮影密度の極小点を検出する。例えば、時系列に並べた各判定時刻における撮影密度の値を比較していくことで各判定時刻での撮影密度の変化を調べ、この変化が減少から増加に転じた点（判定時刻）を極小点として検出する。具体的には，時刻ｔにおける撮影密度をｆ（ｔ）とすると、連続した３つの判定時刻Ｔｍ−１，Ｔｍ，Ｔｍ＋１に対して、以下の式（６）を満たすＴｍを極小点として検出する。なお、極小点は、ある程度の振れ幅をもった変化によって検出されるようになっていてもよい。

ｆ（Ｔｍ−１）＞ｆ（Ｔｍ）、かつ、ｆ（Ｔｍ）＜ｆ（Ｔｍ＋１） ・・・式（６）

これ以外にも、極小点を検出する任意の方法を用いることができる。極小点検出手段２２は、極小点が検出された場合に、その極小点の前後でグループが分かれたものと判定すればよい。例えば、極小点が検出された判定時刻をＴｍとすると、以下の式（７）を満たすｋ番目とｋ＋１番目の写真の隣接写真区間にグループ境界があると判定する。

写真は通常イベント単位でまとめて撮影されるため、このように、各隣接写真区間内の判定時刻での撮影密度の起伏に基づいて撮影傾向の変化を検出することによって、関連技術として知られている単純な閾値処理の場合に比べて精度よく写真をグループ化することができる。また、撮影密度の算出に用いる撮影時刻データに、時間的に非常に離れた撮影時刻データを用いないため、高精度にグループ化することができる。

また、図８は、撮影密度算出手段２１の構成例を示すブロック図である。図８に示すように、撮影密度算出手段２１は、ウィンドウ関数ベース撮影密度算出手段２１１を含んでいてもよい。ここで、ウィンドウ関数ベース撮影密度算出手段２１１は、時系列撮影時刻情報と近傍データ指定情報および時間幅情報を入力とし、密度情報を出力する。

ウィンドウ関数ベース撮影密度算出手段２１１は、予め定義しておいたウィンドウ関数を用いて各判定時刻（各隣接写真区間の判定時刻）における撮影密度を算出する。ここで、ウィンドウ関数とは、原点を中心にした一定の範囲で正の値をもつ非負関数である。なお、ウィンドウ関数の値は、ある写真の撮影が近傍の時間領域における撮影密度にどれくらい影響を与えるかを示す。

図９は、ウィンドウ関数の例を示す説明図である。図９（ａ）は三角形の形状をしたウィンドウ関数の例を示している。また、図９（ｂ）は矩形形状をしたウィンドウ関数の例を示している。例えば、図９（ａ）に示すように、ウィンドウ関数が連続的に変化する三角形の形状を描く場合、１つの写真の撮影が近傍の時間領域における撮影密度に伝搬する変化も連続的になる。また、例えば、図９（ｂ）に示すように、任意の時刻で値を定めるなど不連続に変化する関数形状を描く場合には、１つの写真の撮影が近傍の時間領域における撮影密度に伝搬する変化も不連続になる。例えば、ウィンドウ関数が三角形状の場合、時間とともに比例して減少するのに対し、負の指数関数的な形状のものを用いる場合には、この影響がより近傍領域のみに限定されるようになる。例えば、ウィンドウ関数に原点から離れるに従って減衰する減衰関数を用いれば、判定時刻から時間的に離れた時刻での撮影に対し、その判定時刻における撮影密度への重み付けを軽くすることになる。

なお、ウィンドウ関数の形状は、図９に示すものに限らず、例えば，三角形の形状のかわりに一定範囲以内で上に凸な関数を用いてもよいし、正規分布の密度分布関数の一部を切り出して用いてもよい。また，左右非対称的であっても構わない。また、これらの関数において、ウィンドウ幅を調節するパラメータＷを定義しておき、ウィンドウ幅を変化させることによって、その影響範囲を広げたり狭めたりできるようになっていてもよい。

次に、本例の撮影密度算出手段２１の動作について説明する。時系列撮影時刻情報および近傍データ指定情報が入力されると、ウィンドウ関数ベース撮影密度算出手段２１１は、近傍データ指定情報によって指定される各判定時刻における近傍データである近傍写真の撮影時刻データで示される撮影時刻の各々に対し、その撮影時刻を原点（中心）とする時間軸上にウィンドウ関数を配置し、各判定時刻における、それらウィンドウ関数（その判定時刻おける各近傍写真の撮影時刻に対応させたウィンドウ関数）の重ね合わせとして、その判定時刻での撮影密度を算出する。

ここで、ウィンドウ関数を用いた撮影密度の算出法について具体的に説明する。ウィンドウ幅をＷとするウィンドウ関数をｈｗ（ｔ）とすると、判定時刻Ｔにおける撮影密度は、次の式（８）によって求まる。ここで、ｉ０，ｉ１はそれぞれ近傍データ指定情報で近傍データとして指定される近傍写真の範囲を示すインデックス値の最小値と最大値である。

例えば、三角形のウィンドウ関数を用いると、図１０に示すような撮影密度が算出される。図１０では、例えば、撮影時刻Ｔ（１）における撮影密度は、撮影時刻Ｔ（１）に対応させたウィンドウ関数（図１０において撮影時刻Ｔ（１）を原点とする窓関数）のみの重ね合わせであることが示されている。また、例えば、撮影時刻Ｔ（２）における撮影密度は、撮影時刻Ｔ（２）に対応させたウィンドウ関数と、撮影時刻Ｔ（３）に対応させたウィンドウ関数との重ね合わせであることが示されている。なお、図１０に示す例では、撮影密度の起伏を各撮影時刻での撮影密度をつないで示しているが、ウィンドウ関数の重ね合わせによる算出方法では任意の点で撮影密度の算出が可能であり、実際には、判定時刻でのウィンドウ関数の重ね合わせとして撮影密度を算出する。なお、判定時刻が撮影時刻である場合もある。

また、近傍データを選択する際の時間幅とウィンドウ関数におけるウィンドウ幅（パラメータＷ）によって与えられる時間幅とを同じ値に設定することによって、判定時刻に影響を与える（判定時刻においてウィンドウ関数が非負の値を持つ）近傍写真を過不足なく近傍データとして指定できる。なお、必ずしも２つの時間幅を一致させなければならないのではなく、両者が異なる場合には、近傍データ指定情報で指定される範囲内でウィンドウ関数を適用させればよい。すなわち、近傍データ指定情報で近傍データとして示される近傍写真にウィンドウ関数を対応させてその重ね合わせを求めればよい。

このように、ウィンドウ関数を用いれば、任意の時刻での撮影密度を容易に算出することができる。また、ウィンドウ関数の形状およびウィンドウ幅によって１つの撮影時刻の影響が及ぶ度合いや時間的範囲を自由に設定することができるので、より高精度に写真のグループ化を行うことができる。また、ウィンドウ幅をユーザが自由に変えられるようにすれば、ユーザの好みに応じて、写真のグループ化の粒度を容易に変えることができる。

また、図１１は、撮影密度算出手段２１の他の構成例を示すブロック図である。図１１に示すように、撮影密度算出手段２１は、ウィンドウ関数ベース撮影密度算出手段２１１と、時間幅決定手段２１２とを含んでいてもよい。ここで、時間幅決定手段２１２は、時系列撮影時刻情報を入力とし、時間幅情報をウィンドウ関数ベース撮影密度算出手段２１１に出力する。また、ウィンドウ関数ベース撮影密度算出手段２１１は、時系列撮影時刻情報と、近傍データ指定情報と、時間幅決定手段２１２から出力される時間幅情報とを入力として、密度情報を出力する。

すなわち、本例では、ウィンドウ関数ベース撮影密度算出手段２１１は、時間幅決定手段２１２が決定した時間幅Ｗをウィンドウ幅として用いて撮影密度を算出する。なお、時間幅決定手段２１２は、図５または図６に示した時間幅決定手段１２と同様の処理を行えばよい。

このように、時間幅決定手段２１２が推定されるイベントに適した時間幅を設定することによって、イベントに適した時間幅での撮影密度を算出するため、イベント内容にあった高精度なグループ化を容易に行うことができる。

また、グループ境界決定手段２の構成は、図１２に示すような構成であってもよい。図１２は、グループ境界決定手段２の他の構成例を示すブロック図である。図１２に示すように、グループ境界決定手段２は、平均撮影時間間隔算出手段２３と、極大点検出手段２４とを含んでいてもよい。ここで、平均撮影時間間隔算出手段２３は、時系列撮影時刻情報と近傍データ指定情報とを入力とし、各判定時刻における撮影時間間隔の平均を示す平均時間間隔情報を極大点検出手段２４に出力する。極大点検出手段２４は、平均撮影時間間隔算出手段２３から出力される平均時間間隔情報を入力とし、グループ境界位置情報を出力する。

平均撮影時間間隔算出手段２３は、各判定時刻（各隣接写真区間の１つまたは複数の判定時刻）における近傍写真の撮影時間間隔の平均値を算出する。極大点検出手段２４は、平均撮影時間間隔算出手段２３によって算出される各判定時刻における近傍写真の撮影時間間隔の平均値から極大点となる判定時刻を検出することによってグループ境界を検出する。

次に、本例のグループ境界決定手段２の動作について説明する。平均撮影時間間隔算出手段２３は、時系列撮影時刻情報と近傍データ指定情報とを入力する。平均撮影時間間隔算出手段２３は、近傍データ指定情報によって指定される各判定時刻における近傍データである近傍写真の撮影時刻データを用いて、各判定時刻における平均撮影時間間隔を算出する。具体的には、まず、近傍写真の中で隣接する撮影時刻間の差分を求めて、これらの平均値を算出すればよい。平均撮影時間間隔の算出方法としては、単純に平均をとってもよいし、判定時刻からの時間的な距離に応じて加重して平均をとるようにしてもよい。そして、算出した各判定時刻における近傍写真の平均撮影時間間隔を示す平均時間間隔情報を極大点検出手段２４に出力する。

極大点検出手段２４は、平均撮影時間間隔算出手段２３から出力される平均時間間隔情報に基づいて、平均撮影時間間隔の極大点を検出する。例えば、時系列に並べた各判定時刻における平均撮影時間間隔の値の増減を算出していき、増加から減少に転じた点（判定時刻）を極大点として検出する。具体的には，時刻ｔにおける平均撮影時間間隔をｇ（ｔ）とすると、連続した３つの判定時刻をＴｍ−１，Ｔｍ，Ｔｍ＋１に対し、以下の式（９）を満たすＴｍを極大点として検出する。なお、極大点は、ある程度の振れ幅をもった変化によって検出されるようになっていてもよい。

ｇ（Ｔｍ−１）＜ｇ（Ｔｍ）、かつ、ｇ（Ｔｍ）＞ｇ（Ｔｍ＋１） ・・・式（９）

これ以外にも、極大点を検出する任意の方法を用いることができる。極大点検出手段２４は、極大点が検出された場合に、その極大点の前後でグループが分かれたものと判定すればよい。すなわち、極大点が検出された判定時刻をＴｍとすると、既に示した式（７）を満たすｋ番目とｋ＋１番目の写真の隣接写真区間にグループ境界があると判定する。なお、極大点によるグループ境界の判定は、図７に示した極小点によるグループ境界の判定と同様である。

平均撮影時間間隔は、撮影密度の逆数と解釈することもできるため、撮影密度を用いた場合と同様に、各隣接写真区間内の判定時刻での平均時間間隔の起伏に基づいて撮影傾向の変化を検出することによって、関連技術として知られている単純な閾値処理の場合に比べて精度よく写真をグループ化することができる。また、平均撮影時間間隔の算出に用いる撮影時刻データに、時間的に非常に離れた撮影時刻データを用いないため、高精度にグループ化することができる。

また、グループ境界決定手段２の構成は、図１３に示すような構成であってもよい。図１３は、グループ境界決定手段２の他の構成例を示すブロック図である。図１３に示すように、グループ境界決定手段２は、撮影時間間隔算出手段２５と、閾値決定手段２６と、時間間隔閾値処理手段２７とを含んでいてもよい。ここで、撮影時間間隔算出手段２５は、時系列撮影時刻情報を入力とし、時系列に並べた各写真間の撮影時間間隔を示す時系列撮影時間間隔情報を出力する。閾値決定手段２６は、撮影時間間隔算出手段２５から出力される時系列撮影時間間隔情報と近傍データ指定情報とを入力とし、グループ境界の有無の判定基準とする撮影時間間隔の閾値を出力する。時間間隔閾値処理手段２７は、撮影時間間隔算出手段２５から出力される時系列撮影時間間隔情報と、閾値決定手段２６から出力される閾値とを入力とし、グループ境界位置情報を出力する。

撮影時間間隔算出手段２５は、グループ化対象の各写真の撮影時刻情報に基づいて、時系列で並べた各写真間の撮影時間間隔を算出する。閾値決定手段２６は、近傍データ指定情報によって指定される各判定時刻における近傍データに選択された近傍写真間の撮影時間間隔を用いて、グループ境界の有無の判定基準とする撮影時間間隔の閾値を決定する。時間間隔閾値処理手段２７は、閾値決定手段２６によって決定された閾値を用いて、各隣接写真区間の時間間隔を閾値処理することによって、グループ境界の有無を判定する。

次に、本例のグループ境界決定手段２の動作について説明する。撮影時間間隔算出手段２５は、時系列撮影時刻情報を入力する。撮影時間間隔算出手段２５は、時系列で隣接する２つの写真の撮影時刻間の差分を算出し、時系列撮影時間間隔情報として出力する。ここで差分の算出方法は、関連技術として知られているように、時系列で隣接する２つの写真の撮影時刻間での差分を計算してもよいし、あるいは、一定のルールに従って算出したものであってもよい。例えば、時系列で隣接する２つの写真の撮影時刻間での差分を計算した後、さらに前後のいくつかのデータ間で平均をとって撮影時間間隔としてもよい。このようにして算出された時系列撮影時間間隔情報は、閾値決定手段２６および時間間隔閾値処理手段２７に出力される。

閾値決定手段２６は、撮影時間間隔算出手段２５から出力される時系列撮影時刻間隔情報から求まる、近傍データ指定情報によって指定される各判定時刻における近傍データに選択された近傍写真間の撮影時間間隔を用いて、グループ境界の有無の判定基準とする撮影時間間隔の閾値を算出する。なお、閾値決定手段２６は、各判定時刻における近傍写真間の撮影時間間隔が短い場合には閾値を小さくなるようにし、逆に撮影時間間隔が長い場合には閾値を大きくなるように制御する。例えば、既に示した式（３）を用いて、撮影時間間隔の対数を平均した値に基づいて閾値を算出してもよい。そして、算出した閾値を時間間隔閾値処理手段２７に出力する。

時間間隔閾値処理手段２７は、閾値決定手段２６によって決定された閾値を用いて、各隣接写真区間の時間間隔を閾値処理することによって、グループ境界の有無を判定する。

このように、グループ境界の有無の判定基準とする撮影時間間隔の閾値を近傍写真の撮影間隔の長短に応じて適応的に制御することによって、関連技術として知られている単純な閾値処理の場合に比べて精度よく写真をグループ化することができる。また、閾値を決定する際に、時間的に非常に離れた写真の撮影時刻データを用いないため、グループ化の精度を向上できる。

以上のように、本実施の形態によれば、イベントの性質やユーザの撮影性向が異なる場合であっても、高精度に写真をグループ化することができる。その理由は、各隣接写真区間内の判定時刻から撮影時刻までの時間的距離を制約として近傍データを選択し、その近傍データを用いてその隣接写真区間でのグループ境界の有無を判定することで、任意の隣接写真区間で、枚数制限によって漏れることなく同じイベントまたは被写体に関連するであろう一連の写真を判定用に用いることができる。結果、任意の隣接写真区間でユーザの撮影性向やイベントの性質などの影響をより的確に反映させて撮影傾向の変化を検出することができるためである。また、本実施の形態によれば、写真をまばらにしか撮影しない場合でも、精度よくグループ化することができる。その理由は、時間的に近傍の写真の撮影時刻データのみを用いることで、時間的に離れた写真を判定に影響させないためである。

なお、上記説明では、写真をグループ化する点についてのみ説明しているが、写真をグループ化するときの判定に用いた指標を利用すれば、グループ内の代表画像を選ぶといったことも可能である。例えば、撮影密度の極大点や平均時間間隔の極小点を、盛り上がり点として検出し、その盛り上がり点に最も近い時刻に撮影された写真を代表画像として選んでもよい。

実施の形態２．
次に、本発明による第２の実施の形態について図面を参照して説明する。図１４は、本発明による第２の実施の形態における写真グループ化装置の構成例を示すブロック図である。図１４に示す写真グループ化装置は、撮影時刻距離ベース近傍データ選択手段１（単に、近傍データ選択手段１と呼ぶ。）と、グループ境界決定手段２’と、撮影時間間隔算出手段４とを備える。ここで、撮影時間間隔算出手段４は、時系列撮影時刻情報を入力とし、時系列撮影時間間隔情報をグループ境界決定手段２’に出力する。近傍データ選択手段１は、時系列撮影時刻情報を入力とし、近傍データ指定情報をグループ境界決定手段２’に出力する。グループ境界決定手段２’は、撮影時間間隔算出手段４から出力される時系列撮影時間間隔情報と、近傍データ選択手段１から出力される近傍データ指定情報を入力とし、グループ境界位置情報を出力する。

なお、本実施の形態において、グループ境界決定手段２’は、入力される情報が時系列撮影時間間隔情報である点で第１の実施の形態におけるグループ境界決定手段２と異なる。なお、近傍データ選択手段１は、第１の実施の形態における近傍データ選択手段１と同様である。また、撮影時間間隔算出手段４は、図１３に示す撮影時間間隔算出手段２５と同様である。

次に、本実施の形態の動作について説明する。撮影時間間隔算出手段４は時系列撮影時刻情報を入力する。撮影時間間隔算出手段４は、時系列撮影時刻情報に基づいて、時系列で並べた各写真間の撮影時間間隔を算出する。撮影時間間隔算出手段４の動作は、図１３に示す撮影時間間隔算出手段２５と同様であって、時系列撮影時間間隔情報を出力する。

一方、時系列撮影時刻情報は、近傍データ選択手段１にも入力される。近傍データ選択手段１は、時系列撮影時刻情報を入力すると、各隣接写真区間内に定めた判定時刻からの時間的距離制約を満たす撮影時刻データを指定するための情報である近傍データ指定情報をグループ境界決定手段２’に出力する。近傍データ選択手段１の動作は、図１に示す第１の実施の形態における近傍データ選択手段１と同様であって、近傍データ指定情報を出力する。

グループ境界決定手段２’は、撮影時間間隔算出手段４から出力される時系列撮影時間間隔情報と、近傍データ選択手段１から出力される近傍データ指定情報とを入力する。グループ境界決定手段２’は、時系列撮影時刻間隔情報から求まる、近傍データ指定情報によって指定される各判定時刻における近傍データに選択された近傍写真間の撮影時間間隔を用いて、各隣接写真区間にグループ境界があるか否かを判定する。そして、判定結果に基づき、グループ境界位置情報を出力する。

次に、グループ境界決定手段２’についてより詳細に説明する。

図１５は、グループ境界決定手段２’の構成例を示すブロック図である。図１５に示すように、グループ境界決定手段２’は、撮影密度算出手段２１’と、極小点検出手段２２とを含んでいてもよい。ここで、撮影密度算出手段２１’は、時系列撮影時間間隔情報と近傍データ指定情報とを入力とし、密度情報を出力する。極小点検出手段２２は、撮影密度算出手段２１’から出力される密度情報を入力とし、グループ境界位置情報を出力する。

本例において、撮影密度算出手段２１’は、入力される情報が時系列撮影時間間隔情報である点で、図７に示す第１の実施の形態における撮影密度算出手段２１と異なる。なお、極小点検出手段２２は、図７に示す極小点検出手段２２と同様である。

次に、本例のグループ境界決定手段２’の動作について説明する。時系列撮影時間間隔情報が入力されると、撮影密度算出手段２１’は、近傍データ指定情報によって指定される各判定時刻における近傍データに選択された近傍写真間の撮影時間間隔を、時系列撮影時刻間隔情報から求め、求めた近傍写真間の撮影時間間隔を用いて、各判定時刻での撮影密度を計算する。なお、近傍写真間の撮影時間間隔は、時系列撮影時刻間隔情報から近傍写真間の撮影時間間隔に該当する撮影時間間隔データを選択するだけで求まる場合もある。撮影密度の計算は、各近傍写真間の撮影時間間隔の平均を算出し、その逆数を撮影密度としてもよい。仮に、ある判定時刻において近傍写真間の撮影時間間隔が存在しない場合（例えば、時間的距離の制約によって１つしか近傍写真が選択されなかった場合）には、撮影密度を０と見なしてもよい。なお、撮影時間間隔の平均としては、単純平均を求めてもよいし、判定時刻からの時間的距離に応じて重み付けして平均をとるようにしてもよい。そして、撮影密度算出手段２１’は、算出した各判定時刻における撮影密度を示す密度情報を極小点検出手段２２に出力する。

極小点検出手段２２の動作は、図７に示す極小点検出手段２２と同様であり、撮影密度算出手段２１’から出力される密度情報に基づいて、撮影密度の極小点を検出し、その検出結果に基づいてグループ境界の有無を判定する。

このように、撮影時刻データを直接用いるかわりに撮影時間間隔データを用いても同様に、撮影密度の起伏に基づく撮影傾向の変化を検出することができ、結果、精度よく写真をグループ化することができる。

また、グループ境界決定手段２’の構成は、図１６に示すような構成であってもよい。図１６は、グループ境界決定手段２’の他の構成例を示すブロック図である。図１６に示すように、グループ境界決定手段２’は、平均撮影時間間隔算出手段２３’と、極大点検出手段２４とを含んでいてもよい。ここで、平均撮影時間間隔算出手段２３’は、時系列撮影時間間隔情報と近傍データ指定情報とを入力とし、平均時間間隔情報を出力する。極大点検出手段２４は、平均撮影時間間隔算出手段２３’から出力される平均時間間隔情報を入力とし、グループ境界位置情報を出力する。

本例において、平均撮影時間間隔算出手段２３’は、入力される情報が時系列撮影時間間隔情報である点で、図８に示す第１の実施の形態における平均撮影時間間隔算出手段２３と異なる。なお、極大点検出手段２４は、図８に示す極大点検出手段２４と同様である。

次に、本例のグループ境界決定手段２’の動作について説明する。時系列撮影時間間隔情報が入力されると、平均撮影時間間隔算出手段２３’は、近傍データ指定情報によって指定される各判定時刻における近傍データに選択された近傍写真間の撮影時間間隔を、時系列撮影時刻間隔情報から求め、求めた近傍写真間の撮影時間間隔を用いて、各判定時刻での平均撮影時間間隔を算出する。平均撮影時間間隔の算出方法は、図８に示す平均撮影時間間隔算出手段２３と同様である。そして、平均撮影時間間隔算出手段２３’は、算出した各判定時刻における平均撮影時間間隔を示す平均時間間隔情報を極大点検出手段２４に出力する。

極大点検出手段２４の動作は、図８に示す極大点検出手段２４と同様であり、平均撮影時間間隔算出手段２３’から出力される平均時間間隔情報に基づいて、平均撮影時間間隔の極大点を検出し、その検出結果に基づいてグループ境界の有無を判定する。

このように、撮影時刻データを直接用いるかわりに撮影時間間隔データを用いても同様に、平均撮影時間間隔の起伏に基づく撮影傾向の変化を検出することができ、結果、精度よく写真をグループ化することができる。

また、グループ境界決定手段２’の構成は、図１７に示すような構成であってもよい。図１７は、グループ境界決定手段２’の他の構成例を示すブロック図である。図１７に示すように、グループ境界決定手段２’は、閾値決定手段２６と、時間間隔閾値処理手段２７とを含んでいてもよい。ここで、閾値決定手段２６は、時系列撮影時間間隔情報と近傍データ指定情報とを入力とし、閾値を出力する。時間間隔閾値処理手段２７は、閾値決定手段２６’から出力される閾値と、時系列撮影時間間隔情報とを入力とし、グループ境界位置情報を出力する。

本例は、図１３に示すグループ境界決定手段２の例における撮影時間間隔算出手段２５が撮影時間間隔算出手段４として構成されていることによって省略されている。なお、他の点に関しては、図１３に示すグループ境界決定手段２と同様である。

このように、グループ境界決定手段２’に対し撮影時間間隔データが入力される構成においても同様に閾値を近傍写真の撮影間隔の長短に応じて適応的に制御することができ、結果、関連技術として知られている単純な閾値処理の場合に比べて精度よく写真をグループ化することができる。

実施の形態３．
次に、本発明による第３の実施の形態について図面を参照して説明する。図１８は、本発明による第３の実施の形態における写真グループ化装置の構成例を示すブロック図である。図１８に示す写真グループ化装置は、撮影時刻距離ベース近傍データ選択手段１’（単に、近傍データ選択手段１’と呼ぶ。）と、グループ境界決定手段２’と、撮影時間間隔算出手段４とを備える。ここで、撮影時間間隔算出手段４は、時系列撮影時刻情報を入力とし、時系列撮影時間間隔情報をグループ境界決定手段２’に出力する。近傍データ選択手段１’は、撮影時間間隔算出手段４から出力される時系列撮影時間間隔情報を入力とし、近傍データ指定情報をグループ境界決定手段２’に出力する。グループ境界決定手段２’は、撮影時間間隔算出手段４から出力される時系列撮影時間間隔情報と、近傍データ選択手段１から出力される近傍データ指定情報を入力とし、グループ境界位置情報を出力する。

なお、本実施の形態は、近傍データ選択手段１’に入力される情報が時系列撮影時間間
隔情報である点で、図１４に示す第２の実施の形態と異なる。

近傍データ選択手段１’は、時系列撮影時間間隔情報に基づいて、各隣接写真区間に対し、その隣接写真区間内に定めたある時刻からの時間的距離制約を満たす撮影時刻を有する写真をグループ境界の有無の判定に用いる近傍写真として選択し、グループ境界決定手段２’に対してその近傍写真間の撮影時間間隔データを指定するための近傍データ指定情報を出力する。本実施の形態では、近傍データ選択手段１’は、時系列撮影時間間隔情報の中から、各隣接写真区間内に定めた判定時刻とその写真の撮影時刻との時間間隔が、所定の制約を満たしている写真の撮影時間間隔データを近傍データとして選択し、その近傍データを指定する近傍データ指定情報を出力することによって、グループ境界決定手段２’に近傍写真を指定している。

具体的には，j番目とｊ＋１番目の写真の間にグループ境界が存在するかどうかの判定に用いる近傍データとして、既に示した式（４）を満たす判定時刻Tからの時間的距離がある一定の制約を満たす撮影時間間隔ｄ（ｉ）を示す撮影時間間隔データを近傍データとして選択する。例えば、一定時間Ｗ以内であるという制約を用いる場合には、既に示した式（５）と等価な以下の式（１０）を満たすｉ０とｉ１を求め、インデックスがｉ０からｉ１に含まれる写真間の撮影時間間隔データを近傍データとして選択してもよい。ここで、Δ＝Ｔ−Ｔ（ｊ）であり、隣接写真区間内における判定時刻Ｔの位置に応じて０からｄ（ｊ）までの任意の値をとる。

そして、近傍データ選択手段１’は、例えば、各判定時刻Ｔ（各隣接写真区間内に設定した１つまたは複数の判定時刻Ｔ）に対し、選択した近傍データを指定する近傍データ指定情報をグループ境界決定手段２’に出力する。近傍データ指定情報は、選択した近傍データそのもの（近傍写真間の撮影時間間隔データ）であってもよいし、または、近傍データとして選択された写真のインデックス値を示す情報であってもよい。また、連続した写真を近傍写真に選択した場合には、選択した写真の範囲を示すインデックス値（例えば、選択した写真のインデックスの最大値と最小値や、最大値か最小値の一方と選択した個数など）であってもよい。なお、グループ境界決定手段２’の動作は、図１４に示すグループ境界決定手段２’と同様である。なお、連続していない写真を近傍写真に選択する場合には、近傍データ選択手段１’が、時系列撮影時間間隔情報に基づいて、選択した近傍写真間の撮影時間間隔を求めて、求めた近傍写真間の撮影時間間隔データを示す近傍データ指定情報を出力してもよいし、グループ境界決定手段２’が、近傍データ指定情報で示される近傍写真のインデックス値と、時系列撮影時間間隔情報とに基づいて、近傍写真間の撮影時間間隔を求めるようにしてもよい。

なお、グループ境界決定手段２’は、第２の実施の形態と同様に、その近傍データ指定情報で示される近傍写真間の撮影時間間隔を用いて、各隣接写真区間にグループ境界があるか否かを判定する。

このように、本実施の形態によれば、写真グループ化装置に対し時系列撮影時間間隔情報が入力される構成においても、同様に高精度に写真をグループ化することができる。

以上好ましい実施の形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施の形態（及び実施例）に限定されるものでない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００７年４月１３日に出願された日本出願特願２００７−１０６００４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、複数の写真データをその撮影時刻を含んで管理するような装置に適用可能である。例えば、写真データを保持しているデジタルカメラ装置やカメラ付き携帯端末、またはこれらを用いて撮影した写真の写真データが入力されるパーソナルコンピュータ等に好適に適用可能である。また、本発明は、これら装置にインストールされる写真グループ化用プログラムとしても適用可能である。

Claims (44)

1. 撮影された順に配列される写真群において隣接する２つの写真の間にグループ境界があるか否かを判定することによって、写真をグループ化する写真グループ化装置であって、
   前記写真群において隣接する２つの写真の撮影時刻によって挟まれる時間区間である各隣接写真区間内に定めたある時刻からの所定の時間的距離制約を満たしている写真の撮影時刻または写真間の撮影時間間隔に基づいて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する
   ことを特徴とする写真グループ化装置。
2. 時間的距離制約は、時間間隔が一定の時間以下という制約である
   請求項１に記載の写真グループ化装置。
3. 各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、該隣接写真区間内の１つまたは複数のある時刻と撮影時刻との間で所定の時間的距離制約を満たしている写真を近傍写真として指定する近傍写真指定手段と、
   各隣接写真区間に対し、前記時系列撮影時刻情報で示される前記近傍写真指定手段によって該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真の撮影時刻を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定するグループ境界決定手段とを備えた
   請求項１または請求項２に記載の写真グループ化装置。
4. グループ境界決定手段は、
   各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真の撮影時刻を用いて、各判定時刻を基準とする所定の時間領域に対して写真を撮影する行為が密集している度合いを示す撮影密度を算出する撮影密度算出手段と、
   前記撮影密度算出手段によって算出された各判定時刻での撮影密度を比較して極小点を検出し、検出された極小点の時間領域における位置に基づいてグループ境界を判定する極小点検出手段とを含む
   請求項３に記載の写真グループ化装置。
5. グループ境界決定手段は、
   各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真の撮影時刻を用いて、各判定時刻を基準とする所定の時間領域において撮影された写真間の撮影時間間隔の平均値を示す平均撮影時間間隔を算出する平均撮影時間間隔算出手段と、
   前記平均撮影時間間隔算出手段によって算出された各判定時刻での平均撮影時間間隔を比較して極大点を検出し、検出された極大点の時間領域における位置に基づいてグループ境界を判定する極大点検出手段とを含む
   請求項３に記載の写真グループ化装置。
6. グループ境界決定手段は、
   時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出する撮影時間間隔算出手段と、
   各隣接写真区間に対し、前記撮影時間間隔算出手段によって算出された各隣接写真区間の時間間隔から求まる、近傍写真指定手段によって該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間の時間間隔の閾値を決定する閾値決定手段と、
   前記閾値決定手段によって決定された各隣接写真区間の時間間隔の閾値を用いて、各隣接写真区間の時間間隔を閾値処理し、閾値処理の結果に応じてグループ境界を判定する閾値処理手段とを含む
   請求項３に記載の写真グループ化装置。
7. 撮影密度算出手段は、近傍写真として指定された写真の撮影時刻を中心とする一定の範囲で正の値をもつ非負関数であるウィンドウ関数の重ね合わせとして撮影密度を算出する
   請求項４に記載の写真グループ化装置。
8. ウィンドウ関数は、原点から離れるに従って減衰する関数である
   請求項７に記載の写真グループ化装置。
9. 時系列撮影時刻情報に基づいて、ウィンドウ関数におけるウィンドウ幅を規定する時間幅を決定する時間幅決定手段を備え、
   撮影密度算出手段は、前記時間幅決定手段によって決定された時間幅に応じてウィンドウ関数におけるウィンドウ幅を変化させる
   請求項７または請求項８に記載の写真グループ化装置。
10. グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出する撮影時間間隔算出手段と、
    各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、前記時系列撮影時刻情報に基づいて、該隣接写真区間内の１つまたは複数のある時刻と撮影時刻との間で所定の時間的距離制約を満たしている写真を近傍写真として指定する近傍写真指定手段と、
    各隣接写真区間に対し、前記撮影時間間隔算出手段によって算出された各隣接写真区間の時間間隔から求まる、前記近傍写真指定手段によって該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定するグループ境界決定手段とを備えた
    請求項１または請求項２に記載の写真グループ化装置。
11. グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出する撮影時間間隔算出手段と、
    各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、前記撮影時間間隔算出手段が算出した各隣接写真区間の時間間隔に基づいて、前記判定時刻からの時間的距離制約を満たす撮影時刻を示している写真を近傍写真として指定する近傍写真指定手段と、
    各隣接写真区間に対し、前記撮影時間間隔算出手段によって算出された各隣接写真区間の時間間隔から求まる、前記近傍写真指定手段によって該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定するグループ境界決定手段とを備えた
    請求項１または請求項２に記載の写真グループ化装置。
12. グループ境界決定手段は、
    各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、各判定時刻を基準とする所定の時間領域に対して写真を撮影する行為が密集している度合いを示す撮影密度を算出する撮影密度算出手段と、
    前記撮影密度算出手段によって算出された各判定時刻における撮影密度を比較して極小点を検出し、検出された極小点の時間領域における位置に基づいてグループ境界を判定する極小点検出手段とを含む
    請求項１０または請求項１１に記載の写真グループ化装置。
13. 撮影密度算出手段は、判定時刻における近傍写真として指定された写真間の撮影時間間隔の平均値の逆数として、撮影密度を算出する
    請求項１２に記載の写真グループ化装置。
14. グループ境界決定手段は、
    各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、各判定時刻を基準とする所定の時間領域において撮影された写真間の撮影時間間隔の平均値を示す平均撮影時間間隔を算出する平均撮影時間間隔算出手段と、
    前記平均撮影時間間隔算出手段によって算出された各判定時刻での平均撮影時間間隔を比較して極大点を検出し、検出された極大点の時間領域における位置に基づいてグループ境界を判定する極大点検出手段とを含む
    請求項１０または請求項１１に記載の写真グループ化装置。
15. グループ境界決定手段は、
    各隣接写真区間に対し、該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間の時間間隔の閾値を決定する閾値決定手段と、
    前記閾値決定手段によって決定された各隣接写真区間の時間間隔の閾値を用いて、各隣接写真区間の時間間隔を閾値処理し、閾値処理の結果に応じてグループ境界を判定する閾値処理手段とを含む
    請求項１０または請求項１１に記載の写真グループ化装置。
16. 近傍写真指定手段は、隣接写真区間内の判定時刻と撮影時刻との間の時間間隔が一定の時間以下であることを時間的距離制約にして、近傍写真を指定する
    請求項３から請求項１５のうちのいずれか１項に記載の写真グループ化装置。
17. 時系列撮影時刻情報に基づいて、時間的距離制約における時間幅を決定する時間幅決定手段を備え、
    近傍写真指定手段は、隣接写真区間内の判定時刻と撮影時刻との間の時間間隔が、前記時間幅決定手段によって決定された時間幅で示される一定の時間以下であることを時間的距離制約にして、近傍写真を指定する
    請求項１６に記載の写真グループ化装置。
18. 時間幅決定手段は、
    時系列撮影時刻情報に基づいて、撮影対象となったイベントの種別を推定するイベント推定手段と、
    前記イベント推定手段によって推定されたイベント種別に基づいて、各イベント種別に応じて予測された典型的な撮影パターンを反映させた時間幅を算出する時間幅算出手段とを含む
    請求項１７に記載の写真グループ化装置。
19. イベント推定手段は、各写真の画像データまたは各写真の撮影位置に基づいて、イベントの種別を推定する
    請求項１８に記載の写真グループ化装置。
20. 時間幅算出手段は、ユーザから指定されるグループ化の単位とするイベントの規模を示すイベント粒度に基づいて、イベント粒度が細かい程時間幅が小さくなり、イベント粒度が粗い程時間幅が大きくなるように時間幅を算出する
    請求項１８または請求項１９に記載の写真グループ化装置。
21. 撮影された順に配列される写真群において隣接する２つの写真の間にグループ境界があるか否かを判定することによって、写真をグループ化する写真グループ化方法であって、
    前記写真群において隣接する２つの写真の撮影時刻によって挟まれる時間区間である各隣接写真区間内に定めたある時刻からの所定の時間的距離制約を満たしている写真の撮影時刻または写真間の撮影時間間隔に基づいて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する
    ことを特徴とする写真グループ化方法。
22. 時間的距離制約は、時間間隔が一定の時間以下という制約である
    請求項２１に記載の写真グループ化方法。
23. 近傍写真指定手段が、各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、該隣接写真区間内の１つまたは複数のある時刻と撮影時刻との間で所定の時間的距離制約を満たしている写真を近傍写真として指定し、
    グループ境界決定手段が、各隣接写真区間に対し、前記時系列撮影時刻情報で示される該隣接写真区間内の１つまたは複数の判定時刻における前記近傍写真として指定された写真の撮影時刻を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する
    請求項２１または請求項２２に記載の写真グループ化方法。
24. グループ境界決定手段が、各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真の撮影時刻を用いて、各判定時刻を基準とする所定の時間領域に対して写真を撮影する行為が密集している度合いを示す撮影密度を算出し、
    グループ境界決定手段が、算出された各判定時刻での撮影密度を比較して極小点を検出し、検出された極小点の時間領域における位置に基づいてグループ境界を判定する
    請求項２３に記載の写真グループ化方法。
25. グループ境界決定手段が、各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真の撮影時刻を用いて、各判定時刻を基準とする所定の時間領域において撮影された写真間の撮影時間間隔の平均値を示す平均撮影時間間隔を算出し、
    グループ境界決定手段が、算出された各判定時刻での平均撮影時間間隔を比較して極大点を検出し、検出された極大点の時間領域における位置に基づいてグループ境界を判定する
    請求項２３または請求項２４に記載の写真グループ化方法。
26. グループ境界決定手段が、時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出し、
    グループ境界決定手段が、各隣接写真区間に対し、前記算出された各隣接写真区間の時間間隔から求まる、該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間の時間間隔の閾値を決定し、
    グループ境界決定手段が、決定された各隣接写真区間の時間間隔の閾値を用いて、各隣接写真区間の時間間隔を閾値処理し、閾値処理の結果に応じてグループ境界を判定する
    請求項２３から請求項２５のうちのいずれか１項に記載の写真グループ化方法。
27. グループ境界決定手段が、近傍写真として指定された写真の撮影時刻を中心とする一定の範囲で正の値をもつ非負関数であるウィンドウ関数の重ね合わせとして撮影密度を算出する
    請求項２６に記載の写真グループ化方法。
28. ウィンドウ関数が、原点から離れるに従って減衰する関数である
    請求項２７に記載の写真グループ化方法。
29. 時間幅決定手段が、時系列撮影時刻情報に基づいて、ウィンドウ関数におけるウィンドウ幅を規定する時間幅を決定し、
    グループ境界決定手段が、前記時間幅決定手段によって決定された時間幅に応じてウィンドウ関数におけるウィンドウ幅を変化させる
    請求項２７または請求項２８に記載の写真グループ化方法。
30. 撮影時間間隔算出手段が、グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出し、
    近傍写真指定手段が、各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、前記時系列撮影時刻情報に基づいて、該隣接写真区間内の１つまたは複数のある時刻と撮影時刻との間で所定の時間的距離制約を満たしている写真を近傍写真として指定し、
    グループ境界決定手段が、各隣接写真区間に対し、前記算出された各隣接写真区間の時間間隔から求まる、該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する
    請求項２１または請求項２２に記載の写真グループ化方法。
31. 撮影時間間隔算出手段が、グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出し、
    近傍写真指定手段が、各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、前記算出した各隣接写真区間の時間間隔に基づいて、前記判定時刻からの時間的距離制約を満たす撮影時刻を示している写真を近傍写真として指定し、
    グループ境界決定手段が、各隣接写真区間に対し、前記算出された各隣接写真区間の時間間隔から求まる、該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する
    請求項２１または請求項２２に記載の写真グループ化方法。
32. グループ境界決定手段が、各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、各判定時刻を基準とする所定の時間領域に対して写真を撮影する行為が密集している度合いを示す撮影密度を算出し、
    グループ境界決定手段が、算出された各判定時刻における撮影密度を比較して極小点を検出し、検出された極小点の時間領域における位置に基づいてグループ境界を判定する
    請求項３０または請求項３１に記載の写真グループ化方法。
33. グループ境界決定手段が、判定時刻における近傍写真として指定された写真間の撮影時間間隔の平均値の逆数として、撮影密度を算出する
    請求項３２に記載の写真グループ化方法。
34. グループ境界決定手段が、各隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、各判定時刻を基準とする所定の時間領域において撮影された写真間の撮影時間間隔の平均値を示す平均撮影時間間隔を算出し、
    グループ境界決定手段が、算出された各判定時刻での平均撮影時間間隔を比較して極大点を検出し、検出された極大点の時間領域における位置に基づいてグループ境界を判定する
    請求項３０または請求項３１に記載の写真グループ化方法。
35. グループ境界決定手段が、各隣接写真区間に対し、該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間の時間間隔の閾値を決定し、
    グループ境界決定手段が、決定された各隣接写真区間の時間間隔の閾値を用いて、各隣接写真区間の時間間隔を閾値処理し、閾値処理の結果に応じてグループ境界を判定する
    請求項３０または請求項３１に記載の写真グループ化方法。
36. 近傍写真指定手段が、隣接写真区間内の判定時刻と撮影時刻との間の時間間隔が一定の時間以下であることを時間的距離制約にして、近傍写真を指定する
    請求項２３から請求項３５のうちのいずれか１項に記載の写真グループ化方法。
37. 時間幅決定手段が、時系列撮影時刻情報に基づいて、時間的距離制約における時間幅を決定し、
    近傍写真指定手段が、隣接写真区間内の判定時刻と撮影時刻との間の時間間隔が前記時間幅で示される一定の時間以下であることを時間的距離制約にして、近傍写真を指定する
    請求項３６に記載の写真グループ化方法。
38. 時間幅決定手段が、時系列撮影時刻情報に基づいて、撮影対象となったイベントの種別を推定し、
    時間幅決定手段が、推定されたイベント種別に基づいて、各イベント種別に応じて予測された典型的な撮影パターンを反映させた時間幅を算出する
    請求項３７に記載の写真グループ化方法。
39. 時間幅決定手段が、各写真の画像データまたは各写真の撮影位置に基づいて、イベントの種別を推定する
    請求項３８に記載の写真グループ化方法。
40. 時間幅決定手段が、ユーザから指定されるグループ化の単位とするイベントの規模を示すイベント粒度に基づいて、イベント粒度が細かい程時間幅が小さくなるように、イベント粒度が粗い程時間幅が大きくなるように時間幅を算出する
    請求項３８または請求項３９に記載の写真グループ化方法。
41. 撮影された順に配列される写真群において隣接する２つの写真の間にグループ境界があるか否かを判定することによって、写真をグループ化するための写真グループ化用プログラムであって、
    コンピュータに、
    前記写真群において隣接する２つの写真の撮影時刻によって挟まれる時間区間である各隣接写真区間内に定めたある時刻からの所定の時間的距離制約を満たしている写真の撮影時刻または写真間の撮影時間間隔に基づいて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する処理
    を実行させるための写真グループ化用プログラム。
42. 前記コンピュータに、
    各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、該隣接写真区間内の１つまたは複数のある時刻と撮影時刻との間で所定の時間的距離制約を満たしている写真を近傍写真として指定する処理、および
    各隣接写真区間に対し、前記時系列撮影時刻情報で示される該隣接写真区間内の１つまたは複数の判定時刻における前記近傍写真として指定された写真の撮影時刻を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する処理
    を実行させる請求項４１に記載の写真グループ化用プログラム。
43. 前記コンピュータに、
    グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出する処理、
    各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、前記時系列撮影時刻情報に基づいて、該隣接写真区間内の１つまたは複数のある時刻と撮影時刻との間で所定の時間的距離制約を満たしている写真を近傍写真として指定する処理、および
    各隣接写真区間に対し、前記算出された各隣接写真区間の時間間隔から求まる、該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する処理
    を実行させる請求項４１に記載の写真グループ化用プログラム。
44. 前記コンピュータに、
    グループ化対象の写真群に含まれる各写真の撮影時刻を示す時系列撮影時刻情報に基づいて、グループ化対象の写真群において隣接する写真間の撮影時間間隔である各隣接写真区間の時間間隔を算出する処理、
    各隣接写真区間に対し、該隣接写真区間内の１つまたは複数のある時刻を判定時刻として定め、前記算出した各隣接写真区間の時間間隔に基づいて、前記判定時刻からの時間的距離制約を満たす撮影時刻を示している写真を近傍写真として指定する処理、および
    各隣接写真区間に対し、前記算出された各隣接写真区間の時間間隔から求まる、該隣接写真区間内の１つまたは複数の判定時刻における近傍写真として指定された写真間の撮影時間間隔を用いて、該隣接写真区間内での撮影傾向の変化を検出することによって、各隣接写真区間を挟んでいる２つの写真の間にグループ境界があるか否かを判定する処理
    を実行させる請求項４１に記載の写真グループ化用プログラム。
    
    
    
    

Images