JP5548260B2

JP5548260B2 - 消費者画像コレクション内の重要なイベントの検出

Info

Publication number: JP5548260B2
Application number: JP2012516050A
Authority: JP
Inventors: ダスマディラクシ; アレクサンダーシールイ
Original assignee: インテレクチュアルベンチャーズファンド８３エルエルシー
Priority date: 2009-06-19
Filing date: 2010-06-04
Publication date: 2014-07-16
Anticipated expiration: 2030-06-04
Also published as: WO2010147623A1; CN102804178A; EP2443568A1; US8340436B2; JP2012530962A; CN102804178B; US20100322524A1

Description

本発明は、一般に、デジタル画像処理の分野に関し、詳細には、消費者画像コレクション内の重要なイベントを描写しているデジタル画像のグループを特定する方法に関する。

デジタルカメラおよびスキャナの急増により、デジタル画像の爆発的な増加がもたらされており、大きな個人的画像データベースを作り出している。デジタル写真を撮ることは容易であり、事実上無料であるので、消費者は、もはや写真撮影を大事なイベントや特別な行事に制限しない。画像は頻繁に取り込まれ、消費者の生活において日常的に生じるものである。典型的なユーザは、既に、長年のデジタル画像を集積しているので、そのコレクションを閲覧して、大事なイベント中に撮られた画像を見つけることは、消費者にとって、既に時間のかかる工程である。

画像をイベントに分類するという仕事がある。２００３年８月１２日に発行された、エー・ルイ（Ａ．Ｌｏｕｉ）およびイー・パヴィに付与された、”Ａｍｅｔｈｏｄｆｏｒａｕｔｏｍａｔｉｃａｌｌｙｃｌａｓｓｉｆｙｉｎｇｉｍａｇｅｓｉｎｔｏｅｖｅｎｔｓ”という名称の米国特許第６，６０６，４１１号と、２００２年２月２６日に発行された、エー・ルイおよびイー・パヴィに付与された、”Ａｍｅｔｈｏｄｆｏｒａｕｔｏｍａｔｉｃａｌｌｙｃｏｍｐａｒｉｎｇｃｏｎｔｅｎｔｏｆｉｍａｇｅｓｆｏｒｃｌａｓｓｆｉｃａｔｉｏｎｉｎｔｏｅｖｅｎｔｓ”という名称の米国特許第６，３５１，５５６号とが、一時的なイベントおよびサブイベントにより画像コンテンツをクラスタ化するアルゴリズムを開示している。米国特許第６，６０６，４１１号によれば、イベントはむらの無い色分布を有し、したがって、これらの写真は、同一の背景と共に撮られた可能性が高い。各サブイベントでは、共に撮られた全ての背景領域について単一の色およびテクスチャ表現が計算される。上記の２つの特許は、デジタル画像コレクション（集合）内の画像および映像をどのようにしてクラスタ化し、一時的なイベントおよびサブイベントにするかを教示している。用語「イベント」および「サブイベント」は、客観的な意味では、（イベントに対応する）特定の出来事に関するユーザの主観的認識と、（サブイベントに対応する）それらの出来事の区分と、を一致させようとするコンピュータによる処理（ｃｏｍｐｕｔｅｒｍｅｄｉａｔｅｄｐｒｏｃｅｄｕｒｅ）の産物を示すために用いられている。画像をイベントに自動的に整理する別の方法が、２００５年７月５日に発行された、エー・ルイ、エム・ジャンソンおよびゼット・スン（Ｚ．Ｓｕｎ）に付与された、”Ｅｖｅｎｔｃｌｕｓｔｅｒｉｎｇｏｆｉｍａｇｅｓｕｓｉｎｇｆｏｒｅｇｒｏｕｎｄａｎｄｂａｃｋｇｒｏｕｎｄｓｅｇｍｅｎｔａｉｏｎ”という名称の米国特許第６，９１５，０１１号に開示されている。検出されたイベントは、最も古いものから最新のものまで時系列で整理される。

上記方法を使用して、各画像のサムネイルの代わりに時系列に沿ったイベントの代表を見ることにより、特定のイベントを突き止めるためにユーザによって必要とされる閲覧量を低減することが可能である。しかし、典型的なユーザは、依然として、１年の間に１００を超えるそのようなイベントを生成する可能性があり、より多作の写真撮影者は、検出されるイベントが数百件を容易に超える可能性がある。これらのイベントの多くは、日常的な活動を描写しており、ユーザにより特定される大事なまたは特別な行事を描写していない。ユーザがそれらのコレクションの総覧を閲覧することを容易にする、（本書では重要なイベントとして示されている）大事なまたは特別なイベントの小さなセットを作り出す必要がある。さらに、重要なイベントは、特定のユーザの写真撮影行動にカスタマイズされる必要がある。例えば、特別な行事中以外にめったに写真を撮らない人は、それらの人の画像の大部分を重要なイベントに含めるべきであり、一方、毎日習慣的に多数の写真を撮る人は、取り込まれた画像すべてのうちのごく一部を重要なイベントに含めればよい。

欧州特許出願公開第０９９０９９６号明細書欧州特許出願公開第１７８５８９６号明細書米国特許出願公開第２００８／０３３９９１号明細書米国特許出願第６９１５０１１号明細書米国特許出願第６６０６４１１号明細書米国特許出願第６３５１５５６号明細書米国特許出願公開第２００３／００６５４０９号明細書

Loui A. C. et al. "Automated event clustering and qualify screening of consumer pictures for digital albuming" IEEE TRANSACTIONS ON MULTIMEDIA, IEEESERVICE CENTER, PISCATAWAY, NJ, USLNKD-DOI:10.1109/TMM.2003.814723, vol. 5, no. 3, 2003-09-01, 390-402頁, XP002374762, ISSN: 1520-9210

本発明によれば、プロセッサを使用し、
（ａ）画像コレクションから画像カウント時系列を生成し、
（ｂ）画像カウント時系列のモデルを計算し、
（ｃ）画像カウント時系列およびモデルを使用して、重要なイベントを決定する
ステップを含む、デジタル画像コレクション内の重要なイベントを決定する方法が提供されている。

あらゆるユーザに、典型的な写真撮影行動があり、重要なイベントは、通常、この典型的な行動の範囲内に適合しないものである。本発明では、ユーザの写真撮影行動が時系列に変換され、各時間ステップに対してデータ点がある。次いで、時系列モデリング技術を使用し、異なる時間粒度（ｔｉｍｅｇｒａｎｕｌａｒｉｔｙ）でこのデータをモデル化する。このモデルは、ユーザの写真撮影行動を表し、ユーザごとに変化する。重要なイベントは、ユーザのデータに適合されたモデルの出力からの実際のデータの偏差により特定される。

画像および映像の整理および検索は、典型的な消費者にとって問題である。ユーザにとって、それらのコレクションの重要なイベントの総覧を閲覧することができることは有用である。先行技術で開示されている技術は、コレクション内の画像をイベントに分類することを可能にするが、そのようなイベントの重要性または有意性を確認することはできない。その結果、これらは、イベントのリストを閲覧した場合でも重要なイベントを見つけることが難しい程度までイベントの数をつり上げる、面白くないまたはありふれた日常的なイベントを含む。本発明は、重要である可能性が高い、コレクション内で検出されるイベントの小さなサブセット（部分集合）を特定する。重要なイベントの検出はまた、ユーザの写真撮影行動に合わせてカスタマイズされる。

本発明を実現するシステムのブロック図である。図１により実現される方法の全体的な流れ図である。図２のブロック１１０に示されている時系列生成器のより詳細な流れ図である。図２の時系列モデリングブロック１１５のより詳細な流れ図である。本発明に従ってもたらされた画像カウント時系列および分析の特定の例の図である。本発明に従ってもたらされた画像カウント時系列および分析の特定の例の図である。本発明に従ってもたらされた画像カウント時系列および分析の特定の例の図である。図２のブロック１２０に示されている重要イベント検出器のより詳細な流れ図である。本発明による時間粒度の選択方法の流れ図である。

本発明は、当業者に周知のように、コンピュータシステムにおいて実施されることが可能である。以下の記載では、本発明のいくつかの実施形態が、ソフトウェアプログラムとして記載される。そのような方法の均等物もまた、本発明の範囲内に入るハードウェアまたはソフトウェアと見なすことができることを、当業者なら容易に理解するであろう。

画像操作のアルゴリズムおよびシステムは周知であるため、本説明は、本発明の方法の一部を成す、またはそれとより直接的に協働するアルゴリズムおよびシステムを特に対象とする。本明細書に具体的に示されていないかまたは記載されていない、そのようなアルゴリズムおよびシステムの他の態様、ならびに関連する画像信号を生成しかつそれらを別途処理するハードウェアまたはソフトウェアは、当該技術分野で既知のそのようなシステム、アルゴリズム、構成要素、および要素から選択することができる。以下の詳述に記載されている説明を考えれば、その全てのソフトウェア実装は従来のものであり、当該技術分野の通常の技術の範囲内である。コレクション内の映像は、この明細書の以下の部分において、用語「画像」に含まれる。

本発明は、コンピュータハードウェアおよびコンピュータ制御機器において実施することができる。例えば、本方法は、デジタルカメラ、マルチメディアスマートフォン、デジタルプリンタ、インターネットサーバ、キオスク、およびパーソナルコンピュータにおいて実施することができる。図１を参照すると、本発明を実施するコンピュータシステムが示されている。コンピュータシステムが好適な実施形態を例示する目的で示されているが、本発明は、図示のコンピュータシステムに限定されず、デジタルカメラ、ホームコンピュータ、キオスク、またはデジタル画像を処理するための任意の他のシステムに見られるものなど、いかなる電子処理システムにおいても使用することができる。コンピュータ１０は、ソフトウェアプログラムを受容し、処理し、かつ他の処理機能を実行するマイクロプロセッサを用いるユニット２０（本明細書ではプロセッサとも呼ばれる）を含む。メモリユニット３０は、コンピュータプログラムの実行時にプロセッサ２０によりアクセスされる可能性がある、ユーザが供給したデータおよびコンピュータが生成したデータを格納する。（モニタなどの）表示装置７０が、例えばグラフィカルユーザインターフェースによりソフトウェアに関連する情報およびデータを表示するために、コンピュータ１０に電気的に接続されている。キーボード６０もまた、コンピュータに接続されている。入力にキーボード６０を使用する代わりに、当該技術分野で周知の通り、表示装置７０上でセレクタを動かすためにかつセレクタが上に置かれているデータ項目を選択するために、マウスを使用することができる。コンパクトディスク（ＣＤ）およびＤＶＤなどの入力装置５０を、ソフトウェアプログラムおよび他の情報をコンピュータ１０およびプロセッサ２０に入力するために、コンピュータ１０内に挿入することができる。さらに、当該技術分野で周知の通り、ソフトウェアプログラムを内部に格納するために、コンピュータ１０をプログラムすることができる。さらに、（画像、音楽、および映像などの）メディアファイルを、メモリカード、サムドライブ、ＣＤおよびＤＶＤなどの入力装置５０により、または（カメラ、携帯電話、ビデオレコーダなどの）キャプチャ装置を入力装置としてコンピュータ１０に直接接続することにより、コンピュータ１０のメモリ３０へ転送することができる。コンピュータ１０は、ローカルエリアネットワークまたはインターネットなどの外部ネットワークへ、電話線接続または無線接続８０などネットワーク接続していてもよい。ソフトウェアプログラムおよびメディアファイルは、ネットワーク接続により、他のコンピュータまたはインターネットからそのコンピュータへ転送することができる。

また、本発明は、ソフトウェアまたはハードウェアの組合せにおいて実施することができ、物理的に接続されているかまたは同じ物理的位置内に位置する装置に限定されないことに留意されたい。図１に示されている装置の１つ以上は、遠隔的に突き止めることが可能であり、かつネットワークを介して接続することができる。その装置の１つ以上は、直接またはネットワークを介して、無線周波数リンクなどにより無線接続することができる。

図２を参照すると、ユーザのデジタル画像コレクション１０５は、コンピュータ１０のメモリ３０内にある。図の他のブロックは、ソフトウェアプログラムにより実施され、コンピュータ１０のプロセッサ２０により実行される。デジタル画像コレクション１０５は、時系列生成器１１０へ供給される。図３は、時系列生成工程のステップを示す。画像キャプチャの日付および時間の情報が、（カメラなどの）キャプチャ装置により、デジタル画像コレクション１０５の画像ファイル内に格納されているＥＸＩＦメタデータから抽出される（２０５）。数か月（季節のキャプチャ）、月、週、日または時間とすることができると考えられる時間単位のセットが決定され、その単位のサイズは粒度と呼ばれる。時間単位当たり１つの画像カウントが生成されるので、選択される時間単位の範囲は、画像コレクションのサイズにより制限される。信頼できる結果を生じるには少なくとも４０から５０のデータ点が必要なので、１年に亘るコレクションが、最大１週間の粒度に制限され、季節レベルの粒度が、１０年以上に亘るコレクションを必要とすると考えられる。好適な実施形態では、使用される最小粒度は１日の部分（午前、午後、夜）であり、最大粒度は、画像コレクションのサイズにより決定される。少なくとも１年のユーザのコレクションを使用することが推奨される。アキュムレータ２１５が、単位ゼロにあるコレクションから開始して、各時間単位の画像数を数えて、画像カウント時系列のセットを生成する（２２５）。

図２を参照すると、画像カウント時系列は、その画像カウントに適合するモデルを見つけるために分析される（１１５）。図４は、適切なモデルを生成する時系列モデリングのステップを示す。時系列モデリングのための多くの十分に確立された方法がある（”ＩｎｔｒｏｄｕｃｔｉｏｎｔｏＴｉｍｅＳｅｒｉｅｓａｎｄＦｏｒｅｃａｓｔｉｎｇ”ブロックウェルおよびデイビス、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ２００２参照）。画像カウント時系列は、通常、非定常性である（すなわち、それらの平均および標準偏差は、経時的に変化する可能性がある）。例えば、休暇および家族の集い中に連日写真撮影することがあり、平日中には連日ゼロ画像カウントである場合があるなど、写真はグループで撮られることが多いので、モデルは、データの以前の値との相関を取り込む自己回帰成分（ａｕｔｏ−ｒｅｇｒｅｓｓｉｖｅｃｏｍｐｏｎｅｎｔ）を含む必要がある。モデルはまた、写真撮影行動の段階的変化を取り込むことができる移動平均成分（ｍｏｖｉｎｇａｖｅｒａｇｅｃｏｍｐｏｎｅｎｔ）を含む必要がある。この場合に適切なモデルは、自己回帰和分移動平均（ＡＲＩＭＡ：Ａｕｔｏ−ＲｅｇｒｅｓｓｉｖｅＩｎｔｅｇｒａｔｅｄＭｏｖｉｎｇＡｖｅｒａｇｅ）モデルである（ブロックウェルおよびデイビス、上記、１７９〜１８７頁）。モデルＡＲＩＭＡ（ｐ、ｄ、ｑ）は、３つの主要パラメータを有する。ｐは、自己回帰成分の次数であり、ｑは、移動平均成分の次数であり、ｄは、定常性からの偏差を処理するために必要な差分の次数である。ＡＲＩＭＡ（ｐ、ｄ、ｑ）モデルは、

により得られ、ここで、Ｌは、ラグ演算子であり、φは、モデルの自己回帰部分のパラメータであり、θは、移動平均部分のパラメータであり、εは、誤差項である。誤差項は、一般に、ゼロ平均を持つ正規分布からサンプルを抽出された、互いに独立で同一の分布に従う（ｉｉｄ：ｉｎｄｅｐｅｎｄｅｎｔ，ｉｄｅｎｔｉｃａｌｌｙｄｉｓｔｒｉｂｕｔｅｄ）変数と考えられる。

好適な実施形態では、各画像カウント時系列３０５について、第１のステップは、時系列モデルの次数を推定することである（３１０）。ｐおよびｑの初期値が、データの自己相関プロット（ＡＣＦ）と部分自己相関プロット（ＰＡＣＦ）に基づいて決定される（ブロックウェルおよびデイビス、上記、９４〜９５頁）。ＡＣＦがゼロまで急激に降下したかまたはゼロまで降下する間に減衰振動を示した場合、ｐの初期値は、ＰＡＣＦがゼロまで降下する、ラグより小さい値であるように選択され、その場合、厳密なゼロ値の代わりに、ゼロ周辺の９５％信頼区間帯を考慮することが通常である。ＡＣＦが１つ以上のスパイクを示した場合、ｑの初期値は、ＡＣＦがゼロになる（通常、ゼロ周辺の９５％信頼帯の範囲内の）、ラグより小さい値であるように選択される。多数の消費者コレクションにおける実験に基づいて、ＡＣＦがゼロに降下しないかまたは高次差分を必要とする激しい非定常性を示しながら非常にゆっくり降下する事例は、この変域では認められなかった。その結果、ｄの初期推定は１に設定される。ある例が図５に示されている。図５（ａ）は、時間単位としての暦日で１年に亘る画像カウント時系列を示す。図５（ｂ）はＡＣＦプロットを示し、図５（ｃ）はＰＡＣＦプロットを示す。実線の垂直線は９５％信頼区間を示す。両方のプロットは、ラグの２まで有意な値を示し、その後、ゼロまで降下する。この情報に基づいて、ｐ値およびｑ値は１に設定される。ｄの値はデフォルトレベルの１にある。

図４を参照すると、ＡＲＩＭＡモデルのセットが画像カウント時系列に適合されて（３１５）、次数パラメータの初期推定周辺の変動を含む。ｐ＋１／ｐ／ｐ−１，ｄ＋１／ｄ／ｄ−１，ｑ＋１／ｑ／ｑ−１の全ての組合せを有するモデルが生成される。これらの組合せの全てが、厳密にＡＲＩＭＡ法であるとは限らない可能性があり、いくつかの次数がゼロである場合、それらは、ＡＲ、ＭＡ、またはＡＲＭＡに退化する可能性があり、例えばｄ＝０がＡＲＭＡ（ｐ，ｑ）モデルに対応することに留意されたい。モデルフィッティング工程は式（１）のφの値およびθの値を決定する。ｐ個のφパラメータ、ｑ個のθパラメータがあり、かつ付加パラメータは誤差項εの標準偏差であるので、決定される必要があるパラメータの数はｐ＋ｑ＋１に等しいことに留意されたい。モデルフィッティング工程は、大抵の市販の統計分析ソフトウェアパッケージ（例えば、ＳＡＳＣｏｒｐｏｒａｔｉｏｎのＪＭＰ）に実装されている。

実装では、ＡＲＩＭＡなどの混合型モデル（自己回帰成分と移動平均成分とを含む）は、特定することが難しく、多くの試行錯誤を含む。３１５において適合されたいくつかのモデルは、不適切なパラメータ推定およびデータへの不適切な適合に基づいて放棄されなければならない可能性がある。このことは、以下の２つの確認に基づいて、ステップ３２０において行われる。（１）３１５において適合されたＡＲＩＭＡモデルのためのモデルパラメータのいくつかは、２より小さいｔ値（t-Ratio）を有し、それは、パラメータ値がゼロである確率が５％より大きいことを示す。このことは、適合工程により生成されたパラメータ値の比較的低い信頼性を示し、これらのＡＲＩＭＡモデルは放棄される。（２）残差は、３１５において適合されたモデルと画像カウント時系列との間で計算される。残差は、モデルにより予測された値とその時点の実際の値との間の差として定義される。理想的な事例では、モデルがデータに良く適合した場合、残差は、おおよそｉｉｄである（互いに独立で同一の分布に従う）。残差がｉｉｄである場合、残差のＡＣＦプロットは、全てのラグについて９５％信頼レベルの範囲内である値を有する。これが４０のラグのうち３つより多くに関する事例ではない場合、または１つが９５％領域の遠く外側に入った場合、ｉｉｄ仮説は拒絶される可能性がある（ブロックウェルおよびデイビス、上記、１６６〜１６７頁）。この場合、ＡＲＩＭＡモデルは、データにあまり良く適合せず、放棄される。

残りのモデルは全て、データに適合し、実行可能である。最良のモデルの特定は、適合度を決定するのに用いられる複数の基準に基づくことができる（ブロックウェルおよびデイビス、上記、１７１〜１７４頁）。好適な実施形態では、ブロックウェルおよびデイビス、上記、１７１頁に定義されている通り、赤池情報量基準（ＡＩＣＣ：ＡｋａｉｋｅＩｎｆｏｒｍａｔｉｏｎＣｒｉｔｅｒｉｏｎ）が、適合度の尺度として用いられる。この基準は、ステップ３２０の後に残っているＡＲＩＭＡモデルに関して計算される（３２５）。ＡＩＣＣの最良（最低）値を示すモデルが選択される（３３０）。

ＡＲＩＭＡモデルは、経済市場および金融市場の予測に非常に一般的に使用されており、大抵の市販の統計分析ソフトウェアパッケージが、ｐ値、ｄ値、およびｑ値を特定することによりＡＲＩＭＡモデルにフィッティングする（適合させる）ツール（例えば、ＳＡＳｃｏｒｐｏｒａｔｉｏｎのＪＭＰ、ＡｕｔｏｍａｔｉｃＦｏｒｅｃａｓｔｉｎｇＳｙｓｔｅｍｓのＡｕｔｏｂｏｘ、およびＢｕｓｉｎｅｓｓＦｏｒｅｃａｓｔＳｙｓｔｅｍｓＩｎｃ．のＦｏｒｅｃａｓｔＰｒｏ）、ならびにＡＣＦプロットおよびＰＡＣＦプロットを分析しかつ前述の検定を実施するツールを含むことは、当業者に周知である。

図２を参照すると、ステップ３３０において選択されたＡＲＩＭＡモデルは、コレクション内の重要なイベントを決定するのに使用される重要イベント検出器１２０に供給される。図６は、重要イベント検出器１２０内で従われるステップを示す。図６を参照すると、選択されたＡＲＩＭＡ４１０モデルの予測された出力は、そのモデルを生成するのに使用された画像カウント時系列４０５と比較される。残差は、各時間ステップにおいて、モデルの予測された出力と画像カウント時系列との間の差として計算される（４１５）。その残差の分散（σ）が計算され、この分散に基づいて閾値が決定される（４２０）。好適な実施形態では、σ／３の閾値が使用される。残差の絶対値が閾値より大きい場合の時間ステップが、「関心時間ステップ」として特定される（４３０）。隣接する関心時間ステップ同士を併合することにより、かつ最低閾値より上の画像カウントを有する時間ステップまたは併合された時間ステップのグループのみを維持することにより、重要なイベントが特定される（４４０）。その好適な実施形態では、この最低閾値は、画像カウント時系列の平均画像カウントである。

図７を参照すると、ステップ２２５において生成された画像カウント時系列の各々は、時系列モデリング１１５および重要イベント検出器１２０を経て、異なる時間粒度で重要なイベントを生成する（５１０）。これら重要なイベント５１０は、時間粒度セレクタ５３０に利用できるようにされ、この時間粒度セレクタ５３０は、追加入力５２０に基づいて使用するために重要なイベントのセットを選択する。追加入力は、ユーザ操作、システム要件、またはユーザ選択を含み得る。閲覧用途では、重要なイベントは、ユーザがコレクションを見ることを選択する時間粒度で選択することができる。例えば、ユーザが１日の短い時間間隔を見ている場合、最小粒度での重要なイベントが示されており、一方、ユーザが５年に亘るコレクションを見ている場合、週時間粒度での重要なイベントが適切である。また、表示能力の観点からのシステム要件が、重要なイベントの数、およびしたがって選択される粒度を決定する可能性がある。例えば、約１０のイベントが表示部に適切な場合、粒度は、重要なイベントの数がその数に近くなるように選択される。また、ユーザが、ある粒度で重要なイベントを見るための選択を設定してもよい。

１０コンピュータ、２０プロセッサ、３０メモリ、５０入力装置、６０キーボード、７０表示装置、８０ネットワーク接続、１０５デジタル画像コレクション、１１０時系列生成器、１１５時系列モデリングステップ、１２０重要イベント検出器、２０５日付／時間を抽出するステップ、２１５時間単位に対するアキュムレータ、２２５画像カウント時系列のグループ、３０５画像カウント時系列、３１０初期パラメータを推定するステップ、３１５ＡＲＩＭＡモデルをフィッティングするステップ、３２０実行可能なモデルを選択するステップ、３２５適合度の尺度を計算するステップ、３３０最良のＡＲＩＭＡモデルを選択するステップ、４０５画像カウント時系列、４１０ＡＲＩＭＡモデル、４１５残差を計算するステップ、４２０閾値を決定するステップ、４３０関心時間ステップを特定するステップ、４４０重要なイベントを特定するステップ、５１０重要なイベント、５２０追加入力、５３０時間粒度セレクタ。

Claims

デジタル画像コレクション内の重要なイベントを決定する方法であって、プロセッサを使用し、
ａ）前記画像コレクションから画像カウント時系列を生成するステップと、
ｂ）前記画像カウント時系列のＡＲＩＭＡ（ｐ、ｄ、ｑ）モデルを計算するステップと、
ｃ）前記画像カウント時系列および前記モデルを使用して重要なイベントを決定するステップと、を含み、
前記ステップｃ）は、
ｉ）各時間単位での、前記モデルにより予測された画像カウントの出力と前記画像カウント時系列との間の差である残差の組を計算するステップと、
ｉｉ）計算された閾値より上の残差を有する関心時間ステップを特定するステップと、
ｉｉｉ）隣接する関心時間ステップを併合し、前記併合された隣接する関心時間ステップに画像カウント閾値を適用して、前記重要なイベントを決定するステップと、
を含む
ことを特徴とする方法。
デジタル画像コレクション内の重要なイベントを決定する方法であって、プロセッサを使用し、
ａ）異なる複数の時間粒度で、前記画像コレクションから画像カウント時系列を生成するステップと、
ｂ）各時間粒度で、前記画像カウント時系列のＡＲＩＭＡ（ｐ、ｄ、ｑ）モデルを計算するステップと、
ｃ）前記画像カウント時系列および前記モデルを使用して、各時間粒度での重要なイベントを決定するステップと、
ｄ）ユーザ操作またはシステム要件に基づいて、前記重要なイベントを決定するステップと、を含み、
前記ステップｃ）は、
ｉ）各時間単位での、前記モデルにより予測された画像カウントの出力と前記画像カウント時系列との間の差である残差の組を計算するステップと、
ｉｉ）計算された閾値より上の残差を有する関心時間ステップを特定するステップと、
ｉｉｉ）隣接する関心時間ステップを併合し、前記併合された隣接する関心時間ステップに画像カウント閾値を適用して、前記重要なイベントを決定するステップと、
を含む
ことを特徴とする方法。
請求項１に記載の方法であって、前記モデルは、適合度スコアを使用して、複数のモデ
ルから選択されることを特徴とする方法。
請求項１に記載の方法であって、前記ステップａ）の前記画像カウント時系列は、異なる複数の時間粒度で生成されることを特徴とする方法。
請求項２に記載の方法であって、前記モデルは、適合度スコアを使用して、複数のモデルから選択されることを特徴とする方法。