JP4139615B2 - 前景／背景セグメント化を用いた画像のイベント・クラスタリング - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、概して、消費者が取り込んだ画像の自動アルバム化の分野に係り、特に、イベントの類似性によって消費者が取り込んだ画像を分類するシステムに関する。
【０００２】
【従来の技術】
画像は、それらを抽出したり、閲覧したり、アルバム化したりする際の便宜のために、特定のイベントや主題などによって分類される場合が多い。通常、これは、手動で画像をセグメント化することによって達成されるか、或いは、似た視覚的コンテンツのグループに画像を分けるために画像を色、形状、テクスチャによってグループ化する自動化された方法によって達成される。コンテンツの正確な判断はこの仕事を容易にする。イベント分類に向けられたものではないが、コンテンツに基づく画像抽出及び画像のコンテンツ描写に取り組んだ従来技術は存在する。いくつかの典型的な参考文献を以下に説明する。
【０００３】
米国特許第６，０７２，９０４号：「Ｆａｓｔ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ ｕｓｉｎｇ ｍｕｌｔｉｓｃａｌｅ ｅｄｇｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｉｍａｇｅｓ」において、画像抽出技術は、マルチスケール・エッジ特性を利用する。データベースの目標画像及び各画像は各画像内のエッジ特性ベクトルによって特徴付けられる。抽出は、画像自体ではなく、この特性ベクトルの比較によって達成される。米国特許第５，９１１，１３９号：「Ｖｉｓｕａｌ ｉｍａｇｅ ｄａｔａｂａｓｅ ｓｅａｒｃｈ ｅｎｇｉｎｅ ｗｈｉｃｈ ａｌｌｏｗｓ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｓｃｈｅｍａ」において、コンテンツに基づく検索及び視覚的オブジェクトの抽出のための視覚情報抽出エンジンが開示されている。該エンジンは、視覚的オブジェクト上で作動するために普遍的なプリミティブ群を用い、類似性スコアを生成するために異種比較を実行する。米国特許第５，８５２，８２３号：「Ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｔｒｉｅｖａｌ ｓｙｓｔｅｍ ｕｓｉｎｇ ａ ｑｕｅｒｙ−ｂｙ−ｅｘａｍｐｌｅ ｐａｒａｄｉｇｍ」は、例ごとの照会による画像分類及び抽出についてのパラダイムを教える。この方法は、意味論をベースとし、言語学的に検索可能な入力画像の所定のグループの数値記述子を生成する。この記述子は、特に個別の画像を自動的に分類するシステムにおいて有益的である。
【０００４】
【発明が解決しようとする課題】
上記３つの特許によって取り組まれたタスクは、画像抽出の一種であり、すなわちデータベースから類似の画像を見つけるものである。これは、消費者画像に対する写真アルバム組織化などの消費者画像に対するイベント・クラスタリングのタスクとは異なる。上記特許に開示された記述子はイベント・クラスタリングのために前景及び背景のセグメント化を用いることを示唆していない。より重要なことに、画像を前景及び背景へセグメント化が、画像類似性度合として考慮されていない。
【０００５】
同一人に譲渡された米国特許第６，０１１，５９５号：「Ｍｅｔｈｏｄ ｆｏｒ ｓｅｇｍｅｎｔｉｎｇ ａ ｄｉｇｉｔａｌ ｉｍａｇｅ ｉｎｔｏ ａ ｆｏｒｅｇｒｏｕｎｄ ａｎｄ ａ ｋｅｙ ｃｏｌｏｒ ｒｅｇｉｏｎ」（発行日：２０００年１月４日、発明者：Ｔ．Ｈｅｎｄｅｒｓｏｎ， Ｋ．Ｓｐａｕｌｄｉｎｇ，及びＤ．Ｃｏｕｗｅｎｈｏｖｅｎ）は、前景領域及び主要色背景領域の画像セグメント化を教える。しかし、画像の類似性を比較するのに前景／背景の分離は用いられていない。
【０００６】
同一人に譲渡された米国特許出願（シリアル番号０９／１６３，６１８）：「Ａ ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏｍａｔｉｃａｌｌｙ ｃｌａｓｓｉｆｙｉｎｇ ｉｍａｇｅｓ ｉｎｔｏ ｅｖｅｎｔｓ」（出願日：１９９８年９月３０日、発明者：Ａ．Ｌｏｕｉ，及びＥ．Ｐａｖｉｅ）、及び、同一人に譲渡された米国特許出願（シリアル番号０９／１９７，３６３）：「Ａ ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏｍａｔｉｃａｌｌｙ ｃｏｍｐａｒｉｎｇ ｃｏｎｔｅｎｔ ｏｆ ｉｍａｇｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎｔｏ ｅｖｅｎｔｓ」（出願日：１９９８年１１月２０日、発明者：Ａ．Ｌｏｕｉ，及びＥ．Ｐａｖｉｅ）は、技術的アプローチは異なるが、消費者画像に対するイベント・クラスタリングのより良いシステムを構築するための継続的な努力を表す。シリアル番号：０９／１６３，６１８は、データ及び時刻情報を用いたイベント・クラスタリングについて開示している。シリアル番号：０９／１９７，３６３は、データ及び時刻情報が使用不可能である場合に用いられ得る、画像イベント・クラスタリングのためのブロック・ベースのヒストグラム補正方法について開示している。この方法は、比較のために（固定された四角形のセグメント化によって実現される）主題エリアを用いることを教えるが、固定された四角形よりも正確な前景／背景セグメント化を自動的に実行する方法については何ら提案していない。
【０００７】
Ａ．Ｌｏｕｉ，及びＡ．Ｓａｖａｋｉｓによる「Ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ｅｖｅｎｔ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｑｕａｌｉｔｙ ｓｃｒｅｅｎｉｎｇ ｆｏｒ ａｌｂｕｍｉｎｇ ａｐｐｌｉｃａｔｉｏｎｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ ＩＥＥＥ ＩＣＭＥ２０００，Ｎｅｗ Ｙｏｒｋ，２０００年８月）、及び、Ｊｏｈｎ Ｐｌａｔｔによる「ＡｕｔｏＡｌｂｕｍ：Ｃｌｕｓｔｅｒｉｎｇ ｄｉｇｉｔａｌ ｐｈｏｔｏｇｒａｐｈｓ ｕｓｉｎｇ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍｏｄｅｌ ｍｅｒｇｉｎｇ」（Ｐｒｏｃｅｅｄｉｎｇｓ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｏｎｔｅｎｔ−ｂａｓｅｄ Ａｃｃｅｓｓ ｏｆ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｌｉｂｒａｒｉｅｓ，２０００）の両文献は、特に、消費者画像のイベント・クラスタリングに関する。しかし、上記２文献の方法は、いずれも画像領域を調査しておらず、前景／背景分離の利点を活かしていない。Ｌｏｕｉ及びＳａｖａｋｉｓは、データ及び時刻情報と全般的な画像コンテンツとに基づくイベント・クラスタリング・スキームを教える。Ｐｌａｔｔは、確率的画像マージングに基づくクラスタリング・スキームを教える。上記方法はいずれも前景／背景分離に取り組んでいない。
【０００８】
必要とされているものは、画像を前景及び背景などの粗い領域へセグメント化し、前景領域と背景領域との間の類似性からの全体的な類似性度合を導くシステムである。更に、このようなシステムは、消費者画像の不必要なディテール及び無関係なクラスタによって混乱されるべきではない。
【０００９】
【課題を解決するための手段】
本発明は、上記問題の１以上を克服することに向けられている。簡単にまとめると、本発明の一態様によれば、イベント・クラスタリング方法は、前景及び背景セグメント化を用いて、画像を一グループから類似のイベントへクラスタリングする。最初、各画像は複数のブロックへ分割され、よってブロック・ベースの画像が提供される。ブロック毎の比較によって、各ブロック・ベースの画像は、少なくとも前景及び背景を有する複数の領域へセグメント化される。１以上の光度、色、位置、及びサイズ特徴が上記領域から抽出され、この抽出された領域はグループ内の連続画像中の前景及び背景を有する領域の類似性を評価・比較するのに利用される。次いで、連続画像間の全体の類似性の度合が計算されることによって連続画像間の画像相違度合（ｉｍａｇｅ ｄｉｓｔａｎｃｅ）が提供され、この画像相違度合からイベント・クラスタの範囲が定められる。
【００１０】
本発明は、更に、自動アルバム化に用いることができ、画像管理及び組織化タスクに関連する、前景／背景セグメント化を用いた消費者画像のイベント・クラスタリング・システムを含む。開示されるシステムの目標は、複数の消費者写真ロールを、前景及び背景の分離に注目し、画像コンテンツに基づいて、複数のイベントへ分類することである。このシステムの重要な態様は、前景及び背景セグメント化に基づき、画像間のより良い一致と改善された性能をもたらす自動イベント・クラスタリングである。本発明の他の利点は、セグメント化にブロック・ベースのアプローチを用いることである。これは、ピクセル・ベースのセグメント化スキームよりも計算力の効率が良い。
【００１１】
本発明の上記及び他の態様、目的、特徴、及び利点は、添付図面を参照して以下の好ましい実施形態の詳細な説明及び付属の請求項を読むことによってより明らかとなる。
【００１２】
【発明の実施の形態】
以下の説明において、通常はソフトウェア・プログラムとして実施されるであろう本発明の好ましい実施形態を説明する。このようなソフトウェアと等価なものはハードウェアでも構築できることは当業者には明らかである。画像取扱アルゴリズム及びシステムはよく知られているため、本説明は本発明に係るシステム及び方法の一部を形成する又はより直接的に協働するアルゴリズム及びシステムに特に向けられる。このようなアルゴリズム及びシステムの他の態様、及び、ここに具体的に図示又は説明されていないが、それと共に含まれる画像信号を生成又は処理するハードウェア及び／又はソフトウェアは、既知のシステム、アルゴリズム、部品、及び要素から選択されてもよい。以下の説明において本発明に従って説明されるシステムに対して、本発明の実施に対して有益的であるとここに具体的に図示又は説明されていないソフトウェアは従来通りであり、当業者の範囲内である。
【００１３】
更に、ここで用いられるように、コンピュータ・プログラムはコンピュータ可読記録媒体に記録されてもよい。このコンピュータ可読記録媒体には、例えば、磁気ディスク（ハードディスクやフロッピィ・ディスク（Ｒ）など）や磁気テープなどの磁気記録媒体、光ディスク、光テープなどの光記録媒体、機械可読バーコード、ランダム・アクセス・メモリ（ＲＡＭ）やリード・オンリ・メモリ（ＲＯＭ）などの固体半導体電子記録装置、及び、コンピュータ・プログラムを記録するのに採用されるあらゆる他の物理的装置若しくは媒体が含まれる。
【００１４】
本発明は、自動アルバム化に用いられ、画像管理及び組織化タスクに関連する、前景／背景セグメント化を用いた消費者画像のイベント・クラスタリング・システムについて開示する。消費者画像をいかなるコンテンツ描写も無しに意味的に意味の有るイベントへ自動的に組織化することはやりがいのあるタスクである。ここで開示するシステムの目標は、複数の消費者写真ロールを、前景及び背景の分離を強調し、画像コンテンツに基づいて複数のイベントへ分類することである。本開示の重要な態様は、画像間により良い類似性の一致をもたらし、性能を向上させた、前景／背景セグメント化に基づく自動イベント・クラスタリングである。
【００１５】
まず図１を参照する。本発明に係るイベント・クラスタリング・システムが画像グループについて作動する（８）。これら画像は、フィルム・ロールからスキャンされた画像であってもよく、画像データベースなどの他のソースから提供された画像であってもよい。これら画像は、通常、消費者画像である。なぜなら、それはより多くのイベント・クラスタリングに対する価値が見出され得る場所だからである。しかし、上記画像はこのような画像に限られる必要はない。本イベント・クラスタリング・アルゴリズムは、以下のような４つの主要なモジュールから構成される。
・第一のモジュール１０は、グループ内の各画像を前景及び背景を含む複数の領域へセグメント化する。
・第二のモジュール１２は、光度、色、位置、サイズなどのローレベルな特徴を上記前景及び背景を含む複数の領域から抽出する。
・第三のモジュール１４は、前景及び背景のすべての領域を考慮し、他方でメモリのフレーム順を利用して、連続画像間の相違度合（ｄｉｓｔａｎｃｅ）（非類似性）を計算する。
・第四のモジュール１６は、クラスタの範囲を定めるために、連続画像及びより相違度合（ｄｉｓｔａｎｃｅ）の大きい分離された画像を含むグループ内の画像間の最大相違度合を決定する。
本発明は、イベント・クラスタリングと考えられ得るため、前述のモジュールのそれぞれは、該方法を実行することによって実現される工程と考えられ得る。
【００１６】
前景及び背景の細かく正確なセグメント化は難しく、多くの計算力が必要となるため、前景及び背景の粗いセグメント化が好ましく、それで十分に目的に役立つ。したがって、第一のモジュール１０において、画像はブロックへ分割され、図２Ａ及び２Ｂに示すように、領域を形成するための異なるブロック・トゥ・ブロック分離を接続するために、隣接ブロック間の非類似性が計算される。より具体的に言えば、画像は、まずグリッド線２０について四角形ブロックへ分割される。次いで、各四角形ブロック２２に対して、第二のモジュール１２と関連して後述する特徴を用いて、その隣接ブロックに対する相違度合（非類似性）が計算される。（式（３）及び（４）において計算された相違度合（ｄｉｓｔａｎｃｅ）がブロック対ブロックの非類似性を確立するのに用いられることが好ましい。）次いで、最大相違度合が識別され、この最大相違度合が四角形ブロック間の初期の分離境界を確立するのに用いられる。
【００１７】
この初期の分離境界が互いに又は画像境界から分離されると、次いで、すべての分離境界が接続され、複数の領域２８ａ、２８ｂ、・・・２８ｅが形成されるまで、それらは、（図２Ａに矢印接続２６によって示す）最大残留相違度合の間に存在するブロック境界に沿って、互いに又は画像境界に接続される。次いで、これら領域は、すべての領域２８ａ、２８ｂ・・・２８ｅ間の相違度合（ｄｉｓｔａｎｃｅ）を計算し、最小相違度合を有する領域をマージすることによって２つずつマージされる。これは、領域の２つの組み合わせが残るまで繰り返される。次いで、サイズ、位置、画像境界との接触などの異なる領域特性が、前景から背景を区別するために用いられる。例えば、中心に位置する大きな領域の組み合わせは前景である場合が多く、その外側に位置する残りの組み合わせは背景である場合が多い。図２Ｂに示すように、これは、最適なことに、２つの別の領域組み合わせ：背景３０を有する領域２８ａ及び２８ｅの組み合わせ、及び、前景３２を有する領域２８ｂ、２８ｃ、及び２８ｄの組み合わせをもたらす。実際の画像の一例として、図３は、前述のブロック・ベースのアプローチを用いて、灯台の画像のおおよその前景及び背景セグメント化を示す。
【００１８】
特定の状況において、特に画像中のある小さい領域が該画像の残りの領域と全く異なる場合において、上記ブロック・ベースのセグメント化処理は、数個のブロックについてのみ前景若しくは背景を提供してもよい。これら数個のブロックは、正確な背景／前景セグメント化には十分でないかもしれない。この結果を避けるために、このセグメント化処理において形成された所定数の領域がそれぞれ所定サイズより小さい場合、その前景は固定サイズ及び位置の四角形によって近似される。（上記所定数は経験的に決定されてもよい。）直感的に、この四角形の位置は、左端と右端との間の中心であり、上端と下端との間の中心の少し下である。図８との関連で後述するように、これら特定の状況に対して主たるセグメント化処理からの修正を許容することにより、改善された結果を提供することができる。
【００１９】
このブロック・ベースのセグメント化は簡素化及び効率化のために好ましいが、他の自動セグメント化技術が用いられてもよい。例えば、ここに参考文献として組み込まれる、Ｊ．Ｌｕｏらの名で１９９８年１２月３１日に出願された、共通して譲り受けられた同時係属米国特許出願第０９／２２３，８６０号：「Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｍａｉｎ Ｓｕｂｊｅｃｔｓ ｉｎ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅｓ」において採用されているセグメント化方法が用いられてもよい。但し、この方法は計算の複雑さがある程度必要である。このセグメント化方法は、以下の２つのレベルのセグメント化を提供する。
・均一の複数の領域から構成される第一のレベル
・上記第一のレベルからの領域を前景、背景、及び中間領域を形成するためにグループ化する第二のレベル
加えて、特定の状況においては、上記ブロック・ベースのセグメント化処理は、他の領域からの相違度合（ｄｉｓｔａｎｃｅ）が背景に関連付けるにも前景に関連付けるにも十分に明確でないために中間領域として分類するのが最適である不確実な領域に出くわすこともある。
【００２０】
第一のモジュール１０において画像がセグメント化された後、第二のモジュール１２において、光度、色、位置、及びサイズなどの１又は複数のローレベル特徴が前景３０及び背景３２を有する領域から抽出される。この段階において、各特徴抽出アルゴリズムは、自由に使えるセグメント化の結果として作成されたオリジナルの画像情報及びマスクを有し、これらを前景及び背景画像情報を分離するのに用いる。光度に対する特徴抽出アルゴリズムは、ＹＵＶ変換用の式：
【００２１】
【数１】

に基づく。ここで、Ｙは輝度であり、ＲＧＢは画像の個々のピクセルから得られた色情報を表す。平均輝度は、前景及び背景を有する領域に対して計算される。２つの異なる領域間の相違度合（ｄｉｓｔａｎｃｅ）は、単純に、これら平均値の差の絶対値である。この特徴に基づいて、画像は、例えば、屋外画像、よくハイライトされた画像、及び、夜、屋内、又は暗い環境で撮られた画像へ分離される。
【００２２】
領域の色特徴を計算するために、まず、色相（Ｈ）、強度（Ｉ）、及び彩度（Ｓ）が、式：
【００２３】
【数２】

を用いて量子化される。画像のすべての領域は色群によって表される。２つの色群ｃ_０及びｃ_１間の相違度合を計算するために、まず相違度合（ｄｉｓｔａｎｃｅ）が計算され、次いで該領域の異なるサイズを考慮するための成分が加えられる。よって、各成分はより強調又はより非強調される。２つの色群成分ｍ_０＝（ｈ_０，ｉ_０，ｓ_０）及びｍ_１＝（ｈ_１，ｉ_１，ｓ_１）を与えると、その相違度合は、
【００２４】
【数３】

として計算される。ここで、ｈ_{ｃｏｅｆｆ}、ｉ_{ｃｏｅｆｆ}、及びｓ_{ｃｏｅｆｆ}はユーザが決定してよい。次いで、この２つの色群ｃ_０及びｃ_１間の相違度合は、
【００２５】
【数４】

によって決定される。ここで、ｎ_０及びｎ_１は領域０及び１のピクセル数であり、ｃ［ｍ］はレベルｍに対する色群ｃのピクセル数である。
【００２６】
異なる領域の位置特徴及びサイズ特徴を考慮することはより望ましい。例えば、より高い重み付けを画像の中心領域に割り当ててもよい。
【００２７】
これらローレベル特徴及び相違度合が抽出され、前景及び背景を有する領域が各画像に対して決定されると、図４に示すように、同じグループからの異なる画像４０及び４２の（セグメント化によって生じた）異なる領域間の相違度合がモジュール１４において計算される。この工程の目標は、各画像のすべての領域を考慮し、異なる画像間の相違度合を計算することである。ここで、相違度合メトリックはブロック・ベースのセグメント化に対して用いられたもの（例えば、光度相違度合、及び／又は、色群相違度合）である。
【００２８】
各画像に対して、前景及び背景を有する異なる領域と、更には、おそらく中間エリアを有する領域が存在する。目標は、同じタイプの領域を比較（例えば、前景対前景、背景対背景）することである。但し、中間エリアの場合を除く。ここで、これらは互いに比較されると共に、背景及び前景を共に有する領域とも比較される。より具体的には、図４を参照し、画像４０の前景を有する３つの領域４４ａ、４４ｂ、４４ｃは、画像４２の前景を有する２つの領域４６ａ及び４６ｂと比較される。同様に、別々の並べられていないが、画像４０の背景を有する（チェック・マークによって示されている）３つの領域は、画像４２の背景を有する（同じくチェック・マークによって示されている）単一の領域と比較される。図４は、更に、中間エリアの状況を示す。ここで、画像４０及び４２の中間エリアを有する２つの領域は、互いに比較されると共に、これら２つの画像の前景及び背景を有する領域とも比較される。
【００２９】
連続画像において前景及び背景を有する異なる領域間の相違度合が計算されると、これら画像間の全体の相違度合が、モジュール１４において、調和平均式：
【００３０】
【数５】

を用いて計算される。ここで、ａ_ｉは個々の画像において前景及び背景を有する個別の領域間の非類似性（相違度合）である。
【００３１】
連続画像間の全体の非類似性がモジュール１４において決定されると、モジュール１６において、個々の画像の画像相違度合に応じてイベント・クラスタリングが決定される。所定の連続画像間の相違度合に対して閾値を選らび、この閾値を上回るすべての相違度合は異なる別のイベント・クラスタであると決定されてもよい。逆に言えば、この閾値を下回る相違度合は、別のイベントとして扱われない。このような画像は同じイベントに属する。この閾値は、一定数であってもよく、相違度合分布の統計的特性（最大相違度合、平均相違度合、分散など）の関数であってもよく、所望クラスタ数であってもよく、全分布のエントロピィ（エントロピィ閾値処理については、Ｎ．Ｒ．Ｐａｌ及びＳ．Ｋ．Ｐａｌ「Ｅｎｔｒｏｐｉｃ Ｔｈｒｅｓｈｏｌｄｉｎｇ」、Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、１６、９７〜１０８頁、１９８９に記載されている）であってもよい。好ましい実施において、この閾値は画像グループにおける平均及び最大相違度合の関数である。
【００３２】
明らかに同じイベントに属する複数の画像が年代順に並び、すべては合間の１の（又は２〜３の）画像を除いて似ているという場合も時々ある。画像が年代順に並んでいることを活かすために、連続した（すなわち、隣接する）画像間の相違度合（ｄｉｓｔａｎｃｅ）を計算するためだけでなく、より距離的に離れた画像間の相違度合を計算するためにもメモリが採用され得る。図５Ａ、５Ｂ、及び５Ｃに示すように、イベントの切れ目が存在すると判断されると、隣接する画像５０（メモリ無し）が比較されるか（図５Ａ）、他のすべての画像５２（１画像メモリ）が比較されるか（図５Ｂ）、又は、他の画像が２画像ずつ（２画像メモリ）比較される（図５Ｃ）。より具体的には、調和平均によって測定された全体の相違度合は、画像グループが見かけ上のイベントに属するか否かを判断するために個々の画像間において取られてもよい。
【００３３】
前景及び背景分離を用いて、複数の画像についてのイベント・クラスタリング例を調べることは本発明の理解を容易にする。図６は、４つの典型的な消費者画像に対する前景及び背景分離の一例を示す。２つのイベントの切れ目が検知される。一方は、画像２及び３の間の切れ目６０であり、他方は、画像３及び４の間の切れ目６２である。画像の一行目は上記４つの画像を示す。二行目及び三行目は、１レベル及び２レベルの前景及び背景セグメント化の結果を示す。図６は、更に、ブロック・ベースのアプローチを用いて、前景及び背景分離を行った結果を示す。これら画像間の前景及び背景を有する領域は、図７に示すように類似性について比較され、それら個々の相違度合がイベント・クラスタリングに用いられる。
【００３４】
イベント・クラスタリング・アルゴリズムを評価するのに適合率−再現率プロットが用いられる。再現率及び適合率は、
【００３５】
【数６】

として定義される。ここで、再現率はどれだけ多くのイベントの切れ目が見過ごされたかを示し、適合率はどれだけ多くのイベントの切れ目がイベントの切れ目が無いにもかかわらず誤って検知されたか示す。数字は０〜１の間である。数が大きいほど、システム性能が良い。
【００３６】
このイベント・クラスタリング・アルゴリズムは、２６００の典型的な消費者画像に対してテストされた。メモリ無しの再現率／適合率性能を図８に示す。基本型アプローチは、ブロック・ベースの前景及び背景分離を用いた。改良型アプローチは、ブロック・ベースの前景／背景セグメント化と、前述の特定の状況に対する固定された四角形の前景／背景分離との組み合わせを示す。ここで、上記セグメント化は、前景の固定された四角形によって単に置き換えられる。このために、本システムは、２画像面メモリを用いた２６００の消費者画像のイベント・クラスタリングに対して、適合率５８％及び再現率５８％を実現した。
【００３７】
本発明の主題は、ディジタル画像理解技術に関する。この技術は、ディジタル画像を認識し、人間にとって理解可能なオブジェクト、属性、又は状態に対して有意義な意味を割り当て、その後、該ディジタル画像の更なる処理で得られた結果を利用するためにディジタルに処理することを意味することは明らかである。
【００３８】
本発明を特定の好ましい実施形態を特に参照して説明したが、本発明の意図及び範囲内で変形及び修正が可能であることは明らかである。例えば、イベント・クラスタリングに対して前景及び背景セグメント化を用いるアイディアは、複数の領域を用いることに対しても同様に拡張され得る。
【００３９】
【発明の効果】
本発明によれば、画像を前景及び背景などの粗い領域へセグメント化し、前景領域と背景領域との間の類似性からの全体的な類似性度合を導くシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明に係るブロック・ベースの前景／背景セグメント化を用いたイベント・クラスタリングのブロック図である。
【図２Ａ】図１に示すブロック・ベースのセグメント化技術の詳細、特に領域を形成するためのブロック境界分離の結合を示す図である。
【図２Ｂ】図１に示すブロック・ベースのセグメント化技術の詳細、特に領域を形成するためのブロック境界分離の結合を示す図である。
【図３】本発明に係る前景／背景セグメント化の一例を示す図である。
【図４】２つの画像において前景及び背景を有する領域について生成された相違度合（非類似性）の比較を表す図である。
【図５Ａ】連続的で且つ相違度合の大きい画像の時系列における各画像間の相違度合を計算するためのメモリの使用を示す図である。
【図５Ｂ】連続的で且つ相違度合の大きい画像の時系列における各画像間の相違度合を計算するためのメモリの使用を示す図である。
【図５Ｃ】連続的で且つ相違度合の大きい画像の時系列における各画像間の相違度合を計算するためのメモリの使用を示す図である。
【図６】４つの消費者画像に対する前景及び背景分離の一例を示す図である。
【図７】図６に示す４つの画像の前景領域と背景領域との間の類似性比較を示す図である。
【図８】前景／背景セグメント化を用いたイベント・クラスタリングの性能を示す適合率／再現率プロットである。
【符号の説明】
１０ 第一のモジュール
１２ 第二のモジュール
１４ 第三のモジュール
１６ 第四のモジュール
２０ グリッド線
２２ 四角形ブロック
２４ 初期の分離
２６ 矢印延長
２８ 領域
３０ 背景
３２ 前景
４０ 画像
４２ 画像
４４ａ・・・ 前景を有する領域
４６ａ・・・ 前景を有する領域
５０ 隣接する画像
５２ すべての他の画像
５４ すべての他の２画像
６０ 第一のイベントの切れ目
６２ 第二のイベントの切れ目

Claims (5)

1. 画像群の中で類似のイベントを持つ画像を同イベント画像グループへクラスタリングする自動イベント・クラスタリング方法であって、
   （ａ）セグメント化工程と、
   （ｂ）抽出・作成工程と、
   （ｃ）計算工程と、
   （ｄ）測定工程と、
   （ｅ）境界画定工程と、を有し、
   前記セグメント化工程（ａ）においては、前記画像群内の各画像を複数の画像領域へセグメント化し、
   前記画像領域は、前景セグメント及び背景セグメントのうちの少なくとも一方を有し、
   前記セグメント化工程（ａ）は、
   各画像を複数のブロックへ分割することによってブロック・ベースの画像を提供する工程と、
   各ブロック・ベースの画像を、少なくとも前景セグメント及び背景セグメントを含む複数のセグメントへセグメント化する工程と、を含み、
   前記抽出・作成工程（ｂ）においては、前記画像群内の複数の連続した画像の各々から、カラーヒストグラム特徴以外の特徴のうち、少なくとも光度特徴を抽出して、特徴群を作成し、
   前記複数の連続した画像の各々は、前記前景セグメント及び前記背景セグメントを有し、
   前記光度特徴は、前記前景セグメント及び背景セグメントのうちの少なくとも一方から求め、
   前記計算工程（ｃ）においては、前記複数の連続した画像についての複数の画像類似性を、前記特徴群内の前記光度特徴の類似性の関数として計算し、
   前記計算工程（ｃ）は、
   前記画像群内の一画像の前景セグメントを含む組み合わせの各領域と前記画像群内の別の一画像の前景セグメントを含む各領域との間の画像類似性を計算する工程と、
   前記画像群内の前記一画像の背景セグメントを含む組み合わせの各領域と前記画像群内の前記別の一画像の背景セグメントを含む各領域との間の画像類似性を計算する工程と、を含み、
   前記測定工程（ｄ）においては、連続画像間の複数の画像相違度合を前記複数の画像類似性の関数として測定し、
   前記測定工程（ｄ）は、前記前景セグメントと前記背景セグメントとを含む組み合わせにおけるすべての領域の類似性に基づいて連続画像間の全体の類似性の平均値を計算することによって、前記画像間の画像相違度合を測定する工程を含み、
   前記境界画定工程（ｅ）においては、イベント・クラスタ群の各々が複数の同イベント画像グループを有し、該複数の同イベント画像グループの各々が同じイベントに関する画像を有するように、前記複数の画像相違度合に応じて前記イベント・クラスタ群の境界を定める、
   ことを特徴とする方法。
2. 請求項１記載の方法であって、
   前記計算工程（ｃ）は、更に、前記複数の連続した画像についての複数の画像類似性を前記特徴群内の前記光度特徴の類似性の関数として計算することによって、前記画像領域間の類似性又は非類似性を表す相違度合を生成する工程を含む、
   ことを特徴とする方法。
3. 請求項１記載の方法であって、
   前記セグメント化工程（ａ）において形成された前記複数の画像領域のうちの所定数の画像領域の各々が所定サイズより小さい場合、前記前景セグメント及び前記背景セグメント内の前景について固定画像領域が生成される、
   ことを特徴とする方法。
4. 請求項１記載の方法であって、
   前記画像群は年代順に並べられ、
   前記計算工程（ｃ）は、更に、前記複数の連続した画像についての複数の画像類似性を前記特徴群内の前記光度特徴の類似性の関数として計算する工程、又は、前記画像群の他のすべての画像において前記前景セグメント及び前記背景セグメントを含む前記複数の画像領域の類似性を推定及び比較する工程、を含み、
   前記測定工程（ｄ）は、更に、複数の連続画像と他のすべての画像の間の全体の類似性に従って、複数の画像相違度合を測定する工程を含む、
   ことを特徴とする方法。
5. 請求項１記載の方法であって、
   前記画像群は年代順に並べられ、
   前記計算工程（ｃ）は、更に、
   前記複数の連続した画像についての複数の画像類似性を前記特徴群内の前記光度特徴の類似性の関数として計算する工程と、
   前記画像群の他のすべての２画像において前記前景セグメント及び前記背景セグメントを含む前記複数の画像領域の類似性を推定及び比較する工程と、を含み、
   前記測定工程（ｄ）は、更に、複数の連続画像と他のすべての２画像の間の全体の類似性に従って、複数の画像相違度合を測定する工程を含む、
   ことを特徴とする方法。

Images