JP5537557B2

JP5537557B2 - 事象毎に意味論的に分類する方法

Info

Publication number: JP5537557B2
Application number: JP2011536321A
Authority: JP
Inventors: マディラクシィダス; アレクサンダーシールイ; マークディーウッド
Original assignee: インテレクチュアルベンチャーズファンド８３エルエルシー
Priority date: 2008-11-19
Filing date: 2009-11-12
Publication date: 2014-07-02
Anticipated expiration: 2029-11-12
Also published as: WO2010059188A3; US8611677B2; EP2405371A1; WO2010059188A2; US20100124378A1; US20140046914A1; JP2012509522A; EP2347349A2

Description

本発明はディジタル画像処理、特にディジタル画像を意味論的カテゴリへと分類する方法に関する。

ディジタルカメラやスキャナの普及は画像のディジタル化を促し、大規模な私的画像コレクションを発生させた。今や、多くの人が画像（静止画や動画；以下同様）の整頓・検索に悩み始めている。通常の人々の許にあるディジタル画像コレクションの規模は、今のところは数年分程度であるが、それはおしなべて延びていくはずである。整頓・検索に関する悩みがそれにつれ募り、効率的且つ自動的な画像付索・検索ツールを望む声が強まるものと思われる。

画像内容に基づく検索に役立つ画像分類手法としては、色、模様等の低位特徴に基づく画像分類手法が数多く提案されている。低位内容利用技術に関する研究（非特許文献１）で判明した通り、内容に基づく画像検索には様々な手法を利用することができる。また、低位特徴とは、一般に、色、局所的形状特性（方向別色微分及びスケール空間表現から導出されるもの）、画像内の模様、画像変換係数（例えばＪＰＥＧコーディングで使用される余弦変換係数）、画像セグメントから検出される特性（例えば形状や輪郭や幾何学的不変量）等の特徴のことである。これらの特徴は、効率的且つ確実に導出・照合できる反面、意味論的画像内容との関連性に乏しいのが常である。

画像から意味論的特徴を検出する試みもなされている。まず、特許文献３では、主立った画像内領域に備わる可視特性に基づき画像が分類される。可視特性の数値計測結果だけでなく、「空」「肌」等の意味論的語彙を用いた画像内領域の分類にニューラルネットワークも使用される。所与画像の特性と符合する画像を容易に発見できるよう、コレクション内画像に備わる領域別特性に付索される。次に、特許文献１に記載の手法では、画像内の主要な被写体をクラスタリングセンタとして画像の分類や検索が行われる。所与の未分類画像と符合する画像が見つかるよう、当該所与画像に写っている主要な被写体に基づき検索事項の形式が整えられる。そして、特許文献２では、「都市景観」等、幾つかある所定のカテゴリ候補のなかから画像のカテゴリが特定される。

米国特許第６２４０４２４号明細書（Ｂ１）米国特許出願公開第２００３／０１９５８８３号明細書（Ａ１）国際公開第ＷＯ０１／３７１３１号パンフレット（Ａ２）米国特許第６６０６４１１号明細書米国特許第６３５１５５６号明細書米国特許第６９１５０１１号明細書米国特許第６５０４９５１号明細書米国特許出願公開第２００５／０１０５７７６号明細書米国特許出願公開第２００５／０１０５７７５号明細書米国特許第５７８１６５０号明細書米国特許出願公開第２００８／０１１２６２１号明細書米国特許出願公開第２００７／０１７７８０５号明細書米国特許出願公開第２００７／００９８３０３号明細書

A.W.M.Smeulders et al., "Content-based Image Retrieval at the End of the Early Years," IEEE Trans. on Pattern Analysis and Machine Intelligence, 22(12) Dec. 2000 Han and Kamber, "Data Mining Concepts and Techniques," Elsevier, 2006, pg. 418-420 "Review of the state of the art in semantic scene classification," Computer Science TR 799, University of Rochester, 2002 Carneiro et al., "Supervised learning of semantic classes for image annotation and retrieval," IEEE Transactions on PAMI, March 2007 Boutell et al., "Learning multi-label scene classification," Pattern Recognition 37(2004) M.J.Jones, P.Viola, "Fast Multi-view Face Detection," IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 2003 Duda, Hart and Stork, "Pattern Classification," 2nd ed., John Wiley and sons, 2000 Judea Pearl, Morgan Kaufmann, "Probabilistic Reasoning in Intelligent Systems," 1988

こうした意味論的特徴は、ユーザにとり唯一の自コレクション内画像呼出・検索手段ではない。ユーザによる画像呼出は、その画像が撮影された出来事をもとに行われることも多い。例えば、写真を「グランドキャニオン旅行」「お母さんのバースデイパーティ」「ジョーの野球リーグ」等々と区別するものである。既存のソフトウェアのなかには、写真の区別に役立つタグ・字幕をアニュアル入力可能な仕組みを備えるものもある。しかしながら、これは手間暇のかかるプロセスである。そのため、画像に予めタグ付けしておくことなく、ユーザが一般的事象種別で画像を検索できるよう、そのプロセスを自動化することが求められている。更に、ユーザが事象種別を他の意味論的特徴、例えばその画像に写っている人数、場所乃至行為と組み合わせ、関連画像検索範囲を絞れるようにすることも求められている。

本願では、私的なディジタル画像コレクションに属する画像を事象別に幾つかのカテゴリに分類する、という目的を達成するため、そのコレクションに属する画像を自動分類する方法として、
（ａ）そのディジタル画像コレクションの事象表現を生成するステップと、
（ｂ）その事象表現に属する事象毎に大域的な時間的特徴を検出するステップと、
（ｃ）当該事象表現に属する事象にて画像毎に内容的特徴を検出するステップと、
（ｄ）画像毎の内容的特徴を同一事象同士で組み合わせて事象毎の内容的特徴を検出するステップと、
（ｅ）事象毎の時間的特徴及び内容的特徴に基づき個々の事象を所定の意味論的カテゴリのうちいずれかに分類するステップと、
を有する方法を提案する。

画像の整頓・検索は多くの人にとり悩みの種であり、画像内容を自動認識してその意味論的内容（事象、人物、場所等）に基づきディジタル画像コレクション内画像を検索可能とするツールが求められている。ここに、本発明では、コレクション内画像が事象毎に意味論的カテゴリへと自動分類される。従って、特定の事象を示すことで、ユーザは、自コレクション内画像を検索・閲覧することができる。事象毎の意味論的カテゴリを示す事象ラベルを画像に自動付与し、事象別のクリエイティブメディア出力を自動生成させることも可能となる。本発明は、コレクション内画像のうち特定の意味論的カテゴリに属するものを指定しユーザが画像を検索する構成にすることができる。更に、本発明は、画像に事象ラベルを自動付与させ、それを用いクリエイティブメディア出力を事象別に自動生成させる構成にすることができる。

本発明の一実施形態に係る手順を示すフローチャートである。ディジタル画像コレクションの階層的事象表現を生成する手順を示すフローチャートである。時間的特徴及び内容的特徴を利用する事象分類器内ベイジアンネットワークを示す図である。拡張特徴セットを利用する事象分類器内ベイジアンネットワークを示す図である。事象分類器内ベイジアンネットワークの出力をルールに基づき修正する手段を示す図である。事象分類器内ベイジアンネットワークを訓練する手順を示すフローチャートである。図１に示した事象分類器１２０の内部構成を示す図である。

本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり自明な通り、本発明はコンピュータシステム上で実施可能である。その好適な実施形態についてこれから詳細に説明するが、それに対し本発明の技術的範囲内で様々な変形乃至修正を施せることをご理解頂きたい。キーフレーム画像の集まりである動画も、以下の説明では「画像」の一種として扱っている。

まず、図１中の事象検出器１１０は、ユーザのディジタル画像コレクション１０５を分類してその事象表現を生成する。図２に示した手順では、その事象表現として、上位事象、事象及び下位事象の三階層を有する階層的事象表現を生成する。この手順では、まず、事象・下位事象検出器２２５がコレクション１０５を時間軸沿いに分類して事象及び下位事象を検出する。この事象・下位事象検出には、本願出願人を譲受人とする特許文献４及び５に記載の画像内容クラスタリングアルゴリズム（この引用を以てその内容を本願に繰り入れることとする）を使用することができる。特許文献４によれば、事象とはその色分布に一貫性があり撮影時背景が同じと見られる画像の集まり、下位事象とはそれらの背景がいずれも同じ色・模様を有する画像の集まりである。いずれも特定の出来事（事象に対応）やその細目（下位事象に対応）に対するユーザの主観的認識のことではなく、そうした主観的認識と符合させることを狙ったコンピュータ媒介型処理の客観的処理結果のことである。特許文献４及び５に記載のアルゴリズムを応用することにより、ディジタル画像コレクション内の画像を時間軸に沿いそれら事象別、下位事象別に分類することができる。簡潔に言えば、画像の集まりのうち他の集まりとの時間差が大きいものが事象であり、その時間差が事象環境界に対応しているので、コレクション内画像に対する時間別、日付別又は日時別クラスタリングで画像の集まりを探し、見つかった集まりのうち他の集まりとの時間差が大きい方から幾つかを、事象として他の集まりから分離させることで、コレクション内画像を幾つかの事象に分類することができる。また、事象のうち幾つかの下位事象を含むものからは、特許文献５記載の如く、その色ヒストグラム情報を相連続する画像間で比較することで、そうした下位事象を検出することができる。各画像を複数個のブロックに分割し、ブロック毎に色ヒストグラムを求め、特許文献５記載のブロック別色ヒストグラム相関付け処理を実行して下位事象間境界を検出すればよい。また、事象検出には、本願出願人を譲受人とする特許文献６（この引用を以てその内容を本願に繰り入れることとする）に記載の画像自動整頓手法も使用することができる。簡潔に言えば、特許文献６に例示されている手法では、前景及び背景のセグメント化を伴う事象別クラスタリングにより、グループをなす画像を類似事象別に分類している。即ち、まず個々の画像を複数ブロックに分割してブロック単位画像を生成し、ブロック間比較を通じ個々のブロック単位画像をセグメント化して前景、背景等の領域に分け、個々の領域から光度、色、位置又は寸法上の特徴を幾つか抽出し、抽出した特徴に基づき前景、背景等の領域の類似性をグループ内の相連続する画像間で推定・比較し、それら相連続する画像間の総合的類似性指標ひいては画像間距離を求め、そしてその画像間距離に基づき事象別のクラスタを生成する。

こうして検出した事象を古いものから新しいものへと時間順に並べ替えると、上述の手法では単一の事象として検出されない出来事に係る複数の事象が、日付の変更を挟み連なることがある。例えば、長い期間乃至日数に亘っていて様々な行為・状況を包含している出来事（例えば複数の行き先を巡る休暇旅行）、数時間程度間をおき開催される複数のパートを有する出来事（例えば複数の試合からなるスポーツ行事や結婚式）等である。夜間に相当する撮影中断期間も、事象としての連続性を阻害する原因となる。従って、日付の変更を挟み連なる複数の事象のまとまり、即ち上位事象を検出するため更なる処理を実行する必要がある。

そのため、図２中の事象間隔算出器２３０では検出済の事象毎に事象間隔を導出する。事象間隔とは、連綿と続く時間軸に沿い、先行する事象で最後に撮影された画像と、それに後続する事象で最先に撮影された画像との間にある期間のことである。時間軸に沿い事象間隔で隔てられている個々の事象は、単一の点として扱うことができる。密度利用分類器２３５は、非特許文献２記載の密度利用クラスタリング法をそれらの点に適用する。この手法は、十分に高い点密度を有する領域をクラスタへと成長させるアルゴリズムに則っている。従って、その適用により、それらを隔てる事象間隔が割合に短い（例えば１８時間未満の）点を統合的にクラスタリングし、そのクラスタを上位事象として検出することができる。上位事象として検出されるのは、典型的には、そのユーザのディジタル画像コレクション内で、比較的長期間に亘っている出来事や、複数の部分に亘っている出来事である。事象間隔が短めの事象や、孤立している事象は、ノイズとして扱われるため統合されずに残される。そして、事象階層生成器２４０が、上位事象、事象及び下位事象を含む三階層の階層的事象表現を生成する。なお、以下の説明では、その階層的事象表現で最上位に位置するものを「事象」と呼ぶこととする。従って、上位事象がその名で呼ばれることもある。

次に、図１中の内容的特徴検出器群１１２は、個々のコレクション内画像に相応のアルゴリズムを適用してその内容的特徴を検出する。内容的特徴とは、画素群から導出される特徴のうち画像内容の指標となりうる特徴のことであり、色、模様等のように低位なものから、顔や被写体の検出結果のように階層的に高位なものまで含んでいる。本願出願人を譲受人とする特許文献７に記載の手法によれば、画像から空を検出することができる。本願出願人を譲受人とする特許文献８によれば、撮影時メタデータ及び画像内容に基づき画像を場面別（屋内か屋外か等）に分類することができる。非特許文献３によれば、市街、野原、自然等の場面別に画像を分類することができる。非特許文献４によれば、水、草、雪、山、建物等、複数の意味論的階級を検出可能となるよう教師付学習を施すことができる。本願出願人を譲受人とする特許文献９によれば、事象の時間的内容に基づき画像の内容的特徴を検出することができる。非特許文献５に記載の手法によれば、複数の有効な階級で画像を記述することができる。加えて、ディジタル画像処理の分野で周知の顔検出法を用い、画像に現れている人面の個数、概略寸法及び位置を求めることができる。例えば、非特許文献６に記載の顔検出手法によれば、人間の顔を画像から探し出すことができる。特許文献１０に記載の手法によれば、加齢につれ骨格構造ひいては顔寸法比計測値が変化する、という既知の事実に基づき、個々の顔に年齢別カテゴリを割り当てることができる。

表１に、既存のアルゴリズムで検出しうる内容的特徴を例示列挙する。既知の通り、これらは事象別の意味論的カテゴリに強く関連する特徴である。まず、この表の第１列に記されているのは特徴の名称、第２列に記されているのはその特徴の顕著度である。最も単純な特徴では、例えば「ある」「ない」の二通りしか顕著度が生じ得ない。また、内容的特徴検出器の出力を定量的に調べて複数通りの顕著度を割り振り、その特徴に係る量又は信頼度を表現することもできる。特徴の種類によっては、しきい値を実験的に決定してその存否判別に利用することもできる。例えば、表１記載の例では、画素のうち２５％超が水を示す画素として検出されているなら水の顕著度を「ある」にしている。このように、特徴のうち画像の有意な構成部分をなすものの顕著度を「ある」にすればよい。こうして画像毎の内容的特徴を検出したら、同一事象同士で画像毎の内容的特徴を組み合わせて事象毎の内容的特徴を検出する。（０以外の）顕著度を有する画像が同一事象内で十分な比率を占めることとなる特徴を、その事象の内容的特徴とすればよい。表１の第３列に記されているのは、その比率を示す事象内画像枚数しきい値である。例えば、同じ事象に属する画像のうち１５％超で特徴「草」の顕著度が「ある」になっていなければ、その事象の特徴「草」についての顕著度は「ある」にならない。

更に、図１中の時間的特徴検出器群１１４は、そのコレクションに属する事象毎に大域的な時間的特徴を検出する。時間的特徴とは、画像のＥＸＩＦヘッダから得られる撮影日時情報又はそれに類する他フォーマットのメタデータに基づき導出される特徴のことであり、大域的な時間的特徴とは、その事象に属する画像の撮影日時情報から事象毎に導出される時間的特徴のことである。表２に時間的特徴の諸例を示す。例示されているのは事象継続期間、事象間隔（隣り合う事象同士を隔てている時間）、画像枚数、日内時期（朝、午後、夜等）及び年内時期である。事象継続期間は、カメラ内で撮影時に画像のＥＸＩＦヘッダ内に埋め込まれた撮影時刻に基づき、その事象で最先に撮影された画像の撮影時刻と、最後に撮影された画像の撮影時刻との差として求めることができる。事象間隔は、先行する事象で最後に撮影された画像の撮影時刻と、後続する事象で最先に撮影された画像の撮影時刻との差として求まる。日内時期は、その事象の時間的拡がりの半ばにある画像からわかる。年内時期は、年を主立った時節に分けたものであり、その事象の撮影月からわかる。このようにして、事象毎の時間的特徴が検出される。表２の第３列に記されているのは、時間的特徴毎の顕著度判別に使用されるしきい値である。

そして、典型的なコンシューマが写真を撮影する機会についての研究結果によれば、撮影された画像のうち８０〜９０％がカバーされるよう、事象の分類先として幾つかの意味論的カテゴリを予め定めておくことができる。表３に示したのは、そうした意味論的カテゴリのうち最上位のもの４個とその下位カテゴリの例である。図１中の事象分類器１２０は、特徴検出器１１２，１１４から入力として供給される特徴検出結果に基づき、その出力たる事象ラベル（群）１２２を生成する。一組の特徴入力に応じ有限個数の分類出力を生成するよう訓練可能な分類器は文献にて複数提案されている。その例としては、非特許文献７に記載の通り、サポートベクタマシン、ニューラルネットワーク及びベイジアンネットワークがある。図１中の事象分類器１２０を図７の如く二段構成とする場合、そのうちの確率論的分類器７１０として（サポートベクタマシン、ニューラルネットワーク等の他種分類器も使用可能だが）非特許文献８記載のベイジアン信念ネットワーク（ＢＢＮ）を使用するのが望ましい。ＢＢＮは、不確実性についてのモデリング及び理由付けを可能とする確率論的グラフィカルモデリングの一形態であり、変数を表すノードと、変数間の確率論的依存性を捕捉する条件付確率を表す弧と、を含む無閉路有向グラフで表すことができる。訓練時には、ＢＢＮを構成する個々の弧に対応する条件付確率と、事象ラベル出力のアプリオリ確率とを学習させておく。訓練後は、そのＢＢＮに特徴検出結果を与えることで、特徴検出結果に対する各事象ラベル出力の確率をその出力ノードから得ることができる。このように、ＢＢＮを用いることで、不完全な情報をそつなく取り扱うことができる。

図３にそのＢＢＮの一例構成を示す。このＢＢＮは、時間的特徴検出器群１１４によって検出される時間的特徴（表２に示した継続期間３１０等）を入力するノード、内容的特徴検出器群１１２によって検出された内容的特徴（表１に示した被写人数３１５、屋外判定３２０等）を入力するノード、並びに画像の時間的特徴及び内容的特徴に基づき付与した事象ラベル（群）３０５を出力するノードを有している。

事象分類器の精度を高めるため、撮影が行われた事象に直接的又は間接的に関連する補助事実情報のデータベース１１６（図１参照）を踏まえるようにしてもよい。その補助事実情報の例としては、人物間の家族関係に関する知識、各人の経歴、地理的情報、常識的知識に属するデータ等を掲げることができる。また、補助事実情報として、周知ファイル形式で記録されている画像の撮影時メタデータ（ＥＸＩＦ等）から画像内容と無関係な撮影時メタデータ、例えば対被写体距離やカメラシーンモードを読み出し使用することもできる。これらの補助事実情報は、いずれも、事象分類器で付与された分類の精細化・検証に使用できるので、それを含む拡張特徴セットを生成して使用するのが望ましい。

それらの補助事実情報は、システム上でＢＢＮの一部として適用することができる。図４にその種の情報を分類に役立てる手法を示す。図中の出力ノードでは、拡張特徴セット、即ち対被写体距離４１０、ＧＮＩＳ特徴階級４１５等のほか図３中の出力ノードで得られる情報３０５（前述した時間的特徴及び内容的特徴の影響を示す情報）からなるセットに基づき事象ラベル群４０５を生成し、最大確率を呈する階級に係る事象ラベルをその事象に付与する。こうしたＢＢＮの精度を更に高めるには、例えば、対被写体距離が大きい事象は一家団欒や社交会合よりもスポーツや余暇休暇に関連している蓋然性が高い、等といった事柄を示す教師データで訓練しておけばよい。また、カメラで付与されたメタデータを補助的な知識ベースと組み合わせてＢＢＮ入力を多様化することも可能である。例えば、昨今のディジタル撮影装置では撮影時にＧＰＳ座標が検出されることが多い。マニュアル入力で画像に地理的データを関連付けることもできる。それら、事象が発生した場所の緯度及び経度に基づき、米国地質調査所の地名情報システム（ＧＮＩＳ）等といった補助データベースを参照し、その事象を地理的特徴別の階級、例えば水域別の階級や施設別の階級（学校等）に分類することも可能である。ご存じの通り、スポーツ行事が墓地よりも学校で、また社交会合が空港よりも教会で行われることが多いからである。

使用するＢＢＮには、ラベル付入出力データ（教師データ）を与え、そのＢＢＮの個別の弧で条件付確率を算出させる訓練を施しておく。その際、その教師データに基づきアプリオリ確率（群）も学習させておく。即ち、図６に示すように、まず複数年に亘る訓練用ディジタル画像コレクション６０２を複数のコンシューマから収集する。次いで、図１に示した階層的事象検出器１１０を用い、そのコレクション６０２から事象及び上位事象を検出する。更に、表３に列挙した所定の意味論的カテゴリのうちいずれか（該当するものがなければ「他」）に分類されることとなるよう、事象ラベル付与担当者６０７が事象にラベルを付与する。次いで、図１に示した内容的特徴検出器群１１２及び時間的特徴検出器群１１４を備える関連特徴検出器群６１０が、前述した諸特徴を事象毎に検出する。これにより、そのＢＢＮ向けの教師データが生成される。そして、事象分類器訓練部材６２０が、事象の最上位カテゴリ（例えば余暇休暇、スポーツ、一家団欒及び社交会合）を特定する訓練をそのＢＢＮに施す。下位カテゴリの特定は後述のルール利用システムに任せることができる。

使用する拡張特徴セットには、その条件付確率を教師データから得ることが困難又は不可能な特徴も含まれうる。従って、相応のヒューリスティクス乃至ルールをシステム上で適用し、図４に示したＢＢＮの出力を検証又は精細化するのが望ましい。そのため、図７に示した構成では、ＢＢＮ利用型の確率論的分類器７１０から、図５に詳示するルール利用分類器５２０へと出力を供給している。そこで適用されるルールの例は、関連領域知識、不定形常識知識、定型化常識知識ベース（Ｃｙｃ（サイク）やＯｐｅｎＭｉｎｄＣｏｍｍｏｎＳｅｎｓｅ）等に基づくルールである。例えば、ある事象がＢＢＮにて「一家団欒」に分類されている場合、この分類結果を検証するには、本システムのユーザから見て家族に当たることがわかっている人物が一人又は複数人、その事象に係る画像に写っていることを求めるルールを、その事象に適用すればよい。この条件が満たされなければ、その事象の分類先を「社交会合」へと修正することができる。また、この種のルールを適用するには、特許文献１１〜１３に記載の人認識アルゴリズムを用い、その事象に係る画像に写っている人物の素性を識別した上で、図１に示した補助事実データベース１１６を参照し、本システムのユーザとその人物との関係を特定する必要がある。これは、ユーザと他の人物との関係がユーザと人物との組合せ毎に登録されているデータベースを利用し行うことができる。或いは、法的乃至概略的な関係のみをシステム上で保持しておき、必要に応じ具体的乃至詳細な関係を推論するようにしてもよい。

適用されるルールの別例は、事象別のカテゴリをその下位カテゴリへと精細化するルールである。例えば、その事象が多々ある下位カテゴリのどれに属するのかをＢＢＮにてはっきりと特定できない場合でも、補助データを補強するルールを適用することにより、その事象の下位カテゴリを特定できることがある。ＢＢＮにてある事象の最上位カテゴリが「社交会合」であると特定されているなら、人認識アルゴリズムの適用結果（その事象に係る画像に写っている人物）に基づき常識ルール、例えば「その事象に係る画像に写っている人物の誕生日がその事象のそれと同じ又は近い時期であればその社交会合はバースデイパーティである」というルールを適用すれば、その下位カテゴリを「社交会合−誕生日」と特定することができる。個々の人物の誕生日についての情報は、図１に示した補助事実データベース１１６に登録しておけばよい。なお、相応のアプリオリ確率を図４に示したＢＢＮに学習させておくことでも同様の分類を行える可能性があるが、そうしたアプリオリ確率の導出にはかなりの教師データが必要となる。常識ルールを使用すればそれらの教師データが不要になる。

従って、本発明を実施する際には、図４に示したＢＢＮを使用し個々の事象に係るカテゴリの候補及びそれに係る確率を導出し、図７に示す如く図１中の事象分類器１２０の二段目たるルール利用分類器５２０にて図５に示す諸ステップを実行することで、ＢＢＮで生成された事象別の諸カテゴリを検証乃至精細化するルール群を適用するのが望ましい。そのルール利用分類器５２０上で適用されるルールには検証ルール群５１０と精細化ルール群５１５がある。これらは、図１に示した内容的特徴検出器群１１２、時間的特徴検出器群１１４等、特徴抽出器群５３０から情報としてもたらされる追加的な特徴や、図１に示した補助事実情報１１６のデータベースからもたらされる情報に基づき適用される。検証ルール群５１０の適用により事象ラベル群４０５が検証され、検証を通過した最高確率のカテゴリがその事象に係る階級として出力される。精細化ルール群５１５の適用により事象ラベル群４０５が精細化され、その事象に係る意味論カテゴリの下位カテゴリが特定される。例えば、まず図４に示したＢＢＮにて最上位カテゴリを特定した上で、次に示す諸ルールを図５に示すルール利用システムで適用し、その下位カテゴリを特定するようにすればよい：
［余暇休暇］：その事象の継続期間が単一の暦日内に収まるなら「日帰り外出」、週末期間に収まるなら「週末旅行」、４日を超える長期間に亘るなら「逃避行」、長期休暇の時期と重なっていてその場所がユーザの自宅付近でなさそうなら「長期休暇」、というように下位カテゴリを特定する；
［スポーツ］：特徴「野原」及び「草」に関し肯定的な検出結果が得られているなら「フィールド」、特徴「水」に関し肯定的な検出結果が得られているなら「ウォータ」、特徴「屋内外」に関し屋内との検出結果が得られているなら「インドア」、上述したいずれの特徴検出器でも肯定的な結果が得られていないなら「他」、というように下位カテゴリを特定する；
［一家団欒］：画像から認識された人物とユーザとの関係に基づき下位カテゴリを特定する；
［社交会合］：ユーザの経歴情報から見て妥当なら「結婚式」乃至「誕生日」、ユーザの地理的位置での暦及び休日から見て妥当なら「長期休暇」、人認識アルゴリズムに則り認識された人数が大勢で且つそれらの人物がそのユーザのコレクションによく登場する人物である（見ず知らずではない）なら「パーティ」、というように下位カテゴリを特定する。

また、図７中の確率論的分類器７１０が省略されており、ルール利用分類器５２０が拡張特徴セットに基づく事象ラベル群４０５（図４参照）を参照せずにルール群を適用する形態にて、本発明を実施することもできる。同様に、ルール利用分類器５２０を備えておらず、確率論的分類器７１０のみで事象ラベル群が付与される形態にて、本発明を実施することもできる。

ユーザは、事象種別による検索・閲覧を行えるのに加え、事象の意味論的カテゴリに基づき自分用のクリエイティブ出力を作成することができる。また、そうした意味論的情報を他の文脈的情報、例えば画像のメタデータ、日時、ＧＰＳ、位置又はその任意の組合せと共に自動アルバム化システムに入力し、検出された事象の種別に基づく私的なテーマ別アルバムを作成することができる。例えば、その事象が欧州での長期休暇である場合なら、休暇先の文化的特性及び地域的特性を反映したテーマ及び相応の背景デザインを使用し、アルバムを作成することができる。その事象がパーティである場合なら、快活で滑稽なテーマ及びムードを使用しアルバムを作成することができる。事象に関する情報に基づき他のカスタム出力、例えばコラージュ、カップ、Ｔシャツ、音声／音楽入りマルチメディアＤＶＤ／ＣＤ等を作成することもできる。更に、事象に関する意味論的情報に基づきユーザのコレクションを効率的に検索・閲覧可能な構成とすることもできる。例えば、ユーザが簡便にテキスト検索することができるよう、諸事象に注釈が自動付与されるシステム構成にするとよい。そして、検出された事象に応じ狙いを定め広告する用途で本発明を使用することもできる。例えば、検出された行事がアウトドアスポーツであるなら、関連するスポーツグッズの広告をそのユーザ向けに提供する、といった用途である。

以上、その好適な実施形態を参照し本発明を詳細且つ具体的に説明したが、それらに変形や修正を施せること及びそれを本発明の技術的範囲内で行いうることを了解頂きたい。

１０５ディジタル画像コレクション、１１０階層的事象検出器、１１２内容的特徴検出器群、１１４時間的特徴検出器群、１１６補助事実データベース、１２０事象分類器、１２２事象ラベル、２２５事象・下位事象検出器、２３０事象間隔算出器、２３５密度利用分類器、２４０事象階層生成器、３０５画像特徴に基づく事象ラベル群、３１０継続期間、３１５被写人数、３２０屋外判定、４０５拡張特徴セットに基づく事象ラベル群、４１０対被写体距離、４１５ＧＮＩＳ特徴階級、５１０検証ルール群、５１５精細化ルール群、５２０ルール利用分類器、５３０特徴抽出器群、６０２訓練用ディジタル画像コレクション、６０７事象ラベル付与担当者、６１０関連特徴検出器群、６２０事象分類器訓練部材、７１０確率論的分類器。

Claims

私的なディジタル画像コレクションに属する画像を自動分類するシステムの制御方法であって、該システムのプロセッサによって、
（ａ）そのディジタル画像コレクションの事象表現を生成するステップと、
（ｂ）その階層的事象表現に属する事象毎に大域的な時間的特徴を検出するステップと、
（ｃ）当該階層的事象表現に属するある事象の画像毎に画像レベルの内容的特徴を検出するステップと、
（ｄ）画像毎の画像レベルの内容的特徴を同一事象同士で組み合わせて事象レベルの内容的特徴を生成するステップと、
（ｅ）事象継続期間、事象間隔、又は事象内画像枚数のうちの少なくとも一つを含む時間的特徴及び事象レベルの内容的特徴に基づき、個々の事象を所定の上位レベルの事象カテゴリのセットからあるカテゴリに分類するステップと、
（ｆ）ルール利用システムを用いて、関連するカテゴリに属する個々の事象を事象レベルの内容的特徴に基づいて検証するステップと、
（ｇ）事象レベルの内容的特徴に基づいて、少なくとも一つの事象のカテゴリを下位カテゴリに精細化するステップと、
を有する制御方法。
１つ以上の電子プロセッサを有するシステムであって：
前記プロセッサが：
画像コレクションの事象表現を生成し；
階層的事象表現に属する事象毎に大域的な時間的特徴を検出し；
当該階層的事象表現に属するある事象の画像毎に画像レベルの内容的特徴を検出し；
画像毎の画像レベルの内容的特徴を同一事象同士で組み合わせて事象レベルの内容的特徴を生成し；
事象継続期間、事象間隔、又は事象内画像枚数のうちの少なくとも一つを含む時間的特徴及び事象レベルの内容的特徴に基づき、個々の事象を所定の上位レベルの事象カテゴリのセットからあるカテゴリに分類し；
ルール利用システムを用いて、関連するカテゴリに属する個々の事象を事象レベルの内容的特徴に基づいて検証し；
事象レベルの内容的特徴に基づいて、少なくとも一つの事象のカテゴリを下位カテゴリに精細化する；ように構成された、
システム。
１つ以上のプロセッサは、各事象を検証するために、画像コレクションにおいて識別された被写体に関連する補助事実情報のデータベースを参照するようにさらに構成される、
請求項２に記載のシステム。
１つ以上のプロセッサは、少なくとも一つの事象のカテゴリを精細化するために、画像コレクションにおいて識別された被写体に関連する補助事実情報のデータベースを参照するようにさらに構成される、
請求項２に記載のシステム。
１つ以上のプロセッサは、階層的事象表現に属するある事象の画像毎に被写体距離を検出するようにさらに構成されており、各事象を分類することは、前記被写体距離に基づく、
請求項２に記載のシステム。
１つ以上のプロセッサは、階層的事象表現に属するある事象の画像毎の位置を決定するようにさらに構成されており、各事象を分類することは、前記位置に基づく、
請求項５に記載のシステム。
内部に格納された複数の命令を有する非一時的なコンピュータ可読媒体であって、
前記命令が、
画像コレクションの事象表現を生成する命令と、
階層的事象表現に属する事象毎に大域的な時間的特徴を検出する命令と、
階層的事象表現に属するある事象の画像毎に画像レベルの内容的特徴を検出する命令と、
画像毎の画像レベルの内容的特徴を同一事象同士で組み合わせて事象レベルの内容的特徴を生成する命令と、
事象継続期間、事象間隔、又は事象内画像枚数のうちの少なくとも一つを含む時間的特徴及び事象レベルの内容的特徴に基づき、個々の事象を所定の上位レベルの事象カテゴリのセットからあるカテゴリに分類する命令と、
ルール利用システムを用いて、関連するカテゴリに属する個々の事象を事象レベルの内容的特徴に基づいて検証する命令と、
事象レベルの内容的特徴に基づいて、少なくとも１つの事象のカテゴリを下位カテゴリに精細化する命令と、を含む、
非一時的なコンピュータ可読媒体。
各事象を検証する命令は、画像コレクションにおいて識別された被写体に関連する補助事実情報のデータベースを参照する命令を含む、
請求項７に記載の非一時的なコンピュータ可読媒体。
少なくとも一つの事象のカテゴリを精細化する命令は、画像コレクションにおいて識別された被写体に関連する補助事実情報のデータベースを参照する命令を含む、
請求項７に記載の非一時的なコンピュータ可読媒体。
各事象を分類する命令は、階層的事象表現に属するある事象の画像毎に被写体距離を検出する命令を含み、各事象を分類することは、前記被写体距離に基づく、
請求項７に記載の非一時的なコンピュータ可読媒体。
各事象を分類する命令は、階層的事象表現に属するある事象の画像毎の位置を決定する命令を含み、各事象を分類することは、前記位置に基づく、
請求項１０に記載の非一時的なコンピュータ可読媒体。