JP5710804B2 - 意味分類装置を利用した自動的なストーリー生成 - Google Patents

Description

本発明は、マルチメディアオーサリング方法、システム、ソフトウェア及びプロダクト配布媒体に関する。より詳細には、本発明は、ユーザの格納されているメディアファイルに基づきシングルメディア又はマルチメディアプレゼンテーションを自動生成し、これにより、最小限のユーザの労力しか要求することなくユーザについてカスタマイズされたストーリーを自動生成することに関する。

“ストーリー”又はハードコピーテーマアルバムと呼ばれるシングルメディア又はマルチメディアの形式によるイメージの閲覧は、多数のランダムハードコピープリントにおけるブラウジングやスライドプロジェクタ、コンピュータ又はテレビを用いて順次提示されるランダムな静的イメージの系列を見ることよりはるかに説得力があると広く認識されている。イメージのコンテンツに適したサウンドトラックなどのプレゼンテーションへの他の要素の選択的な追加、イメージ間の面白い遷移の挿入、フェード及びディゾルブを含む各種ビデオスタイル特殊効果やビデオの追加、イメージコラージュ処理、バックグラウンド、ボーダ並びにカラー化は、プレゼンテーションを閲覧者にとってはるかに面白くし、提示されるイメージの心理的コンテンツを大きく向上させる可能性がある。ＤＶＤやビデオＣＤプレーヤー、ホームメディアサーバ及び高品位デジタルディスプレイを含む、マルチメディアを提供可能な新たなテレビベースの視聴プラットフォームの家庭における普及はまた、このタイプのストーリー又はプレゼンテーションの要求を増大させる。

通常の写真利用者にとって、マルチメディアプレゼンテーションやスチルイメージのアルバムの作成は、現在あまり容易又は便利なものでない。デジタルイメージアセットの選択及びレイアウトは、重要かつ時間のかかるプロセスとなる可能性がある。イメージがデジタル形式により利用可能であったとしても、利用者は、このようなプレゼンテーションを作成するため、Ｍａｃｒｏｍｅｄｉａ Ｄｉｒｅｃｔｏｒ^ＴＭやＡｄｏｂｅ Ｐｒｅｍｉｅｒ^ＴＭなどのマルチメディアオーサリングソフトウェアツールを備えた手段を有する必要がある。これらのソフトウェアツールは、大変フレキシブルであるが、プロのプレゼンテーション作成者を対象とし、複数の機能オプションを有し、効果的に利用するのに必要なスキルを確立するための多大な時間と経験とを必要とする。より最近では、Ｓｈｏｃｋｗａｖｅ．ｃｏｍ^ＴＭにより提供されるＰｈｏｔｏｊａｍ^ＴＭなどのテンプレートベースのマルチメディアプレゼンテーションアプリケーションや、Ａｐｐｌｅのｉ−Ｍｏｖｉｅ^ＴＭなどのＰＣベースの“ムービーメイキング”アプリケーションが利用可能になっている。これらのアプリケーションは利用者のためのマルチメディアプレゼンテーションの作成を簡単化しうるが、ストーリーメイキングオプションの多くを自動化することに供するものでない。現在のアプリケーションは、ユーザがプレゼンテーションテーマを選択し、イメージプロダクトを自動生成するのに使用されるピクチャ、ビデオ、音楽などのアセットを選択することをしばしば要求する。さらに、これらのアプリケーションは、特別な機会、休日、記念日、選択された他のイベント又はカレンダーの日付のためなど、イメージプロダクトを自動生成する方法を提供するものでない。

従って、未経験のユーザが自動生成されたシングルメディア又はマルチメディアストーリーを受け取り、様々なチャネルを介し各種タイプのプレゼンテーション装置に適した各種フォーマットによりプレゼンテーションのコピーを取得可能な自動化されたオーサリングシステムが必要とされる。

上記及び他の要求に対して、本発明の好適な一実施例によると、カスタマイズされたストーリーであるイメージプロダクトを自動生成し、ユーザにより提供されたデジタルメディアファイルセットをデジタル記憶装置に提示する方法であって、メタデータを含む意味情報についてデジタルメディアファイルを解析するステップと、選択されたプレゼンテーションフォーマットに関連付けてユーザにより閲覧可能な媒体にデジタルイメージアセットを構成するステップを有し、フォーマットは、意味情報及びメタデータ情報に従って自動的に選択されるか、又はコンピュータシステム又はユーザにより予め選択される方法が提供される。

本発明の他の好適な実施例は、アセットのコレクション（スチルイメージ、ビデオ、音楽、公開コンテンツ）に適用される所定のテンプレートルールを利用して、アセットのコレクションからのストーリー自動生成のためのプログラムされた方法、ソフトウェア及びプログラムされたコンピュータシステムである。テンプレートルールは、アセットに係るメタデータ、個人プロファイル及び／又はユーザから取得したユーザ嗜好データに拠る。メタデータは、ＥＸＩＦデータ、イメージ理解分類アルゴリズムからのインデックス値、ＧＰＳデータ及び／又は個人プロファイル／嗜好の形式をとりうる。これらのルール又はそのサブセットは、システム内でコレクションに自動適用されると、マルチメディア出力エンジンを介したレンダリングのためストーリーを生成する。ストーリーは、ＣＤ、ＤＶＤ、磁気ディスク、ポータブルフラッシュメモリ媒体などの各種記憶媒体を介しユーザに提供可能である。ストーリーは、セルラーネットワークによって、衛星プロバイダによって、ローカル及び有線エリアネットワークを介し送信可能である。ストーリーは、ＰＤＡや携帯電話などの各種携帯表示装置を介しユーザに受信及び閲覧可能である。ストーリーは、自宅で受信され、コンピュータ、テレビ又はシアタースタイルのプロジェクションシステムに表示可能である。

本発明の他の好適な実施例は、誕生日、休日、記念日又は他の機会などのイベントに係る複数のデジタルメディアファイルを取得するステップを有するイメージプロダクトを自動作成する方法を有する。イベントの分類は、デジタルメディアファイルを解析し、この解析結果に基づき出力プロダクトのフォーマットを自動決定し、その後、デジタルメディアファイルの何れが出力イメージプロダクトの要求に従って含まれるか選択することに基づき実行される。

本発明の他の好適な実施例は、コンピュータシステム上での実行用のコンピュータプログラムを格納するプログラム記憶装置を有する。当該プログラムは、コンピュータシステムにあるいくつかのデジタルメディアファイルを利用してイメージプロダクトを自動生成することが可能である。プログラムは、カレンダーの日付、イメージプロダクトに対するユーザリクエスト、又はイメージ、音声ファイル、ビデオなどの複数のデジタルメディアファイルのコンピュータシステムへのアップロードであるかもしれないイメージプロダクトトリガーをまず検出するよう構成される。プログラムは、カレンダーイベントである場合など、イベントに係る複数のデジタルメディアファイルを特定し、又はトリガーがメディアファイルのアップロードである場合、プログラムは、メディアファイルが出力プロダクトフォーマットタイプを充足しているか判断する。プログラムは、関連するメタデータの解析に基づき複数のデジタルメディアファイルを自動分類し、分類ステップに基づき、出力プロダクトフォーマットタイプを充足するファイルを自動選択する。選択されたメディアファイルは、イメージ値インデックスなどの各種指標の１以上の基づきランク付けされ、ランク付けされたファイルの一部又はすべてが、イベントに関連する適切なイメージプロダクトフォーマットに含まれる。

本発明により想定される他の実施例は、マシーン又はコンピュータプロセッサに格納されている命令又はデータ構造を実行させるため、マシーン又はプロセッサにより可読な命令のプログラムを有形に実現又は担持するコンピュータ可読媒体及びプログラム記憶装置を含む。このようなコンピュータ可読媒体は、汎用又は特定用途コンピュータによりアクセス可能な何れか利用可能な媒体とすることが可能である。このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶装置などの物理的なコンピュータ可読媒体から構成可能である。汎用又は特定用途コンピュータによりアクセス可能なソフトウェアプログラムを担持又は格納するのに利用可能な他の何れかの媒体が、本発明の範囲内とみなされる。

本発明によると、未経験のユーザが自動生成されたシングルメディア又はマルチメディアストーリーを受け取り、様々なチャネルを介し各種タイプのプレゼンテーション装置に適した各種フォーマットによりプレゼンテーションのコピーを取得可能な自動化されたオーサリングシステムを提供することができる。

本発明の上記及び他の態様及び課題は、以下の説明と添付した図面と共に考慮されると、より良好に理解されるであろう。しかしながら、以下の説明は、本発明の好適な実施例と多数の具体的詳細を指摘するものであるが、例示のためのものであり、限定するものとして与えられているのでないことが理解されるべきである。その趣旨から逸脱することなく本発明の範囲内において多数の変更及び改良が可能であり、本発明はこのようなすべての改良を含む。

図１は、本発明を利用したコンピュータシステムの各態様を示す。 図２は、本発明の実施例がプロダクトアセット間の意味関係を生成するため使用可能な一例となるメタデータ要素を示す。 図３は、人に関連するメタデータを入力するためのユーザインタフェースの実施例を示す。 図４は、イメージに関連するメタデータを入力するためのユーザインタフェースの実施例を示す。 図５は、本発明の一実施例により使用される一例となる意味的ネットワークを示す。 図６は、本発明の一実施例により使用される一例となる第２の意味的ネットワークを示す。 図７は、本発明の一実施例の一部を実現するためのプログラムロジックを示す。 図８は、イメージプロダクトを生成する方法を示すフローチャートである。 図９は、イメージプロダクトを生成する第２の方法を示すフローチャートである。 図１０は、イメージプロダクトの一例となるユーザにより編集されたバージョンを示す。 図１１は、イメージプロダクトが完成されたという通知を送信し、イメージプロダクト自体を送信するための通信方式を示す。 図１２は、ルールの具体例とこれを機能させるのに必要とされる関連するメタデータ及び／又はアルゴリズムを示す。

［概略］
図１に関して、本発明を実現するための協調的な実現形態においてやりとりする複数の基本的なコンピュータシステムコンポーネントが示される。図の上部１１６は、アセットアップローダ１０１と、ストーリービューワ１０２と、ストーリー通知手段１０３とを含むユーザインタフェースコンポーネントの実施例を示す。アセットアップローダ１０１は、スチルピクチャ、フォト、オーディオ、ビデオ、イメージ、グラフィックス、音楽などのメディアアセットをアップロードするため使用される。デジタルアセットは、ＪＰＥＧ、ＧＩＦ、ＭＰＥＧなどの各種タイプ及びフォーマットのファイルとして表されてもよい。デジタルメディアアセットは、デジタルカメラ、携帯電話、多機能携帯、スキャナ、記録装置などのアセットキャプチャ装置からアップロード可能である。これらの装置は、アップロードのためコンピュータに手動により接続可能であるか、それらは無線プロトコルを介しコンピュータと通信可能であるか、又は多数のコンピュータにはマイクロフォンやカメラなどが搭載可能であるため、アセットキャプチャ中にコンピュータに接続されたままにされてもよい。アセットはまた、インターネットなどのネットワークからダウンロードされ、コンピュータに格納することも可能である。

ストーリービューワ１０２は、コンピュータシステムに接続されたモニタ又は他のディスプレイ装置上でイメージプロダクト又は他のメディアアセットを閲覧するため利用可能であり、メディアアセットを編集するための機構を有してもよい。多数のコンピュータにより実現されるイメージ編集アプリケーションが周知であるが、ここでは詳細には説明されない。それはストーリービューワと呼ばれるが、デジタルオーディオアセットの音声再生は、ストーリービューワに含めることが可能であり、再生はイメージアセットの閲覧と同時に又は別々に実行可能である。

ストーリービューワは、完成したマルチメディアストーリーを他のコンピュータシステムと送受信するためのインターネット接続などのネットワークとのコンピュータシステム接続を利用可能である。それはまた、完成したストーリー又は他のメディアアセットコレクションをセルネットワークを介し、マルチメディア対応携帯電話又はＰＤＡなどの携帯装置又はストーリーを印刷するプリンタに送信するためのネットワーク接続を利用可能である。本発明の顕著な特徴の１つは、メディアアセットを自動的に選択及びシーケンス化する選択アルゴリズムである。

ストーリー通知手段１０３は、イメージプロダクトがシステムにより生成されたことをユーザに自動的に通知するため利用される。ストーリー通知手段１０３は、ネットワークを介し他のコンピュータに通知を送信し、ストーリーが生成されたという通知をセルネットワークを介し携帯電話やＰＤＡなどの携帯装置に送信するためのＲＳＳフィードとのコンピュータシステム接続を利用可能である。後者の例では、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）プロトコルが、コンピュータシステム上で実現可能である。コンピュータシステムはまた、ディスプレイスクリーンメッセージを介し又は音声信号によってユーザに通知するようプログラム可能である。ユーザはまた、上記手段の何れかを使用して他の装置に通知を転送するため、ストーリー通知手段１０３にアクセス可能である。

図１は、クライアント−サーバパラダイムに基づく本発明を実現するのに適したタイプのコンピュータシステムコンポーネントの具体例を示す。読者は、システムコンポーネントが本発明を基本的に変更することなく他の方法により構成可能であることを理解するであろう。特に、図示されたシステムコンポーネントはすべて同一のホストシステムにあってもよく、又は分散コンピュータシステムと同様に多数の方法により異なるホストの間の大規模又は小さなコンピュータネットワークに分散されてもよい。例えば、ストーリー通知手段、アセットアップローダ、アセットストアなどはそれぞれ、ＬＡＮ又はＷＡＮを介し接続される１以上の個別のホストシステムに設けることも可能である。さらに、これらのホストシステムのそれぞれは、各サービスプロバイダが特殊サービスを提供し、料金を課す１以上のサービスプロバイダにより運営されるかもしれない。ここに説明される機能は、Ｋｏｄａｋ Ｇａｌｌｅｒｙ^ＴＭなどの１以上のオンラインサービスと通信可能なホームメディアサーバなどの装置に設けられる。

図１の下部１１７は、コンピュータシステムのバックエンドコンポーネントを示す。好適な実施例では、バックエンドシステムコンポーネント１１７は、仲介データベース１１３を介し情報をやりとりする。このようなデータベースは、分割、複製などを介し様々な方法により構成されてもよい。データベースは、異なる人々により所有されてもよく、又はユーザアカウントパスワードを介してのみアクセスされるようにしてもよい。アクセスは、公衆キオスクを介し提供されるかもしれない。システムバス、ネットワークパケット（インターネット及びセルネットワーク）、メッセージ転送及びＰｕｂｌｉｓｈ−Ｓｕｂｓｃｒｉｂｅを含む他の通信パラダイムもまた利用可能であることは、当業者に理解されるであろう。さらに、バックエンドコンポーネント１１７は、典型的にはインターネット接続された装置のウェブベースサービスのケースと同様に、複数のユーザにより共有されてもよい。このような好適な実施例では、アセットストア１１２とデータベース１１３は、複数のユーザからのアセット及び情報を含むであろう。典型的には、アセットストアはアセットを有し、データベースはメタデータを含む。

フロントエンドユーザインタフェースを参照して、ユーザは、アセットアップローダ１０１を起動することによって、選択されたアセットをシステムデータベースに導入する。その後、当該コンポーネントは、アセットインポートコンポーネント１０４と通信する。アセットインポートは、アセットのコピーをアセットストア１１２に格納するよう機能し、システムマネージャ１０７にそれがアップロードを完了したことを通知する。アセットインポートコンポーネントは、コンピュータシステム上に設けることが可能であり、又はローカルに若しくはネットワークを介しコンピュータに接続されるサーバ上に設けられてもよい。好適な一実施例では、アセットインポートとシステムマネージャとの間の通信は、データベース１１３を介し実行されるが、各バックエンドコンポーネントは、システムマネージャ１０７と直接通信するよう実現可能である。説明の簡単化のため、図１は、システムマネージャ１０７と他の各種バックエンドシステムコンポーネントとの間の接続ラインを示していないが、コンポーネント１０４〜１０６，１０８〜１１０，１１２〜１１３，１１５はすべて、システムマネージャに接続される。システムマネージャ１０７は、意味索引付ユーティリティ１１０を介し意味索引付処理を開始し、これにより、各種意味情報が、アップロードされたアセットのメタデータから抽出又は導出され、データベース１１３に格納される。例えば、これらの意味索引付アルゴリズムは、イメージアセットに示されるシーンを１以上のシーンタイプ（すなわち、ビーチ、屋内、屋外など）に分類するシーン分類手段と、イメージにおける顔の有無を決定するための顔検出と、顔の特徴を利用してイメージにおける人を特定する顔認識とを有することが可能である。導出された情報は、対応するイメージアセットと共にメタデータとして格納される。人々の認識は、顔の特徴及び／又は服装の特定などの他のコンテクスト情報を利用した人の特定である。索引付手段１１０はまた、未構成のアセットセットを個別のイベント及びサブイベントに自動的に仕分け、分割及びクラスタリングするイベントセグメント化アルゴリズムを含む。

意味索引付手段１１０は、上述されるように、デジタルカメラにより埋め込まれるなど、デジタルアセットにすでに含まれるメタデータを抽出し、それをデータベースに記録するメタデータ抽出機構を有する。このようなメタデータの他の例として、特にキャプチャ日時があげられる。索引付手段はまた、格納されているアセットを解析し、より複雑なメタデータを生成する複合的なアルゴリズムを有することも可能である。本発明の好適な実施例は、索引付手段の一部はその処理のため他の索引付手段に拠るかもしれないため、メディアアセットのセットを構成する各種意味索引付手段の動作をシーケンス化する。このような順序付けは、システムマネージャ１０７により管理されるか、厳密な順序付けスキームのためテーブルルックアップを介しシーケンス化されてもよく、又は依存関係ツリー若しくは他の適切なデータ構造により格納されてもよい。生成されたすべてのメタデータは、データベース１１３に記録され、それらの対応するメディアアセットに適切に関連付けされる。好適な実施例では、メタデータの何れかがトリプルストア１１５に格納されてもよく、大量の構造化されていないデータを格納するため最適化されたデータベースのタイプであってもよい。

最後の意味索引付手段が終了するか、又は少なくとも十分な数の予め選択された索引付手段が終了すると、システムマネージャ１０７は、１以上の適切なストーリーが作成されるべきか判断し、作成されるべきであると判断した場合、イメージプロダクト又はストーリーの生成を実行させるため、ストーリー提案手段１０６を起動する。次に、ストーリー提案手段は、ルールベース１１４に格納されている各種ルールを評価して、格納されているストーリールールの何れかが現在のメディアアセットコレクションにより充足可能であるか判断するため、推論エンジン１１１を起動する。これは、ストーリー生成のためのイベントベーストリガーと呼ばれる。他のタイプのプログラム可能なトリガーは、ユーザによるアセットのアップロードのモニタリングを含むかもしれない。例えば、ユーザが複数のアセットをアップロードした場合、ストーリー提案手段は、推論エンジンが十分な数のストーリールールが充足されたと判断した場合、可能性のあるストーリーを生成するため、アセットの解析を開始する。推論エンジンの好適な一実施例は、ＸＭＬファイルに格納されている名前の付いたルールのセットに構成されるＰｒｏｌｏｇクローズセットとして表され、リクエストされるようなＰｒｏｌｏｇエンジンにより評価されるルールベース１１４を有するＰｒｏｌｏｇ推論エンジンである。Ｐｒｏｌｏｇは、以下に詳細に説明されるように使用される宣言型論理プログラミング言語である。

ストーリー提案手段が、記念日、休日、誕生日又は他のイベントなどの日付ベースのトリガーに基づき生成するストーリーを検索しているとき、ストーリー提案手段１０６は、推論エンジン１１１がＰｒｏｌｏｇクローズｓｕｇｇｅｓｔＳｔｏｒｙＢｙＥｖｅｎｔを評価することを要求し、必ずしも以下に限定されるものでないが、ユーザ、ストーリータイプ、意図する受信者及びプロダクトタイプを含む複数のフリー変数の有効な関連付けを求める。有効な変数の関連付けセットが特定された場合（Ｐｒｏｌｏｇ推論エンジンなどにより）、ストーリー提案手段はその後、スマートアセット選択手段１０９から、提案されたストーリーに適合する適切なアセットセットを取得し、その後、プロダクト生成手段１０８が、フォトアルバムやマグカップ又はＴシャツにイメージをレンダリングする個を含む所望のプロダクト表現を生成することを要求する。プロダクト生成手段は、イメージプロダクトを表す適切なフォーマットの１以上のファイルを生成し、これは、イメージプロダクトが要求する場合には、ネットワークを介しプロダクト作成者に送信される命令を含むものであってもよい。プロダクト生成手段は、結果として得られるプロダクトがユーザのコレクションにおいて他のアセットとして処理されることを可能にするアセットストア１１２に結果として得られるファイルを格納してもよい。ストーリールールを充足するアセットがわずかしか存在しない場合、１つのイメージ又は少数のイメージを含む他のプロダクト又はマグカップを生成することが決定されてもよい。システムマネージャ１０７は、イメージプロダクトが生成されたとき、プロダクト生成手段により通知され、その時点において、システムマネージャはストーリー通知サービス１０５に通知し、ストーリー通知サービス１０５は、ストーリー通知手段１０３に新たなプロダクト又はプロダクトプレビューが生成されたことをユーザに通知させる。上述された通知方法に加えて、当該通知は、イメージプロダクトが生成され、閲覧の準備ができたことを示すテキスト及びグラフィック情報を含むディスプレイ上のポップアップウィンドウの形式を有してもよい。このとき、ユーザは、ストーリービューワ１０２を用いてプロダクトを閲覧するようにしてもよい。ストーリービューワは、インターネットエクスプローラなどのブラウザとして実現されてもよいし、又はウィンドウズ（登録商標）メディアプレーヤーなどのビデオ再生装置として実現されてもよい。好適な実施例では、ユーザは、必要に応じて製本されたフォトアルバムなど、プロダクトをハードコピーレンダリングするためプリンタに送信することをストーリービューワから要求するためのオプションを有する。ユーザはまた、例えば、マグカップが作成及び配送されることを要求してもよい。このような実現形態は、プロバイダウェブサイトへの直接的なリンクを含むフルフィルメントプロバイダに対するコンタクト情報を提供し、ユーザの配送リクエスト情報を取得するため、注文画面がユーザに提示可能であることを要求する。プロダクトを表示するため、ストーリービューワは、アセットストア１１２から必要なアセットを要求及び取得する。

システムマネージャはまた、カレンダーイベントにより起動されるストーリーがコンピュータシステムに格納されているデジタルメディアファイルから生成可能であるか判断するため、毎晩、毎月又は他の期間など定期的にストーリー提案手段を起動してもよい。これは、任意的には、ユーザにより選択されたタイムウィンドウに基づく次のイベントにより起動可能である。読者は、他のアーキテクチャが基本的に同様の動作を生じさせるかもしれないことを理解するであろう。例えば、ストーリー提案手段１０６とスマートアセット選択手段１０９の各コンポーネントは１つのコンポーネントに組み合わせ可能であり、又はストーリー提案手段は、適切なアセットセットが特定のストーリーについて利用可能であることを判断するため、スマートアセット選択手段を直接呼び出してもよい。特定のユーザについてストーリーを提案及び作成する際、ストーリー提案手段とスマートアセット選択手段は、当該ユーザにより所持されているアセットとメタデータしか考慮しないようにしてもよいし、又は他のシステムユーザが当該ユーザと共有しているアセットを含む、ユーザがアクセス可能なシステムのすべてのアセットを考慮してもよい。図１は、トリプルストア１１５として知られる別のタイプのデータベースのデータベース１１３にメタデータの少なくとも一部を格納するデータベースを示しているが、リレーショナルデータベースを含むこれらの組み合わせがまた利用されてもよい。一部のメタデータは、第三者のソースから取得されてもよく、当該機能は、インターネットなどの外部ネットワークとアクセス可能な外部のデータアクセサリ１１８により実行されるであろう。これらのタイプのデータはまた、ユーザの使用パターンに基づき、又は他人とのウェブベースのやりとりへのユーザの参加をモニタリングすることによって、パーソナルカレンダーエントリから収集可能である。
［メタデータ］
メータデータは、メディアアセットに関連付け及び格納されたデータを含む。一般に、限定することなく例として、３つのメタデータのソースが存在する。すなわち、デジタルカメラより提供される日時や場所などのキャプチャ装置メタデータと、キャプチャ装置のユーザインタフェース又はイメージ編集アプリケーションインタフェースなどを介しユーザにより提供されるメタデータと、顔認識やシーン分類アプリケーションなどにより求められるメタデータとである。導出されたメタデータはまた、何れかのタイプの既存のメタデータから導かれたメタデータを含む。メタデータは、キャプチャされたイメージデータのファイルのコンピュータへの格納時に生成可能である。メタデータは、キャプチャ装置により自動生成可能であり、又はイメージのキャプチャ時にユーザによりストレージに手動により入力することも可能である。それはまた、イメージ認識ソフトウェアのプログラムされた処理により、ユーザの知識なしに自動生成可能である。このようなソフトウェアは、既存のメタデータ情報の推定に基づき各種レベルのメタデータを生成可能であるかもしれない。例えば、格納されているイメージメディアコレクションに示される既知の家族のメンバーについて十分な既存のメタデータが与えられると、ファミリーツリーが推論されるかもしれない。

図２を参照するに、本発明のシステムにより利用可能な一例となるメタデータ要素のリストが示される。スチル及びビデオ２０１，２０２の時間的なイベントクラスタリングは、２００３年８月１２日に発行された同一出願人による米国特許第６，６０６，４１１号“Ａ Ｍｅｔｈｏｄ Ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｃｌａｓｓｉｆｙｉｎｇ Ｉｍａｇｅｓ Ｉｎｔｏ Ｅｖｅｎｔｓ”と、２００２年２月２６日に発行された同一出願人による米国特許第６，３５１，５５６号“Ａ Ｍｅｔｈｏｄ Ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｃｏｍｐａｒｉｎｇ Ｃｏｎｔｅｎｔ Ｏｆ Ｉｍａｇｅｓ Ｆｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｉｎｔｏ Ｅｖｅｎｔｓ”に詳細に説明されるように、整理されていないメディアアセットセットを別々の時間的なイベント及びサブイベントに自動的にソート、セグメント化及びクラスタリングすることによって生成される。コンテンツベースイメージ抽出（ＣＩＲ）２０３は、２００２年１１月１２日に発行された同一出願人による米国特許第６，４８０，８４０号“Ｍｅｔｈｏｄ Ａｎｄ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ Ｆｏｒ Ｓｕｂｊｅｃｔｉｖｅ Ｉｍａｇｅ Ｃｏｎｔｅｎｔ Ｓｉｍｉｌａｒｉｔｙ−Ｂａｓｅｄ Ｒｅｔｒｉｅｖａｌ”に詳細に説明されるように、イグザンプル（又はクエリ）イメージに類似したイメージをデータベースから抽出する。イメージは、例えば、カラー、テクスチャ又は顔などの他の認識可能なコンテンツなどによる類似度などの多数の異なる指標に基づき類似していると判断されてもよい。このコンセプトは、イメージの一部又はＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）に拡張可能である。クエリは、イメージ全体又はイメージの一部（ＲＯＩ）とすることが可能である。抽出されるイメージはイメージ全体とマッチングさせることが可能であり、又は各イメージはクエリに類似した対応する領域から検索することも可能である。本発明に関して、ＣＢＩＲは、他の自動選択されたアセットに類似するアセットを自動的に選択するのに利用されてもよい。例えば、バレンタインデーというテーマは、赤色が優勢であるイメージを検出し、又はハロウィンというテーマについては秋のカラーが優勢なイメージを検出する必要があるかもしれない。シーン分類手段は、シーンを特定し、１以上のシーンタイプ（ビーチ、屋内など）又は１以上の活動（ランニングなど）に分類する。一例となるシーン分類タイプが２０４にリストされており、その処理の詳細は、米国特許第６，２８２，３１７号“Ｍｅｔｈｏｄ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｏｆ Ｍａｉｎ Ｓｕｂｊｅｃｔｓ Ｉｎ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅｓ”、米国特許第６，６９７，５０２号“Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｈｕｍａｎ Ｆｉｇｕｒｅｓ Ｉｎ Ａ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ａｓｓｅｔｓ”、米国特許第６，５０４，９５１号“Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｓｋｙ Ｉｎ Ｉｍａｇｅｓ”、米国特許公報第ＵＳ２００５／０１０５７７５号“Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｔｅｍｐｏｒａｌ Ｃｏｎｔｅｘｔ Ｆｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”、及び米国特許公報第ＵＳ２００４／００３７４６号“Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｏｂｊｅｃｔｓ Ｉｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ａｓｓｅｔｓ”に説明されている。顔検出手段２０５は、イメージコレクションにおいて可能な限り多くの顔を検出するのに使用され、２００６年９月１９日に発行された米国特許第７，１１０，５７５号“Ｍｅｔｈｏｄ Ｆｏｒ Ｌｏｃａｔｉｎｇ Ｆａｃｅｓ Ｉｎ Ｄｉｇｉｔａｌ Ｃｏｌｏｒ Ｉｍａｇｅｓ”、２００５年９月６日に発行された米国特許第６，９４０，５４５号“Ｆａｃｅ Ｄｅｔｅｃｔｉｎｇ Ｃａｍｅｒａ Ａｎｄ Ｍｅｔｈｏｄ”、及び２００３年３月１２日に出願された米国特許公報第２００４／０１７９７１９号“Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ Ｆｏｒ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｉｎ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ａｓｓｅｔｓ”に説明されている。顔認識２０６は、２００６年１１月１４日に出願された米国特許出願第１１／５５９，５４４号“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ”、２００６年１月２７日に出願された米国特許出願第１１／３４２，０５３号“Ｆｉｎｄｉｎｇ Ｉｍａｇｅｓ Ｗｉｔｈ Ｍｕｌｔｉｐｌｅ Ｐｅｏｐｌｅ Ｏｒ Ｏｂｊｅｃｔｓ”、及び２００５年１０月３１日に出願された米国特許出願第１１／２６３，１５６号“Ｄｅｔｅｒｍｉｎｉｎｇ Ａ Ｐａｒｔｉｃｕｌａｒ Ｐｅｒｓｏｎ Ｆｒｏｍ Ａ Ｃｏｌｌｅｃｔｉｏｎ”に説明されるように、顔の特徴に基づき人や人に関連するラベルのイグザンプルに顔を特定及び分類する。この段落にリストされた先行技術文献は、参照することによりその全体がここに援用される。

顔クラスタリングは、検出及び特徴抽出アルゴリズムから生成されたデータを用いて、類似しているように見える顔をグループ化する。以下に詳細に説明されるように、この選択は、数値的な信頼値に基づきトリガーされてもよい。２００４年１１月１７日に出願された米国特許公報第ＵＳ２００６／０１２６９４４号“Ｖａｒｉａｎｃｅ−Ｂａｓｅｄ Ｅｖｅｎｔ Ｃｌｕｓｔｅｒｉｎｇ”に説明されるように、ロケーションベースデータ２０７は、セルタワー位置、ＧＰＳ座標及びネットワークルータ位置を含みうる。キャプチャ装置は、イメージ又はビデオファイルと共にメタデータアーカイブ化を含むものでもあってもよいし、そうでなくてもよい。しかしながら、これらは、典型的には、イメージ、ビデオ又は音声をキャプチャする記録装置によって、メタデータとしてイメージと共に格納される。ロケーションベースメタデータは、メディアクラスタリングのための他の属性と共に使用されるとき、極めて強力なものとなりうる。例えば、地理的名称に関する米国地質調査委員会は、緯度と経度の座標を、教会、公園又は学校などの各タイプを含む一般的に認識されている特徴名及びタイプにマッピングする手段を提供する地理的名称情報システムを維持する。アイテム２０８は、２００５年７月１１日に出願された米国特許公報第ＵＳ２００７／０００８３２１号“Ｉｄｅｎｔｉｆｙｉｎｇ Ｃｏｌｌｅｃｔｉｏｎ Ｉｍａｇｅｓ Ｗｉｔｈ Ｓｐｅｃｉａｌ Ｅｖｅｎｔｓ”に説明されるように、誕生日や結婚式などの意味的カテゴリに検出されたイベントを特定又は分類することを例示する。イベントとして分類されたメディアアセットは、単位時間毎の同一の場所、設定又は活動のため、そのように関連付けることが可能であり、ユーザ又はユーザグループの主観的な意思に関連することが意図される。各イベント内では、メディアアセットはまた、サブイベントと呼ばれる関連するコンテンツの個別のグループにクラスタリングすることが可能である。イベントのメディアは同一の設定又は活動に関連付けされ、サブイベントのメディアはイベント内の同様のコンテンツを有する。イメージ値インデックス（ＩＶＩ）２０９は、各ユーザが特定のアセットに関連付けされる重要度（重大性、魅力、有用性又は効用）の指標として定義され（メタデータとしてユーザにより入力された格納されているレーティングとすることが可能である）、２００６年４月１３日に出願された米国特許公報第２００７／０２６３０９２号（Ｅ．Ｆｅｄｏｒｏｖｓｋａｙａ ｅｔ ａｌ．）及び米国特許出願第１１／４０３，５８３号“Ｃａｍｅｒａ Ｕｓｅｒ Ｉｎｐｕｔ Ｂａｓｅｄ Ｉｍａｇｅ Ｖａｌｕｅ Ｉｎｄｅｘ”に説明される。自動的なＩＶＩアルゴリズムは、シャープさ、明るさ及び他のクオリティの指標などのイメージ特徴を利用可能である。カメラ関連のメタデータ（露光、日時）、イメージ理解（肌又は顔検出及び肌／顔面積の大きさ）又は動作指標（視聴時間、拡大、編集、印刷又はシャープ化）がまた、何れのメディアアセットのＩＶＩを計算するのに利用可能である。この段落にリストされた先行技術文献は、参照することによりその全体がここに援用される。

ビデオキーフレーム抽出２１０は、ビデオシーケンスのサマリ又はハイライトを提供するため、キーフレーム及び／又はサイレントなショット、シーン又はイベントと関連する音声を抽出する処理であり、米国特許公報第２００７／０１８３４９７号（Ｊ．Ｌｕｏ ｅｔ ａｌ．）に詳細に説明されている。ＥＸＩＦデータ２１１（デジタルスチルカメラの互換的なイメージファイルフォーマット：ＥＸＩＦ Ｖｅｒｓｉｏｎ ２．２，ＪＥＩＴＡ ＣＰ−３４５１，Ｊａｐａｎ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｄｕｓｔｒｉｅｓ Ａｓｓｏｃｉａｔｉｏｎ，Ａｐｒｉｌ ２００２）は、記録装置により生成されたデータであり、キャプチャされたメディアファイルと共に格納される。例えば、デジタルカメラは、ｆストップ、スピード及びフラッシュ情報など、イメージに関する各種カメラ設定を含むかもしれない。これらのカメラにより生成されるデータはまた、イメージがキャプチャされた場所に関する地理的位置を示すＧＰＳデータを含むものであってもよい。ユーザによる入力か、記録装置により提供されたか、コンピュータシステムにより推定されたかというすべてのメタデータは、既存のメタデータから決定可能な推論に基づき付加的なメタデータを生成するため、プログラムされたコンピュータシステムにより利用可能である。この段落にリストされた先行技術文献は、参照することによりその全体がここに援用される。

図３を参照して、“Ｐｅｔｅｒ Ｊｏｎｅｓ”という人に関するプロファイルメタデータを入力するための一例となるコンピュータシステムのユーザインタフェース（ＵＩ）が示される。このユーザメタデータエントリモードは、コレクションの何れかのメディアアセットについて実現可能である。このＵＩにキーボードなどを介しユーザにより入力可能な情報フィールドは、住所、都市、州、国、電話、電子メールアドレス、他の記載などの個人に関する個人情報を含む。この記載は、コンピュータシステムが“Ｐｅｔｅｒ Ｊｏｎｅｓ”という人と関連付けるため使用するニックネーム、職業、身体的特徴又は他の何れかの入力データなどのキーワードを含むものであってもよい。個人情報はまた、個人の興味、趣味及び通常携わっている活動のリストを含むものであってもよい。システムがこのような興味をより良好に解釈することを可能にするため、ユーザインタフェースは可能な選択肢のセットを制限してもよく、ユーザが階層的に構成された興味及び活動のオントロジーから複数の興味及び趣味のクラスを選択することが可能になる。このようなオントロジーは、本発明について特別に開発されたものであってもよく、又は公開に利用可能なオントロジーがこの目的のために利用又は構成されてもよい。例えば、英国政府により公開されている“Ｉｎｔｅｇｒａｔｅｄ Ｐｕｂｌｉｃ Ｓｅｃｔｏｒ Ｖｏｃａｂｕｌａｒｙ”は、特にスポーツ、宗教上の信仰、趣味及び他のレジャー活動を含む階層的かつ構造化されたリストを含む。コンピュータシステムは、特定のキーワードを認識し、それらを対応するオントロジー用語にマッピングすることが可能なコンピュータシステムによって、ユーザがこのような興味を自由な形式により入力することを可能にするようプログラムされてもよい。

このユーザプロファイルはまた、プログラムによりプロファイルされた人と関連付けされる家族や友人などの“Ｐｅｔｅｒ Ｊｏｎｅｓ”に関連する人々に関する情報を含む。個人に関連するユーザ入力情報の説明は、図３に示される具体例にのみ限定されるべきでない。個人に関連付けされた関連情報はまた、過去及び現在の友人、同僚、家族及び当該個人に関連する他の人々、訪れた場所及び居所、自動車、衣装、楽器などを含む所有物と共に、例えば、ペットや家畜などに関する情報を含むものであってもよい。個人に関するこのような関連情報又はメタデータの各部分は、さらに名前、誕生日、取得日、使用情報及び他の代表的なピクチャなどの関連付けされたメタデータを有するものであってもよい。

家族関係について、システムは、ユーザがすべての家族関係を入力することを要求しない。すなわち、例えば、ＪａｎｅがＡｎｎの娘であり、ＪａｎｅがＭａｒｙの孫であり、ＪａｎｅがＢｉｌｌの姪であるなどを言う必要はない。その代わりに、システムは配偶者及び親子の標準的な関係が入力されることしか要求せず、他のすべての家族関係はシステムにより自動的に推論可能である。義母などの婚姻による関係が同様に推論可能である。システムは、このような関係が離婚の結果として終了したことをユーザが指定する方法を提供することが可能である。

図４を参照するに、図１のコンピュータシステムデータベース１１３に格納されているイメージなどに関連したメタデータを入力するための一例となるユーザインタフェースが示される。このＵＩにおける情報フィールドは、当該イメージに関するもの、又はイメージに描かれた人、場所、動物又は他のものを含み、さらにイメージに現れている他人、場所、もの、動物などに関する情報を含むものであってもよい。これらのフィールドは、日付情報、イメージに関連するイベントを記述するためのイベントフィールド、及び検索のためイメージによる意味推論を容易にするためユーザにより入力されたキーワードを含む。イメージに関連する位置を記述するためのロケーションフィールドと、アセット詳細フィールドとは、イメージに関連する各種タイプのメタデータを編集するのに役立つ。情報フィールドはまた、イメージに描かれたものに関連しないデータを有してもよい。この情報はコンテクスト情報を含むものであってもよい。例えば、イメージがサッカーの試合からのシーンを含む場合、情報フィールドは、試合が負けたことを示すものであってもよく、又はその日にチームをコーチしていた人に関する情報を含むものであってもよく、又は天候に関する情報（ＧＰＳ位置及び日時など、ＥＸＩＦデータと共にオンラインで利用可能な情報を利用してプログラムにより生成されたメタデータにより自動取得可能である）若しくはその試合の前後のイベントに関する情報及びプログラムされたコンピュータシステムが格納されているイメージに関連付けるユーザにより入力された多様な他のデータを含むものであってもよい。キーワードは、イメージの検索を容易にするため、キーワードフィールドに追加されてもよい。顔認識ツールは、情報がすでに格納されているイメージに描かれる人々を、データベースに格納されている他のイメージに現れているこれらの人々に基づき自動識別することによって、メタデータの生成に役立つよう実装されてもよい。例えば、各関係のつながりが人々について利用可能な家族関係メタデータに基づき推論可能である場合、システムが家系図を自動生成することが可能であるかもしれない。

いくつかのメタデータは、外部のデータアクセサリ１１８により実行されるように、天気やカレンダーサービスなど、第三者ソースから取得されてもよい。例えば、所与の日及び場所においてどのような天気であったかを知ることは、ストーリーの作成に有用であるかもしれない。日時情報は、ＥＸＩＦファイルに記録されたＧＰＳ情報と組み合わされると、過去の天気情報を提供する外部のウェブサービスへの入力として提供されるかもしれない。位置情報は、日付情報と共に、イベントやおそらく特別な興味を特定することが可能である。あるいは、このような情報は、イベントを記述し、例えば、特定の日にスタジアムにおいて何が行われたかなどをシステムが知ることを可能にするサービスに提供されてもよい。
［全体的なアルゴリズム］
本発明の好適な実施例は、ストーリーに必要なコンポーネントがユーザのメディアデータベースに存在するか自動的にチェックするアルゴリズムを有する。何れかプログラム可能なイベントが、ストーリー作成の可能性のためメディアデータベースの評価をトリガーするのに利用されてもよい。１以上のメディアファイルのアップロードは、自動的なストーリーの作成のためのチェックを始動可能である。定期的なカレンダーの日付又は近づく記念日や休日は、ストリープロダクトに使用するメディアアセットのチェックをトリガー可能である。特定のカレンダーの日付の重要性は、当該カレンダー日付の周辺の期間におけるユーザ活動の頻度及びタイプに基づき推定可能である。ユーザが好む活動がまた、ユーザのメディアアセットを解析し、又は特定タイプのアセットがどの程度アクセスされるかの頻度を追跡することによって推定可能である。ユーザのメディアアセットとこれらのアセットとのユーザのやりとりを解析する方法は、実質的に無限にある。ここに記載される実施例は、本発明を何れか特定の実施例に限定することを意図するものでない。

休日などの繰り返し発生する日に関して、好適な実施例では、特定のユーザに母の日のストーリーを提案する一例となるアルゴリズムがＰｒｏｌｏｇコンピュータ言語により表現できる。それは、以下のような等価な英語を有する。
Ｒ−１．対象日Ｄａｔｅが与えられると、
Ｒ−１．１．対象日Ｄａｔｅが既知の繰り返し起こる休日Ｈｏｌｉｄａｙである。
Ｒ−１．２．Ｈｏｌｉｄａｙが母の日である。
Ｒ−１．３．システムのユーザＵｓｅｒが、受け手Ｒｅｃｉｐｉｅｎｔの配偶者である。
Ｒ−１．４．受け手Ｒｅｃｉｐｉｅｎｔが母である。
という場合、ユーザＵｓｅｒにユーザストーリータイプ「母の日アルバム」と受け手Ｒｅｃｉｐｉｅｎｔのためのプロダクト「母の日マルチメディアアルバム」とを提案する。

上記ルールは、あるストーリープロダクトがあるユーザについて作成されるべきか判断するのに使用されるハイレベルルールを示す。この時点において、当業者は本発明を実現するようプログラム可能な実質的に無限のルールを認識するであろうことに留意すべきである。上記ルールが充足された場合、母の日のストーリータイプはストーリー作成の次のステップのため利用される。

ストーリータイプは、特定のストーリープロダクトを作成するのに使用するアセットを抽出するのに用いられるルールセットを規定する。スマートアセット選択手段１０９は、作成されるストーリープロダクトに適したアセットセットを決定するため、ストーリー提案手段１０６により要求されるルールセットを実行する。好適な実施例では、ルールセットを構成するルールは、クローズがＳエクスプレションとして知られる括弧付きのプリフィックス形式により記述されるＰｒｏｌｏｇバージョンを用いてＰｒｏｌｏｇにより表現される。図７は、母の日アルバムのためのルールのサブセットを含む。より複雑なルールセットは、以下のように英語により表現されるかもしれない。
Ｒ−２．以下の制約を充足するアセットを選択する。
Ｒ−２．１．ルール７０１として示される母のみの多くても２つのベストピクチャから始める
Ｒ−２．２．次に、ルール７０２として示されるすべての子供（夫なし）と母の多くても３つのベストピクチャ
Ｒ−２．３．次に、ルール７０３として示される何れかの年からの各子供と母のベストピクチャ
Ｒ−２．４．何れかの年からの母とその母親とのベストピクチャ
Ｒ−２．５．昨年からの家族（子供と夫）と母のベストピクチャ（図示せず）
Ｒ−２．６．最後に、ルール７０４として示される、当該ビデオがタイプ「家族メンバー」として分類されるイベントに属し、６０秒未満の多くても２つのビデオクリップ
“ベスト”とは、各種イメージ値インデックス（ＩＶＩ）指標を含む様々なプログラムされた指標又はこれらの組み合わせに従って規定されてもよい。これらの基準は、休日以外の他のタイプの日付に拡張可能である。上記ルールは単なる一例であり、Ｐｒｏｌｏｇ言語は、任意の制約セットが規定されることを可能にする。好適な実施例では、ベストの正確な定義は、さらなるＰｒｏｌｏｇクローズを用いて規定される。

図６は、上記ルールセットに係るデータの一部を含む意味ネットワークデータベースを示す。好適な一実施例では、データはＲＤＦ（Ｒｅｓｏｕｒｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｆｒａｍｅｗｏｒｋ）データモデルを用いて意味ネットワークとして表現される。ＲＤＦ内では、各「ファクト（ｆａｃｔ）」は、「主語−述語−目的語」の形式の記述として表現される。主語と目的語はノードとして示され、述語はノードを接続するラベル付けされたリンクとして示される。主語と述語は、特定のエンティティとコンセプトを特定するＵＲＩ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）として示される。目的語は、ＵＲＩ又は文字による値により記されるかもしれない。説明の簡単化のため、割り当てられたＵＲＩでなくエンティティの名前が使用される。例えば、ファクト「ＡｎｎはＡｌｅｘの配偶者である」は、「主語」ノード６０１、ラベル付けされた「述語」リンク６０２及び「目的語」ノード６０３の組み合わせにより表される。アセットに係るメタデータ、ユーザプロファイル情報及び補助データを含むデータセット全体は、トリプルストアに格納され、データベースは、主語−述語−目的語の形式の構造化されていないファクトの格納のため最適化される。読者は、他のデータモデルと格納機構が本発明を実現するのに有用に利用可能であり、本発明がここに記載された実施例に限定されるものでないことを理解するであろう。

ストーリー提案手段１０６は、スマートアセット選択手段がルールセット「母の日アルバム」に該当するアセットセットを計算することを要求する。その後、スマートアセット選択手段１０９は、推論エンジン１１１がルールベース１１４に格納されている関連するルールを実行し、何れのアセットがルールにより規定された制約を充足するか判断することを要求する。上述した具体例に続いて、図７においてネイティブなＰｒｏｌｏｇ形式により示されるルールセット「母の日アルバム」としてルールセット２が与えられ、図６に示されるサブセットを含むデータセットが与えられると、スマートアセット選択手段は、指定された制約を充足するピクチャ及びビデオセットを返す。具体例として、ボックス７０４内のコードとして図７に示されるルール２．６は、ルール８の定義セクションの第１ラインに示されるような制限のない変数？ｍｏｖｉｅと？ｄａｔｅを参照する。このルールは、アセットＶ１（６０５）に係るＵＲＩに？ｍｏｖｉｅを関連付け、アセットＶ１がキャプチャされた日付に対応する文字の値と？ｄａｔｅを関連付けることによって充足されてもよい。この関連付けは、Ｖ１がタイプ「家族の時間」（６１０，６１１）として分類されるイベントＥ３（ノード６１２とリンク６１３）に属し、ビデオが６０秒未満である（６０６，６０７）ため、当該ルールを充足している。

充足されたルールセットは、存在する場合にはいくつかのアセットを指定するであろう。アセットストアはルールセットを充足するアセットを有していない可能性がある。この場合、デフォルト選択アルゴリズムは、ストーリープロダクトが生成される必要がある場合、利用可能なアセットを選択するようプログラム可能である。ルールセットは、当該ルールセット又はそれを構成する各ルールが最小限のアセットに一致することを要求してもよい。すなわち、十分なアセットがない場合、ストーリープロダクトは作成されない。ルールセットはまた、プロダクト生成手段により守られる必要のあるアセットに関するさらなる制約を指定してもよい。例えば、ルールセットは、最終的なプロダクトにおいてアセットが従う必要のあるシーケンス及び／又はアセットがどのようにグループ化されるべきかを規定してもよい。本発明の範囲は、このようなすべての実施例を含む。

本発明の他の好適な実施例は、イベントドリブンストーリータイプの形式を有する。このストーリータイプは、イベントに基づきトリガーされる。例えば、コンピュータシステムへのアセットのアップロードは、トリガリングイベントでありうる。一実施例では、システムは、アセットセットを受信すると、これらのアセットを１以上のイベントタイプに属するものとして分類しようとする。システムは、特定のストーリータイプを提案するため、このイベント分類とユーザに関する追加的情報とを組み合わせる。一般に、プログラムされたコンピュータシステムは、このイベントタイプについてストーリープロダクトを生成するため、以下のルーチンを有する。
・興味及び活動オントロジー
・特定のプロダクトタイプと特定の興味又は活動とを関連付けるプロダクトカタログオントロジー
・興味及び活動オントロジーからの人々の興味又は活動と関連付けする能力
興味及び活動オントロジーは、可能性のある活動、興味及び趣味の拡張可能なリストを規定する。例えば、オントロジーのサブセットは以下のクラスを含むものであってもよい。
（１）スポーツ活動
１．ａ）屋内スポーツ
１．ａ．１）チームスポーツ
１．ｂ）屋外スポーツ
１．ｂ．１）チームスポーツ
１．ｂ．１．ａ）野球
１．ｂ．１．ｂ）サッカー
１．ｂ．１．ｃ）フットボール
（２）懇親会
２．ａ）パーティ
２．ａ．１）結婚パーティ
２．ａ．２）誕生パーティ
２．ａ．３）．．．
２．ｂ）荘厳な儀式
フルオントロジークラスは、任意量の情報を含むようスケーリング可能である。コンピュータシステムは、例えば、デジタルカメラからフォト系列などのアセットセットがアップロードされると、まずこれらのアセットを上述されるイベント分類手段を用いてイベントにグループ化し、その後に興味及び活動オントロジーに従ってイベントを分類しようとする。好適な一実施例では、プログラムされたコンピュータシステムは、以下の一例となるハイレベルイベントタイプ２０８、すなわち、屋外スポーツ、パーティ、家族の時間、休暇の１つに属するアセットを分類する。

これらのイベントタイプは、イメージがメタデータ解析を用いてこれら４つのカテゴリに分類可能であるため、選択される。これらのカテゴリは、前の活動及び興味オントロジーからの１以上のクラスにマッピング可能である。例えば、イベントタイプ「屋外スポーツ」は、オントロジーのアイテム１．ｂの屋外スポーツにマッピングされる。

プロダクトカタログは、同様に活動／興味と共に可能性のあるプロダクトタイプセットを含み、これらのプロダクトは、野球アルバム（野球に対応する）、サッカーアルバム（サッカーに対応する）及び野球ＤＶＤ（野球に対応する）に関連付けされてもよい。

このデータを利用して、本発明の好適な実施例は以下の一般化されたルールを実現することができる。
Ｒ−３．特定の人を対象とした所与のイベントについて、その人が特定のプロダクトに一致した特定の興味を有し、その興味が当該イベントに係るハイレベルな分類のインスタンスである場合、その人に当該プロダクトを提供する。

これが与えられると、システムは、デジタルメディアアセットセットのアップロードに基づきテーマ化されたストーリーを提案することができる。例えば、父親が娘のＪａｎｅの最近のリトルリーグの試合からのピクチャセットをアップロードしたと仮定すると、システムは以下の情報を知ることになる。
・Ｊａｎｅが野球が好きであることが知られている。これは、システムがユーザによりこのことを明示的に告げられたため、又はシステムがこの情報を推論できたためである。
・野球プロダクトが野球という活動に関連付けされていると言うことが知られている。これは、当該プロダクトの作成者又はベンダーがプロダクト記述の一部としてそのメタデータを関連付けたためである。
・野球がスポーツの一種であり、屋外スポーツの１つのタイプであることが、以前の興味及び活動オントロジーなど、システムが明示的に告げられた活動及び興味のオントロジーから知られている。

ピクチャセットに係るテーマを自動的に選択することに基づきストーリーを抽出する具体的なアルゴリズムは以下のとおりである。一実施例では、
Ｒ−４．与えられたイベントＥｖｅｎｔを有するアセットセットについて、
Ｒ−４．１．ユーザがイベントＥｖｅｎｔを所有する、
Ｒ−４．２．イベントが分類ＥｖｅｎｔＴｙｐｅを有する、
Ｒ−４．３．イベントがＰｅｒｓｏｎを対象とするピクチャを含む、
Ｒ−４．４．ユーザがＰｅｒｓｏｎの親である、
Ｒ−４．５．Ｐｅｒｓｏｎは活動ＡｃｔｉｖｉｔｙＴｙｐｅを好む、
Ｒ−４．６．プロダクトが活動ＡｃｔｉｖｉｔｙＴｙｐｅに対応する、
Ｒ−４．７．活動がＥｖｅｎｔＴｙｐｅのサブクラスである、
という場合、ユーザＵｓｅｒに対してプロダクトＰｒｏｄｕｃｔを提案する。

このルールは、他の多数の同様のルールと共に、ルールレポジトリ１１４に格納され、ストーリー提案手段１０６により要求されると、推論エンジン１１１により実行される。

図５を参照するに、上記の例に関連するデータの一部を含む意味ネットワークデータベースが示される。主語と目的語はノードとして示され、述語はノードを接続するラベル付けされたリンクトして示される。例えば、ファクト「Ｊａｎｅは野球が好きである」は、「主語」ノード５０３、ラベル付けされた「述語」ノード５０４及び「目的語」ノード５０６の組み合わせにより表される。アセット、ユーザプロファイル情報及び補助データに係るメタデータを含むデータセット全体は、トリプルストアに格納される。読者は、他のデータモデル及びストレージ機構が本発明を実現するのに有用に利用可能であり、本発明はここに記載される実施例に限定されないことを理解するであろう。

図１の上述した推論エンジン１１１は、以下のように図５に示されるデータセットに関してルール４を実行する。推論エンジンは、ルール４により規定される制約が成り立つように、ユーザＵｓｅｒとプロダクトＰｒｏｄｕｃｔに対する各種関連付けを検索している。ルール４は、複数のサブクローズ４．１〜４．７から構成され、これらは次に、ルール全体が真となるように有効な値に同時に限定される必要のある中間変数ＥｖｅｎｔＴｙｐｅ、Ｐｅｒｓｏｎ及びＡｃｔｉｖｉｔｙＴｙｐｅを参照する。

イベントＥ_１５１３は、リンク５１４により示されるように、ユーザＡｌｅｘ５０１により所有され、このため、Ａｌｅｘはルールクローズ４．１を充足する。イベントＥ_１は、ピクチャＰ_１５１８〜Ｐ_ｎを有する。さらに、イベントＥ_１は、ノード５１３，５１０により示される活動タイプＯｕｔｄｏｏｒ Ｓｐｏｒｔｓと「ｃｌａｓｓｉｆｉｅｄＡｓ」リンク５１２とを有する。このため、ルールクローズ４．２は、変数ＥｖｅｎｔＴｙｐｅとＯｕｔｄｏｏｒ Ｓｐｏｒｔｓとを関連付けることによって充足される。

イベントを構成するピクチャセットは、ある人がピクチャに描かれている場合、その人を対象としていると考えられる。ある人を対象とするピクチャセットについてそれが意味するもののより複雑な定義は、その人が、例えば、ピクチャの大部分に現れているなど、これらのピクチャに主として描かれていることを要求するよう定義されてもよい。イベントがある人を対象とするというシンプルな定義を用いて、その人がイベントに属するピクチャに現れている場合、ルールクローズ４．３は、５１８，５１５，５０３により表現されるステートメントを参照して変数ＰｅｒｓｏｎをＪａｎｅと関連付けることにより充足される。クローズ４．４は、ＵｓｅｒをＡｌｅｘに関連付けることにより充足され、５０１，５０２，５０３により表されるＡｌｅｘがＪａｎｅの親であるというステートメントによりサポートされる。クローズ４．５は、クローズ４．５は、ＡｃｔｉｖｉｔｙＴｙｐｅをクラスである野球に関連付けることにより充足され、５０３，５０４，５０６により現れるＪａｎｅは野球が好きであるというステートメントによりサポートされる。ＡｃｔｉｖｉｔｙＴｙｐｅと野球との関連付けが与えられると、クローズ４．６は、５１９，５２０，５０６を用いてＰｒｏｄｕｃｔを野球アルバムに関連付けることによって充足される。野球がＯｕｔｄｏｏｒ Ｓｐｏｒｔｓのサブクラスである場合（５０６，５０５，５０７）、Ａｃｔｉｖｉｔｙと野球及びＥｖｅｎｔＴｙｐｅとＯｕｔｄｏｏｒ Ｓｐｏｒｔｓの変数の関連付けは、クローズ４．７を充足し、これにより、ルール４の全体が、ＵｓｅｒとＡｌｅｘ及びＰｒｏｄｕｃｔと野球アルバムとの変数の関連付けが与えられると、充足される。より正確には、これらの変数はＡｌｅｘと野球アルバムプロダクトを表す対応するＵＲＩに関連付けされる。

上述されるように、好適な実施例は、Ｐｒｏｌｏｇ推論エンジンを使用してルールに対する解法を検索する。これらのルールはＰｒｏｌｏｇクローズを用いて表現されるが、制約を記述するための他の機構もまた利用可能である。

図１２を参照するに、ルール及び関連するメタデータ並びに／又はそれらを機能させるのに必要なアルゴリズムの具体例を示すためのテーブルが示される。これらのルールは、自動的なストーリーの生成を実現するため、所与のルールセットにおける各種組み合わせにおいて利用可能である。これらのルールは、システム内で表現可能な任意の複雑かつ制限のないタイプのルールの単なる例示である。
［ストーリー作成］
図８を参照するに、イメージプロダクトを生成する方法の好適な一実施例を示すフローチャートが示される。ステップ８００において、当該プログラムは開始される。ステップ８０１において、プログラムは、アセットアップローダ１０１などによりコンピュータシステムのフォルダ又はデータベースにアップロードされた新たなイメージがあるかチェックする。新たなイメージがある場合、システムは、８０４において、アセットと共に格納されるべきメタデータを生成することによって、新たにアップロードされたアセットを索引付けする。メタデータは、シーン及びイベント分類、人々の認識、システムが上述されたように生成した他のメタデータを含む。新たなイメージがない場合、システムは、休日、誕生日又は他のカレンダーの日時など、ストーリープロダクトを生成するための何れかの時間的なトリガー８０２があるかチェックする。トリガー８０２がない場合、システムは、ユーザ活動に基づくものやユーザにより選択された他の期間などの他のプログラムされたトリガー８０３があるかチェックする。アクティブなトリガーがある場合、又はユーザがアップロードされたアセットを有する場合、システムは、生成されたメタデータと、キャプチャ装置によりイメージと共に格納されたものなどのイメージと共に含まれているメタデータのチェックを開始する。システムは、ステップ８０５において、アップロードされた新たなアセット又は以前に格納されたアセットがストーリールールを充足しているか判断する。充足していない場合、プログラムは新たにアップロードされたアセット及びトリガーに対するチェックをループバックする。テーマ及びプロダクトを有するストーリールールが充足された場合、ステップ８０６において、テーマ及びルールを充足したアセットが選択され、プロダクトが生成される。読者は、テーマ、プロダクト及びアセットを選択する各ステップが他の様々な実施例において１つのステップに組み合わされ、実行可能であることを理解するであろう。イメージプロダクトは、ステップ８０６において、選択されたアセットに基づき生成され、ユーザは、ステップ８０７において、プロダクトが視聴のため利用可能であることを通知される。

図９を参照するに、イメージプロダクトを生成する方法の他の好適な実施例を示すフローチャートが示される。本方法は９００において開始される。ステップ９０１において、ストーリーのテーマが自動的に選択可能であるか（９０２）、又はユーザにより手動により選択可能である（９０６）。テーマの一例は母の日です。選択されたテーマは、イメージプロダクトを作成するのに利用するため、いくつかのアセットを選択するためのルールセットを規定する。テーマ選択後、ステップ９０３において、プロダクトタイプが自動的に選択可能であるか（９０９）、又は手動により選択可能である（９０７）。プロダクトタイプの選択後、ステップ９０４において、アセットがアセットデータベースから自動的に選択可能であるか（９０５）、又は手動により予め選択可能である（９０８）。アセット選択後、ステップ９１０において、イメージプロダクト（又はプロダクト表現）が、上述されるようなプログラムされたステップにより自動的に作成され、ステップ９１１において承認のためユーザに提示される。選択されたアセットに基づき、プロダクトは、例えば、ハードコピーアルバム、スライドショー、ＤＶＤ、コラージュ、マルチメディアプレゼンテーション、スクリーンセイバ、マグカップ、Ｔシャツ、グリーティングカード、カレンダーなどを含みうる。アセット選択及びプロダクト表現の作成の各ステップは、任意的には、プロダクト表現とアセット選択ルールとが互いに影響し合う可能性があるため、逆転可能である。母の日の一例となるストーリーテーマによって、プロダクト表現はハードコピーアルバムであるかもしれない。同じアセット選択ルールが、他のイメージプロダクト形式に適用可能であり、例えば、ハードコピーアルバムを作成するため選択されたイメージは、ＤＶＤの作成と同様に機能するかもしれない。

本発明の他の好適な実施例は、承認のためユーザに提示されるイメージプロダクトを編集する編集機能をユーザに提供するオプションを含む。図１０を参照するに、システムにより選択されたボーダにより囲まれた写真を示すシステムにより生成されるプロダクトページが示される。また、例えば、ユーザがパーソナルコンピュータにインストールするため通常利用可能なイメージ編集アプリケーションを利用することによって編集される再生を示す当該プロダクトページの他のバージョンが示される。図１０に示されるように、ユーザは、写真を再アレンジし、異なるボーダパターンを選択し、拡大フォーマットにより示されるように異なる写真を選択した。

ここに記載される方法、システム、ソフトウェア及びプロダクト配布媒体は、コンピュータプログラムが複合的なイメージプロダクトを自動作成する本発明の実施例を示す。本発明の効果の一部は、それが自動的なアセット選択を可能にし、これにより、コンピュータシステムが知能的にイメージのサブセットを選択し、この結果、例えば、コレクションのすべてのピクチャがイメージプロダクトに含まれる必要がないということである。選択されたアセットの個数は、所望の出力プロダクトにより決定されてもよい。他の例として、２分間のマルチメディアプレゼンテーションがスライド毎に４秒間の移行レートにより選択される場合、これは３０枚のイメージを必要とする。この制約は、プログラムされたルールセットの一部として指定されるようにしてもよい。

コンピュータシステムは、重要な日付を特定するカレンダーエントリに基づきイメージプロダクトを生成してもよい。これらの日付は、記念日や誕生日などの個人的に重要なものであってもよく、又は母の日や元日などの休日であってもよい。これらのカレンダーの日付のデータは、ユーザによりシステムに入力されてもよいし、又はプログラムされたコンピュータシステムにより推定されてもよい。ユーザにとって重要な日付をシステムが推定する１つの方法は、イメージがキャプチャ又はシステムにアップロードされた日付と、これらのイメージのカテゴリとを追跡することである。その後、システムは、特定タイプのイメージが１年の同じ日に又は他の基礎によりキャプチャ又はアップロードされる場合、重要な日付を推定できる。

図１１を参照するに、上述したコンポーネントであるストーリー通知サービス１０５とアセットサーバ１１９は、インターネットアクセス又はローカルネットワークを含むネットワーク接続を介し接続されて示され、インターネットアクセス又はローカルネットワークは、標準的なケーブル又は電話線のアクセスを介しアクセスされてもよく、またセル及びＷｉ−Ｆｉネットワークにおいて一般的な無線ネットワークアクセスを含むものであってもよい。ストーリー通知サービスとアセットサーバは、ストーリーが作成されたことをユーザに通知し、ユーザがストーリーを閲覧することを可能にするため、ネットワーク接続を介し各種ネットワーク装置とやりとりすることが可能である。セットトップボックス１１０２、携帯電話やＰＤＡ１１０３、ホームメディアサーバ１１０４、プリンタ１１０５、ＰＣ１１０６などの図示された装置タイプのそれぞれは、ストーリー通知手段１０３（図示せず）とストーリービューワ１０２（図示せず）とを有してもよい。例えば、ユーザは、ディスプレイ１１０１に接続されたセットトップボックス１１０２上で実行されるストーリー通知手段を有してもよい。ユーザは、ディスプレイを介し直接ストーリーを閲覧してもよい。あるいは、ユーザは、携帯電話１１０３上で実行されるストーリー通知手段を介し通知を受信し、その後にマルチメディア対応の携帯電話及び／又は付属のディスプレイ１１０７を備えたＰＣ１１０６などのより大きなフォーマットの装置を介しストーリーを直接閲覧してもよい。

１０１ アセットアップローダ
１０２ ストーリービューワ
１０３ ストーリー通知手段
１０６ ストーリー提案手段
１０７ システムマネージャ
１１０ 意味索引付手段
１１１ 推論エンジン

Claims (21)

1. 処理システムが、複数のデジタルイメージアセットのメタデータに基づき前記複数のデジタルイメージアセットを１以上のグルーピングに自動的にグループ化するステップと、
   前記処理システムが、イベントタイプによって前記１以上のグルーピングの各グルーピングを分類するステップと、
   前記処理システムが、各グルーピングに示される人を特定するステップと、
   前記処理システムが、ユーザプロファイルと前記特定された人とに基づき各グルーピングのサブ分類を特定するステップと、
   前記処理システムが、各グルーピングについて特定されたサブ分類に関連し、前記特定された人の決定された興味に関連するプロダクトテーマを特定するステップと、
   前記処理システムが、前記プロダクトテーマにより要求されるアセットについて前記複数のデジタルイメージアセットを評価するためのトリガイベントを特定するステップと、
   前記処理システムが、前記特定されたトリガイベントに応答して、前記特定されたプロダクトテーマに基づきメディアプロダクトを自動的に生成するステップであって、前記メディアプロダクトは、前記デジタルイメージアセットの１以上のグルーピングの１つから自動的に選ばれるアセットを含む、前記メディアプロダクトを自動的に生成するステップとを有する方法。
2. 前記ユーザプロファイルは、プロダクト作成者に対する前記人の関係の通知を含み、
   前記ユーザプロファイルと前記特定された人とに基づき各グルーピングのサブ分類を特定するステップは、前記ユーザプロファイル内の前記関係の通知に基づき前記プロダクト作成者に対する前記人の関係を認識することを含む、請求項１記載の方法。
3. 前記イベントタイプによって前記１以上のグルーピングの各グルーピングを分類するステップと前記各グルーピングのサブ分類を特定するステップとは、階層的に構成された興味と活動のオントロジーとに従って実行され、
   前記各グルーピングを分類するステップは、各グルーピングについて分類を決定することを含み、
   前記サブ分類は、前記分類下のサブ分類からなる、請求項１記載の方法。
4. 前記特定されたサブ分類に関連するプロダクトテーマを特定するステップは、前記人の興味が前記各グルーピングの分類に関連することを決定することを含む、請求項３記載の方法。
5. 前記各グルーピングに示される人を特定するステップは、各グルーピングから前記人に関して識別される情報とデータベースに格納されている前記人に関する情報とを比較することを含む、請求項１記載の方法。
6. 前記メディアプロダクトが生成されたという通知を提供するステップをさらに有する、請求項１記載の方法。
7. 前記処理システムが、前記複数のデジタルイメージアセットを索引付けするステップをさらに有する、請求項１記載の方法。
8. 前記索引付けするステップは、デジタルイメージアセットのシーンをシーンタイプにカテゴリ化することを含む、請求項７記載の方法。
9. 前記索引付けするステップは、
   前記処理システムが、デジタルイメージアセットから情報を導出するステップと、
   前記デジタルイメージアセットと共に前記導出された情報をメタデータとして格納するステップと、
   を有する、請求項７記載の方法。
10. 前記特定されたサブ分類に関連するプロダクトテーマを特定するステップは、定期的に実行される、請求項１記載の方法。
11. 前記特定されたサブ分類に関連するプロダクトテーマを特定するステップは、イベントの発生を検出したことに応答して実行される、請求項１記載の方法。
12. 前記特定されたサブ分類に関連するプロダクトテーマを特定するステップは、特定のプロダクトテーマと特定のサブ分類とを関連付けるプロダクトカタログオントロジーを照会することを含む、請求項１記載の方法。
13. 前記特定されたサブ分類に関連するプロダクトテーマを特定するステップは、前記人が前記プロダクトテーマに関連する興味を有していると判断することを含む、請求項１記載の方法。
14. 前記特定されたサブ分類に関連するプロダクトテーマを特定するステップは、前記プロダクトテーマが前記特定されたサブ分類と前記人の興味とに関連することを判断することを含む、請求項１記載の方法。
15. 複数のデジタルイメージアセットを格納するよう構成されるメモリと、
    処理システムと、
    を有するシステムであって、
    前記処理システムは、
    前記複数のデジタルイメージアセットのメタデータに基づき前記複数のデジタルイメージアセットを１以上のグルーピングに自動的にグループ化し、
    イベントタイプによって前記１以上のグルーピングの各グルーピングを分類し、
    各グルーピングに示される人を特定し、
    ユーザプロファイルと前記特定された人とに基づき各グルーピングのサブ分類を特定し、
    各グルーピングについて特定されたサブ分類に関連するプロダクトテーマを特定し、
    前記プロダクトテーマにより要求されるアセットについて前記複数のデジタルイメージアセットを評価するためのトリガイベントを特定し、
    前記特定されたトリガイベントに応答して、前記特定されたプロダクトテーマに基づきメディアプロダクトを自動的に生成するよう構成され、
    前記メディアプロダクトは、前記デジタルイメージアセットの１以上のグルーピングの１つから自動的に選ばれるアセットを含むシステム。
16. 前記ユーザプロファイルは、プロダクト作成者に対する前記人の関係の通知を含み、
    前記ユーザプロファイルと前記特定された人とに基づき各グルーピングのサブ分類を特定するため、前記処理システムはさらに、前記ユーザプロファイル内の前記関係の通知に基づき前記プロダクト作成者に対する前記人の関係を認識するよう構成される、請求項１５記載のシステム。
17. 前記処理システムは、前記イベントタイプによって前記１以上のグルーピングの各グルーピングを分類し、階層的に構成された興味と活動のオントロジーとに従って各グルーピングのサブ分類を特定するよう構成され、
    前記各グルーピングを分類するため、前記処理システムはさらに、各グルーピングについて分類を決定するよう構成され、
    前記サブ分類は、前記分類下のサブ分類からなる、請求項１５記載のシステム。
18. 前記特定されたサブ分類に関連するプロダクトテーマを特定するため、前記処理システムはさらに、前記人の興味が前記各グルーピングの分類に関連することを決定するよう構成される、請求項１７記載のシステム。
19. 計算装置によって実行されると、
    複数のデジタルイメージアセットのメタデータに基づき前記複数のデジタルイメージアセットを１以上のグルーピングに自動的にグループ化するステップと、
    イベントタイプによって前記１以上のグルーピングの各グルーピングを分類するステップと、
    各グルーピングに示される人を特定するステップと、
    ユーザプロファイルと前記特定された人とに基づき各グルーピングのサブ分類を特定するステップと、
    各グルーピングについて特定されたサブ分類に関連するプロダクトテーマを特定するステップと、
    前記プロダクトテーマにより要求されるアセットについて前記複数のデジタルイメージアセットを評価するためのトリガイベントを特定するステップと、
    前記特定されたトリガイベントに応答して、前記特定されたプロダクトテーマに基づきメディアプロダクトを自動的に生成するステップであって、前記メディアプロダクトは、前記デジタルイメージアセットの１以上のグルーピングの１つから自動的に選ばれるアセットを含む、前記メディアプロダクトを自動的に生成するステップとを有する処理を前記計算装置に実行させる命令を格納する非一時的なコンピュータ可読媒体。
20. 前記トリガイベントは、前記複数のデジタルイメージアセットの評価中に前記処理システムにより決定される近づく重要な日を含み、
    前記重要な日は、前記重要な日の近くの期間中のユーザ活動の頻度及びタイプに基づき推測される、請求項１記載の方法。
21. 前記ユーザ活動の頻度及びタイプは、前記複数のデジタルイメージアセットの１以上がアクセスされる頻度を含む、請求項２０記載の方法。

Images