JP5606718B2 - デジタルマーケティングの最適化 - Google Patents

Description

実験は、新たなまたは異なる概念を試験するのに有用であり、実験が、より良い商品、方法および技術をもたらすことがある。実験は、複数の代替概念または代替方法を種々の試験対象物に提供することと、結果を観察することを含み得る。例えば、コンテンツ（例えば、ある形態またはある形式で人間に提供することができるデータまたは情報）の種々の構造または構成を試験するために、実験を設定することがある。実験がもたらす利益を最大化するために、適切な集団の試験対象物を有することが望ましい。一般に、代替概念の数が増加すると、それだけ、実験に関する正確な試験結果を提供または取得するのに必要な試験対象物の数が増加する。正確な結果を得るのに必要な試験対象物の数が増加すると、および代替概念の数が増加すると、実験の運営が困難になり、時間が浪費され、作業が高価になる。結果として、商品売上げを最大化する等の所望の目標をいかに達成するかに関し、顕著な誘因をもたらす可能性のある実験が、高額すぎて実施できなくなる場合がある。

米国特許第６，９３４，７４８号明細書、表題「一組のコンテンツ要素の処理に対するユーザの挙動を測定するための自動化されたオンライン実験」（Ａｕｔｏｍａｔｅｄ Ｏｎ−Ｌｉｎｅ Ｅｘｐｅｒｉｍｅｎｔａｔｉｏｎ ｔｏ Ｍｅａｓｕｒｅ Ｕｓｅｒｓ Ｂｅｈａｖｉｏｒ ｔｏ Ｔｒｅａｔｍｅｎｔ ｆｏｒ ａ Ｓｅｔ ｏｆ Ｃｏｎｔｅｎｔ Ｅｌｅｍｅｎｔｓ）

本発明の一態様によれば、データネットワークを介して実験を行うための方法は、前記実験のために前記ネットワークを介して少なくとも１つの制御グループに供給すべき第１の組の処理を決定するステップであって、各処理がコンテンツ要素の組み合わせを含むステップと、前記ネットワークを介して、前記第１の組の処理を前記少なくとも１つの制御グループに供給するステップと、各制御グループに前記第１の組の前記処理の少なくとも１つが提供されたときに、各制御グループの挙動を追跡するステップと、前記追跡された挙動に基づいて処理毎に信頼度を決定するステップであって、各信頼度が、前記実験の１つ以上の目標を達成するために用いるべき前記対応する処理または前記対応する処理におけるコンテンツ要素の前記組み合わせの能力の推定であるステップと、少なくとも前記信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するステップと、を含む。

上記方法において、少なくとも前記決定された信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するステップが、さらに、前記新たな組の処理候補を識別するステップと、処理候補毎に信頼度を決定するステップと、前記対応する信頼度に基づいて各処理候補を重み付けするステップと、前記重み付けに基づいて、前記新たな組の前記処理候補を選択するステップと、を含むことができる。

上記方法は、前記重み付けに基づいて、各制御グループに供給するための前記新たな組の前記処理候補の割合を決定するステップをさらに含んでよい。

上記方法において、より高い信頼度を有する結果として、より大きな重みを与えるように決定された処理候補が、より小さな重みを与えるように決定された処理候補よりも高い割合で、各制御グループに供給されてよい。

上記方法は、信頼度閾値を用いて、前記新たな組に含めない処理を決定するステップをさらに含んでよい。

上記方法は、前記少なくとも１つの制御グループに供給された前記第１の組の処理および他の任意の処理の信頼度を記憶するステップをさらに含んでよい。

上記方法において、処理候補毎に信頼度を決定するステップが、さらに、各処理候補の記憶された信頼度を検索するステップを含んでよい。

上記方法において、各処理が要素の組み合わせを含み、各要素が前記要素の複数の形態のうちの一形態を含んでよい。

上記方法において、少なくとも前記信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するステップが、さらに、どの処理が前記１つ以上の目標を達成すると判断されるかの予測に基づいて、前記新たな組の処理を決定するステップを含んでよい。

上記方法は、前記少なくとも１つの制御グループを含む制御グループの観察された挙動から予測モデルを決定するステップと、前記予測モデルから前記予測を決定するステップとをさらに含んでよい。

上記方法において、前記新たな組の処理が、前記少なくとも１つの制御グループに既に供給された他の処理よりも高い信頼度を有するように決定された前記第１の組において、少なくとも１つの処理の要素の同じ組み合わせを有する１つ以上の処理を含んでよい。

上記方法は、前記１つ以上の目標が達成されているかどうかを決定するステップと、前記１つ以上の目標が達成されていない場合、既に供給された処理の信頼度に基づいて、新たな組の処理の決定を繰り返すステップとをさらに含んでよい。

本発明の別の態様によれば、コンテンツを評価するための実験を行うように構成されたシステムであって、該システムが、コンテンツを記憶するように動作可能なコンテンツシステムであって、前記コンテンツが処理を含み、各処理がコンテンツ要素の組み合わせを有しそして、前記コンテンツシステムが各処理の信頼度を記憶するように動作可能であり、各信頼度が、１つ以上の目標を達成するために用いるべき前記対応する処理の能力の推定であるコンテンツシステムと、前記コンテンツシステムと通信し、および実験を定義し、データネットワークを介して少なくとも１つの制御グループに処理を供給することで前記実験を行い、そして前記データネットワークを介して前記少なくとも１つの制御グループから、各処理のユーザの挙動に関する観察データを収集するように動作可能である通信管理システムとを備え、前記通信管理システムが、前記記憶された信頼度を決定するように動作可能であり、前記コンテンツシステムが、前記少なくとも１つの制御グループに既に供給された処理の前記信頼度に基づいて、前記実験のために前記少なくとも１つの制御グループに供給するための新たな処理を選択するように動作可能である。

上記システムにおいて、前記コンテンツシステムが、前記既に供給された処理の前記信頼度に基づいて処理候補を選択し、前記処理候補の前記信頼度から決定された前記処理候補の重み付けに基づいて、前記制御グループに供給するための前記処理候補の割合を決定してよい。

上記システムにおいて、前記割合が、供給すべき処理のより高い信頼度からより低い信頼度までの比率を識別してよい。

上記システムにおいて、前記通信管理システムが、前記１つ以上の目標を達成するために前記少なくとも１つの制御グループに供給すべきコンテンツを示す予測を決定するように動作可能な予測エンジンを備え、前記予測が、前記新たな処理を選択するために用いられてよい。

本発明の別の態様によれば、コンピュータコードを記憶する１つ以上のコンピュータ読み取り可能な媒体であって、前記コンピュータコードが、コンピュータシステムによる実行時に方法を実行し、該方法が、実験用のネットワークを介して少なくとも１つの制御グループに供給すべき第１の組の処理を決定するステップであって、各処理がコンテンツ要素の組み合わせを含むステップと、前記ネットワークを介して、前記第１の組の処理を前記少なくとも１つの制御グループに供給するステップと、各制御グループに前記第１の組の前記処理の少なくとも１つが提供されたときに、各制御グループの挙動を追跡するステップと、前記追跡された挙動に基づいて、処理毎に信頼度を決定するステップであって、各信頼度が、１つ以上の目標を達成するために用いるべき前記対応する処理の能力の推定であるステップと、少なくとも前記信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するステップとを含む。

上記１つ以上のコンピュータ読み取り可能な媒体において、少なくとも前記決定された信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するステップが、さらに、前記新たな組の処理候補を識別するステップと、処理候補毎に信頼度を決定するステップと、前記信頼スコアに基づいて各処理候補を重み付けするステップと、前記重み付けに基づいて、前記新たな組の前記処理候補を選択するステップとを含んでよい。

上記１つ以上のコンピュータ読み取り可能な媒体において、前記方法が、さらに、前記重み付けに基づいて、各制御グループに供給するための前記新たな組の前記処理候補の割合を決定するステップを含んでよい。

上記１つ以上のコンピュータ読み取り可能な媒体において、より高い信頼度を有する結果として、より大きな重みを与えるように決定された処理が、より小さな重みを与えるように決定された処理よりも高い割合で、各制御グループに供給されてよい。

本発明の一実施形態によるコンテンツシステムおよび通信管理システムが動作し得る環境の図である。 本発明の一実施形態によるコンテンツシステムおよび通信管理システムのブロック図である。 本発明の一実施形態による実験エンジンのブロック図である。 本発明の一実施形態によるモデルエンジンのブロック図である。 本発明の一実施形態による予測エンジンのブロック図である。 本発明の一実施形態による観察モジュールのブロック図である。 本発明の一実施形態によるスクリプト／スケジュールエンジンのブロック図である。 本発明の一実施形態に従って、ユーザに供給されたコンテンツを管理するための例示的な方法のフローチャートである。 本発明の一実施形態に従って、構成されたコンテンツの実験を定義するための例示的な方法のフローチャートである。 本発明の一実施形態に従って、実験を行い、追跡可能な結果／目標のデータを収集するための例示的な方法のフローチャートである。 本発明の一実施形態に従ってモデル化および予測を行うための例示的な方法のフローチャートである。 本発明の一実施形態によるコンテンツシステム、および信頼度決定モジュールを含む通信管理システムのブロック図である。 本発明の一実施形態に従って、信頼度を決定して記憶するための例示的な方法のフローチャートである。 本発明の一実施形態による、供給用の処理の最適化された選択に関する例示的な方法のフローチャートである。 本発明の一実施形態に従って、本明細書に記載される方法および他のステップの１つ以上を実行する１つ以上のコンピュータプログラムを記憶するように構成されるコンピュータ読み取り可能な媒体を含むコンピュータシステムのブロック図である。

添付図面を参照して、本発明の実施形態について以下に詳細に説明する。

分かりやすくするためにおよび例示目的のために、主に実施形態の例を参照して、実施形態の原理について説明する。以下の説明では、実施形態の完全な理解を提供するために、多数の特定の詳細が記載される。しかし、これらの特定の詳細に限定されることなく、実施形態を実施し得ることが当業者には明らかであろう。いくつかの例では、実施形態を不必要に不明瞭にしないように、周知の方法および構造については詳細に説明しない。

概要
一実施形態によれば、実験システムは、一組のコンテンツ要素の種々の処理に関する実験を定義し、データネットワークを介して実験を管理することができる、通信管理システムおよびコンテンツシステムを含む。処理は一組のコンテンツ要素である。基本構成要素とも呼ばれるコンテンツ要素の例は、テキストファイル、画像ファイル、オーディオファイル、ビデオファイル等を含む。これらの基本構成要素をいくつもの異なる方法または構造で組み合わせて、および／またはフォーマットして、処理を生成し、それらの処理を実験用の制御グループに供給することが可能である。コンテンツ要素の別個の各組み合わせおよび／またはフォーマットは処理を構成することができる。一実施例では、処理は、所定の瞬間におけるウェブページの特定の実行方法であり得る。より具体的には、所定の瞬間において、ウェブページの処理は、スクリーンの特定の位置に配置された特定のテキスト、アイコン、画像および／またはビデオ、特定の視覚的な背景陰影または背景色、スクリーンを分割するための特定の境界、特定のオーディオ（音楽または音声）等を含むことが可能である。

実験システムは、系統的な処理実験を提供するように構成される。ディスプレイに対するコンテンツ要素の最適な形態を決定して、１つ以上の目標を達成するように、実験が行われる。一実施例では、コンテンツ要素は、インターネットを介してウェブページに提供すべき広告に関するものであり、目標は、広告されている商品またはサービスに関するより多くの情報の広告をクリックするユーザ数を最大化することである。実験システムは、広告の異なる形態を示す処理を生成し、各形態は、少なくとも１つの異なる属性またはコンテンツ要素（例えば、バナー広告、テキスト広告、動的なポップアップウィンドウ、種々の色等）を有する。実験のために、システムは処理を１つ以上の制御グループに供給する。制御グループには供給済処理が提供され、制御グループの挙動が捕捉される。捕捉された挙動は、制御グループと供給済処理との相互作用を含むことが可能である。例えば、制御グループの挙動に基づいて、最適な処理が識別される。最適な処理は、所望の目標を達成するために最大の能力を有すると推定された処理である。

一実施形態によれば、実験中、次善であることが決定される供給済処理の割合を最小化するように、処理の実験が最適化される。次善の処理は、他の処理と比較して所望の目標を達成するには低い能力を有すると推定される。システムにより、処理が制御グループに供給される頻度を、予測モデルに従って変更することが可能になる。供給される処理は、モデルを用いて決定された信頼度に従って変更される。供給済処理の決定された信頼度に基づいて、重み付け係数が適用され、そしてその重み付け係数は、新たな処理を選択してそれらの処理を供給するために、および処理が制御グループに供給される新たな割合を決定するために用いられる。

この処理の最適化により、実験プロセス全体にわたって次善のコンテンツの供給を最小化しつつも、１つ以上の目標に基づいて最適であることが決定されるコンテンツ要素の組み合わせを識別するのにかかる時間を短縮することができ、これによって、実験時間が短縮される。この時間短縮は、かなりのコスト削減と、コンテンツを製造環境に供給して製品化するまでの時間の短縮とをもたらすことができる。

本出願の譲受人に譲渡される（特許文献１）は、その全体が参考として本明細書に援用される。本明細書に記載される本発明の実施形態による実験システムおよび実験方法は、（特許文献１）に記載されているシステムに使用することが可能である。

コンテンツ管理の環境
図１は、本発明の一実施形態によるコンテンツシステム１０および通信管理システム１２が動作し得る環境を示している。本明細書により詳細に記載されるように、一般に、コンテンツシステム１０および通信管理システム１２が協働して、１人以上のユーザ１６へのコンテンツ１５の供給を管理する。コンテンツシステム１０および通信管理システム１２の各々は、本明細書に記載される機能を実行するためのソフトウェアおよび／またはハードウェアの適切な組み合わせを含むことが可能である。

ユーザ１６へのコンテンツ１５のプロバイダ１４によって、システム１０と１２を維持、管理および／または運営し得ることが考えられる。このようなコンテンツプロバイダ１４は、コンテンツを供給することができるポータルまたは他の任意のウェブサイトを運営または維持する実体であり得る。例えば、コンテンツプロバイダ１４は、オンライン商品小売業者、オンライン通信社等であり得る。各ユーザ１６は、例えば、コンテンツプロバイダ１４によって運営されているウェブサイトを「訪問」し、情報を見て、おそらくは、商取引を完了するであろう。ユーザ１６は、個人、組織、あるいはそれらの、人間または仮想であり得るエージェントを含むことができる。

コンテンツシステム１０はコンテンツ１５のリポジトリとして機能する。コンテンツを記憶するのに適切な任意のシステムによって、コンテンツシステム１０を少なくとも部分的に実現することができる。例えば、コンテンツシステム１０は、アレイア社（Ａｌｌａｉｒｅ Ｃｏｒｐｏｒａｔｉｏｎ）製のＳＰＥＣＴＲＡサーバシステム、またはヴィネット社（Ｖｉｇｎｅｔｔｅ Ｃｏｒｐｏｒａｔｉｏｎ）製のＳＴＯＲＹサーバシステムを含み得る。一般に、コンテンツ１５は、ユーザ１６に（視覚的に、可聴的に、または他の方法で）提供可能な任意のデータまたは情報であり得る。よって、コンテンツ１５は、文書テキスト、画像、グラフィック、アニメーション、ビデオ、音楽、音声等、またはそれらの任意の組み合わせを含むことができる。例えば、コンテンツプロバイダ１４がオンライン商品小売業者である場合、コンテンツ１５は、小売業者によって提供された種々の商品画像、各商品のテキスト説明および見積価格、オンライン注文に関する詳細な情報、ユーザの注意を引き付けるためのグラフィックまたはアニメーション等を含み得る。同様に、コンテンツプロバイダ１４がウェブポータルである場合、コンテンツ１５は、種々の関心分野のテキストリストまたはテキストディレクトリ、アイコン（インタラクティブまたは非インタラクティブ）、商品画像、他のウェブサイトへのハイパーリンク、バナー広告等を含み得る。コンテンツプロバイダ１４がオンライン通信社である場合、コンテンツ１５は、種々のニュース記事のテキスト情報、当該記事の少なくともいくつかを伴う写真および／またはイラスト、臨時記事のビデオクリップおよび／またはオーディオクリップ、種々の地理的領域の天気予報のリスト、これらの地理的領域の地図等を含み得る。コンテンツシステム１０からのコンテンツ１５は、例えば、製品開発、広報、カスタマサービス、広告、電子商取引等のような種々の任意の目的または用途のために提供することが可能である。

デジタル形式で記憶することができるコンテンツ１５は、一組の基本構成要素に分解するかまたは要約することが可能である。基本構成要素は、例えば、テキストファイル、画像ファイル、オーディオファイル、ビデオファイル等であり得る。コンテンツ１５をユーザ１６に提供するために、これらの基本構成要素をいくつかの異なる方法または構造で組み合わせおよび／またはフォーマットすることが可能である。

コンテンツ１５の別個の各組み合わせおよび／またはフォーマットは、コンテンツ構造またはコンテンツ処理を構成する。コンテンツ構造は、例えば、所定の瞬間におけるウェブページの特定の実行方法であり得る。より具体的には、所定の瞬間において、ウェブページは、スクリーンの特定の位置に配置された特定のテキスト、アイコン、画像および／またはビデオ、特定の視覚的な背景陰影または背景色、スクリーンを分割するための特定の境界、特定のオーディオ（音楽または音声）等を含むことが可能である。

コンテンツ１５が構成される方法は、コンテンツに対するユーザの挙動または反応に影響を与えるかまたはインパクトを与え得る。例えば、ユーザ１６は、背景中間色（例えば灰色）を有するウェブページには肯定的に反応し、より目立つ背景色（例えば赤紫色）を有するウェブページには否定的に反応する可能性がある。ユーザの反応は特定の所望の目標または結果に関連する可能性がある。結果は、一般に、コンテンツプロバイダ１４が影響を与えることまたは管理することを望むウェブサイトにおけるユーザによる挙動に関連することがある。この挙動は、ユーザによるウェブサイトの「クリックスルー」、情報の要求に対してユーザが消費する時間、ユーザが見たページの数および種類、ウェブサイトでユーザが消費した時間の長さ、繰り返しセッション、ウェブサイトで提供されている商品／サービスの購入、情報の提示、登録、ログイン、個人化、読み取り、または関連する他の挙動を含むことができる。例えば、オンライン商品小売業者について、所望の１つの目標／結果は取引または販売の完了である。ウェブポータルについて、所望の目標／結果は、増加された「スティッキネス」（すなわち、ユーザ１６がウェブサイトで消費する時間量、およびウェブサイトに繰り返し訪問した回数）であり得る。したがって、構成されたコンテンツは、その関係に関連して所望の目標／結果に有効であり得る。

種々の目標／結果はコンテンツプロバイダ１４にとって重要であり得るので、通信管理システム１２は、ユーザ１６に最終的に供給または提供されるコンテンツ１５（その構造）を管理するために設けられ、これによって、所望の目標／結果を達成するように、ユーザ１６の挙動に影響が与えられる。本明細書に記載されるように、通信管理システム１２は既存のコンテンツシステム１０の機能を補完する。一実施形態では、通信管理システム１２は、ソフトウェアベースまたはソフトウェア駆動のプロダクトとして実現することができ、このプロダクトは、コンテンツプロバイダ１４の既存のコンテンツシステムにまとめるかまたは統合することができる。通信管理システム１２は、コンテンツ１５と所望の目標との関連または関係を識別することによって、構成されたコンテンツの任意の用途を強化し、今後、構成された何かのコンテンツに関する提供するフィードバックがユーザ１６に供給されるべきである。

このことを実現するために、通信管理システム１２はコンテンツシステム１０と協働して、任意の所定のコンテンツ１５をその基本構成要素に分解し、コンテンツをユーザに提供するために１つ以上のコンテンツ構造またはコンテンツ処理を生成し、実験を計画して各処理に対するユーザの挙動または反応を試験し、制御された実験において、適切なデータネットワークを介して処理を１人以上のユーザに供給し、各実験の結果／目標に関する情報またはデータを収集し、収集された情報を用いて予測モデルを生成し、そして予測モデルを用いてコンテンツ１５の構造を変更またはカスタマイズすることが可能である。

構成されたコンテンツの影響を最適化するために、コンテンツプロバイダ１４は、ユーザ１６の挙動に対して、関連するポータルまたはウェブサイトに関するコンテンツプロバイダ１４の目標を決定し、通信のどの要素が当該挙動に関連するかまたは影響を与える可能性があるかを決定する。例えば、コンテンツプロバイダ１４は、一般にポータルまたはウェブサイトへのユーザ１６の再訪問を増加させるために、コンテンツプロバイダ１４の通信を最適化して、関連するコンテンツ１５とユーザの好みとのより良い適合を実現することを望み得る。コンテンツシステム１０および通信管理システム１２は、関連する基本構成要素の識別および特定、コンテンツの種々の代替構造（例えば、通信メッセージおよび通信手段）の特定を容易にし、実行のために制御変数および制御値をこれらの構造に割り当てる。このようにして、コンテンツシステム１０および通信管理システム１２は、インタラクティブ通信の設計および開発に関する系統的な方法を実行して、例えば、製品開発、広報、カスタマサービス、広告効果、電子商取引、またはコンテンツ１５のリアルタイムカスタマイゼーションから利益を受けることができる他の任意の用途を最適化するか、強化するか、さもなければ改善することが可能である。したがって、コンテンツシステム１０および通信管理システム１２は、ユーザ１６へのコンテンツ１５の供給を管理するためのシステムを集合的に実現し得る。

コンテンツシステム１０および通信管理システム１２は、適切なデータネットワークまたはデジタルシステム、すなわち、デジタルサービスによって拡張されたシステムに統合または接続することが可能である。本明細書に用いられる際、「接続される」、「結合される」という用語、またはそれらの任意の変形例は、２つ以上の要素間における直接的または間接的な任意の接続または結合を意味し、このような接続または結合は物理的または論理的であり得る。一般に、データネットワークまたはデジタルシステムはインタラクティブチャネルを提供またはサポートすることができ、このインタラクティブチャネルによって、ユーザ１６はコンテンツシステム１０および通信管理システム１２と相互作用することが可能である。このようなデータネットワークまたはデジタルシステムの例は、電話コールセンタ、携帯電話ネットワーク、ページャネットワーク、現金自動預け払い機（ＡＴＭ）ネットワーク、インスタントメッセージングシステム、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワークＭＡＷ、イントラネット、エクストラネット、インタラクティブテレビジョンサービス、または図示したようなインターネット１８を含む。

インターネット１８は、世界中に配置され、かつ伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、インターネットワークパケット交換／シーケンスパケット交換（ＩＰＸ／ＳＰＸ）、ＡｐｐｌｅＴａｌｋ、または他の適切なプロトコルに従って、情報を交換するコンピュータの「クライアント」と「サーバ」との相互接続である。インターネット１８は、「Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ」として公知の分散アプリケーションをサポートする。ウェブサーバは、視聴情報が利用可能になる１つ以上のウェブページを各々が含むウェブサイトを維持する。各ウェブサイトまたは各ウェブページは、それぞれのユニフォームリソースロケータ（ＵＲＬ）によって識別することができ、例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）、または標準汎用マークアップ言語（ＳＧＭＬ）等の任意の適切な言語でフォーマットされた文書によってサポートすることが可能である。クライアントは「ウェブブラウザ」プログラムをローカルに実行し得る。ウェブブラウザは、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂによる情報交換を可能にするコンピュータプログラムである。ネットスケープ・コミュニケーションズ社（Ｎｅｔｓｃａｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｒｐ．）製のＮＥＴＳＣＡＰＥ ＮＡＶＩＧＡＴＯＲ、マイクロソフト社（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ）製のＩＮＴＥＲＮＥＴ ＥＸＰＬＯＲＥＲ、およびインターネット１８の便利なアクセスおよびナビゲーションを可能にする他の製品等の種々の任意のウェブブラウザが利用可能である。例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）またはファイル転送プロトコル（ＦＴＰ）等の適切なプロトコルを用いて、情報をウェブサーバからクライアントに通信し得る。インターネット１８は、ユーザ１６とコンテンツシステム１０および通信管理システム１２との間のインタラクティブ通信を可能にする。

一実施形態では、コンテンツシステム１０および通信管理システム１２により、コンテンツプロバイダ１４が、インターネット１８等のデータネットワークを介してユーザ１６に供給されるコンテンツ１５を自動的にカスタマイズすることが可能になる。インターネット１８が広く普及していることにより、コンテンツシステム１０および通信管理システム１２は、比較的多数のユーザ１６に到達する能力を有し、これによって、ユーザの重要な区分と大きなプールの実験が可能になる。この説明の残りは、主に、インターネット１８に関連するシステムおよび方法を中心としているが、本発明が、多種多様なユーザを定義するように比較的多数のユーザ１６に到達または接続することができる任意のデータネットワークに広く適用できることを理解されたい。このようなデータネットワークは、例えば、ウェブＴＶ、インタラクティブＴＶ、ＷＡＰ＋モバイルサービス、または他の任意のインタラクティブチャネルであり得る。

コンテンツシステム１０および通信管理システム１２は、ユーザ１６を動的に区分し、個人化規則を自動的に生成し、そしてウェブページ、商品／サービスの提供、または他のインタラクティブ通信を供給することにより、完全に自動化された解決策を提供して、所望の目標を達成することができる。言い換えれば、コンテンツシステム１０および通信管理システム１２は、ユーザ１６の関心事が何であるかを決定し、次に、この情報を用いて、例えば、販売および利益の増加、電子機器市場効果の向上、および特定のビジネスインテリジェンスアプリケーションの起動等の特定の結果／目標を達成するように、インタラクティブ通信を最適化することができる。

コンテンツシステムおよび通信管理システム
図２は、本発明の一実施形態によるコンテンツシステム１０および通信管理システム１２のブロック図である。コンテンツシステム１０および通信管理システム１２が協働して、構成されたコンテンツの任意のアプリケーションを強化する。図示したように、コンテンツシステム１０は、アロケータモジュール２２とコンテンツ記憶部２４とユーザインタフェース２６とを含む。通信管理システム１２は、実験エンジン３０、モデルエンジン３２、予測エンジン３４、観察モジュール３６、コンテンツプロバイダインタフェース３８およびスクリプト／スケジュールエンジン３９を含む。

コンテンツシステム１０において、コンテンツ記憶部２４は、例えばインターネット１８を介して種々のユーザ１６に供給および提供し得るコンテンツ１５を記憶するように機能する。このコンテンツ１５は、例えば、販売のために提供されている種々の商品またはサービスの画像および／または説明、各商品またはサービスの見積価格、オンライン注文に関する詳細な情報、種々の当該領域のリスト、１つ以上のウェブサイトへのリンク、バナー広告等を含むことが可能である。このコンテンツ１５の全てまたは一部をデジタル形式で維持することができる。コンテンツ記憶部２４は、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、あるいは他の適切な揮発性および／または不揮発性の記憶媒体等の任意の１つ以上の適切な記憶媒体で実現することが可能である。一実施形態では、コンテンツ記憶部２４はリレーショナルデータベースを備え得る。

ユーザインタフェース２６はコンテンツ記憶部２４に接続される。ユーザインタフェース２６は、一般に、コンテンツシステム１０と、インターネット１８に接続された適切なクライアントコンピュータを各自使用する１人以上のユーザ１６との間のインタフェースを提供またはサポートするように機能する。ユーザインタフェース２６は、ユーザ１６からコンテンツ１５の要求を受信し得る。例示的な要求は、特定の分野の商品を表示するウェブページの要求であることができ、例えば、ユニフォームリソースロケータ（ＵＲＬ）等のウェブページの特定の識別子を特定することが可能である。さらに、ウェブページ要求は、ウェブページの特定のハイパーリンクをユーザが「クリック」する動作に関連付けることができる。このような要求に応じて、ユーザインタフェース２６がコンテンツ１５を供給または提供する。コンテンツの供給の役割を担うデータネットワーク（例えばインターネット１８）の基本構成に使用し得るような適切な通信ハブ、ルータその他によって、ユーザインタフェース２６の構成要素の相互接続をサポートすることが可能である。

コンテンツ記憶部２４に接続されるアロケータモジュール２２は、実行時に、本明細書に記載した機能を実行する１つ以上のプログラムを含み得る。アロケータモジュール２２は、一般に、コンテンツ１５を種々のユーザ１６に割り当てるように機能する（すなわち供給するようにする）。割り当ては、例えば、以下のもの、すなわち、ユーザ１６について利用可能な情報と、コンテンツシステム１０または通信管理システム１２内の他の要素またはモジュールからのコマンドとに基づいて行うことができ、前記要素またはモジュールは、予測およびモデルに従って、任意の所定のユーザ１６を実験にかけるかまたはコンテンツを供給する。

このようにして、アロケータモジュール２２はユーザ１６からのコンテンツ１５の要求に応じ得る。各要求について、アロケータモジュール２２は、実験のために、または何が所望の結果／目標を達成するかという予測に基づいて、コンテンツ構造または処理を割り当てることが可能である。このことを実現するために、アロケータモジュール２２は、実験規則および予測規則（本明細書に記載）等の状態特定規則を適用し得る。さらに、アロケータモジュール２２は、例えば、どのユーザ１６が制御通信（すなわち、特定のコンテンツ）を受信するように割り当てられるかを決定するために、ウェブサイトまたはポータルで全てのトラフィックをサンプリングすることが可能である。このようにして、アロケータモジュール２２は、各ユーザに応じて、どのコンテンツ１５を表示するかというガイダンスをコンテンツシステム１９に提供する。アロケータモジュール２２は、通信管理システム１２の観察モジュール３６に結合され、コンテンツシステム１０のために、観察モジュール３６の観察データを記憶することが可能である。

さらに、アロケータモジュール２２は、通信管理システム１２とコンテンツシステム１０との間のインタフェースをサポートまたは提供する。このようにして、アロケータモジュール２２は、適切なアプリケーションプログラミングインタフェース（ＡＰＩ）を含むことが可能であり、このインタフェースは、ウェブサーバソフトウェア（例えば、ＮＥＴＳＣＡＰＥ、ＡＰＡＣＨＥ、またはＪＡＶＡ ＳＥＲＶＬＥＴから入手可能）、および管理アプリケーションソフトウェア（例えば、ＶＩＧＮＥＴＴＥ、ＳＰＥＣＴＲＡ、またはＢＲＯＡＤ ＶＩＳＩＯＮ）と相互作用および統合することができる。

アロケータモジュール２２の機能は、任意の適切なプロセッサ、例えば、メインフレーム、ファイルサーバ、ワークステーション、あるいは他の適切なデータ処理ファシリティにより、適切なソフトウェアを起動させ、かつ、例えば、ＭＳ−ＤＯＳ、ＭａｃＩＮＴＯＳＨ ＯＳ、ＷＩＮＤＯＷＳ ＮＴ、ＷＩＮＤＯＷＳ ２０００、ＯＳ／２、ＵＮＩＸ、ＸＥＮＩＸ、ＧＥＯＳ等任意の適切なオペレーティングシステムの制御下で実行させることによって実現することができる。

通信管理システム１２はコンテンツシステム１０と通信する。通信管理システム１２を参照すると、実験エンジン３０は、コンテンツ記憶部２４およびアロケータモジュール２２（両者ともコンテンツシステム１０内）に結合される。実験エンジン３０は種々の実験の定義とコンテンツ１５とを受信し得る。実験エンジン３０は、実行時に、本明細書に記載した機能を実行する１つ以上のプログラムを含むことが可能である。実験エンジン３０は、一般に、１つ以上の実験の作成および実行をサポートして、特定のコンテンツ１５に対するユーザ１６の挙動または反応、および／またはコンテンツがフォーマットされる特定の方法（すなわち処理）を実験するように機能する。各実験について、実験エンジン３０は、実験の進行中に処理がどのように割り当てられたかを指示する一組の規則を生成し得る。実験エンジン３０によって作成されて行われる実験は、例えば、全部要因分析と、その全部要因分析の計画された一部分（単に「実験計画」とも呼ぶ）とを含むことが可能である。

所定の組のコンテンツ要素の全部要因分析において、コンテンツ要素の可能なあらゆる組み合わせが考えられる。各コンテンツ要素は、考慮して分析すべき要因を構成し得る。全部要因分析は各要因の影響の判断を個々に可能にする。すなわち、全部要因分析の結果は、観察結果において他のあらゆるコンテンツ要素とは無関係である各コンテンツ要素が与える主な影響に関する全ての情報を含む。さらに、全部要因分析は、要因の可能な全ての組み合わせ間のそれぞれの相互作用の影響を判断する。

例えば、２種類のコンテンツ要素、すなわち、バナー広告と、その下に表示することができるテキストメッセージとが存在する場合を考えてみる。各コンテンツ要素は２つのバリエーションを有し得る。バナー広告について、バリエーションは静的および動的であり得る。メッセージについて、バリエーションは「今ここをクリックしてください」および「セーブ２０％」であり得る。したがって、見ることができる可能な４つの組み合わせ、すなわち、（１）「クリックしてください」というメッセージの静的バナー広告と、（２）「セーブしてください」というメッセージの静的バナー広告と、（３）「クリックしてください」というメッセージの動的バナー広告と、（４）「セーブしてください」というメッセージの動的バナー広告とがある。各要素（すなわち、静的、動的、「クリックしてください」および「セーブしてください」）の主な影響、ならびにそれらの可能な全ての組み合わせの相互作用の影響を観察することができる。このようにして、可能な全ての影響の空間全体を推定することができる。全部要因分析は、コンテンツ構造の可能な全ての代替物を考慮するので、観察結果の非常に詳細な分析をサポートする。

実験の変数の数は直線的に増加されるが、コンテンツ要素の組み合わせの数は指数関数的に増加する。すなわち、他のコンテンツ要素またはバリエーションが所定の実験に追加されたとき、実験の組み合わせの数がかなり増加することがある。例えば、３つのバリエーションを各々が有する４つのコンテンツ要素では、８１通りの組み合わせが生じ得る。４つのバリエーションを各々が有する５つのコンテンツ要素では、生じ得る組み合わせの数は１０２４通りである。このことを考慮すると、全部要因分析は、実験に対して妥当な数よりも多くの組み合わせを生成することがあり、すなわち、ウェブサイトへの「ヒット」率を考慮すると、サンプリング要求を満たすのに必要な時間は許容できない程度に長くなる可能性がある。

実験計画法は、興味の対象の影響を測定し推定することを可能としつつ、（全部要因分析に関する）実験に必要な組み合わせの数を減少させる。実験計画法は、典型的に、他の全ての影響を制御しつつ、比較的小さなグループの特定の興味対象の影響に焦点を当てる。実験計画法は、実験計画を用いて、特定のイベント、およびそれらのイベントが生じる条件を制御し、このようにして、ある観察結果に対するこのようなイベントの影響を明確に測定しかつ推定することが可能になる。言い換えれば、実験計画法は、制御可能な１つ以上の変数（例えば、広告の広告スクリーン位置の背景色、広告サイズ）を変更し、このような変化が１つ以上の対象とする結果に与える影響を調査するための系統的な方法である。実験計画法は、変数の主な影響のみを考慮することが可能である。その結果、実験計画法は、実験に関する情報（例えば組み合わせの数）を減少させ、このようにして、サンプリング要件（例えば、実験に参加させることが必要なユーザ１６の最小数）を顕著に減少させる可能性を提供する。

例えば、４つのバリエーションを各々が有する５つの要素について、重要な相互作用の影響がないことが想定された場合、実験エンジン３０は、全部要因分析に必要な１０２４通りの組み合わせではなく、１６通りのみの組み合わせによって、全ての主な影響（すなわち、相互作用を生じさせない影響）の測定と推定を可能にする実験計画を作成することが可能である。

実験エンジン３０は、いくつかの方法で、実験計画を作成し得る。例えば、実験エンジン３０は、例えば米国規格基準局によって公開されたテーブル等の種々のルックアップテーブルを含むかまたは組み込むことが可能である。テーブルに加えて、アルゴリズムを用いて、実験計画を作成することができ、前記アルゴリズムは、動作時に、アルゴリズムを設計する基準を満たす適切なテーブルを作成する。これらのテーブルおよびアルゴリズムを用いて、挙動モデル（本明細書に記載）の適切な制約を識別することができる。さらに、変数値のランダムな選択によって、または全部要因分析空間によるプログラミングされた検索アルゴリズムによって、実験計画を作成することができる。

いくつかの重要な基準を用いて、実験計画を説明し得る。例えば、計画が許容する特定の影響、すなわち、同じ数のレベルが各要因に存在しているか否かにかかわらず含まれる要因および要因レベルの数と、目標結果に関連して生成された情報量とにより、計画を説明し得る。実験エンジン３０はこれらの方法のいずれかまたは全てを用いて、特定の用途に用いるための最良の実験計画を発見しまたは生成することが可能である。

実験計画により、通信管理システム１２が、ユーザ１６の選択を誘発する変数のいくつかに関する推論を行うことが可能になる。これらの実験計画は、ランダムユーティリティ理論（ＲＵＴ）の理解を実現またはサポートし得る。ランダムユーティリティ理論は、あるアイテム（例えば、バナー広告またはウェブページ）のユーザに対する真値は、ユーザの心の中の精神的特質であるので、前記真値を観察することができないと仮定する。すなわち、ユーザが特定の決定に至る思考過程を、常に捕捉または観察することはできない。このことを考慮し、実験計画により、ユーザが何を思考しまたは表現したかではなく、ユーザが実際に何を行ったかに基づいて、通信管理システム１２が、ユーザの選択を誘発する変数のいくつかに関しての推論を行うことが可能になる。

一実施形態では、実験エンジン３０は、以下の機能、すなわち、ａ）可能な全ての組み合わせを考慮する全部要因分析と、ｂ）可能な最小の組み合わせ（「主たる影響のみ」）を考慮する実験計画と、ｃ）２つの変数の全ての相互作用または２つの変数の選択された相互作用を推定する実験計画とを提供する。

モデルエンジン３２は、実験エンジン３０と通信し、そこから種々の実験の定義を得ることが可能である。モデルエンジン３２は、実行時に、本明細書に記載した機能を実行する１つ以上のプログラムを含み得る。各実験から生成されたデータは、コンテンツプロバイダ１４によって設定された目標に関連する結果を特定する。実験が終了したら、このデータをモデルエンジン３２に転送して、コンテンツ要素がユーザ１６の挙動にどの程度の影響を与えているかを識別することが可能である。すなわち、モデルエンジン３２は、種々の実験中に収集された結果またはデータを用いて、人間の決定および選択の１つ以上の挙動モデルを生成する。

一般に、モデルは、同様の特性を有するユーザの過去の挙動で行われた観察結果に基づいて、ユーザ１６が将来何を行うかを予測しようと試みる。挙動モデルは、高度で、連続的で、かつ離散的な多変量統計モデルを含むことが可能であり、この統計モデルは、コンテンツ構造または処理のどの態様が、特定の結果を達成する確率に影響を与えるかを決定するために用いることができる。ユーザ１６がインタラクティブ環境で潜在的にとる全ての動作は、これらを観察し、かつランダムユーティリティ理論に基づく選択モデルの形態を用いてモデル化することができる。すなわち、ユーザ１６の観察された挙動特性は、実験計画から得られた選択モデルに埋め込むことが可能である。モデルは、ユーザが、異なる刺激（例えば処理）にどのように反応するかという点について、ユーザ１６の挙動をモデル化することができる。モデルエンジン３２は、この分析を行い、そして所望の目標を達成するために、ユーザ１６に今後どの処理を提供するかを示唆する。

例えば、挙動モデルは、例えば特定のバナー広告をクリックするかどうか、提供されている特定の商品を購入するかどうか等のような特定の決定を行うためにユーザが用いる、未知の意思決定プロセスの統計的抽出であり得る。このようにして、ユーザの意思決定プロセスを観察することができなくても、挙動モデルは、計量経済学および精神測定学によって開発および改良されたランダムユーティリティ理論３Ｑを統計的に用いて、これらのプロセスに近似するように試みる。ユーザの選択の解明されない成分は、当該ユーザと挙動モデルが予測したこととの偏差であると考えることが可能である。ここで、「確率論的」とは、解明できないユーザの挙動の要素が存在することを意味する。

このようにして、モデルエンジン３２によって生成されたモデルは、あるサンプルまたはセグメントからランダムに選択されたユーザ１６が、複数の可能な動作に直面したときに、特定の動作または動作の組み合わせを行う確率をモデル化して予測することが可能である。したがって、挙動モデルはユーザの選択を考慮し得る。これらの選択モデルは、ユーザによって行われる選択を正確に予測するのではなく、任意の所定のユーザが特定の動作を選択する確率を予測する。特に、選択モデルは、ユーザの選択または決定（すなわちユーザの挙動）の確率が、それぞれの実験において操作された１つ以上の要素に従って、あるいはユーザのプロファイルに従ってどのように変化するかを示す。このようにして、選択モデルは、選択オプション（例えば、ウェブサイトで提供されている価格、割引レベル、商品の色）を記述する変数と、ユーザ１６（例えば、時間帯、曜日、インターネットサービスプロバイダ（ＩＳＰ）、アプリケーションオペレーティングシステム）を記述する変数とを考慮する。ユーザ１６を記述する変数の混在により、特定のユーザプロファイルについて、選択モデルを用いて、コンテンツ、オファー等を最適化することが可能になる。例えば、ユーザ１６の選択確率が、背景色およびページ位置、ならびに時間帯、曜日およびＩＳＰによってどのように変化するかを予測するモデルが、モデル生成器３２によって生成されると、予測エンジン３４およびモデルエンジン３２は、目標を最適化するために（例えば、クリック率を最大化するために）、どの色とどの位置ロケーションを任意の所定のユーザに提供しまたは表示すべきであるかを予測することができる。このようにして、どの組のコンテンツ１５が所望の結果を達成するのに最適であるかを決定するために、モデルを用いることが可能である。

選択モデルの一実施例では、ユーザの意思決定プロセスの解明されない成分は、ガンベル分布に従って分布している。当該分布からの各選択の偏差の合計はゼロで、および各偏差は独立しており、同じ分散を有する。このことにより、多項ロジット（ＭＮＬ）モデルとして知られている、１つのモデルが生成される。複数の選択の状態について、ＭＮＬモデルを次式のように表すことができる。
Ｐ（ｉ｜Ｃ）×ｅｘｐ（Ｖ_ｉ）／Σ_ｊｅｘｐ（Ｖ_ｊ）、全てのｊがＣに付与されたとする

上式において、Ｖ_ｉおよびＶ_ｊはｉ番目およびｊ番目の選択オプション（動作、選択）の値であり、ｅｘｐは指数関数演算子（すなわちｅＶ）であり、そしてＣは可能な動作または選択の組である。ＭＮＬモデルの用途において、Ｖ’ｓは対象とする変数の線形パラメータ関数として推定される。すなわち、Ｖ’ｓは、いくつかの予測変数（例えば、広告の色、広告の位置、観察された挙動の時間帯、ユーザのＩＳＰ、広告の色とＩＳＰとの相互作用等）の重回帰型の関数として表される。実験の結果として得られたデータからの各変数について、パラメータが推定される。次に、特定のユーザプロファイルが特定の選択オプション（動作）を選択する確率を予測するために、パラメータがＭＮＬモデルに用いられる。代わりに、変数（すなわち処理）のどのような特定の組み合わせを特定のプロファイルを有するユーザに見せるか、例えば、広告の色および位置のどの組み合わせをＩＳＰとしてＡＯＬを有するユーザに表示すべきであるか、および火曜日の午前２時から午前３時の間に、どのユーザがウェブサイトと相互作用するか等を決定するために、モデルの結果が用いられる。

モデルエンジン３２は、選択モデル、ベイジアンモデル、または例えば、ユーザのクリックパターン、質問に対する応答、セッション時間、購入、登録、再訪問、オプション選択等で明らかにされるようなユーザ１６（例えば、ウェブサイトへの訪問者）の選択に関する他の有用なモデル化の手法を実現することが可能である。一実施形態では、モデル化はベイジアンマルコフ連鎖モンテカルロ推定法の手法を実現し得る。モデルエンジン３２は、「モデル命令」と呼ばれる構造を使用することが可能であり、この構造により、モデルエンジン３２が、観察モジュール３６からモデル化するのに必要な実験データの当該部分を抽出することが可能になる。

予測エンジン３４は、モデルエンジン３２およびアロケータモジュール２２と通信する。予測エンジン３４は、実行時に、本明細書に記載した機能を実行する１つ以上のプログラムを含み得る。実験およびモデル化から、予測エンジン３４は１つ以上の予測を生成または作成するように機能する。予測は、１つ以上の所望の結果／目標を達成するのに最も効果的な方法において、コンテンツ１５をユーザ１６に供給するために用いられるモデルの簡単な説明であり得る。例えば、予測は、ある特性を有するユーザ１６が、特定のウェブサイトについて、主要ウェブページに合わせてクリックスルーするか、当該ウェブサイトで商品を購入するか、午後９時から真夜中までに訪問することを予測するか、その他の任意の対象としている戦略的目標を予測することが可能である。

１つの実行方法では、予測エンジン３４は、ウェブサイトを訪問した任意の所定のユーザがモデルの目標と一致するように（すなわち、コンテンツプロバイダ１４の特定のゴールまたは目標と一致するように）挙動する可能性が最も高いと予測される当該組のコンテンツ要素を、モデルから識別することが可能である。他の実行方法では、予測エンジン３４により、コンテンツプロバイダ１４がこのような識別を行うことが可能になり得る。

予測エンジン３４は、ユーザ１６の要求に応じてコンテンツ１５をユーザ１６に割り当てるときに用いることができる予測共変量を生成し得る。すなわち、予測エンジン３４は、いくつかの種類のユーザ１６に対して特定のコンテンツをターゲットするために、予測規則を生成することが可能であり、このようにして、コンテンツ１５の供給における個人化が提供される。予測規則は、異なる種類またはクラスのユーザ１６を特定のコンテンツ１５に適合させる一組の規則であり得る。したがって、予測エンジン３４により、（観察された挙動の抽象的な描写を提供する）モデルが、所望の挙動を最適化しようと試みる単一の組の規則に変換される。ユーザ１６へのコンテンツ１５の供給用途のために、予測規則がアロケータモジュール２２に転送される。

実験エンジン３０、モデルエンジン３２および予測エンジン３４の各々の機能は、任意の適切なプロセッサ、例えば、メインフレーム、ファイルサーバ、ワークステーション、あるいは他の適切なデータ処理ファシリティにより、適切なソフトウェアを起動させ、かつ、例えば、ＭＳ−ＤＯＳ、ＭａｃＩＮＴＯＳＨ ＯＳ、ＷＩＮＤＯＷＳ ＮＴ、ＷＩＮＤＯＷＳ ２０００、ＯＳ／２、ＵＮＩＸ、ＸＥＮＩＸ、ＧＥＯＳ等任意の適切なオペレーティングシステムの制御下で実行させることによって実現することができる。

観察モジュール３６は、（コンテンツシステム１０の）アロケータモジュール２２、実験エンジン３０、およびモデルエンジン３２と通信する。観察モジュール３６は、一般に、観察データを保持または記憶するように機能する。観察データは、コンテンツプロバイダ１４のウェブサイトを訪問するユーザ１６の、観察された挙動に関する情報またはデータであり得る。観察データは、通信管理システム１２によって行われた実験毎に収集されてよく、したがって、実験条件および観察結果の情報を含むことができる。さらに、観察モジュール３６に記憶される観察データは、実験変数、共変量および従属変数等の複数の変数のデータを含むことができる。実験変数はコンテンツ自体に関連するか、またはそれを表し得る。例えば、実験変数は、実験のコンテンツ処理および実験の期間に関連するか、またはそれを特定することが可能である。実験変数は制御されてよく、独立変数であると考えることが可能である。従属変数は結果に関連するか、またはそれを表す。例えば、従属変数は、処理の割り当ての前またはそれに続く、ユーザの観察された挙動に関連してよい。従属変数は、典型的に、最適化すべき目標関数の成分である。例示的な実施例としては、従属変数は、処理の割り当てと、このような割り当ての成功または失敗とに関連することが可能である。ユーザ１６が、所望のように処理に反応した場合には、処理の割り当てのインスタンスは「成功」とみなされ、ユーザ１６が、所望のように処理に反応しなかった場合には、処理の割り当てのインスタンスは「失敗」とみなされる。共変量は、ユーザ１６に関連するか、またはそれを表す変数である。例えば、共変量は、エンドユーザ（例えば、特定のコンピュータおよびウェブブラウザ）の特性に関連し得る。さらに、共変量は、使用（例えば、ボタンのクリック、ナビゲーションオプションの選択、情報の提出、購入の実行等）の特性に関連し得る。その上、観察データは、ウェブサイトのデータログまたはカスタマデータベースから入手可能な情報を含むことが可能である。このデータおよび情報によって、通信管理システム１２は、ユーザ１６を別個のグループに区分するか、またはユーザ１６の分布を特定することが可能であり、この場合、各グループまたは各分布は特定の組の挙動結果によって特徴付けられる。

観察モジュール３６は、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、あるいは他の適切な揮発性および／または不揮発性の記憶媒体等の任意の１つ以上の適切な記憶媒体で実現することが可能である。一実施形態では、観察モジュール３６はリレーショナルデータベースを備え得る。

コンテンツプロバイダインタフェース３８は、（コンテンツシステム１０の）コンテンツ記憶部２４、実験エンジン３０、および観察モジュール３６と通信することができる。コンテンツプロバイダインタフェース３８は、モデルの結果を受信し、そして分析、評価、選択、較正、および基本的なレポートを開始する。コンテンツプロバイダインタフェース３８は、一般に、通信管理システム１２と、情報サービス管理者等のコンテンツプロバイダ１４の人間ユーザとの間のインタフェースをサポートする。コンテンツプロバイダインタフェース３８により、管理者ユーザが質問を行い、シナリオを記録および実験し、そしてレポートを作成または取得して結果を定量化することが可能になる。

例えば、コンテンツプロバイダインタフェース３８により、管理者ユーザが、通信管理システム１２によって行われる実験、モデル化および予測のプロセスの設定および管理を支援することが可能になる。コンテンツプロバイダインタフェース３８は、コンテンツ記憶部２４に入力するための新たなコンテンツ１５と、実験エンジン３０に転送するための定義とを受信し得る。一実施形態では、コンテンツプロバイダインタフェース３８を用いて、種々の実験の条件および空間、処理される属性およびレベル、追跡される個々のデータを定義し、種々の実験計画の生成または作成を開始することができる。さらに、コンテンツプロバイダインタフェース３８により、観察モジュール３６から直接の生の形態およびモデルエンジン３２からのモデル形態の両方において、管理者ユーザがデータを見て分析することが可能になり得る。

コンテンツプロバイダインタフェース３８の機能は、キーパッド、タッチスクリーン、入力ポート、ポインティングデバイス（例えばマウス）、マイクロホン等の１つ以上の適切な入力装置、および／または情報を受け取ることができる他の装置、ならびにコンピュータディスプレイ、出力ポート、スピーカ等の１つ以上の適切な出力装置、あるいはデジタルデータ、視覚情報またはオーディオ情報を含む情報を伝達するための他の装置によって実行することができる。一実施形態では、コンテンツプロバイダインタフェース３８は、入力、視聴、および／または情報の検索を容易にするためのボタン、ウィンドウ、プルダウンメニュー等のような複数のインタラクティブ装置を有する少なくとも１つのグラフィカルユーザインタフェース（ＧＵＩ）を備えるか、またはそれを表示するように動作することができる。

スクリプト／スケジュールエンジン３９は、アロケータモジュール２２、実験エンジン３０、モデルエンジン３２、予測エンジン３４およびコンテンツプロバイダインタフェース３８と通信し得る。スクリプト／スケジュールエンジン３９は、実行時に、本明細書に記載した機能を実行する１つ以上のプログラムを含み得る。スクリプト／スケジュールエンジン３９は、一般に、通信管理システム１２およびコンテンツシステム１０の動作全体を管理するように機能する。

スクリプト／スケジュールエンジン３９はスクリプトの生成を提供またはサポートし、これらスクリプトは、アロケータモジュール２２、実験エンジン３０、モデルエンジン３２、予測変数エンジン３４および観察モジュール３６の挙動、動作および／または相互作用を調整する。したがって、スクリプト／スケジュールエンジン３９は、本明細書に記載した実験、モデル化および予測のプロセス全体を自動化し得る。本質的に、各スクリプトが、コンテンツシステム１０または通信システム１２の１つ以上の要素に、特定の動作または一組の動作を行うよう指示を出すことが可能である。

例えば、スクリプト／スケジュールエンジン３９は、ユーザ１６の挙動または反応を測定するために行われ得る種々の実験の設定をサポートする。各実験について、スクリプト／スケジュールエンジン３９は定義を生成または供給し得る。これらの定義は、実験を行うためにアロケータモジュール２２に供給することができる。さらに、スクリプト／スケジュールエンジン３９は、実験の終了をモニタリングし、次に、モデルエンジン３２に実験データからモデルを作成または生成するよう指示を出すことが可能である。スクリプト／スケジュールエンジン３９は、このような実験の結果をモデルに、そして最終的には、予測に変換するためのスクリプトを生成しまたは供給することが可能であり、前記モデルは、特定の結果／目標を達成するように構成される。スクリプト／スケジュールエンジン３９は、モデルをどのように作成するかという命令をモデルエンジン３２に与えることが可能である。これらの命令は、観察モジュール３６内のデータ位置、および複数の変数（例えば、実験変数、共変量および従属変数）の各々の名前、より容易なモデル用のコード化翻訳、連続的なモデル形態から非連続的なモデル形態へのデータ変換、ならびに他の任意のパラメータを特定し得る。スクリプト／スケジュールエンジン３９は、アロケータモジュール２２がコンテンツ１５に関するユーザの要求に対処するときに使用するモデルの状態の、時間に関連する解釈を生成することが可能である。さらに、スクリプト／スケジュールエンジン３９は、実験のためにまたはモデル／予測に従って、コンテンツ１５を供給するための命令またはコマンドをアロケータモジュール２２に供給することが可能である。各スクリプトは基本エラーハンドリング手順を含み得る。

スクリプト／スケジュールエンジン３９の機能は、任意の適切なプロセッサによって実行することができ、このプロセッサは、実験エンジン３０、モデルエンジン３２および予測エンジン３４のための、同一のまたは複数の別個のプロセッサであり得る。

一般に、動作時、コンテンツプロバイダインタフェース３８は、コンテンツプロバイダ１４から実験定義を受信し得る。一実施形態では、例えば、コンテンツプロバイダ１４の管理者ユーザは、実験をどのように設定してスケジューリングするかを決定するために、現在のウェブサイトトラフィックから、過去のウェブサイトトラフィックまたはサンプルに関するデータを入力する。実験定義を用いて、実験エンジン３０は、特定の組のコンテンツの１つ以上の実験を計画する。各実験は、コンテンツについての複数のコンテンツ構造または処理を含み得る。処理の１つは制御処理として機能し、一方、残りの処理は実験処理として機能する。各実験について、実験エンジン３０は、実験中に処理をどのように供給するかを指示する、別個の組の実験規則を生成することが可能である。これらの実験規則はアロケータモジュール２２に転送される。

アロケータモジュール２２は、種々のユーザ１６からのコンテンツの要求に応じて、異なる処理を種々のユーザ１６に割り当てる。この割り当ては、実験エンジン３０によって実験計画の規則に従って行われる。実験中、通信管理システム１２は、各処理に対するユーザの挙動を観察し、そしてこれらの観察結果に関するデータを観察モジュール３６に収集または記憶する。このデータは、実験変数、共変量および独立変数のデータを含む。

観察データを用いて、モデルエンジン３２は、行われた実験毎に１つ以上のモデルを生成する。これらのモデルは、ユーザ１６による目標挙動の発生と、一組の制御されたコンテンツ変数およびユーザの訪問に関する詳細との関係を捕捉することが可能である。

実験およびモデル化から、通信管理システム１２は、ユーザ１６に供給されるコンテンツ１５の処理を変更またはカスタマイズし得る。特に、予測エンジン３４は、１つ以上の所望の結果／目標を達成するのに最も効果的な方法において、コンテンツ１５をユーザ１６に供給するために用いられる１つ以上の予測を生成する。一実施形態では、予測エンジン３４は、最適なコンテンツ構造または処理の実験およびモデル化の結果を自動的に検索し、ユーザ１６に供給するものを推奨する。代替実施形態では、予測エンジン３４により、コンテンツプロバイダ１４の人間ユーザ（例えば、情報システム管理者）が、ユーザ１６に供給するための複数の最適なコンテンツ構造または処理を特定することが可能になる。予測エンジン３４は、コンテンツシステム１０のアロケータモジュール２２に転送することができる一組の予測規則を生成する。

実験、モデル化および予測のプロセスの各々を繰り返し得る。ユーザ１６に供給されるコンテンツ１５を連続的に実験することによって、コンテンツシステム１０および通信管理システム１２は、所望の結果／目標について、通信の異なる属性の影響を系統的に分離する。（本明細書に記載したような）この連続的な実験に基づいて、セグメントまたは個々のユーザ１６をモデル化することにより、コンテンツシステム１０および通信管理システム１２は、顧客通信を提供するための規則を自動的かつ正確に生成して定義し、所望の結果／目標を達成するかまたは増加させることができる。

このようにして、コンテンツシステム１０および通信管理システム１２は、インタラクティブ通信の設計および開発に関する系統的な方法を実行して、製品開発、広報、カスタマサービス、広告効果、電子商取引、またはコンテンツ１５のリアルタイムマスカスタマイゼーションから利益を受けることができる他の任意の用途を最適化するか、強化するか、さもなければ改善する。

実験エンジン
図３は、本発明の一実施形態による実験エンジン３０のブロック図である。実験エンジン３０は、一般に、１つ以上の実験の作成および実行をサポートして、特定のコンテンツ１５に対するユーザ１６の挙動または反応、および／またはコンテンツがフォーマットされる特定の方法（すなわち処理）を実験する。一実施形態では、実験エンジン３０により、コンテンツプロバイダ１４の管理者ユーザが、インタラクティブコンテンツ実験に特に適切である、可能な種々の実験計画の中から、１つの実験計画を自動的に選択してこれを行うことが可能になる。図示したように、実験エンジン３０は、実験データ記憶部４０と実験マネージャオブジェクト４２とを含む。

実験マネージャオブジェクト４２は、一般に、種々の実験の実行を制御または管理するように機能する。実験マネージャオブジェクト４２は、実験計画の設定を可能にする。例えば、実験マネージャオブジェクト４２は１つ以上の実験変数の特定をサポートし、この特定は、１つ以上の当該結果／目標に対する実験変数の影響について調査または考慮することができる。このような実験変数は、例えば、背景色、ウェブページの位置、または特別な割引であり得る。さらに、各実験変数について、実験マネージャオブジェクト４２は１つ以上のレベルの特定をサポートする。例えば、背景色の実験変数について、レベルは「青色」、「ピンク色」、「黄色」および「緑色」を含むことができる。ウェブページの位置の実験変数について、レベルは「中央上部」、「右側下部」、「左側下部」および「中央右側」を含むことができる。特別な割引の実験変数について、レベルは、「１０％オフ」、「１５％オフ」、「２０％オフ」、「２５％オフ」、「３０％オフ」、「３５％オフ」、「４０％オフ」等を含むことができる。上記のことから、実験変数が本質的に非連続的なもの（例えば背景色）であるか、または本質的に連続的なもの（例えば特別な割引）であり得ることが理解できる。一実施形態では、管理者ユーザによって、変数およびそれに関連するレベルを選択することができる。

実験変数および実験レベルが選択されると、実験マネージャオブジェクト４２は、コンテンツ１５の異なる組み合わせまたは値を特定することができる。実験マネージャオブジェクト４２は、実験毎に供給すべきコンテンツ構造または処理を生成し、供給の条件（例えば、誰に、いつ）を決定し得る。これを実現するために、実験マネージャオブジェクト４２は、本明細書に記載した実験エンジンの機能（例えば、テーブル、検索アルゴリズム等）の任意または全てを用いることが可能である。これらの処理にわたって、各実験変数のレベルが系統的に変更される。

実験のために、所定の組のコンテンツ１５についての可能な全てのコンテンツ構造または処理の組から、サブセットを選択し得る。より具体的には、実験マネージャオブジェクト４２は、可能な全ての処理の組から、所望の目標または結果に最適に対処するように、それらの処理のサンプルを特定の方法で選択することが可能である。このことにより、コンテンツのどの要素がユーザの挙動にどのような影響を与えたか、したがって、サイト訪問者への今後の供給には、どのような処理が最適であるかをシステム（したがって管理者ユーザ）が認識することを保証しつつも、通信管理システム１２が、他の起こり得るものよりも多数のより複雑なコンテンツの問題を調査することが可能になる。選択されたサブセットの各処理は、「制御」コンテンツ構造であると考えることが可能である。制御は、処理における実験変数の異なるレベルが、通信管理システム１２または管理者ユーザの制御下にあるかまたはそれによって特定されることができることを意味する。

さらに、実験マネージャオブジェクト４２は、統計的サンプリング手順を定義または実行し得る。これらの統計的サンプリング手順は、コンテンツプロバイダ１４によって維持されているウェブサイトを訪問した全てのユーザ１６のうち、どの複数のユーザが制御コンテンツ構造または処理を受けたかを選択するために用いられる。この選択は、ユーザプロファイルの組み合わせ（例えば、全てのユーザを含むセグメントを含み得る区分）、および／または統計的に有効なランダムな選択手法を用いて実現することができる。一実施形態では、実験マネージャオブジェクト４２により、コンテンツプロバイダ１４の管理者ユーザが、特定のターゲット集団のユーザ１６を潜在的または顕在的に特定して、制御処理を受けることが可能になり得る。例えば、実験マネージャオブジェクト４２により、管理者ユーザが、全ウェブサイトトラフィックの一部分を選択し、次に、全トラフィックのこの一部分に適用することができる実験を計画しかつ実行することが可能になり得る。実験マネージャオブジェクト４２から利用可能なサンプリング手順によって、管理者ユーザは、特定のサンプルの、または特定のユーザ集団からのサンプリングの割り当てを設定することが可能であり、この場合、各集団は共通のいくつかの特性（例えば、ＩＳＰ、使用時間等）を有することが可能である。

さらに、実験マネージャオブジェクト４２は、例えば、管理者ユーザからの入力に基づいて、各実験がいつ行われるか、そしてどのくらいの期間行われるかを特定することが可能である。

実験マネージャオブジェクト４２は、所定の時間で進行中の実験、および各実験に参加しているユーザ１６の動向を追跡し得る。さらに、実験マネージャオブジェクト４２は、スクリプト／スケジュールエンジン３９により、通信管理システム１２またはコンテンツシステム１０の他のエンジンまたは要素に指示を出して、実際に行われている各実験に関するデータおよび情報を収集することが可能である。例えば、実験マネージャオブジェクト４２は、アロケータモジュール２２に指示を出して、種々の実験の観察データを収集し、このデータを観察モジュール３６に記憶することが可能である。したがって、どの実験が行われたか、どの実験が進行中であるか、そして実験の実施について実験空間のどの部分が残っているかを決定することが可能である。さらに、各実験について、実験マネージャオブジェクト４２は、実験の進行中に処理をどのように割り当てるべきかをアロケータモジュール２２に指示する一組の規則を生成することが可能である。

一実施形態では、実験マネージャオブジェクト４２は、は通信管理システム１２およびコンテンツシステム１０の種々の構成要素またはモジュール間で供給することができる一組のインタフェースオブジェクトを実現し、または含み得る。

実験データ記憶部４０は実験マネージャオブジェクト４２と通信する。実験データ記憶部４０は実験データ４４を記憶するように機能する。実験データ４４は、一般に、実験エンジン３０によって作成されかつ実施された実験に関するデータおよび情報を含む。このデータは、過去の実験（履歴）および現在進行中の実験の両方に関するデータ／情報を含む。各実験について、実験データ４４は、例えば、実験を規定する定義およびパラメータ、実験中に用いられるコンテンツ１５、実験のために特定された変数、各実験変数のレベル、実験中に考慮されたコンテンツ構造または処理、各実験について追跡されている目標の挙動、各実験の実験規則、および実験に参加するために割り当てられるユーザ１６の定義または認識パターンを特定することが可能である。

さらに、実験データ４４は、実験を設定するために用いられるデータを特定するかまたはそれを含み得る。一実施形態では、このデータは１つ以上のテーブルを含むことが可能である。各テーブルをそれぞれの実験計画に関連させることができる。コンテンツプロバイダ１４のために具体的な実験計画を作成するために、上記テーブルには、例えば、（コンテンツプロバイダ１４の管理者ユーザと選択的に協働する）実験マネージャオブジェクト４２によって入力されたデータおよび情報を「記入する」ことができる。さらに、実験データ記憶部４０は、実験に対するコンテンツシステム１０の能力に関する情報を記憶する。

実験データ記憶部４０は、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、あるいは他の適切な揮発性および／または不揮発性の記憶媒体等の任意の１つ以上の適切な記憶媒体で実現することが可能である。一実施形態では、実験データ記憶部４０はリレーショナルデータベースを備え得る。

実験エンジン３０によって、通信管理システム１２は、所定の組のコンテンツ１５についての可能な全てのコンテンツ構造または処理の組から、所望の目標または結果に最適に対処するための実験に対するサンプルを選択することができる。このことにより、コンテンツシステム１０と協働する通信管理システム１２が、他の起こり得るものよりも多いだけでなく、より複雑でもあるコンテンツの問題を調査することが可能になる。このようにして、通信管理システム１２は、どのコンテンツ構造または処理がユーザ１６にどのような影響を与えたか、したがって、他のユーザへの今後の供給にはどのコンテンツが最適であるかを決定することができる。

モデルエンジン
図４は、本発明の一実施形態によるモデルエンジン３２のブロック図である。モデルエンジン３２は、一般に、実験中に収集されたデータから挙動モデルを生成または作成するように機能する。図示したように、モデルエンジン３２は、データビューリーダ４８、モデル生成器５０、データビューマネージャオブジェクト５２、モデル出力オブジェクト５４およびモデルデータ記憶部５６を含む。

観察モジュール３６と通信し得るデータビューリーダ４８は、一般に、実験中に収集された観察データを検索するかまたは読み取るように機能する。この観察データは、実験中に種々のユーザ１６に供給された処理と各供給の結果とに関するデータを含み得る。種々の処理に対するユーザ１６の少なくともいくつかの反応（例えば、ユーザが、最終的に、特定の処理で提供される商品を購入し得ること）を観察することができ、したがって、前記反応は目標挙動であると考えることができる。

データビューリーダ４８と通信するモデル生成器５０は観察データを受信する。モデル生成器５０は、観察データを統計的に分析することができるフォーマットに変換する。観察データを用いて、モデル生成器５０は１つ以上の挙動モデルを生成する。これらの挙動モデルは、目標挙動の発生、制御されたコンテンツ変数の組（例えば、バナー広告の位置または背景色）、およびコンテンツが供給されるユーザ１６の関係を捕捉することが可能である。非常に多数の変数のレベルが実験で処理されたときに、ユーザの選択または決定（すなわち、ユーザの挙動）の確率がどのように変化するかを選択モデルが示すという意味において、その選択モデルは行動的である。そのモデルは、観察されない値の内挿、および／または実験中に行われない処理に関する予測を含む状況に有用である。一実施形態では、モデル生成器５０は１つ以上の分割表を作成し得る。分割表はモデル形態である。各分割表は、少数の定義結果を有する状況に有用なレポートであり得る。分割表を用いて、複雑なモデル形態が成功したかをチェックすることができる。分割表を分析することによって、通信管理システム１２は、複雑なモデルで推定ステップに失敗するデータを識別することができる。分割表は、極めて完全かつ比較的速いモデル形態である。

モデル生成器５０は、選択モデル、ベイジアンモデル、ニューラルネットワーク、決定ツリーのアルゴリズム、または関連する他のモデリングアルゴリズムによって実現することができる。モデル化のためのこれらのアルゴリズムの少なくともいくつかは、例えば、種々の学術文献または商業的に入手可能なソフトウェアで公的に利用可能である。一実施形態では、モデル生成器５０は、ＭＡＴＬＡＢライブラリとオブジェクトコードコンパイラとによって実現することができる。

モデルデータ記憶部５６はモデル生成器５０と通信する。モデルデータ記憶部５６は、一般に、モデルデータ５８を記憶して保持するように機能する。モデルデータ５８は、本明細書に記載したモデルを作成し、記述し、定義しそして実現するための任意の情報およびデータであり得る。各モデルについて、モデルデータ５８は、例えば、モデルの識別子、モデルで利用可能な選択オプション（例えば、価格、割引レベル、背景色）を記述する変数、ユーザ１６（例えば、ユーザが相互作用する時間帯、ユーザが相互作用する曜日、ユーザのインターネットサービスプロバイダ（ＩＳＰ）、ユーザのコンピュータのオペレーティングシステム等）を記述する変数、１つ以上のレガシーシステムのコンテンツ、人口統計情報等を特定することができる。

モデルデータ記憶部５６は、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、あるいは他の適切な揮発性および／または不揮発性の記憶媒体等の任意の１つ以上の適切な記憶媒体で実現することが可能である。一実施形態では、モデルデータ記憶部５６はリレーショナルデータベースを備え得る。

データビューマネージャオブジェクト５２は、モデルデータ記憶部５６およびデータビューリーダ４８と通信する。データビューマネージャオブジェクト５２は、一般に、人間ユーザによる解釈のために、データビューリーダ４８によって種々のモデルをコンテンツプロバイダ１４の人間ユーザ（例えば、情報システム管理者）に出力するように機能する。一実施形態では、データビューマネージャオブジェクト５２は、通信管理システム１２およびコンテンツシステム１０の種々の構成要素またはモジュール間で供給することができる一組のインタフェースオブジェクトを実現し、または含むことが可能である。

一実施形態では、コンテンツプロバイダ１４は、モデルデータ記憶部５８に組み込まれ得る別個のデータベースにユーザ情報を記憶することが可能である。例えば、コンテンツプロバイダ１４によってサポートされているオンラインバンキングアプリケーションは、ユーザのインターネットセッションからおよび金融機関の企業データベースからデータを引き出し得る。このような場合、データビューマネージャオブジェクト５２は、企業データベースをモデルデータ記憶部５６にリンクさせる。

モデル出力オブジェクト５４はモデルデータ記憶部５６と通信する。モデル出力オブジェクト５４は、一般に、予測としての変換または使用のために、種々のモデルを予測エンジン３４に出力するように機能する。一実施形態では、モデル出力オブジェクト５４は、通信管理システム１２およびコンテンツシステム１０の種々の構成要素またはモジュール間で供給することができる一組のインタフェースオブジェクトを実現し、または含むことが可能である。

予測エンジン
図５は、本発明の一実施形態による予測エンジン３４のブロック図である。予測エンジン３４は、一般に、挙動モデルを用いて予測を生成または作成するように機能する。図示したように、予測エンジン３４は、予測生成器６２と予測出力オブジェクト６４と予測データ記憶部６６とを含む。

予測生成器６２は、一般に、例えば種々のユーザ１６が特定のコンテンツにどのように反応し得るかを予測する１つ以上の予測を生成するように機能する。これらの予測は、マスカスタマイゼーションプロセスであると考えることが可能である。その予測は、モデルで具体化されるような、ユーザ１６の明らかになった（観察された）好みを用いて、統計的に実現可能な予測規則を生成する。予測生成器６２は、所望の目標／結果（例えば商品の販売）を達成するために、モデルエンジン３２およびコンテンツプロバイダインタフェース３８からの入力を受信して、特定のユーザ１６へコンテンツ１５をターゲットとするための規則を開発することが可能であり、このようにして、コンテンツ１５の供給が最適化される。これは、モデルエンジン３２で出力される種々のモデルを変換することによって実現することができる。

一実施形態では、予測生成器６２は個人化プロセスを実行し得る。インタラクティブ通信の分野において、個人化プロセスは、表示された、または黙示のユーザ１６の好みに基づいて、コンテンツ１５がユーザ１６のターゲットとなり、ユーザ１６に供給されるプロセスであり得る。例示的な個人化プロセスは、ユーザ１６をプロファイリングまたは区分するために用いられるデータマイニング手法を含むことが可能である。区分とは、ユーザ１６を種々の別個のグループまたはセグメントに分解するか、分割するか、または分離することを指す。各グループまたは各セグメントは、同様の挙動特性を有するユーザの特定または分布である。所定のセグメント内のユーザ１６の挙動はより均一である傾向があり、これに対して、セグメント間のユーザ１６の挙動はさほど均一でない傾向がある。セグメントは、非限定的なもの（画一的な大量市場）から固有の個人までの範囲にあり得る。

サイトに関連するユーザの挙動で観察されるように、コンテンツ１５に対し固有に反応する傾向にある特定のユーザ１６に対して識別される情報に基づくモデリングプロセスにおいて、ユーザ１６のセグメントを決定することができる。区分を実行するために、ユーザの相互作用に関する各セグメントの定義情報が追跡される。このことは区分規則によって実現することができる。ユーザ１６の各セグメントに対して、別個の組の区分規則をプログラミングまたは提供することができる。これらの規則は、コンテンツ１５をユーザ１６に供給するための詳細を特定し得る。例えば、各セグメントについて、それぞれの組の規則は、どのコンテンツ１５を何時に供給すべきであるかを特定することが可能である。代わりに、コンテンツプロバイダ１４の管理者ユーザは、予め定義されたセグメントを先験的に選択してもよい。

予測生成器６２は、モデルエンジン３２によって生成された予測モデルを、予測として既知の、最適化された規則の組に変換する。すなわち、予測生成器６２は、コンテンツシステム１０および／または通信管理システム１２から、不成功のコンテンツ組み合わせまたは処理に関する情報を除去する最適化プロセスを実行することが可能であり、このようにして、用いる価値があるコンテンツ組み合わせまたは処理の情報のみが残る。

このような不用なデータを除去することによって、予測生成器６２は、結果として得られるリアルタイム処理速度を向上させる。予測生成器６２によって動作される任意の所定のモデルについて、モデルをマッピングして、コンテンツシステムにより理解することができる言葉に戻すために、規則の組への変換が行われる。このプロセスにおいて、種々のサブ集団のユーザ１６の別個のモデルを受け入れ、および／または当該モデルでのユーザの挙動の相違を誘発する個々のユーザの特性を含めることが可能である。

このようにして、予測生成器６２の技術および機能により、ユーザ１６の多数の個々の特性と、挙動の相違を誘発するように当該特性を組み合わせる得る異なる方法とを包含しおよび分析することが可能になる。例えば、時間帯は、ウェブサイトにクリックスルーする種々のユーザ１６の傾向の相違に関連させることが可能である（他の全ての要因は同じである）。さらに、時間帯は、提供価格またはページの位置等の属性に対するユーザの感度の相違に関連させることが可能である。

予測生成器６２は、コンテンツ供給の調査および最適化のために、例えば、管理者ユーザからの入力を受信して、特定のセグメントを特定し得る。コンテンツプロバイダインタフェース３８を介して、管理者ユーザは、観察モジュール３６においてあるいはコンテンツプロバイダの自身の顧客（ユーザ）またはサイトデータベースから利用可能なデータ、フィールドおよび値に基づいて、識別規則を特定することが可能である。

予測データ記憶部６６は予測生成器６２と通信する。予測データ記憶部６６は、一般に、予測データ６８を記憶して保持するように機能する。予測データ６８は、本明細書に記載した予測を生成し、記述し、定義しそして実行するための任意の情報およびデータであり得る。各予測について、予測データ６８は、例えば、予測の識別子、予測の一組の規則、ユーザ１６のクラスを記述する定義、および各クラスで最良であるコンテンツ１５を特定することができる。

予測データ記憶部６６は、ランダムアクセスメモリ（ＲＡＭ）、ディスク記憶装置、あるいは他の適切な揮発性および／または不揮発性の記憶媒体等の任意の１つ以上の適切な記憶媒体で実現することが可能である。一実施形態では、予測データ記憶部６６はリレーショナルデータベースを備え得る。

予測出力オブジェクト６４は、予測データ記憶部６６および（モデルエンジン３２の）データビューリーダ４８と通信する。予測出力オブジェクト６４は、ユーザ１６へのコンテンツ１５の供給中に、種々の予測規則をアプリケーション用のコンテンツシステム１０に出力し得る。一実施形態では、予測出力オブジェクト６４は、通信管理システム１２およびコンテンツシステム１０の種々の構成要素またはモジュール間で供給することができる一組のインタフェースオブジェクトを実現し、または含むことが可能である。

多数のコンテンツまたは大量のユーザデータを必要とするいくつかの用途では、予測規則の組のサイズは、人間ユーザ（例えば管理者ユーザ）による検査のために実行可能なものよりも大きい場合がある。実行可能な人間による検査を可能にするために、予測エンジン３４は、減少された規則の組を生成するための１つ以上の規則減少アルゴリズムを組み込むかまたは含み得る。したがって、所望の場合、管理者ユーザは予測エンジン３４と相互作用して、減少された規則の組を要求することが可能である。

規則減少プロセスの例示的な１つの実行方法では、ユーザ１６の特性の類似または相違と、最適なコンテンツとに従って、ユーザ１６が共に検索されてクラスタ化される。これらのクラスタ化グループは、予測を行うためのセグメントとして機能する。規則減少プロセスの他の例示的な実行方法では、モデリングプロセス中、同時にセグメントが検索される。さらに他の例示的な実行方法では、モデルを制約して、適度に少数の別個の予測規則を生成するために、コスト関数が用いられる。

観察モジュール
図６は、本発明の一実施形態による観察モジュール３６のブロック図である。図示したように、観察モジュール３６は、観察データ記憶部７４と観察アクセスオブジェクト７６とを備える。

観察データ記憶部７４は、一般に、観察データ７８を保持または記憶するように機能する。観察データ７８は、コンテンツプロバイダ１４のウェブサイトを訪問するユーザ１６の、観察された挙動に関するデータまたは情報であり得る。このようにして、観察データ７８は、例えば、ウェブサイトを訪問するユーザ１６、各ユーザのインターネットプロトコル（ＩＰ）アドレス、コンテンツ１５が各ユーザに供給される実験条件、各訪問の観察された成果または結果、１つ以上の実験変数、１つ以上の予測共変量、１つ以上の従属変数、各訪問のタイムスタンプ、および分析中に用いることができる他の有用なデータを特定することが可能である。少なくとも一部の観察データ７８は、観察の原情報と基本統計とを構成し得る。観察データ７８は、ユーザ（例えば訪問者）、処理、セッションおよびユーザプロファイルによる結果を見てモデル化するのに適切な構造として保持することが可能である。観察データ７８により、通信管理システム１２およびコンテンツシステム１０が、（例えば、同一のＩＰアドレスからこのようなユーザが戻ってきたことを推定して）ウェブサイトに戻ってきたユーザ１６に同じ処理を供給することが可能になり得る。観察データ記憶部７４は、コンテンツプロバイダインタフェース３２を介して観察データ７８を管理者ユーザに供給することが可能である。

観察アクセスオブジェクト７６は観察データ記憶部７４と通信する。観察アクセスオブジェクト７６は、一般に、観察データ７８へのアクセス（そのデータの記憶または検索）を行うように機能する。観察アクセスオブジェクト７６は、モデル化に直接的に適切な形態で観察データ７８をモデルエンジン３２に転送することが可能である。転送プロセスは、データの「異常」（例えば、紛失データ、構造依存性等）について観察データ７８をチェックすることと、データをモデル対応形態（例えばカテゴリ化およびエフェクトコード）に変換することを含み得る。一実施形態では、観察アクセスオブジェクト７６は、通信管理システム１２およびコンテンツシステム１０の種々の構成要素またはモジュール間で供給することができる一組のインタフェースオブジェクトを実現し、または含むことが可能である。

いくつかの実施例では、コンテンツプロバイダ１４はユーザ情報を別個のデータベースに記憶することが可能であり、前記ユーザ情報は観察データ記憶部７４の他のデータと組み合わせることが可能である。例えば、コンテンツプロバイダ１４によってサポートされているオンラインバンキングアプリケーションは、ユーザのインターネットセッションからおよび金融機関の企業データベースからデータを引き出すことが可能である。このような場合、観察アクセスオブジェクト７６は企業データベースを観察データ記憶部７４にリンクさせる。

スクリプト／スケジュールエンジン
図７は、本発明の一実施形態によるスクリプト／スケジュールエンジン３９のブロック図である。上記のように、スクリプト／スケジュールエンジン３９は、一般に、通信管理システム１２およびコンテンツシステム１０の他の要素の動作を調整および自動化するように機能する。図示したように、スクリプト／スケジュールエンジン３９は、イベントキュー８０、タイマ８２、スクリプトインタプリタ８４およびスクリプトデータ記憶部８６を備える。

スクリプトインタプリタ８４は、一般に、種々のスクリプトを実行させるように機能し、これらのスクリプトは、通信管理システム１２およびコンテンツシステム１０の他のエンジンおよびモジュール（例えば、アロケータモジュール２２、実験エンジン３０、モデルエンジン３２、予測エンジン３４または観察モジュール３６）に、命令または指示を与える。これらのスクリプトにより、通信管理システム１２またはコンテンツシステム１０が、種々のイベントに応じて、ある動作を開始または実行し得る。各スクリプトは一続きまたは一連の命令を特定することが可能であり、これらの命令は、システム１０と１２の動作を調整するために、システム１０と１２の他のエンジンおよびモジュールに発行される。

イベントは、例えば、通信管理システム１２またはコンテンツシステム１０の種々のモジュールまたはエンジンの１つによる、あるタスクの完了であり得る。このような各イベントの通知は、関連するモジュールまたはエンジンによってスクリプト／スケジュールエンジン３９に伝達することが可能である。さらに、イベントは、所定の時間（例えば午前８時）の発生、または所定の長さの時間の経過（例えば２時間）に関連し得る。タイマ８２は、時間の経過を追跡し、時間に関連する各イベントの情報を生成する。

スクリプトインタプリタ８４と通信するイベントキュー８０は、スクリプト／スケジュールエンジン３９に通知されるかまたは内部で生成される各イベントの情報を受信して記憶する。イベントキュー８０は、１つ以上のイベントを処理するためのキューを実行する。これらのイベントは、種々のスクリプトで特定されてよく、スクリプトインタプリタ８４によって命令の発行をトリガするように機能することが可能である。言い換えれば、各イベントについて、スクリプトインタプリタ８４により、通信管理システム１２またはコンテンツシステム１０が、特定のスクリプトに従って、ある動作を開始または実行し得る。

例えば、イベントは、実験エンジン３０による実験の完了であることができ、この場合、スクリプトインタプリタ８４は、望ましくは、実験結果を用いて、それぞれのモデルの生成を開始することが可能である。このようにして、診断情報と共に、種々のモジュールおよびエンジンによって生成されたデータを用いて、スクリプトインタプリタ８４は、モジュールまたはエンジンがそれらのそれぞれのタスクを首尾よく完了し、そしてそれぞれの命令を発行することによって適切な動作を開始しているか否かを決定することが可能である。

スクリプトインタプリタ８４と通信するスクリプトデータ記憶部８６は、一般に、スクリプトデータ８８を保持または記憶するように機能する。スクリプトデータ８８は、スクリプトインタプリタ８４によって生成および実行される種々のスクリプトに関するデータまたは情報であり得る。このようにして、各スクリプトについて、スクリプトデータ８８は、例えば、スクリプトの識別子、スクリプトの一部である命令、命令を発行すべき順序、命令の発行をトリガすべきイベント、命令が発行されるべき相手先のモジュールまたはエンジン等を特定することが可能である。

コンテンツを管理するための方法
図８は、本発明の一実施形態に従って、ユーザに供給されるコンテンツを管理するための例示的な方法１００である。方法１００は、コンテンツシステム１０と協働する通信管理システム１２の動作の種々の態様に対応することが可能である。

方法１００はステップ１０２と１０４から開始し、これらのステップでは、コンテンツシステム１０と協働する通信管理システム１２が、実験空間と実験とを定義する。一実施形態では、実験エンジン３０は、実験およびそれに対応する実験空間の種々の定義を生成することが可能である。これらの定義は、実験の対象物である特定の組のコンテンツ１５、そのコンテンツが配置される１つ以上の処理、各実験が行われる期間、処理が供給されるユーザ１６の制御グループ、コンテンツ処理の供給を制御する実験規則、モニタリングすべきユーザ１６の挙動、達成されることが望ましい目標／結果等を特定し得る。一実施形態では、コンテンツプロバイダ１４の管理者ユーザは、通信管理システム１２と相互作用して、実験を計画することが可能である。

ステップ１０６では、実験エンジン３０は、特定の処理をユーザ１６のそれぞれの制御グループに供給するためのライブ実験をスケジューリングする。ステップ１０８では、実験エンジン３０は、アロケータモジュール２２と関連して動作して、定義された実験を行い、ユーザの観察された挙動に関するデータを収集する。一実施形態では、アロケータモジュール２２は、種々の処理を特定の制御グループに供給するための実験規則を適用することが可能である。このことは、ユーザのコンテンツ１５の要求に応じて行われ得る。アロケータモジュール３２は、最適化すべき目標に関連するかしないかのような、観察モジュール３６におけるユーザの観察された挙動に関する詳細を記憶することが可能である。

ステップ１１０では、モデルエンジン３２は、観察された挙動の収集データ／情報を用いてモデルを生成する。モデルは、コンテンツ要素がユーザ１６の挙動または選択に影響を与える程度を反映し得る。特に、挙動モデルは、高度で、連続的で、かつ離散的な多変量統計モデルを含むことが可能であり、この統計モデルは、コンテンツ構造または処理のどの態様が、特定の結果を達成する確率に影響を与えるかを決定するために用いることができる。

ステップ１１２では、予測エンジン３４は予測を作成または生成する。この予測は、所望の結果／目標を達成するのに最も効果的な方法において、コンテンツ１５をユーザ１６に供給するために用いられるモデルの簡単な説明であり得る。特定の種類のユーザへの特定のコンテンツをターゲットとする一組の予測規則によって、予測を部分的に実現することができる。ステップ１１４では、所望の場合、通信管理システム１２により、コンテンツプロバイダ１４の管理者ユーザが、予測をカスタマイズすることが可能になる。

ステップ１１６では、通信管理システム１２は、コンテンツシステム１０と協働して、予測を行い、データを収集する。特に、アロケータモジュール２２は、ユーザ１６による要求に応じて、予測規則を適用し、コンテンツ１５を供給することが可能である。このことにより、いくつかの基準（例えば、時間帯、クリック追跡等）に応じて、種々のユーザ１６への特定の処理の供給が行われる。それぞれの処理に対するユーザ１６の挙動に関するデータが収集される。ステップ１１８では、予測段階中に、モデルエンジン３２と予測エンジン３４とが協働して、処理の供給の結果を分析することが可能である。

ステップ１２０では、通信管理システム１２は、観察結果が十分であるかどうかを決定する。すなわち、通信管理システム１２は、ユーザ１６が、供給されたコンテンツ処理に所望のように反応し、所望の結果または目標を達成したかどうかを決定する。観察結果が十分でない場合、ステップ１２２において、モデルエンジン３２は、モデルパラメータ、種類等を変更し、この後に、方法１００は、新たなモデルが生成されるステップ１１０に戻る。方法１００は、ステップ１２０において予測の結果が十分であることが決定されるまで、ステップ１１０〜１２２を繰り返す。決定された時点で、方法１０９は終了する。

実験を定義するための方法
図９は、本発明の一実施形態に従って、構成されたコンテンツの実験を定義するための例示的な方法２００のフローチャートである。方法２００は、通信管理システム１２の実験エンジン３０の動作の種々の態様に対応することが可能である。

方法２００は、コンテンツシステム１０と協働する通信管理システム１２によって行われる実験毎に実行することが可能である。各実験は、コンテンツシステム１０に記憶することができる特定の組のコンテンツ１５に焦点を当てるかまたはそれに集中し得る。任意の組のコンテンツ１５は、例えば、文書テキスト、画像、グラフィック、アニメーション、ビデオ、音楽、音声等を含むことができる。コンテンツの基本構成要素は、テキストファイル、画像ファイル、オーディオファイル、ビデオファイル等であり得る。

方法２００はステップ２０２から開始し、このステップでは、本発明の実験のために、実験エンジン３０が、ユーザの挙動に関する所望の目標／結果を識別する。このような結果または目標は、例えば、売上高および利益の増加、電子マーケティング効果の向上、および特定のビジネスインテリジェンスアプリケーションの起動であり得る。一実施形態では、コンテンツプロバイダ１４の管理者ユーザにより、コンテンツプロバイダインタフェース３８を介して、所望の目標／結果を識別または選択することができる。ステップ２０４では、実験エンジン３０は、特定の組のコンテンツ１５のどの要素コンポーネントが、所望の目標／結果に関連するユーザの挙動に潜在的に影響を与える可能性があるかを識別する。このことは、実験計画の一部であり得る。

ステップ２０６では、実験エンジン３０は、基本構成要素の種々の組み合わせを用いて、複数の代替コンテンツ構造または処理を生成する。各コンテンツ構造または処理は、例えば、ウェブページの特定の実行方法であり得る。これらの代替コンテンツ構造は、１つ以上の実験変数の基本構成要素において、通信管理システム１２の制御下で変化することが可能である。これらの変数は、例えば、背景色、スクリーン位置、コンテンツのサイズ等であり得る。異なる値またはレベルが、各変数について利用可能であってよい。例えば、背景色の変数について、異なるレベルは、赤色、青色、灰色および黒色であることができる。スクリーン位置の変数について、異なるレベルは中央上部、右側下部、左側下部等であることができる。本明細書に記載したように、コンテンツの同じ要求に応じて、種々の処理を交互に供給することが可能である。

ステップ２０８では、実験エンジン３０は、実験の実行のために制御変数および制御レベルを割り当てる。このことにより、本発明の実験の特定の組のコンテンツ１５に関する複数の代替コンテンツ構造または処理がもたらされる。例えば、１つの処理では、バナー広告は、黄色の背景色を有し、スクリーンの上部右隅に配置されることが可能であり、これに対して、他の処理では、バナー広告は、青色の背景色を有し、スクリーンの中央左部に配置されることが可能である。実験中、コンテンツ１５のこれらの代替処理をユーザ１６に供給し得る。その後、方法２００が終了する。

実験を行い、データを収集するための方法
図１０は、本発明の一実施形態に従って、実験を行い、追跡可能な結果／目標のデータを収集するための例示的な方法３００のフローチャートである。方法３００は、コンテンツシステム１０と協働する通信管理システム１２の動作の種々の態様に対応することが可能である。

方法３００はステップ３０２から開始し、このステップでは、実験エンジン３０およびスクリプト／スケジュールエンジン３９が、本発明の実験中にユーザ１６に供給するための１つ以上のコンテンツ構造または処理を選択する。各処理は、ウェブページに提示すべきコンテンツ１５の特定のフォーマットであり得る。例えば、ウェブページのコンテンツの１つの処理は青色の背景を含むことができ、この青色の背景上に、各物品の写真が、各写真の右隣に提供された添付の説明と共に、スクリーン左側の上部から下部まで表示される。コンテンツの他の処理は赤色の背景を含むことができ、この赤色の背景上に、各物品の写真が、各写真の真下でスクリーンの下部に提供された添付の説明と共に、スクリーンの上部の左側から右側まで表示される。

これらの処理は、コンテンツの同じ要求に応じて交互に供給することが可能である。例示的な要求は、特定の分野の商品（例えば、複数の衣料品）を表示するウェブページの要求であり得る。このようなウェブページ要求は、例えばユニフォームリソースロケータ（ＵＲＬ）等のウェブページの特定の識別子を特定することが可能である。さらに、ウェブページ要求は、ウェブページの特定のハイパーリンクをクリックするユーザの動作に関連させることができる。

ステップ３０４では、通信管理システム１２は、選択された処理を受信する特定のターゲット集団またはセグメントのユーザ１６を特定する。一実施形態では、管理者ユーザは、特定のターゲット集団のサイトユーザを明示的に特定することが可能である。例えば、ターゲット集団は、平日の午後４時から午後１０時までの時間に特定のウェブページにアクセスする当該ユーザである。ステップ３０６では、アロケータモジュール２２は、統計的にサンプリングして、ターゲット集団からユーザ１６の１つ以上の制御グループを選択する。例えば、一実施形態では、全てのサイト訪問者から、本明細書に記載したような制御処理を受信するプロファイル適合ランダムサンプルを選択するために、統計的サンプリング手順が用いられる。各制御グループは、コンテンツプロバイダ１２からコンテンツを要求する１人以上のユーザ１６を含み得る。各制御グループは、実験中、コンテンツの同じ要求に応じて、異なる処理を受信することが可能である。ステップ３０８では、通信管理システム１２は、実行のために制御変数および制御値／レベルを割り当て、これにより、どの処理が各制御グループに供給されるかが特定される。

ステップ３１０では、アロケータモジュール２２は、ユーザインタフェース２６を介して、それぞれの処理を各制御グループに割り当てるかまたは供給する。コンテンツプロバイダ１４のウェブサイトに対して（例えば、同じＵＲＬを特定するかまたは同じハイパーリンクをクリックすることによって）同じ要求を行う種々のユーザ１６には、実験中、異なる処理を供給し得る。上記実施例に関連して、衣類の分野に関する情報を要求する第１の制御グループは、青色の背景と、垂直に配置された写真とを有する処理を受信することが可能であり、一方、同じ情報を要求する第２の制御グループは、赤色の背景と、水平に配置された写真とを有する処理を受信することが可能である。アロケータモジュール２２は、制御処理と、それぞれの制御グループへの供給とに関する情報を観察モジュール３６に記憶または記録し得る。

ステップ３１２では、通信管理システム１２は、コンテンツシステム１０と協働して、種々の処理を受信するユーザ１６のサイトに関連する挙動を追跡する。この挙動は、ユーザが、異なる処理を肯定的または否定的に見たかに関する指標であり得る。直前の実施例を続けて説明すると、青色の背景と、垂直に整列された写真とを有する処理が提供されたときに、第１の制御グループのユーザの４０パーセントが衣類品目を実際に購入する可能性があり、一方、赤色の背景と、水平に整列された写真とを有する処理が提供されたときに、第２の制御グループのユーザの１５パーセントのみが衣類品目を実際に購入する可能性がある。通信管理システム１２は、このようなユーザの挙動に関する情報およびデータを記録する。この情報またはデータは、所望の目標／結果に関連する従属変数情報を含むことができる。この情報の全てを、観察データ７８として観察モジュール３６に記憶することが可能である。

一実施形態では、ユーザの挙動を種々の状態に分類することができる。これらの状態は、例えば、物品を購入する決定、物品を購入しない決定、特定のウェブページに留まる決定、他のウェブページに移動する決定等であり得る。異なる制御グループにわたって、通信管理システム１２は、処理の相違が状態変化にどのような影響を与えるかを識別するために、種々の処理に対するユーザの挙動の各状態変化を記録することが可能である。その後、方法３００が終了し得る。

モデル化および予測を行うための方法
図１１は、本発明の一実施形態に従ってモデル化および予測を行うための例示的な方法４００である。方法４００は、通信管理システム１２のモデルエンジン３２および予測エンジン３４の動作の種々の態様に対応することが可能である。

方法４００はステップ４０２から開始し、このステップでは、モデルエンジン３２が、実験エンジン３０によって部分的に行われた実験の間に生成された観察データを観察モジュール３６から取得する。この観察データは、コンテンツプロバイダ１４のウェブサイトを訪問するユーザ１６の観察された挙動に関するデータまたは情報を含む。とりわけ、観察データは、例えば、コンテンツプロバイダ１４のウェブサイトを訪問するユーザ１６、コンテンツ１５が各ユーザに供給される実験条件、各訪問の観察された成果または結果、および各訪問中に観察された挙動に関連する１つ以上の従属変数を特定することが可能である。

ステップ４０４では、モデルエンジン３２は、多変量統計モデル化手法（例えば、ベイジアンマルコフ連鎖モンテカルロ推定法）を用いて、観察データを分析し、コンテンツ１５のどの態様（種類およびフォーマット）が結果の確率に影響を与えているかを決定する。このことを実現するために、モデルエンジン３２は、実験中に観察された挙動に関連する種々の従属変数を分析または考慮し得る。モデルエンジン３２は、１つ以上の予測共変量を生成することが可能である。

ステップ４０６では、分析結果を用いて、予測エンジン３４と協働するモデルエンジン３２は、ある所望の結果または目標を達成するには、どのコンテンツ構造または処理が最良であるかを決定する。特に、モデルエンジン３２および予測エンジン３４は、例えば、種々のユーザ１６が特定のコンテンツにどのように反応し得るかに関する予測を生成する。このことは、モデルを一組の予測規則に変換することによって行うことができる。予測規則は、所望の目標／結果（例えば、商品の販売）を達成し、これによりコンテンツ１５の供給を最適化するために、特定のユーザ１６へコンテンツ１５をターゲットとする。その後、方法４００が終了する。

制御グループに供給するための処理の最適化された選択
一実施形態によれば、実験の１つ以上の目標を達成する確率が最も大きいと判断された処理を提供するように、実験中に制御グループに供給するための処理の選択が最適化される。上記のように、図２に示したコンテンツシステム１０は実験中に処理をユーザに供給し、通信管理システム１２の観察モジュール３６は観察データを記憶するように機能する。観察データは、処理と相互作用するユーザの観察された挙動に関する情報を含む。上記観察データは、実験条件と観察結果とに関する情報を含むことができる。

一実施形態によれば、供給された処理の観察データを用いて、制御グループに供給された処理の信頼度が決定される。処理の信頼度は、対応する処理またはその処理におけるコンテンツ要素の組み合わせの、１つ以上の目標に対する達成能力の推定である。これらの信頼度は、新たな処理の重み付けを決定するために用いられ、その重み付けは、制御グループに供給すべき処理の割合を決定するために用いられる。一実施例では、より高い信頼度を有する（例えば、１つ以上の目標を達成するためにより高い能力を有することを示す）処理またはコンテンツ要素の組み合わせには、より大きな重みが与えられる。次に、より大きく重み付けされた処理は、より小さく重み付けされた処理よりも高い割合で、制御グループに供給される。このことにより、実験プロセス全体にわたって、次善の処理の供給が最小化され、これにより、実験時間が短縮される。

図１２は、信頼度に基づいて処理の最適な選択および供給を行うように構成される図２に示したシステムの一実施形態を示している。図１２に示したシステムは、図２の要素の全てまたはほとんどを含み得る。要素のいくつかは、さらに、最適化を行うように構成され、一方、他の要素は、図２に関連して説明したように動作する。

モデルエンジン３２は、実験の処理を選択するために用いられる予測モデルを決定し、予測エンジン３４は、処理を選択するための予測規則を決定する。一実施形態によれば、予測エンジン３４は、さらに、処理を受信する制御グループの観察データに基づいて、制御グループに供給される処理毎に信頼度を決定する。例えば、予測エンジン３４は信頼度決定モジュール５１を含む。信頼度決定モジュール５１はモデル生成器５０に含まれ得る。信頼度決定モジュール５１は、統計分析を用いて、供給された処理が目的をいかに適切に達成したかを観察データに基づいて定量化する。信頼度決定モジュール５１をシステムの他の領域に設け得ることが当業者に明らかであろう。

制御グループに供給される各処理はコンテンツ要素の組み合わせを含むことが可能であり、そして処理について、または処理におけるコンテンツ要素の組み合わせについて信頼度が決定される。処理が単一のコンテンツ要素を有することも可能であり、したがって、単一のコンテンツ要素の信頼度を決定し得ることに留意されたい。

１つの処理における要素の組み合わせについて、以下に説明する。各コンテンツ要素は、検討しかつ分析すべき要因を構成する場合があり、各コンテンツ要素を種類およびバリエーションによって特徴付けることができる。例えば、２種類のコンテンツ要素、すなわち、バナー広告と、当該バナー広告の下に表示することができるテキストメッセージとが存在する場合を考えてみる。各コンテンツ要素はいくつかのバリエーションを有し得る。バナー広告について、バリエーションは静的および動的であり、異なる色の背景およびテキストであり得る。テキストメッセージ広告について、バリエーションは、異なる色のテキストであり得る。バナー広告のためのコンテンツ要素の組み合わせの例は、特定の背景色（例えば黄色）とテキストの色（例えばオレンジ色）とを有する動的バナー広告を含む。

オレンジ色のテキストと黄色の背景とを有する動的バナー広告を含む処理は、ネットワークを介して、１人以上のユーザを各々が含む１つ以上の制御グループに供給される。各制御グループにおけるユーザと処理との相互作用が捕捉される。簡単な例では、目標は、広告をクリックするユーザの数を最大化することである。観察モジュール３６は、バナー広告をクリックするユーザの指標を記憶する。バナー広告をクリックするこのユーザ数を用いて、信頼度決定モジュール５１により、バナー広告の信頼度を決定することが可能である。その信頼度は、処理およびその処理の要素の組み合わせの指標と共に記憶される。処理の指標は、処理の固有のＩＤと、処理におけるコンテンツ要素の説明とを含み得る。要素の組み合わせの指標は、組み合わせの各要素について、コンテンツ要素の種類とその種類の特定のバリエーションを識別することが可能である。この実施例では、上記指標は、動的で、黄色の背景で、オレンジ色のテキストを含むバリエーションを有するバナー広告の種類であろう。信頼度は処理毎に決定されて記憶される。信頼度は、モデルエンジン３２に記憶され、例えば、予測エンジン３４とアロケータモジュール２２とを介して、記憶用にコンテンツ記憶部２４に送信されることが可能である。さらに、予測エンジン３４は、上記のように、モデルエンジン３２から予測モデルを受信し、予測規則を生成することが可能であり、これらの予測規則は、処理を選択するためにアロケータモジュール２２に送信される。図１２は、コンテンツ記憶部２４に記憶される信頼度５２、処理５３および予測規則５４を示している。信頼度５２は、制御グループに供給済みの処理に関するものである。

図１３は、一実施形態に従って、信頼度を決定して記憶するための方法５００を示している。図１２に示したシステムを参照して方法５００について説明するが、一例であり、限定的なものではない。方法５００のステップのいくつかについては、本明細書の他の方法の説明において説明していることに留意されたい。また、方法５００のステップの１つ以上は、方法６００に関連して以下に説明するように、処理を選択するための方法全体の一部であり得る。

ステップ５０１では、例えば、ネットワークを介して、処理が１つ以上の制御グループに供給される。処理はオンラインコンテンツを含むことが可能である。コンテンツシステム１０は、例えば、処理を選択し、当該処理を制御グループに供給する。

ステップ５０２では、供給済処理に対して、観察データが捕捉されて記憶される。この観察データはユーザと処理との相互作用を含む。当該ユーザは制御グループに属する。観察モジュール３６を用いて、観察データを捕捉して記憶することが可能である。さらに、観察データをコンテンツ記憶部２４に記憶することが可能である。

ステップ５０３では、観察データを用いて、供給済処理の信頼度が決定される。図１２に示した信頼度決定モジュール５１は、観察データを用いて、処理が１つ以上の目標をいかに適切に達成かを決定する。オンライン広告をクリックする数を最大化することを目標としている極めて簡単な例では、制御グループのサイズと、広告をクリックした制御グループのユーザの割合とを用いて、信頼度を決定し得る。より複雑な統計分析法を用いて、信頼度を決定することも可能である。

ステップ５０４では、信頼度が記憶される。さらに、記憶された各信頼度は、対応する供給済処理およびその処理の要素の記憶された組み合わせの指標を含み得る。信頼度を有する要素の組み合わせを識別することによって、以下に詳細に説明するように、実験中に、要素の組み合わせおよびそれに対応する信頼度を用いて、新たな処理を選択し、それらの処理を制御グループに供給することができる。異なる組の処理が制御グループに供給されて評価されるとき、本方法が繰り返される。その後、制御グループに供給すべき新たな処理の選択を最適化するために、記憶された信頼度を用いることが可能である。

図１４は、一実施形態による、実験の処理の最適化された選択および供給に関する方法６００を示している。図１２に示したシステムを参照して方法６００について説明するが、一例であり、限定的なものではない。

ステップ６０１では、実験について一組の処理が決定される。最初に、実験エンジン３０によって、処理を決定することが可能である。例えば、実験エンジン３０は、実験定義と、コンテンツ要素の定められたバリエーションと、先の実験の観察結果とに基づいて処理を生成する。処理はコンテンツ記憶部２４に記憶される。記憶された処理から一組の処理が選択される。次に、信頼度に基づいて処理の組が決定される。

ステップ６０２では、一組の処理が１つ以上の制御グループに供給され、ステップ６０３では、供給済処理の観察データが捕捉される。このことは、上記方法５００のステップ５０１と５０２と同様である。例えば、ネットワークを介して、処理が１つ以上の制御グループに供給される。供給済処理の観察データが捕捉されて記憶される。この観察データはユーザと処理との相互作用を含む。当該ユーザは制御グループに属する。観察モジュール３６を用いて、観察データを捕捉して記憶することが可能である。さらに、観察データをコンテンツ記憶部２４に記憶することが可能である。

ステップ６０４では、観察データを用いて予測が決定される。予測は、同様の特性のユーザの過去の挙動に基づいて、ユーザがいくつかの処理にどのように反応するであろうかということを推定することである。モデルエンジン３２と予測エンジン３４とを用いて、予測を生成することが可能である。例えば、モデルエンジン３２は観察データを分析して予測モデルを生成し、予測エンジン３４は予測モデルを用いて、処理を選択するための予測規則を生成する。図４に示した方法４００のステップ４０４と４０６は、予測モデルおよび予測規則を生成することをより詳細に示している。

ステップ６０５では、通信管理システム１２は、観察結果が十分であるかどうかを決定する。このことは、図８に示したステップ１２０と同様である。例えば、通信管理システム１２は、制御グループのユーザが、供給されたコンテンツ処理に所望のように反応して所望の結果または目標が達成されたかどうかを決定する。この決定は予測モデルに基づいて行われる。観察結果が十分でない場合、ステップ６０６から開始する以下のステップに記載するように、新たな処理が選択される。観察結果が十分である場合、ステップ６１０において実験が終了する。次に、最適な処理（すなわち、利用可能なコンテンツの最良の選択）を新たな訪問者に戻すことが可能であり、最適な処理規則を発行することが可能である。最適な処理を選択し、それらの処理を新たな訪問者に供給するために、最適な処理規則を用いることができる。

ステップ６０６では、観察データを用いて、組内の処理の信頼度が決定され、その信頼度が、方法５００のステップ５０３と５０４に記載したように記憶される。

ステップ６０７では、信頼度に基づいて、新たな組の処理が決定される。信頼度と予測モデルと予測規則とを用いて、新たな組の処理を選択することが可能である。図８のステップ１１６と同様に、アロケータモジュール２２は、予測規則を適用して、例えばコンテンツ記憶部２４から、新たな組の処理を選択する。

一実施形態によれば、一群の処理候補から、新たな組の処理が選択される。したがって、新たな組の処理を選択する前に、一群の処理候補が決定される。処理は、その信頼度に基づくおよび他の基準を用いた処理候補であるように選択される。上記のように、処理の信頼度が決定される。信頼度は、処理とともに記憶され得るか、あるいは要素の対応する組み合わせについて記憶され、各処理における要素の組み合わせに従って処理に適合される。

一実施例では、閾値未満の信頼度を有する処理は排除され、処理候補として選択されない。閾値は、実験の目標を達成することができないことが明らかである処理を識別するために用いられる比較的低い閾値であり得る。閾値よりも高い信頼度を有する処理は処理候補として選択される。これらの処理候補は、ステップ６０７で識別された新たな組の処理に用いられる。

ステップ６０８では、処理候補毎に重みが決定される。例えば、予測エンジン３４によって、処理候補毎に重み付けが計算される。重み付けは、より高い信頼度に、より大きな重みが与えられるようなものであり得る。

ステップ６０９では、重みに基づいて、供給のための処理候補の割合が決定される。例えば、実験の目標を達成する能力が最も高いと推定される処理の選択を最適化して、それらの処理を制御グループに供給するために、より高い信頼度を有する処理候補が、より低い信頼度を有する処理候補よりも高い割合で、制御グループに供給される。

一実施例では、要素の組み合わせの信頼度が決定され、要素の組み合わせが重み付けされる。より大きく重み付けされた組み合わせに対応する要素の組み合わせを有する処理は、コンテンツ記憶部２４から選択され、より小さく重み付けされた要素の組み合わせを有する処理よりも高い割合で供給される。

信頼度は、誤って決定されることがある。例えば、低い信頼度が処理に不正確に与えられる。処理が時間の経過と共に制御グループに再供給されたとき、より高い信頼度が処理に自動的に与えられるが、その理由は、当該処理が制御グループのユーザによって選択され続けられるであろうがためである。したがって、重み付け手順は自動信頼度補正を提供にする。

実験の目標を達成する処理が識別されるまで、方法６００のステップが繰り返される。方法６００は、新たな組の処理の最適な選択プロセスのステップによって目標を達成する処理を識別するための時間量を低減する必要がある。

コンピュータ読み取り可能な媒体を含むコンピュータシステムのダイヤグラム
図１５は、本明細書に記載した実施形態と共に使用し得るコンピュータシステム７００を示している。コンピュータシステム７００は、ユーザ装置であり得るかまたはサービスプロバイダのサーバであり得る構成要素を含む一般的なプラットフォームを示している。コンピュータシステム７００は、本明細書に記載した方法、機能および他のステップの１つ以上を実行するためのプラットフォームとして使用することが可能である。

コンピュータシステム７００は、本明細書に記載した方法、機能および他のステップのいくつかまたは全てを実行するソフトウェア命令を実現または実行し得るプロセッサ７０２を含む。ソフトウェアは、メインメモリ７０６および／または二次データ記憶装置７０８等のコンピュータ読み取り可能な記憶媒体に記憶される。プロセッサ７０２からのコマンドおよびデータは通信バス７０４を介して通信される。さらに、コンピュータシステム７００は、実行時間中にプロセッサ７０２用のソフトウェアおよびデータが存在し得るランダムアクセスメモリ（ＲＡＭ）等のメインメモリ７０６と、不揮発性でありかつソフトウェアおよびデータを記憶し得る二次データ記憶装置７０８とを含む。メモリおよびデータ記憶装置は、コンピュータ読み取り可能な媒体の例である。

コンピュータシステム７００は、キーボード、マウス、ディスプレイ等のような１つ以上のＩ／Ｏ装置７１０を含み得る。コンピュータシステム７００は、ネットワークに接続するためのネットワークインタフェース７１２を含むことが可能である。他の公知の電子構成要素をコンピュータシステム７００に追加または置換し得ることが当業者に明らかであろう。

実施例を参照して、実施形態について説明してきたが、当業者は、特許請求の範囲に記載される実施形態の範囲から逸脱することなく、説明してきた実施形態に種々の修正をなしうることができるであろう。

Claims (17)

1. データネットワークを介して実験を行うコンピュータシステムの動作方法であって、前記コンピュータシステムが１つ以上のプロセッサとメモリを備え、
   前記プロセッサにより、前記実験のために前記ネットワークを介して少なくとも１つの制御グループに供給すべき第１の組の処理を決定するステップであって、各処理がコンテンツ要素の組み合わせを含むステップと、
   前記プロセッサにより、前記ネットワークを介して、前記第１の組の処理を前記少なくとも１つの制御グループに供給するステップと、
   前記プロセッサにより、各制御グループに前記第１の組の前記処理の少なくとも１つが提供されたときに、各制御グループの挙動を追跡するステップと、
   前記プロセッサにより、前記追跡された挙動に基づいて処理毎に信頼度を決定するステップであって、各信頼度が、前記実験の１つ以上の目標を達成するために用いるべき前記対応する処理または前記対応する処理におけるコンテンツ要素の前記組み合わせの能力の推定であり、かつ、前記用いるべき処理毎の信頼度が、前記制御グループのサイズと、前記実験の１つ以上の目標を達成した制御グループのユーザの割合とを用いて決定されるステップと、
   前記プロセッサにより、前記少なくとも１つの制御グループに供給された前記第１の組の処理および他の任意の処理の信頼度を記憶するステップと、
   前記プロセッサにより、少なくとも前記信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するステップであって、
   前記新たな組の処理候補を識別することと、
   処理候補毎に信頼度を決定することと、
   前記対応する信頼度に基づいて各処理候補を重み付けすることと、
   前記重み付けに基づいて、前記新たな組の前記処理候補を選択することをさらに含むステップと、
   を含む方法。
2. 前記プロセッサにより、前記重み付けに基づいて、各制御グループに供給するための前記新たな組の前記処理候補の割合を決定するステップをさらに含む請求項１に記載の方法。
3. 前記プロセッサにより、より高い信頼度を有する結果としてより大きな重みを与えるように決定された処理候補を、より小さな重みを与えるように決定された処理候補よりも高い割合で各制御グループに供給する請求項２に記載の方法。
4. 前記プロセッサにより、信頼度閾値を用いて、前記新たな組に含めない処理を決定するステップをさらに含む請求項２に記載の方法。
5. 前記新たな組の処理の処理候補毎に信頼度を決定するステップが、さらに、
   前記プロセッサにより、先の組の処理の各処理候補の記憶された信頼度を検索するステップを含む請求項１に記載の方法。
6. 各処理が要素の組み合わせを含み、各要素が前記要素の複数の形態のうちの一形態を含む請求項１に記載の方法。
7. 前記少なくとも前記信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するステップは、さらに、
   前記プロセッサにより、どの処理が前記１つ以上の目標を達成するかの予測に基づいて、前記新たな組の処理を決定するステップを含む請求項１に記載の方法。
8. 前記プロセッサにより、前記少なくとも１つの制御グループを含む制御グループの観察された挙動から予測モデルを決定するステップと、
   前記プロセッサにより、前記予測モデルから前記予測を決定するステップと、
   をさらに含む請求項７に記載の方法。
9. 前記新たな組の処理が、前記少なくとも１つの制御グループに既に供給された他の処理よりも高い信頼度を有するように決定された前記第１の組において、少なくとも１つの処理の要素の同じ組み合わせを有する１つ以上の処理を含む請求項１に記載の方法。
10. 前記プロセッサにより、前記１つ以上の目標が達成されているかどうかを決定するステップと、
    前記プロセッサにより、前記１つ以上の目標が達成されていない場合、既に供給された処理の信頼度に基づいて、新たな組の処理の決定を繰り返すステップと、
    をさらに含む請求項１に記載の方法。
11. コンテンツを評価するための実験を行うシステムであって、該システムが、
    コンテンツを記憶するコンテンツシステムであって、前記コンテンツが少なくとも１つの制御グループに供給すべき処理を含み、各処理がコンテンツ要素の組み合わせを有しそして、
    各処理の信頼度を記憶し、各信頼度が、前記実験の１つ以上の目標を達成するために用いるべき前記対応する処理の能力の推定であるコンテンツシステムと、
    前記コンテンツシステムと通信する通信管理システムであって、前記実験を定義し、データネットワークを介して少なくとも１つの制御グループに前記処理を供給することで前記実験を行い、前記データネットワークを介して前記少なくとも１つの制御グループから、各処理のユーザの挙動に関する観察データを収集し、そして、前記記憶された信頼度を決定する、通信管理システムとを含み、ここで、用いるべき処理毎の前記記憶された信頼度が、前記制御グループのサイズと、前記実験の１つ以上の目標を達成した制御グループのユーザの割合とを用いて決定され、
    前記コンテンツシステムがさらに、前記少なくとも１つの制御グループに既に供給された処理の前記信頼度に基づいて、前記実験のために前記少なくとも１つの制御グループに供給するための新たな組の処理を選択し、新たな組の処理を選択するために前記コンテンツシステムが、
    前記新たな組の処理候補を識別し、
    処理候補毎に信頼度を決定し、
    前記対応する信頼度に基づいて各処理候補を重み付けし、
    前記重み付けに基づいて、前記新たな組の前記処理候補を選択するものである、
    システム。
12. 前記コンテンツシステムが、前記既に供給された処理の前記信頼度に基づいて処理候補を選択し、前記処理候補の前記信頼度から決定された前記処理候補の重み付けに基づいて、前記制御グループに供給するための前記処理候補の割合を決定する請求項１１に記載のシステム。
13. 前記割合が、供給すべき処理のより高い信頼度からより低い信頼度までの比率を識別する請求項１２に記載のシステム。
14. 前記通信管理システムが、前記１つ以上の目標を達成するために前記少なくとも１つの制御グループに供給すべきコンテンツを示す予測を決定するための予測エンジンを備え、前記予測が、前記新たな処理を選択するために用いられる請求項１１に記載のシステム。
15. １つ以上のプロセッサとメモリを備えるコンピュータシステムにより実行可能なコンピュータコードを記憶する１つ以上のコンピュータ読み取り可能な記憶媒体であって、前記コードが、
    前記プロセッサにより、実験用のネットワークを介して少なくとも１つの制御グループに供給すべき第１の組の処理を決定し、各処理がコンテンツ要素の組み合わせを含み、
    前記プロセッサにより、前記ネットワークを介して、前記第１の組の処理を前記少なくとも１つの制御グループに供給し、
    前記プロセッサにより、各制御グループに前記第１の組の前記処理の少なくとも１つが提供されたときに、各制御グループの挙動を追跡し、
    前記プロセッサにより、前記追跡された挙動に基づいて、処理毎に信頼度を決定し、各信頼度が、前記実験の１つ以上の目標を達成するために用いるべき前記対応する処理の能力の推定であり、かつ、前記用いるべき処理毎の信頼度が、前記制御グループのサイズと、前記実験の１つ以上の目標を達成した制御グループのユーザの割合とを用いて決定され、
    前記プロセッサにより、前記少なくとも１つの制御グループに供給された前記第１の組の処理および他の任意の処理の信頼度を記憶し、そして
    前記プロセッサにより、少なくとも前記信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するものであり、
    前記少なくとも前記決定された信頼度に基づいて、前記少なくとも１つの制御グループに供給するための新たな組の処理を決定するためのコードが、前記プロセッサにより、
    前記新たな組の処理候補を識別し、
    処理候補毎に信頼度を決定し、
    前記対応する信頼度に基づいて各処理候補を重み付けし、
    前記重み付けに基づいて、前記新たな組の前記処理候補を選択するものである、
    コンピュータ読み取り可能な記憶媒体。
16. 前記コードが、さらに、前記プロセッサにより、
    前記重み付けに基づいて、各制御グループに供給するための前記新たな組の前記処理候補の割合を決定するものである請求項１５に記載の１つ以上のコンピュータ読み取り可能な記憶媒体。
17. 前記プロセッサにより、より高い信頼度を有する結果としてより大きな重みを与えるように決定された処理を、より小さな重みを与えるように決定された処理よりも高い割合で各制御グループに供給する請求項１６に記載の１つ以上のコンピュータ読み取り可能な記憶媒体。

Images