JP5856273B2 - 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法 - Google Patents

並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法 Download PDF

Info

Publication number
JP5856273B2
JP5856273B2 JP2014222682A JP2014222682A JP5856273B2 JP 5856273 B2 JP5856273 B2 JP 5856273B2 JP 2014222682 A JP2014222682 A JP 2014222682A JP 2014222682 A JP2014222682 A JP 2014222682A JP 5856273 B2 JP5856273 B2 JP 5856273B2
Authority
JP
Japan
Prior art keywords
content
experimental
experiment
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014222682A
Other languages
English (en)
Other versions
JP2015053071A (ja
Inventor
イー．ブルックス ブライアン
イー．ブルックス ブライアン
ジェイ．スタンキビッチ ブライアン
ジェイ．スタンキビッチ ブライアン
ビー．アーサー ジョナサン
ビー．アーサー ジョナサン
ジー．マーケル クレイグ
ジー．マーケル クレイグ
エル．リンジー ブライアン
エル．リンジー ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of JP2015053071A publication Critical patent/JP2015053071A/ja
Application granted granted Critical
Publication of JP5856273B2 publication Critical patent/JP5856273B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0244—Optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)

Description

（関連出願の相互参照）
本出願は、参照により本明細書に組み込まれる、２００８年７月２日出願の、同一所有者の米国特許出願第１２／１６６，９６９号、同第１２／１６７，００２号、及び同第１２／１６６，９８４号に関連する。本出願はまた、参照により本明細書に組み込まれる、２００６年１２月２９日出願の、米国特許出願第１２／１５９，１０７号及び同第１２／１５９，１０６号にも関連する。
（発明の分野）
本発明は、通信コンテンツの有効性を判定することと、ビジネス目的を強化するためにコンテンツ配信を最適化することと、より詳細には、これらの操作を並行して実行することと、に関する。
小売り環境における視覚情報は、多くの場合、広告コンテンツの形態を取る。そのようなコンテンツは、本質的に説得力があり、典型的には、売り上げを増加させること、ブランド志向を強化すること、又は消費者の忠誠心を生むことなど、建設的なビジネスインパクトを生じさせる目的で、視聴者の態度、認識、及び行動に影響を与えるように設計される。
２００２年において、例えば、一般に購買時点（ＰＯＰ）と呼ばれる小売り環境で使用された広告コンテンツの総支出は、米国では１７０億ドルと見積もられ、世界的には１年当たり４３０億ドルを上回った。このような支出水準により、マーケティング投資に対して更に重大な説明責任を求めるブランドオーナーの経営者の間に、更に多くの精細な調査結果が集められている。
最高マーケティング責任者の平均在任期間が、産業界の情報源によると、推定で２２．９ヶ月に短縮しているため、測定可能な成果に対する必要性もまた、同様にますます重要となっている。したがって、マーケティング指導者らは、限られた貴重な時間で、自身のマーケティング努力による結果を、測定可能に証明することになる。マーケティングリサーチは、リサーチ業界の一部をなすものであり、従来より、相関的研究又は整合対照研究を用いて目的に対する広告コンテンツの成果を評価するものであった。しかしながら、これらの「最善慣行」マーケティングリサーチの方法論は、マーケティング分析の専門家によって大いに批評されてきたように（例えば、Don E. Schultz の「Market Research Deserves Blame for Marketing’s Decline」（Marketing News、２００５年２月１５日））、マーケティングメッセージと業績との因果関係を確実に表すものではない。それでもなお、マーケティングリサーチの支出は現在、これらの種類の研究を含めて、米国だけでも毎年８０億ドルと見積もられている。
本発明は、ビジネス目的を強化するために、通信コンテンツの有効性を査定し、コンテンツ配信を最適化するためのシステム、物品、並びにコンピュータ実施される方法を目的とする。
本発明の実施形態は、コンピュータ実施される方法であって、実験コンテンツを使用して実験を遂行し、通信コンテンツの有効性を判定することと、実験を遂行する一方で、有効性評価尺度を強化するために、ＭＬＲコンテンツを使用して機械学習ルーチン（ＭＬＲ）を実行することと、を含む、方法を目的とする。
別の実施形態は、それぞれが互いに無関係な複数のスケジュールであって、コンテンツを提示し、かつコンテンツの有効性を示すデータを収集するための複数の時間枠をそれぞれが含む、複数のスケジュールを生成することを含む、コンピュータ実施される方法を目的とする。本方法はまた、複数の地理的に分散したディスプレイ及び複数のスケジュールを含む、デジタル看板ネットワークを使用することを含み、これら複数のスケジュールのうちの少なくとも２つを使用して、通信コンテンツの有効性についての少なくとも２つの因果関係実験を並行して遂行し、通信コンテンツの実験コンテンツが交絡しないことを確実にするか、複数のスケジュールのうちの少なくとも２つを使用して、ＭＬＲコンテンツを使用して少なくとも２つの機械学習ルーチン（ＭＬＲ）を並行して実行し、既定のビジネス目標を強化するか、又は複数のスケジュールのうちの少なくとも２つを使用して、少なくとも１つの因果関係実験を遂行する一方で、少なくとも１つの機械学習ルーチンを実行する。
別の実施形態は、コンテンツが提示されるロケーションでの視聴者に関する、視聴者訪問持続時間（ＶＶＤ）を受け取ることと、ＶＶＤ及び有効性評価尺度に部分的に基づいて、機械学習ルーチン（ＭＬＲ）を実施するための複数の時間枠を含むスケジュールを生成することと、を含む、コンピュータ実施される方法を目的とする。この場合、ＭＬＲコンテンツの有効性を判定するスケジュールに従い、複数の地理的に分散したディスプレイを含むデジタル看板ネットワークを使用して、ＭＬＲが実行される。
別の実施形態は、実験コンテンツを使用することが、ＭＬＲコンテンツを使用することよりも、その時間枠に関してより大きな価値を有するか否か、を任意の所定の時間枠に関して判定するための評価を実行することを含む、コンピュータ実施される方法を目的とする。コンテンツは、この場合、評価の結果に基づいた時間枠に割り当てられる。
別の実施形態は、複数のタイムスロットサンプルを含むスケジュールに従って集積されたデータを受け取ることと、有効性評価尺度を強化するために、タイムスロットサンプル内から収集されたコンテンツを使用して、機械学習ルーチン（ＭＬＲ）を実行することと、を含む、コンピュータ実施される方法を目的とする。
上記の本発明の概要は、本発明のそれぞれの実施形態又は全ての実現形態を説明することを意図したものではない。本発明の利点及び効果、並びに本発明に対する更なる理解は、以下に記載する発明を実施するための形態及び特許請求の範囲を添付図面と併せて参照することによって明らかになり、理解するに至るであろう。
本発明の実施形態による、コンテンツの有効性についての因果関係実験を並行して遂行し、有効性評価尺度を強化するためにコンテンツ配信パターンを自動調整するためのプロセスを示す流れ図。 本発明の他の実施形態による、コンテンツの有効性についての因果関係実験を並行して遂行し、有効性評価尺度を強化するためにコンテンツ配信パターンを自動調整するためのプロセスを示す流れ図。 本発明の実施形態による、因果関係実験の実施と有効性評価尺度の最適化との時間的関係の、いくつかの非限定的な実施例。 本発明の実施形態による、並行して、コンテンツの有効性についての因果関係実験を遂行し、有効性評価尺度を強化するためにコンテンツ配信パターンを自動調整することを、双方のプロセスの価値及び緊急度を考慮する方式で行うためのプロセスを示す流れ図。 本発明の実施形態による、ユーザーに対する潜在価値の相関を明らかにする、コンテンツ配信及び投資回収率の最適化の方法論を示す流れ図。 本発明の実施形態による、投資回収率を最大化する、デジタル看板ネットワーク上にコンテンツを提示するために最適化されたスケジュールを生成するために使用される、ユーザーからの入力データを受け取るための、デジタル看板ネットワークのユーザーインターフェースを介して実施されるプロセス。 本発明の他の実施形態による、投資回収率を最大化する、デジタル看板ネットワーク上にコンテンツを提示するために最適化されたスケジュールを生成するために使用される、ユーザーからの入力データを受け取るための、デジタル看板ネットワークのユーザーインターフェースを介して実施されるプロセスを示す流れ図。 本発明の実施形態による、最適化アルゴリズムへのデータ入力に関するプロセス、及び最適化ルーチンがそれらのデータを使用して最適化スケジュールを生成する方法を示す流れ図。 本発明の実施形態による、デジタル看板ネットワークを介して、因果関係実験及び機械学習ルーチンを並行して実施するためのプロセスを示す流れ図。 本発明の実施形態による、例示的な展開シナリオに関する、既定のビジネス目標を強化するために、異なるディスプレイのロケーションで異なるコンテンツの有効性を試験するための、再生リストのスケジュール。 図１０に示したシナリオの、異なる表示現場及び時間枠に関するコンテンツの制約を示す図。 本発明の実施形態による、図１０及び図１１の例示的な展開シナリオに関する、機械学習ルーチンを実施する一方で、因果関係実験を遂行するためのスケジュール。このスケジュールは、コンテンツ配信を最適化して複数のビジネス目標を最大化するための「空いた」時間枠を示している。 図１０〜図１２に示したシナリオに関する、コンテンツ配信最適化ルーチンによって収集された履歴データ。 図１０〜図１２のスケジュールに示した各時間枠に関する、期待投資回収率。 本発明の実施形態による、図１０〜図１２の例示的な展開シナリオに関する、機械学習ルーチンを実施する一方で、因果関係実験を遂行するためのスケジュール。このスケジュールは、機械学習ルーチンのコンテンツが割り当てられる「空いた」時間枠を示している。 図１５の空いた時間枠の収集期間の間に収集されたデータ。 本発明の実施形態による、データストリームから分解され、分析され、ユーザーに提示される、図１０〜図１６に示した実験に関するデータ。 本発明の最適化ルーチンが、コンテンツ、時間帯、ロケーションに対する最適化によって、投資回収率の顕著な改善を生じさせ得ることを実証する、別の例示的な展開シナリオのデータ。 本発明の実施形態による、別の例示的な展開シナリオに関する、複数のビジネス目標を有する１日のスケジュール。 図１９の展開シナリオに関する、異なるコンテンツの有効性をユーザーが試験する際に使用する、第２のスケジュールの実施例。 本発明の実施形態による、実験の費用評価を遂行するための代表的なプロセス。 本発明の実施形態による、実験の費用評価を遂行するための代表的なプロセス。 本発明の実施形態による、実験の費用評価を遂行するための代表的なプロセス。 本発明の実施形態による、コンテンツ提示の頻度率を最適化するための代表的なプロセス。 図２４の実施形態による、同一のタイムスロットサンプル期間内に異なるコンテンツを混成させた結果。 図２４の実施形態による、同一のタイムスロットサンプル期間内に異なるコンテンツを混成させた結果。 本発明の実施形態による、自動仮説生成方法論を使用し、変数の相関を識別して明らかにすることを目的とする流れ図。 本発明の実施形態による、自動仮説生成方法論を使用し、変数の相関を識別して明らかにすることを目的とする流れ図。 本発明の実施形態による、自動仮説生成方法論を使用し、変数の相関を識別して明らかにすることを目的とする流れ図。 本発明の実施形態による、デジタル看板ネットワークの全てのディスプレイの評価を遂行し、因果関係実験システム若しくは機械学習システムのいずれかの制御下となる時間を、ディスプレイの画面へ割り当てることに関する方法論の、代表的な実施形態。 本発明の実施形態による、図２９に記載のプロセスが、ディスプレイ毎に各時間枠に対してどのように実施され得るかについての、システムの全体像。 本発明の実施形態による、因果関係実験システム又は機械学習システムのいずれかへの、表示時間枠（例えば、ＴＳＳ）の割り当てを継続的に評価するためのプロセスを示す流れ図。 本発明の実施形態による、因果関係実験システム又は機械学習システムのいずれかへの、表示時間枠（例えば、ＴＳＳ）の割り当てを継続的に評価するためのプロセスを示す流れ図。 本発明の実施形態による、因果関係実験システム又は機械学習システムのいずれかへの、表示時間枠（例えば、ＴＳＳ）の割り当てを継続的に評価するためのプロセスを示す流れ図。 本発明の実施形態による、通信コンテンツの配信及びそのようなコンテンツの有効性の査定のために、コンピュータ支援によって実施されるプロセスを示す流れ図。 本発明の実施形態による、通信コンテンツの配信及びそのようなコンテンツの有効性の査定のために、コンピュータ支援によって実施されるプロセスを示す流れ図。 本発明の実施形態による、因果関係実験の制約に整合する通信コンテンツをアルゴリズム的にスケジュールし提示することに関連する、ネットワーク設定並びにデータ集積を伴うプロセス。 本発明の実施形態による、通信コンテンツの配信及びそのようなコンテンツの有効性の査定に関連する、ロケーションの持ち越し効果を制御するためのプロセス。 本発明の他の実施形態による、通信コンテンツの配信及びそのコンテンツの有効性の査定に関連する、ロケーションの持ち越し効果を制御するためのプロセス。 本発明の実施形態による、因果関係実験の制約に整合する通信コンテンツをアルゴリズム的にスケジュールし提示するためのプロセス。 本発明の実施形態による、タイムスロットサンプルの生成を伴う、様々なプロセス。 本発明の実施形態による、タイムスロットサンプルへのコンテンツの割り当てを伴う、様々なプロセス。 本発明の実施形態による、完全無作為化プロセスを使用し、スケジュールをタイムスロットサンプルへと分解するために使用し得る、アルゴリズムの実施形態。 本発明の実施形態による、スケジュールを順次に生成されるタイムスロットサンプルへと分解するために使用し得る、アルゴリズムの実施形態。 本発明の実施形態による、実験計画の再生リストを作成するために用い得る、アルゴリズムのプロセス。 本発明の実施形態による、コンテンツの相対的有効性を試験するために、タイムスロットサンプルにコンテンツを割り当てる、アルゴリズムのプロセス。 実験コンテンツの各小片が同じ数のタイムスロットサンプルに割り当てられるように、本発明の実施形態による、制約付き無作為化プロセスを使用してタイムスロットサンプルにコンテンツを割り当てる、アルゴリズムのプロセス。 サンプルサイズ要件を確実に満たすための、本発明の実施形態による、サンプルサイズ要件を入力として取得し、制約付き無作為化プロセスを使用してタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセス。 本発明の実施形態による、完全無作為化プロセスを使用して、ただし最適化要因の制約を加えて、タイムスロットサンプルにコンテンツを割り当てる、アルゴリズムのプロセス。 本発明の実施形態による、完全無作為化プロセスを使用して、ただしブロック化要因の制約を加えて、タイムスロットサンプルにコンテンツを割り当てる、アルゴリズムのプロセス。 本発明の実施形態による、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセス。ここで、個々のコンテンツ小片は、タイムスロットサンプルよりも短いものとなる。 本発明の実施形態による、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセス。このアルゴリズムは、関心持続時間の間にロケーションの交絡がないようにする。 本発明の実施形態による、因果関係実験及び機械学習ルーチンを計画し展開する能力を組み込んだ、デジタル看板システムのブロック図。 本発明の実施形態による、因果関係実験及び機械学習ルーチンを、計画し、遂行し、及びそれらに関するデータを分析するように構成されたシステム。 本発明の実施形態による、デジタル看板システムの様々な構成要素を含む、デジタル看板ネットワークのダイアグラム。その構成要素としては、実験システム及び機械学習システムと通信可能に結合する、ＤＳＮシステムモジュールが挙げられ、これらの実施形態は、図３０に示す決定ツールを含む実施形態を包含する。
本発明は様々な修正及び代替形態が可能であるが、その具体像を例として図面に示すと共に詳細に説明する。ただし、本発明は記載される特定の実施形態に限定されるものではないことを理解されたい。逆に、添付の「特許請求の範囲」に記載した発明の範囲を逸脱することなく、あらゆる変更、均等物、及び代替物が含まれることを意図している。
例示する実施形態の以下の説明において、添付の図面を参照するが、その図面は本願の一部をなすものであり、また本発明を実施し得る様々な実施形態を実例として示すものである。本発明の範囲から逸脱することなく、実施形態を利用することができ、また、構造的変更を行なってもよいことを理解されたい。
本発明の実施形態は、概して、通信コンテンツの有効性を査定し、ビジネス目的を強化するためにコンテンツ配信を最適化するための、コンピュータ実施されるシステム及び方法を目的とする。特定の実施形態は、並行して、好ましくは因果関係実験を使用して通信コンテンツ有効性査定を実行し、因果関係実験の妥当性を維持する１つ以上の有効性評価尺度（購買時点売り上げ、アップグレード、消費者の忠誠心）を最大化するコンテンツ配信パターンを最適化することを目的とする。一般的な用語では、因果関係実験は、適切な均衡化、相殺化、ブロック化、無作為化、及び必要なサンプルサイズ要件を満たすことを使用して、交絡のない結果を保証する、制御された実験である。有効性評価尺度とは、消費者行動の測定結果を指す。代表的な有効性評価尺度としては、売り上げ、顧客忠誠心、アップグレード、ブランド認知、及び特定のビジネス目標の他の測定可能な要素が挙げられる。
ビジネス目標とは、コンテンツの小片の体験とそのコンテンツへの反応との関係を指定する、視聴者の行動の一般的なカテゴリを指す。ビジネス目標の代表的な例としては、「バーの売り上げ」、「部屋のアップグレード」、及び「パッケージ食品の売り上げ」が挙げられる。他のビジネス目標としては、ブランド及び製品についての態度並びに信用への影響、及び／又は施設内の通行量パターンへの影響が挙げられる。ビジネス目標は、少なくとも１つの有効性評価尺度（例えば、部屋のアップグレードの数）と関連するが、特定のビジネス目標に関しては、有効性評価尺度の集積（例えば、得意客のアップグレード、新規顧客のアップグレード、無償アップグレード）が存在し得る。ビジネス目的は、複数のビジネス目標に関連する場合が多く、時間と共に変化し得る。例えば、今週は、ユーザーは、部屋のアップグレード及びバーの売り上げの双方を最大化する目的を有する場合がある。次の週は、目的は、バーの売り上げは制御するが、部屋のアップグレードは最大化することに変化する場合がある。
本発明の様々な実施形態は、コンテンツ配信をスケジュールし、そのスケジュールの各時間枠に関して、因果関係実験の遂行に各時間枠を利用するか、又は因果関係実験の妥当性を維持する方式で、１つ以上の有効性評価尺度を最大化するコンテンツ配信パターンの最適化に各時間枠を利用するかを決定することを目的とする。本開示の目的上、スケジュールは、静的プランであってもよく、又は継続的かつ動的に更新されるプランであってもよい。本発明の実施形態に整合する、スケジュール作成の方法論は、典型的には、スケジュールの各時間枠に対して、ディスプレイ毎にそのような決定を行なうことを伴う。本発明の特定の実施形態では、スケジュールの時間枠は、本明細書及び同一出願人の米国特許出願第１２／１６６，９８４号（代理人整理番号６３００２ＵＳ００３）で説明される、タイムスロットサンプルに相当する。それらの実施形態に整合する、スケジュール作成の方法論は、スケジュールを時間枠毎に動的に調整し、ユーザーの指定要件（例えば、実験とコンテンツ配信最適化との均衡化）を達成することを更に伴い得る。一部の実施形態によれば、各ディスプレイ上の特定時間枠を実験のために使用する費用と、各ディスプレイ上の同じ時間枠を、機械学習ルーチンの実行によって既定のビジネス目標を強化するために使用する失われた機会との比較から判断して、所定の時間枠に関して、ディスプレイを因果関係実験システムの「制御下」に置くべきか、又は機械学習システムの制御下に置くべきかを常に分析する、システム並びに方法を実施することができる。
本発明のシステム及び方法を実施して、様々な種類の機械学習ルーチンを実行し、１つ以上の有効性評価尺度を強化するか、又は最適化することができる。一般的な用語では、機械学習ルーチンとは、行為（例えば、コンテンツ）と、状態（例えば、看板のロケーション、時間など）と、報酬（例えば、売り上げ、アップグレードなど）との間の関係を学習するための、コンピュータ実施される方法論を指す。有用な機械学習ルーチンの代表的な例としては、強化学習ルーチン、ロジスティック回帰ルーチン、教師なし学習ルーチン、半教師ありルーチン、又は１つ以上のニューラルネットワークの使用が挙げられる。使用可能な他の機械学習ルーチンとしては、とりわけ、伝達アルゴリズム、遺伝子アルゴリズム、サポートベクタールーチン、及び学習のための学習ルーチンが挙げられる。
１つの具体的な機械学習方法論である強化学習は、本発明の様々な実施形態との関連において、特に有用であることが判明している。強化学習によって、システム、機械、及びソフトウェアエージェントは、具体的な問題空間に関する性能を、自動的に最大化することが可能になる。強化学習ルーチンを実施するために、多くの異なるアルゴリズムを開発することができる。強化学習は、状態、行為、及び報酬が存在する問題に対して適用することができる。状態とは、問題が存在し得る、アルゴリズムの制御下にない識別可能な特性を指す（例えば、時刻、ディスプレイのロケーション、天候など）。行為とは、アルゴリズムの制御下にある要素を指す（例えば、表示されるコンテンツ）。報酬とは、行為に対しての、それらの行為が実行されたときの状態から判断されアルゴリズムによって生み出される、測定可能な反応である（例えば、購買時点売り上げ）。
強化アルゴリズムは、行為と、状態と、報酬との間の関係を学習するように設計される。より一般的には、強化学習アルゴリズム（及び一般の機械学習）は、システムが特定の状態にあり、特定の行為が生じるときに生み出される、期待される成果（報酬）を学習する。現実世界の多くの条件下では、報酬と、状態と、行為との間の関係は、確率的であるために、特定の行為及び状態から判断される、結果としての報酬は、各試行毎に変動する。
所定の問題に関して、強化アルゴリズムは、種々の行為を種々の状態で試験し、結果としての報酬を記録し分析することによって、状態と、行為と、報酬との間の関係を学習するようにプログラムされる。この結果は、各状態に対して各行為を実行する場合に期待される報酬の予測である。システムは、所定の状態に対する行為に関して期待される報酬を、常に評価しているため、このモデルは、静的状態の問題（すなわち、行為／状態の対に関して期待される報酬が一定に維持されるシステム）に関して期待される報酬を最大化するように学習することができ、また動的状態の問題（すなわち、特定の行為／状態の対に関する報酬が時間と共に変化するもの）にも適用することができる。一部の条件下では、強化学習アルゴリズムは、グローバルな最適条件に収束する。
強化ルーチンを用いる本発明の実施形態によれば、状態は、時刻、店舗の種類、ビジネスの地理的ロケーション、又は任意の他の状態従属変数によって定義することができる。例えば、表示期間の時刻（例えば、９：００〜９：３０ＡＭ）、店舗の種類（例えば、都市部）、及び地理的ロケーション（例えば中西部）によって、具体的な状態を定義することができる。行為は、アルゴリズムが利用可能な特定のコンテンツ小片の配信に関連する。報酬は、有効性評価尺度（単独の特定の有効性評価尺度、又はその組み合わせ）であり、購買時点売り上げ、忠誠心データ、アップグレードなどを挙げることができる。
本発明の強化学習ルーチンは、典型的には、探索ルーチン及び活用ルーチンを伴う。一部の実施は、これらの２つのルーチンの一方のみを使用する場合があり、又はこれらの２つのルーチンから選択する場合があることに留意されたい。活用とは、一般に、機械学習アルゴリズムが、現在の状態から判断して最大の報酬を作り出すと予測するコンテンツを示すことに関連する。探索とは、一般に、最大の報酬を作り出すと予測されていないコンテンツを、現在の状態に関して期待されるそのコンテンツの報酬を学習し、更新し、及び／又は検証することを目的として示すことに関連する。強化ルーチンの目標は、状態と、行為と、報酬との間の関係の理解を提供することである。
本発明の実施形態は、因果関係実験に関する１つ以上の仮説に関連するデータ、及び１つ以上のビジネス目標に関連するデータの、ユーザーによる入力を容易にする、システム並びに方法を目的とする。これらのデータ及び任意の他の必要なデータを入力した後、本発明のプロセスを実行して、再生リストのスケジュールの各時間枠、及びディスプレイのネットワークの各ディスプレイに関し、システムがネットワークの効用を最大化するように働いて、ユーザーの入力データによって示されたユーザーの要件を達成することを確実にする。ユーザーは、これらのプロセスへの関与が所望されない限り、更なる関与は必要とされない。例えば、ユーザーは、ネットワークディスプレイの状態を高解像度で判定する（例えば、ネットワークディスプレイの状態を、スケジュールの単一時間枠に分解することができる）ために、システムに問い合わせを行なってもよく、また所望の場合には、実験を終結させるか、あるいは探索ルーチン及び／又は活用ルーチンに割り振られる時間枠の量を増大させるかによる方法などで、これらのプロセスに対する変更を実施してもよい。
本発明の一部の実施形態は、通信コンテンツの有効性査定を遂行することを除外して、コンテンツ配信の最適化を実施し、ビジネス目的を最大化するための、システム及び方法を目的とする。他の実施形態は、ビジネス目的を最大化するための、コンテンツ配信の最適化、及び、所望により、因果関係実験の起動を伴うが、これはそのような実験が望ましいことを示す要因がある場合である。
本発明の様々な実施形態は、デジタル看板ネットワークを介して、機械学習ルーチンを実行するための、システム及び方法を目的とする。一部の実施形態は、タイムスロットサンプルに割り当てられる機械学習ルーチン（ＭＬＲ）のコンテンツを含む再生リストのスケジュールを生成し、そのタイムスロットサンプルを使用して、機械学習ルーチンを実行することを伴う。特定の実施形態は、強化学習ルーチンの使用、及び強化学習コンテンツを含む再生リストのスケジュールの作成を伴い、この強化学習コンテンツは再生リストの時間部分（例えば、タイムスロットサンプル）に割り当てられる。これらの実施形態による再生リストのスケジュールは、好ましくは、デジタル看板ネットワークを介して実行され、購買時点売り上げ、アップグレード、及び顧客忠誠心などのような１つ以上の有効性評価尺度を最大化する、コンテンツ配信パターンを最適化する。
本発明のこれらの実施形態及び他の実施形態は、デジタル看板ネットワークなどの、コンピュータ制御可能な、複数ロケーションでコンテンツを提示するインフラストラクチャーを介して実施することができる。本発明の実施形態は、視覚メディアに限定されるものではなく、聴覚、触覚、又は他の感覚メディアを単独で、あるいは視覚メディアと組み合わせて伴う場合がある。
ここで図１を参照すると、本発明の実施形態による、並行して、コンテンツの有効性についての因果関係実験を遂行し、有効性評価尺度を強化するためにコンテンツ配信パターンを自動調整するためのプロセスを示す流れ図が示される。図１による実施形態は、通信コンテンツの実験コンテンツが交絡しないことを確実にする通信コンテンツの有効性についての因果関係実験を遂行すること（１０）を伴う。図１による実施形態は、この実験を遂行する一方で、既定の報酬のセット（すなわち、有効性評価尺度）を最大化するためのコンテンツを配信する機械学習ルーチンを実行すること（１２）を更に伴う。
図２は、本発明の他の実施形態による、並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を強化するためにコンテンツ配信パターンを自動調整するためのプロセスを示す流れ図を示す。図２による実施形態は、時間枠を含むスケジュールを提供すること（２０）、及び実験に対して割り振られた時間枠を使用して通信コンテンツの有効性についての因果関係実験を遂行すること、を伴う。図２によるプロセスは、既定の有効性評価尺度を強化又は最適化するために、機械学習ルーチンコンテンツを使用したＭＬＲを、実験に対して割り振られないスケジュールの時間枠を使用して、並行して実行することを更に伴う。ＭＬＲコンテンツとは、ＭＬＲアルゴリズムによる考察に使用可能なコンテンツの集成を指す。それは、ＭＬＲのために特異的に設計されるコンテンツ、実験コンテンツ、又は任意の他のコンテンツを含み得る。
図３は、本発明の実施形態による、因果関係実験の遂行とビジネスコンテンツの最適化との時間的関係の、いくつかの非限定的な実施例を示す。図３による実施形態は、通信コンテンツを割り当てることができる時間枠を含む、スケジュールを提供すること（３０）を伴う。図３によるプロセスは、実験コンテンツの有効性についての因果関係実験を遂行する一方で、１つ以上の既定の有効性評価尺度を強化／最適化するために、ＭＬＲコンテンツを使用して機械学習ルーチンを実施すること（３２）を更に伴う。因果関係実験の実施とコンテンツ配信の最適化との時間的重複は、いくつかの形態を取り得る。
例えば、また図３にも示すように、１つ以上の実験を遂行するために使用されない、スケジュールの時間枠の少なくとも一部を、１つ以上の機械学習ルーチンを実行するために使用すること（３４）が可能である。別の手法によれば、実験は、スケジュールの第１の時間枠のセットを使用して遂行することができ、一方で、第１の時間枠のセットが散在する、スケジュールの第２の時間枠のセットを、機械学習ルーチンを実行するために使用すること（３６）が可能である。１つ又は多数の実験及び１つ又は多数の機械学習ルーチンを並行して遂行するために、２つ以上の時間枠のセットを割り振ることができることを理解されたい。更なる手法によれば、関連性のない実験コンテンツ及びＭＬＲコンテンツに関しては、実験及び機械学習ルーチンのそれぞれの少なくとも一部分は、同じ時間枠を使用して実施することができる。
図３に示す手法、及び他の代替的な手法を、個別に、又は様々な組み合わせで、実施することができる。また、因果関係実験の整合性を確保しつつ、有効性評価尺度を最大化するための機械学習ルーチンを並行して使用する方式で、図３（及び他の図）に示す手法を実施するために、複数のスケジュールを提供して使用することができる。
当該技術分野において既知の従来の手法は、これまで、図１及び図２に示すように、交絡のない因果関係実験を遂行する一方で、並行して機械学習ルーチンを実行することは不可能であった。デジタル看板ネットワーク（ＤＳＮ）との関連で因果関係実験を遂行することは、例えば、慎重に計画され、制御され、かつ遂行される、特定の従属変数に対するデジタル配給メッセージの影響を測定する性能評価（実験）を実施することを一般に伴う。これらの結果は、ユーザーにとっての関心対象である具体的な従属変数（例えば、アップグレード、製品の売り上げなどのような、評価尺度）に対する、関心対象である特定の独立変数（例えば、メッセージの種類、メッセージの形態）についての洞察を生み出す。これらの洞察は、交絡のない結果をユーザーに提供するように、ユーザーのネットワークに対してコンテンツを慎重にスケジュールすることによって生み出される。従来の手法は、因果関係実験を促進する一方で、予め指定された有効性評価尺度を自動的に最大化するための最適化ルーチンの実行を、同時に促進することは不可能であった。
一部の実施形態では、本発明の方法は、本明細書に記載される因果関係実験などの実験を使用して実行される。他の実施形態では、本発明の方法は、準実験又は相関計画などの、他の種類の実験を使用して実行される。
以前は、因果関係実験は、実験内の交絡を最小限に抑えるか又は除去するためには、コンテンツを極めて正確に配信する必要があるために、ユーザーは、従来技術の手法を使用する際に、これらの代替物から選択しなければならなかった。対照的に、最適化ルーチンは、コンテンツ配信を継続的に調整して、機能（例えば、総収入）を最大化し、また、コンテンツ配信のスケジュール内に、交絡が挿入されることがないようにさせる、いずれのメカニズムも使用することなく、それを行なう。したがって、従来の実施では、エンドユーザーは、因果関係実験に関するコンテンツを配信するシステムを使用するか、又は特定の有効性評価尺度を自動的に最大化するシステムを使用するかの間で、選択する必要がある。
本発明の実施形態は、ディスプレイのネットワーク全体にわたって、有効性評価尺度を最大化する最適化ルーチンの使用を促進する一方で、因果関係実験の整合性を同時に提供する、システム及び方法論を目的とする。図４に示すような実施形態は、消費者評価尺度を最大化するためのコンテンツ配信パターンを自動化することに加えて、コンテンツの有効性についての因果関係実験を並行して実行すること（４０）を目的とする。本発明の実施形態は、投資回収率（ＲＯＩ）最大化の配信と、因果関係コンテンツの配信とを、これらの構成要素の双方の価値及び緊急度を考慮して均衡化する（４２）ことを更に伴い得る。これらの構成要素の均衡化は、ある時間枠の間に、特定の有効性評価尺度を最大化するＭＬＲの代わりに、因果関係実験コンテンツを配信する場合の、予測される機会費用を考慮する。このシステムは、実験の整合性を維持する（例えば、適切な相殺化、及び推測統計のために必要とされる統計的仮定）時間枠を選択し、実験に関連する機会費用を最小限に抑える。
機会費用の低減は、多くの形態でもたらすことができ、それらとしては、限定するものではないが、実験者が回答の関心対象としている問題の価値／優先度、特定のサンプルを使用する費用に基づいて、種々の条件における、同数ではないサンプルを使用する実験を計画すること、及び現在の結果（すなわち、種々の条件の平均及び分散）から判断して、信頼性の高い効果を見出すために期待される利益に対する費用を判定する、進行中の費用分析を提供すること、並びに電力及び効果量などの統計的特性に基づく停止規則を指定することが挙げられる。本発明の実施形態には、因果関係実験に関連する費用を最小限に抑え、かつＭＬＲルーチンからの期待される報酬を最大化するように、因果関係実験及びＭＬＲルーチンへのサンプルの割り振りを最適化することが含まれる。
ＭＬＲルーチンは、状態と、行為と、報酬との間の関係を学習していくため、最終的には、非常に豊富な履歴データベースが存在することになる。特定のデジタルディスプレイに対し、特定の時間枠に割り当てられる、最善の行為（すなわち、コンテンツ）を予測するために、このデータベースを使用することに加えて、この履歴データベースは、知ること及び／又は試験することにユーザーが関心を持ち得る、データ中の特定の関係に対して、ユーザーに警告を提供するために使用することができる。これらの関係は、実験計画を使用しては生成されないため、ほとんどの条件下で、それらは、独立変数と従属変数との間の単純な相関となる。これらの相関結果は、ユーザーに因果関係結果を提供せず、単に、独立変数と従属変数との間の関係を提供する。
このシステムは、状態とコンテンツとの間の関係を学習していくため、利用可能となる関係の非常に多くのセットが存在することになる。これらの関係の可能性を、素早くふるいにかける１つの方法は、ユーザーに、彼らが興味及び／又は価値を見出す関係について、問い合わせることである。価値のある関係についてユーザーに問い合わせることによって、システムは、価値のある関係に関して、履歴データを常に分析を進めることができる。ユーザーは、データ中の特定の関係について警告を受けて、従属変数に対する独立変数の因果効果を試験する因果関係実験を実行する選択肢を与えられることが可能であり、及び／又はユーザーは、価値があり、特定の基準（例えば、予測費用）を満たす実験を、システムが自動的に計画して実行するべきであることを指示することができる。
当業者であれば、本発明との関連での用語「最適化する」、「最適化」、「最大化する」、及び類似の最上級が、絶対的な用語ではないことを容易に理解するであろう。むしろ、そのような用語は、問題の現在の制約に基づいて、値を最小化するか又は最大化するかのいずれかのプロセスを説明する。例えば、コンテンツ配信パターンを最適化する場合、システムは、システムに使用可能な行為（すなわち、スケジュールに割り当てることが可能なコンテンツ）の性能を常に監視し、システムの現在の知識から判断して、特定の値を最大化するコンテンツを割り当てる。しかし、最適化又は最大化のルーチンは、高度に動的な問題空間で作動しており、特定の基礎となる関数が未知であるため、いずれの行為が目的関数を実際に最小化又は最大化するのかという点に関して、システムは常に不確定状態にある。これらの用語は、通常は、機械学習に関連する技術文献で使用される。したがって、本発明で請求する主題との関連では、最適化する又は最大化するなどの用語は、向上、改良、改善、増大、進歩などを示す用語と同義である。
図５は、デジタル看板ネットワークのデジタル看板などのデジタル配信メディアに対するコンテンツ配信パターンを、継続的に調整するためのデータ処理システムによって実施することができる、コンテンツ配信方法論を示す流れ図である。図５による実施形態は、ユーザーによってシステムに入力される、仮説についての因果関係データを生成するための実験（例えば、人々の映像をコンテンツ内に有することが売り上げに影響するか？）を遂行すること（５０）を伴う。図５による実施形態は、実験を遂行する（５０）一方で、複数の相補的カテゴリ及び製品並びに競合するカテゴリ及び製品にわたる総収入を最大化するために、最適化ルーチンを使用すること（５２）を更に伴う。
相補的製品の例は、シャンプー及びコンディショナーである。すなわち、顧客がシャンプーを購買する意欲がある場合には、その顧客はまた、コンディショナーを購入する可能性がより高い。競合製品の例は、店内調理済み食品に対する、予めパッケージ化された食品である。顧客が店内調理済み食品を購買する意欲がある場合には、その顧客は、予めパッケージ化された食品を購入する可能性がより低い。複数の有効性評価尺度（例えば、シャンプーの売り上げ、コンディショナーの売り上げ、調理済み食品の売り上げ、及びパッケージ化された食品の売り上げ）を使用し、これらの有効性評価尺度の相対的価値を指定することにより、ＭＬＲは、これらの競合する消費者行動及び相補的消費者行動を考慮に入れた目的関数を、最大化するように学習する。
複数の有効性評価尺度にわたる目的関数を増大させるか又は最大化するために最適化ルーチンを使用すること（５２）は、典型的には、種々のコンテンツメッセージに対してデジタル表示ネットワークの各ディスプレイが専用に割り当てられる時間の量を最適化すること（５４）、並びに特定の画面、ロケーション、及び時間に関して、有効性評価尺度（又は目的関数）を最大化すると予測されるコンテンツのバージョンを示すこと（５５）を伴う。目的関数とは、種々の消費者評価尺度のそれぞれに関する、相対的価値のセットを指す。この目的関数は、特定の状態（ディスプレイのロケーション、時刻など）に関して、いずれのコンテンツ小片が最も有効であるかを予測するために、ＭＬＲによって使用される。目的関数はまた、実験に関連する機会費用を判定して、実験計画を最適化し、実験の全体的費用を最小限に抑えるサンプルのセット（時間枠）を選択するために、因果関係実験配信システムによっても使用される。
図５による実施形態はまた、最適化ルーチンから収集された履歴データを分析すること（５６）、及びユーザーが価値を見出し得る相関を、ユーザーに警告すること（５８）も伴う。そのような相関の例は、人を伴うコンテンツを示すことは、午前中の売り上げの増大と相関性があるが、人を伴わないコンテンツを示すことは、晩の売り上げの増大と相関性があることである。
図６は、ユーザーからの入力データを受け取るための、デジタル看板ネットワークのユーザーインターフェースを介して実施されるプロセスを示し、この入力データは、次いでＤＳＮのシステムプロセッサに提供され得る。この入力データは、有効性評価尺度（又は目的関数）を最大化すると予測される、デジタル看板ネットワーク上にコンテンツを配信するためのスケジュールを生成する、アルゴリズムに提供される。図６に示す実施形態によれば、それぞれの有効性評価尺度の価値（例えば、収入対滞在客／買物客の経験）が、目的関数を提供するために、最適化アルゴリズムプロセッサに入力／提供される（６０）。１つ以上のコンテンツ配信制約（例えば、コンテンツＸは、ディスプレイＹ上に、時間Ｚには示さない）が、このプロセッサに入力／提供される（６２）。ビジネス目的の各カテゴリは、１つ以上の有効性評価尺度を有し得る。ビジネス目的の各カテゴリ内の、それぞれの有効性評価尺度の価値（例えば、種々の製品を販売することによって生まれる収益、種々の実験仮説の価値）が、プロセッサに入力／提供される（６４）。
コンテンツ配信及びデータ処理のモジュール若しくはプロセッサは、ネットワーク全体にわたってコンテンツを配信し（６５）、有効性評価尺度をデータストリームの形態（例えば、販売時点データ）に処理する（６７）ように構成される。コンテンツ配信及びデータ処理のモジュールは、コンテンツ（例えば、行為）と状態（例えば、表示特性）との間の関係を学習し、種々の有効性評価尺度についての相対的価値によって指定される目的関数を最大化するために、コンテンツ配信パターンを継続的に調整する（６９）ように構成される。
以下のシナリオは、本発明の実施形態による、多くの可能な実施の１つを表す。以下の代表的なプロセスは、有効性評価尺度に対するコンテンツの効果を測定することが可能な、本発明のシステムによって実施される。このシステムは、好ましくは、以降に説明する方式で制御された因果関係実験を行なうための、コンテンツの配信に関する必要条件を生成するように構成されることが好ましい。以下の実験の構成要素は、図７に示すように、ユーザーによってシステムに入力される。
（実施例＃１）
１．何が関心対象の従属測定値であるか、またそれらの特性は何か？これらの従属測定値を入力／提供する（７０）。
ａ．例えば、全体的な売り上げ、部屋のアップグレード、バーの売り上げなど。
２．関心対象となる環境要因は何か？これらの要因を入力／提供する（７２）。
ａ．例えば、ホテルのサイズ、ホテルのロケーションなど。
３．関心対象となるコンテンツ要因は何か？これらの要因を入力／提供する（７４）。
ａ．例えば、背景色について異なるコンテンツ。
ｂ．戦略的メッセージが異なるコンテンツ（例えば、放縦か、効率か）。
４．関心対象の従属測定値に関する訪問者訪問持続時間（ＶＶＤ）は何か？ＶＶＤを入力／提供する（７５）。
ａ．ＶＶＤは、観察者がデジタルコンテンツを経験することができる最長の（又は典型的な）時間枠、及び観察者がそのコンテンツに従って行動し得る時間を定義する。
ｂ．ＶＶＤは、特定の研究の条件を実行するための独立した時間枠を指定する、タイムスロットサンプル（ＴＳＳ）を定義するために使用される。
５．実験緊急度／価値：
ａ．いつ実験を完了する必要があるかを指定する（７７）。
ｂ．実験仮説の価値を指定する（７９）（例えば、ユーザーは、仮説が真であるか否か、を知るためにいくら支払うつもりか）。
これらの従属変数及び独立変数（すなわち、環境要因及びコンテンツ要因）は、特定の実験を計画するために、以降に説明する方式で、システムによって使用される。システムのアルゴリズムは、上記定義のデータを受け取り、一定の要因が正確に制御され、他の要因が無作為化されるように、コンテンツを種々のＴＳＳに割り当てる（例えば、コンテンツのバージョンが示されるものは、占有レベル全体にわたって無作為化される）。多くの実施形態に関しては、特定量の表示時間のみが実験のために必要とされるため、特定の時間枠（例えば、ＴＳＳ）は、「空いた」まま残される。明確性の目的のために、前文で使用した用語「空いた」とは、実験のため以外の目的（例えば、機械学習ルーチン）に使用される所定の時間枠（例えば、ＴＳＳ）の現在の利用可能性を指す。しかしながら、所定の時間枠に関して、特定の「ビジネス目標」は、「空いた」ものとすることができる。この状況では、例えば、アップグレードのような特定のビジネス目標を評価するために、時間枠（例えば、ＴＳＳ）が使用されているのであれば、バーの売り上げのような別のビジネス目標は、「空いた」ものである。
実験が定義されると、ユーザーの目的関数（すなわち、種々の消費者評価尺度に対して置かれる価値）を増大させるコンテンツ配信パターンを生成するための機械学習アルゴリズムを使用して、この「空いた」時間枠（すなわち、実験専用に割り当てられていないもの）を満たすために、以下の代表的プロセスが、好ましくは使用される。下記は、機械学習ルーチンへのデータ入力、及びルーチンがこのデータを使用してスケジュールを生成する方法に関する、図８に示す代表的方法の工程の説明である。その後、引き続き、これらの代表的プロセスを伴う、例示的な展開シナリオを提示する。
（実施例＃２）
１．それぞれの特性に関する有効性評価尺度をシステムに入力／提供する（８０）。
ａ．例えば、バーの売り上げ、部屋のアップグレード、レストランの売り上げなど。
２．それぞれの有効性評価尺度の価値を入力／提供する（８２）。
ａ．異なる有効性評価尺度は、異なる利益率を有し得る（例えば、バーの売り上げ対レストランの売り上げ）か、又は異なる評価尺度を有し得る（例えば、部屋のアップグレードの数対バーの売り上げ）。各ビジネス目標の価値を定義することにより、アルゴリズムは、これらの価値に基づいて、種々のコンテンツ小片に関する、単一の目的関数を計算することが可能になる。
３．いずれのコンテンツをネットワーク上に示すかを選択する（８３）。
ａ．ユーザーは、機械学習アルゴリズムのために使用したいコンテンツを、ユーザーのコンテンツデータベースから選択する。このコンテンツは、以前の実験からのコンテンツデータベースからであってもよく、及び／又は機械学習ルーチン（例えば、以下に述べるような、探索プロセス及び活用プロセスを伴う強化学習ルーチン）のために明示的に製作してもよい。
４．特定のコンテンツ小片に対する、任意のロケーション／時間の制約を指定する（８４）。
ａ．機械学習ルーチン（例えば、探索プロセス及び活用プロセスを伴う強化学習ルーチン）は、いずれのコンテンツ小片が最も有効であるかを学習するために、種々のロケーションで、種々の時間に、コンテンツを提示する。しかしながら、コンテンツは、一部のロケーション又は一部の時間枠に関して、不適切な場合がある。
５．各コンテンツ小片に関して、ＶＶＤを指定する（８５）。
ａ．コンテンツを経験すること（例えば、見ること）とそのコンテンツに従って行動することとの間の、測定可能な方法で、期待される（又は最長の）期間。
６．システムは、以下の制約付きで、また図９に示すように、デジタル看板コンテンツの各小片がデジタル看板ネットワーク内の各ディスプレイ上に示される時間及びロケーションのスケジュールを、スケジュール作成し（８６）、継続的に調整する（８８）。
ａ．研究を完了するために必要な時間枠又は部分を定める（９０）。
ｉ．実験コンテンツを、以下のように時間枠へ割り当てる。
１．要求された実験は、「緊急度」期日（上記の工程５ａで定義される）の終了までに完了する。
２．実験の費用は、その実験を実行することと、ＭＬＲを使用することとの比較に関連する機会費用に対して、最小限に抑える。
ｂ．実験専用に割り当てられない時間枠を定める（９１）。
ｉ．これらの期間は、実験コンテンツが存在しない表示期間である。
ｃ．この時間枠（ロケーション、時間、及び看板／ディスプレイ）に対して、その特定時間に、その看板上に提示し得るコンテンツ（工程３及び工程４で定義される）を定める（９２）。
ｉ．この時間に対して適切ではない関連コンテンツ（例えば、４〜１０ＡＭにハッピーアワーを広告すること）、又は特定の看板上に対して適切ではない関連コンテンツ（例えば、チェックインカウンターの背後にない看板上の、部屋のアップグレードのコンテンツ）、又は特定の場所に対して適切ではない関連コンテンツ（例えば、レストランを有さないホテルでレストランを広告すること）を考察してはいけない。
ｄ．各時間枠の間、システムが「探索」又は「活用」のいずれであるかを決定する（９３）。このことを決定するための数多くの方法としては、以下のものが挙げられるが、これらに限定されない：
ｉ．無作為：探索期間（例えば、１０％）に対する「活用」期間（例えば、９０％）の数を予め決定する。これらの確率を使用して、探索コンテンツを割り当てるか又は活用コンテンツを割り当てるかを、無作為に選択する。
ｉｉ．半インテリジェント：履歴分散に基づいて、探索するか又は活用するかの確率を修正する。測定値の分散が減少するに従い、活用を行なう可能性を増大させる。
ｉｉｉ．費用分析：活用することと比較した、探索することの機会費用を推定し、機会費用が高い場合は、活用をより頻繁に行なう。
ｅ．「活用」モードである場合（９４）：
ｉ．履歴データを使用し、看板及び時間枠の特性から判断して、重み付けされたビジネス目標を最大化するコンテンツを定める。
１．先行の知識が存在しない場合には、コンテンツを無作為にスケジュールに割り当てる。
２．回帰分析（又は、他の一般的な予測関数）を履歴データに対して使用し、成果（重み付けされたビジネス目標）を最大化する、コンテンツの最良の「混成」を予測する。
ａ．回帰分析は、ディスプレイ、ロケーション、及び時間の変数を有する履歴データを、各コンテンツ小片（及びコンテンツの組み合わせ）と共に使用して、コンテンツの最良な混成を予測する。
ｆ．「探索」モードである場合（９５）：
ｉ．提示する探索コンテンツを定める：
１．無作為：表示されると認定されたコンテンツから、１つのコンテンツ小片を無作為に選択する。
２．時間基準：コンテンツ小片を、前回それらが探索されたときに基づいて選択する。
３．半インテリジェント：現在のディスプレイの特性（時間、ロケーションなど）に関する、システムの履歴データ内の「知識格差」を確認し、その知識格差を補完するコンテンツを提示する。
７．コンテンツ配信及びデータ処理モジュールが、ネットワーク全体にわたってコンテンツを配信する（９６）。
８．データを収集して処理する（９７）：
ａ．研究に関するレポートを生成する。
ｂ．新たなデータを履歴データベース内へ統合する。
９．工程６〜８を、ユーザーが探索／活用プロセスを終結させるまで繰り返す（９８）。
ａ．工程１〜５で提供されるいずれかの情報が変化した場合には、このことにより、工程６でのコンテンツ配信パターンが修正され得る。
以下の展開シナリオは、本発明の実施形態による、上述のプロセスを実施することができる方法を示す。
（実施例＃３）
３ａ．実験コンテンツの配信
Ｍａｎｔｉｃｏｒｅは、デジタル看板ネットワークを有する５つのホテルを所有する、ホテルチェーンである。Ｍａｎｔｉｃｏｒｅは、その５つのホテルを、ロケーションの種類（都市部か、郊外か）、及び部屋数の観点からのホテルのサイズ（小、中、大）によって分類している。
Ｍａｎｔｉｃｏｒｅは、広告に人間のモデルを追加することにより、顧客が部屋のアップグレードを選択する可能性が増大するか否か（上記の実施例＃２の工程１）を理解したいと望んでいる。Ｍａｎｔｉｃｏｒｅは、自身の広告にモデルを使用すると、ロイヤリティ料金がかかるため、モデルを使用しないことに勝る、モデルを使用することの利益を判定することに関心がある。彼らは、自身の都市部のホテルと郊外のホテルとを比較すると、モデルを追加する効果が異なる場合がある（上記の実施例＃２の工程２）と考える理由を有する。
Ｍａｎｔｉｃｏｒｅは、１つの点以外は全ての点で同一の、２つのコンテンツ小片を設計した：一方のコンテンツ小片は、モデルを有する（部屋アップグレード−モデルあり）が、他方のコンテンツ小片は有さない（部屋アップグレード−モデルなし）（上記の実施例＃２の工程３）。Ｍａｎｔｉｃｏｒｅはまた、全顧客の９９．９％が、自身のホテルに入って１時間以内に、チェックインし、アップグレードの決定をする（ＶＶＤ＝１時間、ＴＳＳ＝２時間、上記の実施例＃２の工程４）ことも周知している。
因果関係実験を計画するための、以下に記載の手順を使用して、システムがスケジュールを生成し、実験コンテンツをそのスケジュールに割り当てる。図１０は、この研究のための、５つのＭａｎｔｉｃｏｒｅのホテル物件に対するコンテンツの配信を示す。更には、Ｍａｎｔｉｃｏｒｅは、翌日の終わりまでにその回答を知りたいと望んでいる（上記の実施例＃２の工程５）。この緊急度期日を延長することによって、ＭＬＲか、因果関係実験かへの、表示時間の割り振りをシステムが調節する方法を評価／実証できることに留意されたい。このデータを使用して、アルゴリズムは、図１０に示すように、５つのＭａｎｔｉｃｏｒｅの所有物件に対するコンテンツをスケジュールする。
図１０は、都市部と郊外との比較における、「部屋アップグレード−モデルなし」対「部屋アップグレード−モデルあり」の効果を試験するための、再生リストのスケジュールを示す。具体的には、図１０に示す再生リストのスケジュールは、Ｍａｎｔｉｃｏｒｅホテルによって計画された因果関係実験を実施するために生成され、都市部のホテルと郊外のホテルとの比較における、２つのコンテンツ小片（「部屋アップグレード−モデルなし」対「部屋アップグレード−モデルあり」）の性能を試験する。この計画において、従属測定値は部屋のアップグレードの数であり、ホテルのサイズは、関心対象となる変数ではない。したがって、アルゴリズムは、この変数に対して、コンテンツの配信を無作為化する。斑点状の四角形及び斜線の四角形は、実験専用に割り当てられた時間枠（例えば、タイムスロットサンプル期間）を示す。部屋のアップグレード（すなわち、従属測定値）に関する時間枠（例えば、ＴＳＳ）は、２時間であると推定される図１０に見られるように、この展開シナリオには、実験専用に割り当てられない数多くの「空いた」時間枠が存在する。これらの空いた時間枠は、ＴＳＳとすることができ、網目状の四角形で示される。この場合では、緊急度は、１日で研究を完了することである（上記の実施例＃２の工程５ａを参照）。
３ｂ．実証：空いたタイムスロットへの最適化コンテンツの割り当て
Ｍａｎｔｉｃｏｒｅはまた、自身のＲＯＩを増大させるために「空いた」期間（図１０の網目状の四角形で示される）を使用することにも関心がある。
１．Ｍａｎｔｉｃｏｒｅは、２つのビジネス目標、すなわち部屋のアップグレード及びバーの売り上げを最大化することに関心がある。
２．Ｍａｎｔｉｃｏｒｅは、各アップグレードは＄１００の価値であり、一方でバーでの利益率は４０％であると判定している。
３．Ｍａｎｔｉｃｏｒｅは、自身のデジタルコンテンツライブラリに、４つのコンテンツ小片を有する。
ｉ．部屋アップグレード−モデルなし
ｉｉ．部屋アップグレード−モデルあり
ｉｉｉ．バー−放縦
ｉｖ．バー−効率
４．Ｍａｎｔｉｃｏｒｅは、バーのコンテンツを午前中の早い期間（４：００〜８：００）に再生することを制限している。更には、その施設の１つ（都市部の小サイズのホテル）は、バーを有さず、そのため、バーのコンテンツをその施設で再生することを望まない。図１１は、これらの制限を示す。
図１１は、種々の現場及び種々の時間枠に対するコンテンツ制限を示す図である。斑点状の四角形は、コンテンツを再生することができない時間枠及びロケーションである。空白の四角形は、それらの特定時間において、それらのロケーションで、コンテンツが再生可能であることを示す。
５．このシナリオでは、先行の顧客研究によって、全顧客の９９％が、ホテルに入って、１時間以内に部屋をアップグレードすること（ＶＤＤ＝１時間、及びＴＳＳを使用する実施形態に関してはＴＳＳ＝２時間）が判明している。対照的に、ホテルに入ってからバーに行くまでの間の典型的な時間は、１２時間である（ＶＤＤ＝１２時間、及びＴＳＳを使用する実施形態に関してはＴＳＳ＝２４時間）。
６．この情報を取り込んで、アルゴリズムは、ここで、Ｍａｎｔｉｃｏｒｅに関する４つのコンテンツ小片をスケジュールする。これらの実験時間枠、及び制限期間は、探索／活用の最適化スケジュールの実施例である図１２（Ｆｉｇｕｒｅ ３）に示される。斑点状の領域は、実験専用に割り当てられる時間を示す。網目状の四角形は、コンテンツ制限を示す。第１の空いた時間枠（空白の四角形）は、４：００ＡＭ〜６：００ＡＭである。
ａ．実験時間枠（例えば、ＴＳＳ）が確立されていると想定する。
ｂ．図１２は、複数のビジネス目標のために最小の時間枠（例えば、ＴＳＳユニット）に分割された（部屋のアップグレードに関する２時間）空いた時間枠（空白の四角形）の図である。
ｃ．これらの時間枠に関しては、「部屋アップグレード−モデルなし」及び「部屋アップグレード−モデルあり」のみを考察する。
ｄ．探索／活用システムは、探索モード対活用モードの間から、活用モードを９０％の時間に使用し、探索モードを１０％の時間に使用するように、無作為に選択する。これらの割合は変動し得ることを理解されたい。乱数発生器を使用して、システムは、この第１の空いた時間が「活用」期間となることを決定する。
ｅ．システムは、履歴データを調べ、この施設に関して、いずれのコンテンツ小片が、この時間に最良となるかを判定する。都市部の小サイズのホテルに関しては、このホテルにはバーが存在しないため、バーのコンテンツは制限される。この活用期間の間の、バー（図１４参照）及びアップグレードに関する重み付けされたスコアを使用して、提示する最良のコンテンツ小片は、「部屋アップグレード−モデルなし」であると結論づけられる（図１４では、＄１８００対＄８００）。
図１３は、２つのアップグレードコンテンツ小片及び２つのバーコンテンツ小片に関する、所定のＴＳＳ（２時間）の間の、アップグレードの数に関する履歴データを示す。図１４は、各時間枠に関する、期待されるＲＯＩを示す。図１３に示す値は、アップグレードに関するＲＯＩの重み付けされた値（＄１００／アップグレード）及びバー売り上げに関するＲＯＩの重み付けされた値（４０％の利益率）である。これらのビジネス目標値は、上記の実施例＃３（３ｂ）の工程２で指定される。図１４の実際の値は、履歴データ（図１３）及びこれらのビジネス目標値からのものである。４：００の下の太い輪郭の領域は、現在考察している時間枠である。このホテルにはバーがないため、「バー−放縦」対「バー−効率」での成果に関するデータは、実際には同じである。
７．履歴データ及びビジネス目標の重み付けを使用して、探索／活用アルゴリズムは、空いた時間枠の全てにコンテンツを割り当て、ネットワークのディスプレイに、そのコンテンツを配信する。結果を図１５に示す。
図１５では、斜め破線パターンを有する四角形は、部屋のアップグレード及びバーのコンテンツのそれぞれに、専用に割り当てられている時間を示す。斑点状の四角形は、アルゴリズムが、より低い性能のコンテンツ小片の１つを無作為に選択して、その期間の間に提示する「探索」の時間枠を表す。
８．次に、データを顧客から収集する。この場合には、アップグレードの数及びバーの売り上げは、システムのデータベースにダウンロードされる。次に、データは分解されて、図１６に示すように、データの各小片が、適切な時間枠及びその時間枠に関連するコンテンツに割り当てられる。
図１６に見られるように、データは、そのコンテンツが提示された時間枠の間に収集される。パターン付きの四角形及び空白の四角形内の数字は、そのＴＳＳの間のアップグレードの数を示す。バーの売り上げに関連する、ＴＳＳの間のバーの業績は、右端に記載される。都市部小サイズのホテルはバーを有さないため、このホテルは、バーの売り上げを全く有さない。
ａ．実験に関するデータは、データストリームから分解され、分析され図１７に示すように、顧客に提示される。これは、実験に関連する時間枠（例えば、タイムスロットサンプル）を識別し、次いで、以降に説明するような方式で、それらの時間枠に関連するコンテンツによって分析することにより達成される。図１７は、この研究に関する実験結果を示す。「部屋アップグレード−モデルあり」のコンテンツが、「部屋アップグレード−モデルなし」のコンテンツよりも顕著に有効であることを認めることができる。コンテンツの種類と、ホテルが都市部の施設か又は郊外の施設のいずれであるかということとの間には、相互作用は存在しない。
ｂ．履歴データベース内に格納された履歴データが、この新たなデータでアップデートされる。履歴データは、種々のコンテンツ小片（及びコンテンツの組み合わせ）が、種々のコンテキスト変数（時間、ロケーションなど）の関数として、ビジネス目標の結果（例えば、アップグレードの数、バーの売り上げ）に対して与えた影響を特定する。
（実施例＃４）
以下の例示的展開シナリオは、本発明のＲＯＩ最大化手法を実行することの価値を例示する。図１８に示すデータは、本発明の最適化ルーチンが、コンテンツ、時間帯、及びロケーションに対して最適化することによって、ＲＯＩの顕著な改善を生成し得ることを実証している。この代表的な実施例では、４種類の店舗（都市部、郊外、準郊外、及び田舎）が存在する。システムは、３つのコンテンツ小片（Ａ、Ｂ、及びＣ）を使用して、午前、午後、及び晩の期間に関してＲＯＩを最大化している。
この場合では、全体として最良のコンテンツを単純に提示することによって、単純にコンテンツ各小片を無作為に（すなわち、均等な頻度で）提示するよりも、２．５３％のＲＯＩの増大が生み出される特定の時間帯に関して最良のコンテンツを選択することによって、ネットワークに対して均等な頻度でコンテンツを配信するよりも、５．１１％の増大が生み出される。特定のロケーションに関して最良のコンテンツを選択することによって、コンテンツを無作為に配信するよりも、３．５３％のＲＯＩの増大が生み出される。しかしながら、これらのコンテキスト変数（時間帯、コンテンツ、ロケーション）の全てに関して最良のコンテンツを選択することによって、無作為な配信手法よりも、１２．９４％の増大が生み出される。
（実施例＃５）
以下の代表的な展開シナリオは、機械学習ルーチンが因果関係実験と共に並行して行なわれている、複数のＶＶＤ及び複数のビジネス目標を考慮した再生リストのスケジュールを生成する際に伴う、更なる複雑性を説明する。この実施例は、ユーザーが、探索及び／又は活用のアルゴリズムを用いる強化学習ルーチンなどの機械学習ルーチンを使用して、スケジュールの特定時間枠の間にコンテンツをスケジュールすることができる方法を説明する。
この例示的なシナリオでは、デジタル看板ネットワークを百貨店内に展開し、このネットワークを、ＲＯＩ測定が実行されるように構成することを想定する。タイムスロットサンプルを、再生リストのスケジュールの時間枠として使用することもまた想定する。
１つのディスプレイは、店内のビストロの付近にあり、そのビストロでのＶＶＤは、４５分であると判定されている。ビストロのディスプレイは、１杯のワイン、前菜、デザートなどを食事と共に取るという提案に関連する、進行中の実験を行なっている。更には、この百貨店の様々な小売部門のための商品販売に関連するコンテンツを有する実験が行なわれる。この実験コンテンツには、食品関連コンテンツが組み入れられる。
別のディスプレイは、百貨店の書籍／音楽部門内に配置され、その部門でのＶＶＤは、２０分であると判定されている。このディスプレイは、書籍／音楽部門内で販売される品目にのみ関連する実験を行なう。別のディスプレイは、百貨店の入口から遠く離れておらず、入口から視認可能な、１階のエスカレータ付近に配置される。このディスプレイは、ビストロ、小売部門、及び書籍／音楽部門を含めた、様々なコンテンツに関連する実験を行なう。百貨店に関する全体としてのＶＶＤは、７０分であると判定されている。各ディスプレイは、以降で説明されるアルゴリズムによって決定される長さの、空いたタイムスロットサンプルを有する。
ユーザーが、百貨店のデジタル看板ネットワークに関して機械学習強化を組み込むことを決定する。次の四半期に関して、ユーザーのビジネス目標は、以下のように定義される。
（１）書籍／音楽に関する市場占有率を増大させる。競合店舗が２ブロック離れて存在し、ユーザーはそのビジネスの一部を取り込むことを望んでいる。
（２）顧客が買物をする間の単なる急ぎの軽食のための場所というよりも、むしろ晩の食事の目的として、ビストロ内により多くの人々を引き込む。
（３）かつての商品予約購入法を復活させることによって、より多くの毛皮のコートを販売し、この方法によって人々はコートを選び、そのコートの費用が完済するまで顧客が＄１５０／月を支払う一方で、店舗がそのコートを保持する。
次に、本明細書に記載の方式で、上述の要件及び制約を考慮したスケジュールを生成することができる。このシナリオは、本発明の実施形態による、因果関係実験及び最適化ルーチンを並行して行うように構成された再生リストスケジュールを使用することから考慮し得る、更なる複雑性を説明する。
（実施例＃６）
簡潔性を目的として、並びに上記の実施例＃５に記載の再生リストスケジュール生成シナリオにおける、複数のビジネス目標及び複数のＶＶＤの役割を強調するために、書籍／音楽部門内に配置されるディスプレイを考察する。最初の工程は、以下の問題に回答するための実験を定義することを伴う。どちらがより良好な成果を上げるか：晩の買い物客と午前中の買い物客との比較に関し、書籍の購入を「投資」として表現する広告か、「贅沢さの獲得」として表現する広告か？この例示的な実施例では、ＶＶＤは３０分、及びＴＳＳは６０分であると判定されている。探索／活用のアルゴリズムを含む強化学習ルーチンを使用すると想定する。
上記の実施例＃２の工程１〜工程５に従い、以下を適用することができる：
探索／活用のアルゴリズムは、以下を含む複数のビジネス目標を使用する：
１．書籍／音楽部門の売り上げ：
ａ．ＶＶＤは３０分。
ｂ．１５％の利益率
ｃ．時間制約なし
ｄ．２つのコンテンツ小片を使用
２．ビストロ売り上げ：
ａ．ＶＶＤは１時間。
ｂ．２５％の利益率
ｃ．時間制約なし
ｄ．３つのコンテンツ小片を使用
３．毛皮のコートの予約購入売り上げ：
ａ．ＶＶＤは４時間（多くの場合、顧客は、毛皮のコートに関する予約購入法の広告を見てから、店舗を出て、配偶者に相談した後に戻ってきて購入する）。
ｂ．６０％の利益率
ｃ．時間制約なし
ｄ．３つのコンテンツ小片を使用
４．上記実施例＃２の工程６−スケジュールを指定する：
ａ．この場合には、実験は、午前中（８ＡＭ〜１２ＡＭ）及び晩（４ＰＭ〜８ＰＭ）に行なわれる。以降に説明される方法を使用して、図１９に示す（網目状のパターン）ように、これらのコンテンツ小片をスケジュールする。
ｂ．これらの時間の間に、探索／活用のアルゴリズムは、「ビストロ」及び「予約購入法」のコンテンツをスケジュールする。
ｃ．午後の期間（１２ＰＭ〜４ＰＭ）の間に、探索／活用のアルゴリズムはまた、「ビストロ」及び「予約購入法」のコンテンツに加えて、「書籍／音楽」に関するコンテンツもスケジュールする。
ｄ．探索／活用のアルゴリズムは、その期間に関して最良の成果を上げるコンテンツを選択するか（活用）、又は以前は最良の成果を上げなかったコンテンツ小片を評価する（上記の実施例＃２の工程６ｄ及び工程６ｅを参照）。
ｅ．コンテンツの各小片を、３０秒間の期間で示し、その特定タイムスロットサンプルの間、繰り返す。
ｉ．例えば、８ＡＭ〜９ＡＭは、３つのコンテンツ小片が、３０秒単位で繰り返される：
１．書籍／音楽−投資
２．ビストロ−Ａ
３．予約購入法−Ａ
図１９は、複数のビジネス目標（書籍／音楽、ビストロ、予約購入法）を有する１日のスケジュールを示す。斜線パターンの四角形は、各ビジネス目標に関するＴＳＳ期間を示す。パターン付きのものは、その期間が、実験、探索、又は活用のいずれのコンテンツに専用に割り当てられるかを示す。１時間の各期間に対して、書籍／音楽、ビストロ、及び予約購入法に関する、１つのコンテンツ小片が示される。このスケジュールは、１日間及び１つのロケーション（書籍／音楽部門のディスプレイ）に関してのみ構成されることに留意されたい。多くの場合、実験は、複数の日数、及び潜在的には複数のロケーションにわたって行なわれる。
図２０は、ユーザーが「ビストロ−Ａ」のコンテンツ対「ビストロ−Ｂ」のコンテンツの有効性を試験する、第２のスケジュールの実施例である。この例示的な実施例では、「書籍／音楽」のビジネス目標が、探索／活用のアルゴリズムの制御下にあり、このアルゴリズムは、上記の実施例＃２の工程６ｄ及び工程６ｅに従って、コンテンツをスケジュールする。実施例＃６では、探索／活用のタイムスロットサンプルは、好ましくは以降に記載される方式で、種々の視聴者訪問持続時間及びデータ収集期間で構成され得ることがわかる。
別の手法によれば、因果関係実験の信頼性が実質的に低下することを理解した上で、探索／活用のルーチンは、単一のタイムスロットサンプルからのデータを使用してもよい。しかしながら、重要なことは、ＶＶＤ、ＴＳＳ、及びデータ収集期間の間の関係を、記載されるように使用することが、同じロケーションの持ち越し効果を除去することである。真実験の制約の整合性を保つために、実験ＴＳＳの間に示される全ての探索／活用ルーチンのコンテンツは、「無関係」でなければならない。
例として、１時間のＴＳＳは、実験コンテンツ、活用コンテンツ（ビジネス目標Ａ）、活用コンテンツ（ビジネス目標Ｂ）、及び天気予報のコンテンツの、１５秒のコンテンツクリップを順次示していてもよい。この場合には、データ収集は、３つの独立した販売時点システムで同時に行なわれていてもよく、１つは実験の効果を測定し、１つはビジネス目標Ａの活用の効果を測定し、１つはビジネス目標Ｂの活用の効果を測定している。収集された全てのデータは、したがって、通信コンテンツの無関係性のために「クリーン」である。
他の実施形態によれば、２つの明確に異なる「無関係」のスケジュールを実装して、同一のディスプレイ上に並行して実行することができる。コンテンツの切り替えは、３０秒毎に、又は２つの無関係なスケジュールによって指示される他の時間間隔で行なうことができる。この２つのスケジュールは、極めて異なる時間機構を有し得る。例えば、ＶＶＤ、ＴＳＳ、及びデータ収集期間のうちの少なくとも１つが、２つのスケジュールの間で異なり得る。更なる例として、ＶＶＤ、ＴＳＳ、及びデータ収集期間のそれぞれが、２つのスケジュールの間で異なり得る。
例えば、双方のスケジュールが、因果関係実験（例えば真実験）を遂行するように生成することができる。更なる例として、双方のスケジュールが、探索／活用ルーチンなどの機械学習ルーチンを実行するように生成することができる。別の実施例によれば、一方のスケジュールは、因果関係実験を遂行するように生成することができ、他方のスケジュールは、機械学習ルーチンを実行するように生成することができる。多数の因果関係実験、多数の機械学習ルーチン、又は因果関係実験と機械学習ルーチンとの組み合わせを実施するために、３つ以上のスケジュールが構成され得ることを理解されたい。
研究を遂行している場合は必ず、顧客に費用を強いることになる。研究専用に割り当てられる時間枠は、投資回収の生成（例えば、探索／活用アルゴリズムを使用して）に焦点が置かれているのではなく、データ又は知識を集積するために使用されている。研究の費用は、最適化アルゴリズムを使用することによって生成される収益と実際の研究の間に生み出される金額とを比較した差異として算出することができる。実験の実行に関連する測定可能な費用（すなわち、機械学習ルーチンを用いないことに関連する機会費用）が存在することにより、本発明の実施形態は、適切な段階又は既定の段階で自動的に終結させる能力を、ユーザーに提供する。
例えば、ユーザーは、（１）データが有意な結果を実証した場合、又は（２）現在の効果量及び推定分散から判断して、研究に関連する費用が、顧客がその研究に置いた価値を上回る場合の、自動的な研究の終結を指定することができる。データの収集を継続するか否か、を決定することができる方法を説明する、既知の方法が存在するが、従来のそれらの方法のいずれもが、デジタルコンテンツ配信システムを使用する実験の評価には適用されておらず、また想定もしていない。
（実施例＃７）
以下は、本発明の実施形態による、研究を遂行する費用を評価する例示的な実施例である。図２１〜図２３に示すように、本発明の研究の費用評価を遂行するための代表的なプロセスには、以下が含まれる：
１．本明細書に記載の因果関係実験を実施する（１００）。
２．実験の価値：ユーザーが、現在の実験の価値を指定する（１０２）。
３．ユーザーが、実施例＃２で上述した、最適化変数を指定する（１０４）。
４．コンテンツを配信し、データを収集する（１０６）。
５．データを分析する（１０８／１００）：
ａ．実験の進行中分析を行なう（１１２／１３０）：
ｉ．コンテンツ及び条件の、平均並びに標準偏差を算出する（１３２）（上記の実施例＃２の工程８ａ及び図１７を参照）。
ｉｉ．検出力分析を計算する（１３４）：
１．統計的検出力分析は、現在の効果量（条件間の差異）及び現在の分散（測定値にどれだけの変動性が存在するか）並びに収集済みのサンプルの数から判断して、更にどれだけの数のサンプルが必要となるかについて指定する。
ｉｉｉ．真の効果量が、ユーザーが価値を見出す効果量を超える可能性を計算する（１３６）：
１．この可能性が低すぎる（又は検出力分析を使用し、可能性を調べることに費用がかかりすぎる）場合には、研究の終結を提案する（１３８）。
ｂ．実験のＲＯＩ：この時点までに実験に関して生み出されたＲＯＩを（上記の実施例＃２の工程２で指定される重み付けを使用して）計算する（１１４）。
ｃ．探索／活用のＲＯＩ：履歴データから判断し、実験と比較した、探索／活用のルーチンを使用することによって生み出され得る、予測されるＲＯＩを（上記の実施例＃２の工程２で指定される重み付けを使用して）計算する（１１６）。
ｄ．研究の価値が研究の費用を上回るか否か判定する（１１８）：
ｉ．次の場合には、終結させるか、又はユーザーに警告する（１２０）：
実験の価値＜（探索／活用のＲＯＩ−実験のＲＯＩ）。
ｉｉ．それ以外の場合は継続する（１２２）
６．ユーザーが研究を終結させることに関心があるか否かを決定するために、ユーザーに見積費用を提示する（１２４）。
７．上記の工程１〜工程６を繰り返す（１２６）。
上記の実施例＃７の方法工程は、研究を終結させるか否か、及びいつ終結させるかを決定するための、１つの手法を説明している。研究をいつ終結させるかを計算するための他のアルゴリズムが存在し、本発明の実施形態によりそれらのアルゴリズムが使用され得ることを、当業者は理解されよう。
本発明との関連でデジタル看板ネットワークを使用する有利な点は、複数のメッセージを単一のディスプレイ上に提示可能であることである。このことは、機会及び課題の双方をもたらす。人間は、典型的には、メッセージを記憶すること及びそのメッセージに従って行動することの双方のために、メッセージの複数の提示を必要とすることを、マーケティングリサーチ及び基礎的な記憶研究の双方が明確に示している。一方で、デジタル看板ネットワークは、種々のメッセージを、視聴者に時間をかけて提供する機会を提供する。しかしながら、典型的には、顧客がメッセージに従って行動するためには複数の提示が必要であることから判断して、顧客が注意深くない場合には、実際に彼らの行動を変更させるのに十分な回数のメッセージを顧客が経験しないときに、メッセージが無効になる可能性がある。
課題は、確実に利益を最大化する、規範的な経験数が存在しないことである。必要とされる経験数は、限定するものではないが、以下を含めた複数の要因に応じて変化する：
１．メッセージの強度／力：
ａ．すなわち、そのコンテンツがどの程度有効であるか
２．メッセージから要求される行為
ａ．例えば、「ＣＲＥＳＴの練り歯磨きを買う」対「ＨＯＮＤＡのＡｃｃｏｒｄを買う」
３．コンテンツを処理しているとき、どの程度、視聴者が注意散漫であるか：
ａ．すなわち、どれだけの量、視聴者がコンテンツを処理することができたか
ｂ．例えば、難しいインターチェンジで運転しているか、バス停に座ってバスを待っているか
４．顧客がメッセージに対してどの程度受容的であるか：
ａ．すなわち、ベジタリアンの集会に対して「牛肉（Calf and Steer）」レストランを広告すること。
本発明の実施形態は、顧客のＲＯＩを最大化するために提示頻度を自動的に最適化する、デジタル看板上にコンテンツを提示するための頻度率を定めることを伴う。図２４、図２５Ａ、及び図２５Ｂを参照して、以下の実施例は、本発明の実施形態による、頻度率最適化のプロセスを説明する：
（実施例＃８）
１．本明細書に記載の因果関係実験を実施する（１４０）。
２．ユーザーが、実施例＃２で上述した、最適化変数を指定する（１４１）。
３．コンテンツを配信し、データを収集する（１４２）（上記の実施例＃２の工程６を参照）：
ａ．上記の実施例＃２の工程６ｄに記載のプロセスを使用して、履歴データから判断した現在の最良の混成頻度をシステムが提示する（活用）か、又は異なる混成頻度を試験する（探索）か、を決定する（１４３）。
ｂ．「活用」モードである場合には、履歴データを使用して最適の頻度の混成を決定する（１４４）。
ｉ．図２５Ａは、タイムスロットサンプル期間内での、表示頻度の関数としての２つのコンテンツ小片の有効性を示す、履歴データの結果を示す。図２５Ｂは、それら２つのコンテンツ小片に関する予測頻度混成、並びにそのタイムスロットサンプル期間（１０の提示期間を有する）に関する最良の混成が、６回の「部屋アップグレード−モデルなし」及び４回の「バー−効率」を提示することであるという予測を示す。
ｃ．「探索」モードである場合には、現在は最適の頻度混成ではない頻度混成を選択する（１４５）。
４．データを分析し、履歴データベースを更新する（１４６）（上記の実施例＃２の工程８ｂを参照）：
ａ．現在の比率を使用してコンテンツを提示することの主効果（図２５Ａを参照）を格納する。
ｂ．現在の頻度を使用してコンテンツを提示することの、その対となったコンテンツとの複合効果（図２５Ｂを参照）を格納する。
５．ユーザーが上記の工程２を修正するか又はプロセスを終結させるまで、上記の工程３及び工程４を繰り返す（１４７）。
図２５Ａ及び図２５Ｂは、タイムスロットサンプル期間内で、「部屋アップグレード−モデルなし」と「部屋アップグレード−モデルあり」とを「混成」した結果を示す。タイムスロットサンプル期間は、この場合、合計で１０の提示を提示することができる。図２５Ａは、このタイムスロットサンプル期間の間で、「部屋アップグレード−モデルなし」及び「バー−効率」を、１〜１０回提示する場合のＲＯＩを示す。図２５Ｂは、これら２つのコンテンツ小片の提示を混成させることの効果を示す。最適化アルゴリズムは、最適頻度が、このタイムスロットサンプル期間に関して「部屋アップグレード−モデルなし」の６つのサンプルの提示及び「バー−効率」のコンテンツの４つ（１０−６）の提示であることを返報する。
探索／活用のアルゴリズムの効用の１つは、このアルゴリズムが、コンテンツ提示パターンの空きを自動的に「探索」し、最良すなわち最適のコンテンツの混成を見出して、顧客に対してＲＯＩの値を返報するように設計されることである。この探索の局面の間には、アルゴリズムが解明を開始する非常に多くの知識が存在する。この知識は、コンテンツ（及び色、戦略などのような、コンテンツの属性）、ロケーション、顧客の種類、時刻などの間の、特定の相関の形態となる。これらの相関の多くは、偶然によって発生する擬似相関である。他の相関は、相関に対する原因因子を有し得る。擬似相関と因果効果とを識別するために、対照研究が必要とされる。
課題は、いずれの相関を実際に追求するかを決定することにある。探索／活用のアルゴリズムは、データ内の多くの相関を解明する。一部は、ユーザーにとって有意な価値のものであり得るが、一方で他のものは、あまり価値がない。本発明の実施形態は、自動仮説生成方法論（本明細書では、自動仮説生成と呼ぶ）を使用して、価値のある相関を識別し、解明することを目的とし、その代表的な実施例を、図２６〜図２８を参照して以下で説明する。
（実施例＃９）
１．本明細書に記載の因果関係実験を実施する（１５０）。
２．ユーザーが、実施例＃２で上述した最適化変数を指定する（１５２）。
３．ユーザーが、自動仮説システムに関する相関要因を定義する（１５３／１６０）：
ｉ．ユーザーが、種々の有効性評価尺度の価値、有効性評価尺度の組み合わせ（目的関数）、いずれの従属測定値（例えば、バーの売り上げ、部屋のアップグレードなど）がユーザーの相関を見出す関心対象となるかを、指定する（１６１）。
ｂ．ユーザーが、関心対象である要因を指定する（１６２）：
ｉ．例えば、ホテルの種類の間の（例えば、都市部対郊外）任意の識別可能な相関
ｃ．ユーザーが、有意な効果量を指定する（１６３）：
ｉ．どの程度大きさの効果が、システムがユーザーに警告するか又は特定の実験を計画する誘因となるか（例えば、１０％の差異）
ｄ．ユーザーが、警告されるか、又はシステムに実験研究を自動生成させるかのいずれを望むかを指定する（１６４）：
ｉ．ユーザーは、自動生成される実験に対して支払う意思のある最大費用を指定する（１６６）ことができる（上記の実施例＃７の、研究の費用評価を参照）。予測される費用が許容可能な費用よりも低い場合には、実験を自動生成する（１６８）。
４．コンテンツを配信し、データを収集する（１５４）（上記の実施例＃２の工程６を参照）。
５．履歴データを分析する（１５６／１７０）：
ａ．ビジネス有効性評価尺度と、関心対象の要因（上記の工程３ｂで定義）と、他の要因との間の相関を計算する（１７２）
ｂ．許容可能な効果量（上記の工程３ｃを参照）を超える効果量を有する相関を見出す（１７３）
ｃ．システムがユーザーに警告を送るべきか、実験を自動生成するべきか、又はその両方か（上記の工程３ｄを参照）を決定する（１７４）：
ｉ．警告する場合には、ユーザーに警告を送る（１７５）。
ｉｉ．実験を自動生成する場合には：
１．期待される研究の費用を計算し（上記の実施例＃７を参照）、上記の工程３ｄ（ｉ）の許容可能な費用と比較する（１７６）。
２．費用が許容可能である場合には、実験を自動生成する（１７８）。
６．上記の工程１〜工程５を繰り返す（１５９）。
様々な実施形態によれば、本発明のシステム及び方法は、デジタル看板ネットワークの全てのディスプレイを継続的に分析して、各ディスプレイが、因果関係実験の遂行を目的としてコンテンツを提示するべきか、又は機械学習ルーチンを実行するためにコンテンツを提示するべきかを判定するように実施することができる。本発明の実施形態は、全てのＤＳＮディスプレイを継続的に分析して、各ディスプレイを、因果関係実験システムの制御下とするか、又は機械学習システムの制御下とするかを効果的に決定するように実施することができる。この決定は、好ましくは、各ディスプレイ上の特定の時間枠を実験のために使用する費用と、各ディスプレイ上の同じ時間枠を機械学習ルーチンの実行によって既定のビジネス目標を最適化するために使用する、失われた機会との比較に基づいて、ＤＳＮシステムによってなされる。
図２９は、ＤＳＮの全てのディスプレイの評価を遂行し、ディスプレイの画面に、因果関係実験システム又は機械学習システムのいずれかの制御下となる時間を割り当てるための方法論の、代表的な実施形態を示す。図２９に示す方法論は、時間枠（例えば、ＴＳＳ）を、因果関係実験システム又は機械学習システムのいずれかに、ディスプレイ毎に、かつ各時間枠に関して、効果的に引き渡す。
図２９に示すように、ＤＳＮシステムのプロセッサ又はモジュールは、各再生リストスケジュールの各時間枠（例えば、ＴＳＳ）及び関連するディスプレイに関して、その時間枠が機械学習ルーチン又は因果関係実験によって使用されるか若しくは制御下に置かれるかを決定する（２０１／２０３）ように構成される（すなわち、メモリー内に格納されたプログラム命令を実行するようにプログラムされる）。モジュールが、その時間枠を機械学習ルーチンのために使用すると決定した場合には、その機械学習ルーチンによって決定される適切なコンテンツが、時間枠に割り当てられる（２０５）。例えば、この時間枠の間に探索コンテンツ又は活用コンテンツを提示するように、機械学習ルーチンをプログラムすることができる。モジュールが、その時間枠を因果関係実験のために使用すると決定した場合には、その因果関係実験によって決定される適切なコンテンツ（例えば、実験コンテンツ又はプラシーボコンテンツ）が、時間枠に割り当てられる（２０７）。その時間部分に割り当てられたコンテンツが配信され、表示される（２０９）。図２９に示すプロセスは、デジタル表示ネットワークの各ディスプレイに関する各時間枠に対して繰り返される。
図３０は、本発明の実施形態による、図２９で説明されるプロセスが、ディスプレイ毎に各時間枠に対してどのように実施され得るかを示す、システム全体である。ＤＳＮシステムのプロセッサ又はモジュールなどの決定ツールが、システム全体の条件に基づいて、特定の時間枠（例えば、ＴＳＳ）が因果関係実験又は機械学習システムのいずれによって使用されるか若しくは制御下に置かれるかを決定する（２２０）。前者である場合、実験システムが効果的にその時間枠を制御する（２２２）。後者である場合、ＭＬＲシステムが効果的にその時間枠を制御する（２２４）。したがって、適切なコンテンツが、ネットワークのディスプレイ全体にわたって配信される（２２６）。
コンテンツ配信（２２６）は、図３０に示す実施形態では、サーバ２２８によって管理される。サーバ２２８は、多数のディスプレイ２２９に通信可能に結合されるが、説明の目的上、そのうちの６つを図３０に示す。ディスプレイ２２９の状態は、常時、及びこの実施形態ではタイムスロットサンプルとして示される全ての時間枠に関して、知られている。各ディスプレイ２２９に対して、現在のＴＳＳ及びモード（実験モード又はＭＬＲモード）が、サーバ２２８によって（好ましくはＤＳＮシステムのプロセッサ又はモジュールによって）コンテンツ配信を制御するために使用されるスケジュールの各時間ｔに関して示される。一部の実施形態では、時間ｔ〜時間ｔ＋１の時間は、タイムスロットサンプルの持続時間である。別の実施形態では、時間ｔ〜時間ｔ＋１の時間は、本明細書に記載の時間間隔（ＴＩ）によって定義される持続時間である。
時間軸に沿って垂直に見ると、各ディスプレイの状態が、スケジュール制御の各時間増分（すなわち＠時間ｔ、時間ｔ＋１、時間ｔ＋２など）に関して示されている。例えば、ＤＳＮシステムは、ＴＳＳ１を、時間ｔでのディスプレイ１に対して機械学習ルーチンを実行するために使用すると決定している。時間ｔ＋１に関しては、ＤＳＮシステムは、ＴＳＳ７を、ディスプレイ１に対して因果関係実験を遂行するために使用すると決定している。この実施例を継続すると、時間ｔ＋２に関しては、ＤＳＮシステムは、ＴＳＳ１３を、ディスプレイ１に対して因果関係実験を遂行するために使用すると決定していることが見て取れる。ＤＳＮシステムの全てのディスプレイの状態が、本発明のこの実施形態により、スケジュール制御の各時間ｔ〜ｔ＋ｎに関して、同様に知られ、制御される。
図３０は、従来のシステム及び技術を使用しては達成不可能な、有利点並びに利益を更に強調する、システム視像を提供する。前述の現実世界の実施に関して懸念される局面を更に強調すると、ディスプレイがＭＬＲを介して最適化のために使用されているあらゆる瞬間は、そのディスプレイが因果関係実験を介して洞察を得るために使用されていない瞬間であり、逆もまた同様であることを理解するべきである。表示時間の割り振りに関して最適と見なされるシステムは、各ディスプレイに関する各時間ユニットを分析し、表示時間のそのユニットが、因果関係実験のために使用されているか、又はビジネス目標を最大化するために使用されているかのいずれによって、より大きな価値を付与するかを判定する。現在のところ、この最適システムに到達するか又は近づくことができる従来のシステム又は方法は存在しない。
有利には、本発明のシステム及び方法は、最上位の決定ツール内の最適化アルゴリズムによって、この最適な割り振り決定を自動的に行なう。つまり、この最上位の決定ツールは、２つのサブコンポーネント（因果関係実験システム及びＭＬＲシステム）から個別に導き出される価値を、各サブコンポーネントがその目標を達成するために時間枠（例えば、タイムスロットサンプル）の制御を必要とすることから、コンテンツ配信ネットワーク全体にわたって確実に最大化する。
決定ツールが制御を再配分し得る１つの方法は、因果関係実験の間に発生し、かつその因果関係実験に関連する情報に基づく。以下に実施例を提供し、説明の目的上、時間枠をタイムスロットサンプルの観点で言及する。
（実施例＃１０）
因果関係実験が進行中でありながら、その実験の実行を調整する方法が存在するため、最上位の決定ツールは、時間の進行と共に、どのサブシステムが様々なタイムスロットサンプルに対しての制御を有するべきかに関する、費用／利益の等式を、継続的に再評価することができる。つまり、因果関係実験から得られる洞察の価値が、実験が実際に遂行されている時間的経過の間に、実験の遂行／終了の費用によって解消される場合がある。
初期の従属変数に基づいて、決定ツール（又は、実験システム）は、調査中の要因の予想される効果量が、最初に期待されたよりも遙かに小さくなる可能性があり、したがって、所望の統計的検出力に到達するように実験を遂行するためにはより時間がかかるため、ＭＬＲシステムに制御を引き渡すことによってネットワークの所有者が別の方法で導き出し得た利益を考慮すれば、その実験を遂行する費用が、期待された洞察の利益を上回る可能性があることを判定する。
（実施例＃１１）
特定のタイムスロットサンプル（特定のディスプレイ上、特定のロケーションでの）を実験システムの制御に専用に割り当てることの価値は、そのタイムスロットサンプル／ディスプレイを制御してより大きな価値を得る、ＭＬＲシステムの能力の結果に従って変化し得る。例えば、特定のタイムスロットサンプルが、実験の「条件ｘ」を行なうように組み入れられている場合があるが、ＭＬＲシステムが、そのディスプレイで、そのロケーションで、そのタイムスロットサンプルを制御することによって、より大きな価値を得る可能性があるならば、決定ツールは、その実験のための「条件ｘ」の実施を、システム上の別のディスプレイに移動させることができる。つまり、「条件ｘ」は、１０：００ａｍにＤｕｂｕｑｕｅのディスプレイ上で再生されるように組み入れられている場合があるが、ここで、決定ツールは、その条件を、異なるタイムスロットトサンプルに移動させ、代わりに、１０：００ａｍにＳａｎ Ｄｉｅｇｏのディスプレイ上で再生するように決定する。
したがって、決定ツールが、タイムスロットサンプルの制御を移し変えることによって、実験を促進させるか又は減速させることができる方法が存在し、また決定ツールが、実験を同じペースに保ちながらも、実験条件が物質世界で再生される物理的ロケーションをネットワーク全体にわたって再配置する方法が存在する。同様に、決定ツールは、機械学習ルーチンから生じる情報に起因して、制御を再配分することができる。
再び図３０及び図４０Ｃを参照し、また決定プロセス２２０に関して、「実験対ＭＬＲシステム決定ツール」は、ネットワークを継続的に監視して、各ディスプレイに関する各ＴＳＳの制御を、サブコンポーネントシステムの、ａ）実験システム４２３、ｂ）ＭＬＲシステム４２７に割り振る方法を決定する、アルゴリズムのセットである。この決定ツール２２０は、実験の洞察の価値を考慮するユーザー、所望の統計的検出力を満たすために求められるサンプルサイズ／持続時間を考慮する実験システム、実験が進行するにつれて着信する従属変数データ、及び現在のビジネス目標を最大化するために、ＭＬＲにＴＳＳの制御を許可することについての推定される価値若しくは既知の価値、からの入力を使用する。
実験システム４２３は、関心対象の従属測定値及びそれらの特性、関心対象の環境要因、関心対象のコンテンツ要因、関心対象の従属測定値に関する視聴者訪問持続時間、並びに実験緊急度の値などの入力を受け取るように構成されたサブコンポーネントである。実験システム４２３は、次に、コンテンツ配信ネットワークに対して遂行される実験を生成する。実験システム４２３は、所望のレベルの統計的検出力に到達するために必要とされる、期待される持続時間／サンプルサイズを推定することができる。
ＭＬＲシステム４２７は、関心対象のデータストリームにおける成果を最大化するために、継続的にコンテンツ配信を管理する、プロセッサ実施される機械学習アルゴリズムのセットである。ＭＬＲシステム４２７は、ビジネス目標及びその価値、それぞれの有効性評価尺度の価値、ネットワークに対して示すことができるコンテンツ、任意のロケーション制約及び時間制約、並びにコンテンツに関連する視聴者訪問持続時間などの入力を取得する。コンテンツ配信ネットワーク全体にわたるコンテンツ配信１３３は、実験システム４２３及びＭＬＲシステム４２７の双方（並びに／又は最上位の決定ツール２２０自体）の指示の下に、コンピュータのハードウェア及びソフトウェア（例えば、サーバ２２８／４２１）を介して行なわれる。
図３０は、６つの別個の物理的ロケーションの代表的なネットワークを示し、それぞれのロケーションが、６つのディスプレイの総合ネットワークのために、１つのディスプレイ２２９を有している。例えば、これらは、全米各地の６つの都市に配置されたクイックサービス式レストランであってもよい。ネットワーク運用中の時間のある時点で、全てのディスプレイ２２９が、各ＴＳＳにどのように人が集まるかによって定義されるコンテンツを示している。ただし、ネットワーク上のＴＳＳは、持続時間を３０分とすることができ、各コンテンツ小片は、長さを３０秒とすることができる。それゆえ、各ＴＳＳ内で６０のコンテンツ小片が再生される。これらのコンテンツ小片は、利用可能なコンテンツのライブラリ（例えば、サーバ２２８／４２１内に格納される）から引き出される。
各３０分のＴＳＳを満たす（最大）６０の固有のコンテンツ小片の混成は、好ましくは、実験システム４２３に関連するアルゴリズム又はＭＬＲシステム４２７に関連するアルゴリズムのいずれかによって制御される。しかしながら、ダイアグラムに示すように、ネットワーク全体にわたるいずれの特定のＴＳＳも、実験アルゴリズム又はＭＬＲアルゴリズムのいずれかの制御下に置くことができる（ここで「制御」とは、ＴＳＳを満たすコンテンツの選択、及びそのＴＳＳ内での再生順序の選択を意味する）。また、いずれの時点の各ＴＳＳも、実験システム４２３又はＭＬＲシステム４２７のいずれかの制御下に置くことができる。
次のＴＳＳ（次の３０分の時間区分）で、ディスプレイ２２９は、先行のＴＳＳと同じサブコンポーネントか又は他方のサブコンポーネントの制御下にあるＴＳＳ内に、コンテンツを示すことができる（時間の進行に従って図３０の垂直軸を見下ろしていくことによって示されるように）。例えば、決定ツール２２０は、ＴＳＳ１、ディスプレイ１で、ＭＬＲシステム４２７によって定義されるコンテンツを示すことを（ビジネス目標を最適化するために）決定することができる。しかし、ディスプレイ１がＴＳＳ７内にコンテンツを示すとき、決定ツール２２０は、ユーザーにとっての最大の価値のために、ＴＳＳ７が実験システム４２３の制御下に置かれるべきであることを算出することができる。それゆえ、いずれの時点でも、種々のロケーションのディスプレイ２２９は、実験システム４２３又はＭＬＲシステム４２７のいずれかによって定義される（又は制御下にある）タイムスロットサンプル内にコンテンツを示すことによって、同一のサブコンポーネント又は異なるサブコンポーネント（実験システム４２３又はＭＬＲシステム４２７）の制御下に置かれることができる。
図３１〜図３３は、本発明の実施形態による、因果関係実験システム又は機械学習システムのいずれかへの表示時間枠（例えば、ＴＳＳ）の割り当てを継続的に評価するためのプロセスを示す流れ図である。図３１〜図３３に整合するプロセスの代表的な実施を、以下の実施例との関連で、以下に説明する。
（実施例＃１２）
１．因果関係実験を定義する（２３０）：
ａ．従属要因及び独立要因を定義する。
２．緊急度期日及び仮説の価値を入力する（２３１）：
ａ．実験における主効果及び相互作用の相対的価値を指定する。
３．種々の有効性評価尺度の相対的価値を入力する（２３２）。
ａ．例えば、各アップグレードは＄１００の価値があり、バーで支出される１ドルは＄０．２０の価値である。
４．因果関係実験に関して要求される／望ましい実験時間枠（例えば、タイムスロットサンプル）の特性を定義する（２３３）：
ａ．実験で行なわれる必要がある条件の全てを指定する。
ｂ．主効果及び相互作用の価値に基づいて、各条件内のサンプルの数を指定する。
５．以下の割り当てをスケジュールする複数のタイムスロットサンプルを生成する（２３５）：
ａ．緊急度期日までに実験を完了する。
ｂ．要求される実験条件を満たす。
６．履歴データを使用して、各スケジュール割り当てに関連する機会費用を計算する（２３６／２４１）：
ａ．特定のスケジュール割り当て内の各タイムスロットサンプル期間に関して、目的価値予測を生成する（２４３）。
ｉ．目的価値予測は、有効性評価尺度に関する相対的価値、及びＭＬＲからの予測されるＲＯＩを取得し、予測される目的価値予測を計算する（２４５）ことによって生成される。
１．例えば、ＴＳＳ１に関して、１０のアップグレード及びバーにおける＄５００が存在すると予測される。このＴＳＳに関する目的価値は、＄１，１００＝（１０×＄１００／アップグレード）＋（＄５００×０．２）となる。
ｉｉ．スケジュール割り当て内のＴＳＳに関して予測される目的価値の全てを合計する（２４７）。この価値は、ＴＳＳをＭＬＲ専用に割り当てない場合の機会費用を指定する（２４９）。
７．最も低い機会費用を有するスケジュールを選択する（２３８）。
８．スケジュール割り当てを継続的に再評価し、より低い機会費用を有するスケジュールが確認された場合は、再割り当てする（２３９／２５０）。
ａ．新たに獲得した履歴データ及び／又は有効性評価尺度についての新たな相対的価値が、異なるＴＳＳの予測される価値を変化させる。これらの変化は、最も安価なスケジュール割り当てに影響を及ぼし得る。
ｂ．統計的に信頼できる効果を生成するために十分なサンプルを、各主効果及び相互作用に割り当てるための費用を分析する（２５２）。
ｉ．検出力分析に基づいて、個別の仮説の価値、及び各仮説に関連する費用を考慮して、遂行する必要がある残りの条件を再評価する（すなわち、サンプル条件を再割り当てする）（２５３）。
ｃ．依然として試験する必要がある残りの実験条件（例えば、時刻、店舗の種類など）を識別する（２５４）。
ｉ．これらは、上記の工程４で定められて、依然として試験されていない条件である。
ｄ．残りの条件の全てを試験する、複数のスケジュール割り当てを考察する（２５５）。
ｉ．上記の工程６に記載された同じ方法を使用する。
ｅ．最も低い機会費用を有するスケジュールを特定する（２５６）。
ｆ．この機会費用が仮説の価値（上記の工程２）よりも低いか否かを判定する。
ｉ．否であれば、ユーザーに警告する（２５９）。
（実施例＃１３）
Ｍａｎｔｉｃｏｒｅは、アップグレードのコンテンツにおける人間のモデルが、「モデルなし」よりもアップグレードの数に関して有効か否かを評価することに関心がある。Ｍａｎｔｉｃｏｒｅはまた、モデルを有することが時間帯と相互作用するか否かを評価することにも関心がある。より具体的には、Ｍａｎｔｉｃｏｒｅは、午前中のチェックインと晩のチェックインとを比較して評価することに関心がある。関心対象となる主要な問題は、「モデルあり」が、それが示される時刻とは関わりなく、「モデルなし」よりも成果を向上させるか否かである。第２の問題は、「モデルあり」の使用が時刻と相互作用するか否かである。
研究の計画を最適化するため、ユーザーは、この２つの問題の価値を入力する。この例示的な実施例では、ユーザーは、「モデルあり」対「モデルなし」は、＄１０，０００の価値を有し、一方で相互作用は、＄３，０００の価値を有すると指定する。緊急度期日は、３０日以内に研究を完了するように設定される。ユーザーはまた、価値ありと見なす最小の効果量についての問い合わせを受ける。ユーザーは、少なくとも１０％の効果量が、関心対象となるために必要とされると指定する。
システムは最初に、２つの異なる計画に関連する機会費用が、問われている２つの問題（すなわち「モデルあり」対「モデルなし」、及び「モデルあり」と時間帯との相互作用）に対する回答に関してユーザーによって設定される価値の閾値を下回るか否かを評価する。
第１の分析は、「モデルあり」を使用する有効性を「モデルなし」と比較して評価する実験を行なう場合の、予測される機会費用の判定である。最初に、システムは、研究を完了するために使用することができる時間枠の集まりを定める。タイムスロットサンプルの特性を使用して、システムは、アップグレードのデータの分散を判定するために履歴データを使用し、ユーザーによって指定された量の有意な主効果（１０％）を見出すためのサンプルの数を決定する検出力分析を完了する。検出力分析は、信頼できる効果を見出すために１５０のサンプル（７５の「モデルあり」及び７５の「モデルなし」）が必要であると予測する。
このタイムスロットサンプルの集まりから判断して、システムは、その履歴データベースを使用して、これらの種々のタイムスロットサンプルに関しての、機械学習ルーチンを使用する期待報酬（機械学習ルーチンに関する期待報酬、この例示的な実施例では、ＥＲ（ＭＬＲ）で表される）についての予測を生成する。また、履歴データベースを使用して、システムは、アップグレードコンテンツを提示する場合の期待報酬（真実験に関する期待報酬、この例示的な実施例では、ＥＲ（ＴＥ）として表される）についての予測を作成する。この実施例での予測されるＥＲ（ＭＬＲ）は＄２０，０００であり、ＥＲ（ＴＥ）は＄１５，０００であると予測される。機会費用は、これら２つの予測の差異として算出される：
機会費用「モデルあり」＝ＥＲ（ＭＬＲ）−ＥＲ（ＴＥ「モデルあり」）
この場合には、機会費用（＄５，０００＝＄２０，０００−＄１５，００）（＄５，０００＝＄２０，０００−＄１５，００）は、コンテンツ内でのモデルの使用に関連する仮説に対しての回答の価値（＄１０，０００）を下回る。
次にシステムは、相互作用に関連する問題（午前と晩とで比較した、「モデルあり」と「モデルなし」との比較）に回答するための機会費用を考察する。午前及び晩の時間枠のみを含む、時間枠の第２のセットを考察する。ユーザーの入力（上述）により、相互作用の価値は＄３，０００である。それゆえ、この時間帯の制約を加えることが、実験の費用を＄３，０００を超えて増大させる場合には、ユーザーはこの事実に対する警告を受ける。相互作用の実験を生成する機会費用は、次のように計算される：
機会費用「相互作用」＝（ＥＲ（ＭＬＲ）−ＥＲ（ＴＥ「相互作用」））−機会費用「モデルあり」
このＥＲ（ＭＬＲ）は、午前及び晩の時間帯のみに関するＭＬＲ期待価値についての予測を作成する（他の時間帯は考慮しない）ことによって算出される。この場合には、ＥＲ（ＭＬＲ）は、＄２３，０００であると算出される。
履歴データベースを使用すると、これらの同じ期間の間にアップグレードコンテンツ材料を提示する場合の予測される期待報酬は、＄１６，０００である。それゆえ、相互作用の実験を実行する場合の、予測される機会費用は、＄２，０００（（＄２３，０００−＄１６，０００）−＄５，０００）である。初期分析は、相互作用の実験を実行する機会費用（＄２，０００）が、ユーザーによって指定された、回答の価値（＄３，０００）を下回ることを示す。
双方の問題に関する機会費用が、回答に対する価値よりも低いことから、システムは、ユーザーによって指定された３０日間の緊急度期間までに完了する、適切な相殺化及び無作為化を使用して研究の要件を満たす初期スケジュールを生成する。
データが収集されていくと同時に、システムは、検出力分析、及び研究の完了に必要なサンプルの数を、継続的に再評価している。更には、機会費用もまた、継続的に評価され、各問題に回答することに伴う予測される機会費用が、ユーザーによって指定された回答の価値よりも依然として低いままであるか否かを判定する。
この実施例では、研究３日目の後、小さな相互作用効果が存在するため、顕著な（及び意味のある）差異を生成するために大量のサンプルが必要となる（初期に見積られた２００のサンプルから、１０００のサンプルへ）ことが、相互作用の検出力分析によって示される。必要なサンプルサイズの増大は、ユーザーによって指定された相互作用の価値を上回る、相互作用に関する機会費用を生み出す（＄３０００の価値、及び＄１２，０００の予測される機会費用）。つまり、相互作用の効果量は非常に小さい。対照的に、「モデルあり」対「モデルなし」の主効果の効果量は非常に大きく、この主効果のみの実験を終了させるための予測される機会費用は、依然として回答の価値を下回る（＄１０，０００の価値、及び＄５，０００の予測される機会費用）。ユーザーは、有意な相互作用を見出すために付随する機会費用が、ここで研究の価値を上回るという事実に対する警告を受け、ユーザーは、相互作用の研究を継続する意向があるか、又は相互作用に対する回答を生成するための研究を単に行なうことを望むかについて問い合わせを受ける。
いずれの応答によっても、システムは新たなスケジュールを生成する必要がある。ユーザーが研究の継続を決定した場合には、スケジュールは、より大量のサンプルのセットを含まなければならない。ユーザーが、研究は継続するが、相互作用の研究を単に行なうことを決定した場合には、システムは、全ての時間帯（単に午前及び晩のみではなく）の間にコンテンツを含むように、コンテンツを再スケジュールする。
システムは、検出力分析の生成を継続し、統計的信頼性を有する研究を完了するために十分なサンプルが存在すること、及び回答を見出すための機会費用が、問題に関連する価値を上回らないことを確実にする。
本システムの他の実施形態としては、ユーザーによって提供される緊急度期日がないものが挙げられる。この場合には、システムは、実験を呼び出し（cue up）、特定の時間枠をこの実験のために使用するべきか否かを常に評価する。特定の時間枠を実験に割り振るべきか否かを自動的に判定するシステムのための１つの方法は、実験に関するその時間枠の価値を、ＭＬＲの場合と比較して導き出すことである。ＭＬＲに関して予測される期待報酬の算出方法は、上述のものと同じである。実験に関する時間枠の価値の算出方法は、実験（又は調査されている仮説）の価値を取得し、研究を遂行するために必要な、推定される時間枠の数（検出力分析を使用）で、その価値を除算することによって導き出される。実験を遂行するために必要な時間枠を考察しているとき、システムがこの計算を遂行する（実験に必要ではない時間枠は、ゼロの値を有する）。時間枠の価値が、ＭＬＲに関する期待報酬を超える場合には、システムは、その時間枠を実験に割り振る−さもなければ、その時間枠はＭＬＲに割り振られる。ユーザーは実験の進展を監視し、仮説の価値が増大を開始した場合には、ユーザーは、その価値を修正して、システムが研究を完了させる速度を向上させることができる。別の実施形態では、ユーザーは、緊急度期日のみを指定し、仮説の価値を指定しなくてもよい。この条件下では、システムはスケジュールを指定し、緊急度期日の終了前に実験を遂行するための費用を最低限に抑えるスケジュールを、継続的に更新する。
本発明の実施形態は、因果関係実験に関する１つ以上の仮説に関連するデータ、及び１つ以上のビジネス目標に関連するデータの、ユーザーによる入力を容易にする、システム並びに方法を目的とする。これらのデータ及び他の必要なデータを入力した後、例えば、図２９〜図３３を参照して上述したものなどの本発明のプロセスを実行して、再生リストのスケジュールの各時間枠、及びディスプレイのネットワークの各ディスプレイに関し、システムがネットワークの効用を最大化するように作動して、ユーザーの入力データによって示されたユーザーの要件を達成することを確実にする。ユーザーには、これらのプロセスへの関与が所望されない限り、更なる関与は必要とされない。ユーザーは、任意の時点で、ネットワークディスプレイの状態を判定するために、システムに問い合わせを行なうことができ、また様々な解像度で―所望であれば、時間枠毎に（例えば、ＴＳＳ毎に）まで粒度を下げて、それを行なうことができる。ユーザーは、例えば、実験を終結させることによって、あるいは探索ルーチン及び／又は活用ルーチンへ割り振られる時間枠の量を増大させることなどによって、これらのプロセスに対する変更を実施することができる。
前述のように、因果関係実験システムを除外した本発明の実施形態により、機械学習システムを実施することができる。本発明の実施形態によれば、機械学習システムは、好ましくは、本明細書に記載される種類のデジタル看板ネットワークを使用して実施される。再生リストのスケジュールの時間枠は、特定の機械学習ルーチンに従って、ＤＳＮネットワークの各ディスプレイ上に様々なコンテンツを提示するために割り振られる。１つ以上の有効性評価尺度（例えば、購買時点売り上げ、アップグレード、顧客忠誠心など）を最大化するようにコンテンツ配信パターンを最適化するためのＭＬＲアルゴリズムに従って、コンテンツが配信され、データが収集される。様々な種類のＭＬＲシステムを実施することができ、それらのシステムとしては、とりわけ、強化学習ルーチン、ロジスティック回帰ルーチン、教師なし学習ルーチン、半教師ありルーチン、伝達ルーチン、遺伝子アルゴリズム、サポートベクタールーチン、及び学習のための学習ルーチンを実行するように構成されたもの、並びに１つ以上のニューラルネットワークを使用するものが挙げられる。
様々な実施形態により、ＭＬＲは、いずれの因果関係実験も伴わずに遂行することができる。これらの条件下では、因果関係実験に要求される制約は、ここで取り除くことができる。より具体的には、特定の時間枠の間に提示されるコンテンツを考察する場合、ＤＳＮシステムは、そのコンテンツが因果関係実験に交絡する可能性を有するか否かを考慮しなくてもよい。それゆえ、ＭＬＲが因果関係実験を伴わずに行なわれている場合、ＭＬＲは、それが有するコンテンツの全て（例えば、探索コンテンツ、活用コンテンツなど）を自由に考察することができる。本発明の実施形態による、因果関係実験を除外してコンテンツ最適化ルーチンを実施するための代表的プロセスとしては、例えば、図９のブロック９２〜ブロック９８に示すものが挙げられる。
因果関係実験を伴わずにＭＬＲルーチンを用いるシステム及び方法の、他の代表的な実施形態は、タイムスロットサンプルを使用するものである。これらの実施形態により、システムは、顧客が潜在的にディスプレイ看板を見て、最終的に、そのディスプレイによって提示されるコンテンツに従って行動し得る時間に関連する、視聴者訪問持続時間（ＶＶＤ）によって定義されるＴＳＳに、コンテンツを割り当てる。ＴＳＳを定義するための方法は、本明細書に記載される。特定のＴＳＳに関して、ＭＬＲは、コンテンツが因果関係実験に交絡するか否かを考慮することなく、コンテンツを選択する。次いでＭＬＲは、例えば、図９のブロック９２〜ブロック９８に示すように、必要なアルゴリズムを実行する。
以下の説明は、本発明の実施形態による、因果関係実験を実施するための詳細を、主として目的とする。主に因果関係実験を説明するが、以下の説明の多くの態様は、本明細書で上述した実施形態などの、機会学習システムの実施に対して適用可能、又は適応可能である。前置きとして、２つの主要なリサーチのクラス、すなわち実験的なリサーチのクラス及び非実験的なリサーチのクラスが存在する。因果関係実験を伴う本発明の実施形態は、「真」実験的リサーチを遂行するためのシステム及び方法と、独立した効用及び有用性を有する、そのようなシステム及び方法のサブシステム並びにサブプロセスとを、一般に目的とする。しかしながら、本明細書で説明する本発明のシステム及びプロセスは、真実験の一部として使用されるとき、特定の有用性を見出すものであるが、本明細書で説明するシステム、プロセス、及び方法論の多くは、真実験との関連以外で、有用性及び価値を見出す。
例えば、真実験の一部として説明するシステム及びプロセスの様々な態様（例えば、サブシステム及びサブプロセス）は、準実験、相関的研究、又は他の形態の非実験的リサーチにおいて実施されてもよい。本明細書で説明する様々なシステムの態様及び方法論を実施することで、真実験的でないシステム及び方法論の効率並びに精度を著しく改善することができる。したがって、本明細書で説明するプロセス、方法論、システム、及び装置は、真実験的リサーチとの関連でのみ使用するように限定されるものではなく、非実験的若しくは準実験的リサーチ、及び相関的研究などの、他の形態のリサーチにおいて有利に使用され得ることを理解されたい。
実験は、典型的には、２つ以上の変数の間に関係が存在するか否かを経験的に判定するために遂行され、また典型的には、１つ以上の独立変数と１つ以上の従属変数との間に関係が存在すると仮定する１つ以上の仮説を形成することで始まる。例えば、製薬会社の研究者は、患者が服用する新薬の量が患者の血圧に関連するという仮説を生成することがある。様々な種類の実験は、それらの実験で交絡変数の影響を減じるか又は除去することができる方式及び程度によって区別され得る。交絡変数は、独立変数の水準と共に系統的に変動し得る要因である。しかしながら、「真実験」によってのみ因果関係を経験的に判断し得るのであり、それゆえに、例えば、食品医薬品局は、新薬の有効性に関するデータを提供するために「真実験」を使用することを要求している。
独立変数とは、実験中に実験者によって定義又は操作される変数であり、例えば、患者に投与される薬の量及び／又は頻度である。従属変数とは、患者の血圧などの、独立変数の値によって予測されると仮定される変数である。次いで、実験者は、実験を遂行して、製薬実験において患者に投与される薬の量が患者の血圧に関連するか否かなど、独立変数と従属変数との間に実際に関係があるか否かを判定する。
交絡変数もまた、従属変数に影響を与える場合がある。これらの交絡変数は、実験における主要な関心対象ではないが、従属変数に影響を与え、したがって、独立変数と従属変数との正確な因果関係を曖昧にする場合がある。実験者は、独立変数と従属変数との因果関係を理解しようと試みているが、これらの交絡変数が、実験の結果を解釈不能なものにする恐れがある。交絡変数の一部の例としては、ホーソーン効果、順序効果、ロケーション間の交絡及びロケーション内の交絡などの持ち越し効果、需要特性、並びに／又は、例えば、上述の製薬実験における被験者の体重など、独立変数の水準と共に系統的に変動し得る任意の他の要因が挙げられる。
交絡変数は、いずれの要因（変数）が、観測された従属変数の変化を引き起こしたのかを知ることを困難に又は不可能にする。実験中に適切に制御されない交絡変数が存在することは、独立変数と従属変数との因果関係についての統計的推論を作成することを、困難に又は不可能にする。
様々な種類の実験は、それらの実験で交絡変数の効果を減じるか又は除去することができる方式及び程度によって区別され得る。因果関係を確実に明らかにする唯一のリサーチ方法論は、真実験である。「真実験」という用語は、以下の３つの特性が存在しなければならない実験を意味する。
１．少なくとも２つの水準の独立変数が存在する。
２．サンプルは、独立変数の水準に対し、無作為に割り当てられる。つまり、実験における各サンプルが、独立変数の水準に対し、均等な可能性で割り当てられる。
３．交絡を制御するか又は除去する、何らかの方法が存在する。
上記の３つの特性のいずれかを欠く実験は真実験ではなく、多くの場合、準実験又は相関計画と呼ばれる。真実験によってのみ、独立変数と従属変数との因果関係に関する統計的推論を引き出すことが可能になる。準実験及び相関計画によって、独立変数と従属変数との関係を確立することが可能となる場合があるが、それらの関係が因果的であるか否かを判定することは不可能である。様々な種類の実験計画（真実験を含む）が、例えば、Campbell, D.T. 及び Stanley, J.C. の「Experimental and Quasi-Experimental Designs for Research」、Rand McNally（１９６３）で説明されている。
物理的環境内のデジタル看板ネットワークのディスプレイ上にコンテンツを配信することは、インターネットドメイン内には存在しない交絡の可能性が豊富にある。物理的環境において、人々は従属変数データ（例えば、販売時点つまりＰＯＳログ、満足度調査の回答、センサーイベント）を生成しているが、人々が曝された可能性のある独立変数（例えば、ディスプレイ上のコンテンツ）の水準に従属変数データを結び付けることは困難である。消費者は店をさまよい、ディスプレイ又はディスプレイ上に再生されているコンテンツに気付くことも気付かないこともある。更に、再生されるコンテンツは、消費者が視聴範囲内にいる間に変化し、したがって独立変数の複数の水準に消費者を曝し得る。更に、変化するホテル利用率又は季節的な気温変動などの、おおよそ予測可能な変数から、競合するマーケティング販売促進及び道路工事などの、予測不可能なものまで、多数の他の変数が従属変数データに影響を及ぼし得る。
物理的環境内の２種類の交絡が、極めて困難な測定に関する課題を提示する。それらの交絡は、ロケーション間の交絡及びロケーション内の交絡であり、またロケーション間の持ち越し効果及びロケーション内の持ち越し効果とも呼ばれる。ロケーション内の持ち越し効果及びロケーション間の持ち越し効果の双方を有することもあり得る。ロケーション内の持ち越し効果は、ある実験条件の間（例えば、対照コンテンツが表示されている間）に存在した視聴者が、異なる実験条件の間（例えば、実験コンテンツが表示されているとき）に依然として存在する場合に生じる。ロケーション間の持ち越し効果は、あるロケーションにいる視聴者が、異なるロケーションでのコンテンツに従って行動する場合に生じる。
本発明の実施形態は、通信されているコンテンツと受け手に対するその有効性との間の因果関係の存在を判定し、その因果関係の強度を測定するための方法及びシステムに関する。本発明の実施形態により実施される方法及びシステムは、通信コンテンツの配信、及び配信された通信コンテンツの有効性の査定を促進し、また上述のように、コンテンツ配信パターンの自動的な最適化を促進して、投資回収率又は他の予め規定されたビジネス目的を最大化する。本発明の実施形態は、配信パターンによってコンテンツの有効性を測定することが可能となるような方式での、通信コンテンツの配信を提供する。本発明の実施形態は、交絡の制御及び／又は除去のための、通信コンテンツが配信されるパターン（すなわち、タイミング及びロケーション）の系統的な制御を提供する。
通信コンテンツは、視覚形態若しくは聴覚形態、又は人間の感覚系（例えば、視覚及び聴覚の他に、触覚、味覚、及び嗅覚を含めた人間の感覚系の五感）に影響を与え得るか又は人間の感覚系によって感知され得る任意の形態を含め、多くの形態を取ることができる。通信コンテンツは、静的であっても、動的であっても、又はそれらの組み合わせであってもよい。
通信コンテンツの配信は、例えば、電子的に、光学的に、音声放送によって、又は静的若しくは動的画像を介して図式的に若しくは絵画的に達成することを含め、多数の方式で達成することができる。通信コンテンツは、小売り店、銀行、ホテル、空港、道路、鉄道、及び他の公共空間若しくは私設空間を含め、様々な物理的環境に対して、またそれらの物理的環境内で配信することができる。通信コンテンツは、静止式若しくは移動式の構造、装置、及びシステムを介して提示することができる。
本発明の実施形態によれば、コンピュータ実施されるシステム及び方法は、タイムスロットサンプルの生成をもたらし、各タイムスロットサンプルには、クロックタイムが割り当てられる。各タイムスロットサンプルは、コンテンツを割り当てることができる、タイムスロットサンプル持続時間と呼ばれる指定された持続時間、及び割り当てられたコンテンツの効果を測定するためのデータ収集期間を有する。タイムスロットサンプルのデータ収集期間は、従属変数データが収集される時間枠である。他の実施形態によれば、コンピュータ実施されるシステム及び方法は、割り当てられたコンテンツ小片の効果を測定するために、ディスプレイ上に表示する目的で、タイムスロットサンプルへのコンテンツ小片の割り当てを提供する。
本発明の実施形態は、通信コンテンツの配信、及び真実験の制約に整合するそのようなコンテンツの有効性の査定を提供する。本発明の実施形態は、コンピュータ実施されるプロセスで使用するために、真実験の制約と整合する通信コンテンツを表示するための規則を提供することを目標とする。この規則は、時間ベース型であってもイベント駆動型であってもよく、好ましくは、持ち越し効果などの交絡を制御するか又は除去する。通信コンテンツは、それらの規則に従って表示される。通信コンテンツの有効性に関するデータが収集され、通信コンテンツの有効性は、その収集されたデータに基づいて評価される。
本発明の実施形態は、配信パターンが、コンテンツの効果を測定するための真実験の制約を満たすように、１つ以上のディスプレイ全体にわたってコンテンツをアルゴリズム的に配信することを目的とする。デジタル看板ネットワーク又はインターネットなどの、通信コンテンツの配信ネットワーク上で真実験を遂行することによって、通信コンテンツとビジネスの成功の測定値（例えば、売り上げ、センサーイベント、調査データなど）との因果関係の存在が判定され、その因果関係の強度が測定される。
本発明の実施形態は、コンテンツ提示パターンが実験計画に正確に対応するように、アルゴリズムを用いて看板コンテンツを自動的にスケジュールし提示する。アルゴリズムの出力は、実験条件に対応するように従属変数データを分解するための基底として使用することができる。
例えば、デジタル看板ネットワークは多くの課題を提示するが、そのようなネットワークはまた、放送テレビ若しくはケーブルテレビ、ラジオ、及び出版などの、他のメディアと比べて、実験に関する理想的条件を提供する。例えば、テレビ及びラジオに関し、広告主は、どのテレビに自身の宣伝が再生されるかを制御する（すなわち独立変数を操作する）ことができず、また、製品売り上げに対する宣伝の直接的な効果を測定する（すなわち、従属変数に対する独立変数の効果を測定する）ことができない。ほとんどのマーケティングリサーチの方法論は、これらのメディアモデルから発展してきたので、マーケットリサーチャーは、真実験を遂行する可能性を見逃してきたように思われる。
更なる例として、デジタル看板ネットワークによって、広告コンテンツを正確にスケジュールすること（すなわち、独立変数を正確に操作する能力）が可能となる。また、ディスプレイは通常、製品の近くにあるか、あるいは行動の変化が測定され得る環境内にあるため、コンテンツに起因する行動の変化を測定することが可能である（すなわち、従属変数に対する独立変数の効果を測定することが可能である）。また、目的に対する成功度を評価するために使用されるデータは、典型的には、実験内で容易に使用され得る形態で既に収集されたものである。
本発明の方法論によれば、独立変数は、好ましくはデジタル看板コンテンツであり、また、従属変数は、ビジネス関連の任意の測定値（例えば、売り上げデータ、センサーデータ、調査データ）とすることができる。本発明のシステム及び方法を使用すると、交絡を統制し除去するために、デジタル看板コンテンツがデジタル看板ネットワーク全体に配信されるパターン（すなわちタイミング及びロケーション）を系統的に制御することが可能となる。
本発明の様々な実施形態との関連において、独立変数は、戦略的メッセージ、又は更に、主調色若しくは写真画像の使用のような実行要素などの、コンテンツの特性に対応する。少なくとも２つの水準の独立変数が常に存在する。すなわち、双方が実験コンテンツであるか、又は一方の水準が実験コンテンツであり、もう一方が対照コンテンツであるかのいずれかである。実験コンテンツとは、従属変数に影響を与えると仮定されるコンテンツ（臨床薬の試行実験において試験される薬に類似したもの）である。対照コンテンツとは、従属変数に影響を与えないと予想される任意のコンテンツ（臨床薬の試行実験におけるプラシーボに類似したもの）である。独立変数を操作することは、実験コンテンツ又は対照コンテンツのいずれかを、種々の時間及び種々のロケーションで看板上に提示されるように割り当てることを伴う。種々の水準の独立変数が、種々の看板及び種々のロケーションに無作為に（後述のように制約付きで）割り当てられる。従属変数は、コンテンツによって影響を受けると仮定される任意の変数（例えば、売り上げデータ、購入前の行動を測定するセンサーデータ）とすることができる。
交絡変数は、上述のように、従属変数に影響を与え、したがって、独立変数と従属変数との間の正確な因果関係を曖昧にする場合がある。実験が、例えば二重盲検であり、適切な無作為化がなされている場合、考えられる交絡のカテゴリは２つしかなく、それは上述の持ち越し効果（例えば、ロケーション間及びロケーション内の交絡）、及びコンテンツの交絡である。
コンテンツの交絡は、同じ従属変数に関する複数バージョンの実験コンテンツが、従属変数の測定値が測定されている同じタイムスロットの間に再生される場合に生じる。そのような場合には、どのコンテンツが、観測された従属変数の変化の根底にあるかを知ることが不可能となる。これらの種類の交絡は、所定のタイムスロット内で、１つのみの実験コンテンツ及び／又は１つのみの対照コンテンツを確実に提示することによって除去することができる。
前述のように、持ち越し効果は、視聴者が、ある実験条件に対応するあるタイムスロットの間にコンテンツを観察し、そのコンテンツに従って、異なる実験条件に関連付けられるタイムスロットの間に行動することが可能である場合に生じる。ここでも、そのような場合には、どのコンテンツが、観測された従属変数の変化の根底にあるかを知ることが不可能となる。ロケーション内の持ち越し効果は、ある実験条件の間（例えば、対照コンテンツが表示されている間）に存在した視聴者が、異なる実験条件の間（例えば、実験コンテンツが表示されているとき）に依然として存在する場合に生じる。ロケーション内の交絡は、コンテンツを割り当てることができるタイムスロットサンプルが十分に長くなるようにして、タイムスロットサンプルの一部（例えば、タイムスロットサンプルの半分）の間に、視聴ロケーションに存在する視聴者の大多数（例えば、９５％）が、先行のタイムスロットサンプルの間に存在しなかったことが確実となるようにすることによって制御することができる。この場合、データは、好ましくは、先行のタイムスロットサンプルの間に存在した視聴者の大多数がそのロケーションを去った、タイムスロットサンプルの部分の間にのみ記録される。
代替的手法は、タイムスロットサンプルの間に記録されたデータの大部分又は全てを使用するが、タイムスロットサンプルの開始部分と比較して、タイムスロットサンプルの終了部分に向かってより大きくデータを重み付けすることを伴う。更には、依然として存在するロケーション内のいずれの持ち越し効果（例えば、試験コンテンツの両バージョンに曝された５％以下の消費者から生じるもの）も、コンテンツが提示される順序を相殺化する（例えば、コンテンツＡがコンテンツＢに続くのと同じ程度の、実験全体での頻度で、コンテンツＢがコンテンツＡに続くようにする）ことによって除去することができる。
ロケーション間の持ち越し効果は、あるロケーションにいる視聴者が、異なるロケーションでのコンテンツに従って行動する場合に生じる。ロケーション間の持ち越し効果は、互いに妥当な移動距離内にあるロケーションが、それらのロケーションで再生されるコンテンツに制約を受けるようにして、ある実験条件が有効である間にあるロケーションを去り、近くのロケーションに行き、他の実験コンテンツが有効である間に従属変数に影響を与えるように行動することが不可能となるようにすることによって除去することができる。
最適化要因によるブロック化、及びノイズ変数によるブロック化という２種類のブロック化を、種々の理由により用いることができる。最適化要因は、コンテンツの有効性に対して影響を与え得る、看板のロケーションにおける要因である。そのような要因としては、看板のロケーション、環境照明、視聴者の社会経済的地位、時間帯などが挙げられる。これらの要因によってブロック化すると、要因分析によって、コンテンツと最適化要因との相互作用を測定する（例えば、コンテンツＡが午前中により効果的であるのか、一方、コンテンツＢが晩により効果的であるのか、を測定する）ことが可能になる。ノイズ変数によるブロック化を使用して、予測可能ではあるが実験に関しては関心対象ではない従属変数に影響を与える要因に関連付けられる変動性を除去することによって、統計的検出力を増加させることができる。
真実験の制約と整合する方式での、通信コンテンツの配信及びそのようなコンテンツの有効性の査定を目的とする代表的な実施例を、以降に記載する。これらの例は、単に説明の目的で示されるものであり、開示される原理の範囲又は応用を限定するものではない。むしろ、印刷メディア、携帯通信装置又は無線通信装置、インターネットでアクセスされるコンテンツ及び装置（固定型及び携帯型（例えばハンドヘルド型）の装置を含む）、店内用及び屋外用（例えば電光掲示板）の表示システムに関係するものを含め、多種多様なメディア並びに通信配信の機構及び方法論が企図される。また、例えば、広告コンテンツ、教育コンテンツ、経路探索（way finding）コンテンツを含め、そのような機構及び装置を通じて通信され得る多種多様なコンテンツも企図される。
本明細書で説明する自動化された実験計画の方法論は、概してデジタル看板の応用例に重点を置いているが、そのような方法論は、とりわけ、ウェブページの計画、インターネット広告、購買時点の印刷マーケティング、及びダイレクトマーケティングを含め、多数のマーケティング通信の方策に適用することができることを理解されたい。例えば、参考として本明細書に組み込まれる米国特許第６，９３４，７４８号、及び同第７，１３０，８０８号に開示されるシステムなどの、インターネット分析の方法又はウェブベースの自動化された実験システムを、本発明に従って修正し、真実験計画又は真実験の制約を有するサブプロセスの実施を提供することができる。
本発明の態様は、配信されるコンテンツの効果を実験的に測定することを目的とするものではないが、契約上の義務の履行などの他の制約に基づくコンテンツ配信を伴う、自動コンテンツ配信のシステム及び方法に組み込むことができる。そのようなシステム及び方法の例が、参考として本明細書に組み込まれる米国特許出願公開第２００６／０２８７９１３号に開示されている。そのようなシステム及び方法では、コンテンツ配信を実行する一方で、本発明に従って、配信されたコンテンツの有効性を同時に測定することができる。
以下の非限定的なシステム及び方法論の実施例は、本発明の様々な実施形態を説明する。一部の実施例は、真実験の制約と整合する通信コンテンツの有効性を測定することを容易にするシステム及びアルゴリズムを目的とする。一部の実施例は、交絡を制御し、除去する（又は著しく低減する）ための、通信コンテンツが配信されるパターンの制御を容易にするシステム及びアルゴリズムを目的とする。一部の実施例は、準実験分析及び相関的研究などにおける、コンテンツの有効性の非実験的分析を容易にするように実施することができるシステム及びアルゴリズムを目的とする。
本発明の様々な実施形態によって、実験条件に対応するように従属変数データが自動的に分解される。図３４Ａは、真実験の制約と整合する通信コンテンツの表示に関する規則の提供（３１０）を伴う実施形態を示す。一部の実施形態では、これらの規則の提供（３１０）は、真実験の制約と整合するそのような規則の作成を伴う。他の実施形態では、事前に作成された規則が、真実験の制約と整合する通信コンテンツの表示を提供するシステムに、提供される。図３４Ａに更に示すように、通信コンテンツは、規則に従って表示される（３１２）。通信コンテンツの有効性に関するデータが収集され（３１４）、通信コンテンツの有効性が、その収集されたデータに基づいて評価される（３１６）。
図３４Ｂは、デジタル看板コンテンツの自動的なスケジュール作成及び提示を特に目的とする実施形態の図である。図３４Ｂに従って、真実験の制約と整合する通信コンテンツを表示するための再生リスト及びスケジュールが提供される（３１１）。再生リストとは、個々のコンテンツ小片の順序を指し、スケジュールが、再生リストによって定義されたもののようなコンテンツ小片の再生を指示する。
一部の実施形態では、再生リスト及びスケジュールの提供（３１１）は、真実験の制約と整合する再生リスト及びスケジュールの作成を伴う。他の実施形態では、事前に作成された再生リスト及びスケジュールが、真実験の制約と整合する通信コンテンツの表示を提供するシステムに提供される。通信コンテンツは、デジタル看板システム全体にわたって配信される（３１３）。通信コンテンツは、再生リスト及びスケジュールに従って、デジタル看板システムのディスプレイ上に表示される（３１５）。通信コンテンツの有効性に関するデータが収集され（３１７）、通信コンテンツの有効性が、その収集されたデータに基づいて評価される（３１９）。
１つ又は複数の処理装置（例えば、ＰＣ、ミニコンピュータ、ネットワークプロセッサ、ネットワークサーバなど）を使用して、図３４Ａ〜図３４Ｂ及び本開示の他の図に示すプロセスのうちの１つ、いくつか、又は全てを実行し得ることを理解されたい。例えば、第１のプロセッサ又は第１のプロセッサのセットを、再生リスト及びスケジュールの作成に使用することができる。第２のプロセッサ又は第２のプロセッサのセットを使用して、１つのロケーションに、又はデジタル看板システム全体に、コンテンツを配信することができる。第３のプロセッサを使用して、再生リスト及びスケジュールに従ってコンテンツを表示し、一方で、第４のプロセッサを使用して、コンテンツの有効性に関するデータを収集することができる。第５のプロセッサを使用して、収集したデータに基づいてコンテンツの有効性を評価することができる。一部の実施形態では、これらのプロセス及び本明細書で論じられる他のプロセス（例えば、機械学習システムに関連するもの）は、１つ以上のプロセッサによって実施することができ、これらのプロセッサはネットワーク化されることにより、それらのネットワークの一部又は全体の間での通信を達成することができる。
他の実施形態では、そのようなプロセスのうちの一部又はそれぞれは、それらの間で通信を達成するようにネットワーク化されていないか、あるいは連結されていないプロセッサによって、実施することができる。例えば、第１のプロセッサは、再生リスト及びスケジュールの作成を実施するためのプログラム命令のセットを実行するように構成することができ、一方で第２のプロセッサは、１つ又は多数のディスプレイ装置にコンテンツを配信するためのプログラム命令のセットを実行するように構成することができる。特に指定のない限り、本明細書及び特許請求の範囲で使用する用語、プロセッサ、コンピュータ、又はモジュール（並びにそれらの変形形態）は、単一のプロセッサ、一部又は全てが通信可能に結合され得る複数のプロセッサ、互いに通信可能に結合されていない異種のプロセッサ（サブネットワークの１つ）、及び処理リソースの他の構成を想到する。
図３５、図３６Ａ、及び図３６Ｂは、本発明の実施形態による、真実験の制約と整合する通信コンテンツをアルゴリズム的にスケジュールし提示することに関連するプロセスを示す。図３５は、本発明の実施形態による、通信コンテンツをアルゴリズム的にスケジュールし提示することに関連するネットワーク設定及びデータ集積を伴う様々なプロセスを示す。
図３５に示す例示的な実施例によれば、デジタル看板ネットワーク設定を設定することは、持ち越し効果などの交絡の制御、低減、及び除去を容易にするディスプレイのロケーションを決定することを伴う。例えば、ネットワークを設定することは、少なくとも既定の割合（例えば、９５％）の顧客が、実験コンテンツ又は対照コンテンツを表示する別のロケーションを訪問しなかったであろうロケーションを決定する（３３０）ことを伴い得る。９５％という値を選択することは重要ではない。しかしながら、より大きな値を選択するほど、結果が、コンテンツからの投資回収率の正確な総計を過小評価する可能性はより低くなることが理解される。９５％という値は、単に十分に大きいので、適切な相殺化を使用すれば、持ち越し効果の影響がほぼ存在しなくなる。
視聴者の大多数が、ある現場でメッセージを見る機会を持ち、そのメッセージに従って、異なる対照コンテンツ又は実験コンテンツを再生している別の現場で行動することがないようにすることが重要である。これが起こるという事例が、持ち越し効果という事例であり、持ち越し効果により、実験の結果が交絡し得る。例えば、自動車販売店内のディスプレイ上で実験を遂行している場合、いずれの販売店が、ある販売店内で視聴者がコンテンツを見て、実験に加わっている別の販売店内で自動車を購入し得るほど、互いに十分近接しているかを知ることが必要となる。これは、デジタル看板ネットワーク設定の一部として達成することができる。例えば、ネットワーク全体にわたって、視聴者がそれらの販売店を去った後にいかにも訪問しそうなロケーション（同じ地理的領域内の他の販売店）の全てを選択するように、ソフトウェアで設置者に促すことができる。
看板のロケーションに存在するネットワーク属性及び最適化要因は、好ましくは、デジタル看板ネットワーク設定の一部で定められる（３３２）。そのような要因は、ロケーションの従属変数の値に予測可能に影響を与える各現場の特性（例えば、店舗のサイズ、社会経済的な階級、他の広告努力、ロケーションにいる視聴者の典型的な数の時間帯による差）を含み得る。次いで、これらの要因は実験におけるブロック化要因となる。
ブロック化要因には２つのカテゴリが存在する。１つのカテゴリは、実験が相互作用に関して試験するものであり、かつ、どのコンテンツを表示するか（例えば、コンテンツＡは社会経済的地位（ＳＥＳ）の低い販売店でより効果的である可能性があり、一方でコンテンツＢはＳＥＳの高い販売店でより効果的である可能性がある）についての戦略的な判断に影響を与えるものである要因を含む。ブロック化要因のもう１つのカテゴリは、どのコンテンツを示すかに関して明確に影響を与えるものではないが、それにもかかわらず、実験の統計的検出力を増加させるためにブロック化するべき要因である。ここでも、これらの要因は、ソフトウェアのインストールプロセス及びその後の更新の間に指定することができる。
ネットワーク設定はまた、実験に関するサンプルサイズ要件を推定する（３３４）ことを含む。理想的には、統計的検出力分析を利用して、ビジネスの関心対象となる、少なくともある程度最低限の規模の統計的に有意な結果を見出すために、どれだけの量のデータが必要であるかを算出することが好ましい。
対照コンテンツ及び実験コンテンツが、ネットワーク設定の一部として定義される（３３６）。対照コンテンツ（すなわち、プラシーボ）は、局地的な天候若しくは報道、又は従属変数とは関連のない製品若しくはサービスについてのメッセージなど、所望の行動に影響を与えることを意図しない又は所望の行動に影響を与えそうにない任意のメッセージとすることができる。実験コンテンツは、従属変数の変化を引き起こすと仮定されるコンテンツである。状況によっては、ある仮説に関する実験コンテンツが、異なる仮説に関する対照コンテンツとして働き得ることに留意されたい。
ビジネスを遂行している現場で大多数の視聴者が過ごす最長持続時間に関するデータが得られ（３３８）、持ち越し効果を制御するために使用される。ロケーション持ち越し効果の除去又は制御に関するプロセスの実施例は、参考として本明細書に組み込まれる、２００８年７月２日出願の、同一出願人の米国特許出願第１２／１６６，９８４号に記載される。
図３６Ａは、本発明の実施形態による、通信コンテンツを配信し、そのようなコンテンツの有効性を査定することに関連する、ロケーションの持ち越し効果を制御（例えば、低減又は除去）するためのプロセスを示す。図３６Ａは、顧客の９５％が看板のロケーションで過ごす最長持続時間が３０分である場合の、ロケーション内の持ち越し効果を制御する方法を示す。この例示的な実施例では、コンテンツが再生されているタイムスロットサンプル３２２、３２４は、顧客の９５％がロケーションで過ごす最長持続時間の２倍である。
データの記録は、先行のタイムスロットサンプルの間に存在した顧客の９５％がその看板のロケーションを去るまで開始されない。この実施例では、データは、タイムスロットサンプル３２２、３２４の最後の３０分の部分３２３、３２５の間に記録されるのみである。各ロケーションに関する時間間隔は、好ましくは、従属変数データを測定することができる最小単位の時間によって表されることに留意されたい。例えば、一部の購買時点システムで収集される売り上げデータは数秒の単位で提供されるが、一方で、他のシステムは、数時間の単位にわたってのみ売り上げを報告する。図３６Ｂは、本発明の他の実施形態による、通信コンテンツを配信し、そのようなコンテンツの有効性を査定することに関連する、ロケーションの持ち越し効果を制御するためのプロセスを示す。
図３７は、本発明の実施形態による、真実験の制約と整合する通信コンテンツをアルゴリズム的にスケジュールし、提示することに関するプロセスを示す。図３７に示すプロセスは、本発明の実験計画及び実行プロセスの様々な行為を示す。図３７は、真実験の制約と整合する通信コンテンツのスケジュール作成及び提示を容易にする、多数の機能を組み込んだ総合的なシステムを示すことを意図したものである。図３７に示す機能の全てが、本発明のシステム及び方法論に組み込まれる必要はないことを理解されたい。図３７に示す選択された機能は、独立した応用例で利用されてもよく、又は本発明の実施形態による有用なシステム及び方法を提供するために他の機能と組み合わされてもよい。例えば、図３８Ａ〜図３９Ｂは、図７に示す機能の様々な有用な組み合わせを示す。図３７に示す機能の多くの組み合わせを、準実験システム、及び相関分析若しくは回帰分析又は人工ニューラルネットワークを用いるものなどの、非実験的なシステムで実施することができる。
図３７〜図３９Ｂ（及び上述の様々な機械学習の実施形態に関連する図）に示すプロセスの多くは、他のプロセス、システム（例えば、ＰＯＳシステム）、センサー（例えば、存在検知センサー）から受け取られる入力、又はとりわけユーザーから受け取られる入力を有する。これらの入力としては、有効性について試験されている各コンテンツ小片用の持続時間データ（ＣＤ）と、測定されている行動データ又は商取引データの変化をコンテンツが引き起こした場合に、コンテンツが関心対象ではないものとして視聴されるようになるまでの関心持続時間（ＤＩ）と、ペアワイズによるコンテンツ関連性データ（ＣＲ）（すなわち、コンテンツＡは、同じ行動データ又は商取引データにコンテンツＢとは異なる影響を与えると期待されるか）と、ペアワイズによるロケーション関連性（ＬＲ）（すなわち、視聴者がロケーションＡでコンテンツに曝され、上記の関心持続時間内にロケーションＢで行動し得る見込み）と、看板のロケーションに存在する最適化要因（ＯＦ）と、各コンテンツ小片用にいくつのタイムスロットサンプルが必要であるかに関する、任意選択であってもよい、最適化要因による推定サンプルサイズ要件（ＳＳ）と、ディスプレイが配置されている現場で特定の割合の標的視聴者（例えば、９５％）が過ごす最長持続時間（視聴者訪問持続時間、すなわちＶＶＤ）と、現場を訪問している間に標的視聴者が影響を与え得る関心対象データストリームに関するデータ収集／集約のための時間間隔（ＴＩ）と、ブロック化要因（すなわち、従属変数データを予測するが、それ自体はコンテンツの最適化に関しては関心対象ではない最も強力な要因）と、完全なプラシーボのコンテンツと、実験コンテンツとが挙げられる。
視聴者訪問持続時間は、指定された割合の視聴者があるロケーションで過ごす最長時間を表す重要なパラメータである。ＶＶＤは通常、個人があるロケーションで過ごす時間に影響を与える多数の要因に応じて、個別のＶＶＤの分布が存在することを理解した上で、多数の視聴者に関する個別のＶＶＤから算出される。ＶＶＤの精度は、ロケーションのサイズに応じて変化する。小さなロケーション、例えば小さな店舗は、コンテンツを見て、次いで数分以内にそのコンテンツに従って行動するための明確な機会を有することになる。
視聴者訪問持続時間は、期待されるＶＶＤに基づいてＶＶＤを推定することによるなどの、様々な方法で決定することができる。ＶＶＤの決定は、例えば、商取引データ、先売りデータ、センサーデータ（例えば、近接又は存在検知センサーのデータ）、及び観察データを含め、１つ以上の要因に基づいてもよい。ＶＶＤを決定するための他の手法を、以降に示す例示的な実施例で説明する。
一部の「視聴者」は表示されたコンテンツを見る（又は理解する）ことがないが、それにもかかわらず、広告された品目を購入する（測定されている行動に一般化される）可能性があることを理解されたい。他の視聴者は、コンテンツを見るが、広告された品目を購入せず、また他の視聴者は、コンテンツを見て、かつ広告された品目を購入する。この点で、本発明の方法は、表示されるコンテンツ（実験か対照か）の関数としての、測定される行動の相違を明らかにすることを目的とする。測定されているこの行動の相違はまた、ディスプレイのロケーション（例えば、ディスプレイを見る人がほとんどいない人目につかない隅か、全ての人がディスプレイを見る非常に人目を引く位置か）の関数でもあることに留意されたい。ディスプレイが、ほとんどの人に又は誰にも見られない場合、最も説得力のあるコンテンツ（本日、薄型テレビが無料!!!（FREE Flat Screen TVs Today!!!））は、測定される行動（無料のテレビを手に入れること）に関して、実質的に差異をもたらさない。
ロケーションは、その中で視聴者が独立変数の水準に（例えばデジタル看板コンテンツの形態で）曝され、かつ、独立変数に対応する従属変数データ（多くの場合、従属変数データは販売時点又はセンサーデータからなる）の変化を引き起こす物理空間を指す重要な用語である。多くの場合、小売り環境内のロケーションは、小売業者が所有する物理空間である。しかしながら、ロケーションが、小売業者の所有する空間の部分集合となる状況もある。例えば、ホテルのロビーがチェックインデスクの近くにディスプレイを有する場合を考察し、この場合、実験は、宿泊客が非標準の部屋にアップグレードする確率を高めるように計画された２つのデジタル看板コンテンツ小片の相対的有効性を試験する。この場合、視聴者はホテルのロビー内でのみコンテンツに曝され、視聴者が最初にホテルのロビーを訪れている間以外に非標準の部屋にアップグレードする見込みは非常に低いため、ロケーションはホテルのロビー区域となる（ホテル全体ではない）。したがって、これは、正確なＶＶＤが可能となる、制御された物理空間である。
例えば、街に１つの屋外ディスプレイと複数の小売り店があり、小売り店で消費者の行動が（例えば、街の１つの屋外ディスプレイ上に提示された広告製品を購入することによって）測定される場合、ＶＶＤはあまり正確ではなくなる。ショッピングモールの環境は、通常、正確なＶＶＤが可能となる制御されたロケーションと、上述の例示的な街の状況との中間あたりに属する。対照的に、最も制御された状況は、コンピュータディスプレイの前に座り、マウスクリック及び／又はキーストロークによってコンテンツに反応する（すなわち、行為としてコンテンツに従って行動する）人で代表されるロケーションであることに留意されたい。
前述のように、持ち越し効果は、独立変数のある水準の効果が持続するときに、同じ独立変数の別の水準の効果を測定しようと試みる場合に発生する。本発明の実施形態によってもたらされる、持ち越し効果の制御又は除去に対する解決策は、（１）独立変数の水準の変化と、（２）独立変数の水準の変化後のデータ収集との間に、十分な時間が経過するようにすることである。
デジタル看板コンテンツとの関連において持ち越し効果を確実に除去する１つの方法は、独立変数の水準の変化と変化の間、非常に長い期間待機すること、及び／又は、独立変数の水準の変化から従属変数データの収集まで非常に長い期間待機することである。例えば、独立の１つの水準のみを、一度に１週間以上の間、示すことが可能である。その場合、その週全体の間にデータを収集することにより、その週の間に収集されたデータ点の多くが、独立変数の別の水準（例えば、この実施例では「節約しましょう」）の影響を受ける可能性が少なくなる。しかしながら、そのような手法では、独立変数の水準が変化し得る時間にわたる事例の数が大幅に限定される。
当業者には明らかなように、実験から結論を出すことができる速さは、独立変数が操作され得る時間にわたる事例の数に直接関連する。本発明の実施形態は、有利にも、ＶＶＤ及びＴＩを入力として使用して、独立変数の水準の変化が生じる頻度を判定するものであり、したがって、独立変数の水準を可能な限り頻繁に変化させながら、持ち越し効果を制御するか又は除去することが可能となる。
再び図３７を参照すると、スケジュールは、タイムスロットサンプルに分解される（３４０）。スケジュールを分解することは、持ち越し効果を除去するために必須である。分解は通常、コンテンツの再生を指示するスケジュールにタイムスロットサンプルを割り当てることができるように、アルゴリズム的にスケジュールを分解することを伴う。
再生リストの作成（３４２）は、コンテンツ配信パターン（すなわち、コンテンツが再生されるタイミング及びロケーション）が実験の制約を満たすように、タイムスロットサンプルにコンテンツをアルゴリズム的に割り当てることを伴う。これは、例えば、実験コンテンツ及び対照コンテンツが交絡しないようにし（３４５）、ネットワークの最適化要因（すなわち、研究されている要因）によるブロック化（３４６）、制御され予測され得るが特に研究の関心対象ではない他の要因（すなわち、ノイズ要因）によるブロック化（３４７）を確実にする特定の制約付きでタイムスロットサンプルにコンテンツを無作為に割り当て、順序効果について相殺化し（３４８）、制御されない要因全体にわたって無作為化し（３４９）、ブロック全体でおおよそ等しい数のタイムスロットサンプルが存在するように計画が均衡化されるようにし（３５０）、既定のサンプルサイズ要件を満たす（３４４）ことによって達成され得る。
コンテンツは、再生リストスケジュールに従って配信される（３５２）。理想的には、このプロセス３５２及びそれに関連付けられるアルゴリズムは、コンテンツ管理ソフトウェアに組み込まれており、そのため、作成された再生リストスケジュールに従ってコンテンツを自動的に配信することができる。上述のアルゴリズム的プロセスのレポートが、好ましくは生成される（３５４）。このレポートは、好ましくは、どのコンテンツが提示されたか、及びそのコンテンツが、いつどこで提示されたかを識別する。このレポートはまた、どの従属変数データをコード化すべきか、並びにいずれかの最適化要因、ノイズ要因、及びブロック化要因が存在したか又は使用されたかを示し得る。また、アルゴリズムに影響を与えるプロセス又は性能に関連性のある、他のデータも、生成されるレポートに含めることができる。これら及び他のデータ／情報は、アルゴリズム的なプロセスのレポートを生成し得るように記録されることを理解されたい。このレポートは、好ましくは、いずれの従属変数を各タイムスロットサンプル内でコード化すべきか、並びにどの従属変数データを使用すべきか、又は持ち越し効果若しくは他の交絡によって起こり得る悪影響のためにどの従属変数データを破棄すべきかを指定する。
従属変数の測定値は、実験条件によって分解されるが（３５５）、これは生成されたレポートのデータを使用してもよい。例えば、従属変数データ（例えば、ＰＯＳ売り上げデータ）は、分析のために（及び／又は上述のもののような機会学習システムによる使用のために）、このデータが実験条件に従って自動的に分解され得るように、タイムスタンプ及びロケーションスタンプされることが好ましい。
図３８Ａは、本発明の実施形態による、タイムスロットサンプルの生成を伴う様々なプロセスを示す。図３８Ａにより、ディスプレイが配置される現場で標的視聴者が通常過ごす視聴者訪問持続時間を受け取る（３５３）。現場を訪問している間に標的視聴者が影響を与え得る関心対象データストリームに関するデータ収集又はデータ集約のための時間間隔（ＴＩ）を受け取る（３５７）。視聴者訪問持続時間及び時間間隔を使用して、タイムスロットサンプルに割り当てられるコンテンツの効果を測定するために必要とされる多数のタイムスロットサンプルを決定し（３５９）、各タイムスロットサンプルに関連するデータ収集期間を決定する。
本発明の実施形態は、図３８Ａに示すプロセスで例示されるように、本明細書でタイムスロットサンプルと呼ばれる「サンプル」を生成し、そのタイムスロットサンプルにコンテンツを割り当てて、割り当てられたコンテンツの効果を測定することができる。これらの「サンプル」及びそのようなサンプルを生成する方法論は、非常に価値のあるものであり、これらのサンプルの購入者に利用されてコンテンツの有効性を試験できる最終製品を意味するものである。
図３８Ｂは、本発明の実施形態による、タイムスロットサンプルにコンテンツを割り当てることを伴う様々なプロセスを示す。図３８Ｂにより、各コンテンツ小片を、実験コンテンツ小片、又は他のコンテンツ小片に対する対照コンテンツ小片として識別する、コンテンツ関連性データを受け取る（３６１）。図３８Ｂのプロセスは、実験コンテンツ小片又は対照コンテンツ小片を、コンテンツ関連性データを使用して、タイムスロットサンプルにアルゴリズム的に割り当てる（３６３）ことを更に伴う。特定のタイムスロットサンプルに割り当てられたコンテンツ小片は、その特定のタイムスロットサンプルに先行して割り当てられた実験コンテンツ小片と比較して、同一でない実験コンテンツ小片を除外する。
図３８Ｂに示すプロセスは、ある意味で、コンテンツの有効性に関する実験を遂行する速さ及び正確さを増すために使用することができる技術又はツール（例えば、ソフトウェア）を説明する。図３８Ｂに従って実施される技術又はツールは、コンテンツの有効性に関する実験の遂行を望む者に効用をもたらす、価値ある最終製品に相当する。類推の目的で、及び生物学的研究分野との関連で、例えばガン細胞に関する実験を遂行する速さと正確さを増すために、またそのような実験を遂行する費用を削減するために、ツールが開発され使用される。例えば、遺伝子解析の工程を自動的に制御するために、遺伝子解析ツールが開発されてきた。同様に、図３８Ｂに従って実施されるツール及び技術は、コンテンツの有効性に関する実験を遂行する速さと正確さを増すために、またそのような実験を遂行する費用を削減するために使用することができる。
図３８Ｃは、本発明の実施形態による、完全無作為化プロセスを使用してタイムスロットサンプルにスケジュールを分解するために使用することができるアルゴリズムの実施形態を示す。図３８Ｃにより、各ディスプレイに関する時間間隔（ＴＩ）の持続時間を定め、定量化する（３６２）。各ロケーションに関する視聴者訪問持続時間（ＶＶＤ）を決定する（３６４）。前述のように、ＴＩは、従属変数のデータを測定し得る最小単位の時間を表し、ＶＶＤは、規定の割合（例えば、９５％）の視聴者が、任意の１回の訪問の間にそのロケーションで過ごす最長時間である。
タイムスロットサンプル持続時間（ＴＳＳＤ）を、各ディスプレイのロケーションに関して決定する（３６６）。タイムスロットサンプル持続時間は、タイムスロットサンプルが存続する特定の持続時間である。ＴＳＳＤの間、種々の実験コンテンツ及び対照コンテンツが、好ましくは、交絡を生じる重複がないような方式で再生される。１つの手法によれば、また図３８Ｃのブロック３６８、ブロック３７０、及びブロック３７２に示すように、タイムスロットサンプル持続時間は、以下のように計算することができる。
ＴＩ≧ＶＶＤか
いいえ、である場合、ＴＳＳＤ＝ＶＶＤ＊２
はい、である場合、ＴＳＳＤ＝ＴＩ＋ＶＶＤ ［１］
上記の式［１］においてＴＩがＶＶＤ未満である（例えば、ＴＩが１秒である）場合、タイムスロットサンプル持続時間の半分が、先行のタイムスロットサンプルからのコンテンツのために存在しなかった視聴者を含むことに留意されたい。重要なことに、この後半の間（すなわち、この実施例ではＴＳＳＤのデータ収集期間）に収集されたデータのみが分析に含められ、相殺化と併せてこのことにより、持ち越し効果が除去される。
無作為化プロセスが引き続き行なわれることにより、時間間隔が無作為に選択される（３７６）。このアルゴリズムは、特定のロケーションのＴＳＳＤの少なくとも１つ分だけそのロケーションの開店時間よりも後に開始する、任意の「空いた」時間間隔を無作為に選択する。この状況での用語「空いた」時間間隔は、タイムスロットサンプルが未だ関連付けられていない時間間隔を指す。
タイムスロットサンプルは、無作為に選択されたＴＩの開始よりもそのロケーションのＴＳＳＤ１つ分だけ先に開始するように割り当てられる（３７７）。このプロセス３７６、３７７、３７８は、ＴＳＳを割り当てる合法なＴＩの残りがなくなるまで続く。タイムスロットサンプルは、先行して選択されたタイムスロットサンプルに包含されるタイムスロットサンプルは除外される（例えば、コンテンツが９：０１〜９：２０の間に既に再生されている場合、システムは９：０１〜９：２０を候補スロットに選択しない）という制約に従って選択されることに留意されたい。
図３８Ｄは、本発明の実施形態による、順次に生成されるタイムスロットサンプルにスケジュールを分解するために使用し得るアルゴリズムの実施形態を示す。図３８Ｄのプロセス３６２〜３７２は、図３８Ｃの対応するプロセスと同じである。図３８Ｃのプロセス３７６、３７７、及び３７８は、完全無作為のタイムスロットサンプル生成の方法論を示すものである。図３８Ｄのプロセス３８３、３７３、３７５、３７９、及び３８１は、順次的なタイムスロットサンプル生成の方法論を示すものである。
図３８Ｄの順次的なタイムスロットサンプル生成の方法論によれば、各ロケーションに対してタイムスロットサンプルを作成する（３７４）ことは、コンテンツが提示されるロケーションを選択する（３８３）ことを伴う。ロケーションの開店時間からのＴＳＳＤである第１のＴＩの開始を見出す（３７３）。このＴＩの開始よりもＴＳＳＤ１つ分だけ前に開始するように、ＴＳＳを割り当てる（３７５）。このプロセス３７３、３７５を、先行のＴＳＳＤの終了からＴＳＳＤ１つ分だけ離れた最近接のＴＩに関して、閉店時間に達する（３８１）まで繰り返す（３７９）。このＴＳＳ作成プロセス３７４を、選択された各ロケーション３８３に関して繰り返す。図３８Ｄに示す順次的方式でタイムスロットサンプルを生成することにより、一般に、ＴＩのより優れた利用効率が結果的にもたらされる。
コンテンツの有効性を評価するために必要な結果を素早く生じさせる別の手段は、コンテンツを示すことが可能なディスプレイをそれぞれが有する、ネットワーク上の複数のロケーションを使用する能力である。各ロケーションは、仮説を検証するためのデータ量を満たすために必要なタイムスロットサンプルを作り出していくことができる。一般に、データ生成率はロケーションの数と比例し、例えば、連係して動作する１０のロケーションは、単一のロケーションの約１０倍のサンプルを生成することができる。この構成により、コンテンツの有効性とディスプレイのロケーションとの間の相互作用について学習する可能性が追加されることになる。
また、本出願で開示する方法論では、種々の独立変数に関連するコンテンツが無関係のものであるという条件で、同じタイムスロットサンプルの間に複数の独立変数を同時に試験することも可能となる。これは、ある独立変数に関する実験コンテンツを、別の独立変数に関する対照コンテンツとすることができるためである。この技法を利用することで、複数のビジネス目的に対処する実験を同時に遂行することが可能であるため、実験の速さが更に増し、それゆえ、表示時間が、ビジネス目標を達成するために解放される。
図３８Ｅは、本発明の実施形態による、実験計画の再生リストを作成するために用いることができるアルゴリズムのプロセスを示す。図３８Ｅに示すアルゴリズムは、実験コンテンツ及び対照コンテンツが交絡しないようにすること（３８２）を伴う。図３８Ｅに示す手法によれば、各実験コンテンツ小片は、タイムスロットサンプルに無作為に割り当てられる。このプロセスは、従属変数に与える影響に関して互いに比較されている２つのコンテンツ小片が、同じタイムスロットサンプル内で決して再生されないようにする。
無作為な割り当てのプロセスは、対照コンテンツのみが、任意の実験コンテンツ小片と同じタイムスロットサンプルに割り当てられるという制約付きで繰り返される。これによって、ロケーションの交絡が存在しないようになる。ある仮説に関する実験コンテンツを、そのコンテンツが他の仮説に対する実験コンテンツの対照として機能し得るという条件で、別の仮説に関する実験コンテンツを既に含むタイムスロットサンプルに割り当てることは妥当であることに留意されたい。つまり、それらの仮説が直交性であるという条件で、２つの実験を一度に行なうことができる（また、上述のような１つ以上の機械学習ルーチンを更に行なうことができる）。
図３８Ｅのアルゴリズムは、最適化要因によってブロック化すること（３８７）を更に伴い得る。このことが、要因分析による、コンテンツと最適化要因との相互作用の測定を可能にする。図３８Ｅに示すアルゴリズムはまた、統計的検出力を増大させるためにノイズ要因によってブロック化すること（３８８）を更に伴い得る。これらのプロセスは、好ましくは、主効果及び相互作用効果のサンプルサイズ要件が満たされ、計画が均衡化されるまで、タイムスロットサンプルにコンテンツを割り当て続ける。このアルゴリズムは、順序効果に関する相殺化（３８９）を更に提供し得る。各タイムスロットサンプル内で、個々のコンテンツ小片が表示される順序が、既知の技法（例えば、ラテン方格法）を使用して相殺化される。
図３８Ｆは、本発明の実施形態による、コンテンツの相対的有効性を試験するためにタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図３８Ｆに示すアルゴリズムは、実験コンテンツが未だ割り当てられていない、実験の始点と終点との間の任意のタイムスロットサンプルを選択する（５０２）ことを伴う。このアルゴリズムは、任意の実験コンテンツ小片を無作為に選択する（５０４）こと、及び選択したＴＳＳの全持続時間の間に再生するように、選択した実験コンテンツを割り当てる（５０６）ことを更に伴う。
ブロック５０２、５０４、及び５０６に示すプロセスを、実験システムの制御下の全タイムスロットサンプルが実験コンテンツで満たされるまで繰り返す（５０８）。アルゴリズムの出力のレポートを生成する（５１０）ことができる。このレポートは、図３７を参照して上述したものなどの、様々な情報を含み得る。タイムスロットサンプルが属性でタグ付けされる場合には、これにより、タイムスロットサンプルに割り当てられたコンテンツとタイムスロットサンプルの属性との間に見出されるいずれかの相互作用に基づいて、仮説を生成することが可能となり、データの予備分析が可能となることに留意されたい。
多くの実験的状況下では、独立変数の各水準を、同じ数のサンプルに割り当てることが望ましい。図３８Ｇは、各実験コンテンツ小片が同じ数のタイムスロットサンプルに割り当てられるように、本発明の実施形態による制約付き無作為化プロセスを使用して、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図３８Ｇに示すアルゴリズムは、実験コンテンツが未だ割り当てられていない、実験の始点と終点との間の任意のタイムスロットサンプルを選択する（５２０）ことを伴う。このアルゴリズムは、任意の実験コンテンツ小片を無作為に選択する（５２２）こと、及び選択したＴＳＳに、選択した実験コンテンツを割り当てる（５２４）ことを更に伴う。
ブロック５２０、５２２、及び５２４に示すプロセスを、各実験コンテンツ小片が同じ数のタイムスロット（time-share）サンプルに割り当てられる（５２６）という制約付きで繰り返す（５２６）。前述のように、アルゴリズムの出力のレポートを生成する（５２８）ことができる。
一部の実験的状況下では、実験は、手動で若しくは市販品の統計ソフトウェアを使用して、又は例えば以降で説明するようなエキスパートシステムを使用して計画されていてもよく、エキスパートシステムを使用する場合、様々な実験コンテンツ及び対照コンテンツのサンプルサイズ要件が指定されている。図３８Ｈは、サンプルサイズ要件を確実に満たすための、本発明の実施形態による、そのようなサンプルサイズ要件を入力として受け取り、制約付き無作為化プロセスを使用して、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図３８Ｈに示すアルゴリズムは、全てのコンテンツサンプルに関して必要なタイムスロットサンプルの数を無作為に選択する（５４０）ことを伴う。このアルゴリズムは、選択したコンテンツサンプルに実験コンテンツを無作為に割り当てる（５４２）ことを更に伴う。サンプルサイズ要件が満たされたために必要とされなかった残余のタイムスロットサンプルは、いずれかの仮説を試験するためではなく、業績のために最適化されたコンテンツで満たされてもよいことに留意されたい。
図３８Ｉは、本発明の実施形態による、完全無作為化プロセスを使用して、ただし最適化要因の制約を加えて、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。最適化要因の制約は、等しいサンプルサイズのプロセス又は規定のサンプルサイズのプロセスに対して、類似した方式で加えることができる。各コンテンツサンプルは、好ましくは、そのコンテンツサンプルが関連付けられる最適化要因を識別するメタデータを有し、タイムスロットサンプルもまた、どの最適化要因がタイムスロットサンプルに関連付けられるかを識別するメタデータを有することに留意されたい。
図３８Ｉに示すアルゴリズムは、任意の（第１の）実験コンテンツ小片を無作為に選択する（５５０）こと、及び実験の始点と終点との間の任意の（第１の）タイムスロットサンプルを無作為に選択する（５５２）ことを伴う。無作為に選択された（第１の）実験コンテンツ小片が、選択された（第１の）タイムスロットサンプルに割り当てられる（５５４）。
図３８Ｉのアルゴリズムは、先行して選択された（第１の）タイムスロットサンプルとは異なる最適化要因の水準を有するという制約付きで、別の（第２の）タイムスロットサンプルを無作為に選択する（５５６）ことを伴う。選択された（第１の）実験コンテンツ小片が、この（第２の）選択されたタイムスロットサンプルに割り当てられる（５５８）。上述のＴＳＳ選択プロセスは、選択された（第１の）コンテンツ小片が、最適化要因の全ての水準で、１つのＴＳＳに割り当てられるまで繰り返される（５６０）。
図３８Ｉのアルゴリズムは、任意の（第２の）実験コンテンツ小片を無作為に選択する（５６２）こと、及びこの次の（第２の）実験コンテンツ小片に対してプロセス５５２〜５６０を繰り返す（５６４）ことを更に伴う。ブロック５５０〜５６４のプロセスは、計画が結果として不均衡になることなく最大数のタイムスロットサンプルが満たされるまで（すなわち、存在するタイムスロットサンプルが、最適化要因の数に実験コンテンツ小片の数を乗じたものよりも少なくなるまで）繰り返される（５６６）。
図３８Ｊは、本発明の実施形態による、完全無作為化プロセスを使用して、ただしブロック化要因の制約を加えてタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。ブロック化要因の制約は、等しいサンプルサイズのプロセス又は既定のサンプルサイズのプロセスに対して、類似した方式で加えることができる。各コンテンツサンプルは、好ましくは、そのコンテンツサンプルが関連付けられるブロック化要因を識別するメタデータを有し、各タイムスロットサンプルもまた、どのブロック化要因がタイムスロットサンプルに関連付けられるかを識別するメタデータを有することに留意されたい。
図３８Ｊに示すアルゴリズムは、任意の（第１の）実験コンテンツ小片を無作為に選択する（６０２）こと、及び実験の始点と終点との間の任意の（第１の）タイムスロットサンプルを無作為に選択する（６０４）ことを伴う。無作為に選択された（第１の）実験コンテンツ小片が、選択された（第１の）タイムスロットサンプルに割り当てられる（６０６）。
図３８Ｊのアルゴリズムは、別の（第２の）タイムスロットサンプルを、そのタイムスロットサンプルが先行して選択された（第１の）タイムスロットサンプルとは異なるブロック化要因の水準を有するという制約付きで、無作為に選択する（６０８）ことを伴う。選択された（第１の）実験コンテンツ小片が、この（第２の）選択されたタイムスロットサンプルに割り当てられる（６１０）。上述のＴＳＳ選択プロセスは、選択された（第１の）コンテンツ小片が、ブロック化要因の全ての水準で、１つのＴＳＳに割り当てられるまで繰り返される（６１２）。
図３８Ｊのアルゴリズムは、任意の（第２の）実験コンテンツ小片を無作為に選択する（６１４）こと、及びこの次の（第２の）実験コンテンツ小片に対してプロセス６０４〜６１２を繰り返す（６１６）ことを更に伴う。ブロック６０２〜６１６のプロセスは、計画が結果として不均衡になることなく最大数のタイムスロットサンプルが満たされるまで（すなわち、存在するタイムスロットサンプルが、ブロック化要因の数に実験コンテンツ小片の数を乗じたものよりも少なくなるまで）繰り返される（６１８）。
図３９Ａは、本発明の実施形態による、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図３９Ａに示す実施形態は、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムを目的とするが、ここで、個々のコンテンツ小片はタイムスロットサンプルよりも短い。図３９Ａのアルゴリズムは、コンテンツの交絡が存在しないようにし、同じタイムスロットサンプルを使用して複数の仮説を試験することを可能にする（すなわち、関連のない独立変数を同じタイムスロットサンプル内で試験することを可能にする）。これは、同じ患者に対して複数の薬物を試験できることと類似しており、それによって時間と費用が節約される。例えば、薬物試験のシナリオでは、口臭の治療法を試験するためにも協力している同じ患者に対して局所鎮痛クリームを試験することができる。ただし、局所鎮痛クリームは口臭に影響を与えるべきではなく、口臭治療は肌の状態に影響を与えるべきでない。しかしながら、例えば新しい練り歯磨きの試験にも協力している同じ患者に対して、口臭の処置を試験することは望まれないだろう。
図３９Ａに示すアルゴリズムは、実験の始点と終点との間の任意の空いたタイムスロットサンプルを無作為に選択する（６４０）ことを伴う。実験コンテンツ小片が無作為に選択され（６４２）、選択された実験コンテンツ小片は、選択されたＴＳＳに割り当てられる（６４４）。図３９のアルゴリズムは、実験コンテンツ小片を、その実験コンテンツ小片が、ＴＳＳに既に割り当てられているコンテンツとは無関係であるという制約付きで、無作為に選択する（６４６）ことを更に伴う。選択された実験コンテンツ小片は、選択されたＴＳＳに割り当てられる（６４８）。ブロック６４６及び６４８のプロセスは、全ての選択された実験コンテンツの持続時間の合計がＴＳＳの持続時間を超えることなく実験コンテンツ小片を加えることが不可能となるまでか、又は関連のない実験コンテンツ小片の残りがなくなるまでかの、いずれか早い方まで繰り返される。
空いた時間が、選択したＴＳＳ内に残っている場合、ＴＳＳのその残りの空いた時間は、完全なプラシーボのコンテンツで満たされる（６５２）。図３９Ａのアルゴリズムはまた、ＴＳＳ内でコンテンツを無作為に順序付ける（６５４）ことを伴う。ＴＳＳが、いずれかの完全なプラシーボのコンテンツを含む場合には、プラシーボのコンテンツの等しい持続時間が、実験コンテンツ小片を隔てるように、無作為化が引き続き行なわれる。
別の空いたＴＳＳが、実験の始点と終点との間で無作為に選択される（６５６）。先行して満たされたＴＳＳに割り当てられていない実験コンテンツ小片を無作為に選択する（６５８）。全てのコンテンツ小片が割り当てられている場合には、完全なプラシーボのコンテンツが選択される。完全なプラシーボのコンテンツがブロック６５８で選択された場合には、選択されたＴＳＳは完全なプラシーボのコンテンツで満たされ（６６０）、そうでない場合、選択された実験コンテンツ小片が、選択されたＴＳＳに割り当てられ、このＴＳＳは、ブロック６４６〜６５４のプロセスに従って満たされる。空いたＴＳＳは、全ての実験コンテンツ小片がＴＳＳに割り当てられるまで、ブロック６４０〜６６０のプロセスに従って引き続き満たされる。
図３９Ｂは、本発明の実施形態による、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図３９Ｂに示す実施形態は、関心持続時間の間にロケーションの交絡がないようにするアルゴリズムを目的とするものであり、関心持続時間の後では、測定されている行動データ及び商取引データの変化をコンテンツが引き起こした場合でも、コンテンツは関心対象として視聴されない。つまり、図３９Ｂのアルゴリズムは、視聴者が、独立変数のある水準に曝され、関心持続時間の間に、その水準に従って、独立変数の異なる水準を試験している異なるロケーションで行動する可能性がないようにする。
全てのロケーションの交絡を除去するような方式で、全ての実験ロケーションを使用することの潜在的欠点は、この方式で使用されるいずれのロケーションも、同じ独立変数の複数の水準に曝されることが不可能であることである。したがって、独立変数の異なる水準の組み合わせが、どのように同じロケーション内で互いに相互作用するかを測定することが困難となる。一部の状況下では、最初に、完全なロケーション内の試験効果に関する実験コンテンツを割り当てられる既定数のロケーションを選択し、次いで、このアルゴリズムを実行して、残りのロケーションを、ロケーション間の交絡のない試験に使用することが望ましい場合もある。つまり、例えば、図３８Ｈを使用して、ロケーション内の要因に関する既定のサンプルサイズを満たし、次いで図３９Ｂを使用して、ロケーション全体にわたるコンテンツの効果を測定することができる。
図３９Ｂに示すアルゴリズムは、任意の実験ロケーションを無作為に選択する（６７０）こと、及びその選択したロケーションに関連する全てのロケーションを選択する（６７２）ことを伴う。関連のないコンテンツ小片のみが、先行の２つのブロック６７０、６７２で選択されたロケーションに割り当てられるという制約付きで、コンテンツがそれらのロケーションに無作為に割り当てられる（６７４）。別の実験ロケーションが、既に選択されているいずれのロケーションとも関連がないという制約付きで、無作為に選択される（６７６）。先行のブロック６７６で選択されたロケーションに関連し、かつブロック６７０及び６７２に関して選択されたロケーションに関連しない全てのロケーションを選択する（６７８）。関連のないコンテンツ小片のみが、先行の２つのブロック６７６、６７８で選択されたロケーションに割り当てられるという制約付きで、コンテンツがそれらのロケーションに無作為に割り当てられる（６８０）。ブロック６７６〜６８０のプロセスは、関連がないロケーションの残りがなくなるまで繰り返される。
本発明の実施形態によるシステムは、本明細書で説明する１つ以上の機構、構造、方法、又はそれらの組み合わせを含み得る。例えば、システムは、図４０Ａ〜図４０Ｃに示す１つ以上の有利な機構及び／又はプロセスを含むように実施することができる。そのようなシステムは、本明細書で説明する機構の全てを含む必要はないが、有用な構造及び／又は機能をもたらす選択された機構を含むように実施し得るものとする。
本発明の実施形態によるデジタル看板システム（ＤＳＳ）を図４０Ａに示す。図４０Ａに示すＤＳＳは、音声、映像、及び／又は他のメディア形式を介して情報コンテンツを提示するように構成されるコンピュータ制御システムである。このＤＳＳは、提示する情報コンテンツのリストを提供する再生リスト、及びコンテンツの提示の順序を定義するスケジュールを、自動的に又は半自動的に生成する機能を含み得る。半自動モードでは、ユーザーは、対話型ユーザーインターフェース４１０を通じてＤＳＳ制御プロセッサ４０５にアクセスすることができる。ＤＳＳ制御プロセッサ４０５によって支援され、ユーザーは、提示されるコンテンツを識別し、１つ以上のＤＳＳ再生機４１５上での提示のタイミング及び順序を制御する再生リスト並びにスケジュールを生成することができる。各再生機４１５は、その再生機に関して開発された再生リスト及びスケジュールに従って、受信者にコンテンツを提示する。情報コンテンツは、例えば、図形、テキスト、ビデオクリップ、静止画像、オーディオクリップ、ウェブページ、並びに／又はビデオ及び／若しくはオーディオコンテンツの任意の組み合わせを含み得る。
一部の実装形態では、再生リスト及びスケジュールが開発された後、ＤＳＳ制御プロセッサ４０５は、再生リストに必要なコンテンツを決定し、そのコンテンツをコンテンツサーバからダウンロードし、そのコンテンツを再生リスト及びスケジュールと共に、コンテンツを再生機４１５に配信する再生機制御装置４２０へと転送する。図４０Ａは、１つの再生機制御装置４２０のみを示しているが、複数の再生機制御装置を単一のＤＳＳ制御プロセッサ４０５に結合させてもよい。各再生機制御装置４２０は、単一の再生機又は複数の再生機４１５を制御することができる。コンテンツ並びに／又は再生リスト及びスケジュールは、コンテンツ／再生リスト／スケジュールがそれを対象とする再生機４１５を識別する情報を提供する適切なアドレス指定を使用して、ＤＳＳ制御プロセッサ４０５から１つ以上の再生機制御装置４２０へと、圧縮されたフォーマットで転送することができる。一部の用途では、再生機４１５を店舗内又はモール内に分配することができ、再生機４１５上に提示されるコンテンツを広告とすることができる。
他の実装形態では、ＤＳＳ制御プロセッサ４０５は、再生リスト及びスケジュールのみを再生機制御装置４２０へと転送することができる。コンテンツが再生機制御装置４２０上に常駐しない場合、再生機制御装置４２０は、提示されるコンテンツを獲得するためにコンテンツ記憶装置４２５にアクセスすることができる。一部のシナリオでは、コンテンツ記憶装置４２５を含めたＤＳＳシステムの様々な構成要素のうちの１つ以上は、イントラネット接続又はインターネット接続などのネットワーク接続（有線又は無線）を介してアクセス可能とすることができる。再生機制御装置４２０は、所望のコンテンツを集成するか、あるいは、所望のコンテンツの、再生リスト及びスケジュールに従った再生機上の表示を促進することができる。再生リスト、スケジュール、及び／又は再生機４１５上に提示されるコンテンツは、例えば、再生機制御装置４２０又はＤＳＳ制御プロセッサ４０５を通じて、定期的に、又はユーザーの要望通りに、あるいは自動的に（アルゴリズム的に）修正することができる。
一部の実施では、ＤＳＳ制御プロセッサ４０５は、再生機上で再生されるコンテンツのプログラムの開発及び／又は編集を容易にする。例えば、ＤＳＳ制御プロセッサ４０５は、テンプレートの使用により、オーディオビジュアルプログラムの編集を容易にすることができる。テンプレートは、提示されるオーディオビジュアルプログラムの開発において適用される制約及び／又は規則を編集することを含む。例えば、テンプレートは、特定の種類のコンテンツに関して使用される画面の部分、どの種類のコンテンツを各区分で再生可能か、及びどのような順序で再生可能かということに関連する規則、フォントサイズ、並びに／又はプログラムの表示に適用可能な他の制約若しくは規則を含み得る。個別のセットの規則及び／又は制約が、各ディスプレイ構成に関して望ましい場合がある。一部の実施形態では、種々のディスプレイのためのプログラムの編集を、ＤＳＳ制御プロセッサ４０５によって自動的に実行することができる。
一部の実施形態では、ＤＳＳは、認知科学の分野でのリサーチ及び実験を通じて得られる情報に基づいて、テンプレートを作成し、コンテンツを生成し、コンテンツを選択し、プログラムを集成し、かつ／又は表示されるプログラムを編集することができる。認知科学は、人間の知覚の仕組みを理解しようとするものである。認知科学及び視覚科学の研究分野では、人間の知覚システムが情報を処理する方法、注意の基礎となる仕組み、人間の脳が記憶に情報を格納し表現する方法、並びに言語及び問題解決の認知基準に関する広大な知識基盤が生み出されてきた。
認知科学を、コンテンツの設計、レイアウト、編集、及び／又はコンテンツの提示に適用することにより、人間の知覚システムによって容易に処理され、理解が容易であり、かつ人間の記憶に容易に保存される情報が得られる。認知科学により得られ、認知科学データベース４３０に格納された知識を、自動的に又は半自動的に使用して、テンプレートの作成、コンテンツの設計、コンテンツの選択、コンテンツの配信、プログラムの集成、及び／又は表示のためのプログラムの編集を含めた、ＤＳＳの１つ以上のプロセスに知らせることができる。ＤＳＳのプログラミングと共に使用される認知科学データベース４３０は、認知科学の教示によって強化された広告又は他のデジタル看板プログラムを生み出し、一方でその分野での特定の訓練を受ける必要性からシステムユーザーを解放する。
例えば、認知科学データベース４３０は、人間の知覚システムによって容易に処理され、容易に把握され、かつ容易に記憶に保存されるコンテンツを提供するために、コンテンツの設計、配信、及び／又は調整のプロセスの間に利用される認知科学及び視覚科学の情報を格納することができる。認知科学データベース４３０は、認知科学及び視覚科学の原理に適合したコンテンツを開発し、修正するための、コンピュータによって実施される設計規則及びテンプレートを含み得る。認知科学データベース４３０はまた、視覚的注意のモデル、テキスト可読性のモデル、及び記憶原理のモデルなどの、コンピュータで実施可能な、認知科学及び視覚科学の原理のモデルも含み得る。
デジタル看板のプログラム、例えば広告キャンペーンなどの開発において、ＤＳＳ制御プロセッサ４０５は、認知科学により得られた知識を使用して強化される様々なプロセスを通じて、ユーザーを導くことができる。例えば、認知科学データベース４３０に格納された情報は、最適なプログラムレイアウトを作成するためのテンプレートの選択に対して、及び／又はコンテンツの要素が図形、テキストであるべきか、動きを含むべきか否か、色、サイズなどの、コンテンツの選択に対して、及び／又はプログラム開発の他の態様の実施に対して適用することができる。
本発明のコンピュータ支援型の方法及びシステムを実施することにより、認知科学及び視覚科学の原理を応用するための必要な訓練を通常は受けていないコンテンツ設計者が、コンテンツの設計及び配信の有効性を高めることを可能にすることができる。本発明のシステム及び方法は、同時係属中の米国特許出願第１２／１５９１０６号でより詳細に記載される方式で、認知科学データベース４３０に関連する機構及び機能を組み込むことができ、この米国特許出願第１２／１５９１０６号は、代理人整理番号第６１２８８ＷＯ００３で米国を指定国とする国際出願の米国特許出願第２００６／０４９６６２号として２００６年１２月２９日に出願され、「Content Development and Distribution Using Cognitive Sciences Database」と題されたものであり、参考として本明細書に組み込まれる。
ＤＳＳは、多様なディスプレイの種類及び視聴条件に適応するために、デジタル看板プログラムの代替的バージョンを設計する能力を含み得る。ディスプレイ技術は多様であり、デジタル看板ネットワーク上でコンテンツを提示するために使用されるディスプレイの種類には大きな差異が存在する。例えば、寸法、形状、輝度、及び視聴条件は、デジタル看板ネットワーク全体にわたって大いに異なる（例えば、一部のディスプレイは、小さく、柔軟で、かつ非直線的であり得るのに対して、他のディスプレイは、標準的な大型の液晶ディスプレイ（ＬＣＤ）及びプラズマディスプレイであり得る）。ディスプレイの種類及び視聴条件の差異は、コンテンツ小片の任意の１つのバージョンが、ネットワーク全体にわたる全てのディスプレイに対しては最適でない可能性があることを意味している。
この問題を克服するためには、ディスプレイの種類及び視聴環境のそれぞれに対する各コンテンツ小片のバージョンを生成し、コンテンツのこれらのバージョンを、ネットワーク内の対応する画面に選択的に配信することが必要な場合がある。しかしながら、大規模なＤＳＳネットワーク全体にわたるディスプレイの種類及び視聴条件のそのような子細な知識をコンテンツ設計者が有すると期待することは現実的ではない。更に、そのようなコンテンツ設計者が、そのような子細な知識を有していたとしても、各ディスプレイ用にコンテンツのバージョンを手動で作成し、対応する各ディスプレイ上で適切な時間に再生するようにコンテンツを手動でスケジュールすることは時間の浪費となる。
ＤＳＳは、展開されたコンテンツの有効性を改善するために使用されるデータを収集するデータ獲得ユニット４３５を含み得る。データ獲得ユニット４３５により、デジタル看板ネットワークの有効性の基礎となる配信要因を、コンテンツの展開の間に実時間で継続的に集めることが可能となる。獲得した情報により、ＤＳＳのコンテンツの有効性の継続的改善、並びに、コンテンツ小片の個々のバージョンの改善を促進することができる。先行の獲得データを使用して、例えば、特定の種類のコンテンツの表示を、どのセンサーイベント又は販売イベントで開始するべきかについて知ることができる。
いずれのコンテンツプログラム内の個々のコンテンツ小片も、それぞれ特定の目標を有している（例えば、特定の製品を売ること）。デジタル看板ネットワークのユーザーにとって各目標の価値に差異があるのが通例である。例えば、製品に対する目標の価値を考慮した、各製品に関しての利益率及び在庫水準の差異が存在し得る。各目標を達成することの価値は、デジタル看板プログラムが展開される間に継続的に変化する。例えば、製品の在庫水準が変化し、したがって製品の売り上げに対する目標に影響を与える可能性がある。
ＤＳＳの有効性を全体として向上させるには、１）デジタル看板プログラムを展開することが、そのデジタル看板プログラムに関連する目標に与える影響を、正確に予測すること、２）個々のコンテンツ小片の配信パターン（タイミング、頻度、及びロケーション）を、コンテンツ小片の変化に対応する、それぞれの個々の目標の価値に従って、継続的に変化させることが必要である。多くの場合、ＤＳＳのユーザーが、コンテンツを展開する影響を予測し、各コンテンツ小片に関連する目標の、継続的に変化する価値に基づいて、コンテンツの配信パターンを手動で変化させることは実行不可能である。ＤＳＳは、デジタル看板プログラムの影響を予測し、その予測に基づいてコンテンツの配信を変更する機能を備えている。
前述のように、コンテンツは、人間の行動に影響を与えること（例えば、購入行動に影響を与えること）を目標として再生機４１５上に表示される。しかしながら、従来のデジタル看板システムでは、看板コンテンツと人間の行動との因果関係を実証すること、又はその因果関係の強度を測定することが不可能である。この問題が生じるのは、現行のデジタル看板ネットワーク全体にわたってコンテンツを配信する方法では、人間の行動において測定されたいずれかの変化が、看板コンテンツによって生じたのか、又は何らかの交絡要因（例えば、天候の変化、製品に対する一般的需要の変化、製品の価格の変化）の結果として生じたのかについての判定の裏付けがなされないためである。
看板コンテンツと人間の行動との因果関係を明確に判定する唯一の方法は、看板コンテンツが複雑な実験計画を使用して系統的に操作され、人間の行動に対するそれらの操作の効果が綿密に測定される真実験を遂行することである。そのような実験を手動で遂行することは時間の浪費であり、また、真実験を計画する科学的方法における相当な知識及び訓練を必要とする。デジタル看板システムのユーザーは、真実験を計画して交絡のない結果を得る方法を理解するための十分な訓練を受けていな場合がある。
図４０Ａに示すＤＳＳは、真実験を計画する能力を備える実験計画プロセッサ４４０及びユーザーインターフェース４１０を含み、また機械学習ルーチンを計画する能力を備える機械学習計画プロセッサ４３９及びユーザーインターフェース４１０も含む。図４０Ａに示すＤＳＳ内にはまた、因果関係実験の実行を制御するように構成された実験展開ユニット４４５、及び機械学習ルーチンの実行を制御するように構成された機械学習展開ユニット４３７も含まれる。
図４０Ｂは、本発明の実施形態による、因果関係実験及び機械学習ルーチンを計画し、遂行し、それらに関するデータを分析するように構成されたシステムを示す。図４０Ｂに示すシステムは、真実験又は真実験の制約を有するサブプロセス（例えば、図３７〜３９に示すものなど）を計画するように構成された実験計画プロセッサ４４０を含む。前述のように、実験計画プロセッサ４４０は、完全に自動的に動作するか、又はユーザーとの対話を伴って半自動的に動作するように構成することができる。半自動モードでは、実験計画プロセッサ４４０は、ユーザーインターフェース４１０を介して遂行される様々な対話的セッションを通じて、真実験を計画するようにユーザーを導く。そのようなプロセスにおいて、実験計画プロセッサ４４０は、交絡のないデータを生じる真実験の計画を確実にする。したがって、ユーザーは、実験計画プロセッサ４４０のプログラミングに依存することができ、真実験の計画における知識又は経験を有することを必要とされない。ＤＳＳは、実験計画プロセッサ４４０のみを備えていてもよく、又は実験展開ユニット４４５、データ獲得ユニット４３５、及びデータ分析ユニット４５０などの追加的な構成要素を含んでいてもよい。図４０Ｂに示すシステムはまた、１つ以上の機械学習ルーチンの計画を促進するように構成された、機械学習計画プロセッサ４３９も含む。
このシステムは、実験展開ユニット４４５を更に含むことができる。実験展開ユニット４４５は、実験の展開を促進するように構成される。代表的なＤＳＳシステムとの関連において、実験展開ユニット４４５は、様々な再生機の構成に合わせて実験コンテンツ及び対照群コンテンツをフォーマットし、再生リスト及びスケジュールによる指定通りに再生機４１５上に提示するための、再生機制御装置４２０への実験コンテンツ及び対照コンテンツの転送を容易にする。ＤＳＳシステムの機械学習展開ユニット４３７は、上述のもののような１つ以上の機械学習ルーチンの実行を連係させ、それらＭＬＲによって使用されるコンテンツをフォーマットする。機械学習展開ユニット４３７は、ＭＬＲ及びスケジュールによる指定通りに再生機４１５上に提示するための、再生機制御装置４２０へのＭＬＲコンテンツの転送を容易にする。
データ獲得ユニット４３５は、対照群及び処置群からの実験データ、並びに機械学習ルーチンに関する最適化データを収集するように構成することができる。データ獲得ユニット４３５は、任意の手段によって、実験及び機械学習ルーチンに関連するデータの獲得を、実行するか又は促進することができる。例えば、この例示的なＤＳＳとの関連では、データ獲得ユニット４３５は、製品の動向、製品の売り上げ、顧客の行為若しくは反応、及び／又は他の情報を含めた情報を集める様々なセンサー、すなわちデータ獲得装置４６２、４６４、４６６に結合させることができる。センサー４６２を使用して、例えば、顧客が製品を選び取るか否か、又はコンテンツが表示されているときに顧客がディスプレイの付近にいるか否かを検知することができる。売上げは、販売時点（ＰＯＳ）システム４６４によって得られる情報に基づいて決定することができる。コンテンツの表示を検証する１つ以上の装置４６６を使用することもできる製品の在庫水準の変化は、在庫管理システムを通じて入手可能とすることができる。顧客の反応は、質問を通じて得ることができる。遂行される実験が真実験である場合、データ獲得ユニット４３５によって得られるデータは、実質的に交絡のないものである。
データ獲得ユニット４３５は、データ獲得ユニット４３５によって収集された実験データを分析するように構成されたデータ分析ユニット４５０に結合させることができる。データ分析ユニット４５０は、実験の独立変数と従属変数との間の因果関係を判定し、かつ／又は定量化することができる。図示のＤＳＳの場合、分析の結果を使用して、コンテンツが製品売り上げに影響を与えるという点で有効であるか否かを判定することができる。データ分析ユニット４５０は、購買時点売り上げ、アップグレード、及び顧客忠誠心などのような１つ以上の有効性評価尺度を最大化するように、コンテンツ配信パターンを最適化する目的のために、得られたデータを分析することができる。
分析ユニット４５０は、独立変数及び従属変数（independent and independent variables）に関する情報（例えば、ＩＶ及びＤＶが連続的であるか離散的であるか）を受け取っているため、分析ユニット４５０は、実験からのデータに適用するのに適した統計的試験を選択するために必要な情報の大部分を有することになる。例えば、２つの離散的な水準を有する１つのＩＶ、及び１つの連続的なＤＶが存在する場合、推測統計的試験のためにＴ検定が使用されるが、一方で、２つの離散的な水準を有する１つのＩＶ、及び２つの離散的な水準を有する１つのＤＶが存在する場合、カイ二乗検定が推測統計的試験のために使用される。同様に、分析ユニットは、いずれの実験条件が特定の仮説を診断するかに関する、計画プロセッサ４４０からの情報へアクセスするため、分析ユニット４５０は、いずれの実験条件及び対照条件を統計的に比較するべきかを決定するために必要な情報の大部分又は全てを有することになる。
これらの分析の結果を、追加的に又は代替的に使用して、様々なプロセスを実施するか又は修正することができる。例えば、コンテンツが製品売り上げに影響を与えるという点で有効であった場合、そのコンテンツを組み込んだ広告キャンペーンを開発することができる。売り上げ増加の有効性に基づくコンテンツ評価プロセス４７２によって、コンテンツに評価を割り当てることができる。そのコンテンツの評価に従い、請求処理ユニット４７４によって、そのコンテンツを使用する広告主に支払いを請求することができる。データ分析ユニット４５０はまた、在庫制御装置４７６に情報を提供することもできる。更には、データ分析ユニット４５０は、広告キャンペーンが展開される際に売上げの予測を生成する売り上げ予測ユニット４７８に、情報を提供することができる。更に、又はあるいは、売り上げ予測ユニット４７８は、広告キャンペーンによって生じる売り上げを支援するために必要な製品在庫を予測することができる。
デジタル看板コンテンツを生成し、エキスパートシステムによって計画された実験を展開し、実験データを収集する能力を含む、デジタル看板システムの実施が、２００５年１２月２９日に出願された同時係属中の米国特許出願第１１／３２１，３４０号、及び２００６年１２月２９日に国際出願の米国特許出願第２００６／０４９６５７号として代理人整理番号第６１２９２ＷＯ００３で出願され、「Expert System for Designing Experiments」と題された米国特許出願第１２／１５９１０７号において更に記載されており、これらの出願は参考として本明細書に組み込まれる。
本明細書で説明するシステム及び方法は、本発明の実施形態により、コンサルティングビジネスの基礎を形成することができる。提供されるサービスとしては、とりわけ、顧客と協働して、特定の通信目的及び特定の消費者観衆に合わせて適切にタイムスロットサンプルを特徴付けること、どの変数を研究で扱うかを決定すること、試験に関する独立変数の水準を決定すること、ブロック化及び無作為化に使用できる要因を決定すること、並びに検出力分析を遂行することを挙げることができるが、これらに限定されない。前述の測定アルゴリズムを使用して、交差最適化要因及びブロック化要因に関するタイムスロット割り振り要件を指定することができる。
本発明による別の応用例は、全体的な収益性を最大化するためのシステム及び方法を目的とする。本発明のシステムを使用して、利用可能な全てのタイムスロットサンプルの割り振りを、（１）上記で詳述した、コンテンツの有効性の試験、及び（２）試験されていないが、売り上げの増加、顧客満足度の促進、従業員への通知などのような、任意の数のビジネス目標に対処することが意図されたコンテンツという２つの目的のために最適化することができる。
本明細書に記載の、本発明により実施されるシステムは、タイムスロットサンプルの全在庫を「均衡化」するようにデータを提供し、ユーザーが、試験用タイムスロットサンプル対非試験用タイムスロットサンプルの最適な水準と、最小限の数のタイムスロットサンプルを使用してより効率的にコンテンツを試験するための、それらの群内での割り振りとを決定することを可能にし、より多くのタイムスロットサンプルを非試験用コンテンツに解放することができる。結果のデータは、ユーザーが収益性、満足度などを最大化するために、コンテンツ配信を継続的に監視し調整しようとするとき、ユーザーに通知することができ、また、コンテンツが「消耗する」とき（以前は有効なコンテンツが、消費者又は従業員聴衆に過度に曝されたために十分に有効でなくなる時点として定義される）をユーザーが判定するのを助けることができる。
図４０Ｃは、本発明の実施形態による、ＤＳＳの様々な構成要素を含むデジタル看板ネットワークのダイアグラムである。図４０Ｃによれば、ＤＳＮは、実験システム４２３及び機械学習システム４２７に通信可能に結合する、ＤＳＮシステムモジュール４２９を含む。また、ＤＳＮシステムモジュール４２９には、ＤＳＮ全体にわたるコンテンツ配信を協働して制御するサーバ４２１も、通信可能に結合する。
ＤＳＮシステムモジュール４２９は、図４０ＣでＤＳＮインフラストラクチャーとして示されるネットワーク全体にわたって、コンテンツを配信し、様々なデータを収集して処理するように構成される。ＤＳＮシステムモジュール４２９は、実験システム４２３と協働して因果関係実験を遂行し、機会学習システム４２７と協働して機械学習ルーチンを実行する。図４０Ｃに示すＤＳＮシステムは、実験の実行を排除して機械学習ルーチンを実行する実施形態のものに関しては、実験システム４２３が除外される場合がある。
ＤＳＮシステムモジュール４２９は、様々な実施形態との関連で上述したもののような最上位の決定ツール（例えば、図３０を参照）を含み得る。例えば、ＤＳＮシステムモジュール４２９は、ネットワークを継続的に監視し、各ディスプレイに関する各時間枠（例えば、ＴＳＳ）の制御を、サブコンポーネントシステムの（ａ）実験システム４２３及び（ｂ）ＭＬＲシステム４２７にどのように割り振るかを決定する、アルゴリズムを実施するように構成することができる。前述のように、この決定ツールは、実験の洞察の価値を考慮するユーザー、所望の統計的検出力を満たすために求められるサンプルサイズ／持続時間を考慮する実験システム、実験が進行するにつれて着信する従属変数データ、及び現在のビジネス目標を最大化するために、ＭＬＲがＴＳＳを制御することを許可することについての推定される価値若しくは既知の価値、からの入力を使用する。決定ツールは、ＤＳＮシステムモジュール４２９以外の、ＤＳＮシステムの構成要素（例えば、実験システム４２３、ＭＬＲシステム４２７）内で実施することができ、様々な構成要素の間に配信され得ることを理解されたい。
ＤＳＮシステムモジュール４２９は、有線ネットワーク及び無線ネットワークの一方若しくは双方を含み得るＤＳＮインフラストラクチャー４１３を介して、多数のディスプレイ４１５と通信する。図４０Ｃに示すＤＳＮインフラストラクチャー４１３には、１つ以上のモバイルネットワーク４１７、及び１つ以上のデータネットワーク４１９が組み込まれる。モバイルネットワーク４１７は、Global System for Mobile Communications（ＧＳＭ）、Universal Mobile Telecommunications System（ＵＭＴＳ）、Personal Communications Service（ＰＣＳ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、広域帯符号分割多元接続（ＷＣＤＭＡ）、又は他のモバイルネットワーク伝送技術などの、任意の１つ以上の、既知の若しくは将来の無線ネットワーク技術を表し得る。１つ以上のデータネットワーク４１９は、モバイルネットワーク４１７と協働的に動作して（又は、モバイルネットワーク４１７を排除して動作して）、ＤＳＮシステムモジュール４２９とのデータ転送のやりとりを促進することができる。例えば、図示のデータネットワーク４１９は、図示のモバイルネットワーク４１７とインターフェース接続して、ＤＳＮシステムモジュール４２９との地上通信接続性を提供する、インターネットを表し得る。
一部の実施形態では、ディスプレイ４１５のセットが、ＤＳＮインフラストラクチャー４１３を介してＤＳＮシステムモジュール４２９と通信する１つ以上の再生機制御装置４２０に結合される。再生機制御装置４２０と、ディスプレイ４１５と、ＤＳＮインフラストラクチャー４１３との間の接続はそれぞれ、有線接続、無線接続、あるいは有線接続及び無線接続の組合せとすることができる。他の実施形態では、再生機制御装置４２０を、ディスプレイ４１５とＤＳＮインフラストラクチャー４１３との間のインターフェースとして機能させるために使用する必要はない。コンテンツ配信及びデータ獲得は、ＤＳＮシステムモジュール４２９が、多数のディスプレイ４１５に関する再生リストスケジュールを、再生機制御装置４２０を使用せずに連係させて実行することを可能にする、ストリーミング技術を使用して、管理することができる。好適な転送の手法としては、とりわけ、自動再試行問い合わせ（ＡＲＱ）、ＴＣＰ、及びＵＤＰのストリーミングが挙げられる。
本明細書に示した説明を使用すると、本発明の実施形態は、プログラミングソフトウェア、ファームウェア、ハードウェア、若しくはそれらの任意の組み合わせを製造するための標準的なプログラミング技術及び／又はエンジニアリング技術を使用することによって、機械、プロセス、又は製造品として実装することができる。
結果として得られる任意のプログラムは、コンピュータ読み取り可能なプログラムコードを有するものであり、常駐メモリー装置、スマートカード、ＤＶＤ、ＣＤ、若しくは他の取り外し可能なメモリー装置、又は送信装置などの、コンピュータで使用可能な１つ以上のメディア上に具現化することによって、本発明によるコンピュータプログラム製品又は製造品を作製することができる。したがって、「製造品」及び「コンピュータプログラム製品」という用語は、本明細書で使用するとき、コンピュータで使用可能な任意のメディア上に又はそのようなプログラムを送信する任意の送信メディア内に、永久的に又は一時的に存在するコンピュータプログラムを包含することを意図したものである。
本発明の様々な実施形態の上述の説明を、例証及び説明の目的で提示してきた。それは、包括的であることも、開示されたまさにその形態に本発明を限定することも意図していない。以上の教示を考慮すれば、多くの修正形態及び変形形態が可能である。例えば、本発明の実施形態を、多種多様な用途で実施してもよい。本発明の範囲は、この詳細な説明によってではなく、むしろ添付の「特許請求の範囲」によって限定されるものとする。

Claims (5)

  1. コンピュータシステムであって、
    第１の時間枠のセットと第２の時間枠のセットとを含むスケジュールに従って、通信コンテンツの有効性を判定するために、実験コンテンツを使用して実験を遂行するモジュールであって、該実験が該第１の時間枠のセットを使用して遂行される、モジュールと、
    該実験を遂行する一方で、該スケジュールに従って、有効性評価尺度を強化するために、ＭＬＲコンテンツを使用して機械学習ルーチン（ＭＬＲ）を実行するモジュールであって、
    該機械学習ルーチンが、探索コンテンツに関連する探索ルーチン及び活用コンテンツに関連する活用ルーチンの一方又は両方を具備し、
    探索コンテンツ又は活用コンテンツのどちらかに関係がある実験コンテンツに関して、該探索ルーチン又は活用ルーチンのために該第２の時間枠のセットを使用し、
    探索コンテンツ又は活用コンテンツのどちらにも関係がない実験コンテンツに関して、該探索ルーチン又は活用ルーチンのために該第１の時間枠のセットの少なくともいくつかを使用する、
    モジュールと、
    を具備するコンピュータシステム。
  2. 該機械学習ルーチンが、強化学習ルーチン、ロジスティック回帰ルーチン、教師なし学習ルーチン、半教師ありルーチン、又は１つ以上のニューラルネットワークの使用、を含む、請求項１に記載のコンピュータシステム。
  3. 該機械学習ルーチンを実行するモジュールが、所定の有効性評価尺度の強化に結果的につながる探索コンテンツ及び活用コンテンツを提示する頻度率を識別するように作動する、請求項１に記載のコンピュータシステム。
  4. コンピュータ実施される方法であって、
    処理システムが、第１の時間枠のセットと第２の時間枠のセットとを含むスケジュールに従って、通信コンテンツの有効性を判定するために、実験コンテンツを使用して実験を遂行するステップであって、該実験が該第１の時間枠のセットを使用して遂行される、ステップと、
    該処理システムが、該実験を遂行する一方で、該スケジュールに従って、有効性評価尺度を強化するために、ＭＬＲコンテンツを使用して機械学習ルーチン（ＭＬＲ）を実行するステップであって、
    該機械学習ルーチンが、探索コンテンツに関連する探索ルーチン及び活用コンテンツに関連する活用ルーチンの一方又は両方を具備し、
    探索コンテンツ又は活用コンテンツのどちらかに関係がある実験コンテンツに関して、該探索ルーチン又は活用ルーチンのために該第２の時間枠のセットを使用し、
    探索コンテンツ又は活用コンテンツのどちらにも関係がない実験コンテンツに関して、該探索ルーチン又は活用ルーチンのために該第１の時間枠のセットの少なくともいくつかを使用する、
    ステップと、
    を具備する方法。
  5. 該処理システムが、任意の時間枠に関して、該時間枠に対してＭＬＲコンテンツを使用することよりも実験コンテンツを使用することがより多くの価値を有するかどうか、を判定するための評価を実行するステップ、を更に具備する、請求項４に記載のコンピュータ実施される方法。
JP2014222682A 2009-01-07 2014-10-31 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法 Expired - Fee Related JP5856273B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14306009P 2009-01-07 2009-01-07
US61/143,060 2009-01-07

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011545384A Division JP2012514813A (ja) 2009-01-07 2010-01-04 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法

Publications (2)

Publication Number Publication Date
JP2015053071A JP2015053071A (ja) 2015-03-19
JP5856273B2 true JP5856273B2 (ja) 2016-02-09

Family

ID=42312334

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011545384A Withdrawn JP2012514813A (ja) 2009-01-07 2010-01-04 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法
JP2014222682A Expired - Fee Related JP5856273B2 (ja) 2009-01-07 2014-10-31 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011545384A Withdrawn JP2012514813A (ja) 2009-01-07 2010-01-04 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法

Country Status (8)

Country Link
US (2) US8458103B2 (ja)
EP (1) EP2386098A4 (ja)
JP (2) JP2012514813A (ja)
KR (1) KR20110110786A (ja)
CN (1) CN102341820B (ja)
AU (1) AU2010203781B9 (ja)
CA (1) CA2750840A1 (ja)
WO (1) WO2010080722A2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156382A1 (en) * 2005-12-29 2007-07-05 Graham James L Ii Systems and methods for designing experiments
JP2010532539A (ja) * 2007-07-03 2010-10-07 スリーエム イノベイティブ プロパティズ カンパニー コンテンツを割り当てることができるタイムスロットサンプルを生成して、その割り当てられたコンテンツの効果を測定するシステム及び方法
US20090012847A1 (en) * 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assessing effectiveness of communication content
WO2009006546A2 (en) 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content
US8396750B1 (en) * 2009-06-16 2013-03-12 Amazon Technologies, Inc. Method and system for using recommendations to prompt seller improvement
US9378519B1 (en) 2009-07-28 2016-06-28 Amazon Technologies, Inc. Collaborative electronic commerce
US9274669B1 (en) 2010-04-19 2016-03-01 Amazon Technologies, Inc. Customizing user interfaces for multiple different clients
US11062328B2 (en) * 2011-07-21 2021-07-13 3M Innovative Properties Company Systems and methods for transactions-based content management on a digital signage network
US8849095B2 (en) * 2011-07-26 2014-09-30 Ooyala, Inc. Goal-based video delivery system
EP2777008A4 (en) 2011-11-11 2015-09-02 Wetpaint Com Inc DYNAMIC GAME BOOK: EXPERIMENTAL PLATFORM FOR SOCIAL NETWORKS
AU2013209986A1 (en) * 2012-01-16 2014-07-31 3M Innovative Properties Company Systems and methods for rule-based content optimization
US9197512B2 (en) 2012-02-17 2015-11-24 Wetpaint.Com, Inc. Optimizing content production based upon distribution channel metrics
US20140091897A1 (en) * 2012-04-10 2014-04-03 Net Power And Light, Inc. Method and system for measuring emotional engagement in a computer-facilitated event
US20140019386A1 (en) * 2012-07-16 2014-01-16 Timothy Mitchell Computerized Logical Decision and Learning System
US10949752B1 (en) 2013-01-30 2021-03-16 Applied Predictive Technologies, Inc. System and method of portfolio matching
US20140278908A1 (en) * 2013-03-12 2014-09-18 Wetpaint.Com, Inc. Experimentation and validation of dynamic playbook for social channels
US10621596B2 (en) 2013-03-15 2020-04-14 Disney Enterprises, Inc. Video optimizer for determining relationships between events
CN103268346B (zh) * 2013-05-27 2016-08-10 翁时锋 半监督分类方法及系统
WO2015094245A1 (en) * 2013-12-18 2015-06-25 Intel Corporation Technologies for collecting advertising statistics in a privacy sensitive manner
WO2015116614A1 (en) * 2014-01-29 2015-08-06 3M Innovative Properties Company Systems and methods for spacial and temporal experimentation on content effectiveness
WO2015116610A1 (en) * 2014-01-29 2015-08-06 3M Innovative Properties Company Conducting multivariate experiments
WO2015160415A2 (en) * 2014-01-31 2015-10-22 The Trustees Of Columbia University In The City Of New York Systems and methods for visual sentiment analysis
ZA201407620B (en) * 2014-08-26 2015-11-25 Musigma Business Solutions Pvt Ltd Systems and methods for creating and evaluating experiments
US20170270444A1 (en) * 2014-09-05 2017-09-21 Hewlett Packard Enterprise Development Lp Application evaluation
CN104486412B (zh) * 2014-12-15 2018-08-07 四川长虹电器股份有限公司 一种数据采集方法及云端服务器
US10580035B2 (en) 2015-05-27 2020-03-03 Staples, Inc. Promotion selection for online customers using Bayesian bandits
US11386443B1 (en) * 2015-05-28 2022-07-12 Groupon, Inc. Methods and systems for programmatic control of transmitted electronic content
US10629086B2 (en) * 2015-06-09 2020-04-21 International Business Machines Corporation Providing targeted, evidence-based recommendations to improve content by combining static analysis and usage analysis
US10673880B1 (en) * 2016-09-26 2020-06-02 Splunk Inc. Anomaly detection to identify security threats
WO2018105412A1 (ja) * 2016-12-07 2018-06-14 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR101887196B1 (ko) * 2016-12-20 2018-09-06 한동대학교 산학협력단 빅데이터 딥러닝 기반의 t커머스 방송편성정보 제공방법
CN107169725A (zh) * 2017-03-30 2017-09-15 联想(北京)有限公司 一种提醒时间调整方法及电子设备
US20190012686A1 (en) * 2017-07-05 2019-01-10 Panasonic Intellectual Property Management Co., Ltd. System and method for optimization using autonomous vehicle
US11539992B2 (en) 2018-02-28 2022-12-27 Google Llc Auto-adjust playback speed and contextual information
US20210256406A1 (en) * 2018-07-06 2021-08-19 The Research Foundation For The State University Of New York System and Method Associated with Generating an Interactive Visualization of Structural Causal Models Used in Analytics of Data Associated with Static or Temporal Phenomena
CN113574476A (zh) * 2019-03-15 2021-10-29 3M创新有限公司 确定用于控制环境的因果模型
US11604980B2 (en) 2019-05-22 2023-03-14 At&T Intellectual Property I, L.P. Targeted crowd sourcing for metadata management across data sets
WO2020247868A1 (en) * 2019-06-05 2020-12-10 dMASS, Inc. Machine learning systems and methods for automated prediction of innovative solutions to targeted problems
US10515715B1 (en) 2019-06-25 2019-12-24 Colgate-Palmolive Company Systems and methods for evaluating compositions
JP6665337B1 (ja) * 2019-07-02 2020-03-13 株式会社スタディスト メーカーが販売を希望する商品の販売促進作業を管理するための装置およびその装置において実行されるプログラム
KR102223640B1 (ko) * 2019-09-23 2021-03-08 주식회사 한국복권데이터 클라우드 기반 개인화 콘텐츠 구독 서비스 제공 시스템 및 방법
US11314529B2 (en) 2020-01-21 2022-04-26 Walmart Apollo, Llc Dynamical switching between long-term and short-term rewards
US11645580B2 (en) 2020-01-21 2023-05-09 Walmart Apollo, Llc Robust reinforcement learning in personalized content prediction
US11367105B2 (en) 2020-01-21 2022-06-21 Walmart Apollo, Llc Dynamic evaluation and use of global and contextual personas
US20210286849A1 (en) * 2020-03-12 2021-09-16 Servicenow, Inc. Graphical User Interfaces for Assessment of Digital Transformation
CN113408730B (zh) * 2020-03-17 2024-04-26 北京达佳互联信息技术有限公司 因果关系生成方法、装置及电子设备
US11640516B2 (en) * 2020-06-03 2023-05-02 International Business Machines Corporation Deep evolved strategies with reinforcement
US20220067755A1 (en) * 2020-09-03 2022-03-03 Mass Minority Inc. Methods and systems for monitoring brand performance based on consumer behavior metric data and expenditure data related to a competitive brand set over time
JP7453895B2 (ja) * 2020-11-11 2024-03-21 株式会社日立製作所 探索条件提示装置、探索条件提示方法、及び探索条件提示プログラム
US20220215351A1 (en) * 2021-01-05 2022-07-07 Vmware, Inc. Automatic scheduling of actionable emails
US20220405781A1 (en) * 2021-06-18 2022-12-22 Blue Boat Data Inc. System and Method for In-Store Customer Feedback Collection and Utilization

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973952A (en) * 1987-09-21 1990-11-27 Information Resources, Inc. Shopping cart display system
US5309174A (en) * 1987-10-13 1994-05-03 Motorola, Inc. Electronic display system
US5253331A (en) * 1991-07-03 1993-10-12 General Motors Corporation Expert system for statistical design of experiments
US5474385A (en) * 1992-03-02 1995-12-12 Ta Instruments, Inc. Method and apparatus for parsed dynamic differential analysis
US5513342A (en) * 1993-12-28 1996-04-30 International Business Machines Corporation Display window layout system that automatically accommodates changes in display resolution, font size and national language
JP2994996B2 (ja) * 1995-12-01 1999-12-27 松下電器産業株式会社 マルチメディア編集装置
JPH09212349A (ja) 1996-01-31 1997-08-15 Mitsubishi Electric Corp コンテンツ作成支援システム
US5812134A (en) * 1996-03-28 1998-09-22 Critical Thought, Inc. User interface navigational system & method for interactive representation of information contained within a database
US6581048B1 (en) * 1996-06-04 2003-06-17 Paul J. Werbos 3-brain architecture for an intelligent decision and control system
US6023714A (en) * 1997-04-24 2000-02-08 Microsoft Corporation Method and system for dynamically adapting the layout of a document to an output device
US6529940B1 (en) * 1998-05-28 2003-03-04 David R. Humble Method and system for in-store marketing
RU2134457C1 (ru) 1998-08-04 1999-08-10 Григорьев Михаил Николаевич Система распространения информации
US6604092B1 (en) * 1999-02-26 2003-08-05 Lisa E. Stewart Expert system utilizing a knowledge base and design of experiment (DOE) techniques
KR20010052410A (ko) 1999-03-26 2001-06-25 요트.게.아. 롤페즈 진화적 알고리즘을 통한 진화 광고
WO2001014952A2 (en) * 1999-08-26 2001-03-01 Memetrics Inc. On-line experimentation
AUPQ246899A0 (en) * 1999-08-26 1999-09-16 Memetrics An automated communications management agent
US7089322B1 (en) * 1999-10-28 2006-08-08 Motient Communications Inc. System and method of aggregating data from a plurality of data generating machines
US6317700B1 (en) * 1999-12-22 2001-11-13 Curtis A. Bagne Computational method and system to perform empirical induction
US7130808B1 (en) * 1999-12-29 2006-10-31 The Product Engine, Inc. Method, algorithm, and computer program for optimizing the performance of messages including advertisements in an interactive measurable medium
CA2400085C (en) * 2000-02-17 2008-02-19 British Telecommunications Public Limited Company Visual attention system
JP2001236443A (ja) * 2000-02-24 2001-08-31 Nec Corp 広告情報の提供方法及びその広告効果の把握方法ならびにシステム
US8799208B2 (en) * 2000-03-07 2014-08-05 E-Rewards, Inc. Method and system for evaluating, reporting, and improving on-line promotion effectiveness
AU2001253857A1 (en) * 2000-03-14 2001-09-24 Buzzpad, Inc. Method and apparatus for forming linked multi-user groups of shared software applications
JP2001265904A (ja) 2000-03-17 2001-09-28 Dentsu Inc 広告表現調査システム及び広告表現調査方法
US7216092B1 (en) * 2000-04-14 2007-05-08 Deluxe Corporation Intelligent personalization system and method
US6604094B1 (en) * 2000-05-25 2003-08-05 Symbionautics Corporation Simulating human intelligence in computers using natural language dialog
AU2001265405A1 (en) 2000-05-26 2001-12-11 Naylor, Inc. Computer-implemented method and apparatus for creating advertising media
US20040015399A1 (en) * 2000-10-12 2004-01-22 Maggio Frank S. Method and system for verifying exposure to message content delivered via outdoor media or in a concentrated format
AU2002213511A1 (en) * 2000-10-30 2002-05-15 Elias Arts Corporation System and method for performing content experience management
US20060271441A1 (en) * 2000-11-14 2006-11-30 Mueller Raymond J Method and apparatus for dynamic rule and/or offer generation
US7406434B1 (en) * 2000-12-15 2008-07-29 Carl Meyer System and method for improving the performance of electronic media advertising campaigns through multi-attribute analysis and optimization
JP4665312B2 (ja) 2000-12-26 2011-04-06 日本電気株式会社 Ｗｅｂコンテンツの可読性評価システム、Ｗｅｂコンテンツの配色支援システム、その方法、記録媒体
US20040015401A1 (en) * 2001-02-08 2004-01-22 In Lee Systems and methods for distributing template-based multimedia presentations over a network
US20020129367A1 (en) * 2001-03-02 2002-09-12 Koninklijke Philips Electronics N.V. Method and apparatus for personalized presentation of television/internet contents
US20020154833A1 (en) * 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
JP2002330415A (ja) 2001-05-02 2002-11-15 Star Collaboration Kk コンテンツ制作装置、方法、コンピュータプログラム、記録媒体
WO2002093318A2 (en) * 2001-05-15 2002-11-21 Psychogenics Inc. Systems and methods for monitoring behavior informatics
US6569096B2 (en) * 2001-06-06 2003-05-27 International Business Machines Corporation System and method of automating multidimensional scaling for psychophysics
TW523697B (en) * 2001-08-29 2003-03-11 Synq Technology Inc Automatic advertisement transaction system and method therefor
KR100868852B1 (ko) 2001-09-29 2008-11-14 주식회사 케이티 웹로그 분석 시스템에서의 방문시간 측정 방법
US7136871B2 (en) * 2001-11-21 2006-11-14 Microsoft Corporation Methods and systems for selectively displaying advertisements
US20030220830A1 (en) * 2002-04-04 2003-11-27 David Myr Method and system for maximizing sales profits by automatic display promotion optimization
US7403904B2 (en) * 2002-07-19 2008-07-22 International Business Machines Corporation System and method for sequential decision making for customer relationship management
JP2004110548A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd ユーザビリティ評価支援装置および方法
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
JP2004178276A (ja) 2002-11-27 2004-06-24 Toshiba Lighting & Technology Corp 売場計画支援システム
US7130461B2 (en) * 2002-12-18 2006-10-31 Xerox Corporation Systems and method for automatically choosing visual characteristics to highlight a target against a background
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
KR20030040263A (ko) 2003-04-07 2003-05-22 주식회사 드림나우 인터넷 홈페이지 이용자의 행태 정보 획득 방법 및 그 장치
US7080027B2 (en) * 2003-04-17 2006-07-18 Targetrx, Inc. Method and system for analyzing the effectiveness of marketing strategies
US7694000B2 (en) * 2003-04-22 2010-04-06 International Business Machines Corporation Context sensitive portlets
US20050047647A1 (en) * 2003-06-10 2005-03-03 Ueli Rutishauser System and method for attentional selection
CA2432616A1 (en) * 2003-06-17 2004-12-17 Ibm Canada Limited - Ibm Canada Limitee Method for managing commerce contexts
US20040260767A1 (en) 2003-06-19 2004-12-23 David Kedem Dynamic web advertisement and content display system
JP4314907B2 (ja) 2003-07-18 2009-08-19 株式会社日立製作所 広告表示システム及び方法
WO2005015362A2 (en) * 2003-08-06 2005-02-17 Innovida, Inc. System and method for delivering and optimizing media programming in public spaces
US7269517B2 (en) * 2003-09-05 2007-09-11 Rosetta Inpharmatics Llc Computer systems and methods for analyzing experiment design
US20050062314A1 (en) * 2003-09-19 2005-03-24 Searfoss Timothy K. Trailer cover system
US20050071223A1 (en) * 2003-09-30 2005-03-31 Vivek Jain Method, system and computer program product for dynamic marketing strategy development
JP4396430B2 (ja) * 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
US20050171843A1 (en) * 2004-02-03 2005-08-04 Robert Brazell Systems and methods for optimizing advertising
US7519566B2 (en) * 2004-02-11 2009-04-14 Oracle International Corporation Method and apparatus for automatically and continuously updating prediction models in real time based on data mining
US20050195221A1 (en) * 2004-03-04 2005-09-08 Adam Berger System and method for facilitating the presentation of content via device displays
US7949561B2 (en) 2004-08-20 2011-05-24 Marketing Evolution Method for determining advertising effectiveness
US20080201198A1 (en) 2004-09-02 2008-08-21 Louviere Jordan J Method, System and Computer Program Product for Measuring and Tracking Brand Equity
GB2417808A (en) * 2004-09-02 2006-03-08 Hewlett Packard Development Co Document creation system
WO2006031888A2 (en) * 2004-09-13 2006-03-23 Brigham Young University Methods and systems for conducting internet marketing experiments
JP4880962B2 (ja) * 2004-09-27 2012-02-22 ヤフー株式会社 広告コンテンツ配信比率算出プログラム、広告コンテンツ配信比率算出方法、広告コンテンツ配信比率算出システム、コンテンツ配信制御システム、広告コンテンツ配信制御システム、広告コンテンツ配信制御方法および広告コンテンツ配信制御プログラム
GB2422739B (en) * 2005-01-31 2010-07-14 Hewlett Packard Development Co Image processing method and apparatus
WO2006086525A1 (en) * 2005-02-08 2006-08-17 Pasadero, Inc. Research protocol toolkit
JP2007018490A (ja) * 2005-02-23 2007-01-25 Sony Corp 行動制御装置および行動制御方法、並びに、プログラム
US20060200759A1 (en) * 2005-03-04 2006-09-07 Microsoft Corporation Techniques for generating the layout of visual content
US7903099B2 (en) * 2005-06-20 2011-03-08 Google Inc. Allocating advertising space in a network of displays
US20070100698A1 (en) * 2005-07-08 2007-05-03 Onestop Media Group Adaptive advertisements and adaptive advertising distribution system
US20070038516A1 (en) * 2005-08-13 2007-02-15 Jeff Apple Systems, methods, and computer program products for enabling an advertiser to measure user viewing of and response to an advertisement
US20070073562A1 (en) * 2005-09-28 2007-03-29 Sabre Inc. System, method, and computer program product for providing travel information using information obtained from other travelers
US20070136133A1 (en) * 2005-12-12 2007-06-14 Yvonne Li Digital Signage Transaction and Delivery Methods
US20070156382A1 (en) * 2005-12-29 2007-07-05 Graham James L Ii Systems and methods for designing experiments
US20090030780A1 (en) * 2006-01-03 2009-01-29 Ds-Iq, Inc. Measuring effectiveness of marketing campaigns presented on media devices in public places using audience exposure data
US20080060003A1 (en) * 2006-09-01 2008-03-06 Alex Nocifera Methods and systems for self-service programming of content and advertising in digital out-of-home networks
US7861150B2 (en) * 2006-11-07 2010-12-28 Microsoft Corporation Timing aspects of media content rendering
US20080230604A1 (en) * 2007-03-22 2008-09-25 Robert Jason Fong System for optimizing on-premises advertisements
US20080306804A1 (en) * 2007-06-06 2008-12-11 Opdycke Thomas C Systems for scheduling marketing campaigns in public places in order to enable measurement and optimization of audience response
WO2009006546A2 (en) 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content
US20090012847A1 (en) * 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assessing effectiveness of communication content
JP2010532539A (ja) 2007-07-03 2010-10-07 スリーエム イノベイティブ プロパティズ カンパニー コンテンツを割り当てることができるタイムスロットサンプルを生成して、その割り当てられたコンテンツの効果を測定するシステム及び方法

Also Published As

Publication number Publication date
AU2010203781A1 (en) 2011-07-28
AU2010203781B9 (en) 2013-12-05
EP2386098A2 (en) 2011-11-16
US20130246162A1 (en) 2013-09-19
KR20110110786A (ko) 2011-10-07
US9519916B2 (en) 2016-12-13
WO2010080722A3 (en) 2010-09-10
CN102341820A (zh) 2012-02-01
EP2386098A4 (en) 2014-08-20
JP2012514813A (ja) 2012-06-28
CA2750840A1 (en) 2010-07-15
CN102341820B (zh) 2015-11-25
US8458103B2 (en) 2013-06-04
AU2010203781B2 (en) 2013-11-07
WO2010080722A2 (en) 2010-07-15
JP2015053071A (ja) 2015-03-19
US20100174671A1 (en) 2010-07-08

Similar Documents

Publication Publication Date Title
JP5856273B2 (ja) 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法
JP5824011B2 (ja) コンテンツを割り当てることができるタイムスロットサンプルを生成して、その割り当てられたコンテンツの効果を測定するシステム及び方法
JP5276099B2 (ja) タイムスロットサンプルにコンテンツの複数小片を割り当てて、その割り当てられたコンテンツの効果を測定するためのシステム及び方法
US20140236707A1 (en) System and method for assessing effectiveness of communication content
EP2734968A2 (en) Systems and methods for transactions-based content management on a digital signage network

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151210

R150 Certificate of patent or registration of utility model

Ref document number: 5856273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees