JP5276099B2 - タイムスロットサンプルにコンテンツの複数小片を割り当てて、その割り当てられたコンテンツの効果を測定するためのシステム及び方法 - Google Patents
タイムスロットサンプルにコンテンツの複数小片を割り当てて、その割り当てられたコンテンツの効果を測定するためのシステム及び方法 Download PDFInfo
- Publication number
- JP5276099B2 JP5276099B2 JP2010515260A JP2010515260A JP5276099B2 JP 5276099 B2 JP5276099 B2 JP 5276099B2 JP 2010515260 A JP2010515260 A JP 2010515260A JP 2010515260 A JP2010515260 A JP 2010515260A JP 5276099 B2 JP5276099 B2 JP 5276099B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- experimental
- experiment
- time slot
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 302
- 230000000694 effects Effects 0.000 title claims abstract description 115
- 230000000903 blocking effect Effects 0.000 claims description 33
- 238000005457 optimization Methods 0.000 claims description 22
- 238000013480 data collection Methods 0.000 claims description 17
- 238000002474 experimental method Methods 0.000 description 333
- 230000008569 process Effects 0.000 description 174
- 239000000523 sample Substances 0.000 description 145
- 230000001419 dependent effect Effects 0.000 description 101
- 238000004891 communication Methods 0.000 description 65
- 238000012360 testing method Methods 0.000 description 56
- 238000004458 analytical method Methods 0.000 description 47
- 238000013401 experimental design Methods 0.000 description 42
- 238000011160 research Methods 0.000 description 34
- 238000013439 planning Methods 0.000 description 32
- 239000000047 product Substances 0.000 description 28
- 230000006399 behavior Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 23
- 238000013459 approach Methods 0.000 description 22
- 230000001364 causal effect Effects 0.000 description 22
- 238000009826 distribution Methods 0.000 description 22
- 230000001149 cognitive effect Effects 0.000 description 21
- 230000001965 increasing effect Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000013461 design Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 239000000902 placebo Substances 0.000 description 15
- 229940068196 placebo Drugs 0.000 description 15
- 230000001276 controlling effect Effects 0.000 description 14
- 230000003993 interaction Effects 0.000 description 12
- 239000003814 drug Substances 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 10
- 229940079593 drug Drugs 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000012384 transportation and delivery Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 6
- 230000001737 promoting effect Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000000528 statistical test Methods 0.000 description 5
- 206010001488 Aggression Diseases 0.000 description 4
- 206010006326 Breath odour Diseases 0.000 description 4
- 230000016571 aggressive behavior Effects 0.000 description 4
- 208000012761 aggressive behavior Diseases 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 208000032139 Halitosis Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 235000015243 ice cream Nutrition 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002040 relaxant effect Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003442 weekly effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000202 analgesic effect Effects 0.000 description 2
- 238000000540 analysis of variance Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000546 chi-square test Methods 0.000 description 2
- 229940121657 clinical drug Drugs 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 239000006071 cream Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 238000012252 genetic analysis Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000002547 new drug Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000000699 topical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000009917 Crataegus X brevipes Nutrition 0.000 description 1
- 235000013204 Crataegus X haemacarpa Nutrition 0.000 description 1
- 235000009685 Crataegus X maligna Nutrition 0.000 description 1
- 235000009444 Crataegus X rubrocarnea Nutrition 0.000 description 1
- 235000009486 Crataegus bullatus Nutrition 0.000 description 1
- 235000017181 Crataegus chrysocarpa Nutrition 0.000 description 1
- 235000013175 Crataegus laevigata Nutrition 0.000 description 1
- 235000009682 Crataegus limnophila Nutrition 0.000 description 1
- 235000004423 Crataegus monogyna Nutrition 0.000 description 1
- 240000000171 Crataegus monogyna Species 0.000 description 1
- 235000002313 Crataegus paludosa Nutrition 0.000 description 1
- 235000009840 Crataegus x incaedua Nutrition 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013400 design of experiment Methods 0.000 description 1
- 238000003255 drug test Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012314 multivariate regression analysis Methods 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 229940034610 toothpaste Drugs 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0244—Optimization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Time-Division Multiplex Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
（関連出願の相互参照）
本願は、２００７年７月３日に出願された米国仮特許出願第６０／９４７，８１４号の利益を主張するものであり、当該出願について米国特許法（３５ Ｕ．Ｓ．Ｃ．）第１１９条ｅ項の下で優先権を主張すると共に、当該出願を参照によって本願に組み込む。
本願は、２００７年７月３日に出願された米国仮特許出願第６０／９４７，８１４号の利益を主張するものであり、当該出願について米国特許法（３５ Ｕ．Ｓ．Ｃ．）第１１９条ｅ項の下で優先権を主張すると共に、当該出願を参照によって本願に組み込む。
（発明の分野）
本発明は、通信コンテンツの配信に関し、より具体的には、配信パターンによってコンテンツの有効性の測定が可能となるような方式で通信コンテンツを配信することに関する。
本発明は、通信コンテンツの配信に関し、より具体的には、配信パターンによってコンテンツの有効性の測定が可能となるような方式で通信コンテンツを配信することに関する。
小売り環境における視覚情報は、多くの場合、広告コンテンツの形を取る。そのようなコンテンツは、本質的に説得力があり、典型的には、売り上げを増加すること、ブランド志向を強化すること、又は消費者の忠誠心を生むことなど、建設的なビジネスインパクトを生じる目的で、視聴者の態度、認識、及び行動に影響を与えるように設計される。
２００２年において、例えば、一般に購買時点（ＰＯＰ）と呼ばれる小売り環境で使用された広告コンテンツの総支出は、米国では１７０億ドルと見積もられ、世界的には１年当たり４３０億ドルを上回った。このような支出水準により、市場投資に対して更に重大な説明責任を求めるブランドオーナーの経営者の間で、更に多くの精細な調査結果が集められてきた。
マーケティング最高責任者（Chief Marketing Officer）の平均在任期間が、産業界の情報源によると、推定で２２．９ヶ月に短縮しているため、測定可能な成果に対する必要性もまた、同様にますます重要となっている。したがって、マーケティング指導者らは、限られた貴重な時間で、自身のマーケティング努力による結果を、測定可能に証明することになる。マーケティングリサーチは、リサーチ業界の一部をなすものであり、従来より、相関的又は対応対照の研究を用いて目的に対する広告コンテンツの成果を評価するものであった。しかしながら、これらの「最良実施（best practice）」マーケティングリサーチの方法論は、マーケティング分析の専門家によって大いに批評されてきたように（例えば、ドン・Ｅ．シュルツ（Don E. Schultz））「マーケットリサーチがマーケティングの衰退の原因である（Market Research Deserves Blame for Marketing's Decline）」、マーケティングニュース（Marketing News）、２００５年２月１５日）、マーケティングメッセージと業績との因果関係を確実に表すものではない。それでもなお、マーケティングリサーチの支出は現在、これらの種類の研究を含めて、米国だけでも毎年８０億ドルと見積もられている。
本発明は、タイムスロットサンプルにコンテンツの複数小片を割り当てて、その割り当てられたコンテンツの効果を測定するためのシステム及び方法に関する。本発明の実施形態による方法は、コンテンツの各小片を実験コンテンツ又は対照コンテンツとして識別するペアワイズによるコンテンツ相関性データを受け取る工程を含む。それらの方法は、コンテンツ相関性データを使用して、タイムスロットサンプルに実験又は対照コンテンツの複数小片をアルゴリズム的に割り当てる工程を更に含み、その工程において、特定のタイムスロットサンプルに割り当てられた付加的なコンテンツの複数小片は、その特定のタイムスロットサンプルに既に割り当てられていた実験コンテンツ小片に対して規定される、同一でない関連する実験コンテンツの複数小片を除外する。
本発明のシステムの実施形態は、プロセッサとプロセッサに連結されたメモリーとを有する。メモリーは、コンテンツの各小片を実験コンテンツ又は対照コンテンツとして識別するペアワイズによるコンテンツ相関性データを記憶するように構成される。プロセッサは、コンテンツ相関性データを使用してタイムスロットサンプルに実験又は対照コンテンツの複数小片を割り当てるプログラム命令を実行するように構成され、特定のタイムスロットサンプルに割り当てられた付加的なコンテンツの複数小片は、その特定のタイムスロットサンプルに既に割り当てられていた実験コンテンツ小片に対して規定される、同一でない関連する実験コンテンツの複数小片を除外する。
各実施形態は、プロセッサによって実行可能な命令が記憶される、コンピュータで読み取り可能な記憶メディアに関する。命令は、コンテンツの各小片を実験コンテンツ又は対照コンテンツとして識別するペアワイズによるコンテンツ相関性データを受け取ることを含むプロセスを実施するように実行可能である。それらの命令は、コンテンツ相関性データを使用して、タイムスロットサンプルに実験又は対照コンテンツの複数小片をアルゴリズム的に割り当てることを含む更なるプロセスを実施するために実行可能であり、特定のタイムスロットサンプルに割り当てられた付加的なコンテンツの複数小片は、その特定のタイムスロットサンプルに既に割り当てられていた実験コンテンツ小片に対して規定される、同一でない関連する実験コンテンツの複数小片を除外する。
上記の課題を解決するための手段は、本発明の各実施形態又はすべての実現形態を記載することを意図したものではない。本発明の利点及び達成は、本発明をより完全に理解するのと共に、添付の図面に関連する以下の詳細な説明及び特許請求の範囲を参照することによって明らかになり、また評価されよう。
本発明は種々の修正及び代替の形態に容易に応じるが、その細部は一例として図面に示しており、また詳しく説明することにする。ただし、本発明は記載される特定の実施形態に限定されるものではないことを理解されたい。逆に、その意図は、添付の特許請求の範囲で定義される本発明の範囲に含まれるすべての修正物、等価物、及び代替物を網羅することである。
例示する実施形態の以下の説明において、添付の図面を参照するが、その図面は本願の一部をなすものであり、また本発明を実施し得る様々な実施形態を実例として示すものである。本発明の範囲から逸脱することなく、これらの実施形態を利用することができ、また、構造的な変更がなされ得ることを理解されたい。
莫大な金額が通信に費やされており、通信されるコンテンツと受信者に対するその有効性との因果関係が現在、正確に理解できないことから、よりデータ駆動型のマーケティング有効性に対する実業界の要求が、近年、著しく増加してきた。ある程度の因果性が、通常のマーケティングリサーチ技術を使用して明らかにされ得るとしても、そのリサーチの結果は通常、マーケティングキャンペーンが完了してかなり後にならないと利用できない。したがって、これらのリサーチ結果は、最大の価値があるときに、すなわち、キャンペーンの結果を調整し最大限にする機会がまだ存在する間に、すぐに利用可能な情報を提供するものではない。これらの及び他の状況により、通信の構想を確認し、これらの構想を検証するのに役立てるための、また、制作され配信された後に、それらの有効性を実用的な時間フレーム内で測定し評価するためのマーケティングリサーチの重要性が高まってきた。
実験的及び非実験的という、リサーチの２つの主要な部類がある。本開示は、概して、「真の」実験リサーチを遂行するためのシステム及び方法に関し、また、独立した実用性と有用性とを有するサブシステム及びそのようなシステムのサブプロセス並びに方法に関する。しかしながら、本明細書で説明する本発明のシステム及びプロセスは、真実験の一部として使用されるとき、特定の有用性を見出すものであるが、本明細書で説明するシステム、プロセス、及び方法論の多くは、真実験の状況以外にも有用性と価値とを見出すものである。
例えば、真実験の一部として説明するシステム及びプロセスの様々な態様（例えばサブシステム及びサブプロセス）は、準実験、相関的研究、又は他の形式の非実験的リサーチにおいて実践されてもよい。本明細書で説明する様々なシステムの態様及び方法論を実践することで、真実験的でないシステム及び方法論の効率及び精度を著しく改善することができる。したがって、本明細書で説明するプロセス、方法論、システム、及び装置は、真実験的リサーチの状況でのみ使用するように限定されるものではなく、非実験的又は準実験的リサーチ及び相関的研究など、他の形式のリサーチにおいて有利に使用され得ることを理解されたい。
実験は、典型的には、２つ以上の変数の間に関連が存在するか否かを実験的に判断するために遂行され、また典型的には、１つ以上の独立変数と１つ以上の従属変数との間に関連が存在すると仮定する１つ以上の仮説を形成することで始まる。例えば、製薬会社の研究者は、患者が服用する新薬の量が患者の血圧と関連するという仮説を生成することがある。様々なタイプの実験が、それらの実験で交絡変数の効果を減じるか又は除去することができる方式及び程度によって区別され得る。交絡変数は、独立変数の水準と共に系統的に変動し得る要因である。しかしながら、「真実験」によってのみ因果関係を実験的に判断し得るのであり、それゆえに、例えば、食品医薬品局は、新薬の有効性に関するデータを提供するために「真実験」を使用することを要求している。
独立変数とは、実験中に実験者によって規定又は操作される変数であり、例えば、薬が患者に投与される量及び／又は頻度である。従属変数とは、患者の血圧など、独立変数の値で予測されると仮定される変数である。次いで、実験者は実験を遂行して、製薬実験において患者に投与される薬の量が患者の血圧に関連するか否かなど、独立変数と従属変数との間に実際に関連があるか否かを判断する。
また、交絡変数は、従属変数にも影響を与えることがある。これらの交絡変数は、実験における主要な関心事ではないが、従属変数に影響を与え、したがって、独立変数と従属変数との因果関係を不明確にし得る。実験者は、独立変数と従属変数との因果関係を理解しようと試みているが、これらの交絡変数は、実験の結果を解釈不能なものにすることがある。交絡変数の一部の例には、ホーソーン効果、順序効果、ロケーション間の交絡及びロケーション内の交絡などの持ち越し効果、需要特性、並びに／又は、例えば、上述の製薬実験における被験者の体重など、独立変数の水準と共に系統的に変動し得る任意の他の要因が挙げられる。
交絡変数は、どの要因（変数）が、観測された従属変数の変化を引き起こしたのかを知ることを困難に又は不可能にする。実験中に適切に統制されない交絡変数が存在することで、独立変数と従属変数との因果関係について統計的推測を行うことが困難に又は不可能になる。
様々なタイプの実験が、それらの実験で交絡変数の効果を減じるか又は除去することができる方式及び程度によって区別され得る。因果性を確実に明らかにする唯一のリサーチ方法論は、真実験である。「真実験」という用語は、以下の３つの特徴が存在するはずである実験を意味する。
１．少なくとも２つの水準の独立変数が存在する。
２．サンプルが、独立変数の水準に無作為的に割り当てられる。つまり、実験における各サンプルが、等しい見込みで独立変数の水準に割り当てられる。
３．交絡を統制するか又は除去する何らかの方法が存在する。
上記の３つの特徴のいずれかを欠く実験は真実験ではなく、多くの場合、準実験又は相関計画と呼ばれる。真実験によってのみ、独立変数と従属変数との因果関係に関して統計的推論を引き出すことが可能となる。準実験及び相関計画により、独立変数と従属変数との関連を定めることが可能となり得るが、それらの関連が因果的であるか否かを判断することは不可能である。様々なタイプの実験計画（真実験を含む）が、例えば、キャンベル、Ｄ．Ｔ．（Campbell, D. T.）及びスタンリー、Ｊ．Ｃ．（Stanley, J. C.）「リサーチのための実験及び準実験計画（Experimental and Quasi-Experimental Designs for Research）」、ランド・マクナリー（Rand McNally）（１９６３）で述べられてきた。
準実験及び相関計画には、「第３変数の問題（third variable problem）」及び「方向性の問題（directionality problem）」として知られる難点がある。第３変数の問題とは、実験の結果が、統制されていないか又は無作為化されていない他の変数によって引き起こされた可能性があるということである。第３変数の問題の有名な例は、溺死とアイスクリームの売り上げとに大きな正相関が存在するという発見である。しかしながら、ほぼ確実に、アイスクリーム以外の他の変数（例えば気温であり、気温は、人々がアイスクリームを買う原因となると共に、人々が泳ぎに行く原因となる）によって、その相関が説明されるのが実情である。
マーケットリサーチャーは、相関的研究の発見事項の原因である可能性があり、また多くの場合、原因となっている多数の第３変数に直面している。方向性の問題とは、変数Ｂの変化を引き起こしたのは変数Ａである可能性があり、あるいは、変数Ｂが変数Ａの変化を引き起こした可能性があるということである。盛んに議論されている方向性の問題の例が、暴力的なメディアを見ることと攻撃的な行動との高い相関性である。方向性の問題は、暴力的なメディアが攻撃的な行動を引き起こすか否かを知ることに対する障害の１つである。暴力的なメディアを見ることが攻撃的な行動を引き起こす可能性もあり、また、攻撃的な行動に向かう傾向が、暴力的なメディアを人々が楽しむ原因となる可能性もある。マーケティングリサーチにおける方向性の問題の一例は、実際には、販売促進のメディアと交互作用することが購入行動を引き起こす可能性もあり、また購入しようとする意図が販売促進のメディアとの交互作用を引き起こす可能性もあるということである。
相関的研究は、本明細書におけるインターネット分析の説明によって明らかであるように、最も熟練したマーケティング担当者にも広く利用されている。相関的研究では、例えば、特定の広告コンテンツがデジタル看板上で再生されていた同じ期間中の販売時点（ＰＯＳ）データが比較される。この手法では、競合する販売促進又は試験期間内に発生する経済状態の変化など、同様に業績に影響を与えた可能性のある多数の要因を考慮することができない。したがって、任意の相関的手法と同様に、この方法では因果作用を判断することができない。
もう１つの広く利用されている手法である対応対照の研究では、デジタル看板を使用する一定数の試験店、及び多くの点で類似しているがデジタル看板を使用しない、慎重に選ばれた「対応」対照店の集合が識別される。次いで、同じ期間中の売り上げが比較される。看板が設置される前に試験店と対照店が同一であるか否かを知ること、そして、看板システム及びコンテンツ以外の事象が、店同士の間の観察された相違を引き起こしたのか否かを知ることが不可能であるため、対応対照の研究は、相関的研究と同じ制限を有している。つまり、試験店及び対照店における事象及び条件は、根本的に異なることがしばしばあり、基本的には無視される。対応対照の方法論を利用してこの制限を克服する唯一の方法は、非常に多数の店を試験条件及び対照条件に無作為的に割り当てることであり、これは通常、実行不可能であると考えられる。更に、デジタル看板のネットワークを展開する（roll-out）決断が、これらのデータを使用して下された場合、看板のない対照群が失われ、デジタル看板システムの有効性の更なる測定及び最適化が不可能となる。
マーケティングメッセージを配信でき、かつ消費者の反応を観測し追跡できる「閉ループ」を提供するため、インターネットは、測定可能なマーケティング通信の「金本位制」を提供するものとして表面的には確立されてきた。ほとんどの場合、その反応は、１回のマウスクリック若しくは一連のマウスクリック、又はウェブページ上で過ごす持続時間、又はオンライン行動を追跡する、個々のコンピュータに設定された「クッキー」を使用する多数の監視サービスによって追跡される他の測定基準の形を取る。
極めて高度化された分析機能が、いくつかの優れたインターネットメディア会社によって、また専門的なインターネット中心のマーケティング分析会社によって開発されてきた。これらの機能には、クリックスルー率など、メッセージバージョンと性能測定基準との相関を表す、ユーザー反応のいわゆる「リアルタイム」追跡と組み合わされた多数のメッセージバージョンのアルゴリズム的配信が含まれる。相当な努力が、これらの機能を向上させ拡張することに重点を置いて絶えずなされており、その価値は、最近の注目を集める数十億ドル規模の買収から明らかなように、市場によって確認されてきた。
インターネット形式の測定手法は、技術的には複雑であるが、概念的には単純である。ある人が、何らかの形の表示装置上でインターネットコンテンツを視聴するとき、その人の反応は、同じ装置を使用して反応することに、ほぼ例外なく限定される。したがって、インターネットの閉ループは、極めて簡単なものである。
実験的な観点において、個々のユーザーはサンプルであり、ウェブページの様々なバージョンは独立変数に対応する。マウスクリックは反応であり、クリックデータは従属変数に対応する。従属変数データは、実際には、独立変数に対してクリックすることによって生成され、したがって、従属変数データを収集するという正にその行為が、必然的に、従属変数データを独立変数データと結び付けることになる。
通常、クッキーによって有効化される極めて詳細な物理的記録があり、この記録は、ユーザーを識別し、ユーザーのインターネットクリック経路を追跡して、ユーザーが曝された独立変数の水準を示すものである。重要なことに、交絡変数が従属変数と独立変数との間に存在することは希である。
物理的環境内でディスプレイ上にコンテンツを配信することは、インターネットドメイン内に存在しない交絡に関する可能性に満ちている。物理的環境において、人々は従属変数データ（例えば、販売時点つまりＰＯＳログ、満足度調査の反応、センサーイベント）を生成しているが、人々が曝された可能性のある独立変数（例えば、ディスプレイ上のコンテンツ）の水準に従属変数データを結び付けることは困難である。消費者は店をさまよい、ディスプレイ又はディスプレイ上に再生されているコンテンツに気付くことも気付かないこともある。更に、再生されるコンテンツは、消費者が視聴範囲内にいる間に変化し、したがって独立変数の複数の水準に消費者を曝し得る。更に、変化するホテル利用率又は季節的な気温変動など、おおよそ予測可能な変数から、競合するマーケティング販売促進及び道路工事など、予測不可能なものまで、多数の他の変数が従属変数データに影響を与えることもある。
物理的環境内における２種類の交絡が、極めて困難な測定に関する変化を呈する。それらの交絡は、ロケーション間及びロケーション内の持ち越し効果とも呼ばれるロケーション間の交絡及びロケーション内の交絡である。ロケーション内の持ち越し効果とロケーション間の持ち越し効果の双方を有することもあり得る。ロケーション内の持ち越し効果は、ある実験条件の間（例えば、対照コンテンツが表示されている間）に存在した視聴者が、別の実験条件の間（例えば、実験コンテンツが表示されているとき）に依然として存在するときに生じる。ロケーション間の持ち越し効果は、あるロケーションにいる視聴者が別のロケーションでコンテンツに従って行動するときに生じる。
以下の例は、ロケーション間の交絡の理解を容易にするものであり、そのロケーション間の交絡を表したものが図１Ａに示されている。消費者が、自身の職場の近くにある自動車販売店を訪問し、自動車検査を促進するディスプレイ上のメッセージを視聴する状況を考える。消費者は、販売店を去る前に検査を依頼することはない（すなわち、消費者はメッセージに反応しない）。その夜、車で帰宅する間、消費者は、検査メッセージについて考え、家の近くにある別の販売店のロケーションに立ち寄り、検査を依頼する。しかし、第２の販売店は、そのディスプレイ上に異なるバージョンのメッセージを再生している。この場合、検査の売り上げは、誤ったメッセージに帰せられる。
以下の例は、ロケーション内の交絡の理解を容易にするものであり、そのロケーション内の交絡を表したものが図１Ｂに示されている。自動車販売店を訪問している消費者が、将来の故障を消費者が回避することができることを示唆することによって自動車検査を促進するディスプレイ上のメッセージを視聴する状況を考える。それにもかかわらず、消費者が、この宣伝提案について考える間、節約についての異なる検査関連のメッセージが、同じディスプレイ上に再生されるが、消費者はこのメッセージを視聴するかもしれないし視聴しないかもしれない。消費者は、元の「故障を回避する」メッセージを基に検査を依頼することを決断するが、「節約する」メッセージが再生されている間に依頼を行う。この場合、どちらのメッセージに依頼が帰されるべきかを知ることは不可能である。
これらの問題により、ブランドオーナーの経営者は、従来のマーケティングリサーチ技術を利用して得られた結果の真実性を疑問視することになる。売り上げが１０％増加したという主張は有望に思われるが、ブランドオーナーの経営者は、これらのデータに基づいてデジタル看板ネットワークを展開することには依然として消極的である。例えば、経験豊富な経営者は現在、広告コンテンツ「Ａ」が単独で業績「Ｂ」を招いたのか否か、あるいは、展開が開始された場合にデジタル看板ネットワークからの最大値が取得され得るか否かを、確信を持って判断することができない。上で議論したように、インターネット分析は、通常、真実験の特性を有しておらず、したがって多くの場合、多変量回帰分析又は人工神経回路網など、非実験的な相関的技術に依存している。しかしながら、一部のインターネット実験が、真実験の特徴を含むように設計され得ることが理解されよう。
本発明は、通信されているコンテンツと受け手に対するその有効性との因果関係の存在を判断し、その因果関係の強さを測定する方法及びシステムに関する。本発明は、通信コンテンツの配信、及び配信された通信コンテンツの有効性の算定を容易にする方法及びシステムに関する。本発明の方法及びシステムは、配信パターンによってコンテンツの有効性を測定することが可能となるような方式で通信コンテンツを配信する態様に関する。本発明の方法及びシステムは、交絡を統制する及び／又は除去するために、通信コンテンツが配信されるパターン（すなわちタイミング及びロケーション）の系統的な制御をもたらす。
通信コンテンツは、視覚若しくは聴覚、又は人間の感覚系（例えば、視力及び聴力の他に、触覚、味覚、及び嗅覚を含めた人間の感覚系の五感）に影響を与え得るか又は人間の感覚系によって感知され得る任意の形式を含めて、多数の形式を取ることができる。通信コンテンツは、静的であっても、動的であっても、それらの組み合わせであってもよい。
通信コンテンツを配信することは、例えば、電子的に、光学的に、音声放送によって、又は静的若しくは動的画像を通じて図式的に若しくは絵画的に達成することを含め、多数の方式で達成され得る。通信コンテンツは、小売り店、銀行、ホテル、空港、道路、鉄道、及び他の公共又は私設空間を含めて、種々の物理的環境に、またそれらの物理的環境内で配信され得る。通信コンテンツは、静止式又は移動式の構造、装置、及びシステムを介して提示され得る。
本発明の実施形態によれば、コンピュータで実現されるシステム及び方法によってタイムスロットサンプルが生成され、タイムスロットサンプルの各々には、クロックタイムが割り当てられる。各タイムスロットサンプルは、コンテンツが割り当てられ得る、タイムスロットサンプル持続時間と呼ばれる特定の持続時間と、割り当てられたコンテンツの効果を測定するためのデータ収集期間とを有する。タイムスロットサンプルのデータ収集期間は、従属変数データが収集される一定期間である。他の実施形態によれば、コンピュータで実現されるシステム及び方法によって、割り当てられたコンテンツの複数小片の効果を測定するためにディスプレイ上に表示する目的で、タイムスロットサンプルにコンテンツの複数小片が割り当てられる。
本発明のシステム及び方法は更に、通信コンテンツを配信すること、及び真実験の制約と整合するそのようなコンテンツの効果を算定することに関する。本発明の実施形態は、コンピュータで実現されるプロセスで使用するために、真実験の制約と整合する通信コンテンツを表示するための規則を提供することに関する。ルールは、タイムベース型であってもイベント駆動型であってもよく、好ましくは、持ち越し効果などの交絡を統制するか又は除去する。通信コンテンツは、それらの規則に従って表示される。通信コンテンツの有効性に関するデータが収集され、通信コンテンツの有効性は、その収集されたデータに基づいて評価される。
本発明の実施形態は、配信パターンが、コンテンツの効果を測定するための真実験の制約を満たすように、１つ以上のディスプレイ全体にコンテンツをアルゴリズム的に配信することに関する。デジタル看板ネットワーク又はインターネットなど、通信コンテンツの配信ネットワーク上で真実験を実施することで、通信コンテンツと事業成功の測定値（例えば、売り上げ、センサーイベント、調査データなど）との因果関係の存在が判断され、その因果関係の強さが測定される。
本発明の実施形態は、コンテンツ提示パターンが実験計画に正確に対応するように、アルゴリズムを用いて看板コンテンツを自動的にスケジュールし提示する。アルゴリズムの出力は、実験条件に対応するように従属変数データを分解するための基準として使用されてもよい。
例えばデジタル看板のネットワークは、多数の難題を呈するが、そのようなネットワークはまた、放送、ケーブルテレビ、ラジオ、及び出版などの他のメディアと比べて、実験に理想的な条件を提供する。例えば、テレビ及びラジオに関し、広告主は、どのテレビに自身の宣伝が放送されるかを制御する（すなわち独立変数を操作する）ことができず、また、製品売り上げに対する宣伝の直接的な効果を測定する（すなわち従属変数に対する独立変数の効果を測定する）ことができない。ほとんどのマーケティングリサーチの方法論は、これらのメディアモデルから発展してきたので、マーケットリサーチャーは、真実験を遂行する可能性を見逃してきたように思われる。
更なる例として、デジタル看板のネットワークにより、広告コンテンツを正確にスケジュールすること（すなわち独立変数を正確に操作する能力）が可能となる。また、ディスプレイは通常、製品の近くにあるか、あるいは行動の変化が測定され得る環境内にあるため、コンテンツに起因する行動の変化を測定することが可能である（すなわち、従属変数に対する独立変数の効果を測定することが可能である）。また、目的に対する達成度を評価するために使用されるデータは、典型的には、実験において容易に使用され得る形式で既に収集されたものである。
本発明の方法論によれば、独立変数は好ましくはデジタル看板のコンテンツであり、また、従属変数は、商取引を意味するいかなる測定値（例えば、売り上げデータ、センサーデータ、調査データ）であってもよい。本発明のシステム及び方法を使用すると、交絡を統制し除去するために、デジタル看板コンテンツがデジタル看板ネットワーク全体に配信されるパターン（すなわちタイミング及びロケーション）を系統的に制御することが可能となる。
デジタル看板ネットワークで使用するために実現された本発明のシステム及び方法は、高度な内的及び外的妥当性をもたらす。内的妥当性は、変数同士の因果関係を正確に特徴付ける実験の信頼度を指す。実験室で遂行される実験は、「現実の世界」では通常は可能でない変数の統制度を実験者にもたらすため、通常、高度な内的妥当性を有する。外的妥当性は、変数同士の間の任意の因果関係の方向及び強さが、実験室外でも、すなわち現実の世界においても保たれるという信頼度を指す。例えば、ブランドマネージャーは、内的及び外的妥当性を管理する問題をはっきりと認識している。例えば、ブランドマネージャーはしばしば、フォーカスグループにおける優先傾向又は行動パターンの尺度が店舗の通路内に存在するか否かを熟考する。
従来より、内的妥当性と外的妥当性との間にはトレードオフが存在し、このトレードオフは、「内的妥当性の矛盾（the paradox of internal validity）」としてリサーチャーに知られている。しかしながら、本発明の方法論は、優れた内的及び外的妥当性をもたらす。デジタル看板ネットワーク全体にわたってコンテンツの提示を無作為化することが可能であるため、他の要因が実際に独立変数の水準と共に系統的に変動しないようにすることが可能である（したがって、統計的有意性の水準、つまりαは、任意の結果が因果作用を表している確率を完全に表すようになる）。更に、実験は実際には、従属変数として既に収集された尺度（例えば売り上げデータ）を使用して現実の世界で遂行されるため、外的妥当性はほぼ完全なものとなる。
相関計画及び準実験とは対称的に、本発明の方法論は、商取引上の重大な問題の回答を得るためにデータが利用され得る速度を同時にかつ劇的に増加させると共に、データの信頼性をも劇的に向上させるものである。例えば、８００台のディスプレイを有するデジタルディスプレイのネットワークを使用して、コンテンツＡがコンテンツＢよりも効果的であることを、ある信頼水準α（通常は０．５に設定される）で知るために十分なデータを集めるのに、わずか数時間しか要さないこともある。対応対照又は相関的研究を利用すると、データを収集するのに数ヶ月を要し、結果の信頼度は、おそらくは低いものとなるであろう。留意されたいこととして、最良に計画された相関的研究でさえも、データが収集されてからかなり後にならなければ、適切に分析することができない。これは、研究の間に系統的に変動した要因（すなわち交絡）（例えば、天候、経済状況）のリストを編集することが、典型的には重回帰を利用する相関モデルにおいてこれらの変数を数学的に統制しようと試行するために、統計学上必要となるからである。変数の効果を推定する各試みには、誤差の可能性が含まれ、その誤差の可能性は累積的である。
本発明の様々な実施形態の状況において、独立変数は、戦略上のメッセージ、更には、主要な色又は写真画像の使用のような制作要素などのコンテンツの特性に対応する。少なくとも２つの水準の独立変数が常に存在し、つまり、双方が実験コンテンツであるか、又は一方の水準が実験コンテンツであり、もう一方が対照コンテンツである。実験コンテンツとは、従属変数に影響を与えると仮定されるコンテンツ（臨床薬の試行実験において試験される薬（複数可）に類似したもの）である。対照コンテンツとは、従属変数に影響を与えないと予想される任意のコンテンツ（臨床薬の試行実験におけるプラシーボに類似したもの）である。独立変数を操作することは、実験コンテンツか又は対照コンテンツのいずれかを異なる時間に異なるロケーションで看板上に提示されるように割り当てることを伴う。種々の水準の独立変数が、種々の看板及び種々のロケーションに無作為的に（以下で議論するように制約付きで）割り当てられる。従属変数は、コンテンツによって影響を受けると仮定される任意の変数（例えば、売り上げデータ、購入前の行動を測定するセンサーデータ）であり得る。
交絡変数は、上で議論したように、従属変数に影響を与え、したがって、独立変数と従属変数との正確な因果関係を不明確にし得る。実験が、例えば二重盲検であり、適当な無作為化がなされている場合、考えられる交絡の種類は２つしかなく、それは上述の持ち越し効果（例えば、ロケーション間及びロケーション内の交絡）、及びコンテンツの交絡である。
コンテンツの交絡は、同じ従属変数に対する実験コンテンツの複数のバージョンが、同じタイムスロットの間に再生され、そのタイムスロットの間に従属変数の測定値が測定されているときに生じる。そのような場合には、どのコンテンツが、観測された従属変数の変化の根底にあるかを知ることが不可能となる。これらのタイプの交絡は、所与のタイムスロット内で実験コンテンツ及び／又は対照コンテンツのみが提示されるようにすることによって除去され得る。
先に議論したように、持ち越し効果は、視聴者が、ある実験条件に対応するあるタイムスロットの間にコンテンツを観察し、異なる実験条件に関連付けられるタイムスロットの間にそのコンテンツに従って行動することが可能であるときに生じる。ここでも、そのような場合には、どのコンテンツが、観測された従属変数の変化の根底にあるのかを知ることが不可能となる。ロケーション内の持ち越し効果は、ある実験条件の間（例えば、対照コンテンツが表示されている間）に存在した視聴者が、別の実験条件の間（例えば、実験コンテンツが表示されているとき）に依然として存在するときに生じる。ロケーション内の交絡は、コンテンツが割り当てられ得るタイムスロットサンプルが十分に長くなるようにして、タイムスロットサンプルの一部（例えば、タイムスロットサンプルの半分）の間に視聴ロケーションにいる視聴者の大多数（例えば９５％）が、先のタイムスロットサンプルの間に存在しなかったことが確実となるようにすることによって統制することができる。この場合、データは、好ましくは、先のタイムスロットサンプルの間に存在した視聴者の大多数がそのロケーションを去った、タイムスロットサンプルの一部分の間にのみ記録される。
別の手法は、以下で議論するように、タイムスロットサンプルの間に記録されたデータの大部分又はすべてを使用するが、タイムスロットサンプルの開始部分と比較して、タイムスロットサンプルの終了部分に向かってより大きくデータを重み付けすることを伴う。更に、依然として存在するロケーション内の持ち越し効果（例えば、試験コンテンツの両バージョンに曝された５％以下の消費者から生じるもの）は、コンテンツが提示される順序を相殺化する（例えば、コンテンツＡがコンテンツＢに続くのと同じ程度の頻度で、コンテンツＢが実験全体でコンテンツＡに続くようにする）ことによって除去されてもよい。
ロケーション間の持ち越し効果は、あるロケーションにいる視聴者が別のロケーションでコンテンツに従って行動するときに生じる。ロケーション間の持ち越し効果は、互いに妥当と思われる移動距離内にあるロケーションが、それらのロケーションで再生されるコンテンツにおいて限定されるようにして、ある実験条件が有効である間にあるロケーションを去り、近くのロケーションに行き、他の実験コンテンツが有効である間に従属変数に影響を与えるように行動することが不可能となるようにすることによって除去され得る。
最適化要因によるブロック化と、ノイズ変数によるブロック化という２種類のブロック化が、種々の理由により用いられてよい。最適化要因は、コンテンツの有効性に関する含意を有し得る、看板のロケーションにある要因である。そのような要因には、看板のロケーション、環境照明、視聴者の社会経済的地位、時間帯などが挙げられる。これらの要因によりブロック化すると、要因分析によりコンテンツと最適化要因との交互作用を測定する（例えば、コンテンツＡが朝方により効果的であり、一方でコンテンツＢは夕方により効果的であるか否かを測定する）ことができる。ノイズ変数によるブロック化を利用すると、予測可能ではあるが実験に関しては関心のない従属変数に影響を与える要因に関連付けられる変動性を除去することによって、統計的検出力を増加させることができる。
留意されたいこととして、適切な無作為化がなされると、実験の範囲外であるいかなる要因（例えば、需要の変化、道路工事、他の広告努力）も独立変数の水準と共に系統的に変動することは不可能である。二重盲検法においては、被験者（この場合は顧客）もリサーチャーも、誰が対照群及び実験群に属するかを承知していない。すべてのデータが記録され、場合によっては分析された後にのみ、リサーチャーは、どの個人が各群に存在するのかを知る。二重盲検の方式での実験の実施は、先入観及び無意識による身体的手がかりが結果に及ぼす影響（プラシーボ効果、観察者の偏向、及び実験者の偏向）を減じる１つの方法となるものである。
様々な実施形態による本発明の有利な態様は、真実験又は真実験の制約を有する同等のサブプロセスの計画の従来の手動の手法に伴う問題及び限界を考慮すれば、容易に理解される。真実験によって生じたデータは、交絡の効果を除去することが可能であるが、交絡変数を適切に統制するか又は除去する真実験を手動で計画し遂行する複雑さは、市場でのその実験の利用が広く認められることに対する障害となっている。
従来の手法に伴う第１の問題は、拡張性を制限する実験計画に適合するように、正確なコンテンツ配信パターンを計画することに関する。１つ、２つ、更には５つの変数を伴う真実験を計画し遂行することは、十分に複雑であり、高度に訓練された統計学者が、すべての交絡をブロック化し、相殺化し、無作為化し、適切に処理することを必要とする。したがって、遂行される実験の回数及び複雑さが増すにつれて、更なる統計的実験計画の専門家が必要となるため、従来の手法はあまり拡張性がない。
従来の手法に伴う第２の問題は、実験計画に対応する正確な時間にデジタル看板のソフトウェア上で再生するようにコンテンツをスケジュールすることに関するものであり、これは手動で試みると極端に時間を要するものである。ネットワークは典型的には、数百台、更には数千台のデジタルディスプレイを含んでいる（例えば、ウォールマート（WAL-MART）のテレビネットワークは、１２５，０００台のＬＣＤディスプレイからなる）。消費者は、通常は特定の標的視聴者の小区分の一部として特徴付けられるが、例えば、１日のうちの時間帯（dayparts）と呼ばれる部分集合内に店舗を訪問する。デジタル看板ネットワーク全体にわたって、並びにこれらの小区分及び時間帯全体にわたってコンテンツをスケジュールすることは、それだけで時間を要する行為である。例えば、看板のうちの多くが厳密に同じコンテンツを厳密に同時に再生し得る３００〜４００の看板のネットワークに対して、デジタル看板のコンテンツのスケジュールを管理することは、ほぼフルタイムの仕事となる。
しかしながら、デジタル看板ネットワーク全体にわたって真実験を遂行するには、統計学者が、無作為化によるすべての変数のブロック化、相殺化、及び他の方法での統制に従って、広告コンテンツを正確にスケジュールしなければならない。現行のコンテンツ管理ソフトウェアを使用してデジタル看板コンテンツをスケジュールすると、多くの場合、１つの看板に対して最大で２０分間を要する。したがって、デジタル看板コンテンツの個々の小片を、それらが大規模な看板のネットワーク全体にわたって、実験計画に対応する正確なパターンで再生されるように手動でスケジュールすることは、従来の技法を使用すると、不可能ではないとしても、極端に時間を要するものとなる。
従来の手法に伴う第３の問題は、従属変数データを実験条件と結び付けることに関するものであり、これは時間を要するものである。現在、実験が実行された後に、統計学者が、例えば財務部に非常に詳細にデータを要求し、それらのデータ点を、ネットワーク全体にわたって再生された的確なコンテンツと照合しなければならない。従来の手法に伴うこれらの及び他の問題及び限界は、本発明に従って、通信コンテンツを配信し、そのコンテンツの有効性を算定することによって克服される。
以下に、通信コンテンツを配信すること、及び真実験の制約と整合する方式でのそのコンテンツの有効性を算定することに関する例を示す。これらの例は、単に説明の目的で示されるものであり、開示される原理の範囲又は応用を限定するものではない。むしろ、活字メディア、携帯若しくは無線通信装置、インターネットでアクセスされるコンテンツ及び装置（固定型及び携帯型（例えばハンドヘルド型）の装置を含む）、店内用及び屋外用（例えば電光掲示板）の表示システムに関係するものを含めて、多種多様なメディア並びに通信配信の機構及び方法論が企図される。また、例えば、広告コンテンツ、教育コンテンツ、経路探索（way finding）コンテンツを含めて、そのような機構及び装置を通じて通信され得る多種多様なコンテンツも企図される。
本明細書で説明する自動化された実験計画の方法論は、概してデジタル看板の応用例に重点を置いているが、そのような方法論は、とりわけ、ウェブページの計画、インターネット広告、購買時点の印刷マーケティング、及びダイレクトマーケティングを含めて、多数のマーケティング通信の方策に応用されてよいことを理解されたい。例えば、インターネット分析の方法、又は参照によって本願に組み込まれる米国特許第６，９３４，７４８号及び同第７，１３０，８０８号において開示されているシステムなどのウェブベースの自動化された実験システムが、真実験計画又は真実験の制約を有するサブプロセスを実現するように、本発明に従って修正されてもよい。
本発明の態様は、配信されるコンテンツの効果を実験的に測定することに関するものではないが、契約上の義務を履行することなどの他の制約に基づいてコンテンツを配信することを含む、自動コンテンツ配信システム及び方法に組み込まれてもよい。そのようなシステム及び方法の例が、参照によって本願に組み込まれる米国特許公開第２００６／０２８７９１３号において開示されている。そのようなシステム及び方法において、コンテンツ配信は、配信されたコンテンツの有効性を本発明に従って測定する間に同時に実施されてもよい。
システム及び方法論の以下の非限定的な例は、本発明の様々な実施形態を表すものである。それらの例の一部は、真実験の制約と整合する通信コンテンツの有効性を測定することを容易にするシステム及びアルゴリズムに関する。それらの例の一部は、交絡を統制し除去する（又は相当に減じる）ために、通信コンテンツが配信されるパターンの制御を容易にするシステム及びアルゴリズムに関する。それらの例の一部は、準実験分析及び相関的研究などにおける、コンテンツの有効性の非実験的分析を容易にするように実現され得るシステム及びアルゴリズムに関する。
本発明の様々な実施形態で、実験条件に対応するように従属変数データが自動的に分解される。図２Ａは、真実験の制約と整合する通信コンテンツを表示するための規則の供給（１０）を含む実施形態を示す。いくつかの実施形態において、これらの規則の供給（１０）は、真実験の制約と整合するそのような規則の作成を含む。他の実施形態において、先の作成された規則が、真実験の制約と整合する通信コンテンツを表示するシステムに供給される。図２Ａに更に示すように、通信コンテンツは、規則に従って表示される（１２）。通信コンテンツの有効性に関するデータが収集され（１４）、通信コンテンツの有効性が、その収集されたデータに基づいて評価される（１６）。
図２Ｂは、特にデジタル看板コンテンツの自動的なスケジューリング及び提示に関する実施形態の図である。図２Ｂによれば、真実験の制約と整合する通信コンテンツを表示するための再生リスト及びスケジュールが供給される（１１）。再生リストはコンテンツの個々の小片の順序を指し、スケジュールは、再生リストで規定されるものなどのコンテンツの複数小片の再生を指示するものである。
いくつかの実施形態において、再生リスト及びスケジュールの供給（１１）は、真実験の制約と整合する再生リスト及びスケジュールの作成を含む。他の実施形態において、先の作成された再生リスト及びスケジュールが、真実験の制約と整合する通信コンテンツを表示するシステムに供給される。通信コンテンツは、デジタル看板システム全体に配信される（１３）。通信コンテンツは、再生リスト及びスケジュールに従って、デジタル看板システムのディスプレイ上に表示される（１５）。通信コンテンツの有効性に関するデータが収集され（１７）、通信コンテンツの有効性が、その収集されたデータに基づいて評価される（１９）。
理解されたいこととして、単数又は複数の処理装置（例えば、ＰＣ、ミニコンピュータ、ネットワークプロセッサ、ネットワークサーバーなど）が、図２Ａ〜２Ｂ及び本開示の他の図に示すプロセスのうちの１つ、いくつか、又はすべてを実施するために使用されてもよい。例えば、第１のプロセッサ又は第１の組のプロセッサが、再生リスト及びスケジュールの作成において使用されてもよい。第２のプロセッサ又は第２の組のプロセッサが、１つのロケーションに又はデジタル看板システム全体にコンテンツを配信するために使用されてもよい。第３のプロセッサが、再生リスト及びスケジュールに従ってコンテンツを表示するために使用されてもよく、一方で、第４のプロセッサが、コンテンツの有効性に関するデータを収集するために使用されてもよい。第５のプロセッサが、収集したデータに基づいてコンテンツの有効性を評価するために使用されてもよい。いくつかの実施形態において、これらのプロセス及び本明細書で議論する他のプロセスは、プロセッサのうちのいくつか又はすべての間で通信を達成するようにネットワーク化され得る１つ以上のプロセッサによって実現することができる。
他の実施形態において、そのようなプロセスのうちのいくつか又は各々は、それらの間で通信を達成するようにネットワーク化されていないか、あるいは他の方法で連結されていないプロセッサによって実施されてもよい。例えば、第１のプロセッサは、１組のプログラム命令を実行して再生リスト及びスケジュールの作成を実行するように構成されてもよく、第２のプロセッサは、１つ又は複数の表示装置にコンテンツを配信するための１組のプログラム命令を実行するように構成されてもよい。特に明記しない限り、プロセッサ又はコンピュータ（及びそれらの変化形）は、本明細書において、また特許請求の範囲において使用するとき、単一のプロセッサ、いくつか又はすべてが通信的に結合され得る複数のプロセッサ、互いに通信的に結合されていない異種のプロセッサ（サブネットワークの１つ）、及び処理リソースの他の構成を意図するものである。
図３及び４は、本発明の実施形態に従って真実験の制約と整合する通信コンテンツをアルゴリズム的にスケジュールし提示することに関するプロセスを示す。図３は、本発明の実施形態に従って通信コンテンツをアルゴリズム的にスケジュールし提示することに関連するネットワーク設定及びデータ集積を含む様々なプロセスを示す。
図３に示す例示的な例によれば、デジタル看板ネットワーク設定を設定することは、持ち越し効果などの交絡の統制、減少、及び除去が容易となるディスプレイのロケーションを決定することを含む。例えば、ネットワークを設定することは、そこにいる少なくとも所定の割合（例えば９５％）の顧客が、実験又は対照コンテンツを表示する別のロケーションを訪問しなかったであろうロケーションを決定する（３０）ことを含み得る。９５％という値が選択されたことは重要ではない。しかしながら、理解されたいこととして、より大きな値を選択するほど、結果がコンテンツからの投資回収率の正確な総計を過小評価する可能性はより低くなる。９５％という値は、単に十分に大きいので、適切な相殺化を伴えば、持ち越し効果の影響がほぼ存在しなくなるというものである。
視聴者の大多数が、ある現場でメッセージを見る機会を持ち、異なる対照又は実験コンテンツを再生している別の現場でそのメッセージに従って行動することがないようにすることが重要である。これが起こるという事例が、持ち越し効果という事例であり、持ち越し効果により、実験の結果が交絡し得る。例えば、自動車販売店内のディスプレイで実験を遂行している場合、視聴者がある販売店でコンテンツを見て、実験に加わっている別の販売店で自動車を購入し得るほど互いに十分近くに、どの販売店があるかを知ることが必要となる。これは、デジタル看板ネットワーク設定の一部として達成することができる。例えば、ネットワーク全体にわたって、視聴者がそれらの販売店を去った後にいかにも訪問しそうなロケーション（同じ地理的区域内の他の販売店）のすべてを選択するように、ソフトウェアで設置者に促すことができる。
看板のロケーションに存在するネットワーク属性及び最適化要因は、好ましくは、デジタル看板ネットワーク設定の一部として確認される（３２）。そのような要因は、ロケーションの従属変数の値に予測可能に影響を与える各現場の特徴（例えば、店舗の大きさ、社会経済的な階級、他の広告努力、ロケーションにいる典型的な人数の視聴者の時間帯による差）を含み得る。次いで、これらの要因は実験におけるブロック化要因となる。
ブロック化要因には２つのカテゴリがある。１つのカテゴリは、実験が交互作用に関して試験するものであり、かつ、どのコンテンツを表示するべきか（例えば、コンテンツＡは社会経済的地位（ＳＥＳ）の低い販売店でより効果的である可能性があり、一方でコンテンツＢはＳＥＳの高い販売店でより効果的である可能性がある）についての戦略的な判断を示唆するものである要因を含む。ブロック化要因のもう１つのカテゴリは、どのコンテンツを示すべきかについて明確に示唆するものではないが、それにもかかわらず、実験の統計的検出力を増加させるためにブロック化すべき要因である。ここでも、これらの要因は、ソフトウェアのインストール過程及びその後の更新の間に指定することができる。
また、ネットワーク設定は、実験のサンプルサイズ要件を推定する（３４）ことを含む。理想的には、統計的検出力分析を利用して、商取引上関心のある少なくともある最小規模の、統計学的に有意な結果を見出すために、どれだけの量のデータが必要であるかを算出することが好ましい。
対照及び実験コンテンツが、ネットワーク設定の一部として規定される（３６）。対照コンテンツ（すなわちプラシーボ）は、局地的な天候若しくは報道、又は従属変数とは関連のない製品若しくはサービスについてのメッセージなど、所望の行動に影響を与えることを意図しない又は所望の行動に影響を与えそうにない任意のメッセージとすることができる。実験コンテンツは、従属変数の変化を引き起こすと仮定されるコンテンツである。留意されたいこととして、状況によっては、ある仮説に対する実験コンテンツが、異なる仮説に対する対照コンテンツとして働き得る。
商取引を遂行している現場で大多数の視聴者が過ごす最長持続時間に関するデータが得られ（３８）、持ち越し効果を統制するために使用される。持ち越し効果は、先に議論したように、視聴者がある時間に実験コンテンツを見て、次いで、対照コンテンツが再生されているときにその実験コンテンツに従って行動する（又はその逆）ときに発生する。そのような事例は、ある時間のブロック又はタイムスロットサンプル内で、実験コンテンツのみ又は対照コンテンツのみが表示されるようにし、その時間のブロック又はタイムスロットサンプルが十分に長く、現在のブロックのコンテンツが再生されている間、先のブロックのコンテンツに曝された人が、データ収集の開始時に存在しないようにすることによって、容易に排除することができる。
図４Ａは、本発明の実施形態に従って通信コンテンツを配信しそのコンテンツの有効性を算定することに関連する、ロケーションの持ち越し効果を統制する（例えば、軽減するか又は除去する）ためのプロセスを示す。図４Ａは、顧客の９５％が看板のロケーションで過ごす最長持続時間が３０分である場合に、どのようにしてロケーション内の持ち越し効果が統制されるかを示す。この例示的な例において、コンテンツが再生されているタイムスロットサンプル２２、２４は、顧客の９５％がロケーションで過ごす最長持続時間の２倍である。
データ記録は、先のタイムスロットサンプルの間に存在した顧客の９５％がその看板のロケーションを去るまで開始されない。この例において、データは、タイムスロットサンプル２２、２４のうちの最後の３０分間の部分２３、２５の間にのみ記録される。留意されたいこととして、各ロケーションの時間間隔は、好ましくは、従属変数データを測定できる最小単位時間によって表現される。例えば、ある購買時点システムで収集された売り上げデータは数秒の単位で供給されるが、一方で、他のシステムは、数時間の単位でのみ売り上げを報告する。図４Ｂは、本発明の他の実施形態に従って通信コンテンツを配信しそのコンテンツの有効性を算定することに関連する、ロケーションの持ち越し効果を統制するためのプロセスを示す。図４Ｂの態様について以下で議論する。
図５は、本発明の実施形態に従って真実験の制約と整合する通信コンテンツをアルゴリズム的にスケジュールし提示するためのプロセスを示す。図５に示すプロセスは、本発明の実験計画及び実行プロセスの様々な処置を示す。図５は、真実験の制約と整合する通信コンテンツをスケジュールし提示するのを容易にする多数の機能を組み込んだ総合的なシステムを示すことを意図したものである。理解されたいこととして、図５に示す機能のすべてが、本発明のシステム及び方法論に組み込まれる必要はない。図５に示す選択された機能は、独立型の応用例において利用されてもよく、又は本発明の実施形態に従う有用なシステム及び方法を提供するために他の機能と組み合わされてもよい。例えば、図６Ａ〜７Ｂは、図５に示す機能の様々な有用な組み合わせを示す。図５に示す機能の多くの組み合わせが、準実験システム、及び相関若しくは回帰分析又は人工神経回路網を用いるものなど、非実験的なシステムにおいて実現され得る。
図５〜７Ｂに示すプロセスの多くは、通常、とりわけ、他のプロセス、システム（例えばＰＯＳシステム）、センサー（例えば人感センサー）から、又はユーザーから受け取られる入力を有する。これらの入力には、有効性について試験されるコンテンツの各小片用の持続時間データ（ＣＤ）と、測定されている行動又は商取引データの変化をコンテンツが引き起こした場合に、コンテンツが関心のないものとして視聴されるようになるまでの関心持続時間（ＤＩ）と、ペアワイズによるコンテンツ相関性データ（ＣＲ）（すなわち、コンテンツＡは、同じ行動又は商取引データにコンテンツＢとは異なる影響を与えると期待されるか）と、ペアワイズによるロケーション相関性（ＬＲ）（すなわち、視聴者がロケーションＡでコンテンツに曝され、上記の関心持続時間内にロケーションＢで行動し得る見込み）と、看板のロケーションに存在する最適化要因（ＯＦ）と、コンテンツの各部分用にいくつのタイムスロットサンプルが最適化要因に必要であるかについての、任意選択であってもよい推定サンプルサイズ要件（ＳＳ）と、ディスプレイが配置されている現場で特定の割合の標的視聴者（例えば９５％）が過ごす最長持続時間（視聴者訪問持続時間、つまりＶＶＤ）と、標的視聴者が現場を訪問している間に作用し得る関心データストリームのデータ収集／集約のための時間間隔（ＴＩ）と、ブロック化要因（すなわち、従属変数データを予示するが、それ自体はコンテンツを最適化することに関しては関心のない最も強力な要因）と、完全なプラシーボのコンテンツと、実験コンテンツとが挙げられる。
視聴者訪問持続時間は、特定の割合の視聴者があるロケーションで過ごす最長時間を表す重要なパラメータである。ＶＶＤは通常、個人があるロケーションで過ごす時間に影響を与える多数の要因に応じて各個人のＶＶＤが分布することを理解した上で、多数の視聴者に対して個人のＶＶＤから算出される。ＶＶＤの精度は、ロケーションの大きさに依存する。小さなロケーション、例えば小さな店舗は、コンテンツを見て、次いで数分以内にそのコンテンツに従って行動する明確な機会を有することになる。
視聴者訪問持続時間は、予想されるＶＶＤに基づいてＶＶＤを推定することによるなど、様々な方法で決定することができる。ＶＶＤの決定は、例えば、商取引データ、先売りデータ、センサーデータ（例えば、近接又は人感センサーデータ）、及び観察データを含めて、１つ以上の要因に基づいてもよい。ＶＶＤを決定するための他の手法について、以下に示す例示的な例で議論する。
理解されたいこととして、一部の「視聴者」は表示されたコンテンツを見る（又は理解する）ことがないが、それにもかかわらず、広告された品目を購入する（測定される行動に一般化される）可能性がある。他の視聴者は、コンテンツを見るが、広告された品目を購入せず、また他の視聴者は、コンテンツを見て、広告された品目を購入する。この点で、本発明の方法は、表示されるコンテンツ（実験か対照か）に応じた、測定された行動の相違を示すことに関する。留意されたいこととして、測定されるこの行動の相違はまた、ディスプレイのロケーション（例えば、ディスプレイを見る人がほとんどいない人目につかない隅か、すべての人がディスプレイを見る非常に人目にを引く位置か）の効用でもある。ディスプレイが、ほとんどの人に又は誰にも見られない場合、最も説得力のあるコンテンツ（本日、薄型テレビが無料！！！（FREE Flat Screen TVs Today!!!））は、測定された行動（無料のテレビを手に取ること）について、実質的に相違をもたらさない。
ロケーションは、その中で視聴者が独立変数の水準に（例えばデジタル看板コンテンツの形で）曝され、かつ、独立変数に対応する従属変数データ（多くの場合、従属変数データは販売時点又はセンサーデータからなる）の変化を引き起こす物理空間を指す重要な用語である。多くの場合、小売り環境内のロケーションは、小売業者が所有する物理空間である。しかしながら、ロケーションが、小売業者の所有する空間の部分集合となる状況もある。例えば、ホテルのロビーがチェックインデスクの近くにディスプレイを有する場合を考える。ここで、実験は、宿泊客が非標準の部屋に格上げする確率を高めるように計画されたデジタル看板コンテンツの２つの小片の相対的有効性を試験する。この場合、視聴者はホテルのロビー内でのみコンテンツに曝され、視聴者が最初にホテルのロビーを訪れている間以外に非標準の部屋に格上げする見込みは非常に低いため、ロケーションはホテルのロビーの領域となる（ホテル全体ではない）。したがって、これは、正確なＶＶＤが可能となる統制された物理空間である。
例えば、街に１つの屋外ディスプレイと複数の小売り店があり、小売り店で消費者の行動が（例えば、街の１つの屋外ディスプレイに提示された広告製品を購入することによって）測定される場合、ＶＶＤはあまり正確ではなくなる。商店街の環境は通常、正確なＶＶＤが可能となる統制されたロケーションと、上で議論した例示的な街の状況との中間のどこかに属する。対照的に、最も統制された状況は、コンピュータディスプレイの前に座り、マウスクリック及び／又はキーストロークによってコンテンツに反応する（すなわち、行為としてコンテンツに従って行動する）人で代表されるロケーションであることに留意されたい。
先に議論したように、持ち越し効果は、独立変数のある水準の効果が、同じ独立変数の別の水準の効果を測定しようと試みるときに持続する場合に発生する。本発明の実施形態によってもたらされる持ち越し効果を統制するか又は排除することに対する解決策は、（１）独立変数の水準を変化させたときから、（２）独立変数の水準を変化させた後にデータを収集するときまでに十分な時間が経過するようにすることである。
デジタル看板のコンテンツの状況において持ち越し効果が除去されるようにする１つの方法は、独立変数の水準の変化と変化の間、非常に長い期間待機する、及び／又は、独立変数の水準の変化から従属変数データの収集まで非常に長い期間待機することである。例えば、１度に１週間以上にわたって独立変数の１つの水準（例えば、図１Ａ及び１Ｂに示す例のように「故障を回避しましょう」）のみを示すことができる。そのとき、その１週間の間にデータを収集することにより、その１週間の間に収集されたデータ点の多くが、独立変数の別の水準（例えば、この例では「節約しましょう」）の影響を受ける見込みがなくなる。しかしながら、そのような手法では、独立変数の水準が変化し得る時間にわたる事例の数が大幅に限定される。
当業者には明らかなように、実験から結論を出すことができる速さは、独立変数が操作され得る時間にわたる事例の数に直接関連する。本発明の実施形態は、有利にも、ＶＶＤ及びＴＩを入力として使用して、どのくらいの頻度で独立変数の水準の変化が生じるのかを判断するものであり、したがって、独立変数の水準を可能な限り頻繁に変化させながら持ち越し効果を統制するか又は除去することが可能となる。
再び図５を参照すると、スケジュールがタイムスロットサンプルに分解されている（４０）。スケジュールを分解することは、持ち越し効果を除去するために必須である。分解は通常、コンテンツの再生を指示するスケジュール（複数可）にタイムスロットサンプルを割り当てることができるように、アルゴリズム的にスケジュールを分解することを含む。
再生リストの作成（４２）は、コンテンツ配信パターン（すなわち、コンテンツが再生されるタイミング及びロケーション）が実験の制約を満たすように、タイムスロットサンプルにコンテンツをアルゴリズム的に割り当てることを含む。これは、例えば、実験及び対照コンテンツが交絡しないようにし（４５）、ネットワークの最適化要因（すなわち調査されている要因）によるブロック化（４６）、統制され予測され得るが特に調査の関心ではない他の要因（すなわちノイズ要因）によるブロック化（４７）を確実にする特定の制約付きでタイムスロットサンプルにコンテンツを無作為的に割り当て、順序効果について相殺化し（４８）、統制されない要因全体にわたって無作為化し（４９）、ブロック全体でおおよそ等しい数のタイムスロットサンプルが存在するように計画が均衡化されるようにし（５０）、既定のサンプルサイズ要件を満たす（４４）ことによって達成され得る。
コンテンツは、再生リストスケジュールに従って配信される（５２）。理想的には、このプロセス５２及びそれに関連付けられるアルゴリズムは、コンテンツ管理ソフトウェアに組み込まれており、そのため、作成された再生リストスケジュールに従ってコンテンツを自動的に配信することができる。好ましくは、上で議論したアルゴリズム的なプロセスのレポートが生成される（５４）。そのレポートにより、好ましくは、どのコンテンツが提示されたか、また、いつどこでそのコンテンツが提示されたかが確認される。そのレポートはまた、どの従属変数データをコード化すべきか、そして、最適化、ノイズ、及びブロック化要因が存在したか又は使用されたかを示してもよい。また、アルゴリズムに影響を与えるプロセス又は性能に関連性のある他のデータが、生成されるレポートに含められてもよい。理解されたいこととして、これらの及び他のデータ／情報は、アルゴリズム的なプロセスのレポートを生成し得るように記録される。そのレポートは、どの従属変数を各タイムスロットサンプル内でコード化すべきか、そして、持ち越し効果又は他の交絡による起こり得る悪影響が原因のため、どの従属変数データを使用すべきか又は破棄すべきかを明示するのが好ましい。
従属変数の測定値が実験条件により分解されるが（５５）、これは生成されたレポートのデータを使用してもよい。例えば、従属変数データ（例えば、ＰＯＳ売り上げデータ）は、好ましくは、このデータを分析のために実験条件に従って自動的に分解できるように、タイムスタンプ及びロケーションスタンプが記される。
図６Ａは、本発明の実施形態によるタイムスロットサンプルの生成を含む様々なプロセスを示す。図６Ａによれば、ディスプレイが配置されている現場で標的視聴者が通常過ごす視聴者訪問持続時間が受け取られる（５３）。標的視聴者が現場を訪問している間に作用し得る関心データストリームのデータ収集又は集約のための時間間隔が受け取られる（５７）。視聴者訪問持続時間及び時間間隔を使用して、タイムスロットサンプルに割り当てられたコンテンツの効果を測定するのに必要なタイムスロットサンプルの数が決定され（５９）、タイムスロットサンプルの各々と関連付けられるデータ収集期間が決定される。
本発明の実施形態は、図６Ａに示すプロセスで例示されるように、本明細書でタイムスロットサンプルと呼ばれる「サンプル」を生成し、そのタイムスロットサンプルにコンテンツを割り当てて、割り当てられたコンテンツの効果を測定することができる。これらの「サンプル」及びそのようなサンプルを生成する方法論は、非常に価値のあるものであり、これらのサンプルの購入者に利用されてコンテンツの有効性を試験できる最終製品を意味するものである。
類推の目的で、リサーチ業界は、実験を遂行するためにサンプルを必要とする。これらのサンプルは、多くの場合、製作が困難でかつ費用を要する。典型的なサンプルの例は、生物学的研究における使用に適した、限定された生体細胞（例えば、ガン細胞など、特定の遺伝的障害を有すると判断された細胞）、特徴に基づいて慎重に選ばれた政治世論調査の回答者、及び消費者の区分を表すように限定されたパネルである。本発明に従って生成されたタイムスロットサンプル（ＴＳＳ）は、ＴＳＳによって、独立変数の水準を分散させる妥当な機会が得られ、独立変数の効果を正確に測定できるようになるという意味で、限定された「サンプル」を代表するものである。これらのＴＳＳは、人間である回答者又はガン細胞株と類似した方式で、メディア会社に販売することができるため、価値のあるものである。
図６Ｂは、本発明の実施形態に従って、タイムスロットサンプルにコンテンツを割り当てることを含む様々なプロセスを示す。図６Ｂによれば、コンテンツの各小片をコンテンツの他の複数小片と比較して実験コンテンツ小片又は対照コンテンツ小片として識別するコンテンツ相関性データが受け取られる（６１）。図６Ｂのプロセスは、コンテンツ相関性データを使用してタイムスロットサンプルに実験又は対照コンテンツの複数小片をアルゴリズム的に割り当てる（６３）ことを更に含む。特定のタイムスロットサンプルに割り当てられたコンテンツの複数小片は、その特定のタイムスロットサンプルに先に割り当てられた実験コンテンツ小片と比較して、同一でない実験コンテンツの複数小片を除外する。
図６Ｂに示すプロセスは、ある意味で、コンテンツの有効性に関する実験を遂行する速さと正確さを増すために使用することができる技術又はツール（例えばソフトウェア）を表している。図６Ｂに従って実現される技術又はツールは、コンテンツの有効性に関する実験を遂行することを望む者に実用性をもたらす価値ある最終製品に相当するものである。類推の目的で、また生物学的研究分野の状況において、例えばガン細胞に関する実験を遂行する速さと正確さを増すために、またそのような実験を遂行する費用を削減するために、ツールが開発され使用される。例えば、遺伝子解析の工程を自動的に制御するために、遺伝子解析ツールが開発されてきた。同様に、図６Ｂに従って実現されるツール及び技術は、コンテンツの有効性に関する実験を遂行する速さと正確さを増すために、またそのような実験を遂行する費用を削減するために使用されてもよい。
図６Ｃは、本発明の実施形態に従って、完全無作為化プロセスを使用してタイムスロットサンプルにスケジュールを分解するために使用することができるアルゴリズムの実施形態を示す。図６Ｃによれば、各ディスプレイのロケーションのための時間間隔の持続時間が確認され定量化される（６２）。各ロケーション用の視聴者訪問持続時間が決定される（６４）。先に議論したように、ＴＩは、従属変数データを測定できる最小単位時間を表し、ＶＶＤは、所定の割合（例えば９５％）の視聴者が任意の１回の訪問の間にそのロケーションで過ごす最大時間量である。
タイムスロットサンプル持続時間（ＴＳＳＤ）が各ディスプレイのロケーションに対して決定される（６６）。タイムスロットサンプル持続時間は、タイムスロットサンプルが存続する特定の持続時間である。ＴＳＳＤの間、種々の実験及び対照コンテンツが、好ましくは、交絡を生じる重複がないような方式で再生される。ある手法によれば、また図６Ｃのブロック６８、７０、及び７２に示すように、タイムスロットサンプル持続時間は、以下のように算出することができる。
留意されたいこととして、上記の式［１］においてＴＩがＶＶＤ未満である（例えば、ＴＩが１秒である）場合、タイムスロットサンプル持続時間の半分の長さは、先のタイムスロットサンプルからのコンテンツのために存在しなかった視聴者を含む。重要なことに、この後半の間（すなわち、この例ではＴＳＳＤのデータ収集期間）に収集されたデータのみが分析に含められ、相殺化と共に、これによって持ち越し効果が除去される。
上記の式［１］において、ＴＩがＶＶＤ以上である（例えば、ＴＩが６分であり、ＶＶＤが５分である）場合、従属測定値を記録する前にこれらの持続時間を合計すると、先のコンテンツに曝された視聴者からのデータは、特定のタイムスロットサンプルの間に再生されるコンテンツのデータに含まれないようになる。ここでも、これによって持ち越し効果が除去される。次いで、タイムスロットサンプル（ＴＳＳ）をすべてのロケーションに対して作成することできる（７４）。タイムスロットサンプルの持続時間が決定すると、システムはスケジュールにタイムスロットサンプルをアルゴリズム的に割り当てる。
ＴＩがＶＶＤ以上であり、かつＴＳＳＤ＝ＴＩ＋ＶＶＤである場合、図４Ｂに示すように、適当な（例えば最適な）データ収集期間を規定することができ、そのデータ収集期間において、ＴＳＳは、ＴＩの開始からＶＶＤ１つ分だけ前に始まり、ＴＩの最後まで続く。データ収集期間は、この場合、ＴＩの持続時間中続く。留意されたいこととして、この状況において、確信できることは、ＴＩの間に何かが購入されたということである。
図４Ｂに示す例示的な例において、小売り店でＶＶＤ＝１５分であると想定され、その店のＰＯＳシステムで行い得る最良のことは、購入を２時間の期間に分割することである（したがって、８ＡＭ〜１０ＡＭ、１０ＡＭ〜１２ＰＭ、１２ＰＭ〜２ＰＭなどでＴＩ＝２時間）。したがって、図４Ｂに示すように、ＴＩ２が１０ＡＭ〜１２ＰＭまで続く場合、ＴＳＳ１（このときコンテンツが示される）は、９：４５ＡＭに開始し１２ＰＭまで続く。公正なデータは、１０ＡＭ〜１２ＰＭの間に収集することができる。店のＰＯＳシステムの制約により、ＴＩ＝２時間であるので、１２：０１ＰＭ又は１：５９ＰＭなど、何かが特定の時間又は時間区分にて購入されたか否かを判断することは不可能であり、したがって、データは、１２ＰＭから２ＰＭの間のすべての購入を集約したものである。この状況の複雑なところは、ＴＳＳが１：４５ＰＭに開始した場合、ＴＩの最後の１５分間は、新たなコンテンツによって交絡されるため、次のＴＳＳが３：４５ＰＭまでに開始するようにスケジュールされないことである。この結果、２時間の「中断期間（dead period）」が生じる。
この「中断期間」は、わずかに交絡するデータが許容可能である実験に対しては、短縮するか又は除去することができる。例えば、ＶＶＤがＴＩと比較して極めて短い（例えば、ＶＶＤが５分間、ＴＩが２時間）場合、２時間のうちの５分間が、交絡するデータの影響を部分的に受け得ることが許容される。しかしながら、ＶＶＤがＴＩに近づくにつれて、このことは満足できるものでなくなる。
多くの実験では、コンテンツが割り当てられ得るタイムスロットサンプルが十分に長くなるようにして、タイムスロットサンプルの一部（例えば、タイムスロットサンプルの半分）の間に、視聴ロケーションにいる視聴者の大多数（例えば９５％）が、先のタイムスロットサンプルの間に存在しなかったことが確実となるようにすることによって、ロケーション内の交絡を統制することが一般に望ましい。この場合、データは、好ましくは、先のタイムスロットサンプルの間に存在した視聴者の大多数がそのロケーションを去った、タイムスロットサンプルの一部分の間にのみ記録される。別の手法は、以下で議論するように、タイムスロットサンプルの間に記録されたデータの大部分又はすべてを使用するが、タイムスロットサンプルの開始部分と比較して、タイムスロットサンプルの終了部分に向かってより大きくデータを重み付けすることを伴う。
別の手法によれば、ロケーション内の交絡を統制するための制約は、タイムスロットサンプルの後半の間にデータを収集することに加えて、タイムスロットサンプルの前半の一部又はすべての間にデータを収集することなどによって効果的に緩和される。多くの状況において、ロケーション内の交絡（持ち越し効果）が導入される可能性があり、これはロケーション内の交絡を統制するための制約を緩和する結果として生じ得るものであるが、この導入は許容することができ、意味のある結果を得ることができる。
ロケーション内の交絡を統制するための制約を緩和することによって実現される利点は、タイムスロットサンプル持続時間の短縮化にかかわるものであり、所与の実験で使用できるタイムスロットサンプルの数を結果的に増加させる。タイムスロットサンプルの数を増加させることで、ロケーション内の交絡を統制するためのより厳しい制約付きで計画された同じ実験と比較して、実験のためのデータ収集の量が増加する。また、タイムスロットサンプル持続時間を短縮化することで、実験を完了するのに必要な時間量を減少させることができる。
交絡統制の制約を緩和する結果として生じ得る、ロケーション内交絡の導入の制御を強化するために、タイムスロットサンプルの早期の部分の間に収集されたデータに、タイムスロットサンプルの後期の部分の間に収集されたデータよりも小さな重みを与える重み付け方式を実現することが有用となる場合もある。例えば、タイムスロットサンプルの前半の間に収集されたデータは、後半の間に収集されたデータよりも小さく重み付けされてよい。一次関数、指数関数、階段関数、又は他の望ましい関数若しくは重み付け方法論を用いるものなど、多数の種々の重み付け方式が用いられてよい。
簡単な例として、タイムスロットサンプルの前半の間に収集されたデータは、データの重み付けの割合を線形に増加させて、タイムスロットサンプルの開始時に約５％の重み付け係数で始まり、タイムスロットサンプルの中間点で約５０％の重み付け係数で終了することなどによって、一次関数で重み付けされてもよい。重み付け係数は、中間点で１００％に達しタイムスロットサンプルの残りの部分で１００％を維持するなど、タイムスロットサンプルの中間点から終了まで急激に（例えば、階段関数の場合のように）増加してもよい。
別の手法によれば、タイムスロットサンプルの持続時間は、視聴者訪問持続時間の分布形状に基づいて最適化されてもよい。例えば、ＶＶＤが、大きく左に寄る場合には、ＶＶＤの分布が右に寄る場合よりも短いタイムスロットサンプルを使用することもできる。
無作為化プロセスにより、時間間隔が無作為選択を受ける（７６）ようになる。このアルゴリズムは、特定のロケーションのＴＳＳＤの少なくとも１つ分だけそのロケーションの開店時間よりも後に開始する任意の「空いた」時間間隔を無作為的に選択する。「空いた」時間間隔という用語は、関連付けられたタイムスロットサンプルをまだ有していない時間間隔を指す。
タイムスロットサンプルは、無作為的に選択されたＴＩの開始よりもそのロケーションのＴＳＳＤ１つ分だけ先に開始するように割り当てられる（７７）。このプロセス７６、７７、７８は、ＴＳＳを割り当てる正しいＴＩの残りがなくなるまで続く。留意されたいこととして、タイムスロットサンプルは、先に選択されたタイムスロットサンプルに包含されるタイムスロットサンプルは除外される（例えば、コンテンツが９：０１〜９：２０の間に既に再生されている場合、システムは９：０１〜９：２０を候補スロットに選択しない）という制約に従って選択される。
図６Ｄは、本発明の実施形態に従って、順次に生成されたタイムスロットサンプルにスケジュールを分解するために使用し得るアルゴリズムの実施形態を示す。図６Ｄのプロセス６２〜７２は、図６Ｄの対応するプロセスと同じである。図６Ｃのプロセス７６、７７、及び７８は、完全無作為のタイムスロットサンプル生成の方法論を示すものである。図６Ｄのプロセス８３、７３、７５、７９、及び８１は、順次的なタイムスロットサンプル生成の方法論を示すものである。
図６Ｄの順次的なタイムスロットサンプル生成の方法論によれば、各ロケーションに対してタイムスロットサンプルを作成する（７４）ことは、コンテンツが提示されるロケーションを選択する（８３）ことを含む。ロケーションの開店時間からのＴＳＳＤである第１のＴＩの開始部分が発見される（７３）。ＴＩの開始よりもＴＳＳＤ１つ分だけ前に開始するように、ＴＳＳが割り当てられる（７５）。このプロセス７３、７５は、閉店時間に達するまで、先のＴＳＳＤの最後からＴＳＳＤ１つ分だけ離れた最も近いＴＩの間、繰り返される（８１）。このＴＳＳ作成プロセス（７４）は、選択された各ロケーション（８３）に対して繰り返される。図６Ｄに示すように順次的な方式でタイムスロットサンプルを生成すると、一般に、結果としてＴＩの利用効率の向上が達成される。
留意されたいこととして、図６Ｄの順次的なタイムスロットサンプル生成の手法を使用する利点は、図６Ｃに示す完全に無作為化された方法と比較して、より多くのタイムスロットサンプルを生成することになる傾向があることである。例えば、完全に無作為化された方法を使用すると、タイムスロットサンプルの持続時間が４時間であり、ロケーションが１日に９時間のみ開いている場合、１日の９時間のうち３時間目に始まり、７時間目に終わるように、ＴＳＳを無作為的に割り当てることが可能となる。したがって、別の４時間のタイムスロットサンプルに対応するには不十分な時間間隔しかないため、その日にそのロケーションで生成できるタイムスロットサンプルは、他には存在しない。しかしながら、順次的な方法を使用すると、第１のＴＳＳは、例えば、ＶＶＤが２０分間である場合、店が開いて最初の１時間の間に、開店からＶＶＤ１つ分だけ後に開始し、また、そのＴＳＳは４時間目まで継続して、残りの５時間を別のＴＳＳに対応するために残しておくことができる。
本発明の実施形態は、迅速に実験を遂行して視聴者の行動及び業績に対するコンテンツの効果を測定する能力をもたらす。いかなる実験でも同様であるが、特定の数のサンプルが、実験を完了するのに必要である。サンプルのその特定の数は、従属変数の変動性、実験条件の数、効果サイズなどの多数の要因に基づいて各実験で異なる。本発明の実施形態の状況において、実験での「サンプル」はタイムスロットサンプルからなる。したがって、単位時間当たりのタイムスロットサンプルの数を最大限にする（これは、持ち越し効果を依然として統制しながら又は除去しながら、タイムスロットサンプル持続時間を最小限にすることによって達成される）と、所与の実験に必要なサンプルサイズを得るのに必要な時間量が最小限となり、ある程度まで、実験を完了するのに必要な時間量が最小限となる。実験の結果を使用して、営業目標、例えば売り上げの増加を達成するのに役立つように、コンテンツの有効性及びコンテンツの配信パターンを改善することができるため、実験を完了する時間を最小限にすることは有益である。
効果的なコンテンツを素早く判断し展開するという利点に加えて、実験を迅速に実施することで、ディスプレイのロケーションの要因（例えば、都会対郊外）などのコンテンツ要因と、時間帯の要因（例えば、朝方対夕方）との交互作用について素早くかつ正確に試験することが可能となり、したがって、コンテンツを効率的に狙うことで収益を増加させることができる。タイムスロットサンプルの持続時間が、時間帯の要因の持続時間を超える場合、コンテンツと時間帯との間の交互作用を分離する能力は、大いに低下する。しかしながら、タイムスロットサンプル持続時間が、実験で試験される時間帯の要因よりも相当に短い場合、反復測定計画を利用することが可能であり、反復測定計画により、そのような交互作用について試験するのに必要なデータの量を大いに減じることができる。
図６Ｃ及び６Ｄに示すように、タイムスロットサンプル持続時間は、ＶＶＤ又はＶＶＤにＴＩを加算したものを使用することによって決まる。ＶＶＤは、多数の視聴者及び状況に対する統計平均であるが、多くの商取引の場面（例えば小売り店）では、ＶＶＤは数分間から数時間の範囲内となるように決定され、ＴＩも同程度の時間の範囲内となるように決定される。これらのデータを入力として使用すると、結果として、典型的なＴＳＳＤもまた数分間から数時間の範囲となり、したがって、依然として持ち越し効果を（統計学的というよりもむしろ）方法論的に統制しながら、多数のタイムスロットサンプルを１日又は半日試験することが可能となり、したがって、データの高い品質が維持される。
例示的な状況において、小売り店のＶＶＤは１５分間であり、ＴＩも同様である。図６Ｃに示すように、これによって、ＴＳＳＤは３０分間となる。店が９ＡＭから９ＰＭまで開いている場合、２４のタイムスロットサンプル、つまり１時間当たり２つのサンプルを試験することができる。種々のタイプの小売り店に対しＶＶＤの変動を使用すると、結果として、ＴＳＳＤは、５分間又は１０分間程度の短時間にも、３０分間を超える長さにもなり得る。
実際の平均の視聴者訪問持続時間に対応するＶＶＤが好ましいが、ＶＶＤは、実験のコンテンツが提示されるロケーションの特定の条件及び／又は制約に合わせて調整されるパラメータと見なされてもよい。ＶＶＤは通常、サイズ及び視聴者の往来パターン、並びに所与のロケーション内での一般的な視聴者の行動など、実験が遂行される所与のロケーションの物理的条件及び／又は制約についての知識を利用して、実験に基づいた方式で定められる。
実験上の事情のため、又は物理的制約、例えばロケーションで非デジタル看板を素早く変更することが実際的に不可能であるため、人工的なＶＶＤを使用してＴＳＳＤを算出することもあり得る。これらの場合、結果がより遅延し機会費用がより高額となるという不利益を伴っても、数時間、１日、更にはそれ以上に長い人工的なＶＶＤを設定することが得策となることがある。留意されたいこととして、人工的なＶＶＤが実際のＶＶＤよりも短いと、ロケーション内の持ち越し効果が導入されることがある。しかしながら、ＶＶＤが人工的により短くされた場合に、そのようなロケーション内の持ち越し効果が導入されることは、多くの場合、特に、データの軌跡（trajectory）により所与の実験に対する適切な結果（例えば、場合によっては起こる、ロケーション内の持ち越し効果の導入が原因で、結果に最小限ながらも影響を与えた可能性がある不正確さが起こり得るにもかかわらず、コンテンツＡは、関心の指定最小差だけコンテンツＢよりも効果的であったという二者択一的な結果［イエス／ノー］）が得られる場合、許容可能となり得る。
コンテンツの有効性を評価するために必要な結果を素早く生じさせる別の手段は、コンテンツを示すことが可能なディスプレイを各々が有する多数のロケーションを１つのネットワーク上で使用する能力である。各ロケーションは、仮説を検証するためのデータ量を満たすのに必要なタイムスロットサンプルを生じることができる。一般に、データ発生率はロケーションの数と比例し、例えば、１０のロケーションでコンサートが行われると、単一のロケーションの約１０倍のサンプルを生成することができる。この構成により、コンテンツの有効性とディスプレイのロケーションとの間の交互作用について知る可能性が高まることになる。
また、本願において開示する方法論では、種々の独立変数に関連付けられたコンテンツが関連のないものであるという条件で、同じタイムスロットサンプルの間に複数の独立変数を同時に試験することが可能となる。これは、ある独立変数に関する実験コンテンツが、別の独立変数に関する対照コンテンツであり得るからである。この技法を利用することで、複数の営業目標に対処する実験を同時に遂行することが可能であるために実験の速さが更に増すことになり、したがって営業目的を達成するために表示時間が解放される。
図７Ｃ〜７Ｊは、どのようにして、本発明の方法論により、視聴者の行動及び業績に対するコンテンツの効果を測定する実験の迅速な実現が可能となるのかを明白に示す例示的な例である。図７Ｃ〜７Ｊのデータは、実験が遂行される速さに影響を与える特定のパラメータの変動を考慮して、本発明の実施形態に従って実施される実験を完了する日数を反映している。これらのパラメータには、図７Ｃ〜７Ｊに示すように、条件（例えば、コンテンツＡがコンテンツＢ又は対照コンテンツと比較される）の数と、従属変数の分散（すなわち、データのどの程度の変動性を測定すべきか）と、関心の最小差（すなわち、それを超える結果は関心のあるものとなる実験結果と、それに満たない結果は関心のないものとなる実験結果の最小差）と、１日当たりのタイムスロットサンプルの数と、ロケーション（すなわち、その中で、視聴者が独立変数の水準に曝されると共に、独立変数に対応する従属変数データの変化を引き起こし得る物理空間）の数とが含まれる。
図７Ｃ〜７Ｆは、１日当たりのタイムスロットサンプルの数が、実験を完了する持続時間（日数で与えられる）に与える影響を示している。図７Ｃ〜７Ｆの各々において、条件の数、従属変数の分散、関心の最小差、及びロケーションの数に対する値は同じである。１日当たりのタイムスロットサンプルの数は変動して示されており、１（図７Ｃ）で始まり、６（図７Ｄ）、１０（図７Ｅ）、及び１６（図７Ｆ）にそれぞれ増加している。図７Ｃ〜７Ｆは、１日当たりのタイムスロットサンプルの数を増加させることによって達成される実験を完了する時間の相当な短縮（例えば、１日当たり１つのＴＳＳを使用して２２．３日から、１日当たり１６のＴＳＳを使用して１．４日への短縮）を端的に表している。
図７Ｇ〜７Ｊは、ロケーションの数が、実験を完了する持続時間（日数で与えられる）に与える影響を示している。図７Ｇ〜７Ｊにおいて、条件の数、従属変数の分散、関心の最小差、及びタイムスロットサンプルの数に対する値は同じである。ロケーションの数は変動して示されており、１（図７Ｇ）で始まり、２０（図７Ｈ）、１００（図７Ｉ）、及び１０００（図７Ｊ）にそれぞれ増加している。図７Ｇ〜７Ｊは、実験を遂行するために使用するロケーションの数を増加させることによって達成される実験を完了する時間の著しい短縮（例えば、１つのロケーションを使用して１３９．６日から、１０００のロケーションを使用して０．１４日への短縮）を表している。
図６Ｅは、本発明の実施形態に従って実験計画の再生リストを作成するために用い得るアルゴリズムのプロセスを示す。図６Ｅに示すアルゴリズムは、実験及び対照コンテンツが交絡しないようにする（８２）ことを含む。図６Ｅに示す手法によれば、実験コンテンツの各小片は、タイムスロットサンプルに無作為的に割り当てられる。このプロセスは、従属変数に与える影響に関して互いに比較されるコンテンツの２つの小片が、同じタイムスロットサンプル内で再生されないようにする。
無作為的な割り当てのプロセスは、対照コンテンツのみが実験コンテンツの任意の小片と同じタイムスロットサンプルに割り当てられるという制約付きで繰り返される。これによって、ロケーションの交絡が存在しないようになる。留意されたいこととして、ある仮説に対する実験コンテンツを、そのコンテンツが他の仮説に対する実験コンテンツの対照として働くことができるという条件で、別の仮説に対する実験コンテンツを既に含んだタイムスロットサンプルに割り当てることは有効である。つまり、仮説が直交するという条件で、２つの実験を１度に行うことができる。
図６Ｅのアルゴリズムは、最適化要因によってブロック化する（８７）ことを更に含んでもよい。これにより、要因分析でコンテンツと最適化要因との交互作用を測定することが可能となる。図６Ｅに示すアルゴリズムはまた、統計的検出力を増加させるためにノイズ要因によってブロック化する（８８）ことを更に含んでもよい。これらのプロセスは好ましくは、主効果及び交互作用効果のサンプルサイズ要件が満たされ、計画が均衡化されるまで、タイムスロットサンプルにコンテンツを割り当て続ける。このアルゴリズムは更に、順序効果を相殺化する（８９）こともできる。各タイムスロットサンプル内で、コンテンツの個々の小片が表示される順序は、既知の技法（例えばラテン方格法）を利用して相殺化される。
図６Ｆは、本発明の実施形態に従って、コンテンツの相対的有効性を試験するためにタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図６Ｆに示すアルゴリズムは、実験コンテンツをまだ割り当てられていない、実験の始点と終点との間にある任意のタイムスロットサンプルを選択する（５０２）ことを含む。このアルゴリズムは、実験コンテンツの任意の小片を無作為的に選択する（５０４）こと、及び選択したＴＳＳの全持続時間の間に再生するように、選択した実験コンテンツを割り当てる（５０６）ことを更に含む。
ブロック５０２、５０４、及び５０６に示すプロセスは、すべてのタイムスロットサンプルが実験コンテンツで満たされるまで繰り返される（５０８）。アルゴリズムの出力のレポートが生成されてもよい（５１０）。そのレポートは、図５に関連して先に説明したものなど、様々な情報を含んでもよい。留意されたいこととして、タイムスロットサンプルが属性でタグ付けされる場合、これにより、タイムスロットサンプルに割り当てられたコンテンツとタイムスロットサンプルの属性との間に見出された任意の交互作用に基づいて、仮説を生成することが可能となり、データの予備分析が可能となる。
多くの実験的状況下で、独立変数（単数又は複数）の各水準を同じ数のサンプルに割り当てることが望ましい。図６Ｇは、実験コンテンツの各小片が同じ数のタイムスロットサンプルに割り当てられるように、本発明の実施形態に従って制約付き無作為化プロセスを使用してタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図６Ｇに示すアルゴリズムは、実験コンテンツをまだ割り当てられていない、実験の始点と終点との間にある任意のタイムスロットサンプルを選択する（５２０）ことを含む。このアルゴリズムは、実験コンテンツの任意の小片を無作為的に選択する（５２２）こと、及び選択したＴＳＳに、選択した実験コンテンツを割り当てる（５２４）ことを更に含む。
ブロック５２０、５２２、及び５２４に示すプロセスは、実験コンテンツの各小片が同じ数のタイムスロット（time-share）サンプルに割り当てられる（５２６）という条件で繰り返される（５２６）。先に議論したように、アルゴリズムの出力のレポートが生成されてもよい（５２８）。
いくつかの実験的状況下で、実験は、手動で若しくは市販品の統計ソフトウェアを使用して、又は例えば以下で説明するようなエキスパートシステムを使用して計画されてもよく、エキスパートシステムを使用する場合、様々な実験及び対照コンテンツのサンプルサイズ要件が指定されている。図６Ｈは、サンプルサイズ要件が満たされるように、本発明の実施形態に従って、そのようなサンプルサイズ要件を入力として受け取り、制約付き無作為化プロセスを使用してタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図６Ｈに示すアルゴリズムは、すべてのコンテンツサンプルに必要な数のタイムスロットサンプルを無作為的に選択する（５４０）ことを含む。このアルゴリズムは更に、選択したコンテンツサンプルに実験コンテンツを無作為的に割り当てる（５４２）ことを含む。留意されたいこととして、サンプルサイズ要件が満たされたために必要でなくなった残りのタイムスロットサンプルは、任意の仮説を検定するためではなく、業績のために最適化されたコンテンツで満たされてもよい。
図６Ｉは、本発明の実施形態に従って、完全無作為化プロセスを使用して、ただし最適化要因の制約を加えてタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。最適化要因の制約は、等しいサンプルサイズのプロセスに又は所定のサンプルサイズのプロセスに、類似した方式で加えることができる。留意されたいこととして、各コンテンツサンプルは、好ましくは、そのコンテンツサンプルが関連付けられる最適化要因を識別するメタデータを有し、タイムスロットサンプルもまた、どの最適化要因がタイムスロットサンプルに関連付けられるかを識別するメタデータを有する。
図６Ｉに示すアルゴリズムは、実験コンテンツの任意の（第１の）小片を無作為的に選択する（５５０）こと、及び実験の始点と終点との間の任意の（第１の）タイムスロットサンプルを無作為的に選択する（５５２）ことを含む。実験コンテンツの無作為的に選択された（第１の）小片が、選択された（第１の）タイムスロットサンプルに割り当てられる（５５４）。
図６Ｉのアルゴリズムは、先に選択された（第１の）タイムスロットサンプルとは異なる最適化要因の水準を有するという制約付きで、別の（第２の）タイムスロットサンプルを無作為的に選択する（５５６）ことを含む。実験コンテンツの選択された（第１の）小片が、この（第２の）選択されたタイムスロットサンプルに割り当てられる（５５８）。上述のＴＳＳ選択プロセスは、コンテンツの選択された（第１の）小片が、最適化要因のすべての水準で１つのＴＳＳに割り当てられるまで繰り返される（５６０）。
図６Ｉのアルゴリズムは、実験コンテンツの任意の（第２の）小片を無作為的に選択する（５６２）こと、及び実験コンテンツのこの次の（第２の）小片に対してプロセス５５２〜５６０を繰り返す（５６４）ことを更に含む。ブロック５５０〜５６４のプロセスは、計画が結果として不均衡になることなく最大数のタイムスロットサンプルが満たされるまで（すなわち、存在するタイムスロットサンプルが、最適化要因の数に実験コンテンツの複数小片の数を掛けたものよりも少なくなるまで）繰り返される（５６６）。
図６Ｊは、本発明の実施形態に従って、完全無作為化プロセスを使用して、ただしブロック化要因の制約を加えてタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。ブロック化要因の制約は、等しいサンプルサイズのプロセスに又は所定のサンプルサイズのプロセスに、類似した方式で加えることができる。留意されたいこととして、各コンテンツサンプルは、好ましくは、そのコンテンツサンプルが関連付けられるブロック化要因を識別するメタデータを有し、各タイムスロットサンプルもまた、どのブロック化要因がタイムスロットサンプルに関連付けられるかを識別するメタデータを有する。
図６Ｊに示すアルゴリズムは、実験コンテンツの任意の（第１の）小片を無作為的に選択する（６０２）こと、及び実験の始点と終点との間の任意の（第１の）タイムスロットサンプルを無作為的に選択する（６０４）ことを含む。実験コンテンツの無作為的に選択された（第１の）小片が、選択された（第１の）タイムスロットサンプルに割り当てられる（６０６）。
図６Ｊのアルゴリズムは、別の（第２の）タイムスロットサンプルを、そのタイムスロットサンプルが先に選択された（第１の）タイムスロットサンプルとは異なるブロック化要因の水準を有するという制約付きで、無作為的に選択する（６０８）ことを含む。実験コンテンツの選択された（第１の）部分が、この（第２の）選択されたタイムスロットサンプルに割り当てられる（６１０）。上述のＴＳＳ選択プロセスは、コンテンツの選択された（第１の）小片が、ブロック化要因のすべての水準で１つのＴＳＳに割り当てられるまで繰り返される（６１２）。
図６Ｊのアルゴリズムは、実験コンテンツの任意の（第２の）小片を無作為的に選択する（６１４）こと、及び実験コンテンツのこの次の（第２の）小片に対してプロセス６０４〜６１２を繰り返す（６１６）ことを更に含む。ブロック６０２〜６１６のプロセスは、計画が結果として不均衡になることなく最大数のタイムスロットサンプルが満たされるまで（すなわち、存在するタイムスロットサンプルが、ブロック化要因の数に実験コンテンツの複数小片の数を掛けたものよりも少なくなるまで）繰り返される（６１８）。
図７Ａは、本発明の実施形態に従ってタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図７Ａに示す実施形態は、タイムスロットサンプルにコンテンツを割り当てるアルゴリズムに関するが、ここで、コンテンツの個々の小片はタイムスロットサンプルよりも短い。図７Ａのアルゴリズムは、コンテンツの交絡が存在しないようにし、同じタイムスロットサンプルを使用して複数の仮説を検定することを可能にする（すなわち、関連のない独立変数を同じタイムスロットサンプル内で試験することを可能にする）。これは、同じ患者で複数の薬物を試験できることと類似しており、それによって時間と費用が節約される。例えば、薬物試験の状況において、口臭の治療法を試験するためにも協力している同じ患者に対して局所鎮痛クリームを試験することができる。つまり、局所鎮痛クリームは口臭に影響を与えるべきではなく、口臭治療は肌の状態に影響を与えるべきでない。しかしながら、例えば新しい練り歯磨きの試験にも協力している同じ患者に対して、口臭の処置を試験することは望まれないだろう。
図７Ａに示すアルゴリズムは、実験の始点と終点との間の任意の空いたタイムスロットサンプルを無作為的に選択する（６４０）ことを含む。実験コンテンツのある小片が無作為的に選択され（６４２）、実験コンテンツのその選択された小片は、選択されたＴＳＳに割り当てられる（６４４）。図７Ａのアルゴリズムは、実験コンテンツのある小片を、その実験コンテンツ小片が、ＴＳＳに既に割り当てられていたコンテンツとは関連のないものであるという制約付きで、無作為的に選択する（６４６）ことを更に含む。実験コンテンツの選択された小片は、選択されたＴＳＳに割り当てられる（６４８）。ブロック６４６及び６４８のプロセスは、すべての選択された実験コンテンツの持続時間の合計がＴＳＳの持続時間を超えることなく実験コンテンツの一小片を加えることが不可能となるか、又は関連のない実験コンテンツ小片の残りがなくなるかのいずれか早い方まで繰り返される。
空いた時間が、選択したＴＳＳ内に残っている場合、ＴＳＳのその残りの空いた時間は、完全なプラシーボのコンテンツで満たされる（６５２）。図７Ａのアルゴリズムはまた、ＴＳＳ内でコンテンツを無作為的に順序付ける（６５４）ことを含む。ＴＳＳが、完全なプラシーボのコンテンツを含む場合、無作為化により、プラシーボのコンテンツの等価な持続時間で実験コンテンツの複数小片が分離されるようになる。
別の空いたＴＳＳが、実験の始点と終点との間で無作為的に選択される（６５６）。先に満たされたＴＳＳに割り当てられていない実験コンテンツの一小片が、無作為的に選択される（６５８）。コンテンツのすべての複数小片が割り当てられている場合、完全なプラシーボのコンテンツが選択される。完全なプラシーボのコンテンツがブロック６５８で選択された場合、選択されたＴＳＳは完全なプラシーボのコンテンツで満たされ（６６０）、そうでない場合、実験コンテンツの選択された小片は、選択されたＴＳＳに割り当てられ、このＴＳＳはブロック６４６〜６５４のプロセスに従って満たされる。空いたＴＳＳは、実験コンテンツのすべての複数小片がＴＳＳに割り当てられるまで、ブロック６４０〜６６０のプロセスに従って引き続き満たされる。
図７Ｂは、本発明の実施形態に従ってタイムスロットサンプルにコンテンツを割り当てるアルゴリズムのプロセスを示す。図７Ｂに示す実施形態は、関心持続時間の間にロケーションの交絡がないようにするアルゴリズムに関するものであり、関心持続時間の後には、測定される行動及び商取引データの変化をコンテンツが引き起こした場合でも、コンテンツは関心のあるものとして視聴されない。つまり、図７Ｂのアルゴリズムは、視聴者が、独立変数のある水準に曝され、関心持続時間の間に、その水準に従って、独立変数の異なる水準を試験している異なるロケーションで行動する可能性がないようにする。
すべてのロケーションの交絡を除去するような形ですべての実験ロケーションを使用することの潜在的欠点は、この方式で使用される任意のロケーションが、同じ独立変数の複数の水準に曝されることが不可能であることである。したがって、どのくらい、独立変数の異なる水準の組み合わせが、同じロケーション内で互いに交互作用するかを測定することが困難となる。いくつかの状況下では、まず、完全なロケーション内の試験効果に対して実験コンテンツを割り当てられる所定数のロケーションを選択し、次いで、このアルゴリズムを実行して、残りのロケーションを、ロケーション間の交絡のない試験に使用することが望ましい場合もある。つまり、例えば、図６Ｈを使用して、ロケーション内の要因に対する所定のサンプルサイズを満たし、次いで図７Ｂを使用して、ロケーションにまたがるコンテンツの効果を測定することができる。
図７Ｂに示すアルゴリズムは、任意の実験ロケーションを無作為的に選択する（６７０）こと、及びその選択したロケーションに関連するすべてのロケーションを選択する（６７２）ことを含む。コンテンツの関連のない複数小片のみが、先の２つのブロック６７０、６７２で選択されたロケーションに割り当てられるという制約付きで、コンテンツがそれらのロケーションに無作為的に割り当てられる（６７４）。別の実験ロケーションが、既に選択されているどのロケーションとも関連がないという制約付きで、無作為的に選択される（６７６）。先のブロック６７６で選択されたロケーションには関連があり、かつブロック６７０及び６７２で選択されたロケーションには関連がないすべてのロケーションが選択される（６７８）。コンテンツの関連のない複数小片のみが、先の２つのブロック６７６、６７８で選択されたロケーションに割り当てられるという制約付きで、コンテンツがそれらのロケーションに無作為的に割り当てられる（６８０）。ブロック６７６〜６８０のプロセスは、関連がないロケーションの残りがなくなるまで繰り返される。
（実施例１）
以下の実施例は、本発明に従って実現される、通信コンテンツの有効性を算定する方法を示す。この例示的な実施例において、サービス部門内での部品及び作業の売り上げを増加させることが、大手自動車製造業者の目的である。自動車製造業者のマーケティングチームは、これらの目標を達成するための有益な「売りつけ」戦略が、予約した顧客の間で、自動車検査の売り上げを増加させることになるとのことで意見が一致している。しかしながら、どのようなマーケティング用の通信メッセージが、全体として、また様々な顧客小区分の間で最も効果的となるかに関して、チームメンバーの意見は異なっている。
以下の実施例は、本発明に従って実現される、通信コンテンツの有効性を算定する方法を示す。この例示的な実施例において、サービス部門内での部品及び作業の売り上げを増加させることが、大手自動車製造業者の目的である。自動車製造業者のマーケティングチームは、これらの目標を達成するための有益な「売りつけ」戦略が、予約した顧客の間で、自動車検査の売り上げを増加させることになるとのことで意見が一致している。しかしながら、どのようなマーケティング用の通信メッセージが、全体として、また様々な顧客小区分の間で最も効果的となるかに関して、チームメンバーの意見は異なっている。
顧客の小区分に関して、特定の区分が、時間帯とも呼ばれる、毎日の明確に異なる時間にサービス部門を訪問することがチームで知られている。例えば、職業を持つ男性は早朝の時間に訪問し、いわゆる専業主婦は、午前の中頃から午後の中頃により頻繁に訪問する。
チームは、どの戦略が、またどの出来栄えの組み合わせが、２つの聴衆により効果的となり得るかについて憶測する。従来より、これらの見解は、経験、直観、そして時には相関的研究により、長年にわたって形成されるものであるが、依然として議論の余地がある。
チームの第１の見解の相違は、どのメッセージが、戦略的な通信の水準で全体としてより効果的となる見込みがあるか、つまり、安全性を高める（故障を回避する）ことについてのメッセージか、又は節約についてのメッセージかに対するものである。例えば、道路沿いで立ち往生している自動車とそのオーナーを示すメッセージが、抜け目がなく保守を行ったために、その立ち往生している運転者を通り過ぎる自動車オーナーを示すメッセージと、同等かそれ以上に効果を発揮するか否かに対する見解の相違がある。
チームの次の見解の相違は、出来栄え又は戦術の水準にあり、例えば、いずれかのメッセージで現れる女性の役者か又は男性の役者が、様々な顧客小区分の間でより説得力を持ち得るかというものである。最後に、８００の販売店が存在し、各々が、各自の宣伝メッセージをある程度まで「局地化」することを望み、その局地化は、検査を依頼するコミュニティショップの近くで、局地的に決定された料金又は割引を提供することによって表され得る。
本発明に従う方法論を適用することは、次の変数を識別し分類することを含む。従属変数は、単位時間当たりのドルでの売り上げ（部品及び作業）である。独立変数には、メッセージの戦略、つまり安全性の向上か又は節約か、メッセージの出来栄え、つまり女性の役者か又は男性の役者か、配信時間帯、つまり早朝か又は午前の中頃から午後の中頃か、そして、局地的提供のカスタマイゼーション、つまり販売店の数（すなわち、この例では８００）が含まれる。留意されたいこととして、これらの要因のすべてを調査する実験は、９，６００（２×２×２×８００）の条件を有することになり、手動での実行では克服できない難題を呈するが、本発明の自動化された手法には小さな問題である。
ネットワーク設定及び初期データの記憶は、次の作業を含む。（１）参加する各販売店が、顧客がそれらの販売店を去った後に訪問する可能性が少しでもある任意の他の販売店を確認する。これらのデータをシステムに入力して、ロケーション間の持ち越し効果を統制する。（２）販売店サイズを、更なるブロック化のための最適化要因として確認する。（３）サンプルサイズ要件を算出する。（４）対照及び実験コンテンツを規定する。例えば、この例における対照コンテンツ（すなわちプラシーボ）は、局地的な天候である。実験コンテンツは、ａ）女性が節約する、ｂ）男性が節約する、ｃ）女性が道路の脇で立ち往生して見える、ｄ）男性が道路の脇で立ち往生して見える、というものである。（５）消費者の約９５％がサービス部門を１時間以下にわたって訪問する視聴者訪問持続時間を決定する。
実験計画及び実行プロセスは、次の作業を含む。第１に、スケジュールがタイムスロットサンプルに分解される。売り上げデータは、１分ごとにタイムスタンプが記されるので、すべての販売店でのスケジュールが、２時間のタイムスロットサンプルに分解される。第２に、実験計画の再生リストが作成される。コンテンツの配信パターン（すなわち、コンテンツが再生されるタイミング及びロケーション）が実験の制約を満たすように、実験コンテンツ（すなわち、上記のコンテンツａ〜ｄの４つのバージョン）及び対照コンテンツ（すなわち局地的な天候）が、タイムスロットサンプルに無作為的に割り当てられる。つまり、実験及び対照コンテンツが、時間帯及びロケーションのブロック化を確実にする特殊な制約付きでスロットに無作為的に割り当てられる。
第３に、コンテンツが再生リストに従って配信される。コンテンツは、先の工程で指定したような参加する販売店のサービス部門にディスプレイのネットワーク全体において配信される。第４に、従属変数の測定値が、実験条件により分解される。タイムスタンプ及びロケーションスタンプが記された従属変数データ（例えばＰＯＳの売り上げデータ）がシステムに供給され、そのシステムが、分析のために実験条件に従ってデータを自動的に分解する。
通信コンテンツの有効性の評価は、収集されたデータを検討することでより容易になる。この実験の結果は次の通りである。実験の１日目の午前までに、自動車会社は、実験コンテンツの各バージョンが再生されるとき、対照（すなわち天候）コンテンツが再生されるときと比べて、検査の依頼が２５％増加するという、統計的に信頼性のある結果を見出した。１日目の終わりまでに、統計的に有意な主効果があり、それによると、女性の役者は午前の時間帯の間により効果的であるが、男性の役者は真昼の時間帯の間により効果的である。節約の戦略と故障回避の戦略との対比は信頼性がないが、販売店ごとに交互作用が存在すると思われ、それによると、販売店の中には、節約でより良好な結果を示すものもあれば、故障回避でより良好な結果を示すものもある。実験はもう１週間続き、個々の販売店で統計的に信頼性のある結果が発見される。これらの販売店は次いで、その販売店で最大限に効果的であるコンテンツ要因の組み合わせのみを、時間帯ごとに再生する。
（実施例２）
本明細書において開示する方法論を利用し、「現実の世界」の実験を遂行して、ホテルにおいてデジタル看板コンテンツが顧客の行動に与える効果を測定した。この実験では、あるホテルの建物で部屋の格上げを増加させることに対するデジタル看板コンテンツの影響を測定した。具体的には、これは、チェックインの際に予約を普通の部屋から高級な部屋に変更する宿泊客の数を増加させることを意図したものであった。部屋の格上げを増加させるために、実験コンテンツの３つの異なる小片（それぞれ持続時間は２０秒）を作成した（１つは、より広い部屋のイメージを示すものであり、もう１つは、室内の格別な快適装備のイメージを示すものであり、もう１つは、視聴者が格別な贅沢と労いに値することを強調するものであった）。高水準な方法工程が図５に示されており、この実施例はそれに従う。
本明細書において開示する方法論を利用し、「現実の世界」の実験を遂行して、ホテルにおいてデジタル看板コンテンツが顧客の行動に与える効果を測定した。この実験では、あるホテルの建物で部屋の格上げを増加させることに対するデジタル看板コンテンツの影響を測定した。具体的には、これは、チェックインの際に予約を普通の部屋から高級な部屋に変更する宿泊客の数を増加させることを意図したものであった。部屋の格上げを増加させるために、実験コンテンツの３つの異なる小片（それぞれ持続時間は２０秒）を作成した（１つは、より広い部屋のイメージを示すものであり、もう１つは、室内の格別な快適装備のイメージを示すものであり、もう１つは、視聴者が格別な贅沢と労いに値することを強調するものであった）。高水準な方法工程が図５に示されており、この実施例はそれに従う。
１．空いた提示時間をタイムスロットサンプルに分解する。
顧客がチェックインして過ごした視聴者訪問持続時間（ＶＶＤ）及びデータ収集のための時間間隔（ＴＩ）を使用して、図６Ｄに示す方法を利用してタイムスロットサンプルを作成した。９５％を超える宿泊客が、ホテルのロビーに入ってから５分以内にチェックインすることをホテルのスタッフは理解している。したがって、ＶＶＤ＝５分である。
ＴＩは、ホテルの販売時点（ＰＯＳ）ログを調べることによって決定した。ＰＯＳシステムは秒単位までのタイムスタンプを作成するが、ＰＯＳシステムのサーバークロックの精度は１日の間でドリフトする。実時間のタイムスタンプにおけるこの精度の不足を補うために、ＴＩを２５分に設定した場合、ＰＯＳの処理では、その時間の９９％を超える精度で扱われると判断した。したがって、ＴＩ＝２５分である。サーバークロックが秒単位まで正確である場合、ＴＩは、はるかに短く、例えば１秒程度となる。
ＴＳＳＤ及びＴＳＳを決定するために、図６Ｄに示すアルゴリズムを使用した。このアルゴリズムは入力としてＶＶＤ及びＴＩを受け取る。上記の式［１］によれば、ＴＩ（２５分）は≧ＶＶＤ（５分）であるので、ＴＳＳＤ＝ＴＩ＋ＶＶＤ、したがって、ＴＳＳＤ＝３０分である。
図６Ｄに示すアルゴリズムを続行して、この実験のためにタイムスロットサンプルを作成した。この実施例において、部屋の格上げに関するＰＯＳログからの履歴データを使用して、αを０．０５に設定し、βを０．８に設定し、効果サイズを少なくとも２０％とし、対照コンテンツと比べた部屋の格上げのコンテンツを表示することの、統計的に信頼性のある効果を見出すのに必要な３０分のタイムスロットサンプルの数を推定するために、統計的検出力分析を遂行した。最低でも約７００のタイムスロットサンプルが必要となると判断した。実験に１８日用意したので、８６４のタイムスロットサンプルが使用されると判断した。実験は１日目の深夜に開始するように計画した。したがって、８６４のタイムスロットサンプルという目標を達成するために、実験をは１８日目の深夜に終了するように計画した。
個々のタイムスロットサンプルを作成した。ホテルのロビーは閉まることがないので、開店時間からのＴＳＳＤである第１のＴＩは１日目のＡＭ１２：３０である。したがって、第１のタイムスロットサンプルの開始は、１日目の深夜であった。先のＴＳＳＤの最後からＴＳＳＤ１つ分だけ離れた次のＴＩは、１日目のＡＭ１：００である。したがって、次のタイムスロットサンプルは、１２：３０（前のＴＳＳの最後からＴＳＳＤ１つ分）に開始するように割り当てた。スケジュールした実験の最後である１８日目の深夜まで、このプロセスを続行した。以下の表１は、１日目の深夜に開始する実験の最初の１２のタイムスロットサンプルを示す。
２．再生リストを作成する（制約付きで実験及び対照コンテンツをタイムスロットサンプルへ無作為に割り当てる）。
このプロセスにおける次の工程は、実験に対して選択された制約内で、個々の２０秒単位の実験及び対照コンテンツで３０分のタイムスロットサンプルを満たすことであった。対照コンテンツは、部屋の格上げ、例えば現場の施設又は余暇活動に関連するコンテンツとは関連を持たないものであった。図５の右側に示す制約は、状況に合わせて適切に選択する。この例示的な例において、以下の制約を選択した。
１．実験及び対照コンテンツが交絡しないようにする。いかなるタイムスロットサンプルに対しても、１つのバージョンの実験コンテンツのみ、タイムスロットサンプルに割り当てることができる。
２．ノイズ要因によるブロック化。任意の４時間の期間に、実験コンテンツを有するタイムスロットサンプルと、対照コンテンツのみを有するタイムスロットサンプルが同じ数だけ存在し、実験コンテンツの各バージョンを有するタイムスロットサンプルが同じ数だけ存在するように、タイムスロットサンプルをブロック化した。
３．統制されない要因全体の無作為化。同じ実験条件を試験する２つの連続したタイムスロットサンプルが存在しないという制約付きで、タイムスロットサンプルの順序をブロック内で無作為化した。更に、タイムスロット内でのコンテンツの順序を無作為化した。
４．実験の均衡化。実験全体にわたって（すなわち、１日目から１８日目まで）、等しい数のタイムスロットサンプルを対照コンテンツ及び実験コンテンツで満たした。また、実験コンテンツの各バージョンを示す同数のタイムスロットサンプルが存在した。
試験する最適化要因は存在しなかったため、「最適化要因によるブロック化」に関連する制約は用いなかった。順序が結果に与える効果は試験されなかったため、「順序効果の相殺化」に対する制約は用いなかった。「推定されるサンプルサイズ要件を満たす」という制約は、実験の持続時間の上述の説明で既に扱った。
以下の表２は、上で議論した制約を満たすタイムスロットサンプルの２つの例示的なブロックを示す。
３．再生リストのスケジュールに従ってコンテンツを配信する。
ホテルのロビーの受付の近くに配置された３Ｍ（商標）デジタルサイネージソフトウェア−ネットワークエディション（Digital Signage Software-Network Edition）を使用して、デジタルディスプレイにコンテンツを示した。
４．アルゴリズム出力のレポートを生成する
タイムスロットサンプルの開始時間及び終了時間とそれらのタイムスロットサンプルに対応する実験条件（すなわちコンテンツ）とを有するデータファイルの形式でレポートを生成した。
タイムスロットサンプルの開始時間及び終了時間とそれらのタイムスロットサンプルに対応する実験条件（すなわちコンテンツ）とを有するデータファイルの形式でレポートを生成した。
５．従属変数の測定値を実験条件により分解する
部屋の格上げについての、タイムスタンプが記された販売時点データ（すなわち従属変数の測定値）を、実験の間ホテルのＰＯＳシステムで自動的に収集した。このシステムにおいて、部屋の格上げに関連する処理は、タイムスタンプが記され、明確にラベル付けされる。ＰＯＳデータを分解し、それらに対応するタイムスロットサンプル及びコンテンツに関連付けた。以下の表３は、分析用にデータを分解し個々のタイムスロットサンプルに関連付ける方法の例を示す。
部屋の格上げについての、タイムスタンプが記された販売時点データ（すなわち従属変数の測定値）を、実験の間ホテルのＰＯＳシステムで自動的に収集した。このシステムにおいて、部屋の格上げに関連する処理は、タイムスタンプが記され、明確にラベル付けされる。ＰＯＳデータを分解し、それらに対応するタイムスロットサンプル及びコンテンツに関連付けた。以下の表３は、分析用にデータを分解し個々のタイムスロットサンプルに関連付ける方法の例を示す。
次いで、データに反復測定分散分析を施した。この反復測定分散分析により、統計的に信頼性のある主効果が見出され、その主効果により、格上げの平均数は、格上げ用のコンテンツが提示されたタイムスロットサンプルの間には、格上げ用のコンテンツが提示されなかったタイムスロットサンプルにおいてよりも多くなった（例えば、実験の結果から、コンテンツ「Ａ」は、所望の営業目標を達成する上でコンテンツ「Ｂ」よりも効果的であることが（α＜０．０５の信頼水準で）統計的に明らかとなった）。
視聴者訪問持続時間及びデータ収集のための時間間隔に基づいてタイムスロットサンプルに時間を分割する方法を利用しない場合に、信頼性のある結論を上述の「現実の世界」の実験から生み出す困難さは、当業者には理解されよう。例えば、以下の表４は、（例えば、既知の準実験及び相関的研究の場合のように）無作為的にスケジュールされたコンテンツを示す。留意されたいこととして、コンテンツのどの小片が格上げに関連付けられるかを知ることは、少しはできるとしても、ほぼ不可能である。
宿泊客は、格上げが行われた数秒以内に格上げのコンテンツのすべてのバージョンが示されたので、格上げのコンテンツのいずれかのバージョンを見た可能性があり、また、宿泊客は、コンテンツのいずれのバージョンも見なかった可能性もある（すなわち、看板を見ることさえなかった可能性がある）。更に、ＰＯＳの時間はドリフトするので、格上げが実際に、ＰＯＳシステムで示された時間に又はそれに近い時間に行われたという信頼水準は低くなり、ＰＯＳシステムで示された時間は、上で議論したようなシステムクロック時間同士の非同期性が原因で、デジタル看板システムで記録された時間とは異なるものとなる。大量のデータが得られると、高度な分析技法（主成分分析など）を利用して規則的なパターンを発見できることもある。しかしながら、そのような手法は、仮に可能であるとしても数年を要する可能性があることは、当業者には理解されよう。
リサーチャーが以下の方法論の１つを利用することになるのは、正に、上で議論した「実験を完了する時間」の問題であり、以下の方法論の各々は、非常に時間を要するものであるか、費用がかかるものであるか、又は内的若しくは外的妥当性が非常に低いものである。
ａ．顧客の呼び止め。顧客は単純に、格上げを行ったか否か、格上げのコンテンツを見たか否か、及びコンテンツが自身の行動に影響を与えたか否かを問われる。顧客の呼び止めは、大きな労働力を要するものであり、したがって不経済である。更に、多くのリサーチが示すこととして、顧客の呼び止めを利用して得られたデータは信頼性がない（内的及び外的妥当性が低い）。
ｂ．単に、大規模な看板ネットワークを使用してリサーチを試行する。例えば、既知の準実験技法を利用して７４０のロケーションに対して遂行された確認済みの実験は、完了するのに２か月を要した。
ｃ．対応対照の方法論を利用し、この方法論により、それぞれのホテルは、異なるロケーションで格上げのコンテンツの異なるバージョンを示すように割り当てられる。この手法は、多数のロケーションを必要とし、相当な時間量を要し、特定のロケーションに合わせて最適化して利用できないため、問題がある。
上に示した例は、真実験の制約と整合する方式で通信コンテンツを配信し通信コンテンツの有効性を算定する、自動化されたコンピュータ支援型の方法の検出力を表す。当業者には明らかなように、上述の例示的な例は、本発明に従って実現されたシステム及びプロセスの利益を享受し得る、多数の起こり得る状況の一部を表すものである。本明細書で説明する実験計画プロセスは、多種多様な用途及びシステム展開に適応するように修正されてもよい。
更に、本発明の実験計画プロセスを強化するために、付加的な機能が含められてもよい。例えば、データ収集の過程の間に、データの連続的又は段階的な監視に基づいて実験が変更されてもよい。例えば、被験者６００人のサンプルにおいて血圧を低下させる５つの交絡を試験するように計画された実験が実施されてもよい。データが生成されるとき、効果サイズ、実験データに対して遂行された、更新された統計的検出力分析、データ収集に伴う費用、又は他の要因に基づいて、サンプルを条件に再び割り付けることが有利となる場合もある。
これらの及び他の要因に基づいて実験を調節する方法が、十分に特徴付けられており、当業者に知られている（例えば、「検出力と費用：最小限の財務費用による統計的検出力に優れた研究の計画（Power & Money: Designing Statistically Powerful Studies While Minimizing Financial Costs）」、Ｄ．アリソン及びＲ．アリソン（D. Allison and R. Allison）、生理学的方法（Physiological Methods）、１９９７、第２巻、第１版（No. 1）、２０〜３３を参照されたい）。当面の実験に対するそのような調節により、効率を高める重要な機会がもたらされ、より迅速に結論に達することが可能となる。また、結論は典型的には業績に関連するので、再び割り付けしないことの機会費用が存在する。
実験データが収集され、特定のコンテンツ小片、又はコンテンツの複数小片の類似グループが十分に成果を挙げ、他の複数小片又はグループが十分に成果を挙げないことを示す場合、成果に優れたものを「昇進」させ、成果に劣ったものを「降格」させる機会が生じる。降格させることは、成果に劣ったものを更なる実験から除外することを含んでもよく、それにより、成果に劣ったものが存在していたタイムスロットサンプルが解放されて、ａ）既存の優れた試験コンテンツの実体化が増加されるか、ｂ）試験コンテンツの新規に構築されたバージョンが中間結果に基づいて挿入されて、それらのメッセージの微妙に違う要素が探索されるか、又はｃ）単純に、売り上げ、満足度などを増す目的で非試験コンテンツが挿入される。
典型的には、サンプルは識別され、どのサンプルが独立変数の特定の水準を受けるかは、実験の開始よりもかなり前に決定される。例えば、ホテルにおいて、２つのコンテンツのバージョンの相対的有効性を平日午前の時間帯の間に試験したい場合がある。典型的には、時間帯内の時間のどのブロックが、コンテンツの種々のバージョンを受けるかが、実験の開始に先立って決定される。
しかしながら、実験者はサンプルの条件がいつ現れるか予測できないため、実験の疑問には対処できないものもある。例えば、ホテルの部屋の格上げを促す２つのメッセージのどちらが特定の屋外温度範囲内でより効果的であるか把握したい場合があるが、温度がいつそれらの温度範囲内に入るかを予測することはできない。この場合、コンテンツのバージョンＡは、温度が所定の範囲に最初に達したときに再生され、コンテンツのバージョンＢは、温度が所定の範囲に２度目に達すると再生されるように、無作為的に割り当てられることが、予め決定される。
加えて、そのような「トリガー」により、新しいタイムスロットサンプルが開始される。新しいタイムスロットサンプルの持続時間は、現在のＴＩに残っている時間を、図６Ｃで算出されるようなタイムスロットサンプルの持続時間に加算することによって算出される。
サンプルタイムスロットサンプルを開始する「トリガーイベント」の別の例は、消費者がどの電動工具を購入するか検討するときに手に取ることができるように、電動工具を一般に陳列している日曜大工店で発生する可能性がある。この事例において、タイムスロットサンプルは、例えば消費者がドリルを手に取ったときに開始することができ、これは運動センサーによって捕捉されるであろう。センサーイベントにより、コンテンツＡがトリガーされて、再生されると共に、この新しく開始されたタイムスロットサンプルを無作為的に割り当てられ、従属変数データ、例えばＰＯＳデータが、新しいタイムスロットサンプルに対応して収集される。タイムスロットサンプルが終了するとき、コンテンツＢが無作為的に割り当てられ、対応するＰＯＳデータが収集される。この交互のシーケンスは、営業日の最後まで繰り返される。
実験は通常、条件にサンプルを割り当てる機会の前に、条件へのサンプルの割り付けが決まるように遂行されるが、予期しない条件に伴う結果に関連する別のフィードバックの機会が存在し、その予期しない条件に伴う結果により、優れた又は劣った成果が明らかとなり、調査に向けた新しい仮説が示唆される。一例となり得るのは、ホテル内で部屋の格上げを促進するように構築された特定のコンテンツが、外部温度が摂氏３５度（華氏９５度）を超えるときに十分に成果を挙げる場合である。摂氏３５度（華氏９５度）超の条件は予想されておらず、したがって、元の実験計画の範囲内では特に対処されていなかった。しかし、これらのデータが生じると、システムは、この新たに決まった重要な独立変数に適応するように、コンテンツの割り付けの方法を修正することができた。
また、コンテンツの相関性は、従来の方法を使用すると難題となるが、本発明のシステム及び方法により対処される。自身の自動車に関心のある消費者は、自動車の性能についてのメッセージ並びに自動車の安全機能についてのメッセージに反応し得ると、マーケティング担当者は仮定することができる。本発明の実施形態に従って、性能及び安全性のコンテンツメッセージ「系統」を独立に、ただし互いに関連付けながらも試験する実験が計画されてもよい。コンテンツの各例は、長さが１５秒である、各々についての独立したコンテンツの複数小片、２つの１５秒のメッセージを単純に加えた、結合された新しい３０秒のメッセージ、又はある構成要素を他の構成要素よりも強調し、構成要素の順序を変更するなど任意の数の「混合型」メッセージを含むことができる。
本明細書で説明するシステム及び方法は、タイムスロットサンプル、制約付きの無作為化要件などを決定するとき、すべてのコンテンツバージョンが、適当な回数、適当な順序などで再生され、それにより、結果のデータを完全にコンテンツに帰することができるように、多数のバージョンの各々にタグ付けして、これらの「系統」のメッセージをコンテンツの単一小片として扱う。対照的に、従来の手法では、事後に膨大な量のデータの分析が必要となり、結果に影響を与える可能性があった各潜在的要因に「重み」が割り当てられるが、結局は、考慮されなかった他の変数が結果に影響を与えた可能性がある。
本発明の真実験に基づいたシステムが従来の手法と比べて十分に成果を挙げるもう１つの側面は、ユーザーが、重要な要因を識別し、タイムスロットサンプルへの実験及び対照コンテンツの割り当てを再び割り付けして、個々の重要な要因並びに要因の組み合わせを考慮することを可能にする能力である。
例えば、ホテルのマーケティング担当者は、時間帯ごとに、画面の位置ごとに、また客足の水準ごとに、通信がどのような成果を挙げるかを把握することを望む場合がある。本発明のシステムは、所有地における各関心要因の条件内で、かつこれらの関心要因の適切な組み合わせでシステムがメッセージを同じ回数再生するように、実験及び対照コンテンツを割り付けることができる。これにより、マーケティング担当者は、例えば、メッセージがロビー内で再生され、多数の宿泊客がロビー内にいる早朝の時間帯に、どのメッセージが最良の成果を挙げるかを把握することが可能となる。ここでもまた、従来の方法では、マーケティング担当者は、個々に又は組み合わせで再生されたコンテンツのみに結果を帰せることができなくなる。考慮されなかった他の要因が結果に影響を与えた可能性もある。
図８Ａ〜１１Ｂは、コンピュータ化エキスパートシステムを実現するためのシステム及びプロセスを示し、このコンピュータ化エキスパートシステムは、本発明の実施形態に従って、真実験又は真実験の制約を有する様々なサブプロセスを、ユーザーからの入力に基づいて計画するためのものである。図８Ａ〜１１Ｂに示すシステム及びプロセスは、デジタル看板通信コンテンツ又は上に議論した手段を含めた他の手段で伝達されるコンテンツの有効性を算定するように実現し得る、真実験又は真実験の制約を有するサブプロセスを計画し実現するように実現されてもよい。また、本発明のコンピュータ化システムは、データを収集すること、データを統計的に分析すること、実験の結果を解釈しレポートすることを含む、真実験を遂行することに伴う工程のうちの１つ以上をユーザーが実施するのを自動的に又は半自動的に支援してもよい。エキスパートシステムのユーザーは、実験計画、統計学的／数学的若しくはアルゴリズム的プロセスの基礎理論の知識、又は科学的方法の深い知識を有している必要はない。
エキスパートシステムは、ユーザーに提示される一連の質問を通じて、真実験又は真実験の制約を有する様々なサブプロセスを計画するための情報を提供する反応をユーザーから引き出す。様々な実施形態において、実験データは手動で（システムで生成されたフォームに）入力するか、又は半自動的に若しくは完全に自動的に集めることができる。いくつかの実施形態において、システムは、自動的に独立変数の水準を操作し、その独立変数の水準にサンプルを割り当てるが、他の実施形態においては、システムは、ユーザーによる独立変数の操作及びサンプルの割り当てに関する手順を提供する。ユーザーは、実験計画の分野に精通していなくてもよく、また、真実験を計画する、遂行する、又は真実験から結果を分析する方法を知る必要がない。
エキスパートシステムにより、ユーザーは、例えば仮説を検定する願望以外に実験計画及び分析の分野の特殊な知識を身に付けるという負担が取り除かれる。ユーザーはエキスパートシステムに情報を提供し、その情報により、システムは、ユーザー入力に基づいてユーザーに代わって実験を計画することが可能となる。真実験を計画した後、エキスパートシステムはまた、データを収集すること、データを統計的に分析すること、及び実験の結果を解釈することを含む、真実験を遂行するプロセスの１つ以上の工程を支援してもよい。この構成において、エキスパートシステムは、外部システム、例えば、どの電子看板が特定のコンテンツを示しているかを制御することを通じて、また電子的情報源からのデータを自動的に解析すること、例えば、実験条件に従って売り上げデータを手動で又は自動的に整理することによって、自動的に実験を遂行できるようになっていてもよい。
実験計画に不可欠な様々な概念の知識をユーザーが理解する必要はない。これらの概念は、専門用語及び数の単位がユーザーの知識基盤に対応するようにユーザーに提示される。エキスパートシステムは、抽象的ではあるが専門分野では一般的な統計学的概念を、ユーザーに知られていてかつ理解される分野における意味論的に有意の言語及びデータに変換することが可能である。例えば、エキスパートシステムは、実験のサンプルサイズ要件を算出するために統計的検出力分析を遂行することができるが、単純に検出力分析の出力をサンプルサイズ（例えば６８０サンプル）に関してレポートする代わりに、システムは、検出力分析の結果を、特定のサンプルサイズ要件を与えられた実験を遂行するのに要する時間量（例えば８営業日）としてレポートすることができる。エキスパートシステムは、精通していないユーザーが判断できるような方式で、統計的出力から得たデータを商取引の情報及び／又はデータを提示することを目的とした指標に自動的に変換すること、例えば、Ｚスコアをドル又は時間に、サンプルサイズ要件及び／又は持ち越し効果の除去を、実験を実行するのに要する時間に変換することが可能である。
システムが使用する専門用語及び数の単位は、選択可能なユーザーの精通水準に対応してもよい。例えば、ある選択可能な構成において、ユーザーは、エキスパートシステムで扱われる概念に関して比較的精通していることがあり、これらの概念は、ユーザーの知識の水準に対応した専門用語及び数学で表現されてもよい。例えば、この構成において、ユーザーは、「この変数は連続的ですか離散的ですか」などの質問を受ける。別の選択可能な構成において、ユーザーは、エキスパートシステムで扱われる概念に精通していないことがある。精通していないユーザーに対し、エキスパートシステムは、ユーザーが精通していない専門用語を使用せずに情報を決定するために、一連の質問を通じてユーザーを導くことが可能である。この構成において、ユーザーは、エキスパートシステムで扱われる概念の以下の例の使用法の知識又は理解を有する必要がない。
独立変数−実験者によって操作される変数。
従属変数−実験者によって測定される変数。
交絡−独立変数の水準と共に系統的に変動し得る任意の要因。
無作為化−試験サンプルの選択及び独立変数の水準へのサンプルの割り当てを無作為化するプロセス。
無作為選択の目的：無作為選択は、実験の外的妥当性に重要である。実験の結果は、サンプルを収集した母集団にしか一般化できないという事実のため、無作為抽出により、バイアスした（無作為的でない）方式でサンプルを抽出した母集団の一部ではなく、サンプルを収集した母集団全体に実験の結果を一般化できるようにする。例えば、血圧の薬の実験における被験者のすべてが、うつ病で既に入院していたため実験に含めやすいという理由で選択された、３５歳から４０歳の男性である場合、この実験の結果を母集団の残り（例えば、６５歳超の女性）に一般化することはできない。そのような実験では、米国のすべての人から無作為的に選択した実験よりも、外的妥当性が低くなる。
無作為割り当ての目的：無作為割り当ては、実験の内的妥当性に重要である。無作為割り当ては、従属変数の値に見られるいかなる効果も、サンプルが独立変数の水準に割り当てられた体系的変化に起因しないことを保証するものである。例えば、プラシーボ又は錠剤（drug pill）のいずれかを服用するようにサンプルが無作為的に割り当てられる、血圧の薬の実験は、ニューヨーク出身のすべての被験者にプラシーボが与えられ、サンフランシスコ出身のすべての被験者に薬が与えられる実験よりも、内的妥当性の高いものとなる。留意されたいこととして、無作為割り当ての１つの主目的は、交絡がない場合、見出された任意の効果が、不規則変動と比べて独立変数の水準に起因する確率が、ｐ値によって明らかとなるということである。これは準実験又は相関計画には当てはまらず、準実験又は相関計画において、ｐ値は単に、１つ以上の基礎的な分布からサンプルを抽出している可能性を明らかにするものである。つまり、真実験においては、ｐ値は、２つの平均値ＸとＹが異なる可能性を明らかにし、それらの平均値が、Ｚのために（つまりＺが原因で）異なっていることを明らかにするものであるが、相関的研究においては、ｐ値は、単に、平均値ＸとＹとが異なっているという情報を提供するものであり、なぜそれらが異なっているかについての情報を提供するものではない（すなわち、ｐ値は、ＺがＸとＹとの相違を引き起こしたのか否かを明らかにするものではない）。
複製−計画に伴う固有の又は実験による変動性を推定できるように、実験において実験条件を無作為的に繰り返すこと。これにより、ｐ値の算出で統計的有意性を算定することが可能となる。
ブロック化−互いに類似した群（ブロック）に実験単位を整理すること。
測定の尺度−変数が名義尺度であるか、順序尺度であるか、間隔尺度であるか。
検出力分析−所与のサイズの効果を発見するためのサンプルサイズ要件、信頼性区間の幅、及び第２種の過誤を犯す確率（帰無仮説が偽であるときに帰無仮説を棄却し損なう確率）を決定する方法。
均衡化−独立変数の各々及び対応する交互作用が互いに独立するようにする方法。
相殺化−治療提示のすべての順序を含めるか又は各被験者に順序を無作為的に決定することによって、反復測定計画で順序効果を統制する方法。
記述統計学−データを整理し要約する方法。
推測統計学−特定の実験上の発見の信頼性及び一般化可能性を判断する手順。
以下に述べる様々な実施形態に従って、上記の概念を適切に利用するようにユーザーを案内する方法及び装置について記載する。
一実施形態に従うエキスパートシステムの構成要素が図８Ａに示されている。このエキスパートシステムは、様々なハードウェア構成要素を有する計画プロセッサ１１０を有し、ハードウェア構成要素には、いくつかの構成要素の中でも特に、中央演算処理装置（ＣＰＵ）１０５及びメモリー１０６が含まれる。メモリー１０６は、実験を計画するプロセスを制御するコンピュータ命令を記憶し、実験計画に必要な、ユーザーから得られた情報を記憶する。ソフトウェアの制御下で、ＣＰＵ１０５は、アルゴリズム的に質問を選択するか又は生成して、ユーザーから情報を引き出す。質問は、計画プロセッサ１１０に連結されたユーザーインターフェイス１２０の出力装置を通じてユーザーに提示される。
例えば、ユーザーインターフェイス１２０は典型的には、ユーザーに質問を提示するための液晶ディスプレイ（ＬＣＤ）又は他のタイプのディスプレイ装置など、ディスプレイ装置を有している。ユーザーインターフェイス１２０はまた、指又はタッチペンの接触に応答するタッチスクリーン、マウス、キーボード、音声認識、又は他のタイプの入力装置など、１つ以上の入力装置を有している。ユーザーは、ユーザーインターフェイスの１つ以上の入力装置を通じて質問に回答する。計画プロセッサ１１０は、実験計画並びに独立及び従属変数の特徴に基づいて、実験に適した記述統計及び推測統計を決定することができる。
また、図８Ａに示すシステム構成要素は、図２Ａ〜５に示すものなど、本明細書で説明するエキスパートシステム機能の一部又はすべてを用いずに（例えば、システムが実験計画の当業者によって開発される場合など）真実験又はその一部分を実現するために使用されてもよい。図８Ａに示すシステム構成要素はまた、図５〜７Ｂで先に説明したものなど、真実験の制約を有する様々なサブプロセスを実現するために使用されてもよい。そのような実現例において、図８Ａに示す構成要素は、同じ現場に（例えば開発者の事務所又は共通シャーシ内に）配置されてもよく、また、地理的に離れた現場に（例えば、ネットワーク又はインターネットを通じて互いに通信的に結合されたシステム又は装置の分散型構成要素）配置されてもよい。
図８Ｂの流れ図は、本発明の実施形態に従って真実験を計画するために、計画プロセッサ及びユーザーインターフェイスによって実施されるプロセスを示す。図８Ｂ及びそれに続く図に示すプロセスは、真実験を計画することに関するものであるが、そのようなプロセスは、図５〜７Ｂで先に説明したものを含めて、真実験の制約を有する様々なサブプロセスを計画するために実施されてもよいことが理解されよう。
計画プロセッサは、真実験を計画するのに必要な情報を確認し（１４０）、必要な情報を提供するユーザーから回答を引き出す一連の質問を選択するか又は生成する。質問はユーザーインターフェイスを通じてユーザーに提示される（１５０）。質問に対するユーザーの回答は、ユーザーインターフェイスを通じて受け取られ（１６０）、計画プロセッサに転送される。計画プロセッサは、ユーザーの回答から情報を抽出し（１７０）、その情報に基づいて真実験を計画する（１８０）。エキスパートシステムは、他の工程に関連する特定の工程で情報を収集する能力を有している。
例えば、従属変数が工程Ｘにおいて連続的であるという認識は、特定のタイプの統計分析が工程Ｙにおいて利用されるべきであることを意味する。システムは、前の工程からのデータを使用して後の工程を完了する。例えば、データが既に得られている場合、システムは、同じ情報を再びユーザーに尋ねない。ユーザーは、その情報が両方の工程に関連することを知る必要がない。データが前の工程から利用可能でない場合、システムは、必要なデータをユーザーに尋ねる。
真実験の要素が図８Ｃに示されている。真実験は、仮説又は目的の策定を含む。従属及び独立変数が識別され、１つ以上の独立変数の少なくとも２つの水準が使用される。対照群及び治療群が形成され、サンプルが独立変数の水準に無作為的に割り当てられる。また、交絡変数を統制するか又は除去するプロセスが存在する。
例えば、デジタル看板の実験において、システムは、１）コンテンツの複数小片がネットワーク全体にある各ロケーションで示される順序を均衡化し相殺化すること、及び／又は２）実験コンテンツの２つの小片が、視聴者が店内にいる間にコンテンツの両方の小片を見る可能性がある一定時間内に示されないようにすること、及び／又は３）コンテンツが実験コンテンツのあるバージョンから実験コンテンツの別のバージョンに切り替わる間、十分な時間が経過した後にデータが収集され、それにより、コンテンツの変更時に店内にいた視聴者の少なくとも９５％の視聴者が店舗を去っているようにすることによって持ち越し効果を統制するプロセスを通じてユーザーを案内する。これらの要素のすべてが適切に適用される場合、従属変数と独立変数との関連性についての統計的推測を行うために利用できる結果が、実験により生じる。
本明細書で説明するエキスパートシステムにより、実質的に交絡のない結果を生じ、かつ独立変数と従属変数との任意の因果関係を判断し定量化するために利用できる実験を、真実験計画の複雑さに精通していないユーザーが計画することが可能となる。理解されたいこととして、説明するシステムの機構及び機能は、精通していないことも十分に精通していることもあるユーザーの精通度に従って修正してもよい。例えば、十分に精通しているユーザーの場合、あまり精通していないユーザーには有用な初歩的な機構が簡略化されるか又は除去されてもよい。
本発明の実施形態は、ユーザーの入力に基づいて真実験を計画する能力を有するエキスパートシステムに関する。前述のように、エキスパートシステムの使用により、ユーザーは、実験計画の理論又は実践における基礎を身に付けることから解放される。真実験は、独立変数の少なくとも２つの水準を有する。エキスパートシステムは、実験の独立及び従属変数を選定するのに必要な情報をユーザーから引き出す。例えば、デジタル看板の実験において、エキスパートシステムは、「コンテンツＸ（ここでＸは、ユーザーが実験的に評価することを望むコンテンツの任意の小片である）が効果的である場合、コンテンツＸを見せる結果として起こると期待する変化は、言葉で表すとどのようなものですか」などの質問を、ユーザーに尋ねてもよい。システムは、特定の製品の売り上げが増加する、店内の特定の場所での客足が増加する、消費者が特定の製品の特徴について店員に質問する、消費者が特定の製品を棚から手に取る、及びその他など、考えられる多数の変化を用意しており、ここでその他とは、システムに記憶された考えられる変化のセットに含まれていない任意の他の変化である。
当業者には明らかなように、これらの考えられる「世における変化」の各々は、コンテンツＸの有効性を試験するように計画された実験で測定できる、考えられる従属変数に対応する。同様に、エキスパートシステムは、薬の研究におけるプラシーボと類似した対照コンテンツを選ぶプロセスを通じてユーザーを案内することもできる。例えば、エキスパートシステムは、コンテンツＸの目的とはいかなる点でも関連しないコンテンツを識別するようにユーザーに求める。
内的妥当性に対する脅威に関し、エキスパートシステムは、一連の質問及びユーザーの回答を通じて、内的妥当性に対する脅威を識別し、均衡化、相殺化及び／若しくはブロック化、並びに／又は無作為化などにより、これらの脅威を統制するプロセスを開始してもよい。
エキスパートシステムは、ユーザーの入力に基づいて、実験における各サンプルが独立変数の各水準に等しい見込みで割り当てられるように、各群にサンプルを無作為的に割り当てるプロセスを実行することが可能である。エキスパートシステムはまた、無作為化、相殺化、及び／又はブロック化を含んだ実験を計画することも可能である。このシステムは、ユーザーが独立変数又は独立変数の水準を選択するのを支援してもよく、また、ユーザーが実験の内的及び／又は外的妥当性に関連付けられる要因に基づいて従属変数を選択するのを支援する。例えば、このシステムは、独立変数及び従属変数の様々な組み合わせに対して検出力分析を遂行するのに必要な情報を取得し、様々な検出力分析の結果を、ユーザーが理解する分野特有の用語及び数値で、ユーザーに提供することができる（「売り上げデータを使用してコンテンツのこの小片の有効性を測定すると、８週間の時間と１４００ドルの費用がかかりますが、センサーデータを使用すると、２週間の時間と８００ドルの費用となります」）。
いくつかの構成において、真実験を計画することに加えて、エキスパートシステムは、真実験を遂行すること、データを収集すること、データを統計的に分析すること、及び実験の結果を解釈することのうちの１つ以上をユーザーが実施するのを支援してもよい。実験又は真実験の制約を有する様々なサブプロセスを遂行し、分析し、解釈するための機能を含むエキスパートシステムの実施形態が、図８Ｄに示されている。先に説明した実験計画プロセッサ１１０及びユーザーインターフェイス１２０に加えて、エキスパートシステムはまた、実験の実行を自動的に又は半自動的に制御するように構成された実験制御プロセッサ１３５を有していてもよい。また、実験データを分析しかつ／又は実験結果を解釈するように構成された実験分析プロセッサ１４５が含められていてもよい。制御プロセッサ１３５及び分析プロセッサ１４５の機能は、どのように実験が計画プロセッサ１１０によって計画されたかの情報により強化される。
例えば、分析プロセッサ１４５は、独立及び独立変数に関する情報（例えば、独立変数（ＩＶ）及び従属変数（ＤＶ）が連続的であるか離散的であるか）を受け取るため、分析プロセッサ１４５は、実験から得られたデータに適用するのに適した統計的検定を選ぶのに必要な情報の大部分を有していることになる。例えば、２つの離散的な水準を有する１つのＩＶと、１つの連続的なＤＶが存在する場合、推測統計的検定にＴ検定が分析プロセッサ１４５によって選択され得る一方で、２つの離散的な水準を有する１つのＩＶと、２つの離散的な水準を有する１つのＤＶが存在する場合、カイ二乗検定が推測統計的検定に使用され得る。同様に、分析プロセッサ１４５は、どの実験条件が特定の仮説に特徴的であるかに関しては、計画プロセッサ１１０からの情報へのアクセスを有するため、分析プロセッサ１４５は、どの実験及び対照条件が統計的に比較されユーザーにレポートされるべきかを判断するのに必要な情報の大部分又はすべてを有していることになる。
本明細書で説明する様々な実施形態に従う実験計画に対するコンピュータに基づく手法は、コンピュータ化デジタル看板情報システムを伴う。しかしながら、本発明は、通信システム又はデジタル看板の分野に限定されるものではない。本発明の手法は、関心分野にかかわらず真実験を計画するために応用することができる。例えば、本明細書で説明する方法及びシステムは、限定されるものではないが、活字メディア、デジタル看板、及び／又はインターネットで配信される広告など、デジタル的に配信される任意の種類のメッセージ、並びに、生物学、化学、言語学、医学、認知科学、社会科学、教育、経済学、及び／又は他の科学分野に関連する実験を含めて、いくつもの主題領域に対する実験の計画に応用されてもよい。
実験については、デジタル看板コンテンツを評価する実験を計画するように構成されたエキスパートシステムの状況において説明する。明らかなように、エキスパートシステムは、それに代わって又はそれに加えて、他のタイプのコンテンツを評価するようにプログラムされてもよく、又はコンテンツの評価実験以外の実験を計画するようにプログラムされてもよい。以下に説明するエキスパートシステムの例により、読者は、概して科学的試みのすべての分野に及ぶ本発明の原理の理解を高めることが可能となる。
図９Ａ〜９Ｅに示す流れ図は、本発明の実施形態に従って計画プロセッサ１１０（図８Ａ及び８Ｄ）によって実施され得るプロセスの概要を示す。この流れ図は、本発明の様々な実施形態に従って必要な情報を供給するようにユーザーに促すことでエキスパートシステムによって実施され得る、真実験の計画における工程を示す。エキスパートシステムは、ユーザーに質問を提示することによって、情報を供給するようにユーザーに促す。エキスパートシステムは、ユーザーの回答を受け取り、実験に必要な情報をユーザーの回答から抽出する。図１０Ａ〜１０Ｐは、図９Ａ〜９Ｅの流れ図に示すプロセスのうちの一部に関してユーザーに提示され得る質問を表す表示画面のスクリーンショットである。この例示的なスクリーンショットは、デジタル看板コンテンツとホテル内の喫茶店での売り上げとの因果関係を試験し測定する実験又はそのサブプロセスに対応する質問を提示する。様々な広告が、様々なロケーションに配置されたデジタルディスプレイに提示される。この例は、真実験を計画する際にエキスパートシステムによって実施され得るプロセスを示すために用いられる。当業者には明らかなように、喫茶店の実験を計画するためのこの例示的なプロセスは、ユーザーに質問を提示して関心のある特定の実験を計画するのに必要な情報を得ることにより、任意の実験に当てはめられてよい。
図９Ａに示すように、真実験を計画するためのエキスパートシステムで使用されるプロセスは、操作仮説を策定する（２０２）こと、並びに、変数が離散的か連続的か、またどのＩＶ水準を試験するべきかを含む、実験の独立及び従属変数を識別する（２０４）ことを含む。ユーザーからの入力を用いて、エキスパートシステムは、交絡及び妨害変数（nuisance variable）を識別し（２０６）、実験を実行するためにどの実験及び対照コンテンツが各デジタルディスプレイ全体にわたって示されるかについてのスケジュールを決定する（２０８）。
図９Ｂは、実験変数を識別する（２０４）ことに伴ういくつかの任意選択によるプロセスを更に詳細に示す。エキスパートシステムは、考えられる独立及び従属変数を識別する（２１０）ための情報を取得し、ユーザーから情報を得る（２１２）ことができ、その結果、検出力分析を実施することができる。エキスパートシステムは、対照コンテンツを選択するプロセスにおいてユーザーを支援してもよく（２１４）、また、実験手順に関する情報をユーザーから得てもよく（２１６）、その実験手順は、デジタル看板の状況において、デジタル看板ネットワーク全体にわたってコンテンツを表示するためのスケジュールを含む。このスケジュールは、デジタル看板ネットワーク全体にわたってコンテンツが再生されるロケーション及び時間を含む。
図９Ｃは、検出力分析を実施するための情報を得る（２１２）プロセスを更に詳細に示す。検出力分析により、エキスパートシステムは、所与の大きさの効果が実験で検出される確率を決定することができる。また、この段階の間に得られた情報は、予め指定した大きさの統計的検出力をその実験が有するのに必要なサンプルサイズを決定するために使用されてもよい。検出力分析は、３つのパラメータのうち他の２つから得られない１つのパラメータについて解くものである。検出力分析のパラメータは、サンプルサイズ、検出力、効果サイズである。エキスパートシステムは、これらのパラメータのうちのどれを最も配慮するかをユーザーに段階的に説明し、実験計画を最適化するのを助けることができる。例えば、ユーザーが、Ｘよりも大きくない限り効果に関心がないという場合、検出力分析は、少なくともＸと同程度に大きい効果を発見するのに十分な検出力を実験が有するように遂行されることになる。
検出力分析は、帰無仮説下での平均値２２２、検定仮説下での平均値２２４、標準偏差２２６、及びサンプルサイズ２２８の情報を推定することを必要とする。これらのパラメータは、図１０Ａ〜１０Ｐにより詳細に示すようにユーザーに提示される一連の簡単な質問を通じて推定される。標準偏差が未知である場合、履歴データが推定の基準となることがある。履歴データがない場合、ある程度良好な近似法は、従属変数が取り得る最大値から従属変数が取り得る最小値を引いたものを使用し、この差を４で割ることである（これによって標準偏差が控えめに推定される）。
図９Ｄは、交絡値及び妨害値を識別する（２０６）ためのいくつかの所望によるプロセスをより詳細に示す。交絡変数は、独立変数の水準と共に系統的に変動する任意の変数である。例えば、対照コンテンツのある小片に、テロの脅威の水準が上昇したことを警告するコンテンツのある小片が常に続くのに対して、実験コンテンツのある小片に、安眠ベッドの広告が常に続く場合、対照又は実験コンテンツを再生しているときの喫茶店での売り上げの差は、対照コンテンツと実験コンテンツとの差に起因する可能性があり、また実験及び対照コンテンツの各小片に続くコンテンツに起因する可能性もある。交絡の例には、平均値への回帰、順序効果、持ち越し効果、床効果、天井効果、ホーソーン効果、及び需要特性が挙げられる。
妨害変数は、ＩＶの水準とは系統的に変動しないが、喫茶店の実験の統計的検出力を減じ得る変数である。例えば、適切な無作為化がなされると、ホテルの客室利用率は妨害変数となる。一方のホテルは客室利用率の変動性が高く、もう一方は変動性が低いという２つの実験において、他の条件がすべて同じである場合（例えば同じサンプルサイズ）、統計的検出力は、客室利用率の低いホテルにおいてより高くなる。デジタル看板の実験における妨害変数の例には、他の販売促進活動、天候、曜日、経済状態が挙げられる。エキスパートシステムは好ましくは、考えられる交絡及び妨害変数についての情報を、これらの変数についての情報を含むユーザー回答を引き出す一連の質問を提示することによって得る。
図９Ｄに示すように、エキスパートシステムは、例えば、持ち越し効果２３１、選択バイアス２３２、統制された実験でＩＶの水準の影響を受けなかった場合になされる扱いとは何らかの異なった形でサンプルが扱われる（例えば、クリップボードを持つ誰かに見られることで、コンテンツのある小片を見て通常どのように反応するかが変化し得る）ことに起因する結果の相違を伴う試験の効果２３５、実験の失敗率２３６、実験に影響を与え（effect）得る局所的事象２３７に関する情報、及び他の広告又は販売促進努力２３８に関する情報を得るように考案された一連の質問を提示してもよい。
図９Ｅは、持ち越し効果についての情報を得る（２３１）ためにエキスパートシステムによって実施され得るいくつかの所望によるプロセスをより詳細に示す。エキスパートシステムは、他のロケーションで示されるコンテンツについての情報を入手する（２３２）ために、一連の質問をユーザーに提示する。別の一連の質問により、持ち越し効果を生じ得るコンテンツのタイミングについての情報を含む回答がユーザーから引き出される（２３４）。
エキスパートシステムは、真実験を実施するのに必要な情報を得るために、上述のプロセスのうちのいくつか又はすべてを通じてユーザーを導く。図１０Ａは、ユーザーに質問を提示しユーザーの回答を受け取るために使用し得る例示的なディスプレイ３００を示す。図１０Ａに示すディスプレイ３００はタッチ感知式ディスプレイであるが、非タッチ感知式ディスプレイなど、ユーザーに質問を提示しユーザーの回答を受け取るのに好適な任意のタイプの入出力装置が使用されてよい。ディスプレイのタッチ感知性により、タッチを通じてユーザーの回答を表示画面に入力することが可能となる。マウス、キーボード、及び／又は音声認識回路を有するマイクロホンを含めて、ユーザーから回答を受け取るのに好適な任意のタイプの入力装置が使用されてよいことが明らかとなろう。
この例において、ディスプレイ３００は、質問／回答の視聴領域３０５と、様々なプルダウンメニュー３１０〜３１６とを有し、プルダウンメニュー３１０〜３１６は、ユーザーからのタッチによって作動して情報の集積を促進することができる。各プルダウンメニュー３１０〜３１６は、質問の異なる領域及び／又はメニューのタイトルによって示される実験計画の異なる側面に対応している。メニュー３１０〜３１６は、階層的なメニュー構造における最上位の水準を典型的に示している。選択されると、プルダウンメニュー３１０は、メニュー構造におけるその次の階層的最高水準に対応する１つ以上のサブメニュー３２０〜３２２を示す。サブメニュー３２０〜３２２の選択により、更なるメニューが提示されてもよい。階層構造でのサブメニューの提示は、メニュー構造に関連付けられる質問又は実験計画操作の領域で要求される特異性の水準を達成するのに必要なだけ続いてもよい。タッチスクリーンにより、メニュータイトル又はメニュー項目にタッチすることで、メニュー及び／若しくはサブメニューをプルダウンし、かつ／又はメニュー項目を作動させることが可能になる。
明らかなように、図１０Ａ〜１０Ｐに示すメニューは、エキスパートシステムに使用し得る考えられるメニューの一部を代表するものである。例えば、使用し得る他のメニューには、実験を計画するために更なる情報を得ることに関するメニュー、又は実験を遂行若しくは分析する際に使用する情報を得ることに関するメニューが挙げられる。
エキスパートシステムは、様々なモードで動作してよく、例えば、メニュー項目の作動は、典型的には、エキスパートシステムが実験計画プロセスを通じてユーザーを導くときにエキスパートシステムによって実施される。いくつかの実施形態において、ユーザーは、制御プロセッサ及び／又は分析プロセッサと交互作用して、実験の成果、実験データの分析、及び／又は実験結果の解釈に関する入力を与えてもよい。
メニュー項目はまた、所望によりユーザーによってアクセスされてもよい。例えば、エキスパートシステムは、最初は、様々なメニュー又はサブメニュー項目に関連付けられた操作を作動させることによって、情報を取得するプロセスを進めてもよい。ユーザーは、所望により、メニュー項目を再び作動させることによってプロセスの様々な段階に戻ることができる。例えば、ユーザーは、メニュー項目に戻って、前に入力した入力内容を変更することを望む場合があり、また、好都合にもプルダウンメニュー３１０〜３１６を使用することによってそのようにしてよい。
図１０Ａに示す画面３００は、「検定モード（Test Mode）３１０」というタイトルのメニューを示している。ユーザーが「検定モード」の項目を作動させる場合、画面は、実験の独立変数を決定することに関する１つ以上の質問を表示する。先に議論したように、この例において、エキスパートシステムは、デジタルディスプレイ上に表示されるグラフィックス又はビデオクリップなどのデジタル看板コンテンツを分析する実験を計画するように構成されているが、このシステムは、他の種類の用途の実験を計画するように構成することもできる。メニュー項目３１０の「検定モード」が作動されると、ユーザーは、サブメニュー項目３２０〜３２２から選ぶという選択肢を有する。ユーザーは、コンテンツと比べずに又はプラシーボコンテンツと比べてコンテンツのある小片をユーザーが評価することを示す「コンテンツの個々の小片を評価する（Evaluate an individual piece of content）３２０」か、自身で比較したい２つの広告をユーザーが有することを示す「コンテンツの複数の小片の相対的影響を評価する（Evaluate the relative impact of multiple pieces of content）３２１」か、「実験が「真」であるか否かを判断する（Determine if an experiment is ‘true’）３２２」を選ぶことができる。
図１０Ａは、強調表示されたサブメニュー項目３２０で示されるように、ユーザーがコンテンツの個々の小片を評価するように選択した状況を示す。このオプションを選択すると、エキスパートシステムによって制御されるプロセスが始動して、コンテンツの個々の小片を評価する実験を計画するのに必要な情報をユーザーから得る。エキスパートシステムは、図１０Ｂに示すように、別のメニュー項目を作動させることによって、実験仮説及び実験の従属変数を決定することを含むプロセスにおける次の工程に進む。
図１０Ｂは、「実験変数（Exp. Variables）３１１」（Experimental Variablesの略）というタイトルのメニュー項目が選択されたところを示す。プルダウンすると、メニュー３１１は、「仮説／変数（Hypothesis/Variables）」、「変動性（Variability）」、及び「履歴データ（Historical Data）」というタイトルのサブメニュー項目のリストを示す。サブメニュー項目を作動すると、一連の質問及び／又は選択肢がユーザーに提示される。例えば、メニュー項目の「仮説／変数」が作動された場合、画面は、実験の仮説（複数可）を策定するために、またその実験の考えられる従属変数を決定するために、図１０Ｃに示すように、多数の選択肢を表示してもよい。ある状況において、図１０Ｃに示すように、「コンテンツが希望の効果を持つ場合、その結果として何が変りますか。関心のあるものすべてにチェックを付けてください。図中の（If the content is having the desired effect, what would change as a result? Check all that are of interest to you.）」という質問がユーザーに提示される。ユーザーは、「売り上げが増加する（Sales will increase）３２３」、「交通流の増加が起こる（There will be an increase in traffic flow）」、「消費者が販売スタッフに問い合わせをする（Consumers will inquire with the sales staff）」、「消費者が特定の製品を棚から手に取る見込みが増す（Consumers will be more likely to pick up a particular product from the shelf）」、「調査すると、消費者は特定の質問に別の答えをする（If surveyed, consumers will answer a particular questions differently）」、「その他の変化（Other changes）」という回答のうちの１つ以上を選ぶことができる。図１０Ｃの具体的な例では、ユーザーは「売り上げが増加する」を選択している。これを選択すると、実験仮説はデジタル看板コンテンツを顧客に見せると売り上げが増加することであると確認する情報がエキスパートシステムに供給される。その情報はまた、実験における従属変数、すなわちコンテンツを表示することで引き起こされた売り上げの変化を与える。
他の状況において、考えられる１つ以上の更なる従属変数、例えば、交通流、消費者の問い合わせ、製品を手に取る消費者、及び／又は調査質問に対する答えが、ユーザーによって選択されてもよい。複数の従属変数が示された場合、エキスパートシステムは、実験の費用を算出し、各従属変数に対する実験の内的及び外的妥当性を推定し、適切な従属変数を選択するプロセスを通じてユーザーを導く。図１０Ｄは、図１０Ｃに示すプロセスの工程で複数の選択がなされたとき、１つ以上の従属変数の選択過程を通じてユーザーを導くためにエキスパートシステムが使用し得るプロセスの一部分を示している。
いくつかの状況において、図１０Ｃに示す提案される選択肢のいずれも、ユーザーが期待する変化に対応せず、ユーザーが「その他」を選択することがある。その場合、エキスパートシステムは、その実験の考えられる従属変数を識別し特徴付けるために、一連の更なる質問を通じてユーザーを導く。例えば、ユーザーが「その他」を選択した場合、その質問の一部は、考えられる従属変数が連続的か離散的かを判断することに関するものであってもよい。ユーザーは、カテゴリ的又は名目的な（例えば男性及び女性）離散的データを有することもある。離散変数は、順序データと呼ばれる順序付きカテゴリ（例えば年齢カテゴリ２０〜２９、３０〜３９、など）であってもよい。連続的データは、連続したつながりが根底にあるところで、種々の測定技術から生じる。一例として、非常に嫌いから非常に好きまでの範囲の愛好スケール（７つのカテゴリ、１〜７のスケール）での、又は絶対購入しないから絶対購入するに及ぶ購入意思スケールでの、調査のスケール格付けがある。もう１つの例は、より伝統的な連続変数であり、連続変数には、考えられる値（気温、収入、売り上げ、体重など）が多数ある。
例えば、「その他」のカテゴリがユーザーによって選択された場合に情報を引き出す際、エキスパートシステムは、１つ以上の更なる質問を提示して、従属変数を決定し、かつ／又は従属変数が連続的であるか離散的であるかを決定してもよい。
エキスパートシステムは、一連の質問を通じてユーザーを導いて、検出力分析を実施するのに必要な情報を取得してもよい。検出力分析に使用されるパラメータには、帰無仮説下での平均値、標準偏差、検定仮説下での平均値、有意水準、検出力、及びサンプルサイズが挙げられる。これらのパラメータの一部についての情報はユーザーから取得されるが、その他は、エキスパートシステムにプログラムされる標準値である。考えられる従属変数を決定した後、エキスパートシステムは、図１０Ｅ（図中内容は図１０Ｂと同一）に示すように、「変動性（variability）」というタイトルのサブメニュー項目に関連付けられたプロセスを作動させてもよい。これらのプロセスにおいて、エキスパートシステムは、考えられる従属変数の変動性を判断するために考案された一連の質問を通じてユーザーを導く。
考えられる従属変数の変動性を判断すると、実験の統計的検出力を評価するためにエキスパートシステムが使用する情報が提供される。例えば、エキスパートシステムは、図１０Ｆ及び１０Ｇに示す質問など、利用可能なデータの精度についての情報を収集するための質問を提示してもよい。図１０Ｆにおいて、エキスパートシステムは、利用可能なデータの精度の下限についての情報を取得するための質問を提示している。図１０Ｆに示すように、「最短でどの程度の時間単位ごとに売り上げを測定できそうですか。図中の（What is the smallest increment of time that sales can possibly be measured?）」という質問に、１時間ごと（hourly）、各シフト後（after each shift）、１日ごと（daily）、１週間ごと（weekly）、１か月ごと（monthly）、又はその他（other）、という選択肢が用意されている。この具体的な事例において、ユーザーは、売り上げを測定できる最小の時間単位が１時間ごとであることを指示している。図１０Ｆに示すスクリーンショット上で、エキスパートシステムはまた、最小の時間単位でデータを測定することに伴う費用を入力するようにユーザーに促している「図中の（Emter the cost of measuring sales at the smallest increment of time）」。
図１０Ｇに示すように、エキスパートシステムはまた、データの取得に好都合な時間単位についての情報を取得する。図１０Ｇに示すスクリーンショットにおいて、エキスパートシステムは、売り上げを測定できる好都合な時間単位について問い合わせている。「図中の（What is a convemient interval for sales to be measured?）」ここでも、ユーザーは、１時間ごと（hourly）、各シフト後（after each shift）、１日ごと（daily）、１週間ごと（weekly）、１か月ごと（monthly）、又はその他（other）から選択するように促されている。また、図１０Ｇに示すように、好都合な単位でデータを取得するのに伴う費用が求められる「図中の（Enter the cost of measuring sales at the convemient intevral）」。
エキスパートシステムは、図１０Ｈ（図中内容は図１０Ｂと同一）に示すように「履歴データ（Historical Data）」というタイトルのサブメニュー項目に関連付けられたプロセスを作動させてもよい。ユーザーは、売り上げ履歴データを利用可能にするか否か（図１０Ｉの「Yes」又は「No」）を指示するように促される（図１０Ｉの「Do you have historical data for sales?」）。肯定（図中の「Yes」）の回答により、図１０Ｊ及び１０Ｋに示す画面が現れ、これらの画面でユーザーは、それぞれ最小の時間単位及び好都合な時間単位に対する売り上げデータを入力することができる。売り上げ履歴データは、例えば、実験の統計的検出力を測定する検出力分析で使用する従属変数（この例では売り上げ）の標準偏差を推定するために使用されてもよい。図１０Ｊ及び１０Ｋに示す画面で引き出される入力事項の数は、所望の信頼水準及び標準偏差に基づいてコンピュータによって決定される。例えば、コンピュータは、標準偏差が特定の範囲内に収まるという特定の信頼水準を達成するために、標準偏差を推定するのに必要な一定数の入力事項についての情報を提供するようにユーザーに促してもよい。
標準偏差に用いられる信頼水準、例えば９０％又は９５％は、通常はユーザーに知られているが、この信頼水準はエキスパートシステムのプログラム可能値であり得る。上述した従属変数の標準偏差の信頼水準、及び実験の有意水準など、エキスパートシステムで使用される特定の値は、システムが構成される時点でプログラム可能であってよい。これらの構成値は、例えばエキスパートシステムソフトウェアに精通した管理者によって、後に変更されてもよい。
エキスパートシステムは、ユーザーに質問を提示して、実験の効果に関連する情報を取得してもよい。図１０Ｌは、最小の効果サイズを決定するためにユーザーに提示され得る質問を示すスクリーンショットである。この例において、エキスパートシステムは、コンテンツが価値のあるものとなる売り上げの増加をユーザーが入力することを要求する「図中の（Enter the increase in sales fhat would mate the sign valuable to you）」。
真実験を計画するために、エキスパートシステムは、実験に影響を与え得る、考えられる交絡及び／又は妨害変数についての情報を得る。例えば、交絡変数は、持ち越し効果（Carry over effects）、選択バイアス（Selection bias）、試験効果（Testing effects）、及び実験の失敗率（Experimental mortality）に関連付けられてもよい。図１０Ｍの画面に示すように、これらの要因の各々に対するメニュー項目が作動されて、これらの要因についての情報を得るために一連の質問がユーザーに提示されてもよい。図１０Ｍにおいて、メニュー項目の持ち越し効果が強調表示されている。持ち越し効果のメニュー項目を作動させると、図１０Ｎ〜１０Ｐの質問が提示されることになる。図１０Ｎにおいて、エキスパートシステムは、コンテンツが示された可能性のある他のロケーションについての情報を知らせるようにユーザーを導く質問を提示する。図１０Ｏ及び１０Ｐにおいて、エキスパートシステムは、持ち越し効果のタイミングについての情報を知らせるようにユーザーを導く質問を提示している。
図１１Ａは、本発明の実施形態に従って、真実験又は真実験の制約を有するサブプロセス（例えば、図５〜７Ｂに示すものなど）を計画する能力を組み込んでデジタル看板のコンテンツの有効性を試験し得るデジタル看板システム（ＤＳＳ）のブロック図である。例えば、図１１Ａ（及び図１１Ｂ）に示すＤＳＳは、図１〜８に関連して上述した方法論を実現するように構成されてもよい。図１１Ａのブロック図は、機能ブロックに分割されたＤＳＳの一構成を示している。当業者には明らかなように、ＤＳＳは、これに代わって、異なる機能ブロックを使用して示されてもよく、また、ＤＳＳの各種の構成要素は、ハードウェア、ソフトウェア、ファームウェア、又はハードウェア、ソフトウェア、及びファームウェアの任意の組み合わせとして実現されてもよい。
本発明によるシステムは、本明細書で説明する機構、構造、方法、又はそれらの組み合わせを含んでよい。例えば、システムは、図１１Ａに示す有利な機構及び／又はプロセスのうちの１つ以上を含むように実現されてもよい。そのようなシステムは、本明細書で説明する機構のすべてを含む必要はないが、有用な構造及び／又は機能をもたらす選択された機構を含むように実現され得ることが意図されている。
図１１Ａに示すＤＳＳは、音声、映像、及び／又は他のメディア形式で情報コンテンツを提示するように構成されたコンピュータ化システムである。ＤＳＳは、提示する情報コンテンツのリストを提供する再生リスト、及びコンテンツの提示の順序を規定するスケジュールを、自動的に又は半自動的に生成する機能を有していてもよい。半自動モードにおいて、ユーザーは、対話的なユーザーインターフェイス４１０を通じてＤＳＳ制御プロセッサ４０５にアクセスしてもよい。ＤＳＳ制御プロセッサ４０５に支援されて、ユーザーは、提示するコンテンツを識別し、１つ以上のＤＳＳ再生機４１５に提示するタイミング及び順序を制御する再生リスト及びスケジュールを生成してもよい。各再生機４１５は、再生機用に策定された再生リスト及びスケジュールに従って、受信者にコンテンツを提示する。情報コンテンツは、例えば、グラフィックス、テキスト、ビデオクリップ、静止画像、オーディオクリップ、ウェブページ、並びに／又はビデオ及び／若しくはオーディオコンテンツの任意の組み合わせを含んでもよい。
いくつかの実現形態において、再生リスト及びスケジュールが策定された後、ＤＳＳ制御プロセッサ４０５は、再生リストに必要なコンテンツを判断し、コンテンツサーバーからコンテンツをダウンロードし、再生機４１５にコンテンツを配信する再生機制御装置４２０に、再生リスト及びスケジュールと共にコンテンツを転送する。図１１Ａは、再生機制御装置４２０を１つのみ示しているが、複数の再生機制御装置が、単一のＤＳＳ制御プロセッサ４０５に連結されてもよい。各再生機制御装置４２０は、単一の再生機又は複数の再生機４１５を制御することができる。コンテンツ並びに／又は再生リスト及びスケジュールは、コンテンツ／再生リスト／スケジュールが対象とする再生機４１５を識別する情報を提供する適切なアドレス指定を用いて、圧縮形式で、ＤＳＳ制御プロセッサ４０５から１つ以上の再生機制御装置４２０に転送されてもよい。いくつかの応用例において、再生機４１５は店舗内に分配されてもよく、再生機４１５に提示されるコンテンツは広告であってもよい。
他の実現例において、ＤＳＳ制御プロセッサ４０５は、再生リスト及びスケジュールのみを再生機制御装置４２０に転送してもよい。コンテンツが再生機制御装置４２０に常駐していない場合、再生機制御装置４２０は、コンテンツ記憶装置４２５にアクセスして、提示するコンテンツを得てもよい。いくつかの状況において、コンテンツ記憶装置４２５を含む、ＤＳＳシステムの様々な構成要素のうちの１つ以上が、イントラネット又はインターネット接続などのネットワーク接続を通じてアクセス可能となっていてもよい。再生機制御装置４２０は、所望のコンテンツをまとめるか、あるいは、再生リスト及びスケジュールに従って所望のコンテンツを再生機に表示するのを促進してもよい。再生リスト、スケジュール、及び／又は再生機４１５に提示されるコンテンツは、例えば、再生機制御装置４２０によって又はＤＳＳ制御プロセッサ４０５によって、周期的に又はユーザーの要求通りに修正することができる。
いくつかの実現例において、ＤＳＳ制御プロセッサ４０５は、再生機で再生されるコンテンツのプログラムの開発及び／又は編集を容易にする。例えば、ＤＳＳ制御プロセッサ４０５は、テンプレートの使用により、オーディオビジュアルプログラムの編集を容易にしてもよい。テンプレートは、提示されるオーディオビジュアルプログラムの開発において適用される制約及び／又は規則を編集することを含む。例えば、テンプレートは、特定のタイプのコンテンツに使用される画面の部分、どのタイプのコンテンツを各区分で再生できるか、並びに、どのような順番で、フォントサイズ、及び／又は他の制約若しくは規則がプログラムの表示に適用可能であるかに関連付けられる規則を含んでもよい。別々のセットの規則及び／又は制約が、各ディスプレイ構成に望ましいこともある。いくつかの実施形態において、種々のディスプレイ用にプログラムを編集することが、ＤＳＳ制御プロセッサ４０５によって自動的に実施されてもよい。
いくつかの実施形態において、ＤＳＳは、認知科学の分野における研究及び実験を通じて得られた情報に基づいて、テンプレートを作成し、コンテンツを生成し、コンテンツを選択し、プログラムをまとめ、かつ／又は表示されるプログラムを編集してもよい。認知科学は、人間の知覚の仕組みを理解しようとするものである。認知科学及び視覚科学の研究分野では、人間の知覚システムが情報を処理する方法、注意の基礎となる仕組み、人間の脳が記憶に情報を格納し表現する方法、並びに言語及び問題解決の認知基準に関する広大な知識基盤が生み出されてきた。
認知科学をコンテンツの設計、レイアウト、編集、及び／又はコンテンツの提示に適用することにより、人間の知覚システムによって容易に処理され、理解が容易であり、かつ人間の記憶に容易に保存される情報が得られる。認知科学により得られ認知科学データベース４３０に記憶された知識は、テンプレートの作成、コンテンツ設計、コンテンツの選択、コンテンツの配信、プログラムの集成、及び／又は表示のためのプログラムの編集を含む、ＤＳＳの１つ以上のプロセスに、自動的に又は半自動的に知らせるために使用されてもよい。ＤＳＳのプログラミングと共に使用される認知科学データベース４３０は、その分野における特定の訓練を受ける必要性からシステムユーザーを解放する一方で、認知科学の教示によって強化された広告又は他のデジタル看板プログラムを生み出す。
例えば、認知科学データベース４３０は、人間の知覚システムによって容易に処理され、容易に把握され、かつ容易に記憶に保存されるコンテンツを提供するために、コンテンツの計画、配信、及び／又は調節のプロセスの間に利用される認知科学及び視覚科学の情報を記憶してもよい。認知科学データベース４３０は、認知科学及び視覚科学の原理に従ってコンテンツを開発し修正するために、コンピュータによって実現される設計の規則及びテンプレートを含んでいてもよい。認知科学データベース４３０はまた、視覚的注意、テキストの読みやすさ、及び記憶の原理のモデルなど、コンピュータで実現可能な、認知科学及び視覚科学の原理のモデルを含んでいてもよい。
デジタル看板のプログラム、例えば広告キャンペーンなどの開発において、ＤＳＳ制御プロセッサ４０５は、認知科学により得られた知識を使用して強化される様々なプロセスを通じてユーザーを案内してもよい。例えば、認知科学データベース４３０に記憶された情報は、最適なプログラムレイアウトを作成するためのテンプレートの選択に、及び／又はコンテンツの要素が図形、テキストであるべきか、動き、カラー、サイズを含むべきかなど、コンテンツの選択に、及び／又はプログラム開発の他の態様の実現に適用されてもよい。
本発明のコンピュータ支援型の方法及びシステムは、認知科学及び視覚科学の原理を応用するのに必要な訓練を通常は受けていないコンテンツ設計者が、コンテンツの設計及び配信の有効性を高めることが可能となるように実現されてもよい。本発明のシステム及び方法は、同時係属中の米国特許出願第１２／１５９１０６号においてより詳しく記載されている方式で、認知科学データベース４３０に関連する機構及び機能を組み込んでいてもよく、この米国特許出願第１２／１５９１０６号は、代理人整理番号第６１２８ＷＯ００３で米国を指定国とする国際出願の米国特許出願第２００６／０４９６６２号として２００６年１２月２９日に出願され、「認知科学データベースを使用したコンテンツの開発及び配信（Content Development and Distribution Using Cognitive Sciences Database）」と題されたものであり、参照によって本願に組み込まれる。
ＤＳＳは、多様なディスプレイタイプ及び視聴条件に適応するために、デジタル看板プログラムの別のバージョンを設計する能力を有していてもよい。ディスプレイ技術は多様であり、デジタル看板のネットワーク上でコンテンツを提示するために使用されるディスプレイのタイプには大きな違いが存在する。例えば、寸法、形状、明るさ、及び視聴条件は、デジタル看板のネットワーク全体で大いに異なる（例えば、一部のディスプレイは、小型で、柔軟で、かつ非直線的であり得るのに対して、他のディスプレイは、標準的な大型の液晶ディスプレイ（ＬＣＤ）及びプラズマディスプレイであり得る）。ディスプレイのタイプ及び視聴条件の差異は、コンテンツ小片の任意のバージョンが、ネットワーク全体のすべてのディスプレイには最適でない可能性があることを意味している。
この問題を克服するためには、各ディスプレイタイプ及び視聴環境に対してコンテンツの各小片のバージョンを生成し、コンテンツのこれらのバージョンを、ネットワーク内の対応する画面に選択的に配信することが必要となることがある。しかしながら、大規模なＤＳＳネットワーク全体にわたるディスプレイタイプ及び視聴条件のそのような子細な知識をコンテンツ設計者が有すると期待することは現実的ではない。更に、そのようなコンテンツ設計者が、そのような子細な知識を有していたとしても、各ディスプレイごとにコンテンツのバージョンを手動で作成し、対応する各ディスプレイで適切な時間に再生するようにコンテンツを手動でスケジュールすることは時間の浪費となる。
ＤＳＳは、展開されたコンテンツの有効性を改善するために使用されるデータを収集するデータ獲得ユニット４３５を有していてもよい。データ獲得ユニット４３５により、デジタル看板ネットワークの有効性の基礎となる配信率を、コンテンツの展開の間に実時間で連続的に集めることが可能となる。得られた情報により、ＤＳＳのコンテンツの有効性の継続的改善、並びに、コンテンツの複数小片の個々のバージョンの改善を促進することができる。先に得られたデータは、例えば、特定のタイプのコンテンツの表示をどのセンサー又は売り上げの事象で開始するべきかについて知るために使用されてもよい。
どのコンテンツプログラム内のコンテンツの個々の小片もそれぞれ、特定の目標を有している（例えば、特定の製品を売ること）。デジタル看板ネットワークのユーザー各自の目標の値に差異があるのが通例である。例えば、製品に対する目標の値を考慮した、各製品の利鞘及び在庫水準に差異がある可能性がある。各目標を達成することの価値は、デジタル看板プログラムが展開される間に継続的に変化する。例えば、製品の在庫水準が変化し、したがって製品の売り上げに対する目標に影響を与える可能性がある。
ＤＳＳの有効性を全体として向上させるには、１）デジタル看板プログラムを展開することがデジタル看板プログラムに関連付けられる目標に与える影響を正確に予測すること、２）コンテンツの個々の小片の配信パターン（タイミング、頻度、及びロケーション）を、コンテンツの複数小片の変化に対応する各個々の目標値として連続的に変化させることが必要である。多くの場合、ＤＳＳのユーザーが、コンテンツを展開する影響を予測すること、及びコンテンツの各小片に関連付けられる絶えず変化する目標値に基づいて、コンテンツの配信パターンを手動で変化させることは実行不可能である。ＤＳＳは、デジタル看板プログラムの影響を予測し、その予測に基づいてコンテンツの配信を変更する機能を備えている。
先に述べたように、コンテンツは、人間の行動に影響を与えること（例えば購入行動に影響を与えること）を目標として再生機４１５に表示される。しかしながら、従来のデジタル看板システムでは、看板コンテンツと人間の行動との因果関係を示すこと、又はその因果関係の強さを測定することが不可能である。この問題が生じるのは、現行のデジタル看板ネットワーク全体にコンテンツを配信する方法では、人間の行動における測定された変化が、看板コンテンツによって生じたのか、それとも何らかの交絡要因（例えば、天候の変化、製品の一般的需要の変化、製品の価格の変化）の結果として生じたのかを判断することが、支援されていないからである。
看板コンテンツと人間の行動との因果関係を明確に判断する唯一の方法は、看板コンテンツが高度な実験計画を用いて系統的に操作され、人間の行動に対するそれらの操作の効果が綿密に測定される真実験を遂行することである。そのような実験を手動で遂行することは時間の浪費であり、また、真実験を計画する科学的方法における相当な知識及び訓練を必要とする。デジタル看板システムのユーザーは、真実験を計画して交絡のない結果を得る方法を理解するのに十分な訓練を受けていなくてもよい。図１１Ａに示すＤＳＳは、実験計画プロセッサ４４０と、真実験を計画する能力を提供するユーザーインターフェイス４１０とを有している。
図１１Ｂは、真実験又は真実験の制約を有するサブプロセス（例えば、図５〜７Ｂに示すものなど）を計画するように構成された実験計画プロセッサを含むエキスパートシステムを示している。先に議論したように、実験計画プロセッサ４４０は、完全に自動的に又はユーザーとの対話を伴って半自動的に動作するように構成されてよい。半自動モードにおいて、実験計画プロセッサ４４０は、ユーザーインターフェイス４１０を通じて遂行される様々な対話的セッションを通じてユーザーを導き真実験を計画する。そのようなプロセスにおいて、実験計画プロセッサ４４０は、交絡のないデータを生じる真実験の計画を確実にする。したがって、ユーザーは、実験計画プロセッサ４４０のプログラミングに依存することができ、真実験の計画における知識又は経験を有することを必要とされない。ＤＳＳは、実験計画プロセッサ４４０のみを備えていてもよく、又は実験展開ユニット４４５、データ獲得ユニット４３５、及びデータ分析ユニット４５０などの更なる要素を有していてもよい。
実験計画プロセッサ４４０は、自動的に又は半自動的に、実験の目的又は仮説を策定し、実験の独立及び従属変数を識別し、適切な無作為化、均衡化、相殺化、及び／又はブロック化を適用する対照及び治療群を形成してもよい。ＤＳＳという状況において、例えば、実験の目的は、特定の製品の販売を促進する広告キャンペーン中にコンテンツ要素の有効性を評価することであってもよい。独立変数は、コンテンツ要素の表示の態様に関連付けられてもよい。従属変数は、製品売り上げの増加に関連付けられてもよい。
実験計画プロセッサ４４０は、実験コンテンツ及び対照コンテンツが表示されるＤＳＳの様々な場所の選択を含む、適切な治療及び対照群を形成してもよい。コンテンツの形式、スケジュール、提示ロケーション、及び／又は実験プロセスに交絡をもたらし得る他の要因を含む実験コンテンツの提示は、実験計画プロセッサ４４０によって制御される。実験計画プロセッサ４４０は、対照及び治療群の適当な無作為化、相殺化、及びブロック化を確実にして、実質的に交絡のない実験結果を達成する。ＤＳＳシステムの状況における実験の計画は、例えば、実験を通じて試験されるコンテンツの提示のための適切な再生リスト及びスケジュールを生成することを含んでもよく、また、対照コンテンツの提示のための再生リスト及びスケジュールを生成することを含んでもよい。
いくつかの構成において、エキスパートシステムは、実験展開ユニット４４５を更に含んでもよい。実験展開ユニット４４５は、実験の展開を容易にするように構成されている。例示的なＤＳＳシステムの状況において、実験展開ユニット４４５は、様々な再生機の構成に合わせて実験コンテンツ及び対照群コンテンツをフォーマットし、再生リスト及びスケジュールで指定された通りに再生機４１５上に提示するための、再生機制御装置４２０への実験コンテンツ及び対照コンテンツの転送を容易にする。
データ獲得ユニット４３５は、対照及び治療群から実験データを収集するように構成されてもよい。データ獲得ユニット４３５は、いかなる手段で、実験に関連するデータの獲得を実施するか又は容易にしてもよい。例えば、この例示的なＤＳＳの状況において、データ獲得ユニット４３５は、製品の動向、製品の売り上げ、顧客の動作若しくは反応、及び／又は他の情報を含む情報を集める様々なセンサー若しくはデータ獲得装置４６２、４６４、４６６に連結されていてもよい。センサー４６２は、例えば、顧客が製品を手に取るか否か、又はコンテンツが表示されているときに顧客がディスプレイの付近にいるか否かを検知するために使用されてもよい。売り上げは、販売時点（ＰＯＳ）システム４６４によって得られた情報に基づいて決定され得る。また、コンテンツの表示を確認する１つ以上の装置４６６が使用されてもよい。製品の在庫水準の変化が、在庫管理システムを通じて入手可能となっていてもよい。顧客の反応が、質問を通じて得られてもよい。遂行された実験が真実験である場合、データ獲得ユニット４３５によって得られたデータは、実質的に交絡のないものである。
データ獲得ユニット４３５は、データ獲得ユニット４３５によって収集された実験データを分析するように構成されたデータ分析ユニット４５０に連結されていてもよい。データ分析ユニット４５０は、実験の独立変数と従属変数との因果関係を測定しかつ／又は定量化してもよい。図示のＤＳＳの場合、分析の結果は、コンテンツが製品売り上げに影響を与えるという点で効果的であるか否かを判断するために使用されてもよい。
分析ユニット４５０は独立及び独立変数に関する情報（例えば、ＩＶ及びＤＶが連続的であるか離散的であるか）を受け取るため、分析ユニット４５０は、実験から得られたデータに適用するのに適した統計的検定を選ぶのに必要な情報の大部分を有していることになる。例えば、２つの離散的な水準を有する１つのＩＶと、１つの連続的なＤＶが存在する場合、推測統計的検定にＴ検定が使用される一方で、２つの離散的な水準を有する１つのＩＶと、２つの離散的な水準を有する１つのＤＶが存在する場合、カイ二乗検定が推測統計的検定に使用される。同様に、分析ユニットは、どの実験条件が特定の仮説に特徴的であるかに関しては、計画プロセッサ４４０からの情報へのアクセスを有するため、分析ユニット４５０は、どの実験及び対照条件が統計的に比較されるべきかを判断するのに必要な情報の大部分又はすべてを有していることになる。
分析の結果は、それに加えて又はそれに代わって、様々なプロセスを実現又は修正するために使用されてもよい。例えば、コンテンツが製品売り上げに影響を与えるという点で効果的であった場合、そのコンテンツを組み込んで広告キャンペーンが開発されてもよい。売り上げ増加の有効性に基づいたコンテンツ評価プロセス４７２により、ある値がコンテンツに割り当てられてもよい。請求ユニット４７４により、コンテンツの評価に従って、コンテンツを使用する広告主に請求書が送られてもよい。データ分析ユニット４５０はまた、入庫管理部４７６に情報を提供してもよい。加えて、データ分析ユニット４５０は、広告キャンペーンが展開されているときに売り上げの予測をする売り上げ予測ユニット４７８に情報を提供してもよい。売り上げ予測ユニット４７８は、それに加えて又はそれに代わって、広告キャンペーンで生じる売り上げを支援するのに必要な製品在庫を予測してもよい。
デジタル看板コンテンツを生成し、エキスパートシステムによって計画された実験を展開し、実験データを収集する能力を含むデジタル看板システムの実現例が、２００５年１２月２９日に出願された同時係属中の米国特許出願第１１／３２１，３４０号、及び２００６年１２月２９日に国際出願の米国特許出願第２００６／０４９６５７号として代理人整理番号第６１２９２ＷＯ００３で出願され、「実験を計画するためのエキスパートシステム（Expert System for Designing Experiments）」と題された米国特許出願第１２／１５９１０７号において更に記載されており、これらの出願は参照によって本願に組み込まれる。
本明細書で説明するシステム及び方法は、本発明の実施形態に従ってコンサルト事業の基礎を形成することができる。提供されるサービスには、とりわけ、顧客と協働して特定の通信目的及び特定の消費者観衆に合わせて適切にタイムスロットサンプルを特徴付けること、どの変数を調査で扱うかを判断すること、試験の独立変数の水準を判断すること、ブロック化及び無作為化に使用できる要因を決定すること、並びに検出力分析を遂行することが挙げられるが、これらに限定されるものではない。先に説明した測定アルゴリズムは、クロス最適化（cross-optimization）及びブロック化要因に対するタイムスロット割り付け要件を指定するために使用されてもよい。
本発明に従う別の応用例は、全体的な収益性を最大限にするシステム及び方法に関する。例えば、先に引用した「検出力と費用（Power & Money）」（アリソン及びアリソン（Allison & Allison））の記事に記載されている基本的プロセスに従って、本発明のシステムは、利用可能なすべてのタイムスロットサンプルの割り付けを、（１）上に詳細に説明したようなコンテンツの有効性の試験、及び（２）試験されないが、売り上げを増加させること、顧客満足を増進すること、従業員に通知することなど、任意の数の営業目標に対処することが意図されたコンテンツという２つの目的で最適化するために使用されてもよい。
本明細書で説明したように本発明に従って実現されるシステムは、タイムスロットサンプルの全在庫を「均衡化」するようにデータを提供して、ユーザーが、試験用タイムスロットサンプル対非試験用タイムスロットサンプルの最適な水準、及び最少数のタイムスロットサンプルを使用してより効率的にコンテンツを試験するための、それらの群内での割り付けを決定して、より多くのタイムスロットサンプルを非試験用コンテンツに解放できるようにしてもよい。結果のデータは、ユーザーが収益性、満足などを最大限にするために、コンテンツ配信を継続的に監視し調節しようとするとき、ユーザーに通知することができ、また、いつコンテンツが「使い古しになる」かをユーザーが判断するのを助けることができ、この使い古しになるときは、前に有効であったコンテンツが、消費者又は従業員聴衆に過度に曝されたことが原因で、十分に有効でなくなる時点として定義される。
本明細書に示した説明を用いると、本発明は、標準的なプログラミング及び／又はエンジニアリング技術を用いてプログラミングソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組み合わせを製作することによって、機械、プロセス、又は製造品として実現されてもよい。
結果として得られる任意のプログラムは、コンピュータで読み込み可能なプログラムコードを有するものであり、常駐メモリー装置、スマートカード、ＤＶＤ、ＣＤ、若しくは他の取り外し可能なメモリー装置、又は送信装置など、コンピュータで使用可能な１つ以上のメディア上に具現化され、それによって、本発明に従うコンピュータプログラム製品又は製造品をなしてもよい。したがって、「製造品」及び「コンピュータプログラム製品」という用語は、本明細書で使用するとき、コンピュータで使用可能な任意のメディア上に又はそのようなプログラムを送信する任意の送信メディア内に、永久的に又は一時的に存在するコンピュータプログラムを包含することを意図したものである。
本発明の様々な実施形態についての上述の説明は、例示及び説明を目的として提示したものである。網羅的なものにすること、又は本発明を、開示した厳密な形に限定することは意図していない。上記の教示を考慮すれば、多数の修正及び変形が可能である。例えば、本発明の実施形態は、多種多様な応用例において実現されてよい。本発明の範囲は、この詳細な説明によってではなく、むしろ添付の特許請求の範囲によって限定されるものとする。
Claims (5)
- コンテンツの複数小片と該コンテンツの複数小片の表示すべき順序とを特定する再生リストに従って、該コンテンツの複数小片を表示するように構成された複数のディスプレイを有するデジタル看板ネットワーク上にコンテンツを表示する、コンピュータで実行される方法であって、
該コンピュータが、コンテンツの第１の小片とコンテンツの第２の小片との間のペアワイズによるコンテンツ相関性データを受け取るステップと、
該コンピュータが、該ペアワイズによるコンテンツ相関性データに基づいて、該コンテンツの第１の小片と該コンテンツの第２の小片とが同一の所望の視聴者行動に影響を与えることが期待されるかどうか、を決定するステップと、
該コンピュータが、該コンテンツの第１の小片と該コンテンツの第２の小片とが該同一の所望の視聴者行動に影響を与えることが期待されると決定されたとき、該コンテンツの第１の小片および該コンテンツの第２の小片の一方に曝された視聴者が、該コンテンツの第１の小片および該コンテンツの第２の小片の他方に関するデータ収集の間に存在しないようにして、該コンテンツの第１の小片と該コンテンツの第２の小片との間での該所望の視聴者行動への持ち越し効果を低減する方法で、該コンテンツの第１の小片と該コンテンツの第２の小片とを１つ以上の再生リストに割り当てるステップと、
該コンピュータが、該１つ以上の再生リストを１つ以上のディスプレイに割り当てるステップと、
を含む方法。 - 該再生リストに従って、該ディスプレイ上に該コンテンツの該２つの小片を表示するステップ、を更に含む、請求項１に記載の方法。
- 該持ち越し効果は、視聴者が、あるロケーションで該コンテンツの第１の小片を見、同一のロケーションで該コンテンツの第２の小片が表示されるときに所望の視聴者行動を示すときに生じるロケーション内の持ち越し効果である、請求項１に記載の方法。
- ブロック化要因によって規定されたブロックに該再生リストを割り当てるステップ、を更に含む、請求項２に記載の方法。
- 該ブロック化要因は、コンテンツの各小片が該所望の視聴者行動に効果的に作用可能な最適化要因であり、看板のロケーション要因、時間帯の要因、または該コンテンツの複数小片に係る視聴者の期待される社会経済的地位を示す要因、の少なくとも１つを含む、請求項４に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US94780307P | 2007-07-03 | 2007-07-03 | |
| US60/947,803 | 2007-07-03 | ||
| PCT/US2008/069077 WO2009006546A2 (en) | 2007-07-03 | 2008-07-02 | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010532894A JP2010532894A (ja) | 2010-10-14 |
| JP2010532894A5 JP2010532894A5 (ja) | 2011-08-18 |
| JP5276099B2 true JP5276099B2 (ja) | 2013-08-28 |
Family
ID=40222231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010515260A Expired - Fee Related JP5276099B2 (ja) | 2007-07-03 | 2008-07-02 | タイムスロットサンプルにコンテンツの複数小片を割り当てて、その割り当てられたコンテンツの効果を測定するためのシステム及び方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (3) | US8392350B2 (ja) |
| EP (1) | EP2179394A4 (ja) |
| JP (1) | JP5276099B2 (ja) |
| KR (2) | KR101669384B1 (ja) |
| CN (1) | CN101796539B (ja) |
| AU (1) | AU2008272901B2 (ja) |
| CA (1) | CA2692409A1 (ja) |
| WO (1) | WO2009006546A2 (ja) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070156382A1 (en) * | 2005-12-29 | 2007-07-05 | Graham James L Ii | Systems and methods for designing experiments |
| US20090012847A1 (en) * | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assessing effectiveness of communication content |
| KR101605919B1 (ko) * | 2007-07-03 | 2016-03-24 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | 배정된 컨텐츠의 효과를 측정하기 위해 컨텐츠가 배정될 수 있는 시간 슬롯 샘플을 발생시키는 시스템 및 방법 |
| US20100169303A1 (en) | 2008-12-31 | 2010-07-01 | David Biderman | Playlists for real-time or near real-time streaming |
| US8156089B2 (en) | 2008-12-31 | 2012-04-10 | Apple, Inc. | Real-time or near real-time streaming with compressed playlists |
| CA2750840A1 (en) * | 2009-01-07 | 2010-07-15 | 3M Innovative Properties Company | System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives |
| US8533360B2 (en) | 2009-10-07 | 2013-09-10 | Wichorus, Inc. | Method and apparatus to report resource values in a mobile network |
| US8346710B2 (en) * | 2010-01-29 | 2013-01-01 | Google Inc. | Evaluating statistical significance of test statistics using placebo actions |
| US8805963B2 (en) | 2010-04-01 | 2014-08-12 | Apple Inc. | Real-time or near real-time streaming |
| GB201105502D0 (en) | 2010-04-01 | 2011-05-18 | Apple Inc | Real time or near real time streaming |
| TWI451279B (zh) | 2010-04-07 | 2014-09-01 | Apple Inc | 即時或接近即時串流傳輸之內容存取控制 |
| JP2011248393A (ja) * | 2010-05-21 | 2011-12-08 | Toshiba Tec Corp | 店舗システム |
| WO2012006007A2 (en) | 2010-07-07 | 2012-01-12 | 3M Innovative Properties Company | Systems and methods for improving visual attention models |
| JP5669630B2 (ja) | 2011-03-04 | 2015-02-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | テスト・ケース生成方法、プログラム及びシステム |
| US8843586B2 (en) * | 2011-06-03 | 2014-09-23 | Apple Inc. | Playlists for real-time or near real-time streaming |
| US8856283B2 (en) | 2011-06-03 | 2014-10-07 | Apple Inc. | Playlists for real-time or near real-time streaming |
| US11062328B2 (en) | 2011-07-21 | 2021-07-13 | 3M Innovative Properties Company | Systems and methods for transactions-based content management on a digital signage network |
| US20130135218A1 (en) * | 2011-11-30 | 2013-05-30 | Arbitron Inc. | Tactile and gestational identification and linking to media consumption |
| WO2013109458A1 (en) | 2012-01-16 | 2013-07-25 | 3M Innovative Properties Company | Systems and methods for rule-based content generation |
| CA2861269A1 (en) * | 2012-01-16 | 2013-07-25 | 3M Innovative Properties Company | Systems and methods for rule-based content optimization |
| US9519909B2 (en) | 2012-03-01 | 2016-12-13 | The Nielsen Company (Us), Llc | Methods and apparatus to identify users of handheld computing devices |
| US8473975B1 (en) | 2012-04-16 | 2013-06-25 | The Nielsen Company (Us), Llc | Methods and apparatus to detect user attentiveness to handheld computing devices |
| US9223297B2 (en) | 2013-02-28 | 2015-12-29 | The Nielsen Company (Us), Llc | Systems and methods for identifying a user of an electronic device |
| US11068929B2 (en) * | 2013-03-13 | 2021-07-20 | Eversight, Inc. | Highly scalable internet-based controlled experiment methods and apparatus for obtaining insights from test promotion results |
| US10176491B2 (en) * | 2013-03-13 | 2019-01-08 | Eversight, Inc. | Highly scalable internet-based randomized experiment methods and apparatus for obtaining insights from test promotion results |
| US10621596B2 (en) | 2013-03-15 | 2020-04-14 | Disney Enterprises, Inc. | Video optimizer for determining relationships between events |
| WO2014200743A1 (en) | 2013-06-13 | 2014-12-18 | 3M Innovative Properties Company | Systems and methods for delivering content to mobile devices |
| US9965721B2 (en) * | 2013-09-16 | 2018-05-08 | Moresteam Development, Llc | Computer-implemented system and method of performing a design of experiment, generating a product thereof, generating designed experiment options, and a graphical user interface |
| US9582836B2 (en) * | 2013-10-03 | 2017-02-28 | Linkedin Corporation | Identification of a broker-type leader in a social network |
| US9547877B2 (en) | 2013-10-03 | 2017-01-17 | Linkedin Corporation | Identification of a trigger-type leader in a social network |
| US9576326B2 (en) | 2013-10-03 | 2017-02-21 | Linkedin Corporation | Identification of a propagator-type leader in a social network |
| US10142685B2 (en) * | 2014-01-29 | 2018-11-27 | 3M Innovative Properties Company | Systems and methods for spacial and temporal experimentation on content effectiveness |
| US20160350796A1 (en) | 2014-01-29 | 2016-12-01 | 3M Innovative Properties Company | Conducting multivariate experiments |
| CN107003019B (zh) | 2014-12-01 | 2020-09-04 | 3M创新有限公司 | 用于预测hvac过滤器更换的系统和方法 |
| US20160260124A1 (en) * | 2015-03-02 | 2016-09-08 | Adobe Systems Incorporated | Measuring promotion performance over online social media |
| US10460339B2 (en) * | 2015-03-03 | 2019-10-29 | Eversight, Inc. | Highly scalable internet-based parallel experiment methods and apparatus for obtaining insights from test promotion results |
| US10109214B2 (en) | 2015-03-06 | 2018-10-23 | International Business Machines Corporation | Cognitive bias determination and modeling |
| US10394323B2 (en) * | 2015-12-04 | 2019-08-27 | International Business Machines Corporation | Templates associated with content items based on cognitive states |
| US10445762B1 (en) | 2018-01-17 | 2019-10-15 | Yaoshiang Ho | Online video system, method, and medium for A/B testing of video content |
| WO2019143370A1 (en) * | 2018-01-22 | 2019-07-25 | Visa International Service Association | Method, system, and computer program product for real-time data aggregation |
| US11470041B2 (en) * | 2019-06-20 | 2022-10-11 | Disney Enterprises, Inc. | Software defined network orchestration to manage media flows for broadcast with public cloud networks |
| US11651249B2 (en) * | 2019-10-22 | 2023-05-16 | EMC IP Holding Company LLC | Determining similarity between time series using machine learning techniques |
| JP7034459B1 (ja) * | 2021-06-14 | 2022-03-14 | 株式会社Insight science | 情報処理装置、情報処理システム、及びプログラム |
| US20230098735A1 (en) * | 2021-09-24 | 2023-03-30 | Lemon Inc. | Collaborative advertising mechanism |
| WO2024009479A1 (ja) * | 2022-07-07 | 2024-01-11 | 日本電信電話株式会社 | アンケート送信装置、アンケート送信方法及びプログラム |
Family Cites Families (90)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4973952A (en) * | 1987-09-21 | 1990-11-27 | Information Resources, Inc. | Shopping cart display system |
| US5309174A (en) * | 1987-10-13 | 1994-05-03 | Motorola, Inc. | Electronic display system |
| US5253331A (en) * | 1991-07-03 | 1993-10-12 | General Motors Corporation | Expert system for statistical design of experiments |
| US5474385A (en) * | 1992-03-02 | 1995-12-12 | Ta Instruments, Inc. | Method and apparatus for parsed dynamic differential analysis |
| US5513342A (en) * | 1993-12-28 | 1996-04-30 | International Business Machines Corporation | Display window layout system that automatically accommodates changes in display resolution, font size and national language |
| JP3648303B2 (ja) * | 1995-10-20 | 2005-05-18 | ブラザー工業株式会社 | Ｃｍ放映システム |
| JP2994996B2 (ja) * | 1995-12-01 | 1999-12-27 | 松下電器産業株式会社 | マルチメディア編集装置 |
| JPH09212349A (ja) | 1996-01-31 | 1997-08-15 | Mitsubishi Electric Corp | コンテンツ作成支援システム |
| US5812134A (en) * | 1996-03-28 | 1998-09-22 | Critical Thought, Inc. | User interface navigational system & method for interactive representation of information contained within a database |
| AU3477397A (en) * | 1996-06-04 | 1998-01-05 | Paul J. Werbos | 3-brain architecture for an intelligent decision and control system |
| US6023714A (en) * | 1997-04-24 | 2000-02-08 | Microsoft Corporation | Method and system for dynamically adapting the layout of a document to an output device |
| US6529940B1 (en) * | 1998-05-28 | 2003-03-04 | David R. Humble | Method and system for in-store marketing |
| RU2134457C1 (ru) | 1998-08-04 | 1999-08-10 | Григорьев Михаил Николаевич | Система распространения информации |
| US6604092B1 (en) * | 1999-02-26 | 2003-08-05 | Lisa E. Stewart | Expert system utilizing a knowledge base and design of experiment (DOE) techniques |
| WO2000058878A2 (en) | 1999-03-26 | 2000-10-05 | Koninklijke Philips Electronics N.V. | Evolving advertisements via an evolutionary algorithm |
| WO2001014952A2 (en) * | 1999-08-26 | 2001-03-01 | Memetrics Inc. | On-line experimentation |
| AUPQ246899A0 (en) * | 1999-08-26 | 1999-09-16 | Memetrics | An automated communications management agent |
| US7089322B1 (en) * | 1999-10-28 | 2006-08-08 | Motient Communications Inc. | System and method of aggregating data from a plurality of data generating machines |
| US6317700B1 (en) * | 1999-12-22 | 2001-11-13 | Curtis A. Bagne | Computational method and system to perform empirical induction |
| US7130808B1 (en) * | 1999-12-29 | 2006-10-31 | The Product Engine, Inc. | Method, algorithm, and computer program for optimizing the performance of messages including advertisements in an interactive measurable medium |
| CA2400085C (en) * | 2000-02-17 | 2008-02-19 | British Telecommunications Public Limited Company | Visual attention system |
| JP2001236443A (ja) * | 2000-02-24 | 2001-08-31 | Nec Corp | 広告情報の提供方法及びその広告効果の把握方法ならびにシステム |
| JP3348067B2 (ja) * | 2000-02-29 | 2002-11-20 | 株式会社電通 | 広告の再生を制御する方法および装置 |
| US8799208B2 (en) * | 2000-03-07 | 2014-08-05 | E-Rewards, Inc. | Method and system for evaluating, reporting, and improving on-line promotion effectiveness |
| WO2001069384A2 (en) * | 2000-03-14 | 2001-09-20 | Buzzpad, Inc. | Method and apparatus for forming linked multi-user groups of shared software applications |
| JP2001265904A (ja) | 2000-03-17 | 2001-09-28 | Dentsu Inc | 広告表現調査システム及び広告表現調査方法 |
| US7216092B1 (en) * | 2000-04-14 | 2007-05-08 | Deluxe Corporation | Intelligent personalization system and method |
| US6604094B1 (en) * | 2000-05-25 | 2003-08-05 | Symbionautics Corporation | Simulating human intelligence in computers using natural language dialog |
| WO2001093083A2 (en) | 2000-05-26 | 2001-12-06 | Naylor, Inc. | Computer-implemented method and apparatus for creating advertising media |
| US20040015399A1 (en) * | 2000-10-12 | 2004-01-22 | Maggio Frank S. | Method and system for verifying exposure to message content delivered via outdoor media or in a concentrated format |
| WO2002037334A1 (en) * | 2000-10-30 | 2002-05-10 | Elias Arts Corporation | System and method for performing content experience management |
| US20060271441A1 (en) * | 2000-11-14 | 2006-11-30 | Mueller Raymond J | Method and apparatus for dynamic rule and/or offer generation |
| US7406434B1 (en) * | 2000-12-15 | 2008-07-29 | Carl Meyer | System and method for improving the performance of electronic media advertising campaigns through multi-attribute analysis and optimization |
| JP4665312B2 (ja) | 2000-12-26 | 2011-04-06 | 日本電気株式会社 | Ｗｅｂコンテンツの可読性評価システム、Ｗｅｂコンテンツの配色支援システム、その方法、記録媒体 |
| US20040015401A1 (en) * | 2001-02-08 | 2004-01-22 | In Lee | Systems and methods for distributing template-based multimedia presentations over a network |
| US20020129367A1 (en) * | 2001-03-02 | 2002-09-12 | Koninklijke Philips Electronics N.V. | Method and apparatus for personalized presentation of television/internet contents |
| US20020154833A1 (en) * | 2001-03-08 | 2002-10-24 | Christof Koch | Computation of intrinsic perceptual saliency in visual environments, and applications |
| JP2002330415A (ja) | 2001-05-02 | 2002-11-15 | Star Collaboration Kk | コンテンツ制作装置、方法、コンピュータプログラム、記録媒体 |
| US7269516B2 (en) * | 2001-05-15 | 2007-09-11 | Psychogenics, Inc. | Systems and methods for monitoring behavior informatics |
| US6569096B2 (en) * | 2001-06-06 | 2003-05-27 | International Business Machines Corporation | System and method of automating multidimensional scaling for psychophysics |
| JP2003022041A (ja) | 2001-07-10 | 2003-01-24 | Fuji Electric Co Ltd | 広告宣伝システム、広告宣伝方法およびその方法をコンピュータに実行させるプログラム |
| TW523697B (en) * | 2001-08-29 | 2003-03-11 | Synq Technology Inc | Automatic advertisement transaction system and method therefor |
| KR100868852B1 (ko) | 2001-09-29 | 2008-11-14 | 주식회사 케이티 | 웹로그 분석 시스템에서의 방문시간 측정 방법 |
| US7136871B2 (en) * | 2001-11-21 | 2006-11-14 | Microsoft Corporation | Methods and systems for selectively displaying advertisements |
| JP2003162244A (ja) * | 2001-11-27 | 2003-06-06 | Yasuteru Yamamoto | 広告表示システム、広告表示方法、及び、広告供給方法 |
| US20050021397A1 (en) * | 2003-07-22 | 2005-01-27 | Cui Yingwei Claire | Content-targeted advertising using collected user behavior data |
| US20030220830A1 (en) * | 2002-04-04 | 2003-11-27 | David Myr | Method and system for maximizing sales profits by automatic display promotion optimization |
| JP2004110548A (ja) * | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | ユーザビリティ評価支援装置および方法 |
| US7274741B2 (en) * | 2002-11-01 | 2007-09-25 | Microsoft Corporation | Systems and methods for generating a comprehensive user attention model |
| JP2004178276A (ja) | 2002-11-27 | 2004-06-24 | Toshiba Lighting & Technology Corp | 売場計画支援システム |
| US7130461B2 (en) * | 2002-12-18 | 2006-10-31 | Xerox Corporation | Systems and method for automatically choosing visual characteristics to highlight a target against a background |
| US7260261B2 (en) * | 2003-02-20 | 2007-08-21 | Microsoft Corporation | Systems and methods for enhanced image adaptation |
| KR20030040263A (ko) | 2003-04-07 | 2003-05-22 | 주식회사 드림나우 | 인터넷 홈페이지 이용자의 행태 정보 획득 방법 및 그 장치 |
| JP3875974B2 (ja) | 2003-04-11 | 2007-01-31 | 西川ゴム工業株式会社 | 遮音性シート |
| US7080027B2 (en) * | 2003-04-17 | 2006-07-18 | Targetrx, Inc. | Method and system for analyzing the effectiveness of marketing strategies |
| US7694000B2 (en) * | 2003-04-22 | 2010-04-06 | International Business Machines Corporation | Context sensitive portlets |
| US20050047647A1 (en) * | 2003-06-10 | 2005-03-03 | Ueli Rutishauser | System and method for attentional selection |
| US20040260767A1 (en) * | 2003-06-19 | 2004-12-23 | David Kedem | Dynamic web advertisement and content display system |
| JP4314907B2 (ja) | 2003-07-18 | 2009-08-19 | 株式会社日立製作所 | 広告表示システム及び方法 |
| WO2005015362A2 (en) * | 2003-08-06 | 2005-02-17 | Innovida, Inc. | System and method for delivering and optimizing media programming in public spaces |
| US7269517B2 (en) * | 2003-09-05 | 2007-09-11 | Rosetta Inpharmatics Llc | Computer systems and methods for analyzing experiment design |
| US20050062314A1 (en) | 2003-09-19 | 2005-03-24 | Searfoss Timothy K. | Trailer cover system |
| US20050071223A1 (en) * | 2003-09-30 | 2005-03-31 | Vivek Jain | Method, system and computer program product for dynamic marketing strategy development |
| JP4396430B2 (ja) * | 2003-11-25 | 2010-01-13 | セイコーエプソン株式会社 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
| GB2410359A (en) * | 2004-01-23 | 2005-07-27 | Sony Uk Ltd | Display |
| US20050171843A1 (en) * | 2004-02-03 | 2005-08-04 | Robert Brazell | Systems and methods for optimizing advertising |
| US20050195221A1 (en) | 2004-03-04 | 2005-09-08 | Adam Berger | System and method for facilitating the presentation of content via device displays |
| JP4733369B2 (ja) | 2004-07-23 | 2011-07-27 | パイオニア株式会社 | 映像表示システム、及び映像表示方法 |
| GB2417808A (en) * | 2004-09-02 | 2006-03-08 | Hewlett Packard Development Co | Document creation system |
| US20080201198A1 (en) | 2004-09-02 | 2008-08-21 | Louviere Jordan J | Method, System and Computer Program Product for Measuring and Tracking Brand Equity |
| WO2006031888A2 (en) * | 2004-09-13 | 2006-03-23 | Brigham Young University | Methods and systems for conducting internet marketing experiments |
| GB2422739B (en) * | 2005-01-31 | 2010-07-14 | Hewlett Packard Development Co | Image processing method and apparatus |
| WO2006086525A1 (en) * | 2005-02-08 | 2006-08-17 | Pasadero, Inc. | Research protocol toolkit |
| US20060200759A1 (en) * | 2005-03-04 | 2006-09-07 | Microsoft Corporation | Techniques for generating the layout of visual content |
| US20070011050A1 (en) * | 2005-05-20 | 2007-01-11 | Steven Klopf | Digital advertising system |
| US7903099B2 (en) * | 2005-06-20 | 2011-03-08 | Google Inc. | Allocating advertising space in a network of displays |
| US20070100698A1 (en) * | 2005-07-08 | 2007-05-03 | Onestop Media Group | Adaptive advertisements and adaptive advertising distribution system |
| US20070038516A1 (en) * | 2005-08-13 | 2007-02-15 | Jeff Apple | Systems, methods, and computer program products for enabling an advertiser to measure user viewing of and response to an advertisement |
| US20070073562A1 (en) * | 2005-09-28 | 2007-03-29 | Sabre Inc. | System, method, and computer program product for providing travel information using information obtained from other travelers |
| US20070136133A1 (en) * | 2005-12-12 | 2007-06-14 | Yvonne Li | Digital Signage Transaction and Delivery Methods |
| US20070156382A1 (en) | 2005-12-29 | 2007-07-05 | Graham James L Ii | Systems and methods for designing experiments |
| CN2860496Y (zh) * | 2005-12-31 | 2007-01-24 | 湖南千山制药机械股份有限公司 | 带密封帽的混合注射药物的预充注射器 |
| US20090030780A1 (en) * | 2006-01-03 | 2009-01-29 | Ds-Iq, Inc. | Measuring effectiveness of marketing campaigns presented on media devices in public places using audience exposure data |
| WO2008028167A1 (en) * | 2006-09-01 | 2008-03-06 | Alex Nocifera | Methods and systems for self- service programming of content and advertising in digital out- of- home networks |
| US7861150B2 (en) * | 2006-11-07 | 2010-12-28 | Microsoft Corporation | Timing aspects of media content rendering |
| US20080230604A1 (en) * | 2007-03-22 | 2008-09-25 | Robert Jason Fong | System for optimizing on-premises advertisements |
| US20080306804A1 (en) * | 2007-06-06 | 2008-12-11 | Opdycke Thomas C | Systems for scheduling marketing campaigns in public places in order to enable measurement and optimization of audience response |
| KR101605919B1 (ko) * | 2007-07-03 | 2016-03-24 | 쓰리엠 이노베이티브 프로퍼티즈 컴파니 | 배정된 컨텐츠의 효과를 측정하기 위해 컨텐츠가 배정될 수 있는 시간 슬롯 샘플을 발생시키는 시스템 및 방법 |
| US20090012847A1 (en) * | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assessing effectiveness of communication content |
| CA2750840A1 (en) * | 2009-01-07 | 2010-07-15 | 3M Innovative Properties Company | System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives |
-
2008
- 2008-07-02 AU AU2008272901A patent/AU2008272901B2/en not_active Ceased
- 2008-07-02 KR KR1020157020102A patent/KR101669384B1/ko active IP Right Grant
- 2008-07-02 US US12/166,969 patent/US8392350B2/en active Active
- 2008-07-02 CA CA002692409A patent/CA2692409A1/en not_active Abandoned
- 2008-07-02 CN CN200880105252.3A patent/CN101796539B/zh not_active Expired - Fee Related
- 2008-07-02 JP JP2010515260A patent/JP5276099B2/ja not_active Expired - Fee Related
- 2008-07-02 WO PCT/US2008/069077 patent/WO2009006546A2/en active Application Filing
- 2008-07-02 EP EP08772382A patent/EP2179394A4/en not_active Withdrawn
- 2008-07-02 KR KR20107002364A patent/KR20100039875A/ko active Application Filing
-
2013
- 2013-01-24 US US13/748,754 patent/US8589332B2/en active Active
- 2013-10-15 US US14/053,909 patent/US9542693B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US8392350B2 (en) | 2013-03-05 |
| US20090012927A1 (en) | 2009-01-08 |
| US8589332B2 (en) | 2013-11-19 |
| WO2009006546A3 (en) | 2009-03-05 |
| CN101796539A (zh) | 2010-08-04 |
| KR20100039875A (ko) | 2010-04-16 |
| KR101669384B1 (ko) | 2016-10-25 |
| AU2008272901B2 (en) | 2011-03-17 |
| CA2692409A1 (en) | 2009-01-08 |
| EP2179394A4 (en) | 2012-05-30 |
| US20130138595A1 (en) | 2013-05-30 |
| EP2179394A2 (en) | 2010-04-28 |
| CN101796539B (zh) | 2015-07-22 |
| KR20150091531A (ko) | 2015-08-11 |
| JP2010532894A (ja) | 2010-10-14 |
| US20140040012A1 (en) | 2014-02-06 |
| WO2009006546A2 (en) | 2009-01-08 |
| AU2008272901A1 (en) | 2009-01-08 |
| US9542693B2 (en) | 2017-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5824011B2 (ja) | コンテンツを割り当てることができるタイムスロットサンプルを生成して、その割り当てられたコンテンツの効果を測定するシステム及び方法 | |
| JP5276099B2 (ja) | タイムスロットサンプルにコンテンツの複数小片を割り当てて、その割り当てられたコンテンツの効果を測定するためのシステム及び方法 | |
| JP5856273B2 (ja) | 並行して、コンテンツの有効性についての因果関係実験を遂行し、ビジネス目的を最適化するためにコンテンツ配信を調整するための、システム及び方法 | |
| US20140236707A1 (en) | System and method for assessing effectiveness of communication content | |
| US20130024270A1 (en) | Systems and methods for transactions-based content management on a digital signage network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110701 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121228 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130516 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5276099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |