KR20080089424A - 실험 설계 전문가 시스템 - Google Patents
실험 설계 전문가 시스템 Download PDFInfo
- Publication number
- KR20080089424A KR20080089424A KR1020087017761A KR20087017761A KR20080089424A KR 20080089424 A KR20080089424 A KR 20080089424A KR 1020087017761 A KR1020087017761 A KR 1020087017761A KR 20087017761 A KR20087017761 A KR 20087017761A KR 20080089424 A KR20080089424 A KR 20080089424A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- experiment
- information
- response
- question
- Prior art date
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000013461 design Methods 0.000 claims abstract description 63
- 230000004044 response Effects 0.000 claims abstract description 59
- 230000001419 dependent effect Effects 0.000 claims description 56
- 238000013401 experimental design Methods 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 34
- 230000000739 chaotic effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 40
- 230000000694 effects Effects 0.000 description 32
- 238000012360 testing method Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 15
- 230000001149 cognitive effect Effects 0.000 description 12
- 239000003814 drug Substances 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 230000001364 causal effect Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 230000036772 blood pressure Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000000902 placebo Substances 0.000 description 7
- 229940068196 placebo Drugs 0.000 description 7
- 229940079593 drug Drugs 0.000 description 6
- 238000000528 statistical test Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000546 chi-square test Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000006187 pill Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 235000009917 Crataegus X brevipes Nutrition 0.000 description 1
- 235000013204 Crataegus X haemacarpa Nutrition 0.000 description 1
- 235000009685 Crataegus X maligna Nutrition 0.000 description 1
- 235000009444 Crataegus X rubrocarnea Nutrition 0.000 description 1
- 235000009486 Crataegus bullatus Nutrition 0.000 description 1
- 235000017181 Crataegus chrysocarpa Nutrition 0.000 description 1
- 235000013175 Crataegus laevigata Nutrition 0.000 description 1
- 235000009682 Crataegus limnophila Nutrition 0.000 description 1
- 235000004423 Crataegus monogyna Nutrition 0.000 description 1
- 240000000171 Crataegus monogyna Species 0.000 description 1
- 235000002313 Crataegus paludosa Nutrition 0.000 description 1
- 235000009840 Crataegus x incaedua Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0245—Surveys
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0246—Traffic
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Primary Health Care (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Electrically Operated Instructional Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Document Processing Apparatus (AREA)
- Stored Programmes (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 진실험(true experiment)을 설계하는 전문가 시스템에 관한 것이다.
실험은 전형적으로 2개 이상의 변수들 사이에 관계가 있는지를 경험적으로 판정하기 위해 수행된다. 실험은 하나 이상의 독립 변수와 하나 이상의 종속 변수 사이에 관계가 있는 것으로 가정하는 하나 이상의 가설의 형성으로 시작할 수 있다. 예를 들어, 제약 회사의 연구원은 환자가 복용하는 신약의 양이 환자의 혈압과 관련될 것이라는 가설을 체계화할 수 있다. 독립 변수는 실험 동안에 실험자에 의해 정의 또는 조작되는 변수(예를 들어, 환자에게 투여되는 약의 양 및/또는 횟수)이다. 종속 변수는 독립 변수의 값에 의해 예측되는 것으로 가정되는 변수(예컨대, 환자의 혈압)이다. 그러면, 실험자는 독립 변수와 종속 변수 사이에 실제로 관계가 있는지(예를 들어, 환자가 받는 약의 양이 조제 실험에서 환자의 혈압과 관계가 있는지)를 판정하기 위해 실험을 수행한다.
혼란 변수들(독립 변수의 수준에 따라 체계적으로 변할 수 있는 것들)이 또한 종속 변수에 영향을 줄 수 있다. 이들 혼란 변수는 실험에서 주요 관심사는 아니지만, 종속 변수에 영향을 줄 수 있고 따라서 독립 변수와 종속 변수 사이의 정 확한 인과 관계를 애매하게 할 수 있다. 실험자는 독립 변수와 종속 변수 사이의 인과 관계를 이해하고자 하지만, 이들 혼란 변수로 인해 실험의 결과가 해석 불가능해질 수 있다. 혼란 변수의 일부 예로는, 예컨대 위에서 설명한 조제 실험에서 시험 대상의 체질량(body mass)과 같이 독립 변수의 수준에 따라 체계적으로 변할 수 있는 호손 효과(Hawthorne effect), 순서 효과(order effect)/이월 효과(carry over effect), 수요 특징(demand characteristics), 및/또는 기타 인자를 들 수 있다. 혼란 변수는 어느 인자(변수)가 종속 변수(들)에서의 관찰된 변화를 야기했는지를 알아내는 것을 어렵게 하거나 불가능하게 한다. 따라서, 실험 동안에 부적절하게 제어되는 혼란 변수의 존재는 독립 변수와 종속 변수 간의 인과 관계에 관한 통계적 추론을 하는 것을 어렵게 하거나 불가능하게 한다. 다양한 유형의 실험이 혼란 변수의 효과를 감소 또는 제거할 수 있는 방식과 정도에 의해 구분될 수 있다. "진실험"(true experiment)이라는 용어는 이하의 경우의 실험을 말한다.
1. 독립 변수의 수준이 적어도 2개 존재한다.
2. 독립 변수의 수준들에 샘플이 무작위로 할당된다.
3. 혼란을 제어하거나 제거할 소정의 방법이 존재한다.
상기한 3가지 특성 중 어느 것이라도 없는 실험은 진실험이 아니며, 흔히 준실험(quasi-experiment) 또는 상관관계 연구(correlational studies)라고 한다. 실험이라는 용어가 상기의 3가지 특성 중 어느 것이라도 없는 연구를 설명하는 데 이용되더라도, 실험 설계의 당업자는 이들 연구가 실제로 준실험 또는 상관관계 연구임을 인식할 것이다. 진실험만이 독립 변수와 종속 변수 간의 인과 관계에 관하 여 통계적 추론이 도출되게 할 수 있다. 준실험 및 상관관계 설계는 독립 변수와 종속 변수 간의 관계가 설정될 수 있게 해줄 수는 있지만, 그 관계가 인과 관계인지를 판정하는 것은 가능하지 않다. 다양한 유형의 실험 설계(진실험을 포함함)에 대해, 예를 들어 문헌[Campbell, D. T., & Stanley, J. C. (1963) Experimental and quasi-experimental designs for research, Chicago: Rand McNally]에 기술되어 있다. 진실험만이 혼란 변수에 의해 영향을 받지 않는 결과를 전달하고, 그리고 인과 관계의 방향 및 세기를 경험적으로 판정할 수 있다. 그러나, 혼란 변수를 적절히 제어 또는 제거하는 진실험을 설계하는 것의 복잡도가 상당할 수 있다. 수동으로 행해진 진실험은 시간, 자원, 통계적 전문지식, 및 과학적인 방법에 관한 깊은 지식을 필요로 하며, 이는 오늘날의 폭넓은 이용을 종종 방해한다.
충분한 정도의 내적 및 외적 타당성(internal and external validity)을 갖는 실험을 설계하는 것이 바람직하다. 내적 타당성은 종속 변수의 임의의 변화가 독립 변수에 의해서만 생겼고 어떤 외부의 또는 제어되지 않은 변수에 기인하지 않는다는 결론을 내릴 수 있는 신뢰도를 말한다. 예를 들어, 통제 그룹이 플라시보 알약(placebo pill)을 먹는 혈압 약 실험이 통제 그룹에 플라시보가 제공되지 않는 실험보다 (플라시보를 주지 않는다면, 종속 변수(혈압)의 수준이 알약을 먹는 행동에 의해 생길 수 있었거나 또는 약의 실제 화학 혼합물에 의해 야기될 수 있었기 때문에) 내부적으로 더 타당성이 있다. 외적 타당성은 실험의 결과가 일반화되거나 양도될 수 있는(transferable) 정도를 말한다. 예를 들어, 결과가 모든 사람들에게 일반화될 수 있는 혈압 약 실험은 결과가 심장 마비를 이미 겪은 사람들에게 만 일반화될 수 있는 실험보다 외부적으로 더 타당성이 있다. 충분한 내적 및 외적 타당성을 갖는 진실험을 설계하는 것은 통계적 및 실험적 설계 원리에 대한 제한적인 지식만을 가진 조사자에게는 두려울 수 있다. 본 명세서에 설명된 전문가 시스템은 기본적인 진실험 설계 이론에 대한 폭넓은 지식을 요구하지 않고서도 실험을 설계하기 위한 도구를 조사자에게 제공한다. 이 전문가 시스템은 또한 조사자가 실험을 행하고, 데이터를 수집하고, 데이터를 통계적으로 분석하고, 실험의 결과를 해석하는 것을 돕는다.
본 발명은 진실험을 설계하고, 그 실험을 행하고, 데이터를 수집하고, 그 데이터를 통계적으로 분석하고, 실험 결과를 해석하는 전문가 시스템에 관한 것이다. 본 발명의 일 실시예는 디지털 사인 컨텐츠(digital signage content)를 평가하는 진실험을 설계하는 컴퓨터-구현 방법을 포함한다. 디지털 사인 컨텐츠를 평가하는 진실험을 설계하는 데 요구되는 정보가 식별된다. 요구된 정보를 제공하는 응답을 도출하는 질문이 사용자에게 제시된다. 응답이 수신되고, 요구된 정보가 이 응답으로부터 추출된다. 진실험은 사용자 응답으로부터 추출된 요구된 정보를 기초로 설계된다.
본 발명의 다른 실시예는 컴퓨터-구현 방법에 관한 것이다. 이 방법은 진실험을 설계하는 데 요구되는 정보를 식별하는 것을 포함한다. 요구된 정보를 제공하는 응답을 도출하는 질문이 사용자에게 제시된다. 요구된 정보는 사용자로부터 수신된 응답으로부터 추출된다. 진실험은 요구된 정보를 기초로 설계된다.
본 발명의 또 다른 실시예는 시스템에 관한 것이다. 이 시스템은 질문을 사용자에게 제시하고 질문에 대한 사용자 응답을 수신하도록 구성된 사용자 인터페이스를 포함한다. 이 시스템은 또한 사용자 인터페이스에 연결된 실험 설계 프로세서를 포함한다. 실험 설계 프로세서는 진실험을 수행하는 데 요구되는 정보를 식별하고, 요구된 정보를 제공하는 응답을 사용자로부터 도출하는 질문을 발생하고, 사용자 응답으로부터 요구된 정보를 추출하고, 요구된 정보를 이용하여 진실험을 설계하도록 구성된다.
본 발명의 다른 실시예는, 진실험을 설계하는 데 요구되는 정보를 식별하는 단계, 요구된 정보를 제공하는 응답을 도출하는 질문을 사용자에게 제시하는 단계, 사용자로부터 질문에 대한 응답을 수신하는 단계, 사용자 응답으로부터 요구된 정보를 추출하는 단계, 및 사용자 응답으로부터 추출된 요구된 정보를 기초로 진실험을 설계하는 단계를 포함하는 단계들을 수행하기 위해 컴퓨팅 장치에 의해 실행 가능한 명령을 저장하고 있는 컴퓨터-판독가능 매체에 관한 것이다.
본 발명의 상기 개요는 본 발명의 각각의 실시예 또는 모든 구현예를 설명하고자 하는 것은 아니다. 본 발명의 보다 완전한 이해와 더불어 이점 및 효과는 첨부 도면과 관련하여 취해진 이하의 상세한 설명 및 청구의 범위를 참조함으로써 명백해지고 이해될 것이다.
도 1A는 본 발명의 실시예들에 따른 전문가 시스템의 컴포넌트를 도시한 도면.
도 1B는 본 발명의 실시예들에 따라 진실험을 설계하기 위한 설계 프로세서 및 사용자 인터페이스에 의해 구현되는 프로세스를 나타낸 다이아그램.
도 1C는 진실험의 요소들을 도시한 도면.
도 1D는 본 발명의 실시예들에 따라 진실험을 설계하고, 그 실험을 행하고, 실험 데이터를 분석하고/하거나 진실험의 결과를 해석하도록 구성된 시스템을 도시한 블록 다이아그램.
도 2A 내지 도 2E는 본 발명의 실시예들에 따라 실험 설계 프로세서에 의해 구현될 수 있는 프로세스들의 개요를 제공하는 다이아그램.
도 3A내지 도 3P는 본 발명의 실시예들에 따라 진실험을 설계하는 데 이용되는 프로세스들 중 일부에 대해 사용자에게 제공될 수 있는 질문을 도시한 디스플레이 화면의 스크린 샷(screen shots).
도 4A는 본 발명의 실시예들에 따라 디지털 사인 컨텐츠의 유효성을 시험하기 위해 진실험을 설계하는 능력을 포함할 수 있는 디지털 사인 시스템의 블록 다이아그램.
도 4B는 본 발명의 실시예들에 따라 디지털 사인 컨텐츠를 평가하기 위해 진실험을 설계하고, 행하고, 그리고 분석하도록 구성된 시스템을 도시한 도면.
본 발명은 다양한 변형 및 대안적인 형태를 따를 수 있지만, 그 특정 형태가 예로서 도면에 도시되었으며 상세히 설명될 것이다. 그러나, 본 발명을 설명되는 특정 실시예로 한정하고자 의도한 것이 아님을 이해해야 한다. 오히려, 본 발명은 청구의 범위에 의해 한정되는 발명의 범주 내에 포함되는 모든 변형, 등가물 및 대 안을 포함하고자 한다.
예시된 실시예의 하기의 설명에서, 본 명세서의 일부를 구성하며 본 발명이 실시될 수 있는 다양한 실시예가 예로서 도시된 첨부 도면을 참조한다. 본 발명의 범주로부터 벗어남이 없이 실시예들이 이용될 수도 있으며 구조적 변경이 이루어질 수도 있음을 이해하여야 한다.
본 발명의 실시예들은 사용자로부터의 입력에 기초하여 진실험을 설계하도록 구성된 전문가 전산 시스템에 관한 것이다. 전산 시스템은 또한 사용자가 데이터를 수집하는 것, 데이터를 통계적으로 분석하는 것, 실험의 결과를 해석 및 보고하는 것을 비롯하여 진실험을 행하는 것과 관련된 단계들 중 하나 이상을 수행하는 것을 자동적으로 또는 반자동적으로 도울 수 있다. 전문가 시스템의 사용자는 실험 설계의 기본적인 이론에 대해, 통계적/수학적 또는 알고리즘적 프로세스에 대해, 또는 과학적인 방법에 대해 깊이 있게 알 필요가 없다.
전문가 시스템은, 사용자에게 제시되는 일련의 질문을 통해, 진실험을 설계하기 위해 정보를 제공하는 응답을 사용자로부터 도출한다. 여러 실시예에서, 실험 데이터는 수동으로 (시스템 발생 형태로) 입력될 수 있고, 또는 반자동으로 또는 완전 자동으로 수집될 수 있다. 일부 실시예에서, 시스템은 자동으로 독립 변수의 수준을 조작하고 샘플을 독립 변수의 수준에 할당하는 한편, 다른 실시예들에서, 시스템은 사용자에 의한 독립 변수 조작 및 샘플 할당을 위한 프로토콜(protocol)을 제공할 것이다. 사용자는 실험 설계 분야에 익숙하지 않을 수 있 고, 진실험을 설계하고, 그 실험을 행하고, 실험 결과를 분석하는 방법을 알 필요가 없다. 전문가 시스템은 예컨대 사용자가 가설을 시험하기를 원하는 것 외에는 실험 설계 및 분석의 분야에 관한 특정 지식을 갖지 않아도 되게 한다. 사용자는 전문가 시스템이 사용자 입력에 기초하여 사용자를 위해 실험을 설계할 수 있도록 하는 정보를 전문가 시스템에 제공한다. 진실험을 설계한 후, 전문가 시스템은 또한 데이터를 수집하고, 데이터를 통계적으로 분석하고, 실험의 결과를 해석하는 것을 비롯하여 진실험을 행하는 프로세스에서 하나 이상의 단계들을 도울 수 있다. 이러한 구성에서, 전문가 시스템은 전자 소스로부터의 데이터를 자동으로 분석함으로써, 예컨대 실험 조건에 따라 판매 데이터를 수동 또는 자동으로 구성함으로써, 외부 시스템 제어를 통해, 예컨대 어떤 전자 사인이 특정 컨텐츠를 보여주는지에 대해 실험을 자동으로 행할 수 있다.
실험 설계에 필수적인 각종 개념에 관한 지식을 사용자가 이해할 필요는 없다. 이들 개념은 전문 용어 및 수학적 단위들이 사용자의 지식 기반(knowledge base)에 일치하도록 사용자에게 제시된다. 전문가 시스템은 추상적이고 영역 일반적인 통계 개념을 사용자가 알고 있고 이해하는 영역의 의미론적으로 의미 있는 언어 및 데이터로 변환할 수 있다. 예를 들어, 전문가 시스템은 실험에 대한 샘플 크기 요건을 계산하기 위해 통계적 파워 분석(statistical power analysis)을 행할 수 있으나, 파워 분석의 출력을 샘플 크기(예컨대, 680 샘플)로 간단히 보고하는 대신에 시스템이 파워 분석 결과를 특정 샘플 크기 요건(예컨대, 8일의 영업일)이 주어진 경우 실험을 행하는 데 걸리는 시간의 양으로서 보고할 수 있다. 전문가 시스템은, 비숙련 사용자가 결정을 행할 수 있는 방식으로 데이터를 제시하는 것을 목표로 하여 통계 출력으로부터의 데이터를 비즈니스 정보 및/또는 기준(metrics)으로 자동 변환, 예컨대 Z 스코어(Z scores)를 달러 또는 시간으로, 샘플 크기 요건 및/또는 이월 효과 제거(carry over effect elimination)를 실험을 실행하는 데 필요한 시간으로 자동 변환할 수 있다.
시스템이 이용하는 전문 용어 및 수학적 단위는 사용자 숙련도(sophistication)의 선택적 수준에 대응할 수 있다. 예를 들어, 하나의 선택적 구성에서, 사용자는 전문가 시스템에 의해 처리되는 개념에 관해 비교적 익숙할 수 있고, 이들 개념은 사용자의 지식 수준에 대응하는 전문 용어 및 수학적 계산으로 표현될 수 있다. 예를 들어, 이러한 구성에서, 사용자는 "이 변수가 연속적인가 아니면 이산적인가?"와 같은 질문을 받는다. 다른 선택적 구성에서, 사용자는 전문가 시스템에 의해 처리되는 개념에 익숙하지 않을 수 있다. 비숙련 사용자를 위해, 전문가 시스템은 사용자가 익숙하지 않은 기술 용어를 사용하지 않고서 일련의 질문으로 사용자를 안내하여 정보를 결정하게 할 수 있다. 이러한 구성에서, 사용자는 전문가 시스템에 의해 처리되는 개념의 다음의 예를 이용하는 방법에 관해 알거나 이해할 필요가 없다:
독립 변수 - 실험자에 의해 조작되는 변수.
종속 변수 - 실험자에 의해 측정되는 변수.
혼란(Confound) - 독립 변수의 수준에 따라 체계적으로 달라질 수 있는 임의의 인자.
무작위 추출(Randomization) - 시험 샘플 선택 및 독립 변수의 수준으로의 샘플 할당을 무작위 추출하는 프로세스.
무작위 선택의 목적: 무작위 선택은 실험의 외적 타당성에 중요하다. 실험의 결과가 샘플들이 수집되는 모집단에 일반화될 수 있을 뿐이라는 사실로 인해, 무작위 선택은 실험의 결과가 편향적(즉, 작위적) 형식으로 샘플링된 모집단의 일부 서브 세트(sub-set)가 아닌, 샘플들이 수집된 전체 모집단에 일반화될 수 있다는 것을 보장한다. 예를 들어, 혈압 약 실험의 모든 대상이 우울증 때문에 이미 입원하여 실험에 포함되기 쉬웠기 때문에 선택된 35세 내지 40세의 남자라면, 모집단의 나머지(예컨대, 65세 초과의 여자)에 실험의 결과를 일반화할 수 없을 것이다. 이러한 실험은 미국 내의 모든 사람들로부터 무작위로 선택되는 실험보다 외적 타당성이 더 낮다.
무작위 할당의 목적: 무작위 할당은 실험의 내적 타당성에 중요하다. 무작위 할당은 종속 변수값에서 발견되는 임의의 효과가 독립 변수의 수준에 샘플들이 할당되는 체계적 변동에 기인하지 않는다는 것을 보장한다. 예를 들어, 플라시보 또는 알약을 먹도록 샘플들이 무작위로 할당되는 혈압 약 실험은 뉴욕에서 온 모든 대상에 플라시보를 제공하고 샌프란시스코로부터 온 모든 대상에는 약을 제공하는 실험보다 내적으로 타당성이 있다. 무작위 할당의 하나의 주 목적은, 혼란이 없는 경우 P-값은 발견된 임의의 효과가 독립 변수의 수준 대 무작위 변동에 기인할 확률을 나타낸다는 것에 유의해야 한다. P-값이 하나 이상의 기본적인 분포로부터 샘플링할 확률을 단순히 나타내는 준실험 또는 상관 설계의 경우에는 그렇지 않다. 즉, 진실험에서 P-값은 2개의 평균값, 즉 X 및 Y가 서로 다를 확률을 나타내고 그리고 X 및 Y는 Z 때문에 (즉, Z에 의해 초래되어) 서로 다르다는 점을 나타내는 반면에, 상관 연구에서 P-값은 평균값 X 및 Y가 서로 다르다는 정보만을 단지 제공하고 평균값 X 및 Y가 서로 다른 이유에 관한 정보는 제공하지 않는다(즉, P-값은 Z가 X와 Y 사이의 차를 초래하였는지를 나타내지 않는다).
반복 실험(Replication) - 설계와 연관된 고유한 또는 실험적 변동성이 추정될 수 있도록 일정 실험에서 실험 조건을 무작위로 반복하는 것. 이는 통계적 유의성(statistical significance)을 평가하기 위한 p-값 계산을 가능하게 한다.
블록화(blocking) - 서로 유사한 그룹들 (블록들) 내의 실험 유닛들의 배열.
측정 척도(scales of measurement) - 변수가 명목(nominal), 순위(ordinal), 또는 간격(interval) 변수인지의 여부.
파워 분석(Power analysis) - 주어진 크기의 효과, 신뢰도 간격의 폭, 및 타입 II 오류(Type II error)를 범할 확률(귀무 가설이 거짓일 때 귀무 가설을 기각하지 않을 확률)을 발견하기 위한 샘플 크기 요건을 결정하는 방법.
균형화(Balancing) - IV 및 대응하는 상호작용의 각각이 서로 독립적인 것을 보장하는 방법.
역균형화(Counterbalancing) - 처치 제시(treatment presentation)의 모든 순서를 포함하거나 또는 각각의 대상에 대한 순서를 무작위로 결정함으로써 반복 측정 설계(repeated measures design)에서의 순서 효과를 제어하는 방법.
기술 통계(Descriptive statistics) - 데이터를 구성 및 요약하는 방법.
추론 통계(Inferential statistics) - 특별한 실험 발견의 신뢰성 및 일반화 가능성(generalizability)을 결정하는 절차.
후술되는 각종 실시예에 따르면, 사용자를 상기 개념의 적절한 이용으로 안내하는 방법 및 장치에 대해 설명한다.
일 실시예에 따른 전문가 시스템의 컴포넌트가 도 1A에 도시되어 있다. 전문가 시스템은, 다른 컴포넌트들 중에서도, 중앙 처리 장치(CPU; 105) 및 메모리(106)를 포함하는 각종 하드웨어 컴포넌트를 가진 설계 프로세서(110)를 포함한다. 메모리(106)는 실험을 설계하기 위한 프로세스를 제어하는 컴퓨터 명령을 저장하고, 실험 설계에 필요한 사용자로부터의 획득 정보를 저장한다. 소프트웨어의 제어 하에서, CPU(105)는 사용자로부터 정보를 도출하기 위해 알고리즘을 이용하여 질문을 선택 또는 발생한다. 이 질문은 설계 프로세서(110)에 연결된 사용자 인터페이스(120)의 출력 장치를 통해 사용자에게 제시된다. 예를 들어, 사용자 인터페이스(120)는 질문을 사용자에게 제시하기 위한 액정 디스플레이(LCD) 또는 다른 유형의 디스플레이 장치와 같은 디스플레이 장치를 전형적으로 포함한다. 사용자 인터페이스(120)는 또한 손가락 또는 스타일러스 터치에 응답하는 터치 스크린, 마우스, 키보드, 음성 인식, 또는 다른 유형의 입력 장치와 같은 하나 이상의 입력 장치를 포함한다. 사용자는 사용자 인터페이스의 하나 이상의 입력 장치(들)를 통해 질문에 대한 응답을 입력한다. 설계 프로세서(110)는 실험 설계와 독립 및 종속 변수의 특성에 기초하여 실험에 대한 적절한 기술 및 추론 통계를 결정할 수 있다.
도 1B의 다이아그램은 본 발명의 실시예들에 따라 진실험을 설계하기 위한 설계 프로세서 및 사용자 인터페이스에 의해 구현되는 프로세스를 나타낸다. 설계 프로세서는 진실험을 설계하는 데 요구되는 정보를 식별하고(140), 요구되는 정보를 제공하는 응답을 사용자로부터 도출하는 일련의 질문을 선택 또는 발생한다. 질문은 사용자 인터페이스를 통해 사용자에 제시된다(150). 질문에 대한 사용자 응답은 사용자 인터페이스를 통해 수신되고(160), 설계 프로세서에 전송된다. 설계 프로세서는 사용자 응답으로부터 정보를 추출하고(170), 이 정보에 기초하여 진실험을 설계한다(180). 전문가 시스템은 다른 단계들에 관련된 특정 단계들에서 정보를 수집하는 능력을 가진다. 예를 들어, 종속 변수가 단계 X에서 연속적이라는 지식은 특별한 유형의 통계 분석이 단계 Y에서 이용되어야 함을 의미한다. 시스템은 후속 단계들을 완료하기 위해 이전 단계들로부터의 데이터를 이용한다. 예를 들어, 데이터가 이미 획득된 경우, 시스템은 동일한 정보를 다시 사용자에게 요청하지 않을 것이다. 사용자는 정보가 양 단계들과 관련되어 있다는 것을 알 필요가 없다. 데이터가 이전 단계들로부터 이용 가능하지 않은 경우에는, 시스템은 필요한 데이터를 사용자에게 요청할 것이다.
진실험의 요소들이 도 1C에 도시되어 있다. 진실험은 가설 또는 목적의 개발을 포함한다. 종속 변수 및 독립 변수가 식별되고, 하나 이상의 독립 변수의 적어도 2개의 수준이 이용된다. 통제 그룹 및 처치 그룹이 형성되고 샘플들이 독립 변수의 수준에 무작위로 할당된다. 혼란 변수를 제어하거나 제거하는 소정 종류의 방법이 존재한다. 예를 들어, 디지털 사인 실험에서, 시스템은 1) 컨텐츠의 부분들이 네트워크에 걸친 위치에서 보이는 순서를 균형화 및 역균형화함으로써, 및/또 는 2) 실험 컨텐츠의 2개의 부분들이 상점 내에서 시청자(viewer)들이 컨텐츠의 두 부분들을 볼 수 있는 시간 블록(block of time) 내에서 보이지 않는 것을 보장함으로써, 및/또는 3) 컨텐츠 변경시 상점에 있었던 가능한 시청자들의 적어도 95%가 상점을 떠나도록 상기 컨텐츠가 실험 컨텐츠의 한 버전과 실험 컨텐츠의 다른 버전 사이에서 스위칭되는 사이에 데이터가 수집되기 전에 충분한 시간이 경과하는 것을 보장함으로써, 이월 효과를 제어하는 프로세스를 통해 사용자를 안내할 것이다. 이들 요소 모두가 적절하게 적용되면, 실험은 종속 변수와 독립 변수 간의 관계에 관한 통계적 추론을 하는 데 이용될 수 있는 결과를 산출한다. 본 명세서에 기술된 전문가 시스템은 진실험 설계의 복잡성에 익숙하지 않은 사용자가 실질적으로 혼란이 없는 결과를 산출하는 실험을 설계할 수 있게 해주고 독립 변수와 종속 변수 간의 임의의 인과 관계를 판정 및 정량화하는 데 사용될 수 있다.
본 발명의 실시예들은 사용자 입력에 기초하여 진실험을 설계하는 능력을 가진 전문가 시스템에 관한 것이다. 이전에 언급한 바와 같이, 전문가 시스템을 사용하면 사용자는 실험 설계 이론 또는 실무에 기초(foundation)가 없어도 된다. 진실험은 독립 변수의 수준을 적어도 2개 갖는다. 전문가 시스템은 실험에 대한 독립 변수 및 종속 변수를 선택하는 데 요구되는 정보를 사용자로부터 도출한다. 예를 들어, 디지털 사인 실험에서, 전문가 시스템은 사용자에게 하기의 질문, 예컨대 "컨텐츠 X(여기서, X는 사용자가 실험적으로 평가하기를 원하는 컨텐츠의 임의의 부분)가 유효하다면, 컨텐츠 X를 보여준 결과 세상에서 일어날 것으로 기대되는 변화가 무엇인지?"를 묻는다. 시스템은 다수의 가능한 변화를 제공할 것이다. 예 를 들어, 특별한 제품의 판매가 증가할 것이고, 상점 내의 특별한 위치의 보행 통행량(foot traffic)이 증가할 것이며, 소비자들은 특별한 제품의 특징에 관하여 직원에게 문의할 것이고, 소비자는 선반으로부터 특별한 제품을 고를 것이고, 그리고 시스템의 저장된 가능한 변화들의 세트에 포함되지 않은 기타 다른 변화를 제공할 것이다. 당업자는 이들 가능한 "세상에서의 변화"의 각각은 컨텐츠 X의 유효성을 시험하도록 설계된 실험에서 측정될 수 있는 가능한 종속 변수에 대응함을 이해할 것이다. 마찬가지로, 전문가 시스템은 약 연구에서 플라시보와 유사한 제어 컨텐츠를 고르는 프로세스를 통해 사용자를 안내할 수 있다. 예를 들어, 전문가 시스템은 컨텐츠 X의 목표에 어떤 방식으로든 관련되지 않은 컨텐츠를 식별할 것을 사용자에게 요청한다. 내적 타당성에 대한 위협과 관련하여, 전문가 시스템은, 일련의 질문 및 사용자 응답을 통해, 내적 타당성에 대한 위협을 식별하고, 예컨대 균형화, 역균형화 및/또는 블록화, 및/또는 무작위 추출을 통해 이들 위협을 제어하는 프로세스를 개시할 수 있다. 전문가 시스템은, 사용자 입력에 기초하여, 실험에서의 각각의 샘플이 독립 변수의 수준에 할당될 가능성이 동일하도록 샘플을 그룹에 무작위로 할당하는 프로세스를 구현할 수 있다. 전문가 시스템은 또한 무작위 추출, 역균형화 및/또는 블록화를 포함하는 실험을 설계할 수 있다. 시스템은 사용자가 독립 변수 또는 독립 변수의 수준을 선택하는 것을 도울 수 있고, 사용자가 실험의 내적 및/또는 외적 타당성과 연관된 인자에 기초하여 종속 변수를 선택하는 것을 돕는다. 예를 들어, 시스템은 독립 변수 및 종속 변수의 각종 조합에 대해 파워 분석을 행하는 데 필요한 정보를 얻을 수 있고, 사용자가 이해하는 영역 특정 용어들 및 값들에 대한 각종 파워 분석의 결과를 사용자에게 제공할 수 있다("컨텐츠의 이 부분의 유효성을 측정하기 위해 판매 데이터를 이용하는 것은 8 주 및 $1400의 비용을 필요로 하나, 센서 데이터의 이용은 2 주 및 $800의 비용을 필요로 한다).
일부 구성들에서, 진실험 설계 이외에, 전문가 시스템은 사용자가 진실험을 행하는 것, 데이터를 수집하는 것, 데이터를 통계적으로 분석하는 것, 실험 결과를 해석하는 것 중 하나 이상을 수행하는 것을 도울 수 있다. 실험을 행하고, 분석하고, 해석하는 능력을 포함하는 전문가 시스템의 일 실시예가 도 1D에 도시되어 있다. 이전에 설명된 실험 설계 프로세서(110) 및 사용자 인터페이스(120) 이외에, 전문가 시스템은 실험의 실행을 자동 또는 반자동으로 제어하도록 구성된 실험 제어 프로세서(135)를 또한 포함할 수 있다. 실험 데이터를 분석하고 및/또는 실험의 결과를 해석하도록 구성된 실험 분석 프로세서(145)가 또한 포함될 수 있다. 제어 프로세서(135) 및 분석 프로세서(145)의 기능은 실험이 설계 프로세서(110)에 의해 어떻게 설계되는가에 관한 지식을 통해 개선된다.
예를 들어, 분석 프로세서(145)는 독립 변수 및 종속 변수에 관한 정보(예컨대, 독립 변수(IV)와 종속 변수(DV)가 연속적인지 아니면 이산적인지)를 수신하므로, 분석 프로세서(145)는 실험으로부터 데이터에 적용할 적절한 통계 시험을 선택하는 데 필요한 많은 정보를 가질 것이다. 예를 들어, 2개의 이산 수준을 가진 하나의 IV 및 하나의 연속적인 DV가 있다면 T-시험은 추론 통계 시험를 위해 분석 프로세서(145)에 의해 선택될 수 있는 반면에, 2개의 이산 수준을 가진 하나의 IV 및 2개의 이산 수준을 가진 하나의 DV가 있다면 카이 제곱(Chi-Squared) 시험이 추론 통계 시험을 위해 이용될 수 있다. 마찬가지로, 분석 프로세서(145)는 어떤 실험 조건이 특별한 가설의 진단에 쓰이는지에 관한 정보를 설계 프로세서(110)로부터 액세스할 수 있으므로, 분석 프로세서(145)는 어떤 실험 및 통제 조건이 통계적으로 비교되어 사용자에게 보고되어야 하는지를 결정하는 데 필요한 대부분의 또는 모든 정보를 가지게 될 것이다.
본 명세서에 설명된 실험 설계에 대한 컴퓨터 기반 접근법은 전산화된 디지털 사인 정보 시스템을 포함한다. 그러나, 본 발명은 통신 시스템 분야 또는 디지털 사인으로 한정되지 않는다. 본 발명의 접근법은 관심 분야에 상관 없이 진실험을 설계하는 데에 적용될 수 있다. 예를 들어, 본 명세서에 설명된 방법 및 시스템은 생물학, 화학, 언어학, 의학, 인지 과학, 사회 과학, 교육, 경제학 및/또는 다른 과학 분야에 관련된 실험뿐만 아니라, 인쇄 매체, 디지털 사인 및/또는 인터넷 전달 광고와 같은 임의의 종류의 디지털 전달 메시징(messaging)을 포함하지만 이로 한정되지는 않는 많은 대상 영역을 위한 실험 설계에 적용될 수 있다.
디지털 사인 컨텐츠를 평가하는 실험을 설계하도록 구성된 전문가 시스템의 맥락에서 예들이 설명된다. 이해되는 바와 같이, 전문가 시스템은 다른 유형의 컨텐츠를 평가하도록 대안적으로 또는 추가적으로 프로그래밍될 수 있거나, 또는 컨텐츠 평가 실험 외의 실험을 설계하도록 프로그래밍될 수 있다. 후술되는 전문가 시스템 예는 독자(reader)가 일반적으로 과학적인 연구의 모든 분야에 걸친 본 발명의 원리의 이해를 발전시키는 것을 가능하게 한다.
도 2A 내지 도 2E에 도시된 흐름도는 본 발명의 실시예들에 따라 설계 프로세서(110) (도 1A 및 도 1D)에 의해 구현될 수 있는 프로세스의 개요를 제공한다. 이 흐름도는 본 발명의 각종 실시예에 따라 사용자로 하여금 필요한 정보를 제공하도록 함으로써 전문가 시스템에 의해 구현될 수 있는 진실험의 설계에 있어서의 단계들을 도시한다. 전문가 시스템은 질문을 사용자에게 제시함으로써 사용자로 하여금 정보를 공급하게 한다. 전문가 시스템은 사용자 응답을 수신하고 사용자 응답으로부터 실험에 필요한 정보를 추출한다. 도 3A내지 도 3P는 도 2A내지 도 2E의 흐름도에 나타낸 프로세스들 중 일부를 위해 사용자에게 제시될 수 있는 질문을 보여주는 디스플레이 화면의 스크린 샷이다. 스크린 샷의 예는 디지털 사인 컨텐츠와 호텔의 커피숍에서의 판매 사이의 인과 관계를 시험 및 측정하기 위해 실험에 대응하는 질문을 제시한다. 각종 광고는 각종 위치에 위치된 디지털 디스플레이 상으로 제시된다. 이러한 예는 진실험을 설계할 때 전문가 시스템에 의해 구현될 수 있는 프로세스를 예시하는 데 이용된다. 당업자는 커피숍 실험을 설계하기 위한 이러한 예시적인 프로세스가 관심 있는 특별한 실험을 설계하는 데 필요한 정보를 획득하기 위해 질문을 사용자에 제시함으로써 임의의 실험으로 추정(extrapolate)될 수 있음을 알 것이다.
도 2A에 도시된 바와 같이, 진실험을 설계하기 위해 전문가 시스템이 이용하는 프로세스는 조작적(operational) 가설을 발전시키는 것(202), 및 독립 변수 및 종속 변수가 이산적인지 아니면 연속적인지 그리고 어떤 IV 수준이 시험되어야 하는지를 비롯하여 실험의 독립 변수 및 종속 변수를 식별하는 것(204)을 포함한다. 사용자로부터 입력을 이용하여, 전문가 시스템은 혼란 변수 및 장애 변수를 식별하고(206), 실험을 행하기 위해 실험 및 제어 컨텐츠가 디지털 디스플레이에 걸쳐 보여지는 스케줄을 결정한다(208).
도 2B는 실험 변수를 식별하는 것(204)과 연관된 여러 선택적인 프로세스를 보다 상세하게 도시한다. 전문가 시스템은 가능한 종속 변수 및 독립 변수를 식별(210)하기 위한 정보를 얻을 수 있고, 파워 분석이 수행될 수 있도록 사용자로부터 정보를 획득(212)할 수 있다. 전문가 시스템은 제어 컨텐츠를 선택하기 위한 프로세스를 통해 사용자를 도울 수 있고(214), 디지털 사인에 관련하여 디지털 사인 네트워크에 걸쳐 컨텐츠를 디스플레이하기 위한 스케줄을 포함하는 실험 프로토콜에 관한 정보를 사용자로부터 획득할 수 있다(216). 스케줄은 디지털 사인 네트워크에 걸쳐 컨텐츠가 플레이되는 위치 및 시간을 포함한다.
도 2C는 파워 분석을 수행하기 위해 정보를 획득(212)하는 프로세스를 보다 상세하게 도시한다. 파워 분석은 전문가 시스템으로 하여금 주어진 크기의 효과를 실험에서 검출할 확률을 결정할 수 있게 한다. 이러한 단계 동안에 획득된 정보는 실험이 미리 지정된 양의 통계 파워를 갖는 데에 필요한 샘플 크기를 결정하기 위해 또한 이용될 수 있다. 파워 분석은 존재하는 다른 두 파라미터로부터 제공되지 않는 3개의 파라미터들 중 한 파라미터에 대해 해결한다. 파워 분석을 위한 파라미터는 샘플 크기, 파워, 효과 크기이다. 전문가 시스템은 사용자로 하여금 가장 관심을 갖는 파라미터를 선택하게 하고 실험 설계를 최적화하는 것을 도울 수 있다. 예를 들어, 사용자가 파라미터가 X보다 크지 않다면 효과에 관심이 없다고 말 하는 경우, 파워 분석은 실험이 적어도 X만큼 큰 효과를 얻기에 충분한 파워를 갖도록 행해진다.
파워 분석은 다음의 정보, 즉 귀무 가설 하의 평균값(222), 시험 가설 하의 평균값(224), 표준 편차(226), 및 샘플 크기(228)의 추정을 필요로 한다. 이들 파라미터는 도 3에 보다 상세하게 도시된 바와 같이 사용자에게 제시되는 일련의 간단한 질문을 통해 추정된다. 표준 편차가 알려지지 않은 경우, 히스토리 데이터(historical data)는 추정에 대한 기초를 제공할 수 있다. 히스토리 데이터가 없으면, 상당히 양호한 근사화는 종속 변수의 최대값 - 종속 변수의 최소값을 이용하고 이 차를 4로 나누는 것일 수 있다(이는 표준 편차의 보수적 추정(conservative estimate)을 제공한다).
도 2D는 혼란 및 장애 변수를 식별(206)하기 위한 여러 선택적인 프로세스를 보다 상세하게 도시한다. 혼란 변수는 독립 변수의 수준에 따라 체계적으로 변하는 임의의 변수이다. 예를 들어, 제어 컨텐츠의 한 부분이 증가한 테러 위협 수준을 경고하는 컨텐츠의 일 부분을 항상 선행하는 반면 실험 컨텐츠의 한 부분이 편안한 침대 광고를 항상 선행하면, 제어 또는 실험 컨텐츠가 플레이되고 있을 때 커피숍에서의 판매 차이는 제어 대 실험 컨텐츠의 차이에 기인할 수 있고 또는 실험 및 제어 컨텐츠의 각각의 부분을 뒤따르는 컨텐츠에 기인할 수 있다. 혼란의 예로는 평균으로의 회귀, 순서 효과, 이월 효과, 바닥 효과, 천장 효과, 호손 효과 및 요구 특성을 들 수 있다.
장애 변수는 IV의 수준에 따라 체계적으로 변하지 않지만 커피숍 실험을 위 해 통계 파워를 감소시킬 수 있는 변수이다. 예를 들어, 정확한 무작위 추출이라면, 호텔 점유율은 장애 변수이다. 한 호텔이 객실 이용률 면에서 보다 많은 변동성을 갖고 다른 호텔이 적은 변동성을 갖는 두 실험에서, 그 밖의 모든 것이 동일(예컨대, 동일한 샘플 크기)하면 통계 파워는 적은 객실 이용율 변동성을 가진 호텔에서 더 크게 될 것이다. 디지털 사인 실험에서의 장애 변수의 예로는 다른 판촉 행위, 날씨, 일자(day of week), 경제적 조건을 들 수 있다. 전문가 시스템은 이들 변수에 관한 정보를 포함하는 사용자 응답을 도출하는 일련의 질문을 제시함으로써 가능한 혼란 변수 및 장애 변수에 관한 정보를 획득한다. 도 2D에 도시된 바와 같이, 전문가 시스템은 예컨대 이월 효과(231), 선택 편향(selection bias; 232), 제어되는 실험에서 IV의 수준으로 종속되지 않는 경우에 처리되는 것(예컨대, 클립 보드(clip board)를 갖는 누군가에 의해 감시된다는 것은 컨텐츠의 한 부분을 보는 것에 통상 응답하는 방법을 변화시킬 수 있음)과 다른 임의의 방법으로 처리되는 샘플에 기인한 결과들의 임의의 차이를 포함하는 시험 효과(235), 실험 탈락율(experimental mortality; 236), 실험을 행할 수 있는 로컬 이벤트(local events; 237), 및 다른 광고 또는 판촉 노력(promotional efforts; 238)에 관한 정보를 획득하도록 설계된 일련의 질문을 제시할 수 있다.
도 2E는 이월 효과에 관한 정보(231)를 획득하기 위해 전문가 시스템에 의해 수행될 수 있는 여러 선택적인 프로세스를 보다 상세하게 도시한다. 전문가 시스템은 다른 위치에 나타낸 컨텐츠에 관한 정보를 얻기(232) 위한 일련의 질문을 사용자에게 제시한다. 다른 일련의 질문은 이월 효과를 산출할 수 있는 컨텐츠의 타 이밍에 관한 정보를 포함하는 응답을 사용자로부터 도출한다(234).
전문가 시스템은 위에서 설명된 프로세스들 중 임의의 것 또는 모두를 통해 사용자로 하여금 진실험을 수행하는 데 필요한 정보를 획득하게 한다. 도 3A는 질문을 사용자에게 제시하고 사용자 응답을 수신하는 데 이용될 수 있는 예시적인 디스플레이(300)를 도시한다. 도 3A에 도시된 디스플레이(300)는 터치 감응형 디스플레이이지만, 터치 감응형이 아닌 디스플레이와 같이 질문을 사용자에 제시하고 사용자 응답을 수신하는 데 적합한 임의의 유형의 입출력 장치가 사용될 수도 있다. 디스플레이의 터치 감도는 사용자 응답이 터치를 통해 디스플레이 화면에 입력되는 것을 가능하게 한다. 마우스, 키보드, 및/또는 음성 인식 회로를 가진 마이크를 비롯하여 사용자로부터 응답을 수신하는 데 적합한 임의의 유형의 입력 장치가 이용될 수도 있음은 명백할 것이다.
이러한 예에서, 디스플레이(300)는 질문/응답 시청 영역(305), 및 정보 수집을 용이하게 하기 위해 사용자로부터의 터치에 의해 활성화될 수 있는 각종 풀다운 메뉴(310-316)를 포함한다. 각각의 풀다운 메뉴(310-316)는 메뉴의 제목으로 나타낸 상이한 질문 영역 및/또는 상이한 실험 설계 태양에 대응한다. 이 메뉴(310-316)는 계층 메뉴 구조에서 최고 레벨을 예시한다. 풀다운 메뉴(310)는 선택될 때 메뉴 구조에서 다음의 최고 계층 레벨에 대응하는 하나 이상의 서브메뉴(320-322)를 나타낼 수 있다. 서브메뉴(320-322)를 선택하면 추가 메뉴들이 제시될 수 있다. 계층 구조에서 서브메뉴의 제시는 메뉴 구조와 연관된 질문 영역 또는 실험 설계 동작에 의해 요구되는 특정의 수준을 달성하는 데 필요로 하는 바와 같이 계 속될 수 있다. 터치 스크린은 메뉴 및/또는 서브메뉴가 풀다운될 수 있고/있거나 메뉴 제목 또는 메뉴 아이템을 터치함으로써 메뉴 아이템이 활성화될 수 있다.
도 3에 도시된 메뉴들은 전문가 시스템에 사용될 수 있는 가능한 메뉴의 서브 세트를 나타낸다는 것을 알게 될 것이다. 예를 들어, 이용될 수 있는 다른 메뉴들은 실험을 설계하기 위한 추가 정보를 획득하는 것에 관한 메뉴, 또는 실험을 행하거나 분석할 때 이용되는 정보를 획득하는 것에 관한 메뉴를 포함한다.
전문가 시스템은 다양한 모드로 동작할 수 있으며, 예컨대 메뉴 아이템의 활성화는 전문가 시스템이 사용자를 실험 설계 프로세스로 안내함에 따라 전문가 시스템에 의해 전형적으로 수행된다. 일부 실시예들에서, 사용자는 제어 프로세서 및/또는 분석 프로세서와 상호 작용하여 실험의 수행, 실험 데이터의 분석, 및/또는 실험 결과의 해석에 관한 입력을 제공할 수 있다.
또한, 메뉴 아이템은 원하는 경우 사용자에 의해 액세스될 수도 있다. 예를 들어, 전문가 시스템은 초기에 다양한 메뉴 또는 서브메뉴 아이템과 연관된 동작을 활성화함으로써 정보를 얻는 프로세스를 수행할 수 있다. 사용자는 원하는 경우 메뉴 아이템을 재활성화함으로써 프로세스의 각종 단계로 복귀할 수도 있다. 예를 들어, 사용자는 이전에 입력된 입력을 변화시키기 위해 메뉴 아이템으로 복귀하기를 원할 수 있고, 풀다운 메뉴(310-316)의 이용을 통해 편리하게 그렇게 할 수 있다.
도 3A에 도시된 화면(300)은 제목이 "시험 모드(Test Mode)"인 메뉴(310)를 도시한다. 사용자가 시험 모드 아이템을 활성화시키면, 화면은 실험의 독립 변수 결정과 관련된 하나 이상의 질문을 디스플레이한다. 이전에 설명된 바와 같이, 이러한 예에서, 전문가 시스템은 디지털 디스플레이 상에 디스플레이되는 그래픽 또는 비디오 클립과 같은 디지털 사인 컨텐츠를 분석하기 위해 실험을 설계하도록 구성되지만, 시스템은 다른 유형의 응용을 위해 실험을 설계하도록 구성될 수 있다. 메뉴 아이템(310), 즉 "시험 모드"가 활성화되면, 사용자는 서브메뉴 아이템들(320-322) 중에서 선택하는 옵션을 갖고 있다. 사용자는, 사용자가 무 컨텐츠(no content) 또는 플라시보 컨텐츠(placebo content)에 대한 컨텐츠의 일 부분을 평가할 것이라는 것을 나타내는 "컨텐츠의 개별 부분 평가(Evaluate an individual piece of content)", 또는 사용자가 비교하기를 원하는 2개의 광고를 갖고 있다는 것을 나타내는 "컨텐츠의 다수 부분들의 상대적 영향 평가(Evaluate the relative impact of multiple pieces of content)", 또는 "실험이 '진실험'인지의 결정(Determine if an experiment is 'true')"을 선택할 수 있다. 도 3A는 사용자가 하이라이트된 서브메뉴 아이템(320)으로 나타난 바와 같이 컨텐츠의 개별 부분을 평가하도록 선택한 시나리오를 도시한다. 이러한 옵션의 선택은 컨텐츠의 개별 부분을 평가하기 위해 실험을 설계하는 데 요구되는 정보를 사용자로부터 획득하기 위해 전문가 시스템에 의해 제어되는 프로세스를 개시시킨다. 전문가 시스템은 도 3B에 도시된 바와 같이 다른 메뉴 아이템을 활성화함으로써 실험을 위한 실험 가설 및 종속 변수를 결정하는 것을 포함하는 프로세스 내의 다음 단계로 진행한다.
도 3B는 제목이 "실험 변수(Exp. Variables) "(실험 변수의 축약형)인 메뉴 아이템(311)의 선택을 도시한다. 메뉴(311)는 풀다운될 때 제목이 "가설/변수", "변동성" 및 "히스토리 데이터"인 서브메뉴 아이템의 리스트를 나타낸다. 서브메뉴 아이템의 활성화는 일련의 질문 및/또는 선택이 사용자에게 제시되도록 한다. 예를 들어, 메뉴 아이템, 즉 "가설/변수"가 활성화되면, 화면은 실험의 가설 또는 가설들을 발전시키고 실험에 대한 가능한 종속 변수를 결정하기 위해 도 3C에 나타낸 바와 같이 다수의 선택을 디스플레이할 수 있다. 하나의 시나리오에서, 도 3C에 도시된 바와 같이, 다음의 질문, 즉 "컨텐츠가 원하는 효과를 가지면, 무엇이 결과적으로 변화하는가? 당신이 관심이 있는 것을 모두 체크하시오."라는 질문이 사용자에게 제시된다. 사용자는 다음의 응답, 즉 "판매가 증가할 것이다", "통행 흐름에 증가가 있을 것이다", "소비자가 판매 직원에게 문의할 것이다", "소비자는 선반에 있는 특별한 제품을 더 고르고 싶어 할 것이다", "조사받는 경우, 소비자들이 특별한 질문에 다르게 대답할 것이다", "기타 변화"라는 응답 중 하나 이상을 선택할 수 있다. 도 3C의 특별한 예에서, 사용자는 "판매가 증가할 것이다"를 선택하였다. 이 선택은 다음과 같은 실험 가설, 즉 '디지털 사인 컨텐츠가 소비자에게 나타내어지면 판매가 증가할 것이다'라는 가설을 식별하는 정보를 전문가 시스템에게 제공한다. 이 정보는 또한 실험에서의 종속 변수, 즉 컨텐츠를 디스플레이함으로써 야기되는 판매의 변화를 제공한다. 다른 시나리오에서, 하나 이상의 추가적인 가능한 종속 변수들, 예컨대, 통행 흐름, 소비자 질의, 소비자의 제품 고르기, 및/또는 조사 질문에 대한 답변이 사용자에 의해 선택될 수 있다. 다수의 종속 변수들이 나타내어지면, 전문가 시스템은 실험 비용을 계산하고, 각각의 종속 변수에 대한 실험의 내적 및 외적 타당성을 추정하고, 사용자를 적절한 종속 변수를 선택하는 프로세스로 안내할 것이다. 도 3D는 다수의 선택이 도 3C에 의해 도시된 프로세스 단계에서 행해질 때 전문가 시스템이 하나 이상의 종속 변수의 선택으로 사용자를 안내하는 데 이용할 수 있는 프로세스의 일 부분을 도시한다.
일부 시나리오들에서, 도 3C에 도시된 공급된 선택들 중 어떠한 것도 사용자가 기대하는 변화에 대응하지 않으며, 사용자는 "기타"를 선택할 수 있다. 그렇다면, 전문가 시스템은 실험에 대한 가능한 종속 변수(들)를 식별 및 특성화하기 위해 일련의 추가 질문으로 사용자를 안내한다. 예를 들어, 사용자가 "기타"를 선택하면, 질문들 중 일부는 가능한 종속 변수가 연속적인지 아니면 이산적인지를 결정하는 것에 관한 것일 수 있다. 사용자는 단언적(categorical)이거나 명목적(nominal)인 이산 데이터(예컨대, 남자 및 여자)를 가질 수 있다. 이산 변수는 서열 데이터(ordinal data)라고 하는 순위 카테고리(예컨대, 나이 카테고리 20-29, 30-39 등)일 수 있다. 연속 데이터는 다양한 측정 기술로 얻는데, 이 경우 기본적인 연속성(underlying continuum)이 존재한다. 일 예로, 완전히 싫음 내지 완전히 좋음에 이르는 호감 척도(7 카테고리, 1-7 척도) 또는 확실히 구입하지 않음 내지 확실히 구입함에 이르는 구입 의향 척도의 조사 척도 등급. 다른 예는 더 전통적인 연속 변수이며, 이 경우 다수의 가능한 값(온도, 수입, 판매, 무게 등)이 존재한다.
예를 들어, "기타" 카테고리가 사용자에 의해 선택되는 경우 정보를 도출할 때, 전문가 시스템은 종속 변수를 결정하고/하거나 종속 변수가 연속적인지 아니면 이산적인지를 결정하기 위해 하나 이상의 추가 질문을 제시할 수 있다.
전문가 시스템은 파워 분석을 수행하는 데 필요한 정보를 얻기 위해 사용자를 일련의 질문으로 안내할 수 있다. 파워 분석을 위해 이용되는 파라미터는 귀무 가설 하의 평균, 표준 편차, 시험 가설 하의 평균, 유의 수준(significance level), 파워, 및 샘플 크기를 포함한다. 이들 파라미터 중 일부에 대한 정보가 사용자로부터 얻어지고, 다른 정보는 전문가 시스템에 프로그래밍된 표준적인 값이다. 가능한 종속 변수를 결정한 후에, 전문가 시스템은 도 3E에 나타낸 바와 같이 제목이 "변동성"인 서브메뉴 아이템과 연관된 프로세스들을 활성화시킬 수 있다. 이들 프로세스에서, 전문가 시스템은 가능한 종속 변수의 변동성을 결정하도록 설계된 일련의 질문으로 사용자를 안내한다. 가능한 종속 변수들의 변동성의 결정은 실험의 통계 파워를 평가하기 위해 전문가 시스템이 이용하는 정보를 제공한다. 예를 들어, 전문가 시스템은 도 3F 및 도 3G에 나타낸 것과 같은 이용가능한 데이터의 입도(granularity)에 관한 정보를 수집하기 위해 질문을 제출할 수 있다. 도 3F에서, 전문가 시스템은 이용가능한 데이터의 입도의 하한치에 관한 정보를 얻기 위해 질문을 제시한다. 도 3F에 나타낸 바와 같이, "가능하게는 매상고(sales)가 측정될 수 있는 최소 시간 증분이 얼마인가"라는 질문이 다음의 선택, 즉 매시간, 매 근무 교대(shift) 후, 매일, 매주, 매달 등을 제공한다. 이러한 특별한 경우에, 사용자는 매상고가 측정될 수 있는 시간의 최소 단위가 매시간이라는 것을 나타냈다. 도 3F에 도시된 스크린 샷에서, 전문가 시스템은 또한 사용자에게 최소 시간 증분에 데이터 측정과 연관된 비용을 입력하게 한다.도 3G에 도시된 바와 같 이, 전문가 시스템은 또한 데이터를 얻기 위한 편리한 시간 증분에 관한 정보를 얻는다.
도 3G에 도시된 스크린 샷에서, 전문가 시스템은 매상고가 측정될 수 있는 편리한 시간 증분에 관해 질의한다. 또한, 사용자는 매시간, 매 근무 교대 후, 매일, 매주, 매달 또는 기타 중에서 선택하게 된다. 데이터를 편리한 증분으로 얻는 것과 연관된 비용은 또한 도 3G에 나타낸 바와 같이 요구된다.
전문가 시스템은 도 3H에 나타낸 바와 같이 제목이 "히스토리 데이터"인 서브메뉴 아이템과 연관된 프로세스를 활성화할 수 있다. 사용자는 히스토리 판매 데이터가 이용 가능한지의 여부를 나타내게 된다(도 3I). 긍정 응답은 사용자가 각각 최소 시간 증분 및 편리한 시간 증분에 대해 판매 데이터를 입력할 수 있도록 하는, 도 3J 및 도 3K에 도시된 화면을 트리거시킨다. 히스토리 판매 데이터는, 예컨대 실험의 통계 파워를 결정하기 위해 파워 분석에서 이용되는 종속 변수(이 예에서 매상고)에 대한 표준 편차를 추정하는 데 이용될 수 있다. 도 3J 및 도 3K에 도시된 화면에 의해 도출되는 엔트리(entry)의 개수는 원하는 신뢰도 수준 및 표준 편차에 기초하여 컴퓨터에 의해 결정된다. 예를 들어, 컴퓨터는 표준 편차가 특별한 범위 내에 속하는 특별한 신뢰도 수준을 달성하기 위해 표준 편차를 추정하는 데 필요한 일정 개수의 엔트리들에 대한 정보를 사용자가 제공하게 한다.
표준 편차에 이용되는 신뢰도 수준, 예컨대 90% 또는 95%는 전형적으로 사용자에게 명백하지만, 전문가 시스템의 프로그래밍 가능한 값일 수 있다. 전문가 시스템에 의해 이용되는 어떤 값, 예컨대 위에서 설명된 종속 변수의 표준 편차에 대 한 신뢰도 수준 및 실험의 유의 수준은 시스템이 구성될 때 프로그래밍될 수 있다. 이들 구성 값은, 예컨대 전문가 시스템 소프트웨어에 익숙한 관리자에 의해 추후 변경될 수 있다.
전문가 시스템은 실험의 효과에 관련된 정보를 얻기 위해 질문을 사용자에게 제시할 수 있다. 도 3L은 최소 효과 크기를 결정하기 위해 사용자에게 제시될 수 있는 질문을 도시한 스크린 샷이다. 이러한 예에서, 전문가 시스템은 사용자가 컨텐츠를 값어치 있게 하는 판매 증가를 입력할 것을 요구한다.
진실험을 설계하기 위해, 전문가 시스템은 실험에 영향을 줄 수 있는 가능한 혼란 및/또는 장애 변수에 관한 정보를 획득한다. 예를 들어, 혼란 변수는 이월 효과, 선택 편향, 시험 효과 및 실험 탈락율과 연관될 수 있다. 도 3M의 화면에 나타낸 바와 같이, 이들 인자 각각에 대한 메뉴 아이템이 활성화되어, 이들 인자에 관한 정보를 획득하기 위해 일련의 질문이 사용자에게 제시될 수 있다. 도 3M에서, 이월 효과에 대한 메뉴 아이템이 하이라이트된다. 이월 효과 메뉴 아이템이 활성화되면, 도 3N 내지 도 3P에서 질문이 제시되게 된다. 도 3N에서, 전문가 시스템은 사용자로 하여금 컨텐츠가 보여질 수 있는 다른 위치에 관한 정보를 나타내게 하는 질문을 제시한다. 도 3O 및 도 3P에서, 전문가 시스템은 사용자로 하여금 이월 효과 타이밍에 관한 정보를 나타내게 하는 질문을 제시한다.
도 4A는 본 발명의 실시예들에 따라 디지털 사인 컨텐츠의 유효성을 시험하기 위해 진실험을 설계하는 능력을 포함할 수 있는 디지털 사인 시스템(DSS)의 블록 다이아그램이다. 도 4A의 블록 다이어그램은 기능 블록들로 분할되어 있는 DSS 의 하나의 구성을 예시한다. 당업자는 DSS가 대안적으로 다른 기능 블록들을 사용하여 예시될 수 있다는 것과 DSS의 다양한 컴포넌트들이 하드웨어, 소프트웨어, 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합으로서 구현될 수 있다는 것을 알 것이다.
본 발명에 따른 시스템은 본 명세서에 기술된 특징들, 구조들, 방법들, 또는 이들의 조합 중 하나 이상을 포함할 수 있다. 예를 들어, 시스템은 도 4A에 예시된 유리한 특징들 및/또는 프로세스들 중 하나 이상을 포함하도록 구현될 수 있다. 이러한 시스템이 본 명세서에 기술된 특징들 전부를 포함할 필요는 없지만 유용한 구조 및/또는 기능을 제공하는 선택된 특징들을 포함하도록 구현될 수 있다는 것으로 의도된다.
도 4A에 예시된 DSS는 오디오, 비쥬얼 및/또는 기타 미디어 형식을 통해 정보 컨텐츠를 제공하도록 구성되어 있는 컴퓨터화된 시스템이다. DSS는 제시될 정보 컨텐츠의 리스트를 제공하는 재생 목록, 및 컨텐츠의 제시 순서를 정의하는 스케줄을 자동 또는 반자동으로 발생시키는 기능을 포함할 수 있다. 반자동 모드에서, 사용자는 대화형 사용자 인터페이스(410)를 통해 DSS 제어 프로세서(405)에 액세스할 수 있다. DSS 제어 프로세서(405)의 도움으로, 사용자는 제시될 컨텐츠를 식별할 수 있고, 재생 목록 및 하나 이상의 DSS 플레이어(415) 상에 제시되는 타이밍과 순서를 제어하는 스케줄을 발생시킬 수 있다. 각각의 플레이어(415)는 플레이어에 대해 개발된 재생 목록 및 스케줄에 따라 수신자에게 컨텐츠를 제시한다. 정보 컨텐츠는, 예를 들어 그래픽, 텍스트, 비디오 클립, 정지 영상, 오디오 클립, 웹 페이지, 및/또는 비디오 및/또는 오디오 컨텐츠의 임의의 조합을 포함할 수 있다.
일부 구현예에서, 재생 목록 및 스케줄이 개발된 후에, DSS 제어 프로세서(405)는 재생 목록에 필요한 컨텐츠를 결정하고, 컨텐츠 서버로부터 컨텐츠를 다운로드하며, 그 컨텐츠를 재생 목록 및 스케줄과 함께 컨텐츠를 플레이어들(415)에 배포하는 플레이어 제어기(420)로 전송한다. 비록 도 4A가 단지 하나의 플레이어 제어기(420)를 도시하고 있지만, 다수의 플레이어 제어기가 단일 DSS 제어 프로세서(405)에 연결될 수 있다. 각각의 플레이어 제어기(420)는 단일 플레이어 또는 다수의 플레이어들(415)을 제어할 수 있다. 컨텐츠 및/또는 재생 목록 및 스케줄은, 컨텐츠/재생 목록/스케줄이 보내지는 플레이어(415)를 식별해주는 정보를 제공하는 적절한 어드레싱과 함께, DSS 제어 프로세서(405)로부터 하나 이상의 플레이어 제어기(420)로 압축된 형식으로 전송될 수 있다. 일부 응용예에서, 플레이어(415)는 상점들에 배포될 수 있고, 플레이어(415) 상에 제시되는 컨텐츠는 광고일 수 있다.
다른 구현예에서, DSS 제어 프로세서(405)는 재생 목록 및 스케줄만을 플레이어 제어기(420)로 전송할 수 있다. 컨텐츠가 플레이어 제어기(420) 상에 존재하지 않는 경우, 플레이어 제어기(420)는 제시될 컨텐츠를 획득하기 위해 컨텐츠 저장 장치(425)에 액세스할 수 있다. 몇몇 시나리오에서, 컨텐츠 저장 장치(425)를 비롯한 DSS 시스템의 다양한 컴포넌트들 중 하나 이상이 인트라넷 또는 인터넷 접속과 같은 네트워크 접속을 통해 액세스될 수 있다. 플레이어 제어기(420)는 원하 는 컨텐츠를 조립할 수 있으며, 또는 다르게는 재생 목록 및 스케줄에 따라 플레이어 상에 원하는 컨텐츠를 디스플레이하는 것을 용이하게 해줄 수 있다. 재생 목록, 스케줄 및/또는 플레이어(415) 상에 제시되는 컨텐츠는 예컨대 플레이어 제어기(420)를 통해 또는 DSS 제어 프로세서(405)를 통해 사용자에 의해 원하는 바에 따라 또는 주기적으로 수정될 수 있다.
몇몇 구현에서, DSS 제어 프로세서(405)는 플레이어 상에 재생될 컨텐츠 프로그램의 개발 및/또는 형식화(formatting)를 용이하게 해준다. 예를 들어, DSS 제어 프로세서(405)는 템플릿을 사용하여 오디오비쥬얼 프로그램의 형식화를 용이하게 할 수 있다. 템플릿은 제시될 오디오비쥬얼 프로그램의 개발에 적용되는 형식화 제약 조건 및/또는 규칙을 포함한다. 예를 들어, 템플릿은 특정 유형의 컨텐츠에 대해 사용되는 화면의 부분, 각각의 세그먼트에서 재생될 수 있는 컨텐츠의 유형과 순서, 폰트 크기와 연관된 규칙, 및/또는 프로그램의 디스플레이에 적용가능한 기타 제약 조건 또는 규칙을 포함할 수 있다. 각각의 디스플레이 구성에 대해 개별 세트의 규칙 및/또는 제약 조건이 바람직할 수 있다. 몇몇 실시예에서, 여러 디스플레이에 대해 프로그램을 형식화하는 것은 DSS 제어 프로세서(405)에 의해 자동으로 수행될 수 있다.
몇몇 실시예에서, DSS는 인지 과학 분야에서의 연구 및 실험을 통해 획득되는 정보에 기초하여 템플릿을 생성하고, 컨텐츠를 발생시키며, 컨텐츠를 선택하고, 프로그램들을 조립하며, 그리고/또는 디스플레이될 프로그램을 형식화할 수 있다. 인지 과학은 사람의 지각 메커니즘을 이해하려고 노력한다. 인지 및 시각 과학 부 문은 사람의 지각 시스템이 어떻게 정보를 처리하는지, 주의(attention)의 기초를 이루는 메커니즘, 사람의 두뇌가 정보를 어떻게 기억에 저장하고 표현하는지, 그리고 언어 및 문제 해결의 인지 기초에 관한 엄청난 지식 베이스를 발생시켰다. 컨텐츠 설계, 레이아웃, 형식화 및/또는 컨텐츠 제시에 인지 과학을 적용하면 사람의 지각 시스템에 의해 쉽게 처리되고 이해하기 쉬우며 사람의 기억에 쉽게 저장되는 정보를 산출한다. 인지 과학으로부터 획득되어 인지 과학 데이터베이스(430)에 저장된 지식은 템플릿의 생성, 컨텐츠 설계, 컨텐츠 선택, 컨텐츠 배포, 프로그램의 조립, 및/또는 디스플레이를 위한 프로그램의 형식화를 비롯한 하나 이상의 프로세스를 DSS에게 알려주기 위해 자동 또는 반자동으로 사용될 수 있다. DSS의 프로그래밍과 관련하여 사용되는 인지 과학 데이터베이스(430)는 인지 과학의 가르침에 의해 향상되는 광고 또는 기타 디지털 사인 프로그램을 생성하며, 동시에 시스템 사용자가 그 분야에서의 특정의 훈련을 받을 필요가 없게 해준다.
디지털 사인 프로그램, 예를 들어 광고 캠페인 등의 개발에서, DSS 제어 프로세서(405)는 인지 과학을 통해 획득된 지식을 사용하여 향상되는 다양한 프로세스로 사용자를 안내할 수 있다. 예를 들어, 인지 과학 데이터베이스(430)에 저장된 정보가 최적의 프로그램 레이아웃을 생성하기 위한 템플릿의 선택, 및/또는 컨텐츠 요소가 그래픽, 텍스트이어야 하는지, 움직임, 컬러, 크기를 포함해야 하는지와 같은 컨텐츠의 선택, 및/또는 프로그램 개발의 다른 태양의 구현에 적용될 수 있다.
DSS는 다양한 디스플레이 유형 및 시청 조건에 대처하기 위해 디지털 사인 프로그램의 대안의 버전들을 설계하는 능력을 포함할 수 있다. 디스플레이 기술이 다양하고, 디지털 사인 네트워크 상에 컨텐츠를 제공하는 데 사용되는 디스플레이의 유형에 많은 차이가 있다. 예를 들어, 크기, 형상, 휘도 및 시청 조건이 디지털 사인 네트워크에 걸쳐 크게 달라질 것이다(예를 들어, 일부 디스플레이는 작고, 유연하며, 비직사각형일 수 있는 반면, 다른 것은 표준 대화면 LCD(large format Liquid Crystal Display) 및 플라즈마 디스플레이일 수 있다). 디스플레이 유형 및 시청 조건의 변동은 한 부분의 컨텐츠의 임의의 단 하나의 버전이 네트워크에 걸쳐 있는 모든 디스플레이에 대해 최적이 아닐 수도 있음을 의미한다. 이 문제를 극복하기 위해, 각각의 디스플레이 유형 및 시청 환경에 대한 컨텐츠의 각각의 부분의 버전을 발생시키고 이들 컨텐츠 버전을 네트워크 내의 그의 대응하는 화면에 선택적으로 배포하는 것이 필요할 수 있다. 그러나, 컨텐츠 설계자가 대규모 DSS 네트워크에 걸쳐 디스플레이 유형 및 시청 조건에 대한 이러한 상세한 지식을 가지고 있을 것으로 기대하는 것은 현실적이지 않다. 게다가, 이러한 컨텐츠 설계자가 이러한 상세한 지식을 가지고 있더라도, 각각의 디스플레이에 대한 컨텐츠의 버전을 수동으로 생성하고 각각의 대응하는 디스플레이 상에서 적절한 시간에 재생하기 위해 컨텐츠를 수동으로 스케줄하는 것은 시간 소모적일 것이다.
DSS는 배포된 컨텐츠의 유효성을 향상시키기 위해 사용되는 데이터를 수집하는 데이터 획득 유닛(435)을 포함할 수 있다. 데이터 획득 유닛(435)은 디지털 사인 네트워크의 유효성의 기초가 되는 배포 인자(distribution factor)들이 컨텐츠의 배포 동안에 실시간으로 연속하여 수집될 수 있게 한다. 획득된 정보는 DSS의 컨텐츠 유효성의 연속적인 향상 및 컨텐츠 부분들의 개별 버전의 향상을 용이하게 할 수 있다. 예를 들어, 어떤 센서 또는 판매 이벤트가 특정 유형의 컨텐츠의 디스플레이를 트리거하는지를 학습하는 데 이미 획득된 데이터가 사용될 수 있다.
임의의 컨텐츠 프로그램 내의 컨텐츠의 개별 부분들은 각각 특정 목표를 갖는다(예를 들어, 특정 제품을 팔기 위한 것). 디지털 사인 네트워크의 사용자에 대한 각각의 목표의 가치에 변동성이 있는 경우가 보통이다. 예를 들어, 제품에 대한 목표의 가치를 고려하는 각각의 제품에 대한 이익률(profit margin) 및 재고 수준(inventory level)에 변동성이 있을 수 있다. 각각의 목표를 달성하는 가치는 디지털 사인 프로그램이 배포되는 동안에 연속적으로 변한다. 예를 들어, 제품의 재고 수준이 변할 수 있으며, 따라서 제품의 판매 목표에 영향을 줄 수 있다.
DSS의 유효성을 전체적으로 향상시키는 것은, 1) 디지털 사인 프로그램을 배포하는 것이 디지털 사인 프로그램과 연관된 목표에 미치는 영향을 정확하게 예측하는 것, 및 2) 컨텐츠 부분들에 대응하는 각각의 개별 목표의 가치가 변함에 따라 컨텐츠의 개별 부분들의 배포 패턴(타이밍, 빈도수, 및 장소)을 연속적으로 변경하는 것을 수반한다. 많은 경우에, DSS의 사용자가 컨텐츠를 배포하는 것의 영향을 예측하고 각각의 컨텐츠 부분과 연관된 목표의 연속적으로 변하는 가치에 기초하여 컨텐츠 배포 패턴을 수동으로 변경하는 것은 실행불가능하다. DSS는 디지털 사인 프로그램의 영향을 예측하고 그 예측에 기초하여 컨텐츠의 배포를 변경하는 기능을 제공한다.
앞서 기술한 바와 같이, 사람의 행동에 영향을 줄 목적으로(예를 들어, 구매 행동에 영향을 주기 위해) 컨텐츠가 플레이어(415) 상에 디스플레이된다. 그러나, 종래의 디지털 사인 시스템은 사인 컨텐츠와 사람의 행동 간의 인과 관계를 증명할 수 없으며, 또는 인과 관계의 세기를 측정할 수 없다. 이러한 어려움이 있는 이유는 현재의 디지털 사인 네트워크를 통해 컨텐츠가 전달되는 방법이 임의의 측정된 사람의 행동 변화가 사인 컨텐츠에 의한 것인지 또는 어떤 혼란 인자들(예를 들어, 날씨의 변화, 제품에 대한 일반적인 수요의 변화, 제품 가격의 변화)의 결과로 인한 것인지를 판정하는 것을 지원하지 않기 때문이다. 사인 컨텐츠와 사람의 행동 간의 인과 관계를 결정적으로 판정하는 유일한 방법은 복잡한 실험 설계를 사용하여 사인 컨텐츠가 체계적으로 조작되고 사람의 행동에 대한 그 조작의 효과가 주의깊게 측정되는 진실험을 수행하는 것이다. 이러한 실험을 수동으로 수행하는 것은 시간 소모적이며 어떻게 진실험을 설계할지에 대한 과학적 방법에 상당한 지식 및 훈련을 필요로 한다. 디지털 사인 시스템의 사용자는 혼란이 없는 결과를 얻기 위해 어떻게 진실험을 설계할지를 이해하기에 충분한 훈련을 받지 않았을 수도 있다. 도 4A에 도시된 DSS는 진실험을 설계하는 능력을 제공하는 실험 설계 프로세서(440) 및 사용자 인터페이스(410)를 포함한다.
도 4B는 진실험을 설계하도록 구성된 실험 설계 프로세서를 포함하는 전문가 시스템을 도시한다. 앞서 논의한 바와 같이, 실험 설계 프로세서(440)는 완전 자동으로 또는 사용자 대화 작용을 갖는 반자동으로 동작하도록 구성될 수 있다. 반자동 모드에서, 실험 설계 프로세서(440)는 진실험을 설계하기 위해 사용자 인터페이스(410)를 통해 수행되는 다양한 대화형 세션을 통해 사용자를 안내할 수 있다. 이러한 프로세스에서, 실험 설계 프로세서(440)는 혼동 없는 데이터를 생성하는 진실험의 설계를 보장한다. 따라서, 사용자는 실험 설계 프로세서(440)의 프로그래밍에 의존할 수 있고 진실험을 설계하는 데 지식 또는 경험을 가지고 있을 필요가 없다. DSS는 실험 설계 프로세서(440)만을 포함할 수 있거나, 실험 전개 유닛(445), 데이터 획득 유닛(435) 및 데이터 분석 유닛(450)과 같은 부가적인 요소들을 포함할 수 있다.
실험 설계 프로세서(440)는 자동 또는 반자동으로 실험의 목적 또는 가설을 개발하고, 실험의 독립 변수 및 종속 변수를 식별하며, 적절한 무작위 추출, 균형화, 역균형화 및/또는 블록화를 적용하는 통제 및 처치 그룹을 형성할 수 있다. 예를 들어, DSS와 관련하여, 실험 목적은 특정 제품을 판촉하는 광고 캠페인에서 컨텐츠 요소의 유효성을 평가하는 것일 수 있다. 독립 변수(들)는 컨텐츠 요소의 디스플레이의 소정의 태양과 연관되어 있을 수 있다. 종속 변수(들)는 제품의 판매 증가와 연관되어 있을 수 있다.
실험 설계 프로세서(440)는 실험 컨텐츠 및 통제 컨텐츠가 디스플레이되는 DSS의 다양한 설치 장소의 선택을 포함하는 적절한 처치 및 통제 그룹을 형성할 수 있다. 컨텐츠 형식을 비롯한 실험 컨텐츠의 제시, 스케줄, 제시 장소 및/또는 실험 프로세스에 혼란을 야기할 수 있는 다른 인자들이 실험 설계 프로세서(440)에 의해 제어된다. 실험 설계 프로세서(440)는 사실상 혼란이 없는 실험 결과를 달성하기 위해 통제 및 처치 그룹의 적합한 무작위 추출, 역균형화 및 블록화를 보장할 수 있다. DSS 시스템과 관련한 실험의 설계는, 예를 들어 실험을 통해 시험될 컨 텐츠의 제시를 위한 적절한 재생 목록 및 스케줄을 발생시키는 것을 포함할 수 있고, 또한 통제 컨텐츠의 제시를 위한 재생 목록 및 스케줄을 발생시키는 것을 포함할 수 있다.
몇몇 구성들에서, 전문가 시스템은 실험 전개 유닛(445)을 추가로 포함할 수 있다. 실험 전개 유닛(445)은 실험의 전개를 용이하게 하도록 구성되어 있다. 예시적인 DSS 시스템과 관련하여, 실험 전개 유닛(445)은 다양한 플레이어 구성에 대해 실험 컨텐츠 및 통제 그룹 컨텐츠를 형식화하고, 실험 컨텐츠 및 통제 컨텐츠를 재생 목록 및 스케줄에 의해 지정된 바와 같이 플레이어(415) 상에 제시하기 위해 플레이어 제어기(420)로 전송하는 것을 용이하게 한다.
데이터 획득 유닛(435)은 통제 및 처치 그룹으로부터 실험 데이터를 수집하도록 구성될 수 있다. 데이터 획득 유닛(435)은 임의의 수단을 통해 실험과 연관된 데이터의 획득을 수행하거나 용이하게 할 수 있다. 예를 들어, 예시적인 DSS와 관련하여, 데이터 획득 유닛(435)은 제품 이동, 제품 판매, 고객 행동이나 반응 및/또는 기타 정보를 비롯한 정보를 수집하는 다양한 센서 또는 데이터 획득 장치(462, 464, 466)에 연결될 수 있다. 센서(462)는, 예를 들어 고객이 제품을 골랐는지 또는 컨텐츠가 디스플레이될 때 고객이 디스플레이 근방에 있는지를 검출하는 데 사용될 수 있다. 매상고는 판매 시점 관리(point of sale; POS) 시스템(464)에 의해 획득된 정보에 기초하여 결정될 수 있다. 컨텐츠의 디스플레이를 검증하는 하나 이상의 장치(466)가 또한 사용될 수도 있다. 제품의 재고 수준의 변화는 재고 관리 시스템을 통해 이용가능할 수 있다. 고객 반응은 설문지를 통해 획득될 수 있다. 수행된 실험이 진실험인 경우, 데이터 획득 유닛(435)에 의해 획득된 데이터에는 실질적으로 혼란이 없다.
데이터 획득 유닛(435)은 데이터 획득 유닛(435)에 의해 수집된 실험 데이터를 분석하도록 구성되어 있는 데이터 분석 유닛(450)에 연결될 수 있다. 데이터 분석 유닛(450)은 실험의 독립 변수와 종속 변수 간의 인과 관계를 판정하고/하거나 정량화할 수 있다. 예시된 DSS의 경우, 분석의 결과는 컨텐츠가 제품 판매에 영향을 주는 데 효과적인지를 판정하는 데 사용될 수 있다.
분석 유닛(450)이 독립 변수 및 종속 변수에 관한 정보(예컨대, IV 및 DV가 연속적인지 아니면 이산적인지)를 수신할 것이기 때문에, 분석 유닛(450)은 실험으로부터 데이터에 적용할 적절한 통계 시험을 선택하는 데 필요한 많은 정보를 갖게 될 것이다. 예를 들어, 2개의 이산 수준을 가진 하나의 IV 및 하나의 연속 DV가 존재하면 T-시험은 추론 통계 시험을 위해 이용되는 반면에, 2개의 이산 수준을 가진 하나의 IV 및 2개의 이산 수준을 가진 하나의 DV가 존재하면 카이 제곱 시험이 추론 통계 시험을 위해 이용될 것이다. 마찬가지로, 분석 유닛이 어떤 실험 조건이 특별한 가설의 진단에 쓰이는지에 관한 정보를 설계 프로세서(440)로부터 액세스할 것이기 때문에, 분석 유닛(450)은 어떤 실험 및 통제 조건이 통계적으로 비교되어야 하는지를 판정하는 데 필요한 정보의 대부분 또는 모두를 가지게 될 것이다.
분석의 결과는 다양한 프로세스를 구현하거나 수정하는 데 부가적으로 또는 대안적으로 사용될 수 있다. 예를 들어, 컨텐츠가 제품 판매에 영향을 주는 데 효 과적이었던 경우, 그 컨텐츠를 포함하는 광고 캠페인이 개발될 수 있다. 판매 증가의 유효성에 기초하여 컨텐츠 평가 프로세스(472)에 의해 그 컨텐츠에 소정의 가치가 할당될 수 있다. 그 컨텐츠를 사용하는 광고주는 컨텐츠의 가치에 따라 과금 유닛(billing unit)(474)에 의해 청구서를 받을 수 있다. 데이터 분석 유닛(450)은 또한 재고 제어기(476)에 정보를 제공할 수 있다. 부가적으로, 데이터 분석 유닛(450)은 광고 캠페인이 전개될 때의 판매 예측을 발생시키는 판매 예측 유닛(478)에 정보를 제공할 수 있다. 판매 예측 유닛(478)은 광고 캠페인에 의해 발생되는 판매를 지원하는 데 필요한 제품 재고를 부가적으로 또는 대안적으로 예측할 수 있다.
본 명세서에서 제공되는 설명을 이용하여, 본 발명은 프로그래밍 소프트웨어, 펌웨어, 하드웨어 또는 임의의 그 조합을 생성하기 위해 표준 프로그래밍 및/또는 엔지니어링 기술을 이용하여 장치(machine), 프로세스, 또는 제조 물품(article of manufacture)으로서 구현될 수 있다.
컴퓨터-판독가능 프로그램 코드를 가진 임의의 결과적인 프로그램(들)은 존재하는 메모리 장치, 스마트 카드 또는 다른 소거가능 메모리 장치, 또는 전송 장치와 같은 하나 이상의 컴퓨터-사용가능 미디어 상에서 구현될 수 있어, 본 발명에 따른 컴퓨터 프로그램 제품 또는 제조 물품을 제조할 수 있다. 이와 같이, 본 명세서에서 사용되는 용어 "제조 물품" 및"컴퓨터 프로그램 제품"은 임의의 컴퓨터-사용가능 매체 상에 또는 이러한 프로그램을 전송하는 임의의 전송 매체 내에 영구적으로 또는 임시적으로 존재하는 컴퓨터 프로그램을 포함하도록 의도한 것이다.
디지털 사인 컨텐츠를 발생하고, 전문가 시스템에 의해 설계된 실험을 전개하고, 실험 데이터를 수집하는 능력을 포함하는 디지털 사인 시스템의 구현은 본 명세서에서 참고로 포함된 2005년 12월 29일에 출원된 미국 특허 출원 제11/321,340호에 추가로 설명되어 있다.
본 발명의 다양한 실시예들의 전술한 설명은 예시 및 설명의 목적으로 제공되었다. 이는 모두 망라하거나 본 발명을 개시된 정확한 형태로 한정하려고 의도한 것이 아니다. 상기 교시에 비추어 많은 변형 및 변경이 가능하다. 예를 들어, 본 발명의 실시예는 광범위한 응용으로 구현될 수 있다. 본 발명의 범주가 이러한 상세한 설명에 의해 한정되지 않고 오히려 본 명세서에 첨부된 청구의 범위에 의해 한정되도록 의도된다.
Claims (33)
- 디지털 사인 컨텐츠(digital signage content)를 평가하기 위해 진실험(true experiment)을 설계하는 데 요구되는 정보를 식별하는 단계;요구된 정보를 제공하는 응답을 도출하는 질문을 사용자에게 제시하는 단계;사용자로부터 질문에 대한 응답을 수신하는 단계;요구된 정보를 사용자 응답으로부터 추출하는 단계; 및사용자 응답으로부터 추출된 요구된 정보를 기초로 진실험을 설계하는 단계를 포함하는 컴퓨터-구현 방법.
- 제1항에 있어서, 질문은 디지털 사인 컨텐츠에 관련된 진실험의 종속 변수에 관한 정보를 제공하는 응답을 도출하는 컴퓨터-구현 방법.
- 제1항에 있어서, 진실험을 설계하는 단계는 사용자 응답으로부터 추출된 정보에 기초하여 진실험에 대한 통제 그룹 및 처치 그룹을 결정하는 단계를 포함하고, 통제 그룹은 디지털 사인 컨텐츠에 노출되는 컴퓨터-구현 방법.
- 제1항에 있어서, 진실험을 설계하는 단계는 사용자 응답으로부터 추출된 정보에 기초하여 디지털 사인 컨텐츠에 대한 스케줄을 결정하는 단계를 포함하는 컴퓨터-구현 방법.
- 제4항에 있어서, 스케줄을 결정하는 단계는 사용자 응답으로부터 추출된 정보에 기초하여 디지털 사인 컨텐츠에 대한 하나 이상의 재생 목록을 결정하는 단계를 포함하는 컴퓨터-구현 방법.
- 제4항에 있어서, 스케줄을 결정하는 단계는 사용자 응답으로부터 추출된 정보에 기초하여 디지털 사인 컨텐츠에 대한 하나 이상의 설치 장소를 결정하는 단계를 포함하는 컴퓨터-구현 방법.
- 진실험을 설계하는 데 요구되는 정보를 식별하는 단계;요구된 정보를 제공하는 응답을 도출하는 질문을 사용자에게 제시하는 단계;사용자로부터 질문에 대한 응답을 수신하는 단계;요구된 정보를 사용자 응답으로부터 추출하는 단계; 및사용자 응답으로부터 추출된 요구된 정보를 기초로 진실험을 설계하는 단계를 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 요구된 정보는 진실험의 하나 이상의 종속 변수 및 하나 이상의 독립 변수와 연관된 정보를 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 요구된 정보는 진실험의 독립 변수의 하나 이상의 수준과 연관된 정보를 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 요구된 정보는 진실험의 혼란 변수 및 장애 변수 중 하나 또는 둘 모두와 연관된 정보를 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 요구된 정보는 진실험의 가설과 연관된 정보를 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 질문은 파워 분석을 수행하는 데 이용되는 정보를 제공하는 응답을 도출하는 컴퓨터-구현 방법.
- 제7항에 있어서, 질문은 진실험의 통제 그룹 또는 처치 그룹을 선택하는 데 이용되는 정보를 제공하는 응답을 도출하는 컴퓨터-구현 방법.
- 제7항에 있어서, 질문은 진실험의 처리 스케줄을 결정하는 데 이용되는 정보를 제공하는 응답을 도출하는 컴퓨터-구현 방법.
- 제7항에 있어서, 질문을 제시하는 단계는 실험 설계 분야에서 사용자의 지식 수준에 대응하도록 선택된 언어를 이용하여 질문을 제시하는 단계를 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 진실험을 수행하는 비용과 관련된 정보를 사용자에게 제시하는 단계를 추가로 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 하나 이상의 종속 변수를 측정하는 비용과 관련된 정보를 사용자에게 제시하는 단계를 추가로 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 진실험을 행하는 단계를 추가로 포함하는 컴퓨터-구현 방법.
- 제7항에 있어서, 진실험에 의해 생성된 실험 데이터를 분석하는 단계를 추가로 포함하는 컴퓨터-구현 방법.
- 제19항에 있어서, 실험 데이터를 분석하는 단계는 사용자 응답으로부터 추출된 정보에 기초하여 실험 데이터를 분석하는 단계를 포함하는 컴퓨터-구현 방법.
- 질문을 사용자에게 제시하고 질문에 대한 사용자 응답을 수신하도록 구성된 사용자 인터페이스; 및사용자 인터페이스에 연결되며, 진실험을 수행하는 데 요구되는 정보를 식별하고, 요구된 정보를 제공하는 응답을 사용자로부터 도출하는 질문을 발생하고, 요 구된 정보를 사용자 응답으로부터 추출하고, 요구된 정보를 이용하여 진실험을 설계하도록 구성된 실험 설계 프로세서를 포함하는 시스템.
- 제21항에 있어서, 요구된 정보는 진실험의 하나 이상의 종속 변수 및 하나 이상의 독립 변수와 연관된 정보를 포함하는 시스템.
- 제21항에 있어서, 요구된 정보는 진실험의 독립 변수의 하나 이상의 수준과 연관된 정보를 포함하는 시스템.
- 제21항에 있어서, 요구된 정보는 진실험의 혼란 변수 및 장애 변수 중 하나 또는 둘 모두와 연관된 정보를 포함하는 시스템.
- 제21항에 있어서, 요구된 정보는 진실험의 가설과 연관된 정보를 포함하는 시스템.
- 제21항에 있어서, 진실험은 디지털 사인 컨텐츠를 평가하는 시스템.
- 제21항에 있어서, 진실험의 수행을 제어하도록 구성된 실험 제어 프로세서를 추가로 포함하는 시스템.
- 제21항에 있어서, 진실험에 의해 생성된 실험 데이터를 분석하도록 구성된 분석 유닛을 추가로 포함하는 시스템.
- 제28항에 있어서, 분석 유닛은 실험 데이터를 분석하기 위해 설계 프로세서에 의해 획득된 정보를 이용하도록 구성된 시스템.
- 진실험을 설계하는 데 요구되는 정보를 식별하는 단계;요구된 정보를 제공하는 응답을 도출하는 질문을 사용자에게 제시하는 단계;사용자로부터 질문에 대한 응답을 수신하는 단계;사용자 응답으로부터 요구된 정보를 추출하는 단계; 및사용자 응답으로부터 추출된 요구된 정보를 기초로 진실험을 설계하는 단계를 포함하는 단계들을 수행하기 위해 컴퓨팅 장치에 의해 실행될 수 있는 명령들을 저장하고 있는 컴퓨터-판독가능 매체.
- 진실험을 설계하는 데 요구되는 정보를 식별하는 수단;요구된 정보를 제공하는 응답을 도출하는 질문을 사용자에게 제시하는 수단;사용자로부터 질문에 대한 응답을 수신하는 수단;요구된 정보를 사용자 응답으로부터 추출하는 수단; 및사용자 응답으로부터 추출된 요구된 정보를 기초로 진실험을 설계하는 수단을 포함하는 시스템.
- 제31항에 있어서, 진실험을 행하는 수단을 추가로 포함하는 시스템.
- 제31항에 있어서, 진실험에 의해 생성된 실험 데이터를 분석하는 수단을 추가로 포함하는 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/321,340 | 2005-12-29 | ||
US11/321,340 US20070156382A1 (en) | 2005-12-29 | 2005-12-29 | Systems and methods for designing experiments |
PCT/US2006/049657 WO2007079254A2 (en) | 2005-12-29 | 2006-12-29 | Expert system for designing experiments |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080089424A true KR20080089424A (ko) | 2008-10-06 |
KR101336500B1 KR101336500B1 (ko) | 2013-12-03 |
Family
ID=38225630
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087017406A KR101397745B1 (ko) | 2005-12-29 | 2006-12-14 | 실험 설계 시스템 및 방법 |
KR1020147002645A KR20140033218A (ko) | 2005-12-29 | 2006-12-29 | 인지 과학 데이터베이스를 사용한 컨텐츠 개발 및 배포 |
KR1020087017761A KR101336500B1 (ko) | 2005-12-29 | 2006-12-29 | 실험 설계 전문가 시스템 |
KR1020087018278A KR20080081193A (ko) | 2005-12-29 | 2006-12-29 | 인지 과학 데이터베이스를 사용한 컨텐츠 개발 및 배포 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087017406A KR101397745B1 (ko) | 2005-12-29 | 2006-12-14 | 실험 설계 시스템 및 방법 |
KR1020147002645A KR20140033218A (ko) | 2005-12-29 | 2006-12-29 | 인지 과학 데이터베이스를 사용한 컨텐츠 개발 및 배포 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087018278A KR20080081193A (ko) | 2005-12-29 | 2006-12-29 | 인지 과학 데이터베이스를 사용한 컨텐츠 개발 및 배포 |
Country Status (10)
Country | Link |
---|---|
US (6) | US20070156382A1 (ko) |
EP (4) | EP1969504A4 (ko) |
JP (5) | JP2009522651A (ko) |
KR (4) | KR101397745B1 (ko) |
CN (3) | CN101379496B (ko) |
AU (3) | AU2006333040C1 (ko) |
BR (3) | BRPI0621157A2 (ko) |
CA (3) | CA2634877A1 (ko) |
RU (3) | RU2409859C2 (ko) |
WO (3) | WO2007078897A2 (ko) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009006542A2 (en) * | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assessing effectiveness of communication content |
WO2010080722A2 (en) * | 2009-01-07 | 2010-07-15 | 3M Innovative Properties Company | System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives |
US8392350B2 (en) | 2007-07-03 | 2013-03-05 | 3M Innovative Properties Company | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
US8594990B2 (en) | 2005-12-29 | 2013-11-26 | 3M Innovative Properties Company | Expert system for designing experiments |
US9947018B2 (en) | 2007-07-03 | 2018-04-17 | 3M Innovative Properties Company | System and method for generating time-slot samples to which content may be assigned for measuring effects of the assigned content |
Families Citing this family (87)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080306848A1 (en) * | 2007-06-05 | 2008-12-11 | Bank Of America Corporation | Lead Generation Platform |
BRPI0814401A2 (pt) * | 2007-08-06 | 2015-02-03 | Thomson Licensing | Método e sistema para análise e otimização de serviços de produto |
US20110191153A1 (en) * | 2007-09-13 | 2011-08-04 | Motorola, Inc. | Method and system for presenting advertisements |
US8214244B2 (en) | 2008-05-30 | 2012-07-03 | Strategyn, Inc. | Commercial investment analysis |
JP4934861B2 (ja) * | 2008-01-28 | 2012-05-23 | 日本電気株式会社 | 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。 |
US8775113B2 (en) * | 2008-01-29 | 2014-07-08 | Apple Inc. | Automated portable media device testing system |
CA2622824A1 (en) * | 2008-03-27 | 2009-09-27 | Mark Hemphill | System and method for ranking participating venues in a network according to advertisers needs for targeted advertising |
US10282391B2 (en) | 2008-07-03 | 2019-05-07 | Ebay Inc. | Position editing tool of collage multi-media |
US8893015B2 (en) | 2008-07-03 | 2014-11-18 | Ebay Inc. | Multi-directional and variable speed navigation of collage multi-media |
US11017160B2 (en) | 2008-07-03 | 2021-05-25 | Ebay Inc. | Systems and methods for publishing and/or sharing media presentations over a network |
US8494894B2 (en) * | 2008-09-19 | 2013-07-23 | Strategyn Holdings, Llc | Universal customer based information and ontology platform for business information and innovation management |
US8577156B2 (en) | 2008-10-03 | 2013-11-05 | 3M Innovative Properties Company | Systems and methods for multi-perspective scene analysis |
AU2009298428B2 (en) * | 2008-10-03 | 2013-03-14 | 3M Innovative Properties Company | Systems and methods for optimizing a scene |
CN102227753B (zh) | 2008-10-03 | 2018-01-19 | 3M创新有限公司 | 用于评估稳健性的系统和方法 |
KR20100040236A (ko) * | 2008-10-09 | 2010-04-19 | 삼성전자주식회사 | 시각적 관심에 기반한 2차원 영상의 3차원 영상 변환기 및 변환 방법 |
US8808195B2 (en) * | 2009-01-15 | 2014-08-19 | Po-He Tseng | Eye-tracking method and system for screening human diseases |
US8666977B2 (en) | 2009-05-18 | 2014-03-04 | Strategyn Holdings, Llc | Needs-based mapping and processing engine |
JP5399834B2 (ja) * | 2009-09-15 | 2014-01-29 | 正生 中村 | 有意性評価プログラム及び記録媒体 |
US8554619B2 (en) * | 2009-12-31 | 2013-10-08 | Google Inc. | Multi-campaign content allocation |
US8346710B2 (en) * | 2010-01-29 | 2013-01-01 | Google Inc. | Evaluating statistical significance of test statistics using placebo actions |
US8583469B2 (en) * | 2010-03-03 | 2013-11-12 | Strategyn Holdings, Llc | Facilitating growth investment decisions |
WO2011153511A2 (en) | 2010-06-03 | 2011-12-08 | Elix, Llc | Dispenser |
CN102271262B (zh) * | 2010-06-04 | 2015-05-13 | 三星电子株式会社 | 用于3d显示的基于多线索的视频处理方法 |
JP2012014597A (ja) * | 2010-07-02 | 2012-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 注意領域表示システム、注意領域表示方法、および注意領域表示プログラム |
WO2012006007A2 (en) | 2010-07-07 | 2012-01-12 | 3M Innovative Properties Company | Systems and methods for improving visual attention models |
US9323418B2 (en) * | 2011-04-29 | 2016-04-26 | The United States Of America As Represented By Secretary Of The Navy | Method for analyzing GUI design affordances |
US11062328B2 (en) | 2011-07-21 | 2021-07-13 | 3M Innovative Properties Company | Systems and methods for transactions-based content management on a digital signage network |
US8195799B1 (en) | 2011-10-26 | 2012-06-05 | SHTC Holdings LLC | Smart test article optimizer |
EP2777008A4 (en) * | 2011-11-11 | 2015-09-02 | Wetpaint Com Inc | DYNAMIC GAME BOOK: EXPERIMENTAL PLATFORM FOR SOCIAL NETWORKS |
US10354213B1 (en) * | 2011-12-27 | 2019-07-16 | Applied Predictive Technologies, Inc. | Natural experiment finder system and method |
US9208661B2 (en) * | 2012-01-06 | 2015-12-08 | Panasonic Corporation Of North America | Context dependent application/event activation for people with various cognitive ability levels |
CA2860638A1 (en) | 2012-01-16 | 2013-07-25 | 3M Innovative Properties Company | Systems and methods for rule-based content generation |
WO2013109457A2 (en) * | 2012-01-16 | 2013-07-25 | 3M Innovative Properties Company | Systems and methods for rule-based content optimization |
US9202227B2 (en) * | 2012-02-07 | 2015-12-01 | 6 Sense Insights, Inc. | Sales prediction systems and methods |
US9197512B2 (en) * | 2012-02-17 | 2015-11-24 | Wetpaint.Com, Inc. | Optimizing content production based upon distribution channel metrics |
US8769400B1 (en) * | 2012-03-26 | 2014-07-01 | Google Inc. | Accelerating view transitions |
US8990364B2 (en) * | 2012-04-26 | 2015-03-24 | Qualcomm Innovation Center, Inc. | Architecture for content awareness and control among peer-to-peer communication devices |
CN103488646B (zh) * | 2012-06-13 | 2017-11-14 | 腾讯科技(深圳)有限公司 | 一种移动终端浏览器弱光源下浏览网页的方法及装置 |
JP2014052399A (ja) * | 2012-09-05 | 2014-03-20 | Toshiba Tec Corp | 情報配信サーバおよびプログラム |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
WO2014099571A1 (en) * | 2012-12-21 | 2014-06-26 | 3M Innovative Properties Company | Systems and methods for rule-based animated content optimization |
WO2014099380A1 (en) * | 2012-12-21 | 2014-06-26 | 3M Innovative Properties Company | Systems and methods for rule-based animated content generation |
WO2014123337A1 (en) * | 2013-02-06 | 2014-08-14 | Samsung Electronics Co., Ltd. | System and method for providing object via which service is used |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
WO2014200743A1 (en) | 2013-06-13 | 2014-12-18 | 3M Innovative Properties Company | Systems and methods for delivering content to mobile devices |
US9965721B2 (en) * | 2013-09-16 | 2018-05-08 | Moresteam Development, Llc | Computer-implemented system and method of performing a design of experiment, generating a product thereof, generating designed experiment options, and a graphical user interface |
CN105830074A (zh) * | 2013-12-20 | 2016-08-03 | 皇家飞利浦有限公司 | 用于控制显示器的控制设备和方法 |
CN103745056A (zh) * | 2014-01-06 | 2014-04-23 | 中国人民解放军第二军医大学 | 卫勤力量模块化测算方法 |
WO2015116614A1 (en) * | 2014-01-29 | 2015-08-06 | 3M Innovative Properties Company | Systems and methods for spacial and temporal experimentation on content effectiveness |
US20160350796A1 (en) * | 2014-01-29 | 2016-12-01 | 3M Innovative Properties Company | Conducting multivariate experiments |
CN104882145B (zh) * | 2014-02-28 | 2019-10-29 | 杜比实验室特许公司 | 使用音频对象的时间变化的音频对象聚类 |
GB201404234D0 (en) * | 2014-03-11 | 2014-04-23 | Realeyes O | Method of generating web-based advertising inventory, and method of targeting web-based advertisements |
US20150348278A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Dynamic font engine |
JP6459231B2 (ja) * | 2014-06-11 | 2019-01-30 | 富士ゼロックス株式会社 | テンプレート管理装置及びプログラム |
ZA201407620B (en) * | 2014-08-26 | 2015-11-25 | Musigma Business Solutions Pvt Ltd | Systems and methods for creating and evaluating experiments |
JP2018500621A (ja) * | 2014-10-01 | 2018-01-11 | ジーユーアイ グローバル プロダクツ,リミテッド | 分散広告システム及び使用方法 |
US10354192B2 (en) * | 2014-11-19 | 2019-07-16 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Recommender system for exploratory data analysis |
CN104851063A (zh) * | 2015-05-14 | 2015-08-19 | 上海知汇云信息技术股份有限公司 | 实验考评系统及其进程管理方法 |
US10997512B2 (en) | 2015-05-25 | 2021-05-04 | Microsoft Technology Licensing, Llc | Inferring cues for use with digital assistant |
US20160357173A1 (en) * | 2015-06-08 | 2016-12-08 | Evidation Health | Evidence Generation and Data Interpretation Platform |
US9990414B2 (en) | 2015-06-15 | 2018-06-05 | International Business Machines Corporation | Cognitive architecture with content provider managed corpus |
JP6920220B2 (ja) | 2015-06-30 | 2021-08-18 | エメラルド クラウド ラボ、インコーポレイテッド | 実験室の実験の管理、実行および分析のためのシステム、方法及びコンピュータプログラム |
US10394323B2 (en) * | 2015-12-04 | 2019-08-27 | International Business Machines Corporation | Templates associated with content items based on cognitive states |
CN105446744A (zh) * | 2015-12-15 | 2016-03-30 | 北京中网易企秀科技有限公司 | 基于互联网的展示物料系统及展示物料制作方法 |
US10073923B2 (en) * | 2016-05-29 | 2018-09-11 | Wix.Com Ltd. | System and method for the creation and update of hierarchical websites based on collected business knowledge |
US10685070B2 (en) | 2016-06-30 | 2020-06-16 | Facebook, Inc. | Dynamic creative optimization for effectively delivering content |
WO2018063174A1 (en) * | 2016-09-28 | 2018-04-05 | Hewlett-Packard Development Company, L.P. | Virtual presentation |
US11093207B1 (en) * | 2016-10-28 | 2021-08-17 | Assa Abloy Ab | Visual verification of virtual credentials and licenses |
US20180137464A1 (en) * | 2016-11-16 | 2018-05-17 | Jabil Circuit, Inc. | Apparatus, system and method for providing a design for excellence engine |
US11928201B2 (en) | 2016-12-22 | 2024-03-12 | Hid Global Cid Sas | Mobile credential with online/offline delivery |
US10572908B2 (en) * | 2017-01-03 | 2020-02-25 | Facebook, Inc. | Preview of content items for dynamic creative optimization |
US10922713B2 (en) | 2017-01-03 | 2021-02-16 | Facebook, Inc. | Dynamic creative optimization rule engine for effective content delivery |
US10871876B2 (en) | 2018-03-02 | 2020-12-22 | Justin David Woodward | 3-dimensional dipolar modular assessment of perceived change |
CN110390396B (zh) | 2018-04-16 | 2024-03-19 | 日本电气株式会社 | 用于估计观测变量之间的因果关系的方法、装置和系统 |
CN108921829A (zh) * | 2018-06-20 | 2018-11-30 | 广州晖恒广告策划有限公司 | 一种基于视觉注意机制的广告设计客观评价方法 |
WO2020013821A1 (en) * | 2018-07-11 | 2020-01-16 | Google Llc | Improving accuracy of experimental results through geo selection |
JP6601988B1 (ja) * | 2018-11-30 | 2019-11-06 | 株式会社Splink | 情報生成システム及び情報生成方法 |
CN113574325B (zh) | 2019-03-15 | 2022-12-27 | 3M创新有限公司 | 通过选择控制设置来控制环境的方法和系统 |
WO2021075033A1 (ja) * | 2019-10-17 | 2021-04-22 | 株式会社オプティム | コンピュータシステム、広告コンテンツ配信方法及びプログラム |
CN112711739B (zh) * | 2019-10-25 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及服务器、存储介质 |
CN110851980B (zh) * | 2019-11-11 | 2021-01-29 | 中国人民解放军火箭军工程大学 | 一种设备剩余寿命预测方法及系统 |
US11302291B1 (en) * | 2019-11-27 | 2022-04-12 | Amazon Technologies, Inc. | Device agnostic user interface generation |
US11048532B1 (en) * | 2019-11-27 | 2021-06-29 | Amazon Technologies, Inc. | Device agnostic user interface generation based on device input type |
KR20210143464A (ko) * | 2020-05-20 | 2021-11-29 | 삼성에스디에스 주식회사 | 데이터 분석 장치 및 그것의 데이터 분석 방법 |
US11086954B1 (en) | 2020-07-09 | 2021-08-10 | Bank Of America Corporation | Method and system for data testing |
US20220245653A1 (en) * | 2021-01-31 | 2022-08-04 | Walmart Apollo, Llc | Systems and methods for cross-channel marketing experimentation management |
WO2022254865A1 (ja) * | 2021-06-02 | 2022-12-08 | コニカミノルタ株式会社 | デザイン作成支援装置、デザイン作成支援方法、およびデザイン作成支援プログラム |
Family Cites Families (124)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4973952A (en) * | 1987-09-21 | 1990-11-27 | Information Resources, Inc. | Shopping cart display system |
US5309174A (en) * | 1987-10-13 | 1994-05-03 | Motorola, Inc. | Electronic display system |
US5253331A (en) * | 1991-07-03 | 1993-10-12 | General Motors Corporation | Expert system for statistical design of experiments |
US5474385A (en) * | 1992-03-02 | 1995-12-12 | Ta Instruments, Inc. | Method and apparatus for parsed dynamic differential analysis |
JPH06131168A (ja) * | 1992-10-20 | 1994-05-13 | Fuji Xerox Co Ltd | ユーザインタフェース作成支援装置 |
JP3234059B2 (ja) * | 1993-08-11 | 2001-12-04 | 株式会社東芝 | 画面デザイン評価装置 |
KR950016161A (ko) * | 1993-11-17 | 1995-06-17 | 김광호 | 사설교환 시스템의 부재중 메세지 표시방법 |
US5513342A (en) * | 1993-12-28 | 1996-04-30 | International Business Machines Corporation | Display window layout system that automatically accommodates changes in display resolution, font size and national language |
JPH07200662A (ja) * | 1994-01-07 | 1995-08-04 | Hitachi Ltd | 設計知識ベースを有する実験計画作成支援システム |
JP2947704B2 (ja) * | 1994-03-04 | 1999-09-13 | 株式会社ピーエフユー | 表示画面の作成方法および表示画面作成装置 |
JP2697646B2 (ja) * | 1994-12-15 | 1998-01-14 | 日本電気株式会社 | マルチメディア編集装置 |
JPH08241191A (ja) * | 1995-03-02 | 1996-09-17 | Matsushita Electric Ind Co Ltd | Gui自動評価装置 |
ATE197511T1 (de) * | 1995-07-25 | 2000-11-11 | Horus Therapeutics Inc | Rechnergestütztes verfahren und anordnung zur diagnose von krankheiten |
JP2994996B2 (ja) * | 1995-12-01 | 1999-12-27 | 松下電器産業株式会社 | マルチメディア編集装置 |
JPH1049508A (ja) * | 1995-12-27 | 1998-02-20 | Toshiba Corp | データ処理システム、システム構築装置、システム構築方法、及びシステム構築プログラムを記録した媒体 |
JPH09212349A (ja) | 1996-01-31 | 1997-08-15 | Mitsubishi Electric Corp | コンテンツ作成支援システム |
US5812134A (en) * | 1996-03-28 | 1998-09-22 | Critical Thought, Inc. | User interface navigational system & method for interactive representation of information contained within a database |
AU3477397A (en) * | 1996-06-04 | 1998-01-05 | Paul J. Werbos | 3-brain architecture for an intelligent decision and control system |
JP4224136B2 (ja) * | 1996-07-12 | 2009-02-12 | ファースト オピニオン コーポレーション | リストベース処理を用いたコンピュータ化医療診断システム |
JPH1091412A (ja) * | 1996-07-25 | 1998-04-10 | Toshiba Corp | 表示部品選択装置及び表示部品選択方法 |
JP2998652B2 (ja) * | 1996-09-20 | 2000-01-11 | 日本電気株式会社 | Gui画面レイアウト設計方式 |
US7848948B2 (en) * | 1996-10-25 | 2010-12-07 | Ipf, Inc. | Internet-based product brand marketing communication network configured to allow members of a product brand management team to communicate directly with consumers browsing HTML-encoded pages at an electronic commerce (EC) enabled web-site along the fabric of the world wide web (WWW), using programable multi-mode virtual kiosks (MMVKS) driven by server-side components and managed by product brand management team members |
JPH10154070A (ja) * | 1996-11-26 | 1998-06-09 | Toshiba Corp | ユーザインタフェース設計装置及び方法 |
US6023714A (en) * | 1997-04-24 | 2000-02-08 | Microsoft Corporation | Method and system for dynamically adapting the layout of a document to an output device |
JPH10301761A (ja) * | 1997-04-28 | 1998-11-13 | Matsushita Electric Ind Co Ltd | ユーザインタフェースの作成方法及びその管理装置 |
JPH1185439A (ja) * | 1997-09-05 | 1999-03-30 | Toshiba Corp | ユーザインタフェース制御装置及びユーザインタフェース制御方法 |
JPH1185729A (ja) * | 1997-09-08 | 1999-03-30 | Matsushita Electric Ind Co Ltd | マルチメディアコンテンツ作成装置 |
US6374271B1 (en) * | 1997-09-26 | 2002-04-16 | Fuji Xerox Co., Ltd. | Hypermedia document authoring using a goals outline and a presentation outline |
US6529940B1 (en) * | 1998-05-28 | 2003-03-04 | David R. Humble | Method and system for in-store marketing |
RU2134457C1 (ru) | 1998-08-04 | 1999-08-10 | Григорьев Михаил Николаевич | Система распространения информации |
JP2000090079A (ja) * | 1998-09-08 | 2000-03-31 | Toshiba Corp | コンテンツ作成装置及び方法並びにプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US6448983B1 (en) * | 1999-01-14 | 2002-09-10 | General Electric Company | Method for selection of a design of experiment |
US6604092B1 (en) * | 1999-02-26 | 2003-08-05 | Lisa E. Stewart | Expert system utilizing a knowledge base and design of experiment (DOE) techniques |
EP1183630A2 (en) * | 1999-03-26 | 2002-03-06 | Koninklijke Philips Electronics N.V. | Evolving advertisements via an evolutionary algorithm |
WO2001014952A2 (en) * | 1999-08-26 | 2001-03-01 | Memetrics Inc. | On-line experimentation |
AUPQ246899A0 (en) * | 1999-08-26 | 1999-09-16 | Memetrics | An automated communications management agent |
US7089322B1 (en) * | 1999-10-28 | 2006-08-08 | Motient Communications Inc. | System and method of aggregating data from a plurality of data generating machines |
US6317700B1 (en) * | 1999-12-22 | 2001-11-13 | Curtis A. Bagne | Computational method and system to perform empirical induction |
US7130808B1 (en) * | 1999-12-29 | 2006-10-31 | The Product Engine, Inc. | Method, algorithm, and computer program for optimizing the performance of messages including advertisements in an interactive measurable medium |
JP4732660B2 (ja) * | 2000-02-17 | 2011-07-27 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | ビジュアルアテンションシステム |
JP2001236443A (ja) * | 2000-02-24 | 2001-08-31 | Nec Corp | 広告情報の提供方法及びその広告効果の把握方法ならびにシステム |
US8799208B2 (en) * | 2000-03-07 | 2014-08-05 | E-Rewards, Inc. | Method and system for evaluating, reporting, and improving on-line promotion effectiveness |
JP2001256322A (ja) * | 2000-03-10 | 2001-09-21 | Cross Head Kk | オンライン・コンテンツ製作・表示・対価支払いシステム、オンライン・コンテンツ製作・表示・対価支払い方法、及びコンテンツ製作ツールを記憶した情報記憶媒体。 |
AU2001253857A1 (en) * | 2000-03-14 | 2001-09-24 | Buzzpad, Inc. | Method and apparatus for forming linked multi-user groups of shared software applications |
JP2001265904A (ja) * | 2000-03-17 | 2001-09-28 | Dentsu Inc | 広告表現調査システム及び広告表現調査方法 |
JP4066613B2 (ja) | 2000-04-05 | 2008-03-26 | 富士ゼロックス株式会社 | 表示制御装置、画像形成装置、及び表示制御プログラム |
US7216092B1 (en) * | 2000-04-14 | 2007-05-08 | Deluxe Corporation | Intelligent personalization system and method |
US6604094B1 (en) * | 2000-05-25 | 2003-08-05 | Symbionautics Corporation | Simulating human intelligence in computers using natural language dialog |
AU2001265405A1 (en) | 2000-05-26 | 2001-12-11 | Naylor, Inc. | Computer-implemented method and apparatus for creating advertising media |
JP2002123288A (ja) * | 2000-10-12 | 2002-04-26 | Canon Inc | 携帯電話、ユーザインタフェース装置、コンテンツ表示方法、記憶媒体 |
US20040015399A1 (en) * | 2000-10-12 | 2004-01-22 | Maggio Frank S. | Method and system for verifying exposure to message content delivered via outdoor media or in a concentrated format |
WO2002037334A1 (en) * | 2000-10-30 | 2002-05-10 | Elias Arts Corporation | System and method for performing content experience management |
JP2002175290A (ja) * | 2000-12-07 | 2002-06-21 | Fuji Xerox Co Ltd | ドキュメントデザイン評価システム、ドキュメントデザイン評価方法、記録媒体 |
US7406434B1 (en) * | 2000-12-15 | 2008-07-29 | Carl Meyer | System and method for improving the performance of electronic media advertising campaigns through multi-attribute analysis and optimization |
JP4665312B2 (ja) * | 2000-12-26 | 2011-04-06 | 日本電気株式会社 | Webコンテンツの可読性評価システム、Webコンテンツの配色支援システム、その方法、記録媒体 |
US20040015401A1 (en) * | 2001-02-08 | 2004-01-22 | In Lee | Systems and methods for distributing template-based multimedia presentations over a network |
JP3881179B2 (ja) * | 2001-02-14 | 2007-02-14 | 三菱電機株式会社 | ユーザインタフェース設計装置 |
US20020129367A1 (en) * | 2001-03-02 | 2002-09-12 | Koninklijke Philips Electronics N.V. | Method and apparatus for personalized presentation of television/internet contents |
US20020154833A1 (en) * | 2001-03-08 | 2002-10-24 | Christof Koch | Computation of intrinsic perceptual saliency in visual environments, and applications |
JP2002330415A (ja) | 2001-05-02 | 2002-11-15 | Star Collaboration Kk | コンテンツ制作装置、方法、コンピュータプログラム、記録媒体 |
US7219309B2 (en) * | 2001-05-02 | 2007-05-15 | Bitstream Inc. | Innovations for the display of web pages |
US20030083822A2 (en) * | 2001-05-15 | 2003-05-01 | Psychogenics, Inc. | Systems and methods for monitoring behavior informatics |
US6569096B2 (en) * | 2001-06-06 | 2003-05-27 | International Business Machines Corporation | System and method of automating multidimensional scaling for psychophysics |
JP2003044737A (ja) * | 2001-07-26 | 2003-02-14 | E Stage Inc | 企業情報の広域認知システム |
US20040205116A1 (en) * | 2001-08-09 | 2004-10-14 | Greg Pulier | Computer-based multimedia creation, management, and deployment platform |
TW523697B (en) * | 2001-08-29 | 2003-03-11 | Synq Technology Inc | Automatic advertisement transaction system and method therefor |
KR100868852B1 (ko) | 2001-09-29 | 2008-11-14 | 주식회사 케이티 | 웹로그 분석 시스템에서의 방문시간 측정 방법 |
US7136871B2 (en) * | 2001-11-21 | 2006-11-14 | Microsoft Corporation | Methods and systems for selectively displaying advertisements |
US20030220830A1 (en) * | 2002-04-04 | 2003-11-27 | David Myr | Method and system for maximizing sales profits by automatic display promotion optimization |
US7283981B2 (en) * | 2002-04-30 | 2007-10-16 | Deluxe Corporation | Browser-based system for ordering financial products |
US20040181435A9 (en) * | 2002-06-14 | 2004-09-16 | Reinsurance Group Of America Corporation | Computerized system and method of performing insurability analysis |
JP2004070677A (ja) * | 2002-08-07 | 2004-03-04 | Inter-Ment Kk | ウェブサイト評価提供システム及び方法並びにウェブサイト評価提供用プログラム |
JP4183456B2 (ja) * | 2002-08-09 | 2008-11-19 | アイシン精機株式会社 | 車両試験提供システム |
JP4356916B2 (ja) * | 2002-08-23 | 2009-11-04 | 富士通株式会社 | ユーザビリティ教育支援システム及び方法 |
US7309315B2 (en) * | 2002-09-06 | 2007-12-18 | Epoch Innovations, Ltd. | Apparatus, method and computer program product to facilitate ordinary visual perception via an early perceptual-motor extraction of relational information from a light stimuli array to trigger an overall visual-sensory motor integration in a subject |
JP2004102868A (ja) * | 2002-09-12 | 2004-04-02 | Fuji Xerox Co Ltd | ユーザビリティ評価支援装置 |
JP2004110548A (ja) * | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | ユーザビリティ評価支援装置および方法 |
US7274741B2 (en) * | 2002-11-01 | 2007-09-25 | Microsoft Corporation | Systems and methods for generating a comprehensive user attention model |
JP2004178276A (ja) * | 2002-11-27 | 2004-06-24 | Toshiba Lighting & Technology Corp | 売場計画支援システム |
JP2004184845A (ja) * | 2002-12-05 | 2004-07-02 | Sanyo Electric Co Ltd | 映像表示装置及び映像表示システム |
US7130461B2 (en) * | 2002-12-18 | 2006-10-31 | Xerox Corporation | Systems and method for automatically choosing visual characteristics to highlight a target against a background |
JP2004234646A (ja) * | 2003-01-06 | 2004-08-19 | Hiroshi Sato | コンテンツ関連情報提供装置及びコンテンツ関連情報提供方法及びコンテンツ関連情報提供システム及び携帯端末、並びに情報処理システム。 |
US7260261B2 (en) * | 2003-02-20 | 2007-08-21 | Microsoft Corporation | Systems and methods for enhanced image adaptation |
JP2004310384A (ja) * | 2003-04-04 | 2004-11-04 | Haruyuki Inada | Webページ広告システム |
KR20030040263A (ko) | 2003-04-07 | 2003-05-22 | 주식회사 드림나우 | 인터넷 홈페이지 이용자의 행태 정보 획득 방법 및 그 장치 |
JP3875974B2 (ja) * | 2003-04-11 | 2007-01-31 | 西川ゴム工業株式会社 | 遮音性シート |
US7080027B2 (en) * | 2003-04-17 | 2006-07-18 | Targetrx, Inc. | Method and system for analyzing the effectiveness of marketing strategies |
US7694000B2 (en) * | 2003-04-22 | 2010-04-06 | International Business Machines Corporation | Context sensitive portlets |
US20050047647A1 (en) * | 2003-06-10 | 2005-03-03 | Ueli Rutishauser | System and method for attentional selection |
US20040260767A1 (en) * | 2003-06-19 | 2004-12-23 | David Kedem | Dynamic web advertisement and content display system |
JP4314907B2 (ja) * | 2003-07-18 | 2009-08-19 | 株式会社日立製作所 | 広告表示システム及び方法 |
GB2404270A (en) | 2003-07-24 | 2005-01-26 | Hewlett Packard Development Co | Document composition |
JP2005056080A (ja) * | 2003-08-01 | 2005-03-03 | Inter-Ment Kk | ウェブサイト解析システム及び方法並びにウェブサイト解析用プログラム |
US20050039206A1 (en) * | 2003-08-06 | 2005-02-17 | Opdycke Thomas C. | System and method for delivering and optimizing media programming in public spaces |
US7269517B2 (en) * | 2003-09-05 | 2007-09-11 | Rosetta Inpharmatics Llc | Computer systems and methods for analyzing experiment design |
US20050062314A1 (en) * | 2003-09-19 | 2005-03-24 | Searfoss Timothy K. | Trailer cover system |
US20050096950A1 (en) * | 2003-10-29 | 2005-05-05 | Caplan Scott M. | Method and apparatus for creating and evaluating strategies |
JP4396430B2 (ja) * | 2003-11-25 | 2010-01-13 | セイコーエプソン株式会社 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
US20050171843A1 (en) * | 2004-02-03 | 2005-08-04 | Robert Brazell | Systems and methods for optimizing advertising |
US20050195221A1 (en) * | 2004-03-04 | 2005-09-08 | Adam Berger | System and method for facilitating the presentation of content via device displays |
EP1763833A2 (en) * | 2004-05-18 | 2007-03-21 | Advertising.Com | Systems and methods of achieving optimal advertising |
US7949561B2 (en) * | 2004-08-20 | 2011-05-24 | Marketing Evolution | Method for determining advertising effectiveness |
GB2417808A (en) * | 2004-09-02 | 2006-03-08 | Hewlett Packard Development Co | Document creation system |
US20080201198A1 (en) | 2004-09-02 | 2008-08-21 | Louviere Jordan J | Method, System and Computer Program Product for Measuring and Tracking Brand Equity |
US20060064339A1 (en) * | 2004-09-13 | 2006-03-23 | Technology Transfer Office, Brigham Young University | Methods and systems for conducting internet marketing experiments |
GB2422739B (en) * | 2005-01-31 | 2010-07-14 | Hewlett Packard Development Co | Image processing method and apparatus |
WO2006086525A1 (en) * | 2005-02-08 | 2006-08-17 | Pasadero, Inc. | Research protocol toolkit |
US20060200759A1 (en) * | 2005-03-04 | 2006-09-07 | Microsoft Corporation | Techniques for generating the layout of visual content |
US7594189B1 (en) * | 2005-04-21 | 2009-09-22 | Amazon Technologies, Inc. | Systems and methods for statistically selecting content items to be used in a dynamically-generated display |
KR20070088537A (ko) * | 2005-05-20 | 2007-08-29 | 스티븐 클로프 | 디지털 광고 시스템 |
US7903099B2 (en) * | 2005-06-20 | 2011-03-08 | Google Inc. | Allocating advertising space in a network of displays |
US20070100698A1 (en) * | 2005-07-08 | 2007-05-03 | Onestop Media Group | Adaptive advertisements and adaptive advertising distribution system |
US20070038516A1 (en) * | 2005-08-13 | 2007-02-15 | Jeff Apple | Systems, methods, and computer program products for enabling an advertiser to measure user viewing of and response to an advertisement |
US20070073562A1 (en) * | 2005-09-28 | 2007-03-29 | Sabre Inc. | System, method, and computer program product for providing travel information using information obtained from other travelers |
US20070136133A1 (en) * | 2005-12-12 | 2007-06-14 | Yvonne Li | Digital Signage Transaction and Delivery Methods |
US20070156382A1 (en) | 2005-12-29 | 2007-07-05 | Graham James L Ii | Systems and methods for designing experiments |
US20090030780A1 (en) * | 2006-01-03 | 2009-01-29 | Ds-Iq, Inc. | Measuring effectiveness of marketing campaigns presented on media devices in public places using audience exposure data |
US7861150B2 (en) * | 2006-11-07 | 2010-12-28 | Microsoft Corporation | Timing aspects of media content rendering |
US20080230604A1 (en) * | 2007-03-22 | 2008-09-25 | Robert Jason Fong | System for optimizing on-premises advertisements |
US20080306804A1 (en) * | 2007-06-06 | 2008-12-11 | Opdycke Thomas C | Systems for scheduling marketing campaigns in public places in order to enable measurement and optimization of audience response |
US20090012847A1 (en) * | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assessing effectiveness of communication content |
CA2692409A1 (en) | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
CA2692405A1 (en) | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for generating time-slot samples to which content may be assigned for measuring effects of the assigned content |
CA2750840A1 (en) * | 2009-01-07 | 2010-07-15 | 3M Innovative Properties Company | System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives |
-
2005
- 2005-12-29 US US11/321,340 patent/US20070156382A1/en not_active Abandoned
-
2006
- 2006-12-14 AU AU2006333040A patent/AU2006333040C1/en not_active Ceased
- 2006-12-14 BR BRPI0621157-7A patent/BRPI0621157A2/pt not_active IP Right Cessation
- 2006-12-14 CN CN2006800531432A patent/CN101379496B/zh not_active Expired - Fee Related
- 2006-12-14 JP JP2008548590A patent/JP2009522651A/ja not_active Ceased
- 2006-12-14 EP EP06845659A patent/EP1969504A4/en not_active Ceased
- 2006-12-14 RU RU2008126454/08A patent/RU2409859C2/ru not_active IP Right Cessation
- 2006-12-14 CA CA002634877A patent/CA2634877A1/en not_active Abandoned
- 2006-12-14 WO PCT/US2006/048110 patent/WO2007078897A2/en active Application Filing
- 2006-12-14 KR KR1020087017406A patent/KR101397745B1/ko not_active IP Right Cessation
- 2006-12-29 WO PCT/US2006/049662 patent/WO2007079256A2/en active Application Filing
- 2006-12-29 KR KR1020147002645A patent/KR20140033218A/ko not_active Application Discontinuation
- 2006-12-29 CA CA002635789A patent/CA2635789A1/en not_active Abandoned
- 2006-12-29 WO PCT/US2006/049657 patent/WO2007079254A2/en active Application Filing
- 2006-12-29 CN CN2006800530730A patent/CN101379485B/zh not_active Expired - Fee Related
- 2006-12-29 AU AU2006332658A patent/AU2006332658B2/en not_active Ceased
- 2006-12-29 RU RU2008126539/09A patent/RU2008126539A/ru not_active Application Discontinuation
- 2006-12-29 CN CNA2006800530637A patent/CN101379495A/zh active Pending
- 2006-12-29 JP JP2008548780A patent/JP5249045B2/ja not_active Expired - Fee Related
- 2006-12-29 EP EP13182401.3A patent/EP2722797A1/en not_active Withdrawn
- 2006-12-29 KR KR1020087017761A patent/KR101336500B1/ko not_active IP Right Cessation
- 2006-12-29 BR BRPI0621159-3A patent/BRPI0621159A2/pt not_active Application Discontinuation
- 2006-12-29 KR KR1020087018278A patent/KR20080081193A/ko active Application Filing
- 2006-12-29 CA CA002636017A patent/CA2636017A1/en not_active Abandoned
- 2006-12-29 BR BRPI0621158-5A patent/BRPI0621158A2/pt not_active Application Discontinuation
- 2006-12-29 AU AU2006332660A patent/AU2006332660B2/en not_active Ceased
- 2006-12-29 JP JP2008548783A patent/JP2009522658A/ja not_active Withdrawn
- 2006-12-29 US US12/159,106 patent/US20090158179A1/en not_active Abandoned
- 2006-12-29 US US12/159,107 patent/US8594990B2/en not_active Expired - Fee Related
- 2006-12-29 RU RU2008126540/09A patent/RU2008126540A/ru not_active Application Discontinuation
- 2006-12-29 EP EP20060848390 patent/EP1969488A4/en not_active Withdrawn
- 2006-12-29 EP EP06848389A patent/EP1969505A4/en not_active Ceased
-
2009
- 2009-09-23 US US12/565,312 patent/US20100017288A1/en not_active Abandoned
-
2012
- 2012-12-04 JP JP2012264984A patent/JP5563649B2/ja not_active Expired - Fee Related
-
2013
- 2013-12-11 JP JP2013255621A patent/JP2014059911A/ja active Pending
-
2014
- 2014-04-16 US US14/254,014 patent/US20140229418A1/en not_active Abandoned
- 2014-04-25 US US14/261,929 patent/US10007657B2/en not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8594990B2 (en) | 2005-12-29 | 2013-11-26 | 3M Innovative Properties Company | Expert system for designing experiments |
US10007657B2 (en) | 2005-12-29 | 2018-06-26 | 3M Innovative Properties Company | Content development and distribution using cognitive sciences database |
WO2009006542A2 (en) * | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assessing effectiveness of communication content |
WO2009006542A3 (en) * | 2007-07-03 | 2009-03-12 | 3M Innovative Properties Co | System and method for assessing effectiveness of communication content |
US8392350B2 (en) | 2007-07-03 | 2013-03-05 | 3M Innovative Properties Company | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
US8589332B2 (en) | 2007-07-03 | 2013-11-19 | 3M Innovative Properties Company | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
US9542693B2 (en) | 2007-07-03 | 2017-01-10 | 3M Innovative Properties Company | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
US9947018B2 (en) | 2007-07-03 | 2018-04-17 | 3M Innovative Properties Company | System and method for generating time-slot samples to which content may be assigned for measuring effects of the assigned content |
WO2010080722A2 (en) * | 2009-01-07 | 2010-07-15 | 3M Innovative Properties Company | System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives |
WO2010080722A3 (en) * | 2009-01-07 | 2010-09-10 | 3M Innovative Properties Company | System and method for concurrently conducting cause-and-effect experiments on content effectiveness and adjusting content distribution to optimize business objectives |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101336500B1 (ko) | 실험 설계 전문가 시스템 | |
KR101669384B1 (ko) | 배정된 컨텐츠의 효과를 측정하기 위해 컨텐츠를 시간 슬롯 샘플에 배정하는 시스템 및 방법 | |
KR101605919B1 (ko) | 배정된 컨텐츠의 효과를 측정하기 위해 컨텐츠가 배정될 수 있는 시간 슬롯 샘플을 발생시키는 시스템 및 방법 | |
US20140236707A1 (en) | System and method for assessing effectiveness of communication content | |
KR20110110786A (ko) | 콘텐츠 유효성에 대해 원인과 결과 실험을 동시에 수행하고 사업 목적을 최적화하기 위해 콘텐츠 분배를 조정하는 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |