KR101336500B1 - 실험 설계 전문가 시스템 - Google Patents

Abstract

진실험을 설계하고, 선택적으로 실험을 행하고 실험 데이터를 분석하는 컴퓨터 구현 방법 및 시스템이 설명된다. 진실험을 설계하는 데 요구되는 정보가 식별된다. 요구된 정보를 제공하는 응답을 도출하는 질문이 사용자에게 제시된다. 요구된 정보는 사용자로부터 수신된 응답으로부터 추출된다. 진실험은 요구된 정보를 기초로 설계된다.

컴퓨터-구현 방법, 컴퓨터-판독가능 매체, 컨텐츠, 진실험, 독립 변수, 종속 변수, 사용자 응답

Description

실험 설계 전문가 시스템{EXPERT SYSTEM FOR DESIGNING EXPERIMENTS}

본 발명은 진실험(true experiment)을 설계하는 전문가 시스템에 관한 것이다.

실험은 전형적으로 2개 이상의 변수들 사이에 관계가 있는지를 경험적으로 판정하기 위해 수행된다. 실험은 하나 이상의 독립 변수와 하나 이상의 종속 변수 사이에 관계가 있는 것으로 가정하는 하나 이상의 가설의 형성으로 시작할 수 있다. 예를 들어, 제약 회사의 연구원은 환자가 복용하는 신약의 양이 환자의 혈압과 관련될 것이라는 가설을 체계화할 수 있다. 독립 변수는 실험 동안에 실험자에 의해 정의 또는 조작되는 변수(예를 들어, 환자에게 투여되는 약의 양 및/또는 횟수)이다. 종속 변수는 독립 변수의 값에 의해 예측되는 것으로 가정되는 변수(예컨대, 환자의 혈압)이다. 그러면, 실험자는 독립 변수와 종속 변수 사이에 실제로 관계가 있는지(예를 들어, 환자가 받는 약의 양이 조제 실험에서 환자의 혈압과 관계가 있는지)를 판정하기 위해 실험을 수행한다.

혼란 변수들(독립 변수의 수준에 따라 체계적으로 변할 수 있는 것들)이 또한 종속 변수에 영향을 줄 수 있다. 이들 혼란 변수는 실험에서 주요 관심사는 아니지만, 종속 변수에 영향을 줄 수 있고 따라서 독립 변수와 종속 변수 사이의 정 확한 인과 관계를 애매하게 할 수 있다. 실험자는 독립 변수와 종속 변수 사이의 인과 관계를 이해하고자 하지만, 이들 혼란 변수로 인해 실험의 결과가 해석 불가능해질 수 있다. 혼란 변수의 일부 예로는, 예컨대 위에서 설명한 조제 실험에서 시험 대상의 체질량(body mass)과 같이 독립 변수의 수준에 따라 체계적으로 변할 수 있는 호손 효과(Hawthorne effect), 순서 효과(order effect)/이월 효과(carry over effect), 수요 특징(demand characteristics), 및/또는 기타 인자를 들 수 있다. 혼란 변수는 어느 인자(변수)가 종속 변수(들)에서의 관찰된 변화를 야기했는지를 알아내는 것을 어렵게 하거나 불가능하게 한다. 따라서, 실험 동안에 부적절하게 제어되는 혼란 변수의 존재는 독립 변수와 종속 변수 간의 인과 관계에 관한 통계적 추론을 하는 것을 어렵게 하거나 불가능하게 한다. 다양한 유형의 실험이 혼란 변수의 효과를 감소 또는 제거할 수 있는 방식과 정도에 의해 구분될 수 있다. "진실험"(true experiment)이라는 용어는 이하의 경우의 실험을 말한다.

1. 독립 변수의 수준이 적어도 2개 존재한다.

2. 독립 변수의 수준들에 샘플이 무작위로 할당된다.

3. 혼란을 제어하거나 제거할 소정의 방법이 존재한다.

상기한 3가지 특성 중 어느 것이라도 없는 실험은 진실험이 아니며, 흔히 준실험(quasi-experiment) 또는 상관관계 연구(correlational studies)라고 한다. 실험이라는 용어가 상기의 3가지 특성 중 어느 것이라도 없는 연구를 설명하는 데 이용되더라도, 실험 설계의 당업자는 이들 연구가 실제로 준실험 또는 상관관계 연구임을 인식할 것이다. 진실험만이 독립 변수와 종속 변수 간의 인과 관계에 관하 여 통계적 추론이 도출되게 할 수 있다. 준실험 및 상관관계 설계는 독립 변수와 종속 변수 간의 관계가 설정될 수 있게 해줄 수는 있지만, 그 관계가 인과 관계인지를 판정하는 것은 가능하지 않다. 다양한 유형의 실험 설계(진실험을 포함함)에 대해, 예를 들어 문헌[Campbell, D. T., & Stanley, J. C. (1963) Experimental and quasi-experimental designs for research, Chicago: Rand McNally]에 기술되어 있다. 진실험만이 혼란 변수에 의해 영향을 받지 않는 결과를 전달하고, 그리고 인과 관계의 방향 및 세기를 경험적으로 판정할 수 있다. 그러나, 혼란 변수를 적절히 제어 또는 제거하는 진실험을 설계하는 것의 복잡도가 상당할 수 있다. 수동으로 행해진 진실험은 시간, 자원, 통계적 전문지식, 및 과학적인 방법에 관한 깊은 지식을 필요로 하며, 이는 오늘날의 폭넓은 이용을 종종 방해한다.

충분한 정도의 내적 및 외적 타당성(internal and external validity)을 갖는 실험을 설계하는 것이 바람직하다. 내적 타당성은 종속 변수의 임의의 변화가 독립 변수에 의해서만 생겼고 어떤 외부의 또는 제어되지 않은 변수에 기인하지 않는다는 결론을 내릴 수 있는 신뢰도를 말한다. 예를 들어, 대조 그룹이 플라시보 알약(placebo pill)을 먹는 혈압 약 실험이 대조 그룹에 플라시보가 제공되지 않는 실험보다 (플라시보를 주지 않는다면, 종속 변수(혈압)의 수준이 알약을 먹는 행동에 의해 생길 수 있었거나 또는 약의 실제 화학 혼합물에 의해 야기될 수 있었기 때문에) 내부적으로 더 타당성이 있다. 외적 타당성은 실험의 결과가 일반화되거나 양도될 수 있는(transferable) 정도를 말한다. 예를 들어, 결과가 모든 사람들에게 일반화될 수 있는 혈압 약 실험은 결과가 심장 마비를 이미 겪은 사람들에게만 일반화될 수 있는 실험보다 외부적으로 더 타당성이 있다. 충분한 내적 및 외적 타당성을 갖는 진실험을 설계하는 것은 통계적 및 실험적 설계 원리에 대한 제한적인 지식만을 가진 조사자에게는 두려울 수 있다. 본 명세서에 설명된 전문가 시스템은 기본적인 진실험 설계 이론에 대한 폭넓은 지식을 요구하지 않고서도 실험을 설계하기 위한 도구를 조사자에게 제공한다. 이 전문가 시스템은 또한 조사자가 실험을 행하고, 데이터를 수집하고, 데이터를 통계적으로 분석하고, 실험의 결과를 해석하는 것을 돕는다.

본 발명은 진실험을 설계하고, 그 실험을 행하고, 데이터를 수집하고, 그 데이터를 통계적으로 분석하고, 실험 결과를 해석하는 전문가 시스템에 관한 것이다. 본 발명의 일 실시예는 디지털 사인 컨텐츠(digital signage content)를 평가하는 진실험을 설계하는 컴퓨터-구현 방법을 포함한다. 디지털 사인 컨텐츠를 평가하는 진실험을 설계하는 데 요구되는 정보가 식별된다. 요구된 정보를 제공하는 응답을 도출하는 질문이 사용자에게 제시된다. 응답이 수신되고, 요구된 정보가 이 응답으로부터 추출된다. 진실험은 사용자 응답으로부터 추출된 요구된 정보를 기초로 설계된다.

본 발명의 다른 실시예는 컴퓨터-구현 방법에 관한 것이다. 이 방법은 진실험을 설계하는 데 요구되는 정보를 식별하는 것을 포함한다. 요구된 정보를 제공하는 응답을 도출하는 질문이 사용자에게 제시된다. 요구된 정보는 사용자로부터 수신된 응답으로부터 추출된다. 진실험은 요구된 정보를 기초로 설계된다.

본 발명의 또 다른 실시예는 시스템에 관한 것이다. 이 시스템은 질문을 사용자에게 제시하고 질문에 대한 사용자 응답을 수신하도록 구성된 사용자 인터페이스를 포함한다. 이 시스템은 또한 사용자 인터페이스에 연결된 실험 설계 프로세서를 포함한다. 실험 설계 프로세서는 진실험을 수행하는 데 요구되는 정보를 식별하고, 요구된 정보를 제공하는 응답을 사용자로부터 도출하는 질문을 발생하고, 사용자 응답으로부터 요구된 정보를 추출하고, 요구된 정보를 이용하여 진실험을 설계하도록 구성된다.

본 발명의 다른 실시예는, 진실험을 설계하는 데 요구되는 정보를 식별하는 단계, 요구된 정보를 제공하는 응답을 도출하는 질문을 사용자에게 제시하는 단계, 사용자로부터 질문에 대한 응답을 수신하는 단계, 사용자 응답으로부터 요구된 정보를 추출하는 단계, 및 사용자 응답으로부터 추출된 요구된 정보를 기초로 진실험을 설계하는 단계를 포함하는 단계들을 수행하기 위해 컴퓨팅 장치에 의해 실행 가능한 명령을 저장하고 있는 컴퓨터-판독가능 매체에 관한 것이다.

본 발명의 상기 개요는 본 발명의 각각의 실시예 또는 모든 구현예를 설명하고자 하는 것은 아니다. 본 발명의 보다 완전한 이해와 더불어 이점 및 효과는 첨부 도면과 관련하여 취해진 이하의 상세한 설명 및 청구의 범위를 참조함으로써 명백해지고 이해될 것이다.

도 1A는 본 발명의 실시예들에 따른 전문가 시스템의 컴포넌트를 도시한 도면.

도 1B는 본 발명의 실시예들에 따라 진실험을 설계하기 위한 설계 프로세서 및 사용자 인터페이스에 의해 구현되는 프로세스를 나타낸 다이아그램.

도 1C는 진실험의 요소들을 도시한 도면.

도 1D는 본 발명의 실시예들에 따라 진실험을 설계하고, 그 실험을 행하고, 실험 데이터를 분석하고/하거나 진실험의 결과를 해석하도록 구성된 시스템을 도시한 블록 다이아그램.

도 2A 내지 도 2E는 본 발명의 실시예들에 따라 실험 설계 프로세서에 의해 구현될 수 있는 프로세스들의 개요를 제공하는 다이아그램.

도 3A내지 도 3P는 본 발명의 실시예들에 따라 진실험을 설계하는 데 이용되는 프로세스들 중 일부에 대해 사용자에게 제공될 수 있는 질문을 도시한 디스플레이 화면의 스크린 샷(screen shots).

도 4A는 본 발명의 실시예들에 따라 디지털 사인 컨텐츠의 유효성을 시험하기 위해 진실험을 설계하는 능력을 포함할 수 있는 디지털 사인 시스템의 블록 다이아그램.

도 4B는 본 발명의 실시예들에 따라 디지털 사인 컨텐츠를 평가하기 위해 진실험을 설계하고, 행하고, 그리고 분석하도록 구성된 시스템을 도시한 도면.

본 발명은 다양한 변형 및 대안적인 형태를 따를 수 있지만, 그 특정 형태가 예로서 도면에 도시되었으며 상세히 설명될 것이다. 그러나, 본 발명을 설명되는 특정 실시예로 한정하고자 의도한 것이 아님을 이해해야 한다. 오히려, 본 발명은 청구의 범위에 의해 한정되는 발명의 범주 내에 포함되는 모든 변형, 등가물 및 대 안을 포함하고자 한다.

예시된 실시예의 하기의 설명에서, 본 명세서의 일부를 구성하며 본 발명이 실시될 수 있는 다양한 실시예가 예로서 도시된 첨부 도면을 참조한다. 본 발명의 범주로부터 벗어남이 없이 실시예들이 이용될 수도 있으며 구조적 변경이 이루어질 수도 있음을 이해하여야 한다.

본 발명의 실시예들은 사용자로부터의 입력에 기초하여 진실험을 설계하도록 구성된 전문가 전산 시스템에 관한 것이다. 전산 시스템은 또한 사용자가 데이터를 수집하는 것, 데이터를 통계적으로 분석하는 것, 실험의 결과를 해석 및 보고하는 것을 비롯하여 진실험을 행하는 것과 관련된 단계들 중 하나 이상을 수행하는 것을 자동적으로 또는 반자동적으로 도울 수 있다. 전문가 시스템의 사용자는 실험 설계의 기본적인 이론에 대해, 통계적/수학적 또는 알고리즘적 프로세스에 대해, 또는 과학적인 방법에 대해 깊이 있게 알 필요가 없다.

전문가 시스템은, 사용자에게 제시되는 일련의 질문을 통해, 진실험을 설계하기 위해 정보를 제공하는 응답을 사용자로부터 도출한다. 여러 실시예에서, 실험 데이터는 수동으로 (시스템 발생 형태로) 입력될 수 있고, 또는 반자동으로 또는 완전 자동으로 수집될 수 있다. 일부 실시예에서, 시스템은 자동으로 독립 변수의 수준을 조작하고 샘플을 독립 변수의 수준에 할당하는 한편, 다른 실시예들에서, 시스템은 사용자에 의한 독립 변수 조작 및 샘플 할당을 위한 프로토콜(protocol)을 제공할 것이다. 사용자는 실험 설계 분야에 익숙하지 않을 수 있 고, 진실험을 설계하고, 그 실험을 행하고, 실험 결과를 분석하는 방법을 알 필요가 없다. 전문가 시스템은 예컨대 사용자가 가설을 시험하기를 원하는 것 외에는 실험 설계 및 분석의 분야에 관한 특정 지식을 갖지 않아도 되게 한다. 사용자는 전문가 시스템이 사용자 입력에 기초하여 사용자를 위해 실험을 설계할 수 있도록 하는 정보를 전문가 시스템에 제공한다. 진실험을 설계한 후, 전문가 시스템은 또한 데이터를 수집하고, 데이터를 통계적으로 분석하고, 실험의 결과를 해석하는 것을 비롯하여 진실험을 행하는 프로세스에서 하나 이상의 단계들을 도울 수 있다. 이러한 구성에서, 전문가 시스템은 전자 소스로부터의 데이터를 자동으로 분석함으로써, 예컨대 실험 조건에 따라 판매 데이터를 수동 또는 자동으로 구성함으로써, 외부 시스템 제어를 통해, 예컨대 어떤 전자 사인이 특정 컨텐츠를 보여주는지에 대해 실험을 자동으로 행할 수 있다.

실험 설계에 필수적인 각종 개념에 관한 지식을 사용자가 이해할 필요는 없다. 이들 개념은 전문 용어 및 수학적 단위들이 사용자의 지식 기반(knowledge base)에 일치하도록 사용자에게 제시된다. 전문가 시스템은 추상적이고 영역 일반적인 통계 개념을 사용자가 알고 있고 이해하는 영역의 의미론적으로 의미 있는 언어 및 데이터로 변환할 수 있다. 예를 들어, 전문가 시스템은 실험에 대한 샘플 크기 요건을 계산하기 위해 통계적 파워 분석(statistical power analysis)을 행할 수 있으나, 파워 분석의 출력을 샘플 크기(예컨대, 680 샘플)로 간단히 보고하는 대신에 시스템이 파워 분석 결과를 특정 샘플 크기 요건(예컨대, 8일의 영업일)이 주어진 경우 실험을 행하는 데 걸리는 시간의 양으로서 보고할 수 있다. 전문가 시스템은, 비숙련 사용자가 결정을 행할 수 있는 방식으로 데이터를 제시하는 것을 목표로 하여 통계 출력으로부터의 데이터를 비즈니스 정보 및/또는 기준(metrics)으로 자동 변환, 예컨대 Z 스코어(Z scores)를 달러 또는 시간으로, 샘플 크기 요건 및/또는 이월 효과 제거(carry over effect elimination)를 실험을 실행하는 데 필요한 시간으로 자동 변환할 수 있다.

시스템이 이용하는 전문 용어 및 수학적 단위는 사용자 숙련도(sophistication)의 선택적 수준에 대응할 수 있다. 예를 들어, 하나의 선택적 구성에서, 사용자는 전문가 시스템에 의해 처리되는 개념에 관해 비교적 익숙할 수 있고, 이들 개념은 사용자의 지식 수준에 대응하는 전문 용어 및 수학적 계산으로 표현될 수 있다. 예를 들어, 이러한 구성에서, 사용자는 "이 변수가 연속적인가 아니면 이산적인가?"와 같은 질문을 받는다. 다른 선택적 구성에서, 사용자는 전문가 시스템에 의해 처리되는 개념에 익숙하지 않을 수 있다. 비숙련 사용자를 위해, 전문가 시스템은 사용자가 익숙하지 않은 기술 용어를 사용하지 않고서 일련의 질문으로 사용자를 안내하여 정보를 결정하게 할 수 있다. 이러한 구성에서, 사용자는 전문가 시스템에 의해 처리되는 개념의 다음의 예를 이용하는 방법에 관해 알거나 이해할 필요가 없다:

독립 변수 - 실험자에 의해 조작되는 변수.

종속 변수 - 실험자에 의해 측정되는 변수.

혼란(Confound) - 독립 변수의 수준에 따라 체계적으로 달라질 수 있는 임의의 인자.

무작위 추출(Randomization) - 시험 샘플 선택 및 독립 변수의 수준으로의 샘플 할당을 무작위 추출하는 프로세스.

무작위 선택의 목적: 무작위 선택은 실험의 외적 타당성에 중요하다. 실험의 결과가 샘플들이 수집되는 모집단에 일반화될 수 있을 뿐이라는 사실로 인해, 무작위 선택은 실험의 결과가 편향적(즉, 작위적) 형식으로 샘플링된 모집단의 일부 서브 세트(sub-set)가 아닌, 샘플들이 수집된 전체 모집단에 일반화될 수 있다는 것을 보장한다. 예를 들어, 혈압 약 실험의 모든 대상이 우울증 때문에 이미 입원하여 실험에 포함되기 쉬웠기 때문에 선택된 35세 내지 40세의 남자라면, 모집단의 나머지(예컨대, 65세 초과의 여자)에 실험의 결과를 일반화할 수 없을 것이다. 이러한 실험은 미국 내의 모든 사람들로부터 무작위로 선택되는 실험보다 외적 타당성이 더 낮다.

무작위 할당의 목적: 무작위 할당은 실험의 내적 타당성에 중요하다. 무작위 할당은 종속 변수값에서 발견되는 임의의 효과가 독립 변수의 수준에 샘플들이 할당되는 체계적 변동에 기인하지 않는다는 것을 보장한다. 예를 들어, 플라시보 또는 알약을 먹도록 샘플들이 무작위로 할당되는 혈압 약 실험은 뉴욕에서 온 모든 대상에 플라시보를 제공하고 샌프란시스코로부터 온 모든 대상에는 약을 제공하는 실험보다 내적으로 타당성이 있다. 무작위 할당의 하나의 주 목적은, 혼란이 없는 경우 P-값은 발견된 임의의 효과가 독립 변수의 수준 대 무작위 변동에 기인할 확률을 나타낸다는 것에 유의해야 한다. P-값이 하나 이상의 기본적인 분포로부터 샘플링할 확률을 단순히 나타내는 준실험 또는 상관 설계의 경우에는 그렇지 않다. 즉, 진실험에서 P-값은 2개의 평균값, 즉 X 및 Y가 서로 다를 확률을 나타내고 그리고 X 및 Y는 Z 때문에 (즉, Z에 의해 초래되어) 서로 다르다는 점을 나타내는 반면에, 상관 연구에서 P-값은 평균값 X 및 Y가 서로 다르다는 정보만을 단지 제공하고 평균값 X 및 Y가 서로 다른 이유에 관한 정보는 제공하지 않는다(즉, P-값은 Z가 X와 Y 사이의 차를 초래하였는지를 나타내지 않는다).

반복 실험(Replication) - 설계와 연관된 고유한 또는 실험적 변동성이 추정될 수 있도록 일정 실험에서 실험 조건을 무작위로 반복하는 것. 이는 통계적 유의성(statistical significance)을 평가하기 위한 p-값 계산을 가능하게 한다.

블록화(blocking) - 서로 유사한 그룹들 (블록들) 내의 실험 유닛들의 배열.

측정 척도(scales of measurement) - 변수가 명목(nominal), 순위(ordinal), 또는 간격(interval) 변수인지의 여부.

파워 분석(Power analysis) - 주어진 크기의 효과, 신뢰도 간격의 폭, 및 타입 II 오류(Type II error)를 범할 확률(귀무 가설이 거짓일 때 귀무 가설을 기각하지 않을 확률)을 발견하기 위한 샘플 크기 요건을 결정하는 방법.

균형화(Balancing) - IV 및 대응하는 상호작용의 각각이 서로 독립적인 것을 보장하는 방법.

역균형화(Counterbalancing) - 처치 제시(treatment presentation)의 모든 순서를 포함하거나 또는 각각의 대상에 대한 순서를 무작위로 결정함으로써 반복 측정 설계(repeated measures design)에서의 순서 효과를 제어하는 방법.

기술 통계(Descriptive statistics) - 데이터를 구성 및 요약하는 방법.

추론 통계(Inferential statistics) - 특별한 실험 발견의 신뢰성 및 일반화 가능성(generalizability)을 결정하는 절차.

후술되는 각종 실시예에 따르면, 사용자를 상기 개념의 적절한 이용으로 안내하는 방법 및 장치에 대해 설명한다.

일 실시예에 따른 전문가 시스템의 컴포넌트가 도 1A에 도시되어 있다. 전문가 시스템은, 다른 컴포넌트들 중에서도, 중앙 처리 장치(CPU; 105) 및 메모리(106)를 포함하는 각종 하드웨어 컴포넌트를 가진 설계 프로세서(110)를 포함한다. 메모리(106)는 실험을 설계하기 위한 프로세스를 제어하는 컴퓨터 명령을 저장하고, 실험 설계에 필요한 사용자로부터의 획득 정보를 저장한다. 소프트웨어의 제어 하에서, CPU(105)는 사용자로부터 정보를 도출하기 위해 알고리즘을 이용하여 질문을 선택 또는 발생한다. 이 질문은 설계 프로세서(110)에 연결된 사용자 인터페이스(120)의 출력 장치를 통해 사용자에게 제시된다. 예를 들어, 사용자 인터페이스(120)는 질문을 사용자에게 제시하기 위한 액정 디스플레이(LCD) 또는 다른 유형의 디스플레이 장치와 같은 디스플레이 장치를 전형적으로 포함한다. 사용자 인터페이스(120)는 또한 손가락 또는 스타일러스 터치에 응답하는 터치 스크린, 마우스, 키보드, 음성 인식, 또는 다른 유형의 입력 장치와 같은 하나 이상의 입력 장치를 포함한다. 사용자는 사용자 인터페이스의 하나 이상의 입력 장치(들)를 통해 질문에 대한 응답을 입력한다. 설계 프로세서(110)는 실험 설계와 독립 및 종속 변수의 특성에 기초하여 실험에 대한 적절한 기술 및 추론 통계를 결정할 수 있다.

도 1B의 다이아그램은 본 발명의 실시예들에 따라 진실험을 설계하기 위한 설계 프로세서 및 사용자 인터페이스에 의해 구현되는 프로세스를 나타낸다. 설계 프로세서는 진실험을 설계하는 데 요구되는 정보를 식별하고(140), 요구되는 정보를 제공하는 응답을 사용자로부터 도출하는 일련의 질문을 선택 또는 발생한다. 질문은 사용자 인터페이스를 통해 사용자에 제시된다(150). 질문에 대한 사용자 응답은 사용자 인터페이스를 통해 수신되고(160), 설계 프로세서에 전송된다. 설계 프로세서는 사용자 응답으로부터 정보를 추출하고(170), 이 정보에 기초하여 진실험을 설계한다(180). 전문가 시스템은 다른 단계들에 관련된 특정 단계들에서 정보를 수집하는 능력을 가진다. 예를 들어, 종속 변수가 단계 X에서 연속적이라는 지식은 특별한 유형의 통계 분석이 단계 Y에서 이용되어야 함을 의미한다. 시스템은 후속 단계들을 완료하기 위해 이전 단계들로부터의 데이터를 이용한다. 예를 들어, 데이터가 이미 획득된 경우, 시스템은 동일한 정보를 다시 사용자에게 요청하지 않을 것이다. 사용자는 정보가 양 단계들과 관련되어 있다는 것을 알 필요가 없다. 데이터가 이전 단계들로부터 이용 가능하지 않은 경우에는, 시스템은 필요한 데이터를 사용자에게 요청할 것이다.

진실험의 요소들이 도 1C에 도시되어 있다. 진실험은 가설 또는 목적의 개발을 포함한다. 종속 변수 및 독립 변수가 식별되고, 하나 이상의 독립 변수의 적어도 2개의 수준이 이용된다. 대조 그룹 및 처치 그룹이 형성되고 샘플들이 독립 변수의 수준에 무작위로 할당된다. 혼란 변수를 제어하거나 제거하는 소정 종류의 방법이 존재한다. 예를 들어, 디지털 사인 실험에서, 시스템은 1) 컨텐츠의 부분들이 네트워크에 걸친 위치에서 보이는 순서를 균형화 및 역균형화함으로써, 및/또는 2) 실험 컨텐츠의 2개의 부분들이 상점 내에서 시청자(viewer)들이 컨텐츠의 두 부분들을 볼 수 있는 시간 블록(block of time) 내에서 보이지 않는 것을 보장함으로써, 및/또는 3) 컨텐츠 변경시 상점에 있었던 가능한 시청자들의 적어도 95%가 상점을 떠나도록 상기 컨텐츠가 실험 컨텐츠의 한 버전과 실험 컨텐츠의 다른 버전 사이에서 스위칭되는 사이에 데이터가 수집되기 전에 충분한 시간이 경과하는 것을 보장함으로써, 이월 효과를 제어하는 프로세스를 통해 사용자를 안내할 것이다. 이들 요소 모두가 적절하게 적용되면, 실험은 종속 변수와 독립 변수 간의 관계에 관한 통계적 추론을 하는 데 이용될 수 있는 결과를 산출한다. 본 명세서에 기술된 전문가 시스템은 진실험 설계의 복잡성에 익숙하지 않은 사용자가 실질적으로 혼란이 없는 결과를 산출하는 실험을 설계할 수 있게 해주고 독립 변수와 종속 변수 간의 임의의 인과 관계를 판정 및 정량화하는 데 사용될 수 있다.

본 발명의 실시예들은 사용자 입력에 기초하여 진실험을 설계하는 능력을 가진 전문가 시스템에 관한 것이다. 이전에 언급한 바와 같이, 전문가 시스템을 사용하면 사용자는 실험 설계 이론 또는 실무에 기초(foundation)가 없어도 된다. 진실험은 독립 변수의 수준을 적어도 2개 갖는다. 전문가 시스템은 실험에 대한 독립 변수 및 종속 변수를 선택하는 데 요구되는 정보를 사용자로부터 도출한다. 예를 들어, 디지털 사인 실험에서, 전문가 시스템은 사용자에게 하기의 질문, 예컨대 "컨텐츠 X(여기서, X는 사용자가 실험적으로 평가하기를 원하는 컨텐츠의 임의의 부분)가 유효하다면, 컨텐츠 X를 보여준 결과 세상에서 일어날 것으로 기대되는 변화가 무엇인지?"를 묻는다. 시스템은 다수의 가능한 변화를 제공할 것이다. 예를 들어, 특별한 제품의 판매가 증가할 것이고, 상점 내의 특별한 위치의 보행 통행량(foot traffic)이 증가할 것이며, 소비자들은 특별한 제품의 특징에 관하여 직원에게 문의할 것이고, 소비자는 선반으로부터 특별한 제품을 고를 것이고, 그리고 시스템의 저장된 가능한 변화들의 세트에 포함되지 않은 기타 다른 변화를 제공할 것이다. 당업자는 이들 가능한 "세상에서의 변화"의 각각은 컨텐츠 X의 유효성을 시험하도록 설계된 실험에서 측정될 수 있는 가능한 종속 변수에 대응함을 이해할 것이다. 마찬가지로, 전문가 시스템은 약 연구에서 플라시보와 유사한 대조 컨텐츠를 고르는 프로세스를 통해 사용자를 안내할 수 있다. 예를 들어, 전문가 시스템은 컨텐츠 X의 목표에 어떤 방식으로든 관련되지 않은 컨텐츠를 식별할 것을 사용자에게 요청한다. 내적 타당성에 대한 위협과 관련하여, 전문가 시스템은, 일련의 질문 및 사용자 응답을 통해, 내적 타당성에 대한 위협을 식별하고, 예컨대 균형화, 역균형화 및/또는 블록화, 및/또는 무작위 추출을 통해 이들 위협을 제어하는 프로세스를 개시할 수 있다. 전문가 시스템은, 사용자 입력에 기초하여, 실험에서의 각각의 샘플이 독립 변수의 수준에 할당될 가능성이 동일하도록 샘플을 그룹에 무작위로 할당하는 프로세스를 구현할 수 있다. 전문가 시스템은 또한 무작위 추출, 역균형화 및/또는 블록화를 포함하는 실험을 설계할 수 있다. 시스템은 사용자가 독립 변수 또는 독립 변수의 수준을 선택하는 것을 도울 수 있고, 사용자가 실험의 내적 및/또는 외적 타당성과 연관된 인자에 기초하여 종속 변수를 선택하는 것을 돕는다. 예를 들어, 시스템은 독립 변수 및 종속 변수의 각종 조합에 대해 파워 분석을 행하는 데 필요한 정보를 얻을 수 있고, 사용자가 이해하는 영역 특정 용어들 및 값들에 대한 각종 파워 분석의 결과를 사용자에게 제공할 수 있다("컨텐츠의 이 부분의 유효성을 측정하기 위해 판매 데이터를 이용하는 것은 8 주 및 $1400의 비용을 필요로 하나, 센서 데이터의 이용은 2 주 및 $800의 비용을 필요로 한다).

일부 구성들에서, 진실험 설계 이외에, 전문가 시스템은 사용자가 진실험을 행하는 것, 데이터를 수집하는 것, 데이터를 통계적으로 분석하는 것, 실험 결과를 해석하는 것 중 하나 이상을 수행하는 것을 도울 수 있다. 실험을 행하고, 분석하고, 해석하는 능력을 포함하는 전문가 시스템의 일 실시예가 도 1D에 도시되어 있다. 이전에 설명된 실험 설계 프로세서(110) 및 사용자 인터페이스(120) 이외에, 전문가 시스템은 실험의 실행을 자동 또는 반자동으로 제어하도록 구성된 실험 제어 프로세서(135)를 또한 포함할 수 있다. 실험 데이터를 분석하고 및/또는 실험의 결과를 해석하도록 구성된 실험 분석 프로세서(145)가 또한 포함될 수 있다. 제어 프로세서(135) 및 분석 프로세서(145)의 기능은 실험이 설계 프로세서(110)에 의해 어떻게 설계되는가에 관한 지식을 통해 개선된다.

예를 들어, 분석 프로세서(145)는 독립 변수 및 종속 변수에 관한 정보(예컨대, 독립 변수(IV)와 종속 변수(DV)가 연속적인지 아니면 이산적인지)를 수신하므로, 분석 프로세서(145)는 실험으로부터 데이터에 적용할 적절한 통계 시험을 선택하는 데 필요한 많은 정보를 가질 것이다. 예를 들어, 2개의 이산 수준을 가진 하나의 IV 및 하나의 연속적인 DV가 있다면 T-시험은 추론 통계 시험를 위해 분석 프로세서(145)에 의해 선택될 수 있는 반면에, 2개의 이산 수준을 가진 하나의 IV 및 2개의 이산 수준을 가진 하나의 DV가 있다면 카이 제곱(Chi-Squared) 시험이 추론 통계 시험을 위해 이용될 수 있다. 마찬가지로, 분석 프로세서(145)는 어떤 실험 조건이 특별한 가설의 진단에 쓰이는지에 관한 정보를 설계 프로세서(110)로부터 액세스할 수 있으므로, 분석 프로세서(145)는 어떤 실험 및 통제 조건이 통계적으로 비교되어 사용자에게 보고되어야 하는지를 결정하는 데 필요한 대부분의 또는 모든 정보를 가지게 될 것이다.

본 명세서에 설명된 실험 설계에 대한 컴퓨터 기반 접근법은 전산화된 디지털 사인 정보 시스템을 포함한다. 그러나, 본 발명은 통신 시스템 분야 또는 디지털 사인으로 한정되지 않는다. 본 발명의 접근법은 관심 분야에 상관 없이 진실험을 설계하는 데에 적용될 수 있다. 예를 들어, 본 명세서에 설명된 방법 및 시스템은 생물학, 화학, 언어학, 의학, 인지 과학, 사회 과학, 교육, 경제학 및/또는 다른 과학 분야에 관련된 실험뿐만 아니라, 인쇄 매체, 디지털 사인 및/또는 인터넷 전달 광고와 같은 임의의 종류의 디지털 전달 메시징(messaging)을 포함하지만 이로 한정되지는 않는 많은 대상 영역을 위한 실험 설계에 적용될 수 있다.

디지털 사인 컨텐츠를 평가하는 실험을 설계하도록 구성된 전문가 시스템의 맥락에서 예들이 설명된다. 이해되는 바와 같이, 전문가 시스템은 다른 유형의 컨텐츠를 평가하도록 대안적으로 또는 추가적으로 프로그래밍될 수 있거나, 또는 컨텐츠 평가 실험 외의 실험을 설계하도록 프로그래밍될 수 있다. 후술되는 전문가 시스템 예는 독자(reader)가 일반적으로 과학적인 연구의 모든 분야에 걸친 본 발명의 원리의 이해를 발전시키는 것을 가능하게 한다.

도 2A 내지 도 2E에 도시된 흐름도는 본 발명의 실시예들에 따라 설계 프로세서(110) (도 1A 및 도 1D)에 의해 구현될 수 있는 프로세스의 개요를 제공한다. 이 흐름도는 본 발명의 각종 실시예에 따라 사용자로 하여금 필요한 정보를 제공하도록 함으로써 전문가 시스템에 의해 구현될 수 있는 진실험의 설계에 있어서의 단계들을 도시한다. 전문가 시스템은 질문을 사용자에게 제시함으로써 사용자로 하여금 정보를 공급하게 한다. 전문가 시스템은 사용자 응답을 수신하고 사용자 응답으로부터 실험에 필요한 정보를 추출한다. 도 3A내지 도 3P는 도 2A내지 도 2E의 흐름도에 나타낸 프로세스들 중 일부를 위해 사용자에게 제시될 수 있는 질문을 보여주는 디스플레이 화면의 스크린 샷이다. 스크린 샷의 예는 디지털 사인 컨텐츠와 호텔의 커피숍에서의 판매 사이의 인과 관계를 시험 및 측정하기 위해 실험에 대응하는 질문을 제시한다. 각종 광고는 각종 위치에 위치된 디지털 디스플레이 상으로 제시된다. 이러한 예는 진실험을 설계할 때 전문가 시스템에 의해 구현될 수 있는 프로세스를 예시하는 데 이용된다. 당업자는 커피숍 실험을 설계하기 위한 이러한 예시적인 프로세스가 관심 있는 특별한 실험을 설계하는 데 필요한 정보를 획득하기 위해 질문을 사용자에 제시함으로써 임의의 실험으로 추정(extrapolate)될 수 있음을 알 것이다.

도 2A에 도시된 바와 같이, 진실험을 설계하기 위해 전문가 시스템이 이용하는 프로세스는 조작적(operational) 가설을 발전시키는 것(202), 및 독립 변수 및 종속 변수가 이산적인지 아니면 연속적인지 그리고 어떤 IV 수준이 시험되어야 하는지를 비롯하여 실험의 독립 변수 및 종속 변수를 식별하는 것(204)을 포함한다. 사용자로부터 입력을 이용하여, 전문가 시스템은 혼란 변수 및 장애 변수를 식별하고(206), 실험을 행하기 위해 실험 및 대조 컨텐츠가 디지털 디스플레이에 걸쳐 보여지는 스케줄을 결정한다(208).

도 2B는 실험 변수를 식별하는 것(204)과 연관된 여러 선택적인 프로세스를 보다 상세하게 도시한다. 전문가 시스템은 가능한 종속 변수 및 독립 변수를 식별(210)하기 위한 정보를 얻을 수 있고, 파워 분석이 수행될 수 있도록 사용자로부터 정보를 획득(212)할 수 있다. 전문가 시스템은 대조 컨텐츠를 선택하기 위한 프로세스를 통해 사용자를 도울 수 있고(214), 디지털 사인에 관련하여 디지털 사인 네트워크에 걸쳐 컨텐츠를 디스플레이하기 위한 스케줄을 포함하는 실험 프로토콜에 관한 정보를 사용자로부터 획득할 수 있다(216). 스케줄은 디지털 사인 네트워크에 걸쳐 컨텐츠가 플레이되는 위치 및 시간을 포함한다.

도 2C는 파워 분석을 수행하기 위해 정보를 획득(212)하는 프로세스를 보다 상세하게 도시한다. 파워 분석은 전문가 시스템으로 하여금 주어진 크기의 효과를 실험에서 검출할 확률을 결정할 수 있게 한다. 이러한 단계 동안에 획득된 정보는 실험이 미리 지정된 양의 통계 파워를 갖는 데에 필요한 샘플 크기를 결정하기 위해 또한 이용될 수 있다. 파워 분석은 존재하는 다른 두 파라미터로부터 제공되지 않는 3개의 파라미터들 중 한 파라미터에 대해 해결한다. 파워 분석을 위한 파라미터는 샘플 크기, 파워, 효과 크기이다. 전문가 시스템은 사용자로 하여금 가장 관심을 갖는 파라미터를 선택하게 하고 실험 설계를 최적화하는 것을 도울 수 있다. 예를 들어, 사용자가 파라미터가 X보다 크지 않다면 효과에 관심이 없다고 말 하는 경우, 파워 분석은 실험이 적어도 X만큼 큰 효과를 얻기에 충분한 파워를 갖도록 행해진다.

파워 분석은 다음의 정보, 즉 귀무 가설 하의 평균값(222), 시험 가설 하의 평균값(224), 표준 편차(226), 및 샘플 크기(228)의 추정을 필요로 한다. 이들 파라미터는 도 3에 보다 상세하게 도시된 바와 같이 사용자에게 제시되는 일련의 간단한 질문을 통해 추정된다. 표준 편차가 알려지지 않은 경우, 히스토리 데이터(historical data)는 추정에 대한 기초를 제공할 수 있다. 히스토리 데이터가 없으면, 상당히 양호한 근사화는 종속 변수의 최대값 - 종속 변수의 최소값을 이용하고 이 차를 4로 나누는 것일 수 있다(이는 표준 편차의 보수적 추정(conservative estimate)을 제공한다).

도 2D는 혼란 및 장애 변수를 식별(206)하기 위한 여러 선택적인 프로세스를 보다 상세하게 도시한다. 혼란 변수는 독립 변수의 수준에 따라 체계적으로 변하는 임의의 변수이다. 예를 들어, 대조 컨텐츠의 한 부분이 증가한 테러 위협 수준을 경고하는 컨텐츠의 일 부분을 항상 선행하는 반면 실험 컨텐츠의 한 부분이 편안한 침대 광고를 항상 선행하면, 대조 또는 실험 컨텐츠가 플레이되고 있을 때 커피숍에서의 판매 차이는 대조 대 실험 컨텐츠의 차이에 기인할 수 있고 또는 실험 및 대조 컨텐츠의 각각의 부분을 뒤따르는 컨텐츠에 기인할 수 있다. 혼란의 예로는 평균으로의 회귀, 순서 효과, 이월 효과, 바닥 효과, 천장 효과, 호손 효과 및 요구 특성을 들 수 있다.

장애 변수는 IV의 수준에 따라 체계적으로 변하지 않지만 커피숍 실험을 위 해 통계 파워를 감소시킬 수 있는 변수이다. 예를 들어, 정확한 무작위 추출이라면, 호텔 점유율은 장애 변수이다. 한 호텔이 객실 이용률 면에서 보다 많은 변동성을 갖고 다른 호텔이 적은 변동성을 갖는 두 실험에서, 그 밖의 모든 것이 동일(예컨대, 동일한 샘플 크기)하면 통계 파워는 적은 객실 이용율 변동성을 가진 호텔에서 더 크게 될 것이다. 디지털 사인 실험에서의 장애 변수의 예로는 다른 판촉 행위, 날씨, 일자(day of week), 경제적 조건을 들 수 있다. 전문가 시스템은 이들 변수에 관한 정보를 포함하는 사용자 응답을 도출하는 일련의 질문을 제시함으로써 가능한 혼란 변수 및 장애 변수에 관한 정보를 획득한다. 도 2D에 도시된 바와 같이, 전문가 시스템은 예컨대 이월 효과(231), 선택 편향(selection bias; 232), 제어되는 실험에서 IV의 수준으로 종속되지 않는 경우에 처리되는 것(예컨대, 클립 보드(clip board)를 갖는 누군가에 의해 감시된다는 것은 컨텐츠의 한 부분을 보는 것에 통상 응답하는 방법을 변화시킬 수 있음)과 다른 임의의 방법으로 처리되는 샘플에 기인한 결과들의 임의의 차이를 포함하는 시험 효과(235), 실험 탈락율(experimental mortality; 236), 실험을 행할 수 있는 로컬 이벤트(local events; 237), 및 다른 광고 또는 판촉 노력(promotional efforts; 238)에 관한 정보를 획득하도록 설계된 일련의 질문을 제시할 수 있다.

도 2E는 이월 효과에 관한 정보(231)를 획득하기 위해 전문가 시스템에 의해 수행될 수 있는 여러 선택적인 프로세스를 보다 상세하게 도시한다. 전문가 시스템은 다른 위치에 나타낸 컨텐츠에 관한 정보를 얻기(232) 위한 일련의 질문을 사용자에게 제시한다. 다른 일련의 질문은 이월 효과를 산출할 수 있는 컨텐츠의 타 이밍에 관한 정보를 포함하는 응답을 사용자로부터 도출한다(234).

전문가 시스템은 위에서 설명된 프로세스들 중 임의의 것 또는 모두를 통해 사용자로 하여금 진실험을 수행하는 데 필요한 정보를 획득하게 한다. 도 3A는 질문을 사용자에게 제시하고 사용자 응답을 수신하는 데 이용될 수 있는 예시적인 디스플레이(300)를 도시한다. 도 3A에 도시된 디스플레이(300)는 터치 감응형 디스플레이이지만, 터치 감응형이 아닌 디스플레이와 같이 질문을 사용자에 제시하고 사용자 응답을 수신하는 데 적합한 임의의 유형의 입출력 장치가 사용될 수도 있다. 디스플레이의 터치 감도는 사용자 응답이 터치를 통해 디스플레이 화면에 입력되는 것을 가능하게 한다. 마우스, 키보드, 및/또는 음성 인식 회로를 가진 마이크를 비롯하여 사용자로부터 응답을 수신하는 데 적합한 임의의 유형의 입력 장치가 이용될 수도 있음은 명백할 것이다.

이러한 예에서, 디스플레이(300)는 질문/응답 시청 영역(305), 및 정보 수집을 용이하게 하기 위해 사용자로부터의 터치에 의해 활성화될 수 있는 각종 풀다운 메뉴(310-316)를 포함한다. 각각의 풀다운 메뉴(310-316)는 메뉴의 제목으로 나타낸 상이한 질문 영역 및/또는 상이한 실험 설계 태양에 대응한다. 이 메뉴(310-316)는 계층 메뉴 구조에서 최고 레벨을 예시한다. 풀다운 메뉴(310)는 선택될 때 메뉴 구조에서 다음의 최고 계층 레벨에 대응하는 하나 이상의 서브메뉴(320-322)를 나타낼 수 있다. 서브메뉴(320-322)를 선택하면 추가 메뉴들이 제시될 수 있다. 계층 구조에서 서브메뉴의 제시는 메뉴 구조와 연관된 질문 영역 또는 실험 설계 동작에 의해 요구되는 특정의 수준을 달성하는 데 필요로 하는 바와 같이 계 속될 수 있다. 터치 스크린은 메뉴 및/또는 서브메뉴가 풀다운될 수 있고/있거나 메뉴 제목 또는 메뉴 아이템을 터치함으로써 메뉴 아이템이 활성화될 수 있다.

도 3에 도시된 메뉴들은 전문가 시스템에 사용될 수 있는 가능한 메뉴의 서브 세트를 나타낸다는 것을 알게 될 것이다. 예를 들어, 이용될 수 있는 다른 메뉴들은 실험을 설계하기 위한 추가 정보를 획득하는 것에 관한 메뉴, 또는 실험을 행하거나 분석할 때 이용되는 정보를 획득하는 것에 관한 메뉴를 포함한다.

전문가 시스템은 다양한 모드로 동작할 수 있으며, 예컨대 메뉴 아이템의 활성화는 전문가 시스템이 사용자를 실험 설계 프로세스로 안내함에 따라 전문가 시스템에 의해 전형적으로 수행된다. 일부 실시예들에서, 사용자는 제어 프로세서 및/또는 분석 프로세서와 상호 작용하여 실험의 수행, 실험 데이터의 분석, 및/또는 실험 결과의 해석에 관한 입력을 제공할 수 있다.

또한, 메뉴 아이템은 원하는 경우 사용자에 의해 액세스될 수도 있다. 예를 들어, 전문가 시스템은 초기에 다양한 메뉴 또는 서브메뉴 아이템과 연관된 동작을 활성화함으로써 정보를 얻는 프로세스를 수행할 수 있다. 사용자는 원하는 경우 메뉴 아이템을 재활성화함으로써 프로세스의 각종 단계로 복귀할 수도 있다. 예를 들어, 사용자는 이전에 입력된 입력을 변화시키기 위해 메뉴 아이템으로 복귀하기를 원할 수 있고, 풀다운 메뉴(310-316)의 이용을 통해 편리하게 그렇게 할 수 있다.

도 3A에 도시된 화면(300)은 제목이 "시험 모드(Test Mode)"인 메뉴(310)를 도시한다. 사용자가 시험 모드 아이템을 활성화시키면, 화면은 실험의 독립 변수 결정과 관련된 하나 이상의 질문을 디스플레이한다. 이전에 설명된 바와 같이, 이러한 예에서, 전문가 시스템은 디지털 디스플레이 상에 디스플레이되는 그래픽 또는 비디오 클립과 같은 디지털 사인 컨텐츠를 분석하기 위해 실험을 설계하도록 구성되지만, 시스템은 다른 유형의 응용을 위해 실험을 설계하도록 구성될 수 있다. 메뉴 아이템(310), 즉 "시험 모드"가 활성화되면, 사용자는 서브메뉴 아이템들(320-322) 중에서 선택하는 옵션을 갖고 있다. 사용자는, 사용자가 무 컨텐츠(no content) 또는 플라시보 컨텐츠(placebo content)에 대한 컨텐츠의 일 부분을 평가할 것이라는 것을 나타내는 "컨텐츠의 개별 부분 평가(Evaluate an individual piece of content)", 또는 사용자가 비교하기를 원하는 2개의 광고를 갖고 있다는 것을 나타내는 "컨텐츠의 다수 부분들의 상대적 영향 평가(Evaluate the relative impact of multiple pieces of content)", 또는 "실험이 '진실험'인지의 결정(Determine if an experiment is 'true')"을 선택할 수 있다. 도 3A는 사용자가 하이라이트된 서브메뉴 아이템(320)으로 나타난 바와 같이 컨텐츠의 개별 부분을 평가하도록 선택한 시나리오를 도시한다. 이러한 옵션의 선택은 컨텐츠의 개별 부분을 평가하기 위해 실험을 설계하는 데 요구되는 정보를 사용자로부터 획득하기 위해 전문가 시스템에 의해 제어되는 프로세스를 개시시킨다. 전문가 시스템은 도 3B에 도시된 바와 같이 다른 메뉴 아이템을 활성화함으로써 실험을 위한 실험 가설 및 종속 변수를 결정하는 것을 포함하는 프로세스 내의 다음 단계로 진행한다.

도 3B는 제목이 "실험 변수(Exp. Variables) "(실험 변수의 축약형)인 메뉴 아이템(311)의 선택을 도시한다. 메뉴(311)는 풀다운될 때 제목이 "가설/변수", "변동성" 및 "히스토리 데이터"인 서브메뉴 아이템의 리스트를 나타낸다. 서브메뉴 아이템의 활성화는 일련의 질문 및/또는 선택이 사용자에게 제시되도록 한다. 예를 들어, 메뉴 아이템, 즉 "가설/변수"가 활성화되면, 화면은 실험의 가설 또는 가설들을 발전시키고 실험에 대한 가능한 종속 변수를 결정하기 위해 도 3C에 나타낸 바와 같이 다수의 선택을 디스플레이할 수 있다. 하나의 시나리오에서, 도 3C에 도시된 바와 같이, 다음의 질문, 즉 "컨텐츠가 원하는 효과를 가지면, 무엇이 결과적으로 변화하는가? 당신이 관심이 있는 것을 모두 체크하시오."라는 질문이 사용자에게 제시된다. 사용자는 다음의 응답, 즉 "판매가 증가할 것이다", "통행 흐름에 증가가 있을 것이다", "소비자가 판매 직원에게 문의할 것이다", "소비자는 선반에 있는 특별한 제품을 더 고르고 싶어 할 것이다", "조사받는 경우, 소비자들이 특별한 질문에 다르게 대답할 것이다", "기타 변화"라는 응답 중 하나 이상을 선택할 수 있다. 도 3C의 특별한 예에서, 사용자는 "판매가 증가할 것이다"를 선택하였다. 이 선택은 다음과 같은 실험 가설, 즉 '디지털 사인 컨텐츠가 소비자에게 나타내어지면 판매가 증가할 것이다'라는 가설을 식별하는 정보를 전문가 시스템에게 제공한다. 이 정보는 또한 실험에서의 종속 변수, 즉 컨텐츠를 디스플레이함으로써 야기되는 판매의 변화를 제공한다. 다른 시나리오에서, 하나 이상의 추가적인 가능한 종속 변수들, 예컨대, 통행 흐름, 소비자 질의, 소비자의 제품 고르기, 및/또는 조사 질문에 대한 답변이 사용자에 의해 선택될 수 있다. 다수의 종속 변수들이 나타내어지면, 전문가 시스템은 실험 비용을 계산하고, 각각의 종속 변수에 대한 실험의 내적 및 외적 타당성을 추정하고, 사용자를 적절한 종속 변수를 선택하는 프로세스로 안내할 것이다. 도 3D는 다수의 선택이 도 3C에 의해 도시된 프로세스 단계에서 행해질 때 전문가 시스템이 하나 이상의 종속 변수의 선택으로 사용자를 안내하는 데 이용할 수 있는 프로세스의 일 부분을 도시한다.

일부 시나리오들에서, 도 3C에 도시된 공급된 선택들 중 어떠한 것도 사용자가 기대하는 변화에 대응하지 않으며, 사용자는 "기타"를 선택할 수 있다. 그렇다면, 전문가 시스템은 실험에 대한 가능한 종속 변수(들)를 식별 및 특성화하기 위해 일련의 추가 질문으로 사용자를 안내한다. 예를 들어, 사용자가 "기타"를 선택하면, 질문들 중 일부는 가능한 종속 변수가 연속적인지 아니면 이산적인지를 결정하는 것에 관한 것일 수 있다. 사용자는 단언적(categorical)이거나 명목적(nominal)인 이산 데이터(예컨대, 남자 및 여자)를 가질 수 있다. 이산 변수는 서열 데이터(ordinal data)라고 하는 순위 카테고리(예컨대, 나이 카테고리 20-29, 30-39 등)일 수 있다. 연속 데이터는 다양한 측정 기술로 얻는데, 이 경우 기본적인 연속성(underlying continuum)이 존재한다. 일 예로, 완전히 싫음 내지 완전히 좋음에 이르는 호감 척도(7 카테고리, 1-7 척도) 또는 확실히 구입하지 않음 내지 확실히 구입함에 이르는 구입 의향 척도의 조사 척도 등급. 다른 예는 더 전통적인 연속 변수이며, 이 경우 다수의 가능한 값(온도, 수입, 판매, 무게 등)이 존재한다.

예를 들어, "기타" 카테고리가 사용자에 의해 선택되는 경우 정보를 도출할 때, 전문가 시스템은 종속 변수를 결정하고/하거나 종속 변수가 연속적인지 아니면 이산적인지를 결정하기 위해 하나 이상의 추가 질문을 제시할 수 있다.

전문가 시스템은 파워 분석을 수행하는 데 필요한 정보를 얻기 위해 사용자를 일련의 질문으로 안내할 수 있다. 파워 분석을 위해 이용되는 파라미터는 귀무 가설 하의 평균, 표준 편차, 시험 가설 하의 평균, 유의 수준(significance level), 파워, 및 샘플 크기를 포함한다. 이들 파라미터 중 일부에 대한 정보가 사용자로부터 얻어지고, 다른 정보는 전문가 시스템에 프로그래밍된 표준적인 값이다. 가능한 종속 변수를 결정한 후에, 전문가 시스템은 도 3E에 나타낸 바와 같이 제목이 "변동성"인 서브메뉴 아이템과 연관된 프로세스들을 활성화시킬 수 있다. 이들 프로세스에서, 전문가 시스템은 가능한 종속 변수의 변동성을 결정하도록 설계된 일련의 질문으로 사용자를 안내한다. 가능한 종속 변수들의 변동성의 결정은 실험의 통계 파워를 평가하기 위해 전문가 시스템이 이용하는 정보를 제공한다. 예를 들어, 전문가 시스템은 도 3F 및 도 3G에 나타낸 것과 같은 이용가능한 데이터의 입도(granularity)에 관한 정보를 수집하기 위해 질문을 제출할 수 있다. 도 3F에서, 전문가 시스템은 이용가능한 데이터의 입도의 하한치에 관한 정보를 얻기 위해 질문을 제시한다. 도 3F에 나타낸 바와 같이, "가능하게는 매상고(sales)가 측정될 수 있는 최소 시간 증분이 얼마인가"라는 질문이 다음의 선택, 즉 매시간, 매 근무 교대(shift) 후, 매일, 매주, 매달 등을 제공한다. 이러한 특별한 경우에, 사용자는 매상고가 측정될 수 있는 시간의 최소 단위가 매시간이라는 것을 나타냈다. 도 3F에 도시된 스크린 샷에서, 전문가 시스템은 또한 사용자에게 최소 시간 증분에 데이터 측정과 연관된 비용을 입력하게 한다.도 3G에 도시된 바와 같 이, 전문가 시스템은 또한 데이터를 얻기 위한 편리한 시간 증분에 관한 정보를 얻는다.

도 3G에 도시된 스크린 샷에서, 전문가 시스템은 매상고가 측정될 수 있는 편리한 시간 증분에 관해 질의한다. 또한, 사용자는 매시간, 매 근무 교대 후, 매일, 매주, 매달 또는 기타 중에서 선택하게 된다. 데이터를 편리한 증분으로 얻는 것과 연관된 비용은 또한 도 3G에 나타낸 바와 같이 요구된다.

전문가 시스템은 도 3H에 나타낸 바와 같이 제목이 "히스토리 데이터"인 서브메뉴 아이템과 연관된 프로세스를 활성화할 수 있다. 사용자는 히스토리 판매 데이터가 이용 가능한지의 여부를 나타내게 된다(도 3I). 긍정 응답은 사용자가 각각 최소 시간 증분 및 편리한 시간 증분에 대해 판매 데이터를 입력할 수 있도록 하는, 도 3J 및 도 3K에 도시된 화면을 트리거시킨다. 히스토리 판매 데이터는, 예컨대 실험의 통계 파워를 결정하기 위해 파워 분석에서 이용되는 종속 변수(이 예에서 매상고)에 대한 표준 편차를 추정하는 데 이용될 수 있다. 도 3J 및 도 3K에 도시된 화면에 의해 도출되는 엔트리(entry)의 개수는 원하는 신뢰도 수준 및 표준 편차에 기초하여 컴퓨터에 의해 결정된다. 예를 들어, 컴퓨터는 표준 편차가 특별한 범위 내에 속하는 특별한 신뢰도 수준을 달성하기 위해 표준 편차를 추정하는 데 필요한 일정 개수의 엔트리들에 대한 정보를 사용자가 제공하게 한다.

표준 편차에 이용되는 신뢰도 수준, 예컨대 90% 또는 95%는 전형적으로 사용자에게 명백하지만, 전문가 시스템의 프로그래밍 가능한 값일 수 있다. 전문가 시스템에 의해 이용되는 어떤 값, 예컨대 위에서 설명된 종속 변수의 표준 편차에 대 한 신뢰도 수준 및 실험의 유의 수준은 시스템이 구성될 때 프로그래밍될 수 있다. 이들 구성 값은, 예컨대 전문가 시스템 소프트웨어에 익숙한 관리자에 의해 추후 변경될 수 있다.

전문가 시스템은 실험의 효과에 관련된 정보를 얻기 위해 질문을 사용자에게 제시할 수 있다. 도 3L은 최소 효과 크기를 결정하기 위해 사용자에게 제시될 수 있는 질문을 도시한 스크린 샷이다. 이러한 예에서, 전문가 시스템은 사용자가 컨텐츠를 값어치 있게 하는 판매 증가를 입력할 것을 요구한다.

진실험을 설계하기 위해, 전문가 시스템은 실험에 영향을 줄 수 있는 가능한 혼란 및/또는 장애 변수에 관한 정보를 획득한다. 예를 들어, 혼란 변수는 이월 효과, 선택 편향, 시험 효과 및 실험 탈락율과 연관될 수 있다. 도 3M의 화면에 나타낸 바와 같이, 이들 인자 각각에 대한 메뉴 아이템이 활성화되어, 이들 인자에 관한 정보를 획득하기 위해 일련의 질문이 사용자에게 제시될 수 있다. 도 3M에서, 이월 효과에 대한 메뉴 아이템이 하이라이트된다. 이월 효과 메뉴 아이템이 활성화되면, 도 3N 내지 도 3P에서 질문이 제시되게 된다. 도 3N에서, 전문가 시스템은 사용자로 하여금 컨텐츠가 보여질 수 있는 다른 위치에 관한 정보를 나타내게 하는 질문을 제시한다. 도 3O 및 도 3P에서, 전문가 시스템은 사용자로 하여금 이월 효과 타이밍에 관한 정보를 나타내게 하는 질문을 제시한다.

도 4A는 본 발명의 실시예들에 따라 디지털 사인 컨텐츠의 유효성을 시험하기 위해 진실험을 설계하는 능력을 포함할 수 있는 디지털 사인 시스템(DSS)의 블록 다이아그램이다. 도 4A의 블록 다이어그램은 기능 블록들로 분할되어 있는 DSS 의 하나의 구성을 예시한다. 당업자는 DSS가 대안적으로 다른 기능 블록들을 사용하여 예시될 수 있다는 것과 DSS의 다양한 컴포넌트들이 하드웨어, 소프트웨어, 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합으로서 구현될 수 있다는 것을 알 것이다.

본 발명에 따른 시스템은 본 명세서에 기술된 특징들, 구조들, 방법들, 또는 이들의 조합 중 하나 이상을 포함할 수 있다. 예를 들어, 시스템은 도 4A에 예시된 유리한 특징들 및/또는 프로세스들 중 하나 이상을 포함하도록 구현될 수 있다. 이러한 시스템이 본 명세서에 기술된 특징들 전부를 포함할 필요는 없지만 유용한 구조 및/또는 기능을 제공하는 선택된 특징들을 포함하도록 구현될 수 있다는 것으로 의도된다.

도 4A에 예시된 DSS는 오디오, 비쥬얼 및/또는 기타 미디어 형식을 통해 정보 컨텐츠를 제공하도록 구성되어 있는 컴퓨터화된 시스템이다. DSS는 제시될 정보 컨텐츠의 리스트를 제공하는 재생 목록, 및 컨텐츠의 제시 순서를 정의하는 스케줄을 자동 또는 반자동으로 발생시키는 기능을 포함할 수 있다. 반자동 모드에서, 사용자는 대화형 사용자 인터페이스(410)를 통해 DSS 제어 프로세서(405)에 액세스할 수 있다. DSS 제어 프로세서(405)의 도움으로, 사용자는 제시될 컨텐츠를 식별할 수 있고, 재생 목록 및 하나 이상의 DSS 플레이어(415) 상에 제시되는 타이밍과 순서를 제어하는 스케줄을 발생시킬 수 있다. 각각의 플레이어(415)는 플레이어에 대해 개발된 재생 목록 및 스케줄에 따라 수신자에게 컨텐츠를 제시한다. 정보 컨텐츠는, 예를 들어 그래픽, 텍스트, 비디오 클립, 정지 영상, 오디오 클립, 웹 페이지, 및/또는 비디오 및/또는 오디오 컨텐츠의 임의의 조합을 포함할 수 있다.

일부 구현예에서, 재생 목록 및 스케줄이 개발된 후에, DSS 제어 프로세서(405)는 재생 목록에 필요한 컨텐츠를 결정하고, 컨텐츠 서버로부터 컨텐츠를 다운로드하며, 그 컨텐츠를 재생 목록 및 스케줄과 함께 컨텐츠를 플레이어들(415)에 배포하는 플레이어 제어기(420)로 전송한다. 비록 도 4A가 단지 하나의 플레이어 제어기(420)를 도시하고 있지만, 다수의 플레이어 제어기가 단일 DSS 제어 프로세서(405)에 연결될 수 있다. 각각의 플레이어 제어기(420)는 단일 플레이어 또는 다수의 플레이어들(415)을 제어할 수 있다. 컨텐츠 및/또는 재생 목록 및 스케줄은, 컨텐츠/재생 목록/스케줄이 보내지는 플레이어(415)를 식별해주는 정보를 제공하는 적절한 어드레싱과 함께, DSS 제어 프로세서(405)로부터 하나 이상의 플레이어 제어기(420)로 압축된 형식으로 전송될 수 있다. 일부 응용예에서, 플레이어(415)는 상점들에 배포될 수 있고, 플레이어(415) 상에 제시되는 컨텐츠는 광고일 수 있다.

다른 구현예에서, DSS 제어 프로세서(405)는 재생 목록 및 스케줄만을 플레이어 제어기(420)로 전송할 수 있다. 컨텐츠가 플레이어 제어기(420) 상에 존재하지 않는 경우, 플레이어 제어기(420)는 제시될 컨텐츠를 획득하기 위해 컨텐츠 저장 장치(425)에 액세스할 수 있다. 몇몇 시나리오에서, 컨텐츠 저장 장치(425)를 비롯한 DSS 시스템의 다양한 컴포넌트들 중 하나 이상이 인트라넷 또는 인터넷 접속과 같은 네트워크 접속을 통해 액세스될 수 있다. 플레이어 제어기(420)는 원하 는 컨텐츠를 조립할 수 있으며, 또는 다르게는 재생 목록 및 스케줄에 따라 플레이어 상에 원하는 컨텐츠를 디스플레이하는 것을 용이하게 해줄 수 있다. 재생 목록, 스케줄 및/또는 플레이어(415) 상에 제시되는 컨텐츠는 예컨대 플레이어 제어기(420)를 통해 또는 DSS 제어 프로세서(405)를 통해 사용자에 의해 원하는 바에 따라 또는 주기적으로 수정될 수 있다.

몇몇 구현에서, DSS 제어 프로세서(405)는 플레이어 상에 재생될 컨텐츠 프로그램의 개발 및/또는 형식화(formatting)를 용이하게 해준다. 예를 들어, DSS 제어 프로세서(405)는 템플릿을 사용하여 오디오비쥬얼 프로그램의 형식화를 용이하게 할 수 있다. 템플릿은 제시될 오디오비쥬얼 프로그램의 개발에 적용되는 형식화 제약 조건 및/또는 규칙을 포함한다. 예를 들어, 템플릿은 특정 유형의 컨텐츠에 대해 사용되는 화면의 부분, 각각의 세그먼트에서 재생될 수 있는 컨텐츠의 유형과 순서, 폰트 크기와 연관된 규칙, 및/또는 프로그램의 디스플레이에 적용가능한 기타 제약 조건 또는 규칙을 포함할 수 있다. 각각의 디스플레이 구성에 대해 개별 세트의 규칙 및/또는 제약 조건이 바람직할 수 있다. 몇몇 실시예에서, 여러 디스플레이에 대해 프로그램을 형식화하는 것은 DSS 제어 프로세서(405)에 의해 자동으로 수행될 수 있다.

몇몇 실시예에서, DSS는 인지 과학 분야에서의 연구 및 실험을 통해 획득되는 정보에 기초하여 템플릿을 생성하고, 컨텐츠를 발생시키며, 컨텐츠를 선택하고, 프로그램들을 조립하며, 그리고/또는 디스플레이될 프로그램을 형식화할 수 있다. 인지 과학은 사람의 지각 메커니즘을 이해하려고 노력한다. 인지 및 시각 과학 부 문은 사람의 지각 시스템이 어떻게 정보를 처리하는지, 주의(attention)의 기초를 이루는 메커니즘, 사람의 두뇌가 정보를 어떻게 기억에 저장하고 표현하는지, 그리고 언어 및 문제 해결의 인지 기초에 관한 엄청난 지식 베이스를 발생시켰다. 컨텐츠 설계, 레이아웃, 형식화 및/또는 컨텐츠 제시에 인지 과학을 적용하면 사람의 지각 시스템에 의해 쉽게 처리되고 이해하기 쉬우며 사람의 기억에 쉽게 저장되는 정보를 산출한다. 인지 과학으로부터 획득되어 인지 과학 데이터베이스(430)에 저장된 지식은 템플릿의 생성, 컨텐츠 설계, 컨텐츠 선택, 컨텐츠 배포, 프로그램의 조립, 및/또는 디스플레이를 위한 프로그램의 형식화를 비롯한 하나 이상의 프로세스를 DSS에게 알려주기 위해 자동 또는 반자동으로 사용될 수 있다. DSS의 프로그래밍과 관련하여 사용되는 인지 과학 데이터베이스(430)는 인지 과학의 가르침에 의해 향상되는 광고 또는 기타 디지털 사인 프로그램을 생성하며, 동시에 시스템 사용자가 그 분야에서의 특정의 훈련을 받을 필요가 없게 해준다.

디지털 사인 프로그램, 예를 들어 광고 캠페인 등의 개발에서, DSS 제어 프로세서(405)는 인지 과학을 통해 획득된 지식을 사용하여 향상되는 다양한 프로세스로 사용자를 안내할 수 있다. 예를 들어, 인지 과학 데이터베이스(430)에 저장된 정보가 최적의 프로그램 레이아웃을 생성하기 위한 템플릿의 선택, 및/또는 컨텐츠 요소가 그래픽, 텍스트이어야 하는지, 움직임, 컬러, 크기를 포함해야 하는지와 같은 컨텐츠의 선택, 및/또는 프로그램 개발의 다른 태양의 구현에 적용될 수 있다.

DSS는 다양한 디스플레이 유형 및 시청 조건에 대처하기 위해 디지털 사인 프로그램의 대안의 버전들을 설계하는 능력을 포함할 수 있다. 디스플레이 기술이 다양하고, 디지털 사인 네트워크 상에 컨텐츠를 제공하는 데 사용되는 디스플레이의 유형에 많은 차이가 있다. 예를 들어, 크기, 형상, 휘도 및 시청 조건이 디지털 사인 네트워크에 걸쳐 크게 달라질 것이다(예를 들어, 일부 디스플레이는 작고, 유연하며, 비직사각형일 수 있는 반면, 다른 것은 표준 대화면 LCD(large format Liquid Crystal Display) 및 플라즈마 디스플레이일 수 있다). 디스플레이 유형 및 시청 조건의 변동은 한 부분의 컨텐츠의 임의의 단 하나의 버전이 네트워크에 걸쳐 있는 모든 디스플레이에 대해 최적이 아닐 수도 있음을 의미한다. 이 문제를 극복하기 위해, 각각의 디스플레이 유형 및 시청 환경에 대한 컨텐츠의 각각의 부분의 버전을 발생시키고 이들 컨텐츠 버전을 네트워크 내의 그의 대응하는 화면에 선택적으로 배포하는 것이 필요할 수 있다. 그러나, 컨텐츠 설계자가 대규모 DSS 네트워크에 걸쳐 디스플레이 유형 및 시청 조건에 대한 이러한 상세한 지식을 가지고 있을 것으로 기대하는 것은 현실적이지 않다. 게다가, 이러한 컨텐츠 설계자가 이러한 상세한 지식을 가지고 있더라도, 각각의 디스플레이에 대한 컨텐츠의 버전을 수동으로 생성하고 각각의 대응하는 디스플레이 상에서 적절한 시간에 재생하기 위해 컨텐츠를 수동으로 스케줄하는 것은 시간 소모적일 것이다.

DSS는 배포된 컨텐츠의 유효성을 향상시키기 위해 사용되는 데이터를 수집하는 데이터 획득 유닛(435)을 포함할 수 있다. 데이터 획득 유닛(435)은 디지털 사인 네트워크의 유효성의 기초가 되는 배포 인자(distribution factor)들이 컨텐츠의 배포 동안에 실시간으로 연속하여 수집될 수 있게 한다. 획득된 정보는 DSS의 컨텐츠 유효성의 연속적인 향상 및 컨텐츠 부분들의 개별 버전의 향상을 용이하게 할 수 있다. 예를 들어, 어떤 센서 또는 판매 이벤트가 특정 유형의 컨텐츠의 디스플레이를 트리거하는지를 학습하는 데 이미 획득된 데이터가 사용될 수 있다.

임의의 컨텐츠 프로그램 내의 컨텐츠의 개별 부분들은 각각 특정 목표를 갖는다(예를 들어, 특정 제품을 팔기 위한 것). 디지털 사인 네트워크의 사용자에 대한 각각의 목표의 가치에 변동성이 있는 경우가 보통이다. 예를 들어, 제품에 대한 목표의 가치를 고려하는 각각의 제품에 대한 이익률(profit margin) 및 재고 수준(inventory level)에 변동성이 있을 수 있다. 각각의 목표를 달성하는 가치는 디지털 사인 프로그램이 배포되는 동안에 연속적으로 변한다. 예를 들어, 제품의 재고 수준이 변할 수 있으며, 따라서 제품의 판매 목표에 영향을 줄 수 있다.

DSS의 유효성을 전체적으로 향상시키는 것은, 1) 디지털 사인 프로그램을 배포하는 것이 디지털 사인 프로그램과 연관된 목표에 미치는 영향을 정확하게 예측하는 것, 및 2) 컨텐츠 부분들에 대응하는 각각의 개별 목표의 가치가 변함에 따라 컨텐츠의 개별 부분들의 배포 패턴(타이밍, 빈도수, 및 장소)을 연속적으로 변경하는 것을 수반한다. 많은 경우에, DSS의 사용자가 컨텐츠를 배포하는 것의 영향을 예측하고 각각의 컨텐츠 부분과 연관된 목표의 연속적으로 변하는 가치에 기초하여 컨텐츠 배포 패턴을 수동으로 변경하는 것은 실행불가능하다. DSS는 디지털 사인 프로그램의 영향을 예측하고 그 예측에 기초하여 컨텐츠의 배포를 변경하는 기능을 제공한다.

앞서 기술한 바와 같이, 사람의 행동에 영향을 줄 목적으로(예를 들어, 구매 행동에 영향을 주기 위해) 컨텐츠가 플레이어(415) 상에 디스플레이된다. 그러나, 종래의 디지털 사인 시스템은 사인 컨텐츠와 사람의 행동 간의 인과 관계를 증명할 수 없으며, 또는 인과 관계의 세기를 측정할 수 없다. 이러한 어려움이 있는 이유는 현재의 디지털 사인 네트워크를 통해 컨텐츠가 전달되는 방법이 임의의 측정된 사람의 행동 변화가 사인 컨텐츠에 의한 것인지 또는 어떤 혼란 인자들(예를 들어, 날씨의 변화, 제품에 대한 일반적인 수요의 변화, 제품 가격의 변화)의 결과로 인한 것인지를 판정하는 것을 지원하지 않기 때문이다. 사인 컨텐츠와 사람의 행동 간의 인과 관계를 결정적으로 판정하는 유일한 방법은 복잡한 실험 설계를 사용하여 사인 컨텐츠가 체계적으로 조작되고 사람의 행동에 대한 그 조작의 효과가 주의깊게 측정되는 진실험을 수행하는 것이다. 이러한 실험을 수동으로 수행하는 것은 시간 소모적이며 어떻게 진실험을 설계할지에 대한 과학적 방법에 상당한 지식 및 훈련을 필요로 한다. 디지털 사인 시스템의 사용자는 혼란이 없는 결과를 얻기 위해 어떻게 진실험을 설계할지를 이해하기에 충분한 훈련을 받지 않았을 수도 있다. 도 4A에 도시된 DSS는 진실험을 설계하는 능력을 제공하는 실험 설계 프로세서(440) 및 사용자 인터페이스(410)를 포함한다.

도 4B는 진실험을 설계하도록 구성된 실험 설계 프로세서를 포함하는 전문가 시스템을 도시한다. 앞서 논의한 바와 같이, 실험 설계 프로세서(440)는 완전 자동으로 또는 사용자 대화 작용을 갖는 반자동으로 동작하도록 구성될 수 있다. 반자동 모드에서, 실험 설계 프로세서(440)는 진실험을 설계하기 위해 사용자 인터페이스(410)를 통해 수행되는 다양한 대화형 세션을 통해 사용자를 안내할 수 있다. 이러한 프로세스에서, 실험 설계 프로세서(440)는 혼동 없는 데이터를 생성하는 진실험의 설계를 보장한다. 따라서, 사용자는 실험 설계 프로세서(440)의 프로그래밍에 의존할 수 있고 진실험을 설계하는 데 지식 또는 경험을 가지고 있을 필요가 없다. DSS는 실험 설계 프로세서(440)만을 포함할 수 있거나, 실험 전개 유닛(445), 데이터 획득 유닛(435) 및 데이터 분석 유닛(450)과 같은 부가적인 요소들을 포함할 수 있다.

실험 설계 프로세서(440)는 자동 또는 반자동으로 실험의 목적 또는 가설을 개발하고, 실험의 독립 변수 및 종속 변수를 식별하며, 적절한 무작위 추출, 균형화, 역균형화 및/또는 블록화를 적용하는 통제 및 처치 그룹을 형성할 수 있다. 예를 들어, DSS와 관련하여, 실험 목적은 특정 제품을 판촉하는 광고 캠페인에서 컨텐츠 요소의 유효성을 평가하는 것일 수 있다. 독립 변수(들)는 컨텐츠 요소의 디스플레이의 소정의 태양과 연관되어 있을 수 있다. 종속 변수(들)는 제품의 판매 증가와 연관되어 있을 수 있다.

실험 설계 프로세서(440)는 실험 컨텐츠 및 대조 컨텐츠가 디스플레이되는 DSS의 다양한 설치 장소의 선택을 포함하는 적절한 처치 및 대조 그룹을 형성할 수 있다. 컨텐츠 형식을 비롯한 실험 컨텐츠의 제시, 스케줄, 제시 장소 및/또는 실험 프로세스에 혼란을 야기할 수 있는 다른 인자들이 실험 설계 프로세서(440)에 의해 제어된다. 실험 설계 프로세서(440)는 사실상 혼란이 없는 실험 결과를 달성하기 위해 통제 및 처치 그룹의 적합한 무작위 추출, 역균형화 및 블록화를 보장할 수 있다. DSS 시스템과 관련한 실험의 설계는, 예를 들어 실험을 통해 시험될 컨텐츠의 제시를 위한 적절한 재생 목록 및 스케줄을 발생시키는 것을 포함할 수 있고, 또한 대조 컨텐츠의 제시를 위한 재생 목록 및 스케줄을 발생시키는 것을 포함할 수 있다.

몇몇 구성들에서, 전문가 시스템은 실험 전개 유닛(445)을 추가로 포함할 수 있다. 실험 전개 유닛(445)은 실험의 전개를 용이하게 하도록 구성되어 있다. 예시적인 DSS 시스템과 관련하여, 실험 전개 유닛(445)은 다양한 플레이어 구성에 대해 실험 컨텐츠 및 대조 그룹 컨텐츠를 형식화하고, 실험 컨텐츠 및 대조 컨텐츠를 재생 목록 및 스케줄에 의해 지정된 바와 같이 플레이어(415) 상에 제시하기 위해 플레이어 제어기(420)로 전송하는 것을 용이하게 한다.

데이터 획득 유닛(435)은 통제 및 처치 그룹으로부터 실험 데이터를 수집하도록 구성될 수 있다. 데이터 획득 유닛(435)은 임의의 수단을 통해 실험과 연관된 데이터의 획득을 수행하거나 용이하게 할 수 있다. 예를 들어, 예시적인 DSS와 관련하여, 데이터 획득 유닛(435)은 제품 이동, 제품 판매, 고객 행동이나 반응 및/또는 기타 정보를 비롯한 정보를 수집하는 다양한 센서 또는 데이터 획득 장치(462, 464, 466)에 연결될 수 있다. 센서(462)는, 예를 들어 고객이 제품을 골랐는지 또는 컨텐츠가 디스플레이될 때 고객이 디스플레이 근방에 있는지를 검출하는 데 사용될 수 있다. 매상고는 판매 시점 관리(point of sale; POS) 시스템(464)에 의해 획득된 정보에 기초하여 결정될 수 있다. 컨텐츠의 디스플레이를 검증하는 하나 이상의 장치(466)가 또한 사용될 수도 있다. 제품의 재고 수준의 변화는 재고 관리 시스템을 통해 이용가능할 수 있다. 고객 반응은 설문지를 통해 획득될 수 있다. 수행된 실험이 진실험인 경우, 데이터 획득 유닛(435)에 의해 획득된 데이터에는 실질적으로 혼란이 없다.

데이터 획득 유닛(435)은 데이터 획득 유닛(435)에 의해 수집된 실험 데이터를 분석하도록 구성되어 있는 데이터 분석 유닛(450)에 연결될 수 있다. 데이터 분석 유닛(450)은 실험의 독립 변수와 종속 변수 간의 인과 관계를 판정하고/하거나 정량화할 수 있다. 예시된 DSS의 경우, 분석의 결과는 컨텐츠가 제품 판매에 영향을 주는 데 효과적인지를 판정하는 데 사용될 수 있다.

분석 유닛(450)이 독립 변수 및 종속 변수에 관한 정보(예컨대, IV 및 DV가 연속적인지 아니면 이산적인지)를 수신할 것이기 때문에, 분석 유닛(450)은 실험으로부터 데이터에 적용할 적절한 통계 시험을 선택하는 데 필요한 많은 정보를 갖게 될 것이다. 예를 들어, 2개의 이산 수준을 가진 하나의 IV 및 하나의 연속 DV가 존재하면 T-시험은 추론 통계 시험을 위해 이용되는 반면에, 2개의 이산 수준을 가진 하나의 IV 및 2개의 이산 수준을 가진 하나의 DV가 존재하면 카이 제곱 시험이 추론 통계 시험을 위해 이용될 것이다. 마찬가지로, 분석 유닛이 어떤 실험 조건이 특별한 가설의 진단에 쓰이는지에 관한 정보를 설계 프로세서(440)로부터 액세스할 것이기 때문에, 분석 유닛(450)은 어떤 실험 및 통제 조건이 통계적으로 비교되어야 하는지를 판정하는 데 필요한 정보의 대부분 또는 모두를 가지게 될 것이다.

분석의 결과는 다양한 프로세스를 구현하거나 수정하는 데 부가적으로 또는 대안적으로 사용될 수 있다. 예를 들어, 컨텐츠가 제품 판매에 영향을 주는 데 효 과적이었던 경우, 그 컨텐츠를 포함하는 광고 캠페인이 개발될 수 있다. 판매 증가의 유효성에 기초하여 컨텐츠 평가 프로세스(472)에 의해 그 컨텐츠에 소정의 가치가 할당될 수 있다. 그 컨텐츠를 사용하는 광고주는 컨텐츠의 가치에 따라 과금 유닛(billing unit)(474)에 의해 청구서를 받을 수 있다. 데이터 분석 유닛(450)은 또한 재고 제어기(476)에 정보를 제공할 수 있다. 부가적으로, 데이터 분석 유닛(450)은 광고 캠페인이 전개될 때의 판매 예측을 발생시키는 판매 예측 유닛(478)에 정보를 제공할 수 있다. 판매 예측 유닛(478)은 광고 캠페인에 의해 발생되는 판매를 지원하는 데 필요한 제품 재고를 부가적으로 또는 대안적으로 예측할 수 있다.

본 명세서에서 제공되는 설명을 이용하여, 본 발명은 프로그래밍 소프트웨어, 펌웨어, 하드웨어 또는 임의의 그 조합을 생성하기 위해 표준 프로그래밍 및/또는 엔지니어링 기술을 이용하여 장치(machine), 프로세스, 또는 제조 물품(article of manufacture)으로서 구현될 수 있다.

컴퓨터-판독가능 프로그램 코드를 가진 임의의 결과적인 프로그램(들)은 존재하는 메모리 장치, 스마트 카드 또는 다른 소거가능 메모리 장치, 또는 전송 장치와 같은 하나 이상의 컴퓨터-사용가능 미디어 상에서 구현될 수 있어, 본 발명에 따른 컴퓨터 프로그램 제품 또는 제조 물품을 제조할 수 있다. 이와 같이, 본 명세서에서 사용되는 용어 "제조 물품" 및"컴퓨터 프로그램 제품"은 임의의 컴퓨터-사용가능 매체 상에 또는 이러한 프로그램을 전송하는 임의의 전송 매체 내에 영구적으로 또는 임시적으로 존재하는 컴퓨터 프로그램을 포함하도록 의도한 것이다.

디지털 사인 컨텐츠를 발생하고, 전문가 시스템에 의해 설계된 실험을 전개하고, 실험 데이터를 수집하는 능력을 포함하는 디지털 사인 시스템의 구현은 본 명세서에서 참고로 포함된 2005년 12월 29일에 출원된 미국 특허 출원 제11/321,340호에 추가로 설명되어 있다.

본 발명의 다양한 실시예들의 전술한 설명은 예시 및 설명의 목적으로 제공되었다. 이는 모두 망라하거나 본 발명을 개시된 정확한 형태로 한정하려고 의도한 것이 아니다. 상기 교시에 비추어 많은 변형 및 변경이 가능하다. 예를 들어, 본 발명의 실시예는 광범위한 응용으로 구현될 수 있다. 본 발명의 범주가 이러한 상세한 설명에 의해 한정되지 않고 오히려 본 명세서에 첨부된 청구의 범위에 의해 한정되도록 의도된다.

Claims (33)

1. 디지털 사인 시스템을 위한 실험을 설계하는 컴퓨터-구현 방법으로서,

   디지털 사인 컨텐츠(digital signage content)를 평가하기 위해 진실험(true experiment)을 설계하는 데 요구되는 정보를 식별하는 단계 - 요구되는 정보는 이월 효과와 연관된 디지털 사인 시스템의 혼란 변수에 대한 정보를 포함함 - ;

   요구된 정보를 제공하는 응답을 도출하는 질문을 사용자에게 제시하는 단계;

   사용자로부터 질문에 대한 응답을 수신하는 단계;

   요구된 정보를 사용자 응답으로부터 추출하는 단계; 및

   사용자 응답으로부터 추출된 요구된 정보를 기초로 디지털 사인 시스템에 대한 진실험을 설계하는 단계를 포함하고,

   진실험을 설계하는 단계는 사용자 응답으로부터 추출된 정보에 기초하여 디지털 사인 컨텐츠에 대한 스케쥴을 결정하고, 컨텐츠의 부분들이 디지털 사인 시스템에 걸친 위치에서 보이는 순서를 균형화 및 역균형화함으로써 이월 효과를 제어하는 단계를 포함하는, 컴퓨터-구현 방법.
2. 시스템으로서,

   질문을 사용자에게 제시하고 질문에 대한 사용자 응답을 수신하도록 구성된 사용자 인터페이스 - 질문 중 적어도 하나는 시청자의 특정 행동에 관련됨 -;

   복수의 디스플레이를 갖는 디지털 사인 시스템; 및

   사용자 인터페이스에 연결되며, 진실험을 수행하는 데 요구되는 정보를 식별하고, 요구된 정보를 제공하는 응답을 사용자로부터 도출하는 질문을 발생하고, 요구된 정보를 사용자 응답으로부터 추출하고, 디지털 사인 컨텐츠를 평가하기 위해 요구된 정보를 이용하여 진실험을 설계하도록 구성된 실험 설계 프로세서

   를 포함하고,

   요구되는 정보는 이월 효과와 연관된 디지털 사인 시스템의 혼란 변수에 대한 정보를 포함하고,

   진실험을 설계하는 것은 사용자 응답으로부터 추출된 정보에 기초하여 디지털 사인 컨텐츠에 대한 스케쥴을 결정하는 단계를 포함하며,

   설계된 실험은 디지털 사인 시스템에서 복수의 디스플레이상에 컨텐츠의 부분의 제시(presentation)를 제어하고, 컨텐츠의 부분들이 디지털 사인 시스템에 걸친 위치에서 보이는 순서를 균형화 및 역균형화함으로써 이월 효과를 제어하는, 시스템.
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제

Images