KR20080089402A

KR20080089402A - 실험 설계 시스템 및 방법

Info

Publication number: KR20080089402A
Application number: KR1020087017406A
Authority: KR
Inventors: 제임스 엘. 2세 그라함; 크래이그 엠. 칼슨; 브라이언 이. 브룩스; 데이비드 에이. 엥글러
Original assignee: 쓰리엠 이노베이티브 프로퍼티즈 컴파니
Priority date: 2005-12-29
Filing date: 2006-12-14
Publication date: 2008-10-06
Also published as: AU2006332658B2; KR20080081193A; EP1969505A4; BRPI0621159A2; CN101379495A; AU2006332660B2; CA2635789A1; WO2007078897A2; CN101379485A; AU2006333040C1; WO2007079254A2; RU2008126454A; AU2006333040A1; US20090158179A1; US20090281896A1; WO2007079256A3; CN101379485B; CA2634877A1; JP2009522657A; US8594990B2

Abstract

실험이 진실험인지를 판정하기 위해 컴퓨터를 사용하여 실험을 설계하는 방법 및 시스템이 기술된다. 이들 접근법은 진실험 설계의 복잡성을 잘 모르는 사용자가 실질적으로 혼란이 없는 결과를 산출하는 실험을 설계 및 전개할 수 있게 해주고 독립 변수와 종속 변수 간의 임의의 인과 관계를 판정 및 정량화하는 데 사용될 수 있다. 컴퓨터는 실험의 하나 이상의 독립 변수 및/또는 종속 변수를 선택할 수 있거나, 사용자가 독립 변수 및/또는 종속 변수를 선택하는 것을 도울 수 있다. 혼란 변수들의 효과를 감소시키기 위해 통제 및 처치 그룹의 형성, 무작위 추출 및/또는 블록화가 사용자로부터의 입력을 사용하여 또는 입력 없이 컴퓨터에 의해 수행될 수 있다.

진실험, 독립 변수, 종속 변수, 혼란 변수, 설계 프로세서, 디지털 사인

Description

실험 설계 시스템 및 방법{SYSTEMS AND METHODS FOR DESIGNING EXPERIMENTS}

본 발명은 진실험(true experiment)을 설계하는 방법 및 시스템에 관한 것이다.

실험은 전형적으로 2개 이상의 변수들 사이에 관계가 있는지를 경험적으로 판정하기 위해 수행된다. 실험은 전형적으로 하나 이상의 독립 변수와 하나 이상의 종속 변수 사이에 관계가 있는 것으로 가정하는 하나 이상의 가설의 형성으로 시작한다. 예를 들어, 제약 회사의 연구원은 환자가 복용하는 신약의 양이 환자의 혈압과 관련될 것이라는 가설을 체계화할 수 있다. 독립 변수는 실험 동안에 실험자에 의해 정의 또는 조작되는 변수(예를 들어, 환자에게 투여되는 약의 양 및/또는 횟수)이다. 종속 변수는 독립 변수의 값에 의존하는 것으로 가정되는 변수(예를 들어, 환자의 혈압)이다. 그러면, 실험자는 독립 변수와 종속 변수 사이에 실제로 관계가 있는지(예를 들어, 환자가 받는 약의 양이 환자의 혈압과 관계가 있는지)를 판정하기 위해 실험을 수행한다.

혼란 변수들(독립 변수의 수준에 따라 체계적으로 변하는 것들)이 또한 종속 변수에 영향을 줄 수 있다. 이들 혼란 변수는 실험에서 주된 관심사가 아니지만, 종속 변수에 영향을 줄 수 있다. 혼란 변수의 몇몇 예에는 평균(mean)으로의 회 귀(regression), 순서 효과(order effect), 바닥 효과(floor-effect), 천장 효과(ceiling effect), 호손 효과(Hawthorne effect), 및 요구 특성(demand characteristic)이 포함된다. 혼란 변수는 어느 인자(변수)가 종속 변수(들)에서의 임의의 관찰된 변화를 야기했는지를 알아내는 것을 불가능하게 한다. 따라서, 실험 동안에 부적절하게 제어되는 혼란 변수의 존재는 독립 변수와 종속 변수 간의 인과 관계(causal relationship)에 관한 통계적 추론을 하는 것을 불가능하게 한다. 다양한 유형의 실험이 혼란 변수의 효과를 감소 또는 제거할 수 있는 방식과 정도에 의해 구분될 수 있다. "진실험"(true experiment)이라는 용어는 이하의 경우의 실험을 말한다.

1. 독립 변수의 수준이 적어도 2개 존재한다.

2. 독립 변수의 수준들에 샘플이 무작위로 할당된다. 즉, 실험에서의 각각의 샘플이 독립 변수의 수준들에 할당될 가능성이 동일하다.

3. 혼란을 제어하거나 제거할 소정의 방법이 존재한다.

상기한 3가지 특성 중 어느 것이라도 없는 실험은 진실험이 아니며, 흔히 준실험(quasi-experiment) 또는 상관관계 설계(correlational design)라고 한다. 진실험만이 독립 변수와 종속 변수 간의 인과 관계에 관하여 통계적 추론이 도출되게 할 수 있다. 준실험 및 상관관계 설계는 독립 변수와 종속 변수 간의 관계가 설정될 수 있게 해줄 수는 있지만, 그 관계가 인과 관계인지를 판정하는 것은 가능하지 않다. 다양한 유형의 실험 설계(진실험을 포함함)에 대해, 예를 들어 문헌[Campbell, D. T., & Stanley, J. C. (1963) Experimental and quasi- experimental designs for research, Chicago: Rand McNally]에 기술되어 있다. 진실험에 의해 산출된 데이터는 혼란 변수에 의해 실질적으로 영향을 받지 않는다. 그러나, 혼란 변수를 적절히 제어 또는 제거하는 진실험을 설계하는 것의 복잡도가 상당할 수 있다.

또한, 충분한 정도의 내적 및 외적 타당성(internal and external validity)을 갖는 실험을 설계하는 것이 바람직하다. 내적 타당성이란 독립 변수가 종속 변수에서의 임의의 관찰된 차이를 야기했다는 확신을 말한다. 외적 타당성이란 실험에서 독립 변수와 종속 변수 간의 관찰된 관계가 실험의 환경(setting) 이외의 환경 또는 상황에 적용될 거라는 확신을 말한다. 충분한 내적 및 외적 타당성을 갖는 진실험을 설계하는 것은 통계적 및 실험적 설계 원리에 대한 제한적인 지식만을 가진 조사자에게는 두려울 수 있다. 조사자에게 진실험을 설계하는 단순화된 접근법을 제공하는 시스템 및 방법이 요망된다.

본 발명은 실험을 설계하는 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예는 실험이 진실험인지를 판정하기 위해 컴퓨터를 사용하여 실험을 설계하는 방법을 포함한다.

다양한 접근법에 따르면, 컴퓨터는 실험의 하나 이상의 독립 변수를 선택할 수 있고 그리고/또는 하나 이상의 종속 변수를 선택할 수 있다. 컴퓨터는, 처치 또는 통제 그룹(treatment or control groups)을 자동적으로 무작위 추출(randomizing)하는 것을 포함하여, 실험의 하나 이상의 통제 그룹 및/또는 실험의 하나 이상의 처치 그룹을 자동적으로 형성한다. 몇몇 구현에서, 컴퓨터는 하나 이상의 혼란 변수의 효과를 감소시키기 위해 기술들(예를 들어, 블록화(blocking) 및 역균형화(counterbalancing))을 적용할 수 있다.

다른 접근법에 따르면, 컴퓨터는 사용자가 실험을 수반하는 다양한 단계를 수행하는 것을 도울 수 있다. 예를 들어, 컴퓨터는 사용자가 하나 이상의 독립 변수 및/또는 하나 이상의 종속 변수를 선택하는 것을 도울 수 있다. 컴퓨터는 사용자가 통제 그룹 및 처치 그룹 중 적어도 하나를 형성하는 것을 도울 수 있다. 컴퓨터는 사용자가 통제 및 처치 그룹에 대한 샘플을 무작위 추출하는 것을 도울 수 있고, 대안적으로 또는 부가적으로 실험의 하나 이상의 혼란 변수의 효과를 감소시키기 위해 기술들을 적용할 수 있다.

본 발명의 다른 태양은 실험을 수행하는 것을 포함한다. 컴퓨터는 실험을 자동적으로 수행할 수 있거나, 사용자가 실험을 수행하는 것을 돕기 위해 다양한 기능을 수행할 수 있다.

본 발명의 다른 태양은 진실험의 결과를 분석하는 것에 관한 것이다. 몇몇 구현에서는 분석이 컴퓨터에 의해 자동적으로 수행될 수 있다. 다른 구현에서, 컴퓨터는 사용자가 실험의 결과를 분석하는 것을 돕는다.

본 발명의 다른 실시예는 실험 설계 시스템에 관한 것으로서, 이 시스템은 실험이 진실험인지를 판정하도록 구성된 설계 프로세서(design processor)를 포함한다. 몇몇 구현에서, 설계 프로세서는 실험의 독립 변수 및 종속 변수 중 적어도 하나를 선택하도록 구성될 수 있다. 설계 프로세서는, 무작위 추출 및 블록화를 수행하는 것을 포함하여, 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 형성하도록 구성될 수 있다.

몇몇 구현에서, 시스템은 사용자가 실험과 연관된 다양한 기능을 수행하는 것을 도울 수 있다. 이들 구현에서, 시스템은 사용자로부터 입력을 받도록 구성된 사용자 인터페이스를 포함한다. 설계 프로세서는 사용자가 사용자 입력을 사용하여 실험의 독립 변수 및 종속 변수 중 적어도 하나를 선택하는 것을 돕도록 구성될 수 있다. 설계 프로세서는 사용자가 사용자 입력에 기초하여 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 선택하는 것을 돕도록 구성될 수 있으며, 또한 사용자가 그룹을 무작위 추출하고 블록화를 적용하여 사용자 입력에 기초하여 실험의 하나 이상의 혼란 변수의 효과를 감소시키는 것을 도울 수 있다.

본 발명의 다른 태양에 따르면, 시스템은 실험을 수행하도록 구성된 전개 유닛(deployment unit) 및/또는 실험의 결과를 분석하도록 구성된 분석 유닛(analysis unit)을 포함할 수 있다. 실험의 전개 및/또는 분석은 시스템에 의해 또는 사용자로부터의 입력을 사용하여 자동적으로 수행될 수 있다.

일 구현에서, 실험은 디지털 사인 실험(digital signage experiment)을 포함한다. 다른 구현에서, 실험은 광고를 포함한다.

본 발명의 상기 개요는 본 발명의 각각의 실시예 또는 모든 구현을 설명하고자 하는 것은 아니다. 본 발명의 보다 완전한 이해와 더불어 이점 및 효과는 첨부 도면과 관련하여 취해진 이하의 상세한 설명 및 청구의 범위를 참조함으로써 명백해지고 이해될 것이다.

도 1은 진실험에 필요한 구성요소를 도시하는 도면.

도 2A는 본 발명의 실시예에 따른 진실험을 설계하는 능력을 포함할 수 있는 디지털 사인 시스템의 블록 다이어그램.

도 2B는 본 발명의 실시예에 따른 진실험을 설계하는 시스템의 블록 다이어그램.

도 3은 본 발명의 실시예에 따른 진실험의 설계를 포함하는 방법을 도시하는 플로우차트.

도 4A 내지 도 4C는 본 발명의 실시예에 따른 디지털 사인 구현에 대한 실험을 설계하는 것을 포함하는 방법의 플로우차트.

도 5는 본 발명의 실시예에 따라 구현될 수 있는 날씨/뉴스 패널, 상점 로고, 텍스트 크롤(text crawl) 및 비디오 광고를 위한 영역을 포함하는, 디지털 사인 디스플레이의 예시적인 레이아웃을 도시하는 도면.

도 6은 본 발명의 실시예에 따른 반자동 디지털 사인 시스템의 기능을 개념적으로 도시하는 도면.

도 7은 본 발명의 실시예에 따른 디지털 사인 시스템의 컴포넌트 및 기능을 사용하여 컨텐츠를 생성 및 배포하는 프로세스 흐름을 도시하는 도면.

도 8은 본 발명의 실시예에 따른 스포츠 용품 소매상에 대한 디지털 사인 시스템의 예시적인 구현을 도시하는 플로우차트.

도 9는 본 발명의 실시예에 따른, 실험 설계가 실험으로부터 혼란을 제거하 는지를 판정하는 방법을 도시하는 플로우차트.

본 발명은 다양한 변형 및 대안적인 형태를 따를 수 있지만, 그 특정 형태가 예로서 도면에 도시되었으며 상세히 설명될 것이다. 그러나, 본 발명을 설명되는 특정 실시예로 한정하고자 의도한 것이 아님을 이해해야 한다. 오히려, 본 발명은 청구의 범위에 의해 한정되는 발명의 범주 내에 포함되는 모든 변형, 등가물 및 대안을 포함하고자 한다.

예시된 실시예의 하기의 설명에서, 본 명세서의 일부를 구성하며 본 발명이 실시될 수 있는 다양한 실시예가 예로서 도시된 첨부 도면을 참조한다. 본 발명의 범주로부터 벗어남이 없이 실시예들이 이용될 수도 있으며 구조적 변경이 이루어질 수도 있음을 이해하여야 한다.

본 발명은 실험의 설계가 진실험인지를 판정하기 위해 컴퓨터를 사용하는 방법 및 시스템에 관한 것이다. 진실험에 필요한 요소들이 도 1에 예시되어 있다. 진실험은 가설 또는 목적의 개발을 포함한다. 종속 변수 및 독립 변수가 식별되고, 독립 변수의 적어도 2개의 수준이 사용된다. 독립 변수의 수준들에 샘플이 무작위로 할당된다. 혼란 변수를 제어하거나 제거하는 소정 종류의 방법이 존재한다. 이들 요소들 전부가 적절히 적용되는 경우, 실험은 종속 변수와 독립 변수 간의 관계에 관한 통계적 추론을 하는 데 사용될 수 있는 결과를 산출한다. 본 명세서에 기술된 방법 및 시스템은 진실험 설계의 복잡성을 잘 모르는 사용자가 실질적으로 혼란이 없는 결과를 산출하는 실험을 설계 및 전개할 수 있게 해주고 독립 변 수와 종속 변수 간의 임의의 인과 관계를 판정 및 정량화하는 데 사용될 수 있다.

진실험은 독립 변수의 수준을 적어도 2개 갖는다. 본 명세서에 기술되는 바와 같이, 본 발명의 몇몇 실시예는 사용자가 실험의 독립 변수를 선택하고 내적 타당성과 외적 타당성 간에 균형을 이루게 하는 것을 돕는 방법 및 시스템을 제공한다. 예를 들어, 내적 타당성에 대한 위협과 관련하여, 본 발명의 방법 및 시스템은 내적 타당성에 대한 위협을 식별하는 프로세스를 통해 사용자를 도우며, 역균형화(counterbalancing) 및/또는 블록화(blocking)를 통해서와 같이 이들 위협을 통제하는 방법을 제안 및/또는 자동화할 수 있다. 본 명세서의 몇몇 실시예는 실험에서의 각각의 샘플이 독립 변수의 수준들에 할당될 가능성이 동일하도록 샘플들을 그룹들에 무작위로 할당하는 프로세스를 자동화하고 그리고/또는 사용자를 돕는다. 몇몇 구성에서, 무작위 추출, 역균형화 및/또는 블록화는 자동적으로 수행될 수 있다. 시스템은 내적 및/또는 외적 타당성과 연관된 인자들에 기초하여 독립 변수(또는 독립 변수의 수준) 및 종속 변수를 선택할 수 있거나 사용자가 이들을 선택하는 것을 도울 수 있다.

또 다른 실시예에서, 본 발명의 방법 및 시스템은 이전에 설계되거나 수행된 실험을 평가하는 데 사용될 수 있다. 이들 실시예에서, 실험이 이전에 어떻게 설계되었는지 또는 수행되었는지에 관한 사용자로부터의 입력에 기초하여, 시스템은 실험이 (준실험 또는 상관관계 연구와 대조적으로) 실제로 진실험이었는지를 판정하고 그리고/또는 실험에 혼란이 존재하는지를 식별한다. 몇몇 구현에서, 본 발명의 접근법은 실험 설계의 내적 및/또는 외적 타당성을 판정하는 데 사용될 수 있 다.

몇몇 실시예에서, 컴퓨터는 반자동 모드로 동작할 수 있으며, 이 경우 사용자는 진실험을 설계, 전개 및/또는 그로부터 획득된 데이터를 분석하는 하나 이상의 대화형 세션(interactive session)을 통해 컴퓨터에 의해 안내된다. 다른 실시예에서, 컴퓨터는 사용자 대화 작용 없이 완전 자동으로 동작하도록 프로그램되어 있다. 완전 자동 모드에서, 컴퓨터-기반 시스템은 실험을 설계하는 것, 실험을 전개하는 것, 실험에 의해 산출된 데이터를 획득하는 것, 데이터를 분석하는 것, 실험의 내적 타당성을 판정하는 것, 실험의 외적 타당성을 판정하는 것, 및/또는 분석에 기초하여 하나 이상의 프로세스를 수정하거나 구현하는 것 중 하나 이상을 수행할 수 있다. 또 다른 실시예에서, 시스템은 상기한 단계들 중 하나 이상을 반자동으로 수행할 수 있고, 그 단계들 중 다른 하나 이상을 완전 자동으로 수행할 수 있다. 실험 설계에 대한 컴퓨터-기반 접근법은 본 명세서에서 컴퓨터화된 사인 정보 시스템(computerized signage information system)에 기초하여 기술되어 있다. 그러나, 본 발명은 통신 시스템 또는 사인의 분야에 한정되지 않는다. 본 발명의 접근법은 관심 분야에 상관 없이 진실험의 설계에 적용될 수 있다. 예를 들어, 본 명세서에 기술된 방법 및 시스템은, 생물학, 화학, 언어학, 의학, 인지 과학, 사회 과학, 교육, 경제학 및/또는 기타 과학 분야를 포함하지만 이에 한정되지 않는 많은 학문 분야에 대한 실험 설계에 적용될 수 있다. 이들 예는 독자가 일반적으로 모든 분야의 과학적 노력에 걸쳐 있는 본 발명의 원리에 대한 이해를 증진시킬 수 있도록 디지털 사인 정보 시스템과 관련하여 기술되어 있다.

도 2A는 본 발명의 실시예에 따라 진실험을 설계하는 능력을 포함할 수 있는 디지털 사인 시스템(digital signage system; DSS)의 블록 다이어그램이다. 도 2A의 블록 다이어그램은 기능 블록들로 분할되어 있는 DSS의 하나의 구성을 예시한다. 당업자는 DSS가 대안적으로 다른 기능 블록들을 사용하여 예시될 수 있다는 것과 DSS의 다양한 컴포넌트들이 하드웨어, 소프트웨어, 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어의 임의의 조합으로서 구현될 수 있다는 것을 알 것이다.

도 2A에 예시된 DSS는 오디오, 비쥬얼 및/또는 기타 미디어 형식을 통해 정보 컨텐츠를 제시하도록 구성되어 있는 컴퓨터화된 시스템이다. DSS는 제시될 정보 컨텐츠의 리스트를 제공하는 재생 목록, 및 컨텐츠의 프리젠테이션(presentation) 순서를 정의하는 스케쥴을 자동으로 또는 반자동으로 발생시키는 기능을 포함할 수 있다. 반자동 모드에서, 사용자는 대화형 사용자 인터페이스(interactive user interface)(210)를 통해 DSS 제어 프로세서(205)에 액세스할 수 있다. DSS 제어 프로세서(205)의 보조에 의해, 사용자는 제시될 컨텐츠를 식별할 수 있고, 재생 목록 및 하나 이상의 DSS 플레이어(215) 상의 프리젠테이션 타이밍과 순서를 제어하는 스케쥴을 발생시킬 수 있다. 각각의 플레이어(215)는 플레이어에 대해 개발된 재생 목록 및 스케쥴에 따라 수신자에게 컨텐츠를 제시한다. 정보 컨텐츠는, 예를 들어 그래픽, 텍스트, 비디오 클립, 정지 영상, 오디오 클립, 웹 페이지, 및/또는 비디오 및/또는 오디오 컨텐츠의 임의의 조합을 포함할 수 있다.

몇몇 구현에서, 재생 목록 및 스케쥴이 개발된 후에, DSS 제어 프로세 서(205)는 재생 목록에 필요한 컨텐츠를 결정하고, 컨텐츠 서버로부터 컨텐츠를 다운로드하며, 그 컨텐츠를 재생 목록 및 스케쥴과 함께 컨텐츠를 플레이어들(215)에 배포하는 플레이어 제어기(220)로 전송한다. 비록 도 2A가 단지 하나의 플레이어 제어기(220)를 도시하고 있지만, 다수의 플레이어 제어기가 단일 DSS 제어 프로세서(205)에 연결될 수 있다. 각각의 플레이어 제어기(220)는 단일의 플레이어(215) 또는 다수의 플레이어들(215)을 제어할 수 있다. 컨텐츠 및/또는 재생 목록 및 스케쥴은, 컨텐츠/재생 목록/스케쥴이 보내지는 플레이어(215)를 식별해주는 정보를 제공하는 적절한 어드레싱과 함께, DSS 제어 프로세서(205)로부터 하나 이상의 플레이어 제어기(220)로 압축된 형식으로 전송될 수 있다. 몇몇 응용에서, 플레이어(215)는 상점들에 배포되어 있을 수 있고, 플레이어(215) 상에 제시되는 컨텐츠는 광고일 수 있다.

다른 구현에서, DSS 제어 프로세서(205)는 재생 목록 및 스케쥴만을 플레이어 제어기(220)로 전송할 수 있다. 컨텐츠가 플레이어 제어기(220) 상에 존재하지 않는 경우, 플레이어 제어기(220)는 제시될 컨텐츠를 획득하기 위해 컨텐츠 저장 장치(225)에 액세스할 수 있다. 몇몇 시나리오에서, 컨텐츠 저장 장치(225)를 비롯한 DSS 시스템의 다양한 컴포넌트들 중 하나 이상이 인트라넷 또는 인터넷 접속과 같은 네트워크 접속을 통해 액세스될 수 있다. 플레이어 제어기(220)는 원하는 컨텐츠를 조립할 수 있으며, 또는 다르게는 재생 목록 및 스케쥴에 따라 플레이어 상의 원하는 컨텐츠의 디스플레이를 용이하게 해줄 수 있다. 재생 목록, 스케쥴 및/또는 플레이어(215) 상에 제시되는 컨텐츠는 예컨대 플레이어 제어기(220)를 통 해 또는 DSS 제어 프로세서(205)를 통해 사용자에 의해 원하는 바에 따라 또는 주기적으로 수정될 수 있다.

몇몇 구현에서, DSS 제어 프로세서(205)는 플레이어 상에 재생될 컨텐츠 프로그램의 개발 및/또는 형식화(formatting)를 용이하게 해준다. 예를 들어, DSS 제어 프로세서(205)는 템플릿을 사용하여 오디오비쥬얼 프로그램의 형식화를 용이하게 할 수 있다. 템플릿은 제시될 오디오비쥬얼 프로그램의 개발에 적용되는 형식화 제약 조건 및/또는 규칙을 포함한다. 예를 들어, 템플릿은 특정 유형의 컨텐츠에 대해 사용되는 화면의 부분, 각각의 세그먼트에서 재생될 수 있는 컨텐츠의 유형과 순서, 폰트 크기와 연관된 규칙 및/또는 프로그램의 디스플레이에 적용가능한 기타 제약 조건 또는 규칙을 포함할 수 있다. 각각의 디스플레이 구성에 대해 개별 세트의 규칙 및/또는 제약 조건이 바람직할 수 있다. 몇몇 실시예에서, 여러 디스플레이에 대해 프로그램을 형식화하는 것은 DSS 제어 프로세서(205)에 의해 자동으로 수행될 수 있다.

몇몇 실시예에서, DSS는 인지 과학 분야에서의 연구 및 실험을 통해 획득되는 정보에 기초하여 템플릿을 생성하고, 컨텐츠를 발생시키며, 컨텐츠를 선택하고, 프로그램들을 조립하며, 그리고/또는 디스플레이될 프로그램을 형식화할 수 있다. 인지 과학은 사람의 지각 메커니즘을 이해하려고 노력한다. 인지 및 시각 과학 부문은 사람의 지각 시스템이 어떻게 정보를 처리하는지, 주의력(attention)의 기초를 이루는 메커니즘, 사람의 두뇌가 정보를 어떻게 기억에 저장하고 표현하는지, 및 언어 및 문제 해결의 인지 기초에 관한 엄청난 지식 베이스를 발생시켰다. 컨 텐츠 설계, 레이아웃, 형식화 및/또는 컨텐츠 프리젠테이션에 인지 과학을 적용하면 사람의 지각 시스템에 의해 쉽게 처리되고 이해하기 쉬우며 사람의 기억에 쉽게 저장되는 정보를 산출한다. 인지 과학으로부터 획득되어 인지 과학 데이터베이스(230)에 저장된 지식은 템플릿의 생성, 컨텐츠 설계, 컨텐츠의 선택, 컨텐츠의 배포, 프로그램의 조립, 및/또는 디스플레이를 위한 프로그램의 형식화를 비롯한 하나 이상의 프로세스를 DSS에게 알려주기 위해 자동으로 또는 반자동으로 사용될 수 있다. DSS의 프로그래밍과 관련하여 사용되는 인지 과학 데이터베이스(230)는 인지 과학의 교시에 의해 향상되는 광고 또는 기타 디지털 사인 프로그램을 생성하며, 동시에 시스템 사용자가 그 분야에서의 특정의 훈련을 받을 필요가 없게 해준다.

디지털 사인 프로그램, 예를 들어 광고 캠페인 등의 개발에서, DSS 제어 프로세서(205)는 인지 과학을 통해 획득된 지식을 사용하여 향상되는 다양한 프로세스를 통해 사용자를 안내할 수 있다. 예를 들어, 인지 과학 데이터베이스(230)에 저장된 정보가 최적의 프로그램 레이아웃을 생성하기 위한 템플릿의 선택, 및/또는 컨텐츠 요소가 그래픽, 텍스트이어야 하는지, 움직임, 컬러, 크기를 포함해야 하는지와 같은 컨텐츠의 선택, 및/또는 프로그램 개발의 다른 태양의 구현에 적용될 수 있다.

DSS는 다양한 디스플레이 유형 및 시청 조건에 대처하기 위해 디지털 사인 프로그램의 대안의 버전들을 설계하는 능력을 포함할 수 있다. 디스플레이 기술이 다양하고, 디지털 사인 네트워크 상에 컨텐츠를 제시하는 데 사용되는 디스플레이 의 유형에 많은 차이가 있다. 예를 들어, 크기, 형상, 휘도 및 시청 조건이 디지털 사인 네트워크에 걸쳐 크게 달라질 것이다(예를 들어, 일부 디스플레이는 작고, 유연하며, 비직사각형인 반면, 다른 것은 표준 대화면 LCD(large format Liquid Crystal Display) 및 플라즈마 디스플레이일 것이다). 디스플레이 유형 및 시청 조건의 변동은 한 부분의 컨텐츠의 임의의 단 하나의 버전이 네트워크에 걸쳐 있는 모든 디스플레이에 최적으로 되는 것은 아닐 것임을 의미한다. 이 문제를 극복하기 위해, 각각의 디스플레이 유형 및 시청 환경에 대한 컨텐츠의 각각의 부분의 버전을 발생시키고 이들 컨텐츠 버전을 네트워크 내의 그의 대응하는 화면에 선택적으로 배포하는 것이 필요할 수 있다. 그러나, 컨텐츠 설계자가 대규모 DSS 네트워크에 걸쳐 디스플레이 유형 및 시청 조건에 대한 이러한 상세한 지식을 가지고 있을 것으로 기대하는 것은 현실적이지 않다. 게다가, 이러한 컨텐츠 설계자가 이러한 상세한 지식을 가지고 있더라도, 각각의 디스플레이에 대한 컨텐츠의 버전을 수동으로 생성하고 각각의 대응하는 디스플레이 상에서 적절한 시간에 재생하기 위해 컨텐츠를 수동으로 스케쥴하는 것은 시간 소모적일 것이다.

DSS는 배포된 컨텐츠의 유효성을 향상시키기 위해 사용되는 데이터를 수집하는 데이터 획득 유닛(235)을 포함할 수 있다. 데이터 획득 유닛(235)은 디지털 사인 네트워크의 유효성의 기초가 되는 배포 인자(distribution factor)들이 컨텐츠의 배포 동안에 실시간으로 연속하여 수집될 수 있게 한다. 획득된 정보는 DSS의 컨텐츠 유효성의 연속적인 향상 및 컨텐츠 부분들의 개별 버전의 향상을 용이하게 할 수 있다. 예를 들어, 어떤 센서 또는 판매 이벤트가 특정 유형의 컨텐츠의 디 스플레이를 트리거하는지를 학습하는 데 실시간 데이터가 사용될 수 있다.

임의의 컨텐츠 프로그램 내의 컨텐츠의 개별 부분들은 각각 특정 목표를 갖는다(예를 들어, 특정 제품을 팔기 위한 것). 디지털 사인 네트워크의 사용자에 대한 각각의 목표의 가치에 변동성이 있는 경우가 보통이다. 예를 들어, 제품에 대한 목표의 가치를 고려하는 각각의 제품에 대한 이익률(profit margin) 및 재고 수준(inventory level)에 변동성이 있을 수 있다. 각각의 목표를 달성하는 가치는 디지털 사인 프로그램이 배포되는 동안에 연속적으로 변한다. 예를 들어, 제품의 재고 수준이 변할 수 있으며, 따라서 제품의 판매 목표에 영향을 줄 수 있다.

DSS의 유효성을 전체로서 향상시키는 것은, 1) 디지털 사인 프로그램을 배포하는 것이 디지털 사인 프로그램과 연관된 목표에 미치는 영향을 정확하게 예측하는 것, 및 2) 컨텐츠 부분들에 대응하는 각각의 개별 목표의 가치가 변함에 따라 컨텐츠의 개별 부분들의 배포 패턴(타이밍, 빈도수, 및 위치)을 연속적으로 변경하는 것을 수반한다. 많은 경우에, DSS의 사용자가 컨텐츠를 배포하는 것의 영향을 예측하고 각각의 컨텐츠 부분과 연관된 목표의 연속적으로 변하는 가치에 기초하여 컨텐츠 배포 패턴을 수동으로 변경하는 것은 실행불가능하다. DSS는 디지털 사인 프로그램의 영향을 예측하고 그 예측에 기초하여 컨텐츠의 배포를 변경하는 기능을 제공한다.

앞서 기술한 바와 같이, 사람의 행동에 영향을 줄 목적으로(예를 들어, 구매 행동에 영향을 줄 목적으로) 컨텐츠가 플레이어(215) 상에 디스플레이된다. 그러나, 종래의 디지털 사인 시스템은 사인 컨텐츠와 사람의 행동 간의 인과 관계를 증 명할 수 없으며, 또는 인과 관계의 세기를 측정할 수 없다. 이러한 어려움이 있는 이유는 현재의 디지털 사인 네트워크를 통해 컨텐츠가 전달되는 방법이 임의의 측정된 사람의 행동 변화가 사인 컨텐츠에 의한 것인지 또는 어떤 혼란 인자들(예를 들어, 날씨의 변화, 제품에 대한 일반적인 수요의 변화, 제품 가격의 변화)의 결과로 인한 것인지를 판정하는 것을 지원하지 않기 때문이다. 사인 컨텐츠와 사람의 행동 간의 인과 관계를 결정적으로 판정하는 유일한 방법은 복잡한 실험 설계를 사용하여 사인 컨텐츠가 체계적으로 조작되고 사람의 행동에 대한 그 조작의 효과가 주의깊게 측정되는 진실험을 수행하는 것이다. 이러한 실험을 수동으로 수행하는 것은 시간 소모적이며 어떻게 진실험을 설계할지에 대한 과학적 방법에 상당한 지식 및 훈련을 필요로 한다. 디지털 사인 시스템의 사용자는 혼란이 없는 결과를 얻기 위해 어떻게 진실험을 설계할지를 이해하기에 충분한 훈련을 받지 않았을 수도 있다.

DSS는 진실험을 설계, 전개 및/또는 그로부터 획득된 데이터를 분석하는 능력을 제공하는 컴포넌트들을 포함할 수 있다. 앞서 논의한 바와 같이, 이러한 기능을 제공하는 컴포넌트들은 DSS 내에 포함될 수 있거나 다른 유형의 시스템에 의해 구현될 수 있다. 진실험이 구현되는 특정 유형의 시스템에 상관 없이, 진실험의 설계, 전개 및/또는 분석에서 사용될 수 있는 컴포넌트들이 도 2B의 블록 다이어그램에 별도로 기술되어 있다. 본 발명에 따른 시스템은 본 명세서에 기술된 특징들, 구조들, 방법들, 또는 이들의 조합 중 하나 이상을 포함할 수 있다. 예를 들어, 시스템은 도 2A 또는 도 2B에 예시된 유리한 특징들 및/또는 프로세스들 중 하나 이상을 포함하도록 구현될 수 있다. 이러한 시스템이 본 명세서에 기술된 특징들 전부를 포함할 필요는 없지만 유용한 구조 및/또는 기능을 제공하는 선택된 특징들을 포함하도록 구현될 수 있다는 것으로 의도된다.

도 2B는 진실험의 설계를 보장하도록 구성된 실험 설계 프로세서를 포함하는 실험 설계 시스템(experiment design system; EDS)을 예시한다. 앞서 논의한 바와 같이, 실험 설계 프로세서(240)는 완전 자동으로 또는 사용자 대화 작용을 갖는 반자동으로 동작하도록 구성될 수 있다. 반자동 모드에서, 실험 설계 프로세서(240)는 진실험을 설계하기 위해 사용자 인터페이스(210)를 통해 수행되는 다양한 대화형 세션을 통해 사용자를 안내할 수 있다. 이러한 프로세스에서, 실험 설계 프로세서(240)는 혼란이 없는 데이터를 산출하는 진실험의 설계를 보장한다. 따라서, 사용자는 실험 설계 프로세서(240)의 프로그래밍에 의존할 수 있고 진실험을 설계하는 데 지식 또는 경험을 가지고 있을 필요가 없다. EDS는 실험 설계 프로세서(240)만을 포함할 수 있거나, 실험 전개 유닛(245), 데이터 획득 유닛(235) 및 데이터 분석 유닛(250)과 같은 부가적인 요소들을 포함할 수 있다.

실험 설계 프로세서(240)는 자동으로 또는 반자동으로, 실험의 목적 또는 가설을 개발하고, 실험의 독립 변수 및 종속 변수를 식별하며, 적절한 무작위 추출, 역균형화 및/또는 블록화를 적용하는 통제 및 처치 그룹을 형성할 수 있다. 예를 들어, DSS와 관련하여, 실험 목적은 특정 제품을 판촉하는 광고 캠페인에서 컨텐츠 요소의 유효성을 평가하는 것일 수 있다. 독립 변수(들)는 컨텐츠 요소의 디스플레이의 소정의 태양과 연관되어 있을 수 있다. 종속 변수(들)는 제품의 판매 증가 와 연관되어 있을 수 있다.

실험 설계 프로세서(240)는 실험 컨텐츠 및 통제 컨텐츠가 디스플레이되는 DSS 시스템의 다양한 설치 장소의 선택을 포함하는 적절한 처치 및 통제 그룹을 형성할 수 있다. 컨텐츠 형식을 비롯한 실험 컨텐츠의 프리젠테이션, 스케쥴, 프리젠테이션 위치 및/또는 실험 프로세스에 혼란을 야기할 수 있는 다른 인자들이 실험 설계 프로세서(240)에 의해 제어된다. 실험 설계 프로세서(240)는 혼란이 없는 실험 결과를 달성하기 위해 통제 및 처치 그룹의 적합한 무작위 추출, 역균형화 및 블록화를 보장할 수 있다. DSS 시스템과 관련한 실험의 설계는, 예를 들어 실험을 통해 시험될 컨텐츠의 프리젠테이션을 위한 적절한 재생 목록 및 스케쥴을 발생시키는 것을 포함할 수 있고, 또한 통제 컨텐츠의 프리젠테이션을 위한 재생 목록 및 스케쥴을 발생시키는 것을 포함할 수 있다.

EDS는 실험 전개 유닛(experiment deployment unit)(245)을 추가로 포함할 수 있다. 실험 전개 유닛(245)은 실험의 전개를 용이하게 하도록 구성되어 있다. 예시적인 DSS 시스템과 관련하여, 실험 전개 유닛(245)은 다양한 플레이어 구성에 대해 실험 컨텐츠 및 통제 그룹 컨텐츠를 형식화하고, 실험 컨텐츠 및 통제 컨텐츠를 재생 목록 및 스케쥴에 의해 지정된 바와 같이 플레이어(215) 상의 프리젠테이션을 위해 플레이어 제어기(220)로 전송하는 것을 용이하게 한다.

데이터 획득 유닛(235)은 통제 및 처치 그룹으로부터 실험 데이터를 수집하도록 구성될 수 있다. 데이터 획득 유닛(235)은 임의의 수단을 통해 실험과 연관된 데이터의 획득을 수행하거나 용이하게 할 수 있다. 예를 들어, 예시적인 DSS와 관련하여, 데이터 획득 유닛(235)은 제품 이동, 제품 판매, 고객 행동이나 반응 및/또는 기타 정보를 비롯한 정보를 수집하는 다양한 센서 또는 데이터 획득 장치(262, 264, 266)에 연결될 수 있다. 센서(262)는, 예를 들어 고객이 제품을 골랐는지 또는 컨텐츠가 디스플레이될 때 고객이 디스플레이 근방에 있는지를 검출하는 데 사용될 수 있다. 판매 성적은 판매 시점 관리(point of sale; POS) 시스템(264)에 의해 획득된 정보에 기초하여 결정될 수 있다. 종속 변수를 측정하는 다른 장치(266)가 또한 사용될 수 있다. 제품의 재고 수준의 변화는 재고 관리 시스템을 통해 이용가능할 수 있다. 고객 반응은 설문지를 통해 획득될 수 있다. 수행된 실험이 진실험인 경우, 데이터 획득 유닛(235)에 의해 획득된 데이터에는 실질적으로 혼란이 없다.

데이터 획득 유닛(235)은 데이터 획득 유닛(235)에 의해 수집된 실험 데이터를 분석하도록 구성되어 있는 데이터 분석 모듈(250)에 연결될 수 있다. 데이터 분석 모듈(250)은 실험의 독립 변수와 종속 변수 간의 인과 관계를 판정하고 그리고/또는 정량화할 수 있다. 예시된 DSS의 경우, 분석의 결과는 컨텐츠가 제품 판매에 영향을 주는 데 효과적인지를 판정하는 데 사용될 수 있다.

분석의 결과는 부가적으로 또는 대안적으로 다양한 프로세스를 구현하거나 수정하는 데 사용될 수 있다. 예를 들어, 컨텐츠가 제품 판매에 영향을 주는 데 효과적이었던 경우, 그 컨텐츠를 포함하는 광고 캠페인이 개발될 수 있다. 판매 증가의 유효성에 기초하여 컨텐츠 평가 프로세스(272)에 의해 그 컨텐츠에 소정의 가치가 할당될 수 있다. 그 컨텐츠를 사용하는 광고주는 컨텐츠의 가치에 따라 과 금 유닛(billing unit)(274)에 의해 청구서를 받을 수 있다. 데이터 분석 모듈(250)은 또한 재고 제어기(276)에 정보를 제공할 수 있다. 부가적으로, 데이터 분석 모듈(250)은 광고 캠페인이 배포될 때의 판매 예측을 발생시키는 예측 유닛(278)에 정보를 제공할 수 있다. 예측 유닛(278)은 부가적으로 또는 대안적으로 광고 캠페인에 의해 발생되는 판매를 지원하는 데 필요한 제품 재고를 예측할 수 있다.

도 3에 나타낸 플로우차트는 본 발명의 실시예에 따른 DSS(도 2A) 및/또는 EDS(도 2B)에 의해 구현될 수 있는 방법의 개요를 제공한다. 이 방법은 진실험의 설계(310) 및 수행(320)을 포함한다. 실험에 의해 산출된 데이터가 수집(330) 및 분석(340)된다. 데이터 분석에 기초하여 하나 이상의 프로세스가 수정되거나 구현될 수 있다(350).

도 4A 내지 도 4C의 플로우차트는 본 발명의 실시예에 따른 디지털 사인과 관련하여 이들 프로세스의 보다 구체적인 예를 제공한다. 이 예에서, 실험의 목적은 컨텐츠 A를 포함하는 DSS에 대한 비디오 광고의 제품 X의 판매에 대한 효과를 판정하는 것이다. 예를 들어, 컨텐츠 A는 배우, 운동 선수, 또는 기타 유명인의 비디오를 특징으로 하는 광고일 수 있다. 시험될 컨텐츠(컨텐츠 A)가 식별되고(402) 통제 컨텐츠가 선택된다(404). 로컬 메모리에 저장된 템플릿 규칙들을 사용하여 컨텐츠 A를 포함하는 비디오 광고가 생성된다(406). 템플릿 규칙은 또한 통제 그룹에 대해 사용될 비디오 컨텐츠를 생성하는 데 적용될 수 있다. 템플릿 규칙은 디스플레이 상에서 컨텐츠의 레이아웃을 배열하기 위한 구조를 제공하는 데 사용될 수 있다. 몇몇 경우에, 템플릿 규칙은 인지 과학으로부터 도출된 정보에 기초한다. 날씨/뉴스 패널, 상점 로고, 텍스트 크롤(text crawl), 및 비디오 광고 영역을 비롯한 디지털 사인 디스플레이에 대한 예시적인 레이아웃이 도 5에 예시되어 있다.

컨텐츠 A 및 통제 컨텐츠를 포함하는 비디오 광고에 대한 재생 목록 및 스케쥴이 지정된다(412, 414). 광고 및 통제 컨텐츠를 위한 장소가 선택된다(416, 418). 예를 들어, 광고 및 통제 컨텐츠의 장소는 레스토랑, 상점, 쇼핑몰, 또는 기타 위치일 수 있다. 재생 목록 및 스케쥴의 개발(412, 414) 및 장소의 선택(416, 418)은 실험 결과에서 혼란 변수들을 배제 또는 감소시키기 위해 적절한 무작위 추출 및 블록화를 사용하여 수행된다.

광고 및 통제 컨텐츠는 다수의 장소로 배포될 수 있으며, 각각의 장소는 특정 세트의 시청 특성을 갖는다. 예를 들어, 장소들은 디스플레이 크기, 디스플레이 형상, 시청 거리, 주변 조명, 노이즈 레벨 및 기타 시청 조건과 관련하여 변할 수 있다. 광고가 배포되는 각각의 디스플레이의 속성에 적합하도록 광고가 조정된다(422). 통제 컨텐츠에 대해 유사한 조정이 수행된다(424). 광고 및 통제 컨텐츠를 그 각자의 재생 목록 및 스케쥴에 따라 보여준다(426, 428).

광고 및/또는 통제 컨텐츠가 디스플레이되기 전, 디스플레이되는 동안, 그리고 디스플레이된 후에, 각각의 장소에서 데이터가 수집될 수 있다. 이 데이터는 센서, POS 단말기, 재고 관리 시스템, 및/또는 기타 입력 장치를 통해 수집될 수 있다. 예를 들어, 광고의 프리젠테이션 동안에 디스플레이 근방에 시청자가 존재 하는지가 검출될 수 있다. 광고 및 통제 컨텐츠가 디스플레이된 횟수가 검출될 수 있거나(432, 434), 시청된 횟수가 검출될 수 있다(436, 438). 시청자 이동, 눈 움직임, 및/또는 제품 X와의 상호작용이 감지될 수 있다(442). 제품 X의 판매량 및 타이밍이 POS 단말기로부터 결정될 수 있다(444). 광고에 대한 시청자 반응이 설문지를 통해 획득될 수 있다. 예를 들어, 설문지는 시청자가 광고에 대해 대체로 긍정적인 또는 대체로 부정적인 반응을 보였는지를 판정하는 데 사용될 수 있다. 그 전후에, 설문지는 광고가 고객의 제품 X에 대한 친밀도 수준을 변경했는지를 판정하는 데 사용될 수 있다. 제품 X의 재고 수준의 변화가 결정될 수 있다.

수집된 데이터는 컨텐츠 A를 포함하는 광고의 디스플레이와 제품 X의 판매 성적 간의 인과 관계를 결정하기 위해 분석될 수 있다(446). 이 분석에 기초하여, 컨텐츠 A에 소정의 가치가 할당될 수 있다(448). 컨텐츠 A가 판매를 증가시키는 데 성공적인 경우, 컨텐츠 A를 포함하는 광고 캠페인이 발생될 수 있다(452). 광고 캠페인에 대한 투자 수익(return on investment; ROI)이 결정될 수 있다(454). 광고 캠페인을 제공하는 회사 또는 광고 캠페인을 제시하는 시스템은 실험에 의해 결정된 컨텐츠 A의 가치 또는 예측된 ROI에 따라 그의 고객에게 요금 청구를 할 수 있다(456). 제품 X의 판매자는 실험의 결과에 기초하여 컨텐츠 A를 포함하는 광고 캠페인 동안에 제품 X에 대한 재고 요건을 예측할 수 있다(458). 이 시스템은 실험 결과에 기초하여 하나 이상의 프로세스를 반복적으로 수정할 수 있다(462).

도 5는 본 발명의 DSS에 의해 제어될 수 있는 디지털 사인 디스플레이에 대한 예시적인 레이아웃을 나타낸 것이다. 이 디지털 사인 디스플레이는 날씨/뉴스 패널, 상점 로고 그래픽, 텍스트 크롤, 및 비디오 광고를 위한 영역과 같은 다수의 영역을 포함하도록 구성될 수 있다.

도 6은 본 발명의 실시예에 따른, 도 2A에 예시된 시스템과 같은 반자동 DSS의 기능을 개념적으로 예시한 것이다. DSS는 기능상 4개의 영역으로 대별하여 그룹화될 수 있다. 도 6에 예시된 제1 기능 영역은 인지 및 시각 과학을 디지털 사인에 적용(610)하기 위한 것이다. 시각 및 인지 과학에서의 고도의 훈련을 받지 않은 컨텐츠 설계자가 컨텐츠 유효성을 향상시키기 위해 컨텐츠 생성 프로세스 동안에 이들 과학 부문으로부터의 원리들을 적용할 수 있게 해주는 프로그래밍 도구들이 제공된다. 시스템은 사용자에게 컨텐츠의 각각의 부분에 대한 목표 및 의도된 메시지(중요 정보) 둘다를 입력하도록 요청한다. 사용자는 컨텐츠 설계에 영향을 주는 디지털 사인 네트워크에 걸친 주요 속성들을 식별하는 데 도움을 받는다. 시스템은 목표 및 주요 디지털 사인 네트워크 속성들에 기초하여 컨텐츠를 설계하기 위해 인지 및 시각 과학을 적용하는 프로세스로 사용자를 안내한다. 예를 들어, 시스템은 사용자가 사인들 상에 디스플레이할 템플릿(즉, 최상의 레이아웃) 및 요소(예를 들어, 요소가 그래픽인지, 텍스트인지, 움직임, 컬러, 크기를 포함하는지 등)를 선택하는 것을 도울 것이다.

DSS의 다른 기능 컴포넌트는 컨텐츠 유효성 측정(620)을 제공한다. DSS의 프로그래밍에 의해 실험을 수행하는 데 훈련 또는 기술이 거의 없거나 전혀 없는 사용자가 복잡한 실험 설계를 발생시킬 수 있다. 실험 설계는 효과적인 디지털 사인 네트워크의 기초를 이루는 컨텐츠 설계 및 배포 인자들을 조사하고 사람의 행동 에 대한 컨텐츠의 영향을 측정하는 데 사용될 수 있다. 사용자는 컨텐츠 유효성에 중요할 수 있는 독립 변수 및 독립 변수에 대응하는 종속 변수를 식별하는 데 도움을 받는다. 이들 독립 변수와 종속 변수 간의 임의의 인과 관계의 세기를 결정하기 위해, 적절한 통제 및 실험 조건을 식별하는 것, 적절한 블록화, 역균형화, 및 무작위 추출을 비롯한 적절한 실험 설계가 본 시스템에 의해 발생된다. 실험이 수행되고, 센서 및/또는 기타 프로세스를 통해 데이터가 수집되며, 데이터가 분석된다. 실험의 결과가 시스템의 다양한 다른 컴포넌트들에 의해 사용될 수 있고 그리고/또는 사용자에게 보고될 수 있다.

진실험의 사용은 아주 명료한(혼란이 없는) 데이터의 수집을 가능하게 해주는 컨텐츠를 전달하는 복잡하고 엄격한 방법을 제공한다. 이는 혼란으로 가득한 데이터를 분석 및 사용하기 위해 극도로 복잡한 분석 방법(즉, 행동 분석론)을 필요로 하는 준실험을 사용하는 방법과는 대조를 이룬다.

DSS는 자동적으로 새로운 템플릿을 발생시키고 기존의 요소에 변환을 적용하는 자동화된 컨텐츠 설계(630)를 제공한다. 컨텐츠 유효성을 향상시키기 위해 그리고/또는 앞서 기술한 실험 설계의 요구를 충족시키는 적절한 컨텐츠를 생성하기 위해, 새로운 템플릿 및 요소가 발생될 수 있다. DSS에 의해 제공되는 도구는 시스템 내의 각각의 플레이어에 대한 컨텐츠 부분의 고유한 버전을 발생시킬 수 있다. DSS 시스템은 사용자들에게 입력을 제공하도록 요청할 수 있거나, 네트워크 속성 및 컨텐츠 유효성의 기초를 이루는 인자들에 관하여 다른 컴포넌트로부터 공급된 정보를 사용할 수 있다. 시스템이 향상시키고자 하는 컨텐츠의 특정 부분에 대한 정보 공간을 외삽하고, 채우며, 다른 방식으로 탐색하기 위해, 인지 및 시각 과학으로부터의 지식이 사용될 수 있다. DSS의 기능은 배포된 버전의 컨텐츠와 연관된 배포된 템플릿 또는 요소의 재구성에 불과한 것이 아닌 완전히 새로운 컨텐츠를 발생시키는 능력을 제공한다. 즉, 비록 시스템이 혼성/혼합(hybridization/blending)을 할 수 있더라도, 효과적인 것으로 데이터가 암시하는 배포된 템플릿 및 요소의 혼성/혼합에만 DSS가 의존하는 것은 아니다.

DSS 시스템은 시스템 레벨(즉, 상위 레벨(superordinate-level)) 목표를 향상시키기 위해 디스플레이의 네트워크에 걸쳐 서로 다른 컨텐츠 부분들을 배포(640)하는 기능을 포함한다. 예를 들어, 컨텐츠 부분들은 서로 다른 물품의 판매를 조화시키기 위해 또는 서로 다른 지리적 위치에서 서로 다른 재고 수준(판매율, 이익률)에 반응하기 위해 시스템 전반에 걸쳐 배포될 수 있다.

도 6에 예시된 기능 컴포넌트들(610-640)은 개별적으로 유용하다. 그러나, 컴포넌트들(610-640)이 통합된 시스템으로 결합될 때, 다수의 다른 주요 이점이 결합된 시스템 외부에서 발생한다. 인지 및 시각 과학의 적용(610)은 인지 및 시각 과학에서의 배경 지식이 거의 없는 또는 전혀 없는 사용자가 보다 효과적인 컨텐츠를 생성하기 위해 이들 과학 부문을 적용할 수 있게 해준다. 이 기능은 단일 또는 다중-화면 환경에서 사용될 수 있다. 시스템 전반의 레벨에서, 인지 및 시각 과학의 적용은 화면별로 컨텐츠를 맞추기 위해 자동화된 컨텐츠 설계 시스템에 입력 및 제약 조건을 제공한다. 예를 들어, 각각의 네트워크 사인(network sign)마다 평균 시청 거리가 알려져 있다면, 인지 및 시각 과학을 적용하는 컴포넌트는 각각의 사 인에 대한 이상적인 폰트 크기를 결정할 것이고, 이 정보는 그 폰트-크기 파라미터로 텍스트를 발생시키기 위해 자동화된 컨텐츠 설계 컴포넌트에 의해 사용될 것이다. 시스템은 실험 프로세스 동안에 조작되어야만 하는 주요 파라미터를 제안할 수 있으며, 그 파라미터들의 상한 및 하한을 제공할 수 있다.

컨텐츠 유효성 측정(620)은 실험 설계를 발생시키고 임의의 측정가능한 사람의 행동에 대한 컨텐츠의 영향과 관련하여 데이터를 분석하기 위해 단일 또는 다중-화면 환경에서 동작할 수 있다. 컨텐츠 유효성 측정(620)은 사인 컨텐츠 및 사람의 행동 간의 인과 관계를 결정할 수 있다. 일례에서, 그 자체가 정확한 가치를 할당받을 수 있는 임의의 사람의 행동에 대한 컨텐츠(및 그에 따른 디지털 사인 시스템)의 정확한 재무 가치(financial value)를 결정하는 것이 가능하다. 가장 명백한 기지의 가치를 가진 사람의 행동은 구매 행동이다. 그러나, 시스템이 다른 사람의 행동을 감지할 수 있음으로써, 사용자는 눈 움직임, 제품을 고르는 것, 길찾기 시간의 감소 등과 같은 광범위한 행동에 대한 달러 가치를 할당할 수 있다.

다른 예에서, 시장 조사자들은 동일한 제품의 서로 다른 특징 세트를 기술하는 컨텐츠를 발생시킴으로써 제품에서의 어떤 특징 세트가 가장 가치있는지에 관한 그들의 가설을 시험할 수 있다. 어느 컨텐츠 부분이 가장 효과적인지를 판정함으로써, 어떤 특징 세트가 소비자에게 가장 가치있는 것인지에 관하여 추론을 하는 것이 가능할 것이다.

시스템 레벨에서, 컨텐츠 유효성 측정(620)은 설계 파라미터의 유효성에 관한 입력을 자동화된 컨텐츠 설계 컴포넌트에 제공하며, 이에 따라 자동화된 컨텐츠 설계 컴포넌트는 배포된 컨텐츠의 유효성을 계속하여 향상시킬 수 있다. 게다가, 컨텐츠 배포 컴포넌트가 특정 컨텐츠 배포 패턴이 주어진 목표-상태에 미치는 영향을 예측할 수 있도록 계속하여 갱신된 입력이 제공될 수 있다.

컨텐츠 배포 기능(640)은 디지털 사인 네트워크의 목표를 달성하거나 극대화하기 위해 개개의 컨텐츠 부분이 네트워크에 걸쳐 제시되는 상대 빈도수의 계속적인 변화에 대비한다. 상대 빈도수를 변경하는 것은 개개의 컨텐츠 부분이 개개의 사인 상에 보여지는 횟수를 증가시키거나 감소시키는 것을 수반한다. 특정 화면 상에 보여지는 컨텐츠 부분의 버전들과 같은 모든 다른 컨텐츠 배포 인자들은 동일한 채로 있다. 예를 들어, 시스템은 재고 수준이 낮은 제품에 대응하는 컨텐츠 부분을 제시하는 빈도수를 감소시키고 재고 수준이 높은 제품에 대응하는 컨텐츠를 제시하는 빈도수를 증가시킬 수 있다.

시스템 전반에서, 컨텐츠 배포 컴포넌트(640)는 컨텐츠 유효성 측정 컴포넌트(620)로부터 입력을 수신할 수 있고, 컨텐츠 유효성 측정 컴포넌트에 의해 수집된 원인 및 결과 정보로부터 행해지는 예측에 기초하여 화면별로 컨텐츠를 전략적으로 배포하도록 그 입력에 영향을 미칠 수 있다.

도 7은 상기 DSS의 컴포넌트 및 기능을 사용하여 컨텐츠를 생성 및 배포하는 프로세스 흐름을 예시한다. 첫번째 사이클 또는 초기화 동안에, 프로세스는 시스템 외부로부터의 데이터를 사용하여 시스템 목표를 최적화한다. 후속 사이클들 동안에, 프로세스는 시스템 목표를 수정 및/또는 향상시키기 위해 시스템 자체에 의해 획득된 데이터에 의존할 수 있다. 상세히 말하면, 첫번째 사이클 동안에, 도 7 에 예시된 프로세스는 인지 및 시각 과학으로부터의 사전 지식을 사용하여 목표를 최적화하고, 후속 사이클은 인지 및 시각 과학, 또한 실시간 실험 데이터로부터의 결과를 사용하여 시스템 목표를 최적화한다. 따라서, 초기화 동안에, 프로세스는 연역적 데이터 소스를 사용한다. 후속 사이클들 동안에, 사용자-대화 작용이 필요하지 않다. 후속 사이클 동안에, 연역적 데이터 및 귀납적 데이터 둘다가 사용된다.

프로세스는 일련의 도구 및 스크립트로 사용자를 안내하며, 컨텐츠 요소의 범주들이 화면 상에 어떻게 나타날 수 있는지(예를 들어, 텍스트, 그래픽 및 비디오와 같은 요소들의 위치, 크기 및 배향)를 지정하는 다수의 대안적인 템플릿을 생성한다(710). 이 도구 및 스크립트는 3가지 정보 세트, 즉 a) 정보의 효과적인 디스플레이에 관한 인지 및 시각 과학으로부터의 원리들, b) 컨텐츠의 목표(예를 들어, 길찾기, 광고), 및 c) 디지털 사인 네트워크의 기지의 속성들(예를 들어, 네트워크에 걸친 서로 다른 디스플레이의 크기 및 형상, 서로 다른 시청 거리, 및 시청자 인구 통계)을 이용하여 추천되는 템플릿을 제안한다. 예를 들어, 도구 및 스크립트는 요소가 그래픽으로 또는 텍스트를 통해 표현되어야만 하는지를 사용자가 판정하는 데 도움이 될 수 있다. 도구 및 스크립트는 또한 네트워크에 걸친 시청 조건, 컨텐츠의 목표, 및 이용가능한 경우 이전의 캠페인으로부터 효과적이었던 템플릿의 유형들에 관한 메트릭(metric)이 주어진다면, 많은 수의 사전 정의된 템플릿 중 어느 것이 적절한지를 사용자가 판정하는 데 도움이 될 수 있다.

프로세스는 블록(710)에서 생성된 템플릿 내에 나중에 배치될 특정 컨텐츠 요소를 발생(720)시키기 위해 일련의 도구 및 스크립트로 사용자를 안내한다. 개개의 컨텐츠 요소는 특정 텍스트 메시지, 정적 이미지, 애니메이션, 영화 클립, 사운드 바이트(sound bite) 등을 포함할 수 있다. 각각의 요소는 많은 변형들을 가질 수 있고, 소프트웨어는 사용자가 컨텐츠의 어느 요소들이 템플릿 내에 결합될 수 있는지를 결정하고, 그 요소들이 어떻게 결합될 수 있는지에 대한 규칙을 결정하며, 컨텐츠 생성 프로세스 동안에 컨텐츠 요소를 조작할 수 있는 파라미터를 결정하는 데 도움을 준다. 예를 들어, 배포 동안에 폰트의 컬러를 변경하는 것은 적법할 수 있지만, 템플릿에서 사용된 유명인의 얼굴의 컬러를 변경하는 것은 적법하지 않을 수 있다.

소프트웨어 도구 및 스크립트는 3가지 정보 세트, 즉 a) 이전의 캠페인들에서 효과적이었던 컨텐츠 요소들의 유형에 관한 데이터, b) 인지 및 시각 과학으로부터의 원리들, 및 c) 디지털 사인 네트워크의 기지의 속성들을 이용함으로써 컨텐츠 발생을 용이하게 한다. 이러한 예에서, 컨텐츠가 생성된 후에, 사용자 대화 작용이 더 이상 필요하지 않다.

컨텐츠 생성이 향상된다(730). 이 프로세스는 요소들 및 템플릿들을 결합하여 다수의 컨텐츠 버전들을 생성하기 위해 다양한 제약 조건을 수반할 수 있다. 이 프로세스에서 처음에, 제약 조건은 a) 상기 템플릿 및 컨텐츠 요소의 생성 시에 사용하기 위한 이전에 사용된 인자들, b) 요소들 및 템플릿들을 어떻게 결합할지에 대한 사전 프로그램된 가이드라인, c) 배포되는 컨텐츠 부분의 목표, 및 d) 실험 설계의 파라미터에 기초할 것이다. 이 블록을 그 다음에 통과할 시에, 프로세스는 또한 새로운 컨텐츠 버전을 생성하기 전에 (보간을 통해) 기존의 템플릿 및 요소를 변경하거나 새로운 템플릿 및 요소를 생성하기 위해 유효성 데이터를 사용할 것이다. 네트워크에서의 각각의 디스플레이가 서로 다른 속성들(예를 들어, 서로 다른 조명 레벨, 노이즈 레벨, 형상, 크기 및 평균 시청 거리)을 가질 수 있기 때문에, 네트워크 내의 각각의 디스플레이에 대해 고유한 버전의 컨텐츠가 생성될 수 있다.

이 컨텐츠는 디지털 사인 네트워크에 걸쳐 배포된다(740). 컨텐츠 배포는 a) 컨텐츠와 시청자 행동 간의 인과 관계가 판정될 수 있게 하고, b) 활성 사인 네트워크(active signage network)의 시스템 레벨 목표, 및 그에 따른 전체 네트워크 투자 수익을 향상시키며, c) 특정 템플릿 및 컨텐츠 요소의 유효성의 정확한 측정을 가능하게 하기 위해, 어떤 개개의 컨텐츠 부분이 언제 어디에 디스플레이되는지의 판정을 수반한다.

컨텐츠 배포 프로세스는 여러 버전의 컨텐츠가 적절한 블록화 및 역균형화 절차를 사용하여 배포될 수 있게 해준다. 게다가, 네트워크에 걸쳐 사인들의 기지의 속성에 대해 적절한 기본적인 제어 조건이 사용되고, 미지의 인자들에 대해 컨텐츠 버전들이 적절하게 무작위 추출된다. 이들 알고리즘은 사인 네트워크 속성들, 예를 들어 속성들의 수 및 속성들 간의 관계가 주어진다면 적절한 실험 설계를 결정한다. 이 기능은 시스템에 걸쳐 개개의 컨텐츠 부분의 재생의 빈도수와 타이밍 및 재생의 위치와 같은 재생 요건들을 조화시킨다.

컨텐츠를 배포하는 데 사용된 실험 절차와 관련하여 센서 데이터, POS, 재고 데이터 및/또는 기타 데이터를 사용하여, 컨텐츠의 영향이 계산되고 분석된 다(750). 지각 실험의 관점에서 이 단계를 기술하면, 컨텐츠 요소 및 템플릿의 효과-크기(effect-size)가 계산된다. 효과 크기란 임의의 정의된 변수가 설명할 수 있는 데이터의 변동성 정도를 말한다. 이 프로세스는 네트워크에 걸쳐 주어진 속성에 대해 어느 컨텐츠가 효과적인지를 분석하고 예측한다. 또한, 센서 데이터, 컨텐츠 프리젠테이션, 및 목표를 향한 이동의 동시 발생이 검출된다. 따라서, 소정의 검출된 이벤트가, 컨텐츠와 쌍을 이룰 때, 목표를 향한 방향을 증가시킨다는 것을 알 수 있다. 그러면, 이들 동시 발생은 새로운 디지털 사인 네트워크 속성이 된다. 센서 데이터, 컨텐츠 프리젠테이션, 및 목표 상태를 향한 이동의 동시 발생의 장점을 이용하기 위해 컨텐츠가 배포될 수 있다.

블록(750)에서 수행되는 분석은 투자 수익(ROI), 미래의 컨텐츠 생성 및 미래의 컨텐츠 배포에 대한 보고의 기초를 형성한다. 사전 식별된 종속 변수들에 대해 추론 통계(inferential statistics)가 수행될 수 있다. 이들 추론 통계로부터, 시스템은, 컨텐츠 요소, 템플릿 및 배포의 효과를 비롯하여, 인과 관계에서의 효과 크기 및 신뢰도를 계산할 수 있다.

도 8은 본 발명의 실시예에 따른 DSS 시스템의 예시적인 구현을 도시하는 플로우차트이다. 이 구현은 200개의 상점을 갖는 스포츠 용품 소매상을 수반한다. 이 소매상은 4가지 과잉 재고의 제품 및 과잉 재고는 아니지만 과잉 재고의 제품보다 높은 이익률을 갖는 4가지 제품을 광고하고자 한다. 이 캠페인의 상위 레벨 목표는 과잉 재고 항목의 과도한 재고를 없애면서 총수익을 극대화하는 것이다. 즉, 과도한 재고가 없어지면, 목표는 단순히 각각의 상점 위치에서 균형된 재고를 유지 하는 것으로 축소된다.

인지 및 시각 과학 기반 소프트웨어를 사용하여, 소매상의 사인 관리자는 8가지 제품류 각각에 대한 컨텐츠를 개발하는 데 사용될 다수의 서로 다른 템플릿을 생성한다(810). 이들 템플릿은 메시지, 컬러 배합, 및/또는 프로그램을 구성하는 기타 변수의 레이아웃을 포함한다. 이들 템플릿은 8가지 제품류 각각에 대해 사용될 수 있으며, 단일의 제품에 특정되는 것이 아니다. 부가적으로, 기존의 또는 재고 템플릿이 이 단계 동안에 사용가능하다.

이 캠페인에 대한 기본 템플릿을 생성한 후에, 사인 관리자는 템플릿을 채우는 데 필요한 개개의 컨텐츠 요소들을 생성한다(820). 개개의 요소들은 판촉되는 제품류에 특정된 것으로서, 주어진 제품에 대한 제품 상표화(product branding) 및 메시지를 포함한다. 템플릿 생성 프로세스에서와 같이, 개개의 요소들의 생성은 인지 및 시각 과학 기반 소프트웨어를 사용하여 소프트웨어 마법사에 의해 안내된다.

템플릿은 사인 네트워크가 판촉하고 있는 8개의 제품 각각에 대한 다수의 서로 다른 컨텐츠 패키지를 발생시키기 위해 개개의 컨텐츠 요소들로 자동적으로 채워진다(830). 화면 크기 또는 시청 거리와 같은 변하는 사인 속성에 대처하기 위해 요소를 템플릿과 병합함으로써 각각의 제품류에 대해 각각의 컨텐츠 부분의 잠재적으로 수백개의 서로 다른 버전들이 생성된다.

사인 네트워크에 관한 기존의 또는 배운 지식을 사용하여, 개개의 컨텐츠 부분에 대한 성공 메트릭(success metric)의 수집을 가능하게 해주는 알고리즘을 사 용함으로써 컨텐츠가 배포된다(840). 컨텐츠는 적당한 역균형화, 블록화 및 혼란이 없는 측정이 행해질 수 있음을 보장하는 방식으로 네트워크에 걸쳐 배포된다. 부가적으로, 배포 알고리즘은, 그 중에서도 특히, 네트워크 속성들, 시청자 인구 통계, 및 시청 조건을 고려하여, 관련 컨텐츠가 네트워크 내의 적절한 사인으로 전송되는 것을 보장한다.

POS 및 센서 데이터에 의해 다양한 컨텐츠 패키지의 영향이 모니터링되고(850) 분석될 수 있어서, 어느 템플릿 및 컨텐츠 요소, 그리고 이들의 조합이 네트워크 상의 각각의 화면에 대해 가장 효과적인지를 판정할 수 있다. 이 정보로부터, 원인과 결과는 물론 투자 수익이 분석될 수 있고, 가치-기반 요금 청구(value-based billing)를 가능하게 한다. 이 예는 200개의 상점 전부에 걸쳐, 사인 시스템 자체가 X%의 수익 증가 및 Y%의 과잉 재고 감소의 원인이었는지를 판정할 수 있다. 설명 데이터 분석은 새로운 가능한 네트워크 속성을 발생시킨다. 예를 들어, 고객이 제품 X를 골랐을 때 그리고 동시에 컨텐츠 Y가 보여질 때 판매 증가가 있다. 그 다음 반복에서, 이 새로운 네트워크 속성이, 단지 상관관계 연구로부터 측정되는 것이 아니라, 실험적으로 시험될 것이다. 예를 들어, 시스템은 X 유형 화면에 제시된 컨텐츠 부분이 Y-유형 템플릿을 사용하여 가장 효과적인지 및 가장 효과적인 컨텐츠 요소가 XYZ 특성을 갖는지를 판정할 수 있다.

유효성 데이터에 기초하여, 시스템은 새로운 템플릿, 새로운 컨텐츠 요소 및 이들의 새로운 조합을 발생시킨다(860). 다시 말하면, 사인 네트워크 속성(이전의 것 및 새로운 것 둘다)을 사용하여, 이 소프트웨어는 네트워크에 걸쳐 이들 새로운 컨텐츠 부분을 배포한다.

나머지 캠페인 동안에, 블록(830) 내지 블록(860)에 기술된 프로세스들이, 예를 들어 사용자 대화 작용 없이 반복된다. 시스템이 자동적으로 캠페인 목표를 달성하려고 시도하는 동안, 사인 네트워크 관리자는 캠페인 동안의 임의의 주어진 시점에서 컨텐츠가 판매에 미치는 영향을 모니터링할 수 있다.

이러한 캠페인의 완료 시에, 캠페인 동안에 수동으로 또는 자동으로 발생된 템플릿 및 요소가 미래의 캠페인을 위해서 역시 이용가능하다. 게다가, 특정 디스플레이, 인구 통계, 또는 기타 인자들에 대해 효과적인 템플릿 및 요소의 유형에 관하여 획득된 지식이 미래의 캠페인 동안에 네트워크에 걸쳐 더 효과적으로 컨텐츠를 생성 및 배포하는 데 사용된다.

실험이 진실험인지의 판정은 실험을 수행하는 것에 대해 사전 대비적으로(proactively) 또는 소급적으로(retroactively) 수행될 수 있다. 몇몇 실시예에 따르면, 수행되어야 할 실험이 진실험인지를 판정하는 데 컴퓨터가 사용될 수 있다. 다른 실시예에 따르면, 이전에 수행된 실험이 진실험인지를 판정하는 데 컴퓨터가 사용될 수 있다. 도 9에 예시된 방법에 따르면, 컴퓨터는, 사용자에 의해 제공된 정보에 기초하여, 실험 설계가 혼란을 제거 또는 제어하는지를 판정한다. 이러한 예에서, 사용자는 실험의 독립 변수 및 종속 변수를 비롯한, 실험에 관한 정보를 입력한다(910). 컴퓨터는 실험에서 혼란을 야기할 수 있는 상황을 식별한다(920). 사용자는 실험과 관련하여 존재하는 컴퓨터에 의해 식별된 혼란을 야기하는 상황을 선택한다(930). 컴퓨터는 사용자에게 식별된 혼란을 제거 또는 제어 하기 위해 취해지는 조치들을 식별하도록 요청한다(940). 컴퓨터는 조치들의 조합이 실험에서 혼란을 제거하기에 충분한지를 판정한다(950).

본 발명의 다양한 실시예들의 전술한 설명은 예시 및 설명의 목적으로 제공되었다. 이는 모두 망라하거나 본 발명을 개시된 정확한 형태로 한정하려고 의도한 것이 아니다. 상기 교시에 비추어 많은 변형 및 변경이 가능하다. 예를 들어, 본 발명의 실시예는 광범위한 응용으로 구현될 수 있다. 본 발명의 범주가 이러한 상세한 설명에 의해 한정되지 않고 오히려 본 명세서에 첨부된 청구의 범위에 의해 한정되도록 의도된다.

Claims

실험이 진실험(true experiment)인지를 판정하기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 실험의 하나 이상의 독립 변수를 선택하기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 사용자가 실험의 하나 이상의 독립 변수를 선택하는 것을 돕기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 실험의 하나 이상의 종속 변수를 선택하기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 사용자가 실험의 하나 이상의 종속 변수를 선택하는 것을 돕기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 형성하기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 무작위 추출(randomize)하기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 사용자가 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 형성하는 것을 돕기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 사용자가 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 무작위 추출하는 것을 돕기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 블록화(blocking)를 적용하여 실험의 하나 이상의 혼란 변수(confounding variable)의 효과를 감소시키기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 설계하는 단계는 사용자가 블록화를 적용하여 실험 의 하나 이상의 혼란 변수의 효과를 감소시키는 것을 돕기 위해 컴퓨터를 사용하여 실험을 설계하는 단계를 포함하는 방법.
제1항에 있어서, 실험을 수행하는 단계를 추가로 포함하는 방법.
제12항에 있어서, 실험을 수행하는 단계는 실험을 자동적으로 수행하기 위해 컴퓨터를 사용하는 단계를 포함하는 방법.
제12항에 있어서, 실험을 수행하는 단계는 사용자가 실험을 수행하는 것을 돕기 위해 컴퓨터를 사용하는 단계를 포함하는 방법.
제1항에 있어서, 진실험의 결과를 분석하는 단계를 추가로 포함하는 방법.
제15항에 있어서, 실험의 결과를 분석하는 단계는 컴퓨터를 통해 결과를 자동적으로 분석하는 단계를 포함하는 방법.
제15항에 있어서, 실험의 결과를 분석하는 단계는 사용자가 실험의 결과를 분석하는 것을 돕기 위해 컴퓨터를 사용하는 단계를 포함하는 방법.
실험이 진실험인지를 판정하도록 구성된 설계 프로세서를 포함하는 진실험 설계 시스템.
제18항에 있어서, 설계 프로세서는 실험의 독립 변수 및 종속 변수 중 적어도 하나를 선택하도록 구성되는 진실험 설계 시스템.
제18항에 있어서, 설계 프로세서는 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 형성하도록 구성되는 진실험 설계 시스템.
제18항에 있어서, 설계 프로세서는 블록화를 적용하여 실험의 하나 이상의 혼란 변수의 효과를 감소시키도록 구성되는 진실험 설계 시스템.
제18항에 있어서, 사용자로부터 입력을 받도록 구성되는 사용자 인터페이스를 추가로 포함하며, 설계 프로세서는 상기 입력을 사용하여 실험을 설계하도록 구성되는 진실험 설계 시스템.
제22항에 있어서, 설계 프로세서는 사용자가 사용자 입력을 사용하여 실험의 독립 변수 및 종속 변수 중 적어도 하나를 선택하는 것을 돕도록 구성되는 진실험 설계 시스템.
제22항에 있어서, 설계 프로세서는 사용자가 사용자 입력에 기초하여 실험의 통제 그룹 및 처치 그룹 중 적어도 하나를 선택하는 것을 돕도록 구성되는 진실험 설계 시스템.
제22항에 있어서, 설계 프로세서는 사용자가 블록화를 적용하여 사용자 입력에 기초하여 실험의 하나 이상의 혼란 변수의 효과를 감소시키는 것을 돕도록 구성되는 진실험 설계 시스템.
제18항에 있어서, 실험을 수행하도록 구성된 전개 유닛(deployment unit)을 추가로 포함하는 진실험 설계 시스템.
제18항에 있어서, 실험의 결과를 분석하도록 구성된 분석 유닛(analysis unit)을 추가로 포함하는 진실험 설계 시스템.
제27항에 있어서, 분석 유닛은 사용자로부터의 입력 없이 실험의 결과를 분석하도록 구성되는 진실험 설계 시스템.
제27항에 있어서, 분석 유닛은 사용자로부터의 입력을 사용하여 실험의 결과를 분석하도록 구성되는 진실험 설계 시스템.
제18항에 있어서, 실험은 디지털 사인 실험(digital signage experiment)을 포함하는 진실험 설계 시스템.
제18항에 있어서, 실험은 광고를 포함하는 진실험 설계 시스템.
실험이 진실험인지를 판정하기 위해 컴퓨터를 사용하여 실험을 설계하는 수단, 및

실험의 종속 변수 및 독립 변수 중 하나 이상을 선택하는 수단

을 포함하는 시스템.
제32항에 있어서, 실험의 통제 그룹 및 처치 그룹 중 하나 이상을 형성하는 수단을 추가로 포함하는 시스템.
제32항에 있어서, 블록화를 적용하여 실험의 하나 이상의 혼란 변수의 효과를 감소시키는 수단을 추가로 포함하는 시스템.