KR101171539B1 - 변수 스코어링을 사용하는 모델 최적화 시스템 - Google Patents

변수 스코어링을 사용하는 모델 최적화 시스템 Download PDF

Info

Publication number
KR101171539B1
KR101171539B1 KR1020100077245A KR20100077245A KR101171539B1 KR 101171539 B1 KR101171539 B1 KR 101171539B1 KR 1020100077245 A KR1020100077245 A KR 1020100077245A KR 20100077245 A KR20100077245 A KR 20100077245A KR 101171539 B1 KR101171539 B1 KR 101171539B1
Authority
KR
South Korea
Prior art keywords
score
determining
quality metric
input variable
region
Prior art date
Application number
KR1020100077245A
Other languages
English (en)
Other versions
KR20110023746A (ko
Inventor
안드리스 움브리스
Original Assignee
액센츄어 글로벌 서비시즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액센츄어 글로벌 서비시즈 리미티드 filed Critical 액센츄어 글로벌 서비시즈 리미티드
Publication of KR20110023746A publication Critical patent/KR20110023746A/ko
Application granted granted Critical
Publication of KR101171539B1 publication Critical patent/KR101171539B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

모델 최적화 시스템이 모델 생성에 관한 변수의 품질을 결정하도록 구성된다. 데이터 저장소는 입력 변수, 입력 변수에 관한 품질 메트릭, 및 품질 메트릭에 관한 가중치를 저장한다. 품질 메트릭은 입력 변수에 관하여 데이터의 충분성을 기술하고, 데이터는 다수의 지역들에 관하여 제공된다. 스코어링 모듈은 입력 변수와 가중된 품질 메트릭에 기초하여 각 지역에 관하여 스코어를 결정한다. 최적화기는 지역에 관한 입력 변수 중 적어도 하나가 스코어에 기초하여 변경되어야 하는지 여부를 결정하고, 지역에 관한 전체 스코어가 변경된 입력 변수를 사용하여 개선되도록 작용 가능한지 여부를 결정한다.

Description

변수 스코어링을 사용하는 모델 최적화 시스템{MODEL OPTIMIZATION SYSTEM USING VARIABLE SCORING}
[우선권]
본 출원은 그 전체로서 참조에 의하여 편입되는, 2009년 8월 31일에 출원된 "Data Quality Scorecard"라는 명칭의 미국임시특허출원 제61/238,363호에 대하여 우선권을 청구한다.
모델링은 흔히 행위 또는 성과를 예상 또는 예측하는 데 사용된다. 이러한 모델은 회귀 분석(regression analysis) 또는 이력 데이터를 분석하는 다른 방법을 통하여 생성될 수 있다. 예컨대, 회사는 이력 판매 데이터를 사용하여 장래에 판매가 어떻게 영향 받을지를 예측하는 모델을 생성하고, 이러한 회사는 그에 따라 판매를 개선하거나 제품 목록을 제어하도록 조정을 가할 수 있다.
이러한 모델의 출력(예컨대 판매 예측)의 정확성을 평가하기 위한 많은 종래의 기법이 존재한다. 그러나, 모델이 부정확한 것으로 결정되면, 그 모델을 생성하는 데 사용된 입력 데이터에 문제가 있는 경우 그 모델의 정확성을 개선하기가 매우 어렵다. 불량한 모델 성능은 소정의 데이터 수집 소스(source)로부터의 소정의 모델 입력 파라미터에 관한 불충분한 데이터의 결과이거나, 또는 파라미터를 결정할 때의 상이한 소스에 의하여 수행되는 일관되지 않은 계산에 기인할 수 있다. 어느 입력 파라미터가 모델 예측의 부정확성을 야기하고 있는지를 식별하기 위하여 입력 파라미터 각각을 분석하는 것에는 많은 노동량이 소요될 수 있다. 또한, 이러한 분석은 입력 파라미터의 품질을 평가하고 최종 모델의 품질에 대한 상이한 데이터 품질 애스팩트(aspect)의 영향을 추정하기 위한 객관적인 척도가 존재하지 않는다는 사실에 의하여 더 복잡해질 수 있다. 또한, 회사가 이력 데이터를 수집하고 모델을 구축하는 데에는 비용이 많이 든다. 종종, 수집된 데이터는 그 데이터가 정확한 모델을 구축하는 데 사용될 수 있는지 여부를 결정하도록 처음에 분석되지 않는다. 그 결과, 부정확한 모델을 구축함으로써 시간과 금전이 낭비된다.
본 발명은 변수 스코어링을 사용하는 모델 최적화 시스템을 제공하는 것을 그 목적으로 한다.
일 실시예에 따르면, 모델 최적화 시스템이 모델 생성에 관한 변수의 품질을 결정하도록 구성된다. 데이터 저장소는 입력 변수, 상기 입력 변수에 관한 품질 메트릭(metric) 및 상기 품질 메트릭에 관한 가중치를 저장한다. 상기 품질 메트릭은 상기 입력 변수에 관한 데이터의 충분성(sufficiency) 및 품질을 기술하고, 상기 데이터는 다수의 지역들에 관하여 제공된다. 스코어링 모듈은 상기 입력 변수와 상기 가중된 품질 메트릭에 기초하여 각 지역에 관한 스코어를 결정한다. 최적화기는 상기 스코어에 기초하여 지역에 관한 상기 입력 변수 중 적어도 하나가 변경되어야 할지 여부를 결정하며, 상기 지역에 관한 전체 스코어가 변경된 입력 변수를 사용하여 개선되도록 작용 가능한지 여부를 결정한다.
다른 일 실시예에 따르면, 모델링에 관한 데이터의 품질을 결정하기 위한 방법은 종속 변수를 추정하기 위한 모델링에 사용되도록 작용 가능한 입력 변수를 식별하는 단계, 상기 입력 변수에 관한 데이터의 충분성을 기술하는 품질 메트릭을 결정하는 단계(상기 데이터는 다수의 지역들에 관하여 제공됨), 상기 품질 메트릭을 가중하는 단계, 및 상기 가중된 품질 메트릭에 기초하여 각 지역에 관한 스코어를 컴퓨터 시스템에 의하여 결정하는 단계를 포함한다. 상기 방법은 컴퓨터 판독 가능한 지시를 포함하고 비일시성의 컴퓨터 판독 가능한 매체 상에 저장되는 하나 이상의 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터 시스템은 상기 컴퓨터 판독 가능한 지시를 실행하여 상기 방법을 수행할 수 있다.
본 발명에 의하면, 변수 스코어링을 사용하는 모델 최적화 시스템이 제공된다.
본 발명의 실시예가 다음의 도면을 참조하여 다음의 설명에서 상세히 기술될 것이다.
도 1은 일 실시예에 따른, 시스템을 도시한다.
도 2는 일 실시예에 따른, 설명을 위한 변수의 예를 도시한다.
도 3은 일 실시예에 따른, 스코어의 예를 도시한다.
도 4는 일 실시예에 따른, 지역에 의한 전체 스코어의 예를 도시한다.
도 5는 일 실시예에 따른, 스코어를 결정하기 위한 방법을 도시한다.
도 6은 일 실시예에 따른, 전체 스코어를 개선하기 위한 방법을 도시한다.
도 7은 일 실시예에 따른, 본 방법과 시스템을 위하여 사용될 수 있는 컴퓨터 시스템을 도시한다.
단순성 및 예시 목적을 위하여, 본 실시예의 원리는 주로 그 예를 참조하여 설명된다. 다음의 설명에서, 본 실시예를 확실하게 이해시키기 위하여 여러 특정 세부사항이 표현된다. 그러나, 본 기술 분야에서 통상의 지식을 가진 자에게는 본 실시예가 이러한 특정 세부사항에 국한되지 않고 실시될 수 있음이 명백할 것이다. 몇 가지 경우에, 본 실시예를 불필요하게 모호하게 하지 않기 위하여, 공지된 방법 및 구성은 상세하게 설명되지 않는다.
1. 개관
일 실시예에 따르면, 시스템은 판매 영향 데이터가 판매에 관한 정확한 예측을 내리는 데 사용될 수 있는 모델을 생성하기에 충분한지 여부를 결정하도록 작용 가능하다. 상기 시스템은 또한 모델의 성능을 개선시켜 정확한 예측을 내리는 데 필요한 판매 영향 데이터의 변화를 식별하도록 작용 가능하다. 상기 모델은 특정한 파라미터 또는 파라미터 집합이 어떻게 판매에 영향을 미칠지에 관한 예측을 내리기 위하여 판매 영향 데이터로부터의 파라미터를 입력으로서 사용하는 시계열 계량 경제 모델을 포함할 수 있다. 이러한 예측을 사용하여, 회사는 이들의 제품의 판매를 개선시키도록 마케팅 캠페인 또는 다른 판매 전략을 변경할 수 있다. 상기 시스템은 정확한 모델이 구축될 수 있는지 여부 또는 기존의 모델이 개선될 수 있는지 여부를 결정하기 위하여 모델의 입력 파라미터의 품질을 정량화하도록 작용 가능하다.
모델에 관한 입력으로서 사용되고 시스템에 의하여 평가되는 판매 영향 데이터는 판매와 연관되거나 또는 제품의 판매에 영향을 미칠 수 있는 임의의 정보를 포함한다. 제품은 하나 이상의 상품 또는 서비스일 수 있다. 판매 영향 데이터의 예는 이루어진 실제 판매에 관한 정보, 판촉에 관한 정보, 광고 및 다른 마케팅 정보, 경기 후퇴나 인플레이션에 관한 정보와 같은 거시 경제적 요인 등을 포함할 수 있다.
본 명세서에 기술된 실시예는 하나 이상의 기술적인 태양을 포함한다. 예컨대, 상기 시스템은 스코어를 통하여 모델을 생성하기 위한 데이터의 충분성의 편리한 시각화를 제공하는 디스플레이를 생성한다. 따라서, 본 실시예는 데이터와 변수가 정확한 모델을 생성하기에 충분한지 여부를 결정하는 작업을 수행하기 위하여 사용자로부터 요구되는 정신적 및 육체적 노력을 감소시킬 수 있다. 다른 기술적인 태양은 품질 메트릭과 같은 데이터를 스코어로 변환하는 것이며, 이는 사용자가 모델 구축은 물론 모델을 개선시키기 위한 입력 변수의 최적화를 위한 입력 변수의 가용성(viability)을 빠르게 식별하도록 하는 간단한 스코어링 스케일(scoring scale)을 사용할 수 있다.
2. 시스템
도 1은 일 실시예에 따른, 모델 최적화 시스템(100)을 도시한다. 시스템(100)은 스코어링 모듈(110), 시뮬레이터(120), 모델 빌더(model builder)(130), 최적화기(140), 사용자 인터페이스(150) 및 데이터 저장소(160)를 포함한다. 시스템(100)은 입력 변수(101), 변수 관계 데이터(102), 품질 메트릭(103) 및 변수 평가와 모델 구축을 위하여 시스템(100)에 의하여 사용되는 다른 데이터를 포함하는 판매 영향 데이터를 수신한다. 이러한 데이터 및 시스템(100)에 의하여 생성되는 모델은 데이터베이스 또는 다른 유형의 저장 시스템을 포함할 수 있는 데이터 저장소(160)에 저장된다. 데이터 저장소(160)에 저장되고 시스템(100)에 의하여 사용되는 데이터 중 적어도 일부는 사용자 인터페이스(150)를 통하여 수신될 수 있다.
스코어링 모듈(110)은 판매 영향 데이터에 포함된 입력 변수(101)에 관한 스코어(105)를 결정한다. 입력 변수(101)는 모델(106)을 구축하는 데 사용되는 변수이다. 이후, 모델(106)은 판매 변수에 관한 값을 예측하는 데 사용될 수 있고, 판매 변수는 입력 변수 중 하나 이상으로부터 계산된 값을 갖는 종속 변수일 수 있다. 입력 변수(101) 및 입력 변수를 평가하기 위한 품질 메트릭(105)의 예가 도 2 및 3에 도시되고 아래에 더 상세히 기술된다.
입력 변수(101)에 관한 스코어(105)는 판매 변수에 관한 예측을 내리기 위한 모델(106)과 같은 모델의 구축 및 모델의 정확성 개선을 위하여 입력 변수를 평가하고 최적화하는 데 사용될 수 있다. 스코어(105)는 입력 품질 메트릭 스코어, 소스 스코어, 범주 스코어 및 전체 스코어를 포함할 수 있다. 스코어링 모듈(110)은 입력 변수(101)에 관한 품질 메트릭(103)에 관한 품질 메트릭 스코어를 결정한다. 이러한 스코어는 소스 스코어를 계산하는 데 사용되며, 소스 스코어는 판매 영향 데이터 및/또는 마케팅 채널을 제공하는 데이터 소스와 연관된다. 품질 메트릭 스코어는 또한 상이한 유형의 입력 변수에 관한 범주 스코어를 계산하는 데 사용된다. 전체 스코어는 계산된 스코어로부터 계산된다. 전체 스코어는 지리적 지역에 관한 전체 스코어일 수 있고, 입력 변수의 품질을 지역에 적용 가능한 것으로서 표시한다. 또한, 가중치가 스코어를 계산하는 데 사용될 수 있다. 변수 관계 데이터(102)는 스코어링에 사용되는 가중치, 범위 및 스케일을 포함한다. 변수 관계 데이터(102)는 전문가의 축적된 지식에 기초하여 결정될 수 있고, 통계 분포를 적용하여 스코어링에 관한 범위 및 스케일을 결정할 수 있다. 스코어 계산의 예가 도 2 내지 4와 관련하여 제공된다.
시스템(100)은 또한 시뮬레이터(120)를 포함한다. 시뮬레이터(120)는 최적화기(140)가 입력 변수를 변화시키도록 하며, 이후 시뮬레이터(120)는 수정된 입력 변수를 스코어링 모듈(110)에 송신하여 스코어를 다시 계산한다. 예컨대, 최적화기(140)는 지역에 관한 전체 스코어가 미리 결정된 문턱값 미만인지 여부를 결정한다. 최적화기(140)는 소정의 입력 변수가 모델을 생성하기 위한 충분한 품질을 갖지 않는 것으로 결정할 수 있다. 최적화기(140)는 예컨대 입력 변수에 관한 스코어를 문턱값과 비교함으로써 불충분한 변수를 식별할 수 있다. 사용자는 사용자 인터페이스(150)를 통하여 스코어를 시각적으로 열람할 수 있고, 낮은 스코어를 갖는 하나 이상의 입력 변수를 교체를 위하여 선택할 수 있다. 최적화기(140)는 식별된 입력 변수가 변경될 수 있는지 여부를 결정한다. 이는 불충분한 변수에 관한 데이터의 임의의 다른 소스가 존재하는지 여부를 결정하는 것을 포함할 수 있다. 이러한 결정은 데이터 저장소(160)에서 다른 소스를 검색하는 것 또는 다른 소스가 이용 가능하다는 표시를 사용자로부터 수신하고 또한 그러한 소스에 관한 데이터를 수신하는 것에 기초할 수 있다. 다른 소스가 이용 가능하면, 새로운 소스로부터의 데이터가 사용되어 불충분한 변수에 관한 품질 메트릭 스코어를 결정하고 전체 스코어가 새로운 데이터를 사용하여 개선될 수 있는지 여부를 결정한다.
% 커버리지(coverage) 품질 메트릭으로 1을 갖는 입력 변수와 같은, 낮은 스코어를 갖는 "문제" 변수가 식별된다. 더 나은 품질을 갖는 입력 변수를 획득하기 위한 방식이 결정되고 수행된다. 예컨대, 최적화기(140)는 시뮬레이터(120)에 의하여 수행되는 시뮬레이션을 통하여 더 나은 % 커버리지 스코어를 갖는 변수에 관한 대안적인 소스가 발견되어야 하는 것으로 결정할 수 있다. 더 나은 커버리지를 갖는 더 나은 품질 변수가 획득되면, 시뮬레이터(120)와 스코어링 모듈(110)은 변수의 변화가 전체 스코어를 충분히 개선시키는지 여부를 결정한다. 변화가 스코어를 개선시키면, 변경된 문제 변수를 포함하는 입력 변수가 모델 빌더(130)에 송신된다.
모델 빌더(130)는 입력 변수를 사용하여 모델(106)을 구축한다. 모델 빌더(130)는 입력 변수가 지역에 관한 모델 구축에 충분함을 나타내는 문턱값보다 높은 전체 스코어를 갖는 지역에 관하여 사용될 수 있는 모델을 구축할 수 있다. 예컨대, 입력 변수의 선택된 집합이 주어지면, 통계적 회귀(예컨대 선형 회귀) 접근법이 사용되어 모델 계수를 결정한다. 이들은 변수에 관한 데이터(예컨대 마케팅 채널에 관한 비용 데이터)를 대응하는 이력 성능 데이터에 가장 잘 매핑(map)하는 모델의 변수에 관한 계수이다. 모델에 관한 변수의 계수의 추정이 회귀 기법을 사용하여 수행되어, 주어진 입력의 계산된 출력을 이것의 대응하는 출력에 가장 잘 적합화(fit)시키는 다변수 함수(예컨대 곡선)를 산출한다. 일부 실시예에서, 회귀 기법은 모델의 변수 중 적어도 일부에 관하여 비선형 회귀를 수행하여 이러한 변수(예컨대 수확 체감 행위를 보이는 시장 변수)와 연관된 임의의 비선형 행위를 해명한다.
변수와 판매 사이의 관계를 결정하고 모델을 이루는 응답 곡선을 결정하는 것은 동시 계류 중인 2006년 7월 7일에 출원된 Andris Umblijs 등의 "Modeling Marketing Data"라는 명칭의 미국특허출원 제11/483,401호에 더 기술되며, 상기 출원은 그 전체로서 참조에 의하여 편입된다.
도 2는 입력 변수(101)를 평가하기 위한 품질 메트릭(103)의 예를 도시한다. 상기 예는 % 커버리지(201 및 202), 데이터 주기성(203) 및 데이터 갱신 빈도(204)를 포함한다. 설명(210)은 품질 메트릭(201 내지 204) 각각을 기술한다. 다른 품질 메트릭이 사용될 수 있음에 주목해야 한다.
스케일(205)이 도시된다. 이 예에서, 스케일(205)은 0 내지 3이다. 스케일의 0 내지 3의 값은 품질 메트릭에 관한 측정치 및 범위에 따라 스코어링 모듈(110)에 의하여 결정될 수 있는 품질 메트릭 스코어이다. 범위는 각 스코어에 관하여 결정된다. 예컨대, % 커버리지(201)에 관하여, 범위 0 내지 20%는 스코어 0에 매핑되고, 범위 20% 내지 40%는 스코어 1에 매핑되며, 범위 40% 내지 75%는 스코어 2에 매핑되고, 범위 75% 내지 100%는 스코어 3에 매핑된다. 스코어링 모듈(110)은 % 커버리지 메트릭(201)에 관한 측정된 값을 식별하는데, 이는 외부 소스에 의하여 제공될 수 있고 데이터 저장소(160)에 저장될 수 있다. 예컨대, 측정된 값이 30%이고, 이는 20% 내지 40%의 범위 내에 속한다. 따라서, 30%의 측정된 값에 관한 % 커버리지 메트릭(201)에 관한 스코어는 1이다. 스코어에 관한 범위의 예가 도 2에서 품질 메트릭(201 내지 204) 각각에 관하여 도시된다.
이 예에서 스케일은 0 내지 3의 단순한 스케일이므로, 얼마나 양호하거나 불량한 입력 변수가 고려되는지를 사용자가 빠르게 식별하는 것이 더 쉽다. 그러나, 더 복잡한 스케일이 사용될 수 있다. 또한, 스케일과 범위는 이력 데이터의 전문가 분석을 통하여 결정될 수 있다.
도 3은 지역(301)에 관한 스코어(205)의 예를 도시한다. 지역(301)은 이 예에서 브라질이고, 지역(301)에 관한 전체 스코어(302)는 2.54이다. 전체 스코어(302)와 도 3에 도시된 다른 스코어는 품질 메트릭에 관하여 사용되는 0 내지 3과 같은 동일한 스케일을 사용함에 주목한다.
스코어링 모듈(110)은 범주 스코어, 입력 변수 스코어 및 품질 메트릭 스코어로부터 전체 점수(302)를 계산하고 입력 변수에 관한 가중치를 계산한다. 입력 변수는 범주 내에 도시된다. 범주는 종속 변수(303), 의뢰인에 의하여 제어되는 독립 변수(304) 및 의뢰인에 의하여 제어되지 않는 독립 외부 변수(305)이다. 의뢰인은 입력 변수를 평가하고 판매 또는 다른 정보를 추정하기 위한 모델을 구축하기 위하여 시스템(100)을 사용하고 있는 회사 또는 다른 엔티티(entity)일 수 있다.
독립 변수(304)는 의뢰인에 의하여 제어되고, TV, 케이블 TV, 인쇄물 등과 같은 상이한 마케팅 채널에 관한 마케팅 변수를 포함할 수 있다. 마케팅 변수는 각 마케팅 채널에 관하여 소비된 양, 매출 증가(uplift) 등을 포함할 수 있다. 독립 외부 변수(305)는 의뢰인의 제어 밖에 있고, 전국적인 소매 판매, 신용 카드의 수, 상점 또는 상인 직판점의 수 등을 포함할 수 있다. 종속 변수(303)는 독립 변수에 의하여 설명 및/또는 예측될 변수이다. 이는 모델을 사용하여 예측될 값을 갖는 변수를 포함할 수 있다. 종속 변수의 일례는 구매량이다. 다른 예는 증분적 판매, 이익, 고객 수명 등일 수 있다. 각 범주 하에 다수의 변수가 존재할 수 있다.
스코어링 모듈(110)은 범주(303 내지 305)에 관한 범주 스코어(306 내지 308)를 각각 계산한다. 범주 스코어(306 내지 308)가 범주 가중치(309 내지 311)를 사용하여 각각 계산되고, 소스 스코어가 각 범주에 관하여 계산된다.
입력 변수가 각 범주에 관하여 도시된다. 예컨대, 판매 입력 변수(312) 및 판매 1 입력 변수(313)가 범주(303)에 관하여 도시된다. 범주(304)는 상이한 마케팅 채널과 연관된 입력 변수(314)를 갖고, 범주(305)는 입력 변수(315)를 갖는다. 입력 변수 가중치(316 내지 318)가 각 범주 내의 각 입력 변수에 관하여 도시된다. 각 범주에 관한 입력 변수 가중치의 합은 100과 같을 수 있다. 예컨대, 판매 입력 변수(312)는 100%의 가중치를 갖고 판매 1 입력 변수(313)는 0%의 가중치를 갖는다. 본 명세서에 기술된 가중치는 전문가 분석 및 데이터 분석을 통하여 결정될 수 있다. 판매 1은 이것의 소스가 신뢰성이 없다고 간주되기 때문에 0%의 가중치를 가질 수 있다. 다른 요인이 또한 고려될 수 있다. 소스는 알려진 경우에 도시될 수 있음에 주목한다. 예컨대, 입력 변수(312 및 313)는 1차 소스 및 2차 소스에 의하여 각각 제공된 데이터를 갖는다. 입력 변수(314)는 미디어 에이전시(media agency)와 같은 외부 소스를 가질 수 있거나, 의뢰인에 의하여 제공될 수 있다.
입력 변수 스코어는 품질 메트릭 스코어 및 품질 메트릭 가중치로부터 계산된다. 품질 메트릭(318)이 입력 변수 각각에 관하여 도시되고, % 커버리지, 데이터 주기성 및 데이터 갱신 빈도를 포함할 수 있다. 품질 메트릭 스코어가 또한 도시되고, 0 내지 3의 동일한 스케일 상에 있을 수 있다. 품질 메트릭 스코어(310)가 범주(303)에 관하여 도시된다. 품질 메트릭 가중치(320)가 또한 범주(303)에 관하여 도시되지만 다른 범주에 관하여 도시되지 않는다. 그러나, 각 범주는 도시되지 않더라도 품질 메트릭 가중치를 사용할 수 있다.
도 3에 도시되고 앞서 기술된 스코어는 아래의 등식을 사용하여 계산될 수 있다.
[수학식 1]
전체 스코어=Σn i =1 범주 스코어i*범주 가중치i (n은 범주의 수)
예컨대, 전체 스코어(302)는 2.64=(2.6*.45)+(2.44*.45)+(2.68*.1)이다.
[수학식 2]
범주 스코어=Σx i =1 입력 변수 스코어i*입력 변수 가중치i (x는 범주에 관한 입력 변수의 수)
예컨대, 종속 변수 범주(303)에 관한 범주 스코어는 2.60=(2.60*1.00)+(2.20*0.0)이다.
[수학식 3]
입력 변수 스코어=Σy i =1 품질 메트릭 스코어i*품질 메트릭 가중치i (y는 품질 메트릭의 수)
예컨대, 종속 변수 범주(303)에 관한 판매 입력 변수 스코어는 2.60=(3*.60)+(2*.30)+(2*.10)이다.
시스템(100)은 상이한 지역에 관한 전체 스코어를 계산하는 데 사용될 수 있다. 도 4는 상이한 국가에 관한 전체 스코어(401)의 예를 도시한다. 또한, 각 범주(303 내지 305)와 이들의 가중치(309 내지 311)에 관한 대응하는 스코어가 도시된다. 전세계 평균이 또한 도시된다. 이러한 결과를 열람하는 사용자는 멕시코가 나쁜 입력 변수를 갖는 것으로 식별할 수 있고, 시뮬레이터(120)와 최적화기(140)는 멕시코에 관한 전체 스코어를 개선하고 멕시코에 관한 더 나은 품질 모델을 구축하기 위하여 변경할 입력 변수를 식별하는 데 사용될 수 있다.
3. 방법
도 5는 일 실시예에 따라 스코어를 결정하기 위한 방법(500)을 도시한다. 스코어는 정확한 모델을 구축하기 위한 입력 변수의 품질을 나타내는데, 이는 판매 변수 또는 다른 종속 변수에 관한 예상된 값에 대하여 사용될 수 있다. 방법(500)과 아래에서 설명되는 다른 방법은 예시에 의하여, 그러나 이에 국한되지 않고, 도 1 내지 도 4 중 하나 이상에 관하여 설명될 수 있다.
단계(501)에서, 종속 변수일 수 있는 판매 변수를 평가하기 위한 하나 이상의 모델을 구축하는 데에 필요한 입력 변수가 식별된다. 예를 들면, 도 3은 다른 마케팅 채널에서 소비된 양을 포함할 수 있는 독립 마케팅 변수, 외부 독립 변수, 그리고 구매량과 같은 종속 변수를 도시한다. 이러한 변수의 하나 이상이 판매 변수를 평가하는 데에 사용될 수 있다. 평가된 변수는 구매량과 같은 종속 변수를 포함할 수 있다. 예를 들면, 모델은, 각 마케팅 채널에서의 어떤 마케팅 투자와 외부 독립 변수에 관한 값이 주어진 경우, 구매량을 평가하는 데에 사용될 수 있다. 이익과 고객 수명은 입력 변수의 선택된 집합에 관하여 평가될 수 있는 판매 변수의 다른 예이다. 사용자는 변수를 선택하여 모델에 관하여 사용할 수 있다.
단계(502)에서, 품질 메트릭은 입력 변수에 관하여 결정된다. 품질 메트릭은 입력 변수에 관한 데이터의 충분성을 기술한다. 데이터는 상이한 지역에 관하여 제공될 수 있다. 품질 메트릭의 예는 도 2에 도시된다. 예를 들면, 데이터는 입력 변수에 관한 다양한 소스로부터 제공될 수 있다. 데이터 주기성에 관한 품질 메트릭은 소스로부터의 데이터가 얼마나 자주 입력 변수에 관하여 수집되는가를 기술한다. 일 예에서, 더욱 자주 수집된 데이터는 모델을 생성하기 위하여 더욱 효율적인 것으로 고려되고, 더 높은 스코어를 부여 받는다.
스코어링 모듈(110)은 스코어링 스케일과 상기 스케일에 대하여 각 값에 할당된 범위에 기초하여 품질 메트릭을 스코어링함으로써 품질 메트릭을 결정할 수 있다. 예를 들면, 시스템(100)은 스코어 0-3을 사용하고 각 스코어는 각 품질 메트릭에 관한 특정 범위에 할당된다. 스코어는 예는 도 3과 도 4에 도시되고, 각 스코어에 대하여 매핑되는 범위의 예는 도 2에 도시된다.
단계(503)에서, 가중치가 결정된다. 가중치는 각 품질 메트릭에 관한 가중치, 각 입력 변수에 관한 그리고 입력 변수의 각 범주에 관한 가중치를 포함한다. 가중치는 또한 도 3에서 상이한 마케팅 채널에 관하여 도시된 바와 같은 소스의 각 유형에 관하여 결정될 수도 있다. 가중치, 스코어링 시스템 및 범위는 전문가의 축적된 지식 및/또는 이력 데이터의 분석에 기초하여 결정될 수 있다.
단계(504)에서, 시스템(100)은 스코어를 생성한다. 스코어는 판매 영향 데이터, 가중치 및 스코어링 시스템에 기초하여 각 입력 변수, 각 범주 및 모든 입력 변수(즉, 전체 스코어)에 관하여 생성되는데, 이는 스코어링 스케일(예를 들면, 0-3)을 포함할 수 있다. 전체 스코어는 도 4에 도시된 바와 같이 지역마다 제공될 수 있다.
도 6은 일 실시예에 따라 전체 스코어를 개선하기 위한 방법(600)을 도시한다. 단계(601)에서, 전체 스코어가 문턱값 미만인지 여부에 대한 결정이 내려진다. 이것은 지역에 관한 전체 스코어일 수 있다. 만약 전체 스코어가 문턱값 미만이면, 하나 이상의 개별 입력 변수가 단계(602)에서 낮은 스코어를 갖는 것으로 식별된다. 문턱값은 사용자나 다른 엔티티에 의하여 미리 결정될 수 있다. 예를 들면, 2의 문턱값이 결정되고, 2 미만의 전체 스코어라면 모델 구축을 위하여 불충분한 것으로 고려된다.
단계(603)에서, 입력 변수 중 임의의 것이 전체 스코어를 잠재적으로 개선하기 위하여 변경될 수 있을지 여부에 대하여 결정이 내려진다. 이것은 더 좋은 품질 메트릭을 갖는 새로운 소스로부터 데이터를 획득하는 것을 포함할 수 있다. 다른 소스는 이용 가능하지 않을 수 있고, 이러한 경우에, 입력 변수와 지역에 관한 전체 스코어는, 단계(604)에서 나타내어진 바와 같이, 개선되지 않을 수 있다. 만약 적어도 하나의 입력 변수가 변경되어 지역에 관한 전체 스코어를 잠재적으로 개선할 수 있다면, 변수는 단계(605)에서 변경되는데, 이는 더 좋은 품질 메트릭을 제공하는 입력 변수에 관한 데이터를 획득하는 것을 포함할 수 있다. 단계(606)에서, 지역은 다시 스코어링된다. 이것은 변경된 입력 변수를 사용하여 지역에 관한 새로운 전체 스코어를 계산하는 것을 포함한다. 그 다음에, 방법(600)은 새로운 전체 스코어가 문턱값 초과인지 여부를 결정하기 위하여 반복될 수 있다. 문턱값을 초과하는 전체 스코어를 갖는 지역에 관하여, 모델이 판매량 또는 다른 종속 변수를 예측하도록 구축되고 사용될 수 있다.
5. 컴퓨터 판독 가능한 매체
도 7은 본 명세서에서 설명되는 실시예와 함께 사용될 수 있는 컴퓨터 시스템(700)을 도시한다. 컴퓨터 시스템(700)은 서버나 다른 컴퓨터 시스템 내에 있을 수 있는 구성요소를 포함하는 일반적인 플랫폼(platform)을 나타낸다. 컴퓨터 시스템(700)은 본 명세서에서 설명되는 하나 이상의 방법, 기능 및 다른 단계를 실행하기 위한 플랫폼으로서 사용될 수 있다. 이러한 단계는, 비일시성의 저장 장치일 수 있는 하나 이상의 컴퓨터 판독 가능한 매체에 저장된, 컴퓨터 판독 가능한 지시를 포함하는 소프트웨어로서 구현될 수 있다. 더욱이, 도 1에 도시된 시스템(100)의 구성요소는 소프트웨어, 하드웨어 또는 하드웨어와 소프트웨어의 조합일 수 있다.
컴퓨터 시스템(700)은 본 명세서에서 설명되는 방법, 기능 및 다른 단계의 일부나 전부를 수행하는 소프트웨어 지시를 구현하거나 실행할 수 있는 프로세서(702)를 포함한다. 프로세서(702)로부터의 명령문(command)과 데이터는 통신 버스(704)를 통하여 통신된다. 컴퓨터 시스템(700)은 또한 프로세서(702)를 위한 소프트웨어와 데이터가 실행 시간 동안 상주할 수 있는, RAM(Random Access Memory)과 같은 주 메모리(707)와, 비휘발성일 수 있고 소프트웨어와 데이터를 저장하는 2차 데이터 저장소(708)를 포함한다. 메모리와 데이터 저장소는 컴퓨터 판독 가능한 매체의 예이다.
컴퓨터 시스템(700)은 키보드, 마우스, 디스플레이 등과 같은 하나 이상의 입출력 장치(710)를 포함할 수 있다. 컴퓨터 시스템(700)은 네트워크에 접속하기 위한 네트워크 인터페이스(712)를 포함할 수 있다. 본 기술 분야에서 통상의 지식을 가진 자에게는 다른 공지의 전자 구성요소가 컴퓨터 시스템(700)에서 부가되거나 대용될 수 있음이 명백할 것이다.
본 명세서에서 설명되는 방법의 하나 이상의 단계와 본 명세서에서 설명되는 다른 단계와 본 명세서에서 설명되는 시스템의 하나 이상의 구성요소는 메모리 및/또는 2차 저장소와 같은 컴퓨터 판독 가능한 매체에 저장되고, 컴퓨터 시스템 상에서, 예를 들어, 프로세서, 주문형 반도체(Application-Specific Integrated Circuit; ASIC) 또는 다른 제어기에 의하여, 실행되는 컴퓨터 코드로서 구현될 수 있다. 코드는 소스 코드, 오브젝트 코드, 실행 가능한 코드 또는 다른 포맷의 프로그램 지시로 구성된 소프트웨어 프로그램(들)으로서 존재할 수 있다. 컴퓨터 판독 가능한 매체의 예는 종래의 컴퓨터 시스템 RAM, ROM(Read Only Memory), EPROM(Erasable, Programmable ROM), EEPROM(Electrically Erasable, Programmable ROM), 하드 드라이브 및 플래시 메모리를 포함한다.
본 실시예는 예를 참조하여 설명되었지만, 본 기술 분야에서 숙련된 자라면 청구된 실시예의 범위로부터 일탈함이 없이 설명된 실시예에 대하여 다양한 변경을 행할 수 있을 것이다. 예를 들어, 모델 최적화 시스템(100)은 예시에 의하여 마케팅 모델을 최적화하는 것에 관하여 일반적으로 설명된다. 시스템(100)은 변수를 스코어링하고, 날씨, 주식 시장 등을 예측하기 위한 것일 수 있는, 다른 유형의 모델을 최적화하는 데에 사용될 수 있다.
100: 데이터 저장소
110: 스코어링 모듈
120: 시뮬레이터
130: 모델 빌더
140: 최적화기
150: 사용자 인터페이스

Claims (20)

  1. 모델 생성에 관한 변수의 품질을 결정하도록 구성되는 모델 최적화 시스템으로서,
    입력 변수, 상기 입력 변수에 관한 품질 메트릭 및 상기 품질 메트릭에 관한 가중치를 저장하는 데이터 저장소 - 상기 품질 메트릭은 상기 입력 변수에 관한 데이터의 충분성(sufficiency)을 기술하고, 상기 데이터는 다수의 지역들에 관하여 제공됨 - ,
    상기 입력 변수, 상기 품질 메트릭 및 상기 품질 메트릭에 관한 상기 가중치에 기초하여 각 지역에 관한 스코어를 결정하는 스코어링 모듈, 및
    컴퓨터 시스템에 의하여 실행되어, 상기 다수의 지역들 중의 지역에 관한 상기 입력 변수 중 적어도 하나가 상기 스코어에 기초하여 변경되어야 할지 여부를 결정하고, 상기 지역에 관한 스코어가 변경된 입력 변수를 사용하여 개선되도록 작용 가능한지 여부를 결정하는 최적화기
    를 포함하는 모델 최적화 시스템.
  2. 제1항에 있어서,
    상기 입력 변수를 사용하여, 문턱값 초과의 스코어를 갖는, 각 지역에 관한 모델을 생성하는 모델 빌더를 더 포함하는 모델 최적화 시스템.
  3. 제1항에 있어서,
    상기 스코어링 모듈은 상기 품질 메트릭에 관한 측정치에 기초하여 각 품질 메트릭에 관한 품질 메트릭 스코어를 결정하고, 각 지역에 관한 상기 스코어는 상기 품질 메트릭 스코어로부터 계산되는 모델 최적화 시스템.
  4. 제1항에 있어서,
    상기 스코어링 모듈은, 상기 입력 변수에 관한 범주를 결정하고 - 각 범주는 입력 변수의 유형을 나타냄 - , 각 범주에 관한 범주 가중치를 결정하며, 상기 범주 가중치에 기초하여 각 지역에 관한 상기 스코어를 결정함으로써, 각 지역에 관한 상기 스코어를 결정하는 모델 최적화 시스템.
  5. 제4항에 있어서,
    상기 범주는 엔티티(entity)에 의하여 제어되는 독립 변수, 상기 엔티티의 제어 밖의 독립 변수 및 종속 변수를 포함하는 모델 최적화 시스템.
  6. 모델링에 관한 데이터의 품질을 결정하기 위한 방법으로서,
    모델링을 위하여 종속 변수를 평가하는 데에 사용되도록 작용 가능한 입력 변수를 식별하는 단계,
    상기 입력 변수에 관한 데이터의 충분성을 기술하는 품질 메트릭을 결정하는 단계 - 상기 데이터는 다수의 지역들에 관하여 제공됨 - ,
    상기 품질 메트릭을 가중하는 단계, 및
    상기 가중된 품질 메트릭에 기초하여 각 지역에 관하여, 컴퓨터 시스템에 의하여, 스코어를 결정하는 단계
    를 포함하는 방법.
  7. 제6항에 있어서,
    각 입력 변수에 관하여 각 품질 메트릭에 관한 측정치를 결정하는 단계, 및
    상기 측정치에 기초하여 각 품질 메트릭에 관한 품질 메트릭 스코어를 결정하는 단계 - 각 지역에 관한 상기 스코어는 상기 품질 메트릭 스코어로부터 계산됨 -
    를 더 포함하는 방법.
  8. 제7항에 있어서,
    품질 메트릭 스코어를 결정하는 단계는,
    각 품질 메트릭에 관하여 값의 스케일을 결정하는 단계,
    각 품질 메트릭에 관한 상기 측정치를 상기 스케일 내의 값에 대하여 매핑되는 소정 범위의 값과 비교하는 단계, 및
    상기 비교에 기초하여 각 품질 메트릭에 관한 상기 품질 메트릭 스코어를 결정하는 단계
    를 포함하는
    방법.
  9. 제6항에 있어서,
    각 지역에 관하여 스코어를 결정하는 단계는,
    상기 입력 변수에 관한 범주를 결정하는 단계 - 각 범주는 입력 변수의 유형을 나타냄 - ,
    각 범주에 관한 범주 가중치를 결정하는 단계, 및
    상기 범주 가중치에 기초하여 각 지역에 관한 상기 스코어를 결정하는 단계
    를 포함하는
    방법.
  10. 제9항에 있어서,
    상기 범주는 엔티티에 의하여 제어되는 독립 변수, 상기 엔티티의 제어 밖의 독립 변수 및 종속 변수를 포함하는 방법.
  11. 제6항에 있어서,
    각 지역에 관하여 스코어를 결정하는 단계는,
    상기 입력 변수에 관한 상기 데이터의 소스를 결정하는 단계,
    각 범주에 관한 소스 가중치를 결정하는 단계, 및
    상기 소스 가중치에 기초하여 각 지역에 관한 상기 스코어를 결정하는 단계
    를 포함하는
    방법.
  12. 제6항에 있어서,
    상기 지역 중 하나에 관하여 문턱값 아래로 떨어지는 상기 결정된 스코어로부터 스코어를 식별하는 단계,
    상기 품질 메트릭에 기초하여 개선되도록 작용 가능한 상기 입력 변수로부터 입력 변수를 식별하는 단계,
    상기 식별된 입력 변수를 변경하는 단계,
    상기 변경된 입력 변수를 사용하여 상기 지역을 다시 스코어링하여 상기 지역에 관한 새로운 스코어를 결정하는 단계, 및
    상기 새로운 스코어가 상기 문턱값 아래로 떨어지는지 여부를 결정하는 단계
    를 더 포함하는 방법.
  13. 제6항에 있어서,
    상기 입력 변수를 사용하여, 문턱값 초과의 스코어를 갖는, 각 지역에 관한 모델을 생성하는 단계를 더 포함하는 방법.
  14. 프로세서에 의하여 실행될 때 모델링에 관한 데이터의 품질을 결정하기 위한 방법을 수행하는 컴퓨터 판독 가능한 지시를 저장하는 비일시성의 컴퓨터 판독 가능한 매체로서,
    상기 방법은,
    모델링을 위하여 종속 변수를 평가하는 데에 사용되도록 작용 가능한 입력 변수를 식별하는 단계,
    상기 입력 변수에 관한 데이터의 충분성을 기술하는 품질 메트릭을 결정하는 단계 - 상기 데이터는 다수의 지역들에 관하여 제공됨 - ,
    상기 품질 메트릭을 가중하는 단계, 및
    상기 가중된 품질 메트릭에 기초하여 각 지역에 관하여, 컴퓨터 시스템에 의하여, 스코어를 결정하는 단계
    를 포함하는
    비일시성의 컴퓨터 판독 가능한 매체.
  15. 제14항에 있어서,
    상기 방법은,
    각 입력 변수에 관하여 각 품질 메트릭에 관한 측정치를 결정하는 단계, 및
    상기 측정치에 기초하여 각 품질 메트릭에 관한 품질 메트릭 스코어를 결정하는 단계 - 각 지역에 관한 상기 스코어는 상기 품질 메트릭 스코어로부터 계산됨 -
    를 더 포함하는
    비일시성의 컴퓨터 판독 가능한 매체.
  16. 제15항에 있어서,
    품질 메트릭 스코어를 결정하는 단계는,
    각 품질 메트릭에 관하여 값의 스케일을 결정하는 단계,
    각 품질 메트릭에 관한 상기 측정치를 상기 스케일 내의 값에 대하여 매핑되는 소정 범위의 값과 비교하는 단계, 및
    상기 비교에 기초하여 각 품질 메트릭에 관한 상기 품질 메트릭 스코어를 결정하는 단계
    를 포함하는
    비일시성의 컴퓨터 판독 가능한 매체.
  17. 제14항에 있어서,
    각 지역에 관하여 스코어를 결정하는 단계는,
    상기 입력 변수에 관한 범주를 결정하는 단계 - 각 범주는 입력 변수의 유형을 나타냄 - ,
    각 범주에 관한 범주 가중치를 결정하는 단계, 및
    상기 범주 가중치에 기초하여 각 지역에 관한 상기 스코어를 결정하는 단계
    를 포함하는
    비일시성의 컴퓨터 판독 가능한 매체.
  18. 제17항에 있어서,
    상기 범주는 엔티티에 의하여 제어되는 독립 변수, 상기 엔티티의 제어 밖의 독립 변수 및 종속 변수를 포함하는, 비일시성의 컴퓨터 판독 가능한 매체.
  19. 제14항에 있어서,
    각 지역에 관하여 스코어를 결정하는 단계는,
    상기 입력 변수에 관한 상기 데이터의 소스를 결정하는 단계,
    각 범주에 관한 소스 가중치를 결정하는 단계, 및
    상기 소스 가중치에 기초하여 각 지역에 관한 상기 스코어를 결정하는 단계
    를 포함하는
    비일시성의 컴퓨터 판독 가능한 매체.
  20. 제14항에 있어서,
    상기 방법은,
    상기 지역 중 하나에 관하여 문턱값 아래로 떨어지는 상기 결정된 스코어로부터 스코어를 식별하는 단계,
    상기 품질 메트릭에 기초하여 개선되도록 작용 가능한 상기 입력 변수로부터 입력 변수를 식별하는 단계,
    상기 식별된 입력 변수를 변경하는 단계,
    상기 변경된 입력 변수를 사용하여 상기 지역을 다시 스코어링하여 상기 지역에 관한 새로운 스코어를 결정하는 단계, 및
    상기 새로운 스코어가 상기 문턱값 아래로 떨어지는지 여부를 결정하는 단계
    를 더 포함하는
    비일시성의 컴퓨터 판독 가능한 매체.
KR1020100077245A 2009-08-31 2010-08-11 변수 스코어링을 사용하는 모델 최적화 시스템 KR101171539B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US23836309P 2009-08-31 2009-08-31
US61/238,363 2009-08-31

Publications (2)

Publication Number Publication Date
KR20110023746A KR20110023746A (ko) 2011-03-08
KR101171539B1 true KR101171539B1 (ko) 2012-08-09

Family

ID=42983655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100077245A KR101171539B1 (ko) 2009-08-31 2010-08-11 변수 스코어링을 사용하는 모델 최적화 시스템

Country Status (7)

Country Link
US (1) US9147206B2 (ko)
EP (1) EP2290603A1 (ko)
JP (1) JP5226746B2 (ko)
KR (1) KR101171539B1 (ko)
CN (1) CN102004982A (ko)
AU (1) AU2010212248B2 (ko)
CA (1) CA2712407A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839321B2 (en) 1997-01-06 2020-11-17 Jeffrey Eder Automated data storage system
US20120150764A1 (en) * 2010-12-10 2012-06-14 Payman Sadegh Method and system for automated business analytics modeling
US20120323640A1 (en) * 2011-06-16 2012-12-20 HCL America Inc. System and method for evaluating assignee performance of an incident ticket
US20130185116A1 (en) * 2012-01-12 2013-07-18 Oracle International Corporation Automatic demand parameter escalation
US10282746B2 (en) 2012-08-31 2019-05-07 Accenture Global Services Limited Marketing campaign management system
US10671926B2 (en) 2012-11-30 2020-06-02 Servicenow, Inc. Method and system for generating predictive models for scoring and prioritizing opportunities
US9280739B2 (en) 2012-11-30 2016-03-08 Dxcontinuum Inc. Computer implemented system for automating the generation of a business decision analytic model
US10706359B2 (en) 2012-11-30 2020-07-07 Servicenow, Inc. Method and system for generating predictive models for scoring and prioritizing leads
CN103761355A (zh) * 2013-11-18 2014-04-30 芜湖大学科技园发展有限公司 电力系统仿真自适应建模方法
US20150220868A1 (en) * 2014-02-03 2015-08-06 Patient Profiles, LLC Evaluating Data Quality of Clinical Trials
KR101595303B1 (ko) * 2014-09-05 2016-02-19 경북대학교 산학협력단 모델의 연결성을 보존하는 모델 간략화 장치 및 방법
JP6192877B1 (ja) * 2015-11-25 2017-09-06 株式会社日立製作所 データ処理システム及びデータ処理方法
US11983623B1 (en) * 2018-02-27 2024-05-14 Workday, Inc. Data validation for automatic model building and release
CN112639664B (zh) * 2018-07-24 2023-03-24 奇跃公司 用于确定和/或评价图像显示设备的定位地图的方法和装置
US11869034B2 (en) 2019-11-26 2024-01-09 Nec Corporation Optimization device, optimization method, and recording medium
CN112579047A (zh) * 2020-12-15 2021-03-30 安徽兆尹信息科技股份有限公司 模型配置方法以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100469495B1 (ko) 2002-09-06 2005-02-02 (주)두앤비소프트 지리정보를 이용한 마케팅 지원 서비스방법
KR100795751B1 (ko) 2006-01-20 2008-01-17 주식회사풀무원 관능평가를 통한 매출액 예측시스템 및 그 예측시스템의 매출액 예측방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5457625A (en) * 1994-04-13 1995-10-10 The M. W. Kellogg Company Maximizing process production rates using permanent constraints
CA2239228C (en) * 1996-03-01 2002-12-03 William P. Worzel Method and system for genetic programming
JPH10240799A (ja) 1997-02-27 1998-09-11 Nri & Ncc Co Ltd 新規出店評価支援装置
JP2002513489A (ja) 1997-05-21 2002-05-08 カイメトリクス・インコーポレーテッド 企業企画モデルの被制御最適化の方法
TWI227424B (en) 2000-07-28 2005-02-01 Toshiba Corp Product design process, product design apparatus and storage medium storing product design program
US7062447B1 (en) * 2000-12-20 2006-06-13 Demandtec, Inc. Imputed variable generator
US20020159641A1 (en) * 2001-03-14 2002-10-31 Whitney Paul D. Directed dynamic data analysis
JP3594908B2 (ja) 2001-04-13 2004-12-02 フィールズ株式会社 遊技施設提案装置
US8108249B2 (en) * 2001-12-04 2012-01-31 Kimberly-Clark Worldwide, Inc. Business planner
JP2003242184A (ja) 2002-02-20 2003-08-29 Mitsubishi Electric Corp 解析モデル最適化装置および最適化方法
EP1508109A4 (en) * 2002-05-07 2006-06-07 Markov Processes International METHOD AND SYSTEM FOR RESOLVING DYNAMIC MULTIFACTORIAL MODELS IN FINANCE
US7080027B2 (en) * 2003-04-17 2006-07-18 Targetrx, Inc. Method and system for analyzing the effectiveness of marketing strategies
US20060179026A1 (en) * 2005-02-04 2006-08-10 Bechtel Michael E Knowledge discovery tool extraction and integration
KR100713205B1 (ko) 2005-07-27 2007-05-02 (주)위세아이텍 동적 고객화 모형 기반의 온라인 고객스코어링 시스템
CA2541763A1 (en) * 2006-02-15 2007-08-15 Sharon Rossmark Retail deployment model
JP5064870B2 (ja) * 2007-04-17 2012-10-31 株式会社日立製作所 デジタル道路地図の生成方法及び地図生成システム
US8006220B2 (en) * 2007-09-24 2011-08-23 Solido Design Automation Inc. Model-building optimization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100469495B1 (ko) 2002-09-06 2005-02-02 (주)두앤비소프트 지리정보를 이용한 마케팅 지원 서비스방법
KR100795751B1 (ko) 2006-01-20 2008-01-17 주식회사풀무원 관능평가를 통한 매출액 예측시스템 및 그 예측시스템의 매출액 예측방법

Also Published As

Publication number Publication date
US9147206B2 (en) 2015-09-29
KR20110023746A (ko) 2011-03-08
AU2010212248A1 (en) 2011-03-17
CA2712407A1 (en) 2011-02-28
US20110055127A1 (en) 2011-03-03
AU2010212248B2 (en) 2012-02-09
CN102004982A (zh) 2011-04-06
EP2290603A1 (en) 2011-03-02
JP2011065636A (ja) 2011-03-31
JP5226746B2 (ja) 2013-07-03

Similar Documents

Publication Publication Date Title
KR101171539B1 (ko) 변수 스코어링을 사용하는 모델 최적화 시스템
KR101396109B1 (ko) 마케팅 모델 결정 시스템
KR101213925B1 (ko) 적응적 분석 다차원 프로세싱 시스템
Trapero et al. Empirical safety stock estimation based on kernel and GARCH models
KR20200023669A (ko) 빅데이터 기반 부동산 투자 추천 시스템
Saoud et al. Approximations for the lead time variance: A forecasting and inventory evaluation
WO2023120126A1 (ja) 販売数量予測システム、販売数量予測方法
Kocer et al. Determining the inventory policy for slow-moving items: a case study
JP2005157836A (ja) 商品販売量予測装置、商品販売量予測方法及びモデル学習方法
Shehab et al. Chemical production process portfolio optimization
Honaiser et al. Decision Support System For Demand Forecasting in Business Games
AU2012254863B2 (en) Adaptive analytics multidimensional processing system
Köppen et al. Balanced scorecard simulator—a tool for stochastic business figures
TW202416189A (zh) 預測值決策的方法和電子裝置及其電腦可讀取記錄媒體
CN118152878A (zh) 能源储能电池的寿命预测方法及相关设备
AU2013200860A1 (en) Marketing model determination system
GB2477021A (en) Future cost forecasting for technologies
JP2006171820A (ja) 流通在庫に起因する損益指標算出システム
Tomczyk Rationality of expectations and data vintage: evidence from business tendency surveys
McGough et al. Modelling the development sector of the property market
Tran Firm Heterogeneity in Macroeconomics
AU2015203438A1 (en) Marketing model determination system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 7