KR102259945B1 - 인공지능 기반의 예측을 활용하는 a/b 테스팅 시스템 및 방법 - Google Patents
인공지능 기반의 예측을 활용하는 a/b 테스팅 시스템 및 방법 Download PDFInfo
- Publication number
- KR102259945B1 KR102259945B1 KR1020210028434A KR20210028434A KR102259945B1 KR 102259945 B1 KR102259945 B1 KR 102259945B1 KR 1020210028434 A KR1020210028434 A KR 1020210028434A KR 20210028434 A KR20210028434 A KR 20210028434A KR 102259945 B1 KR102259945 B1 KR 102259945B1
- Authority
- KR
- South Korea
- Prior art keywords
- key performance
- time point
- page
- artificial intelligence
- predictive model
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Security & Cryptography (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템에 관한 것으로서, 제 1 페이지에 대해서 제 1 시점까지의 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하는 데이터 수집 모듈; 제 1 페이지에 대해서 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성하는 예측 모델 생성 모듈;을 포함하고, 상기 예측 모델 생성 모듈은 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 학습 성능이 좋은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성하는 것을 특징으로 한다.
Description
본 발명은 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템 및 방법에 관한 것으로서, A/B 테스팅을 수행하여 어느 하나의 웹사이트 버전으로 업데이트를 진행하기 위하여 각각의 웹사이트 버전의 미래 사용성 추세를 예측하여 업데이트를 진행하는 것을 가능하도록 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템 및 방법에 관한 것이다.
최근 온라인 마케팅, 웹 디자인 등 인터넷 환경에서 2가지 이상의 웹사이트 버전 A 또는 웹사이트 버전 B에 대한 사용자의 행동 데이터를 분석하는 대조 실험(controlled experiment)을 수행하는 경우가 증가하고 있다.
이러한 대조 실험을 일반적으로 A/B 테스팅(A/B testing)이라고 부르는데, 웹사이트의 업데이트를 위하여 2가지 이상의 웹사이트 버전에 대하여 사용자의 반응을 수집하는 A/B 테스팅을 수행한 후 트렌드 변화에 적응해 나갈 수 있도록 어느 하나의 웹사이트 버전으로 업데이트가 진행될 수 있다.
일반적인 A/B 테스팅을 적용하여 웹사이트의 업데이트를 수행하는 경우, 관리자는 웹사이트 내의 특정 요소의 변경, 예를 들면 버튼 색의 변경, 사용자 인터페이스(UI: User Interface) 위치 변경 등이 버튼의 클릭율과 같은 특정 지표에 영향을 미칠 것이라는 가정하에 A/B 테스팅을 진행하게 된다.
그리고, 이러한 일반적인 A/B 테스팅을 진행한 결과를 보면, 버튼의 클릭율과 같은 특정 지표에 따라 2가지 이상의 웹사이트 버전 중 어느 하나를 선택하여 웹사이트의 업데이트를 수행하게 되는데, 웹사이트 버전 A에 대한 버튼의 클릭율이 웹사이트 버전 B에 대한 버튼의 클릭율보다 높게 나타나는 경우 웹사이트 버전 A로 웹사이트의 업데이트가 진행된다는 것이다.
그런데, 웹사이트 버전 A에 대한 버튼의 클릭율이 웹사이트 버전 B에 대한 버튼의 클릭율보다 높게 나타났지만 향후에 웹사이트 버전 B에 대한 버튼의 클릭율이 증가하여 웹사이트 버전 A에 대한 버튼의 클릭율보다 높게 증가하는 경우에는 웹사이트 버전 B로 웹사이트의 업데이트가 진행되는 것이 바람직하지만, 일반적인 A/B 테스팅을 적용하면 웹사이트 버전 B로 업데이트하는 것은 불가능하고 웹사이트 버전 A로 웹사이트의 업데이트가 진행될 수밖에 없다는 문제점이 있다.
공개특허공보 제10-2018-0131531호는 기계학습 기반 웹 인터페이스 생성 및 테스팅 시스템에 관한 것으로서, 수천 가지의 웹 페이지 디자인 중에서 가장 성공적인 웹 페이지 디자인을 효율적으로 식별하기 위하여 진화적 조작들을 사용하는 기계학습된 전환 최적화 시스템을 제공함으로써 수천 가지의 웹 페이지 디자인에 대해서 대조 실험을 가능하도록 하고 있으나, 웹사이트 버전 A에 대한 버튼의 클릭율이 나머지 웹사이트 버전들에 대한 버튼의 클릭율보다 높게 나타나는 경우 웹사이트 버전 A로 웹사이트의 업데이트가 진행되고 있을 뿐이고 향후에 다른 웹사이트 버전 B에 대한 버튼의 클릭율이 증가하여 웹사이트 버전 A에 대한 버튼의 클릭율보다 높게 증가하는 경우에는 웹사이트 버전 B로 웹사이트의 업데이트를 진행하는 것은 불가능하다는 문제점이 있다.
등록특허공보 제10-1458004호는 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 방법에 관한 것으로서, 입력된 데이터에 대한 예측 가능성을 향상시키기 위해서 기계적 학습이 가능한 인공 신경망 모형을 이용하고 있으나, 이러한 주가 등락 예측은 하나의 주가 종목에 대해서 그 예측이 이루질 뿐이므로 이러한 주가 등락 예측을 A/B 테스팅에 적용하여 웹사이트 버전들에 대한 버튼의 클릭율을 서로 비교하여 웹사이트의 업데이트를 진행하는 것은 불가능하다는 문제점이 있다.
등록특허공보 제10-2196554호는 인공지능 모델을 이용한 물류창고의 아이템별 출고량 예측 방법 및 장치에 관한 것으로서, 인공지능 모델을 이용하여 복수개의 아이템의 출고 내역 정보에 기초한 출고량 예측을 수행하고 있으나, 이러한 출고량 예측은 각각의 아이템에 대해서 출고량 예측이 이루질 뿐이므로 이러한 출고량 예측을 A/B 테스팅에 적용하여 웹사이트 버전들에 대한 버튼의 클릭율을 서로 비교하여 웹사이트의 업데이트를 진행하는 것은 불가능하다는 문제점이 있다.
공개특허공보 제10-2020-0131549호는 인공지능 모델을 이용한 상품 판매량 예측 방법 및 시스템에 관한 것으로서, 일정기간 이후에 판매량을 인공지능 기반의 예측 모델을 이용하여 계산하여 판매량을 판단하고 자동으로 재주문 경보를 발령하고 있으나, 이러한 상품 판매량 예측은 하나의 상품 판매량에 대한 판단 이후 그 상품에 대한 재주문 경보가 발령되도록 할 뿐이므로 이러한 상품 판매량 예측을 A/B 테스팅에 적용하여 웹사이트 버전들에 대한 버튼의 클릭율을 서로 비교하여 웹사이트의 업데이트를 진행하는 것은 불가능하다는 문제점이 있다.
본 발명은 A/B 테스팅을 수행하여 어느 하나의 웹사이트 버전으로 업데이트를 진행하기 위하여 각각의 웹사이트 버전의 미래 사용성 추세를 예측하여 업데이트를 진행하는 것을 목적으로 한다.
또한 본 발명의 다른 목적은 A/B 테스팅에서 인공지능 예측 알고리즘을 활용하여 더 높은 확률로 더 양호한 의사결정이 가능하도록 하는 것이다.
또한 본 발명의 다른 목적은 A/B 테스팅을 수행하는 관리자가 미래 추세를 예측하는 것이 가능하도록 하는 것이다.
본 발명이 해결하고자 하는 과제는 상기 목적으로만 제한하지 아니하고, 위에서 명시적으로 나타내지 아니한 다른 기술적 과제는 이하 본 발명의 구성 및 작용을 통하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있을 것이다.
본 발명에서는, 상기 과제를 해결하기 위하여 이하의 구성을 포함한다.
본 발명은 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템에 관한 것으로서, 제 1 페이지에 대해서 제 1 시점까지의 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하는 데이터 수집 모듈; 제 1 페이지에 대해서 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성하는 예측 모델 생성 모듈;을 포함하고, 상기 예측 모델 생성 모듈은 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 학습 성능이 좋은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성하는 것을 특징으로 한다.
또한 본 발명은 제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 제 1 페이지의 핵심성과지표를 예측하는 예측 모듈을 더 포함하는 것을 특징으로 한다.
또한 본 발명은 수집된 제 1 시점까지의 핵심성과지표와 예측된 제 2 시점까지의 핵심성과지표를 시각화하는 시각화 모듈을 더 포함하는 것을 특징으로 한다.
본 발명의 상기 하이퍼 파라미터는 수집된 제 1 시점까지의 핵심성과지표의 시간적 순서를 반영하는 것을 특징으로 한다.
또한 본 발명은 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법에 관한 것으로서, 제 1 페이지에 대해서 제 1 시점까지의 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하는 단계; 제 1 페이지에 대해서 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성하는 단계;를 포함하고, 상기 예측 모델 생성 모듈은 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 학습 성능이 좋은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성하는 것을 특징으로 한다.
또한 본 발명은 제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 제 1 페이지의 핵심성과지표를 예측하는 단계를 더 포함하는 것을 특징으로 한다.
또한 본 발명은 수집된 제 1 시점까지의 핵심성과지표와 예측된 제 2 시점까지의 핵심성과지표를 시각화하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 상기 하이퍼 파라미터는 수집된 제 1 시점까지의 핵심성과지표의 시간적 순서를 반영하는 것을 특징으로 한다.
또한 본 발명은 상기 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램일 수 있다.
본 발명의 효과는 A/B 테스팅을 수행하여 어느 하나의 웹사이트 버전으로 업데이트를 진행하기 위하여 각각의 웹사이트 버전의 미래 사용성 추세를 예측하여 업데이트를 진행하는 것을 가능하게 하는 것이다.
또한 본 발명의 다른 효과는 A/B 테스팅에서 인공지능 예측 알고리즘을 활용하여 더 높은 확률로 더 양호한 의사결정이 가능하도록 하는 것이다.
또한 본 발명의 다른 목적은 A/B 테스팅을 수행하는 관리자가 미래 추세를 예측하는 것이 가능하도록 하는 것이다.
본 발명에 의한 효과는 상기 효과로만 제한하지 아니하고, 위에서 명시적으로 나타내지 아니한 다른 효과는 이하 본 발명의 구성 및 작용을 통하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있을 것이다.
도 1은 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템을 도시한다.
도 2는 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템에 의하여 사이트 A와 사이트 B에 대한 사용자 추이와 클릭율에 대한 예측 결과를 도시한다.
도 3은 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법의 흐름도를 도시한다.
도 4는 본 발명의 인공지능 기반의 예측을 위한 하이퍼 파라미터를 도시한다.
도 2는 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템에 의하여 사이트 A와 사이트 B에 대한 사용자 추이와 클릭율에 대한 예측 결과를 도시한다.
도 3은 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법의 흐름도를 도시한다.
도 4는 본 발명의 인공지능 기반의 예측을 위한 하이퍼 파라미터를 도시한다.
이하 본 발명의 바람직한 실시예에 따른 전체적인 구성 및 작용에 대해 설명하기로 한다. 이러한 실시예는 예시적인 것으로서 본 발명의 구성 및 작용을 제한하지는 아니하고, 실시예에서 명시적으로 나타내지 아니한 다른 구성 및 작용도 이하 본 발명의 실시예를 통하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있는 경우는 본 발명의 기술적 사상으로 볼 수 있을 것이다.
도 1은 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템을 도시한다.
도 1을 참조하면, 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템은 데이터 수집 모듈(100), 데이터베이스(200), 예측 모델 생성 모듈(300), 에측 모듈(400), 시각화 모듈(500)을 포함하고 있다.
A/B 테스팅을 수행하기 위하여 웹서비스에 여러가지 버전의 웹페이지를 제공하고 각각의 웹페이지는 전체 디자인 중에서 한 가지 또는 두 가지 이상의 요소에 서로 다른 디자인을 적용하여 사용자의 반응을 살펴보게 된다.
상기 데이터 수집 모듈(100)은 웹서비스에 제공되는 여러가지 버전의 웹페이지 중에서 어느 하나의 페이지인 제 1 페이지에 대해서 제 1 시점까지의 방문자 수, 마우스 포인터의 좌표, 마우스 클릭, 마우스 스크롤, 페이지 전환율, 페이지 이탈율, 재방문율 등 사용자 활동 데이터를 수집하고 상기 데이터베이스(200)에 저장하고, 이러한 사용자 활동 데이터 중에서 적어도 어느 하나를 핵심성과지표로 사용한다.
또한 상기 데이터 수집 모듈(100)은 웹서비스에 제공되는 여러가지 버전의 웹페이지 중에서 어느 하나의 페이지인 제 2 페이지와 나머지 다른 버전의 웹페이지에 대해서도 제 1 시점까지의 방문자 수, 마우스 포인터의 좌표, 마우스 클릭, 마우스 스크롤, 페이지 전환율, 페이지 이탈율, 재방문율 등 사용자 활동 데이터를 수집하고 상기 데이터베이스(200)에 저장하고, 이러한 사용자 활동 데이터 중에서 적어도 어느 하나를 핵심성과지표로 사용한다.
상기 예측 모델 생성 모듈(300)은 제 1 페이지에 대해서 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈(100)에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성한다.
즉 본 발명은 제 1 시점까지의 핵심성과지표를 사용하여 제 1 시점 이후인 제 2 시점까지의 핵심성과지표를 예측하여 A/B 테스팅을 수행하는데 반하여, 종래기술은 제 1 시점까지의 핵심성과지표를 사용하여 제 1 시점까지의 각각의 웹페이지의 사용성을 예측할 뿐이다.
또한 상기 예측 모델 생성 모듈(300)은 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 학습 성능이 좋은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성한다.
마찬가지로, 상기 예측 모델 생성 모듈(300)은 제 2 페이지와 나머지 다른 버전의 웹페이지에 대해서도 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈(100)에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성한다.
상기 예측 모듈(400)은 제 1 페이지에 대한 제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 제 1 페이지의 핵심성과지표를 예측하고, 복수개의 예측 모델로부터 출력되는 복수개의 값을 평균하는 등 조합하여 출력할 수 있다.
또한 상기 예측 모듈(400)은 제 2 페이지와 나머지 다른 버전의 페이지에 대해서도 각각 제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 각각의 페이지의 핵심성과지표를 예측하고, 복수개의 예측 모델로부터 출력되는 복수개의 값을 평균하는 등 조합하여 출력할 수 있다.
상기 시각화 모듈(500)은 제 1 페이지와 제 2 페이지에 대해서 각각 수집된 제 1 시점까지의 핵심성과지표와 예측된 제 2 시점까지의 핵심성과지표를 그래프 등으로 시각화하고, 관리자가 직관적으로 비교할 수 있도록 한다.
도 2는 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템에 의하여 사이트 A와 사이트 B에 대한 사용자 추이와 클릭율에 대한 예측 결과를 도시한다.
도 2를 참조하면, 사이트 A와 사이트 B는 각각 전체 디자인 중에서 한 가지 또는 두 가지 이상의 요소에 서로 다른 디자인을 적용한 웹페이지로서 1주일에서 한달 이상 동안 사용자 활동 데이터를 수집하고, 이렇게 수집된 사용자 활동 데이터 중에서 적어도 어느 하나를 핵심성과지표로 사용하고, 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성한다.
사용자 추이를 먼저 살펴보면, 사이트 A와 사이트 B에 대해서 각각 제 1 시점(t1)까지의 사용자 활동 데이터인 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하고 제 1 시점(t1)까지의 사용자 추이를 예측하는 경우에 사이트 A 가 사이트 B 보다 사용차 추이가 더 큰 값으로 나타나고 있다.
그러나 사이트 A와 사이트 B에 대해서 각각 제 1 시점(t1)까지의 사용자 활동 데이터인 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하고 제 2 시점(t2)까지의 사용자 추이를 예측하는 경우에 사이트 A 보다 사이트 B 에서 사용차 추이가 더 큰 값으로 나타나고 있다.
본 발명인 A/B 테스팅에서는 제 1 시점(t1)까지의 사용자 활동 데이터를 사용하여 제 2 시점(t2)까지의 사용자 추이를 예측하는데 반하여, 일반적인 A/B 테스팅인 종래기술에서는 제 1 시점(t1)까지의 사용자 활동 데이터를 사용하여 제 1 시점(t1)까지의 사용자 추이를 예측할 뿐인 것이다.
마찬가지로, 클릭율을 살펴보면, 사이트 A와 사이트 B에 대해서 각각 제 1 시점(t1)까지의 사용자 활동 데이터인 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하고 제 1 시점(t1)까지의 클릭율을 예측하는 경우에 사이트 A 가 사이트 B 보다 클릭율이 더 큰 값으로 나타나고 있다.
그러나 사이트 A와 사이트 B에 대해서 각각 제 1 시점(t1)까지의 사용자 활동 데이터인 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하고 제 2 시점(t2)까지의 클릭율을 예측하는 경우에 사이트 A 보다 사이트 B 에서 클릭율이 더 큰 값으로 나타나고 있다.
따라서, 종래기술에서는 사이트 A에 대한 버튼의 클릭율이 나머지 웹사이트 버전들에 대한 버튼의 클릭율보다 높게 나타나는 경우 사이트 A로 웹사이트의 업데이트가 진행될 수 있을 뿐이고 향후에 사이트 B에 대한 버튼의 클릭율이 증가하여 사이트 A에 대한 버튼의 클릭율보다 높게 증가하는 경우에는 사이트 B로 웹사이트의 업데이트를 진행하는 것은 불가능하지만, 본 발명은 향후에 사이트 B에 대한 버튼의 클릭율이 증가하는 것을 예측하여 사이트 B로 웹사이트의 업데이트를 진행하는 것이 가능할 수 있다.
도 3은 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법의 흐름도를 도시한다.
도 3을 참조하면, 본 발명인 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법은 다음의 각 단계에 따라 수행될 수 있다.
데이터 수집 모듈(100)은 제 1 페이지에 대해서 제 1 시점까지의 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 소정의 기간동안 수집하는 단계(S100)를 수행하여 데이터베이스(200)에 저장한다.
또한 제 2 페이지에 대해서도 제 1 시점까지의 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 소정의 기간동안 수집하고 데이터베이스(200)에 저장한다.
예측 모델 생성 모듈(300)은 제 1 페이지에 대해서 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성하는 단계(S200)를 수행한다.
또한 예측 모델 생성 모듈(300)은 제 2 페이지에 대해서도 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성하는 단계를 수행한다.
상기 예측 모델 생성 모듈(300)은 제 1 페이지에 대해서 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 학습 성능이 좋은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성한다.
또한 상기 예측 모델 생성 모듈(300)은 제 2 페이지에 대해서도 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 학습 성능이 좋은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성한다.
예측 모듈(400)은 제 1 페이지에 대한 제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 제 1 페이지의 핵심성과지표를 예측하는 단계(S300)를 수행하고, 복수개의 예측 모델로부터 출력되는 복수개의 값을 평균하는 등 조합하여 출력할 수 있다.
또한, 예측 모듈(400)은 제 2 페이지에 대한 제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 제 2 페이지의 핵심성과지표를 예측하는 단계를 수행하고, 복수개의 예측 모델로부터 출력되는 복수개의 값을 평균하는 등 조합하여 출력할 수 있다.
시각화 모듈(500)은 제 1 페이지와 제 2 페이지에 대해서 각각 수집된 제 1 시점까지의 핵심성과지표와 예측된 제 2 시점까지의 핵심성과지표를 시각화하는 단계(S400)를 수행하고, 관리자가 직관적으로 비교할 수 있도록 한다.
도 4는 본 발명의 인공지능 기반의 예측을 위한 하이퍼 파라미터를 도시한다.
도 4를 참조하면, 딥러닝 기반의 인공 신경망 중에서 특히 순환 신경망(RNN: Recurrent Neural Network)을 도시하고 있는데, 복수개의 입력 노드(x t-1, x t, x t+1), 복수개의 은닉 노드(h t-1, h t, h t+1), 복수개의 출력 노드(y t -1, y t, y t +1), 입력 노드와 은닉 노드 사이의 가중치, 즉 하이퍼 파라미터(W xh ', W xh '', W xh '''), 은닉 노드와 출력 노드 사이의 하이퍼 파라미터(W hy ', W hy '', W hy '''), 그리고 은닉 노드 사이의 하이퍼 파라미터(W hh ', W hh '')를 도시하고 있다.
상기 은닉 노드 사이의 하이퍼 파라미터(W hh ', W hh '')는 데이터의 시간적 순서를 반영할 수 있다는 점에서 인공지능 기반의 예측을 위하여 순환 신경망을 활용하게 된다.
또한 순환 신경망의 단점을 보완하기 위하여 제안된 LSTM(Long Short Term Memory)에서도 데이터의 시간적 순서를 반영하기 위하여 상기 은닉 노드 사이의 하이퍼 파라미터(W hh ', W hh '')가 사용되고 있다.
즉 복수개의 입력 노드(x t-1, x t, x t+1)에 할당되는 입력 데이터는 시간적 순서에 따라 입력되는 것이다.
본 발명의 하이퍼 파라미터는 수집된 제 1 시점까지의 핵심성과지표의 시간적 순서를 반영하기 위하여 순환 신경망(RNN: Recurrent Neural Network), LSTM(Long Short Term Memory)과 같이 은닉 노드 사이의 하이퍼 파라미터(W hh ', W hh '')가 데이터의 시간적 순서를 반영하도록 한다.
일반적으로 딥러닝 기반의 인공 신경망은 입력층과 출력층 사이에 적어도 하나 이상의 은닉층이 포함된 멀티 레이어 구조로 형성된다.
입력층에서는 복수개의 입력 노드를 통하여 복수의 데이터가 할당되고, 상기 입력 노드는 은닉층에 형성되는 복수개의 은닉 노드와 연결되며, 상기 은닉 노드는 출력층에 형성되는 복수개의 출력 노드와 연결된다.
상기 입력 노드를 통하여 할당되는 데이터에는 가중치가 적용되어 상기 은닉 노드로 다시 할당되고, 상기 은닉 노드로부터 상기 출력 노드로 할당될 때 가중치가 적용되며, 이러한 가중치는 하이퍼 파라미터라고 하고 역전파 알고리즘을 적용한 기계학습을 통하여 조정될 수 있다.
상기 출력층에 형성되는 출력 노드에 할당된 복수의 데이터는 가중합을 한 후 활성화 함수(activation function)를 통하여 단일 값으로 출력될 수도 있다.
한편, 본 발명에서는 예측 모델 생성 모듈(300)이 제 1 시점까지의 핵심성과지표를 이용하여 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 학습 성능이 좋은 복수개의 예측 모델을 생성하여 사용하고 있다.
본 발명은 복수개의 예측 모델을 사용하여, 기계학습에서 학습 데이터를 과하게 학습함으로써 발생할 수 있는 오차의 증가를 방지한다. 즉, 예측 모듈(400)에서 학습을 더 진행함에 따라 예측된 핵심성과지표에서 오차가 감소하기 보다는 증가함으로써 과적합이 발생할 수 있는데, 본 발명은 이러한 과적합 발생을 저감할 수 있도록 하고 있다.
또한 이와 같은 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법의 흐름도는 컴퓨터프로그램으로 구현될 수 있으며, 본 발명의 각 구성요소는 하드웨어 또는 소프트웨어로 구현될 수 있다는 점에서 하나의 하드웨어 또는 개별적인 하드웨어에서 구동되는 소프트웨어로 구현될 수도 있다. 또한 본 발명의 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법은 컴퓨터프로그램으로서 기록매체에 저장되어 구현될 수도 있다.
100: 데이터 수집 모듈
200: 데이터베이스
300: 예측 모델 생성 모듈
400: 예측 모듈
500: 시각화 모듈
200: 데이터베이스
300: 예측 모델 생성 모듈
400: 예측 모듈
500: 시각화 모듈
Claims (9)
- 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템에 있어서,
제 1 페이지에 대해서 제 1 시점까지의 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하는 데이터 수집 모듈;
제 1 페이지에 대해서 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성하는 예측 모델 생성 모듈;을 포함하고,
상기 예측 모델 생성 모듈은 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 상기 학습된 예측 모델들 중에서 오차가 적은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성하여 과적합을 방지하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템.
- 제 1 항에 있어서,
제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 제 1 페이지의 핵심성과지표를 예측하는 예측 모듈을 더 포함하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템.
- 제 2 항에 있어서,
수집된 제 1 시점까지의 핵심성과지표와 예측된 제 2 시점까지의 핵심성과지표를 시각화하는 시각화 모듈을 더 포함하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템.
- 제 3 항에 있어서,
상기 하이퍼 파라미터는 수집된 제 1 시점까지의 핵심성과지표의 시간적 순서를 반영하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 시스템.
- 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법에 있어서,
데이터 수집 모듈에서 제 1 페이지에 대해서 제 1 시점까지의 페이지 전환율, 페이지 이탈율, 재방문율 중 적어도 어느 하나를 포함하는 핵심성과지표를 수집하는 단계;
예측 모델 생성 모듈에서 제 1 페이지에 대해서 제 2 시점까지의 핵심성과지표 예측을 위하여 상기 데이터 수집 모듈에서 수집한 상기 핵심성과지표를 학습데이터로 사용하는 인공지능 기반의 예측 모델을 생성하는 단계;를포함하고,
상기 예측 모델 생성 모듈은 제 1 시점까지의 핵심성과지표를 이용하여 상기 예측 모델의 하이퍼 파라미터의 값을 변경하면서 상기 예측 모델을 학습시키고, 상기 학습된 예측 모델들 중에서 오차가 적은 적어도 2개의 예측 모델을 포함하는 제 1 앙상블 예측 모델을 생성하여 과적합을 방지하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법.
- 제 5 항에 있어서,
제 1 앙상블 예측 모델을 이용하여 제 2 시점까지의 제 1 페이지의 핵심성과지표를 예측하는 단계를 더 포함하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법.
- 제 6 항에 있어서,
수집된 제 1 시점까지의 핵심성과지표와 예측된 제 2 시점까지의 핵심성과지표를 시각화하는 단계를 더 포함하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법.
- 제 7 항에 있어서,
상기 하이퍼 파라미터는 수집된 제 1 시점까지의 핵심성과지표의 시간적 순서를 반영하는 것을 특징으로 하는 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법.
- 제 5 항 내지 제 8 항 중 어느 한 항의 인공지능 기반의 예측을 활용하는 A/B 테스팅 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210028434A KR102259945B1 (ko) | 2021-03-03 | 2021-03-03 | 인공지능 기반의 예측을 활용하는 a/b 테스팅 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210028434A KR102259945B1 (ko) | 2021-03-03 | 2021-03-03 | 인공지능 기반의 예측을 활용하는 a/b 테스팅 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102259945B1 true KR102259945B1 (ko) | 2021-06-02 |
| KR102259945B9 KR102259945B9 (ko) | 2022-01-17 |
Family
ID=76372597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210028434A KR102259945B1 (ko) | 2021-03-03 | 2021-03-03 | 인공지능 기반의 예측을 활용하는 a/b 테스팅 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102259945B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102427001B1 (ko) * | 2021-09-27 | 2022-07-29 | (주)로지비 | 인공지능에 기반하여 물류창고에 적치되는 아이템의 출고 시기를 예측하고 아이템의 적치 위치를 결정하는 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080014275A (ko) * | 2006-08-10 | 2008-02-14 | 엔에이치엔(주) | 광고 전송 시스템에서 광고의 재고 예측 방법 및 그 장치 |
| KR101458004B1 (ko) | 2013-12-26 | 2014-11-04 | 주식회사 코스콤 | 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법 |
| KR20180131531A (ko) | 2016-01-05 | 2018-12-10 | 센티언트 테크놀로지스 (바베이도스) 리미티드 | 기계 학습 기반 웹 인터페이스 생성 및 테스팅 시스템 |
| KR20200108521A (ko) * | 2019-03-04 | 2020-09-21 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| KR20200131549A (ko) | 2019-05-14 | 2020-11-24 | 카페24 주식회사 | 인공지능 모델을 이용한 상품 판매량 예측 방법, 장치 및 시스템 |
| KR102196554B1 (ko) | 2019-09-09 | 2020-12-29 | 최병록 | 인공지능 모델을 이용한 물류창고의 아이템별 출고량 예측 방법 및 장치 |
-
2021
- 2021-03-03 KR KR1020210028434A patent/KR102259945B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080014275A (ko) * | 2006-08-10 | 2008-02-14 | 엔에이치엔(주) | 광고 전송 시스템에서 광고의 재고 예측 방법 및 그 장치 |
| KR101458004B1 (ko) | 2013-12-26 | 2014-11-04 | 주식회사 코스콤 | 인공 신경망 모형을 이용한 주가 등락 예측 시스템 및 주가 등락 예측 방법 |
| KR20180131531A (ko) | 2016-01-05 | 2018-12-10 | 센티언트 테크놀로지스 (바베이도스) 리미티드 | 기계 학습 기반 웹 인터페이스 생성 및 테스팅 시스템 |
| KR20200108521A (ko) * | 2019-03-04 | 2020-09-21 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| KR20200131549A (ko) | 2019-05-14 | 2020-11-24 | 카페24 주식회사 | 인공지능 모델을 이용한 상품 판매량 예측 방법, 장치 및 시스템 |
| KR102196554B1 (ko) | 2019-09-09 | 2020-12-29 | 최병록 | 인공지능 모델을 이용한 물류창고의 아이템별 출고량 예측 방법 및 장치 |
Non-Patent Citations (2)
| Title |
|---|
| 김승환 외, '딥러닝의 변수 중요도를 이용한 인공지능 기술 분석', 한국지능시스템학회, 2019. * |
| 전성해, '앙상블 모형을 이용한 공백기술 예측', 한국지능시스템학회, 2011. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102427001B1 (ko) * | 2021-09-27 | 2022-07-29 | (주)로지비 | 인공지능에 기반하여 물류창고에 적치되는 아이템의 출고 시기를 예측하고 아이템의 적치 위치를 결정하는 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102259945B9 (ko) | 2022-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gao et al. | The cloud-edge-based dynamic reconfiguration to service workflow for mobile ecommerce environments: a QoS prediction perspective | |
| Malgonde et al. | An ensemble-based model for predicting agile software development effort | |
| D’Haen et al. | Model-supported business-to-business prospect prediction based on an iterative customer acquisition framework | |
| Wang et al. | Online reliability time series prediction via convolutional neural network and long short term memory for service-oriented systems | |
| Hamrouni et al. | A survey of dynamic replication and replica selection strategies based on data mining techniques in data grids | |
| CN112771554A (zh) | 编程中的预测变量 | |
| Xu et al. | Empirical stochastic branch-and-bound for optimization via simulation | |
| Kareem Kamoona et al. | Implementation of genetic algorithm integrated with the deep neural network for estimating at completion simulation | |
| Yousef et al. | Dragonfly estimator: a hybrid software projects’ efforts estimation model using artificial neural network and Dragonfly algorithm | |
| JP2021064049A (ja) | 計算機システム及び数理モデルの生成支援方法 | |
| Santharam et al. | Survey on customer churn prediction techniques | |
| Sharko et al. | Methodological basis of causal forecasting of the economic systems development management processes under the uncertainty | |
| Samreen et al. | Transferable knowledge for low-cost decision making in cloud environments | |
| KR102259945B1 (ko) | 인공지능 기반의 예측을 활용하는 a/b 테스팅 시스템 및 방법 | |
| Yadav et al. | A framework for reliability prediction during product development process incorporating engineering judgments | |
| CN111260142A (zh) | 商品指标数据预测方法、装置、存储介质及电子设备 | |
| Hore et al. | Deep VULMAN: A deep reinforcement learning-enabled cyber vulnerability management framework | |
| CN113297287B (zh) | 用户策略自动部署方法、装置及电子设备 | |
| Stødle et al. | Data‐driven predictive modeling in risk assessment: Challenges and directions for proper uncertainty representation | |
| Huang et al. | Estimating effects of long-term treatments | |
| Schuerkamp et al. | Extensions of fuzzy cognitive maps: a systematic review | |
| Chen et al. | Machine learning methods for data-driven demand estimation and assortment planning considering cross-selling and substitutions | |
| Bozkurt Keser et al. | Response surface methodology to tune artificial neural network hyper‐parameters | |
| Miller et al. | Supporting a modeling continuum in scalation: from predictive analytics to simulation modeling | |
| Wei et al. | Stock Index Prices Prediction via Temporal Pattern Attention and Long‐Short‐Term Memory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |