RU2015143745A - Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения - Google Patents

Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения

Info

Publication number
RU2015143745A
RU2015143745A RU2015143745A RU2015143745A RU2015143745A RU 2015143745 A RU2015143745 A RU 2015143745A RU 2015143745 A RU2015143745 A RU 2015143745A RU 2015143745 A RU2015143745 A RU 2015143745A RU 2015143745 A RU2015143745 A RU 2015143745A
Authority
RU
Grant status
Application
Patent type
Prior art keywords
user
group
quality parameter
users
value
Prior art date
Application number
RU2015143745A
Other languages
English (en)
Other versions
RU2640637C2 (ru )
Inventor
Глеб Геннадьевич Гусев
Алексей Валерьевич Друца
Павел Викторович СЕРДЮКОВ
Original Assignee
Общество С Ограниченной Ответственностью "Яндекс"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computer systems based on specific mathematical models
    • G06N7/005Probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/30Information retrieval; Database structures therefor ; File system structures therefor
    • G06F17/30861Retrieval from the Internet, e.g. browsers
    • G06F17/30864Retrieval from the Internet, e.g. browsers by querying, e.g. search engines or meta-search engines, crawling techniques, push systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass
    • G06N99/005Learning machines, i.e. computer in which a programme is changed according to experience gained by the machine itself during a complete run
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce, e.g. shopping or e-commerce
    • G06Q30/02Marketing, e.g. market research and analysis, surveying, promotions, advertising, buyer profiling, customer management or rewards; Price estimation or determination

Claims (60)

1. Способ проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения, способ выполняется по меньшей мере на одном сервере, способ включает в себя:
сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где:
первой группе пользователей представляют контрольный вариант сервиса;
второй группе пользователей представляют экспериментальный вариант сервиса; и
данные о поведении относятся к параметру качества контролируемого эксперимента;
на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и
определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.
2. Способ по п. 1, в котором дополнительно выполняют:
определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей; определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей; определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.
3. Способ по п. 1, в котором дополнительно выполняют:
получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени;
комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей;
комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей;
определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.
4. Способ по п. 1, в котором сервис является онлайн-сервисом.
5. Способ по п. 4, в котором контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.
6. Способ по п. 5, в котором онлайн-сервис является поисковой системой.
7. Способ по п. 6, в котором изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.
8. Способ по п. 6, в котором данные о поведении включают в себя параметры пользовательских взаимодействий с поисковой системой.
9. Способ по п. 8, в котором параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.
10. Способ по п. 9, в котором предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.
11. Способ по п. 1, в котором первый промежуток времени соответствует длительности контролируемого эксперимента.
12. Способ по п. 1, в котором первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.
13. Способ по п.12, в котором контролируемый эксперимент завершают раньше окончания длительности контролируемого эксперимента.
14. Способ по п. 1, в котором модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.
15. Способ по п. 1, в котором получают по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывают моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.
16. Способ по п. 15, в котором по меньшей мере один признак, извлеченный из данных о поведении, является одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.
17. Сервер проведения контролируемого эксперимента с использованием предсказания будущего пользовательского поведения, включающий в себя процессор и машиночитаемые инструкции для проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения, процессор выполнен с возможностью осуществлять:
сбор данных о поведении пользователей из первой группы пользователей и пользователей из второй группы пользователей за первый промежуток времени, где:
первой группе пользователей представляют контрольный вариант сервиса;
второй группе пользователей представляют экспериментальный вариант сервиса; и
данные о поведении относятся к параметру качества контролируемого эксперимента;
на основе по меньшей мере одной модели прогнозирования, примененной к данным о поведении, определение спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и каждого пользователя из второй группы пользователей за второй промежуток времени; и
определение того, существует ли статистически значимая разница между спрогнозированными значениями параметра качества для каждого пользователя из первой группы пользователей и спрогнозированными значениями параметра качества для каждого пользователя из второй группы пользователей.
18. Сервер по п. 17, выполненный с дополнительной возможностью осуществлять:
определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей;
определение среднего значения спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей;
определение того, существует ли статистически значимая разница между средним значением спрогнозированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением спрогнозированных значений параметра качества для каждого пользователя из второй группы пользователей.
19. Сервер по п. 17, выполненный с дополнительной возможностью осуществлять:
получение действительного значения параметра качества для каждого пользователя из первой группы пользователей и для каждого пользователя из второй группы пользователей на основе данных о поведении, собранных за первый промежуток времени;
комбинирование каждого действительного значения параметра качества для каждого пользователя из первой группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из первой группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из первой группы пользователей;
комбинирование каждого действительного значения параметра качества для каждого пользователя из второй группы пользователей с соответствующим спрогнозированным значением параметра качества для каждого пользователя из второй группы пользователей с получением комбинированного значения параметра качества для каждого пользователя из второй группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из первой группы пользователей;
определение среднего значения комбинированных значений параметра качества для каждого пользователя из второй группы пользователей;
определение того, существует ли статистически значимая разница между средним значением комбинированных значений параметра качества для каждого пользователя из первой группы пользователей и средним значением комбинированных значений параметра качества для каждого пользователя из второй группы пользователей.
20. Сервер по п. 17, в котором сервис является онлайн-сервисом.
21. Сервер по п. 20, в котором контролируемый эксперимент оценивает изменение в исполнении онлайн-сервиса.
22. Сервер по п. 21, в котором онлайн-сервис является поисковой системой.
23. Сервер по п. 22, в котором изменение в исполнении онлайн-сервиса является по меньшей мере одним из: изменением в алгоритме ранжирования поисковой системы, изменением во времени ответа поисковой системы или изменением в пользовательском интерфейсе поисковой системы.
24. Сервер по п. 22, в котором данные о поведении включают в себя параметры пользовательских взаимодействий с поисковой системой.
25. Сервер по п. 24, в котором параметр качества включает в себя предварительно выбранный тип пользовательского взаимодействия с поисковой системой.
26. Сервер по п. 25, в котором предварительно выбранный тип пользовательского взаимодействия включает в себя по меньшей мере одно из: число сессий в расчете на каждого пользователя; число запросов в расчете на каждого пользователя; число щелчков в расчете на каждого пользователя; время присутствия пользователя; число щелчков в расчете на запрос пользователя; время отсутствия в расчете на сессию пользователя.
27. Сервер по п. 17, в котором первый промежуток времени соответствует длительности контролируемого эксперимента.
28. Сервер по п. 17, в котором первый промежуток времени соответствует промежутку времени, меньшему, чем длительность контролируемого эксперимента.
29. Сервер по п. 28, в котором процессор выполнен с возможностью завершать контролируемый эксперимент раньше окончания длительности контролируемого эксперимента.
30. Сервер по п. 29, в котором модель прогнозирования является либо моделью дерева принятия решений, построенной с помощью метода градиентного спуска (англ. gradient boosting decision tree model), либо моделью линейной регрессии.
31. Сервер по п. 17, в котором процессор выполнен с возможностью получать по меньшей мере один признак, извлеченный из данных о поведении, и обрабатывать моделью прогнозирования для выполнения определения спрогнозированных значений параметра качества.
32. Сервер по п. 31, в котором процессор выполнен с возможностью извлекать по меньшей мере один признак из данных о поведении, являющийся одним из: общий признак, признак временных рядов, статистический признак, признак периодичности, производный признак.
RU2015143745A 2015-10-13 2015-10-13 Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения RU2640637C2 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2015143745A RU2640637C2 (ru) 2015-10-13 2015-10-13 Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2015143745A RU2640637C2 (ru) 2015-10-13 2015-10-13 Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения
US15156439 US20170103334A1 (en) 2015-10-13 2016-05-17 Method of and system for conducting a controlled experiment using prediction of future user behavior

Publications (2)

Publication Number Publication Date
RU2015143745A true true RU2015143745A (ru) 2017-04-19
RU2640637C2 RU2640637C2 (ru) 2018-01-10

Family

ID=58499608

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015143745A RU2640637C2 (ru) 2015-10-13 2015-10-13 Способ и сервер проведения контролируемого эксперимента с использованием прогнозирования будущего пользовательского поведения

Country Status (2)

Country Link
US (1) US20170103334A1 (ru)
RU (1) RU2640637C2 (ru)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090703B1 (en) * 2008-04-08 2012-01-03 Google Inc. Overlapping experiments
RU2414745C2 (ru) * 2008-10-06 2011-03-20 Петр Михайлович Мурашев Способ поиска
US9015084B2 (en) * 2011-10-20 2015-04-21 Gil Thieberger Estimating affective response to a token instance of interest
US9983670B2 (en) * 2012-09-14 2018-05-29 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US20140156383A1 (en) * 2012-12-03 2014-06-05 24/7 Customer, Inc. Ad-words optimization based on performance across multiple channels
US20140324599A1 (en) * 2013-04-29 2014-10-30 Yahoo! Inc. System and method for booking an online advertising campaign
US20150106157A1 (en) * 2013-10-15 2015-04-16 Adobe Systems Incorporated Text extraction module for contextual analysis engine
US9990422B2 (en) * 2013-10-15 2018-06-05 Adobe Systems Incorporated Contextual analysis engine

Also Published As

Publication number Publication date Type
US20170103334A1 (en) 2017-04-13 application
RU2640637C2 (ru) 2018-01-10 grant

Similar Documents

Publication Publication Date Title
ES1112830U8 (es) Barbacoa de sobremesa
RU2015132201A (ru) Способ нефропексии
RU2015137776A (ru) Устройство и способ разведки
RU2015143033A (ru) Стрелково-тренировочный прибор
RU2016143559A (ru) Конденсатор и способ его изготовления
RU2016137189A (ru) Способ обеспечения взаимодействия с информацией
RU2015137273A (ru) Способ прогнозирования риска развития профессионального аллергического ринита
RU2015137319A (ru) Способ создания ажурной лесополосы
RU2016133486A (ru) Система и способ обработки скважины
RU2016141258A (ru) Интерактивная стилизация движения камеры
RU2016140875A (ru) Персональная сеть
RU2015139267A (ru) Маска-принадлежность универсальная
RU2016122341A (ru) Стартер-генератор
RU2016148157A (ru) Способ децеллюляризации печени
RU2016139073A (ru) Периферийное устройство, хост-устройство и способ обработки
RU2015154388A (ru) Воблер
RU2016135530A (ru) Варианты l-арабинозоизомеразы с улучшенной превращающей активностью и способ получения d-тагатозы с их применением
RU2016150738A (ru) Электрокальцинатор непрерывного действия
FI20155384A (fi) Käyttäjäntunnistusmenetelmä
RU2015156291A (ru) Масляная ванна
RU2015156115A (ru) Масляная ванна
RU2016140732A (ru) Панель oled (дисплея на органических светодиодах), терминал и способ управления идентификацией
RU2015137890A (ru) Способ выработки хлебного кваса
RU2015139754A (ru) Способ выработки хлебного кваса
RU2015138822A (ru) Способ выработки хлебного кваса