WO2013055257A1 - Способ прогноза целевого показателя событий по неограниченному количеству характеристик - Google Patents
Способ прогноза целевого показателя событий по неограниченному количеству характеристик Download PDFInfo
- Publication number
- WO2013055257A1 WO2013055257A1 PCT/RU2012/000787 RU2012000787W WO2013055257A1 WO 2013055257 A1 WO2013055257 A1 WO 2013055257A1 RU 2012000787 W RU2012000787 W RU 2012000787W WO 2013055257 A1 WO2013055257 A1 WO 2013055257A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- event
- events
- segments
- segment
- characteristic
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Definitions
- the invention relates to computer technology and can be used for the automated carrying out targeted campaigns against buyers, reducing the forecast and increase the number of consumer products, the forecast of events for implementation of the results of different objects and areas' economic activity.
- the real data accumulated by the companies contains a history of events of the objects under investigation with a variable and often a large number of events for each object, and only with large losses of information can be converted into a vector.
- each event may contain a number of characteristics that are potentially useful for forecasting.
- information about the purchase of goods using a discount card at the same time ⁇ contains the purchase amount, exact date, name and category of goods, discount amount, ⁇ name and address of the store, department name - up to 100 or more fields.
- completely different characteristics may be significant for predicting the behavior of buyers in relation to specific stocks, for example:
- both the values of text fields and the words in them, including in combination with numeric fields, can be used to form individual potentially useful characteristics.
- the number of potentially useful characteristics of buyers often exceeds a million.
- a known method predicts the financial behavior of consumers (for example, buyers), which includes obtaining a number of input transactions for many consumers relative to many merchants; definition of at least one trading segment in which each merchant is combined with at least one of the specific trading segments; and for at least one consumer, applying computer input consumer transactions to at least one trading predictive segment model, for each trading definition of a forecasting segment model for a trading segment, the forecast functions between input transactions in the past time interval and financial behavior in the subsequent time interval, to produce for each consumer the predicted behavior in each of at least a subset of the trading segments.
- This known method implements an automated prediction of a target indicator (CPU) of events, including the receipt by a computer of event data indicating for each event a target indicator and a set of characteristics of this events, segmentation, building a forecast model, and forecasting a target for subsequent similar events.
- a target indicator CPU
- the event is a purchase
- the target is the amount of sales in the trading segment
- the characteristic is the vector of the sales amounts of the buyer in other trading segments
- all transactional data about the buyer is preliminarily converted into a revenue vector for the “trading segments”, after which a computer analysis based on this simplified data only.
- a limitation of the known method is the insufficiently high accuracy and reliability of the forecast of target indicators (CPU) of events, as well as a long time and complex procedure when processing large amounts of data about events.
- the problem solved by the invention is the improvement of technical and operational characteristics and the expansion of the forecasting functionality while simplifying its procedure.
- the technical result is to increase the accuracy and reliability of the forecast of event target indicators, as well as to reduce time and simplify the procedure for large amounts of observation data on various events by optimizing the distribution of event data by computer memory types and processing algorithms, which makes it possible to fully analyze all the necessary characteristics of events.
- Modern computer processors can perform billions of operations per second, but their performance is limited by the speed of memory devices and data storage devices.
- the invention is based on a complete analysis of all possible characteristics of events, which is made possible by optimizing the distribution of event data by computer memory types and processing algorithms.
- the construction of the model is carried out by sequentially constructing the levels of the decision tree by dividing the subset of events assigned to the tree node ⁇ (segment) at each level into segments of the next level.
- the computer receives event data indicating the target indicator for each event and an arbitrary set of its numerical characteristics, events are numbered by the computer, the event characteristics are end-to-end, the characteristics are sorted for events in the order number characteristics of the event - the value of the characteristics of the event, remember them in this order in the computer data storage device with the indication of event numbers, p
- the set of events is sequentially divided into subsets — segments of the next level corresponding to the nodes of the decision tree, during which the characteristics, their values and event numbers are sequentially read from the data store, and for each segment aggregated data is calculated based on the target indicators and the amount from the array of events from the computer’s RAM, and if
- An additional variant of the method is possible, according to which, when calculating the economic effect of dividing into segments, the economic effect is reduced by the value of the confidence interval of the economic effect, for which additional aggregated data is calculated, in particular, the sum of the squares of the event target indicators.
- the maximum pessimistic economic effect is used as a criterion of the best division into segments.
- the economic effect may be, for example, savings in connection with the refusal to conduct a promotion in a non-target (unprofitable by the average target) segment.
- the pessimistic economic effect is adjusted downward by the value of the estimation of the statistical error of the economic effect 'by calculating the confidence interval for the user-specified required confidence probability.
- Variants of the method are also possible when the division of segments is performed by no more than a predetermined number of levels and / or at least a predetermined number of events in each segment of the next level.
- the limit on the number of events in a segment can be set based on a compromise between the required reliability of the segments and the available amount of data, which may not be enough to satisfy these requirements.
- a variant of the method is also possible when the segment is divided into no more than two segments of the next level.
- FIG. 1 depicts a diagram of the formation and processing of data to build a model and forecast the target indicator of the claimed method
- FIG. 4 - a screen of the result of building a model in the form of a decision tree for a promotion
- FIG. 5 is the same as FIG. 4, for personal recommendations of the film “Rgepu”
- the claimed method can be implemented by the following algorithm (Fig. 1 and Fig. 2) of the operation of a computing device during which a binary decision tree is built, that is, each segment is divided into no more than two segments of the next level.
- Fig. 1 and Fig. 2 the data blocks and the transmission path are streaked with solid lines; the solid lines show the data processing blocks, control units, and the path.
- the blocks highlighted in bold lines in the diagram (Fig. 2) characterize the main cycle, providing maximum performance.
- block 2 Based on the event log 1 received by the computer (Fig. 1), block 2 generates event data consisting for each event of a numerical target indicator (CPU) and an arbitrary set of numerical characteristics with text names. Events are formed in accordance with the business logic necessary for a particular task, for example, the economy of a promotion, mailing or CMC mailing, distribution of coupons or personal offers.
- the concept of "number” means real numbers that, as a special case, could be obtained by assigning comparable non-numeric characteristics to successive numerical values, for example, dates, education levels or knowledge of a foreign language from the customer’s questionnaire, and so on.
- RAM random access memory
- Aggregated data can be the total number of events, the sum of the targets, the sum of the squares of the targets, and others selected by the developer.
- a buffered reading of the next record of characteristic values is performed.
- Blocks 8, 9 and 10 in the process of building the model are used most often than others when performing operations, since the data is sorted by numbers and values of characteristics, and it is highly likely that neighboring records in the drive of block 4 have the same values of characteristics (for example, a thousand buyers - bought at one unit of goods and the corresponding characteristic for all such events will be the same and equal to one).
- the economic effect may be, for example, the savings resulting from the refusal to conduct a promotion in a non-target (unprofitable by the average target) segment, in which case the economic effect will be equal to the sum of the target indicators in the unprofitable segment with a minus sign.
- Another example of the economic effect is the amount of excess CPU in the daughter segment compared to the average for the parent segment.
- the Economic effect is adjusted downward by the value of the estimate of the statistical error of the Economic effect by calculating the confidence interval for a user-defined confidence probability.
- Segmentation is performed if the pessimistic economic effect of it is greater than zero. If the characteristic number or value is different (as well as after reading the last record from drive 4), then before updating the segment data, in the cycle of block 11 for all updated segments in block 12 it is checked whether the result of the possible division of this segment into segments of the next level is improved by the value between the differing values of the same characteristic, the comparison of which was carried out in block 9, or, if in block 9 a record with a different characteristic is read, then by the value “Present-Absent” of the previous character ISTIC.
- the exact boundary can be defined as the average with rounding to the minimum number of significant digits that keep it within the interval, in this case, 8.0.
- the calculations of block 12 require more computer processor operations than the cycle of blocks 8, 9, and 10, but are performed less frequently, which eliminates the need to go to the data storage device during the calculations and provides a computational speed comparable with the speed of sequential buffered data reading from the hard disk, there is close to the maximum possible.
- decision block 14 After each cycle, according to the segmentation level of block b (Fig. 1), in decision block 14 it is checked whether new segments are detected at this level, if they are found, then new segments in block 15 are added to block 16 of the predictive ' model in the form of a binary decision tree .
- the next level that is, the assignment of events of these segments in block 5 of new segments, for which the data from the drive 4 are read according to the characteristics used for division (included in the model of block 16), compared with the value by which the division is performed, and depending on the result of the comparison, the event belongs to the corresponding segment.
- the average values of the target indicator in the segments are calculated, which are indicated for each segment in the model of block 16, after which it is saved for future use.
- model building ends.
- the event data is generated by block 2 according to the same data and rules as for model building, which guarantees the applicability of the constructed model of block 16 for forecasting.
- the corresponding values of its characteristics sequentially compares "the values of these characteristics in the nodes of the tree body 16 until the event is" attributed to a segment having no segments average value of the target -... Indices event for this the segment used to build the model is a forecast of the target indicator of such an event.
- FIG. Figure 3 shows an example of a potential event for a product promotion “BATON SUNNY 400 GR.” (Field 30) to a potential customer similar to existing customer 5 (field 31), and the procedure for calculating the target indicator (field 32) and characteristics (table 33) .
- the business model of the action consists in the free provision to customers of the promoted (target) product (“sunny loaf”) for testing.
- the target in field 32 is to estimate the profit from a promotion in relation to a buyer who is similar to an existing one but who has not yet bought this product, calculated in fields 34 and 35.
- All the on-screen characteristics of the events of table 33 are generated by automatically calculating the amount of purchases for different time periods indicating the name of the product contained in the first record 36 in the purchasing journal of table 37: “Cottage cheese cake CHOCOLATE 340 GR ”, or words in the name of this product.
- the corresponding characteristics are also formed in the purchase table, they are not included on the screen.
- the target indicator is indicated in field 38, and the characteristics of the event are in the form of a table of 33 real values with text names.
- the user ⁇ should only enter the parameters of the business model in the sections “Revenues” 39 and ““ Expenses ”40, and also in one of the variants of the method a confidence probability can be indicated.
- the computer built a predictive model (Fig. 4) in the form of a decision tree.
- the field 50 “Decision tree - information” shows the presence of 200 events in a segment of 687 in the higher node of the tree (parent segment), while the average economic effect in field 51 in the form of expected profit per contact in the segment is 0.51 rubles, and in the higher the node of the tree is negative and equal to -1.39 rubles.
- the division into segments was carried out according to the characteristic “Sum - purchases with the word ' ⁇ / ⁇ ' in the name”, by the value “greater than 68.71”.
- the indication ' ⁇ / ⁇ in the name of the goods is an abbreviation of “Fin. Package ”, that is, plastic packaging for low-cost dairy products, thus,“ SUN BATON ”is bought by the same customers who buy low-cost dairy products.
- Table 52 “Best Dividing Parameters” shows the aggregated data of potential segmentation according to the characteristics “Sum of purchases of Products with a word in the name TP 'on Mondays”.
- the abbreviation TP ' is used to indicate the weight in grams of packaged goods.
- the number of observations in possible segments of the next level is 137 and 63, respectively, and the average profit in them is +1.39 and -1.41.
- RAP pessimistic economic effect of a possible division into segments
- the average value in this segment is the forecast of the target indicator - economic effect.
- Segmentation can also be controlled by a parameter. 54 : "the maximum number of levels of segmentation.”
- a similar example of the constructed model is a decision tree for personal recommendations of the film “PRETTY WOMAN” based on NetFlix data (Fig. 5).
- the film is rated by the viewer on a 5-point scale.
- the minimum rating at which a recommendation should be made is taken to be 4 and specified in field 60.
- the best criterion (characteristic and value) in the decision tree node 61 for the recommendations of the PRETTY WOMAN movie at the first segmentation level is the rating of the film DIRTY DANCING »More than 3.5.
- the average forecast rating in field 62 in this segment exceeds the required one, equal to 4, by 0.37, while in the higher node of the tree (parent segment) it is lower than the required one by 0.09 points.
- the pessimistic economic effect of dividing each segment into segments is used - the next level, taking into account the confidence interval.
- the values of the characteristics of events are stored in sorted form in the data storage device, which allows you to free up computer RAM for targets and segments, as well as through sequential reading of data from the storage device, as quickly as possible to fully exhaust all values of the set of characteristics for all segments of each level of the binary decision tree.
- the constructed model can be used for instant forecasting of the target indicator of events, including those that did not participate in its construction.
- the average value of the target indicator in the segment to which the event will be assigned is used as a forecast by sequentially comparing the characteristics of the event with the values in the nodes of the decision tree.
- the statistical methods for calculating the confidence interval in particular, based on Student's coefficients, as shown by studies on a large amount of data, can guarantee the identification of dependencies in the data for millions of indicators, automating the process of “decreasing dimension” by analyzing all calculated characteristics and all their values, simultaneously practically , excluding the human factor in predicting events and their assessment.
- the most successful invention is applicable to the formation of targeted offers to target segments of customers on industrial data volumes in various industries.
Abstract
Изобретение относится к способу прогноза целевого показателя событий. В заявленном способе получают компьютером данные о событиях с указанием для каждого события целевого показателя и произвольного набора его числовых характеристик, производят сегментацию, создают прогнозную модель, и прогнозируют целевой показатель последующего аналогичного события, при этом посредством компьютера нумеруют события, проводят сквозную нумерацию характеристик событий, сортируют значения характеристик для событий в порядке номер характеристики события - значение характеристики события, запоминают их в этом порядке в накопителе данных компьютера с указанием номеров событий, после чего в цикле сегментации выполняют последовательное деление множества событий на подмножества - сегменты следующего уровня, соответствующие узлам дерева решений, в ходе которого выполняют последовательное чтение характеристик, их значений и номеров событий из накопителя данных. Для каждого сегмента вычисляют значение наилучшей характеристики и определяют сегмент, к которому относится последующее аналогичное событие, среднее значение целевого показателя такого сегмента служит прогнозом для последующего аналогичного события.
Description
СПОСОБ ПРОГНОЗА ЦЕЛЕВОГО ПОКАЗАТЕЛЯ СОБЫТИЙ ПО
НЕОГРАНИЧЕННОМУ КОЛИЧЕСТВУ ХАРАКТЕРИСТИК
Область техники
Изобретение относится к вычислительной технике и может быть использовано для автоматизированного проведения адресных кампаний в отношении покупателей, прогноза снижения и увеличения количества потребителей продукции, прогноза результатов реализации событий для различных объектов и направлений ' хозяйственной деятельности.
Предшествующий уровень техники
Известны прогностические методы на основе нейросетей, карт Кохонена, деревьев решений, общим для которых является получение на входе процесса моделирования «вектора признаков» фиксированной размерности после этапа «подготовки данных» (этап Data Preparation, см. CRoss Industry Standard Process for Data Mining - CRISP-DM).
Однако реальные данные, накапливаемые компаниями, содержат историю событий исследуемых объектов с переменным и часто большим количеством событий по каждому объекту, и только с большими потерями информации могут быть преобразованы в вектор. При этом каждое событие может содержать целый ряд характеристик, потенциально полезных для прогноза.
Например, информация о покупке товара по дисконтной карте одновременно · содержит сумму покупки, точную дату, название и категорию товара, сумму скидки, · название и адрес магазина, название отдела - всего до 100 и более полей. При этом значимыми для прогноза поведения покупателей в отношении конкретных акций могут оказаться совершенно различные характеристики, например:
- Сумма покупок со словом 'ШАМПАНСКОЕ' в 'НАЗВАНИЕ ТОВАРА' УТРОМ
- Сумма покупок со словом 'МАРТИНИ' ПО ПЯТНИЦАМ,
- Количество покупок со словом 'ПАМПЕРС ДНЕМ,
- Количество слов 'ВЫСШЕЕ' В АНКЕТЕ,
- Количество посещений web-страницы 'ШУРУПЫ И САМОРЕЗЬГ, и т.д.
Таким образом, как значения текстовых полей, так и слова в них, в том числе— в комбинации с числовыми полями - могут быть использованы для формирования отдельных потенциально полезных характеристик. При ассортименте торговых сетей
в десятки и сотни тысяч наименований, количество потенциально полезных характеристик покупателей часто превышает миллион.
Объем данных всех возможных характеристик событий миллионов покупателей превышает размер доступной оперативной памяти современных компьютеров, что вынуждает разработчиков информационных систем «уменьшать размерность» анализа до нескольких десятков тысяч переменных, то есть экспертным методом отбрасывать потенциально ценную информацию.
Известен также алгоритм ассоциативных правил, использующийся для поиска часто встречающихся комбинаций товаров в «корзинах» покупок (Association Rule and Quantitative Association Rule Mining among Infrequent Items MDMO7, Ling Zhou, . Stephen Yau, 2007, San Jose, California, USA). Но этот алгоритм не позволяет использовать наряду с основным идентификатором (например, название товара) другую дополнительную информацию (дата и время покупки, адрес магазина, группа, подгруппа, категория и подкатегория товара).
Известен способ (US, 6839682) предсказания финансового поведения потребителей (например, покупателей), включающий получение ряда входных транзакций для множества потребителей относительно множества торговцев; определение, по крайней мере, одного торгового сегмента, в котором каждый торговец объединяется по крайней мере с одним из определенных торговых сегментов; и по крайней мере для одного потребителя, применяя входные транзакции потребителя компьютером к каждой по крайней мере одной торговой прогнозирующей модели сегмента, каждому торговому определению прогнозирующей модели сегмента для торгового сегмента прогноз функционирует между входными транзакциями в прошлом временном интервале и финансовым поведением в последующем временном интервале, чтобы произвести для каждого потребителя предсказанное поведение в каждом, по крайней мере, подмножестве торговых сегментов.
Этот известный способ реализует автоматизированный прогноз целевого показателя (ЦП) событий, включающий получение компьютером данных о событии с указанием по каждому событию целевого показателя и набора характеристик этого
события, сегментацию, построение прогнозной модели, и прогноз целевого показателя для последующих аналогичных событий.
В данном способе событием является покупка, целевым показателем - сумма продаж в торговом сегменте, характеристикой - вектор сумм продаж покупателя в других торговых сегментах, при этом все транзакционные данные о покупателе предварительно преобразуются в вектор сумм выручки по «сегментам торговли», после чего проводится компьютерный анализ только по этим упрощенным данным.
Таким образом, в этом известном способе не учитывается и не используется для прогноза информация о времени покупок, адресах магазинов, торговых сетях внутри «сегмента», анкетных данных покупателей и каких-либо других доступных данных.
Ограничением известного способа являются недостаточно высокая точность и достоверность прогноза целевых показателей (ЦП) событий, а также длительное время и сложная процедура при обработке больших объемов данных о событиях.
Раскрытие изобретения
Решаемая изобретением задача - улучшение технико-эксплуатационных характеристик и расширение функциональных возможностей прогнозирования при упрощении его процедуры.
Техническим результатом является повышение точности и достоверности прогноза целевых показателей событий, а также сокращение времени и упрощение процедуры при больших объемах данных наблюдений о различных событиях за счет оптимизации распределения данных о событиях по типам памяти компьютера и алгоритмов их обработки, что дает возможность полного анализа всех необходимых характеристик событий.
Современные процессоры компьютеров позволяют выполнять миллиарды операций в секунду, но их производительность ограничивается быстродействием устройств памяти и накопителей данных.
По этой причине в основу изобретения положен полный анализ всех возможных характеристик о событиях, что становится возможным за счет оптимизации распределения данных о событиях по типам памяти компьютера и алгоритмов их обработки.
Построение модели проводится путем последовательного построения уровней дерева решений путем разделения подмножества событий, отнесенных к узлу дерева · (сегмента) на каждом уровне на сегменты следующего уровня.
Такой подход позволяет при промышленном применении использовать только основные начальные уровни дерева решений из построенной модели, дающее максимальный экономический эффект с учетом расходов на их хранение и использование для сотен и тысяч промо-акций, в том числе - на точках продаж в , устройствах с ограниченным объемом памяти. Для решения поставленной задачи с достижением указанного технического результата в способе получают компьютером данные о событиях с указанием для каждого события целевого показателя и произвольного набора его числовых характеристик, посредством компьютера нумеруют события, проводят сквозную · нумерацию характеристик событий, сортируют значения характеристик для событий в порядке номер характеристики события - значение характеристики события, запоминают их в этом порядке в накопителе данных компьютера с указанием номеров событий, после чего в цикле сегментации выполняют последовательное деление множества событий на подмножества - сегменты следующего уровня, соответствующие узлам дерева решений, в ходе которого выполняют последовательное чтение характеристик, их значений и номеров событий из накопителя данных, и для каждого сегмента вычисляют агрегированные данные на основе целевых показателей и количества из массива событий из оперативной памяти компьютера, и при отличии следующей характеристики события от предыдущей или ее значения от предыдущего рассчитывают экономический эффект деления на сегменты между предыдущим и следующим значениями предыдущей характеристики, запоминают наилучшую характеристику события и значение, имеющие максимальный экономический эффект деления на сегменты, после чтения последнего значения характеристики из накопителя данных проводят деление сегментов, в которых экономический эффект деления на сегменты следующего уровня положителен, на сегменты следующего уровня по наилучшей характеристике и ее значению, если обнаружены новые сегменты, то повторяют цикл сегментации, если новые сегменты не обнаружены, то для прогноза целевого показателя последующего аналогичного события последовательно сравнивают значения
характеристик аналогичного события со значениями наилучших характеристик, по - которым было проведено деление сегмента на сегменты следующего уровня, и по значению наилучшей характеристики определяют сегмент, к которому относится последующее аналогичное событие, среднее значение целевого показателя такого сегмента служит прогнозом для последующего аналогичного события.
Возможен дополнительный вариант способа, согласно которому при вычислении экономического эффекта деления на сегменты, экономический эффект уменьшают на величину доверительного интервала экономического эффекта, для чего вычисляют дополнительные агрегированные данные, в частности, сумму квадратов целевых показателей событий. В качестве критерия наилучшего деления на сегменты в этом случае используется максимальный пессимистический экономический эффект. Экономическим эффектом может быть, например, экономия в связи с отказом от проведения промо-акции в нецелевом (убыточном по среднему целевому показателю) сегменте. Пессимистический экономический эффект корректируется в меньшую сторону на величину оценки статистической погрешности экономического эффекта ' путем расчета доверительного интервала для заданной пользователем требуемой доверительной вероятности.
Возможны также варианты способа, когда деление сегментов выполняют не более заданного количества уровней и/или не менее заданного количества событий в каждом сегменте следующего уровня. Ограничение на количество событий в сегменте может устанавливаться исходя из компромисса между требуемой достоверностью сегментов и имеющимся объемом данных, которых может оказаться недостаточно для удовлетворения этих требований.
Возможен также вариант способа, когда деление сегмента производится не более чем на два сегмента следующего уровня.
Указанные преимущества, а также особенности настоящего изобретения поясняются лучшим вариантом его выполнения со ссылками на прилагаемые фигуры.
Перечень чертежей
Фиг. 1 изображает диаграмму формирования и обработки данных для построения модели и прогноза целевого показателя заявленным способом;
Фиг. 2 - цикл по уровню сегментации на фиг. 1 ;
б
Фиг. 3 - экран формирования событий (наблюдений) на основе истории покупок покупателя для заявленного способа;
Фиг. 4 - экран результата построения модели в виде дерева решений для проведения промо-акции;
Фиг. 5 - то же, что фиг. 4, для персональных рекомендаций фильма «Ргепу
Woman» на данных компании NetFlix.
Лучший вариант реализации изобретения
Заявленный способ может быть реализован посредством следующего алгоритма (фиг. 1 и фиг. 2) работы вычислительного устройства, в процессе которого строится бинарное дерево решений, то есть каждый сегмент делится не более чем на ' два сегмента следующего уровня. На фиг. 1 и 2 штрихом вьщелены блоки данных и путь их передачи, сплошными линиями показаны блоки обработки данных, блоки управления и путь. Блоки, выделенные на схеме жирными линиями (фиг. 2), характеризуют основной цикл, обеспечивающий максимальную производительность.
На основе журнала 1 событий, полученных компьютером, (фиг. 1) блок 2 формирует данные о событиях, состоящие для каждого события из числового целевого показателя (ЦП) и произвольного набора числовых характеристик с текстовыми названиями. События формируются в соответствии с необходимой для конкретной задачи бизнес-логикой, например, экономикой промо-акции, почтовой или CMC рассылки, раздачи купонов или персональных предложений. Здесь и далее под понятием «число» понимаются вещественные числа, которые как частный случай могли быть получены в результате присвоения сравнимым нечисловым · характеристикам следующих друг за другом числовых значений, например, датам, уровням образования или владения иностранным языком из анкеты покупателя, и прочее.
В процессе построения модели при поступлении в обработку каждого события оно нумеруется. Каждая вновь обнаруженная характеристика (нумерация сквозная по всем событиям) также последовательно нумеруется блоком 3, в результате чего событие может выглядеть, например, так:
Характеристика JV» 56223222 = 20.1
...
Характеристика N° 23001234 = -23112.8
После этого значение каждой характеристики для каждого события сортируется и запоминается в накопителе 4 данньк в порядке «Номер характеристики - значение характеристики - номер события», например:
Жирным шрифтом выделено значение характеристики из примера события для блока 3 (сортировка по значению проведена в порядке убывания).
После этого в оперативном запоминающем устройстве (ОЗУ) компьютера создают блок 5 массива событий, индексированного по номеру события с указанием целевого показателя и номера сегмента.
Далее в цикле сегментации блока 6 подсчитывают суммарные значения агрегированных данных сегментов блока 7 (фиг. 2). Агрегированными данными может быть общее количество событий, сумма целевых показателей, сумм квадратов целевых показателей и другие, выбранные разработчиком.
Пример массива сегментов и агрегированных данных о них (блок 7):
Поле \ Сегмент Ν° 1 2 ...
ID Сегмента R0110 R00
К-во событий, всего 65422 875092
К-во событий, текущее 56 78921
Сумма ЦП всего 34982.67 187430.0
Сумма ЦП текущая -12932.1 45638.0
Сумма квадратов ЦП всего (двойная точность) 425166667 566033498.0
Сумма квадратов ЦП текущая (двойная точность) 5368123.01 45984023.8
Лучший пессим. Результат 2941.45 98.88
Лучшая характеристика, N° 5 87469
Лучшее значение характеристики -56.12 Отсутствует
Обновлен Да Нет
Для этого в блоке 8 (фиг. 2) в цикле до конца данных из накопителя блока 4 производится буферизованное чтение следующей записи значений характеристик. Каждая запись значения характеристики проверяется на совпадение номера характеристики и значения характеристики от предьщущей записи в блоке 9 принятия решения. Если они не отличаются, то целевой показатель события, полученный из массива блока 5, сразу используется в блоке 10 для накопления агрегированных данных сегмента блока 7, к которому принадлежит событие. Например, к текущему значению количества событий добавляется единица, к сумме целевых показателей (ЦП) сегмента добавляется значение целевого показателя события, к сумме квадратов ЦП добавляется квадрат текущего ЦП и т.д. При этом сегмент помечается как ' обновленный установлением флага Обновлен = «Да» в блоке 7.
Блоки 8, 9 и 10 в процессе построения модели используются чаще всех других при выполнении операций, поскольку данные отсортированы по номерам и значениям характеристик, и высока вероятность, что соседние записи в накопителе блока 4 имеют одинаковые значения характеристик (например, тысяча покупателей - купили по одной единице товара и соответствующая характеристика у всех таких событий будут одинакова и равна единице). Для этих операций требуется только сравнение данных в ОЗУ компьютера и выполнение арифметических операций его процессором для обновления агрегированных данных, что позволяет увеличить
производительность и скорость построения модели, несмотря на то что объем данных характеристик для реальных объемов событий, как правило, не помещается в оперативной памяти.
В качестве критерия наилучшего деления на сегменты используется Пессимистический экономический эффект.
Экономическим эффектом может быть, например, экономия в результате отказа от проведения промо-акции в нецелевом (убыточном по среднему целевому показателю) сегменте, в этом случае экономический эффект будет равен сумме целевых показателей в убыточном сегменте со знаком минус. Другой пример экономического эффекта - сумма превышения ЦП в дочернем сегменте по сравнению со средним по родительскому сегменту.
Могут быть использованы и другие показатели оптимального деления сегмента, не являющиеся строго экономическими, но в любом случае для промышленной применимости они так или иначе должны в итоге приводить к расчету экономического эффекта, поэтому мы их рассматриваем как частный случай экономических критериев.
Для получения Пессимистического экономического эффекта, Экономический эффект корректируется в меньшую сторону на величину оценки статистической погрешности Экономического эффекта путем расчета доверительного интервала для заданной пользователем доверительной вероятности.
Таким образом, [Результат деления на сегменты] =
= [Пессимистический экономический эффект] =
= [Экономический эффект] - [Доверительный интервал Экономического эффекта] · [Доверительный интервал Экономического эффекта] может вычисляться, исходя из стандартного отклонения целевого показателя и количества событий в сегменте с учетом коэффициентов Стьюдента, или другими статистическими методами с использованием необходимых для них и накапливаемых в блоке 7 агрегированных данных, в зависимости от задачи, поставленной разработчику алгоритма.
Деление на сегменты производится, если пессимистический экономический эффект от него больше нуля.
Если номер или значение характеристики отличается (а также после считывания последней записи из накопителя 4), то, прежде чем обновить данные сегмента, в цикле блока 11 для всех обновленных сегментов в блоке 12 проверяется, улучшен ли Результат возможного деления данного сегмента на сегменты следующего уровня по значению между отличающимися значениями одной характеристики, сравнение которых проводилось в блоке 9, или, если в блоке 9 считана запись с отличающейся характеристикой, то по значению «Присутствует- Отсутствует» предыдущей характеристики.
Например, если предыдущая и следующая запись в накопителе 4 относятся к , одной характеристике :
- то деление должно проводиться по значению характеристики N° 94512, между 8,456 и 7,232.
Поскольку между предыдущим и следующим значением характеристики при используемой сортировке значений быть не может, то более точная граница между сегментами следующего уровня не может быть определена, и можно ее устанавливать в этом интервале. Например, точная граница может определяться как среднее с округлением до минимального количества значащих цифр, которые сохраняют ее в границах интервала, в данном случае, 8,0.
Для варианта расчета экономического результата с отбросом сегментов с отрицательным средним значением Целевого показателя, Экономический эффект от деления сегмента на два сегмента следующего уровня по значению характеристики 94512, равному 8,0, будет равен 12932.1 при следующих агрегированных значениях в массиве сегментов блока 7:
К-во событий, всего 65422
К-во событий, текущее 56
Сумма ЦП всего 34982.67
Сумма ЦП текущая -12932.1
Если результат возможного деления сегмента (для простоты в данном примере рассчитывается без доверительного интервала) при этом улучшен, то в данных этого сегмента блока 7 могут быть установлены следующие значения:
Если же предыдущая и следующая запись в накопителе 4 относятся к разным характеристикам:
- то деление должно проводиться по значению «Присутствует» - «Отсутствует» характеристики N° 94512, и, если результат возможного деления сегмента при этом также улучшен до 12932.1, то в данных этого сегмента блока 7 должны быть установлены следующие значения:
В случае улучшения Экономического результата возможного деления сегмента в блоке 13 для сегмента устанавливаются найденные новые значение результата, лучшей характеристики и ее лучшего значения.
Вычисления блока 12 требуют большего количества операций процессора компьютера, чем цикл блоков 8, 9 и 10, но выполняются реже, что позволяет не обращаться в процессе вычислений к накопителю данных и обеспечивает скорость вычислений, соизмеримую со скоростью последовательного буферизированного чтения данных с жесткого диска, то есть близкую к максимально возможной.
После каждого цикла по уровню сегментации блока б (фиг. 1) в блоке 14 принятия решений проверяется, выявлены ли на этом уровне новые сегменты, если они обнаружены, то новые сегменты в блоке 15 добавляются к блоку 16 прогнозной ' модели в виде бинарного дерева решений.
После этого проводится деление сегментов, в которых выявлены сегменты., следующего уровня, то есть присвоение событиям этих сегментов в блоке 5 новых сегментов, для чего считываются данные из накопителя 4 по характеристикам, по которым производится деление (вошедшим в модель блока 16), сравниваются со значением, по которому производится деление, и в зависимости от результата сравнения событие относится к соответствующему сегменту. Одновременно вычисляются средние значения целевого показателя в сегментах, которые указываются для каждого сегмента в модели блока 16, после чего она сохраняется для дальнейшего использования.
Если новых сегментов не выявлено, построение модели заканчивается.
В момент прогноза целевого показателя (возможно в реальном времени), данные о событии генерируются блоком 2 по таким же данным и правилам, что и для построения модели, что гарантирует применимость построенной модели блока 16 для прогноза. Для прогноза целевого показателя такого события, в блоке 17 соответствующие значения его характеристик последовательно сравниваются "со . значениями этих характеристик в узлах дерева блока 16, пока событие не будет ' отнесено к сегменту, не имеющему сегментов. Среднее значение целевых - . показателей событий в этом сегменте, использованных для построения модели, является прогнозом целевого показателя такого события.
На фиг. 3 отображен пример потенциального события промо-акции по продвижению товара «БАТОН СОЛНЕЧНЫЙ 400 ГР.» (поле 30) потенциальному клиенту, похожему на существующего клиента 5 (поле 31), и порядок вычисления целевого показателя (поле 32) и характеристик (таблица 33).
В данном случае бизнес-модель акции состоит в бесплатном предоставлении покупателям продвигаемого (целевого) товара («батон солнечный») на пробу. Целевым показателем в поле 32 является оценка прибыли от промо-акции в отношении покупателя, похожего на существующего, но который еще не покупал
данный товар, вычисляемого в полях 34 и 35. Все вошедшие на экран характеристики события таблицы 33 сформированы путем автоматического вычисления сумм покупок за различные временные периоды с указанием названия товара, содержащегося в первой записи 36 в журнале покупок таблицы 37: «ТОРТ «ТВОРОЖНИК» ШОКОЛАДНЫЙ 340 ГР», или слов в названии этого товара. Для остальных товаров в таблице покупок также формируются соответствующие характеристики, они не вошли на экран.
Для построения модели в соответствии с заявленным способом из каждого события указывается целевой показатель в поле 38, и характеристики события в виде таблицы 33 вещественных значений с текстовыми названиями. Пользователем · должны быть введены только параметры бизнес-модели в разделах «Доходы» 39 и ' «Расходы» 40, а также в одном из вариантов способа может быть указана доверительная вероятность.
В результате компьютером построена прогнозная модель (фиг. 4) в виде дерева решений. В поле 50 «Дерево решений - информация» отображено наличие 200 событий в сегменте из 687 в вышестоящем узле дерева (родительском сегменте), при этом средний экономический эффект в поле 51 в виде ожидаемой прибыли на 1 контакт в сегменте составляет 0.51 рубля, а в вышестоящем узле дерева - отрицателен и равен -1.39 рубля. Деление на сегменты проведено по характеристике «Сумма - покупок со словом 'Ф/П' в названии», по значению 'больше 68.71 '. Указание 'Φ/ΙΓ в названии товаров - сокращение от «Фин. Пакет», то есть полиэтиленовая упаковка для бюджетных молочных продуктов, таким образом, «БАТОН СОЛНЕЧНЫЙ» покупают те же клиенты, которые покупают и бюджетные молочные продукты.
В таблице 52 «Лучшие делящие параметры» показаны агрегированные данные потенциального деления на сегменты по характеристикам «Сумма покупок Продуктов со словом в названии TP' по понедельникам». Сокращение TP' используется для указания веса в граммах фасованных товаров в упаковке. При этом количество наблюдений в возможных сегментах следующего уровня равно, соответственно, 137 и 63, а средняя прибыль в них равна +1,39 и -1,41. Однако, с - учетом стандартного отклонения и коэффициента Стьюдента, Пессимистический экономический эффект от возможного деления на сегменты (ПДП) 53 оказался
отрицательным, в результате чего дальнейшее деление на сегменты не было произведено.
Для клиентов, ранее не покупавших целевой товар, но у которых характеристика «Сумма покупок со словом 'Ф/П' в названии» присутствует и больше 68.71, среднее значение в этом сегменте, то есть 0.51 рубля на контакт, является прогнозом целевого показателя - экономического эффекта.
Деление на сегменты также может регулироваться параметром . 54 : «максимальное количество уровней сегментации».
Аналогичный пример построенной модели - дерево решений для персональных рекомендаций фильма «PRETTY WOMAN» на данных компании NetFlix (фиг. 5). Отличие этого примера в том, что в качестве базы для числовых характеристик вместо суммы покупки взята оценка фильма зрителем по 5-бальной шкале. В этом случае минимальный рейтинг, при котором нужно давать рекомендацию, принят равным 4 и указан в поле 60. Наилучший критерий (характеристика и значение) в узле дерева решений 61 для рекомендаций фильма «PRETTY WOMAN» на первом уровне сегментации - рейтинг фильма «DIRTY DANCING» больше 3,5. При этом средний прогнозный рейтинг в поле 62 в этом сегменте превышает требуемый, равный 4, на 0,37, при том, что в вышестоящем узле дерева (родительском сегменте) он ниже требуемого на 0,09 балла.
Пессимистический эффект деления этого сегмента на сегменты следующего уровня в поле 63 также положителен, и наилучшим критерием для деления стала та же характеристика фильма «DIRTY DANCING», но уже по значению 4,5.
В обоих примерах никакого ручного ввода или подготовки данных не производилось, сегментация проводилась по всем автоматически сформированным характеристикам, общее число которых достигало сотен тысяч и более, что явствует из значений в полях 54 и 64 «Дерево решений - количество уникальных параметров+значений».
Таким образом, в заявленном способе для построения следующего уровня прогнозной модели в виде бинарного дерева решений используется пессимистический экономический эффект деления каждого сегмента на сегменты - следующего уровня с учетом доверительного интервала.
Значения характеристик событий сохраняются в сортированном виде в накопителе данных, что позволяет высвободить ОЗУ компьютера для целевых показателей и сегментов, а также за счет последовательного чтения данных из накопителя максимально быстро провести полный перебор всех значений множества характеристик для всех сегментов каждого уровня бинарного дерева решений.
Построенная модель может использоваться для моментального прогнозирования целевого показателя событий, в том числе, не участвовавших в ее построении. В качестве прогноза используется среднее значение целевого показателя в сегменте, к которому событие будет отнесено, путем последовательного сравнения характеристик события со значениями в узлах дерева решений.
Статистические методики вычисления доверительного интервала, в частности, на базе коэффициентов Стьюдента, как показали исследования, на большом объеме данных позволяют гарантировать выявление зависимостей в данных по миллионам показателей, автоматизируя процесс «уменьшения размерности» путем анализа всех вычисляемых характеристик и всех их значений, одновременно практически , исключая при прогнозировании событий и их оценки человеческий фактор.
Промышленная применимость
Наиболее успешно изобретение применимо для формирования адресных предложений целевым сегментам покупателей на промышленных объемах данных в различных отраслях торговли.
Claims
1. Способ прогноза целевого показателя событий, заключающийся в том, что получают компьютером данные о событиях с указанием для каждого события целевого показателя и произвольного набора его числовых характеристик, производят сегментацию, создают прогнозную модель, и прогнозируют целевой показатель последующего аналогичного события, отличающийся тем, что посредством компьютера нумеруют события, проводят сквозную нумерацию характеристик событий, сортируют значения характеристик для событий в порядке номер характеристики события - значение характеристики события, запоминают их в этом порядке в накопителе данных компьютера с указанием номеров событий, после чего в цикле сегментации выполняют последовательное деление множества событий на подмножества - сегменты следующего уровня, соответствующие узлам дерева решений, в ходе которого выполняют последовательное чтение характеристик, их значений и номеров событий из накопителя данных, и для каждого сегмента вычисляют агрегированные данные на основе целевых показателей и количества из массива событий из оперативной памяти компьютера, и при отличии следующей характеристики события от предыдущей или ее значения от предыдущего рассчитывают экономический эффект деления на сегменты между предыдущим и следующим значениями предыдущей характеристики, запоминают наилучшую характеристику события и значение, имеющие максимальный экономический эффект деления на сегменты, после чтения последнего значения характеристики из накопителя данных проводят деление сегментов, в которых экономический эффект деления на сегменты следующего уровня положителен, на сегменты следующего уровня по наилучшей характеристике и ее значению, если обнаружены новые сегменты, то повторяют цикл сегментации, если новые сегменты не обнаружены, то для прогноза целевого показателя последующего аналогичного события последовательно сравнивают значения характеристик аналогичного события со значениями наилучших характеристик, по которым было проведено деление сегмента на сегменты следующего уровня, и по значению наилучшей характеристики определяют сегмент, к которому относится последующее аналогичное событие, среднее значение целевого показателя такого сегмента служит прогнозом для последующего аналогичного события.
2. Способ по п. 1, отличающийся тем, что при расчете экономического эффекта деления на сегменты экономический эффект уменьшают на величину доверительного интервала экономического эффекта.
3. Способ по п. 1, отличающийся тем, что деление сегментов выполняют не более заданного количества уровней.
4. Способ по п. 1, отличающийся тем, что деление сегментов выполняют при условии, что каждый сегмент следующего уровня содержит не менее заданного количества событий.
5. Способ по п. 1, отличающийся тем, что последовательное деление множества событий на подмножества - сегменты следующего уровня производят путем разделения сегмента предшествующего уровня на два сегмента следующего уровня.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2011141635 | 2011-10-14 | ||
| RU2011141635/08A RU2480828C1 (ru) | 2011-10-14 | 2011-10-14 | Способ прогноза целевого показателя событий по неограниченному количеству характеристик |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2013055257A1 true WO2013055257A1 (ru) | 2013-04-18 |
Family
ID=48082155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2012/000787 WO2013055257A1 (ru) | 2011-10-14 | 2012-09-27 | Способ прогноза целевого показателя событий по неограниченному количеству характеристик |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2480828C1 (ru) |
| WO (1) | WO2013055257A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140379892A1 (en) * | 2013-06-20 | 2014-12-25 | Microsoft Corporation | Sorted event monitoring by context partition |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598521B (zh) * | 2014-12-12 | 2017-03-15 | 北京京东尚科信息技术有限公司 | 处理用户行为数据的方法和装置 |
| CN112669085A (zh) * | 2021-01-04 | 2021-04-16 | 北京明略软件系统有限公司 | 一种目标事件数据的确定方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6839682B1 (en) * | 1999-05-06 | 2005-01-04 | Fair Isaac Corporation | Predictive modeling of consumer financial behavior using supervised segmentation and nearest-neighbor matching |
| US20080103808A1 (en) * | 2001-08-22 | 2008-05-01 | Berry Kevin E | Management of contract data |
| US7542881B1 (en) * | 2000-05-11 | 2009-06-02 | Jean-Marie Billiotte | Centralised stochastic simulation method |
| US20110191140A1 (en) * | 2003-06-10 | 2011-08-04 | Newman Alan B | System and method for analyzing marketing efforts |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2236700C2 (ru) * | 2000-03-02 | 2004-09-20 | Открытое акционерное общество "Московская телекоммуникационная корпорация" | Способ анализа и прогнозирования развития динамической системы и ее отдельных элементов |
| DE102004022142B4 (de) * | 2004-05-05 | 2007-09-20 | Siemens Ag | Verfahren zur rechnergestützten Bewertung der mittels eines Prognosemodells durchgeführten Prognose von Kenngrößen eines technischen Systems |
| RU2326431C2 (ru) * | 2006-07-06 | 2008-06-10 | Ара Аршавирович Абрамян | Система стратегического прогноза технического состояния объектов, преимущественно компьютерно-вычислительных систем |
-
2011
- 2011-10-14 RU RU2011141635/08A patent/RU2480828C1/ru active
-
2012
- 2012-09-27 WO PCT/RU2012/000787 patent/WO2013055257A1/ru active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6839682B1 (en) * | 1999-05-06 | 2005-01-04 | Fair Isaac Corporation | Predictive modeling of consumer financial behavior using supervised segmentation and nearest-neighbor matching |
| US7542881B1 (en) * | 2000-05-11 | 2009-06-02 | Jean-Marie Billiotte | Centralised stochastic simulation method |
| US20080103808A1 (en) * | 2001-08-22 | 2008-05-01 | Berry Kevin E | Management of contract data |
| US20110191140A1 (en) * | 2003-06-10 | 2011-08-04 | Newman Alan B | System and method for analyzing marketing efforts |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140379892A1 (en) * | 2013-06-20 | 2014-12-25 | Microsoft Corporation | Sorted event monitoring by context partition |
| US9584379B2 (en) * | 2013-06-20 | 2017-02-28 | Microsoft Technology Licensing, Llc | Sorted event monitoring by context partition |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2480828C1 (ru) | 2013-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Brida et al. | A non-linear approximation to the distribution of total expenditure distribution of cruise tourists in Uruguay | |
| US20230081051A1 (en) | Systems and methods using inventory data to measure and predict availability of products and optimize assortment | |
| US20020165755A1 (en) | Method of predicting behavior of a customer at a future date and a data processing system readable medium | |
| US11854022B2 (en) | Proactively predicting transaction dates based on sparse transaction data | |
| CN109741082A (zh) | 一种基于时间序列分解的季节性商品需求预测方法 | |
| US11762819B2 (en) | Clustering model analysis for big data environments | |
| Sakib | Restaurant sales prediction using machine learning | |
| CN111768243A (zh) | 销量预测方法、预测模型构建方法、装置、设备及介质 | |
| CN111127074A (zh) | 一种数据推荐方法 | |
| Kulshrestha et al. | Study for the prediction of E-commerce business market growth using machine learning algorithm | |
| RU2480828C1 (ru) | Способ прогноза целевого показателя событий по неограниченному количеству характеристик | |
| CN112231548A (zh) | 用户登录行为的分析方法、装置、系统及存储介质 | |
| CN115841345B (zh) | 跨境大数据智能化分析方法、系统以及存储介质 | |
| Gutama et al. | Analysis of the effect of website sales quality on purchasing decisions on e-commerce websites | |
| Tran et al. | Building a Lucy hybrid model for grocery sales forecasting based on time series | |
| Granov | Customer loyalty, return and churn prediction through machine learning methods: for a Swedish fashion and e-commerce company | |
| Ghareeb et al. | A comparative Time Series analysis of the different categories of items based on holidays and other events | |
| Burman et al. | Markdown pricing for a large scale retailer | |
| Tripathy et al. | Rough set-based attribute reduction and decision rule formulation for marketing data | |
| Ouamani et al. | A Hybrid Model for Demand Forecasting Based on the Combination of Statistical and Machine Learning Methods | |
| Myburg | Using recency, frequency and monetary variables to predict customer lifetime value with XGBoost | |
| Güner | Retail data predictive analysis using machine learning models | |
| Dijkshoorn | Predicting sales peaks of weather related products by a STAR model | |
| Tawde et al. | Optimization of SCM process using evolutionary algorithm on SVR | |
| Polam | Sales and Logistics Analysis in E-Commerce using Machine Learning Models: UK |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12839977 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 12839977 Country of ref document: EP Kind code of ref document: A1 |