JP6963653B2 - エンゲージメント関連性モデルのオフライン評価メトリック - Google Patents
エンゲージメント関連性モデルのオフライン評価メトリック Download PDFInfo
- Publication number
- JP6963653B2 JP6963653B2 JP2020093258A JP2020093258A JP6963653B2 JP 6963653 B2 JP6963653 B2 JP 6963653B2 JP 2020093258 A JP2020093258 A JP 2020093258A JP 2020093258 A JP2020093258 A JP 2020093258A JP 6963653 B2 JP6963653 B2 JP 6963653B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- user
- pae
- weighted
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000005094 computer simulation Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000473391 Archosargus rhomboidalis Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
例として、頻度70%のアイテム1と、頻度30%のアイテム2という、2つのアイテムがあると仮定する。ユーザ1〜7は、アイテム1を購入し、ユーザ8〜10は、アイテム2を購入した。
1/(0.37*7+0.57*3)x(0.37*7*0+0.57*3*2)=0.79
WPAE=1/(1*7+1*3)x(1*1*2+1*2*2)=0.60(均等な重み付け)
及び
WPAE=1/(0.37*7+0.57*3)x(0.37*1*2+0.57*2*2)=0.70(不均等な重み付け)
WPAE=1/(1*7+1*3)x(3*1*2+0*1*0)=0.60(重み付けなし)
WPAE=1/(0.37*7+0.57*3)x(0.37*3*2+0.57*1*0)=0.51(重み付けあり)
WPAE=1/(1*7+1*3)x(7*1*2+3*1*2)=2(重み付けなし)
WPAE=1/(0.37*7+0.57*3)x(0.37*7*2+0.57*3*2)=2(重み付けあり)
この実施例では、ユーザが複数のアイテムを購入する事例を扱う。前の実施例と同様に、2つのアイテムがあると仮定する。前の実施例と異なる点は、ユーザ1〜6はアイテム1を購入し、ユーザ7〜9はアイテム2を購入し、ユーザ10は両アイテムを同等に購入したと想定される。ここで、11件の購入があり、アイテム1は7回購入され、アイテム2は4回購入されている。この区別は、下記に示されるように、減値係数を計算する時に重要である。
WPAE=1/(0.378*6+0.5*3+0.439)x(0.378*6*0+0.5*3*2+0.439*1*1)=0.81
WPAE=1/(1*7+1*3)x(1*6*2+1*3*2+1*1*2)=2
そして、この加重WPAEは、最高可能スコアである2に留まる。
WPAE=1/(0.37*7+0.57*2+0.47)x(0.37*6*2+0.57*3*2+0.47*1*2)=2
ここで、4つのアイテムと2人のみのユーザを想定する。4つのアイテムのアイテム頻度は、4、3、2、1である。freqの平方根/freqの減値変換を使用して、減値係数が表に示される。次の表は、グラウンドトゥルースと、異なる予測の4つのモデルとを示す。
頻度 4 3 2 1
減値wi 0.5 0.6 0.7 1
アイテム i1 i2 i3 i4
ユーザ1 事実 0.5 0.5 0 0
モデル1 0 0 0 0
モデル2 0.6 0.4 0 0
モデル3 0.2 0.2 0.5 0.1
モデル4 0 0 0 1
頻度 4 3 2 1
減値wi 0.5 0.6 0.7 1
アイテム i1 i2 i3 i4
ユーザ2 事実 1 0 0 0
モデル1 1 0 0 0
モデル2 0.6 0.4 0 0
モデル3 0.2 0.2 0.5 0.1
モデル4 0 0 0 1
Claims (20)
- 一時的信号ではなく、かつ命令を含む少なくとも1つのコンピュータストレージを備えるデバイスであって、
前記命令は、少なくとも1つのプロセッサにより、
第1のモデルに関して、
ユーザとアイテムとの複数の集合の集合ごとに、前記アイテムとのユーザインタラクションのモデル予測を表す第1の値と、前記アイテムとの実際のユーザインタラクションを表す第2の値との絶対差を特定することであって、各ユーザの前記第1の値は、前記第1の値の合計が1となるように正規化され、各ユーザの前記第2の値は、前記第2の値の合計が1となるように正規化される、前記特定することと、
多数のユーザのユーザごとに、複数のアイテムの特定された前記絶対差を合計してユーザ合計を出すことと、
前記ユーザ合計を合計して、総計を出すことと、
前記総計をユーザ数で割って確率絶対誤差(PAE)を出すことと、
前記第1のモデルに対して前記PAEを求めるのと同じ方法で少なくとも第2のモデルのPAEを特定することと、
前記第1のモデルが前記第2のモデルより低いPAEを有する場合、前記第1のモデルをより良いモデルとして出力し、そうでない場合には、前記第2のモデルを前記より良いモデルとして出力することであって、少なくとも、各ユーザの前記第2の値は、前記第2の値の合計が1となるように正規化される、前記出力することと、
電子商取引を提供する際に、前記より良いモデルを使用することと、
を実行可能である、
デバイス。 - 前記少なくとも1つのプロセッサを備える、請求項1に記載のデバイス。
- 各ユーザの前記第1の値は、前記第1の値の合計が1となるように正規化される、請求項1に記載のデバイス。
- 前記命令は、
前記ユーザ合計を合計する前に、少なくともいくつかのユーザ合計に、前記アイテムとの前記実際のユーザインタラクションを表す加重された第2の値の合計を掛けて、加重されたユーザ合計を出すことと、
前記加重されたユーザ合計を合計して、加重ユーザ合計を出すことと、
を実行可能である、請求項1に記載のデバイス。 - 前記命令は、
前記加重ユーザ合計を、全ユーザにわたる前記加重された第2の値の合計で割って、加重PAE(WPAE)を出すこと
を実行可能である、請求項4に記載のデバイス。 - 前記命令は、
前記第1のモデルが前記第2のモデルより低いWPAEを有する場合、前記第1のモデルをより良いモデルとして出力し、そうでない場合には、前記第2のモデルを前記より良いモデルとして出力することと、
電子商取引を提供する際に、前記より良いモデルを使用することと、
を実行可能である、請求項5に記載のデバイス。 - 前記命令を実行する前記少なくとも1つのプロセッサを備える、請求項2に記載のデバイス。
- コンピュータ実施方法であって、
電子商取引及びコンピュータシミュレーションの目的に有用な複数のエンゲージメント関連性モデルを受け取ることと、
少なくとも1つのメトリックを予測するのにどれがより良いモデルであるかを特定するために、グラウンドトゥルースに対して前記複数のモデルの予測をオフラインで評価することと、
を含み、
前記評価することは、
多数のユーザのユーザごとにグラウンドトゥルースとモデル予測との絶対誤差を合計することと、ユーザごとにグラウンドトゥルース及びモデル予測を、それぞれの合計が1となるように正規化することとによって、各モデルに対して評価スコアを求めることと、
前記評価スコアにもとづいて前記より良いモデルを特定することと、
を含む、
方法。 - 不均衡な人気を有するアイテムに対する偏りを考慮して評価の歪みを低減させるために、重みを前記評価スコアに適用すること
を含む、請求項8に記載の方法。 - 前記メトリックは、購入される可能性のある少なくとも1つの製品を含む、請求項8に記載の方法。
- 前記メトリックは、ユーザがウェブページに留まる少なくとも1つの期間を含む、請求項8に記載の方法。
- 前記メトリックは、少なくとも1つの製品ランキングを含む、請求項8に記載の方法。
- 前記メトリックは、少なくとも1つのサービスランキングを含む、請求項8に記載の方法。
- 少なくとも1つのプロセッサと、
前記プロセッサによりアクセス可能であり、かつ命令を含む少なくとも1つのコンピュータストレージと、
を備える装置であって、
前記命令は、前記プロセッサにより、
第1のモデルに関して、少なくとも予測とグラウンドトゥルースとの差分の合計を用いて、0以上2以下の値を有する第1の確率絶対誤差(PAE)を特定することと、
第2のモデルに関して、少なくとも予測とグラウンドトゥルースとの差分の合計を用いて、0以上2以下の値を有する第2のPAEを特定することと、
前記第1のPAEが前記第2のPAEより小さいことに応じて、前記第1のモデルを使用して電子商取引におけるユーザインタラクションを予測することと、
前記第1のPAEが前記第2のPAEより大きいことに応じて、前記第2のモデルを使用して電子商取引におけるユーザインタラクションを予測することと、
を実行可能である、
装置。 - 前記命令は、
ユーザとアイテムとの複数の集合の集合ごとに、前記アイテムとのユーザインタラクションのモデル予測を表す第1の値と、前記アイテムとの実際のユーザインタラクションを表す第2の値との絶対差を特定することであって、各ユーザの前記第1の値は、前記第1の値の合計が1となるように正規化され、各ユーザの前記第2の値は、前記第2の値の合計が1となるように正規化される、前記ユーザとアイテムとの複数の集合の集合ごとに、前記絶対差を特定することと、
多数のユーザのユーザごとに、複数のアイテムの特定された前記絶対差を合計してユーザ合計を出すことと、
前記ユーザ合計を合計して、総計を出すことと、
前記総計をユーザ数で割って前記第1のPAEを出すことであって、少なくとも前記第1の値は、合計して1となるように正規化される、前記第1のPAEを出すことと、
を実行可能である、請求項14に記載の装置。 - 前記命令は、
前記ユーザ合計を合計する前に、少なくともいくつかのユーザ合計に、前記アイテムとの前記実際のユーザインタラクションを表す加重された第2の値の合計を掛けて、加重されたユーザ合計を出すことと、
前記加重されたユーザ合計を合計して、加重ユーザ合計を出すことと、
を実行可能である、請求項16に記載の装置。 - 前記命令は、
前記加重ユーザ合計を、全ユーザにわたる前記加重された第2の値の合計で割って、加重PAE(WPAE)を出すこと
を実行可能である、請求項17に記載の装置。 - 前記命令は、
前記第1のモデルが前記第2のモデルより低いWPAEを有する場合、前記第1のモデルをより良いモデルとして出力し、そうでない場合には、前記第2のモデルを前記より良いモデルとして出力することと、
電子商取引を提供する際に、前記より良いモデルを使用することと、
を実行可能である、請求項17に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/424,193 | 2019-05-28 | ||
US16/424,193 US20200380536A1 (en) | 2019-05-28 | 2019-05-28 | Engagement relevance model offline evaluation metric |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020194545A JP2020194545A (ja) | 2020-12-03 |
JP6963653B2 true JP6963653B2 (ja) | 2021-11-10 |
Family
ID=70736759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020093258A Active JP6963653B2 (ja) | 2019-05-28 | 2020-05-28 | エンゲージメント関連性モデルのオフライン評価メトリック |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200380536A1 (ja) |
EP (1) | EP3745341A1 (ja) |
JP (1) | JP6963653B2 (ja) |
CN (1) | CN112016952A (ja) |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4911996B2 (ja) * | 2006-03-08 | 2012-04-04 | 株式会社 日立東日本ソリューションズ | 需要予測支援システム、需要予測支援方法および需要予測支援プログラム |
US10872322B2 (en) * | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
JP5175903B2 (ja) * | 2009-08-31 | 2013-04-03 | アクセンチュア グローバル サービスィズ ゲーエムベーハー | 適応分析多次元処理システム |
US10366346B2 (en) * | 2014-05-23 | 2019-07-30 | DataRobot, Inc. | Systems and techniques for determining the predictive value of a feature |
US10127573B2 (en) * | 2015-11-13 | 2018-11-13 | Facebook, Inc. | Framework for evaluating targeting models |
WO2017163371A1 (ja) * | 2016-03-24 | 2017-09-28 | 楽天株式会社 | 情報処理システム、情報処理方法、及び情報処理プログラム |
US10810638B2 (en) * | 2016-06-24 | 2020-10-20 | Benjamin Yeung | Network based platform structure for collecting user activity data and capitalizing user activities |
US11651237B2 (en) * | 2016-09-30 | 2023-05-16 | Salesforce, Inc. | Predicting aggregate value of objects representing potential transactions based on potential transactions expected to be created |
US11163783B2 (en) * | 2017-05-15 | 2021-11-02 | OpenGov, Inc. | Auto-selection of hierarchically-related near-term forecasting models |
US10915945B2 (en) * | 2017-08-30 | 2021-02-09 | Sony Interactive Entertainment LLC | Method and apparatuses for intelligent TV startup based on consumer behavior and real time content availability |
US11351453B2 (en) * | 2017-09-12 | 2022-06-07 | Sony Interactive Entertainment LLC | Attention-based AI determination of player choices |
US10264315B2 (en) * | 2017-09-13 | 2019-04-16 | Bby Solutions, Inc. | Streaming events modeling for information ranking |
JP7078053B2 (ja) * | 2017-09-29 | 2022-05-31 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US20190143221A1 (en) * | 2017-11-15 | 2019-05-16 | Sony Interactive Entertainment America Llc | Generation and customization of personalized avatars |
-
2019
- 2019-05-28 US US16/424,193 patent/US20200380536A1/en not_active Abandoned
-
2020
- 2020-05-14 EP EP20174735.9A patent/EP3745341A1/en not_active Withdrawn
- 2020-05-28 JP JP2020093258A patent/JP6963653B2/ja active Active
- 2020-05-28 CN CN202010465960.0A patent/CN112016952A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN112016952A (zh) | 2020-12-01 |
JP2020194545A (ja) | 2020-12-03 |
US20200380536A1 (en) | 2020-12-03 |
EP3745341A1 (en) | 2020-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11551239B2 (en) | Characterizing and modifying user experience of computing environments based on behavior logs | |
US10366396B2 (en) | Vector-based characterizations of products and individuals with respect to customer service agent assistance | |
US8868692B1 (en) | Device configuration based content selection | |
US11250322B2 (en) | Self-healing machine learning system for transformed data | |
US20190114672A1 (en) | Digital Content Control based on Shared Machine Learning Properties | |
US10320928B1 (en) | Multi computing device network based conversion determination based on computer network traffic | |
US10290040B1 (en) | Discovering cross-category latent features | |
US20130117259A1 (en) | Search Query Context | |
US11875241B2 (en) | Aspect pre-selection using machine learning | |
US20190373331A1 (en) | Multi-content recommendation system combining user model, item model and real time signals | |
CN108629608A (zh) | 用户数据处理方法及装置 | |
US20180240037A1 (en) | Training and estimation of selection behavior of target | |
US11410111B1 (en) | Generating predicted values based on data analysis using machine learning | |
KR20220078614A (ko) | 협력 필터링을 사용한 예측 및 추천을 위한 시스템 및 방법 | |
US20220358558A1 (en) | Different Action User-Interface Components In A Comparison View | |
US20170213236A1 (en) | Estimation of Causal Impact of Digital Marketing Content | |
US20160148253A1 (en) | Temporal Dynamics in Display Advertising Prediction | |
JP6963653B2 (ja) | エンゲージメント関連性モデルのオフライン評価メトリック | |
US20140108290A1 (en) | Merchant influence scoring | |
KR20210147672A (ko) | 전자장치 및 그 제어방법 | |
US20220358522A1 (en) | Artificial-intelligence-based orchestration | |
US20230075564A1 (en) | System and method of determining proximity between different populations | |
CN111507471A (zh) | 一种模型训练方法、装置、设备及存储介质 | |
WO2016157079A1 (en) | Evaluation of comuting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6963653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |