JP7326364B2 - Information processing device, information processing method and information processing program - Google Patents
Information processing device, information processing method and information processing program Download PDFInfo
- Publication number
- JP7326364B2 JP7326364B2 JP2021045207A JP2021045207A JP7326364B2 JP 7326364 B2 JP7326364 B2 JP 7326364B2 JP 2021045207 A JP2021045207 A JP 2021045207A JP 2021045207 A JP2021045207 A JP 2021045207A JP 7326364 B2 JP7326364 B2 JP 7326364B2
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- user
- information processing
- estimation model
- attribute estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000009471 action Effects 0.000 claims description 32
- 230000006866 deterioration Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、属性推定モデルの劣化状態を判定するための情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program for determining the deterioration state of an attribute estimation model.
従来、ユーザに提供するサービスを最適化するために、ユーザがサービスを利用することにより得られるユーザの行動履歴を解析することで、ユーザの属性を推定する方法が知られている。
例えば、特許文献1には、機械学習により生成された属性推定モデルを利用して、行動履歴(例えば検索履歴)からユーザの行動属性を推定する方法が開示されている。この属性推定モデルは、属性ごとに正解ユーザの行動履歴を学習データとして機械学習を行うことで生成され、推定対象であるユーザの行動履歴が入力されると、正解ユーザの行動履歴との類似度に応じたスコアが出力される。そして、高いスコアが出力された属性がユーザの主な属性として推定され、この属性に基づいたコンテンツがユーザに提供される。
Conventionally, in order to optimize services provided to users, there is known a method of estimating user attributes by analyzing a user's action history obtained by using a service.
For example,
一般に、ユーザの行動様式は、年月の経過とともに変化するため、各属性についてユーザに付与されるスコアは、適宜更新されることが望ましい。
しかし、属性推定モデルは、年月経過によって劣化することがある。例えば、流行に関係する属性では、当該属性に関係する行動履歴に含まれるワード(例えば検索ワード)が年月経過による流行の変化に伴って変化するため、行動履歴に基づいて生成される属性推定モデルが年月経過によって劣化してしまう。このように劣化した属性推定モデルを使用した場合、ユーザの属性を正確に更新することができないという問題がある。
また、上記問題に対して、属性推定モデルを頻繁に更新する対策が考えられるが、属性推定モデルは属性ごとに生成されるため、多数存在する全ての属性について属性推定モデルを頻繁に更新することは処理負担が大きくなってしまう。
Since user behavior patterns generally change over time, it is desirable that the scores given to users for each attribute be updated as appropriate.
However, attribute estimation models may deteriorate over time. For example, for an attribute related to fashion, the words (e.g., search words) included in the behavioral history related to the attribute change along with changes in fashion over time, so attribute estimation generated based on the behavioral history Models deteriorate over time. When using such a degraded attribute estimation model, there is a problem that the user's attributes cannot be updated accurately.
In order to solve the above problem, frequent updating of the attribute estimation model is conceivable. However, since the attribute estimation model is generated for each attribute, it is necessary to frequently update the attribute estimation model for all attributes that exist in large numbers. will increase the processing load.
本発明は、属性推定モデルの劣化状態を判定することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。 An object of the present invention is to provide an information processing apparatus, an information processing method, and an information processing program capable of determining the deterioration state of an attribute estimation model.
本発明の情報処理装置は、ネットワーク上におけるユーザの行動履歴を取得する履歴取得部と、対象属性に対応する正解ユーザの行動履歴を用いた機械学習によって生成された属性推定モデルに対して前記ユーザの行動履歴を入力し、前記属性推定モデルから出力される前記対象属性のスコアを前記ユーザに対応付ける属性推定部と、前記対象属性の前記スコアが高い順に所定数の前記ユーザを選択することで上位ユーザリストを生成するリスト生成部と、前記上位ユーザリストに含まれる前記正解ユーザの数の変化に基づいて、前記属性推定モデルの劣化状態を判定する判定部と、を備える。 The information processing apparatus of the present invention includes a history acquisition unit that acquires a user's action history on a network; and an attribute estimating unit that inputs the action history of the attribute estimation model and associates the score of the target attribute output from the attribute estimation model with the user; A list generation unit that generates a user list, and a determination unit that determines a deterioration state of the attribute estimation model based on a change in the number of correct users included in the top user list.
本発明によれば、上位ユーザリストに含まれる正解ユーザの数の変化を監視することで、属性推定モデルの劣化状態を判定できる。これにより、処理負担を抑制しつつ、属性推定モデルの更新を必要な時期に実行することができる。その結果、ユーザの属性を正確に推定することを継続できる。 According to the present invention, it is possible to determine the deterioration state of the attribute estimation model by monitoring the change in the number of correct users included in the top user list. As a result, it is possible to update the attribute estimation model when necessary while suppressing the processing load. As a result, it is possible to continue to accurately estimate the user's attributes.
以下、本発明に係る一実施形態について図面に基づいて説明する。
[情報処理システム1]
図1は、本実施形態の情報処理システム1の概略構成を示す概略図である。
図1に示すように、本実施形態の情報処理システム1は、本発明の情報処理装置10と、複数のユーザ端末20と、複数のサービス提供サーバ30とを備え、これらはインターネット等のネットワークを介して通信可能に接続されている。
情報処理システム1において、ユーザ端末20は、ユーザの操作に従ってサービス提供サーバ30にアクセスし、サービス提供サーバ30から提供されるサービスを利用する。なお、サービス提供サーバ30が提供するサービスは、特に限定されず、例えば、ウェブ検索サービス、ショッピングサービス、オークションサービスまたはニュースサービスなどが挙げられる。
本実施形態において、情報処理装置10は、ユーザごとに、ユーザ端末20またはサービス提供サーバ30から取得したユーザの行動履歴(具体的には検索履歴)を取得し、各属性に対応する属性推定モデルに入力することで、各属性に対応するスコアを取得する。すなわち、情報処理装置10は、各種属性に対するユーザのスコアを推定する。
ここで、情報処理装置10は、属性推定モデルの劣化状態を判定する処理を実施することで、属性推定モデルの更新時期などを判断する。
なお、ここで説明する属性とは、ユーザの興味、関心、生活様式、ライフステージ、または消費傾向などである。
An embodiment according to the present invention will be described below with reference to the drawings.
[Information processing system 1]
FIG. 1 is a schematic diagram showing a schematic configuration of an
As shown in FIG. 1, an
In the
In the present embodiment, the
Here, the
Note that the attributes described here are the user's interest, interest, lifestyle, life stage, consumption tendency, or the like.
[情報処理装置10]
図2は、情報処理装置10の概略構成を示すブロック図である。
情報処理装置10は、一般的なコンピュータにより構成されており、図2に示すように、通信部11、記憶部12、プロセッサ13等、コンピュータを構成する各部を備えている。
なお、情報処理装置10を構成するコンピュータの数は特に限定されない。本実施形態では、説明の簡略化のため、1台のコンピュータによって情報処理装置10が構成される例を示すが、複数のコンピュータをネットワークで接続して構築されるクラウドサーバを情報処理装置10としてもよい。
[Information processing device 10]
FIG. 2 is a block diagram showing a schematic configuration of the
The
Note that the number of computers constituting the
通信部11は、インターネットに接続され、インターネットを介してユーザ端末20やサービス提供サーバ30等の各装置と通信する。
記憶部12は、情報処理装置10を制御するための各種情報や情報処理プログラムを記録する。
また、記憶部12は、行動履歴情報記憶部121、推定属性情報記憶部122、モデル記憶部123および正解率記憶部124などを備える。
なお、本実施形態では、情報処理装置10の記憶部12に、行動履歴情報記憶部121、推定属性情報記憶部122、モデル記憶部123および正解率記憶部124が設けられる例を示すが、情報処理装置10とネットワークを介して通信可能に接続された他のデータサーバやクラウドストレージに、これらの情報が記録される構成としてもよい。
The
The
The
In the present embodiment, an example in which the
行動履歴情報記憶部121は、ユーザ識別情報(ユーザID)と、ユーザ毎の行動履歴情報とを記憶している。
行動履歴情報は、インターネットを通じて取得されるユーザの行動に関する履歴情報である。例えば、ユーザ行動履歴情報は、ユーザが実施した検索処理における検索履歴情報、ユーザが閲覧したコンテンツの閲覧履歴情報、ユーザが商品の売買を行った商品売買履歴情報、ユーザが実店舗で電子決済手段を利用した決済履歴情報などを含む。また、ユーザ行動履歴情報は、インターネットを通じてユーザに実施されたアンケートの結果を含んでもよい。
なお、本実施形態では、属性推定モデルの劣化状態を判定する処理のために検索履歴情報が用いられる。この検索履歴情報は、検索クエリおよび検索日時などの項目を含む。
The action history
The behavior history information is history information about user behavior acquired through the Internet. For example, the user action history information includes search history information in search processing performed by the user, browsing history information of content browsed by the user, product trading history information in which the user bought and sold products, and the user's electronic payment method at a physical store. including payment history information using User behavior history information may also include the results of questionnaires given to users via the Internet.
Note that in the present embodiment, search history information is used for the process of determining the deterioration state of the attribute estimation model. This search history information includes items such as a search query and search date and time.
推定属性情報記憶部122は、ユーザ識別情報(ユーザID)と、ユーザ毎の推定属性情報とを記憶している。
推定属性情報は、ユーザの行動履歴に基づいて推定された属性に関する情報である。例えば、推定属性情報は、1以上の属性と、各属性に対して付与されたスコアと、を含む。属性は、例えば属性識別情報(属性ID)などで管理される。
The estimated attribute
The estimated attribute information is information related to attributes estimated based on the user's action history. For example, estimated attribute information includes one or more attributes and a score assigned to each attribute. Attributes are managed by, for example, attribute identification information (attribute ID).
モデル記憶部123は、属性ごとに生成された属性推定モデルを記憶する。
属性推定モデルは、ユーザの検索履歴情報を入力とし、当該属性推定モデルに対応する属性のスコアを出力とするモデルである。この属性推定モデルは、対応属性を有するユーザとして選択された正解ユーザの行動履歴に基づいた機械学習によって生成される。
The
The attribute estimation model is a model that inputs user's search history information and outputs scores of attributes corresponding to the attribute estimation model. This attribute estimation model is generated by machine learning based on the action history of correct users selected as users having corresponding attributes.
正解率記憶部124は、属性ごとの正解率を時系列で記憶する。本実施形態において、対象属性に対応する正解率は、当該対象属性に対応する上位ユーザリストに含まれる正解ユーザの割合に相当する。
なお、正解率記憶部124は、対象属性ごとのユーザリストを時系列で記憶してもよい。
The accuracy
Note that the accuracy
プロセッサ13は、CPU等の演算回路、RAM等の記録回路により構成される。プロセッサ13は、記憶部12に記録されている情報処理プログラムをRAMに展開し、RAMに展開されたプログラムとの協働で、各種処理を実行する。
そして、プロセッサ13は、情報処理プログラムを読み込み実行することで、図2に示すように、履歴取得部131、学習部132、属性推定部133、リスト生成部134、正解率算出部135、正規化部136および判定部137として機能する。
The
By reading and executing the information processing program, the
履歴取得部131は、ユーザ端末20やサービス提供サーバ30などから、ユーザの行動履歴を取得し、行動履歴情報記憶部121に記憶させる。
学習部132は、属性毎に、対応属性を有するユーザを正解ユーザとして選択し、正解ユーザの行動履歴を用いた機械学習を用いて属性推定モデルを生成する。
属性推定部133は、各種属性に対応する属性推定モデルを用いて、各種属性に対するユーザのスコアを推定し、推定属性情報記憶部122に記憶させる。
The
The
The
リスト生成部134は、判定対象となる属性推定モデルの属性(対象属性)について、スコアが高い順に所定数のユーザを選択することで、対象属性の上位ユーザリストを生成する。
正解率算出部135は、対象属性に対応する上位ユーザリストに含まれる正解ユーザの割合を正解率として算出する。
正規化部136は、判定対象となる属性推定モデルの生成直後(第1時点)に算出された正解率によって、第1時点より以降の各時点(第2時点)に算出された正解率を正規化する。
判定部137は、正規化後の正解率に基づいて、対象属性に対応する属性推定モデルの劣化状態を判定する。
The
The accuracy
The
The
[ユーザ端末20]
ユーザ端末20は、ユーザが管理するコンピュータであり、例えばスマートフォン、タブレット端末、パーソナルコンピューター等により構成されている。
ユーザ端末20の具体的な構成の図示は省略するが、ユーザ端末20は、一般的なコンピュータが有する基本的な構成を有する。すなわち、ユーザ端末20は、操作者の操作を受け付ける入力操作部、画像情報を表示させるディスプレイ、各種情報を記録する記録装置、各種情報を演算処理する演算回路(CPU等)を備えている。
[User terminal 20]
The
Although the illustration of the specific configuration of the
[サービス提供サーバ30]
サービス提供サーバ30は、ユーザ端末20からアクセスされた場合に、サービスを提供するサーバ装置である。例えば、サービス提供サーバ30は、サービスとして、ウェブ検索サービス、ショッピングサービス、オークションサービス、コンテンツ提供サービス、ニュースサービス、天気予報サービスなどに関する各種コンテンツを提供する。
なお、本実施形態において、情報処理装置10とサービス提供サーバ30とは別々に構成されているが、情報処理装置10がいずれかのサービス提供サーバ30の機能の一部または全部を代替してもよい。
[Service providing server 30]
The
In the present embodiment, the
[情報処理方法]
次に、情報処理装置10において実行される情報処理方法について、図3に示すフローチャートを参照して説明する。
なお、図3のフローチャートを開始する前の任意のタイミングで、履歴取得部131は、ユーザの行動履歴を取得し、行動履歴情報記憶部121に記憶させる(履歴取得ステップ)。
また、以下では、任意の属性推定モデルを判定対象とし、この属性推定モデルの属性を対象属性とした場合の処理について説明するが、同様の処理は属性推定モデル毎に行われるものとする。
[Information processing method]
Next, an information processing method executed in the
At an arbitrary timing before starting the flowchart of FIG. 3, the
In the following description, processing when an arbitrary attribute estimation model is set as a determination target and an attribute of this attribute estimation model is set as a target attribute will be described, but the same processing is performed for each attribute estimation model.
まず、学習部132は、行動履歴情報記憶部121に含まれる行動履歴情報を参照し、対象属性に対する確定行動を行ったユーザを正解ユーザとして選択する。そして、複数の正解ユーザに対応する検索履歴を学習データとする機械学習によって属性推定モデルを生成する(ステップS1)。生成された属性推定モデルは、モデル記憶部123に記憶される。
First, the
なお、対象属性に対する確定行動としては、例えば、対象属性との関係を有する商品の購入履歴や決済履歴、または、アンケート結果などを利用できる。
また、属性推定モデルの生成方法としては、任意の公知技術を利用できる。例えば、学習データとして、例えばTF-IDFなどの手法により、検索履歴に含まれる検索クエリに対して検索回数による重みを割り当て、検索クエリに割り当てられた重みを成分とするクエリベクトルを利用できる。
It should be noted that, for example, the purchase history or payment history of a product having a relationship with the target attribute, or the results of a questionnaire can be used as the determined action for the target attribute.
Any known technique can be used as a method of generating an attribute estimation model. For example, as training data, a query vector having weights assigned to search queries as components, which are weighted by the number of searches assigned to search queries included in the search history by a method such as TF-IDF, can be used.
次に、属性推定部133は、現在が所定の判定タイミングである場合(ステップS2;Yesの場合)、対象属性に関するユーザ毎の推定属性情報を生成する(ステップS3;属性推定ステップ)。
具体的には、属性推定部133は、行動履歴情報記憶部121を参照し、推定対象となるユーザごとに、ユーザの検索履歴を、ステップS1で生成された属性推定モデルに入力し、属性推定モデルから出力される対象属性のスコアをユーザに対応付け、推定属性情報記憶部122に記憶させる。
なお、正解ユーザと類似した検索傾向のあるユーザの検索履歴が属性推定モデルに入力されると、属性推定モデルは、正解ユーザと同様の高スコアを出力する。
Next, when the present time is the predetermined determination timing (step S2; Yes), the
Specifically, the
Note that when the search history of a user who has a search tendency similar to that of the correct user is input to the attribute estimation model, the attribute estimation model outputs a high score similar to that of the correct user.
ステップS2の判定タイミングは任意に設定可能である。例えば、属性推定モデルの生成後または更新後における初回の判定タイミングは、ステップS1の直後であることが好ましい。また、2回目以降の判定タイミングは、予め設定された期間ごと(例えば1か月ごと)に設定されることが好ましい。 The determination timing of step S2 can be set arbitrarily. For example, it is preferable that the first determination timing after generation or update of the attribute estimation model is immediately after step S1. Further, it is preferable that the second and subsequent determination timings are set for each preset period (for example, every month).
次に、リスト生成部134は、推定属性情報記憶部122を参照し、対象属性のスコアが高い順に所定数のユーザを選択することで上位ユーザリストを生成する(ステップS4;リスト生成ステップ)。
ここで、所定数は、例えば、対象属性に対して0より大きいスコアを付与されたユーザの数に対し、所定割合(例えば数%)となる数である。あるいは、所定数は、予め定められた数でもよいし、予め定められた閾値以上のスコアを付与されたユーザの数でもよい。
Next, the
Here, the predetermined number is, for example, a number that is a predetermined percentage (for example, several percent) of the number of users given a score greater than 0 for the target attribute. Alternatively, the predetermined number may be a predetermined number or the number of users given a score equal to or higher than a predetermined threshold.
次に、正解率算出部135は、ステップS3で作成された上位ユーザリストに含まれる正解ユーザの割合を正解率として算出する(ステップS5;正解率算出ステップ)。なお、属性推定モデルの生成後または更新後における初回の正解率は、モデル生成後「0ヶ月(0M)」に対応するデータとして扱われる。
Next, the accuracy
次に、正規化部136は、ステップS5で生成された正解率を正規化する(ステップS6)。
ここで、属性推定モデルの生成後または更新後における初回の正解率は、正規化基準値として扱われ、100%に正規化される。また、2回目以降の正解率は、正規化基準値で除すことで正規化される。
このステップS6で正規化された正解率は、正解率記憶部124に記憶される。
Next, the
Here, the first accuracy rate after generation or update of the attribute estimation model is treated as a normalization reference value and normalized to 100%. Also, the accuracy rate for the second and subsequent times is normalized by dividing by the normalization reference value.
The accuracy rate normalized in step S6 is stored in the accuracy
次に、判定部137は、ステップS6で正規化された正解率(以下、単に正解率という場合がある)を所定の閾値と比較することで、属性推定モデルの劣化状態を判定する(ステップS7;判定ステップ)。
例えば、判定部137は、正解率が閾値以下である場合(ステップS7;Yesの場合)、属性推定モデルが劣化していると判定し、ステップS1に戻り、属性推定モデルを生成(すなわち更新)する。
一方、判定部137は、正解率が閾値より大きい場合(ステップS7;Noの場合)、ステップS2に戻り、次の判定タイミングまで待機する。
以上の図3のフローチャートによれば、属性推定モデルが継続的に監視され、属性推定モデルの劣化が検出された場合に当該属性推定モデルが更新される。
Next, the
For example, if the accuracy rate is equal to or less than the threshold (step S7; Yes), the
On the other hand, if the accuracy rate is greater than the threshold (step S7; No), the
According to the flowchart of FIG. 3 described above, the attribute estimation model is continuously monitored, and when deterioration of the attribute estimation model is detected, the attribute estimation model is updated.
[本実施形態の効果]
本実施形態の情報処理装置10は、記憶部12と、プロセッサ13とを備え、プロセッサ13は、記憶部12に記憶された情報処理プログラムを読み込むことで、履歴取得部131、属性推定部133、リスト生成部134、正解率算出部135および判定部137として機能し、前述したような各処理を実行する。
このような本実施形態によれば、ユーザリストに含まれる正解ユーザの数を監視することで、属性推定モデルの劣化状態を判定できる。これにより、処理負担を抑制しつつ、属性推定モデルの更新を必要な時期に実行することができ、ユーザの属性を継続的に正確に推定することができる。
また、本実施形態では、ユーザリストに含まれる正解ユーザの割合に基づいて、属性推定モデルの劣化状態を判定するため、より正確な判定が可能である。
[Effect of this embodiment]
The
According to this embodiment, the deterioration state of the attribute estimation model can be determined by monitoring the number of correct users included in the user list. As a result, the attribute estimation model can be updated at a necessary time while suppressing the processing load, and the user's attributes can be continuously and accurately estimated.
Further, in the present embodiment, the deterioration state of the attribute estimation model is determined based on the percentage of correct users included in the user list, so more accurate determination is possible.
本実施形態において、プロセッサ13は、正解率を正規化する正規化部136としても機能する。これにより、対応する属性が異なる複数の属性推定モデルについて共通の閾値を用いることができ、複数の属性推定モデルについて劣化状態を容易に判定できる。
In this embodiment, the
ここで、図4は、複数の属性(属性A~属性C)の正解率(正規化後)の推移について例示するグラフである。なお、図4は、属性推定モデルの更新を行わずに正解率を継続的に取得した場合のグラフを例示している。
図4のグラフにおいて、例えば、属性Aは「国内ドラマへの興味」であり、属性Bは「犬を飼っている」であり、属性Cは「テレビゲームへの興味」であり、属性Dは「海外ドラマへの興味」であるとする。
属性A「国内ドラマへの興味」は、他の属性B~Cと比較して、季節ごとの番組改定などの要因により、属性Aに関連する検索ワードが時間の経過に応じて変化し易い。このため、属性Aに対応する属性推定モデルは、年月が経過した後には現状に即したモデルとして機能しなくなり、劣化してしまう。そして、属性Aに対応する属性推定モデルが劣化すると、正解ユーザをユーザリストに補足できなくなるため、属性Aに対応する正解率は、100%から60%近くにまで大きく減少してしまう。仮に、このように劣化した属性推定モデルを使用した場合、ユーザの属性を正確に推定することができなくなってしまう。
そこで、前述で説明したように、正解率に基づいて属性推定モデルの劣化状態を判定し、属性推定モデルが劣化していると判定された場合には、属性推定モデルを更新することで、ユーザの属性を継続的に正確に推定することができる。
Here, FIG. 4 is a graph illustrating the transition of the accuracy rate (after normalization) of a plurality of attributes (attribute A to attribute C). Note that FIG. 4 illustrates a graph when the accuracy rate is continuously acquired without updating the attribute estimation model.
In the graph of FIG. 4, for example, attribute A is "interest in domestic dramas", attribute B is "I have a dog", attribute C is "interest in video games", and attribute D is Suppose it is "interest in foreign dramas".
For the attribute A “interest in domestic dramas”, compared to the other attributes B to C, search words related to the attribute A tend to change over time due to factors such as seasonal program revisions. For this reason, the attribute estimation model corresponding to the attribute A ceases to function as a current model after the passage of time and deteriorates. If the attribute estimation model corresponding to attribute A deteriorates, correct users cannot be added to the user list, and the accuracy rate corresponding to attribute A greatly decreases from 100% to nearly 60%. If such a degraded attribute estimation model is used, the user's attributes cannot be estimated accurately.
Therefore, as described above, the deterioration state of the attribute estimation model is determined based on the accuracy rate, and when it is determined that the attribute estimation model has deteriorated, the attribute estimation model is updated to attributes can be continuously and accurately estimated.
[変形例]
本発明は、前述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
[Modification]
The present invention is not limited to the above-described embodiments, and includes modifications shown below as long as the object of the present invention can be achieved.
(変形例1)
前記実施形態では、ユーザの検索履歴を利用してユーザに対する属性のスコアを推定するが、本発明はこれに限られない。例えば、属性推定部133は、検索履歴に替えて、または、検索履歴と共に、閲覧履歴や購買履歴などの各種の行動履歴を利用して、ユーザに対する属性のスコアを推定してもよい。
(Modification 1)
In the above embodiment, the user's search history is used to estimate the attribute score for the user, but the present invention is not limited to this. For example, the
(変形例2)
前記実施形態において、判定部137は、正規化された正解率が閾値より小さい場合に、属性推定モデルが劣化していると判定しているが、劣化状態の判定方法はこれに限られない。
例えば、プロセッサ13は、正規化部136として機能せずともよく、判定部137は、正規化されていない正解率の変化に基づいて、属性推定モデルの劣化状態を判定してもよい。
例えば、判定部137は、正解率が閾値を何回か継続して下回った場合に属性推定モデルが劣化していると判定してもよい。あるいは、判定部137は、属性推定モデルの生成後の年月経過に対する正解率の減少率を算出し、正解率が急激に減少している場合には、閾値に関わらず、属性推定モデルが劣化していると判定してもよい。
また、前記実施形態において、判定部137は、上位ユーザリストに含まれる正解ユーザの数の変化に基づいて、属性推定モデルの劣化状態を判定してもよい。
(Modification 2)
In the above embodiment, the
For example, the
For example, the
Further, in the above-described embodiment, the
(変形例3)
前記実施形態において、プロセッサ13は、各属性に対応する正解率の推移をグラフ化するグラフ生成部として機能してもよい。例えば、グラフ生成部は、図4に示すように、属性推定モデルを更新せずに使用続けた場合に正解率の推移を示すグラフを生成し、サービスの事業者などに提供してもよい。このグラフは、属性に関する検索ワードの変化を示す情報として、マーケティングなどに利用されてもよい。
(Modification 3)
In the above-described embodiment, the
1…情報処理システム、10…情報処理装置、11…通信部、12…記憶部、121…行動履歴情報記憶部、122…推定属性情報記憶部、123…モデル記憶部、124…正解率記憶部、13…プロセッサ、131…履歴取得部、132…学習部、133…属性推定部、134…リスト生成部、135…正解率算出部、136…正規化部、137…判定部、20…ユーザ端末、30…サービス提供サーバ。
DESCRIPTION OF
Claims (5)
対象属性に対応する正解ユーザの行動履歴を用いた機械学習によって生成された属性推定モデルに対して前記ユーザの行動履歴を入力し、前記属性推定モデルから出力される前記対象属性のスコアを前記ユーザに対応付ける属性推定部と、
前記対象属性の前記スコアが高い順に所定数の前記ユーザを選択することで上位ユーザリストを生成するリスト生成部と、
前記上位ユーザリストに含まれる前記正解ユーザの数の年月経過による変化に基づいて、前記属性推定モデルの劣化状態を判定する判定部と、を備える、情報処理装置。 a history acquisition unit that acquires a user's action history on the network;
The action history of the user is input to an attribute estimation model generated by machine learning using the action history of the correct user corresponding to the target attribute, and the score of the target attribute output from the attribute estimation model is calculated by the user an attribute estimator associated with
a list generation unit that generates a top user list by selecting a predetermined number of users in descending order of the score of the target attribute;
an information processing apparatus comprising: a determination unit that determines a deterioration state of the attribute estimation model based on a change over time in the number of correct users included in the top user list.
前記判定部は、正規化後の前記割合を閾値と比較することにより、前記属性推定モデルの劣化状態を判定する、請求項2に記載の情報処理装置。 A normalization unit that normalizes the ratio calculated at a second time point after the first time point by the ratio calculated at an arbitrary first time point,
The information processing apparatus according to claim 2, wherein the determination unit determines the deterioration state of the attribute estimation model by comparing the ratio after normalization with a threshold.
ネットワーク上におけるユーザの行動履歴を取得する履歴取得ステップと、
対象属性に対応する正解ユーザの行動履歴を用いた機械学習によって生成された属性推定モデルに対して前記ユーザの行動履歴を入力し、前記属性推定モデルから出力される前記対象属性のスコアを前記ユーザに対応付ける属性推定ステップと、
前記対象属性の前記スコアが高い順に所定数の前記ユーザを選択することで上位ユーザリストを生成するリスト生成ステップと、
前記上位ユーザリストに含まれる前記正解ユーザの数の年月経過による変化に基づいて、前記属性推定モデルの劣化状態を判定する判定ステップと、を実施する、情報処理方法。 An information processing method for processing information by a computer,
a history acquisition step of acquiring a user's action history on the network;
The action history of the user is input to an attribute estimation model generated by machine learning using the action history of the correct user corresponding to the target attribute, and the score of the target attribute output from the attribute estimation model is calculated by the user an attribute estimation step that maps to
A list generation step of generating a top user list by selecting a predetermined number of users in descending order of the score of the target attribute;
and a determination step of determining a deterioration state of the attribute estimation model based on a change over time in the number of correct users included in the top user list.
前記コンピュータを、請求項1から請求項3のいずれか1項に記載の情報処理装置として機能させる、情報処理プログラム。 A computer readable and executable information processing program,
An information processing program causing the computer to function as the information processing apparatus according to any one of claims 1 to 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021045207A JP7326364B2 (en) | 2021-03-18 | 2021-03-18 | Information processing device, information processing method and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021045207A JP7326364B2 (en) | 2021-03-18 | 2021-03-18 | Information processing device, information processing method and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022144282A JP2022144282A (en) | 2022-10-03 |
JP7326364B2 true JP7326364B2 (en) | 2023-08-15 |
Family
ID=83453658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021045207A Active JP7326364B2 (en) | 2021-03-18 | 2021-03-18 | Information processing device, information processing method and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7326364B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087101A (en) | 2017-11-08 | 2019-06-06 | 三菱重工航空エンジン株式会社 | Anticipation model maintenance system, method for maintaining anticipation model, and anticipation model maintenance program |
WO2020225902A1 (en) | 2019-05-09 | 2020-11-12 | 日本電信電話株式会社 | Detector, detection method, and detection program |
-
2021
- 2021-03-18 JP JP2021045207A patent/JP7326364B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087101A (en) | 2017-11-08 | 2019-06-06 | 三菱重工航空エンジン株式会社 | Anticipation model maintenance system, method for maintaining anticipation model, and anticipation model maintenance program |
WO2020225902A1 (en) | 2019-05-09 | 2020-11-12 | 日本電信電話株式会社 | Detector, detection method, and detection program |
Also Published As
Publication number | Publication date |
---|---|
JP2022144282A (en) | 2022-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11558489B2 (en) | Method and apparatus for real-time personalization | |
US20180047071A1 (en) | System and methods for aggregating past and predicting future product ratings | |
JP2021502651A (en) | Integrated data processing method and information recommendation system | |
AU2020273315A1 (en) | Method to compute and recommend the best model for higher engagement and increased probability of product visit/purchase from an ecommerce website visitor | |
US20170046735A1 (en) | Visitor Identification based on Feature Selection | |
CN111260449B (en) | Model training method, commodity recommendation device and storage medium | |
WO2020221022A1 (en) | Service object recommendation method | |
JP2016177649A (en) | Information processing device, information processing program, and information processing method | |
JP6312913B1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2023042683A (en) | Advertisement device | |
JP2007323315A (en) | Cooperative filtering method, cooperative filtering device, cooperative filtering program and recording medium with the same program recorded thereon | |
JP5945206B2 (en) | Product recommendation device, method and program | |
CN114357292A (en) | Model training method, device and storage medium | |
JP7326364B2 (en) | Information processing device, information processing method and information processing program | |
US20160307220A1 (en) | Non-transitory computer readable medium, information processing apparatus, and information processing method | |
JP2015187773A (en) | Data analysis device, data analysis program, and data analysis method | |
JP6283260B2 (en) | Information providing apparatus, information providing method, and information providing program | |
CN110851708A (en) | Negative sample extraction method and device, computer equipment and storage medium | |
JP2020190964A (en) | Device, method, and program for processing information | |
JP2020154841A (en) | Determination device, determination method, and determination program | |
JP6664580B2 (en) | Calculation device, calculation method and calculation program | |
JP6700146B2 (en) | A system that determines recommended content based on evaluation values | |
CN111400512B (en) | Method and device for screening multimedia resources | |
JP7239628B2 (en) | Information processing device, information processing method and information processing program | |
KR20210116982A (en) | Product purchase recommendation time calculation method for member of shopping mall related to e-commerce, apparatus and system using said method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7326364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |