JP7326364B2 - Information processing device, information processing method and information processing program - Google Patents

Information processing device, information processing method and information processing program Download PDF

Info

Publication number
JP7326364B2
JP7326364B2 JP2021045207A JP2021045207A JP7326364B2 JP 7326364 B2 JP7326364 B2 JP 7326364B2 JP 2021045207 A JP2021045207 A JP 2021045207A JP 2021045207 A JP2021045207 A JP 2021045207A JP 7326364 B2 JP7326364 B2 JP 7326364B2
Authority
JP
Japan
Prior art keywords
attribute
user
information processing
estimation model
attribute estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021045207A
Other languages
Japanese (ja)
Other versions
JP2022144282A (en
Inventor
康貴 田中
篤志 川村
翔真 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2021045207A priority Critical patent/JP7326364B2/en
Publication of JP2022144282A publication Critical patent/JP2022144282A/en
Application granted granted Critical
Publication of JP7326364B2 publication Critical patent/JP7326364B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、属性推定モデルの劣化状態を判定するための情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program for determining the deterioration state of an attribute estimation model.

従来、ユーザに提供するサービスを最適化するために、ユーザがサービスを利用することにより得られるユーザの行動履歴を解析することで、ユーザの属性を推定する方法が知られている。
例えば、特許文献1には、機械学習により生成された属性推定モデルを利用して、行動履歴(例えば検索履歴)からユーザの行動属性を推定する方法が開示されている。この属性推定モデルは、属性ごとに正解ユーザの行動履歴を学習データとして機械学習を行うことで生成され、推定対象であるユーザの行動履歴が入力されると、正解ユーザの行動履歴との類似度に応じたスコアが出力される。そして、高いスコアが出力された属性がユーザの主な属性として推定され、この属性に基づいたコンテンツがユーザに提供される。
Conventionally, in order to optimize services provided to users, there is known a method of estimating user attributes by analyzing a user's action history obtained by using a service.
For example, Patent Literature 1 discloses a method of estimating a user's action attribute from an action history (for example, search history) using an attribute estimation model generated by machine learning. This attribute estimation model is generated by performing machine learning using the action history of the correct user as learning data for each attribute. A corresponding score is output. Then, the attribute for which a high score is output is estimated as the main attribute of the user, and content based on this attribute is provided to the user.

特開2019-160178号公報JP 2019-160178 A

一般に、ユーザの行動様式は、年月の経過とともに変化するため、各属性についてユーザに付与されるスコアは、適宜更新されることが望ましい。
しかし、属性推定モデルは、年月経過によって劣化することがある。例えば、流行に関係する属性では、当該属性に関係する行動履歴に含まれるワード(例えば検索ワード)が年月経過による流行の変化に伴って変化するため、行動履歴に基づいて生成される属性推定モデルが年月経過によって劣化してしまう。このように劣化した属性推定モデルを使用した場合、ユーザの属性を正確に更新することができないという問題がある。
また、上記問題に対して、属性推定モデルを頻繁に更新する対策が考えられるが、属性推定モデルは属性ごとに生成されるため、多数存在する全ての属性について属性推定モデルを頻繁に更新することは処理負担が大きくなってしまう。
Since user behavior patterns generally change over time, it is desirable that the scores given to users for each attribute be updated as appropriate.
However, attribute estimation models may deteriorate over time. For example, for an attribute related to fashion, the words (e.g., search words) included in the behavioral history related to the attribute change along with changes in fashion over time, so attribute estimation generated based on the behavioral history Models deteriorate over time. When using such a degraded attribute estimation model, there is a problem that the user's attributes cannot be updated accurately.
In order to solve the above problem, frequent updating of the attribute estimation model is conceivable. However, since the attribute estimation model is generated for each attribute, it is necessary to frequently update the attribute estimation model for all attributes that exist in large numbers. will increase the processing load.

本発明は、属性推定モデルの劣化状態を判定することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。 An object of the present invention is to provide an information processing apparatus, an information processing method, and an information processing program capable of determining the deterioration state of an attribute estimation model.

本発明の情報処理装置は、ネットワーク上におけるユーザの行動履歴を取得する履歴取得部と、対象属性に対応する正解ユーザの行動履歴を用いた機械学習によって生成された属性推定モデルに対して前記ユーザの行動履歴を入力し、前記属性推定モデルから出力される前記対象属性のスコアを前記ユーザに対応付ける属性推定部と、前記対象属性の前記スコアが高い順に所定数の前記ユーザを選択することで上位ユーザリストを生成するリスト生成部と、前記上位ユーザリストに含まれる前記正解ユーザの数の変化に基づいて、前記属性推定モデルの劣化状態を判定する判定部と、を備える。 The information processing apparatus of the present invention includes a history acquisition unit that acquires a user's action history on a network; and an attribute estimating unit that inputs the action history of the attribute estimation model and associates the score of the target attribute output from the attribute estimation model with the user; A list generation unit that generates a user list, and a determination unit that determines a deterioration state of the attribute estimation model based on a change in the number of correct users included in the top user list.

本発明によれば、上位ユーザリストに含まれる正解ユーザの数の変化を監視することで、属性推定モデルの劣化状態を判定できる。これにより、処理負担を抑制しつつ、属性推定モデルの更新を必要な時期に実行することができる。その結果、ユーザの属性を正確に推定することを継続できる。 According to the present invention, it is possible to determine the deterioration state of the attribute estimation model by monitoring the change in the number of correct users included in the top user list. As a result, it is possible to update the attribute estimation model when necessary while suppressing the processing load. As a result, it is possible to continue to accurately estimate the user's attributes.

本発明に係る一実施形態の情報処理システムの概略構成を示す概略図。1 is a schematic diagram showing a schematic configuration of an information processing system according to an embodiment of the present invention; FIG. 前記実施形態の情報処理装置の概略構成を示すブロック図。2 is a block diagram showing a schematic configuration of the information processing apparatus of the embodiment; FIG. 前記実施形態における情報処理方法を説明するためのフローチャート。4 is a flowchart for explaining an information processing method according to the embodiment; 前記実施形態において算出される正解率の推移を例示するグラフ。6 is a graph illustrating transition of the accuracy rate calculated in the embodiment;

以下、本発明に係る一実施形態について図面に基づいて説明する。
[情報処理システム1]
図1は、本実施形態の情報処理システム1の概略構成を示す概略図である。
図1に示すように、本実施形態の情報処理システム1は、本発明の情報処理装置10と、複数のユーザ端末20と、複数のサービス提供サーバ30とを備え、これらはインターネット等のネットワークを介して通信可能に接続されている。
情報処理システム1において、ユーザ端末20は、ユーザの操作に従ってサービス提供サーバ30にアクセスし、サービス提供サーバ30から提供されるサービスを利用する。なお、サービス提供サーバ30が提供するサービスは、特に限定されず、例えば、ウェブ検索サービス、ショッピングサービス、オークションサービスまたはニュースサービスなどが挙げられる。
本実施形態において、情報処理装置10は、ユーザごとに、ユーザ端末20またはサービス提供サーバ30から取得したユーザの行動履歴(具体的には検索履歴)を取得し、各属性に対応する属性推定モデルに入力することで、各属性に対応するスコアを取得する。すなわち、情報処理装置10は、各種属性に対するユーザのスコアを推定する。
ここで、情報処理装置10は、属性推定モデルの劣化状態を判定する処理を実施することで、属性推定モデルの更新時期などを判断する。
なお、ここで説明する属性とは、ユーザの興味、関心、生活様式、ライフステージ、または消費傾向などである。
An embodiment according to the present invention will be described below with reference to the drawings.
[Information processing system 1]
FIG. 1 is a schematic diagram showing a schematic configuration of an information processing system 1 of this embodiment.
As shown in FIG. 1, an information processing system 1 of this embodiment includes an information processing apparatus 10 of the present invention, a plurality of user terminals 20, and a plurality of service providing servers 30, which are connected to a network such as the Internet. communicatively connected via
In the information processing system 1 , the user terminal 20 accesses the service providing server 30 according to the user's operation and uses the service provided by the service providing server 30 . The services provided by the service providing server 30 are not particularly limited, and examples thereof include web search services, shopping services, auction services, news services, and the like.
In the present embodiment, the information processing apparatus 10 acquires the user's action history (specifically, search history) acquired from the user terminal 20 or the service providing server 30 for each user, and acquires an attribute estimation model corresponding to each attribute. to get the score corresponding to each attribute. That is, the information processing device 10 estimates the user's score for various attributes.
Here, the information processing apparatus 10 determines the update timing of the attribute estimation model by performing the process of determining the deterioration state of the attribute estimation model.
Note that the attributes described here are the user's interest, interest, lifestyle, life stage, consumption tendency, or the like.

[情報処理装置10]
図2は、情報処理装置10の概略構成を示すブロック図である。
情報処理装置10は、一般的なコンピュータにより構成されており、図2に示すように、通信部11、記憶部12、プロセッサ13等、コンピュータを構成する各部を備えている。
なお、情報処理装置10を構成するコンピュータの数は特に限定されない。本実施形態では、説明の簡略化のため、1台のコンピュータによって情報処理装置10が構成される例を示すが、複数のコンピュータをネットワークで接続して構築されるクラウドサーバを情報処理装置10としてもよい。
[Information processing device 10]
FIG. 2 is a block diagram showing a schematic configuration of the information processing device 10. As shown in FIG.
The information processing apparatus 10 is configured by a general computer, and as shown in FIG. 2, includes components such as a communication unit 11, a storage unit 12, a processor 13, etc. that constitute a computer.
Note that the number of computers constituting the information processing apparatus 10 is not particularly limited. In the present embodiment, an example in which the information processing apparatus 10 is configured by one computer is shown for the sake of simplification of explanation. good too.

通信部11は、インターネットに接続され、インターネットを介してユーザ端末20やサービス提供サーバ30等の各装置と通信する。
記憶部12は、情報処理装置10を制御するための各種情報や情報処理プログラムを記録する。
また、記憶部12は、行動履歴情報記憶部121、推定属性情報記憶部122、モデル記憶部123および正解率記憶部124などを備える。
なお、本実施形態では、情報処理装置10の記憶部12に、行動履歴情報記憶部121、推定属性情報記憶部122、モデル記憶部123および正解率記憶部124が設けられる例を示すが、情報処理装置10とネットワークを介して通信可能に接続された他のデータサーバやクラウドストレージに、これらの情報が記録される構成としてもよい。
The communication unit 11 is connected to the Internet and communicates with each device such as the user terminal 20 and the service providing server 30 via the Internet.
The storage unit 12 records various information and information processing programs for controlling the information processing apparatus 10 .
The storage unit 12 also includes an action history information storage unit 121, an estimated attribute information storage unit 122, a model storage unit 123, an accuracy rate storage unit 124, and the like.
In the present embodiment, an example in which the storage unit 12 of the information processing apparatus 10 is provided with the action history information storage unit 121, the estimated attribute information storage unit 122, the model storage unit 123, and the accuracy rate storage unit 124 is shown. Such information may be recorded in another data server or cloud storage that is communicably connected to the processing device 10 via a network.

行動履歴情報記憶部121は、ユーザ識別情報(ユーザID)と、ユーザ毎の行動履歴情報とを記憶している。
行動履歴情報は、インターネットを通じて取得されるユーザの行動に関する履歴情報である。例えば、ユーザ行動履歴情報は、ユーザが実施した検索処理における検索履歴情報、ユーザが閲覧したコンテンツの閲覧履歴情報、ユーザが商品の売買を行った商品売買履歴情報、ユーザが実店舗で電子決済手段を利用した決済履歴情報などを含む。また、ユーザ行動履歴情報は、インターネットを通じてユーザに実施されたアンケートの結果を含んでもよい。
なお、本実施形態では、属性推定モデルの劣化状態を判定する処理のために検索履歴情報が用いられる。この検索履歴情報は、検索クエリおよび検索日時などの項目を含む。
The action history information storage unit 121 stores user identification information (user ID) and action history information for each user.
The behavior history information is history information about user behavior acquired through the Internet. For example, the user action history information includes search history information in search processing performed by the user, browsing history information of content browsed by the user, product trading history information in which the user bought and sold products, and the user's electronic payment method at a physical store. including payment history information using User behavior history information may also include the results of questionnaires given to users via the Internet.
Note that in the present embodiment, search history information is used for the process of determining the deterioration state of the attribute estimation model. This search history information includes items such as a search query and search date and time.

推定属性情報記憶部122は、ユーザ識別情報(ユーザID)と、ユーザ毎の推定属性情報とを記憶している。
推定属性情報は、ユーザの行動履歴に基づいて推定された属性に関する情報である。例えば、推定属性情報は、1以上の属性と、各属性に対して付与されたスコアと、を含む。属性は、例えば属性識別情報(属性ID)などで管理される。
The estimated attribute information storage unit 122 stores user identification information (user ID) and estimated attribute information for each user.
The estimated attribute information is information related to attributes estimated based on the user's action history. For example, estimated attribute information includes one or more attributes and a score assigned to each attribute. Attributes are managed by, for example, attribute identification information (attribute ID).

モデル記憶部123は、属性ごとに生成された属性推定モデルを記憶する。
属性推定モデルは、ユーザの検索履歴情報を入力とし、当該属性推定モデルに対応する属性のスコアを出力とするモデルである。この属性推定モデルは、対応属性を有するユーザとして選択された正解ユーザの行動履歴に基づいた機械学習によって生成される。
The model storage unit 123 stores an attribute estimation model generated for each attribute.
The attribute estimation model is a model that inputs user's search history information and outputs scores of attributes corresponding to the attribute estimation model. This attribute estimation model is generated by machine learning based on the action history of correct users selected as users having corresponding attributes.

正解率記憶部124は、属性ごとの正解率を時系列で記憶する。本実施形態において、対象属性に対応する正解率は、当該対象属性に対応する上位ユーザリストに含まれる正解ユーザの割合に相当する。
なお、正解率記憶部124は、対象属性ごとのユーザリストを時系列で記憶してもよい。
The accuracy rate storage unit 124 stores the accuracy rate for each attribute in chronological order. In this embodiment, the accuracy rate corresponding to the target attribute corresponds to the proportion of correct users included in the high-ranking user list corresponding to the target attribute.
Note that the accuracy rate storage unit 124 may store the user list for each target attribute in chronological order.

プロセッサ13は、CPU等の演算回路、RAM等の記録回路により構成される。プロセッサ13は、記憶部12に記録されている情報処理プログラムをRAMに展開し、RAMに展開されたプログラムとの協働で、各種処理を実行する。
そして、プロセッサ13は、情報処理プログラムを読み込み実行することで、図2に示すように、履歴取得部131、学習部132、属性推定部133、リスト生成部134、正解率算出部135、正規化部136および判定部137として機能する。
The processor 13 is composed of an arithmetic circuit such as a CPU and a recording circuit such as a RAM. The processor 13 expands the information processing program recorded in the storage unit 12 into the RAM, and executes various processes in cooperation with the program expanded into the RAM.
By reading and executing the information processing program, the processor 13, as shown in FIG. It functions as part 136 and determination part 137 .

履歴取得部131は、ユーザ端末20やサービス提供サーバ30などから、ユーザの行動履歴を取得し、行動履歴情報記憶部121に記憶させる。
学習部132は、属性毎に、対応属性を有するユーザを正解ユーザとして選択し、正解ユーザの行動履歴を用いた機械学習を用いて属性推定モデルを生成する。
属性推定部133は、各種属性に対応する属性推定モデルを用いて、各種属性に対するユーザのスコアを推定し、推定属性情報記憶部122に記憶させる。
The history acquisition unit 131 acquires the user's action history from the user terminal 20, the service providing server 30, or the like, and stores it in the action history information storage unit 121. FIG.
The learning unit 132 selects a user having a corresponding attribute for each attribute as a correct user, and generates an attribute estimation model using machine learning using the action history of the correct user.
The attribute estimating unit 133 estimates a user's score for each attribute using an attribute estimating model corresponding to each attribute, and stores it in the estimated attribute information storage unit 122 .

リスト生成部134は、判定対象となる属性推定モデルの属性(対象属性)について、スコアが高い順に所定数のユーザを選択することで、対象属性の上位ユーザリストを生成する。
正解率算出部135は、対象属性に対応する上位ユーザリストに含まれる正解ユーザの割合を正解率として算出する。
正規化部136は、判定対象となる属性推定モデルの生成直後(第1時点)に算出された正解率によって、第1時点より以降の各時点(第2時点)に算出された正解率を正規化する。
判定部137は、正規化後の正解率に基づいて、対象属性に対応する属性推定モデルの劣化状態を判定する。
The list generating unit 134 selects a predetermined number of users in descending order of score for the attribute of the attribute estimation model to be determined (target attribute), thereby generating a top user list of the target attribute.
The accuracy rate calculation unit 135 calculates the percentage of correct users included in the top user list corresponding to the target attribute as the accuracy rate.
The normalization unit 136 normalizes the accuracy rate calculated at each time point after the first time point (second time point) by the accuracy rate calculated immediately after the attribute estimation model to be determined is generated (first time point). become
The determination unit 137 determines the deterioration state of the attribute estimation model corresponding to the target attribute based on the normalized accuracy rate.

[ユーザ端末20]
ユーザ端末20は、ユーザが管理するコンピュータであり、例えばスマートフォン、タブレット端末、パーソナルコンピューター等により構成されている。
ユーザ端末20の具体的な構成の図示は省略するが、ユーザ端末20は、一般的なコンピュータが有する基本的な構成を有する。すなわち、ユーザ端末20は、操作者の操作を受け付ける入力操作部、画像情報を表示させるディスプレイ、各種情報を記録する記録装置、各種情報を演算処理する演算回路(CPU等)を備えている。
[User terminal 20]
The user terminal 20 is a computer managed by a user, and is composed of, for example, a smart phone, a tablet terminal, a personal computer, or the like.
Although the illustration of the specific configuration of the user terminal 20 is omitted, the user terminal 20 has the basic configuration of a general computer. That is, the user terminal 20 includes an input operation unit that receives operations from an operator, a display that displays image information, a recording device that records various types of information, and an arithmetic circuit (such as a CPU) that performs arithmetic processing on various types of information.

[サービス提供サーバ30]
サービス提供サーバ30は、ユーザ端末20からアクセスされた場合に、サービスを提供するサーバ装置である。例えば、サービス提供サーバ30は、サービスとして、ウェブ検索サービス、ショッピングサービス、オークションサービス、コンテンツ提供サービス、ニュースサービス、天気予報サービスなどに関する各種コンテンツを提供する。
なお、本実施形態において、情報処理装置10とサービス提供サーバ30とは別々に構成されているが、情報処理装置10がいずれかのサービス提供サーバ30の機能の一部または全部を代替してもよい。
[Service providing server 30]
The service providing server 30 is a server device that provides services when accessed from the user terminal 20 . For example, the service providing server 30 provides, as services, various contents related to web search services, shopping services, auction services, content providing services, news services, weather forecast services, and the like.
In the present embodiment, the information processing device 10 and the service providing server 30 are configured separately, but the information processing device 10 may replace some or all of the functions of any one of the service providing servers 30. good.

[情報処理方法]
次に、情報処理装置10において実行される情報処理方法について、図3に示すフローチャートを参照して説明する。
なお、図3のフローチャートを開始する前の任意のタイミングで、履歴取得部131は、ユーザの行動履歴を取得し、行動履歴情報記憶部121に記憶させる(履歴取得ステップ)。
また、以下では、任意の属性推定モデルを判定対象とし、この属性推定モデルの属性を対象属性とした場合の処理について説明するが、同様の処理は属性推定モデル毎に行われるものとする。
[Information processing method]
Next, an information processing method executed in the information processing apparatus 10 will be described with reference to the flowchart shown in FIG.
At an arbitrary timing before starting the flowchart of FIG. 3, the history acquisition unit 131 acquires the user's action history and stores it in the action history information storage unit 121 (history acquisition step).
In the following description, processing when an arbitrary attribute estimation model is set as a determination target and an attribute of this attribute estimation model is set as a target attribute will be described, but the same processing is performed for each attribute estimation model.

まず、学習部132は、行動履歴情報記憶部121に含まれる行動履歴情報を参照し、対象属性に対する確定行動を行ったユーザを正解ユーザとして選択する。そして、複数の正解ユーザに対応する検索履歴を学習データとする機械学習によって属性推定モデルを生成する(ステップS1)。生成された属性推定モデルは、モデル記憶部123に記憶される。 First, the learning unit 132 refers to the action history information included in the action history information storage unit 121, and selects the user who performed the definite action for the target attribute as the correct user. Then, an attribute estimation model is generated by machine learning using search histories corresponding to a plurality of correct users as learning data (step S1). The generated attribute estimation model is stored in the model storage unit 123. FIG.

なお、対象属性に対する確定行動としては、例えば、対象属性との関係を有する商品の購入履歴や決済履歴、または、アンケート結果などを利用できる。
また、属性推定モデルの生成方法としては、任意の公知技術を利用できる。例えば、学習データとして、例えばTF-IDFなどの手法により、検索履歴に含まれる検索クエリに対して検索回数による重みを割り当て、検索クエリに割り当てられた重みを成分とするクエリベクトルを利用できる。
It should be noted that, for example, the purchase history or payment history of a product having a relationship with the target attribute, or the results of a questionnaire can be used as the determined action for the target attribute.
Any known technique can be used as a method of generating an attribute estimation model. For example, as training data, a query vector having weights assigned to search queries as components, which are weighted by the number of searches assigned to search queries included in the search history by a method such as TF-IDF, can be used.

次に、属性推定部133は、現在が所定の判定タイミングである場合(ステップS2;Yesの場合)、対象属性に関するユーザ毎の推定属性情報を生成する(ステップS3;属性推定ステップ)。
具体的には、属性推定部133は、行動履歴情報記憶部121を参照し、推定対象となるユーザごとに、ユーザの検索履歴を、ステップS1で生成された属性推定モデルに入力し、属性推定モデルから出力される対象属性のスコアをユーザに対応付け、推定属性情報記憶部122に記憶させる。
なお、正解ユーザと類似した検索傾向のあるユーザの検索履歴が属性推定モデルに入力されると、属性推定モデルは、正解ユーザと同様の高スコアを出力する。
Next, when the present time is the predetermined determination timing (step S2; Yes), the attribute estimation unit 133 generates estimated attribute information for each user regarding the target attribute (step S3; attribute estimation step).
Specifically, the attribute estimation unit 133 refers to the action history information storage unit 121, inputs the user's search history into the attribute estimation model generated in step S1 for each user to be estimated, and performs attribute estimation. The target attribute score output from the model is associated with the user and stored in the estimated attribute information storage unit 122 .
Note that when the search history of a user who has a search tendency similar to that of the correct user is input to the attribute estimation model, the attribute estimation model outputs a high score similar to that of the correct user.

ステップS2の判定タイミングは任意に設定可能である。例えば、属性推定モデルの生成後または更新後における初回の判定タイミングは、ステップS1の直後であることが好ましい。また、2回目以降の判定タイミングは、予め設定された期間ごと(例えば1か月ごと)に設定されることが好ましい。 The determination timing of step S2 can be set arbitrarily. For example, it is preferable that the first determination timing after generation or update of the attribute estimation model is immediately after step S1. Further, it is preferable that the second and subsequent determination timings are set for each preset period (for example, every month).

次に、リスト生成部134は、推定属性情報記憶部122を参照し、対象属性のスコアが高い順に所定数のユーザを選択することで上位ユーザリストを生成する(ステップS4;リスト生成ステップ)。
ここで、所定数は、例えば、対象属性に対して0より大きいスコアを付与されたユーザの数に対し、所定割合(例えば数%)となる数である。あるいは、所定数は、予め定められた数でもよいし、予め定められた閾値以上のスコアを付与されたユーザの数でもよい。
Next, the list generation unit 134 refers to the estimated attribute information storage unit 122 and generates a top user list by selecting a predetermined number of users in descending order of the score of the target attribute (step S4; list generation step).
Here, the predetermined number is, for example, a number that is a predetermined percentage (for example, several percent) of the number of users given a score greater than 0 for the target attribute. Alternatively, the predetermined number may be a predetermined number or the number of users given a score equal to or higher than a predetermined threshold.

次に、正解率算出部135は、ステップS3で作成された上位ユーザリストに含まれる正解ユーザの割合を正解率として算出する(ステップS5;正解率算出ステップ)。なお、属性推定モデルの生成後または更新後における初回の正解率は、モデル生成後「0ヶ月(0M)」に対応するデータとして扱われる。 Next, the accuracy rate calculation unit 135 calculates, as an accuracy rate, the percentage of correct users included in the top user list created in step S3 (step S5; accuracy rate calculation step). Note that the first accuracy rate after the attribute estimation model is generated or updated is treated as data corresponding to "0 months (0M)" after model generation.

次に、正規化部136は、ステップS5で生成された正解率を正規化する(ステップS6)。
ここで、属性推定モデルの生成後または更新後における初回の正解率は、正規化基準値として扱われ、100%に正規化される。また、2回目以降の正解率は、正規化基準値で除すことで正規化される。
このステップS6で正規化された正解率は、正解率記憶部124に記憶される。
Next, the normalization unit 136 normalizes the accuracy rate generated in step S5 (step S6).
Here, the first accuracy rate after generation or update of the attribute estimation model is treated as a normalization reference value and normalized to 100%. Also, the accuracy rate for the second and subsequent times is normalized by dividing by the normalization reference value.
The accuracy rate normalized in step S6 is stored in the accuracy rate storage unit 124. FIG.

次に、判定部137は、ステップS6で正規化された正解率(以下、単に正解率という場合がある)を所定の閾値と比較することで、属性推定モデルの劣化状態を判定する(ステップS7;判定ステップ)。
例えば、判定部137は、正解率が閾値以下である場合(ステップS7;Yesの場合)、属性推定モデルが劣化していると判定し、ステップS1に戻り、属性推定モデルを生成(すなわち更新)する。
一方、判定部137は、正解率が閾値より大きい場合(ステップS7;Noの場合)、ステップS2に戻り、次の判定タイミングまで待機する。
以上の図3のフローチャートによれば、属性推定モデルが継続的に監視され、属性推定モデルの劣化が検出された場合に当該属性推定モデルが更新される。
Next, the determination unit 137 determines the deterioration state of the attribute estimation model by comparing the correct answer rate normalized in step S6 (hereinafter sometimes simply referred to as the correct answer rate) with a predetermined threshold value (step S7 ; decision step).
For example, if the accuracy rate is equal to or less than the threshold (step S7; Yes), the determination unit 137 determines that the attribute estimation model is degraded, returns to step S1, and generates (that is, updates) the attribute estimation model. do.
On the other hand, if the accuracy rate is greater than the threshold (step S7; No), the determination unit 137 returns to step S2 and waits until the next determination timing.
According to the flowchart of FIG. 3 described above, the attribute estimation model is continuously monitored, and when deterioration of the attribute estimation model is detected, the attribute estimation model is updated.

[本実施形態の効果]
本実施形態の情報処理装置10は、記憶部12と、プロセッサ13とを備え、プロセッサ13は、記憶部12に記憶された情報処理プログラムを読み込むことで、履歴取得部131、属性推定部133、リスト生成部134、正解率算出部135および判定部137として機能し、前述したような各処理を実行する。
このような本実施形態によれば、ユーザリストに含まれる正解ユーザの数を監視することで、属性推定モデルの劣化状態を判定できる。これにより、処理負担を抑制しつつ、属性推定モデルの更新を必要な時期に実行することができ、ユーザの属性を継続的に正確に推定することができる。
また、本実施形態では、ユーザリストに含まれる正解ユーザの割合に基づいて、属性推定モデルの劣化状態を判定するため、より正確な判定が可能である。
[Effect of this embodiment]
The information processing apparatus 10 of the present embodiment includes a storage unit 12 and a processor 13. The processor 13 reads an information processing program stored in the storage unit 12 to obtain a history acquisition unit 131, an attribute estimation unit 133, It functions as the list generation unit 134, the accuracy rate calculation unit 135, and the determination unit 137, and executes each process as described above.
According to this embodiment, the deterioration state of the attribute estimation model can be determined by monitoring the number of correct users included in the user list. As a result, the attribute estimation model can be updated at a necessary time while suppressing the processing load, and the user's attributes can be continuously and accurately estimated.
Further, in the present embodiment, the deterioration state of the attribute estimation model is determined based on the percentage of correct users included in the user list, so more accurate determination is possible.

本実施形態において、プロセッサ13は、正解率を正規化する正規化部136としても機能する。これにより、対応する属性が異なる複数の属性推定モデルについて共通の閾値を用いることができ、複数の属性推定モデルについて劣化状態を容易に判定できる。 In this embodiment, the processor 13 also functions as a normalization unit 136 that normalizes the accuracy rate. As a result, a common threshold can be used for a plurality of attribute estimation models with different corresponding attributes, and the deterioration state can be easily determined for the plurality of attribute estimation models.

ここで、図4は、複数の属性(属性A~属性C)の正解率(正規化後)の推移について例示するグラフである。なお、図4は、属性推定モデルの更新を行わずに正解率を継続的に取得した場合のグラフを例示している。
図4のグラフにおいて、例えば、属性Aは「国内ドラマへの興味」であり、属性Bは「犬を飼っている」であり、属性Cは「テレビゲームへの興味」であり、属性Dは「海外ドラマへの興味」であるとする。
属性A「国内ドラマへの興味」は、他の属性B~Cと比較して、季節ごとの番組改定などの要因により、属性Aに関連する検索ワードが時間の経過に応じて変化し易い。このため、属性Aに対応する属性推定モデルは、年月が経過した後には現状に即したモデルとして機能しなくなり、劣化してしまう。そして、属性Aに対応する属性推定モデルが劣化すると、正解ユーザをユーザリストに補足できなくなるため、属性Aに対応する正解率は、100%から60%近くにまで大きく減少してしまう。仮に、このように劣化した属性推定モデルを使用した場合、ユーザの属性を正確に推定することができなくなってしまう。
そこで、前述で説明したように、正解率に基づいて属性推定モデルの劣化状態を判定し、属性推定モデルが劣化していると判定された場合には、属性推定モデルを更新することで、ユーザの属性を継続的に正確に推定することができる。
Here, FIG. 4 is a graph illustrating the transition of the accuracy rate (after normalization) of a plurality of attributes (attribute A to attribute C). Note that FIG. 4 illustrates a graph when the accuracy rate is continuously acquired without updating the attribute estimation model.
In the graph of FIG. 4, for example, attribute A is "interest in domestic dramas", attribute B is "I have a dog", attribute C is "interest in video games", and attribute D is Suppose it is "interest in foreign dramas".
For the attribute A “interest in domestic dramas”, compared to the other attributes B to C, search words related to the attribute A tend to change over time due to factors such as seasonal program revisions. For this reason, the attribute estimation model corresponding to the attribute A ceases to function as a current model after the passage of time and deteriorates. If the attribute estimation model corresponding to attribute A deteriorates, correct users cannot be added to the user list, and the accuracy rate corresponding to attribute A greatly decreases from 100% to nearly 60%. If such a degraded attribute estimation model is used, the user's attributes cannot be estimated accurately.
Therefore, as described above, the deterioration state of the attribute estimation model is determined based on the accuracy rate, and when it is determined that the attribute estimation model has deteriorated, the attribute estimation model is updated to attributes can be continuously and accurately estimated.

[変形例]
本発明は、前述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
[Modification]
The present invention is not limited to the above-described embodiments, and includes modifications shown below as long as the object of the present invention can be achieved.

(変形例1)
前記実施形態では、ユーザの検索履歴を利用してユーザに対する属性のスコアを推定するが、本発明はこれに限られない。例えば、属性推定部133は、検索履歴に替えて、または、検索履歴と共に、閲覧履歴や購買履歴などの各種の行動履歴を利用して、ユーザに対する属性のスコアを推定してもよい。
(Modification 1)
In the above embodiment, the user's search history is used to estimate the attribute score for the user, but the present invention is not limited to this. For example, the attribute estimating unit 133 may estimate the attribute score for the user by using various action histories such as browsing history and purchase history instead of or in addition to the search history.

(変形例2)
前記実施形態において、判定部137は、正規化された正解率が閾値より小さい場合に、属性推定モデルが劣化していると判定しているが、劣化状態の判定方法はこれに限られない。
例えば、プロセッサ13は、正規化部136として機能せずともよく、判定部137は、正規化されていない正解率の変化に基づいて、属性推定モデルの劣化状態を判定してもよい。
例えば、判定部137は、正解率が閾値を何回か継続して下回った場合に属性推定モデルが劣化していると判定してもよい。あるいは、判定部137は、属性推定モデルの生成後の年月経過に対する正解率の減少率を算出し、正解率が急激に減少している場合には、閾値に関わらず、属性推定モデルが劣化していると判定してもよい。
また、前記実施形態において、判定部137は、上位ユーザリストに含まれる正解ユーザの数の変化に基づいて、属性推定モデルの劣化状態を判定してもよい。
(Modification 2)
In the above embodiment, the determination unit 137 determines that the attribute estimation model is degraded when the normalized accuracy rate is smaller than the threshold, but the degraded state determination method is not limited to this.
For example, the processor 13 may not function as the normalization unit 136, and the determination unit 137 may determine the deterioration state of the attribute estimation model based on changes in the non-normalized accuracy rate.
For example, the determination unit 137 may determine that the attribute estimation model is degraded when the accuracy rate is below the threshold for several consecutive times. Alternatively, the determination unit 137 calculates the rate of decrease in the accuracy rate with respect to the passage of time after the generation of the attribute estimation model, and when the accuracy rate rapidly decreases, regardless of the threshold, the attribute estimation model deteriorates. It may be determined that
Further, in the above-described embodiment, the determination unit 137 may determine the deterioration state of the attribute estimation model based on the change in the number of correct users included in the top user list.

(変形例3)
前記実施形態において、プロセッサ13は、各属性に対応する正解率の推移をグラフ化するグラフ生成部として機能してもよい。例えば、グラフ生成部は、図4に示すように、属性推定モデルを更新せずに使用続けた場合に正解率の推移を示すグラフを生成し、サービスの事業者などに提供してもよい。このグラフは、属性に関する検索ワードの変化を示す情報として、マーケティングなどに利用されてもよい。
(Modification 3)
In the above-described embodiment, the processor 13 may function as a graph generation unit that graphs changes in accuracy rate corresponding to each attribute. For example, as shown in FIG. 4, the graph generation unit may generate a graph showing changes in the accuracy rate when the attribute estimation model is continued to be used without being updated, and may provide the graph to the service provider or the like. This graph may be used for marketing or the like as information indicating changes in search words related to attributes.

1…情報処理システム、10…情報処理装置、11…通信部、12…記憶部、121…行動履歴情報記憶部、122…推定属性情報記憶部、123…モデル記憶部、124…正解率記憶部、13…プロセッサ、131…履歴取得部、132…学習部、133…属性推定部、134…リスト生成部、135…正解率算出部、136…正規化部、137…判定部、20…ユーザ端末、30…サービス提供サーバ。 DESCRIPTION OF SYMBOLS 1... Information processing system 10... Information processing apparatus 11... Communication part 12... Storage part 121... Action history information storage part 122... Estimated attribute information storage part 123... Model storage part 124... Accuracy rate storage part , 13... Processor, 131... History acquisition unit, 132... Learning unit, 133... Attribute estimation unit, 134... List generation unit, 135... Accuracy rate calculation unit, 136... Normalization unit, 137... Judgment unit, 20... User terminal , 30 ... service providing server.

Claims (5)

ネットワーク上におけるユーザの行動履歴を取得する履歴取得部と、
対象属性に対応する正解ユーザの行動履歴を用いた機械学習によって生成された属性推定モデルに対して前記ユーザの行動履歴を入力し、前記属性推定モデルから出力される前記対象属性のスコアを前記ユーザに対応付ける属性推定部と、
前記対象属性の前記スコアが高い順に所定数の前記ユーザを選択することで上位ユーザリストを生成するリスト生成部と、
前記上位ユーザリストに含まれる前記正解ユーザの数の年月経過による変化に基づいて、前記属性推定モデルの劣化状態を判定する判定部と、を備える、情報処理装置。
a history acquisition unit that acquires a user's action history on the network;
The action history of the user is input to an attribute estimation model generated by machine learning using the action history of the correct user corresponding to the target attribute, and the score of the target attribute output from the attribute estimation model is calculated by the user an attribute estimator associated with
a list generation unit that generates a top user list by selecting a predetermined number of users in descending order of the score of the target attribute;
an information processing apparatus comprising: a determination unit that determines a deterioration state of the attribute estimation model based on a change over time in the number of correct users included in the top user list.
前記判定部は、前記上位ユーザリストに含まれる前記正解ユーザの数として、前記上位ユーザリストに対する前記正解ユーザの割合を算出する、請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the determination unit calculates a ratio of the correct users to the upper user list as the number of correct users included in the upper user list. 任意の第1時点で算出された前記割合によって、前記第1時点より後の第2時点で算出された前記割合を正規化する正規化部をさらに備え、
前記判定部は、正規化後の前記割合を閾値と比較することにより、前記属性推定モデルの劣化状態を判定する、請求項2に記載の情報処理装置。
A normalization unit that normalizes the ratio calculated at a second time point after the first time point by the ratio calculated at an arbitrary first time point,
The information processing apparatus according to claim 2, wherein the determination unit determines the deterioration state of the attribute estimation model by comparing the ratio after normalization with a threshold.
コンピュータにより情報を処理する情報処理方法であって、
ネットワーク上におけるユーザの行動履歴を取得する履歴取得ステップと、
対象属性に対応する正解ユーザの行動履歴を用いた機械学習によって生成された属性推定モデルに対して前記ユーザの行動履歴を入力し、前記属性推定モデルから出力される前記対象属性のスコアを前記ユーザに対応付ける属性推定ステップと、
前記対象属性の前記スコアが高い順に所定数の前記ユーザを選択することで上位ユーザリストを生成するリスト生成ステップと、
前記上位ユーザリストに含まれる前記正解ユーザの数の年月経過による変化に基づいて、前記属性推定モデルの劣化状態を判定する判定ステップと、を実施する、情報処理方法。
An information processing method for processing information by a computer,
a history acquisition step of acquiring a user's action history on the network;
The action history of the user is input to an attribute estimation model generated by machine learning using the action history of the correct user corresponding to the target attribute, and the score of the target attribute output from the attribute estimation model is calculated by the user an attribute estimation step that maps to
A list generation step of generating a top user list by selecting a predetermined number of users in descending order of the score of the target attribute;
and a determination step of determining a deterioration state of the attribute estimation model based on a change over time in the number of correct users included in the top user list.
コンピュータにより読み取り実行可能な情報処理プログラムであって、
前記コンピュータを、請求項1から請求項3のいずれか1項に記載の情報処理装置として機能させる、情報処理プログラム。
A computer readable and executable information processing program,
An information processing program causing the computer to function as the information processing apparatus according to any one of claims 1 to 3.
JP2021045207A 2021-03-18 2021-03-18 Information processing device, information processing method and information processing program Active JP7326364B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021045207A JP7326364B2 (en) 2021-03-18 2021-03-18 Information processing device, information processing method and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021045207A JP7326364B2 (en) 2021-03-18 2021-03-18 Information processing device, information processing method and information processing program

Publications (2)

Publication Number Publication Date
JP2022144282A JP2022144282A (en) 2022-10-03
JP7326364B2 true JP7326364B2 (en) 2023-08-15

Family

ID=83453658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021045207A Active JP7326364B2 (en) 2021-03-18 2021-03-18 Information processing device, information processing method and information processing program

Country Status (1)

Country Link
JP (1) JP7326364B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087101A (en) 2017-11-08 2019-06-06 三菱重工航空エンジン株式会社 Anticipation model maintenance system, method for maintaining anticipation model, and anticipation model maintenance program
WO2020225902A1 (en) 2019-05-09 2020-11-12 日本電信電話株式会社 Detector, detection method, and detection program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087101A (en) 2017-11-08 2019-06-06 三菱重工航空エンジン株式会社 Anticipation model maintenance system, method for maintaining anticipation model, and anticipation model maintenance program
WO2020225902A1 (en) 2019-05-09 2020-11-12 日本電信電話株式会社 Detector, detection method, and detection program

Also Published As

Publication number Publication date
JP2022144282A (en) 2022-10-03

Similar Documents

Publication Publication Date Title
US11558489B2 (en) Method and apparatus for real-time personalization
US20180047071A1 (en) System and methods for aggregating past and predicting future product ratings
JP2021502651A (en) Integrated data processing method and information recommendation system
AU2020273315A1 (en) Method to compute and recommend the best model for higher engagement and increased probability of product visit/purchase from an ecommerce website visitor
US20170046735A1 (en) Visitor Identification based on Feature Selection
CN111260449B (en) Model training method, commodity recommendation device and storage medium
WO2020221022A1 (en) Service object recommendation method
JP2016177649A (en) Information processing device, information processing program, and information processing method
JP6312913B1 (en) Information processing apparatus, information processing method, and information processing program
JP2023042683A (en) Advertisement device
JP2007323315A (en) Cooperative filtering method, cooperative filtering device, cooperative filtering program and recording medium with the same program recorded thereon
JP5945206B2 (en) Product recommendation device, method and program
CN114357292A (en) Model training method, device and storage medium
JP7326364B2 (en) Information processing device, information processing method and information processing program
US20160307220A1 (en) Non-transitory computer readable medium, information processing apparatus, and information processing method
JP2015187773A (en) Data analysis device, data analysis program, and data analysis method
JP6283260B2 (en) Information providing apparatus, information providing method, and information providing program
CN110851708A (en) Negative sample extraction method and device, computer equipment and storage medium
JP2020190964A (en) Device, method, and program for processing information
JP2020154841A (en) Determination device, determination method, and determination program
JP6664580B2 (en) Calculation device, calculation method and calculation program
JP6700146B2 (en) A system that determines recommended content based on evaluation values
CN111400512B (en) Method and device for screening multimedia resources
JP7239628B2 (en) Information processing device, information processing method and information processing program
KR20210116982A (en) Product purchase recommendation time calculation method for member of shopping mall related to e-commerce, apparatus and system using said method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7326364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350