JP6856503B2 - Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program - Google Patents
Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program Download PDFInfo
- Publication number
- JP6856503B2 JP6856503B2 JP2017223599A JP2017223599A JP6856503B2 JP 6856503 B2 JP6856503 B2 JP 6856503B2 JP 2017223599 A JP2017223599 A JP 2017223599A JP 2017223599 A JP2017223599 A JP 2017223599A JP 6856503 B2 JP6856503 B2 JP 6856503B2
- Authority
- JP
- Japan
- Prior art keywords
- impression
- estimation model
- weight
- value
- evaluator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
この発明は、データの印象を自動的に推定する技術に関する。 The present invention relates to a technique for automatically estimating the impression of data.
音声や画像等のデータの印象を自動推定する技術が必要とされている。例えば、音楽や画像の印象(明るさ、軽さ等)が推定できると、データの印象値を自動で付与し、データの検索に利用できるようになる。他にも、コールセンターのオペレータの印象(自然さ、好感度等)を推定できると、オペレータの応対品質の自動評価ができるようになる。 There is a need for technology that automatically estimates the impression of data such as voice and images. For example, if the impression (brightness, lightness, etc.) of music or an image can be estimated, the impression value of the data is automatically added and can be used for data search. In addition, if the impression (naturalness, likability, etc.) of the call center operator can be estimated, the response quality of the operator can be automatically evaluated.
機械学習を用いたデータの印象の自動推定には、予め印象値を付与したデータを人手で作成し、データと印象値とを紐付けた機械学習モデルを学習することで実現できる。このとき、人手で付与した印象値は、人によって評価の基準が異なるため、機械学習モデルを学習する際には、例えば下記のように学習データを整備することが必要となる(非特許文献1参照)。
1.印象値(数段階評価)を人手で複数名にてラベル付けする。
2.必要に応じて、数段階の印象値を2〜3段階のラベルに丸める。
3.人によってブレのあるデータを正解データから除外するために、複数名で一致したラベルのみを選別する(3名以上が付与している場合は、多数決によるラベルの選定でもよい)。
Automatic estimation of the impression of data using machine learning can be realized by manually creating data to which impression values are given in advance and learning a machine learning model that links the data and impression values. At this time, since the evaluation criteria of the impression value given manually differ depending on the person, it is necessary to prepare the learning data as follows, for example, when learning the machine learning model (Non-Patent Document 1). reference).
1. 1. Impression values (several grades) are manually labeled by multiple people.
2. If necessary, the impression value of several steps is rounded to a label of 2 to 3 steps.
3. 3. In order to exclude data that is blurred by people from the correct answer data, only labels that match with multiple people are selected (if three or more people give the label, the label may be selected by majority vote).
安定した印象値を推定するモデルを学習するためには、安定して印象値を付与できる評価者(例えば、異なる日に同じデータを聴取したときに、同じ印象値を付与できる評価者)を選定し、かつ、印象値を安定させながら付与するためには、休憩を挟みながら印象値の付与作業を行うことが必要である(非特許文献2参照)。 In order to learn a model that estimates a stable impression value, an evaluator who can give a stable impression value (for example, an evaluator who can give the same impression value when listening to the same data on different days) is selected. However, in order to give the impression value while stabilizing it, it is necessary to perform the impression value giving work with a break (see Non-Patent Document 2).
安定した印象推定モデルを学習するためには、安定した評価者の選定、休憩を挟みながらの長期間の評価、およびブレのあるデータの除外等を行う必要があるため、非常にコストが高くなる。また、評価者をある程度選定してしまうと、その評価者数名の傾向に特化した印象推定モデルが学習されてしまい、推定された印象値が利用者の平均的な感覚の印象値とは異なるものとなる場合がある。 In order to learn a stable impression estimation model, it is necessary to select a stable evaluator, evaluate for a long period of time with a break, and exclude data with blurring, which is extremely costly. .. In addition, if an evaluator is selected to some extent, an impression estimation model specialized for the tendency of several evaluators is learned, and the estimated impression value is the impression value of the average feeling of the user. It may be different.
この発明の目的は、上記のような点に鑑みて、評価者の選定やデータの除外を行わずに、評価者の印象評価の傾向を加味しつつ、平均的な印象値を安定的に推定することができる印象推定技術を実現することである。 In view of the above points, an object of the present invention is to stably estimate an average impression value without selecting an evaluator or excluding data, taking into account the tendency of the evaluator's impression evaluation. It is to realize the impression estimation technology that can be done.
上記の課題を解決するために、この発明の第一の態様の印象推定モデル学習装置は、学習データとその学習データに付与された印象値の正解値とその印象値の正解値を与えた評価者とを関連付けた学習データベースを記憶する学習データ記憶部と、評価者とその評価者における印象値毎の出現確率を表す評価者傾向とを関連付けた評価者傾向データベースを記憶する評価者傾向データ記憶部と、学習データから印象値の事後確率を推定する印象推定モデルを記憶する印象推定モデル記憶部と、評価者傾向から重みを推定する重み推定モデルを記憶する重み推定モデル記憶部と、評価者傾向を分類したグループ毎に印象推定モデルを用いて学習データから印象値の事後確率を推定する印象推定部と、重み推定モデルを用いて学習データに関連付けられた評価者傾向から重みを推定する重み推定部と、重みにより重み付けした印象値の事後確率と学習データに付与された印象値の正解値との差分から重み推定モデルを更新する重み推定モデル更新部と、印象値の事後確率から重みを学習重みとして印象推定モデルを更新する印象推定モデル更新部と、を含む。 In order to solve the above problems, the impression estimation model learning device according to the first aspect of the present invention is an evaluation in which the learning data, the correct answer value of the impression value given to the learning data, and the correct answer value of the impression value are given. Evaluator tendency data storage that stores the evaluator tendency database that associates the learning data storage unit that stores the learning database associated with the person and the evaluator tendency that represents the appearance probability of each impression value in the evaluator and the evaluator. The unit, the impression estimation model storage unit that stores the impression estimation model that estimates the posterior probability of the impression value from the training data, the weight estimation model storage unit that stores the weight estimation model that estimates the weight from the evaluator tendency, and the evaluator. The impression estimation unit that estimates the posterior probability of the impression value from the training data using the impression estimation model for each group that classifies the tendency, and the weight that estimates the weight from the evaluator tendency associated with the training data using the weight estimation model. The weight estimation model update unit that updates the weight estimation model from the difference between the estimation unit and the posterior probability of the impression value weighted by the weight and the correct answer value of the impression value given to the learning data, and the weight estimation model update unit that updates the weight from the posterior probability of the impression value. It includes an impression estimation model update unit that updates the impression estimation model as a learning weight.
上記の課題を解決するために、この発明の第二の態様の印象推定装置は、第一の態様の印象推定モデル学習装置により学習した印象推定モデルを記憶する印象推定モデル記憶部と、第一の態様の印象推定モデル学習装置により学習した重み推定モデルを記憶する重み推定モデル記憶部と、評価者における印象値毎の出現確率を表す評価者傾向を分類したグループ毎に印象推定モデルを用いて入力データから印象値の事後確率を推定する印象推定部と、重み推定モデルを用いて入力された評価者傾向から重みを推定する重み推定部と、重みにより重み付けした印象値の事後確率である統合事後確率に基づいて入力データの印象値を求める統合値推定部と、を含む。 In order to solve the above problems, the impression estimation device of the second aspect of the present invention includes an impression estimation model storage unit that stores an impression estimation model learned by the impression estimation model learning device of the first aspect, and a first impression estimation model storage unit. Impression estimation model of the above aspect Using the weight estimation model storage unit that stores the weight estimation model learned by the learning device, and the impression estimation model for each group that classifies the evaluator tendency that represents the appearance probability for each impression value in the evaluator. An impression estimation unit that estimates the posterior probability of the impression value from the input data, a weight estimation unit that estimates the weight from the evaluator tendency input using the weight estimation model, and an integration that is the posterior probability of the impression value weighted by the weight. It includes an integrated value estimation unit that obtains the impression value of input data based on posterior probabilities.
この発明の印象推定技術によれば、学習データの全データについて全評価者が印象値を付与する必要が無いため、評価者の選定や長期間の拘束が不要となり、かつ、ラベルの選定が不要となるため、学習データの作成コストを削減することができる。これにより、人によって基準が異なる印象値について、平均的な印象値を安定的に推定することが可能となる。すなわち、この発明の印象推定技術によれば、評価者の選定やデータの除外を行わずに、評価者の印象評価の傾向を加味しつつ、平均的な印象値を安定的に推定することができる。 According to the impression estimation technique of the present invention, it is not necessary for all evaluators to give impression values to all the training data, so that it is not necessary to select an evaluator or restraint for a long period of time, and it is not necessary to select a label. Therefore, the cost of creating learning data can be reduced. This makes it possible to stably estimate the average impression value for the impression value whose standard differs depending on the person. That is, according to the impression estimation technique of the present invention, it is possible to stably estimate the average impression value while taking into account the tendency of the evaluator's impression evaluation without selecting the evaluator or excluding the data. it can.
この発明のポイントは、以下の通りである。まず、複数の印象推定モデルにより評価者による印象値のブレを傾向毎のグループに自動分類する。次に、印象値の推定結果を自動分類した結果に、評価者による印象値のブレの傾向に応じた重みを与え、その結果を統合して最終的な印象値を推定する。このようにして、印象値の推定結果に対して、評価者による評価の平均的なブレを与えて、平均的な印象値を推定する。 The points of the present invention are as follows. First, the fluctuation of the impression value by the evaluator is automatically classified into a group for each tendency by a plurality of impression estimation models. Next, the results of automatic classification of the impression value estimation results are weighted according to the tendency of the impression value to fluctuate by the evaluator, and the results are integrated to estimate the final impression value. In this way, the average impression value is estimated by giving the average deviation of the evaluation by the evaluator to the estimation result of the impression value.
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail. In the drawings, the components having the same function are given the same number, and duplicate description will be omitted.
この発明の実施形態は、予め用意した学習データと評価者傾向データとを用いて印象推定モデルと重み推定モデルとを学習する印象推定モデル学習装置と、学習済みの印象推定モデルと重み推定モデルとを用いて入力されたデータの印象値を推定する印象推定装置とに大きく分かれる。以下、実施形態の印象推定モデル学習装置と印象推定装置の機能構成と処理手続きの詳細を順に説明する。 An embodiment of the present invention includes an impression estimation model learning device that learns an impression estimation model and a weight estimation model using training data and evaluator tendency data prepared in advance, and a trained impression estimation model and a weight estimation model. It is roughly divided into an impression estimation device that estimates the impression value of the input data using. Hereinafter, the details of the functional configuration and the processing procedure of the impression estimation model learning device and the impression estimation device of the embodiment will be described in order.
なお、文中で使用する記号「^」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。 The symbol "^" etc. used in the text should be written directly above the character immediately after it, but due to restrictions on the text notation, it should be written immediately before the character. In the mathematical formula, these symbols are described in their original positions, that is, directly above the letters.
<印象推定モデル学習装置>
実施形態の印象推定モデル学習装置1は、図1に示すように、N(≧2)個の印象推定部11−n(n=1, 2, …, N)と、重み推定部12と、モデル学習部13と、学習データ記憶部14と、評価者傾向データ記憶部15と、重み推定モデル記憶部16とを備える。各印象推定部11−nは、印象推定モデル記憶部111−nを備える。モデル学習部13は、重み推定モデル更新部131と、印象推定モデル更新部132とを備える。この印象推定モデル学習装置1が、図2に例示する各ステップの処理を行うことにより実施形態の印象推定モデル学習方法が実現される。
<Impression estimation model learning device>
As shown in FIG. 1, the impression estimation
印象推定モデル学習装置1は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。印象推定モデル学習装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。印象推定モデル学習装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。印象推定モデル学習装置1の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。印象推定モデル学習装置1が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
The impression estimation
学習データ記憶部14には、印象推定モデルを学習するための学習データを蓄積した学習データベースが記憶されている。学習データベースの例を表1に示す。学習データベースは、表1に示すように、データ番号j(j=0, 1, …, J-1)に対して学習データx(j)、印象値y(j)、および評価者番号i(j)が関連付けられている。ここで、Jは学習データの総数である。
The learning
学習データx(j)は、画像や音声等のデータを示す。1つの学習データx(j)に対して複数の評価者が印象値を付与するため、学習データベース内には同じ値の学習データx(j)が複数存在する(例えば、表1のj=0とj=1、j=2とj=3とj=4等)。学習データx(j)は、例えば、画像データや音声データから抽出した公知の特徴量である。 The learning data x (j) indicates data such as images and sounds. Since a plurality of evaluators give impression values to one learning data x (j), there are a plurality of learning data x (j) having the same value in the learning database (for example, j = 0 in Table 1). And j = 1, j = 2, j = 3, and j = 4, etc.). The training data x (j) is, for example, a known feature amount extracted from image data or audio data.
印象値y(j)は、人手で付与した印象値、すなわち印象値の正解値である。印象値y(j)は、評価する段階数の次元を持つベクトルであり、評価した値の次元が1、それ以外の次元が0となるOne-hotなベクトルとなる。例えば、「明るさ」を「非常に暗い:1」「暗い:2」「普通:3」「明るい:4」「非常に明るい:5」の5段階で評価した場合、「非常に暗い:1」と評価した場合は[1, 0, 0, 0, 0]、「暗い:2」と評価した場合は[0, 1, 0, 0, 0]、「普通:3」と評価した場合は[0, 0, 1, 0, 0]、「明るい:4」と評価した場合は[0, 0, 0, 1, 0]、「非常に明るい:5」と評価した場合は[0, 0, 0, 0, 1]といったベクトルとなる。 The impression value y (j) is an impression value manually given, that is, a correct answer value of the impression value. The impression value y (j) is a vector having the dimension of the number of steps to be evaluated, and is a one-hot vector in which the dimension of the evaluated value is 1 and the other dimensions are 0. For example, when "brightness" is evaluated on a scale of "very dark: 1", "dark: 2", "normal: 3", "bright: 4", and "very bright: 5", "very dark: 1". When evaluated as [1, 0, 0, 0, 0], when evaluated as "dark: 2", [0, 1, 0, 0, 0], when evaluated as "normal: 3" [0, 0, 1, 0, 0], [0, 0, 0, 1, 0] when evaluated as "bright: 4", [0, 0] when evaluated as "very bright: 5" , 0, 0, 1].
評価者番号i(j)は、学習データx(j)に印象値y(j)を付与した評価者を示す識別子(ID)である。この評価者番号i(j)は、評価者傾向データ記憶部15に記憶されている評価者傾向データベースの評価者番号iと紐付く番号である。
The evaluator number i (j) is an identifier (ID) indicating an evaluator who has given the impression value y (j) to the learning data x (j). The evaluator number i (j) is a number associated with the evaluator number i of the evaluator tendency database stored in the evaluator tendency
通常の印象推定では、あるデータに対してすべての評価者が印象値を付与し、その平均値を学習データのラベルとして推定したり、不一致の印象値を排除したりして学習をする。しかし、現実的に全ての評価者が全データに対してラベルを付与し、かつ十分な学習データ量を得ることは莫大なコストが必要とされる。そこで本実施形態では、あるデータに対して1名以上の評価者が印象値を付与し、その評価者の傾向を補助情報として与えて学習を行う。これにより、あるデータについて全員の評価を必要とせずに、印象値を学習することができるようになる。 In normal impression estimation, all evaluators give impression values to a certain data, estimate the average value as a label of training data, or eliminate inconsistent impression values for learning. However, in reality, it requires a huge cost for all evaluators to label all the data and obtain a sufficient amount of training data. Therefore, in the present embodiment, one or more evaluators give an impression value to a certain data, and the tendency of the evaluator is given as auxiliary information for learning. This makes it possible to learn the impression value of a certain data without requiring evaluation by everyone.
評価者傾向データ記憶部15には、印象推定モデルを学習する際に与える補助情報である評価者傾向を蓄積した評価者傾向データベースが記憶されている。評価者傾向データベースの例を表2に示す。評価者傾向データベースでは、評価者番号i(i=0, 1, …, I-1)に対して評価者傾向q(i, k)(k=0, 1, …, K-1)が関連付けられている。ここで、Iは評価者の総数、Kは評価値の種類の数である。
The evaluator tendency
評価者傾向q(i, k)は、評価者iが印象値をどの段階にどの程度付与しているか(言い換えると、評価者iにおける印象値k毎の出現確率)を表したベクトルである。例えば、「明るさ」を「非常に暗い:1」「暗い:2」「普通:3」「明るい:4」「非常に明るい:5」の5段階で評価した場合、i=0の評価者は「非常に暗い:1」の評価を1%、「暗い:2」の評価を2%、「普通:3」の評価を30%、「明るい:4」の評価を58%、「非常に明るい:5」の評価を9%の分布で評価しており、そのときの評価者傾向q(i, k)は[ 1%, 2%, 30%, 58%, 9%]といったベクトルとなる。 The evaluator tendency q (i, k) is a vector representing how much the evaluator i gives the impression value to which stage (in other words, the appearance probability for each impression value k in the evaluator i). For example, when "brightness" is evaluated on a scale of "very dark: 1", "dark: 2", "normal: 3", "bright: 4", and "very bright: 5", the evaluator with i = 0 1% rated "very dark: 1", 2% rated "dark: 2", 30% rated "normal: 3", 58% rated "bright: 4", and "very dark" The evaluation of "bright: 5" is evaluated with a distribution of 9%, and the evaluator tendency q (i, k) at that time is a vector such as [1%, 2%, 30%, 58%, 9%]. ..
以下、図2を参照して、実施形態の印象推定モデル学習装置1が実行する印象推定モデル学習方法について説明する。
Hereinafter, the impression estimation model learning method executed by the impression estimation
ステップS11において、印象推定部11−nは、印象推定モデル記憶部111−nに記憶された印象推定モデルnを用いて、学習データx(j)に対する印象値の事後確率p(j, n)を計算して出力する。印象推定モデルnは、入力されたデータから印象値の事後確率を推定するモデルであり、評価の傾向を学習したものである。例えば、ある印象を{4, 5}で評価する評価者のグループもいれば、{3, 4, 5}で評価する評価者のグループや、{1, 2, 3, 4, 5}で評価する評価者のグループもいる。このとき、印象推定部11−1は印象を{4, 5}で推定し、印象推定部11−2は印象を{3, 4, 5}で推定し、印象推定部11−3は印象を{1, 2, 3, 4, 5}で推定する、といったように、各印象推定部11−nは評価者のグループの傾向を反映した印象推定を行う。印象推定部11−nの数Nは、評価者傾向データベースを用いて、自動的にクラスタ数を決定するクラスタリングを行い、求められたクラスタ数をNとすればよい。自動的にクラスタ数を決定するクラスタリングとしては、参考文献1に記載されたX-means等を用いることができる。
In step S11, the impression estimation unit 11-n uses the impression estimation model n stored in the impression estimation model storage unit 111-n to obtain posterior probabilities p (j, n) of the impression value with respect to the training data x (j). Is calculated and output. The impression estimation model n is a model that estimates the posterior probability of the impression value from the input data, and learns the evaluation tendency. For example, some evaluators evaluate an impression on {4, 5}, some evaluate on {3, 4, 5}, and some evaluate on {1, 2, 3, 4, 5}. There is also a group of evaluators who do. At this time, the impression estimation unit 11-1 estimates the impression with {4,5}, the impression estimation unit 11-2 estimates the impression with {3, 4, 5}, and the impression estimation unit 11-3 estimates the impression. Each impression estimation unit 11-n makes an impression estimation that reflects the tendency of the evaluator's group, such as estimating with {1, 2, 3, 4, 5}. The number N of the impression estimation unit 11-n may be clustered to automatically determine the number of clusters using the evaluator tendency database, and the obtained number of clusters may be N. As the clustering for automatically determining the number of clusters, X-means or the like described in
〔参考文献1〕Dan Pelleg, Andrew W. Moore, "X-means: Extending K-means with Efficient Estimation of the Number of Clusters", ICML 2000, pp. 727-734, 2000. [Reference 1] Dan Pelleg, Andrew W. Moore, "X-means: Extending K-means with Efficient Estimation of the Number of Clusters", ICML 2000, pp. 727-734, 2000.
なお、評価者傾向は The evaluator tendency is
が成り立つため、q(i, k)はディレクレ分布と同じ条件下(各次元の和が常に1)にある。参考文献1は、k-meansアルゴリズムによってクラスタを決定し、クラスタを増やすか否かを決定するベイズ情報量規準(BIC: Bayesian Information Criterion)の計算を、クラスタが正規分布に従うことを仮定して計算しているが、k-meansではなくk混合のディレクレ分布をEMアルゴリズムによってクラスタ数を求め、BICの計算も混合ディリクレ分布に基づいて計算することで、評価者傾向のグループ数をより厳密に求めることができる。
Therefore, q (i, k) is under the same conditions as the Dirichlet distribution (the sum of each dimension is always 1).
事後確率とは、学習データx(j)が各段階に推定される確率を示す。例えば、「明るさ」を上記の5段階で評価するときの事後確率がp(j, n)=[0.10, 0.20, 0.30, 0.25, 0.15]の場合、学習データx(j)は、「非常に暗い:1」の確率が0.1、「暗い:2」の確率が0.2、「普通:3」の確率が0.30、「明るい:4」の確率が0.25、「非常に明るい:5」の確率が0.15となる。 The posterior probability indicates the probability that the training data x (j) is estimated at each stage. For example, when the posterior probability when evaluating "brightness" in the above five stages is p (j, n) = [0.10, 0.20, 0.30, 0.25, 0.15], the training data x (j) is "extremely". The probability of "dark: 1" is 0.1, the probability of "dark: 2" is 0.2, the probability of "normal: 3" is 0.30, the probability of "bright: 4" is 0.25, and the probability of "very bright: 5" is It becomes 0.15.
印象推定部11−nは、例えばニューラルネットワークやサポートベクターマシン(SVM: Support Vector Machine)等の一般的な機械学習の手法で推定することができる。この印象推定部11−nで用いる印象推定モデルnは、学習初期値ではパラメータをランダムに設定する。 The impression estimation unit 11-n can be estimated by a general machine learning method such as a neural network or a support vector machine (SVM). In the impression estimation model n used in the impression estimation unit 11-n, parameters are randomly set at the initial learning value.
ステップS12において、重み推定部12は、重み推定モデル記憶部16に記憶されている重み推定モデルを用いて、評価者傾向データ記憶部15に記憶された評価者傾向q(i, k)から重みα(j, n)を求める。重み推定モデルは、入力された評価者傾向から重みを推定するモデルである。この重みα(j, n)は、印象推定部11−1〜11−Nのうち、ある印象推定部11−nを最終的な推定結果としてどの程度考慮するかを表す割合の値である。重み推定部12も印象推定部11−nと同様に事後確率として重みα(j, n)を求めることができる。例えば、印象推定部11−1〜11−3において重みがα(j, 1)=0.1、α(j, 2)=0.6、α(j, 3)=0.3のとき、印象推定部11−1は10%、印象推定部11−2は60%、印象推定部11−3は30%の割合で、最終的な推定結果として考慮することとなる。
In step S12, the
重み推定部12は、例えばニューラルネットワークやサポートベクターマシン等の一般的な機械学習の手法で推定することができる。この重み推定部12で用いる重み推定モデルは、学習初期値ではパラメータをランダムに設定する。
The
ステップS13において、モデル学習部13は、重み推定部12が出力する重みα(j, n)と印象推定部11−nが出力する事後確率p(j, n)と学習データ記憶部14に記憶されている学習データx(j)および印象値y(j)とを用いて、重み推定モデル記憶部16に記憶されている重み推定モデルと印象推定モデル記憶部111−nに記憶されている印象推定モデルnとを更新する。モデル学習部13は、重み推定モデル更新部131と印象推定モデル更新部132との両方を含んでおり、学習を繰り返す際に重み推定モデルと印象推定モデルnとを交互に更新していく。
In step S13, the
ステップS131において、重み推定モデル更新部131は、事後確率p(j, n)を与えたときの重み推定モデルを更新する。重み推定モデルは、例えばニューラルネットワークやサポートベクターマシン等でモデル化している。学習データx(j)の印象値y(j)と事後確率p(j, n)の重み和
In step S131, the weight estimation
との差分から重み推定モデルを更新する。重み推定モデルがニューラルネットワークの場合は、ニューラルネットワークの一般的な学習法(誤差伝搬法)から重み推定モデルを更新することができる。重み推定モデルがサポートベクターマシンの場合は、 Update the weight estimation model from the difference with. When the weight estimation model is a neural network, the weight estimation model can be updated from the general learning method (error propagation method) of the neural network. If the weight estimation model is a support vector machine,
である印象推定モデル番号^nを求め、評価者傾向q(i(j), k)を入力として、印象推定モデル番号^nを推定できるようにサポートベクターマシンを学習する。 The impression estimation model number ^ n is obtained, and the support vector machine is trained so that the impression estimation model number ^ n can be estimated by inputting the evaluator tendency q (i (j), k).
ステップS132において、印象推定モデル更新部132は、重みα(j, n)を与えたときに、印象推定モデルnを更新する。印象推定モデルnの更新は各モデルで一般的な方法で更新するが、各モデルの学習に用いるサンプルx[j], y[j]の学習の重みをα(j, n)で与えて学習する。
In step S132, the impression estimation
重み推定モデル更新部131と印象推定モデル更新部132とを交互に更新していくことで、印象の評価者傾向のグループが印象推定モデル1〜Nに自動的にクラスタリングされ、評価者の傾向ごとにどの印象推定モデルnを重点的に推定結果として反映するかを表す重みが学習されるようになる。推定時には、入力された評価者傾向に応じて、適切な印象推定部11−nが重みαで選択され、入力データに対する統合された事後確率が求められるようになる。
By alternately updating the weight estimation
本実施形態では、重み推定モデル更新部131と印象推定モデル更新部132とを交互に更新していったが、両者ともニューラルネットワークでモデル化する際は、重み推定モデル更新部131と重み推定モデル記憶部16、印象推定モデル更新部132と印象推定モデル記憶部111−nを1つのニューラルネットワークで表現することができるため、y(j)とy'(j)との誤差の値から、同時に重み推定モデルと印象推定モデルとを更新することができるようになる。
In the present embodiment, the weight estimation
<印象推定装置>
実施形態の印象推定装置2は、図3に示すように、N(≧2)個の印象推定部11−n(n=1, 2, …, N)と、重み推定部12と、重み推定モデル記憶部16と、推定値統合部17とを備える。各印象推定部11−nは、印象推定モデル記憶部111−nを備える。この印象推定装置2が、図4に例示する各ステップの処理を行うことにより実施形態の印象推定方法が実現される。
<Impression estimation device>
As shown in FIG. 3, the
印象推定装置2は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。印象推定装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。印象推定装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。印象推定装置2の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。印象推定装置2が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
The
印象推定モデル記憶部111−nには、印象推定モデル学習装置1により学習した印象推定モデルnが記憶されている。
The impression estimation model storage unit 111-n stores the impression estimation model n learned by the impression estimation
重み推定モデル記憶部16には、印象推定モデル学習装置1により学習した重み推定モデルが記憶されている。
The weight estimation
以下、図4を参照して、実施形態の印象推定装置2が実行する印象推定方法について説明する。
Hereinafter, the impression estimation method executed by the
ステップS11において、印象推定部11−nは、印象推定モデル記憶部111−nに記憶された印象推定モデルnを用いて、入力データxに対する印象値の事後確率p(n)を計算して出力する。各印象推定部11−nが出力した印象値の事後確率p(n)は推定値統合部17へ入力される。
In step S11, the impression estimation unit 11-n calculates and outputs the posterior probability p (n) of the impression value with respect to the input data x using the impression estimation model n stored in the impression estimation model storage unit 111-n. To do. The posterior probabilities p (n) of the impression values output by each impression estimation unit 11-n are input to the estimation
ステップS12において、重み推定部12は、重み推定モデル記憶部16に記憶されている重み推定モデルを用いて、入力された評価者傾向q(k)から重みα(n)を求める。重み推定部12が出力した重みα(n)は推定値統合部17へ入力される。
In step S12, the
重み推定部12へ入力される評価者傾向q(k)は、任意の評価者傾向を与えることができる。例えば、ある実在の評価者の評価者傾向q(k)を与えれば、その評価者と同じ傾向にある評価者の印象値を推定することができる。また、人手で設定した仮想的な評価者の評価者傾向q(k)を与えれば、その仮想的な評価者による印象値をシミュレーションすることができる。さらに、評価者全体から算出した評価者傾向q(k)の平均値を与えれば、平均的な印象値を求めることも可能である。
The evaluator tendency q (k) input to the
ステップS17において、推定値統合部17は、印象推定部11−nから受け取った事後確率p(n)と重み推定部12から受け取った重みα(n)とを用いて次式を計算し、統合された事後確率yを計算する。
In step S17, the estimation
推定値統合部17は、統合された事後確率から最も高い事後確率の次元を、推定する印象値cとして出力する。また、統合された事後確率y自体を印象値cとして用いることも可能である。
The estimated
本実施形態では、印象推定の補助情報として評価者の評価者傾向q(k)を与えたが、その他の情報も補助情報として重み推定部12に与えることが可能である。例えば、予め定めた環境に関する情報を評価者の評価者傾向q(k)と組み合わせて補助情報として重み推定部12に与えてもよい。環境に関する情報とは、印象の評価に影響を与え得る環境に関する情報であり、例えば、コールセンターの録音音声からオペレータの印象(例えば、好感度、明るさ等)の自動推定を行う場合は、そのコールセンターの受付内容(例えば、故障受付、新規受付、解約受付、お客様相談等)やコールセンターの担当者のスキル(例えば、一次受付担当、スーパーバイザー等)によって印象の評価が異なる可能性があるため、コールセンターの受付内容やスキルの属性を表す値が想定される。また、画像の印象を評価する場面であれば周囲の明るさが評価に影響を与える可能性があるため、屋内か屋外かなどの評価を行う環境の属性を表す値などが想定される。すなわち、印象の評価に影響を与え得る環境に関する情報を補助情報として与えることで、環境による評価のブレを反映した印象推定を行うことが可能となる。
In the present embodiment, the evaluator tendency q (k) of the evaluator is given as auxiliary information for impression estimation, but other information can also be given to the
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。 Although the embodiments of the present invention have been described above, the specific configuration is not limited to these embodiments, and even if the design is appropriately changed without departing from the spirit of the present invention, the specific configuration is not limited to these embodiments. Needless to say, it is included in the present invention. The various processes described in the embodiments are not only executed in chronological order according to the order described, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
[Program, recording medium]
When various processing functions in each device described in the above embodiment are realized by a computer, the processing contents of the functions that each device should have are described by a program. Then, by executing this program on the computer, various processing functions in each of the above devices are realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。 The program describing the processing content can be recorded on a computer-readable recording medium. The computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 In addition, the distribution of this program is carried out, for example, by selling, transferring, renting, or the like a portable recording medium such as a DVD or CD-ROM on which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。 A computer that executes such a program first, for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own storage device and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be. The program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 Further, in this embodiment, the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.
1 印象推定モデル学習装置
2 印象推定装置
11 印象推定部
111 印象推定モデル記憶部
12 重み推定部
13 モデル学習部
14 学習データ記憶部
15 評価者傾向データ記憶部
16 重み推定モデル記憶部
17 推定値統合部
1 Impression estimation
Claims (8)
上記入力データの印象値は、上記重み推定モデルが推定した重みにより上記印象推定モデルが推定した印象値の事後確率を重み付けした統合事後確率に基づいて求められるものであり、
学習データとその学習データに付与された印象値の正解値とその印象値の正解値を与えた評価者とを関連付けた学習データベースを記憶する学習データ記憶部と、
評価者と上記評価者傾向とを関連付けた評価者傾向データベースを記憶する評価者傾向データ記憶部と、
上記評価者傾向を分類したグループ毎に上記印象推定モデルを用いて上記学習データから上記印象値の事後確率を推定する印象推定部と、
上記重み推定モデルを用いて上記学習データに関連付けられた上記評価者傾向から上記重みを推定する重み推定部と、
上記重みにより重み付けした上記印象値の事後確率と上記学習データに付与された上記印象値の正解値との差分から上記重み推定モデルを更新する重み推定モデル更新部と、
上記印象値の事後確率から上記重みを学習重みとして上記印象推定モデルを更新する印象推定モデル更新部と、
を含む印象推定モデル学習装置。 In order to obtain the impression value of the input data, a weight estimation model that estimates the weight from the evaluator tendency that represents the appearance probability of each impression value in the evaluator, and an impression estimation model that estimates the posterior probability of the impression value from the input data, It is an impression estimation model learning device that learns
The impression value of the input data is obtained based on the integrated posterior probability obtained by weighting the posterior probability of the impression value estimated by the impression estimation model with the weight estimated by the weight estimation model.
A learning data storage unit that stores a learning database that associates the learning data with the correct answer value of the impression value given to the learning data and the evaluator who gave the correct answer value of the impression value.
An evaluator tendency data storage unit that stores an evaluator tendency database that associates an evaluator with the above evaluator tendency,
And the impression estimation unit to estimate the posterior probability of the impression value from the learning data by using the impression estimation model in each group were classified on the Symbol evaluators trend,
A weight estimation unit that estimates the weight from the evaluator tendency associated with the learning data using the weight estimation model, and a weight estimation unit.
A weight estimation model update unit that updates the weight estimation model from the difference between the posterior probability of the impression value weighted by the weight and the correct answer value of the impression value given to the learning data.
An impression estimation model update unit that updates the impression estimation model using the weight as a learning weight from the posterior probability of the impression value,
Impression estimation model learning device including.
上記印象推定部は、上記評価者傾向データベースに基づいてクラスタ数を決定し、上記評価者傾向を上記クラスタ数に分類したグループ毎に上記印象推定モデルを用いて上記学習データから上記印象値の事後確率を推定するものである、
印象推定モデル学習装置。 The impression estimation model learning device according to claim 1.
The impression estimation unit determines the number of clusters based on the evaluator tendency database, and uses the impression estimation model for each group that classifies the evaluator tendency into the number of clusters. It estimates the probability,
Impression estimation model learning device.
上記評価者傾向データベースは、上記評価者と上記評価者傾向と評価を行った環境に関する情報とを関連付けたものであり、
上記重み推定モデルは、少なくとも上記環境に関する情報から上記重みを推定するものであり、
上記重み推定部は、上記重み推定モデルを用いて少なくとも上記学習データに関連付けられた上記環境に関する情報から上記重みを推定するものである、
印象推定モデル学習装置。 The impression estimation model learning device according to claim 1 or 2.
The evaluator tendency database associates the evaluator with the evaluator tendency and information on the environment in which the evaluation was performed.
The weight estimation model estimates the weights from at least information about the environment.
The weight estimation unit estimates the weight from at least the information about the environment associated with the learning data using the weight estimation model.
Impression estimation model learning device.
請求項1から3のいずれかに記載の印象推定モデル学習装置により学習した重み推定モデルを記憶する重み推定モデル記憶部と、
評価者における印象値毎の出現確率を表す評価者傾向を分類したグループ毎に上記印象推定モデルを用いて入力データから印象値の事後確率を推定する印象推定部と、
上記重み推定モデルを用いて入力された評価者傾向から重みを推定する重み推定部と、
上記重みにより重み付けした上記印象値の事後確率である統合事後確率に基づいて上記入力データの印象値を求める統合値推定部と、
を含む印象推定装置。 An impression estimation model storage unit that stores an impression estimation model learned by the impression estimation model learning device according to any one of claims 1 to 3.
A weight estimation model storage unit that stores the weight estimation model learned by the impression estimation model learning device according to any one of claims 1 to 3.
An impression estimation unit that estimates the posterior probability of the impression value from the input data using the above impression estimation model for each group that classifies the evaluator tendency that represents the appearance probability of each impression value in the evaluator.
A weight estimation unit that estimates weights from the evaluator tendency input using the above weight estimation model,
An integrated value estimation unit that obtains the impression value of the input data based on the integrated posterior probability, which is the posterior probability of the impression value weighted by the weight.
Impression estimator including.
上記統合値推定部は、上記統合事後確率のうち値が最も高い次元を上記入力データの印象値として求めるものである、
印象推定装置。 The impression estimation device according to claim 4.
The integrated value estimation unit obtains the dimension having the highest value among the integrated posterior probabilities as an impression value of the input data.
Impression estimator.
上記入力データの印象値は、上記重み推定モデルが推定した重みにより上記印象推定モデルが推定した印象値の事後確率を重み付けした統合事後確率に基づいて求められるものであり、
学習データ記憶部に、学習データとその学習データに付与された印象値の正解値とその印象値の正解値を与えた評価者とを関連付けた学習データベースが記憶されており、
評価者傾向データ記憶部に、評価者と上記評価者傾向とを関連付けた評価者傾向データベースが記憶されており、
印象推定部が、上記評価者傾向を分類したグループ毎に上記印象推定モデルを用いて上記学習データから上記印象値の事後確率を推定し、
重み推定部が、上記重み推定モデルを用いて上記学習データに関連付けられた上記評価者傾向から上記重みを推定し、
重み推定モデル更新部が、上記重みにより重み付けした上記印象値の事後確率と上記学習データに付与された上記印象値の正解値との差分から上記重み推定モデルを更新し、
印象推定モデル更新部が、上記印象値の事後確率から上記重みを学習重みとして上記印象推定モデルを更新する、
印象推定モデル学習方法。 In order to obtain the impression value of the input data, a weight estimation model that estimates the weight from the evaluator tendency that represents the appearance probability of each impression value in the evaluator, and an impression estimation model that estimates the posterior probability of the impression value from the input data, It is an impression estimation model learning method to learn
The impression value of the input data is obtained based on the integrated posterior probability obtained by weighting the posterior probability of the impression value estimated by the impression estimation model with the weight estimated by the weight estimation model.
The learning data storage unit stores a learning database that associates the learning data with the correct answer value of the impression value given to the learning data and the evaluator who gave the correct answer value of the impression value.
The evaluator tendency data storage unit stores an evaluator tendency database that associates the evaluator with the above evaluator tendency.
Impression estimation section, using the impression estimation model to estimate the posterior probability of the impression value from the learning data for each group classified the above evaluation's trend,
The weight estimation unit estimates the weight from the evaluator tendency associated with the training data using the weight estimation model, and then estimates the weight.
The weight estimation model update unit updates the weight estimation model from the difference between the posterior probability of the impression value weighted by the weight and the correct answer value of the impression value given to the learning data.
The impression estimation model update unit updates the impression estimation model from the posterior probability of the impression value using the weight as a learning weight.
Impression estimation model learning method.
重み推定モデル記憶部に、請求項6に記載の印象推定モデル学習方法により学習した重み推定モデルが記憶されており、
印象推定部が、評価者における印象値毎の出現確率を表す評価者傾向を分類したグループ毎に上記印象推定モデルを用いて入力データから印象値の事後確率を推定し、
重み推定部が、上記重み推定モデルを用いて入力された評価者傾向から重みを推定し、
統合値推定部が、上記重みにより重み付けした上記印象値の事後確率である統合事後確率に基づいて上記入力データの印象値を求める、
印象推定方法。 The impression estimation model storage unit stores the impression estimation model learned by the impression estimation model learning method according to claim 6.
The weight estimation model stored in the weight estimation model storage unit stores the weight estimation model learned by the impression estimation model learning method according to claim 6.
The impression estimation unit estimates the posterior probability of the impression value from the input data using the above impression estimation model for each group that classifies the evaluator tendency representing the appearance probability of each impression value in the evaluator.
The weight estimation unit estimates the weight from the evaluator tendency input using the above weight estimation model.
The integrated value estimation unit obtains the impression value of the input data based on the integrated posterior probability, which is the posterior probability of the impression value weighted by the weight.
Impression estimation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223599A JP6856503B2 (en) | 2017-11-21 | 2017-11-21 | Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017223599A JP6856503B2 (en) | 2017-11-21 | 2017-11-21 | Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019095968A JP2019095968A (en) | 2019-06-20 |
JP6856503B2 true JP6856503B2 (en) | 2021-04-07 |
Family
ID=66972991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017223599A Active JP6856503B2 (en) | 2017-11-21 | 2017-11-21 | Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6856503B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7342491B2 (en) | 2019-07-25 | 2023-09-12 | オムロン株式会社 | Inference device, inference method, and inference program |
JPWO2021019643A1 (en) * | 2019-07-29 | 2021-02-04 | ||
JP7396133B2 (en) | 2020-03-11 | 2023-12-12 | オムロン株式会社 | Parameter adjustment device, inference device, parameter adjustment method, and parameter adjustment program |
JP7010337B2 (en) * | 2020-07-03 | 2022-01-26 | 楽天グループ株式会社 | A program of a learning device, an estimation device, a learning method, an estimation method, a program, and a trained estimation model. |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4611938B2 (en) * | 2006-06-19 | 2011-01-12 | 日本電信電話株式会社 | Subjective quality estimation formula deriving method, subjective quality estimation formula deriving apparatus and processing program therefor |
JP4524709B2 (en) * | 2007-12-03 | 2010-08-18 | ソニー株式会社 | Information processing apparatus and method, and program |
JP5353443B2 (en) * | 2009-05-25 | 2013-11-27 | 株式会社Jvcケンウッド | Data classifier creation device, data classifier, data classifier creation method, data classification method, data classifier creation program, data classification program |
JP2016207171A (en) * | 2015-04-28 | 2016-12-08 | 日本電信電話株式会社 | Parameter estimation method, evaluation value estimation method, apparatus, and program |
-
2017
- 2017-11-21 JP JP2017223599A patent/JP6856503B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019095968A (en) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6856503B2 (en) | Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program | |
CN112346567B (en) | Virtual interaction model generation method and device based on AI (Artificial Intelligence) and computer equipment | |
US11144581B2 (en) | Verifying and correcting training data for text classification | |
CN109815459A (en) | Generate the target summary for being adjusted to the content of text of target audience's vocabulary | |
US10395646B2 (en) | Two-stage training of a spoken dialogue system | |
JP7208595B2 (en) | Movie Success Index Prediction | |
CN111328407A (en) | Mechanical learning method, apparatus and computer program for providing customized personal educational content based on learning efficiency | |
CN110415103A (en) | The method, apparatus and electronic equipment that tenant group mentions volume are carried out based on variable disturbance degree index | |
CN110349007A (en) | The method, apparatus and electronic equipment that tenant group mentions volume are carried out based on variable discrimination index | |
JP2020144569A (en) | Model learning device, label estimation device, method thereof, and program | |
US20240112229A1 (en) | Facilitating responding to multiple product or service reviews associated with multiple sources | |
CN111783873A (en) | Incremental naive Bayes model-based user portrait method and device | |
JP2018194919A (en) | Learning program, learning method and learning device | |
US20200272961A1 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2021174814A1 (en) | Answer verification method and apparatus for crowdsourcing task, computer device, and storage medium | |
US20230334342A1 (en) | Non-transitory computer-readable recording medium storing rule update program, rule update method, and rule update device | |
JP2010272004A (en) | Discriminating apparatus, discrimination method, and computer program | |
US20220292393A1 (en) | Utilizing machine learning models to generate initiative plans | |
WO2020166321A1 (en) | Model learning device, label estimation device, method for these, and program | |
CN113763928A (en) | Audio category prediction method and device, storage medium and electronic equipment | |
CN113807749B (en) | Object scoring method and device | |
CN114862819B (en) | Image quality evaluation method, device, equipment and medium based on asymmetric network | |
US20230350977A1 (en) | Simulating training data to mitigate biases in machine learning models | |
CN110688371B (en) | Data adjustment method, device, electronic equipment and storage medium | |
JP2018163181A (en) | Educational material provision system, educational material provision method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6856503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |