JP6856503B2 - Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program - Google Patents

Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program Download PDF

Info

Publication number
JP6856503B2
JP6856503B2 JP2017223599A JP2017223599A JP6856503B2 JP 6856503 B2 JP6856503 B2 JP 6856503B2 JP 2017223599 A JP2017223599 A JP 2017223599A JP 2017223599 A JP2017223599 A JP 2017223599A JP 6856503 B2 JP6856503 B2 JP 6856503B2
Authority
JP
Japan
Prior art keywords
impression
estimation model
weight
value
evaluator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017223599A
Other languages
Japanese (ja)
Other versions
JP2019095968A (en
Inventor
歩相名 神山
歩相名 神山
哲 小橋川
哲 小橋川
厚志 安藤
厚志 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017223599A priority Critical patent/JP6856503B2/en
Publication of JP2019095968A publication Critical patent/JP2019095968A/en
Application granted granted Critical
Publication of JP6856503B2 publication Critical patent/JP6856503B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、データの印象を自動的に推定する技術に関する。 The present invention relates to a technique for automatically estimating the impression of data.

音声や画像等のデータの印象を自動推定する技術が必要とされている。例えば、音楽や画像の印象(明るさ、軽さ等)が推定できると、データの印象値を自動で付与し、データの検索に利用できるようになる。他にも、コールセンターのオペレータの印象(自然さ、好感度等)を推定できると、オペレータの応対品質の自動評価ができるようになる。 There is a need for technology that automatically estimates the impression of data such as voice and images. For example, if the impression (brightness, lightness, etc.) of music or an image can be estimated, the impression value of the data is automatically added and can be used for data search. In addition, if the impression (naturalness, likability, etc.) of the call center operator can be estimated, the response quality of the operator can be automatically evaluated.

機械学習を用いたデータの印象の自動推定には、予め印象値を付与したデータを人手で作成し、データと印象値とを紐付けた機械学習モデルを学習することで実現できる。このとき、人手で付与した印象値は、人によって評価の基準が異なるため、機械学習モデルを学習する際には、例えば下記のように学習データを整備することが必要となる(非特許文献1参照)。
1.印象値(数段階評価)を人手で複数名にてラベル付けする。
2.必要に応じて、数段階の印象値を2〜3段階のラベルに丸める。
3.人によってブレのあるデータを正解データから除外するために、複数名で一致したラベルのみを選別する(3名以上が付与している場合は、多数決によるラベルの選定でもよい)。
Automatic estimation of the impression of data using machine learning can be realized by manually creating data to which impression values are given in advance and learning a machine learning model that links the data and impression values. At this time, since the evaluation criteria of the impression value given manually differ depending on the person, it is necessary to prepare the learning data as follows, for example, when learning the machine learning model (Non-Patent Document 1). reference).
1. 1. Impression values (several grades) are manually labeled by multiple people.
2. If necessary, the impression value of several steps is rounded to a label of 2 to 3 steps.
3. 3. In order to exclude data that is blurred by people from the correct answer data, only labels that match with multiple people are selected (if three or more people give the label, the label may be selected by majority vote).

安定した印象値を推定するモデルを学習するためには、安定して印象値を付与できる評価者(例えば、異なる日に同じデータを聴取したときに、同じ印象値を付与できる評価者)を選定し、かつ、印象値を安定させながら付与するためには、休憩を挟みながら印象値の付与作業を行うことが必要である(非特許文献2参照)。 In order to learn a model that estimates a stable impression value, an evaluator who can give a stable impression value (for example, an evaluator who can give the same impression value when listening to the same data on different days) is selected. However, in order to give the impression value while stabilizing it, it is necessary to perform the impression value giving work with a break (see Non-Patent Document 2).

酒造正樹他、“情動・感情判別のための自然発話データベースの構築”、情報処理学会論文誌、vol. 52、No. 3、pp. 1185-1194、2011年Masaki Sake Brewery et al., “Construction of Natural Speech Database for Emotion / Emotion Discrimination”, IPSJ Journal, vol. 52, No. 3, pp. 1185-1194, 2011 籠宮隆之他、“印象評定データの概要”、[online]、[平成29年11月1日検索]、インターネット<URL: http://pj.ninjal.ac.jp/corpus_center/csj/manu-f/impression.pdf>Takayuki Kagomiya et al., “Summary of Impression Rating Data”, [online], [Searched on November 1, 2017], Internet <URL: http://pj.ninjal.ac.jp/corpus_center/csj/manu- f / impression.pdf>

安定した印象推定モデルを学習するためには、安定した評価者の選定、休憩を挟みながらの長期間の評価、およびブレのあるデータの除外等を行う必要があるため、非常にコストが高くなる。また、評価者をある程度選定してしまうと、その評価者数名の傾向に特化した印象推定モデルが学習されてしまい、推定された印象値が利用者の平均的な感覚の印象値とは異なるものとなる場合がある。 In order to learn a stable impression estimation model, it is necessary to select a stable evaluator, evaluate for a long period of time with a break, and exclude data with blurring, which is extremely costly. .. In addition, if an evaluator is selected to some extent, an impression estimation model specialized for the tendency of several evaluators is learned, and the estimated impression value is the impression value of the average feeling of the user. It may be different.

この発明の目的は、上記のような点に鑑みて、評価者の選定やデータの除外を行わずに、評価者の印象評価の傾向を加味しつつ、平均的な印象値を安定的に推定することができる印象推定技術を実現することである。 In view of the above points, an object of the present invention is to stably estimate an average impression value without selecting an evaluator or excluding data, taking into account the tendency of the evaluator's impression evaluation. It is to realize the impression estimation technology that can be done.

上記の課題を解決するために、この発明の第一の態様の印象推定モデル学習装置は、学習データとその学習データに付与された印象値の正解値とその印象値の正解値を与えた評価者とを関連付けた学習データベースを記憶する学習データ記憶部と、評価者とその評価者における印象値毎の出現確率を表す評価者傾向とを関連付けた評価者傾向データベースを記憶する評価者傾向データ記憶部と、学習データから印象値の事後確率を推定する印象推定モデルを記憶する印象推定モデル記憶部と、評価者傾向から重みを推定する重み推定モデルを記憶する重み推定モデル記憶部と、評価者傾向を分類したグループ毎に印象推定モデルを用いて学習データから印象値の事後確率を推定する印象推定部と、重み推定モデルを用いて学習データに関連付けられた評価者傾向から重みを推定する重み推定部と、重みにより重み付けした印象値の事後確率と学習データに付与された印象値の正解値との差分から重み推定モデルを更新する重み推定モデル更新部と、印象値の事後確率から重みを学習重みとして印象推定モデルを更新する印象推定モデル更新部と、を含む。 In order to solve the above problems, the impression estimation model learning device according to the first aspect of the present invention is an evaluation in which the learning data, the correct answer value of the impression value given to the learning data, and the correct answer value of the impression value are given. Evaluator tendency data storage that stores the evaluator tendency database that associates the learning data storage unit that stores the learning database associated with the person and the evaluator tendency that represents the appearance probability of each impression value in the evaluator and the evaluator. The unit, the impression estimation model storage unit that stores the impression estimation model that estimates the posterior probability of the impression value from the training data, the weight estimation model storage unit that stores the weight estimation model that estimates the weight from the evaluator tendency, and the evaluator. The impression estimation unit that estimates the posterior probability of the impression value from the training data using the impression estimation model for each group that classifies the tendency, and the weight that estimates the weight from the evaluator tendency associated with the training data using the weight estimation model. The weight estimation model update unit that updates the weight estimation model from the difference between the estimation unit and the posterior probability of the impression value weighted by the weight and the correct answer value of the impression value given to the learning data, and the weight estimation model update unit that updates the weight from the posterior probability of the impression value. It includes an impression estimation model update unit that updates the impression estimation model as a learning weight.

上記の課題を解決するために、この発明の第二の態様の印象推定装置は、第一の態様の印象推定モデル学習装置により学習した印象推定モデルを記憶する印象推定モデル記憶部と、第一の態様の印象推定モデル学習装置により学習した重み推定モデルを記憶する重み推定モデル記憶部と、評価者における印象値毎の出現確率を表す評価者傾向を分類したグループ毎に印象推定モデルを用いて入力データから印象値の事後確率を推定する印象推定部と、重み推定モデルを用いて入力された評価者傾向から重みを推定する重み推定部と、重みにより重み付けした印象値の事後確率である統合事後確率に基づいて入力データの印象値を求める統合値推定部と、を含む。 In order to solve the above problems, the impression estimation device of the second aspect of the present invention includes an impression estimation model storage unit that stores an impression estimation model learned by the impression estimation model learning device of the first aspect, and a first impression estimation model storage unit. Impression estimation model of the above aspect Using the weight estimation model storage unit that stores the weight estimation model learned by the learning device, and the impression estimation model for each group that classifies the evaluator tendency that represents the appearance probability for each impression value in the evaluator. An impression estimation unit that estimates the posterior probability of the impression value from the input data, a weight estimation unit that estimates the weight from the evaluator tendency input using the weight estimation model, and an integration that is the posterior probability of the impression value weighted by the weight. It includes an integrated value estimation unit that obtains the impression value of input data based on posterior probabilities.

この発明の印象推定技術によれば、学習データの全データについて全評価者が印象値を付与する必要が無いため、評価者の選定や長期間の拘束が不要となり、かつ、ラベルの選定が不要となるため、学習データの作成コストを削減することができる。これにより、人によって基準が異なる印象値について、平均的な印象値を安定的に推定することが可能となる。すなわち、この発明の印象推定技術によれば、評価者の選定やデータの除外を行わずに、評価者の印象評価の傾向を加味しつつ、平均的な印象値を安定的に推定することができる。 According to the impression estimation technique of the present invention, it is not necessary for all evaluators to give impression values to all the training data, so that it is not necessary to select an evaluator or restraint for a long period of time, and it is not necessary to select a label. Therefore, the cost of creating learning data can be reduced. This makes it possible to stably estimate the average impression value for the impression value whose standard differs depending on the person. That is, according to the impression estimation technique of the present invention, it is possible to stably estimate the average impression value while taking into account the tendency of the evaluator's impression evaluation without selecting the evaluator or excluding the data. it can.

図1は、印象推定モデル学習装置の機能構成を例示する図である。FIG. 1 is a diagram illustrating a functional configuration of an impression estimation model learning device. 図2は、印象推定モデル学習方法の処理手続きを例示する図である。FIG. 2 is a diagram illustrating the processing procedure of the impression estimation model learning method. 図3は、印象推定装置の機能構成を例示する図である。FIG. 3 is a diagram illustrating the functional configuration of the impression estimation device. 図4は、印象推定方法の処理手続きを例示する図である。FIG. 4 is a diagram illustrating the processing procedure of the impression estimation method.

この発明のポイントは、以下の通りである。まず、複数の印象推定モデルにより評価者による印象値のブレを傾向毎のグループに自動分類する。次に、印象値の推定結果を自動分類した結果に、評価者による印象値のブレの傾向に応じた重みを与え、その結果を統合して最終的な印象値を推定する。このようにして、印象値の推定結果に対して、評価者による評価の平均的なブレを与えて、平均的な印象値を推定する。 The points of the present invention are as follows. First, the fluctuation of the impression value by the evaluator is automatically classified into a group for each tendency by a plurality of impression estimation models. Next, the results of automatic classification of the impression value estimation results are weighted according to the tendency of the impression value to fluctuate by the evaluator, and the results are integrated to estimate the final impression value. In this way, the average impression value is estimated by giving the average deviation of the evaluation by the evaluator to the estimation result of the impression value.

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail. In the drawings, the components having the same function are given the same number, and duplicate description will be omitted.

この発明の実施形態は、予め用意した学習データと評価者傾向データとを用いて印象推定モデルと重み推定モデルとを学習する印象推定モデル学習装置と、学習済みの印象推定モデルと重み推定モデルとを用いて入力されたデータの印象値を推定する印象推定装置とに大きく分かれる。以下、実施形態の印象推定モデル学習装置と印象推定装置の機能構成と処理手続きの詳細を順に説明する。 An embodiment of the present invention includes an impression estimation model learning device that learns an impression estimation model and a weight estimation model using training data and evaluator tendency data prepared in advance, and a trained impression estimation model and a weight estimation model. It is roughly divided into an impression estimation device that estimates the impression value of the input data using. Hereinafter, the details of the functional configuration and the processing procedure of the impression estimation model learning device and the impression estimation device of the embodiment will be described in order.

なお、文中で使用する記号「^」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。 The symbol "^" etc. used in the text should be written directly above the character immediately after it, but due to restrictions on the text notation, it should be written immediately before the character. In the mathematical formula, these symbols are described in their original positions, that is, directly above the letters.

<印象推定モデル学習装置>
実施形態の印象推定モデル学習装置1は、図1に示すように、N(≧2)個の印象推定部11−n(n=1, 2, …, N)と、重み推定部12と、モデル学習部13と、学習データ記憶部14と、評価者傾向データ記憶部15と、重み推定モデル記憶部16とを備える。各印象推定部11−nは、印象推定モデル記憶部111−nを備える。モデル学習部13は、重み推定モデル更新部131と、印象推定モデル更新部132とを備える。この印象推定モデル学習装置1が、図2に例示する各ステップの処理を行うことにより実施形態の印象推定モデル学習方法が実現される。
<Impression estimation model learning device>
As shown in FIG. 1, the impression estimation model learning device 1 of the embodiment includes N (≧ 2) impression estimation units 11-n (n = 1, 2, ..., N), weight estimation units 12, and weight estimation units 12. It includes a model learning unit 13, a learning data storage unit 14, an evaluator tendency data storage unit 15, and a weight estimation model storage unit 16. Each impression estimation unit 11-n includes an impression estimation model storage unit 111-n. The model learning unit 13 includes a weight estimation model update unit 131 and an impression estimation model update unit 132. The impression estimation model learning method of the embodiment is realized by the impression estimation model learning device 1 performing the processing of each step illustrated in FIG.

印象推定モデル学習装置1は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。印象推定モデル学習装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。印象推定モデル学習装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。印象推定モデル学習装置1の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。印象推定モデル学習装置1が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。 The impression estimation model learning device 1 is configured by loading a special program into a known or dedicated computer having, for example, a central processing unit (CPU), a main storage device (RAM: Random Access Memory), or the like. It is a special device. The impression estimation model learning device 1 executes each process under the control of the central processing unit, for example. The data input to the impression estimation model learning device 1 and the data obtained by each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out to the central processing unit as needed. It is used for other processing. At least a part of each processing unit of the impression estimation model learning device 1 may be configured by hardware such as an integrated circuit. Each storage unit included in the impression estimation model learning device 1 is, for example, an auxiliary storage device composed of a main storage device such as RAM (Random Access Memory) and a semiconductor memory element such as a hard disk, an optical disk, or a flash memory (Flash Memory). , Or it can be configured with middleware such as a relational database or key-value store.

学習データ記憶部14には、印象推定モデルを学習するための学習データを蓄積した学習データベースが記憶されている。学習データベースの例を表1に示す。学習データベースは、表1に示すように、データ番号j(j=0, 1, …, J-1)に対して学習データx(j)、印象値y(j)、および評価者番号i(j)が関連付けられている。ここで、Jは学習データの総数である。 The learning data storage unit 14 stores a learning database that stores learning data for learning the impression estimation model. An example of the learning database is shown in Table 1. As shown in Table 1, the learning database has the training data x (j), the impression value y (j), and the evaluator number i (for the data number j (j = 0, 1,…, J-1). j) is associated. Here, J is the total number of training data.

Figure 0006856503
Figure 0006856503

学習データx(j)は、画像や音声等のデータを示す。1つの学習データx(j)に対して複数の評価者が印象値を付与するため、学習データベース内には同じ値の学習データx(j)が複数存在する(例えば、表1のj=0とj=1、j=2とj=3とj=4等)。学習データx(j)は、例えば、画像データや音声データから抽出した公知の特徴量である。 The learning data x (j) indicates data such as images and sounds. Since a plurality of evaluators give impression values to one learning data x (j), there are a plurality of learning data x (j) having the same value in the learning database (for example, j = 0 in Table 1). And j = 1, j = 2, j = 3, and j = 4, etc.). The training data x (j) is, for example, a known feature amount extracted from image data or audio data.

印象値y(j)は、人手で付与した印象値、すなわち印象値の正解値である。印象値y(j)は、評価する段階数の次元を持つベクトルであり、評価した値の次元が1、それ以外の次元が0となるOne-hotなベクトルとなる。例えば、「明るさ」を「非常に暗い:1」「暗い:2」「普通:3」「明るい:4」「非常に明るい:5」の5段階で評価した場合、「非常に暗い:1」と評価した場合は[1, 0, 0, 0, 0]、「暗い:2」と評価した場合は[0, 1, 0, 0, 0]、「普通:3」と評価した場合は[0, 0, 1, 0, 0]、「明るい:4」と評価した場合は[0, 0, 0, 1, 0]、「非常に明るい:5」と評価した場合は[0, 0, 0, 0, 1]といったベクトルとなる。 The impression value y (j) is an impression value manually given, that is, a correct answer value of the impression value. The impression value y (j) is a vector having the dimension of the number of steps to be evaluated, and is a one-hot vector in which the dimension of the evaluated value is 1 and the other dimensions are 0. For example, when "brightness" is evaluated on a scale of "very dark: 1", "dark: 2", "normal: 3", "bright: 4", and "very bright: 5", "very dark: 1". When evaluated as [1, 0, 0, 0, 0], when evaluated as "dark: 2", [0, 1, 0, 0, 0], when evaluated as "normal: 3" [0, 0, 1, 0, 0], [0, 0, 0, 1, 0] when evaluated as "bright: 4", [0, 0] when evaluated as "very bright: 5" , 0, 0, 1].

評価者番号i(j)は、学習データx(j)に印象値y(j)を付与した評価者を示す識別子(ID)である。この評価者番号i(j)は、評価者傾向データ記憶部15に記憶されている評価者傾向データベースの評価者番号iと紐付く番号である。 The evaluator number i (j) is an identifier (ID) indicating an evaluator who has given the impression value y (j) to the learning data x (j). The evaluator number i (j) is a number associated with the evaluator number i of the evaluator tendency database stored in the evaluator tendency data storage unit 15.

通常の印象推定では、あるデータに対してすべての評価者が印象値を付与し、その平均値を学習データのラベルとして推定したり、不一致の印象値を排除したりして学習をする。しかし、現実的に全ての評価者が全データに対してラベルを付与し、かつ十分な学習データ量を得ることは莫大なコストが必要とされる。そこで本実施形態では、あるデータに対して1名以上の評価者が印象値を付与し、その評価者の傾向を補助情報として与えて学習を行う。これにより、あるデータについて全員の評価を必要とせずに、印象値を学習することができるようになる。 In normal impression estimation, all evaluators give impression values to a certain data, estimate the average value as a label of training data, or eliminate inconsistent impression values for learning. However, in reality, it requires a huge cost for all evaluators to label all the data and obtain a sufficient amount of training data. Therefore, in the present embodiment, one or more evaluators give an impression value to a certain data, and the tendency of the evaluator is given as auxiliary information for learning. This makes it possible to learn the impression value of a certain data without requiring evaluation by everyone.

評価者傾向データ記憶部15には、印象推定モデルを学習する際に与える補助情報である評価者傾向を蓄積した評価者傾向データベースが記憶されている。評価者傾向データベースの例を表2に示す。評価者傾向データベースでは、評価者番号i(i=0, 1, …, I-1)に対して評価者傾向q(i, k)(k=0, 1, …, K-1)が関連付けられている。ここで、Iは評価者の総数、Kは評価値の種類の数である。 The evaluator tendency data storage unit 15 stores an evaluator tendency database accumulating the evaluator tendency, which is auxiliary information given when learning the impression estimation model. Table 2 shows an example of the evaluator tendency database. In the evaluator tendency database, the evaluator tendency q (i, k) (k = 0, 1,…, K-1) is associated with the evaluator number i (i = 0, 1,…, I-1). Has been done. Here, I is the total number of evaluators, and K is the number of types of evaluation values.

Figure 0006856503
Figure 0006856503

評価者傾向q(i, k)は、評価者iが印象値をどの段階にどの程度付与しているか(言い換えると、評価者iにおける印象値k毎の出現確率)を表したベクトルである。例えば、「明るさ」を「非常に暗い:1」「暗い:2」「普通:3」「明るい:4」「非常に明るい:5」の5段階で評価した場合、i=0の評価者は「非常に暗い:1」の評価を1%、「暗い:2」の評価を2%、「普通:3」の評価を30%、「明るい:4」の評価を58%、「非常に明るい:5」の評価を9%の分布で評価しており、そのときの評価者傾向q(i, k)は[ 1%, 2%, 30%, 58%, 9%]といったベクトルとなる。 The evaluator tendency q (i, k) is a vector representing how much the evaluator i gives the impression value to which stage (in other words, the appearance probability for each impression value k in the evaluator i). For example, when "brightness" is evaluated on a scale of "very dark: 1", "dark: 2", "normal: 3", "bright: 4", and "very bright: 5", the evaluator with i = 0 1% rated "very dark: 1", 2% rated "dark: 2", 30% rated "normal: 3", 58% rated "bright: 4", and "very dark" The evaluation of "bright: 5" is evaluated with a distribution of 9%, and the evaluator tendency q (i, k) at that time is a vector such as [1%, 2%, 30%, 58%, 9%]. ..

以下、図2を参照して、実施形態の印象推定モデル学習装置1が実行する印象推定モデル学習方法について説明する。 Hereinafter, the impression estimation model learning method executed by the impression estimation model learning device 1 of the embodiment will be described with reference to FIG.

ステップS11において、印象推定部11−nは、印象推定モデル記憶部111−nに記憶された印象推定モデルnを用いて、学習データx(j)に対する印象値の事後確率p(j, n)を計算して出力する。印象推定モデルnは、入力されたデータから印象値の事後確率を推定するモデルであり、評価の傾向を学習したものである。例えば、ある印象を{4, 5}で評価する評価者のグループもいれば、{3, 4, 5}で評価する評価者のグループや、{1, 2, 3, 4, 5}で評価する評価者のグループもいる。このとき、印象推定部11−1は印象を{4, 5}で推定し、印象推定部11−2は印象を{3, 4, 5}で推定し、印象推定部11−3は印象を{1, 2, 3, 4, 5}で推定する、といったように、各印象推定部11−nは評価者のグループの傾向を反映した印象推定を行う。印象推定部11−nの数Nは、評価者傾向データベースを用いて、自動的にクラスタ数を決定するクラスタリングを行い、求められたクラスタ数をNとすればよい。自動的にクラスタ数を決定するクラスタリングとしては、参考文献1に記載されたX-means等を用いることができる。 In step S11, the impression estimation unit 11-n uses the impression estimation model n stored in the impression estimation model storage unit 111-n to obtain posterior probabilities p (j, n) of the impression value with respect to the training data x (j). Is calculated and output. The impression estimation model n is a model that estimates the posterior probability of the impression value from the input data, and learns the evaluation tendency. For example, some evaluators evaluate an impression on {4, 5}, some evaluate on {3, 4, 5}, and some evaluate on {1, 2, 3, 4, 5}. There is also a group of evaluators who do. At this time, the impression estimation unit 11-1 estimates the impression with {4,5}, the impression estimation unit 11-2 estimates the impression with {3, 4, 5}, and the impression estimation unit 11-3 estimates the impression. Each impression estimation unit 11-n makes an impression estimation that reflects the tendency of the evaluator's group, such as estimating with {1, 2, 3, 4, 5}. The number N of the impression estimation unit 11-n may be clustered to automatically determine the number of clusters using the evaluator tendency database, and the obtained number of clusters may be N. As the clustering for automatically determining the number of clusters, X-means or the like described in Reference 1 can be used.

〔参考文献1〕Dan Pelleg, Andrew W. Moore, "X-means: Extending K-means with Efficient Estimation of the Number of Clusters", ICML 2000, pp. 727-734, 2000. [Reference 1] Dan Pelleg, Andrew W. Moore, "X-means: Extending K-means with Efficient Estimation of the Number of Clusters", ICML 2000, pp. 727-734, 2000.

なお、評価者傾向は The evaluator tendency is

Figure 0006856503
Figure 0006856503

が成り立つため、q(i, k)はディレクレ分布と同じ条件下(各次元の和が常に1)にある。参考文献1は、k-meansアルゴリズムによってクラスタを決定し、クラスタを増やすか否かを決定するベイズ情報量規準(BIC: Bayesian Information Criterion)の計算を、クラスタが正規分布に従うことを仮定して計算しているが、k-meansではなくk混合のディレクレ分布をEMアルゴリズムによってクラスタ数を求め、BICの計算も混合ディリクレ分布に基づいて計算することで、評価者傾向のグループ数をより厳密に求めることができる。 Therefore, q (i, k) is under the same conditions as the Dirichlet distribution (the sum of each dimension is always 1). Reference 1 calculates the Bayesian Information Criterion (BIC), which determines clusters by the k-means algorithm and determines whether to increase the number of clusters, assuming that the clusters follow a normal distribution. However, the number of clusters is calculated by the EM algorithm instead of k-means, and the number of groups of evaluator tendency is calculated more strictly by calculating the BIC based on the mixed diricre distribution. be able to.

事後確率とは、学習データx(j)が各段階に推定される確率を示す。例えば、「明るさ」を上記の5段階で評価するときの事後確率がp(j, n)=[0.10, 0.20, 0.30, 0.25, 0.15]の場合、学習データx(j)は、「非常に暗い:1」の確率が0.1、「暗い:2」の確率が0.2、「普通:3」の確率が0.30、「明るい:4」の確率が0.25、「非常に明るい:5」の確率が0.15となる。 The posterior probability indicates the probability that the training data x (j) is estimated at each stage. For example, when the posterior probability when evaluating "brightness" in the above five stages is p (j, n) = [0.10, 0.20, 0.30, 0.25, 0.15], the training data x (j) is "extremely". The probability of "dark: 1" is 0.1, the probability of "dark: 2" is 0.2, the probability of "normal: 3" is 0.30, the probability of "bright: 4" is 0.25, and the probability of "very bright: 5" is It becomes 0.15.

印象推定部11−nは、例えばニューラルネットワークやサポートベクターマシン(SVM: Support Vector Machine)等の一般的な機械学習の手法で推定することができる。この印象推定部11−nで用いる印象推定モデルnは、学習初期値ではパラメータをランダムに設定する。 The impression estimation unit 11-n can be estimated by a general machine learning method such as a neural network or a support vector machine (SVM). In the impression estimation model n used in the impression estimation unit 11-n, parameters are randomly set at the initial learning value.

ステップS12において、重み推定部12は、重み推定モデル記憶部16に記憶されている重み推定モデルを用いて、評価者傾向データ記憶部15に記憶された評価者傾向q(i, k)から重みα(j, n)を求める。重み推定モデルは、入力された評価者傾向から重みを推定するモデルである。この重みα(j, n)は、印象推定部11−1〜11−Nのうち、ある印象推定部11−nを最終的な推定結果としてどの程度考慮するかを表す割合の値である。重み推定部12も印象推定部11−nと同様に事後確率として重みα(j, n)を求めることができる。例えば、印象推定部11−1〜11−3において重みがα(j, 1)=0.1、α(j, 2)=0.6、α(j, 3)=0.3のとき、印象推定部11−1は10%、印象推定部11−2は60%、印象推定部11−3は30%の割合で、最終的な推定結果として考慮することとなる。 In step S12, the weight estimation unit 12 uses the weight estimation model stored in the weight estimation model storage unit 16 to weight from the evaluator tendency q (i, k) stored in the evaluator tendency data storage unit 15. Find α (j, n). The weight estimation model is a model that estimates weights from the input evaluator tendency. The weight α (j, n) is a value of a ratio indicating how much of the impression estimation units 11-1 to 11-N considers a certain impression estimation unit 11-n as the final estimation result. The weight estimation unit 12 can also obtain the weight α (j, n) as a posterior probability in the same manner as the impression estimation unit 11-n. For example, when the weights in the impression estimation units 11-1 to 11-3 are α (j, 1) = 0.1, α (j, 2) = 0.6, and α (j, 3) = 0.3, the impression estimation unit 11-1 Is 10%, impression estimation unit 11-2 is 60%, and impression estimation unit 11-3 is 30%, which will be considered as the final estimation result.

重み推定部12は、例えばニューラルネットワークやサポートベクターマシン等の一般的な機械学習の手法で推定することができる。この重み推定部12で用いる重み推定モデルは、学習初期値ではパラメータをランダムに設定する。 The weight estimation unit 12 can estimate by a general machine learning method such as a neural network or a support vector machine. In the weight estimation model used in the weight estimation unit 12, parameters are randomly set at the initial learning value.

ステップS13において、モデル学習部13は、重み推定部12が出力する重みα(j, n)と印象推定部11−nが出力する事後確率p(j, n)と学習データ記憶部14に記憶されている学習データx(j)および印象値y(j)とを用いて、重み推定モデル記憶部16に記憶されている重み推定モデルと印象推定モデル記憶部111−nに記憶されている印象推定モデルnとを更新する。モデル学習部13は、重み推定モデル更新部131と印象推定モデル更新部132との両方を含んでおり、学習を繰り返す際に重み推定モデルと印象推定モデルnとを交互に更新していく。 In step S13, the model learning unit 13 stores the weight α (j, n) output by the weight estimation unit 12, the posterior probability p (j, n) output by the impression estimation unit 11-n, and the learning data storage unit 14. Using the learning data x (j) and the impression value y (j), the weight estimation model stored in the weight estimation model storage unit 16 and the impression stored in the impression estimation model storage unit 111-n. Update the estimation model n. The model learning unit 13 includes both the weight estimation model update unit 131 and the impression estimation model update unit 132, and the weight estimation model and the impression estimation model n are alternately updated when learning is repeated.

ステップS131において、重み推定モデル更新部131は、事後確率p(j, n)を与えたときの重み推定モデルを更新する。重み推定モデルは、例えばニューラルネットワークやサポートベクターマシン等でモデル化している。学習データx(j)の印象値y(j)と事後確率p(j, n)の重み和 In step S131, the weight estimation model update unit 131 updates the weight estimation model when the posterior probabilities p (j, n) are given. The weight estimation model is modeled by, for example, a neural network or a support vector machine. Weight sum of impression value y (j) of training data x (j) and posterior probability p (j, n)

Figure 0006856503
Figure 0006856503

との差分から重み推定モデルを更新する。重み推定モデルがニューラルネットワークの場合は、ニューラルネットワークの一般的な学習法(誤差伝搬法)から重み推定モデルを更新することができる。重み推定モデルがサポートベクターマシンの場合は、 Update the weight estimation model from the difference with. When the weight estimation model is a neural network, the weight estimation model can be updated from the general learning method (error propagation method) of the neural network. If the weight estimation model is a support vector machine,

Figure 0006856503
Figure 0006856503

である印象推定モデル番号^nを求め、評価者傾向q(i(j), k)を入力として、印象推定モデル番号^nを推定できるようにサポートベクターマシンを学習する。 The impression estimation model number ^ n is obtained, and the support vector machine is trained so that the impression estimation model number ^ n can be estimated by inputting the evaluator tendency q (i (j), k).

ステップS132において、印象推定モデル更新部132は、重みα(j, n)を与えたときに、印象推定モデルnを更新する。印象推定モデルnの更新は各モデルで一般的な方法で更新するが、各モデルの学習に用いるサンプルx[j], y[j]の学習の重みをα(j, n)で与えて学習する。 In step S132, the impression estimation model update unit 132 updates the impression estimation model n when the weight α (j, n) is given. The impression estimation model n is updated by the general method for each model, but the training weights of the samples x [j] and y [j] used for training each model are given by α (j, n) for learning. To do.

重み推定モデル更新部131と印象推定モデル更新部132とを交互に更新していくことで、印象の評価者傾向のグループが印象推定モデル1〜Nに自動的にクラスタリングされ、評価者の傾向ごとにどの印象推定モデルnを重点的に推定結果として反映するかを表す重みが学習されるようになる。推定時には、入力された評価者傾向に応じて、適切な印象推定部11−nが重みαで選択され、入力データに対する統合された事後確率が求められるようになる。 By alternately updating the weight estimation model update unit 131 and the impression estimation model update unit 132, the impression evaluator tendency group is automatically clustered into the impression estimation models 1 to N, and each evaluator's tendency is automatically clustered. The weight indicating which impression estimation model n is to be reflected as the estimation result is learned. At the time of estimation, an appropriate impression estimation unit 11-n is selected with a weight α according to the input evaluator tendency, and an integrated posterior probability for the input data is obtained.

本実施形態では、重み推定モデル更新部131と印象推定モデル更新部132とを交互に更新していったが、両者ともニューラルネットワークでモデル化する際は、重み推定モデル更新部131と重み推定モデル記憶部16、印象推定モデル更新部132と印象推定モデル記憶部111−nを1つのニューラルネットワークで表現することができるため、y(j)とy'(j)との誤差の値から、同時に重み推定モデルと印象推定モデルとを更新することができるようになる。 In the present embodiment, the weight estimation model update unit 131 and the impression estimation model update unit 132 are updated alternately, but when both are modeled by the neural network, the weight estimation model update unit 131 and the weight estimation model are updated. Since the storage unit 16, the impression estimation model update unit 132, and the impression estimation model storage unit 111-n can be represented by one neural network, the error values between y (j) and y'(j) can be used at the same time. The weight estimation model and the impression estimation model can be updated.

<印象推定装置>
実施形態の印象推定装置2は、図3に示すように、N(≧2)個の印象推定部11−n(n=1, 2, …, N)と、重み推定部12と、重み推定モデル記憶部16と、推定値統合部17とを備える。各印象推定部11−nは、印象推定モデル記憶部111−nを備える。この印象推定装置2が、図4に例示する各ステップの処理を行うことにより実施形態の印象推定方法が実現される。
<Impression estimation device>
As shown in FIG. 3, the impression estimation device 2 of the embodiment includes N (≧ 2) impression estimation units 11-n (n = 1, 2, ..., N), a weight estimation unit 12, and weight estimation. A model storage unit 16 and an estimated value integration unit 17 are provided. Each impression estimation unit 11-n includes an impression estimation model storage unit 111-n. The impression estimation device 2 realizes the impression estimation method of the embodiment by performing the processing of each step illustrated in FIG.

印象推定装置2は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。印象推定装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。印象推定装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。印象推定装置2の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。印象推定装置2が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。 The impression estimation device 2 is configured by loading a special program into a known or dedicated computer having, for example, a central processing unit (CPU), a main storage device (RAM: Random Access Memory), or the like. Device. The impression estimation device 2 executes each process under the control of the central processing unit, for example. The data input to the impression estimation device 2 and the data obtained by each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out to the central processing unit as needed. Used for other processing. At least a part of each processing unit of the impression estimation device 2 may be configured by hardware such as an integrated circuit. Each storage unit included in the impression estimation device 2 is, for example, a main storage device such as RAM (Random Access Memory), an auxiliary storage device composed of a hard disk, an optical disk, or a semiconductor memory element such as a flash memory, or an auxiliary storage device. It can be configured with middleware such as relational databases and key-value stores.

印象推定モデル記憶部111−nには、印象推定モデル学習装置1により学習した印象推定モデルnが記憶されている。 The impression estimation model storage unit 111-n stores the impression estimation model n learned by the impression estimation model learning device 1.

重み推定モデル記憶部16には、印象推定モデル学習装置1により学習した重み推定モデルが記憶されている。 The weight estimation model storage unit 16 stores the weight estimation model learned by the impression estimation model learning device 1.

以下、図4を参照して、実施形態の印象推定装置2が実行する印象推定方法について説明する。 Hereinafter, the impression estimation method executed by the impression estimation device 2 of the embodiment will be described with reference to FIG.

ステップS11において、印象推定部11−nは、印象推定モデル記憶部111−nに記憶された印象推定モデルnを用いて、入力データxに対する印象値の事後確率p(n)を計算して出力する。各印象推定部11−nが出力した印象値の事後確率p(n)は推定値統合部17へ入力される。 In step S11, the impression estimation unit 11-n calculates and outputs the posterior probability p (n) of the impression value with respect to the input data x using the impression estimation model n stored in the impression estimation model storage unit 111-n. To do. The posterior probabilities p (n) of the impression values output by each impression estimation unit 11-n are input to the estimation value integration unit 17.

ステップS12において、重み推定部12は、重み推定モデル記憶部16に記憶されている重み推定モデルを用いて、入力された評価者傾向q(k)から重みα(n)を求める。重み推定部12が出力した重みα(n)は推定値統合部17へ入力される。 In step S12, the weight estimation unit 12 obtains the weight α (n) from the input evaluator tendency q (k) using the weight estimation model stored in the weight estimation model storage unit 16. The weight α (n) output by the weight estimation unit 12 is input to the estimation value integration unit 17.

重み推定部12へ入力される評価者傾向q(k)は、任意の評価者傾向を与えることができる。例えば、ある実在の評価者の評価者傾向q(k)を与えれば、その評価者と同じ傾向にある評価者の印象値を推定することができる。また、人手で設定した仮想的な評価者の評価者傾向q(k)を与えれば、その仮想的な評価者による印象値をシミュレーションすることができる。さらに、評価者全体から算出した評価者傾向q(k)の平均値を与えれば、平均的な印象値を求めることも可能である。 The evaluator tendency q (k) input to the weight estimation unit 12 can give an arbitrary evaluator tendency. For example, if the evaluator tendency q (k) of a real evaluator is given, the impression value of the evaluator who has the same tendency as that evaluator can be estimated. Further, if the evaluator tendency q (k) of the virtual evaluator set manually is given, the impression value by the virtual evaluator can be simulated. Furthermore, it is also possible to obtain an average impression value by giving the average value of the evaluator tendency q (k) calculated from the entire evaluator.

ステップS17において、推定値統合部17は、印象推定部11−nから受け取った事後確率p(n)と重み推定部12から受け取った重みα(n)とを用いて次式を計算し、統合された事後確率yを計算する。 In step S17, the estimation value integration unit 17 calculates the following equation using the posterior probabilities p (n) received from the impression estimation unit 11-n and the weight α (n) received from the weight estimation unit 12, and integrates them. Calculate the posterior probability y.

Figure 0006856503
Figure 0006856503

推定値統合部17は、統合された事後確率から最も高い事後確率の次元を、推定する印象値cとして出力する。また、統合された事後確率y自体を印象値cとして用いることも可能である。 The estimated value integration unit 17 outputs the dimension of the highest posterior probability from the integrated posterior probability as an estimated impression value c. It is also possible to use the integrated posterior probability y itself as the impression value c.

本実施形態では、印象推定の補助情報として評価者の評価者傾向q(k)を与えたが、その他の情報も補助情報として重み推定部12に与えることが可能である。例えば、予め定めた環境に関する情報を評価者の評価者傾向q(k)と組み合わせて補助情報として重み推定部12に与えてもよい。環境に関する情報とは、印象の評価に影響を与え得る環境に関する情報であり、例えば、コールセンターの録音音声からオペレータの印象(例えば、好感度、明るさ等)の自動推定を行う場合は、そのコールセンターの受付内容(例えば、故障受付、新規受付、解約受付、お客様相談等)やコールセンターの担当者のスキル(例えば、一次受付担当、スーパーバイザー等)によって印象の評価が異なる可能性があるため、コールセンターの受付内容やスキルの属性を表す値が想定される。また、画像の印象を評価する場面であれば周囲の明るさが評価に影響を与える可能性があるため、屋内か屋外かなどの評価を行う環境の属性を表す値などが想定される。すなわち、印象の評価に影響を与え得る環境に関する情報を補助情報として与えることで、環境による評価のブレを反映した印象推定を行うことが可能となる。 In the present embodiment, the evaluator tendency q (k) of the evaluator is given as auxiliary information for impression estimation, but other information can also be given to the weight estimation unit 12 as auxiliary information. For example, predetermined environmental information may be given to the weight estimation unit 12 as auxiliary information in combination with the evaluator tendency q (k) of the evaluator. The environmental information is information about the environment that can affect the evaluation of the impression. For example, when the operator's impression (for example, favorability, brightness, etc.) is automatically estimated from the recorded voice of the call center, the call center is used. The evaluation of the impression may differ depending on the content of the reception (for example, failure reception, new reception, cancellation reception, customer consultation, etc.) and the skill of the call center staff (for example, primary reception staff, supervisor, etc.). A value that represents the reception content and skill attributes of is assumed. Further, in a scene where the impression of an image is evaluated, the brightness of the surroundings may affect the evaluation, so a value representing an attribute of the environment for evaluation such as indoor or outdoor is assumed. That is, by giving information on the environment that can affect the evaluation of the impression as auxiliary information, it is possible to estimate the impression that reflects the fluctuation of the evaluation due to the environment.

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。 Although the embodiments of the present invention have been described above, the specific configuration is not limited to these embodiments, and even if the design is appropriately changed without departing from the spirit of the present invention, the specific configuration is not limited to these embodiments. Needless to say, it is included in the present invention. The various processes described in the embodiments are not only executed in chronological order according to the order described, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.

[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
[Program, recording medium]
When various processing functions in each device described in the above embodiment are realized by a computer, the processing contents of the functions that each device should have are described by a program. Then, by executing this program on the computer, various processing functions in each of the above devices are realized on the computer.

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。 The program describing the processing content can be recorded on a computer-readable recording medium. The computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 In addition, the distribution of this program is carried out, for example, by selling, transferring, renting, or the like a portable recording medium such as a DVD or CD-ROM on which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。 A computer that executes such a program first, for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own storage device and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be. The program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 Further, in this embodiment, the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.

1 印象推定モデル学習装置
2 印象推定装置
11 印象推定部
111 印象推定モデル記憶部
12 重み推定部
13 モデル学習部
14 学習データ記憶部
15 評価者傾向データ記憶部
16 重み推定モデル記憶部
17 推定値統合部
1 Impression estimation model learning device 2 Impression estimation device 11 Impression estimation unit 111 Impression estimation model storage unit 12 Weight estimation unit 13 Model learning unit 14 Learning data storage unit 15 Evaluator tendency data storage unit 16 Weight estimation model storage unit 17 Estimated value integration Department

Claims (8)

入力データの印象値を求めるために、評価者における印象値毎の出現確率を表す評価者傾向から重みを推定する重み推定モデルと、入力データから印象値の事後確率を推定する印象推定モデルと、を学習する印象推定モデル学習装置であって、
上記入力データの印象値は、上記重み推定モデルが推定した重みにより上記印象推定モデルが推定した印象値の事後確率を重み付けした統合事後確率に基づいて求められるものであり、
学習データとその学習データに付与された印象値の正解値とその印象値の正解値を与えた評価者とを関連付けた学習データベースを記憶する学習データ記憶部と、
評価者と上記評価者傾向とを関連付けた評価者傾向データベースを記憶する評価者傾向データ記憶部と
記評価者傾向を分類したグループ毎に上記印象推定モデルを用いて上記学習データから上記印象値の事後確率を推定する印象推定部と、
上記重み推定モデルを用いて上記学習データに関連付けられた上記評価者傾向から上記重みを推定する重み推定部と、
上記重みにより重み付けした上記印象値の事後確率と上記学習データに付与された上記印象値の正解値との差分から上記重み推定モデルを更新する重み推定モデル更新部と、
上記印象値の事後確率から上記重みを学習重みとして上記印象推定モデルを更新する印象推定モデル更新部と、
を含む印象推定モデル学習装置。
In order to obtain the impression value of the input data, a weight estimation model that estimates the weight from the evaluator tendency that represents the appearance probability of each impression value in the evaluator, and an impression estimation model that estimates the posterior probability of the impression value from the input data, It is an impression estimation model learning device that learns
The impression value of the input data is obtained based on the integrated posterior probability obtained by weighting the posterior probability of the impression value estimated by the impression estimation model with the weight estimated by the weight estimation model.
A learning data storage unit that stores a learning database that associates the learning data with the correct answer value of the impression value given to the learning data and the evaluator who gave the correct answer value of the impression value.
An evaluator tendency data storage unit that stores an evaluator tendency database that associates an evaluator with the above evaluator tendency,
And the impression estimation unit to estimate the posterior probability of the impression value from the learning data by using the impression estimation model in each group were classified on the Symbol evaluators trend,
A weight estimation unit that estimates the weight from the evaluator tendency associated with the learning data using the weight estimation model, and a weight estimation unit.
A weight estimation model update unit that updates the weight estimation model from the difference between the posterior probability of the impression value weighted by the weight and the correct answer value of the impression value given to the learning data.
An impression estimation model update unit that updates the impression estimation model using the weight as a learning weight from the posterior probability of the impression value,
Impression estimation model learning device including.
請求項1に記載の印象推定モデル学習装置であって、
上記印象推定部は、上記評価者傾向データベースに基づいてクラスタ数を決定し、上記評価者傾向を上記クラスタ数に分類したグループ毎に上記印象推定モデルを用いて上記学習データから上記印象値の事後確率を推定するものである、
印象推定モデル学習装置。
The impression estimation model learning device according to claim 1.
The impression estimation unit determines the number of clusters based on the evaluator tendency database, and uses the impression estimation model for each group that classifies the evaluator tendency into the number of clusters. It estimates the probability,
Impression estimation model learning device.
請求項1または2に記載の印象推定モデル学習装置であって、
上記評価者傾向データベースは、上記評価者と上記評価者傾向と評価を行った環境に関する情報とを関連付けたものであり、
上記重み推定モデルは、少なくとも上記環境に関する情報から上記重みを推定するものであり、
上記重み推定部は、上記重み推定モデルを用いて少なくとも上記学習データに関連付けられた上記環境に関する情報から上記重みを推定するものである、
印象推定モデル学習装置。
The impression estimation model learning device according to claim 1 or 2.
The evaluator tendency database associates the evaluator with the evaluator tendency and information on the environment in which the evaluation was performed.
The weight estimation model estimates the weights from at least information about the environment.
The weight estimation unit estimates the weight from at least the information about the environment associated with the learning data using the weight estimation model.
Impression estimation model learning device.
請求項1から3のいずれかに記載の印象推定モデル学習装置により学習した印象推定モデルを記憶する印象推定モデル記憶部と、
請求項1から3のいずれかに記載の印象推定モデル学習装置により学習した重み推定モデルを記憶する重み推定モデル記憶部と、
評価者における印象値毎の出現確率を表す評価者傾向を分類したグループ毎に上記印象推定モデルを用いて入力データから印象値の事後確率を推定する印象推定部と、
上記重み推定モデルを用いて入力された評価者傾向から重みを推定する重み推定部と、
上記重みにより重み付けした上記印象値の事後確率である統合事後確率に基づいて上記入力データの印象値を求める統合値推定部と、
を含む印象推定装置。
An impression estimation model storage unit that stores an impression estimation model learned by the impression estimation model learning device according to any one of claims 1 to 3.
A weight estimation model storage unit that stores the weight estimation model learned by the impression estimation model learning device according to any one of claims 1 to 3.
An impression estimation unit that estimates the posterior probability of the impression value from the input data using the above impression estimation model for each group that classifies the evaluator tendency that represents the appearance probability of each impression value in the evaluator.
A weight estimation unit that estimates weights from the evaluator tendency input using the above weight estimation model,
An integrated value estimation unit that obtains the impression value of the input data based on the integrated posterior probability, which is the posterior probability of the impression value weighted by the weight.
Impression estimator including.
請求項4に記載の印象推定装置であって、
上記統合値推定部は、上記統合事後確率のうち値が最も高い次元を上記入力データの印象値として求めるものである、
印象推定装置。
The impression estimation device according to claim 4.
The integrated value estimation unit obtains the dimension having the highest value among the integrated posterior probabilities as an impression value of the input data.
Impression estimator.
入力データの印象値を求めるために、評価者における印象値毎の出現確率を表す評価者傾向から重みを推定する重み推定モデルと、入力データから印象値の事後確率を推定する印象推定モデルと、を学習する印象推定モデル学習方法であって、
上記入力データの印象値は、上記重み推定モデルが推定した重みにより上記印象推定モデルが推定した印象値の事後確率を重み付けした統合事後確率に基づいて求められるものであり、
学習データ記憶部に、学習データとその学習データに付与された印象値の正解値とその印象値の正解値を与えた評価者とを関連付けた学習データベースが記憶されており、
評価者傾向データ記憶部に、評価者と上記評価者傾向とを関連付けた評価者傾向データベースが記憶されており
象推定部が、上記評価者傾向を分類したグループ毎に上記印象推定モデルを用いて上記学習データから上記印象値の事後確率を推定し、
重み推定部が、上記重み推定モデルを用いて上記学習データに関連付けられた上記評価者傾向から上記重みを推定し、
重み推定モデル更新部が、上記重みにより重み付けした上記印象値の事後確率と上記学習データに付与された上記印象値の正解値との差分から上記重み推定モデルを更新し、
印象推定モデル更新部が、上記印象値の事後確率から上記重みを学習重みとして上記印象推定モデルを更新する、
印象推定モデル学習方法。
In order to obtain the impression value of the input data, a weight estimation model that estimates the weight from the evaluator tendency that represents the appearance probability of each impression value in the evaluator, and an impression estimation model that estimates the posterior probability of the impression value from the input data, It is an impression estimation model learning method to learn
The impression value of the input data is obtained based on the integrated posterior probability obtained by weighting the posterior probability of the impression value estimated by the impression estimation model with the weight estimated by the weight estimation model.
The learning data storage unit stores a learning database that associates the learning data with the correct answer value of the impression value given to the learning data and the evaluator who gave the correct answer value of the impression value.
The evaluator tendency data storage unit stores an evaluator tendency database that associates the evaluator with the above evaluator tendency.
Impression estimation section, using the impression estimation model to estimate the posterior probability of the impression value from the learning data for each group classified the above evaluation's trend,
The weight estimation unit estimates the weight from the evaluator tendency associated with the training data using the weight estimation model, and then estimates the weight.
The weight estimation model update unit updates the weight estimation model from the difference between the posterior probability of the impression value weighted by the weight and the correct answer value of the impression value given to the learning data.
The impression estimation model update unit updates the impression estimation model from the posterior probability of the impression value using the weight as a learning weight.
Impression estimation model learning method.
印象推定モデル記憶部に、請求項6に記載の印象推定モデル学習方法により学習した印象推定モデルが記憶されており、
重み推定モデル記憶部に、請求項6に記載の印象推定モデル学習方法により学習した重み推定モデルが記憶されており、
印象推定部が、評価者における印象値毎の出現確率を表す評価者傾向を分類したグループ毎に上記印象推定モデルを用いて入力データから印象値の事後確率を推定し、
重み推定部が、上記重み推定モデルを用いて入力された評価者傾向から重みを推定し、
統合値推定部が、上記重みにより重み付けした上記印象値の事後確率である統合事後確率に基づいて上記入力データの印象値を求める、
印象推定方法。
The impression estimation model storage unit stores the impression estimation model learned by the impression estimation model learning method according to claim 6.
The weight estimation model stored in the weight estimation model storage unit stores the weight estimation model learned by the impression estimation model learning method according to claim 6.
The impression estimation unit estimates the posterior probability of the impression value from the input data using the above impression estimation model for each group that classifies the evaluator tendency representing the appearance probability of each impression value in the evaluator.
The weight estimation unit estimates the weight from the evaluator tendency input using the above weight estimation model.
The integrated value estimation unit obtains the impression value of the input data based on the integrated posterior probability, which is the posterior probability of the impression value weighted by the weight.
Impression estimation method.
請求項1から3のいずれかに記載の印象推定モデル学習装置もしくは請求項4または5に記載の印象推定装置としてコンピュータを機能させるためのプログラム。 A program for operating a computer as the impression estimation model learning device according to any one of claims 1 to 3 or the impression estimation device according to claim 4 or 5.
JP2017223599A 2017-11-21 2017-11-21 Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program Active JP6856503B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017223599A JP6856503B2 (en) 2017-11-21 2017-11-21 Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017223599A JP6856503B2 (en) 2017-11-21 2017-11-21 Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program

Publications (2)

Publication Number Publication Date
JP2019095968A JP2019095968A (en) 2019-06-20
JP6856503B2 true JP6856503B2 (en) 2021-04-07

Family

ID=66972991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017223599A Active JP6856503B2 (en) 2017-11-21 2017-11-21 Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program

Country Status (1)

Country Link
JP (1) JP6856503B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7342491B2 (en) 2019-07-25 2023-09-12 オムロン株式会社 Inference device, inference method, and inference program
JPWO2021019643A1 (en) * 2019-07-29 2021-02-04
JP7396133B2 (en) 2020-03-11 2023-12-12 オムロン株式会社 Parameter adjustment device, inference device, parameter adjustment method, and parameter adjustment program
JP7010337B2 (en) * 2020-07-03 2022-01-26 楽天グループ株式会社 A program of a learning device, an estimation device, a learning method, an estimation method, a program, and a trained estimation model.

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4611938B2 (en) * 2006-06-19 2011-01-12 日本電信電話株式会社 Subjective quality estimation formula deriving method, subjective quality estimation formula deriving apparatus and processing program therefor
JP4524709B2 (en) * 2007-12-03 2010-08-18 ソニー株式会社 Information processing apparatus and method, and program
JP5353443B2 (en) * 2009-05-25 2013-11-27 株式会社Jvcケンウッド Data classifier creation device, data classifier, data classifier creation method, data classification method, data classifier creation program, data classification program
JP2016207171A (en) * 2015-04-28 2016-12-08 日本電信電話株式会社 Parameter estimation method, evaluation value estimation method, apparatus, and program

Also Published As

Publication number Publication date
JP2019095968A (en) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6856503B2 (en) Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program
CN112346567B (en) Virtual interaction model generation method and device based on AI (Artificial Intelligence) and computer equipment
US11144581B2 (en) Verifying and correcting training data for text classification
CN109815459A (en) Generate the target summary for being adjusted to the content of text of target audience&#39;s vocabulary
US10395646B2 (en) Two-stage training of a spoken dialogue system
JP7208595B2 (en) Movie Success Index Prediction
CN111328407A (en) Mechanical learning method, apparatus and computer program for providing customized personal educational content based on learning efficiency
CN110415103A (en) The method, apparatus and electronic equipment that tenant group mentions volume are carried out based on variable disturbance degree index
CN110349007A (en) The method, apparatus and electronic equipment that tenant group mentions volume are carried out based on variable discrimination index
JP2020144569A (en) Model learning device, label estimation device, method thereof, and program
US20240112229A1 (en) Facilitating responding to multiple product or service reviews associated with multiple sources
CN111783873A (en) Incremental naive Bayes model-based user portrait method and device
JP2018194919A (en) Learning program, learning method and learning device
US20200272961A1 (en) Information processing apparatus, information processing method, and storage medium
WO2021174814A1 (en) Answer verification method and apparatus for crowdsourcing task, computer device, and storage medium
US20230334342A1 (en) Non-transitory computer-readable recording medium storing rule update program, rule update method, and rule update device
JP2010272004A (en) Discriminating apparatus, discrimination method, and computer program
US20220292393A1 (en) Utilizing machine learning models to generate initiative plans
WO2020166321A1 (en) Model learning device, label estimation device, method for these, and program
CN113763928A (en) Audio category prediction method and device, storage medium and electronic equipment
CN113807749B (en) Object scoring method and device
CN114862819B (en) Image quality evaluation method, device, equipment and medium based on asymmetric network
US20230350977A1 (en) Simulating training data to mitigate biases in machine learning models
CN110688371B (en) Data adjustment method, device, electronic equipment and storage medium
JP2018163181A (en) Educational material provision system, educational material provision method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210318

R150 Certificate of patent or registration of utility model

Ref document number: 6856503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150