WO2021186662A1 - モデル学習装置、その方法、およびプログラム - Google Patents

モデル学習装置、その方法、およびプログラム Download PDF

Info

Publication number
WO2021186662A1
WO2021186662A1 PCT/JP2020/012231 JP2020012231W WO2021186662A1 WO 2021186662 A1 WO2021186662 A1 WO 2021186662A1 JP 2020012231 W JP2020012231 W JP 2020012231W WO 2021186662 A1 WO2021186662 A1 WO 2021186662A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
data
probability
expert
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/012231
Other languages
English (en)
French (fr)
Inventor
歩相名 神山
佑樹 北岸
厚志 安藤
亮 増村
岳至 森
哲 小橋川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2020/012231 priority Critical patent/WO2021186662A1/ja
Priority to JP2022507952A priority patent/JP7315091B2/ja
Priority to US17/912,493 priority patent/US20230206118A1/en
Publication of WO2021186662A1 publication Critical patent/WO2021186662A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to a label estimation technique such as an impression label.
  • Non-Patent Document 1 In the test to measure conversation skills with telephone voice likability (Non-Patent Document 1), good pronunciation and fluency of foreign languages (Non-Patent Document 2), etc. as one item of the skill test, the voice is quantitative. Impression value is given. For example, the impression is evaluated on a 5-point scale from “good” to “bad”, the favorability is evaluated on a 5-point scale from “high” to “low”, and the naturalness is evaluated on a 5-point scale from "high” to “low”. There is evaluation etc.
  • a machine learning model should be learned from the impression value data and the features of the data.
  • the impression value may differ from person to person even if the data is the same.
  • not all data are labeled by an expert, but only a part of the data is labeled by an expert, and the remaining data is labeled by a non-expert.
  • a non-expert is an evaluator whose labeling accuracy is lower than that of an expert.
  • a label given by a non-expert is also referred to as a non-expert label
  • a label given by an expert is also referred to as an expert label.
  • the data number j ⁇ ⁇ 1,..., J ⁇ indicating the data number y (i, 0) and the evaluator number y (i, 1) indicating the evaluator number y (i, 1) that gave the data corresponding to the training feature data.
  • the evaluator has the number k ⁇ ⁇ 1,..., K ⁇ and the label c ⁇ ⁇ 1,..., C ⁇ indicating the label y (i, 2) given to the data corresponding to the training feature data.
  • a specialty flag f which is a flag y (i, 3) indicating whether or not the data corresponds to the training feature amount data is an expert, and a set of data labeled by an expert evaluator.
  • the expert probability label acquisition unit for finding the probability h j, c that the true label for the data corresponding to the training feature data j is the label c, and the expert or non-expert evaluator assign the label.
  • Probability of finding the probability h j, c that the true label for the data corresponding to the training feature data j is the label c, using the set of the obtained data and the probabilities h j, c obtained by the expert probability label acquisition unit.
  • the feature data is input.
  • the functional block diagram of the model learning apparatus which concerns on 1st Embodiment The figure which shows the example of the processing flow of the model learning apparatus which concerns on 1st Embodiment.
  • the figure which shows the example of the training label data The figure which shows the example of the learning feature amount data.
  • the functional block diagram of the label estimation apparatus which concerns on 1st Embodiment The figure which shows the example of the processing flow of the label estimation apparatus which concerns on 1st Embodiment.
  • the model is trained using only the expert label, and further the model is further trained using the learned model, the expert label, and the non-expert label.
  • the label estimation system of the present embodiment includes a model learning device 100 and a label estimation device 200.
  • the model learning device and the label estimation device are configured by loading a special program into a known or dedicated computer having, for example, a central processing unit (CPU: Central Processing Unit), a main storage device (RAM: Random Access Memory), and the like. It is a special device that has been made.
  • the model learning device and the label estimation device execute each process under the control of the central processing unit, for example.
  • the data input to the model learning device and the label estimation device and the data obtained by each process are stored in the main storage device, for example, and the data stored in the main storage device is read to the central processing unit as needed. It is issued and used for other processing.
  • At least a part of each processing unit of the model learning device and the label estimation device may be configured by hardware such as an integrated circuit.
  • Each storage unit included in the model learning device and the label estimation device can be configured by, for example, a main storage device such as RAM (Random Access Memory) or middleware such as a relational database or a key-value store.
  • a main storage device such as RAM (Random Access Memory) or middleware such as a relational database or a key-value store.
  • middleware such as a relational database or a key-value store.
  • each storage unit does not necessarily have to be provided inside the model learning device and the label estimation device, and is configured by an auxiliary storage device composed of semiconductor memory elements such as a hard disk, an optical disk, or a flash memory.
  • the configuration may be provided outside the model learning device and the label estimation device.
  • FIG. 1 shows a functional block diagram of the model learning device 100 according to the first embodiment
  • FIG. 2 shows a processing flow thereof.
  • the model learning device 100 includes a label estimation unit 110 and a learning unit 120.
  • the label estimation unit 110 includes an initial value setting unit 111, an expert probability label acquisition unit 112, and a probability label acquisition unit 113.
  • the expert probability label acquisition unit 112 includes an expert skill estimation unit 112A and an expert probability label estimation unit 112B.
  • the probability label acquisition unit 113 includes a skill estimation unit 113A and a probability label estimation unit 113B.
  • the model learning device 100 inputs the set A of the learning label data and the learning feature amount data corresponding to the set A of the learning label data, learns the label estimation model, and outputs the trained label estimation model.
  • the parameter ⁇ of the trained label estimation model is output.
  • FIG. 3 shows an example of learning label data
  • FIG. 4 shows an example of learning feature amount data
  • the data number y (i, 0) of the learning feature data is j ⁇ ⁇ 1,..., J ⁇ .
  • the evaluator number y (i, 1) is the evaluator number k ⁇ ⁇ 1,..., K ⁇ that evaluated the data corresponding to the learning feature data.
  • the impression value label y (i, 2) is the impression value c ⁇ ⁇ 1,..., C ⁇ for the data corresponding to the learning feature data.
  • the impression value label y (i, 2) is the value of the impression given by the evaluator to the data.
  • “learning feature data” is a value such as a vector (acoustic feature vector) obtained by extracting features from an audio signal (see FIG. 4), and "data corresponding to learning feature data” is extraction of learning feature data. It is the original audio signal.
  • the label estimation unit 110 takes the set A of the learning label data as an input, obtains the ability of the evaluator to evaluate correctly, and obtains and outputs the true label probabilities h j and c based on the ability (S110).
  • the impression label given by the learning label data has a true label c j with respect to the learning feature data j.
  • the ability to give a label differs for each evaluator, and when the evaluator k has a true label c, the probability of correctly answering c'is introduced as a k, c, c'.
  • the true label and the evaluator's ability are estimated by the EM algorithm, and the optimum label probabilities h j and c are output to the learning unit 120.
  • the data number j, the evaluator number k, the impression label c, the set A for searching the learning label data of the specialized flag f, and N indicating the number of the data are defined as follows.
  • the probabilities h j and c are obtained in advance from a set of expert learning label data (a set of data labeled by an expert evaluator) A (*, *, *, 1). Since the probabilities a k, c, c'corresponding to non-expert skills are evaluated based on the set A (*, *, *, 1) of expert training label data, all training label data (A set of data labeled by an expert or non-expert evaluator) A (*, *, *, *) probabilities h j, c can be determined based on expert criteria.
  • the label estimation unit 110 ends model learning when a predetermined condition is satisfied. For example, when the difference between the probabilities h j and c before and after the update falls below the preset threshold value ⁇ for all the feature data j and the impression label c, the process ends.
  • the probabilities h j and c are the probabilities that the learning feature data j is labeled c.
  • the expert probability label acquisition unit 112 inputs the set A (*, *, *, 1) of expert learning label data and the initial values of the probabilities h j, c , and uses these values for the EM algorithm. Therefore, the probabilities h j and c whose true label for the training feature amount data j is the label c are obtained (S112) and output.
  • the expert probability label estimation unit 112B includes a set A (*, *, *, 1) of expert learning label data, a probability a k, c, c'and a distribution q c obtained by the expert skill estimation unit 112A. Is used as an input, the learning feature data j and the values Q j, c for each label c are obtained, and the probabilities h j, c are updated using the values Q j, c (S112B-1). ,Output. For example, the values Q j, c and the probabilities h j, c are calculated by the following equations.
  • the expert probability label estimation unit 112B determines whether or not the values of the probabilities h j and c have converged (S112B-2), and if they have converged (yes of S112B-2), the update process is terminated. Output the probability h j, c at the end. If it does not converge (no in S112B-2), the expert skill estimation unit 112A is output with the updated probabilities h j and c and a control signal indicating that the process is repeated.
  • the difference between the probabilities h j and c before and after the update is smaller than the predetermined threshold ⁇ , or if it is equal to or less than the predetermined threshold ⁇ , it is determined that the convergence has occurred. , In other cases, it is determined that the data has not converged. Further, for example, when the number of times of the iterative process becomes larger than a predetermined number of times, it is determined that the process has converged, and in other cases, it is determined that the process has not converged.
  • the probability label acquisition unit 113 includes a set of data A (*, *, *, *) labeled by an expert or non-expert evaluator and the probability h j, c obtained by the expert probability label acquisition unit 112. With these values as inputs, the probability h j, c that the true label for the training feature amount data j is the label c is obtained by the EM algorithm (S113) and output.
  • the skill estimation unit 113A is a set of data A (*, *, *, *) labeled by an expert or non-expert evaluator, and an expert probability label acquisition unit 112 or one before the EM algorithm. Enter the probabilities h j and c obtained by iterative processing, and use these values to label c'when the true label for the training feature data is c by the expert or non-expert evaluator k. The probability of answering a k, c, c'and the distribution q c of each label c for all labels 1, ..., C are obtained (S113A) and output. For example, the probabilities a k, c, c'and the distribution q c are calculated by the following equations.
  • the probability label estimation unit 113B includes a set of data A (*, *, *, *) labeled by an expert or non-expert evaluator, and the probabilities a k, c, c obtained by the skill estimation unit 113A. ' And the distribution q c are input, and these values are used to obtain the training feature data j and the values Q j, c for each label c, and the probabilities h j, c are updated using the values Q j, c. (S113B-1) and output. For example, the values Q j, c and the probabilities h j, c are calculated by the following equations.
  • the probability label estimation unit 113B determines whether or not the values of the probabilities h j and c have converged (S113B-2), and if they have converged (yes of S113B-2), ends the update process and ends the update process. Outputs the probabilities h j and c of. If it has not converged (no in S113B-2), a control signal indicating that the updated probabilities h j and c and the processing are repeated is output to the skill estimation unit 113A.
  • the determination method is, for example, the same as the method described in the expert probability label estimation unit 112B.
  • ⁇ Learning unit 120 Learning unit 120 probability h j were determined by probability label obtaining unit 113, and c, the probability h j calculated in probability label obtaining unit 113, an input and a learning feature amount data x (j) corresponding to c, these Using the value of, the feature amount data is input, the model for outputting the label is trained (S120), and the trained label estimation model is output.
  • the label estimation model is learned by targeting the probabilities h j and c obtained by the probability label acquisition unit 113.
  • the error when the model is a neural network, when learning to minimize the cross entropy error, the error may be given as follows.
  • the learning data may be increased by the number of labels c for the same data x (j), and the sample weights h j and c may be weighted for learning.
  • the learning unit 120 outputs the parameter ⁇ of the learned label estimation model f.
  • FIG. 5 shows a functional block diagram of the label estimation device 200 according to the first embodiment
  • FIG. 6 shows a processing flow thereof.
  • the label estimation device 200 includes an estimation unit 220.
  • the estimation unit 220 of the label estimation device 200 receives the parameter ⁇ of the learned label estimation model f prior to the label estimation process.
  • the estimation unit 220 of the label estimation device 200 receives the labeling target feature amount data x (p) as an input, and estimates the label for the labeling target data using the learned parameter ⁇ and the label estimation model f (S220). , Output the estimation result label (p).
  • the labeling target data is data that is the extraction source of the labeling target feature amount data.
  • the model learning device of the present embodiment it is possible to learn a model with higher estimation accuracy by considering the difference in labeling accuracy between experts and non-experts.
  • the label estimation device of the present embodiment can estimate the label with high accuracy.
  • the learning feature amount data and the labeling target feature amount data are input, but the data that is the extraction source of these feature amounts may be input.
  • a feature amount extraction unit having a function of extracting the feature amount from the data may be provided.
  • an example of an impression label is shown, but if the evaluator who gives the label can be divided into an expert and a non-expert, it can be applied to other labels.
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • the distribution of this program is carried out, for example, by selling, transferring, renting, etc., a portable recording medium such as a DVD or CD-ROM on which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via the network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be.
  • the program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Machine Translation (AREA)
  • Complex Calculations (AREA)

Abstract

専門家と非専門家とのラベル付与の精度の差を考慮して、モデルを学習するモデル学習技術を提供する。モデル学習装置は、専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める専門家確率ラベル取得部と、専門家または非専門家の評価者がラベルを付与したデータの集合と専門家確率ラベル取得部で求めた確率hj,cとを用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める確率ラベル取得部と、確率ラベル取得部で求めた確率hj,cと、確率ラベル取得部で求めた確率hj,cに対応する学習特徴量データjとを用いて、特徴量データを入力とし、ラベルを出力するモデルを学習する学習部とを含む。

Description

モデル学習装置、その方法、およびプログラム
　本発明は、印象ラベルなどのラベルの推定技術に関する。
　電話音声の好感度（非特許文献１）や、外国語の発音の良さおよび流暢さ（非特許文献２）等を技能テストの１項目として会話の技能を図るテストでは、音声に対して定量的な印象値が付与されている。印象の評価には、例えば、印象が「良い」～「悪い」の５段階評価、好感度が「高い」～「低い」の５段階評価、自然さが「高い」～「低い」の５段階評価等がある。
　現在は、各技能の専門家がこの音声の印象を評価し、合格・不合格の判定を行っているが、自動的に評価ができるようになると、試験の足切り等への活用や、評価に不慣れな専門家（例えば評価者になりたての人物）への参考値として用いることができる。そのため、音声の印象を自動推定する技術が必要とされている。
　機械学習を用いたデータの印象の自動推定を実現するためには、印象値データとそのデータの特徴量とから機械学習モデルを学習すればよい。しかし、印象は人によって感じる基準が異なったり、印象を付与することに慣れていなかったりするために、同じデータであっても印象値が人によって異なることがある。平均的な印象を推定できるようにするためには、１つのデータに対して多人数で印象値を付与し、印象値の平均値を用いる必要がある。平均的な印象値を安定して推定できるようになるには、できるだけ多人数で印象値を付与するとよい。例えば、非特許文献３で作成された印象データは、１音声データに対し１０名で印象値を付与している。
F. Burkhardt, B. Schuller, B. Weiss and F. Weninger, "Would You Buy a Car From Me?" On the Likability of Telephone Voices", In Proc. INTERSPEECH, pp.1557-1560, 2011. Kei Ohta and Seiichi Nakagawa, "A statistical method of evaluating pronunciation proficiency for Japanese words", INTERSPEECH2005, pp.2233-2236. 籠宮隆之ら、「印象評定データの概要」, ［online］, ［令和2年3月5日検索］, インターネット<URL: http://pj.ninjal.ac.jp/corpus_center/csj/manu-f/impression.pdf>
　実運用上では、人数制約により１データに対して大量の印象値を付与するのは困難である。そこで、多人数でいくつかのデータを分散して印象値を付与する（以下、印象値を付与する人を「評価者」ともいう）。そのため、１つのデータに対して印象値を付与する人数は高々１・２名程度となる。この状況において、音声の印象推定を品質よく実現するためには、印象を正しく判断できる専門家ができるだけ多くのデータに対して印象ラベルを付与する必要がある。しかし、専門家のラベル付与はコストが高いため、全てのデータに対して印象ラベルを付与することは困難である。
　本発明は、全てのデータに対して専門家がラベルを付与するのではなく、一部のデータに対してのみ専門家がラベルを付与し、残りのデータに対して非専門家がラベルを付与し、専門家と非専門家とのラベル付与の精度の差を考慮して、モデルを学習するモデル学習装置、その方法、およびプログラムを提供することを目的とする。ここでは、非専門家は、専門家よりもラベル付与の精度が低い評価者とする。以下では、非専門家が付与したラベルを非専門家ラベルともいい、専門家が付与したラベルを専門家ラベルともいう。
　上記の課題を解決するために、本発明の一態様によれば、モデル学習装置は、学習ラベルデータには、データ番号i(i=1,…,L)に対して、学習特徴量データのデータ番号y(i,0)を示すデータ番号j∈{1,…,J}と、学習特徴量データに対応するデータにラベルを付与した評価者の番号y(i,1)を示す評価者番号k∈{1,…,K}と、学習特徴量データに対応するデータに対して付与されたラベルy(i,2)を示すラベルc∈{1,…,C}と、評価者が学習特徴量データに対応するデータにラベルを付与する専門家か否かを示すフラグy(i,3)である専門フラグfとが存在し、専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める専門家確率ラベル取得部と、専門家または非専門家の評価者がラベルを付与したデータの集合と専門家確率ラベル取得部で求めた確率hj,cとを用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める確率ラベル取得部と、確率ラベル取得部で求めた確率hj,cと、確率ラベル取得部で求めた確率hj,cに対応する学習特徴量データjとを用いて、特徴量データを入力とし、ラベルを出力するモデルを学習する学習部とを含む。
　本発明によれば、専門家と非専門家とのラベル付与の精度の差を考慮することで、より推定精度の高いモデルを学習することができるという効果を奏する。
第一実施形態に係るモデル学習装置の機能ブロック図。 第一実施形態に係るモデル学習装置の処理フローの例を示す図。 学習ラベルデータの例を示す図。 学習特徴量データの例を示す図。 第一実施形態に係るラベル推定装置の機能ブロック図。 第一実施形態に係るラベル推定装置の処理フローの例を示す図。 本手法を適用するコンピュータの構成例を示す図。
　以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態のポイント＞
　本実施形態では、まず、専門家ラベルのみを利用してモデルを学習し、学習したモデルと専門家ラベルと非専門家ラベルとを利用してさらにモデルを学習する。
＜第一実施形態に係るラベル推定システム＞
　本実施形態のラベル推定システムはモデル学習装置１００とラベル推定装置２００とを含む。
　モデル学習装置およびラベル推定装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。モデル学習装置およびラベル推定装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。モデル学習装置およびラベル推定装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。モデル学習装置およびラベル推定装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。モデル学習装置およびラベル推定装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしもモデル学習装置およびラベル推定装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、モデル学習装置およびラベル推定装置の外部に備える構成としてもよい。
＜第一実施形態に係るモデル学習装置１００＞
　図１は第一実施形態に係るモデル学習装置１００の機能ブロック図を、図２はその処理フローを示す。
　モデル学習装置１００は、ラベル推定部１１０と、学習部１２０とを含む。ラベル推定部１１０は、初期値設定部１１１と、専門家確率ラベル取得部１１２と、確率ラベル取得部１１３とを含む。専門家確率ラベル取得部１１２は、専門家スキル推定部１１２Ａと専門家確率ラベル推定部１１２Ｂとを含む。確率ラベル取得部１１３は、スキル推定部１１３Ａと確率ラベル推定部１１３Ｂとを含む。
　モデル学習装置１００は、学習ラベルデータの集合Aと、学習ラベルデータの集合Aに対応する学習特徴量データとを入力とし、ラベル推定モデルを学習し、学習済みのラベル推定モデルを出力する。本実施形態では、学習済みのラベル推定モデルのパラメタλを出力する。
（学習ラベルデータおよび学習特徴量データ）
　図３は学習ラベルデータの例を、図４は学習特徴量データの例を示す。学習ラベルデータには、学習ラベルデータのデータ番号i（i=1,…,L）に対して、学習特徴量データのデータ番号y(i,0)、評価者番号y(i,1)、印象ラベルy(i,2)、専門フラグy(i,3)が存在する。学習特徴量データのデータ番号y(i,0)はj∈{1,…,J}である。また、評価者番号y(i,1)はその学習特徴量データに対応するデータを評価した評価者の番号k∈{1,…,K}である。印象値ラベルy(i,2)は、その学習特徴量データに対応するデータに対する印象の値c∈{1,…,C}である。別の言い方をすると、印象値ラベルy(i,2)は、データに対して評価者が付与した印象の値である。専門フラグy(i,3)は、当該評価者(評価者番号y(i,1)に対応する評価者)が専門家か否かを示すフラグf∈{0,1}である。本実施形態では、y(i,3)=1の場合当該評価者y(i,1)は専門家、y(i,3）=0の場合当該評価者y(i,1)は非専門家とする。学習ラベルデータは、図３のように１つの学習特徴量データに対応するデータに対して一人以上の評価者により、１つ以上の印象ラベルが付与されているものとする。i番目の学習ラベルデータA(i)=A(j,k,c,f)から、ある学習特徴量データx(j)に対応するデータに対して、フラグfにより示される専門家または非専門家である評価者kが印象ラベルcを付与したことが分かる。
　学習特徴量データは、データ番号j(j=1,…,J)に対応するデータx(j)となる。例えば、「学習特徴量データ」は音声信号から特徴を抽出したベクトル(音響特徴ベクトル)等の値であり（図４参照）、「学習特徴量データに対応するデータ」は学習特徴量データの抽出元である音声信号である。なお、学習特徴量データを音声信号自体とし、「学習特徴量データ」=「学習特徴量データに対応するデータ」としてもよい。以下では、「学習特徴量データx(j)に対応するデータ」を単に「学習特徴量データj」ともいう。
　以下、各部について説明する。
＜ラベル推定部１１０＞
　ラベル推定部１１０は、学習ラベルデータの集合Aを入力とし、評価者が正しく評価できる能力、およびそれに基づく真のラベルの確率hj,cを求め（Ｓ１１０）、出力する。なお、確率hj,cは、学習特徴量データj(j=1,…,J)の真のラベルがラベルc(c=1,…,C)である確率を表す。
　ここでは、学習ラベルデータで付与されている印象ラベルには、学習特徴量データjに対する真のラベルcjがあると仮定する。また、評価者ごとにラベルを付与する能力が異なり、評価者kが真のラベルがcであったときに、正しくc'と答える確率ak,c,c'を導入する。
　EMアルゴリズムで真のラベルと評価者の能力を推定し、最適なラベルの確率hj,cを学習部１２０に出力する。ここでは、データ番号j、評価者番号k、印象ラベルc、専門フラグfの学習ラベルデータを検索する集合A、およびそのデータの数を示すNを次のように定義する。
Figure JPOXMLDOC01-appb-M000001
 なお、*は、任意を示すシンボルとしている。
　本実施形態では、予め専門家の学習ラベルデータの集合(専門家の評価者がラベルを付与したデータの集合)A(*,*,*,1)で確率hj,cを求めておくことで、非専門家のスキルに対応する確率ak,c,c’が専門家の学習ラベルデータの集合A(*,*,*,1)に基づいて評価されるため、全ての学習ラベルデータの集合(専門家または非専門家の評価者がラベルを付与したデータの集合)A(*,*,*,*)の確率hj,cを専門家の基準に基づいて求めることができる。 
　なお、ラベル推定部１１０は、所定の条件を満たした場合に、モデル学習を終了する。例えば、更新前後の確率hj,cの差分が、予め設定した閾値δを全ての特徴量データj、印象ラベルcで下回った場合に、終了とする。
＜初期値設定部１１１＞
　初期値設定部１１１は、専門家f=1の評価者kがラベルを付与したデータの集合（専門家の学習ラベルデータの集合A(*,*,*,1)）を入力とし、これを用いて、学習特徴量データjに対する真のラベルがラベルcである確率hj,cの初期値を設定し（Ｓ１１１）、出力する。
　例えば、専門家f=1の評価者kが付与しているデータj（j=1,…,J）の全てのラベルc（c=1,…,C）について、次のように真のラベルがラベルcである確率hj,cのEMアルゴリズムの初期値を設定する。
Figure JPOXMLDOC01-appb-M000002
　確率hj,cは、学習特徴量データjがラベルcである確率値となる。 
＜専門家確率ラベル取得部１１２＞
　専門家確率ラベル取得部１１２は、専門家の学習ラベルデータの集合A(*,*,*,1)と、確率hj,cの初期値を入力とし、これらの値を用いて、EMアルゴリズムにより、学習特徴量データjに対する真のラベルがラベルcである確率hj,cを求め（Ｓ１１２）、出力する。
　以下、専門家確率ラベル取得部１１２に含まれる専門家スキル推定部１１２Ａにおける処理（EMアルゴリズムのMステップに対応する処理）および専門家確率ラベル推定部１１２Ｂにおける処理（EMアルゴリズムのEステップに対応する処理）について説明する。
＜専門家スキル推定部１１２Ａ＞
　専門家スキル推定部１１２Ａは、専門家の学習ラベルデータの集合A(*,*,*,1)と、確率hj,cの初期値またはEMアルゴリズムの一つ前の繰り返し処理で求めた確率hj,cとを入力とし、これらの値を用いて、専門家f=1の評価者kが学習特徴量データに対する真のラベルがcであるときにラベルc'と回答する確率ak,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布qcとを求め（Ｓ１１２Ａ）、出力する。例えば、確率ak,c,c'、分布qcを以下の式により求める。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
＜専門家確率ラベル推定部１１２Ｂ＞
　専門家確率ラベル推定部１１２Ｂは、専門家の学習ラベルデータの集合A(*,*,*,1)と専門家スキル推定部１１２Ａで求めた確率ak,c,c'と分布qcとを入力とし、これらの値を用いて、学習特徴量データjおよびラベルc毎の値Qj,cを求め、値Qj,cを用いて確率hj,cを更新し（Ｓ１１２Ｂ－１）、出力する。例えば、値Qj,c、確率hj,cを以下の式により求める。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　専門家確率ラベル推定部１１２Ｂは、確率hj,cの値が収束したか否かを判定し（Ｓ１１２Ｂ－２）、収束した場合には（Ｓ１１２Ｂ－２のyes）、更新処理を終了し、終了時点の確率hj,cを出力する。収束していない場合には（Ｓ１１２Ｂ－２のno）、専門家スキル推定部１１２Ａに更新後の確率hj,cと処理を繰り返すことを示す制御信号を出力する。例えば、全ての学習特徴量データjおよびラベルcにおいて、更新前後の確率hj,cの差分が、所定の閾値δよりも小さい場合、または、所定の閾値δ以下の場合、収束したと判定し、それ以外の場合、収束していないと判定する。また、例えば、繰り返し処理の回数が所定の回数よりも大きくなった場合、収束したと判定し、それ以外の場合、収束していないと判定する。
＜確率ラベル取得部１１３＞
　確率ラベル取得部１１３は、専門家または非専門家の評価者がラベルを付与したデータの集合A(*,*,*,*)と専門家確率ラベル取得部１１２で求めた確率hj,cとを入力とし、これらの値を用いて、EMアルゴリズムにより、学習特徴量データjに対する真のラベルがラベルcである確率hj,cを求め（Ｓ１１３）、出力する。
　以下、確率ラベル取得部１１３に含まれるスキル推定部１１３Ａにおける処理（EMアルゴリズムのMステップに対応する処理）および確率ラベル推定部１１３Ｂにおける処理（EMアルゴリズムのEステップに対応する処理）について説明する。
＜スキル推定部１１３Ａ＞
　スキル推定部１１３Ａは、専門家または非専門家の評価者がラベルを付与したデータの集合A(*,*,*,*)と、専門家確率ラベル取得部１１２またはEMアルゴリズムの一つ前の繰り返し処理で求めた確率hj,cとを入力とし、これらの値を用いて、専門家または非専門家の評価者kが学習特徴量データに対する真のラベルがcであるときにラベルc'と回答する確率ak,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布qcとを求め（Ｓ１１３Ａ）、出力する。例えば、確率ak,c,c'、分布qcを以下の式により求める。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
＜確率ラベル推定部１１３Ｂ＞
　確率ラベル推定部１１３Ｂは、専門家または非専門家の評価者がラベルを付与したデータの集合A(*,*,*,*)と、スキル推定部１１３Ａで求めた確率ak,c,c'と分布qcとを入力とし、これらの値を用いて、学習特徴量データjおよびラベルc毎の値Qj,cを求め、値Qj,cを用いて確率hj,cを更新し（Ｓ１１３Ｂ－１）、出力する。例えば、値Qj,c、確率hj,cを以下の式により求める。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　確率ラベル推定部１１３Ｂは、確率hj,cの値が収束したか否かを判定し（Ｓ１１３Ｂ－２）、収束した場合には（Ｓ１１３Ｂ－２のyes）、更新処理を終了し、終了時点の確率hj,cを出力する。収束していない場合には（Ｓ１１３Ｂ－２のno）、スキル推定部１１３Ａに更新後の確率hj,cと処理を繰り返すことを示す制御信号を出力する。判定方法は、例えば、専門家確率ラベル推定部１１２Ｂで説明した方法と同様とする。
＜学習部１２０＞
　学習部１２０は、確率ラベル取得部１１３で求めた確率hj,cと、確率ラベル取得部１１３で求めた確率hj,cに対応する学習特徴量データx(j)とを入力とし、これらの値を用いて、特徴量データを入力とし、ラベルを出力するモデルを学習し（Ｓ１２０）、学習済みのラベル推定モデルを出力する。
　本実施形態では、確率ラベル取得部１１３で求めた確率hj,cをターゲットとして、ラベル推定モデルを学習する。
　例えば、モデルがニューラルネットワークの場合は、交差エントロピー誤差を最小化するように学習する際は、次のように誤差を与えればよい。
Figure JPOXMLDOC01-appb-M000011
ただし、y^(j)はニューラルネットワークモデルの推定値y^(j)=f(x(j))であり、誤差関数Eを最小化するようにモデルfのパラメタλを更新していく。
　また、SVMで学習する場合は、例えば同じデータx(j)に対してラベルcの数だけ学習データを増やしそれぞれサンプル重みhj,cを重みづけして学習をすればよい。
　例えば、学習部１２０は、学習済みのラベル推定モデルfのパラメタλを出力する。
　次に、ラベル推定装置２００について説明する。
＜第一実施形態に係るラベル推定装置２００＞
　図５は第一実施形態に係るラベル推定装置２００の機能ブロック図を、図６はその処理フローを示す。
　ラベル推定装置２００は、推定部２２０を含む。
　ラベル推定装置２００の推定部２２０は、ラベル推定処理に先立ち、学習済みのラベル推定モデルfのパラメタλを受け取っておく。
　ラベル推定装置２００の推定部２２０は、ラベル付与対象特徴量データx(p)を入力とし、学習済みのパラメタλおよびラベル推定モデルfを用いて、ラベル付与対象データに対するラベルを推定し（Ｓ２２０）、推定結果label(p)を出力する。なお、ラベル付与対象データは、ラベル付与対象特徴量データの抽出元となるデータである。
＜効果＞
　本実施形態のモデル学習装置では、専門家と非専門家とのラベル付与の精度の差を考慮することで、より推定精度の高いモデルを学習することができる。そのモデルを用いることで、本実施形態のラベル推定装置は、精度よくラベルを推定することができる。
＜変形例＞
　本実施形態では、学習特徴量データおよびラベル付与対象特徴量データを入力としているが、これらの特徴量の抽出元となるデータを入力としてもよい。その場合、データから特徴量を抽出する機能を有する特徴量抽出部を設ければよい。
　本実施形態では、印象ラベルの例を示したが、ラベルを付与する評価者を専門家、非専門家に分けることができれば、他のラベルに適用することができる。
＜その他の変形例＞
　本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
　上述の各種の処理は、図７に示すコンピュータの記憶部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

  1. 　学習ラベルデータには、データ番号i(i=1,…,L)に対して、学習特徴量データのデータ番号y(i,0)を示すデータ番号j∈{1,…,J}と、学習特徴量データに対応するデータにラベルを付与した評価者の番号y(i,1)を示す評価者番号k∈{1,…,K}と、学習特徴量データに対応するデータに対して付与されたラベルy(i,2)を示すラベルc∈{1,…,C}と、評価者が学習特徴量データに対応するデータにラベルを付与する専門家か否かを示すフラグy(i,3)である専門フラグfとが存在し、
    　専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める専門家確率ラベル取得部と、
    　専門家または非専門家の評価者がラベルを付与したデータの集合と前記専門家確率ラベル取得部で求めた前記確率hj,cとを用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める確率ラベル取得部と、
    　前記確率ラベル取得部で求めた前記確率hj,cと、前記確率ラベル取得部で求めた前記確率hj,cに対応する学習特徴量データjとを用いて、特徴量データを入力とし、ラベルを出力するモデルを学習する学習部とを含む、
    　モデル学習装置。
  2. 　請求項１のモデル学習装置であって、
    　前記専門家確率ラベル取得部は、
    　専門家の評価者kが学習特徴量データに対応するデータに対する真のラベルがcであるときにラベルc'と回答する確率ak,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布qcとを求める専門家スキル推定部と、
    　前記専門家スキル推定部で求めた前記確率ak,c,c'と前記分布qcとを用いて、学習特徴量データjおよびラベルc毎の値Qj,cを求め、前記値Qj,cを用いて前記確率hj,cを更新する専門家確率ラベル推定部とを含み、
    　前記確率ラベル取得部は、
    　専門家または非専門家の評価者kが学習特徴量データに対応するデータに対する真のラベルがcであるときにラベルc'と回答する確率ak,c,c'と、全てのラベル1,…,Cについて各ラベルcの分布qcとを求めるスキル推定部と、
    　前記スキル推定部で求めた前記確率ak,c,c'と前記分布qcとを用いて、学習特徴量データjおよびラベルc毎の値Qj,cを求め、前記値Qj,cを用いて前記確率hj,cを更新する確率ラベル推定部とを含む、
    　モデル学習装置。
  3. 　請求項１または請求項２のモデル学習装置であって、
    　専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cの初期値を設定する初期値設定部を含む、
    　モデル学習装置。
  4. 　モデル学習装置を用いたモデル学習方法であって、
    　学習ラベルデータには、データ番号i(i=1,…,L)に対して、学習特徴量データのデータ番号y(i,0)を示すデータ番号j∈{1,…,J}と、学習特徴量データに対応するデータにラベルを付与した評価者の番号y(i,1)を示す評価者番号k∈{1,…,K}と、学習特徴量データに対応するデータに対して付与されたラベルy(i,2)を示すラベルc∈{1,…,C}と、評価者が学習特徴量データに対応するデータにラベルを付与する専門家か否かを示すフラグy(i,3)である専門フラグfとが存在し、
    　専門家の評価者がラベルを付与したデータの集合を用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める専門家確率ラベル取得ステップと、
    　専門家または非専門家の評価者がラベルを付与したデータの集合と前記専門家確率ラベル取得ステップで求めた前記確率hj,cとを用いて、学習特徴量データjに対応するデータに対する真のラベルがラベルcである確率hj,cを求める確率ラベル取得ステップと、
    　前記確率ラベル取得ステップで求めた前記確率hj,cと、前記確率ラベル取得ステップで求めた前記確率hj,cに対応する学習特徴量データjとを用いて、特徴量データを入力とし、ラベルを出力するモデルを学習する学習ステップとを含む、
    　モデル学習方法。
  5. 　請求項１から請求項３の何れかのモデル学習装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/012231 2020-03-19 2020-03-19 モデル学習装置、その方法、およびプログラム Ceased WO2021186662A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/012231 WO2021186662A1 (ja) 2020-03-19 2020-03-19 モデル学習装置、その方法、およびプログラム
JP2022507952A JP7315091B2 (ja) 2020-03-19 2020-03-19 モデル学習装置、その方法、およびプログラム
US17/912,493 US20230206118A1 (en) 2020-03-19 2020-03-19 Model learning apparatus, method and program for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/012231 WO2021186662A1 (ja) 2020-03-19 2020-03-19 モデル学習装置、その方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2021186662A1 true WO2021186662A1 (ja) 2021-09-23

Family

ID=77771945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012231 Ceased WO2021186662A1 (ja) 2020-03-19 2020-03-19 モデル学習装置、その方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230206118A1 (ja)
JP (1) JP7315091B2 (ja)
WO (1) WO2021186662A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282686A (ja) 2008-05-21 2009-12-03 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
US11914674B2 (en) * 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
WO2018147193A1 (ja) * 2017-02-08 2018-08-16 日本電信電話株式会社 モデル学習装置、推定装置、それらの方法、およびプログラム
US11861674B1 (en) * 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems
US12026626B1 (en) * 2020-02-18 2024-07-02 Nvidia Corporation Multi-level and multi-label content classification using unsupervised and ensemble machine learning techniques

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAJINO, HIROSHI ET AL.: "Learning from Crowds and Experts", HUMAN COMPUTATION AAAI TECHNICAL REPORT WS-12-08, 15 July 2012 (2012-07-15), pages 107 - 113, Retrieved from the Internet <URL:https://www.aaai.org/ocs/index.php/WS/AAAIWI2/paper/viewPaper/5257> [retrieved on 20200722] *

Also Published As

Publication number Publication date
JP7315091B2 (ja) 2023-07-26
JPWO2021186662A1 (ja) 2021-09-23
US20230206118A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
JP7222274B2 (ja) モデル学習装置、ラベル推定装置、それらの方法、およびプログラム
JPWO2018051841A1 (ja) モデル学習装置、その方法、及びプログラム
CN114861636B (zh) 文本纠错模型的训练方法及装置、文本纠错方法及装置
JP2020047234A (ja) データ評価方法、装置、機器及び読み取り可能な記憶媒体
US20220351634A1 (en) Question answering systems
CN116361306A (zh) 面向开放域科普的问答库自动更新方法和装置
US12153892B1 (en) Use of semantic confidence metrics for uncertainty estimation in large language models
EP3832485A1 (en) Question answering systems
JPWO2019163718A1 (ja) 学習装置、音声認識順位推定装置、それらの方法、およびプログラム
CN113868368A (zh) 用于信息处理的方法、电子设备和计算机程序产品
JP2023543268A (ja) カスタマイズ可能なチャットボットを実行するための構成可能な会話エンジン
CN111160000A (zh) 作文自动评分方法、装置终端设备及存储介质
WO2021147405A1 (zh) 客服语句质检方法及相关设备
WO2021117089A1 (ja) モデル学習装置、音声認識装置、それらの方法、およびプログラム
JP6856503B2 (ja) 印象推定モデル学習装置、印象推定装置、印象推定モデル学習方法、印象推定方法、およびプログラム
US20220108217A1 (en) Model learning apparatus, label estimation apparatus, method and program thereof
US11887620B2 (en) Language model score calculation apparatus, language model generation apparatus, methods therefor, program, and recording medium
CN119721040A (zh) 一种基于上下文学习的命名实体识别方法
JP7315091B2 (ja) モデル学習装置、その方法、およびプログラム
CN119312819A (zh) 一种翻译词条的方法、装置及存储介质
CN119311890A (zh) 意图分类方法、装置、电子设备及存储介质
CN117313943A (zh) 试题正确率的预测方法、系统、设备及存储介质
US20230186155A1 (en) Machine learning method and information processing device
CN117473951A (zh) 文本处理方法、装置及存储介质
WO2023234128A1 (ja) 対話管理装置、対話管理方法及び対話管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20926018

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507952

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20926018

Country of ref document: EP

Kind code of ref document: A1