WO2022185360A1 - 支援装置、支援方法およびプログラム - Google Patents
支援装置、支援方法およびプログラム Download PDFInfo
- Publication number
- WO2022185360A1 WO2022185360A1 PCT/JP2021/007622 JP2021007622W WO2022185360A1 WO 2022185360 A1 WO2022185360 A1 WO 2022185360A1 JP 2021007622 W JP2021007622 W JP 2021007622W WO 2022185360 A1 WO2022185360 A1 WO 2022185360A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- call
- label
- teacher data
- utterance
- inference
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 247
- 238000012790 confirmation Methods 0.000 claims abstract description 213
- 238000012549 training Methods 0.000 claims description 26
- 230000000875 corresponding effect Effects 0.000 abstract 4
- 230000002596 correlated effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 32
- 230000004044 response Effects 0.000 description 10
- 230000007717 exclusion Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000002372 labelling Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Definitions
- Non-Patent Documents 1 and 2 above require a large amount of teacher data in order to bring the estimation accuracy to a level that can withstand practical use.
- high estimation accuracy can be obtained by learning a model by creating training data from call center conversation logs of about 1000 calls.
- Teacher data is created by an operator (teacher data creator) assigning a label to each uttered text while referring to uttered texts obtained by speech recognition of uttered voices.
- the purpose of the present disclosure which has been made in view of the above problems, is to provide a support device, support method, and program that can more efficiently evaluate teacher data creators.
- speech text corresponding to the operator's speech (hereinafter, the speech text corresponding to the speech may be simply referred to as "speech text") is indicated by a solid-line balloon, and the customer's speech text is indicated by a dotted-line balloon. is shown.
- the call-by-call inference result evaluation unit 13 receives input of teacher data and the inference result of the label inference unit 12 .
- teacher data includes a group of spoken texts for a plurality of calls made by a plurality of speakers.
- the teacher data includes multiple element groups consisting of multiple elements in sequence.
- the call-by-call inference result evaluation unit 13 evaluates the input teacher data and the inference result of the label inference unit 12 for each call.
- the call-by-call reasoning result evaluation unit 13 outputs the evaluation result (call-by-call evaluation result) to the call-by-call confirmation screen generation unit 14 and the external output interface 1 . The details of the call-by-call evaluation results will be described later.
- the call-by-call confirmation screen generation unit 14 generates, for each call, a beginning time that is the time when an utterance that constitutes a call is started, an end time that is the time when the utterance ends, and an utterance text. , and the correct label and inference label for each uttered text, to generate a confirmation screen for each call.
- the call-by-call confirmation screen generation unit 14 generates a teacher data confirmation screen including elements that constitute teacher data, correct labels of the elements, and inference labels of the elements.
- the call-by-call confirmation screen generation unit 14 displays the correct label and the inference label corresponding to the elements constituting the teacher data in a comparable manner (for example, as shown in FIG.
- the support device 10A further includes an inference error exclusion unit 18 that excludes elements whose inference labels inferred by a trained model are determined to be erroneous according to a predetermined rule.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1は、本開示の第1の実施形態に係る支援装置10がプログラム命令を実行可能なコンピュータである場合のハードウェア構成を示すブロック図である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
図9は、本開示の第2の実施形態に係る支援装置10Aの構成例を示す図である。図9において、図2と同様の構成には同じ符号を付し、説明を省略する。
図11は、本開示の第3の実施形態に係る支援装置10Bの機能構成の一例を示す図である。本実施形態に係る支援装置10Bは、教師データを構成する要素にラベルを付与して教師データを作成する教師データ作成者の評価を支援するものである。図11において、図2と同様の構成には同じ符号を付し、説明を省略する。
メモリと、
前記メモリに接続された少なくとも1つのプロセッサと、
を含み、
前記プロセッサは、
要素と、前記要素に対応する正解ラベルとの組からなる教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論し、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する、支援装置。
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項1に記載の支援装置として機能させる、プログラムを記憶した非一時的記憶媒体。
11 モデル学習部
12 ラベル推論部
13,13B 通話別推論結果評価部
14,14B 通話別確認画面生成部
15,15B 発話別推論結果評価部
16,16B 発話別確認画面生成部
17 評価部
18 推論誤り除外部
21 教師データ作成者評価部
110 プロセッサ
120 ROM
130 RAM
140 ストレージ
150 入力部
160 表示部
170 通信インタフェース
190 バス
Claims (8)
- 要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置であって、
前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するラベル推論部と、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成する評価部と、を備える支援装置。 - 請求項1に記載の支援装置において、
前記教師データは、系列的な複数の要素からなる要素群を複数含み、
前記評価部は、前記要素群ごとの、当該要素群を構成する要素に対応する前記正解ラベルと前記推論ラベルとの比較に基づく評価結果を、前記教師データ作成者ごとに確認可能なように生成する、支援装置。 - 請求項1または2に記載の支援装置において、
前記教師データは、系列的な複数の要素からなる要素群を複数含み、
前記評価部は、前記要素群ごとの、当該要素群を構成する要素と、前記要素に対応する正解ラベルと、前記要素の推論ラベルとを含む、前記要素群ごとに切り替え可能な教師データ確認画面を、前記教師データ作成者ごとに生成する、支援装置。 - 請求項1から3のいずれか一項に記載の支援装置において、
前記評価部は、前記教師データを構成する要素ごとの、前記正解ラベルと前記推論ラベルとの比較に基づく評価結果を、前記教師データ作成者ごとに生成する、支援装置。 - 請求項4に記載の支援装置において、
前記評価部は、前記要素ごとの、前記要素と、前記要素に対応する正解ラベルと、前記要素の推論ラベルとを含む教師データ確認画面を、前記教師データ作成者ごとに確認可能なように生成する、支援装置。 - 請求項4または5に記載の支援装置において、
前記評価部は、前記正解ラベルと前記推論ラベルとが異なるパターンであって、混同が生じやすい差異パターンを前記評価結果に含める、支援装置。 - 要素と、前記要素に対応する正解ラベルとの組からなる教師データを作成する教師データ作成者の評価を支援する支援装置における支援方法であって、
前記教師データを用いて学習された、前記要素に対応するラベルを推論するモデルを用いて、前記教師データを構成する要素に対応するラベルである推論ラベルを推論するステップと、
前記教師データを構成する要素に対応する正解ラベルと、前記要素の推論ラベルとの比較に基づき、前記教師データ作成者の評価結果を生成するステップと、を含む支援方法。 - コンピュータを、請求項1から6のいずれか一項に記載の支援装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/279,590 US20240144057A1 (en) | 2021-03-01 | 2021-03-01 | Support device, support method, and program |
JP2023503531A JPWO2022185360A1 (ja) | 2021-03-01 | 2021-03-01 | |
PCT/JP2021/007622 WO2022185360A1 (ja) | 2021-03-01 | 2021-03-01 | 支援装置、支援方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/007622 WO2022185360A1 (ja) | 2021-03-01 | 2021-03-01 | 支援装置、支援方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022185360A1 true WO2022185360A1 (ja) | 2022-09-09 |
Family
ID=83155183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/007622 WO2022185360A1 (ja) | 2021-03-01 | 2021-03-01 | 支援装置、支援方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240144057A1 (ja) |
JP (1) | JPWO2022185360A1 (ja) |
WO (1) | WO2022185360A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017091479A (ja) * | 2015-11-17 | 2017-05-25 | エヌ・ティ・ティ・コムウェア株式会社 | 学習支援システム、学習支援方法、学習支援装置、および学習支援プログラム |
JP2018106662A (ja) * | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2019167556A1 (ja) * | 2018-02-27 | 2019-09-06 | 国立大学法人九州工業大学 | ラベル収集装置、ラベル収集方法及びラベル収集プログラム |
JP2020042737A (ja) * | 2018-09-13 | 2020-03-19 | 株式会社東芝 | モデル更新支援システム |
-
2021
- 2021-03-01 JP JP2023503531A patent/JPWO2022185360A1/ja active Pending
- 2021-03-01 WO PCT/JP2021/007622 patent/WO2022185360A1/ja active Application Filing
- 2021-03-01 US US18/279,590 patent/US20240144057A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017091479A (ja) * | 2015-11-17 | 2017-05-25 | エヌ・ティ・ティ・コムウェア株式会社 | 学習支援システム、学習支援方法、学習支援装置、および学習支援プログラム |
JP2018106662A (ja) * | 2016-12-22 | 2018-07-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2019167556A1 (ja) * | 2018-02-27 | 2019-09-06 | 国立大学法人九州工業大学 | ラベル収集装置、ラベル収集方法及びラベル収集プログラム |
JP2020042737A (ja) * | 2018-09-13 | 2020-03-19 | 株式会社東芝 | モデル更新支援システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022185360A1 (ja) | 2022-09-09 |
US20240144057A1 (en) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10776580B2 (en) | Method for providing dialogue service with chatbot assisted by human agents | |
US20170046625A1 (en) | Information processing apparatus and method and non-transitory computer readable medium | |
CN107818798A (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
CN115398396A (zh) | 在面向任务的对话系统中训练用户系统对话 | |
US10180939B2 (en) | Emotional and personality analysis of characters and their interrelationships | |
CN109119067B (zh) | 语音合成方法及装置 | |
US11114111B2 (en) | Dialogue analysis | |
WO2020247586A1 (en) | Automated conversation review to surface virtual assistant misunderstandings | |
WO2016087982A1 (en) | Persona-based profiles in question answering system | |
US20190295098A1 (en) | Performing Real-Time Analytics for Customer Care Interactions | |
Wang et al. | “Love ya, jerkface”: Using Sparse Log-Linear Models to Build Positive and Impolite Relationships with Teens | |
US11093716B2 (en) | Conversation support apparatus, conversation support method, and computer readable recording medium | |
WO2022185360A1 (ja) | 支援装置、支援方法およびプログラム | |
WO2022185362A1 (ja) | 支援装置、支援方法およびプログラム | |
US11960847B2 (en) | Systems and methods for generating responses for an intelligent virtual | |
CN113257060A (zh) | 一种答疑解决方法、装置、设备和存储介质 | |
Weitz et al. | Working memory and sequence learning in the Hebb digits task: Awareness is predicted by individual differences in operation span | |
JP2021157419A (ja) | 対話型業務支援システムおよび対話型業務支援方法 | |
US20200257494A1 (en) | Voice-based grading assistant | |
CN113657118B (zh) | 基于通话文本的语义分析方法、装置和系统 | |
KR102168556B1 (ko) | 훈련 평가 시스템 | |
WO2022185363A1 (ja) | ラベル付与支援装置、ラベル付与支援方法およびプログラム | |
US20200125658A1 (en) | Inter-reviewer conflict resolution | |
WO2022185364A1 (ja) | 学習装置、学習方法およびプログラム | |
JP2022001930A (ja) | アクティブラーニングシステム及びアクティブラーニングプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21928938 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2023503531 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 18279590 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21928938 Country of ref document: EP Kind code of ref document: A1 |