JP7130194B2 - ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム - Google Patents

ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP7130194B2
JP7130194B2 JP2020153025A JP2020153025A JP7130194B2 JP 7130194 B2 JP7130194 B2 JP 7130194B2 JP 2020153025 A JP2020153025 A JP 2020153025A JP 2020153025 A JP2020153025 A JP 2020153025A JP 7130194 B2 JP7130194 B2 JP 7130194B2
Authority
JP
Japan
Prior art keywords
data
input data
dialogue
intention
satisfaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020153025A
Other languages
English (en)
Other versions
JP2021131528A (ja
Inventor
ヂャイ・ヂョウウェイ
ファン・ロンシェン
シュ・ベン
ヨウ・フェイ
リ・ニン
ホー・ウェンソン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
シャンハイ シャオドゥ テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド, シャンハイ シャオドゥ テクノロジー カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Publication of JP2021131528A publication Critical patent/JP2021131528A/ja
Application granted granted Critical
Publication of JP7130194B2 publication Critical patent/JP7130194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願は、コンピュータ技術に関し、特に自然言語処理の技術分野に関する。
自然言語処理の分野では、意図認識は自然言語の意図を認識して、意図認識結果に基づいてユーザの所望の情報を提供することである。
自然言語に対し意図認識を行う場合に、１）関連コンテキストの文法テンプレート及びスロットなどの情報を掘り起こし、マッチング法により意図認識を行う文法による方法、２）従来の分類アルゴリズムにより意図分類を行う従来の機械学習による方法、３）ニューラルネットワークによる深層学習方法という３つの方案を含む。
方案３）のフィッティング能力及び汎化能力は最も良いが、モデルの意図認識精度を確保するために、ニューラルネットワークモデルの訓練に大量のサンプルが必要である。したがって、大量の効果的なサンプルを如何にして構築するかが難題となっている。
本出願の実施例は、大量の訓練サンプルを自動的に選別し、さらに訓練して精度の高い意図認識モデルを得、意図認識精度を向上させるユーザ意図認識方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
第１態様によれば、本出願の実施例は、
複数回の対話データ及び毎回の対話データの満足度を取得することであって、毎回の対話データがユーザの入力データと、意図認識モデルを通じて前記入力データに対して意図認識を実行した意図認識結果に基づいてフィードバックされる応答データとを含むことと、
前記複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別することと、
前記対象対話データにおける入力データに意図ラベルを付けることと、
前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行うことと、を含むユーザ意図認識方法を提供する。
本出願の実施例では、複数回の対話データ及び毎回の対話データの満足度を取得することにより、満足度が所定の満足条件を満たす対象対話データを選別し、対話データを満足度の判断次元とすることで、入力データの認識精度を効果的に向上でき、満足度をフィルタ条件として適切な入力データを選別することにより、選別された入力データの意図認識結果が基本的に正確な結果となることで、選別された入力データが所定の精度を備えることを保証し、入力データ及び意図ラベルに基づいて意図認識モデルを訓練する場合に、より精度の高いモデルを作成することができる。本実施例では、訓練用の入力データは、意図認識モデルによってオンライン認識されたが、該入力データがオフラインに戻って意図認識モデルを訓練することで、オンライン認識からオフライン訓練まで閉ループを構成し、対話満足度に基づいてオンラインで大量の高精度サンプルを次々に掘り起こし、意図認識モデルをより高精度に更新するように推進することができ、オフラインモデルの認識精度の向上に伴い、入力データの精度も高くなり、満足度も高くなることで、良性循環が形成され、最終的に意図認識モデルの認識精度を向上させる。
選択可能に、前記の前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練することは、
前記対象対話データにおける入力データの言語特徴及び前記入力データに関連付けられた特徴を抽出することと、
前記入力データの言語特徴と前記入力データに関連付けられた特徴とを入力とし、前記意図ラベルを目的出力として、前記意図認識モデルを訓練することと、を含み、
前記入力データに関連付けられた特徴は、前記入力データの検索要求、前記入力データの応答データ、前記入力データのコンテキストデータ及び前記入力データの統計データの少なくとも１種を含む。
上記出願の選択可能な実施形態では、入力データの言語特徴及び関連付けられた特徴をモデルの入力とし、ユーザの意図を特徴レベルでより正確に反映し、特徴レベルで意図認識を行うことで、認識精度の向上に役立ち、入力データに関連付けられた特徴は入力データの意図をよりよく認識するために導入された特徴であり、これらの特徴がユーザの意図を側面から表現し、入力データの意図認識に対し良好な補助作用を果たす。
選択可能に、前記の前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練する前に、
前記対象対話データにおける入力データの送信元端末タイプを取得することをさらに含み、
前記の前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練することは、
前記送信元端末タイプに従って、前記対象対話データにおける入力データをグループ化して、複数グループの入力データを得ることと、
各グループの入力データ及び各グループの入力データの意図ラベルに基づいて、各グループの入力データの送信元端末タイプに対応する意図認識モデルを訓練することと、を含み、
前記送信元端末タイプがスクリーン付き端末タイプ及びスクリーンなし端末タイプを含む。
上記出願の選択可能な実施形態では、スクリーン付き端末タイプ及びスクリーンなし端末タイプに基づいて入力データをグループ化するとともに、送信元端末タイプに対応する意図認識モデルをグループ化して訓練することにより、スクリーン付き端末及びスクリーンなし端末にそれぞれ適用する意図認識モデルを得るとともに、スクリーン付き端末及びスクリーンなし端末の意図認識精度を向上させる。
選択可能に、前記複数回の対話データ及び毎回の対話データの満足度を取得することは、
複数回の対話データ及び毎回の対話データの満足度を含む直近の満足度フィードバックログを所定周期で取得することを含み、
前記の前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練することは、
前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを前記所定周期で訓練することを含む。
上記出願の選択可能な実施形態では、満足度フィードバックログがユーザの対話データ及び満足度を自動的に収集することができ、満足度フィードバックログをデータソースとして、追加プログラミングを必要とすることなく、対話データ及び対話データの満足度を容易且つ迅速に取得することができ、直近の満足度フィードバックログを設定周期で取得するとともに、意図認識モデルを所定周期で訓練することで、モデル訓練を所定周期で自動的に行うことができ、モデルがオンラインの新たな入力データに応じてタイムリーに更新できることを保証する。
選択可能に、前記複数回の対話データ及び毎回の対話データの満足度を含む直近の満足度フィードバックログを所定周期で取得する前に、
ユーザ行動ログから前記複数回の対話データを取得することと、
満足度スコアリングモデルを用いて、前記複数回の対話データにおける毎回の対話データに対し満足度スコアリングを行い、毎回の対話データの満足度スコアを得ることと、
前記複数回の対話データ及び毎回の対話データの満足度スコアを前記満足度フィードバックログに記憶することと、をさらに含む。
上記出願の選択可能な実施形態では、ユーザ行動ログがユーザの対話データを自動的に収集し、ユーザ行動ログをデータソースとして、追加プログラミングを必要とすることなく、対話データを容易且つ迅速に取得することができ、満足度スコアリングモデルによって対話データの満足度スコアを得、満足度の取得方法を具体化し、満足度スコアリングモデルによって客観的に統一した基準に従って満足度スコアリングを行うことができ、満足度スコアの真実性を向上させ、対話データ量が大きい場合に、満足度スコアリングモデルを採用して満足度スコアを迅速かつ正確に取得することができる。
選択可能に、前記ユーザ行動ログから複数回の対話データを取得することは、
ユーザ行動ログを介して複数回の候補対話データを収集することであって、毎回の候補対話データは、ユーザの入力データと、意図認識モデルを通じて前記入力データに対して意図認識を実行した意図認識結果に基づいてフィードバックされる応答データとを含むことと、
前記意図認識モデルに基づいて、毎回の候補対話データにおける入力データの意図信頼度を取得することと、
前記ユーザ行動ログから、意図信頼度が所定の信頼度条件を満たす入力データ及び前記入力データの応答データを選別して、前記複数回の対話データを構成することと、を含む。
上記出願の選択可能な実施形態では、ユーザ行動ログが多くの候補対話データを収集することができ、これらの候補対話データにおける入力データの意図信頼度が高いことも低いこともあり、意図信頼度が高いほど、入力データが該意図を示す確率が高く、認識精度が高いことを意味する。したがって、信頼度条件により意図信頼度の高い入力データ、即ち認識精度の高い入力データを選別することができる。このように、選別された入力データをフィードバックデータとしてモデル訓練を行う場合に、モデルの意図認識精度をさらに向上させることができる。
選択可能に、前記の前記対象対話データにおける入力データに意図ラベルを付けることは、
前記対象対話データにおける応答データのカテゴリ情報及び命令情報を取得することと、
前記カテゴリ情報及び命令情報並びに、意図ラベルとカテゴリ情報及び命令情報とのマッピング関係に基づいて、前記対象対話データにおける前記入力データの意図ラベルを確定することと、
前記対象対話データにおける入力データに前記意図ラベルを付けることと、を含む。
上記出願の選択可能な実施形態では、実際の応用において意図認識モデルの意図ラベルが多くて、全ての意図が入力データを用いて訓練することができるわけではないことを考えると、意図ラベルとカテゴリ情報及び命令情報との対応関係を設定し、入力データを用いて訓練することが可能な意図ラベルを柔軟に選択して、他の意図の認識精度に影響を与えることなく、一部の意図の認識精度を選択的に向上させることができる。また、意図ラベルでマッピングされる方式によりラベル付けを自動的に行うことで、手動操作を必要なく、ラベル付けの効率及び正確性を向上させることができる。
第２態様によれば、本出願の実施例は、
複数回の対話データ及び毎回の対話データの満足度を取得するための取得モジュールであって、毎回の対話データがユーザの入力データと、意図認識モデルを通じて前記入力データに対して意図認識を実行した意図認識結果に基づいてフィードバックされる応答データとを含む、取得モジュールと、
前記複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別するための選別モジュールと、
前記対象対話データにおける入力データに意図ラベルを付けるためのラベル付けモジュールと、
前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行うための訓練モジュールと、を含むユーザ意図認識装置をさらに提供する。
第３態様によれば、本出願の実施例は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含む電子機器であって、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが第１態様の実施例に係るユーザ意図認識方法を実行可能にする電子機器をさらに提供する。
第４態様によれば、本出願の実施例は、コンピュータに第１態様の実施例に係るユーザ意図認識方法を実行させるためのコンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体をさらに提供する。
第５態様によれば、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、第１態様の実施例に係るユーザ意図認識方法を実現する、コンピュータプログラムをさらに提供する。
以下、上記のような選択可能な例が奏する他の効果について、具体的な実施例を参照しながら説明する。
図面は、本出願の技術的解決手段をより良く理解するために使用され、本出願を限定するものではない。
図１は本出願の実施例１におけるユーザ意図認識方法のフローチャートである。 図２は本出願の実施例２におけるユーザ意図認識方法のフローチャートである。 図３は本出願の実施例３におけるユーザ意図認識方法のフローチャートである。 図４は本出願の実施例４におけるユーザ意図認識方法のフローチャートである。 図５は本出願の実施例５におけるユーザ意図認識装置の構成図である。 図６は本出願の実施例のユーザ意図認識方法を実現するための電子機器のブロック図である。
以下は、理解を容易にするために本出願の実施例の様々な詳細を含む添付図面を参照して、本出願の例示的な実施例を説明し、それらは単なる例示として見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを認識するであろう。同様に、以下の説明では、明確かつ簡潔にするために、周知の機能及び構造の説明を省略する。
図１は本出願の実施例１におけるユーザ意図認識方法のフローチャートであり、本出願の実施例は意図認識モデルを用いてユーザの入力データに対し意図認識を行う場合に適用し、該方法がユーザ意図認識装置により実行され、該装置がソフトウェア及び／又はハードウェアを用いて実現するとともに、具体的に所定のデータ演算能力を有する電子機器に配置される。
図１に示すようなユーザ意図認識方法であって、ステップＳ１０１、Ｓ１０２、Ｓ１０３及びＳ１０４を含む。
Ｓ１０１：複数回の対話データ及び毎回の対話データの満足度を取得する。
本実施例では、対話データとは、ユーザと対話型スマート端末（以下、端末と略称される）との間のオンライン対話データを指すか、又はインタラクションデータと呼ばれる。対話型スマート端末は、スマートスピーカ、スマートテレビなどを含み、本実施例における電子機器と通信可能に接続される。一回の対話データは、ユーザの音声形式のデータ又はテキスト形式のデータであり得る入力データと、意図認識モデルを通じて入力データに対して意図認識を行うとともに、意図認識結果に基づいてフィードバックされる応答データとを含む。
意図認識モデルは、畳み込みニューラルネットワークモデルと多クラス分類モデルとからなるモデル、又は循環ニューラルネットワークモデルと多クラス分類モデルとからなるモデルのような、多クラス分類のニューラルネットワークモデルであってもよい。選択可能に、意図認識モデルが端末及び電子機器に同時に配置されるとともに、端末及び電子機器における意図認識モデルを同期させることができる。
複数回の対話データは、時系列順に生成された、連続した対話データである。一般的に、前後回の対話データは同一の対話シーンにあり、あるトピックについて議論している。例として、１回目の対話データでは、ユーザが「子供の歌」を発話し、端末が意図認識モデルを用いて「子供の歌」に対し意図認識を行って意図認識結果を得るとともに、意図認識結果に基づいて、「どの子供の歌が欲しいですか」をフィードバックする。２回目の対話データでは、ユーザが「任意の子供の歌」を発話し、端末が引き続き意図認識モデルを用いて「任意の子供の歌」に対し意図認識を行って意図認識結果を得るとともに、意図認識結果に基づいて子供の歌の再生動作を実行するとともに、子供の歌に関する再生動作に対応するデータをフィードバックする。
対話データの満足度とは、対話データに対するユーザの満足度を意味する。例として、ユーザが同一の文を繰り返して発話すると、端末が異なる応答データを返答するか又はコンテンツのない応答データを返答すれば、該対話データの満足度が低いとされ、ユーザが前回の応答データに対し「はい」、「よし」などのような肯定的な意味を返答すると、該対話データの満足度が高いとされる。明らかに、満足度は意図認識の精度を反映している。
Ｓ１０２：複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別する。
対話データの満足度が所定の満足条件を満たすと、該対話データは、ユーザが満足したものであり、該対話データにおける意図認識が正確である。選択可能に、満足度がレベルで表される場合には、所定の満足条件は、満足度が所定のレベルよりも高いことであってもよく、満足度がスコアで表される場合には、所定の満足条件は、満足度スコアが所定閾値よりも大きいことであってもよい。なお、説明の便宜上に、満足度が所定の満足条件を満たす対話データを対象対話データと呼ぶ。
選択可能に、対話データの満足度は、ユーザによりオンラインで評価するか、又は満足度スコアリングモデルを用いてオフラインで評価することができる。ユーザによりオンラインで評価することは、１回の対話が終了した後にユーザから満足又は不満足を入力することを含んでもよい。
Ｓ１０３：対象対話データにおける入力データに意図ラベルを付ける。
選択可能な実施形態では、入力データの意図認識結果を意図ラベルに直接ラベル付けする。
別の選択可能な実施形態では、入力データの意図認識結果に少量の誤りが存在する可能性があることを考慮して、入力データに意図ラベルを手動でラベル付けする。
Ｓ１０４：対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行う。
本実施例では、満足度に基づいて選別された入力データを訓練サンプルとし、意図認識モデルを訓練することにより、対話満足度を利用して大量のサンプルを自動的に掘り起こして意図認識モデルを訓練する。
対象対話データにおける入力データは認識精度の高いデータであるため、即ち入力データの意図認識結果が基本的に正確な結果であるため、入力データ及び意図ラベルに基づいて意図認識モデルを訓練すると、より精度の高いモデルを作成することができる。
本実施例は、オンラインから取得した入力データ及び入力データの意図ラベルに基づいてオフラインで意図認識モデルを訓練し、訓練済み意図認識モデルを端末に更新して、端末が意図認識モデルを用いて引き続き新たな入力データに対しオンラインで意図認識を行い、満足度によって推進される意図認識方法の閉ループを形成する。
本出願の実施例では、複数回の対話データ及び毎回の対話データの満足度を取得して、満足度が所定の満足条件を満たす対象対話データを選別し、対話データを満足度の判断次元とすることで、入力データの認識精度を効果的に向上させることができ、満足度をフィルタ条件として適切な入力データを選別することにより、入力データ及び意図ラベルに基づいて意図認識モデルを訓練する場合に、より精度の高いモデルを作成することができる。本実施例では、訓練用の入力データは、意図認識モデルによってオンライン認識されたが、該入力データがオフラインに戻って意図認識モデルを訓練することで、オンライン認識からオフライン訓練まで閉ループを構成し、対話満足度に基づいて大量の精度の高いサンプルを次々に掘り起こし、意図認識モデルをより高精度に更新するように推進することができ、オフラインモデルの認識精度の向上に伴い、入力データの精度も益々高くなり、満足度も益々高くなるので、良性循環が形成され、最終的に意図認識モデルの認識精度を向上させる。
図２は本出願の実施例２におけるユーザ意図認識方法のフローチャートであり、本出願の実施例は上記各実施例の技術的解決手段を踏まえて最適化して改善を行う。
さらに、「対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを訓練する」ことを、「対象対話データにおける入力データの言語特徴及び入力データに関連付けられた特徴を抽出し、入力データの言語特徴及び入力データに関連付けられた特徴を入力とし、意図ラベルを目的出力として、意図認識モデルを訓練し、入力データに関連付けられた特徴は、入力データの検索要求、入力データの応答データ、入力データのコンテキストデータ及び入力データの統計データの少なくとも１つを含む」ように細分化し、特徴レベルで意図認識を行う。
図２に示すようなユーザ意図認識方法であって、ステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４及びＳ２０５を含む。
Ｓ２０１：複数回の対話データ及び毎回の対話データの満足度を取得する。
毎回の対話データはユーザの入力データと、意図認識モデルを通じて入力データに対し意図認識を行うとともに、意図認識結果に基づいてフィードバックされる応答データとを含む。
Ｓ２０２：複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別する。
Ｓ２０３：対象対話データにおける入力データに意図ラベルを付ける。
Ｓ２０４：対象対話データにおける入力データの言語特徴及び入力データに関連付けられた特徴を抽出する。
選択可能に、入力データが音声形式のデータである場合には、入力データを音声認識してテキスト形式のデータを得る必要がある。入力データがテキスト形式のデータである場合には、追加処理する必要がない。なお、対象対話データにおける入力データの言語特徴を抽出することは、対象対話データにおいて、テキスト形式の入力データの字句、構文及び意味などの言語特徴を抽出する。
入力データに関連付けられた特徴は、入力データの検索要求、入力データの応答データ、入力データのコンテキストデータ及び入力データの統計データの少なくとも１つを含む。
入力データの検索要求は、入力データを検索語とした場合の内容要求であり、例えば、入力データを検索語としてウェブ検索結果を得、ウェブ検索結果の中から先頭にランクされた結果を検索要求として選択する。実際の応用シーンでは、ウェブ検索の方式により検索要求を取得するために要する時間が長いので、かかる時間を削減するために、ユーザが入力可能な入力データを予め構築しておき、予め構築された入力データに対してウェブ検索の方式により検索要求を取得し、構築された入力データ及び検索要求を辞書に書き込んでおく。対象対話データにおける入力データを取得した後に、入力データに基づいて辞書でクエリして検索要求を得る。
入力データの応答データは、垂直カテゴリ情報及びサブカテゴリ情報からなるカテゴリ情報と、命令情報とを含む。例えば、垂直カテゴリ情報が音楽であり、音楽のサブカテゴリ情報が音楽制御であり、命令情報が再生停止である場合に、カテゴリ情報と命令情報とで構成される応答データは、現在の音楽の再生を停止する。
入力データのコンテキストデータは、入力データの履歴入力データ及び後続入力データを含む入力データの文脈を反映することができる。履歴入力データ及び後続入力データは、前回の対話データ及び直後の対話データから取得することができる。入力データ及びそのコンテキストデータは、同一ユーザからのものであることを理解されたい。
入力データの統計データは、入力データの所定期間における出現頻度、入力データの長さ及び入力データの言語モデルなどを含む。
Ｓ２０５：入力データの言語特徴及び入力データに関連付けられた特徴を入力とし、意図ラベルを目的出力として、意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行う。
なお、意図認識モデルは、認識時及び訓練時で、モデルに入力される特徴が一致する必要がある。つまり、意図認識モデルは、訓練時に、入力データの言語特徴及び入力データに関連付けられた特徴を入力とすると、認識時にも、入力データの言語特徴及び入力データに関連付けられた特徴を入力とすべきである。このため、意図認識モデルは、認識する前に、ユーザの現在の入力データの言語特徴及び現在の入力データに関連付けられた特徴を抽出する必要がある。現在の入力データに関連付けられた特徴では、現在の入力データの応答データは、前回の対話データにおける応答データであってもよい。これは、前後回の対話データのトピックは基本的に一致しているため、前回の対話データにおける応答データも、現在の入力データの意図を認識するのに役立つからである。入力データのコンテキストデータは、現在の入力データの履歴入力データ、即ち前文データのみを含む。
本実施例では、入力データの言語特徴及び関連付けられた特徴をモデルの入力とし、ユーザの意図を特徴レベルでより正確に反映する場合、特徴レベルで意図認識を行うと、認識精度の向上に役立ち、入力データに関連付けられた特徴は入力データの意図をよりよく認識するために導入された特徴であり、これらの特徴がユーザの意図を側面から表現し、入力データの意図認識に対し良好な補助作用を果たす。
図３は本出願の実施例３におけるユーザ意図認識方法のフローチャートであり、本出願の実施例は上記各実施例の技術的解決手段を踏まえて最適化して改善を行う。
さらに、「対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを訓練する」ことの前に、「対象対話データにおける入力データの送信元端末タイプを取得する」ことを追加し、それに応じて、「対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを訓練する」ことを、「送信元端末タイプに従って、対象対話データにおける入力データをグループ化して、複数グループの入力データを得、各グループの入力データ及び各グループの入力データの意図ラベルに基づいて、各グループの入力データの送信元端末タイプに対応する意図認識モデルを訓練し、送信元端末タイプがスクリーン付き端末タイプ及びスクリーンなし端末タイプを含む」ように細分化して、スクリーン付き端末及びスクリーンなし端末にそれぞれ適用する意図認識モデルを得る。
図３に示すようなユーザ意図認識方法であって、ステップＳ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５及びＳ３０６を含む。
Ｓ３０１：複数回の対話データ及び毎回の対話データの満足度を取得する。
毎回の対話データはユーザの入力データと、意図認識モデルを通じて入力データに対し意図認識を行うとともに、意図認識結果に基づいてフィードバックされる応答データとを含む。
Ｓ３０２：複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別する。
Ｓ３０３：対象対話データにおける入力データに意図ラベルを付ける。
Ｓ３０４：対象対話データにおける入力データの送信元端末タイプを取得する。
本実施例では、送信元端末である、対話型スマート端末のタイプは、主にスクリーン付き端末タイプ及びスクリーンなし端末タイプを含む。スクリーン付き端末はスマートテレビ及びスクリーン付きスピーカなどを含み、スクリーンなし端末はスクリーンなしスピーカなどを含む。
選択可能に、例えば、送信元端末の名称、送信元端末がスマートテレビ、スクリーン付きスピーカ又はスクリーンなしスピーカであるか否かなど、対象対話データにおける入力データの送信元端末情報を取得する。送信元端末情報と送信元端末タイプとのマッピング関係を予め設定しておき、該マッピング関係に基づいて、対象対話データにおける入力データの送信元端末情報がマッピングする送信元端末タイプを確定する。
一部の応用シーンでは、対話用のスクリーンなし端末がスクリーン付きの相手端末に接続され、この時のスクリーンなし端末をスクリーン付き端末とみなすべきである。このため、送信元端末情報は送信元端末に接続される相手端末の端末タイプをさらに含むべき、相手端末がスクリーン付き端末タイプである場合には、送信元端末情報がマッピングされる送信元端末タイプはスクリーン付き端末タイプであり、相手端末がスクリーンなし端末タイプである場合には、送信元端末情報がマッピングされる送信元端末タイプはスクリーンなし端末タイプである。
Ｓ３０５：送信元端末タイプに従って、対象対話データにおける入力データをグループ化して、複数グループの入力データを得る。
本実施例では、毎回の対話データが入力データの送信元端末タイプを担持することにより、送信元端末タイプが同じである入力データを１グループとする。具体的には、スクリーン付き端末タイプに属する入力データを１グループとし、スクリーンなし端末タイプに属する入力データを他のグループとする。
Ｓ３０６：各グループの入力データ及び各グループの入力データの意図ラベルに基づいて、各グループの入力データの送信元端末タイプに対応する意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行う。
一般的には、ユーザにデータの入力を案内するようにスクリーン付き端末がスクリーンを介して一部の情報を表示することができ、スクリーン付き端末はスクリーンなし端末が備えていない映像再生及び画像や文字の表示機能を提供することができるため、スクリーン付き端末とスクリーンなし端末との応答データは異なる場合がある。上記分析に基づいて、スクリーン付き端末及びスクリーンなし端末にそれぞれ適用する意図認識モデルを訓練する必要があり、即ちスクリーン付き端末タイプに対応する意図認識モデル及びスクリーンなし端末タイプに対応する意図認識モデルをそれぞれ訓練する。
選択可能に、スクリーン付き端末タイプに対応する意図認識モデルは、スクリーンなし端末タイプに対応する意図認識モデルとの構造が同じであっても異なっていてもよい。具体的には、スクリーン付き端末タイプに属する入力データ及び該入力データの意図ラベルに基づいて、スクリーン付き端末タイプに対応する意図認識モデルを訓練し、スクリーンなし端末タイプに属する入力データ及び該入力データの意図ラベルに基づいて、スクリーンなし端末タイプに対応する意図認識モデルを訓練する。
本出願の実施例は、スクリーン付き端末タイプ及びスクリーンなし端末タイプに基づいて入力データをグループ化するとともに、送信元端末タイプに対応する意図認識モデルをグループ化して訓練することにより、スクリーン付き端末及びスクリーンなし端末にそれぞれ適用する意図認識モデルを得るとともに、スクリーン付き端末及びスクリーンなし端末の意図認識精度を向上させることができる。
図４は本出願の実施例４におけるユーザ意図認識方法のフローチャートであり、本出願の実施例は上記各実施例の技術的解決手段を踏まえて最適化して改善を行う。
さらに、「複数回の対話データ及び毎回の対話データの満足度を取得する」ことを、「複数回の対話データ及び毎回の対話データの満足度を含む直近の満足度フィードバックログを所定周期で取得する」ように細分化し、それに応じて、「対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを訓練する」ことを、「対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを所定周期で訓練する」ように細分化して、意図認識モデルを周期的に自動的に訓練する。
さらに、「対象対話データにおける入力データに意図ラベルを付ける」ことを、「対象対話データにおける応答データのカテゴリ情報及び命令情報を取得し、カテゴリ情報及び命令情報並びに意図ラベルとカテゴリ情報及び命令情報とのマッピング関係に基づいて、対象対話データにおける入力データの意図ラベルを確定し、対象対話データにおける入力データに意図ラベルを付ける」ように細分化し、入力データを用いて訓練することが可能な意図ラベルを柔軟に選択する。
図４に示すようなユーザ意図認識方法であって、ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４、Ｓ４０５及びＳ４０６を含む。
Ｓ４０１：複数回の対話データ及び毎回の対話データの満足度を含む直近の満足度フィードバックログを所定周期で取得する。
設定周期はカスタマイズされた周期であり、例えば１週間である。直近とは、現在時刻より前の設定期間分の期間であり、例えば、現在は２月１日であり、設定期間を１ヶ月とすると、直近とは１月１日～２月１日である。
満足度フィードバックログは、対話データ及び対話データの満足度を時間経過と共に自動的に収集される。直近の満足度フィードバックログは、直近に収集された複数回の対話データ及び毎回の対話データの満足度を含む。
選択可能に、Ｓ４０１の前にさらに、ユーザ行動ログから複数回の対話データを取得するステップ１、満足度スコアリングモデルを用いて、複数回の対話データにおける毎回の対話データに対し満足度スコアリングを行い、毎回の対話データの満足度スコアを得るステップ２、複数回の対話データ及び毎回の対話データの満足度スコアを満足度フィードバックログに記憶するステップ３とを含む満足度フィードバックログの生成プロセスを含む。
ステップ１では、ユーザ行動ログを介して複数回の候補対話データを収集し、毎回の候補対話データは、ユーザの入力データと、意図認識モデルを通じて入力データに対し意図認識を行った意図認識結果に基づいてフィードバックされる応答データとを含み、意図認識モデルを通じて毎回の候補対話データにおける入力データの意図信頼度を取得し、ユーザ行動ログから、意図信頼度が所定の信頼度条件を満たす入力データ及び入力データの応答データを選別して、複数回の対話データを構成する。ユーザ行動ログは、意図認識モデルによるオンライン認識の過程において、候補対話データと呼ばれるユーザと対話型スマート端末との間の対話データを継続的に収集することができる。毎回の候補対話データにおける入力データはいずれも意図認識モデルを用いて意図認識を行い、意図認識結果及び意図信頼度を得ることができる。これらの候補対話データにおける入力データの意図信頼度が高いことも低いこともあり、意図信頼度が高いほど、入力データが該意図である確率が高く、認識精度が高いことを意味する。所定の信頼度条件は、意図信頼度が信頼度閾値よりも大きいこと、又は意図信頼度が高い順にソートされた場合における上位の所定個数、例えば上位５個であることであってもよい。したがって、信頼度条件により意図信頼度の高い入力データ、即ち認識精度の高い入力データを選別することで、選別された入力データをフィードバックデータとしてモデル訓練を行う場合に、モデルの意図認識精度をさらに向上させることができる。
ステップ２では、満足度評価効率を高めるために、満足度スコアリングモデルを用いてオフライン評価を行う。具体的には、毎回の対話データに対応する応答時間、再生時間、応答の内容及びユーザ意図の関連性などを満足度スコアリングモデルに入力し、満足度スコアリングモデルから出力される満足度スコアを得る。
ステップ３では、ユーザ行動ログが新たな対話データを収集したたびに、満足度スコアリングモデルを用いて新たな対話データに対して満足度スコアリングを行い、新たな対話データの満足度スコアを得る。新たな対話データ及びその満足度スコアを満足度フィードバックログに記憶する。このように、ユーザ行動ログがユーザの対話データを自動的に収集し続けるにつれて、満足度フィードバックログもユーザの対話データ及び満足度を自動的に収集できる。
Ｓ４０２：複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別する。
選択可能に、複数回の対話データから、満足度スコアが所定閾値よりも大きい対象対話データを選別する。満足度スコアが所定閾値よりも大きい対象対話データを選別することにより、認識精度の高い入力データを選別し、さらに入力データ及び意図ラベルに基づいて意図認識モデルを訓練する場合に、より精度の高いモデルを作成することができる。
Ｓ４０３：対象対話データにおける応答データのカテゴリ情報及び命令情報を取得する。
選択可能に、満足度フィードバックログから対象対話データにおける応答データのカテゴリ情報及び命令情報を取得する。
なお、満足度フィードバックログは、情報をフィールド形式で格納しており、具体的には、複数回の対話データ（ｑｕｅｒｙ）、毎回の対話データの満足度（ｑｓ）、端末識別子又はユーザ識別子（ｃｕｉｄ）、時間（ｔｉｍｅ）、端末タイプ又は端末情報（ｄｅｖｉｃｅ＿ｔｙｐｅ）、垂直カテゴリ情報（ｂｏｔ）、サブカテゴリ情報（ｄｏｍａｉｎ）及び命令情報（ｉｎｔｅｎｔ）が格納されている。
ｃｕｉｄは異なるユーザの入力データを区別するためのものである。ｃｕｉｄが端末識別子である場合に、該端末と対話する全てのユーザを１ユーザとみなす必要がある。ｄｅｖｉｃｅ＿ｔｙｐｅは、入力データの送信元端末タイプを取得して、スクリーン付き端末及びスクリーンなし端末それぞれに適用する意図認識モデルを得るためのものであり、詳細は実施例３の説明を参照されたい。
Ｓ４０４：カテゴリ情報及び命令情報並びに意図ラベルとカテゴリ情報及び命令情報とのマッピング関係に基づいて、対象対話データにおける入力データの意図ラベルを確定する。
実際の応用における意図認識モデルの意図ラベルは、千個に達するほど多いと考えられ、全ての意図が入力データを用いて訓練することができるわけではない。これは、ある意図を成功して認識するためには、大量のサンプルのサポートが必要であるが、ユーザの入力データは不定性を有し、ある意図の訓練に必要なサンプル数が不足しているからである。このため、入力データを用いて訓練することが可能な意図ラベルを選択する必要がある。選択可能に、意図認識モデルがオンライン認識過程で、意図ラベルごとの認識率を統計し、オンライン応用過程で意図ラベルごとに対応するデータトラフィックを合わせて、データトラフィック及び意図ラベルの認識率が設定値を超える垂直カテゴリ意図ラベルを選択し、設定値が４０％であってもよい。ある適用シーンでは、３０個程度の意図ラベルが最終的に選択される。
データトラフィック及び意図ラベルの認識率が設定値を超える垂直カテゴリ意図ラベルとカテゴリ情報及び命令情報とのマッピング関係を予め作成しておく。対象対話データの応答データにおいて、マッピング関係が作成されていないカテゴリ情報及び命令情報を一律に「その他」意図ラベルにマッピングする。最終的に、意図ラベルが異なる入力データは互いにネガティブサンプルとなる。
Ｓ４０５：対象対話データにおける入力データに意図ラベルを付ける。
Ｓ４０６：対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを所定周期で訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行う。
本実施例では、満足度フィードバックログがユーザの対話データ及び満足度を自動的に収集し、満足度フィードバックログをデータソースとすることで、追加プログラミングを必要とすることなく、対話データ及び対話データの満足度を容易且つ迅速に取得することができ、直近の満足度フィードバックログを設定周期で取得するとともに、意図認識モデルを所定周期で訓練することで、モデル訓練を所定周期で自動的に行うとともに、モデルがオンラインの新たな入力データに応じてタイムリーに更新できるように確保される。
さらに、ユーザ行動ログがユーザの対話データを自動的に収集し、ユーザ行動ログをデータソースとして、追加プログラミングを必要とすることなく、対話データを容易且つ迅速に取得することができ、満足度スコアリングモデルによって対話データの満足度スコアを得、満足度の取得方法を具現化し、満足度スコアリングモデルによって客観的に統一した基準に従って満足度スコアリングを行うことができ、満足度スコアの真実性を向上させ、対話データ量が大きい場合に、満足度スコアリングモデルを採用することで満足度スコアを迅速かつ正確に取得することができる。
さらに、意図ラベルとカテゴリ情報及び命令情報との対応関係を設定することにより、入力データを用いて訓練することが可能な意図ラベルを柔軟に選択して、他の意図の認識精度に影響を与えることなく、一部の意図の認識精度を選択的に向上させることができる。また、意図ラベルマッピングの方式により自動ラベル付けを行うことで、手動で操作する必要がなく、ラベル付けの効率及び正確性が向上される。
図５は本出願の実施例５におけるユーザ意図認識装置の構成図であり、本出願の実施例は意図認識モデルを用いてユーザの入力データに対し意図認識を行う場合に適用し、該装置がソフトウェア及び／又はハードウェアを用いて実現されるとともに、具体的に所定のデータ演算能力を有する電子機器に配置される。
図５に示すようなユーザ意図認識装置５００は、取得モジュール５０１、選別モジュール５０２、ラベル付けモジュール５０３及び訓練モジュール５０４を含む。
取得モジュール５０１は、複数回の対話データ及び毎回の対話データの満足度を取得するように構成され、毎回の対話データがユーザの入力データと、意図認識モデルを通じて入力データに対して意図認識を行い、意図認識の結果に基づいてフィードバックされる応答データとを含む。
選別モジュール５０２は、複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別するように構成される。
ラベル付けモジュール５０３は、対象対話データにおける入力データに意図ラベルを付けるように構成される。
訓練モジュール５０４は、対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対して意図認識を行うように構成される。
本出願の実施例では、複数回の対話データ及び毎回の対話データの満足度を取得し、満足度が所定の満足条件を満たす対象対話データを選別し、対話データを満足度の判断次元とすることで、入力データの認識精度が効果的に向上され、満足度をフィルタ条件として適切な入力データを選別することにより、選別された入力データの意図認識結果が基本的に正確な結果となって、それによって選別された入力データが所定の精度を有するように確保され、入力データ及び意図ラベルに基づいて意図認識モデルを訓練する場合に、より精度の高いモデルを作成することができる。本実施例では、訓練用の入力データは、意図認識モデルによってオンライン認識されたが、該入力データがオフラインに戻って意図認識モデルを訓練することで、オンライン認識からオフライン訓練まで閉ループを構成し、対話満足度に基づいてオンラインから大量の高精度サンプルを次々に掘り起こし、意図認識モデルをより高精度に更新するように推進することができ、オンラインモデルの認識精度の向上に伴い、入力データの精度も益々高くなり、満足度も益々高くなることで、良性循環が形成され、最終的に意図認識モデルの認識精度が向上される。
さらに、訓練モジュール５０４は具体的に、対象対話データにおける入力データの言語特徴及び入力データに関連付けられた特徴を抽出し、入力データの言語特徴及び入力データに関連付けられた特徴を入力とし、意図ラベルを目的出力として、意図認識モデルを訓練するように構成され、入力データに関連付けられた特徴は、入力データの検索要求、入力データの応答データ、入力データのコンテキストデータ及び入力データの統計データの少なくとも１種を含む。
さらに、該装置は対象対話データにおける入力データの送信元端末タイプを取得するための送信元端末タイプ取得モジュールをさらに含み、訓練モジュール５０４は具体的に、送信元端末タイプに従って、対象対話データにおける入力データをグループ化して、複数グループの入力データを得、各グループの入力データ及び各グループの入力データの意図ラベルに基づいて、各グループの入力データの送信元端末タイプに対応する意図認識モデルを訓練するように構成され、送信元端末タイプがスクリーン付き端末タイプ及びスクリーンなし端末タイプを含む。
さらに、取得モジュール５０１は具体的に、複数回の対話データ及び毎回の対話データの満足度を含む直近の満足度フィードバックログを所定周期で取得するように構成され、対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを訓練することは、対象対話データにおける入力データ及び入力データの意図ラベルに基づいて意図認識モデルを所定周期で訓練することを含む。
さらに、該装置は、ユーザ行動ログから複数回の対話データを取得し、満足度スコアリングモデルを用いて、複数回の対話データにおける毎回の対話データに対し満足度スコアリングを行い、毎回の対話データの満足度スコアを得、複数回の対話データ及び毎回の対話データの満足度スコアを満足度フィードバックログに記憶するための記憶モジュールをさらに含む。
さらに、記憶モジュールはユーザ行動ログから複数回の対話データを取得するときに、具体的に、ユーザ行動ログを介してオンライン応用過程における複数回の候補対話データを収集し、毎回の候補対話データは、ユーザの入力データと、意図認識モデルを通じて入力データに対して意図認識を行い、意図認識の結果に基づいてフィードバックされる応答データとを含み、意図認識モデルを通じて毎回の候補対話データにおける入力データの意図信頼度を取得し、ユーザ行動ログから、意図信頼度が所定の信頼度条件を満たす入力データ及び入力データの応答データを選別して、複数回の対話データを構成するように構成される。
さらに、ラベル付けモジュール５０３は具体的に、対象対話データにおける応答データのカテゴリ情報及び命令情報を取得し、カテゴリ情報及び命令情報並びに意図ラベルとカテゴリ情報及び命令情報とのマッピング関係に基づいて、対象対話データにおける入力データの意図ラベルを確定し、対象対話データにおける入力データに意図ラベルを付けるように構成される。
上記ユーザ意図認識装置は本出願の任意の実施例に係るユーザ意図認識方法を実行することができ、ユーザ意図認識方法を実行する機能モジュール及び有益な効果を備える。
本出願の実施例によれば、本出願は電子機器及びコンピュータ可読記憶媒体をさらに提供する。
図６に示すように、本出願の実施例のユーザ意図認識方法を実現する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図される。電子機器はさらに、パーソナルデジタル処理、セルラ電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示される構成要素、それらの接続及び関係、並びにそれらの機能は、単に例示的なものにすぎず、本明細書に記載され、及び／又は要求される本出願の実施を限定することを意図するものではない。
図６に示すように、該電子機器は、１つ又は複数のプロセッサ６０１と、メモリ６０２と、各構成要素に接続されるための、高速インタフェース及び低速インタフェースを含むインタフェースとを含む。各構成要素は、異なるバスにより相互に接続されており、共通のマザーボード上に実装されてもよいし、又は必要に応じて他の形態で実装されてもよい。プロセッサは、電子機器内で実行する命令を処理することができ、その命令には、インタフェースに結合される表示デバイスなどの外部入出力装置上にＧＵＩのグラフィック情報を表示するためのメモリに記憶された命令が含まれる。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は、（例えば、サーバアレイ、ブレードサーバ群、又はマルチプロセッサシステムとして）必要な動作の一部を提供する。図６において、プロセッサ６０１を例としている。
メモリ６０２は、本出願に係る非一時的コンピュータ可読記憶媒体である。前記メモリは、本出願に係るユーザ認識方法を少なくとも１つのプロセッサによって実行させるために、前記少なくとも１つのプロセッサによって実行可能な命令を記憶している。本出願の非一時的コンピュータ可読記憶媒体は、コンピュータに本出願に係るユーザ意図認識方法を実行させるためのコンピュータ命令を記憶する。
メモリ６０２は、非一時的コンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、例えば、本出願の実施例におけるユーザ意図認識方法に対応するプログラム命令／モジュール（例えば、図５に示すように、取得モジュール５０１、選別モジュール５０２、ラベル付けモジュール５０３及び訓練モジュール５０４を含む）を記憶するように構成されてもよい。プロセッサ６０１は、メモリ６０２に格納された非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例におけるユーザ意図認識方法を実行する。
メモリ６０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができるプログラム記憶領域と、ユーザ意図認識方法を実現する電子機器の使用によって作成されるデータなどを記憶することができるデータ記憶領域とを含むことができる。なお、メモリ６０２は、高速ランダムアクセスメモリを含んでもよく、さらに、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートメモリデバイスなどの、非一時的メモリを含んでもよい。いくつかの実施例では、メモリ６０２は、選択可能に、プロセッサ６０１に対して遠隔に設置されるメモリを含んでもよく、これらのリモートメモリは、ユーザ意図認識方法を実行する電子機器にネットワークを介して接続されてもよい。上記ネットワークの例としては、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びこれらの組み合わせを含むことができるが、これらに限定されない。
ユーザ意図認識方法を実行する電子機器はさらに、入力装置６０３及び出力装置６０４を含むことができる。プロセッサ６０１、メモリ６０２、入力装置６０３及び出力装置６０４はバスで接続されていてもよいし、他の方式で接続されていてもよい。図６ではバスで接続されている例を示している。
入力装置６０３は、入力された数字又は文字情報を受信し、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置からの、ユーザ意図認識方法を実行する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができる。出力装置６０４は、表示デバイス、ＬＥＤのような補助照明装置及び振動モータのような触覚フィードバック装置などを含むことができる。該表示デバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、表示デバイスはタッチスクリーンであってもよい。
本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実装することができる。これらの様々な実施形態は、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置にデータ及び命令を送信することができる、専用又は汎用のプログラマブルプロセッサであり得る、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈可能な１つ以上のコンピュータプログラムで実装することを含むことができる。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルの手順及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ言語／機械語で実装されてもよい。本明細書で使用されるように、用語「機械可読媒体」及び「コンピュータ可読媒体」とは、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／又はデータを提供するための任意のコンピュータプログラム製品、デバイス、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
ユーザとのインタラクションを提供するために、本明細書に記載されたシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有するコンピュータ上で実装されてもよい。他の種類の装置はさらに、ユーザとのインタラクションを提供するために用いられてもよく、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、音響入力、音声入力又は触覚入力を含む任意の形態で受信されてもよい。
バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）、ミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであって、ユーザは、該グラフィカルユーザインタフェース又は該ウェブブラウザを介して、本明細書で説明するシステム及び技術の実施形態と対話することができる）、又はそのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに、本明細書で説明するシステム及び技術を実装することができる。システムの構成要素を、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット及びブロックチェーンネットワークを含む。
コンピュータシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般的に互いに離れており、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、対応するコンピュータ上で動作され、互いにクライアントーサーバ関係を有するコンピュータプログラムによって生成される。
なお、上記に示された様々な形態の流れが、ステップの順序変更、追加又は削除により使用されてもよい。例えば、本出願に記載された各ステップは、並列に実行されても、順次的に実行されても、異なる順序で実行されてもよく、本明細書に開示された技術的解決手段の所望の結果を実現できれば、本明細書に限定されない。
上記の具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者には明らかなように、設計要求及び他の要素に応じて、様々な修正、組み合わせ、サブ組み合わせ及び置換を行うことができる。本出願の精神及び原則の範囲内で行われたいかなる修正、均等置換及び改良などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (11)

  1. 複数回の対話データ及び毎回の対話データの満足度を取得することであって、毎回の対話データがユーザの入力データと、意図認識モデルを通じて前記入力データに対して意図認識を実行し、意図認識の結果に基づいてフィードバックされる応答データとを含む、ことと、
    前記複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別することと、
    前記対象対話データにおける入力データに意図ラベルを付けることと、
    前記対象対話データにおける入力データの送信元端末タイプを取得することと、
    前記送信元端末タイプによって、前記対象対話データにおける入力データをグループ化して複数グループの入力データを得て、各グループの入力データ及び各グループの入力データの意図ラベルに基づいて、各グループの入力データの送信元端末タイプに対応する意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行うことと、を含むことを特徴とするユーザ意図認識方法。
  2. 前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練することは、
    前記対象対話データにおける入力データの言語特徴と、前記入力データに関連付けられた特徴とを抽出することと、
    前記入力データの言語特徴と前記入力データに関連付けられた特徴を入力とし、前記意図ラベルを目的出力として、前記意図認識モデルを訓練することと、を含み、
    前記入力データに関連付けられた特徴は、前記入力データの検索要求、前記入力データの応答データ、前記入力データのコンテキストデータ及び前記入力データの統計データの少なくとも１種を含むことを特徴とする請求項１に記載の方法。
  3. 前記送信元端末タイプがスクリーン付き端末タイプ及びスクリーンなし端末タイプを含むことを特徴とする請求項１に記載の方法。
  4. 前記複数回の対話データ及び毎回の対話データの満足度を取得することは、
    複数回の対話データ及び毎回の対話データの満足度を含む直近の満足度フィードバックログを所定周期で取得することを含み、
    前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを訓練することは、
    前記対象対話データにおける入力データ及び前記入力データの意図ラベルに基づいて前記意図認識モデルを前記所定周期で訓練することを含むことを特徴とする請求項１に記載の方法。
  5. 複数回の対話データ及び毎回の対話データの満足度を含む直近の満足度フィードバックログを所定周期で取得する前に、
    ユーザ行動ログから前記複数回の対話データを取得することと、
    満足度スコアリングモデルを用いて、前記複数回の対話データにおける毎回の対話データに対し満足度スコアリングを行い、毎回の対話データの満足度スコアを得ることと、
    前記複数回の対話データ及び毎回の対話データの満足度スコアを前記満足度フィードバックログに記憶することと、をさらに含むことを特徴とする請求項４に記載の方法。
  6. 前記ユーザ行動ログから複数回の対話データを取得することは、
    ユーザ行動ログを介して複数回の候補対話データを収集することであって、毎回の候補対話データは、ユーザの入力データと、意図認識モデルを通じて前記入力データに対して意図認識を実行し、意図認識の結果に基づいてフィードバックされる応答データとを含む、ことと、
    前記意図認識モデルに基づいて、毎回の候補対話データにおける入力データの意図信頼度を取得することと、
    前記ユーザ行動ログから、意図信頼度が所定の信頼度条件を満たす入力データ及び前記入力データの応答データを選別して、前記複数回の対話データを構成することと、を含むことを特徴とする請求項５に記載の方法。
  7. 前記対象対話データにおける入力データに意図ラベルを付けることは、
    前記対象対話データにおける応答データのカテゴリ情報及び命令情報を取得することと、
    前記カテゴリ情報及び命令情報並びに、意図ラベルとカテゴリ情報及び命令情報とのマッピング関係に基づいて、前記対象対話データにおける前記入力データの意図ラベルを確定することと、
    前記対象対話データにおける入力データに前記意図ラベルを付けることと、を含むことを特徴とする請求項１～６のいずれか一項に記載の方法。
  8. 複数回の対話データ及び毎回の対話データの満足度を取得するための取得モジュールであって、毎回の対話データがユーザの入力データと、意図認識モデルを通じて前記入力データに対して意図認識を実行し、意図認識の結果に基づいてフィードバックされる応答データとを含む、第１の取得モジュールと、
    前記複数回の対話データから、満足度が所定の満足条件を満たす対象対話データを選別するための選別モジュールと、
    前記対象対話データにおける入力データに意図ラベルを付けるためのラベル付けモジュールと、
    前記対象対話データにおける入力データの送信元端末タイプを取得するための第２の取得モジュールと、
    前記送信元端末タイプによって、前記対象対話データにおける入力データをグループ化して複数グループの入力データを得て、各グループの入力データ及び各グループの入力データの意図ラベルに基づいて、各グループの入力データの送信元端末タイプに対応する意図認識モデルを訓練して、訓練済み意図認識モデルを通じて新たな入力データに対し意図認識を行うための訓練モジュールと、を含むことを特徴とするユーザ意図認識装置。
  9. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含む電子機器であって、
    前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサが請求項１～７のいずれか一項に記載のユーザ意図認識方法を実行可能にすることを特徴とする電子機器。
  10. コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令がコンピュータに請求項１～７のいずれか一項に記載のユーザ意図認識方法を実行させることを特徴とする非一時的コンピュータ可読記憶媒体。
  11. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１～７のいずれか一項に記載の方法を実現する、コンピュータプログラム。
JP2020153025A 2020-02-19 2020-09-11 ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム Active JP7130194B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010102579.8A CN111324727B (zh) 2020-02-19 2020-02-19 用户意图识别方法、装置、设备和可读存储介质
CN202010102579.8 2020-02-19

Publications (2)

Publication Number Publication Date
JP2021131528A JP2021131528A (ja) 2021-09-09
JP7130194B2 true JP7130194B2 (ja) 2022-09-05

Family

ID=71171088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020153025A Active JP7130194B2 (ja) 2020-02-19 2020-09-11 ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US11646016B2 (ja)
JP (1) JP7130194B2 (ja)
CN (1) CN111324727B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148874A (zh) * 2020-07-07 2020-12-29 四川长虹电器股份有限公司 可自动新增用户潜在意图的意图识别方法及系统
CN111914075A (zh) * 2020-08-06 2020-11-10 平安科技（深圳）有限公司 基于深度学习的客户标签确定方法、装置、设备及介质
CN114416931A (zh) * 2020-10-28 2022-04-29 华为云计算技术有限公司 标签生成方法、装置及相关设备
CN112612894B (zh) * 2020-12-29 2022-03-18 平安科技（深圳）有限公司 意图识别模型的训练方法、装置、计算机设备和存储介质
KR102662668B1 (ko) * 2021-03-23 2024-05-03 한국과학기술원 대화 스크립트에의 컨텍스트 정보 레이블링 장치 및 방법
CN113593533B (zh) * 2021-09-10 2023-05-02 平安科技（深圳）有限公司 基于意图识别的流程节点跳转方法、装置、设备及介质
CN114490975B (zh) * 2021-12-31 2023-02-07 马上消费金融股份有限公司 用户问题的标注方法及装置
CN115129878B (zh) * 2022-08-31 2022-12-27 支付宝(杭州)信息技术有限公司 一种对话业务执行方法、装置、存储介质及电子设备
CN116541506B (zh) * 2023-07-06 2023-09-15 深圳格隆汇信息科技有限公司 基于机器学习的智能对话方法、装置、设备及存储介质
CN116956941B (zh) * 2023-09-21 2024-01-09 腾讯科技（深圳）有限公司 一种文本识别方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151578A (ja) 2017-03-14 2018-09-27 ヤフー株式会社 決定装置、決定方法および決定プログラム
WO2019172946A1 (en) 2018-03-07 2019-09-12 Google Llc Facilitating end-to-end communications with automated assistants in multiple languages
JP2019215823A (ja) 2018-06-14 2019-12-19 Ｚホールディングス株式会社 抽出装置、評価装置、抽出方法および抽出プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525082B2 (ja) * 1999-09-16 2004-05-10 日本電信電話株式会社 統計モデル作成方法
CN107862027B (zh) * 2017-10-31 2019-03-12 北京小度信息科技有限公司 检索意图识别方法、装置、电子设备及可读存储介质
CN110555096A (zh) * 2018-06-01 2019-12-10 深圳狗尾草智能科技有限公司 用户意图识别方法、系统、终端及介质
CN109308320A (zh) * 2018-07-20 2019-02-05 北京智能点科技有限公司 一种机器人多轮对话流程化配置方法
CN109241261A (zh) * 2018-08-30 2019-01-18 武汉斗鱼网络科技有限公司 用户意图识别方法、装置、移动终端及存储介质
US11061954B2 (en) * 2018-09-21 2021-07-13 Salesforce.Com, Inc. Intent classification system
CN109284386A (zh) * 2018-10-15 2019-01-29 四川长虹电器股份有限公司 可定制的意图识别方法及装置
CN109508376A (zh) * 2018-11-23 2019-03-22 四川长虹电器股份有限公司 可在线纠错更新的意图识别方法及装置
CN110298391B (zh) * 2019-06-12 2023-05-02 同济大学 一种基于小样本的迭代式增量对话意图类别识别方法
CN110377911B (zh) * 2019-07-23 2023-07-21 中国工商银行股份有限公司 对话框架下的意图识别方法和装置
US11651250B2 (en) * 2019-11-20 2023-05-16 International Business Machines Corporation Automatically generated conversation output

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151578A (ja) 2017-03-14 2018-09-27 ヤフー株式会社 決定装置、決定方法および決定プログラム
WO2019172946A1 (en) 2018-03-07 2019-09-12 Google Llc Facilitating end-to-end communications with automated assistants in multiple languages
JP2019215823A (ja) 2018-06-14 2019-12-19 Ｚホールディングス株式会社 抽出装置、評価装置、抽出方法および抽出プログラム

Also Published As

Publication number Publication date
JP2021131528A (ja) 2021-09-09
US11646016B2 (en) 2023-05-09
CN111324727B (zh) 2023-08-01
US20210256969A1 (en) 2021-08-19
CN111324727A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
JP7130194B2 (ja) ユーザ意図認識方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム
EP3648099B1 (en) Voice recognition method, device, apparatus, and storage medium
US9899020B2 (en) Machine learning dialect identification
US20150279366A1 (en) Voice driven operating system for interfacing with electronic devices: system, method, and architecture
US11615784B2 (en) Control method and control apparatus for speech interaction
CN111105800B (zh) 语音交互处理方法、装置、设备和介质
CN110020422A (zh) 特征词的确定方法、装置和服务器
US10586528B2 (en) Domain-specific speech recognizers in a digital medium environment
CN115082602B (zh) 生成数字人的方法、模型的训练方法、装置、设备和介质
JP7200277B2 (ja) ワードスロットを識別するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
JP2021192290A (ja) 機械翻訳モデルのトレーニング方法、装置及び電子機器
US10073828B2 (en) Updating language databases using crowd-sourced input
JP2021111379A (ja) インタラクション情報推薦方法及び装置
JP2021111334A (ja) 検索データに基づくヒューマンコンピュータ対話型インタラクションの方法、装置及び電子機器
CN111858905B (zh) 模型训练方法、信息识别方法、装置、电子设备及存储介质
CN112466302A (zh) 语音交互的方法、装置、电子设备和存储介质
JP7309818B2 (ja) 音声認識方法、装置、電子機器及び記憶媒体
US20220068265A1 (en) Method for displaying streaming speech recognition result, electronic device, and storage medium
CN114860913B (zh) 智能问答系统构建方法、问答处理方法及装置
CN116521841A (zh) 用于生成回复信息的方法、装置、设备及介质
CN110059224B (zh) 投影仪设备的视频检索方法、装置、设备及存储介质
CN111984774A (zh) 搜索方法、装置、设备以及存储介质
CN105164669A (zh) 信息处理设备、信息处理方法以及程序
JP7225380B2 (ja) 音声パケット記録機能のガイド方法、装置、デバイス、プログラム及びコンピュータ記憶媒体
JP7204861B2 (ja) 中国語と英語の混在音声の認識方法、装置、電子機器及び記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201207

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R150 Certificate of patent or registration of utility model

Ref document number: 7130194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150