JP4880258B2 - 信頼性スコアを使用した自然言語コール・ルーティングのための方法および装置 - Google Patents

信頼性スコアを使用した自然言語コール・ルーティングのための方法および装置 Download PDF

Info

Publication number
JP4880258B2
JP4880258B2 JP2005219753A JP2005219753A JP4880258B2 JP 4880258 B2 JP4880258 B2 JP 4880258B2 JP 2005219753 A JP2005219753 A JP 2005219753A JP 2005219753 A JP2005219753 A JP 2005219753A JP 4880258 B2 JP4880258 B2 JP 4880258B2
Authority
JP
Japan
Prior art keywords
word
words
categories
spoken
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005219753A
Other languages
English (en)
Other versions
JP2006039575A (ja
JP2006039575A5 (ja
Inventor
ダブリュ.エアハート ジョージ
シー.マテュラ ヴァレンティー
スキバ デーヴィット
ティソン ナイム
Original Assignee
アバイア インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アバイア インコーポレーテッド filed Critical アバイア インコーポレーテッド
Publication of JP2006039575A publication Critical patent/JP2006039575A/ja
Publication of JP2006039575A5 publication Critical patent/JP2006039575A5/ja
Application granted granted Critical
Publication of JP4880258B2 publication Critical patent/JP4880258B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、一般には、話された言葉や文章をいくつかの題目領域の1つに分類する方法およびシステムに関し、さらに詳細には、自然言語コール・ルーティング技術を使用して話し言葉を分類するための方法および装置に関する。
多くの企業では、通常、CRM(Customer Relationship Management:カスタマー・リレーションシップ・マネジメント)の一部として、顧客との情報交換に連絡センターを採用している。IVR(interactive voice response:音声自動応答装置)などの、自動化システムがよく使用され、顧客に録音されたメッセージの形で情報が提供され、録音された質問に対しては、キーパッドや音声による応答を利用して顧客から情報を入手している。
顧客が企業に連絡をとる場合、NLCR(Natural Language Call Routing:自然言語コール・ルーティング)システムなどの、分類システムがよく採用されおり、顧客から受信した、話された言葉や文章を、いくつかの題目領域やクラスの1つに分類する。話し言葉の場合、分類システムは最初に、よくASR(Automatic Speech Recognizer:自動音声認識機能)と呼ばれる、音声認識エンジンを使用して音声をテキストに変換する。いったん、その通話が特定の題目領域に分類されると、通話は必要に応じて、適切なコール・センター・エージェント、応答チーム、またはバーチャル・エージェント(セルフ・サービス・アプリケーションなど)にルーティングすることができる。たとえば、電話の質問は、エージェントの専門知識、技能、または能力に基づいて、自動的に所定のコール・センターにルーティングされる。
そのような分類システムはコール・センターの機能を非常に向上させたので、電話は自動的に適切な宛先にルーティングされるのに対し、NLCR技術はいくつかの制約に直面している。それらが克服されるなら、コール・センターのコール・ルーティング技術の効率性や正確性が非常に向上するはずである。特に、NLCRアプリケーションのコール・ルーティング部分の正確さは、主に、自動音声認識モジュールの正確さに左右される。ほとんどのNLCRアプリケーションでは、自動音声認識機能の唯一の目的は、ユーザーが話した要求をテキストに筆記することで、その結果、ユーザーが希望する宛先は筆記されたテキストから決定される。自動音声認識機能を使って言葉を正確に認識する際の不確実さのレベルを考えると、通話が不正確に筆記され、電話をかけてきた人が誤った宛先にルーティングされる可能性も出てくる。
B.Carpenter、J.Chu−Carroll、「Natural language Call Routing:a Robust、Self−Organizing Approach、」Speech and Language Processingについての国際会議の議事録(1998) J.Chu−Carroll、R.L.Carpenter、「Vector−Based Natural Language Call Routing、」Computational Linguistics、vol.25、no.3、361〜388(1999) V.Matula、「Using NL to Speech−Enable Advocate and Interaction Center」、In AAU 2004、Session 624、2003年3月13日 J.Chu−Carroll、R.L.Carpenter、「Vector−Based Natural Language Call Routing」、Computational Linguistics、vol.25、no.3、361〜388(1999) L.Li、W.Chou、「Improving Latent Semantic Indexing Based Classifier with Information Gain」、ICSLP 2002議事録、2002年9月 Faloutsos、D.W.Oard、「A Survey of Information Retrieval and Filtering Method」、(1995年8月)
したがって、分類のエラーの可能性を低減化する、通話をルーティングするための改善された方法およびシステムの必要性がある。さらに、自動音声認識機能の不確実さ解消するために、通話をルーティングするための改善された方法およびシステムの必要性もある。
一般に、話し言葉を複数のカテゴリの少なくとも1つに分類するための、方法および装置が提供されている。話し言葉はテキストに変換され、信頼性スコアが変換の際に1つまたは複数の言葉に対して提供される。話し言葉は、(i)話し言葉の変換の単語と少なくとも1つのカテゴリの単語の間との近似の程度および(ii)信頼性スコアに基づいて、少なくとも1つのカテゴリに分類される。たとえば、近似の程度は、前記話し言葉のクエリ・ベクトル表示と、前記複数のカテゴリのそれぞれとの間のコサイン類似度の大きさとすることができる。
スコアは、任意選択で、複数のカテゴリのそれぞれに対して生成され、そのスコアは話し言葉を少なくとも1つのカテゴリに分類するのに使用される。たとえば、複数語の単語の信頼性スコアは、複数語の単語の各語の信頼性スコアの相乗平均として計算することができる。
本発明および本発明の詳しい特徴や利点のさらに詳細な理解は、以下の詳細な説明および図面を参照することから得られる。
図1は、本発明が動作可能なネットワーク環境を例示している。図1に示すように、顧客は、電話110またはコンピュータ・デバイス(図示せず)を使い、企業により運営されているコール・センターなどの、連絡センター150に連絡する。連絡センター150には、図2Aおよび図2Bに関連して以下で詳細に説明する、分類システム200が含まれ、これは、通話をいくつかの題目領域またはクラス180−Aから180−N(これ以降、まとめてクラス180と呼ぶ)の1つに分類するものである。たとえば、各クラス180は、特定のコール・センター・エージェントや応答チームと関連付けられていることがあり、その場合たとえば、通話は、エージェントやチームの専門知識、技能、または能力に基づいて、自動的に特定のコール・センター・エージェント180にルーティングされる場合がある。コール・センター・エージェントや応答チームは人間である必要がないことに留意されたい。他の変形形態の場合、分類システム200は、別の人物、グループ、またはコンピュータ・プロセスによって、通話を、後段の処理のために適切な題目領域またはクラスに分類することができる。ネットワーク120は、公衆交換電話網、構内電話交換機、インターネット、またはセルラー・ネットワーク、および前述の何らかの組み合わせを含む、いずれかの専用または公衆の有線または無線ネットワークとして実施される場合がある。
図2Aは、トレーニング・モードの従来の分類システム200の概略ブロック図である。図2Aで示しているように、分類システム200は、種々の発呼者から収集し、あらかじめ筆記され、手作業でいくつかの題目領域の1つに分類される、サンプル応答のテキスト・バージョンが格納されているサンプル応答レポジトリ210を使用している。たとえば、サンプル応答レポジトリ210は、「何かお困りのことがありますか。」および観察された答えのそれぞれなどの、可能性のある質問と可能性のある関連した答えとのドメイン専用のコレクションとすることができる。図3に関連し以下で詳細に説明するように、サンプル応答レポジトリ210の応答のテキスト・バージョンは、トレーニング・モードの間にトレーニング・プロセス300により自動的に処理され、統計ベースの自然言語コール・ルーティング・モジュール250が作成される。
図2Bは、ランタイム・モードの従来の分類システム200の概略ブロック図である。ランタイムに新しい話し言葉230を受信すると、自動音声認識機能240がその話し言葉を筆記してテキスト・バージョンを作成し、トレーニング済みの自然言語コール・ルーティング・モジュール250が話し言葉を適切な宛先(たとえば、クラスAからN)に分類する。自動音声認識機能240は、市販のいずれかの音声認識システムとして実施することができ、さらにそれ自体にトレーニングが必要な場合がある。このことは、当業者には明白なはずである。図4に関連して以下で詳細に説明するように、分類システム200の従来の自然言語コール・ルーティング・モジュール250は、自動音声認識機能240により通知される信頼性スコアを搭載するように本発明により変更される。信頼性スコアは、コールのルーティングのために使われるクエリ・ベクトルの重みの再測定のために使用される。
本明細書で説明している例示的な実施形態では、ルーティングは、LSI(Latent Semantic Indexing:潜在的意味索引付け)を使用して実施され、これは、一般的な一連のベクトルベースの文書の分類器の1つである。LSI技術は、この技術を実施する文書と単語の組を選び、単語と文書との行列を構築する。ここで、行列の行は、一意の単語を意味し、列は、それらの単語から構成される文書(カテゴリ)である。例示的な実施形態では、単語はnグラムであり、ここでnは1と3との間である。
一般的に、応答210の分類されたテキスト・バージョンは、トレーニング・プロセス300で処理され、新しい話し言葉の分類に後で適用できるように、分類のパターンを探す。コーパス210の各サンプルは、話し言葉のルーティングの宛先に関して、手作業で「分類」される(すなわち、人間のエージェントが特定の質問に対するこの応答を聞く場合、この人間のエージェントがどこにコールをルーティングするかによる)。サンプル・テキストと分類とのコーパスは、トレーニング段階で分析され、話し言葉とクラスとを特徴付ける内部分類器データ構造が作成される。
たとえば、統計ベースの自然言語理解モジュール250の1つのクラスにおいて、自然言語理解モジュール250は、一般的に、基語のリストおよび基語が特定の宛先またはカテゴリ(たとえば、コール・センター・エージェント180)へルーティングされる必要性に対応した可能性(パーセント)を含む、基語リストから構成される。言い換えれば、「クレジット」や「クレジット・カードの支払い」などの各基語について、自然言語コール・ルーティング・モジュール250は、基語が特定の宛先にルーティングされる必要のある可能性(通常、パーセント・ベース)を指定する。
コール・ルーティングおよび自然言語理解モジュール250の構築に適した技術の詳細な説明については、たとえば、B.Carpenter、J.Chu−Carroll、「Natural language Call Routing:a Robust、Self−Organizing Approach、」Speech and Language Processingについての国際会議の議事録(1998)、J.Chu−Carroll、R.L.Carpenter、「Vector−Based Natural Language Call Routing、」Computational Linguistics、vol.25、no.3、361〜388(1999)、またはV.Matula、「Using NL to Speech−Enable Advocate and Interaction Center」、In AAU 2004、Session 624、2003年3月13日を参照されたい。おのおのは参照として本明細書に組み込まれている。
図3は、分類器200の前処理およびトレーニングを行う、従来のトレーニング・プロセス300を例示する概略ブロック図である。図3で示しているように、サンプル応答レポジトリ210で分類された話し言葉は、文書構築段階310で処理され、トピック320−1から320−Nの種々のN個のトピックに対するテキストが特定される。段階330で、トピック320−1から320−Nまでのテキストが処理され、基語形式が作成され、無視語や不要語(「and」または「the」など)が削除され、このようにして、トピック340−1から340−Nまでのフィルタリング済みテキストが作成される。フィルタリング済みテキストからの単語は、段階350で処理され、一意の単語が抽出され、360−1から360−Nまでの各トピックの主要な単語が取得される。
360−1から360−Nまでの各トピックの主要な単語は、段階370で処理され、単語と文書との行列(TxD行列)が作成される。次に段階380で、単語と文書との行列は、SVD(Singular Value Decomposition:特異値分解)を使用して文書(カテゴリ)および単語の行列に分解される。
単語と文書との行列M{i,j}(j番目のカテゴリの下のi番目の単語に対応)において、各入力には、TFxIDF(term frequencyとinverse document frequencyの積)に基づき重みが割り当てられる。SVD(Singular Value Decomposition)は、行列Mを分解することによって文書空間のサイズを削減し、その結果、i番目の単語の単語ベクトル、T{i}、およびi番目のカテゴリ・ベクトル、C{i}、が作成され、これらはまとめられ、検索の際に使用される文書ベクトルが形成される。LSIルーティング技術の詳しい説明については、たとえば、J.Chu−Carroll、R.L.Carpenter、「Vector−Based Natural Language Call Routing」、Computational Linguistics、vol.25、no.3、361〜388(1999)、L.Li、W.Chou、「Improving Latent Semantic Indexing Based Classifier with Information Gain」、ICSLP 2002議事録、2002年9月、およびFaloutsos、D.W.Oard、「A Survey of Information Retrieval and Filtering Method」、(1995年8月)を参照されたい。
コールを分類するため、発呼者の話した要求が、ASRエンジン240でテキストに筆記される(エラーも含まれる)。テキストの筆記は擬似的文書で、これから最も主要な単語が抽出され、クエリ・ベクトル、Q(すなわち、クエリ・ベクトルを構成する単語ベクトルの合計)が形成される。分類器は、クエリ・ベクトル、Q、と各宛先、C{i}、との間のコサイン類似度、すなわち、cos(Q,C{i})を測定する近似行列を使用して、擬似的文書にコールの宛先を割り当てる。一実施形態では、sigmoid関数によりコサイン値がルーティング対象の宛先に適合される。コサイン類似度の計算により、かなり正確な結果が生成されるが、このsigmoid関数による適合は、コサイン値では正確なルーティングの決定が行えないが、そのカテゴリが可能性のある候補のリスト内に表示されているような場合に必要である。
分類器が単語を話し言葉の周波数に基づいて選択するNLCRのLSIの初期の実施形態とは異なり、最近の実施形態では、単語と文章との行列から利用可能な単語の主要な点は、情報の理論的大きさを計算することによって取得される。この大きさは、IG(Information Gain:情報利得)として知られており、特定の言葉が存在または不存在であるとする場合に、1つのカテゴリに関して得られる確かさの程度である。Li、Chou 2002年を参照されたい。一連のトレーニング・データの単語に対してこのような大きさを計算することにより、単語と文書との行列に投入するための一連の高度に特徴的な単語が作成される。IGで機能が強化された、LSIベースのNLCRは、ユーザーの要求とコール・カテゴリとの間のコサイン類似度の計算の観点からは、単語カウントを使うLSIと類似しているが、IGを介して選択された単語を使うLSI分類器は、可能性のある発呼者の宛先につながる、一連のより識別を可能にする単語を選択することによって、正確さおよび呼び戻しの点でエラーの量が少なくなる。
本発明は、分類器が単語カウントに基づくまたは情報利得に基づく単語と文章との行列で保持される単語を選択するかどうかに関係なく、標準的なLSIベースのクエリ・ベクトル分類プロセスでは使用されていないが、ASRプロセス240から利用可能な他の情報があると認識している。ASRプロセス240は、通常、話し言葉の1つまたは複数の単語を誤認識するが、このことは後段の分類に悪影響を及ぼす場合がある。標準的なLSI分類プロセス(単語の選択方法に無関係)は、ASRから提供される情報を利用せず、ただ単に、話し言葉のテキスト筆記だけを利用する。このことは、特にIGベースのLSI分類器が使用されている場合には、危険をはらむ問題である。それは、単語選択プロセスが、最終的なルーティングの決定に際して、最高の情報内容や潜在的な影響力でもって単語の選択を試みるためである。それらの単語のいずれかを誤認識すると、ルーティング中の発呼者を誤った宛先に導くことになりかねない。
市販されているほとんどのASRエンジンは、オンラインNLCRアプリケーションにメリットをもたらす可能性がある単語レベルでの情報を提供する。詳細には、エンジンは認識したそれぞれの単語の信頼性スコアを、たとえば、0から100までの間の値で返す。ここで、0はその単語が正確であるという信頼性がまったくないことを意味しており、100は、その単語が正確に筆記されているという最高レベルの確実性を表示するものである。この追加情報をASRプロセスから分類プロセスに取り入れる手段として、信頼性スコアおよび単語ベクトルの値が高い単語の方が、信頼性スコアおよび単語ベクトルの値が低い単語よりも、最終的な選択に影響を及ぼすはずであるという想定で、信頼性スコアは各単語ベクトルの大きさおよび方向に影響を及ぼすために使用される。
ASR240によって生成される信頼性スコアは、通常、百分率の形で表示される。したがって、この例示的な実施形態では、以下のように1つの単語を含む信頼性スコアの相乗平均、G、が使用され、これは最大でも3つの単語の長さを持つnグラムとすることができる。
Figure 0004880258
ここで、nグラムで構成される単語の相乗平均は、その単語に存在する各語の信頼性スコアの積のn乗根である。
1つの単語を含む信頼性スコアの相乗平均が計算されると、次に、異なる信頼性スコアである2つの単語が同じ平均を持つことが可能になる。たとえば、一方の単語が、その各語に50の信頼性スコアを有する2語句から構成され、もう一方の単語には、1つの語が90の信頼性スコアで、もう1つの語が10の信頼性スコアを有する2語句があるとする。次に、両方の単語は、同じ相乗平均を持つので、その結果、クエリ・ベクトルに対する貢献度は不明瞭になってしまう。
相乗平均を使用すると、信頼性スコアに単語ベクトルT{i}の値を掛けることによって、新しい単語ベクトルT’{i}を求めることができる。最終的に、筆記された話し言葉の単語ベクトル全体を合計することによって、以下のように、クエリ・ベクトルQが求められる。
Figure 0004880258
この計算の後の手順は、従来の方法と同じである。クエリ・ベクトルQを取得し、クエリ・ベクトルQと各ルーティング対象の宛先とのコサイン類似度を測定し、降順で候補のリストを返す。
ASR240およびLSI分類器250のトレーニング
前述のように、トレーニング段階は、音声認識機能240のトレーニングとコール分類器250のトレーニングとの2つの部分から構成されている。音声認識機能240は、テキスト筆記を作成するために、統計的な言語モデルを利用する。これは、発呼者の話し言葉を手作業で筆記したものでトレーニングされたものである。いったん、ASRエンジン240が認識に使用するために統計的な言語モデルが取得されたなら、これと同じ一連の発呼者の話し言葉の筆記が、LSI分類器250をトレーニングするために使用される。各話し言葉の筆記には、対応するルーティング場所(または文書クラス)が割り当てられている。
認識機能240および分類器250の両方に対応する形式間で変換する代わりに、トレーニング・テキストを市販されているASRエンジン240に準拠している形式のままにしておくことができる。したがって、音声認識機能240をフォーマットする要件が使用され、前処理段階において手作業で取得されたテキストが実行される。同じ一連のテキストは、音声認識機能240およびルーティング・モジュール250の両方に対しても使用することができる。トレーニング・テキストが準備されると、次に、それらはLSI分類器に入力され、最終的に、(前節で説明したとおり)比較に使用可能なベクトルが作成される。
ルーティング・モジュール250のトレーニング段階300の際、照合プロセスによって、各話し言葉に手作業で割り当てられてトピックの正確さが確保される。最後に、1つの話し言葉をトレーニングの組から削除し、テストに使用できるようにすることができる。割り当てられたカテゴリと結果として得られたカテゴリとの間に何らかの矛盾がある場合、確実に正確な結果を得るために、割り当てられたカテゴリを変更したり(不正確なため)、そのカテゴリの話し言葉を追加したりして、その矛盾点を解消することができる。
図4は、本発明の特徴を組み込んだ分類プロセス400の、例示的実施形態を説明する流れ図である。図4で示しているように、ステップ410で、分類プロセス400は、最初に、話し言葉の各単語に対して単語ベクトル、T{i}、を生成する。その後、ステップ415で、各単語ベクトル、T{i}、は、対応する単語の信頼性スコアに基づいて変更され、一連の変更された単語ベクトル、T’{i}、を作成する。この例示的実施形態では、「クレジット・カード・アカウント」などの、複数の語からなる単語に対する信頼性スコアは、各個別の単語の信頼性スコアの相乗平均であることに留意されたい。他の変形形態も可能であるが、それらは当業者にとって明らかなはずである。複数の語からなる単語の相乗平均は、クエリ・ベクトルに対する貢献度を反映するものとしても使用される。
ステップ420で、分類対象の話し言葉に対するクエリ・ベクトル、Q、が、変更された単語ベクトル、T’{i}の合計として生成される。その後、ステップ430で、各カテゴリ、i、に対し、コサイン類似度が、クエリ・ベクトル、Q、と文書ベクトル、C{i}との間で測定される。当業者には明らかなはずのとおり、EuclidianおよびManhattan距離行列などの、類似度を測定するための他の方法も使用することができることを留意されたい。ステップ440で、最大スコアを持つカテゴリ、i、が適切な宛先として選択され、それからプログラム制御が終了する。
当技術分野で知られているように、本明細書で説明した方法および装置は、コンピュータが読み取り可能なコード手段をその上に搭載した、コンピュータが読み取り可能な媒体をそれ自体が含む、製品の一商品として頒布することができる。コンピュータが読み取り可能なプログラム・コード手段は、コンピュータ・システムと共に動作して、本明細書で説明した方法を行ったり、装置を作成したりするため、工程のすべてまたはいくつかを実行することができる。コンピュータが読み取り可能な媒体は、書き込み可能な媒体(たとえば、フロッピー(登録商標)・ディスク、ハード・ドライブ、コンパクト・ディスク、またはメモリ・カード)、または伝送媒体(たとえば、光ファイバを含むネットワーク、ワールドワイド・ウェブ、ケーブル、あるいは時分割多重アクセス、符号分割多重アクセスまたは他の無線周波数チャネルを使用する無線チャネル)とすることができる。コンピュータ・システムでの使用に適した情報を格納することができる、任意の知られているまたは開発された媒体を使用することができる。コンピュータが読み取り可能なコード手段は、コンピュータに命令やデータの読み取りを可能にする任意のメカニズムで、たとえば、磁気媒体には磁気的な変形形態があり、コンパクト・ディスクの表面には高さの変形形態がある。
本明細書で説明したコンピュータ・システムおよびサーバーには、それぞれ、本明細書で開示した方法、工程、および機能を実施するために、関連するプロセッサを構成するメモリが含まれている。そのメモリは割り当て式でも、ローカルのものでも使用可能で、プロセッサも割り当て式でも、個別のものでも使用可能である。メモリは、電気、磁気、または光のメモリ、あるいはこれらまたは他のタイプの記憶デバイスのいずれかの組み合わせとして実施することができる。さらに、「メモリ」という言葉は、十分広い意味に解釈されるべきであり、関連するプロセッサがアクセスするアドレス指定が可能なアドレスに対して、読み出しまたは書き込みが可能なあらゆる情報を含む。この定義を適用すると、ネットワーク上の情報も、なおメモリ内にある。それは、関連プロセッサがネットワークから情報を検索することができるからである。
本明細書で提示および説明した実施形態および変形形態は、本発明の原理を単に例示したに過ぎず、本発明の範囲および趣旨を逸脱することなく、当業者により種々の変更形態を実施することが可能であることを理解されたい。
本発明が動作可能なネットワーク環境を示す図である。 トレーニング・モードの従来の分類システムの概略ブロック図である。 ランタイム・モードの従来の分類システムの概略ブロック図である。 図2Aの分類器の前処理およびトレーニングを行う、従来のトレーニング・プロセスを示す概略ブロック図である。 本発明の特徴を組み込んだ分類プロセスの、例示的実施形態を説明する流れ図である。

Claims (8)

  1. 話し言葉を複数のカテゴリの少なくとも1つに分類する方法であって、
    前記話し言葉のテキストへの変換を取得するステップと、
    前記変換の1つまたは複数の単語に関連付けられた信頼性スコアを取得するステップと、ここで、前記信頼性スコアが、前記変換の前記1つまたは複数の単語の信頼度を指示し、
    (i)前記話し言葉の前記変換の単語と前記少なくとも1つのカテゴリの単語との近似の程度、および(ii)前記信頼性スコアに基づいて、前記話し言葉を少なくとも1つのカテゴリに分類するステップとからなり
    前記近似の程度が、前記話し言葉の単語ベクトルの合計であるクエリ・ベクトル表示と前記複数のカテゴリのそれぞれとの間のコサイン類似度の大きさであり、
    前記クエリ・ベクトル表示が前記信頼性スコアによることを含む方法。
  2. 前記分類するステップが、単語ベクトルの値による基語のリスト、および前記基語が前記複数のカテゴリの特定の1つにルーティングされることの必要性に対応した可能性を前記単語ベクトルの値によって決定する基語リストを使用する、請求項1に記載の方法。
  3. 前記分類するステップが、前記複数のカテゴリのそれぞれに対してスコアを生成する工程をさらに含む、請求項1に記載の方法。
  4. 前記変換の1つまたは複数の単語に対する前記信頼性スコアが、前記話し言葉の各単語に対する信頼性スコアを含む、請求項1に記載の方法。
  5. 話し言葉を複数のカテゴリの少なくとも1つに分類するためのシステムであって、該システムは、
    メモリと、
    該メモリに結合された、前記話し言葉のテキストへの変換を取得し、
    前記変換の1つまたは複数の単語に関連付けられた信頼性スコアを取得し、ここで、前記信頼性スコアが、前記変換の前記1つまたは複数の単語の信頼度を指示し、
    (i)前記話し言葉の前記変換の単語と前記少なくとも1つのカテゴリの単語との近似の程度、および(ii)前記信頼性スコアに基づいて、前記話し言葉を少なくとも1つのカテゴリに分類するよう動作する、少なくとも1つのプロセッサとからなり、
    前記近似の程度が、前記話し言葉の単語ベクトルの合計であるクエリ・ベクトル表示と前記複数のカテゴリのそれぞれとの間のコサイン類似度の大きさであり、
    前記クエリ・ベクトル表示が前記信頼性スコアによることを備えるシステム。
  6. 前記プロセッサが、単語ベクトルの値による基語のリスト、および前記基語が前記複数のカテゴリの特定の1つにルーティングされることの必要性に対応した可能性を前記単語ベクトルの値によって決定する基語リストを使用するようにさらに構成されている、請求項に記載のシステム。
  7. 前記プロセッサが、前記複数のカテゴリのそれぞれに対するスコアを生成するようさらに構成されている、請求項に記載のシステム。
  8. 前記プロセッサが、前記複数のカテゴリの単語ベクトルの値による順序付きリストを生成するようさらに構成されている、請求項に記載のシステム。
JP2005219753A 2004-07-29 2005-07-29 信頼性スコアを使用した自然言語コール・ルーティングのための方法および装置 Expired - Fee Related JP4880258B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/901556 2004-07-29
US10/901,556 US20060025995A1 (en) 2004-07-29 2004-07-29 Method and apparatus for natural language call routing using confidence scores

Publications (3)

Publication Number Publication Date
JP2006039575A JP2006039575A (ja) 2006-02-09
JP2006039575A5 JP2006039575A5 (ja) 2006-12-28
JP4880258B2 true JP4880258B2 (ja) 2012-02-22

Family

ID=35668738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005219753A Expired - Fee Related JP4880258B2 (ja) 2004-07-29 2005-07-29 信頼性スコアを使用した自然言語コール・ルーティングのための方法および装置

Country Status (4)

Country Link
US (1) US20060025995A1 (ja)
JP (1) JP4880258B2 (ja)
CA (1) CA2508946C (ja)
DE (1) DE102005029869A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7580837B2 (en) 2004-08-12 2009-08-25 At&T Intellectual Property I, L.P. System and method for targeted tuning module of a speech recognition system
US7242751B2 (en) 2004-12-06 2007-07-10 Sbc Knowledge Ventures, L.P. System and method for speech recognition-enabled automatic call routing
US7751551B2 (en) 2005-01-10 2010-07-06 At&T Intellectual Property I, L.P. System and method for speech-enabled call routing
US7627096B2 (en) * 2005-01-14 2009-12-01 At&T Intellectual Property I, L.P. System and method for independently recognizing and selecting actions and objects in a speech recognition system
US8818808B2 (en) 2005-02-23 2014-08-26 At&T Intellectual Property Ii, L.P. Unsupervised and active learning in automatic speech recognition for call classification
US7657020B2 (en) * 2005-06-03 2010-02-02 At&T Intellectual Property I, Lp Call routing system and method of using the same
US8433558B2 (en) * 2005-07-25 2013-04-30 At&T Intellectual Property Ii, L.P. Methods and systems for natural language understanding using human knowledge and collected data
US8364467B1 (en) 2006-03-31 2013-01-29 Google Inc. Content-based classification
US8370127B2 (en) * 2006-06-16 2013-02-05 Nuance Communications, Inc. Systems and methods for building asset based natural language call routing application with limited resources
GB0612288D0 (en) * 2006-06-21 2006-08-02 Nokia Corp Selection of access interface
US20080033720A1 (en) * 2006-08-04 2008-02-07 Pankaj Kankar A method and system for speech classification
JP4962416B2 (ja) * 2008-06-03 2012-06-27 日本電気株式会社 音声認識システム
US9478218B2 (en) * 2008-10-24 2016-10-25 Adacel, Inc. Using word confidence score, insertion and substitution thresholds for selected words in speech recognition
US8509396B2 (en) * 2009-09-24 2013-08-13 International Business Machines Corporation Automatic creation of complex conversational natural language call routing system for call centers
JP5427581B2 (ja) * 2009-12-11 2014-02-26 株式会社アドバンスト・メディア 文章分類装置および文章分類方法
US20110251971A1 (en) * 2010-04-08 2011-10-13 International Business Machines Corporation System and method for facilitating real-time collaboration in a customer support environment
US8255401B2 (en) 2010-04-28 2012-08-28 International Business Machines Corporation Computer information retrieval using latent semantic structure via sketches
US9020803B2 (en) 2012-09-20 2015-04-28 International Business Machines Corporation Confidence-rated transcription and translation
US9137372B2 (en) 2013-03-14 2015-09-15 Mattersight Corporation Real-time predictive routing
US9106748B2 (en) 2013-05-28 2015-08-11 Mattersight Corporation Optimized predictive routing and methods
US9767091B2 (en) * 2015-01-23 2017-09-19 Microsoft Technology Licensing, Llc Methods for understanding incomplete natural language query
US9683862B2 (en) 2015-08-24 2017-06-20 International Business Machines Corporation Internationalization during navigation
US10506089B2 (en) 2016-08-12 2019-12-10 International Business Machines Corporation Notification bot for topics of interest on voice communication devices
US10075480B2 (en) 2016-08-12 2018-09-11 International Business Machines Corporation Notification bot for topics of interest on voice communication devices
CN108009182B (zh) * 2016-10-28 2020-03-10 京东方科技集团股份有限公司 一种信息提取方法和装置
CN107123420A (zh) * 2016-11-10 2017-09-01 厦门创材健康科技有限公司 一种语音识别系统及其交互方法
US10540963B2 (en) * 2017-02-02 2020-01-21 International Business Machines Corporation Input generation for classifier
US10885919B2 (en) * 2018-01-05 2021-01-05 Nuance Communications, Inc. Routing system and method
CN108564955B (zh) * 2018-03-19 2019-09-03 平安科技(深圳)有限公司 电子装置、身份验证方法和计算机可读存储介质
CN108564954B (zh) * 2018-03-19 2020-01-10 平安科技(深圳)有限公司 深度神经网络模型、电子装置、身份验证方法和存储介质
US10777203B1 (en) * 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
KR102666658B1 (ko) * 2018-12-19 2024-05-20 현대자동차주식회사 차량 및 그 제어방법
CN110245355B (zh) * 2019-06-24 2024-02-13 深圳市腾讯网域计算机网络有限公司 文本话题检测方法、装置、服务器及存储介质
CN110265018B (zh) * 2019-07-01 2022-03-04 成都启英泰伦科技有限公司 一种连续发出的重复命令词识别方法
US11289086B2 (en) * 2019-11-01 2022-03-29 Microsoft Technology Licensing, Llc Selective response rendering for virtual assistants
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
CN115914468B (zh) * 2023-03-09 2023-05-12 成都秦川物联网科技股份有限公司 智慧燃气呼叫中心的反馈管理方法、物联网系统及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3794597B2 (ja) * 1997-06-18 2006-07-05 日本電信電話株式会社 話題抽出方法及び話題抽出プログラム記録媒体
JP2000315207A (ja) * 1999-04-30 2000-11-14 Just Syst Corp 文書データを評価するプログラムを記憶した記憶媒体
US6856957B1 (en) * 2001-02-07 2005-02-15 Nuance Communications Query expansion and weighting based on results of automatic speech recognition
US7092888B1 (en) * 2001-10-26 2006-08-15 Verizon Corporate Services Group Inc. Unsupervised training in natural language call routing
US7149687B1 (en) * 2002-07-29 2006-12-12 At&T Corp. Method of active learning for automatic speech recognition

Also Published As

Publication number Publication date
US20060025995A1 (en) 2006-02-02
JP2006039575A (ja) 2006-02-09
CA2508946C (en) 2012-08-14
CA2508946A1 (en) 2006-01-29
DE102005029869A1 (de) 2006-02-16

Similar Documents

Publication Publication Date Title
JP4880258B2 (ja) 信頼性スコアを使用した自然言語コール・ルーティングのための方法および装置
US10643604B2 (en) Language model customization in speech recognition for speech analytics
US11037553B2 (en) Learning-type interactive device
WO2020228173A1 (zh) 违规话术检测方法、装置、设备及计算机可读存储介质
US7181387B2 (en) Homonym processing in the context of voice-activated command systems
Gorin et al. How may I help you?
JP4267081B2 (ja) 分散システムにおけるパターン認識登録
US6839671B2 (en) Learning of dialogue states and language model of spoken information system
US6484136B1 (en) Language model adaptation via network of similar users
CN109325091B (zh) 兴趣点属性信息的更新方法、装置、设备及介质
CN110033760B (zh) 语音识别的建模方法、装置及设备
US7369998B2 (en) Context based language translation devices and methods
US7634406B2 (en) System and method for identifying semantic intent from acoustic information
US7580835B2 (en) Question-answering method, system, and program for answering question input by speech
US20130262106A1 (en) Method and system for automatic domain adaptation in speech recognition applications
CN110415679B (zh) 语音纠错方法、装置、设备和存储介质
US20080235018A1 (en) Method and System for Determing the Topic of a Conversation and Locating and Presenting Related Content
US20030040907A1 (en) Speech recognition system
JP2004355003A (ja) 名前付きエンティティ認識を機能強化するユーザモデル化のシステムおよび方法。
Koumpis et al. Automatic summarization of voicemail messages using lexical and prosodic features
Lee et al. On natural language call routing
US7363212B2 (en) Method and apparatus for translating a classification system into a target language
Callejas et al. Implementing modular dialogue systems: A case of study
Natarajan et al. Speech-enabled natural language call routing: BBN Call Director
US11989514B2 (en) Identifying high effort statements for call center summaries

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees