JP5042194B2 - 話者テンプレートを更新する装置及び方法 - Google Patents

話者テンプレートを更新する装置及び方法 Download PDF

Info

Publication number
JP5042194B2
JP5042194B2 JP2008275807A JP2008275807A JP5042194B2 JP 5042194 B2 JP5042194 B2 JP 5042194B2 JP 2008275807 A JP2008275807 A JP 2008275807A JP 2008275807 A JP2008275807 A JP 2008275807A JP 5042194 B2 JP5042194 B2 JP 5042194B2
Authority
JP
Japan
Prior art keywords
speaker
voice
unit
template
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008275807A
Other languages
English (en)
Other versions
JP2010102254A (ja
Inventor
紫 三木
雅美 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2008275807A priority Critical patent/JP5042194B2/ja
Priority to US12/606,206 priority patent/US8775178B2/en
Publication of JP2010102254A publication Critical patent/JP2010102254A/ja
Application granted granted Critical
Publication of JP5042194B2 publication Critical patent/JP5042194B2/ja
Priority to US14/287,771 priority patent/US10621974B2/en
Priority to US16/833,676 priority patent/US11335330B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0635Training updating or merging of old and new templates; Mean values; Weighting

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、話者テンプレートを更新する装置及び方法に関する。特に、本発明は、話者をその音声に基づいて認識するための話者テンプレートを更新する装置及び方法に関する。
話者が発する音声に基づいて話者を認識する場合、話者テンプレートが用いられる。ここで、話者テンプレートとは、話者を認識のための参照用データであり、例えば、話者が発した音声信号を音響分析することで得られる音響ベクトル列におけるケプストラム係数等のパラメータを用いて作成されるものである。
通常、この話者テンプレートは、話者となるユーザがシステムの使用を開始する時点等で登録される。ところが、その後にユーザの発話様式が変わることも十分に考えられ、そうなると、同じ話者テンプレートを用いたのでは、話者認識率が下がってしまう。このような場合、話者テンプレートを再登録することも考えられるが、これはユーザに余計な作業を強いることになり、好ましくない。
そこで、話者認識において発話様式や経時変化等による誤認識を従来よりも削減する技術が提案されている(例えば、特許文献1参照)。
特許文献1では、テンプレートと認識データ間の距離を、複数の話者全体に対するVQコードブックと認識データとのVQ歪みを引いて補正しており、このように補正した値は発話様式や経時変化等によるバラツキが小さくなるので、補正した値を話者類似尺度に用いて話者認識を行っている。
特開平11−85182号公報
このように、従来、話者認識において発話様式や経時変化等による誤認識を削減する試みはなされていた。
しかしながら、特許文献1では、実際の話者認識時にテンプレートと認識データ間の距離を補正することで、発話様式や経時変化等によるバラツキを小さくしているので、話者認識の処理を行う都度、同様の補正による処理時間がかかるという問題点があった。
本発明の目的は、ユーザに余計な作業を強いることなく、実際の話者認識にかかる処理時間を短く抑えて、話者認識の精度を向上することにある。
本発明の他の目的は、話者認識の精度を向上するために更新すべき話者テンプレートの検索を高速化することにある。
かかる目的のもと、本発明は、話者を話者が発する音声に基づいて認識するための話者テンプレートを更新する装置であって、複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、特定の話者が発した音声メッセージに基づいて、特定の話者が発する音声の特徴を抽出する特徴抽出部と、記憶部に記憶された複数の話者テンプレートの中から、特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、選択部により選択された特定の話者テンプレートを、特徴抽出部により抽出された音声の特徴に基づいて更新する更新部とを備えた、装置を提供する。
ここで、この装置は、特定の話者が発した音声メッセージの宛先人を特定する特定部と、特定部により特定された宛先人の音声メッセージの交換の履歴に基づいて、特定の話者テンプレートの候補である複数の候補テンプレートを決定する決定部とを更に備え、選択部は、決定部により決定された複数の候補テンプレートの中から、特定の話者テンプレートを選択する、ものであってよい。その場合、決定部は、宛先人が過去に音声メッセージを交換したことのある複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを、複数の候補テンプレートとして決定する、ものであってよい。
また、この装置は、特定の話者が発した音声メッセージを音声認識する音声認識部と、音声認識部による音声認識の結果として得られた特定のデータからキーワードを抽出するキーワード抽出部と、キーワード抽出部により抽出されたキーワードに基づいて、特定の話者テンプレートの候補である複数の候補テンプレートを決定する決定部とを更に備え、選択部は、決定部により決定された複数の候補テンプレートの中から、特定の話者テンプレートを選択する、ものであってよい。その場合、決定部は、キーワード抽出部により抽出されたキーワードに関係するものとして予め定められた複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを、複数の候補テンプレートとして決定する、ものであってよい。
更に、この装置において、特定の話者が発した音声メッセージは、特定の話者と特定の話者以外の他の話者との間で電話回線を介して交換されたものであり、特徴抽出部は、特定の電話回線から得られた音声メッセージに基づいて、特定の話者が発する音声の特徴を抽出する、ものであってよい。
更にまた、この装置は、特定の話者以外の他の話者が発した音声メッセージを特定の話者に聴取させるに当たって、特定の話者テンプレートを用いて特定の話者を認証する認証部を更に備えた、ものであってよい。
また、本発明は、話者を話者が発する音声に基づいて認識するための話者テンプレートを更新する装置であって、複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、特定の話者と特定の話者以外の他の話者との間で電話回線を介して交換された音声メッセージに基づいて、特定の話者が発する音声の特徴を抽出する特徴抽出部と、記憶部に記憶された複数の話者テンプレートの中から、他の話者が過去に音声メッセージを交換したことのある複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定する決定部と、決定部により決定された複数の候補テンプレートの中から、特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、選択部により選択された特定の話者テンプレートを、特徴抽出部により抽出された音声の特徴に基づいて更新する更新部とを備えた、装置を提供する。
また、本発明は、話者を話者が発する音声に基づいて認識するための話者テンプレートを更新する装置であって、複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、特定の話者が電話回線を介して発した音声メッセージに基づいて、特定の話者が発する音声の特徴を抽出する特徴抽出部と、特定の話者が電話回線を介して発した音声メッセージを音声認識する音声認識部と、音声認識部による音声認識の結果として得られた特定のデータからキーワードを抽出するキーワード抽出部と、記憶部に記憶された複数の話者テンプレートの中から、キーワード抽出部により抽出されたキーワードに関係するものとして予め定められた複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定する決定部と、決定部により決定された複数の候補テンプレートの中から、特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、選択部により選択された特定の話者テンプレートを、特徴抽出部により抽出された音声の特徴に基づいて更新する更新部とを備えた、装置も提供する。
更に、本発明は、話者を話者が発する音声に基づいて認識するための話者テンプレートを更新する方法であって、複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶するステップと、特定の話者が発した音声メッセージに基づいて、特定の話者が発する音声の特徴を抽出するステップと、記憶された複数の話者テンプレートの中から、抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択するステップと、選択された特定の話者テンプレートを、抽出された音声の特徴に基づいて更新するステップとを含む、方法も提供する。
更にまた、本発明は、話者を話者が発する音声に基づいて認識するための話者テンプレートを更新する装置としてコンピュータを機能させるプログラムであって、コンピュータを、複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、特定の話者が発した音声メッセージに基づいて、特定の話者が発する音声の特徴を抽出する特徴抽出部と、記憶部に記憶された複数の話者テンプレートの中から、特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、選択部により選択された特定の話者テンプレートを、特徴抽出部により抽出された音声の特徴に基づいて更新する更新部として機能させる、プログラムも提供する。
本発明によれば、ユーザに余計な作業を強いることなく、実際の話者認識にかかる処理時間を短く抑えて、話者認識の精度を向上することができる。
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。尚、本実施の形態では、メッセージボックスに登録された音声メッセージ(以下、単に「メッセージ」という)が一定時間未開封であった場合に、その音声メッセージの宛先人とは別の代理人に音声メッセージを確認させるシステムを前提とする。そして、このシステムで代理人の認証のために用いられる話者テンプレート(以下、単に「テンプレート」という)を自動更新するものとして説明する。
まず、本実施の形態が適用されるコンピュータシステムについて説明する。
図1は、このようなコンピュータシステムの全体構成例を示した図である。
図示するように、このコンピュータシステムは、電話機10a〜10fと、公衆網20と、PBX(Private Branch eXchange)30と、IVR(Interactive Voice Response)40と、メッセージ管理装置50と、声紋認証装置60とを含んでいる。
電話機10a〜10fは、音声による空気の振動を電気信号に変えて相手の電話機に送信する送話器と、相手の電話機から受信した電気信号を空気の振動に変える受話器とからなり、遠隔地間での会話を可能とした機器である。ここで、電話機10a〜10cは外線電話機であり、公衆網20を介してPBX30と接続されており、電話機10d〜10fは内線電話機であり、内線を介してPBX30と接続されている。尚、図では、6台の電話機10しか示していないが、7台以上の電話機10を設けてもよい。また、電話機10a〜10fは、固定電話機であっても、携帯電話機であってもよい。更に、以下で、電話機10a〜10fを区別しない場合は、単に「電話機10」ということもある。
公衆網20は、一般の加入電話回線ネットワークである。
PBX30は、構内交換機である。即ち、企業等において、内線電話機である電話機10どうしの接続や、公衆網20への接続を行う。また、電話機10から入力された音声をデジタル化した音声データからなるメッセージとしてIVR40に出力する。
IVR40は、音声自動応答装置である。即ち、発信者が電話機10を操作すると、その操作の内容を受け付け、その操作に対して予め決められている音声を自動的に出力する。また、発信者が電話機10からメッセージを入力すると、そのメッセージを受け付ける。
メッセージ管理装置50は、電話機10から入力されたメッセージをメッセージボックスに登録して管理し、管理しているメッセージを電話機10で再生するために読み出して出力する。
声紋認証装置60は、メッセージ管理装置50で管理されるメッセージを電話機10で再生する場合に、その電話機10でのメッセージの聴取者が正当であるかをその聴取者の声紋を用いて認証する。
このような構成を有するコンピュータシステムにおいて、本実施の形態では、メッセージがメッセージボックスに登録されてから一定時間未開封の場合に、代理人にメッセージを開封させ、聴取(確認)させる。また、セキュリティ上、代理人がメッセージを確認する際には、代理人の認証を行う。そして、特に、この認証に用いるテンプレートを自動的に更新することで、精密な話者特定を実現する。
次に、このような動作を実現するためのIVR40、メッセージ管理装置50、声紋認証装置60の機能構成について説明する。
図2は、IVR40、メッセージ管理装置50、声紋認証装置60の機能構成例を示したブロック図である。
まず、IVR40の機能構成について説明する。
図示するように、IVR40は、音声応答部41と、音声認識部42と、ダイヤルアウト部43と、会話記憶部44とを備える。
音声応答部41は、PBX30から電話機10のダイヤル操作の情報やメッセージを受け付け、機械音声による応答を行う。そして、受け付けた情報を、メッセージ管理装置50や声紋認証装置60に出力し、受け付けたメッセージは音声認識部42にも出力する。また、会話記憶部44から回線ごとの会話データを読み出す。本実施の形態では、音声メッセージの宛先人を特定する特定部の一例として、音声応答部41を設けている。
音声認識部42は、音声応答部41から入力されたメッセージをリアルタイムで認識し、データ化する。本実施の形態では、音声メッセージを音声認識する音声認識部の一例として、音声認識部42を設けている。
ダイヤルアウト部43は、PBX30にダイヤル情報を送信して、指定された電話番号に電話をかけるように指示する。
会話記憶部44は、電話回線を介して二者間で交換される会話の音声データ(以下、「会話データ」という)をPBX30から取得して回線別に記憶する。例えば、ユーザAとユーザBが電話で話した場合であれば、ユーザAが電話をかけてきた回線の回線IDに関連付けてユーザAの会話データを記憶し、ユーザBが電話をかけてきた回線の回線IDに関連付けてユーザBの会話データを記憶する。ここで、回線IDは、回線を一意に識別する識別情報である。
次に、メッセージ管理装置50の機能構成について説明する。
図示するように、メッセージ管理装置50は、メッセージ記憶部51と、データベース(DB)管理部55と、言語解析部57とを備える。
メッセージ記憶部51は、メッセージボックス、IVR40から入力されたメッセージ、そのメッセージの確認を依頼する代理人等を対応付けたメッセージ情報を記憶する。
DB管理部55は、メッセージ記憶部51を管理する。例えば、IVR40から入力されたメッセージ等をメッセージ記憶部51に記憶し、未開封のメッセージを代理人に確認させるために読み出す。また、メッセージの確認を依頼する代理人を決定する。本実施の形態では、発信者に対して予め定められ、かつ、キーワードに対して予め定められたユーザを、代理人として決定する決定部の一例として、DB管理部55を設けている。
言語解析部57は、IVR40の音声認識部42による音声認識の結果として得られたデータを解析して、メッセージの話者及び案件を特定する。本実施の形態では、電子メッセージの発信者を特定する特定部の一例として、また、電子メッセージからその主題を表すキーワードを抽出する抽出部の一例として、言語解析部57を設けている。
次いで、声紋認証装置60の機能構成について説明する。
図示するように、声紋認証装置60は、テンプレート情報記憶部61と、履歴情報記憶部62と、キーワード情報記憶部63と、データベース(DB)管理部65と、音声解析部66と、言語解析部67とを備える。
テンプレート情報記憶部61は、ユーザID、ボックスID、ユーザ名、声紋認証に用いられるテンプレート等を対応付けたテンプレート情報を記憶する。本実施の形態では、複数の話者テンプレートを記憶する記憶部の一例として、テンプレート情報記憶部61を設けている。
履歴情報記憶部62は、内線番号と、過去にその内線番号からメッセージが届けられたメッセージボックスのボックスIDとを対応付けた履歴情報を記憶する。
キーワード情報記憶部63は、キーワードと、そのキーワードに関連する会話を行うことが想定されるユーザのメッセージボックスのボックスIDとを対応付けたキーワード情報を記憶する。
DB管理部65は、テンプレート情報記憶部61、履歴情報記憶部62、キーワード情報記憶部63を管理する。例えば、IVR40から入力された代理人を特定する情報に基づいてテンプレート情報記憶部61を参照することにより、テンプレートを読み出す。また、IVR40から入力された回線IDに対応する内線番号に基づいて履歴情報記憶部62を検索したり、言語解析部67が音声認識の結果を解析して得たキーワードに基づいてキーワード情報記憶部63を検索したりすることにより、検索範囲のボックスIDを決定する。そして、テンプレート情報記憶部61のそのボックスIDに対応するテンプレートを対象として、更新対象のテンプレートを検索する。本実施の形態では、特定の話者テンプレートを選択する選択部の一例として、特定の話者テンプレートを更新する更新部の一例として、また、特定の話者テンプレートの候補である複数の候補テンプレートを決定する決定部の一例として、更には、特定の話者テンプレートを用いて特定の話者を認証する認証部の一例として、DB管理部65を設けている。
音声解析部66は、IVR40の音声認識部42により認識された音声の特徴を解析する。本実施の形態では、特定の話者が発する音声の特徴を抽出する特徴抽出部の一例として、音声解析部66を設けている。
言語解析部67は、IVR40の音声認識部42による音声認識の結果として得られたデータを解析して、キーワードを抽出する。本実施の形態では、キーワードを抽出するキーワード抽出部の一例として、言語解析部67を設けている。
ここで、メッセージ記憶部51に記憶されたメッセージ情報について詳細に説明する。
図3は、このようなメッセージ情報の一例を示した図である。
図示するように、メッセージ情報は、ボックスIDとメッセージと転送希望の有無と待機時間とユーザIDと開封状況とを対応付けたものとなっている。
ボックスIDは、メッセージボックスを一意に識別する識別情報であり、図では、「BOX#」と表記している。また、転送希望の有無としては「YES」が設定されているが、これは代理人による確認を希望することを意味する。代理人による確認を希望しない場合には「NO」が設定される。更に、「待機時間」としては、メッセージが未開封だった場合に代理人に確認を依頼するまでの時間が分を単位として設定される。例えば、図のように「120」が設定されている場合、メッセージが登録されてから120分経過しても未開封だった場合に、そのメッセージの確認が代理人に依頼される。また、ユーザIDは、ユーザを一意に識別する識別情報であるが、ここでは、メッセージの確認を依頼する代理人を特定する情報として設定されている。図では、ユーザIDとして「U1」が設定されており、メッセージの確認は、ユーザID「U1」を有する代理人に依頼されることになる。更に、開封状況としては「CLOSE」が設定されているが、これはメッセージが未開封であることを意味する。メッセージが開封されると開封状況は「OPEN」に書き換えられる。
また、テンプレート情報記憶部61に記憶されたテンプレート情報についても詳細に説明する。
図4は、このようなテンプレート情報の一例を示した図である。
図示するように、テンプレート情報は、ユーザIDとボックスIDと名前とテンプレートとを対応付けたものになっている。
既述の通り、ユーザIDは、ユーザを一意に識別する識別情報であり、ボックスIDは、メッセージボックスを一意に識別する識別情報である。但し、全てのユーザがメッセージボックスを持っているとは限らないので、メッセージボックスを持たないユーザに対してはボックスIDを登録しなくてもよい。名前としては、対応するユーザIDを有するユーザの名前が設定される。テンプレートは、対応するユーザIDを有するユーザの声の特徴が認証のための参照データとして登録されたものである。図では、テンプレートを「T1」、「T2」、「T3」といった単純な記号で示しているが、実際は、多くのパラメータ値の集合が設定される。或いは、このようなパラメータ値の集合が記憶された記憶領域に対するポインタが設定されてもよい。
更に、履歴情報記憶部62に記憶された履歴情報についても詳細に説明する。
図5は、このような履歴情報の一例を示した図である。
図示するように、履歴情報は、内線番号とボックスIDとを対応付けたものになっている。
内線番号は、内線を介してPBX30に接続された電話機10に割り振られ、例えば、企業等の組織内での電話番号として用いられる番号である。また、ボックスIDは、既述の通り、メッセージボックスを一意に識別する識別情報であるが、ここでは、対応する内線番号の電話機10から過去にメッセージが送られたことのあるメッセージボックスのボックスIDが履歴として設定されている。例えば、図では、内線番号「23」の電話機10から、ボックスID「12」、「32」、「48」のメッセージボックスにメッセージが送られたことがあることが示されている。但し、古い履歴は意味がないことも多いので、ある程度以上前の履歴は保持しないようにしてもよい。尚、ここでは、管理のし易さから、内線を介してPBX30に接続された電話機10の履歴を保持するようにしたが、公衆網20を介してPBX30に接続された電話機10の履歴についても、それがPBX30等に残っていれば同様に保持することは可能である。
更にまた、キーワード情報記憶部63に記憶されたキーワード情報についても詳細に説明する。
図6は、このようなキーワード情報の一例を示した図である。
図示するように、キーワード情報は、キーワードとボックスIDとを対応付けたものになっている。
キーワードとしては、電話機10を用いた会話に出現し得る語句が設定される。このような語句としては、会話を行っているユーザをある程度類推できるようなものが望ましい。また、ボックスIDは、既述の通り、メッセージボックスを一意に識別する識別情報であるが、ここでは、対応するキーワードを含む会話を行うことが想定されるユーザのメッセージボックスのボックスIDが設定されている。例えば、図では、ボックスID「12」、「32」、「48」のメッセージボックスを有するユーザが、キーワード「XXXプロジェクト」を会話で用いる可能性があること、及び、ボックスID「1」、「5」、「9」、「24」のメッセージボックスを有するユーザが、キーワード「営業一課」を会話で用いる可能性があることが示されている。
以下、本実施の形態の動作について説明する。尚、本実施の形態の動作は、メッセージを登録する際の動作と、未開封のメッセージの確認を代理人に依頼する際の動作と、代理人の認証に用いるテンプレートを自動更新する際の動作とがあるので、これらを分けて説明する。
[メッセージを登録する際の動作]
図7は、このときのIVR40及びメッセージ管理装置50の動作例を示したフローチャートである。
IVR40では、まず、音声応答部41が、メッセージを受け付ける(ステップ401)。具体的には、メッセージの入力を促す機械音声を出力し、これに応じてユーザがメッセージを発話すると、そのメッセージを受け付ける。例えば、ユーザが「今日のミーティングは明日に変更です。」とのメッセージを発話すると、そのメッセージを受け付ける。そして、このメッセージは、メッセージ管理装置50のDB管理部55へ出力されると共に、音声認識部42へも出力される。
次に、音声応答部41は、転送希望の有無を受け付ける(ステップ402)。具体的には、転送希望の有無の入力を促す機械音声を出力し、これに応じてユーザが転送を希望するかどうかをダイヤル操作で入力すると、入力された情報を受け付ける。例えば、音声応答部41は、「メッセージの未開封時、ユーザ指定代理人への転送を希望する場合は『1』を、切断する場合は『2』を押して下さい。」という機械音声を出力し、ユーザが「1」を押すと、そのダイヤル操作の情報を受け付ける。そして、この転送希望の有無は、メッセージ管理装置50のDB管理部55へ出力される。
次いで、音声応答部41は、転送を希望する旨の入力があったかどうかを判定する(ステップ403)。
その結果、転送を希望する旨の入力があったと判定すると、音声応答部41は、待機時間を受け付ける(ステップ404)。具体的には、待機時間の入力を促す機械音声を出力し、これに応じてユーザが待機時間をダイヤル操作で入力すると、入力された待機時間を受け付ける。例えば、音声応答部41は、「未開封の場合に代理人に確認を依頼するまでの待機時間を分で入力して下さい。」という機械音声を出力し、ユーザが「1」、「2」、「0」と押すと、そのダイヤル操作の情報を受け付ける。そして、この待機時間は、メッセージ管理装置50のDB管理部55へ出力される。
また、音声認識部42は、音声応答部41から受け取ったメッセージに対して音声認識処理を行い、メッセージをデータ化する(ステップ405)。そして、このデータ化されたメッセージは、メッセージ管理装置50のDB管理部55へ出力される。
メッセージ管理装置50では、DB管理部55が、入力されたメッセージを言語解析部57に受け渡し、言語解析部57が、音声認識の結果であるメッセージのデータを解析して、メッセージの話者及び案件を特定する(ステップ406)。
ここで、音声認識の結果を解析して話者及び案件を特定する方法としては、例えば、次のような方法がある。
まず、話者を特定する方法としては、話者の前後に発言される可能性の高い語句を手がかりとする方法がある。例えば、「○○会社の」、「○○部の」等が来れば、その直後を話者と判定し、「こんにちは」、「お世話になります」等が来れば、その直前又は直後を話者と判定する、といった方法である。
また、案件を特定する方法としては、案件を表すキーワードを手がかりとする方法がある。例えば、予めこのようなキーワードを登録しておき、登録されたキーワードのうち最も出現回数の多かったものが表す案件を、メッセージが表す案件と判定する、といった方法である。
そして、特定された話者及び案件は、DB管理部55に戻され、DB管理部55が、代理人を決定する(ステップ407)。ここでは、例えば、ステップ406で特定された話者及び案件の組み合わせに対して予め設定されているユーザIDを有するユーザを代理人に決定すればよい。
その後、DB管理部55は、ステップ401でIVR40の音声応答部41から入力されたメッセージ、ステップ402でIVR40の音声応答部41から入力された転送希望の有無、ステップ404でIVR40の音声応答部41から入力された待機時間、ステップ407で決定された代理人のユーザIDをメッセージ記憶部51に記憶し、開封状況として「CLOSE」を設定する(ステップ408)。即ち、メッセージ記憶部51には、図3に示したような情報が登録される。
一方、ステップ403で転送を希望しない旨の入力があったと判定すると、音声応答部41は、その旨の情報をメッセージ管理装置50のDB管理部55に伝え、DB管理部55が、ステップ401でIVR40の音声応答部41から入力されたメッセージ、ステップ402でIVR40の音声応答部41から入力された転送希望の有無をメッセージ記憶部51に記憶し、開封状況として「CLOSE」を設定する(ステップ409)。
このようにしてメッセージ記憶部51へのメッセージ情報の登録が完了すると、その旨がIVR40を介して声紋認証装置60に伝えられ、声紋認証装置60では、DB管理部65が、履歴情報記憶部62に履歴情報を記憶する(ステップ410)。具体的には、メッセージ管理装置50のDB管理部55が、メッセージ情報の登録が完了した旨をIVR40の音声応答部41に伝え、音声応答部41が、メッセージを送ってきた電話機10の内線番号と、指定されたメッセージボックスのボックスIDとを声紋認証装置60のDB管理部65に伝える。これにより、DB管理部65が、ボックスIDを内線番号に関連付けて履歴情報記憶部62に記憶する。
ところで、上記動作例では、ステップ404で、メッセージが登録されてから代理人に確認を依頼するまでの時間である待機時間を受け付けたが、これには限らない。例えば、代理人に確認を依頼する日時である確認依頼日時を受け付けるようにしてもよい。
また、上記動作例では、ステップ406で、音声認識の結果を解析して話者を特定するようにしたが、これには限らない。即ち、メッセージを音声認識する前に別の情報から話者を特定するようにしてもよい。これには、第一に、話者がメッセージを登録するのに用いた機器に関する情報に基づいて、話者を特定する方法が考えられる。例えば、話者がメッセージを登録するのに電話機を用いたとすると、発信者番号をキーとして電話帳から話者を特定する。また、第二に、話者がメッセージを発話した際の音声の声紋に基づいて、話者を特定する方法が考えられる。そして、これらの方法によって話者を特定できた場合には、音声認識の結果を解析することによる話者の特定は行わないようにしてもよい。
[未開封のメッセージの確認を代理人に依頼する際の動作]
図8は、このときのIVR40、メッセージ管理装置50、声紋認証装置60の動作例を示したフローチャートである。
メッセージ管理装置50では、まず、DB管理部55が、代理人による確認を希望し、確認依頼時刻が到来し、未開封のメッセージが登録されたメッセージボックスを特定する(ステップ421)。具体的には、メッセージ記憶部51に記憶されたメッセージ情報を定期的に監視し、転送希望が「YES」で、メッセージが登録された時刻に待機時間を加えた時刻よりも現在時刻が後で、開封状況が「CLOSE」のままになっているメッセージ情報がないかを判断する。そして、そのようなメッセージ情報があれば、そのメッセージ情報からボックスIDを取り出す。
また、DB管理部55は、そのメッセージ情報から代理人を特定する(ステップ422)。具体的には、代理人のユーザIDを取り出す。
そして、そのユーザIDと、そのユーザIDに対して事前に設定されている電話番号とをIVR40のダイヤルアウト部43に伝え、その電話番号に電話がかかるようにダイヤルアウト部43に指示する(ステップ423)。その際、ダイヤルアウト部43は、ユーザIDを音声応答部41に伝えておく。
その後、音声応答部41は、代理人の名前を受け付ける(ステップ424)。具体的には、名前の入力を促す機械音声を出力し、これに応じて代理人が名前を発話すると、その名前の音声を受け付ける。例えば、音声応答部41は、「○○のメッセージが未開封による代理確認依頼です。お名前を録音して下さい。」という機械音声を出力し、代理人が「AAA」と発話すると、「AAA」という音声を受け付ける。そして、この音声は、ダイヤルアウト部43から伝えられたユーザIDと共に、声紋認証装置60のDB管理部65へ出力される。
これにより、声紋認証装置60では、DB管理部65が、IVR40から入力された音声を音声解析部66に受け渡し、音声解析部66が、渡された音声の特徴を解析する(ステップ425)。そして、この音声の特徴は、DB管理部65へ出力される。
次に、DB管理部65は、代理人の声について声紋認証を行う(ステップ426)。具体的には、テンプレート情報記憶部61に記憶されたテンプレート情報において、音声応答部41から入力されたユーザIDに対応付けられているテンプレートと、音声解析部66から入力された音声の特徴とを比較する。
そして、声紋認証が成功したかどうかを判定する(ステップ427)。具体的には、テンプレート情報記憶部61に記憶されたテンプレート情報において、音声応答部41から入力されたユーザIDに対応付けられているテンプレートと、音声解析部66から入力された音声の特徴との類似度が所定の閾値を超えているかどうかを判定する。
その結果、声紋認証が成功したと判定した場合、つまり、類似度が所定の閾値を超えていると判定した場合、その旨が、IVR40の音声応答部41に伝えられ、音声応答部41が、メッセージの確認希望の有無を受け付ける(ステップ428)。具体的には、声紋認証が成功した旨を知らせると共に確認希望の有無の入力を促す機械音声を出力し、これに応じてユーザが確認を希望するかどうかをダイヤル操作で入力すると、入力された情報を受け付ける。例えば、音声応答部41は、「認証に成功しました。メッセージを確認するには『1』を押して下さい。」という機械音声を出力し、ユーザが「1」を押すと、そのダイヤル操作の情報を受け付ける。そして、この確認希望の有無は、メッセージ管理装置50のDB管理部55へ出力される。
これにより、メッセージ管理装置50では、DB管理部55が、代理人がメッセージの確認を希望しているかどうかを判定する(ステップ429)。
その結果、メッセージの確認を希望していると判定した場合、DB管理部55は、ステップ421で特定したメッセージボックスに登録されているメッセージを取り出してIVR40の音声応答部41に渡し、音声応答部41がメッセージを出力する(ステップ430)。また、このとき、DB管理部55は、メッセージ記憶部51においてその取り出したメッセージに対応する開封状況を「CLOSE」から「OPEN」に書き換える(ステップ431)。
一方、ステップ427で声紋認証が成功しなかったと判定した場合、及び、ステップ429で代理人がメッセージの確認を希望していないと判定した場合、DB管理部55は、メッセージボックスからメッセージを取り出すことなく、処理を終了する。
[代理人の認証に用いるテンプレートを自動更新する際の動作]
ところで、本実施の形態では、このような代理人の認証に用いるテンプレートを、代理人となり得るユーザが電話機10を用いて会話を行っている間に自動的に更新する。
図9は、このときのIVR40及び声紋認証装置60の動作例を示したフローチャートである。尚、この動作例に先立ち、IVR40の会話記憶部44には、電話機10の回線ごとに、会話データが記憶されているものとする。
例えば、ユーザAとユーザBとの間で電話機10を用いて次のような会話がなされたとする。但し、この例では、ユーザAを「A」と表記し、ユーザBを「B」と表記している。
A:Bさんですか?営業のAです。
B:Aさん、お久しぶりです。
A:XXXプロジェクトの進捗はどうなっていますか?
B:順調ですよ。近況をまとめたXXXプロジェクトの資料を送りましょうか?
A:そうしていただけますか?よろしくお願いします。
B:了解しました。
このような会話がなされた場合、ユーザAが使用した電話機10の回線の回線IDに、「Bさんですか?営業のAです。」、「XXXプロジェクトの進捗はどうなっていますか?」、「そうしていただけますか?よろしくお願いします。」というユーザAの会話データが対応付けて記憶されることになる。また、ユーザBが使用した電話機10の回線の回線IDに、「Aさん、お久しぶりです。」、「順調ですよ。近況をまとめたXXXプロジェクトの資料を送りましょうか?」、「了解しました。」というユーザBの会話データが対応付けて記憶されることになる。
このような状態で、本実施の形態では、ユーザAの会話データを用いてユーザAのテンプレートを自動更新すると共に、ユーザBの会話データを用いてユーザBのテンプレートを自動更新する。但し、ユーザAの会話データを用いた処理と、ユーザBの会話データを用いた処理とは同様であるので、以下では、一方のユーザの会話データを用いた処理についてのみ説明する。尚、ここでは、処理対象のユーザの会話データが対応付けられた回線の回線IDを回線#1とし、そのユーザと会話をしている相手ユーザの会話データが対応付けられた回線の回線IDを回線#2とする。
IVR40では、まず、音声認識部42が、回線#1に対応付けられた会話データのうち、自身が認識できるだけの会話データ(以下、「会話単位」という)を会話記憶部44から読み出し、この会話単位に対して音声認識処理を行い、その結果を声紋認証装置60のDB管理部65に出力する(ステップ441)。
また、音声応答部41も、音声応答部41が読み出したものと同じ会話単位を会話記憶部44から読み出して声紋認証装置60のDB管理部65に出力し、音声解析部66がこの会話単位を受け取って音声の特徴を学習する(ステップ442)。
次に、DB管理部65は、回線#1に既に紐付けられているボックスIDがあるかどうかを判定する(ステップ443)。即ち、以降の処理で、話者にテンプレートが紐付けられた場合は、DB管理部65が回線IDとボックスIDとを関連付けた情報を保持することになるので、DB管理部65がそのような情報を保持しているかどうかを判定する。
ここで、最初の会話単位を処理する場合において、回線#1にボックスIDは紐付けられていないので、まず、そのときの動作を説明する。
この場合、DB管理部65は、履歴情報記憶部62において回線#2に対応する内線番号に対応付けられたボックスIDのメッセージボックスを対象として、テンプレート情報記憶部61からテンプレートを検索する(ステップ444)。具体的には、回線#2に対応する内線番号に基づいて履歴情報記憶部62を検索することにより、過去にその内線番号からメッセージが送られたことのあるメッセージボックスのボックスIDを読み出す。そして、テンプレート情報記憶部61に記憶されたテンプレートのうち、このボックスIDに対応するテンプレートを検索対象のテンプレートとし、この検索対象のテンプレートから更新対象のテンプレートを検索する。尚、この場合のテンプレートの検索は、検索対象のテンプレートのパラメータ値と、音声解析部66が解析して得た音声の音響ベクトルとの間の距離(類似度)を、DP(Dynamic Programming)法等で求め、その距離が所定の閾値以上で最大となる場合に、その検索対象のテンプレート選択することによって行えばよい。
そして、DB管理部65は、検索が成功したかどうかを判定する(ステップ445)。
その結果、検索が成功した場合、DB管理部65は、検索によって見つかったテンプレートに対応するボックスIDを回線#1に紐付ける(ステップ446)。また、検索によって見つかったテンプレートを、音声解析部66が解析して得た音声の音響ベクトルにおけるパラメータ値に基づいて更新する(ステップ447)。尚、この場合のテンプレートの更新は、最新の会話単位から得られたパラメータ値を用いて作成された最新のテンプレートで既存のテンプレートを置き換えるものでもよいし、そのような最新のテンプレートを既存のテンプレートに追加するものでもよい。
一方、検索が成功しなかった場合、DB管理部65は、IVR40の音声認識部42から入力された音声認識の結果を言語解析部67に渡し、言語解析部67が音声認識の結果からキーワードを抽出する(ステップ448)。具体的には、キーワード情報記憶部63に記憶されたキーワードが音声認識の結果中に出現するかどうかを判断し、出現していれば、そのキーワードを抽出する。
また、DB管理部65は、言語解析部67が抽出したキーワードに対応付けられたボックスIDのメッセージボックスを対象として、テンプレート情報記憶部61からテンプレートを検索する(ステップ449)。具体的には、ステップ448で抽出されたキーワードに基づいてキーワード情報記憶部63を検索することにより、そのキーワードに関係するユーザが有するメッセージボックスのボックスIDを読み出す。そして、テンプレート情報記憶部61に記憶されたテンプレートのうち、このボックスIDに対応するテンプレートを検索対象のテンプレートとし、この検索対象のテンプレートから更新対象のテンプレートを検索する。尚、この場合のテンプレートの検索は、検索対象のテンプレートのパラメータ値と、音声解析部66が解析して得た音声の音響ベクトルとの間の距離(類似度)を、DP法等で求め、その距離が所定の閾値以上で最大となる場合に、その検索対象のテンプレート選択することによって行えばよい。
そして、DB管理部65は、検索が成功したかどうかを判定する(ステップ450)。
その結果、検索が成功した場合、DB管理部65は、検索によって見つかったテンプレートに対応するボックスIDを回線#1に紐付ける(ステップ446)。また、検索によって見つかったテンプレートを、音声解析部66が解析して得た音声の音響ベクトルにおけるパラメータ値に基づいて更新する(ステップ447)。尚、この場合のテンプレートの更新は、最新の会話単位から得られたパラメータ値を用いて作成された最新のテンプレートで既存のテンプレートを置き換えるものでもよいし、そのような最新のテンプレートを既存のテンプレートに追加するものでもよい。
一方、検索が成功しなかった場合、DB管理部65は、ステップ442で学習した音声の特徴、例えば、音響ベクトルにおけるパラメータ値を用いて作成されるテンプレートを、テンプレート情報記憶部61におけるテンポラリの記憶領域に記憶する(ステップ451)。例えば、図4では、ユーザAのテンプレートが登録されていないとする。この場合、ステップ445でもステップ450でも検索は失敗するので、図の最下行に示したテンポラリの記憶領域(「temp」と表記)にテンプレートが記憶される。尚、ここでテンポラリの記憶領域に記憶されたテンプレートは、以降の会話単位の処理で特定の話者に紐付けられると、このテンポラリの記憶領域からは削除される。
その後、音声応答部41及び音声認識部42は、会話記憶部44に次の会話単位が記憶されているかどうかを判定する(ステップ452)。ここで、次の会話単位が記憶されていれば、ステップ441〜451の処理を繰り返す。即ち、この時点で回線#1にテンプレートが紐付いていれば、回線#1に対応付けられた会話データの以降の会話単位についてのリアルタイムの音声解析に基づいて、回線#1に紐付いたテンプレートをリアルタイムで更新する(ステップ447)。また、この時点で回線#1にテンプレートが紐付いていなければ、履歴情報記憶部62に記憶された履歴情報やキーワード情報記憶部63に記憶されたキーワード情報を用いて、回線#1に対するテンプレートの紐付けを再度試みる。一方、ステップ452で次の会話単位が記憶されていなければ、ステップ451でテンポラリの記憶領域に記憶されたテンプレートがそのまま残っているときは、そのテンプレートの処理に移る。
即ち、DB管理部65は、テンポラリの記憶領域にテンプレートが記憶されているかどうかを判定する(ステップ453)。
ここで、テンポラリの記憶領域にテンプレートが記憶されていなければ、処理は終了するが、テンポラリの記憶領域にテンプレートが記憶されていれば、DB管理部65は、全てのボックスIDのメッセージボックスを対象として、テンプレート情報記憶部61からテンプレートを検索する(ステップ454)。具体的には、テンプレート情報記憶部61に記憶された全てのテンプレートを検索対象のテンプレートとし、この検索対象のテンプレートから更新対象のテンプレートを検索する。尚、この場合のテンプレートの検索は、検索対象のテンプレートのパラメータ値と、音声解析部66が解析して得た音声の音響ベクトルとの間の距離(類似度)を、DP法等で求め、その距離が所定の閾値以上で最大となる場合に、その検索対象のテンプレート選択することによって行えばよい。
そして、DB管理部65は、検索が成功したかどうかを判定する(ステップ455)。
その結果、検索が成功した場合、DB管理部65は、検索によって見つかったテンプレートに対応するボックスIDを回線#1に紐付ける(ステップ456)。また、検索によって見つかったテンプレートを、音声解析部66が解析して得た音声の音響ベクトルにおけるパラメータ値に基づいて更新する(ステップ457)。尚、この場合のテンプレートの更新は、最新の会話単位から得られたパラメータ値を用いて作成された最新のテンプレートで既存のテンプレートを置き換えるものでもよいし、そのような最新のテンプレートを既存のテンプレートに追加するものでもよい。
一方、検索が成功しなかった場合、DB管理部65は、テンプレート情報記憶部61に新規にエントリを作成し、テンポラリの記憶領域に記憶されていたテンプレートをこのエントリに登録する(ステップ458)。
ところで、上記動作例では、履歴情報記憶部62を参照してテンプレートを検索し、見つからなかった場合に、キーワード情報記憶部63を参照してテンプレートを検索するようにした。しかしながら、この順番はこれに限らない。即ち、キーワード情報記憶部63を参照してテンプレートを検索し、見つからなかった場合に、履歴情報記憶部62を参照してテンプレートを検索するようにしてもよい。また、履歴情報記憶部62及びキーワード情報記憶部63のうちの何れか一方のみを参照してテンプレートを検索するようにしてもよいし、何れの情報も参照することなくテンプレートを検索するようにしてもよい。
以上、本実施の形態について詳細に説明してきた。
尚、本実施の形態において、声紋認証装置60は、1つのIVR40に接続されるものとしたが、複数のIVR40に接続され、複数のIVR40で1つの声紋認証装置60を共有するようにしてもよい。或いは、テンプレート情報記憶部61のみを共有個人情報データベースとして、複数の声紋認証装置60の間で共有するようにしてもよい。
また、本実施の形態では、テンプレート情報記憶部61と履歴情報記憶部62とキーワード情報記憶部63とを別々に設けたが、テンプレート情報記憶部61と履歴情報記憶部62を1つのテーブルで構成してもよいし、テンプレート情報記憶部61とキーワード情報記憶部63を1つのテーブルで構成してもよいし、テンプレート情報記憶部61と履歴情報記憶部62とキーワード情報記憶部63を1つのテーブルで構成してもよい。例えば、テンプレート情報記憶部61と履歴情報記憶部62を1つのテーブルで構成する場合は、テンプレート情報記憶部61のボックスIDに対して、そのボックスIDのメッセージボックスにメッセージを送ったことのある電話機10の内線番号を設定するとよい。また、テンプレート情報記憶部61とキーワード情報記憶部63を1つのテーブルで構成する場合は、テンプレート情報記憶部61のボックスIDに対して、そのボックスIDのメッセージボックスを持つユーザが会話で用いる可能性のあるキーワードを設定するとよい。
ここで、本実施の形態において、会話を音声認識した結果をバックグラウンドで言語解析し、その言語解析の結果に基づいて話者を動的に登録するようにしてもよい。即ち、指定されたキーワードが会話中に出現した場合、キーワード情報記憶部63において、そのキーワードに対し、そのキーワードを話した話者を追加することで、手間をかけることなくキーワードのリストを更新することができる。
また、会話を音声認識した結果を言語解析することにより、頻繁に出てくる言葉を、自動的にキーワード情報記憶部63にキーワードとして設定するようにしてもよい。
更に、本実施の形態では、更新されたテンプレートを、他人宛てのメッセージを確認する際の認証において用いることとしたが、これに限らず、話者の認識が必要な様々な場面で用いることができる。例えば、ユーザごとに声紋ごとのアクションを設定可能とし、特定の声紋をもつユーザからの電話があった場合には特定のアクションを行う等の機能を実現することも可能である。例えば、ユーザAの声紋に対してユーザAにメールを送信するアクションを設定しておけば、ユーザAがユーザBに伝言を残した場合にユーザAにメールを送信する、といった機能を実現できる。
以上説明したように、本実施の形態では、話者が電話で話した音声に基づいて、テンプレートを更新するようにした。これにより、電話を使えば使うほど、そのユーザの声紋抽出の精度が向上する。尚、本実施の形態では、電話で交換される音声メッセージを用いてテンプレートを更新するようにしたが、ボイスメールで発信される音声メッセージを用いた場合でも、同様にテンプレートを更新することはできる。
また、本実施の形態では、更新対象のテンプレートを検索する際の検索範囲を履歴やキーワードを用いて絞り込むようにした。これにより、データベース内の膨大な数のテンプレートにアクセスすることを避け、検索を高速化できるようになった。
更に、本実施の形態では、話者とテンプレートとを対応付けたデータベースを共有可能とした。これにより、どの電話機10からも全てのテンプレートの更新が常時可能となった。
最後に、本実施の形態を適用するのに好適なコンピュータのハードウェア構成について説明する。図10は、このようなコンピュータのハードウェア構成の一例を示した図である。図示するように、コンピュータは、演算手段であるCPU(Central Processing Unit)90aと、M/B(マザーボード)チップセット90bを介してCPU90aに接続されたメインメモリ90cと、同じくM/Bチップセット90bを介してCPU90aに接続された表示機構90dとを備える。また、M/Bチップセット90bには、ブリッジ回路90eを介して、ネットワークインターフェイス90fと、磁気ディスク装置(HDD)90gと、音声機構90hと、キーボード/マウス90iと、フレキシブルディスクドライブ90jとが接続されている。
尚、図10において、各構成要素は、バスを介して接続される。例えば、CPU90aとM/Bチップセット90bの間や、M/Bチップセット90bとメインメモリ90cの間は、CPUバスを介して接続される。また、M/Bチップセット90bと表示機構90dとの間は、AGP(Accelerated Graphics Port)を介して接続されてもよいが、表示機構90dがPCI Express対応のビデオカードを含む場合、M/Bチップセット90bとこのビデオカードの間は、PCI Express(PCIe)バスを介して接続される。また、ブリッジ回路90eと接続する場合、ネットワークインターフェイス90fについては、例えば、PCI Expressを用いることができる。また、磁気ディスク装置90gについては、例えば、シリアルATA(AT Attachment)、パラレル転送のATA、PCI(Peripheral Components Interconnect)を用いることができる。更に、キーボード/マウス90i、及び、フレキシブルディスクドライブ90jについては、USB(Universal Serial Bus)を用いることができる。
ここで、本発明は、全てハードウェアで実現してもよいし、全てソフトウェアで実現してもよい。また、ハードウェア及びソフトウェアの両方により実現することも可能である。また、本発明は、コンピュータ、データ処理システム、コンピュータプログラムとして実現することができる。このコンピュータプログラムは、コンピュータにより読取り可能な媒体に記憶され、提供され得る。ここで、媒体としては、電子的、磁気的、光学的、電磁的、赤外線又は半導体システム(装置又は機器)、或いは、伝搬媒体が考えられる。また、コンピュータにより読取り可能な媒体としては、半導体、ソリッドステート記憶装置、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、リジッド磁気ディスク、及び光ディスクが例示される。現時点における光ディスクの例には、コンパクトディスク−リードオンリーメモリ(CD−ROM)、コンパクトディスク−リード/ライト(CD−R/W)及びDVDが含まれる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態には限定されない。本発明の精神及び範囲から逸脱することなく様々に変更したり代替態様を採用したりすることが可能なことは、当業者に明らかである。
本発明の実施の形態におけるコンピュータシステムの全体構成を示した図である。 本発明の実施の形態におけるIVR、メッセージ管理装置、声紋認証装置の機能構成例を示したブロック図である。 本発明の実施の形態で用いるメッセージ情報の一例を示した図である。 本発明の実施の形態で用いるテンプレート情報の一例を示した図である。 本発明の実施の形態で用いる履歴情報の一例を示した図である。 本発明の実施の形態で用いるキーワード情報の一例を示した図である。 本発明の実施の形態におけるメッセージ登録時の動作例を示したフローチャートである。 本発明の実施の形態における未開封メッセージの代理人への確認依頼時の動作例を示したフローチャートである。 本発明の実施の形態におけるテンプレートの自動更新時の動作例を示したフローチャートである。 本発明の実施の形態を適用可能なコンピュータのハードウェア構成を示した図である。
符号の説明
10…電話機、20…公衆網、30…PBX、40…IVR、41…音声応答部、42…音声認識部、43…ダイヤルアウト部、44…会話記憶部、50…メッセージ管理装置、51…メッセージ記憶部、55…DB管理部、57…言語解析部、60…声紋認証装置、61…テンプレート情報記憶部、62…履歴情報記憶部、63…キーワード情報記憶部、65…DB管理部、66…音声解析部、67…言語解析部

Claims (8)

  1. 話者を当該話者が発する音声に基づいて認識するための話者テンプレートを更新する装置であって、
    複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、
    第1の話者と第2の話者との間で当該第1の話者が使用する第1の電話回線及び当該第2の話者が使用する第2の電話回線を介して会話が行われた際に当該第1の電話回線から得られた、当該第1の話者が発する音声の特徴を抽出する特徴抽出部と、
    前記記憶部に記憶された前記複数の話者テンプレートの中から、前記第2の電話回線から過去に音声メッセージが送られたことのあるメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定する決定部と、
    前記決定部により決定された前記複数の候補テンプレートの中から、前記特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、
    前記選択部により選択された前記特定の話者テンプレートを、前記特徴抽出部により抽出された音声の特徴に基づいて、前記会話が行われている間に更新する更新部と
    を備えた、装置。
  2. 前記第1の電話回線から得られた音声を音声認識する音声認識部と、
    前記音声認識部による音声認識の結果に予め定められたキーワードが出現すれば当該キーワードを抽出するキーワード抽出部と
    を更に備え、
    前記決定部は、前記第2の電話回線から過去に音声メッセージが送られたことのあるメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定できない場合に、前記キーワード抽出部により抽出された前記キーワードに対応付けられたメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定する、請求項1の装置。
  3. 前記第1の話者が有するメッセージボックスに送られた音声メッセージを当該第1の話者が再生する際に、前記特定の話者テンプレートを用いて当該第1の話者を認証する認証部を更に備えた、請求項1の装置。
  4. 話者を当該話者が発する音声に基づいて認識するための話者テンプレートを更新する装置であって、
    複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、
    第1の話者と第2の話者との間で当該第1の話者が使用する第1の電話回線及び当該第2の話者が使用する第2の電話回線を介して会話が行われた際に当該第1の電話回線から得られた、当該第1の話者が発する音声の特徴を抽出する特徴抽出部と、
    前記第1の電話回線から得られた音声を音声認識する音声認識部と、
    前記音声認識部による音声認識の結果に予め定められたキーワードが出現すれば当該キーワードを抽出するキーワード抽出部と、
    前記記憶部に記憶された前記複数の話者テンプレートの中から、前記キーワード抽出部により抽出された前記キーワードに対応付けられたメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定する決定部と、
    前記決定部により決定された前記複数の候補テンプレートの中から、前記特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、
    前記選択部により選択された前記特定の話者テンプレートを、前記特徴抽出部により抽出された音声の特徴に基づいて、前記会話が行われている間に更新する更新部と
    を備えた、装置。
  5. 話者を当該話者が発する音声に基づいて認識するための話者テンプレートを更新する方法であって、
    複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶するステップと、
    第1の話者と第2の話者との間で当該第1の話者が使用する第1の電話回線及び当該第2の話者が使用する第2の電話回線を介して会話が行われた際に当該第1の電話回線から得られた、当該第1の話者が発する音声の特徴を抽出するステップと、
    記憶された前記複数の話者テンプレートの中から、前記第2の電話回線から過去に音声メッセージが送られたことのあるメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定するステップと、
    決定された前記複数の候補テンプレートの中から、抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択するステップと、
    選択された前記特定の話者テンプレートを、抽出された音声の特徴に基づいて、前記会話が行われている間に更新するステップと
    を含む、方法。
  6. 話者を当該話者が発する音声に基づいて認識するための話者テンプレートを更新する方法であって、
    複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶するステップと、
    第1の話者と第2の話者との間で当該第1の話者が使用する第1の電話回線及び当該第2の話者が使用する第2の電話回線を介して会話が行われた際に当該第1の電話回線から得られた、当該第1の話者が発する音声の特徴を抽出するステップと、
    前記第1の電話回線から得られた音声を音声認識するステップと、
    前記音声認識の結果に予め定められたキーワードが出現すれば当該キーワードを抽出するステップと、
    記憶された前記複数の話者テンプレートの中から、抽出された前記キーワードに対応付けられたメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定するステップと、
    決定された前記複数の候補テンプレートの中から、抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択するステップと、
    選択された前記特定の話者テンプレートを、抽出された音声の特徴に基づいて、前記会話が行われている間に更新するステップと
    を含む、方法。
  7. 話者を当該話者が発する音声に基づいて認識するための話者テンプレートを更新する装置としてコンピュータを機能させるプログラムであって、
    前記コンピュータを、
    複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、
    第1の話者と第2の話者との間で当該第1の話者が使用する第1の電話回線及び当該第2の話者が使用する第2の電話回線を介して会話が行われた際に当該第1の電話回線から得られた、当該第1の話者が発する音声の特徴を抽出する特徴抽出部と、
    前記記憶部に記憶された前記複数の話者テンプレートの中から、前記第2の電話回線から過去に音声メッセージが送られたことのあるメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定する決定部と、
    前記決定部により決定された前記複数の候補テンプレートの中から、前記特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、
    前記選択部により選択された前記特定の話者テンプレートを、前記特徴抽出部により抽出された音声の特徴に基づいて、前記会話が行われている間に更新する更新部と
    して機能させる、プログラム。
  8. 話者を当該話者が発する音声に基づいて認識するための話者テンプレートを更新する装置としてコンピュータを機能させるプログラムであって、
    前記コンピュータを、
    複数の話者の各々が発する音声の特徴を示す複数の話者テンプレートを記憶する記憶部と、
    第1の話者と第2の話者との間で当該第1の話者が使用する第1の電話回線及び当該第2の話者が使用する第2の電話回線を介して会話が行われた際に当該第1の電話回線から得られた、当該第1の話者が発する音声の特徴を抽出する特徴抽出部と、
    前記第1の電話回線から得られた音声を音声認識する音声認識部と、
    前記音声認識部による音声認識の結果に予め定められたキーワードが出現すれば当該キーワードを抽出するキーワード抽出部と、
    前記記憶部に記憶された前記複数の話者テンプレートの中から、前記キーワード抽出部により抽出された前記キーワードに対応付けられたメッセージボックスを有する複数の話者の各々が発する音声の特徴を示す複数の候補テンプレートを決定する決定部と、
    前記決定部により決定された前記複数の候補テンプレートの中から、前記特徴抽出部により抽出された音声の特徴に対して一定の基準以上の類似度を有する音声の特徴を示す特定の話者テンプレートを選択する選択部と、
    前記選択部により選択された前記特定の話者テンプレートを、前記特徴抽出部により抽出された音声の特徴に基づいて、前記会話が行われている間に更新する更新部と
    して機能させる、プログラム。
JP2008275807A 2008-10-27 2008-10-27 話者テンプレートを更新する装置及び方法 Active JP5042194B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008275807A JP5042194B2 (ja) 2008-10-27 2008-10-27 話者テンプレートを更新する装置及び方法
US12/606,206 US8775178B2 (en) 2008-10-27 2009-10-27 Updating a voice template
US14/287,771 US10621974B2 (en) 2008-10-27 2014-05-27 Updating a voice template
US16/833,676 US11335330B2 (en) 2008-10-27 2020-03-30 Updating a voice template

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008275807A JP5042194B2 (ja) 2008-10-27 2008-10-27 話者テンプレートを更新する装置及び方法

Publications (2)

Publication Number Publication Date
JP2010102254A JP2010102254A (ja) 2010-05-06
JP5042194B2 true JP5042194B2 (ja) 2012-10-03

Family

ID=42118354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008275807A Active JP5042194B2 (ja) 2008-10-27 2008-10-27 話者テンプレートを更新する装置及び方法

Country Status (2)

Country Link
US (3) US8775178B2 (ja)
JP (1) JP5042194B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621974B2 (en) 2008-10-27 2020-04-14 International Business Machines Corporation Updating a voice template

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2540995T3 (es) * 2010-08-24 2015-07-15 Veovox Sa Sistema y método para reconocer un comando de voz de usuario en un entorno con ruido
US9800721B2 (en) 2010-09-07 2017-10-24 Securus Technologies, Inc. Multi-party conversation analyzer and logger
CN103680495B (zh) * 2012-09-26 2017-05-03 中国移动通信集团公司 语音识别模型训练方法和装置及语音识别终端
US9514753B2 (en) * 2013-11-04 2016-12-06 Google Inc. Speaker identification using hash-based indexing
US9508343B2 (en) * 2014-05-27 2016-11-29 International Business Machines Corporation Voice focus enabled by predetermined triggers
US20160094491A1 (en) * 2014-09-30 2016-03-31 Genesys Telecommunications Laboratories, Inc. Pattern-controlled automated messaging system
US9922048B1 (en) 2014-12-01 2018-03-20 Securus Technologies, Inc. Automated background check via facial recognition
CN106782564B (zh) * 2016-11-18 2018-09-11 百度在线网络技术(北京)有限公司 用于处理语音数据的方法和装置
JP6494828B1 (ja) * 2018-03-07 2019-04-03 ヤフー株式会社 管理装置、管理方法および管理プログラム
US10878825B2 (en) * 2018-03-21 2020-12-29 Cirrus Logic, Inc. Biometric processes
CN108766428A (zh) * 2018-06-01 2018-11-06 安徽江淮汽车集团股份有限公司 一种语音播报控制方法及系统
US11004454B1 (en) * 2018-11-06 2021-05-11 Amazon Technologies, Inc. Voice profile updating
US11200884B1 (en) * 2018-11-06 2021-12-14 Amazon Technologies, Inc. Voice profile updating
US11295726B2 (en) * 2019-04-08 2022-04-05 International Business Machines Corporation Synthetic narrowband data generation for narrowband automatic speech recognition systems
CN114333767A (zh) * 2020-09-29 2022-04-12 华为技术有限公司 发声者语音抽取方法、装置、存储介质及电子设备

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992017975A1 (en) * 1991-03-26 1992-10-15 Litle & Co. Confirming identity of telephone caller
AU5359498A (en) * 1996-11-22 1998-06-10 T-Netix, Inc. Subword-based speaker verification using multiple classifier fusion, with channel, fusion, model, and threshold adaptation
EP0896712A4 (en) * 1997-01-31 2000-01-26 T Netix Inc SYSTEM AND METHOD FOR DISCOVERING RECORDED LANGUAGE
EP0943139B1 (en) * 1997-10-07 2003-12-03 Koninklijke Philips Electronics N.V. A method and device for activating a voice-controlled function in a multi-station network through using both speaker-dependent and speaker-independent speech recognition
JP3699608B2 (ja) * 1999-04-01 2005-09-28 富士通株式会社 話者照合装置及び方法
US20020161657A1 (en) * 2000-12-14 2002-10-31 Kojac Mark A. System for rapid identification of vehicle occupants for the purpose of facilitating mobile sales marketing, communication and safety
US6853716B1 (en) * 2001-04-16 2005-02-08 Cisco Technology, Inc. System and method for identifying a participant during a conference call
US8000269B1 (en) * 2001-07-13 2011-08-16 Securus Technologies, Inc. Call processing with voice over internet protocol transmission
US7240007B2 (en) * 2001-12-13 2007-07-03 Matsushita Electric Industrial Co., Ltd. Speaker authentication by fusion of voiceprint match attempt results with additional information
US20040010698A1 (en) * 2002-05-30 2004-01-15 Rolfe Andrew R. Digital certificate system incorporating voice biometric processing
US20030233231A1 (en) * 2002-06-13 2003-12-18 International Business Machines Corporation Apparatus and method for managing privacy using voice recognition and caller identification
US7333798B2 (en) * 2002-08-08 2008-02-19 Value Added Communications, Inc. Telecommunication call management and monitoring system
US7299177B2 (en) * 2003-05-30 2007-11-20 American Express Travel Related Services Company, Inc. Speaker recognition in a multi-speaker environment and comparison of several voice prints to many
JP2005045596A (ja) * 2003-07-23 2005-02-17 Nec Corp 話者通話履歴呈示システム、話者通話履歴呈示方法、ip電話機、ip電話方法及びプログラム
US7561680B1 (en) * 2003-08-13 2009-07-14 Evercom Systems, Inc. System and method for called party controlled message delivery
US20050069095A1 (en) * 2003-09-25 2005-03-31 International Business Machines Corporation Search capabilities for voicemail messages
US20050125226A1 (en) * 2003-10-29 2005-06-09 Paul Magee Voice recognition system and method
US7630905B1 (en) * 2004-01-07 2009-12-08 Ralph Reese Call campaign methodologies
US7231019B2 (en) * 2004-02-12 2007-06-12 Microsoft Corporation Automatic identification of telephone callers based on voice characteristics
US20050243975A1 (en) * 2004-04-28 2005-11-03 International Business Machines Corporation Method and system of determining unsolicited callers
US20060085189A1 (en) * 2004-10-15 2006-04-20 Derek Dalrymple Method and apparatus for server centric speaker authentication
JP3774225B2 (ja) 2004-10-15 2006-05-10 独立行政法人科学技術振興機構 三次元計測センサ
JP2006215651A (ja) * 2005-02-01 2006-08-17 Telemidic Ltd 話者特定装置
JP4237713B2 (ja) * 2005-02-07 2009-03-11 東芝テック株式会社 音声処理装置
US8725514B2 (en) * 2005-02-22 2014-05-13 Nuance Communications, Inc. Verifying a user using speaker verification and a multimodal web-based interface
US7386105B2 (en) * 2005-05-27 2008-06-10 Nice Systems Ltd Method and apparatus for fraud detection
US9300790B2 (en) * 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
US20070041517A1 (en) * 2005-06-30 2007-02-22 Pika Technologies Inc. Call transfer detection method using voice identification techniques
JP4755689B2 (ja) * 2005-07-27 2011-08-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 正規受信者への安全なファイル配信のためのシステムおよび方法
CN1905445B (zh) * 2005-07-27 2012-02-15 国际商业机器公司 使用可移动的语音标识卡的语音认证系统及语音认证方法
US8234494B1 (en) * 2005-12-21 2012-07-31 At&T Intellectual Property Ii, L.P. Speaker-verification digital signatures
US20070219801A1 (en) * 2006-03-14 2007-09-20 Prabha Sundaram System, method and computer program product for updating a biometric model based on changes in a biometric feature of a user
US7720681B2 (en) * 2006-03-23 2010-05-18 Microsoft Corporation Digital voice profiles
US8214208B2 (en) * 2006-09-28 2012-07-03 Reqall, Inc. Method and system for sharing portable voice profiles
US7415409B2 (en) * 2006-12-01 2008-08-19 Coveo Solutions Inc. Method to train the language model of a speech recognition system to convert and index voicemails on a search engine
JP2008250089A (ja) * 2007-03-30 2008-10-16 Pioneer Electronic Corp 話者特定装置及び音声認識装置並びに話者特定用プログラム及び音声認識用プログラム
US8219404B2 (en) * 2007-08-09 2012-07-10 Nice Systems, Ltd. Method and apparatus for recognizing a speaker in lawful interception systems
US7995732B2 (en) * 2007-10-04 2011-08-09 At&T Intellectual Property I, Lp Managing audio in a multi-source audio environment
US20090210229A1 (en) * 2008-02-18 2009-08-20 At&T Knowledge Ventures, L.P. Processing Received Voice Messages
US8332223B2 (en) * 2008-10-24 2012-12-11 Nuance Communications, Inc. Speaker verification methods and apparatus
US8190437B2 (en) * 2008-10-24 2012-05-29 Nuance Communications, Inc. Speaker verification methods and apparatus
JP5042194B2 (ja) 2008-10-27 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 話者テンプレートを更新する装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621974B2 (en) 2008-10-27 2020-04-14 International Business Machines Corporation Updating a voice template
US11335330B2 (en) 2008-10-27 2022-05-17 International Business Machines Corporation Updating a voice template

Also Published As

Publication number Publication date
US11335330B2 (en) 2022-05-17
US20100106501A1 (en) 2010-04-29
US8775178B2 (en) 2014-07-08
US20200227027A1 (en) 2020-07-16
US20140278414A1 (en) 2014-09-18
JP2010102254A (ja) 2010-05-06
US10621974B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
JP5042194B2 (ja) 話者テンプレートを更新する装置及び方法
KR102458806B1 (ko) 공유된 음성 작동 디바이스상의 호출 핸들링
US9818399B1 (en) Performing speech recognition over a network and using speech recognition results based on determining that a network connection exists
US11948582B2 (en) Systems and methods for speaker verification
JP6074050B2 (ja) 音声検索システム、音声検索方法、及びコンピュータ読み取り可能な記憶媒体
JP5311348B2 (ja) 音声データ内の音声キーワード照合システム、その方法及び音声データ内の音声キーワード照合プログラム
JP6084654B2 (ja) 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法
TW201926079A (zh) 雙向語音翻譯系統、雙向語音翻譯方法和電腦程式產品
JP5731998B2 (ja) 対話支援装置、対話支援方法および対話支援プログラム
JP2001273283A (ja) 言語を識別しかつ音声再生装置を制御する方法及び通信デバイス
US6246987B1 (en) System for permitting access to a common resource in response to speaker identification and verification
WO2020192890A1 (en) Systems and methods for speaker verification
CN106713111B (zh) 一种添加好友的处理方法、终端及服务器
JP5284745B2 (ja) 電子メッセージに対するアクセスを管理する装置及び方法
TW200304638A (en) Network-accessible speaker-dependent voice models of multiple persons
JP4747573B2 (ja) 音声情報加工システム、音声情報加工方法及び音声情報加工プログラム
CN108364638A (zh) 一种语音数据处理方法、装置、电子设备和存储介质
JP2010002973A (ja) 音声データ主題推定装置およびこれを用いたコールセンタ
CN113170020A (zh) 在支持语音的共享设备上指示呼入话音呼叫的呼叫方
JP2002297179A (ja) 自動応答対話システム
TWI855595B (zh) 對話式語音辨識系統與方法
KR100574007B1 (ko) 음성 인식 기반의 개인별 전화국 서비스 제공 시스템 및 그 방법, 상기 방법을 실행하기 위한 프로그램이 기록된 기록매체
JP2004309682A (ja) 音声対話方法、音声対話端末装置、音声対話センタ装置、音声対話プログラム
JP2021064876A (ja) 判定装置、判定方法及びプログラム
JPH10190842A (ja) 音声対話システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120508

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120710

R150 Certificate of patent or registration of utility model

Ref document number: 5042194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3