JP5763018B2 - Information presentation system and information presentation server - Google Patents
Information presentation system and information presentation server Download PDFInfo
- Publication number
- JP5763018B2 JP5763018B2 JP2012154708A JP2012154708A JP5763018B2 JP 5763018 B2 JP5763018 B2 JP 5763018B2 JP 2012154708 A JP2012154708 A JP 2012154708A JP 2012154708 A JP2012154708 A JP 2012154708A JP 5763018 B2 JP5763018 B2 JP 5763018B2
- Authority
- JP
- Japan
- Prior art keywords
- call voice
- information
- user terminal
- information presentation
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、情報提示システム及び情報提示システムの制御方法に関する。 The present invention relates to an information presentation system and a control method for the information presentation system.
従来、電話利用者に対するサポートとして、コールセンタオペレータ向けの業務支援が知られている。当該業務支援では、特殊な電話端末を用いて通話音声を解析し、使用不可ワードを検知し、関連する業務資料を表示し、或いは通話内容を記録する等行っていた（非特許文献１及び非特許文献２）。
Conventionally, business support for call center operators is known as support for telephone users. In the business support, a special telephone terminal is used to analyze call voice, detect unusable words, display related work materials, record call contents, and the like (Non-Patent
しかしながら従来の技術においては、解析処理は利用者端末において行うため、解析結果は利用者端末の性能に依存する。コールセンタのような十分に高性能な利用者端末を用意できる環境であれば比較的導入は容易であるものの、個人ユーザの利用を想定すると、必ずしも高性能な利用者端末を用意できるわけではないため、導入しにくいという課題があった。 However, in the conventional technique, the analysis processing is performed at the user terminal, and therefore the analysis result depends on the performance of the user terminal. Although it is relatively easy to install in an environment where a sufficiently high-performance user terminal such as a call center can be prepared, it is not always possible to prepare a high-performance user terminal assuming the use of an individual user. There was a problem that it was difficult to introduce.
従って、上記のような問題点に鑑みてなされた本発明の目的は、利用者端末の処理能力に依存せず、利用者端末からの通話音声から抽出した有用情報を提示することができる情報提示システム及び情報提示サーバを提供することにある。 Accordingly, an object of the present invention made in view of the above problems is information presentation that can present useful information extracted from call voice from a user terminal without depending on the processing capability of the user terminal. A system and an information presentation server are provided.
上記課題を解決するために本発明に係る情報提示システムは、
利用者端末と、サーバとを備える情報提示システムであって、
前記利用者端末は、通話音声を前記サーバに送信し、
前記サーバは、前記通話音声を解析して情報を抽出し、抽出完了通知を前記利用者端末に送信し、
前記利用者端末は、前記抽出完了通知を出力し、前記情報に係る具体的内容の取得要求を送信し、
前記サーバは、前記取得要求を受信した場合、前記具体的内容を前記利用者端末に送信することを特徴とする有用情報提示システムであって、
前記サーバは、前記取得要求を受信した場合、前記取得要求を受信した後に改めて前記利用者端末から取得した最新の通話音声を解析して前記具体的内容を更新し、更新した前記具体的内容を前記利用者端末に送信することを特徴とする。
In order to solve the above problems, an information presentation system according to the present invention includes:
An information presentation system comprising a user terminal and a server,
The user terminal transmits a call voice to the server,
The server extracts the information by analyzing the call voice, and transmits the extracted completion notice to the user terminal,
The user terminal outputs the extraction completion notification, transmits an acquisition request for specific content related to the information,
When the server receives the acquisition request, the server transmits the specific content to the user terminal.
When the server receives the acquisition request, the server analyzes the latest call voice acquired from the user terminal after receiving the acquisition request, updates the specific content, and updates the specific content. It transmits to the said user terminal, It is characterized by the above-mentioned .
また、本発明に係る情報提示サーバは、
利用者端末から、通話音声を受信する通話音声分配部と、
前記通話音声を解析して情報を抽出する通話音声解析部と、
前記情報に係る抽出完了通知を前記利用者端末に送信し、前記利用者端末から取得要求を受信した場合、前記情報に係る具体的内容を前記利用者端末に送信する情報提示制御部と、
を有することを特徴とする情報提示サーバであって、
前記情報提示制御部は、前記取得要求を受信した場合、前記取得要求を受信した後に改めて前記利用者端末から取得した最新の通話音声を解析して前記具体的内容を更新し、更新した前記具体的内容を前記利用者端末に送信することを特徴とする。
Moreover, the information presentation server according to the present invention includes:
A call voice distribution unit that receives call voice from a user terminal;
A call voice analysis unit that analyzes the call voice and extracts information ;
An information presentation control unit that transmits an extraction completion notification related to the information to the user terminal and receives an acquisition request from the user terminal, and transmits specific content related to the information to the user terminal ;
An information presentation server characterized by comprising :
When the acquisition request is received, the information presentation control unit analyzes the latest call voice acquired from the user terminal after receiving the acquisition request, updates the specific content, and updates the specific content. The target content is transmitted to the user terminal .
本発明における情報提示システム及び情報提示サーバによれば、利用者端末の処理能力に依存せず、利用者端末からの通話音声から抽出した有用情報を提示することができる。 According to the information presentation system and the information presentation server of the present invention, it is possible to present useful information extracted from the call voice from the user terminal without depending on the processing capability of the user terminal.
以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.
（実施の形態１）
図１は本発明の実施の形態１に係る情報提示システムの全体の概要構成を示すブロック図である。本発明の実施の形態１に係る情報提示システムは、利用者端末１と、通話音声分配装置２と、通話音声解析装置（３１〜３３）と、構成管理装置４と、情報提示制御装置５と、知識管理装置６とを備える。利用者端末１と、通話音声分配装置２又は情報提示制御装置５とは、通信網を介して通信する。
(Embodiment 1)
FIG. 1 is a block diagram showing an overall schematic configuration of an information presentation system according to
利用者端末１は、他の利用者端末（以下、他利用者端末という。）との通話を、通話音声分配装置２を介して行う。つまり利用者端末１は、他利用者端末との通話音声を、通話音声分配装置２に送信し、通話音声分配装置２が当該通話音声を他利用者端末に送信する。また、利用者端末１は、利用者属性情報を含むコンテキスト情報を通話音声分配装置２に送信する。ここで利用者属性情報とは、利用者又は利用者端末１の静的な属性に関する情報であり、例えば利用者の年齢、性別、出身地、住所、職業、趣味、障がい種別、利用者端末１の識別子、後述する利用者端末１の制御部１５の識別子である。なお、他利用者端末は１台に限らず、２台以上であってもよい。
The
通話音声分配装置２は、利用者端末１から受信した通話音声を、他利用者端末に送信し、かつ、通話音声解析装置（３１〜３３）に分配する。また通話音声分配装置２は、情報提示制御装置５に、制御情報としてコンテキスト情報を送信する。具体的には通話音声分配装置２は、利用者端末１と他利用者端末との通話セッションを制御する。そして通話音声分配装置２は、当該通話セッションにおいて利用者端末１が送信する通話音声のＲＴＰパケットをキャプチャし、当該パケットを再構成することにより、通話音声を取得する。なお、通話音声分配装置２は、利用者端末１と他利用者端末との通話セッションを制御し、利用者端末１と、他利用者端末と、通話音声分配装置２との３者間通話にすることにより、通話音声を取得してもよい。
The call
各通話音声解析装置（３１〜３３）は、通話音声を認識し解析する。そして各通話音声解析装置（３１〜３３）は、有用情報を抽出する。また各通話音声解析装置（３１〜３３）は、必要に応じて、照合用音声情報と照合して、通話音声から有用情報を抽出する。好適には各通話音声解析装置（３１〜３３）は、通話音声分配装置２から受信した通話音声を解析して有用情報を並列処理により抽出する。
Each call voice analysis device (31-33) recognizes and analyzes the call voice. And each call voice analysis device (31-33) extracts useful information. In addition, each call voice analysis device (31 to 33) extracts useful information from the call voice by comparing with the check voice information as necessary. Preferably, each call voice analysis device (31 to 33) analyzes the call voice received from the call
そして各通話音声解析装置（３１〜３３）は、該有用情報を含む解析の結果に係る情報（以下、解析結果という。）を、情報提示制御装置５に送信する。
And each call voice analysis device (31-33) transmits the information (henceforth an analysis result) which concerns on the analysis result containing this useful information to the information
構成管理装置４は、照合用音声情報を蓄積している。当該照合用音声情報は、適宜更新及び削除される。例えば照合用音声情報である地名等の用語や警告音が変更等された場合、構成管理装置４は、該照合用音声情報を変更して蓄積する。各通話音声解析装置（３１〜３３）は構成管理装置４と通信し、自己が保有する照合用音声情報を更新する。
The
情報提示制御装置５は、各通話音声解析装置（３１〜３３）から受信した解析結果に含まれる有用情報を、通話音声分配装置２から受信した制御情報（すなわちコンテキスト情報）に基づき取捨選択し、利用者端末１に送信する。また情報提示制御装置５は、知識管理装置６を参照し、有用情報に対応する具体的内容を取得する。具体的内容とは、有用情報自体、有用情報の詳細情報、又は有用情報に関連する情報を意味する。そして情報提示制御装置５は、利用者端末１から有用情報に係る具体的内容の取得要求があった場合、該具体的内容を利用者端末１に提示（送信）する。
The information
次に、本発明の実施の形態１に係る情報提示システムの各部の詳細構成を図２〜図５により説明する。図２は、実施の形態１に係る利用者端末１のブロック図を示す。利用者端末１は、セッション制御部１１と、操作部１２と、コンテキスト情報生成部１３と、通話音声生成部１４と、制御部１５と、出力部１６とを備える。
Next, a detailed configuration of each part of the information presentation system according to
セッション制御部１１は、通話音声分配装置２を介した、他利用者端末とのセッションの開始及び終了に係る制御をする。具体的にはセッション制御部１１は、利用者の操作部１２の操作に基づき、通話音声分配装置２のセッション制御部２１とのセッションの開始に係る制御をする。セッション制御の実現手段は、例えばＳＩＰを用いた呼接続等による。当該セッションにより、利用者端末１は、通話音声分配装置２を介して他利用者端末と通話を行う。操作部１２は、好適にはタッチパネル、キーボード等により構成され、利用者による操作を受け付け、制御部１５に当該操作に係る情報を渡す。
The
コンテキスト情報生成部１３は、利用者属性情報を含むコンテキスト情報を生成する。なお利用者属性情報は、利用者又はオペレータ等により予めメモリ（不図示）に登録された情報であり、コンテキスト情報生成部１３は、当該情報を当該メモリから取得する。
The context
通話音声生成部１４は、マイクによりユーザの声及び周囲音を取得して通話音声を生成する。通話音声生成部１４は、生成した通話音声を、通話音声分配装置２に連続的に送信する。
The call
制御部１５は、利用者端末１に係る各種制御を行う。具体的には、制御部１５は、操作部１２への利用者の操作に基づき、セッション制御部１１に音声通話に係るセッションを開始させる。また制御部１５は、情報提示制御装置５から有用情報の抽出完了通知を受信し、該抽出完了通知を出力部１６に出力させる。また制御部１５は、操作部１２への利用者の操作に基づき、情報提示制御装置５に、有用情報に係る具体的内容の取得要求を送信する。また制御部１５は、情報提示制御装置５から具体的内容を受信すると、該具体的内容を、出力部１６に出力させる。
The
出力部１６は、ディスプレイ、スピーカ、バイブレータ等により構成され、制御部１５の制御に基づき、抽出完了通知、有用情報の具体的内容を映像、音声、振動等により出力（再生）する。
The
図３は、実施の形態１に係る通話音声分配装置２のブロック図を示す。通話音声分配装置２は、セッション制御部２１と、通話音声分配部２２とを備える。
FIG. 3 is a block diagram of the call
セッション制御部２１は、利用者端末１の、他利用者端末との音声通話に係るセッションの開始及び終了に係る制御をする。当該セッションにおいて、通話音声分配装置２は、利用者端末１からの通話音声を取得する。具体的にはセッション制御部２１は、当該通話セッションにおいて利用者端末１が送信する通話音声のＲＴＰパケットをキャプチャし、当該パケットを再構成することにより、通話音声を取得する。なお、セッション制御部２１は、利用者端末１と他利用者端末との通話セッションを制御し、利用者端末１と、他利用者端末と、通話音声分配装置２との３者間通話にすることにより、通話音声を取得してもよい。
The
通話音声分配部２２は、セッション制御部２１により利用者端末１から取得した通話音声を、通話音声解析装置（３１〜３３）に分配する。また通話音声分配部２２は、セッション制御部２１により利用者端末１から取得したコンテキスト情報を制御情報として、情報提示制御装置５に送信する。また通話音声分配部２２は、情報提示制御装置５から制御情報を受信した場合、その時点における通話音声を、通話音声解析装置（３１〜３３）に分配する。
The call
図４は、実施の形態１に係る通話音声解析装置３１のブロック図を示す。通話音声解析装置３１は、通話音声受信部３１１と、リファレンス管理部３１２と、通話音声解析部３１３とを備える。通話音声解析装置３２及び３３は、通話音声解析装置３１と同一構成であるため説明は省略する。なお好適には、各通話音声解析装置（３１〜３３）は、それぞれ通話音声の解析の種類毎に処理を分担する。具体的には例えば通話音声解析装置３１は、通話音声中の単語の解析処理を行う。また通話音声解析装置３２は、通話音声中の警告音の解析処理を行う。また通話音声解析装置３３は、音量、スピード及びタイミングの解析処理を行う。なお解析の種類によっては、通話音声解析装置３１は、リファレンス管理部３１２を備えなくてもよい。例えば、通話音声解析装置３３は、リファレンス管理部３１２を備えなくてもよく、リファレンスと照合せずに、音量、スピード及びタイミングの解析処理を行う。
FIG. 4 is a block diagram of the call
通話音声受信部３１１は、通話音声分配装置２から通話音声を受信する。そして通話音声受信部３１１は、受信した通話音声を通話音声解析部３１３に渡す。
The call
リファレンス管理部３１２は、抽出すべき有用情報を照合用音声情報として記憶する。またリファレンス管理部３１２は、構成管理装置４と通信し、自己が記憶している照合用音声情報を更新する。
The
通話音声解析部３１３は、通話音声受信部３１１から受取った通話音声を解析し、有用情報を抽出する。必要に応じて通話音声解析部３１３は、通話音声と、リファレンス管理部３１２が記憶している照合用音声情報とを照合する。通話音声解析部３１３は、当該照合に基づき照合用音声情報に一致する情報、すなわち有用情報を抽出する。通話音声解析部３１３は、有用情報を抽出すると、当該有用情報を含む解析結果を生成する。そして通話音声解析部３１３は、当該解析結果を、情報提示制御装置５に送信する。
The call
図５は、実施の形態１に係る情報提示制御装置５のブロック図を示す。情報提示制御装置５は、フィルタリング部５１と、フィルタリングデータベース（ＤＢ）５１０と、制御部５２と、メディア変換部５３と、メディア変換データベース（ＤＢ）５３０と、リフレッシュ部５４とを備える。
FIG. 5 shows a block diagram of the information
フィルタリング部５１は、通話音声解析装置（３１〜３３）から受信した解析結果に含まれる一つ以上の有用情報を、フィルタリングＤＢ５１０を参照し、当該有用情報の種類と、通話音声分配装置２から受信した制御情報に含まれるコンテキスト情報とにより定まる優先度に基づき、フィルタリング（取捨選択）する。具体的にはフィルタリング部５１は、優先度が“中”以上の有用情報（つまり優先度が“中”または“高”の有用情報）のみを抽出する。
The
図６にフィルタリングＤＢ５１０の例を示す。図６に示す例では、コンテキスト情報の識別子（ＩＤ）が“Ａ１”、“Ｂ１”、“Ｃ１”、“Ｄ１”の４種類存在し、それぞれコンテキスト情報“電話下手、話しメイン”、“電話下手、聞きメイン”、“聴覚障がい者”、及び“話題サポート”に対応する。なお“電話下手、話しメイン”とは、利用者が、電話が不得意であり、かつ、当該利用者が積極的に話さなければならない状況を意味する。また“電話下手、聞きメイン”とは、利用者が、電話が不得意であり、かつ、当該利用者が積極的に通話を聞かなければならない状況を意味する。また“聴覚障がい者”とは、利用者が聴覚障がい者であることを意味する。また“話題サポート”とは、利用者が通話における話題を提供して欲しい状況を意味する。
FIG. 6 shows an example of the
また図６に示す例では、有用情報の種類は、“単語、重要語”、“警報音、緊急車両音”、“音量”、“会話スピード”、及び“タイミング”である。“単語、重要語”とは、通話音声に含まれる所定の単語及び重要語を意味する。重要語とは、通話音声で所定回数以上発生する単語を意味する。“警報音、緊急車両音”とは、通話音声に含まれる、火災警報器等の警報音や、消防車等の緊急車両音を意味する。“音量”、“会話スピード”、及び“タイミング”とは、夫々、通話音声の音量、スピード、タイミングを意味する。 In the example shown in FIG. 6, the types of useful information are “word, important word”, “alarm sound, emergency vehicle sound”, “volume”, “conversation speed”, and “timing”. “Word, important word” means a predetermined word and important word included in the call voice. An important word means a word that occurs more than a predetermined number of times in a call voice. “Alarm sound, emergency vehicle sound” means an alarm sound such as a fire alarm or an emergency vehicle sound such as a fire engine included in the call voice. “Volume”, “conversation speed”, and “timing” mean the volume, speed, and timing of the call voice, respectively.
例えばコンテキスト情報の識別子が“Ａ１”の場合は、“警報音、緊急車両音”、“音量”、“会話スピード”、及び“タイミング”の優先度は“中”以上に設定されている。この場合、フィルタリング部５１は、フィルタリングＤＢ５１０を参照し、解析結果に含まれる有用情報として例えば緊急車両音が存在した場合、当該有用情報を抽出する。また解析結果に含まれる有用情報として、会話スピードが所定値よりも高い（すなわち早口である場合）、当該有用情報を抽出する。なお図６に示す有用情報は一例であり、他にも“ベル”、“チャイム”、“危険語等”等を含んでもよい。
For example, when the identifier of the context information is “A1”, the priority of “alarm sound, emergency vehicle sound”, “volume”, “conversation speed”, and “timing” is set to “medium” or higher. In this case, the
なお図６においては、優先度は“高”、“中”、及び“低”の３段階としたがこれに限られず、２段階でもよく、或いは４段階以上であってもよい。また、優先度が“中”以上の有用情報のみを抽出するとしたがこれに限られず、優先度が“高”のみのものを抽出してもよく、或いは優先度が４段階以上の場合においても、適宜抽出する優先度の閾値を定めてもよい。 In FIG. 6, the priority is set to three levels of “high”, “medium”, and “low”. However, the priority is not limited to this, and may be two or four or more. Also, only useful information with a priority of “medium” or higher is extracted. However, the present invention is not limited to this, and only information with a priority of “high” may be extracted. A priority threshold value to be extracted as appropriate may be set.
制御部５２は、情報提示制御装置５に係る各種制御を行う。具体的には制御部５２は、フィルタリング部５１により抽出された有用情報に係る抽出結果の具体的内容を生成する。制御部５２は、該具体的内容を生成する際に知識管理装置６を参照する。知識管理装置６は、有用情報に関係する情報を蓄積している。例えば知識管理装置６は所定の単語と対応付けてイベント情報等の情報を予め蓄積している。例えば利用者端末１が所定の単語を含む通話音声を送信した場合、情報提示制御装置５の制御部５２は、解析結果に含まれる単語に係るイベント情報等を知識管理装置６から取得する。このようにして制御部５２は、単に所定の単語が通話音声に含まれることだけでなく、当該所定の単語に係る具体的内容を生成し、利用者端末１に提示する。
The
そして制御部５２は、当該具体的内容の生成が完了した場合、抽出完了通知を利用者端末１に送信する。また制御部５２は、利用者端末１から取得要求を受信した場合、生成した具体的内容を、利用者端末１に提示する。また制御部５２は、有用情報の具体的内容を適宜リフレッシュ部５４により更新する。
When the generation of the specific content is completed, the
メディア変換部５３は、制御部５２の制御により、有用情報の種類と、通話音声分配装置２から受信した制御情報におけるコンテキスト情報とに基づき、利用者端末１に送信するデータを、メディア変換データベース（ＤＢ）５３０を参照し、最適なメディア形式に変換する。
Under the control of the
図７に示す例では、有用情報の種類とコンテキスト情報とに対応付けて、出力するメディア形式“文字”、“振動”、“音”、“文字及び振動”、“照明”を格納している。これらは有用情報（及び具体的内容）の出力を、それぞれ利用者端末１の表示部による文字表示、バイブレータによる振動、スピーカによる音、文字表示及び振動の組合せ、ＬＥＤ等による照明により行うことを意味する。例えば、メディア変換部５３は、コンテキスト情報が“Ｃ１”、つまり聴覚障がい者である場合において、単語又は重要語に係る有用情報を提示する場合、文字により出力し、また、警報音等に係る有用情報を提示する場合、文字及び振動により出力する。
In the example shown in FIG. 7, the output media format “character”, “vibration”, “sound”, “character and vibration”, and “lighting” are stored in association with the type of useful information and context information. . These means that useful information (and specific contents) is output by displaying characters on the display unit of the
リフレッシュ部５４は、制御部５２の制御により、抽出された有用情報の具体的内容を当該有用情報の緊急度、鮮度、重要度、及び関連度のうち、少なくとも１つに基づいて適応的に更新する。リフレッシュ部５４は、具体的内容を更新する場合、取得要求に基づく制御情報を通話音声分配装置２に送信する。例えばリフレッシュ部５４は、抽出完了通知を送信してから取得要求を受けるまでに所定の期間以上の時間が経過した場合、具体的内容の鮮度が低いと判断し、具体的内容を更新する。
The
次に、本発明に係る情報提示システムについて、図８に示すフローチャートによりその動作を説明する。 Next, the operation of the information presentation system according to the present invention will be described with reference to the flowchart shown in FIG.
はじめに利用者端末１のセッション制御部１１は、通話音声分配装置２を介した、他利用者端末とのセッションの開始に係る制御をする。具体的にはセッション制御部１１は、利用者の操作部１２の操作に基づき、通話音声分配装置２のセッション制御部２１とのセッションの開始に係る制御をする（ステップＳ１）。
First, the
続いて利用者端末１のコンテキスト情報生成部１３は、利用者属性情報を含むコンテキスト情報を生成する。そしてコンテキスト情報生成部１３は、当該コンテキスト情報を通話音声分配装置２に送信する（ステップＳ２）。
Subsequently, the context
続いて利用者端末１の通話音声生成部１４は、マイクによりユーザの声及び周囲音を取得して通話音声を生成する。そして通話音声生成部１４は、生成した通話音声を、通話音声分配装置２に送信する（ステップＳ３）。なお図８においては、簡便のため通話音声の初回の送信のみ図示しているが、通話音声生成部１４は、通話音声を、通話音声分配装置２に連続的に送信する。
Subsequently, the call
続いて通話音声分配装置２のセッション制御部２１は、利用者端末１から受信した通話音声を、通話音声分配部２２に渡す。そして通話音声分配部２２は、受取った通話音声を通話音声解析装置（３１〜３３）に分配する（ステップＳ４）。なお図８においては図示していないが、セッション制御部２１は、利用者端末１から受信した通話音声を他利用者端末に送信し、利用者端末１と他利用者端末との通話を実現する。
Subsequently, the
なお図８においては簡便のため、通話音声解析装置３１のみを図示しているが、通話音声分配部２２は、通話音声解析装置３２及び通話音声解析装置３３にも通話音声を分配する。続いて通話音声分配部２２は、利用者端末１から受信したコンテキスト情報を制御情報として、情報提示制御装置５に送信する（ステップＳ５）。
In FIG. 8, for the sake of simplicity, only the call
続いて通話音声解析装置３１は、受信した通話音声の解析を行う（ステップＳ６）。具体的には通話音声解析装置３１の通話音声受信部３１１は、通話音声分配装置２から受信した通話音声を通話音声解析部３１３に渡す。続いて通話音声解析部３１３は、通話音声受信部３１１から受取った通話音声を解析し、有用情報を抽出する。通話音声解析部３１３は、必要に応じて通話音声受信部３１１から受信した通話音声と、リファレンス管理部３１２が記憶している照合用音声情報とを照合する。通話音声解析部３１３は、当該照合に基づき照合用音声情報に一致する情報、すなわち有用情報を抽出する。通話音声解析部３１３は、有用情報を抽出すると、当該有用情報を含む解析結果を生成する。続いて通話音声解析部３１３は、生成した解析結果を、情報提示制御装置５に送信する（ステップＳ７）。
Subsequently, the call
続いて情報提示制御装置５は、解析結果に係る処理を行う（ステップＳ８）。具体的には情報提示制御装置５のフィルタリング部５１は、通話音声解析装置（３１〜３３）から受信した解析結果に含まれる一つ以上の有用情報を、フィルタリングＤＢ５１０を参照し、当該有用情報の種類と、通話音声分配装置２から受信した制御情報に含まれるコンテキスト情報とにより定まる優先度に基づき、フィルタリング（取捨選択）する。そして制御部５２は、取捨選択された一つ以上の有用情報に係る抽出結果の具体的内容を生成する。制御部５２は、該具体的内容を生成する際に、有用情報に関係した情報を蓄積する知識管理装置６を参照する。
Subsequently, the information
続いて情報提示制御装置５のメディア変換部５３は、制御部５２の制御により、メディア変換データベース（ＤＢ）５３０を参照し、有用情報の種類と、通話音声分配装置２から受信した制御情報におけるコンテキスト情報とに基づき、利用者端末１に送信するデータを最適なメディア形式に変換する（ステップＳ９）。続いて制御部５２は、抽出完了通知を利用者端末１に送信する（ステップＳ１０）。
Subsequently, the
続いて利用者端末１の制御部１５は、情報提示制御装置５から有用情報の抽出完了通知を受信すると、該抽出完了通知を出力部１６に出力させる（ステップＳ１１）。
Next, when receiving the useful information extraction completion notification from the information
続いて利用者端末１の制御部１５は、操作部１２に係る利用者の操作に基づき、情報提示制御装置５に、有用情報に係る具体的内容の取得要求を送信する（ステップＳ１２）。
Subsequently, the
続いて情報提示制御装置５の制御部５２は、利用者端末１から具体的内容の取得要求があった場合、該具体的内容を、利用者端末１に提示（送信）する（ステップＳ１３）。
Subsequently, when there is a request for acquisition of specific content from the
続いて利用者端末１の出力部１６は、具体的内容を映像、音声、振動等により出力（再生）する（ステップＳ１４）。そして処理が終了する。
Subsequently, the
図９は、本発明の実施の形態１に係る情報提示システムの動作事例を表す概念図である。図９では、通話音声分配装置２、通話音声解析装置３１〜３３、構成管理装置４、情報提示制御装置５、知識管理装置６を、サーバ側と総称して示している。そして図９では、ボブとアリスとが、それぞれ利用者端末１及び他利用者端末を用いて音声通話中である。サーバ側は、当該音声通話における通話音声を取得して、通話音声を解析、有用情報を抽出する。そしてサーバ側は、利用者端末１又は／及び他利用者端末に有用情報を提示する。利用者端末１及び他利用者端末は有用情報をディスプレイにより表示し、又は／及び有用情報を含む加工した通話音声をスピーカにより出力する。例えば図９では、利用者端末１で受信した警報機の音声をサーバ側で処理し、“警報機が作動しています”という有用情報をスピーカにより出力している。
FIG. 9 is a conceptual diagram showing an operation example of the information presentation system according to
このように本発明によれば、利用者端末１が通話音声を通話音声分配装置２に送信し、通話音声解析装置（３１〜３３）を用いて通話音声から有用情報を抽出するため、利用者端末１の処理能力に依存せず、利用者端末１からの通話音声から抽出した有用情報を提示することができる。
As described above, according to the present invention, the
また本発明によれば、情報提示制御装置５が、まず有用情報の抽出完了通知のみを送信し、利用者端末１から具体的内容の取得要求を受信した場合に具体的内容を提示するため、有用情報の聞き漏らしや見落としを防ぐことができる。
Further, according to the present invention, the information
また本発明によれば、情報提示制御装置５のフィルタリング部５１が、有用情報をフィルタリングするため、利用者にとって真に有用な情報を提示することができる。
Moreover, according to this invention, since the
また本発明によれば、情報提示制御装置５のメディア変換部５３が、利用者端末１に送信するデータを、利用者属性情報に応じた最適なメディア形式に変換するため、多様な利用者に適した情報形式にて有用情報を提示することができる。
In addition, according to the present invention, the
なお、本実施の形態１では、ステップＳ１０において情報提示制御装置５が抽出完了通知を利用者端末１に送信し、利用者端末１が具体的内容の取得要求を送信してからステップＳ１３において情報提示制御装置５が具体的内容を提示したがこれに限られない。情報提示制御装置５は、ステップＳ１０において、抽出完了通知及び具体的内容を同時に利用者端末１に送信してもよい。情報提示制御装置５は、緊急度が高い有用情報を利用者端末１に提示する場合（例えば、警報器が鳴っている等の注意喚起を行う場合）は、抽出完了通知及び具体的内容を、同時に利用者端末１に送信してもよい。この場合、利用者端末１の制御部１５は、具体的内容を出力部１６により即時に出力する。
In the first embodiment, the information
なお、通話音声分配装置２から通話音声解析装置３１への通話音声の送信（分配）は、ファイル形式であってもストリーミング形式であってもよい。さらに、ストリーミングの形式で利用者端末１から受信したメディアをファイル形式に変換して分配してもよい。ストリーミングのプロトコル（RTSP／MMS／RTMPなど）やファイルの書式（例えば、WAV／AAC／MP3や動画ファイルのMPEG2／MPEG4／MP4／AVIなど）を変換した上で分配してもよい。
Note that the transmission (distribution) of the call voice from the call
なお、情報提示制御装置５の制御部５２は、緊急度が高い有用情報を利用者端末１に提示する場合、通常とは異なる抽出完了通知を送出してもよい。例えば、抽出完了通知を、緊急時で無い場合にはチャイムとするのに対して、緊急時は大音量サイレンとする。このようにすることで、利用者に迅速な要求操作を促すことができる。さらに、制御部５２は、重要度又は関連度が高い情報を案内する場合、それぞれ異なる抽出完了通知を利用者端末１に送信し、利用者に確実な要求操作を促してもよい。例えば、利用者種別毎に専用の抽出完了通知を送信してもよい。すなわち情報提示制御装置５の制御部５２は、抽出完了通知を複数種類備え、有用情報の緊急度、重要度、関連度等に基づき、該複数種類の抽出完了通知を適応的に用いてもよい。さらに、利用者端末１の制御部１５は、緊急度が高い抽出完了通知を受信すると自動的に取得要求を送信してもよい。
In addition, the
なお、実施の形態１に係る情報提示システムは、図１において３台の通話音声解析装置（３１〜３３）を備える構成を例示したがこれに限られず、２台以下であってもよく、又は４台以上であってもよい。
In addition, although the information presentation system which concerns on
なお、通話音声分配部２２は、セッション制御部２１により利用者端末１から取得した通話音声を通話音声解析装置（３１〜３３）に分配する際に、コンテキスト情報に基づき分配する通話音声、すなわち解析対象の通話音声を、特定の利用者端末に係るものに限定してもよい。
The call
なお、実施の形態１において情報提示システムは、通話音声分配装置２、通話音声解析装置（３１〜３３）、構成管理装置４、情報提示制御装置５及び知識管理装置６は、各々個別のハードウェアとして構成した例を示しているがこれに限られず、各装置の機能を全て搭載した１台のサーバにより構成してもよく、また２台以上のサーバにより構成してもよい。
In the first embodiment, the information presentation system includes a call
（変形例）
次に、本発明に係る情報提示システムについて、図１０に示すフローチャートにより変形例の動作を説明する。図８に示すフローチャートと同一の動作については同一の符号を付し、説明は省略する。
(Modification)
Next, the operation of the modification of the information presentation system according to the present invention will be described with reference to the flowchart shown in FIG. The same operations as those in the flowchart shown in FIG. 8 are denoted by the same reference numerals, and description thereof is omitted.
図１０では、利用者端末１が抽出完了通知を出力後（ステップＳ１１）、利用者端末１の制御部１５は、操作部１２に係る利用者の操作に基づき、情報提示制御装置５に、有用情報に係る具体的内容の取得要求を送信する（ステップＳ２１）。また、利用者端末１の通話音声生成部１４は、生成した通話音声を、通話音声分配装置２に送信する（ステップＳ２２）。
In FIG. 10, after the
続いて、情報提示制御装置５の制御部５２は、有用情報の具体的内容を当該情報の緊急度、鮮度、重要度、及び関連度のうち少なくとも１つに基づいて、リフレッシュ部５４に具体的内容を更新させる。リフレッシュ部５４は、取得要求に基づく制御情報を通話音声分配装置２に送信する（ステップＳ２３）。
Subsequently, the
続いて通話音声分配装置２の通話音声分配部２２は、利用者端末１から受信した通話音声を、通話音声解析装置（３１〜３３）に分配する（ステップＳ２４）。なお図１０においては簡便のため、通話音声解析装置３１のみを図示しているが、通話音声分配部２２は、通話音声解析装置３２及び通話音声解析装置３３にも通話音声を分配する。
Subsequently, the call
続いて通話音声解析装置３１は、受信した通話音声の解析を行う（ステップＳ２５）。具体的には通話音声解析装置３１の通話音声受信部３１１は、通話音声分配装置２から受信した通話音声を通話音声解析部３１３に渡す。続いて通話音声解析部３１３は、通話音声受信部３１１から受取った通話音声を解析し、有用情報を抽出する。通話音声解析部３１３は、必要に応じて通話音声受信部３１１から受信した通話音声と、リファレンス管理部３１２が記憶している照合用音声情報とを照合する。通話音声解析部３１３は、当該照合に基づき照合用音声情報に一致する情報、すなわち有用情報を抽出する。そして通話音声解析部３１３は、当該有用情報を含む解析結果を生成する。
Subsequently, the call
続いて通話音声解析部３１３は、生成した解析結果を、情報提示制御装置５に送信する（ステップＳ２６）。
Subsequently, the call
続いて情報提示制御装置５の制御部５２は、解析結果に基づき具体的内容を更新する。制御部５２は好適には、該具体的内容を生成する際に、知識管理装置６を参照する。そして制御部５２は、更新された具体的内容を、利用者端末１に提示（送信）する（ステップＳ２７）。
Subsequently, the
続いて利用者端末１の出力部１６は、具体的内容を映像、音声、振動等により出力（再生）する（ステップＳ２８）。そして処理が終了する。
Subsequently, the
このように本実施の形態１の変形例によれば、情報提示制御装置５のリフレッシュ部５４が有用情報の具体的内容を当該情報の緊急度、鮮度、重要度、及び関連度のうち少なくとも１つに基づいて更新するため、例えば具体的内容の取得要求を一定時間以上経過した後に受信した場合においても、真に有用な情報を提示することができる。
As described above, according to the modification of the first embodiment, the
なお、情報提示制御装置５のリフレッシュ部５４は、利用者端末１から、明示的に具体的内容を更新する要求を受信し、当該要求に基づき具体的内容を更新してもよい。好適には利用者端末１は、具体的内容の取得要求と同時に、具体的内容の更新要求を送信する。さらに、利用者端末１の制御部１５は、抽出完了通知を受信していなくとも、明示的な具体的内容を更新する要求を送信してもよい。
Note that the
なお、通話音声分配装置２は、取得要求を受信した後に照合を並列処理する通話音声解析装置（３１〜３３）の種類又は台数が、取得要求を受信する前に照合を並列処理する際の種類又は台数よりも多くするように通話音声を分配してもよい。このようにすることで、定常的には通話音声解析装置（３１〜３３）のうち処理に用いる種類又は台数を少なくし、定常時のシステム全体の負荷を抑えることができる。一方で、利用者端末１から取得要求を受信した後には、定常時よりも用いる種類又は台数を増やし、より多い台数で照合処理を行うため、システム全体の処理効率を向上し、処理遅延時間を短縮することができる。
The call
（実施の形態２）
以下に、本発明の実施の形態２について説明をする。実施の形態１と同一の構成については同一の符号を付し、説明は省略する。実施の形態２に係る情報提示システムは、実施の形態１にかかる構成と比較して、通話音声分配装置がセッション制御部２１を備えなくてもよい点が相違する。
(Embodiment 2)
The second embodiment of the present invention will be described below. The same components as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted. The information presentation system according to the second embodiment is different from the configuration according to the first embodiment in that the call voice distribution device does not have to include the
図１１に、実施の形態２に係る通話音声分配装置２ｂのブロック図を示す。図１１に示すように、実施の形態２に係る通話音声分配装置２ｂは、セッション制御部２１を備えない。そして通話音声分配装置２ｂの通話音声分配部２２は、利用者端末１が送信した通話音声を受信する。また通話音声分配部２２は、利用者端末１が送信したコンテキスト情報を受信し、当該コンテキスト情報を制御情報として、情報提示制御装置５に送信する。
FIG. 11 is a block diagram of a call
次に、本発明に係る情報提示システムについて、図１２に示すフローチャートにより変形例の動作を説明する。図８に示すフローチャートと同一の動作については同一の符号を付し、説明は省略する。 Next, the operation of the modification of the information presentation system according to the present invention will be described with reference to the flowchart shown in FIG. The same operations as those in the flowchart shown in FIG. 8 are denoted by the same reference numerals, and description thereof is omitted.
はじめに利用者端末１のコンテキスト情報生成部１３は、利用者属性情報を含むコンテキスト情報を生成する。そしてコンテキスト情報生成部１３は、当該コンテキスト情報を通話音声分配装置２に送信する（ステップＳ２ｂ）。
First, the context
続いて利用者端末１の通話音声生成部１４は、マイクによりユーザの声及び周囲音を取得して通話音声を生成する。そして通話音声生成部１４は、生成した通話音声を、通話音声分配装置２に送信する（ステップＳ３ｂ）。なお図１２においては、簡便のため通話音声の初回の送信のみ図示しているが、通話音声生成部１４は、通話音声を、通話音声分配装置２に連続的に送信する。以降のステップＳ４〜ステップＳ１４は、図８に示すフローチャートにおける動作と同一である。
Subsequently, the call
このように本発明の実施の形態２によれば、利用者端末１が通話音声を通話音声分配装置２に送信し、通話音声解析装置（３１〜３３）を用いて通話音声から有用情報を抽出するため、利用者端末１の処理能力に依存せず、利用者端末１からの通話音声から抽出した有用情報を提示することができる。
As described above, according to the second embodiment of the present invention, the
なお、ステップＳ３ｂにおいて利用者端末１の通話音声生成部１４は、マイクによりユーザの声及び周囲音を取得して通話音声を生成したが、これに加えて、他利用者端末から受信した音声信号も含めて通話音声を生成してもよい。なお、他利用者端末は１台に限らず、２台以上であってもよい。また他利用者端末が存在せず、利用者端末１の通話音声生成部１４は、マイクによりユーザの声及び周囲音を取得して通話音声を生成してもよい。
In step S3b, the call
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of means, steps, etc. can be combined or divided into one. .
１ 利用者端末
２、２ｂ 通話音声分配装置
３１〜３３ 通話音声解析装置
４ 構成管理装置
５ 情報提示制御装置
６ 知識管理装置
１１ セッション制御部
１２ 操作部
１３ コンテキスト情報生成部
１４ 通話音声生成部
１５ 制御部
１６ 出力部
２１ セッション制御部
２２ 通話音声分配部
３１１ 通話音声受信部
３１２ リファレンス管理部
３１３ 通話音声解析部
５１ フィルタリング部
５１０ フィルタリングデータベース
５２ 制御部
５３ メディア変換部
５３０ メディア変換データベース
５４ リフレッシュ部
DESCRIPTION OF
Claims (8)
前記利用者端末は、通話音声を前記サーバに送信し、
前記サーバは、前記通話音声を解析して情報を抽出し、抽出完了通知を前記利用者端末に送信し、
前記利用者端末は、前記抽出完了通知を出力し、前記情報に係る具体的内容の取得要求を送信し、
前記サーバは、前記取得要求を受信した場合、前記具体的内容を前記利用者端末に送信することを特徴とする有用情報提示システムであって、
前記サーバは、前記取得要求を受信した場合、前記取得要求を受信した後に改めて前記利用者端末から取得した最新の通話音声を解析して前記具体的内容を更新し、更新した前記具体的内容を前記利用者端末に送信することを特徴とする情報提示システム。 An information presentation system comprising a user terminal and a server,
The user terminal transmits a call voice to the server,
The server extracts the information by analyzing the call voice, and transmits the extracted completion notice to the user terminal,
The user terminal outputs the extraction completion notification, transmits an acquisition request for specific content related to the information,
When the server receives the acquisition request, the server transmits the specific content to the user terminal.
When the server receives the acquisition request, the server analyzes the latest call voice acquired from the user terminal after receiving the acquisition request, updates the specific content, and updates the specific content. An information presentation system that transmits to the user terminal .
前記サーバは、前記コンテキスト情報に基づき、前記情報の一部を抽出することを特徴とする、請求項１又は２に記載の情報提示システム。 The user terminal transmits context information including user attribute information to the server,
The server, based on the context information, and extracting a portion of the information, the information presentation system according to claim 1 or 2.
前記通話音声を解析して情報を抽出する通話音声解析部と、
前記情報に係る抽出完了通知を前記利用者端末に送信し、前記利用者端末から取得要求を受信した場合、前記情報に係る具体的内容を前記利用者端末に送信する情報提示制御部と、
を有することを特徴とする、情報提示サーバであって、
前記情報提示制御部は、前記取得要求を受信した場合、前記取得要求を受信した後に改めて前記利用者端末から取得した最新の通話音声を解析して前記具体的内容を更新し、更新した前記具体的内容を前記利用者端末に送信することを特徴とする情報提示サーバ。 A call voice distribution unit that receives call voice from a user terminal;
A call voice analysis unit that analyzes the call voice and extracts information ;
An information presentation control unit that transmits an extraction completion notification related to the information to the user terminal and receives an acquisition request from the user terminal, and transmits specific content related to the information to the user terminal ;
An information presentation server characterized by comprising:
When the acquisition request is received, the information presentation control unit analyzes the latest call voice acquired from the user terminal after receiving the acquisition request, updates the specific content, and updates the specific content. The information presentation server characterized by transmitting a specific content to the user terminal .
前記情報提示制御部は、前記コンテキスト情報に基づき、前記情報の一部を抽出することを特徴とする、請求項５又は６に記載の情報提示サーバ。 The call voice distribution unit further receives context information including user attribute information from the user terminal,
The information presentation control unit, based on the context information, and extracting a portion of said information, information presentation server according to claim 5 or 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012154708A JP5763018B2 (en) | 2012-07-10 | 2012-07-10 | Information presentation system and information presentation server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012154708A JP5763018B2 (en) | 2012-07-10 | 2012-07-10 | Information presentation system and information presentation server |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014016881A JP2014016881A (en) | 2014-01-30 |
| JP5763018B2 true JP5763018B2 (en) | 2015-08-12 |
Family
ID=50111483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012154708A Expired - Fee Related JP5763018B2 (en) | 2012-07-10 | 2012-07-10 | Information presentation system and information presentation server |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5763018B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6318400A (en) * | 1986-07-10 | 1988-01-26 | 株式会社デンソー | Voice recognition/processing controller |
| JP2001285527A (en) * | 2000-03-31 | 2001-10-12 | Casio Comput Co Ltd | Method and system for advertisement data service |
| JP2002044256A (en) * | 2000-05-17 | 2002-02-08 | Naoyuki Miyayama | Portable telephone internet information/voice retrieval system |
| JP2002165193A (en) * | 2000-11-24 | 2002-06-07 | Sharp Corp | Visual telephone system |
| JP4681200B2 (en) * | 2002-01-11 | 2011-05-11 | セイコーエプソン株式会社 | Conversation response support method and system, and computer program |
| JP5059080B2 (en) * | 2009-10-23 | 2012-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | Voice information retrieval system and voice information retrieval method |
| JP2012088766A (en) * | 2010-10-15 | 2012-05-10 | Opencube Inc | Server device, information processing system, information processing terminal, and information processing method |
-
2012
- 2012-07-10 JP JP2012154708A patent/JP5763018B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014016881A (en) | 2014-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11676601B2 (en) | Voice assistant tracking and activation | |
| US11626117B2 (en) | Contingent device actions during loss of network connectivity | |
| US10522146B1 (en) | Systems and methods for recognizing and performing voice commands during advertisement | |
| KR102068271B1 (en) | Multimodal transmission of packetized data | |
| US9609419B2 (en) | Contextual information while using headphones | |
| US9542956B1 (en) | Systems and methods for responding to human spoken audio | |
| JP2021071733A (en) | Key phrase detection with audio watermarking | |
| KR102421668B1 (en) | Authentication of packetized audio signals | |
| US20090248820A1 (en) | Interactive unified access and control of mobile devices | |
| JP2014519071A (en) | Search system and method using acoustic context | |
| US9852732B2 (en) | System and method for near real-time identification and definition query | |
| CN111919249A (en) | Continuous detection of words and related user experience | |
| JP2007049657A (en) | Automatic answering telephone apparatus | |
| KR20200013774A (en) | Pair a Voice-Enabled Device with a Display Device | |
| EP2727020A1 (en) | Provide services using unified communication content | |
| US20150325122A1 (en) | Method and system for streaming data for consumption by a user | |
| US10002611B1 (en) | Asynchronous audio messaging | |
| JP5763018B2 (en) | Information presentation system and information presentation server | |
| JP7052335B2 (en) | Information processing system, information processing method and program | |
| JP5868881B2 (en) | Useful information presentation system and control method of useful information presentation system | |
| US8977245B2 (en) | Agent-based system for call verification | |
| JP2015200696A (en) | Voice output control device | |
| WO2008100420A1 (en) | Providing network-based access to personalized user information | |
| US20180091958A1 (en) | Communication terminal apparatus and communication system | |
| JP2006179985A (en) | Content distribution system, content distribution server system, content distribution method, and content distribution program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150610 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5763018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |