JP7370521B2 - 音声分析装置、音声分析方法、オンラインコミュニケーションシステム、およびコンピュータプログラム - Google Patents

Description

本発明は、複数の話者による音声から質問文を判別する技術に関する。

音声データから発話の意図を推定する技術が種々提案されている。例えば、複数人で会話をする際に発話意図を推定することで会話における満足度を推定する技術が存在する。特許文献１は、会話における満足度を、簡易な構成によって精度よく推定するものであり、発話意図と音響特徴量の時間変化から満足度を推定することを開示する。

特許文献１では、複数人が会話を行う時、ユーザの発話意図を推定する際に、コーパス辞書を参照している。しかし、より精度よく発話意図を推定するために質問文の特定精度を向上させることが重要である。

特開2018-169506

上述のように、従来技術に係る質問文の特定は、あらかじめ用意した辞書を参照して行うものであり、精度が低いという問題があった。

そこで本発明は、複数人による会話において質問文を精度よく特定できる技術を提供することを目的の一つとする。

上記目的を達成するため、本発明の一の観点に係る音声分析装置は、マイクロフォンを通して入力された音声から、質問文を判別するための装置であって、複数の話者による音声を取得する音声取得手段と、音声をテキスト化するテキスト化手段と、テキスト化された音声から質問文と推定される文を特定する特定手段と、話者の切り替わりを検知する検知手段と、質問文と推定されると共に、直後に話者が切り替わる文を質問文と判別する判別手段と、を有する。

また、前記特定手段は、質問文において使用される表現を記憶した辞書に基づき、テキスト化された音声から質問文と推定される文を特定するものとしてもよい。

また、前記特定手段は、文の語尾のイントネーションに基づき、テキスト化された音声から質問文と推定される文を特定するものとしてもよい。

また、質問文をカテゴライズする分類手段をさらに有するものとしてもよい。

また、所定の識別効果を質問文に設定する識別効果設定手段をさらに有するものとしてもよい。

また、前記識別効果設定手段はさらに、話者の切り替わり部分に所定の識別効果を設定するものとしてもよい。

また、音声の話者を識別する識別手段をさらに有するものとしてもよい。

また、前記識別効果設定手段はさらに、前記識別手段により識別された各ユーザの発話部分に対して発話者を識別可能な識別効果を設定するものとしてもよい。

また、本発明の別の観点に係るオンラインコミュニケーションシステムは、前述した音声分析装置を備えたものとしてもよい。

また、本発明の別の観点に係る音声分析方法は、マイクロフォンを通して入力された音声から、質問文を判別するコンピュータが、複数の話者による音声を取得する音声取得ステップと、音声をテキスト化するテキスト化ステップと、テキスト化された音声から質問文と推定される文を特定する特定ステップと、話者の切り替わりを検知する検知ステップと、質問文と推定されると共に、直後に話者が切り替わる文を質問文と判別する判別ステップと、を実行するものとしてもよい。

また、本発明の別の観点に係るコンピュータプログラムは、マイクロフォンを通して入力された音声から、質問文を判別するコンピュータに対して、複数の話者による音声を取得する音声取得処理と、音声をテキスト化するテキスト化処理と、テキスト化された音声から質問文と推定される文を特定する特定処理と、話者の切り替わりを検知する検知処理と、質問文と推定されると共に、直後に話者が切り替わる文を質問文と判別する判別処理と、を実行させるものとしてもよい。

なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、コンピュータ読み取り可能な各種の記録媒体に記録して提供したりすることができる。

本発明によれば、複数人による会話において質問文を精度よく特定できる。

本発明の実施形態に係る音声分析装置の実施形態を示す機能ブロック図である。 本発明の実施形態に係る音声分析装置が使用する辞書の例を示す図である。 本発明の実施形態に係る音声分析装置を説明するための会話文の例である。 本発明の実施例１に係る音声分析装置の実施形態を示すフローチャートである。 本発明の実施例２に係る音声分析装置の実施形態を示すフローチャートである。 本発明をオンラインコミュニケーションシステムに適用した場合の実施形態を示す機能ブロック図である。

本発明に係るーの実施形態について、図１及び図２を参照して説明する。
図１に示されている、音声分析装置１００は、複数人の会話をテキスト化して、データベースを参照してテキスト化された文の中から質問文を推定すると共に、話者の切り替わりを検知することで質問文と推定された文を質問文と判断する装置である。
音声分析装置１００は、メモリなどの記憶媒体、プロセッサ、通信モジュール、及び入力／出力インターフェース等で構成され、プロセッサが記憶媒体に記録されたコンピュータプログラムを実行することで、図１に示した機能ブロックを実現するようになっている。記憶媒体は、コンピュータ読み取り可能記録媒体であって、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）、ディスクドライブ、ＳＳＤ（solid state drive）、フラッシュメモリ（flash memory）のような記憶装置等を含んでよい。ここで、ＲＯＭやディスクドライブ、ＳＳＤ、フラッシュメモリのような非一時的、記憶装置は、メモリとは区分される別の格納装置として音声分析装置１００に含まれてもよい。

本実施形態では、前提として、音声分析装置１００を具備するクライアント端末が複数存在してもよく、それらが離れた場所又は近い場所に存在して、それぞれのクライアント端末のユーザが会話をしてもよい。また、音声分析装置１００を具備するクライアント端末が一つ存在し、同じ場所で複数人が会話をしてもよい。さらに、音声分析装置１００を具備するサーバ端末が存在し複数人又は一人のユーザがサーバ端末にアクセスすることによって音声分析装置１００を使用してもよい。

●機能構成

音声分析装置１００は、上記したハードウェア構成により、音声取得部１０１、テキスト化部１０２、特定部１０３、識別部１０４、検知部１０５、判別部１０６、分類部１０７、識別効果設定部１０８を具備する。

音声取得部１０１は、複数の話者が会話をしている際に、当該複数の話者による音声を取得する。音声の取得方法は例えば、マイクロフォンによる入力である。当該マイクロフォンは、複数の話者に対して一つ備えるものであってもよく、複数の話者それぞれに対して一つずつ備えるものであってもよい。
音声取得部１０１は、マイクロフォンによって入力された音声が複数存在する場合は、音声が取得できる状態になるまで音声取得を保留してもよい。また、複数の話者による音声を同時に取得してもよい。
音声取得部１０１による音声取得は、ユーザにより音声取得を開始するアイコンやボタン等を押下することで開始してもよく、音声取得を終了するアイコンやボタン等を押下することで終了してもよい。
音声取得部１０１が取得する音声は、人に限らず機械のマイクロフォンを通して出力される音声でもよい。

テキスト化部１０２は、音声取得部１０１が取得した音声をテキスト化する。テキスト化部１０２がテキスト化した音声は、画面上に表示してもよい。

なお、テキスト化部１０２がテキスト化したテキストデータの形式は問わない。

特定部１０３は、テキスト化された音声から質問文と推定される文を特定する。特定部１０３は、質問文の表現がデータとして格納されている辞書（参照用テーブル又は参照用データベース）にアクセスし、テキスト化されたデータの中から質問文を推定する。図２は、辞書に格納されている質問文において使用される表現の一例である。例えば、会話の中で、「体調はどうですか。」と発話された際に、語尾に図２の１である「～どうですか」が含まれるため、「体調はどうですか。」は質問文と推定する。つまり、質問文において使用される表現を記憶した辞書に基づき、テキスト化された音声から質問文と推定される文を特定する。
なお、テキスト化された全文を構成する個々の文は、句点によって区切られた文を一つの意味のある文とみなし、当該一つの意味のある文ごとに質問文であるかどうかを推定する。

また、特定部１０３は、文の語尾のイントネーションに基づき、テキスト化された音声から質問文と推定される文を特定する。例えば、会話の中で、「ゴルフをしません。」と発話された際に、図２の辞書には「～しません。」という項目があるため、質問文と推定される。しかし、当該「ゴルフをしません。」が否定文であった場合は質問文と誤って特定される。ここで、文の語尾のイントネーションに基づき質問文であるかを推定する。これにより、例えば、前記「ゴルフをしません。」の語尾が上がっていたら質問文と推定することができる。一方で、前記「ゴルフをしません。」の語尾が下がっていたら質問文と推定しない。

なお、特定部１０３は、質問文の表現が格納されている辞書に基づいて質問文を特定する方法と、文の語尾のイントネーションに基づいて質問文を特定する方法を択一的あるいは両方の実行が可能である。
また、イントネーションに基づき質問文であるかを推定する際に使用する技術は、語尾のイントネーションが疑問形なのかそれ以外なのかを推定できるものであればよい。例えば、音声分析技術であるピッチ抽出等を使用してもよい。

識別部１０４は、音声の話者を識別することができる。複数の話者が発話している際には、それぞれの話者を識別することができる。例えば、Ａさん、Ｂさん、Ｃさんが会話をしている時に、Ａさんが発話すると話者がＡさんであることを識別し、Ｂさんが発話すると話者がＢさんであることを識別し、Ｃさんが発話すると話者がＣさんであることを識別できる。またここで、識別部１０４は、ＡさんとＢさんが同時に発話した時には、発話した内容それぞれに対してＡさんであるかＢさんであるかを識別できるものであってもよい。例えば、ＡさんとＢさんが「こんにちは。」と同時に発話した時には、一方の「こんにちは。」はＡさんが発話したものであることを識別し、もう一方の「こんにちは。」はＢさんが発話したものであることを識別できる。

識別部１０４で使用する音声認識技術は、複数の話者が発話している際に、それぞれの話者を識別することができるものであればよい。例えば、発話によって新たな話者を識別するごとに、当該話者の声のデータを保持したり、当該話者の声のデータを予め保持しておくことにより、話者を識別する。

検知部１０５は、話者の切り替わりを検知することができる。検知部１０５は、複数人が発話をしている場合も話者の切り替わりを検知することができる。例えば、図３のように、Ａさんが「明日のご予定はいかがでしょうか。」と発話した後に、Ｂさんが「明日の午前１１時からでよろしいでしょうか。」と発話したときに、検知部１０５は話者が切り替わったことを検知することができる。

検知部１０５で話者の切り替わりを検知するための技術は例えば、複数の不特定話者モデルとの類似度を算出して話者を識別する技術等を使用することができる。つまり、複数人で発話している時に、各話者を識別できなくとも、話者の切り替わりが検知できるものであればよい。また、識別部１０４による話者を識別した結果を利用してもよい。

判別部１０６は、質問文と推定されると共に、直後に話者が切り替わる文を質問文と判別することができる。例えば、図３で、Ａさんが「明日のご予定はいかがでしょうか。」と発話した時に、特定部１０３は、図２の辞書を参照して、６行目の「～でしょうか」に該当するため質問文と推定する。そして、検知部１０５は、Ａさんが「明日のご予定はいかがでしょうか。」と発話した直後に、Ｂさんが「明日の午前１１時からでよろしいでしょうか。」と発話しているため、話者の切り替わりを検知する。したがって、判別部１０６は、特定部１０３により質問文と推定され、検知部１０５により直後との文の話者の切り替わりが検知されたため、質問文と推定された「明日のご予定はいかがでしょうか。」という文を質問文と判別する。

分類部１０７は、質問文をカテゴライズすることができる。質問文に含まれる単語の意味内容に即して質問文を分類することで、会話後にユーザが質問文や当該質問文を含む会話の内容を分類ごとに確認することができる。分類は任意に設定が可能であって、例えば、オンラインセールスにおけるオペレータと顧客の会話であれば、費用、クレーム、特定の商品などの分類を設けることで、着目した情報に焦点を当てて、会話をレビューすることができる。

なお、分類部１０７は、複数人が会話をしている時に、リアルタイムに質問文をカテゴライズしてもよい。

識別効果設定部１０８は、テキスト化部１０２によってテキスト化されたテキストデータについて、所定の文に他と識別可能な効果を設定することができる。
例えば、発話したユーザを識別可能とする識別効果を設定する。具体例では、ＡさんとＢさんが会話をしている時に、識別部１０４がＡさんの音声とＢさんの音声を識別し、テキストデータ中のＡさんの音声部分に赤色の文字を設定し、Ｂさんの音声部分に青色の文字を設定する。このような色分けの例に限らず、識別効果設定部１０８による識別効果は、所定の文と他の文を識別できるようになっていればよい。

また、他の例では、識別効果設定部１０８は、検知部１０５により話者の切り替わりが検知された部分について、識別効果を設定することができる。例えば、図３のように、Ａさんが「明日のご予定はいかがでしょうか。」と発話した後に、Ｂさんが「明日の午前１１時からでよろしいでしょうか。」と発話するように、話者が切り替わっている部分について、「明日のご予定はいかがでしょうか。」と「明日の午前１１からでよろしいでしょうか。」の間に改行を挿入する。

また、他の例では、識別効果設定部１０８は、判別部１０６により質問文と判別された文を他の質問文以外の文と識別可能なように識別効果を設定することができる。例えば、質問文と判断された文にのみ、太字や特定の色といった編集を施す。
＜実施例１＞

本実施形態に係る音声分析装置１００の処理方法について、図４のフローチャートを用いて説明する。
（ステップＳ１０１）音声取得部１０１は、複数人が会話をしている時に、当該複数人のそれぞれの音声を取得する。音声取得部１０１が使用する機器は、マイクロフォン等の音声入力をするため機器である。音声取得部１０１が音声を取得する時は、発話者が一人である場合でも複数人の発話者が同時に発話している場合でも良い。音声取得部１０１が取得した音声データの形式は問わない。

（ステップＳ１０２）テキスト化部１０２は、ステップＳ１０１で音声取得部１０１が取得した音声をテキスト化する。テキスト化部１０２は、音声分析装置１００を具備しているコンピュータ等を利用しているユーザ毎にテキストを出力しユーザは当該テキストをリアルタイムで確認することもできる。また、テキスト化部１０２は、音声分析装置１００を具備しているコンピュータ等を複数人で使用している場合は、複数人が一つの画面を通して出力されたテキストをリアルタイムで確認することもできる。

テキスト化部１０２は、テキスト化した複数人の話者による音声のテキストデータを音声分析装置１００が具備する記憶領域に保存する。後述する特定部１０３、識別部１０４、検知部１０５、判別部１０６、分類部１０７、識別効果設定部１０８は、テキスト化部１０２が保存したテキストデータを使用することができる。なお、テキスト化部１０２が音声分析装置１００に保存するテキストデータのファイル形式は問わない。

識別部１０４は、テキスト化されている複数人の話者の音声がどの話者であるかを識別する。識別部１０４は、音声取得部１０１が取得した、複数人の話者による音声データを使用して話者を識別するが、この処理は、テキスト化部１０２によるテキスト化と同時並行的に実行されるものであってもよいし、テキストデータととともに記録された音声データに基づいて実行されるものであてもよい。識別部１０４は、音声取得部１０１が取得した音声のそれぞれの文について、話者を識別する。
なお、識別部１０４による話者の識別は少なくとも、特定部１０３により質問文を特定してから、当該質問文とその直後の文について、検知部１０５が話者の切り替わりを検知するまでに実行されていれば、検知部１０５による話者の切り替わりの検知の処理に利用することができる。

（ステップＳ１０３）特定部１０３は、テキスト化部１０２によってテキスト化された音声のテキストデータの中から質問文と推定される文を特定する。特定部１０３は、質問文を特定するために必要な語尾が種々格納されている辞書を参照し、テキスト化部１０２がテキスト化した会話の中から、辞書に格納されている語尾が使用されている文を探す。また、特定部１０３は、テキスト化した会話の中から、文の語尾のイントネーションに基づいて質問文を特定することもできる。そして、特定部１０３は、テキスト化した会話の中から質問文と推定される文を特定する。

特定部１０３は、複数人の話者による会話の中からリアルタイムで質問文を特定することができる。また、複数人の話者による会話が終了した後でも、記録しておいたテキストデータや音声データに基づいて質問文を特定することができる。

（ステップＳ１０４）検知部１０５は、ステップＳ１０３で特定部１０３が質問文と特定した文とその直後で異なる話者である時に、話者が切り替わったことを検知する。
例えば、図３のＡさんの「明日のご予定はいかがでしょうか。」という文が、特定部１０３によって質問文と推定される文として特定された時に、識別部１０４は、この文とその直後の「明日の午前１１時からでよろしいでしょうか。」という文の話者を識別できる。そして、検知部１０５が話者の切り替わりを検知することで、前記「明日のご予定はいかがでしょうか。」という文が質問文と判別される。
なお、このステップＳ１０４で検知部１０５が話者の切り替えを検知する処理では、識別部１０４がそれぞれの文の話者を識別できるため、その識別結果を利用して検知部１０５が話者の切り替わりを検知しているが、これに限らず、話者を特定することなく、話者の切り替わり検知できれば、最終的に質問文を判別する精度は担保される。

（ステップＳ１０５）判別部１０６は、特定部１０３がステップＳ１０３で質問文と推定される文であると特定した文であって、その直後に話者の切り替わる文を質問文であると判別する。

（ステップＳ１０６）識別効果設定部１０８は、判別部１０６によって質問文と判別された文に識別効果を設定する。なお、識別効果設定部１０８はこのほか、テキストデータに対し、識別部１０４により識別された各ユーザの音声部分を識別可能な識別効果や、検知部１０５により話者の切り替わりが検知された部分を識別可能な識別効果を設定することができる。

分類部１０７は、上記実施例の一連の処理が終了し、複数人の話者の音声から質問文を判別したテキストデータ中の質問文を所定のカテゴリに分類する。例えば、金額についての質問と場所についての質問が会話の中に存在した時に、それらをテキストデータの中から検索可能に分類することができる。つまり、分類部１０７は、複数人の話者の音声をテキスト化した文章の中に存在する質問文をカテゴライズすることで、話者が後にどのような会話をしたのかを容易に確認することができれる。また、所望の観点の質問文の前後の文章を容易に探し出し、内容を確認することができる。

なお実施例１は、質問文を特定するために会話の終了時までにステップＳ１０１からステップＳ１０６までの処理を一度又は複数回行うこととする。つまり、複数の話者が会話している時に、リアルタイムで質問文を判別する、若しくは複数の話者が会話をした後に会話の内容全体から質問文を判別することができる。
＜実施例２＞

実施例２では、図５に示す通り、実施例１のステップＳ１０３の質問文と推定される文を特定する処理と、ステップＳ１０４の話者の切り替えを検知する処理を逆の順番で実行する例を説明する。なお、ステップＳ２０１、ステップＳ２０２、ステップＳ２０６は、実施例１のステップＳ１０１、ステップＳ１０２、ステップＳ１０６と同一の処理を行うため、説明を省略する。

（ステップＳ２０３）検知部１０５は、テキスト化部１０２が複数人の話者による音声をテキスト化したテキストデータについて、話者が切り替わった部分を検知する。検知部１０５は、話者が切り替わったとされる文の直前の文を質問文の候補とし、後述するステップＳ２０４で当該質問文の候補について処理をする。

（ステップＳ２０４）特定部１０３は、前述したステップＳ２０３で、検知部１０５が検知した質問文の候補から、質問文と推定される文を特定する処理を行う。特定部１０３は、質問文を特定するために必要な語尾が種々格納されている辞書を参照する。特定部１０３は、検知部１０５が話者の切り替わりにより検知した質問文の候補に対して、辞書に格納されている語尾が使用されている文を探し当該文を質問文と推定される文として特定する。また、検知部１０５は、質問文の候補に対して、文の語尾のイントネーションに基づいて質問文と推定される文と特定することもできる。

（ステップＳ２０５）判別部１０６は、検知部１０５がステップＳ２０３において直後に話者が切り替わったことを検知した部分の直前の文であって、特定部１０３がステップＳ２０４で質問文と推定される文であると特定した文を質問文であると判別する。

なお、本例においても、分類部１０７については、実施例１と同様の処理を行うことができる。

なお実施例２は、質問文を特定するために会話の終了時までにステップＳ２０１からステップＳ２０６までの処理を一度又は複数回行うこととする。つまり、複数の話者が会話している時に、リアルタイムで質問文を判別する、若しくは複数の話者が会話をした後に会話の内容全体から質問文を判別することができる。
なお、本発明に係るすべての実施形態について、音声分析装置１００が対象とする音声の言語はいかなるものについても適用可能である。

＜本実施形態の効果＞
本実施形態によれば、複数人での会話において、入力された音声をテキスト化し、質問文を精度よく特定することで、テキスト化された会話の中から所望の話題等を探すことが容易になる。特に、商談等では、質問文が商談の成否に重要なことが多いため、質問文に着目して会話内容をレビューできて便利である。

＜本実施形態についての補足＞
以上、実施形態に基づいて本発明を説明したが、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

図６を参照して、本実施形態に係る発明をオンラインコミュニケーションシステム１に適用した場合の機能について詳述する。
オンラインコミュニケーションシステム１とは、インターネットを利用したユーザ間で音声通話やビデオ通話、チャット等、又はそれらを組み合わせてコミュニケーションをとるシステムである。近年は、オンラインコミュニケーションシステム１によって、遠隔地に所在している人と会議などを行うことがある。

オンラインコミュニケーションシステム１は、ユーザが利用するユーザ端末３と当該ユーザの顧客が利用する顧客端末４とを関連付け、ウェブページを共有したコミュニケーションを行うための装置であって、当該ユーザ端末３及び顧客端末４と、インターネット等のネットワークＮＷを介して通信可能に構成されている。

このオンラインコミュニケーションシステム１は、CPU（Central Processing Unit）などの演算装置、CPUによって実行されるコンピュータプログラム、RAM（Random Access Memory）やROM（Read Only Memory）等の内部メモリ等を備え、ＩＤ発行部１１、顧客情報取得部１２、設定処理部１４、検索処理部１３、同期処理部１５、ＩＤ削除部１６、通信処理部１７、ユーザ情報記憶部１Ａ、コミュニケーション情報記憶部１Ｂからなる機能ブロックを構成する。

ＩＤ発行部１１は、コミュニケーションごとに固有なコミュニケーションＩＤを発行する処理部である。このコミュニケーションＩＤは、ユーザと顧客の間で展開されるコミュニケーションを個別に識別するために発行され、ユーザ端末３を介してユーザに通知される。
本実施形態の補足では、このコミュニケーションＩＤは四桁の数字によって構成されている。このように桁数が抑えられた数字のみによって構成されていることで、ユーザや顧客が容易に覚えることができると共に、顧客がユーザにコミュニケーションＩＤを伝える際に、間違いにくくなっている。

顧客情報取得部１２は、顧客端末４から、コミュニケーションごとに固有なコミュニケーションＩＤの発行要求を受信した際、顧客端末４を識別可能な顧客識別情報として、顧客アドレスを取得する処理を実行する。
ここで、顧客アドレスは、顧客端末４をネットワークＮＷ上で識別可能な情報であって、例えばＩＰアドレスとして構成される。
また、顧客情報取得部１２はこのほか、顧客端末４の利用環境に係る情報として、顧客端末４のOS（Operating System）に係る情報や、ウェブカメラ等のデバイスを顧客端末４が備えているか否かといった情報なども取得する。

検索処理部１３は、ユーザ端末３から、所定のコミュニケーションＩＤの検索要求を受信した際、コミュニケーション情報記憶部１Ｂを参照して、当該所定のコミュニケーションＩＤと関連付けられた顧客アドレスによって識別される顧客端末４を検索する処理を実行する。
検索の結果はユーザ端末３に対して提供され、これによりユーザは、オンラインコミュニケーションシステム１に対し、検索結果において示された顧客端末４とのコミュニケーションの開始を要求する。

設定処理部１４は、ＩＤ発行部１１においてコミュニケーションＩＤが発行された際、コミュニケーション情報記憶部１Ｂを参照して、当該発行されたコミュニケーションＩＤと、当該コミュニケーションＩＤの発行を要求した顧客端末４との関連付けを設定する。
また、設定処理部１４は、ユーザ端末３から、所定のコミュニケーションＩＤと関連付けられた顧客アドレスによって識別される顧客端末４とのコミュニケーションの開始要求を受信した際、コミュニケーション情報記憶部１Ｂを参照して、当該ユーザ端末３と、当該所定のコミュニケーションＩＤと関連付けられた顧客アドレスによって識別される顧客端末４との関連付けを設定する。

同期処理部１５は、設定処理部１４により、コミュニケーション情報記憶部１Ｂにおいて互いに関連付けられたユーザ端末３及び顧客端末４について、両端末とセッションを確立すると共に、両端末上で展開される画面の同期処理を実行する。

この同期処理においては、オンラインコミュニケーションシステム１と、互いに関連付けられているユーザ端末３及び顧客端末４との間にセッションが確立された上、各端末におけるウェブページの参照履歴や、ユーザ又は顧客による端末操作に応じたマウス座標やスクロール位置等の操作情報が定期的なポーリングによって収集される。そして、一方の端末において何らかのアクションあるいは変化が検知された場合に、他方端末に対して当該検知されたアクションあるいは変化を同期させる。
これにより、ユーザ端末３と顧客端末４が同じウェブページを共有することができると共に、当該ウェブページ上で行われたユーザあるいは顧客による端末操作が各端末の画面上に反映される。その結果、常に同じウェブページを参照すると共に、相手の端末操作を把握しながら、コミュニケーションを図ることができる。

ＩＤ削除部１６は、互いに関連付けられたユーザ端末３と顧客端末４によるウェブページを共有したコミュニケーションの終了に応じて、コミュニケーション情報記憶部１Ｂを参照して、当該ユーザ端末３と顧客端末４のコミュニケーションに対して発行されていたコミュニケーションＩＤを削除する処理を実行する。

ここで、コミュニケーションは例えば、互いに関連付けられたユーザ端末３と顧客端末４とを同期させるために両端末と確立していたセッションについて、少なくともいずれかの端末とのセッションが終了したことをもって、終了とみなすことができる。また、コミュニケーションの終了をユーザ端末３あるいは顧客端末４から通知する情報の受信に応じて、コミュニケーションが終了したものとみなすこともできる。
これにより、削除されたコミュニケーションＩＤはその後に発生したコミュニケーションに対して発行可能となるため、コミュニケーションの増加に伴うコミュニケーションＩＤの増加を抑制することができる。

通信処理部１７は、ユーザ端末３や顧客端末４との間で、インターネット等のネットワークＮＷを介したデータの送受信処理を実行する。
この通信処理部１７により、顧客端末４に対してコミュニケーションＩＤを送信したり、ユーザ端末３から顧客端末４とのコミュニケーションの開始要求を受信したりすることができる。また、ユーザ端末３及び顧客端末４との間でセッションを確立し、両端末との同期をとるのに必要なデータの送受信が可能となっている。

ユーザ情報記憶部１Ａは、本実施形態に係るオンラインコミュニケーションシステム１によって提供されるサービスのユーザに関する情報を記憶した記憶部である。
このユーザ情報記憶部１Ａには例えば、ユーザを識別するためのユーザＩＤに関連付けて、ユーザを認証するための認証情報、ユーザの名称や連絡先等に関するその他の詳細情報、ユーザが顧客とのコミュニケーションにおいて利用する文書データ等が記憶されている。
なお、文書データは、PDFやパワーポイント等の形式からなるデータであった場合、ウェブページを共有する本システムの利用時において、ウェブページに変換されて、ユーザと顧客によって共有される。ウェブページへの変換は、共有の都度、行われるものであってもよいし、予め行われていてもよい。

コミュニケーション情報記憶部１Ｂは、ユーザと顧客によるコミュニケーションごとに、当該コミュニケーションを図るユーザと顧客を把握可能な情報を記憶した記憶部である。
このコミュニケーション情報記憶部１Ｂには例えば、コミュニケーションごとに固有なコミュニケーションＩＤに関連付けて、顧客アドレスとユーザＩＤとが記憶されている。

コミュニケーション情報記憶部１Ｂにおいては、ＩＤ発行部１１においてコミュニケーションＩＤが発行された際、設定処理部１４により、当該発行されたコミュニケーションＩＤと、当該コミュニケーションＩＤの発行を要求した顧客端末４とが関連付けて記憶される。そして、ユーザ端末３からコミュニケーションの開始要求を受信した際、当該ユーザ端末３のユーザＩＤがさらに当該コミュニケーションＩＤに関連付けられる。さらに、ユーザ端末３又は顧客端末４によるコミュニケーションの終了操作、あるいはユーザ端末３及び顧客端末４を同期させるべく両端末と確立していたセッションの終了により、所定のコミュニケーションＩＤに係るコミュニケーションが終了すると、当該所定のコミュニケーションＩＤに関連付けられた情報が削除される。

なお、本実施形態ではさらに、顧客情報取得部１２によって取得された顧客アドレスと共に、顧客端末４の利用環境に係る情報が記憶されている。

ユーザ端末３は、本実施形態の補足に係るオンラインコミュニケーションシステム１によって提供されるサービスのユーザが利用する端末であって、当該ユーザが顧客とコミュニケーションを図るための端末である。
このユーザ端末３は、所謂パーソナルコンピュータやタブレット端末などによって構成され、ディスプレイ、スピーカ、キーボード、タッチパネル、ポインティングデバイス、ヘッドセット等によって実現される入出力処理部、データの送受信を行うためのブラウザ等の通信処理部といった機能部を備える。

顧客端末４は、ユーザの顧客が利用する端末である。
この顧客端末４は、所謂パーソナルコンピュータやタブレット端末、データ通信が可能な携帯型電話機端末などによって構成され、ディスプレイ、スピーカ、キーボード、タッチパネル、ポインティングデバイス等によって実現される入出力処理部、データの送受信を行うためのブラウザ等の通信処理部といった機能部を備える。

オンラインコミュニケーションシステム１が備える音声分析システム２について詳述する。
音声取得部２１は、コンピュータに接続されているマイクロフォンから入力された音声を取得する。音声取得部２１は、異なるコンピュータ間または同一のコンピュータで複数人が音声通話やビデオ通話をしている話者の音声を取得する。

テキスト化部２２は、異なるコンピュータまたは同一のコンピュータを通して複数人が音声通話やビデオ通話をしている時に、音声取得部２１によって取得した音声をテキスト化する。当該音声をテキスト化したテキストデータは、各ユーザの画面上に表示されてもよい。

特定部２３は、質問文の語尾の表現パターンが種々格納されている辞書の中に格納されている表現や、文の語尾のイントネーションに基づき、テキスト化された音声から質問文と推定される文を特定することができる。

識別部２４は、音声取得部２１によって取得された複数人のそれぞれの話者が特定できるように音声を識別する。識別部２４は、オンラインコミュニケーションシステム１において、それぞれの話者をリアルタイムで識別してどの話者が話しているかがすべてのユーザ端末３又は顧客端末４で分かるようにアイコン等を画面に出力してもよい。

検知部２５は、識別部２４により識別した複数人のそれぞれの話者において、話者が切り替わったことを検知する。

判別部２６は、特定部２３により質問文と特定した文と、検知部２５により話者が切り替わったことを検知した文を利用して質問文と判別する。

分類部２７は、判別部２６が質問文と判別した文をカテゴライズする。オンラインコミュニケーションシステム１を使用して、ユーザ端末３と顧客端末４間でコミュニケーションを行った後に、分類部２７が既に終了した会話の中から質問文をカテゴライズしておくことで、ユーザは所望の話題を検索することができる。例えば、分類部２７がオンラインセールスにおけるオペレータと顧客の会話であれば、費用、クレーム、特定の商品などの分類を設けることで、テキスト化部２２がテキスト化した音声の中からユーザが着目した情報に焦点を当てて、会話をレビューすることができる。なお、分類部２７によるカテゴライズの方法は前述した例に限らず、種々の方法を使用してよい。また、分類部２７によってカテゴライズした質問文の表示方法は問わない。

識別効果設定部２８は、コミュニケーションを行った会話の中で、判別部２６が質問文と判別した文を、コミュニケーションを行ったユーザ端末３又は顧客端末４上に識別可能に表示することができる。なお、識別効果設定部２８は、実施例１と同様に、質問文、各ユーザの音声、話者の切り替わり部分に識別効果を設定できる。

本実施形態をオンラインコミュニケーションシステム１に適用した場合、ビジネスでの会議や営業等において、膨大な会話の内容から、会議での決定事項や取引の内容等の重要事項を容易に確認することができる。これにより、ビジネス等を円滑に進めることができる。また、重要事項を容易に確認できるので、膨大な会話の中から営業等の取引における重要事項を見失わず、顧客との信頼関係を構築することができる。

１ オンラインコミュニケーションシステム
２ 音声分析システム
３ ユーザ端末
４ 顧客端末
１１ ＩＤ発行部
１２ 顧客情報取得部
１３ 検索処理部
１４ 設定処理部
１５ 同期処理部
１６ ＩＤ削除部
１７ 通信処理部
１Ａ ユーザ情報記憶部
１Ｂ コミュニケーション情報記憶部
２１ 音声取得部
２２ テキスト化部
２３ 特定部
２４ 識別部
２５ 検知部
２６ 判別部
２７ 分類部
２８ 識別効果設定部
１００ 音声分析装置
１０１ 音声取得部
１０２ テキスト化部
１０３ 特定部
１０４ 識別部
１０５ 検知部
１０６ 判別部
１０７ 分類部
１０８ 識別効果設定部

Claims (11)

1. マイクロフォンを通して入力された音声から、質問文を判別するための装置であって、
   複数の話者による音声をテキスト化するテキスト化手段と、
   テキスト化された音声から質問文と推定される文を特定する特定手段と、
   話者の切り替わりを検知する検知手段と、
   質問文と推定されると共に、直後に話者が切り替わる文を質問文と判別する判別手段と、を有する、
   音声分析装置。
2. 前記特定手段は、質問文において使用される表現を記憶した辞書に基づき、テキスト化された音声から質問文と推定される文を特定する、
   請求項１記載の音声分析装置。
3. 前記特定手段は、文の語尾のイントネーションに基づき、テキスト化された音声から質問文と推定される文を特定する、
   請求項１又は２記載の音声分析装置。
4. 質問文をカテゴライズする分類手段、をさらに有する、
   請求項１乃至３いずれかの項に記載の音声分析装置。
5. 所定の識別効果を質問文に設定する識別効果設定手段、をさらに有する、
   請求項１乃至４いずれかの項に記載の音声分析装置。
6. 前記識別効果設定手段はさらに、話者の切り替わり部分に所定の識別効果を設定する、
   請求項５記載の音声分析装置。
7. 音声の話者を識別する識別手段、をさらに有する、
   請求項５又は６記載の音声分析装置。
8. 前記識別効果設定手段はさらに、前記識別手段により識別された各ユーザの発話部分に対して発話者を識別可能な識別効果を設定する、
   請求項７記載の音声分析装置。
9. 前記請求項１乃至８いずれかの項に記載の音声分析装置、を備えた、
   オンラインコミュニケーションシステム。
10. マイクロフォンを通して入力された音声から、質問文を判別するコンピュータが、
    複数の話者による音声をテキスト化するテキスト化ステップと、
    テキスト化された音声から質問文と推定される文を特定する特定ステップと、
    話者の切り替わりを検知する検知ステップと、
    質問文と推定されると共に、直後に話者が切り替わる文を質問文と判別する判別ステップと、を実行する、
    ことを特徴とする音声分析方法。
11. マイクロフォンを通して入力された音声から、質問文を判別するコンピュータに対して、
    複数の話者による音声をテキスト化するテキスト化処理と、
    テキスト化された音声から質問文と推定される文を特定する特定処理と、
    話者の切り替わりを検知する検知処理と、
    質問文と推定されると共に、直後に話者が切り替わる文を質問文と判別する判別処理と、を実行させる、
    ことを特徴とするコンピュータプログラム。