JP4884496B2 - 通信端末及び情報表示方法 - Google Patents

Description

本発明は、通信端末及び情報表示方法に関する。

従来の携帯電話などの通信端末において、通話中の音声を分析して話者の感情を推定する技術が知られている（例えば特許文献１）。また、特許文献１に記載されるような話者の感情を推定する技術を利用して、音声入力形式のメール作成機能において、話者（ユーザ）の感情に対応する絵文字や記号を適宜選択し、音声入力されたテキストに付加する技術が知られている（例えば特許文献２）。

特開２００６−１０６７１１号公報 特開２００６−２７７５６７号公報

ここで、通信端末の利便性や親和性を高めるために、通信端末が、ユーザの置かれている状況に応じて、適切なメッセージをディスプレイに提示したり、文字変換候補や絵文字を変化させたりできると好ましい。

しかしながら、特許文献１や特許文献２に記載されるユーザの感情推定手法のようにユーザ本人の音声情報のみを利用してユーザの感情を推定したとしても、ユーザが置かれている状況を完全には理解できない可能性が高い。ユーザが置かれている状況とは、ユーザ自身の感情のみならず、例えば周囲の環境や、会話している他者との相対的関係などの影響を受けて変化するものと考えられるからである。したがって、特許文献２に記載されるように、推定されたユーザの感情のみに基づいてユーザに提供する情報を選択したとしても、実際にユーザが置かれている状況に合致せず、ユーザにとって適切な情報とはならない虞がある。

本発明は、上記課題を解決するためになされたものであり、ユーザが置かれている状況を精度良く推定し、ユーザの状況に応じた適切な情報を提供することができる通信端末及び情報表示方法を提供することを目的とする。

上記課題を解決するため、本発明に係る通信端末は、周囲の音を集音して音情報として取得する集音手段と、集音手段により取得された音情報からユーザの音声を示すユーザ音声情報を抽出するユーザ音声抽出手段と、集音手段により取得された音情報からユーザ以外の他者の音声を示す他者音声情報を抽出する他者音声抽出手段と、ユーザ音声抽出手段により抽出されたユーザ音声情報に基づき、ユーザの感情レベルを識別すると共に、他者音声抽出手段により抽出された他者音声情報に基づき、他者の感情レベルを識別する感情解析手段と、感情解析手段により識別されたユーザの感情レベルと、他者の感情レベルとに基づいて、ユーザに提供する情報を決定する情報決定手段と、情報決定手段により決定された情報を表示してユーザに提示する表示手段と、を備えることを特徴とする。

同様に、上記課題を解決するため、本発明に係る情報表示方法は、周囲の音を集音して音情報として取得する集音ステップと、集音ステップにおいて取得された音情報からユーザの音声を示すユーザ音声情報を抽出するユーザ音声抽出ステップと、集音ステップにおいて取得された音情報からユーザ以外の他者の音声を示す他者音声情報を抽出する他者音声抽出ステップと、ユーザ音声抽出ステップにおいて抽出されたユーザ音声情報に基づき、ユーザの感情レベルを識別すると共に、他者音声抽出ステップにおいて抽出された他者音声情報に基づき、他者の感情レベルを識別する感情解析ステップと、感情解析ステップにおいて識別されたユーザの感情レベルと、他者の感情レベルとに基づいて、ユーザに提供する情報を決定する情報決定ステップと、情報決定ステップにおいて決定された情報を表示してユーザに提示する表示ステップと、を備えることを特徴とする。

このような通信端末及び情報表示方法によれば、ユーザの音声に基づいてユーザの感情レベルを識別すると共に、ユーザの周辺の音情報から抽出された他者の音声に基づいて他者の感情レベルも識別される。そして、これらのユーザの感情レベルと他者の感情レベルとに基づいてユーザに提供する情報が決定される。このため、ユーザ自身の感情レベルとユーザの周囲にいる他者の感情レベルとを比較して、ユーザと周囲の他者との相対的関係の影響も考慮して、ユーザが置かれている状況を精度良く推定することが可能となり、この結果、ユーザの状況に応じた適切な情報を提供することができる。

また、本発明に係る通信端末において、集音手段は、周囲の音を常時集音して音情報として取得することが好適である。これにより、通話中以外でもユーザが置かれている状況を認識することが可能となり、より一層適切な情報をユーザに提供することができる。

本発明に係る通信端末及び情報表示方法によれば、ユーザの心理状態を精度良く推定し、ユーザの心理状態に応じた適切な情報を提供することができる。

本発明の一実施形態に係る通信端末の機能ブロック図である。 通信端末のハードウェア構成図である。 出力情報記憶部の構成の一例を示す図である。 図３に示す出力情報それぞれにおいて、ユーザと他者との感情レベルによって想定される場の状況や、その出力情報を選択する根拠を示す図である。 出力情報記憶部の構成の一例を示す図である。 図５に示す出力情報それぞれにおいて、ユーザと他者との感情レベルによって想定される場の状況や、その出力情報を選択する根拠を示す図である。 本実施形態の通信端末において実行されるサンプル音声登録処理を示すフローチャートである。 本実施形態の通信端末において実行される情報表示処理を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る通信端末の機能ブロック図である。図１に示すように、通信端末１は、集音部（集音手段）１１、音声登録部１２、ユーザ音声記憶部１３、音情報記憶部１４、ユーザ音声抽出部（ユーザ音声抽出手段）１５、他者音声抽出部（他者音声抽出手段）１６、感情解析部（感情解析手段）１７、出力情報記憶部１８、出力情報決定部（情報決定手段）１９、及び情報表示部（表示手段）２０を備えている。

図２は、通信端末１のハードウェア構成図である。通信端末１は、物理的には、ＣＰＵ（Central Processing Unit）１１１、主記憶装置であるＲＡＭ（Random Access Memory）１１２及びＲＯＭ（Read Only Memory）１１３、入力デバイスである入力キー等の操作部１１４、ディスプレイ１１５、無線通信部１１６、マイク１１７などを有する端末装置として構成されている。図１に示す通信端末１の各機能は、図２に示すＣＰＵ１１１、ＲＡＭ１１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１１の制御のもとで操作部１１４、ディスプレイ１１５、無線通信部１１６、マイク１１７を動作させるとともに、ＲＡＭ１１２やＲＯＭ１１３におけるデータの読み出し及び書き込みを行うことで実現される。

次に、図１に示す通信端末１の各機能について説明する。

集音部１１は、周囲の音を常時集音して音情報として取得する。集音部１１は、取得した音情報を音情報記憶部１４に送信する。また、集音部１１は、通信端末１が後述するユーザ音声登録処理を実行する際には、取得した音情報を音声登録部１２に送信する。なお、集音部１１は、一般的には、通信端末１に付属されているマイク１１７である。

音声登録部１２は、ユーザ音声を登録する部分である。音声登録部１２は、後述するユーザ音声登録処理において、集音部１１が取得した音情報を受信し、この音情報から音声情報を抽出する。そして、この抽出した音声情報を、通信端末１のユーザのサンプル音声を示すサンプル音声情報として、ユーザ音声記憶部１３に送信して格納する。

ユーザ音声記憶部１３は、通信端末１のユーザのサンプル音声を示すサンプル音声情報を保持する部分である。ユーザ音声記憶部１３は、音声登録部１２からサンプル音声情報を受信すると、保持しているサンプル音声情報を更新する。また、ユーザ音声記憶部１３は、ユーザ音声抽出部１５に対して、保持しているサンプル音声情報を提供する。

音情報記憶部１４は、集音部１１により取得されて音情報を保持する部分である。音情報記憶部１４は、本実施形態では、集音部１１から送信される音情報のうち最新の５分間の音情報を常に保持するよう構成されている。音情報記憶部１４は、ユーザ音声抽出部１５に対して、保持している音情報を提供する。

ユーザ音声抽出部１５は、音情報記憶部１４に保持されている音情報から、ユーザの音声を示すユーザ音声情報を抽出する部分である。具体的には、ユーザ音声抽出部１５は、定期的に音情報記憶部１４から音情報を取得して、ユーザ音声記憶部１３に保持されているサンプル音声情報を利用して、音情報にユーザ音声が含まれているか否かを確認する。音情報にユーザ音声が含まれていた場合には、音情報からユーザ音声情報を抽出し、抽出したユーザ音声情報を感情解析部１７に送信すると共に、ユーザ音声情報を除外した音情報を他者音声抽出部１６に送信する。

他者音声抽出部１６は、音情報から通信端末１のユーザ以外の他者の音声を示す他者音声情報を抽出する部分である。具体的には、他者音声抽出部１６は、ユーザ音声抽出部１５よりユーザ音声情報を除外した音情報を受信すると、この音情報を解析して他者音声情報を抽出し、抽出した他者音声情報を感情解析部１７に送信する。

なお、本実施形態では、「他者」とは、集音部１１で音声を拾える程度の距離にユーザの周囲に存在している人間であって、ユーザと直接会話しているか、またはユーザの周囲で他の人間と会話しており、少なからずユーザの心理状態に影響を与えうる人間のことをいうものとする

感情解析部１７は、ユーザ音声抽出部１５により抽出されたユーザ音声情報に基づき通信端末１のユーザの感情レベルを識別すると共に、他者音声抽出部１６により抽出された他者音声情報に基づき、ユーザの周囲に存在する他者の感情レベルを識別する。感情解析部１７は、具体的には、音声情報の音量、波形、ピッチ、音韻などの情報を利用して、感情レベルを識別する。本実施形態では、感情レベルとして、大枠では「喜」、「怒」、「哀」、「楽」の４パターンが設定されており、さらに「怒」に関しては「激しい怒り」、「怒」、「内面的な怒り」の３パターンに細分化されて設定されている。なお、感情解析部１７における感情推定には周知の手法を用いればよく、このような手法については、例えば国際公開番号ＷＯ００／６２２７９などに記載されている。

出力情報記憶部１８は、ユーザの感情レベルと他者の感情レベルに応じた出力情報を保持している。つまり、出力情報記憶部１８は、ユーザの感情と周囲の人間の感情を掛け合わせたときにどのような出力をするのが適当かというルールを規定するものである。

図３〜６を参照して、出力情報記憶部１８の具体的な構成について説明する。図３は、出力情報記憶部１８の構成の一例を示す図である。図３に示すように、出力情報記憶部１８は、ユーザの４段階の感情レベル（「喜」、「怒」、「哀」、「楽」）の１つと、他者の４段階の感情レベルの１つに対応する合計１６パターンの出力情報が保持されている。また、図４は、図３に示す１６パターンの出力情報それぞれにおいて、ユーザと他者との感情レベルによって想定される、ユーザが置かれている場の状況や、その出力情報を選択する根拠を示す図である。この例では、ユーザの感情レベルが「喜」の場合、他者の感情レベルが「喜」ならば、「ユーザも周囲も喜んでいる状況なので、共に喜ぶ」という根拠に基づいて（図４参照）、出力情報は「よかったね」となる。また、他者の感情レベルが「怒」ならば、「ユーザは喜んでいるが周囲は怒っているので、有頂天になっていそうなユーザに注意喚起する」という根拠に基づいて、出力情報は「冷静に！」となる。このように、出力情報記憶部１８は、ユーザの感情レベルが同一であっても、他者の感情レベルが異なる場合には、ユーザが置かれているそれぞれの場の状況に応じて別の出力情報が選択されるように構成されている。

図５は、図３においてユーザ及び他者の感情レベルが共に「怒」である部分３１について、感情レベルをさらに細分化したときの出力情報を示す図である。図５に示すように、出力情報記憶部１８は、感情レベル「怒」に関しては、ユーザ及び他者の感情レベルがさらに３パターン（「激しい怒り」、「怒」、「内面的な怒り」）に細分化され、ユーザ及び他者の感情レベルに応じて合計９パターンの出力情報が保持されている。また、図６は、図４と同様に、図５に示すユーザ及び他者の感情レベルが「怒」の部分３１の９パターンの出力情報それぞれにおいて、ユーザと他者との感情レベルによって想定される、ユーザが置かれている場の状況や、その出力情報を選択する根拠を示す図である。図５、６に示すように、ユーザ及び他者が共に怒りの感情を抱いている場合でも、各自の怒りの度合いに応じてユーザの置かれる場の状況は異なるものであると考えられ、それぞれの場の状況に応じた別の出力情報が選択されるように構成されている。

図１に戻り、出力情報決定部１９は、感情解析部１７により識別されたユーザ及び他者の感情レベルに基づいて、出力情報記憶部１８を参照してユーザに提供する出力情報を決定する。

情報表示部２０は、出力情報決定部１９により決定された出力情報を表示してユーザに提示する部分である。情報表示部２０は、一般的には、通信端末１のディスプレイ１１５である。

次に、図７、８に示すフローチャートを用いて、本実施形態の通信端末１において実行される処理を説明すると共に、本実施形態に係る情報表示方法について説明する。図７は、本実施形態の通信端末１において実行されるサンプル音声登録処理を示すフローチャートである。このサンプル音声登録処理は、主に音声登録部１２により実行される。

まず、音声登録部１２によりサンプル音声登録処理が開始されると（Ｓ１０１）、例えばディスプレイ１１５にユーザの音声を登録するためユーザに発声を促す旨の指示が表示される。そして、集音部１１により集音が開始され（Ｓ１０１）、集音されたユーザの音声を含む音情報が音声登録部１２に送信される。

次に、音声登録部１２により、集音部１１から受信した音情報から音声情報が抽出され（Ｓ１０３）、抽出された音声が１種類か否かが確認される（Ｓ１０４）。抽出された音声が１種類ではない場合は、ユーザの声として登録できないので、集音をやり直すべくステップＳ１０３に戻る。抽出された音声が１種類である場合は、抽出された音声がユーザの音声を抽出するためのサンプル音声としてユーザ音声記憶部１３に登録される（Ｓ１０５）。

図８は、本実施形態の通信端末１において実行される情報表示処理を示すフローチャートである。この情報表示処理は、図７に示したサンプル音声登録処理が実行され、ユーザのサンプル音声がユーザ音声記憶部１３に登録された後に実施される。

まず、ユーザ音声抽出部１５により、音情報記憶部１４から集音部１１が集音した最新５分間の通信端末１の周囲の音情報が取得され、この音情報から音声情報が抽出される（Ｓ２０１：集音ステップ）と、この音声情報がユーザ音声記憶部１３に保持されているサンプル音声情報と比較される（Ｓ２０２）。

次に、ステップＳ２０２の比較結果に基づいて音情報記憶部１４の音情報にユーザ音声が含まれているか否かが確認される（Ｓ２０３）。音情報にユーザ音声が含まれていた場合にはステップＳ２０４に移行する。音情報にユーザ音声が含まれていない場合にはステップＳ２０１に戻り、再びユーザ音声抽出部１５が音情報記憶部１４の音情報に音声が含まれているのを検知するまで待機する。

ステップＳ２０３において音情報にユーザ音声が含まれていると判定された場合、ユーザ音声抽出部１５により、音情報からユーザ音声情報が抽出され（Ｓ２０４：ユーザ音声抽出ステップ）、抽出されたユーザ音声情報が感情解析部１７に送信されると共に、ユーザ音声情報を除外した音情報が他者音声抽出部１６に送信される。

次に、他者音声抽出部１６により、ユーザ音声抽出部１５がユーザ音声情報を除外した音情報から他者音声情報が抽出され（Ｓ２０５：他者音声抽出ステップ）、抽出された他者音声情報が感情解析部１７に送信される。

さらに、感情解析部１７により、ユーザ音声情報に基づき通信端末１のユーザの感情レベルが識別されると共に、他者音声情報に基づき、ユーザの周囲に存在する他者の感情レベルが識別される（Ｓ２０６：感情解析ステップ）。

そして、出力情報決定部１９により、ユーザ及び他者の感情レベルに基づいて、出力情報記憶部１８を参照してユーザに提供する出力情報が決定され（Ｓ２０７：情報決定ステップ）、情報表示部２０により、出力情報決定部１９が決定した出力情報がディスプレイ１１５に表示されてユーザに提示される（Ｓ２０８：表示ステップ）。

以上に説明したように、本実施形態に係る通信端末１及び情報表示方法によれば、ユーザの音声に基づいてユーザの感情レベルを識別すると共に、ユーザの周辺の音情報から抽出された他者の音声に基づいて他者の感情レベルも識別される。そして、これらのユーザの感情レベルと他者の感情レベルとに基づいてユーザに提供する情報が決定される。このため、ユーザ自身の感情レベルとユーザの周囲にいる他者の感情レベルとを比較して、ユーザと周囲の他者との相対的関係の影響も考慮して、ユーザが置かれている状況を精度良く推定することが可能となり、この結果、ユーザの状況に応じた適切な情報を提供することができる。

また、集音部１１が周囲の音を常時集音して音情報として取得するため、通話中以外でもユーザが置かれている状況を認識することが可能となり、より一層適切な情報をユーザに提供することができる。

以上、本発明に係る通信端末及び情報表示方法について好適な実施形態を挙げて説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、ユーザに提供する出力情報としてディスプレイ１１５に提示するメッセージとしたが、この他、文字入力機能における文字変換候補や絵文字を適用してもよい。

また、出力情報を決めるためのユーザ及び他者の感情レベルは、上記実施形態で例示した「喜」、「怒」、「哀」、「楽」の他に、例えば「憤怒」、「嫌気」、「好意」など他の感情を適用してもよい。

また、音情報記憶部１４に保持される音情報を解析して会話内容を判別し、ユーザと他者との関係（友人、上司、部下、恋人、家族など）や、会話の場所（会社、自宅、デパートなど）といったより詳細な情報を識別可能とし、この情報に応じて適宜選択可能な複数の出力情報記憶部１８を備え、より一層ユーザの心理状態に適合した出力情報を提供することができるよう構成してもよい。

１…通信端末、１１…集音部（集音手段）、１２…音声登録部、１３…ユーザ音声記憶部、１４…音情報記憶部、１５…ユーザ音声抽出部（ユーザ音声抽出手段）、１６…他者音声抽出部（他者音声抽出手段）、１７…感情解析部（感情解析手段）、１８…出力情報記憶部、１９…出力情報決定部（情報決定手段）、２０…情報表示部（表示手段）。

Claims (3)

1. 周囲の音を集音して音情報として取得する集音手段と、
   前記集音手段により取得された音情報からユーザの音声を示すユーザ音声情報を抽出するユーザ音声抽出手段と、
   前記集音手段により取得された音情報から前記ユーザ以外の他者の音声を示す他者音声情報を抽出する他者音声抽出手段と、
   前記ユーザ音声抽出手段により抽出されたユーザ音声情報に基づき、ユーザの感情レベルを識別すると共に、前記他者音声抽出手段により抽出された他者音声情報に基づき、他者の感情レベルを識別する感情解析手段と、
   前記感情解析手段により識別されたユーザの感情レベルと、他者の感情レベルとに基づいて、ユーザに提供する情報を決定する情報決定手段と、
   前記情報決定手段により決定された情報を表示してユーザに提示する表示手段と、
   を備えることを特徴とする通信端末。
2. 前記集音手段は、周囲の音を常時集音して音情報として取得することを特徴とする請求項１に記載の通信端末。
3. 周囲の音を集音して音情報として取得する集音ステップと、
   前記集音ステップにおいて取得された音情報からユーザの音声を示すユーザ音声情報を抽出するユーザ音声抽出ステップと、
   前記集音ステップにおいて取得された音情報から前記ユーザ以外の他者の音声を示す他者音声情報を抽出する他者音声抽出ステップと、
   前記ユーザ音声抽出ステップにおいて抽出されたユーザ音声情報に基づき、ユーザの感情レベルを識別すると共に、前記他者音声抽出ステップにおいて抽出された他者音声情報に基づき、他者の感情レベルを識別する感情解析ステップと、
   前記感情解析ステップにおいて識別されたユーザの感情レベルと、他者の感情レベルとに基づいて、ユーザに提供する情報を決定する情報決定ステップと、
   前記情報決定ステップにおいて決定された情報を表示してユーザに提示する表示ステップと、
   を備えることを特徴とする情報表示方法。
   

Images