JP4085926B2

JP4085926B2 - 情報処理端末及び通信システム

Info

Publication number: JP4085926B2
Application number: JP2003293567A
Authority: JP
Inventors: 亜紀子井上; 曜一郎佐古; 俊郎寺内; 真井上; 克弥白井; 靖宮島; 堅一牧野; 基行高井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-08-14
Filing date: 2003-08-14
Publication date: 2008-05-14
Anticipated expiration: 2023-08-14
Also published as: EP1654986A4; EP2974658A1; US20080167861A1; EP1654986A1; US7783487B2; WO2005016147A1; EP1654986B1; KR101143862B1; KR20060052837A; CN100563564C; CN1835712A; JP2005058534A; EP2974658B1

Description

本発明は、ユーザの生体情報を検出して情報通信に反映する情報処理端末及び通信システムに関する。

携帯型電話機や携帯型個人情報端末（Personal Digital Assistants；ＰＤＡ）等の情報処理端末は、ネットワークに接続する機能を備え、電子メールの送受信やいわゆるインターネットへ接続できるようになっている。また、これら携帯型電話機やＰＤＡの普及は目覚ましく、従来のような据置型ＰＣ（パーソナルコンピュータ）を用いたインターネット接続以上に情報処理端末による電子メールの送受信が盛んになってきている。

電子メール使用の多様性に伴って電子メールの送受信方法にも様々な形態が提案されている。単に送受信ボタンをクリックすることで行われる電子メールの送受信操作に対して、例えば機器の画面上に現れる架空のペット等のキャラクタが仮想世界で郵便を運んだり、ユーザ宛の郵便を相手のペットから受け取ったりするソフトウェアもある。このようなソフトウェアでは、ユーザがこのペットとコミュニケーションできたり、ペットから時々メッセージを受け取ることができるような機能も用意されている。

また、別の送受信方法として、文章データにユーザの感情をできるだけ込めようと、記号の組み合わせによって描ける程度の簡単な「絵」が用意されている場合や、専用に適合した装置間でのみ有効な特殊なコードによって表される絵文字が用意されている場合もある。これらは、専用のソフトウェアも使用しないため、最も簡単で一般的である。

このように電子メールでは、画像データや音声データが添付できるとはいえ基本的にはテキストデータで表されるため、文章中に「雰囲気」や「ユーザの心情」を表現することには限界がある。

これに対して、電子メール等の送受信方法とは異なるものの、使用者の感情等の内的部分に応じて装置を制御しようという技術も提案されている。例えば、使用者（操作者）が装置に対して操作入力するためのインターフェイス部分、例えばＰＣであればいわゆるマウス部分、飛行機の操縦桿やクレーン車等の作業車両であれば操縦桿にセンサを設けて、操作者の「思わず力が入る」や「手に汗を握る」といった現象を検出することで操作者の高揚感等の感情や感性を推定し、その装置の安全制御に使用する技術も提案されている（例えば、特許文献１参照。）。

特開２００１−３４４１０号公報

ところが、電子メールを例とした場合、ソフトウェアに制御されたキャラクタとコミュニケーションがとれたり、キャラクタからメールが送られたりしても、キャラクタからの応答は、例えば、予め用意された定型文やキーワードから選択して使用しており、コミュニケーションとはいえキャラクタ側からの一方的な内容になる場合が多い。また、応答できるにしても予め決められた応答パターンに限られており、“雰囲気”や“ユーザの心情”に応じた表現を実現するには、やはり限界があった。

また、特許文献１に記載の技術では、操作者の感情や感性を検出しているが、検出された感情や感性は、操作者がそのとき操作している装置自身の制御にフィードバックしているものであり、操作者の感情や感性に応じて応答するコミュニケーションツールとしての利用とは異なっている。

そこで、本発明は、使用者の生体情報から心理状態を判別し、その心理状態に合った情報が自動的に生成される情報処理端末、及び心理状態に合った情報を自動的に生成することによって、情報処理端末のエンターテインメント性を向上し、コミュニケーションツールとして使用者の立場に立ったより幅広い活用が実現できる通信システムを提供することを目的とする。

上述の目的を達成するために本発明に係る情報処理端末は、使用者の生体情報を検出する生体情報検出手段と、上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段と、上記心理状態解析手段で解析された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、上記生成された単語又は文章を出力する出力手段とを備える。

生体情報としては、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報を使用する。

また、情報処理端末は、素材データが蓄積された蓄積手段を備え、情報生成手段では、蓄積手段より選択した素材データを用いて使用者の心理状態に適合した情報を生成してもよい。或いは、素材蓄積手段が外部機器にあってもよく、情報生成手段は、解析された心理状態に適合した情報を外部機器より受信した素材データから生成することもできる。特に、情報生成手段によって生成される情報は文字データで構成される単語又は文章であるとする。

情報を出力する出力手段は、情報生成手段にて生成された単語又は文章を表示する表示手段であっても、情報生成手段によって生成された単語又は文章を音声出力に変換する音声変換手段であってもよい。

上述の目的を達成するために本発明に係る通信システムは、情報提供装置と情報処理端末とからなる通信システムであって、上記情報処理端末は、使用者の生体情報を検出する生体情報検出手段と、上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、上記解析された心理状態を上記情報提供装置に送信し、該心理状態に基づいて上記情報提供装置にて生成された心理状態に適合した情報としての単語又は文章を受信する送受信手段と、上記受信した単語又は文章を出力する出力手段とを備え、上記情報提供装置は、使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段と、上記情報処理端末から送信された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、上記生成された単語又は文章を上記情報処理端末に送信する送信手段とを備える。

また、情報提供装置は、素材データが蓄積された蓄積手段を備え、情報生成手段では、蓄積手段より選択した素材データを用いて使用者の心理状態に適合した情報を生成してもよい。特に、情報生成手段によって生成される情報は文字データで構成される単語又は文章であって、これらを情報処理端末に対して電子メールとして送信する。

さらに情報提供装置は、情報生成手段によって生成される単語又は文章を音声出力に変換する音声変換手段を備え、音声変換手段で得られた音声出力を情報処理端末に送信する。

生体情報としては、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報が使用できる。

また、上述の目的を達成するために本発明に係る通信システムは、情報提供装置と情報処理端末とからなる通信システムであって、上記情報処理端末は、使用者の生体情報を検出する生体情報検出手段と、上記検出された生体情報を上記情報提供装置に送信し、該生体情報に基づいて上記情報提供装置にて生成された情報としての単語又は文章を受信する送受信手段と、上記受信した情報を出力する出力手段とを備え、上記情報提供装置は、上記送信された生体情報に対応する心理状態を解析する心理状態解析手段と、使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段と、上記解析された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、上記生成された単語又は文章を上記情報処理端末に送信する送信手段とを備える。

情報を出力する出力手段は、情報生成手段にて生成された単語又は文章を表示する表示手段であっても、情報生成手段によって生成された単語又は文章を音声出力に変換する音声出力手段であってもよい。

また、生体情報としては、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報が使用できる。

また、上述の目的を達成するために本発明に係る通信システムは、情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、使用者の生体情報を検出する生体情報検出手段と、上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、上記解析された心理状態を上記情報提供装置に送信する送信手段とを備える第１の通信機器と、使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段と、上記第１の通信機器から送信された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、上記生成された単語又は文章を第２の通信機器に送信する送信手段を備える情報提供装置とからなる。

情報提供装置は、素材データが蓄積された蓄積手段を備え、情報生成手段では、蓄積手段より選択した素材データを用いて使用者の心理状態に適合した情報を生成してもよい。特に、情報生成手段によって生成される情報は文字データで構成される単語又は文章であるとする。

生成された単語又は文章は、送信手段にて第２の通信機器に対して電子メールとして送信されてもよいし、情報提供装置は、情報生成手段によって生成される単語又は文章を音声出力に変換する音声変換手段を備え、第２の通信機器に対して音声変換手段で得られた音声出力を送信してもよい。音声出力を送信するようにした場合には、第２の通信機器は、音声出力手段を備え、音声変換手段で変換された音声出力を音声出力手段にて出力する。

さらにまた、上述した目的を達成するために本発明に係る通信システムは、情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、使用者の生体情報を検出する生体情報検出手段と、上記検出された生体情報を上記情報提供装置に送信する送信手段とを備える第１の通信機器と、上記送信された生体情報に対応する心理状態を解析する心理状態解析手段と、使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段と、上記解析された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、上記生成された単語又は文章を第２の通信機器に送信する送信手段を備える情報提供装置とからなる。

本発明に係る情報処理端末によれば、使用者の生体情報を検出する生体情報検出手段にて使用者の生体情報を検出し、検出された生体情報と該生体情報に対応する心理状態に基づいて生体情報に対応する心理状態を解析し、情報生成手段において、解析された心理状態に適合した情報を生成し、表示手段においてこの情報を表示することにより、使用者の生体情報から判別された使用者のその時々の心理状態に適合した情報をタイミングよく表示できる。この情報処理端末の高いエンターテインメント性によって、表示される情報に使用者が共感を覚えることで使用者の心理状態を安定化したり向上させたりできる。

本発明に係る通信システムは、使用者の生体情報を検出し、生体情報に対応する心理状態を解析し、解析された心理状態を情報提供装置に送信する。情報提供装置では、蓄積手段より選択される素材データから、送信された心理状態に適合した情報を生成し、情報処理端末に対して、心理状態に適合した情報を送信することにより、使用者の生体情報から判別された使用者の心理状態に合った情報を提供できる。特に、情報生成手段によって生成される情報が文章であり、これを電子メールとして送信すれば、例えば、使用者を励ましたり慰めたり、使用者に共感してくれるような内容の文章が電子メールにて送信され、この情報処理端末のエンターテインメント性を向上することができる。

また、情報処理端末にて指定される機器に使用者の心理状態に適合した情報を送信するようにした本発明に係る通信システムによれば、従来の電子メール交換では困難であった、“雰囲気”や“使用者の心情”の伝達を分かり易い形式で行うことができ、コミュニケーションツールとして使用者の立場に立った利用ができて有効である。

本発明の最良の形態として示す情報処理端末は、例えば、携帯電話や携帯型個人情報端末であって、ユーザの生体情報を検出するための生体情報検出部と、検出された生体情報から心理状態を解析する心理状態解析部とを備え、解析された心理状態に適合した情報を生成する装置である。特に、携帯電話とした場合、ユーザが最も接触する箇所、例えば、液晶表示部等の背面にあたる筐体背面や操作キーに接触型の生体センサを設けてユーザの生体データを検出する。

生体データには、心臓の拍動、呼吸、血中飽和酸素濃度、眼球運動、脳内血流、脳活動、身体運動等の生体現象から得られる発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）といったデータがあり、これらは、心電図測定計、筋電図測定計、頭部電圧測定計、赤外光画像強度解析、圧力センサ、温度センサ、発汗センサ等の各種測定機器により測定できる。

センサにて検出されたデータは、予め用意した心理状態との対応テーブル等を用いて解析されて心理状態が求められる。例えば、ここでユーザの気分が消沈していると解析された場合、携帯電話は、ユーザの気分を高揚させるような音声データや画像データや文章データを生成して表示する。

ユーザの心理状態を変化させるような、また同調するような情報の提示の方法としては種々の方式があげられる。例えば、文章データを提示する場合には、第１の提示方法として、心理状態に合わせて作成した文章を、例えば電子メールでユーザ宛に送信されたメッセージであるかのように表示する方法があげられる。現在では、ネットワークに接続可能で電子メール送受信機能を備えた携帯電話が一般的になってきているため、携帯電話にて生成されるユーザの心理状態に合わせた情報を電子メール形式で表示すれば、ユーザにとってより自然であり馴染み易い。さらに、普段ユーザが文章を作成する際に使用する特徴的な単語を素材として記憶しておき、ユーザの心理状態に応じた文章データを作成するに際して、この単語を使用すれば、ユーザにとってより親密度が増す。

第２の提示方法としては、ユーザの生体情報をネットワーク上の管理装置等に送り、実際にネットワークを介して心理状態に応じた電子メールを受け取る方法があげられる。この場合、携帯電話には少なくとも生体データを検出する構成のみ設ければよいという利点と、さらに他者にこのユーザの心理状態を適切に伝えるための情報が送信できるという利点がある。

また、提示する応答情報を音声データとする場合には、取得した生体情報から解析した使用者の心理状態に合わせて作成した単語又は文章を所定のタイミングで音声として出力する。音声を出力する場合も、単語や文章をテキスト音声合成処理により音声として出力する構成を携帯電話が備えていてもよいし、ネットワーク上の管理装置等にてこの処理が行われてもよい。

このように、検出された生体情報から心理状態を解析し適合した情報を表示する、若しくは使用者の心理状態に適合した情報を他者に送信するようにしたことにより、携帯電話のエンターテインメント性を向上し、コミュニケーションツールとして使用者の立場に立ったより幅広い利用を実現するという目的を達成した。

以下、本発明の具体例として示す携帯電話を、図面を参照して詳細に説明する。
携帯電話１は、図１に示すように、携帯電話１の本体部１０は、図示しない基地局との間でデータ等を送受信する構成として、アンテナ１１、通信インターフェイス（Ｉ／Ｆ）１２、伝送路符号化復号部１３を備えている。また、ユーザの声を入力する受話部としてのマイク１４と、音声を出力するためのスピーカ１５と、受信した音声信号をディジタル信号に変換するＡ／Ｄ変換回路１６及びディジタル信号をアナログ信号に変換するＤ／Ａ変換回路１７とを備えている。このほかに携帯電話１は、図示しないが携帯電話としての基本的な構成を備えるものとする。

また、携帯電話１は、ユーザの生体情報を取得するためのセンサ部１８を備えていることが特徴である。携帯電話１は、ユーザがポケットに入れたり手に持って使用したりと人体の一部に接触している時間が比較的長いため、このセンサ部１８は、接触によって検出可能な生体データを取得するセンサであることが好ましい。本具体例では、センサ部１８として皮膚抵抗値測定センサ、発汗センサ、特に皮膚表面温度が測定可能な温度センサを用い、これらを本体部筐体表面の一部、例えば、本体背面や操作ボタン上に設ける。このほかにも、ユーザがリラックスした状態であれば心拍数が安定しているが、驚いた場合や興奮した場合等には心拍数が平常時と異なる値を示すといった生体情報の特徴を利用できる。本具体例に適用できる生体センサの例については後段にて詳説する。

センサ部１８で検出された生体データは、センサデータ解析部１９に送られ、心理状態メモリ２０に記憶された生体データと心理状態との対応づけに基づいて心理状態が解析される。“皮膚抵抗値”、“発汗量”、“皮膚温度”の各生体データは、実際のユーザの動作や感情状態が違っても類似するデータが現れる場合がある。しかし、例えば、気分よくて高揚している場合の興奮状態か、不快でイライラしている場合の興奮状態かによって各生体データは微妙に異なっている。そのため、センサデータ解析部１９は、センサ部１８にて検出された生体データから特徴的な信号パターンを抽出し、抽出された信号パターンに対応する心理状態を解析している。本具体例では、心理状態には、例えば“嬉しい・楽しい”“意気消沈”、“興奮”等があり、生体データとに対応して心理状態メモリ２０に記憶されており、センサ部１８にて生体データが検出されると、センサデータ解析部１９は、このとき最もあてはまる心理状態を心理状態メモリ２０から選択している。

センサデータ解析部１９における解析処理に際しては、基準データ、すなわち平常心であること又は落ち込んでいることなどを示す各センサデータの範囲を予めメモリに記憶して用意するか、若しくは制御部２５がユーザに対して平常時の生体データを測定するよう明示的に指示する処理や、一定期間毎に自動的にデータを検出して検出データの分布をとって統計的に各心理状態を検出する処理等を実行することによって、事前にユーザの基準データを確定しておく。例えば、本具体例のように“皮膚抵抗値”、“発汗量”、“皮膚温度”の３つの生体データを用いた場合、図２に示すように、これらのセンサデータを３次元空間座標系に割り当て、心理状態を分類する“空間領域”として基準データを分類することもできる。図２において、基準データＡは平常状態を示し、基準データＢは興奮状態を示すものとする。

使用可能な生体データは、ユーザの感情状態、心理状態、体調等を定量的に評価できるデータであればよく、ここに例示した項目に限らない。心理状態の解析方法としては、上述のような対応テーブルから選択する方法のほか、生体データから直接心理状態が算出できるようなアルゴリズム等があればこれを用いることができる。

携帯電話１は、また応答情報生成部２１を備え、上述して解析された心理状態に適合した応答情報として文章データ（テキスト）を生成する。応答情報作成部２１は、解析された心理状態に対応して、例えば、ユーザの気分が意気消沈していれば“励ます・慰める”、興奮していれば“宥める”単語を使用して応答用の単語又は文章を作成し、この携帯電話１がユーザに対して送ったかのように表示する。ここで、文章作成に用いられる単語は、“励ます・慰める”、“宥める”のように分類されて素材単語メモリ２２に用意されている。

本具体例では、機器の画面上に現れる架空のペット等のキャラクタが仮想世界で郵便を運んだり、ユーザ宛の郵便を通信相手のキャラクタから受け取ったりすることを可能にしたソフトウェアと併用している。すなわち、この携帯電話１では、生体データから解析されたユーザの心理状態に基づいて、素材単語メモリ２２を参照して作成された文章がキャラクタから送信されたかのように表示される。例えば、ユーザが落ち込んでいると解析された場合にはユーザを励ましたり慰めたりする内容のメール、ユーザが嬉しいと感じていると解析された場合にはこのキャラクタも一緒に喜んでいるような内容のメールである。生成された文章データは、表示デバイスドライバ２３によって表示部２４に表示される。表示部２３には、液晶ディスプレイを用いる。

上記各構成は、ＣＰＵと、ＣＰＵの動作を実行するためのプログラムや設定情報等が記憶されたＲＯＭ、ＣＰＵの作業領域としてのＲＡＭを備える制御部２５によって統括制御されており、必要に応じて操作入力キー２６からユーザの指示及び選択を受け付ける。場合によってこの入力に応じた処理が実行される。特に、制御部２５は、ＲＯＭに格納されたプログラムによって、ユーザの生体データから解析された心理状態に適合した応答情報を作成する処理や、後述するが、ユーザが作成した文章から特徴単語を抽出する処理等を実行している。本体部１０に設けられる各記憶部は、半導体メモリであるが、データを保持しておける媒体であれば種類は問わない。また、各記憶部は物理的に１つの記録媒体の論理領域を分離したものであってもよい。

次に、検出された生体データからユーザの心理状態を解析して応答文章を作成する方法に関して図３を用いて説明する。携帯電話１は、ステップＳ１において生体データを検出し、ステップＳ２において、図２に例示した心理状態の分類と、検出した生体データとを対応させて心理状態を決定する。決定した心理状態は、応答情報作成部２１に送られる。ステップＳ３において、応答情報作成部２１は、素材単語メモリ２２より対応する単語を選択し応答用の文章を作成する。ここで、文章作成に用いられる単語は、“励ます・慰める”、“宥める”のように分類されて素材単語メモリ２２に用意されている。例えば、ユーザの気分が意気消沈していれば“励ます・慰める”、興奮していれば“宥める”に分類された単語を使用して応答用の文章を作成する。ステップＳ４において、応答情報作成部２１にて作成した文章を液晶ディスプレイに表示する。

本具体例では、携帯電話１は、特徴単語抽出部２７を備え、ユーザがよく使用する特徴的な単語を抽出し素材単語メモリ２２に予め用意された基本単語に対応させて蓄積している。すなわち、この特徴単語抽出部２７によって、いわゆるユーザ専用の辞書登録が自動的に行われるようになっている。ここで、図４に素材単語メモリ２２に蓄積される単語の一例を説明する。素材単語メモリ２２には、例えば、人称を表す単語、挨拶等のカテゴリに分類されて基本単語が用意されており、抽出された特徴単語がカテゴリに対応付けされて蓄積されるようになっている。

この素材単語メモリ２２に蓄積された単語を使用することによって、例えば、ユーザがメール文章において、挨拶語として朝昼夜構わず「こんちわ」という単語を多用し、そのうえ表記の一部をカタカナで記述する癖がある場合、携帯電話１は、これを抽出して素材単語メモリ２２に蓄積しておくことにより、応答情報作成部２１において文章を作成する際に、例えば、「こんちわ！元気ナイみたい、どうしたの？」というような文章を作成できる。このように応答情報作成部２１は、この素材単語メモリ２２を用いて応答用の文章を作成する際に、予め用意した文例や基本単語と組み合わせてさらにユーザが多用する単語に読み替えることにより、ユーザが携帯電話１やこの電話機に表示される架空のキャラクタに対してより親近感を抱けるような応答文章を作成することができる。

このように、携帯電話１は、使用者の心理状態に応じて、携帯電話自身が語りかけてくるような、若しくは架空のペットからメッセージが届いたかのような演出ができ、機器のエンターテインメント性を向上することができる。例えば、ユーザが通話相手と喧嘩し気分が高揚した場合には、通話が終了したときに、このときの心理状態に応じて、“宥める”内容の文章が表示される。また、ユーザが通話相手と喧嘩して、逆に気分が落ち込んだ場合には、通話が終了したときに、このときの心理状態に応じて“慰める”内容の文章が表示される。

したがって、携帯電話１は、使用者の機器に対する親密度を増進し、単なる電子機器という枠組みを超えた幅広いコミュニケーションツールとして利用できる。

続いて、本発明の別の具体例として、ネットワーク上のサーバに素材単語メモリと応答情報作成機能を備えた通信システムについて図５を用いて説明する。このようにすると携帯電話の構造を簡素化できるという利点がある。なお、上述の図１と同一名称を付けた構成は、同様の機能をもつものとして詳細な説明は省略する。

この通信システムには、アンテナ１１と、通信インターフェイス（Ｉ／Ｆ）１２と、伝送路符号化復号部１３と、ユーザの声を入力する受話部としてのマイク１４と、音声を出力するためのスピーカ１５と、受信した音声信号をディジタル信号に変換するＡ／Ｄ変換回路１６及びディジタル信号をアナログ信号に変換するＤ／Ａ変換回路１７と、ユーザの生体データを検出するセンサ部１８と、センサ部１８にて検出された生体データから特徴的な信号パターンを抽出し信号パターンに対応する心理状態を解析するセンサデータ解析部１９と、センサデータ解析部１９によって参照される心理状態メモリ２０と、これら各構成を統括して制御する制御部２５と、ユーザの操作入力を受け付ける操作入力キー２６と、表示デバイスドライバ２３と、表示部２４とを備える携帯電話２を用いる。

また、この通信システムは、携帯電話２より送られた心理状態を受信し、携帯電話２において表示する応答情報を送信する通信インターフェイス３１と、携帯電話２より送られた心理状態に応じて応答情報を生成する応答情報生成部３２と、応答情報生成部３２によって参照される素材単語メモリ３３と、これら各構成を統括制御して携帯電話２より送られた心理状態に適合した応答情報を作成して携帯電話２に送る制御を実行する制御部３４とを備えるサーバ装置３０を備え、無線又は有線によって上述の携帯電話２とネットワーク４０を介して接続されている。

この通信システムでは、例えば、ユーザが携帯電話２にて通話を終えたときに、解析された心理状態がサーバ装置３０に送られ、このサーバ装置３０にて適合する応答情報が作成されて携帯電話２に送り返されるため、携帯電話単体で本発明を実現した場合と同様に、使用者の心理状態に応じて携帯電話自身が語りかけてくるような、若しくは架空のペットからメッセージが届いたかのような演出ができ、機器のエンターテインメント性を向上することができるとともに、携帯電話の構成がより簡素化されるという利点がある。

なお、応答情報を作成する機能をネットワーク上のサーバ装置にもたせた上述の例をさらに発展させて、センサデータ解析部１９及び解析の際に参照される心理状態メモリ２０をサーバ装置側に設けてもよい。また、特徴単語を抽出する特徴単語抽出部３５を備えていてもよい。これにより携帯電話２の構成がより簡素化でき、さらに心理状態メモリの容量に制限がなくなるため、より多くの生体データに対する心理状態の情報を含めることができる。

また、上述の各例では、ユーザの心理状態に適合して作成される応答情報が文章であるとして説明したが、単語又は単語の羅列、或いはいわゆる絵文字でもよい。また、これらの作成された単語や文章をテキスト音声合成処理により音声として出力するようにしてもよい。さらに、心理状態に応じてキャラクタの表情や仕草を変化させるアニメーションであってもよいし、ユーザの気分を落ち着かせるような風景等の画像データであってもよいし、気分を和ませる又は高ぶらせるようなメロディや楽曲を含めた音声データであってもよい。もちろん、これらを組み合わせて応答情報としてもよい。

この場合、絵文字、単語や文章に対応する音声出力用のデータ、アニメーション用の画像素材、風景等の画像データ、音声データ等は、文章作成用のデータを蓄積した素材単語メモリ２２に相当するメモリに用意されており、応答情報作成部２１によって抽出され、応答用の情報が作成される。

ここで、本発明に適用可能な生体センサについて説明する。生体センサの形態は、本具体例にて説明したように本体部１０と一体化されていなくてもよい。例えば、センサ部のみを独立し検出したデータを携帯電話１に送信できるようにすれば、接触によって得られる生体データのみならずさらに多くの生体データを取得することができる。すなわち、生体センサの形態に応じて、心臓の拍動、呼吸、血中飽和酸素濃度、眼球運動、脳内血流、脳活動、身体運動等の生体現象から得られる発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）を検出できるセンサが適用可能である。本発明に使用できる生体センサのほかの例を、図６を用いて説明する。

センサ部１８に使用するセンサとしては、例えば、血流計１０１、脳波計１０２、眼球運動センサ１０３、心電計１０４、振動ジャイロ１０５、加速度センサ１０６、筋音計１０７、皮膚温度センサ１０８、体動加速度センサ１０９、皮膚導電率センサ１１０、足圧センサ１１１、脈拍計１１２等がある。血流計１０１は、人体に赤外線を放射し、その赤外光の反射により脳内血流量や血中酸素の濃度を測定する。脳波計１０２は、脳内を流れる電流を基にα波やβ波などの脳波を測定する。眼球運動センサ１０３は、頭部に取り付けられ頭部電圧を基に眼球の振動周波数成分を測定する。或いはビデオカメラでユーザの眼球の動きを検出してもよい。心電計１０４は、心筋が発信する電流を基に心拍数を計測する。振動ジャイロ１０５は、角速度を基に胸部運動や呼吸数を測定する。筋音計１０７は、人体の筋収縮時に発生する体表面微細振動を計測し疲労との関連があるとされる筋音を測定する。皮膚温度センサ１０８は、体温を計測する。皮膚導電率センサ１１０は、皮膚電気抵抗を基に発汗量を測定する。足圧センサ１１１は、人間の移動距離や動作を検出する。これらの生体センサのなかには、リストバンドタイプや指輪タイプのように軽量化し、身体に装着できるようにしたものもある。装置の操作部分等に設けることができるセンサであれば、ユーザが装置を操作しようと操作部に接触したときに生体データを測定することもできる。また、例えば、携帯電話に入力される音声データからユーザの声紋の特徴を解析することによって生体情報を解析することもできる。

上述したセンサを用いれば、より複雑な生体データを検出できるため、解析して得られる心理状態の精度があげられるうえに心理状態のバリエーションも増やせる。

携帯電話に限らず、特に使用者が常時携帯して用いる電子機器に本発明を適用することによって、電子機器のエンターテインメント性を向上することができる。これにより、使用者の電子機器に対する親密度を増進することができ、単なる電子機器という枠組みを超えた幅広いコミュニケーションツールとして利用できる。

本発明の具体例として示す携帯型電話機を説明する構成図である。基準データを３次元空間座標系に分布した図である。携帯電話が検出された生体データからユーザの心理状態を解析して応答文章を作成する方法を説明するフローチャートである。基本単語及び特徴単語が蓄積される素材単語メモリを説明する図である。本発明の別の具体例として示す通信システムを説明する図である。本発明に使用できる生体センサのほかの例を説明する模式図である。

符号の説明

１携帯電話，１０本体部，１１アンテナ，
１２通信インターフェイス，１３伝送路符号化復号化部，
１８センサ部，１９センサデータ解析部，２０心理状態メモリ，
２１応答情報作成部，２２素材単語メモリ，２７特徴単語抽出部

Claims

使用者の生体情報を検出する生体情報検出手段と、
上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、
使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、
上記抽出された単語を記憶する単語記憶手段と、
上記心理状態解析手段で解析された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、
上記生成された単語又は文章を出力する出力手段と
を備えることを特徴とする情報処理端末。
上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報であることを特徴とする請求項１記載の情報処理端末。
素材データが蓄積された蓄積手段を備え、
上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求項１記載の情報処理端末。
上記解析された心理状態を外部機器に送信し、該心理状態に基づいて外部機器にて選択された素材データを受信する送受信手段を備え、
上記情報生成手段は、上記解析された心理状態に適合した情報を上記外部機器より受信した素材データから生成することを特徴とする請求項１記載の情報処理端末。
上記出力手段は、上記情報生成手段によって生成される単語又は文章を表示する表示手段であることを特徴とする請求項１記載の情報処理端末。
上記出力手段は、上記情報生成手段によって生成される単語又は文章を、音声出力に変換する音声出力手段を備えることを特徴とする請求項１に記載の情報処理端末。
情報提供装置と情報処理端末とからなる通信システムであって、
上記情報処理端末は、
使用者の生体情報を検出する生体情報検出手段と、
上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、
上記解析された心理状態を上記情報提供装置に送信し、該心理状態に基づいて上記情報提供装置にて生成された心理状態に適合した情報としての単語又は文章を受信する送受信手段と、
上記受信した単語又は文章を出力する出力手段と
を備え、
上記情報提供装置は、
使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、
上記抽出された単語を記憶する単語記憶手段と、
上記情報処理端末から送信された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、
上記生成された単語又は文章を上記情報処理端末に送信する送信手段と
を備えることを特徴とする通信システム。
上記情報提供装置は、素材データが蓄積された蓄積手段を備え、
上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求項７記載の通信システム。
上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして上記情報処理端末に送信することを特徴とする請求項７記載の通信システム。
上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を、音声出力に変換する音声出力手段をさらに備え、
上記音声変換手段で得られた音声出力を上記情報処理端末に送信することを特徴とする請求項７記載の通信システム。
上記情報処理端末は、上記送受信手段で受信した単語又は文章を、音声出力に変換する音声出力手段をさらに備え、
上記音声出力手段で得られた音声出力を上記出力手段により出力することを特徴とする請求項７記載の通信システム。
上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報であることを特徴とする請求項７記載の通信システム。
情報提供装置と情報処理端末とからなる通信システムであって、
上記情報処理端末は、
使用者の生体情報を検出する生体情報検出手段と、
上記検出された生体情報を上記情報提供装置に送信し、該生体情報に基づいて上記情報提供装置にて生成された情報としての単語又は文章を受信する送受信手段と、
上記受信した情報を出力する出力手段と
を備え、
上記情報提供装置は、
上記送信された生体情報に対応する心理状態を解析する心理状態解析手段と、
使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、
上記抽出された単語を記憶する単語記憶手段と、
上記解析された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、
上記生成された単語又は文章を上記情報処理端末に送信する送信手段と
を備える
ことを特徴とする通信システム。
上記情報提供装置は、素材データが蓄積された蓄積手段を備え、
上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求項１３記載の通信システム。
上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして上記情報処理端末に送信することを特徴とする請求項１３記載の通信システム。
上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を、音声出力に変換する音声変換手段をさらに備え、
上記音声変換手段で得られた音声出力を上記情報処理端末に送信することを特徴とする請求項１３記載の通信システム。
上記情報処理端末は、上記送受信手段で受信した単語又は文章を、音声出力に変換する音声出力手段をさらに備え、
上記音声出力手段で得られた音声出力を上記出力手段により出力することを特徴とする請求項１３記載の通信システム。
上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報であることを特徴とする請求項１３記載の通信システム。
情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、
使用者の生体情報を検出する生体情報検出手段と、
上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、
上記解析された心理状態を上記情報提供装置に送信する送信手段と
を備える第１の通信機器と、
使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、
上記抽出された単語を記憶する単語記憶手段と、
上記第１の通信機器から送信された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、
上記生成された単語又は文章を第２の通信機器に送信する送信手段を備える情報提供装置と
からなることを特徴とする通信システム。
上記情報提供装置は、素材データが蓄積された蓄積手段を備え、
上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求項１９記載の通信システム。
上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして送信することを特徴とする請求項１９記載の通信システム。
上記第２の通信機器は、受信した単語又は文章を出力する出力手段を備え、該出力手段は、上記受信した単語又は文章を表示する表示手段であることを特徴とする請求項１９記載の通信システム。
上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を音声出力に変換する音声変換手段をさらに備え、
上記音声変換手段で得られた音声出力を上記第２の通信機器に送信することを特徴とする請求項１９記載の通信システム。
上記第２の通信機器は、音声出力として受信した単語又は文章を外部に出力する音声出力手段を備えることを特徴とする請求項２３記載の通信システム。
上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報であることを特徴とする請求項１９記載の通信システム。
情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、
使用者の生体情報を検出する生体情報検出手段と、
上記検出された生体情報を上記情報提供装置に送信する送信手段と
を備える第１の通信機器と、
上記送信された生体情報に対応する心理状態を解析する心理状態解析手段と、
使用者が作成した文章から使用頻度の高い単語を抽出する単語抽出手段と、
上記抽出された単語を記憶する単語記憶手段と、
上記解析された心理状態に適合した単語又は文章を、上記単語記憶手段に記憶された単語を使用して生成する情報生成手段と、
上記生成された単語又は文章を第２の通信機器に送信する送信手段を備える情報提供装置と
からなることを特徴とする通信システム。
上記情報提供装置は、素材データが蓄積された蓄積手段を備え、
上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求項２６記載の通信システム。
上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして送信することを特徴とする請求項２６記載の通信システム。
上記第２の通信機器は、受信した単語又は文章を出力する出力手段を備え、該出力手段は、上記受信した単語又は文章を表示する表示手段であることを特徴とする請求項２６記載の通信システム。
上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を音声出力に変換する音声変換手段をさらに備え、
上記音声変換手段で得られた音声出力を上記第２の通信機器に送信することを特徴とする請求項２６記載の通信システム。
上記第２の通信機器は、音声出力として受信した単語又は文章を外部に出力する音声出力手段を備えることを特徴とする請求項３０記載の通信システム。
上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、ＳＰＯ_２（血中酸素飽和度）の少なくとも１つ又はこれらの組み合わせから得られる情報であることを特徴とする請求項２６記載の通信システム。