WO2005016147A1

WO2005016147A1 - 情報処理端末及び通信システム

Info

Publication number: WO2005016147A1
Application number: PCT/JP2004/011706
Authority: WO
Inventors: Akiko Inoue; Yoichiro Sako; Toshiro Terauchi; Makoto Inoue; Katsuya Shirai; Yasushi Miyajima; Kenichi Makino; Motoyuki Takai
Original assignee: Sony Corporation
Priority date: 2003-08-14
Filing date: 2004-08-13
Publication date: 2005-02-24
Also published as: CN100563564C; EP1654986A1; JP4085926B2; CN1835712A; EP2974658B1; EP1654986B1; KR101143862B1; US7783487B2; EP1654986A4; KR20060052837A; EP2974658A1; US20080167861A1; JP2005058534A

Abstract

　本発明は、ユーザの生体情報を検出して情報通信に反映する携帯型電話機であり、この携帯型電話機１は生体データを検出するセンサ部１８を備える。センサ部１８で検出されたデータは、センサデータ解析部１９に送られ、心理状態メモリ２０に記憶された生体データと心理状態に基づいて検出されたデータに対応する心理状態を解析する。センサデータ解析部１９は、センサ部１８にて検出された生体データから特徴的な信号パターンを抽出し、抽出された信号パターンに対応する心理状態を解析している。心理状態には、例えば、“嬉しい・楽しい”、“意気消沈”、“興奮”等があり、生体データと対応して心理状態メモリ２０に記憶されており、センサ部１８にて生体データが検出されると、このときの心理状態を心理状態メモリ２０からこのとき最も当てはまる心理状態を選択する。

Description

'卜虫報処理端末及び通 1

技術分野

[0001] 本発明は、本発明は、ユーザの生体情報を検出して情報通信に反映する情報処理端末及び通信システムに関する。

本出願は、日本国において 2003年 8月 14日に出願された日本特許出願番号 200 3—293567を基礎として優先権を主張するものであり、この出願は参照することによ明

り、本出願に援用される。

田

背景技術

[0002] 携帯型電話機や携帯型個人情報端末 (Personal Digital Assistants ; PDA)等の情報処理端末は、ネットワークに接続する機能を備え、電子メールの送受信やいわゆるインターネットへ接続できるようになっている。また、これら携帯型電話機や PDAの普及は目覚ましぐ従来のような据置型の PC (パーソナルコンピュータ）を用いたインタ一ネット接続以上に情報処理端末による電子メールの送受信が盛んになってきている。

電子メール使用の多様性に伴って電子メールの送受信方法にも様々な形態が提案されている。単に送受信ボタンをクリックすることで行われる電子メールの送受信操作に対して、例えば機器の画面上に現れる架空のペット等のキャラクタが仮想世界で郵便を運んだり、ユーザ宛の郵便を相手のペットから受け取ったりするソフトウェアもある。このようなソフトウェアでは、ユーザがこのペットとコミュニケーションできたり、ぺットから時々メッセージを受け取ることができるような機能も用意されている。

また、別の送受信方法として、文章データにユーザの感情をできるだけ込めようと、記号の組み合わせによって描ける程度の簡単な「絵」が用意されている場合や、専用に適合した装置間でのみ有効な特殊なコードによって表される絵文字が用意されてレ、る場合もある。これらは、専用のソフトウェアも使用しないため、最も簡単で一般的である。

このように電子メールでは、画像データや音声データが添付できるとはいえ基本的にはテキストデータで表されるため、文章中に「雰囲気」や「ユーザの心情」を表現することには限界がある。

これに対して、電子メール等の送受信方法とは異なるものの、使用者の感情等の内的部分に応じて装置を制御しょうという技術も提案されている。例えば、使用者 (操作者）が装置に対して操作入力するためのインタフェース部分、例えば PCであればいわゆるマウス部分、飛行機の操縦桿やクレーン車等の作業車両であれば操縦桿にセンサを設けて、操作者の「思わず力が入る」や「手に汗を握る」といった現象を検出することで操作者の高揚感等の感情や感性を推定し、その装置の安全制御に使用する技術が特開 2001—34410号公報（特許文献 1)において提案されている。

ところ力電子メールを例とした場合、ソフトウェアに制御されたキャラクタとコミュ二ケーシヨンがとれたり、キャラクタからメールが送られたりしても、キャラクタ力の応答は、例えば、予め用意された定型文やキーワードから選択して使用しており、コミュ二ケーシヨンとはいえキャラクタ側からの一方的な内容になる場合が多い。また、応答できるにしても予め決められた応答パターンに限られており、 "雰囲気"や"ユーザの心情"に応じた表現を実現するには、やはり限界があった。

また、特許文献 1に記載の技術では、操作者の感情や感性を検出しているが、検出された感情や感性は、操作者がそのとき操作している装置自身の制御にフィードバックしているものであり、操作者の感情や感性に応じて応答するコミュニケーションツールとしての利用とは異なっている。

発明の開示

発明が解決しょうとする課題

本発明の目的は、上述したような従来の技術が有する問題点を解消することができる新規な情報処理端末及び通信システムを提供することにある。

本発明の他の目的は、使用者の生体情報から心理状態を判別し、その心理状態に合った情報が自動的に生成される情報処理端末を提供することにある。

本発明のさらに他の目的は、心理状態に合った情報を自動的に生成することによつて、情報処理端末のエンタテインメント性を向上し、コミュニケーションツールとして使用者の立場に立ったより幅広い活用が実現できる通信システムを提供することにある。

本発明に係る情報処理端末は、使用者の生体情報を検出する生体情報検出手段にて使用者の生体情報を検出し、検出した生体情報と該生体情報に対応する心理状態に基づレ、て生体情報に対応する心理状態を解析し、情報生成手段にぉレ、て、解析された心理状態に適合した情報を生成し、出力手段においてこの情報を出力する。

生体情報としては、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーシヨン）、筋電位、 SPO (血中酸素飽和度）の少なくとも 1つ又はこれらの組み合

2

わせから得られる情報を使用する。

また、情報処理端末は、素材データが蓄積された蓄積手段を備え、情報生成手段では、蓄積手段より選択した素材データを用いて使用者の心理状態に適合した情報を生成してもよい。或いは、素材蓄積手段が外部機器にあってもよぐ情報生成手段は、解析された心理状態に適合した情報を外部機器より受信した素材データから生成することもできる。特に、情報生成手段によって生成される情報は文字データで構成される単語又は文章であるとする。

また、携帯処理端末は、使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と、抽出された単語を記憶する単語記憶手段とを備え、情報生成手段は、抽出された単語を使用して文章を生成してもよい。

情報を出力する出力手段は、情報生成手段にて生成された単語又は文章を表示する表示手段であつても、情報生成手段によって生成された単語又は文章を音声出力に変換する音声出力手段であってもよい。

また、本発明に係る通信システムは、情報提供装置と情報処理端末とからなる通信システムであって、情報処理端末は、使用者の生体情報を検出し、検出した生体情報から使用者の心理状態を解析し、解析された心理状態を情報提供装置に送信する。情報提供装置では、蓄積手段より選択される素材データから、送信された心理状態に適合した情報を生成し、情報処理端末に対して、心理状態に適合した情報を送信する。情報提供装置は、素材データが蓄積された蓄積手段を備え、情報生成手段では、蓄積手段より選択した素材データを用いて使用者の心理状態に適合した情報を生成してもよい。特に、情報生成手段によって生成される情報は文字データで構成される単語又は文章であって、これらを情報処理端末に対して電子メールとして送信する

さらに、情報提供装置は、情報生成手段によって生成される単語又は文章を音声出力に変換する音声出力手段を備え、音声変換手段で得られた音声出力を情報処理端末に送信する。

2

わせから得られる情報が使用できる。

本発明に係る通信システムは、情報提供装置と情報処理端末とからなる通信システムであって、情報処理端末は、生体情報検出手段にて使用者の生体情報を検出し、これを情報提供装置に対して送信し、情報提供装置では、心理状態解析手段において、送信された生体情報力使用者の心理状態を解析し、解析された心理状態に適合した情報を生成して情報処理端末に送信する。情報提供装置は、素材データが蓄積された蓄積手段を備え、この蓄積手段より選択される素材データから、送信された生体情報に適合した情報を生成する。ここで、情報生成手段によって生成される情報は単語又は文章である。

本発明に係る他の情報提供装置は、使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と、抽出された単語を記憶する単語記憶手段とを備え、情報生成手段は、抽出された単語を使用して文章を生成してもよい。

情報を出力する出力手段は、情報生成手段にて生成された単語又は文章を表示する表示手段であっても、情報生成手段によって生成された単語又は文章を音声出力に変換する音声出力手段であってもよい。

また、生体情報としては、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーシヨン）、筋電位、 SPO (血中酸素飽和度）の少なくとも 1つ又はこれらの組

2

み合わせから得られる情報が使用できる。

本発明に係る他の通信システムは、情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、第 1の通信機器では、生体情報検出手段において使用者の生体情報を検出し、心理状態解析手段において検出された生体情報に対応する心理状態を解析し、送信手段によって解析された心理状態を情報提供装置に送信し、情報提供装置は、送信された心理状態に適合した情報を情報生成手段にて生成し、心理状態に適合した情報を第 2の通信機器に対して送信する。

情報提供装置は、素材データが蓄積された蓄積手段を備え、情報生成手段では、蓄積手段より選択した素材データを用いて使用者の心理状態に適合した情報を生成してもよレ、。特に、情報生成手段によって生成される情報は文字データで構成される単語又は文章であるとする。

また、情報提供装置は、使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と、抽出された単語を記憶する単語記憶手段とを備え、情報生成手段は、抽出された単語を使用して文章を生成してもよい。

生成された単語又は文章は、送信手段にて第 2の通信機器に対して電子メールとして送信されてもよいし、情報提供装置は、情報生成手段によって生成される単語又は文章を音声出力に変換する音声変換手段を備え、第 2の通信機器に対して音声変換手段で得られた音声出力を送信してもよい。音声出力を送信するようにした場合には、第 2の通信機器は、音声出力手段を備え、音声変換手段で変換された音声出力を音声出力手段にて出力する。

2

わせから得られる情報が使用できる。

さらにまた、本発明に係る通信システムは、情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、第 1の通信機器では、生体情報検出手段において使用者の生体情報を検出し、検出された生体情報を送信手段によって情報提供装置に送信し、情報提供装置は、送信された生体情報に対応する心理状態を心理状態解手段によって解析し、心理状態に適合した情報を情報生成手段にて生成し、心理状態に適合した情報を第 2の通信機器に対して送信する。

この通信システムに用いられる情報提供装置は、素材データが蓄積された蓄積手段を備え、情報生成手段では、蓄積手段より選択した素材データを用いて使用者の心理状態に適合した情報を生成してもよい。特に、情報生成手段によって生成される情報は文字データで構成される単語又は文章であるとする。

生体情報としては、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロパイブレーシヨン）、筋電位、 SPO (血中酸素飽和度）の少なくとも 1つ又はこれらの組み合

2

わせから得られる情報が使用できる。

本発明に係る情報処理端末は、使用者の生体情報を検出する生体情報検出手段にて使用者の生体情報を検出し、検出された生体情報と該生体情報に対応する心理状態に基づレ、て生体情報に対応する心理状態を解析し、情報生成手段にぉレ、て、解析された心理状態に適合した情報を生成し、表示手段においてこの情報を表示することにより、使用者の生体情報から判別された使用者のその時々の心理状態に適合した情報をタイミングよく表示できる。この情報処理端末の高いエンタテインメント性によって、表示される情報に使用者が共感を覚えることで使用者の心理状態を安定化したり向上させたりできる。

本発明に係る通信システムは、使用者の生体情報を検出し、生体情報に対応する心理状態を解析し、解析された心理状態を情報提供装置に送信する。情報提供装置では、蓄積手段より選択される素材データから、送信された心理状態に適合した情報を生成し、情報処理端末に対して、心理状態に適合した情報を送信することにより、使用者の生体情報から判別された使用者の心理状態に合った情報を提供できる。特に、情報生成手段によって生成される情報が文章であり、これを電子メールとして送信すれば、例えば、使用者を励ましたり慰めたり、使用者に共感してくれるような内容の文章が電子メールにて送信され、この情報処理端末のエンタテインメント性を向上することができる。

また、情報処理端末にて指定される機器に使用者の心理状態に適合した情報を送信するようにした本発明に係る通信システムによれば、従来の電子メール交換では困難であった、 "雰囲気"や"使用者の心情"の伝達を分力り易い形式で行うことができ、コミュニケーションツールとして使用者の立場に立った利用ができて有効である。本発明の更に他の目的、本発明によって得られる具体的な利点は、以下において図面を参照して説明される実施の形態の説明から一層明らかにされるであろう。図面の簡単な説明

[0004] [図 1]図 1は、本発明が適用された携帯型電話機を示すブロック図である。

[図 2]図 2は、基準データを 3次元空間座標系に分布した図である。

[図 3]図 3は、携帯型電話機が検出された生体データからユーザの心理状態を解析して応答文章を作成する方法を示すフローチャートである。

[図 4]図 4は、基本単語及び特徴単語が蓄積される素材単語メモリを説明する図である。

[図 5]図 5は、本発明に係る通信システムを示すブロック図である。

[図 6]図 6は、本発明に使用できる生体センサの他の例を示す模式図である。

発明を実施するための最良の形態

[0005] 本発明が適用される情報処理端末は、例えば、携帯型電話機や携帯型個人情報端末であって、ユーザの生体情報を検出するための生体情報検出部と、検出された生体情報から心理状態を解析する心理状態解析部とを備え、解析された心理状態に適合した情報を生成する装置である。特に、携帯型電話機とした場合、ユーザが最も接触する箇所、例えば、液晶表示部等の背面にあたる筐体背面や操作キーに接触型の生体センサを設けてユーザの生体データを検出する。

生体データには、心臓の拍動、呼吸、血中飽和酸素濃度、眼球運動、脳内血流、脳活動、身体運動等の生体現象から得られる発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーション）、筋電位、 SP〇（血中酸素飽和度）といったデー

2

タがあり、これらは、心電図測定計、筋電図測定計、頭部電圧測定計、赤外光画像強度解析、圧力センサ、温度センサ、発汗センサ等の各種測定機器により測定できる。

センサにて検出されたデータは、予め用意した心理状態との対応テーブル等を用いて解析されて心理状態が求められる。例えば、ここでユーザの気分が消沈していると解析された場合、携帯型電話機は、ユーザの気分を高揚させるような音声データや画像データや文章データを生成して表示する。

ユーザの心理状態を変化させるような、また同調するような情報の提示の方法としては種々の方式があげられる。例えば、文章データを提示する場合には、第 1の提示方法として、心理状態に合わせて作成した文章を、例えば電子メールでユーザ宛に送信されたメッセージであるかのように表示する方法があげられる。現在では、ネットワークに接続可能で電子メール送受信機能を備えた携帯型電話機が一般的になつてきているため、携帯型電話機にて生成されるユーザの心理状態に合わせた情報を電子メール形式で表示すれば、ユーザにとってより自然であり馴染み易レ、。さらに、普段ユーザが文章を作成する際に使用する特徴的な単語を素材として記憶しておき、ユーザの心理状態に応じた文章データを作成するに際して、この単語を使用すれば、ユーザにとってより親密度が増す。

第 2の提示方法としては、ユーザの生体情報をネットワーク上の管理装置等に送り、実際にネットワークを介して心理状態に応じた電子メールを受け取る方法があげられる。この場合、携帯型電話機には少なくとも生体データを検出する構成のみ設ければよいという利点と、さらに他者にこのユーザの心理状態を適切に伝えるための情報が送信できるとレ、う利点がある。

また、提示する応答情報を音声データとする場合には、取得した生体情報から解析した使用者の心理状態に合わせて作成した単語又は文章を所定のタイミングで音声として出力する。音声を出力する場合も、単語や文章をテキスト音声合成処理により音声として出力する構成を携帯型電話機が備えてレ、てもよレ、し、ネットワーク上の管理装置等にてこの処理が行われてもよい。

このように、検出された生体情報から心理状態を解析し適合した情報を表示する、若しくは使用者の心理状態に適合した情報を他者に送信するようにしたことにより、携帯型電話機のエンタテインメント性を向上し、コミュニケーションツールとして使用者の立場に立ったより幅広い利用を実現するという目的を達成した。

以下、本発明が適用された携帯型電話機を、図面を参照して詳細に説明する。本発明が適用される携帯型電話機 1は、図 1に示すように、本体部 10に、図示しない基地局との間でデータ等を送受信する構成として、アンテナ 11、通信インタフエ一ス (I/F) 12、伝送路符号ィ匕復号部 13を備えている。また、ユーザの声を入力する受話部としてのマイク 14と、音声を出力するためのスピーカ 15と、受信した音声信号をディジタル信号に変換する A/D変換回路 16及びディジタル信号をアナログ信号に変換する D/A変換回路 17とを備えている。このほかに携帯型電話機 1は、図示しないが携帯型電話機としての基本的な構成を備える。

また、携帯型電話機 1は、ユーザの生体情報を取得するためのセンサ部 18を備えていることが特徴である。携帯型電話機 1は、ユーザがポケットに入れたり手に持って使用したりと人体の一部に接触している時間が比較的長いため、このセンサ部 18は、接触によって検出可能な生体データを取得するセンサであることが好ましい。本具体例では、センサ部 18として皮膚抵抗値測定センサ、発汗センサ、特に皮膚表面温度が測定可能な温度センサを用い、これらを本体部筐体表面の一部、例えば、本体背面や操作ボタン上に設ける。このほかにも、ユーザ力 Sリラックスした状態であれば心拍数が安定しているが、驚レ、た場合や興奮した場合等には心拍数が平常時と異なる値を示すといった生体情報の特徴を利用できる。本具体例に適用できる生体センサの例については後段にて詳説する。

センサ部 18で検出された生体データは、センサデータ解析部 19に送られ、心理状態メモリ 20に記憶された生体データと心理状態との対応付けに基づいて心理状態が解析される。 "皮膚抵抗値"、 "発汗量"、 "皮膚温度"の各生体データは、実際のユーザの動作や感情状態が違っても類似するデータが現れる場合がある。しかし、例えば、気分よくて高揚している場合の興奮状態か、不快でイライラしている場合の興奮状態かによつて各生体データは微妙に異なっている。そのため、センサデータ解析部 19は、センサ部 18にて検出された生体データから特徴的な信号パターンを抽出し、抽出された信号パターンに対応する心理状態を解析している。本具体例では、心理状態には、例えば"嬉しい'楽しい""意気消沈"、 "興奮"等があり、生体データとに対応して心理状態メモリ 20に記憶されており、センサ部 18にて生体データが検出されると、センサデータ解析部 19は、このとき最もあてはまる心理状態を心理状態メモリ 20から選択している。

センサデータ解析部 19における解析処理に際しては、基準データ、すなわち平常心であること又は落ち込んでいることなどを示す各センサデータの範囲を予めメモリに記憶して用意する力 \若しくは制御部 25がユーザに対して平常時の生体データを測定するよう明示的に指示する処理や、一定期間毎に自動的にデータを検出して検出データの分布をとつて統計的に各心理状態を検出する処理等を実行することによつて、事前にユーザの基準データを確定しておく。例えば、本具体例のように"皮膚抵抗値"、 "発汗量"、 "皮膚温度"の 3つの生体データを用いた場合、図 2に示すように、これらのセンサデータを 3次元空間座標系に割り当て、心理状態を分類する"空間領域"として基準データを分類することもできる。図 2において、基準データ Aは平常状態を示し、基準データ Bは興奮状態を示すものとする。

使用可能な生体データは、ユーザの感情状態、心理状態、体調等を定量的に評価できるデータであればよぐここに例示した項目に限らない。心理状態の解析方法としては、上述のような対応テーブルから選択する方法のほか、生体データから直接心理状態が算出できるようなアルゴリズム等があればこれを用いることができる。携帯型電話機 1は、また応答情報生成部 21を備え、上述して解析された心理状態に適合した応答情報として文章データ (テキスト）を生成する。応答情報作成部 21は、解析された心理状態に対応して、例えば、ユーザの気分が意気消沈していれば" 励ます'慰める"

、興奮していれば"宥める"単語を使用して応答用の単語又は文章を作成し、この携帯型電話機 1がユーザに対して送ったかのように表示する。ここで、文章作成に用いられる単語は、 "励ます'慰める"、 "宥める"のように分類されて素材単語メモリ 22に用意されている。

本発明では、機器の画面上に現れる架空のペット等のキャラクタが仮想世界で郵便を運んだり、ユーザ宛の郵便を通信相手のキャラクタから受け取ったりすることを可能にしたソフトウェアと併用している。すなわち、この携帯型電話機 1では、生体データから解析されたユーザの心理状態に基づいて、素材単語メモリ 22を参照して作成された文章がキャラクタから送信されたかのように表示される。例えば、ユーザが落ち込んでいると解析された場合にはユーザを励ましたり慰めたりする内容のメール、ュ一ザが嬉しいと感じていると解析された場合にはこのキャラクタも一緒に喜んでいるような内容のメールである。生成された文章データは、表示デバイスドライバ 23によつて表示部 24に表示される。表示部 24には、液晶ディスプレイを用いる。

本発明に係る携帯型電話機 1は、 CPUと、 CPUの動作を実行するためのプロダラムゃ設定情報等が記憶された ROM、 CPUの作業領域としての RAMを備える制御部 25によって統括制御されており、必要に応じて操作入力キー 26からユーザの指示及び選択を受け付ける。場合によつてこの入力に応じた処理が実行される。特に、制御部 25は、 ROMに格納されたプログラムによって、ユーザの生体データから解析された心理状態に適合した応答情報を作成する処理や、後述するが、ユーザが作成した文章から特徴単語を抽出する処理等を実行している。本体部 10に設けられる各記憶部は、半導体メモリであるが、データを保持しておける媒体であれば種類は問わない。また、各記憶部は物理的に 1つの記録媒体の論理領域を分離したものであつてもよい。

次に、検出された生体データからユーザの心理状態を解析して応答文章を作成する方法に関して図 3を用いて説明する。携帯型電話機 1は、ステップ S1において生体データを検出し、ステップ S2において、図 2に例示した心理状態の分類と、検出した生体データとを対応させて心理状態を決定する。決定した心理状態は、応答情報作成部 21に送られる。ステップ S3において、応答情報作成部 21は、素材単語メモリ 22より対応する単語を選択し応答用の文章を作成する。ここで、文章作成に用いられる単語は、 "励ます '慰める"、 "宥める "のように分類されて素材単語メモリ 22に用意されている。例えば、ユーザの気分が意気消沈していれば"励ます ·慰める"、興奮していれば"宥める"に分類された単語を使用して応答用の文章を作成する。ステップ S4において、応答情報作成部 21にて作成した文章を液晶ディスプレイに表示する。

本具体例では、携帯型電話機 1は、特徴単語抽出部 27を備え、ユーザがよく使用する特徴的な単語を抽出し素材単語メモリ 22に予め用意された基本単語に対応させて蓄積している。すなわち、この特徴単語抽出部 27によって、いわゆるユーザ専用の辞書登録が自動的に行われるようになっている。ここで、図 4に素材単語メモリ 2 2に蓄積される単語の一例を説明する。素材単語メモリ 22には、例えば、人称を表す単語、挨拶等のカテゴリに分類されて基本単語が用意されており、抽出された特徴単語がカテゴリに対応付けされて蓄積される。

この素材単語メモリ 22に蓄積された単語を使用することによって、例えば、ユーザカール文章において、挨拶語として朝昼夜構わず「こんちわ」という単語を多用し、そのうえ表記の一部をカタカナで記述する癖がある場合、携帯型電話機 1は、これを抽出して素材単語メモリ 22に蓄積しておくことにより、応答情報作成部 21において文章を作成する際に、例えば、「こんちわ！元気ナイみたい、どうしたの？」というような文章を作成できる。このように応答情報作成部 21は、この素材単語メモリ 22を用いて応答用の文章を作成する際に、予め用意した文例や基本単語と組み合わせてさらにユーザが多用する単語に読み替えることにより、ユーザが携帯型電話機 1やこの電話機に表示される架空のキャラクタに対してより親近感を抱けるような応答文章を作成すること力 Sできる。

このように、携帯型電話機 1は、使用者の心理状態に応じて、携帯型電話機自身が語りかけてくるような、若しくは架空のペットからメッセージが届いたかのような演出ができ、機器のエンタテインメント性を向上することができる。例えば、ユーザが通話相手と喧嘩し気分が高揚した場合には、通話が終了したときに、このときの心理状態に応じて、 "宥める"内容の文章が表示される。また、ユーザが通話相手と喧嘩して、逆に気分が落ち込んだ場合には、通話が終了したときに、このときの心理状態に応じて "慰める"内容の文章が表示される。

したがって、携帯型電話機 1は、使用者の機器に対する親密度を増進し、単なる電子機器という枠組みを超えた幅広いコミュニケーションツールとして利用できる。続いて、本発明の例として、ネットワーク上のサーバに素材単語メモリと応答情報作成機能を備えた通信システムについて図 5を用いて説明する。このようにすると携帯型電話機の構造を簡素化できるという利点がある。なお、上述の図 1と同一符号を付した構成は、同様の機能をもつものとして詳細な説明は省略する。

この通信システムには、アンテナ 11と、通信インタフェース（I/F) 12と、伝送路符号化復号部 13と、ユーザの声を入力する受話部としてのマイク 14と、音声を出力するためのスピーカ 15と、受信した音声信号をディジタル信号に変換する A/D変換回路 16及びディジタル信号をアナログ信号に変換する D/A変換回路 17と、ユーザの生体データを検出するセンサ部 18と、センサ部 18にて検出された生体データから特徴的な信号パターンを抽出し信号パターンに対応する心理状態を解析するセンサデータ解析部 19と、センサデータ解析部 19によって参照される心理状態メモリ 20と、これら各構成を統括して制御する制御部 25と、ユーザの操作入力を受け付ける操作入力キー 26と、表示デバイスドライバ 23と、表示部 24とを備える携帯型電話機 2を用いる。

また、この通信システムは、携帯型電話機 2より送られた心理状態を受信し、携帯型電話機 2において表示する応答情報を送信する通信インタフェース 31と、携帯型電話機 2より送られた心理状態に応じて応答情報を生成する応答情報生成部 32と、応答情報生成部 32によって参照される素材単語メモリ 33と、これら各構成を統括制御して携帯型電話機 2より送られた心理状態に適合した応答情報を作成して携帯型電話機 2に送る制御を実行する制御部 34とを備えるサーバ装置 30を備え、無線又は有線によって上述の携帯型電話機 2とネットワーク 40を介して接続されている。この通信システムでは、例えば、ユーザが携帯型電話機 2にて通話を終えたときに、解析された心理状態がサーバ装置 30に送られ、このサーバ装置 30にて適合する応答情報が作成されて携帯型電話機 2に送り返されるため、携帯型電話機単体で本発明を実現した場合と同様に、使用者の心理状態に応じて携帯型電話機自身が語りかけてくるような、若しくは架空のペットからメッセージが届いたかのような演出ができ、機器のエンタテインメント性を向上することができるとともに、携帯型電話機の構成がより簡素化されるという利点がある。

なお、応答情報を作成する機能をネットワーク上のサーバ装置にもたせた上述の例をさらに発展させて、センサデータ解析部 19及び解析の際に参照される心理状態メモリ 20をサーバ装置側に設けてもよい。また、特徴単語を抽出する特徴単語抽出部 35を備えていてもよい。これにより携帯型電話機 2の構成がより簡素化でき、さらに心理状態メモリの容量に制限がなくなるため、より多くの生体データに対する心理状態の情報を含めることができる。

また、上述の各例では、ユーザの心理状態に適合して作成される応答情報が文章であるとして説明した力 S、単語又は単語の羅列、或いはいわゆる絵文字でもよレ、。また、これらの作成された単語や文章をテキスト音声合成処理により音声として出力するようにしてもよレ、。さらに、心理状態に応じてキャラクタの表情や仕草を変化させるァ二メーシヨンであってもよレ、し、ユーザの気分を落ち着かせるような風景等の画像データであってもよいし、気分を和ませる又は高ぶらせるようなメロディや楽曲を含めた音声データであってもよい。もちろん、これらを組み合わせて応答情報としてもよい。この場合、絵文字、単語や文章に対応する音声出力用のデータ、アニメーション用の画像素材、風景等の画像データ、音声データ等は、文章作成用のデータを蓄積した素材単語メモリ 22に相当するメモリに用意されており、応答情報作成部 21によつて抽出され、応答用の情報が作成される。

ここで、本発明に適用可能な生体センサについて説明する。生体センサの形態は、本具体例にて説明したように本体部 10と一体化されていなくてもよい。例えば、センサ部のみを独立し検出したデータを携帯型電話機 1に送信できるようにすれば、接触によって得られる生体データのみならずさらに多くの生体データを取得することができる。すなわち、生体センサの形態に応じて、心臓の拍動、呼吸、血中飽和酸素濃度、眼球運動、脳内血流、脳活動、身体運動等の生体現象から得られる発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーション）、筋電位、 SPO (血中

2 酸素飽和度）を検出できるセンサが適用可能である。本発明に使用できる生体センサの他の例を、図 6を用いて説明する。

センサ部 18に使用するセンサとしては、例えば、血流計 101、脳波計 102、眼球運動センサ 103、心電計 104、振動ジャイロ 105、加速度センサ 106、筋音計 107、皮膚温度センサ 108、体動加速度センサ 109、皮膚導電率センサ 110、足圧センサ 11 1、脈拍計 112等がある。血流計 101は、人体に赤外線を放射し、その赤外光の反射により脳内血流量や血中酸素の濃度を測定する。脳波計 102は、脳内を流れる電流を基にひ波や /3波などの脳波を測定する。眼球運動センサ 103は、頭部に取り付けられ頭部電圧を基に眼球の振動周波数成分を測定する。或いはビデオカメラでュ一ザの眼球の動きを検出してもよい。心電計 104は、心筋が発信する電流を基に心拍数を計測する。振動ジャイロ 105は、角速度を基に胸部運動や呼吸数を測定する。筋音計 107は、人体の筋収縮時に発生する体表面微細振動を計測し疲労との関連があるとされる筋音を測定する。皮膚温度センサ 108は、体温を計測する。皮膚導電率センサ 110は、皮膚電気抵抗を基に発汗量を測定する。足圧センサ 111は、人間の移動距離や動作を検出する。これらの生体センサのなかには、リストバンドタイプや指輪タイプのように軽量化し、身体に装着できるようにしたものもある。装置の操作部分等に設けることができるセンサであれば、ユーザが装置を操作しようと操作部に接触したときに生体データを測定することもできる。また、例えば、携帯型電話機に入力される音声データからユーザの声紋の特徴を解析することによって生体情報を解析することちできる。

上述したセンサを用いれば、より複雑な生体データを検出できるため、解析して得られる心理状態の精度があげられるうえに心理状態のバリエーションも増やせる。なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなぐ様々な変更、置換又はその同等のものを行うことができることは当業者にとって明らかである。

産業上の利用可能性

本発明は、携帯型電話機に限らず、特に使用者が常時携帯して用いる電子機器に本発明を適用することによって、電子機器のエンタテインメント性を向上することができる。これにより、使用者の電子機器に対する親密度を増進することができ、単なる電子機器という枠組みを超えた幅広いコミュニケーションツールとして利用できる。

Claims

請求の範囲

[1] 1.使用者の生体情報を検出する生体情報検出手段と、

上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、上記解析された心理状態に適合した情報を生成する情報生成手段と、上記生成された情報を出力する出力手段と

を備えることを特徴とする情報処理端末。

[2] 2.上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロパイブレーシヨン）、筋電位、 SPO (血中酸素飽和度）の少なくとも 1つ又はこれらの組み合

2

わせから得られる情報であることを特徴とする請求の範囲第 1項記載の情報処理端末。

[3] 3.素材データが蓄積された蓄積手段を備え、

上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求の範囲第 1項記載の情報処理端末。

[4] 4.上記解析された心理状態を外部機器に送信し、該心理状態に基づいて外部機器にて選択された素材データを受信する送受信手段を備え、

上記情報生成手段は、上記解析された心理状態に適合した情報を上記外部機器より受信した素材データから生成することを特徴とする請求の範囲第 1項記載の情報処理端末。

[5] 5.上記情報生成手段によって生成される情報は、単語又は文章であることを特徴とする請求の範囲第 1項記載の情報処理端末。

[6] 6.使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と上記抽出された単語を記憶する単語記憶手段とを備え、

上記情報生成手段は、上記抽出された単語を使用して単語又は文章を生成することを特徴とする請求の範囲第 5項記載の情報処理端末。

[7] 7.上記出力手段は、上記情報生成手段によって生成される単語又は文章を表示する表示手段であることを特徴とする請求の範囲第 5項記載の情報処理端末。

[8] 8.上記出力手段は、上記情報生成手段によって生成される単語又は文章を、音声出力に変換する音声出力手段を備えることを特徴とする請求の範囲第 5項記載の情報処理端末。

[9] 9.情報提供装置と情報処理端末とからなる通信システムであって、

上記情報処理端末は、使用者の生体情報を検出する生体情報検出手段と、上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、上記解析された心理状態を上記情報提供装置に送信し、該心理状態に基づいて上記情報提供装置にて生成された心理状態に適合した情報を受信する送受信手段と、上記受信した情報を出力する出力手段とを備え、

上記情報提供装置は、上記送信された心理状態に適合した情報を生成する情報生成手段と、上記生成された情報を上記情報処理端末に送信する送信手段とを備えることを特徴とする通信システム。

[10] 10.上記情報提供装置は、素材データが蓄積された蓄積手段を備え、

上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求の範囲第 9項記載の通

[11] 11.上記情報生成手段によって生成される情報は単語又は文章であることを特徴とする請求の範囲第 9項記載の通信システム。

[12] 12.上記情報提供装置は、使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段とを備え、上記情報生成手段は、上記抽出された単語を使用して単語又は文章を生成することを特徴とする請求の範囲第 11項記載の通信システム。

[13] 13.上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして上記情報処理端末に送信することを特徴とする請求の範囲第 11項記載の通信システム。

[14] 14.上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を、音声出力に変換する音声出力手段をさらに備え、上記音声変換手段で得られた音声出力を上記情報処理端末に送信することを特徴とする請求の範囲第 11項記載の通信システム。

[15] 15.上記情報処理端末は、上記送受信手段で受信した単語又は文章を、音声出力に変換する音声出力手段をさらに備え、

上記音声出力手段で得られた音声出力を上記出力手段により出力することを特徴とする請求の範囲第 11項記載の通信システム。

[16] 16.上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーシヨン）、筋電位、 SP〇（血中酸素飽和度）の少なくとも 1つ又はこれらの組み

2

合わせから得られる情報であることを特徴とする請求の範囲第 9項記載の通信システム。

[17] 17.情報提供装置と情報処理端末とからなる通信システムであって、

上記情報処理端末は、使用者の生体情報を検出する生体情報検出手段と、上記検出された生体情報を上記情報提供装置に送信し、該生体情報に基づレ、て上記情報提供装置にて生成された情報を受信する送受信手段と、上記受信した情報を出力する出力手段とを備え、

上記情報提供装置は、上記送信された生体情報に対応する心理状態を解析する心理状態解析手段と、上記解析された心理状態に適合した情報を生成する情報生成手段と、上記生成された情報を上記情報処理端末に送信する送信手段とを備えることを特徴とする通信システム。

[18] 18.上記情報提供装置は、素材データが蓄積された蓄積手段を備え、

上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求の範囲第 17項記載の通信システム。

[19] 19.上記情報生成手段によって生成される情報は単語又は文章であることを特徴とする請求の範囲第 17項記載の通信システム。

[20] 20.上記情報提供装置は、使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段とを備え、上記情報生成手段は、上記抽出された単語を使用して単語又は文章を生成することを特徴とする請求の範囲第 19項記載の通信システム。

[21] 21.上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして上記情報処理端末に送信することを特徴とする請求の範囲第 19項記載の通信システム。

[22] 22.上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を

、音声出力に変換する音声出力手段をさらに備え、

上記音声変換手段で得られた音声出力を上記情報処理端末に送信することを特徴とする請求の範囲第 19項記載の通信システム。

[23] 23.上記情報処理端末は、上記送受信手段で受信した単語又は文章を、音声出力に変換する音声出力手段をさらに備え、

上記音声出力手段で得られた音声出力を上記出力手段により出力することを特徴とする請求の範囲第 19項記載の通信システム。

[24] 24.上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーシヨン）、筋電位、 SPO (血中酸素飽和度）の少なくとも 1つ又はこれらの組み

2

合わせから得られる情報であることを特徴とする請求の範囲第 17項記載の通信システム。

[25] 25.情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、

使用者の生体情報を検出する生体情報検出手段と、

上記検出された生体情報に対応する心理状態を解析する心理状態解析手段と、上記解析された心理状態を上記情報提供装置に送信する送信手段とを備える第 1の通信機器と、

上記送信された心理状態に適合した情報を生成する情報生成手段と、上記心理状態に適合した情報を第 2の通信機器に送信する送信手段を備える情報提供装置と

力なることを特徴とする通信 >

[26] 26.上記情報提供装置は、素材データが蓄積された蓄積手段を備え、上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求の範囲第 25項記載の通信システム。

[27] 27.上記情報生成手段によって生成される情報は単語又は文章であることを特徴とする請求の範囲第 25項記載の通信システム。

[28] 28.上記情報提供装置は、使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段とを備え、上記情報生成手段は、上記抽出された単語を使用して単語又は文章を生成することを特徴とする請求の範囲第 27項記載の通信システム。

[29] 29.上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして送信することを特徴とする請求の範囲第 27項記載の通信システム。

[30] 30.上記第 2の通信機器は、受信した単語又は文章を出力する出力手段を備え、該出力手段は、上記受信した単語又は文章を表示する表示手段であることを特徴とする請求の範囲第 29項記載の通信システム。

[31] 31.上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を音声出力に変換する音声変換手段をさらに備え、

上記音声変換手段で得られた音声出力を上記第 2の通信機器に送信することを特徴とする請求の範囲第 27項記載の通信システム。

[32] 32.上記第 2の通信機器は、音声出力として受信した単語又は文章を外部に出力する音声出力手段を備えることを特徴とする請求の範囲第 31項記載の通信システム。

[33] 33.上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーシヨン）、筋電位、 SP〇（血中酸素飽和度）の少なくとも 1つ又はこれらの組み

2

合わせから得られる情報であることを特徴とする請求の範囲第 25項記載の通信システム。

[34] 34.情報提供装置を介して通信機器間の情報通信が可能とされている通信システムにおいて、使用者の生体情報を検出する生体情報検出手段と、

上記検出された生体情報を上記情報提供装置に送信する送信手段とを備える第 1の通信機器と、

上記送信された生体情報に対応する心理状態を解析する心理状態解析手段と、上記解析された心理状態に適合した情報を生成する情報生成手段と、上記心理状態に適合した情報を第 2の通信機器に送信する送信手段を備える情報提供装置と

力もなることを特徴とする通信システム。

[35] 35.上記情報提供装置は、素材データが蓄積された蓄積手段を備え、

上記情報生成手段は、上記解析された心理状態に適合した情報を上記蓄積手段より選択される素材データから生成することを特徴とする請求の範囲第 34項記載の通信システム。

[36] 36.上記情報生成手段によって生成される情報は単語又は文章であることを特徴とする請求の範囲第 34項記載の通信システム。

[37] 37.上記情報提供装置は、使用者が作成した文章にて使用された特徴的な単語を抽出する単語抽出手段と、上記抽出された単語を記憶する単語記憶手段とを備え、上記情報生成手段は、上記抽出された単語を使用して単語又は文章を生成することを特徴とする請求の範囲第 36項記載の通信システム。

[38] 38.上記情報提供装置における上記送信手段では、該単語又は文章を電子メールとして送信することを特徴とする請求の範囲第 36項記載の通信システム。

[39] 39.上記第 2の通信機器は、受信した単語又は文章を出力する出力手段を備え、該出力手段は、上記受信した単語又は文章を表示する表示手段であることを特徴とする請求の範囲第 36項記載の通信システム。

[40] 40.上記情報提供装置は、上記情報生成手段によって生成される単語又は文章を音声出力に変換する音声出力手段をさらに備え、

上記音声変換手段で得られた音声出力を上記第 2の通信機器に送信することを特徴とする請求の範囲第 36項記載の通信システム。

[41] 41.上記第 2の通信機器は、音声出力として受信した単語又は文章を外部に出力する音声出力手段を備えることを特徴とする請求の範囲第 40項記載の通信 >

[42] 42.上記生体情報は、発汗、心拍、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、 MV (マイクロバイブレーシヨン）、筋電位、 SP〇（血中酸素飽和度）の少なくとも 1つ又はこれらの組み

2

合わせから得られる情報であることを特徴とする請求の範囲第 34項記載の通信システム。