JP3953468B2 - 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム - Google Patents

通信装置、通信方法、通信プログラムおよびそれを用いた通信システム Download PDF

Info

Publication number
JP3953468B2
JP3953468B2 JP2004048843A JP2004048843A JP3953468B2 JP 3953468 B2 JP3953468 B2 JP 3953468B2 JP 2004048843 A JP2004048843 A JP 2004048843A JP 2004048843 A JP2004048843 A JP 2004048843A JP 3953468 B2 JP3953468 B2 JP 3953468B2
Authority
JP
Japan
Prior art keywords
user
communication
unit
call
psychological state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004048843A
Other languages
English (en)
Other versions
JP2005244375A (ja
Inventor
一也 冷水
昌和 浅野
昌彦 橋本
広和 源野
徹 桜井
定彦 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Tottori Sanyo Electric Co Ltd
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tottori Sanyo Electric Co Ltd, Sanyo Electric Co Ltd filed Critical Tottori Sanyo Electric Co Ltd
Priority to JP2004048843A priority Critical patent/JP3953468B2/ja
Publication of JP2005244375A publication Critical patent/JP2005244375A/ja
Application granted granted Critical
Publication of JP3953468B2 publication Critical patent/JP3953468B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Telephone Function (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、種々の情報の授受を行うための通信装置、通信方法、通信プログラムおよびそれを用いた通信システムに関する。
近年、ストレスに代表されるように人間の心理状態に対する注目が高まっている。それとともに、手軽に心理状態を推定し、推定された心理状態に応じて使用者の心理状態をより安定した状態に誘導するための装置が案出されている。
例えば、皮膚電気抵抗値に基づいてストレス状態を測定し、測定されたストレス状態をセンターサーバとの間で送受信することにより使用者のストレス度合いを推定し、推定されたストレス度合いに基づいて使用者へのリラックス情報を提示する携帯通信機が提案されている(例えば、特許文献1参照)。
特開2003−153905号公報
ところで、人間の心理状態は様々な局面で変化する。特に、人間の心理状態は外部からの影響を受けやすい。例えば、人間は、嫌悪感を有する他人と会話する場合と好意を有する他人と会話する場合とでは、心理状態が異なる。
しかしながら、上記の携帯通信機では、会話の相手に依存して変化するストレス状態を測定することはできない。
また、上記の携帯通信機では、医者等の診断者との会話により得られる診断結果に基づくアドバイスを受けることは困難である。
さらに、人間の生体情報の測定は使用者が測定状態にあることを意識しないように行うことが好ましい。しかしながら、上記の携帯通信機では、使用者は皮膚電気抵抗値の測定時に、入力手段の下部に設けられた電極に指を置く必要がある。したがって、使用者は自己が皮膚電気抵抗値の測定を行っていることを意識せざるを得ない。
本発明の目的は、通信相手に依存する生体情報を取得可能な通信装置、通信方法、通信プログラムおよびそれを用いた通信システムを提供することである。
本発明の他の目的は、診断者との会話による診断結果に基づくアドバイスを容易に取得することができる通信システムを提供することである。
本発明の他の目的は、使用者が意識することなく生体情報を簡単に検出することができる通信装置を提供することである。
(1)第1の発明に係る通信装置は、音声を音声信号として送信および受信することにより情報の通信を行う通話手段と、通話手段による通信に関連する操作を行うために使用者により操作される操作手段と、使用者の生体情報を検出するための検出手段と、操作手段の操作に基づいて通話手段の動作を制御するとともに、使用者による操作手段の操作時または通話手段による通信時に使用者の生体情報を検出するように検出手段を制御する制御手段と、通話手段により受信された音声信号に基づいて通話相手が発声する音声が使用者への質問であるか否かを判別する音声判別手段とを備え、制御手段は、音声判別手段により通話相手が発声する音声が使用者への質問であると判別されたときに使用者の生体情報を検出するように検出手段を制御するものである。
この通信装置においては、使用者による操作手段の操作に基づいて制御手段により通話手段の動作が制御される。また、使用者が通信装置の操作手段により任意の相手に対する通信に関連する操作を行っているときまたは使用者が通話手段により任意の相手に通信を行っているときに、使用者の生体情報が検出されるように検出手段が制御手段により制御される。したがって、使用者が意識する相手に依存する生体情報を取得することができる。
また、使用者が通話手段により任意の通話相手と音声による通話を行っているときに、使用者の生体情報が検出される。それにより、通話相手に依存する生体情報を取得することができる。
さらに、通話手段により受信された音声信号に基づいて通話相手が発声する音声が使用者への質問であるか否かが音声判別手段により判別され、通話相手が発声する音声が使用者への質問であると判別されたときに使用者の生体情報が検出される。それにより、通話相手および通話内容に依存する生体情報を取得することができる。
(2)の発明に係る通信装置は、情報の通信を行う通信手段と、通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、使用者の生体情報を検出するための検出手段と、操作手段の操作に基づいて通信手段の動作を制御するとともに、使用者による操作手段の操作時または通信手段による通信時に使用者の生体情報を検出するように検出手段を制御する制御手段と、検出手段による生体情報の検出時に使用者の音声を記録する音声記録手段と、検出手段により検出された生体情報が所定のしきい値を超えたか否かを判定する判定手段とを備え、音声記録手段は、判定手段により生体情報が所定のしきい値を超えたと判定された場合に、しきい値を超えた時点を含む所定時間の使用者の音声を記録するものである。
この通信装置においては、使用者による操作手段の操作に基づいて制御手段により通信手段の動作が制御される。また、使用者が通信装置の操作手段により任意の相手に対する通信に関連する操作を行っているときまたは使用者が通信手段により任意の相手に通信を行っているときに、使用者の生体情報が検出されるように検出手段が制御手段により制御される。したがって、使用者が意識する相手に依存する生体情報を取得することができる。
また、検出手段による生体情報の検出時に使用者の音声が音声記録手段により記録される。それにより、使用者は、相手に依存する使用者の音声の状態を記録内容に基づいて容易に把握することができる。
さらに、検出手段により検出された生体情報が所定のしきい値を超えたか否かが判定手段により判定され、生体情報が所定のしきい値を超えたと判定された場合に、しきい値を超えた時点を含む所定時間の使用者の音声が音声記録手段により記録される。それにより、使用者は、相手に依存して生体情報が大きく反応した場合の音声の状態を記録内容により容易に把握することができる。
(3)通信装置は、検出手段により検出された生体情報に基づいて使用者の心理状態を推定する推定手段をさらに備えてもよい。
この場合、検出手段により検出された生体情報に基づいて使用者の心理状態が推定手段により推定される。それにより、通信相手に依存した使用者の心理状態を認識することができる。
(4)の発明に係る通信装置は、情報の通信を行う通信手段と、通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、使用者の生体情報を検出するための検出手段と、操作手段の操作に基づいて通信手段の動作を制御するとともに、使用者による操作手段の操作時または通信手段による通信時に使用者の生体情報を検出するように検出手段を制御する制御手段と、検出手段により検出された生体情報に基づいて使用者の心理状態を推定する推定手段と、通信相手を特定するための個人情報データを記憶するとともに、個人情報データにより特定される通信相手ごとに、推定手段により推定された使用者の心理状態を記憶する記憶手段とを備えたものである。
この通信装置においては、使用者による操作手段の操作に基づいて制御手段により通信手段の動作が制御される。また、使用者が通信装置の操作手段により任意の相手に対する通信に関連する操作を行っているときまたは使用者が通信手段により任意の相手に通信を行っているときに、使用者の生体情報が検出されるように検出手段が制御手段により制御される。したがって、使用者が意識する相手に依存する生体情報を取得することができる。
また、検出手段により検出された生体情報に基づいて使用者の心理状態が推定手段により推定される。それにより、通信相手に依存した使用者の心理状態を認識することができる。
さらに、個人情報データが記憶手段により記憶される。そして、推定手段により推定された使用者の心理状態が記憶手段により個人情報データで特定される通信相手ごとに記憶される。それにより、使用者は、記憶手段の記憶内容に基づいて相手に依存する心理状態および心理状態の履歴を容易に確認することができる。
(5)通信手段は、着信時に使用者に着信を認識されるための着信動作を行い、制御手段は、記憶手段に記憶された使用者の心理状態に基づいて通信手段による着信動作を制御していもよい。
この場合、記憶手段に記憶された使用者の心理状態に基づいて通信手段による着信動作が制御される。それにより、使用者は、着信時に発信相手に依存する心理状態を着信動作により容易に認識することができる。
(6)推定手段は、検出手段により検出された生体情報に基づいて使用者の心理状態として使用者の緊張度合いを推定してもよい。
この場合、検出手段により検出された生体情報に基づいて使用者の緊張度合いが推定手段により推定される。それにより、通信相手に依存した使用者の緊張度合いを認識することができる。
(7)推定手段は、検出手段により検出された生体情報に基づいて使用者の心理状態として使用者のうそを推定してもよい。
この場合、検出手段により検出された生体情報に基づいて使用者のうそが推定手段により推定される。それにより、通信相手に依存した使用者のうそを認識することができる。
(8)推定手段は、検出手段により検出された生体情報に基づいて使用者の心理状態として使用者の喜怒哀楽を推定してもよい。
この場合、検出手段により検出された生体情報に基づいて使用者の喜怒哀楽が推定手段により推定される。それにより、通信相手に依存した使用者の喜怒哀楽を認識することができる。
(9)通信装置は、推定手段により推定された使用者の心理状態を示す情報を音声として出力する音声出力手段をさらに備えてもよい。
この場合、推定手段により推定された使用者の心理状態を示す情報が音声出力手段により音声として出力される。それにより、使用者は、通信相手に依存する心理状態を容易に認識することができる。
(10)通信装置は、推定手段により推定された使用者の心理状態を示す情報を表示する表示手段をさらに備えてもよい。
この場合、推定手段により推定された使用者の心理状態を示す情報が表示手段により表示される。それにより、使用者は、通信相手に依存する心理状態を容易に認識することができる。
(11)通信装置は、推定手段により推定された使用者の心理状態を変化させるための情報を出力する情報出力手段をさらに備えてもよい。
この場合、推定手段により推定された使用者の心理状態に基づいて使用者の心理状態を変化させるための情報が情報出力手段により出力される。それにより、通信相手に依存する使用者の心理状態を変化させることができる。
(12)の発明に係る通信装置は、電子メールをデータ信号として送信および受信することにより情報の通信を行う電子メール通信手段と、電子メール通信手段による通信に関連する操作を行うために使用者により操作され、電子メールの作成、送信、受信または閲覧するための操作を行う電子メール操作部と、使用者の生体情報を検出するための検出手段と、電子メール操作部の操作に基づいて電子メール通信手段の動作を制御するとともに、使用者による電子メール操作部の操作時に使用者の生体情報を検出するように検出手段を制御する制御手段と、検出手段により検出された生体情報に基づいて使用者の心理状態を推定する推定手段と、推定手段により推定された使用者の心理状態を示す情報を電子メール操作部により作成される電子メールに挿入する挿入手段とを備えるものである。
この通信装置においては、使用者による操作手段の操作に基づいて制御手段により電子メール通信手段の動作が制御される。また、使用者が電子メール通信装置の電子メール操作部により任意の相手に対する通信に関連する操作を行っているときまたは使用者が電子メール通信手段により任意の相手に通信を行っているときに、使用者の生体情報が検出されるように検出手段が制御手段により制御される。したがって、使用者が意識する相手に依存する生体情報を取得することができる。
また、使用者が電子メール操作部を操作することにより任意の相手に送信する電子メールの作成または送信を行っているとき、または任意の相手からの電子メールを受信または閲覧しているときに、使用者の生体情報が検出される。それにより、電子メールの相手または電子メールの内容に依存する生体情報を取得することができる。
さらに、検出手段により検出された生体情報に基づいて使用者の心理状態が推定手段により推定される。そして、推定された使用者の心理状態を示す情報が電子メール操作部により作成される電子メールに挿入手段により挿入される。その結果、使用者の心理状態を示す情報が挿入された電子メールが相手に送信される。
(13)通信装置は、環境状態を示す環境情報を取得する取得手段と、取得手段により取得された環境情報に基づいて検出手段により検出された使用者の生体情報の変化状態を補正する補正手段とをさらに備えてもよい。ここで変化状態とは、例えば変化量、変化の勾配、ある特定時間内における変化量の累積、変化のばらつき等がある。
この場合、環境状態を示す環境情報が取得手段により取得され、取得された環境情報に基づいて検出された使用者の生体情報の変化量等が補正手段により補正される。それにより、環境状態に応じて変化する使用者の生体情報の変化量等を正確に取得することができるとともに、使用者の心理状態の推定精度を向上することができる。
(14)の発明に係る通信プログラムは、音声を音声信号として送信および受信することにより情報の通信を行う通話手段と、通話手段による通信に関連する操作を行うために使用者により操作される操作手段と、操作手段の操作に基づいて通話手段を制御する処理装置を備えた通信装置に用いられ、処理装置により実行可能な通信プログラムであって、操作手段の操作に基づいて通話手段の動作を制御する処理と、通話手段による通信時に通話手段により受信された音声信号に基づいて通話相手が発声する音声が使用者への質問であるか否かを判別する処理と、通話相手が発声する音声が使用者への質問であると判別されたときに使用者の生体情報を検出する処理とを、処理装置に実行させるものである。
この通信プログラムによれば、使用者による操作手段の操作に基づいて通話手段の動作が制御される。また、使用者が通信装置の操作手段により任意の相手に対する通信に関連する操作を行っているときまたは使用者が通話手段により任意の相手に通信を行っているときに、使用者の生体情報が検出される。したがって、通信相手に依存する生体情報を取得することができる。
また、使用者が通話手段により任意の通話相手と音声による通話を行っているときに、使用者の生体情報が検出される。それにより、通話相手に依存する生体情報を取得することができる。
さらに、通話手段により受信された音声信号に基づいて通話相手が発声する音声が使用者への質問であるか否かが判別され、通話相手が発声する音声が使用者への質問であると判別されたときに使用者の生体情報が検出される。それにより、通話相手および通話内容に依存する生体情報を取得することができる。
(15)第6の発明に係る通信プログラムは、情報の通信を行う通信手段と、通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、操作手段の操作に基づいて通信手段を制御する処理装置とを備えた通信装置に用いられ、処理装置により実行可能な通信プログラムであって、操作手段の操作に基づいて通信手段の動作を制御する処理と、操作手段の操作時または通信手段による通信時に使用者の生体情報を検出する処理と、検出された使用者の生体情報が所定のしきい値を超えたか否かを判定する処理と、生体情報が所定のしきい値を超えた場合に、しきい値を超えた時点を含む所定時間の使用者の音声を記録する処理とを、処理装置に実行させるものである。
この通信プログラムによれば、使用者による操作手段の操作に基づいて通信手段の動作が制御される。また、使用者が通信装置の操作手段により任意の相手に対する通信に関連する操作を行っているときまたは使用者が通信手段により任意の相手に通信を行っているときに、使用者の生体情報が検出される。したがって、通信相手に依存する生体情報を取得することができる。
また、検出手段による生体情報の検出時に使用者の音声が記録される。それにより、使用者は、相手に依存する使用者の音声の状態を記録内容に基づいて容易に把握することができる。
さらに、検出手段により検出された生体情報が所定のしきい値を超えたか否かが判定され、生体情報が所定のしきい値を超えたと判定された場合に、しきい値を超えた時点を含む所定時間の使用者の音声が記録される。それにより、使用者は、相手に依存して生体情報が大きく反応した場合の音声の状態を記録内容により容易に把握することができる。
(16)第7の発明に係る通信プログラムは、情報の通信を行う通信手段と、通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、操作手段の操作に基づいて通信手段を制御する処理装置とを備えた通信装置に用いられ、処理装置により実行可能な通信プログラムであって、操作手段の操作に基づいて通信手段の動作を制御する処理と、通信相手を特定するための個人情報データを記憶する処理と、操作手段の操作時または通信手段による通信時に使用者の生体情報を検出する処理と、検出された生体情報に基づいて使用者の心理状態を推定する処理と、記憶された個人情報データにより特定される通信相手ごとに、推定された使用者の心理状態を記憶する処理とを、処理装置に実行させるものである。
この通信プログラムによれば、使用者による操作手段の操作に基づいて通信手段の動作が制御される。また、使用者が通信装置の操作手段により任意の相手に対する通信に関連する操作を行っているときまたは使用者が通信手段により任意の相手と通信を行っているときに、使用者の生体情報が検出される。したがって、通信相手に依存する生体情報を取得することができる。
また、検出された生体情報に基づいて使用者の心理状態が推定される。それにより、通信相手に依存した使用者の心理状態を認識することができる。
さらに、通信相手を特定するための個人情報データが記憶される。そして、推定された使用者の心理状態が、記憶された個人情報データにより特定される通信相手ごとに記憶される。それにより、使用者は、記憶内容に基づいて相手に依存する心理状態および心理状態の履歴を容易に確認することができる。
(17)第8の発明に係る通信プログラムは、電子メールをデータ信号として送信および受信することにより情報の通信を行う電子メール通信手段と、電子メール通信手段による通信に関連する操作を行うために使用者により操作され、電子メールの作成、送信、受信または閲覧するための操作を行う電子メール操作部と、電子メール操作部の操作に基づいて電子メール通信手段を制御する処理装置とを備えた通信装置に用いられ、処理装置により実行可能な通信プログラムであって、電子メール操作部の操作に基づいて電子メール通信手段の動作を制御する処理と、使用者による電子メール操作部の操作時に使用者の生体情報を検出する処理と、検出された生体情報に基づいて使用者の心理状態を推定する処理と、推定された使用者の心理状態を示す情報を電子メール操作部により作成される電子メールに挿入する処理とを、処理装置に実行させるものである。
この通信プログラムによれば、使用者による電子メール操作部の操作に基づいて電子メール通信手段の動作が制御される。また、使用者が通信装置の電子メール操作部により任意の相手に対する通信に関連する操作を行っているときまたは使用者が電子メール通信手段により任意の相手に通信を行っているときに、使用者の生体情報が検出される。したがって、通信相手に依存する生体情報を取得することができる。
また、使用者が電子メール操作部を操作することにより任意の相手に送信する電子メールの作成または送信を行っているとき、または任意の相手からの電子メールを受信または閲覧しているときに、使用者の生体情報が検出される。それにより、電子メールの相手または電子メールの内容に依存する生体情報を取得することができる。
さらに、検出手段により検出された生体情報に基づいて使用者の心理状態が推定手段により推定される。そして、推定された使用者の心理状態を示す情報が電子メール操作部により作成される電子メールに挿入手段により挿入される。その結果、使用者の心理状態を示す情報が挿入された電子メールが相手に送信される。
本発明に係る通信装置、通信方法、通信プログラムによれば、使用者による操作手段の操作に基づいて制御手段により通信手段の動作が制御される。また、使用者が通信装置の操作手段により任意の相手に対する通信に関連する操作を行っているときまたは使用者が通信手段により任意の相手に通信を行っているときに、使用者の生体情報が検出されるように検出手段が制御手段により制御される。したがって、使用者が意識する相手に依存する生体情報を取得することができる。
また、本発明に係る通信システムによれば、使用者が第1の通信装置の通信手段により第2の通信装置を有する診断者と通話を行っているときに、検出手段により使用者の生体情報が検出される。そして、通信手段による診断者との通話中または通話終了後に、検出された生体情報に基づく情報が通信手段により情報処理装置に送信される。それにより、診断者は、情報処理装置に送信された情報に基づいて使用者の健康状態を診断することができる。
診断者は、診断結果に基づくアドバイスを第2の通信装置による通話または情報処理装置による情報の通信により第1の通信装置に送信することができる。それにより、使用者は、診断者との会話による診断結果に基づくアドバイスを容易に受けることができる。
さらに、本発明に係る通信装置によれば、使用者による操作手段の操作に基づいて制御手段により通信手段の動作が制御される。使用者は、通信装置の筐体を片手で保持しつつ他の手で操作手段を操作することができる。このとき、使用者の手が筐体の側面部の検出手段に触れることにより使用者の生体情報が検出される。
したがって、使用者が意識することなく生体情報を簡単に検出することができる。
以下、本発明の一実施の形態に係る通信装置、通信方法、通信プログラムおよびそれを用いた通信システムについて説明する。下記では、本発明の一実施の形態に係る通信装置の一例として、携帯電話機について説明する。以下の説明に係る携帯電話機は、本来の電話の機能に加えて、使用者の生体情報を検出する機能を有する。
なお、以下の説明において、通信とは、音声による通話、電子メールの送受信およびインターネットを介してのサイトへの接続を含む。
ここで、使用者の生体情報とは、使用者の音声に関する音声データおよび使用者の皮膚温度、脈拍、GSR(皮膚電気反射)等の客観的に測定可能な生理量データから得られる生体に関する情報である。以下の説明において、生理量データは使用者の皮膚温度、脈拍およびGSRの測定結果である。
(第1の実施の形態)
図1は第1の実施の形態に係る携帯電話機の外観図である。図1に示すように本実施の形態に係る携帯電話機100は、第1の筐体1および第2の筐体2から形成されている。第1の筐体1および第2の筐体2はともに略直方体形状を有し、第1の筐体1の下端と第2の筐体2の上端とがヒンジ3により接続されている。これにより、第1の筐体1は、ヒンジ3を中心として、第2の筐体2に対して矢印の方向に折り畳み可能である。
第1の筐体1および第2の筐体2の折り畳み時に互いに対向する側の面を前面と呼ぶ。また、第1の筐体1および第2の筐体2の前面と反対側の面を背面と呼ぶ。
図1(a)に示すように、第1の筐体1の前面中央には後述の各種情報を表示するためのメイン表示部13が設けられている。メイン表示部13の上部には、通話用スピーカ15bが設けられている。メイン表示部13は、例えば、液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイ等からなる。なお、メイン表示部13は画像または文字等を表示できるものであれば、これらに限定されない。
一方、第2の筐体2の前面中央には入力操作部11が設けられている。入力操作部11は、複数の数字ボタン、複数の動作設定ボタン、カーソルボタンKKおよび決定ボタンKS等を含む。使用者が入力操作部11を操作することにより携帯電話機100が所定の動作を行う。入力操作部11の下部には、マイクロホン16が設けられている。
第2の筐体2の側面には生理量データ測定部20が設けられている。図1(a)においては、第2の筐体2の両側面に使用者のGSRを測定するための2つの電極20a,20dが設けられている。また、第2の筐体2の一側面には、電極20aとともに、使用者の皮膚温度を測定するためのサーミスタ20bおよび使用者の脈拍を測定するためのフォトセンサ20cが設けられている。
本実施の形態では、生理量データ測定部20は第2の筐体2の両側面に設けられているが、設ける方法はこれに限らない。例えば、両側面のうち、一方のみに生理量データ測定部20が設けられてもよい。
図1(b)に示すように、第1の筐体1の背面中央には発光動作を行うサブ表示部14が設けられている。サブ表示部14は、例えば、LED(発光ダイオード)等からなる。なお、サブ表示部14は発光するものであれば、これに限定されない。
サブ表示部14の上部には電荷結合素子(以下、CCDと略記する。)カメラ17が設けられている。第1の筐体1の背面上端側には2つのスピーカ15aが設けられている。また、第2の筐体2の背面上端側にはアンテナ31が設けられている。
生体情報の検出時においては、使用者が第2の筐体2を把持することにより生理量データが測定される。すなわち、使用者の指または手のひらが電極20a,20d、サーミスタ20bおよびフォトセンサ20cに触れることにより、使用者のGSR、皮膚温度および脈拍が測定される。また、使用者がマイクロホン16を通じて会話することにより、音声データが得られる。
図2は第1の実施の形態に係る携帯電話機100の構成を示すブロック図である。図2に示すように、本実施の形態に係る携帯電話機100は、制御部10、入力操作部11、メモリ12、メイン表示部13、サブ表示部14、スピーカ15a、通話用スピーカ15b、マイクロホン16、CCDカメラ17、信号処理部18、生理量データ測定部20、無線通信部30およびアンテナ31を含む。また、スピーカ15a、通話用スピーカ15b、マイクロホン16の各々に対応してアンプan1,an2,an3が設けられている。
制御部10は、例えば、CPU(中央演算処理装置)またはマイクロコンピュータ等からなり、上記各構成部の動作を制御する。入力操作部11は、使用者の操作に基づく指令信号を制御部10に与える。メモリ12は、例えば、フラッシュメモリ等の不揮発性メモリまたはSRAM(スタティックランダムアクセスメモリ)等の揮発性メモリおよびそのデータを保持するためのデータ保持用電源等からなる。メモリ12には複数の情報が記憶される。メモリ12の内部構成については後述する。
なお、制御部10またはメモリ12のいずれかにおいては、携帯電話機本来の機能に関するシステムプログラムおよび後述の通信プログラムが記憶されている。ここで、携帯電話機本来の機能とは、例えば、使用者が通話するための機能、使用者が電子メールの作成、送信および受信を行うための機能ならびに使用者がインターネットを介して所望のサイトへアクセスするための機能等である。
メイン表示部13は制御部10からの指令信号に基づいて表示動作が制御される。また、サブ表示部14は制御部10からの指令信号に基づいて発光動作が制御される。
スピーカ15aはアンプan1を介して与えられる電気信号に基づいて各種音声を出力する。通話用スピーカ15bはアンプan2を介して与えられる電気信号に基づいて各種音声を出力する。マイクロホン16は、使用者の音声に基づく電気信号を生成する。生成された電気信号はアンプan3を介して信号処理部18およびメモリ12等に与えられる。CCDカメラ17は制御部10からの指令信号に基づいて撮像動作が制御される。
信号処理部18においては、他の構成部から与えられる信号の形式の変換等が行われる。例えば、信号処理部18は、生理量データ測定部20により測定されたアナログ形式の生理量データをデジタル形式の生理量データに変換する。
上述のように、生理量データ測定部20は電極20a,20d、サーミスタ20bおよびフォトセンサ20cを含む。電極20a,20dにより使用者のGSRが測定され、サーミスタ20bにより使用者の皮膚温度が測定され、フォトセンサ20cにより使用者の脈拍が測定される。測定された生理量データは信号処理部18に与えられる。
無線通信部30は、アンテナ31を介して上述の生理量データ、音声データおよび電子メールに関するデータ等の無線通信を行う。
図3は図2のメモリ12の内部構成の一例を示す図である。メモリ12は、動作設定記憶部121、心理状態推定テーブル格納部122、個人情報データ格納部123、履歴データ格納部124、音声解析テーブル格納部125および補正データ記憶部126を含む。
メモリ12内の上記格納部および記憶部の詳細について図4〜図7に基づき説明する。
図4は図3の動作設定記憶部121に記憶される内容の一例を示す図である。図4では、動作設定記憶部121の記憶内容の一例として、携帯電話機100の着信時動作設定テーブルが表されている。
図4の着信時動作設定テーブルでは、通信相手ごとに予め着信時のメロディパターン、発光パターンおよび表示パターンが設定されている。
ここで、メロディパターンとは着信時に図2のスピーカ15aが出力する音声のパターンをいい、発光パターンとは着信時に図2のサブ表示部14が発光するパターンをいい、表示パターンとは着信時に図2のメイン表示部13が表示するパターンをいう。
これら着信時のメロディパターン、発光パターンおよび表示パターンの組合せが着信時動作グループP1,P2に分類されている。
図4の例では、着信時動作グループがP1の場合、メロディパターンとして「パンパカパーン」が設定され、発光パターンとして「緑色を点灯」が設定され、表示パターンとして「いつもの調子で話しましょう」が設定されている。また、着信時動作グループがP2の場合、メロディパターンとして「ブーブーブー」が設定され、発光パターンとして「赤色を点灯」が設定され、表示パターンとして「リラックスして話して下さいね」が設定されている。
ここで、着信時動作グループは、通信相手と通信した場合の過去の通信履歴から通信相手ごとに算出される後述の心理状態レベル履歴平均に基づいて決定される。例えば、図4では、ある通信相手と通信した場合の心理状態レベル履歴平均の値が2以下の場合に、その通信相手に着信時動作グループとしてP1が設定され、ある通信相手と通信した場合の心理状態レベル履歴平均の値が3以上の場合に、その通信相手に着信時動作グループとしてP2が設定される。
図2の制御部10は、上述のように動作設定記憶部121に記憶された着信時動作設定テーブルに基づいて上記各構成部の動作を制御する。これにより、制御部10は、携帯電話機100の着信時に、図4の着信時動作設定テーブルに基づいて通信相手に応じたスピーカ15a、サブ表示部14およびメイン表示部13の動作制御を行う。また、制御部10は着信時動作設定テーブルの内容の更新も行う。更新動作については後述する。
図5は図3の心理状態推定テーブル格納部122に記憶される内容の一例を示す図である。図5では、心理状態推定テーブル格納部122の記憶内容の一例として、生理量データ測定部20により測定される生理量データに基づいて使用者の心理状態(緊張の度合い)を推定するための心理状態推定テーブルが表されている。
ここで、図5において、使用者の緊張の度合いは心理状態レベル1〜6として表されている。図5の例では、心理状態レベルが小さくなるにつれて使用者の緊張の度合いが高い。例えば、心理状態レベル1は使用者が非常に緊張していることを表し、心理状態レベル2は使用者が緊張していることを表し、心理状態レベル3は使用者がやや緊張していることを表す。
また、心理状態レベル4は使用者が普通の状態であることを表し、心理状態レベル5は使用者がリラックスしていることを表し、心理状態レベル6は使用者が非常にリラックスしていることを表す。これら心理状態レベルは、測定された生理量データ、すなわち、使用者のGSR、皮膚温度および脈拍の単位時間あたりの変化量の組合せに基づき分類されている。
変化量の組合せは、GSR、皮膚温度および脈拍の変化量の各々について設定された基準値に対する測定値の大小関係に基づき決定される。
図5においては、上記の変化量の組合せを決定するために、GSRの変化量について3つの基準値α,β,γが設定されている。これら基準値α,β,γは、α,β,γの順に大きい。また、皮膚温度および脈拍の変化量の基準値として0が設定されている。
GSR、皮膚温度および脈拍の変化量の組合せによる心理状態レベルの分類の一例を説明する。
例えば、GSRの変化量ΔGが基準値γ以上であり、皮膚温度の変化量ΔTが0未満であり、かつ、脈拍の変化量ΔHが0以上である場合、心理状態レベルが1に分類されている。
また、GSRの変化量ΔGが基準値α以下であり、皮膚温度の変化量ΔTが0以上であり、かつ、脈拍の変化量ΔHが0未満である場合、心理状態レベルが6に分類されている。
図2の制御部10は、上述のように心理状態推定テーブル格納部122に記憶された心理状態推定テーブルおよび生理量データ測定部20により測定された使用者のGSR、皮膚温度および脈拍の生理量データに基づいて使用者の心理状態レベルを推定する。
なお、上記の基準値α,β,γは予め特定の値を定めることにより設定されてもよいし、各使用者の健康状態および性格等の特徴に応じて使用者ごとに設定されてもよい。
図6は、図3の個人情報データ格納部123に記憶される内容の一例を示す図である。図6では、個人情報データ格納部123の記憶内容の一例として、使用者の通信相手の個人情報データが表されている。
図6の個人情報データにおいては、使用者の通信相手ごとに、通信相手の性別、使用者と通信相手との関係および通信相手の電話番号が対応付けされている。なお、個人情報データには、これら、性別、関係および電話番号に加えて、通信相手ごとに通信相手の電子メールアドレスが対応付けされてもよい。
図2の制御部10は、上述のように個人情報データ格納部123に記憶された個人情報データに基づいて着信時または電子メール受信時等にその発信元の通信相手を特定することができる。すなわち、携帯電話機100の着信時において、その発信元から通信相手の電話番号のデータが送られる場合に、制御部10は上記個人情報データに基づいて通信相手を識別することができる。
図7は、図3の履歴データ格納部124に記憶される内容の一例を示す図である。図7では、履歴データ格納部124の記憶内容の一例として、使用者の通信相手ごとに、使用者とその通信相手との間で行われた過去の通信に関する情報が対応付けされた履歴データが表されている。
図7によれば、使用者とその通信相手との間で行われた過去の通信に関する情報は、例えば、使用者の過去の通信時に推定された心理状態レベルの履歴の平均(以下、心理状態レベル履歴平均と呼ぶ。)および使用者の過去の通信の記録である。ここでは、通信相手ごとに対応付けされた過去の通信の記録は、前回の通信時の通信日時、通信時間、通信時に推定された心理状態レベルおよび通信時の音声データである。なお、音声データの記憶方法については、他の実施の形態において後述する。
図7の例では、通信相手AAに心理状態レベル履歴平均として6が対応付けされている。これは、使用者と通信相手AAとの過去の通信時に使用者の心理状態が平均して心理状態レベル6、すなわち、非常にリラックスしている状態であったことを表している。また、通信相手AAに対する過去の通信の記録は、前回の通信時の通信日時が○月△日□時▽分であり、通信時間が○分であり、通信時に推定された心理状態が心理状態レベル5であることを表している。さらに、通信相手AAの前回の通信時の音声データAA1が記憶されていることを表している。
これにより、図2の制御部10は、履歴データ格納部124に記憶された履歴データに基づいて通信相手ごとに使用者の過去の心理状態レベル履歴平均および過去の通信の記録を特定することができる。
本実施の形態において制御部10は、使用者が通信を行うごとに図7の履歴データの内容を更新する。そして、制御部10は更新された履歴データに基づいて図4の着信時動作設定テーブルの内容を更新する。その結果、本実施の形態に係る携帯電話機100は、使用者の通信相手に応じた各種動作を行う。
なお、制御部10は、図2のメイン表示部13、サブ表示部14、スピーカ15aおよび通話用スピーカ15b等を制御し、履歴データの内容を表示または音声出力してもよい。この場合、使用者は通信相手ごとに過去の通信に関する情報を知ることができる。
図3の音声解析テーブル格納部125には、使用者の通信時の音声データを解析するためのテーブルが記憶されている。また、補正データ記憶部126には使用者の生理量データを周囲の環境に応じて補正するためのテーブルが記憶されている。これら音声解析テーブル格納部125および補正データ記憶部126に記憶される内容の詳細については他の実施の形態において後述する。
図8および図9は、使用者が第1の実施の形態に係る携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。
使用者は、通話を行う場合に携帯電話機100の入力操作部11を操作する。
図8(a)は、使用者が所望の相手に電話をかけた場合(発信時)のメイン表示部13の表示例を表す。図8(b)は、使用者の携帯電話機100に電話がかかってきた場合(着信時)のメイン表示部13の表示例を表す。メイン表示部13には、発信または着信の旨および電話番号が表示される。
携帯電話機100のメイン表示部13が図8(a)の表示状態において、使用者が入力操作部11を操作することにより、または、使用者からの発信を受けた相手が自己の携帯電話機を操作することにより、通話が可能となる。
図8(c)は、通話中のメイン表示部13の表示例を表す。メイン表示部13には使用者が通話している際に現在の通話時間が表示され、使用者の生体情報を検出している旨が表示される。その後、使用者またはその通話相手が携帯電話機100の入力操作部11を操作することにより通話が終了する。
図9(d)は、使用者が通話を終了した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の通話終了時に使用者の通話時間が表示され、通話中に検出された生体情報に基づいて推定される使用者の心理状態が表示される。
図2の制御部10は、メイン表示部13により図9(d)の通話時間および心理状態を表示した後、通話中に検出された生体情報に基づいて上述の着信時動作設定テーブルの内容を更新する。そして、更新された着信時動作設定テーブルの内容をメイン表示部13に表示する。
図9(e)は、図9(d)の表示後にメイン表示部13に表示される着信時動作設定テーブルの内容の表示例である。これにより、使用者は携帯電話機100の着信時の動作を知ることができる。
図9(e)の例では、使用者は、図4の着信時動作設定テーブルとして、通話相手(図4においては通信相手)ABに着信時動作グループP1が設定されたことを知ることができる。
図9(f)は、上記の設定が行われた後、再度、使用者が通話相手ABに電話をかけた場合(発信時)のメイン表示部13の表示例を表す。図9(g)は、上記の設定が行われた後、使用者の携帯電話機100に通話相手ABから電話がかかってきた場合(着信時)のメイン表示部13の表示例を表す。
特定の通話相手に対して着信時動作グループの設定がなされた場合、メイン表示部13には、着信時動作グループにより定められた表示パターン(例えば、図4の表示パターン等)、発信または着信の旨および電話番号が表示される。
例えば、特定の通話相手に対する過去の心理状態が常に「非常に緊張している」状態であると推定されていた場合、その相手に対する発信時およびその相手からの着信時には、メイン表示部13にはリラックスして話すべき旨が表示される。
本実施の形態に係る通信プログラムについて説明する。図10および図11は、第1の実施の形態に係る通信プログラムの一例を示すフローチャートである。
本実施の形態に係る通信プログラムによれば、図2の制御部10は、次のように動作する。
初めに、図2の制御部10は、使用者による入力操作部11の操作により他の電話機に対して発信する旨の指令信号を受けたか否かを判別する(ステップS10)。この場合の指令信号には通信相手の電話番号が含まれる。
制御部10は発信する旨の指令信号を受けた場合、その指令信号に基づいて通信相手を識別する(ステップS11)。
次に、制御部10は発信先の通信相手に対応する表示パターンをメイン表示部13に表示し、通信相手に対応する発光パターンで図2のサブ表示部14を発光させる(ステップS12)。そして、制御部10は、通信相手から応答があったか否かを判別する(ステップS13)。制御部10は、応答があった場合、生理量データの測定を開始する(ステップS18)。
一方、制御部10は、上記ステップS10において発信する旨の指令信号を受けない場合、他の電話機からの着信があるか否かを判別する(ステップS14)。この場合の他の電話機から送信されるデータには通信相手の電話番号が含まれる。
制御部10は、他の電話機からの着信がない場合、上記ステップS10の動作を繰り返す。一方、制御部10は、他の電話機からの着信があった場合、他の電話機から送信されるデータに基づいて通信相手を識別する(ステップS15)。
次に、制御部10は発信先の通信相手に対応する表示パターンをメイン表示部13に表示させ、通信相手に対応する発光パターンで図2のサブ表示部14を発光させ、通信相手に対応するメロディパターンでスピーカ15aから音声を出力させる(ステップS16)。そこで、制御部10は、使用者が入力操作部11を操作することにより、その着信に対して応答する旨の指令信号を受けたか否かを判別する(ステップS17)。制御部10は、応答があった場合、上記ステップS18の動作を行う。
制御部10は、上記ステップS18の動作を行いつつ、通信が終了したか否かを判別する(ステップS19)。
制御部10は、通信が終了しない場合、上記ステップS18の動作を繰り返す。一方、制御部10は、通信が終了した場合、生理量データの測定を停止し、測定された生理量データに基づいて通信中の心理状態を推定する(ステップS20)。その後、制御部10は、推定された使用者の通信中の心理状態をメイン表示部13に表示する(ステップS21)。
最後に、制御部10は、識別された通信相手および心理状態の推定結果に基づいて履歴データの内容を更新する(ステップS22)。そして、制御部10は、更新された履歴データの内容に基づいて着信時動作設定テーブルの内容を更新する(ステップS23)。ステップS23の動作を終了した制御部10は、再び上記ステップS10の動作を繰り返す。
ここで、図7の履歴データの内容の更新動作について説明する。上記ステップS22において、制御部10は測定された生理量データに基づき推定された心理状態レベルを履歴データ格納部124に記憶する。そして、制御部10は通信相手ごとに記憶された過去の心理状態レベルおよび現在推定された心理状態レベルから、その通信相手との通信時における心理状態レベルの平均値を算出する。このように算出された平均値が、上述の心理状態レベル履歴平均である。
また、制御部10は、現在行われた通信の内容(例えば、通信時の通信日時、通信時間、通信時に推定された心理状態レベルおよび通信時の音声データ等)に基づいて過去の通信の記録を更新する。
これにより、通信が行われるごとに制御部10により、図7の履歴データの内容が更新される。
以上、本実施の形態に係る通信装置においては、使用者による入力操作部11の操作に基づいて制御部10により携帯電話機100の各構成部の動作が制御される。また、使用者が携帯電話機100の入力操作部11により通信相手(通話相手)に対する通信に関連する操作を行っているときまたは使用者が無線通信部30およびアンテナ31により通信相手に通信を行っているときに、使用者の生体情報が検出されるように生理量データ測定部20、すなわち、電極20a,20d、サーミスタ20bおよびフォトセンサ20cが制御部10により制御される。したがって、使用者が意識する通信相手に依存する生体情報を取得することができる。
また、本実施の形態では、使用者が無線通信部30およびアンテナ31を通じて任意の通話相手と音声による通話を行っているときに、使用者の生体情報が検出される。それにより、通話相手に依存する生体情報を取得することができる。
本実施の形態においては、生理量データ測定部20により検出された生体情報に基づいて使用者の心理状態が制御部10により推定される。それにより、通信相手に依存した使用者の心理状態を認識することができる。
また、生理量データ測定部20により検出された生体情報に基づいて使用者の緊張度合いが制御部10により推定される。それにより、通信相手に依存した使用者の緊張度合いを認識することができる。
その上、本実施の形態においては、制御部10により推定された使用者の心理状態を示す情報がメイン表示部13により表示される。それにより、使用者は、通信相手に依存する心理状態を容易に認識することができる。
また、本実施の形態では、制御部10により推定された使用者の心理状態がメモリ12の履歴データ格納部124により通信相手ごとに記憶される。それにより、使用者は、記憶手段の記憶内容に基づいて通信相手に依存する心理状態および心理状態の履歴を容易に確認することができる。
さらに、本実施の形態では、メモリ12に記憶された使用者の心理状態に基づいて携帯電話機100の着信動作が制御される。それにより、使用者は、着信時に通信相手に依存する心理状態を着信動作により容易に認識することができる。
本実施の形態に係る携帯電話機100においては、第2の筐体2の側面に生理量データ測定部20(電極20a,20dおよびフォトセンサ20c)が設けられている。これにより、使用者は、第2の筐体2を片手で保持しつつ他の手で入力操作部11を操作することができる。このとき、使用者の手が第2の筐体2の側面の生理量データ測定部20に触れることにより使用者の生体情報が検出される。
したがって、使用者が意識することなく生体情報を簡単に検出することができる。
なお、第2の筐体2の前面、背面、一方の側面および他方の側面は、それぞれ平面状に限らず、曲面状に形成されてもよく、前面、背面、一方の側面および他方の側面のうち2以上が曲面で連続していてもよい。
図1に示すように、本実施の形態に係る携帯電話機100の生理量データ測定部20は、電極20a,20d、サーミスタ20b、フォトセンサ20cを含むが、電極20a,20d、サーミスタ20b、フォトセンサ20cの全てを含む形態に限られるものではない。例えば、生理量データ測定部20は電極20a,20d、フォトセンサ20cを含んでもよいし、電極20a,20dのみを含んでもよい。この場合、検出される生理量データに応じて上述の心理状態推定テーブルを設定する必要がある。
また、生理量データ測定部20は使用者の生理量データとしてGSR、皮膚温度、脈拍を測定するが、測定する生理量データはGSR、皮膚温度、脈拍に限られるものではない。例えば、心拍、血圧、血流量、呼吸などでもよい。この場合も、検出される生理量データに応じて上述の心理状態推定テーブルを設定する必要がある。
上記では、心理状態の推定をするために図5の心理状態推定テーブルを用いたが、生体情報に基づく使用者の心理状態の推定は、図5の心理状態推定テーブルを用いることに限定されない。生体情報を用いるのであれば、生理量データのみを用いて他の推定テーブルにより使用者の心理状態を推定してもよいし、音声データのみを用いて使用者の心理状態を推定してもよい。さらに、他の実施の形態において後述するが、生理量データおよび音声データをともに用いて使用者の心理状態を推定してもよい。
また、上記では、心理状態として使用者の緊張の度合いを推定しているが、これに限らず、他の実施の形態において後述するが、生体情報に基づいて使用者のうそを推定したり、喜怒哀楽を推定してもよい。この場合、使用者は自己の心理状態について様々な情報を得ることができる。
さらに、上記では、使用者の携帯電話機100による通話中に、その通話時間を通じて生体情報を検出しているが、生体情報の検出はこれに限られない。他の実施の形態において後述するが、例えば、携帯電話機100は、使用者の通話中でかつ使用者が質問に対して回答している場合にのみ生体情報を検出してもよい。この場合、使用者は自己の回答時の生体情報に基づいて心理状態を推定することで、その回答時または発声時の自己の心理状態について様々な情報を得ることができる。
携帯電話機100は、通話中でなくても、使用者の生体情報を検出してもよい。他の実施の形態において後述するが、例えば、携帯電話機100は使用者が電子メールを作成する際に使用者の生体情報を検出してもよい。この場合、使用者は自己の特定の通信相手への電子メールの作成時の心理状態についての情報を得ることができる。
他の実施の形態において後述するが、携帯電話機100は、検出された生体情報または推定された心理状態についての情報を他の通信装置に送信してもよい。
(第2の実施の形態)
第2の実施の形態に係る携帯電話機100は、以下の点を除き第1の実施の形態に係る携帯電話機100と同様の構成および動作を有する。
本実施の形態に係る携帯電話機100には、図3の音声解析テーブル格納部125に後述の音声解析テーブルおよび心理状態調整テーブルが記憶されている。
携帯電話機100は、使用者の会話を音声データとして録音する。そして、携帯電話機100は、録音された音声データを解析することによりパラメータとして、発音のトーン(音調)、抑揚およびジッタ(かすれ具合)を得る。なお、パラメータは、トーン、抑揚およびジッタに限られず、発音の大きさまたは発音の速度等であってもよい。
本実施の形態において、図2の制御部10は、得られたパラメータ(発音のトーン、抑揚およびジッタ等)および音声解析テーブルに基づいてその音声データに関する後述の音声レベルを決定する。
制御部10は決定された音声レベルおよび心理状態調整テーブルに基づいて後述の心理状態レベル調整値を決定する。そして、制御部10は、決定された心理状態レベル調整値に基づいて生理量データにより推定された上述の心理状態レベルの調整を行う。その結果、本実施の形態に係る携帯電話機100においては、生理量データおよび音声データをともに用いることにより使用者の心理状態を推定することができる。
なお、生理量データにより推定された心理状態レベルを音声データを用いて調整せずに、生理量データおよび音声データに基づいて使用者の心理状態を推定してもよい。
さらに、本実施の形態において、制御部10は調整された心理状態レベルおよび後述のリラックス動作設定テーブルに基づいて図2の各構成部の動作を制御する。これにより、使用者は携帯電話機100により自己の心理状態に応じた緊張の弛緩が促される。以下、使用者に対する緊張の弛緩をリラクゼーションと呼ぶ。
音声解析テーブルおよび心理状態調整テーブルについて説明する。図12は、図3の音声解析テーブル格納部125に記憶される内容の一例を示す図である。
以下の説明において、音声解析テーブル格納部125には図12に示す音声解析テーブルおよび心理状態調整テーブルに加えて、音声データを解析することにより得られる発音のトーン、抑揚およびジッタの各々について所定の基準値が記憶されている。
図12(a)は、音声解析テーブル格納部125に記憶される音声解析テーブルの一例を表す。図12(a)によれば、音声レベルが、音声データより得られる発音のトーン、抑揚およびジッタの各々の所定の基準値に対する大小関係に基づいて1〜8に分類されている。
上述の各種基準値は、それぞれ予め特定の値を定めることにより設定されてもよいし、各使用者の健康状態および性格等の特徴に応じて使用者ごとに設定されてもよい。
ここで、音声レベルは、音声データから推定される使用者の緊張の度合いを表す。図12(a)の例において、使用者の緊張の度合いは音声レベルが小さくなるにつれて大きいことを表す。
例えば、トーンが基準値以上であり、抑揚が基準値以上であり、かつ、ジッタが基準値以上である場合、音声レベルは使用者が非常に緊張している旨を示す1に分類される。
図12(b)は、音声解析テーブル格納部125に記憶される心理状態調整テーブルの一例を表す。図12(b)によれば、心理状態調整テーブルにおいては、上述の音声レベルに応じて心理状態レベル調整値−1、0および1が対応付けられている。この心理状態レベル調整値は、制御部10が生理量データおよび図5の心理状態推定テーブルに基づいて推定された心理状態レベルを調整するために用いられる。
例えば、制御部10は、図12(a)の音声解析テーブルに基づいて音声レベルが1であると決定した場合、図12(b)の心理状態レベル調整テーブルに基づいて心理状態レベル調整値を−1として決定する。これにより、制御部10は、生理量データおよび図5の心理状態推定テーブルに基づいて推定された心理状態レベルを−1で調整する。生理量データにより推定された心理状態レベルが4の場合、調整後の心理状態レベルは3となる。
リラックス動作設定テーブルについて説明する。図13は、図3の動作設定記憶部121に記憶される内容の一例を示す図である。ここでは、動作設定記憶部121に記憶される内容の一例として、リラックス動作設定テーブルが表されている。
図13のリラックス動作設定テーブルでは、上述の調整後の心理状態レベルごとにメッセージ表示パターン、画像表示パターンおよびリラックス音楽パターンが設定されている。
ここで、メッセージ表示パターンとは使用者へのリラクゼーション時に図2のメイン表示部13が表示する文字のパターンをいい、画像表示パターンとは使用者へのリラクゼーション時に図2のメイン表示部13が表示する画像のパターンをいい、リラックス音楽パターンとは使用者へのリラクゼーション時に図2のスピーカ15aが再生する音声(音楽)のパターンをいう。
図13の例では、推定される心理状態レベル1に対して、メッセージ表示パターンとして「深呼吸〜一休みいれてリラーックス」が設定され、画像表示パターンとして「自然の風景」が設定され、リラックス音楽パターンとして「せせらぎの音」が設定されている。
図14および図15は、使用者が第2の実施の形態に係る携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。
使用者は、通話を行う場合に携帯電話機100の入力操作部11を操作する。
図14(a)は、使用者が通話を終了した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の通話時間が表示されるとともに終了ボタン131およびメンタルボタン132が表示される。
ここで、使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131およびメンタルボタン132の選択を行うことができる。
図14(b)は、使用者がメンタルボタン132を選択した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の通話中に検出された生体情報に基づいて推定される使用者の心理状態が表示されるとともに終了ボタン131、一言ボタン132aおよび音楽ボタン132bが表示される。
使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131、一言ボタン132aおよび音楽ボタン132bの選択を行うことができる。
図15(c)は、使用者が一言ボタン132aを選択した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の緊張を弛緩するためのメッセージ表示パターンが表示されるとともに終了ボタン131および音楽ボタン132bが表示される。
使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131および音楽ボタン132bの選択を行うことができる。
図15(d)は、使用者が音楽ボタン132bを選択した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の緊張を弛緩するための画像表示パターンが表示されるとともに終了ボタン131および一言ボタン132aが表示される。
使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131および音楽ボタン132bの選択を行うことができる。
また、メイン表示部13が図15(d)の表示状態においては、図2のスピーカ15aから所定のリラックス音楽パターンが再生される。
上記において、使用者が図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131を選択した場合、使用者へのリラクゼーション、すなわちメッセージ表示パターンまたは画像表示パターンの表示動作およびリラックス音楽パターンの再生動作は終了する。
なお、使用者の通話終了前(例えば、発信時、着信時および通話時)において、メイン表示部13には図8(a),(b),(c)に示す内容が表示されてもよい。
また、本実施の形態において、使用者へのリラクゼーションは第1の実施の形態に示すように通信相手(通話相手)ごとに設定されてもよいし、通信相手ごとに設定されなくてもよい。
本実施の形態に係る通信プログラムについて説明する。図16〜図18は、第2の実施の形態に係る通信プログラムの一例を示すフローチャートである。
本実施の形態に係る通信プログラムによれば、図2の制御部10は、次のように動作する。
初めに、図2の制御部10は、使用者による入力操作部11の操作によりリラックスモードをオンする旨の指令信号を受けたか否かを判別する(ステップS30)。リラックスモードのオンとは、携帯電話機100が使用者にリラクゼーションを促す機能を動作させる旨をいう。
制御部10は、リラックスモードをオンする旨の指令信号を受けた場合、使用者が入力操作部11を操作することにより他の電話機に対する発信の旨の指令信号を受けたか否かを判別する(ステップS31)。
制御部10は、発信の旨の指令信号を受けた場合、その指令信号に基づく所定の動作を行い、通信相手から応答があったか否かを判別する(ステップS33)。制御部10は、応答があった場合、生理量データの測定および音声データの録音を開始する(ステップS34)。
制御部10は、上記ステップS31において発信する旨の指令信号を受けない場合、他の電話機からの着信があるか否かを判別する(ステップS32)。
制御部10は、他の電話機からの着信がない場合、上記ステップS30の動作を繰り返す。一方、制御部10は他の電話機からの着信があった場合、その着信に基づく所定の動作を行い、着信に対して応答があったか否かを判別する(ステップS33)。制御部10は、応答があった場合、上記ステップS34の動作を行う。
制御部10は上記ステップS34の動作を行いつつ、通信が終了したか否かを判別する(ステップS35)。
制御部10は、通信が終了しない場合、上記ステップS34の動作を繰り返す。一方、制御部10は、通信が終了した場合、生理量データの測定および音声データの録音を終了する(ステップS35b)。
次に、制御部10は、使用者が入力操作部11を操作することによりメンタルボタン132が選択されたか否かを判別する(ステップS36)。制御部10は、メンタルボタン132が選択された場合、測定された生理量データおよび録音された音声データに基づいて使用者の通信中の心理状態を推定する(ステップS37)。そして、制御部10は、推定結果、すなわち、使用者の心理状態をメイン表示部13に表示する(ステップS38)。
続いて、制御部10は、使用者が入力操作部11を操作することにより一言ボタン132aが選択されたか否かを判別する(ステップS39)。
制御部10は、一言ボタン132aが選択されなかった場合、使用者の入力操作部11の操作により音楽ボタン132bが選択されたか否かを判別する(ステップS41)。一方、制御部10は、上記ステップS39において、一言ボタンが選択された場合、図3の動作設定記憶部121に記憶されたリラックス動作設定テーブルに基づくメッセージ表示パターンをメイン表示部13に表示する(ステップS40)。そして、制御部10は、上記ステップS41の動作を行う。
上記ステップS41において、制御部10は、音楽ボタンが選択されなかった場合、使用者が入力操作部11を操作することにより終了ボタン131が選択されたか否かを判別する(ステップS43)。一方、制御部10は、音楽ボタン132bが選択された場合、図3の動作設定記憶部121に記憶されたリラックス動作設定テーブルに基づく画像表示パターンをメイン表示部13に表示し、リラックス音楽パターンをスピーカ15aから再生する(ステップS42)。そして、制御部10は、上記ステップS43の動作を行う。
上記ステップS43において、制御部10は、終了ボタン131が選択された場合、上記一連の動作を終了する。一方、制御部10は、終了ボタンが選択されなかった場合、上記ステップS39の動作を繰り返す。
ところで、上記ステップS36において、制御部10はメンタルボタン132が選択されなかった場合、上記ステップS43の動作を行う。
また、制御部10は、上記ステップS30において、リラックスモードがオンしない場合、上記ステップS31と同様に、制御部10は、使用者が入力操作部11を操作することにより他の電話機に対する発信の旨の指令信号を受けたか否かを判別する(ステップS50)。
制御部10は、発信の旨の指令信号を受けた場合、その指令信号に基づく所定の動作を行い、通信相手から応答があったか否かを判別する(ステップS52)。次に、制御部10は、通信相手から応答があった場合、通信が終了したか否かを判別する(ステップS53)。制御部10は、通信が終了した場合、本実施の形態に係る通信プログラムを終了する。
上記ステップS50において、制御部10は、発信の旨の指令信号を受けない場合、他の電話機からの着信があるか否かを判別する(ステップS51)。
制御部10は、着信があった場合、その着信に対する所定の動作を行い、上記ステップS52の動作を行う。一方、制御部10は、上記ステップS51において、着信がない場合、上記ステップS30の動作を繰り返す。
以上、本実施の形態においては、制御部10により推定された使用者の心理状態に基づいて使用者の緊張を緩和させるための使用者へのリラクゼーションに関する情報がメイン表示部13により表示され、スピーカ15aにより音声出力される。それにより、通信相手に依存する使用者の緊張が緩和される。
上記では、心理状態の推定をするために図5の心理状態推定テーブルおよび図12の心理状態調整テーブルを用いたが、生体情報に基づく使用者の心理状態の推定は、図5の心理状態推定テーブルおよび図12の心理状態調整テーブルを用いることに限定されない。生体情報を用いるのであれば、生理量データのみを用いて他の推定テーブルにより使用者の心理状態を推定してもよいし、音声データのみを用いて使用者の心理状態を推定してもよい。
また、上記では、心理状態として使用者の緊張の度合いを推定しているが、これに限らず、他の実施の形態において後述するが、生体情報に基づいて使用者のうそを推定したり、喜怒哀楽を推定してもよい。この場合、使用者は自己の心理状態について様々な情報を得ることができる。
さらに、上記では、携帯電話機100は、使用者の緊張の度合いを心理状態として推定し、推定された心理状態に基づいて使用者へのリラクゼーションを行うが、リラクゼーションの方法は上記に限定されない。
例えば、携帯電話機100は、推定された心理状態に基づいて図13のメッセージ表示パターンを表示することのみにより使用者へのリラクゼーションを行ってもよいし、図13の画像表示パターンを表示することのみにより使用者へのリラクゼーションを行ってもよいし、図13のリラックス音楽パターンを再生することのみにより使用者へのリラクゼーションを行ってもよい。
本実施の形態では、心理状態の変化としてリラクゼーションを行っているが、心理状態の変化はこれに限らない。例えば、携帯電話機100は、使用者の気分の落ち込みを解消するために、使用者の気分を活性化させるための情報を出力してもよい。これにより、使用者の気分の活性化が図られる。
(第3の実施の形態)
第3の実施の形態に係る携帯電話機100は、以下の点を除き第1の実施の形態に係る携帯電話機100と同様の構成および動作を有する。
本実施の形態に係る携帯電話機100には、図3の動作設定記憶部121に後述のなごみ動作設定テーブルが記憶されている。
本実施の形態において、携帯電話機100は、使用者の通話中に使用者の生体情報として生理量データを測定し、測定された生理量データに基づいて使用者の心理状態を推定する。
そして、携帯電話機100は、使用者の通話中に推定された心理状態および後述のなごみ動作設定テーブルに基づいて使用者の心理状態に応じて使用者の心理状態をなごませるように動作する。以下、携帯電話機100の使用者の心理状態をなごませる動作をなごみ動作と呼ぶ。なごみ動作については後述する。
なごみ動作設定テーブルについて説明する。図19は、図3の動作設定記憶部121に記憶される内容の一例を示す図である。ここでは、動作設定記憶部121に記憶される内容の一例として、なごみ動作設定テーブルが表されている。
図19のなごみ動作設定テーブルでは、生理量データに基づいて推定される心理状態レベルごとになごみ音楽パターンおよびなごみことばパターンが設定されている。
ここで、なごみ音楽パターンとは使用者に対するなごみ動作時に図2の通話用スピーカ15bが再生する音声のパターンをいい、なごみことばパターンとは使用者に対するなごみ動作時に図2の通話用スピーカ15bが再生する音声のパターンをいう。
図19の例では、推定される心理状態レベル1および心理状態レベル2に対して、なごみ音楽パターンとして「せせらぎの音」が設定され、なごみことばパターンとして「ひといき、いれよう!」が設定されている。また、推定される心理状態レベル3および心理状態レベル4に対して、なごみことばパターンとして「ハイ、深呼吸して」が設定されている。
図20は、使用者が第3の実施の形態に係る携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。
使用者は、通話を行う場合に携帯電話機100の入力操作部11を操作する。
図20(a)は、使用者の通話中に、通話用スピーカ15bからなごみ音楽パターンが再生される場合のメイン表示部13の表示例を表す。メイン表示部13には、なごみ音楽パターンおよびなごみことばパターンが再生されている旨が表示されるとともに音量ボタン134およびオフボタン135が表示される。
図20(b)は、使用者の通話中に、通話用スピーカ15bからなごみことばパターンが再生される場合のメイン表示部13の表示例を表す。メイン表示部13には、なごみ音楽パターンが再生されている旨が表示されるとともに音量ボタン134およびオフボタン135が表示される。
図20(a)および図20(b)において、使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより音量ボタン134およびオフボタン135の選択を行うことができる。
ここで、使用者は入力操作部11を操作することにより音量ボタン134を選択した場合、通話用スピーカ15bから再生されるなごみ音楽パターンおよびなごみことばパターンの音量の設定を行うことができる。
一方、使用者は入力操作部11を操作することによりオフボタン135を選択した場合、携帯電話機100の使用者へのなごみ動作を終了させることができる。
図20(c)は、使用者が通話を終了した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の通話時間が表示されるとともに、なごみ動作を継続するか否かの問いかけ、はいボタン136aおよびいいえボタン136bが表示される。
使用者は、メイン表示部13に表示されるなごみ動作を継続するか否かの問いかけに対して、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより、はいボタン136aおよびいいえボタン136bのいずれかを選択する。
使用者は入力操作部11を操作することによりはいボタン136aを選択した場合、携帯電話機100のなごみ動作を継続させることができる。一方、使用者は入力操作部11を操作することによりいいえボタン136bを選択した場合、携帯電話機100のなごみ動作を終了させることができる。
図20(d)および図20(e)は、メイン表示部13が図20(c)の表示状態において、使用者がはいボタン136aを選択した場合のメイン表示部13の表示例を表す。
図20(d)において、メイン表示部13には、通話用スピーカ15bからなごみ音楽パターンおよびなごみことばパターンが再生されている旨が表示されるとともに終了ボタン131が表示される。この場合、使用者は通話用スピーカ15bから再生されるなごみ音楽パターンおよびなごみことばパターンを聞くことができる。
図20(e)において、メイン表示部13には、通話用スピーカ15bからなごみことばパターンが再生されている旨が表示されるとともに終了ボタン131が表示される。この場合、使用者は通話用スピーカ15bから再生されるなごみことばパターンを聞くことができる。
使用者はメイン表示部13が図20(c)の表示状態において、使用者が図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131を選択した場合、携帯電話機100のなごみ動作を終了させることができる。
なお、使用者の通話前(例えば、発信時および着信時)において、メイン表示部13には図8(a),(b)に示す内容が表示されてもよい。
また、本実施の形態において、使用者へのなごみ動作は第1の実施の形態に示すように通信相手ごとに設定されてもよいし、通信相手ごとに設定されなくてもよい。
本実施の形態に係る通信プログラムについて説明する。図21〜図23は、第3の実施の実施の形態に係る通信プログラムの一例を示すフローチャートである。
本実施の形態に係る通信プグラムによれば、図2の制御部10は次のように動作する。
初めに、図2の制御部10は、使用者による入力操作部11の操作によりなごみモードをオンする旨の指令信号を受けたか否かを判別する(ステップS60)。なごみモードのオンとは、携帯電話機100が上述のなごみ動作を行うことが可能な状態にすることをいう。
制御部10は、なごみモードをオンする旨の指令信号を受けた場合、第2の実施の形態において説明したステップS31〜ステップS33と同様の動作を行う(ステップS61〜S63)。
上記ステップS63において、制御部10は、応答があった場合、生理量データの測定を開始する(ステップS64)。
制御部10は、所定の時間が経過することにより、測定された生理量データに基づいて使用者の通信中の心理状態を推定する(ステップS65)。これにより、使用者の心理状態が図5の心理状態レベル1〜6のいずれかに分類される。
次に、制御部10は、使用者の心理状態レベルが1または2であるか否かを判別する(ステップS66)。制御部10は、使用者の心理状態レベルが1または2である場合、図19のなごみ動作設定テーブルに基づいてなごみことばパターンおよびなごみ音楽パターンを通話用スピーカ15bから再生する(ステップS67)。
制御部10は、上記ステップS67の動作の後または使用者の心理状態レベルが1または2でない場合、使用者の心理状態レベルが3または4であるか否かを判別する(ステップS68)。制御部10は、使用者の心理状態レベルが3または4である場合、図19のなごみ動作設定テーブルに基づいてなごみことばパターンを通話用スピーカ15bから再生する(ステップS69)。
次に、制御部10は、上記ステップS69の動作の後または使用者の心理状態レベルが3または4でない場合、通信が終了したか否かを判別する(ステップS70)。
制御部10は、通信が終了しない場合、上記ステップS64の動作を繰り返す。一方、制御部10は、通信が終了した場合、生理量データの測定を終了する(ステップS70b)。
続いて、制御部10は、使用者に対するなごみ動作を継続するか否かの問いかけをメイン表示部13に表示する(ステップS71)。そして、制御部10は、使用者が入力操作部11を操作することによりはいボタン136aが選択されたか否かを判別する(ステップS72)。
制御部10は、はいボタンが選択された場合、図19のなごみ動作設定テーブルに基づいてなごみ音楽パターンおよびなごみことばパターンを通話用スピーカ15bから再生する(ステップS73)。
その後、制御部10は、使用者が入力操作部11を操作することにより終了ボタン131が選択されたか否かを判別する(ステップS74)。制御部10は、終了ボタンが選択されなかった場合、上記ステップS73の動作を繰り返す。一方、制御部10は、終了ボタン131が選択された場合、本実施の形態に係る通信プログラムを終了する。
上記ステップS72において、制御部10は、はいボタン136aが選択されなかった場合、使用者が入力操作部11を操作することによりいいえボタン136bが選択されたか否かを判別する(ステップS75)。制御部10は、いいえボタン136bが選択されない場合、上記ステップS72の動作を繰り返す。一方、制御部10はいいえボタン136bが選択された場合、本実施の形態に係る通信プログラムを終了する。
また、制御部10は、上記ステップS60において、なごみモードがオンしない場合、第2の実施の形態のステップS50〜S53と同様の動作を行う(ステップS80〜S83)。この場合、制御部10は、上記ステップS83において、通信が終了した場合、本実施の形態に係る通信プログラムを終了する。
以上、本実施の形態においては、生理量データ測定部20および制御部10により推定された使用者の心理状態を示す情報が通話用スピーカ15bにより音声として出力される。それにより、使用者は、通信相手に依存する心理状態を容易に認識することができる。
また、本実施の形態においては、制御部10により推定された使用者の心理状態に基づいて使用者の緊張を緩和させるための情報(なごみに関する情報)が通話用スピーカ15bから音声出力される。それにより、通信相手に依存する使用者の緊張が緩和される。
上記では、第1の実施の形態と同様に心理状態として使用者の緊張の度合いを推定しているが、これに限らず、他の実施の形態において後述するが、生体情報に基づいて使用者のうそを推定したり、喜怒哀楽を推定してもよい。この場合、使用者は自己の心理状態について様々な情報を得ることができる。そして、図19のなごみ設定テーブルに代えて、推定される内容に応じた動作を設定しておくことにより、使用者は通話時に推定結果に応じたリラクゼーションまたは携帯電話機100の動作によるなごみを得ることができる。
携帯電話機100は、通話中でなくても、使用者の生体情報を検出してもよい。他の実施の形態において後述するが、例えば、携帯電話機100は使用者が電子メールを作成する際に使用者の生体情報を検出してもよい。この場合、使用者は自己の特定の通信相手への電子メールの作成時の心理状態についての情報を得ることができる。さらに、この場合、携帯電話機100が電子メールの作成時の心理状態に応じてなごみ動作を行うので、使用者は電子メールの作成時に緊張の度合いが高くなったときでも、なごみを得ることができる。
(第4の実施の形態)
第4の実施の形態に係る携帯電話機100は、以下の点を除き第1の実施の形態に係る携帯電話機100と同様の構成および動作を有する。
本実施の形態に係る携帯電話機100は、使用者の心理状態として、喜怒哀楽の度合いを推定する。使用者の喜怒哀楽の度合いの推定は、使用者の生理量データおよび音声データの解析結果に基づいて行う。
本実施の形態では、生理量データとしてGSRが用いられる。音声データとしては、第2の実施の形態で説明したように録音された使用者の会話の音声が用いられる。
図24は、使用者の喜怒哀楽の度合いを推定するためのデータの抽出方法を説明するための図である。
図24に示すように、携帯電話機100は使用者の通話開始から通話終了までの使用者のGSRおよび音声データを記憶する。そして、携帯電話機100は、得られた音声データに基づいて使用者が発声した時間を特定する。これにより特定される時間を発声期間と呼ぶ。
携帯電話機100は、特定された発声期間の前後に所定の時間を付加することにより、記憶された音声データおよびGSRのうち解析対象とする時間を決定する。これにより決定される時間を解析対象期間と呼ぶ。図24では、解析対象期間が符号TT1および符号TT2で表されている。
携帯電話機100は、決定された解析対象期間TT1,TT2の各々において、音声データの解析を行う。その結果、携帯電話機100は、解析対象期間TT1,TT2の各々における音声データのパラメータとして、発音のトーン、抑揚およびジッタを得る。なお、以下の説明において、トーン、抑揚およびジッタの解析結果は数値化されているものとする。
また、携帯電話機100は、決定された解析対象期間TT1,TT2の各々において、GSRの解析を行う。この解析は、解析対象期間TT1,TT2の各々において、測定されたGSRの最大値から最小値までの差分値を算出することにより行う。以下、この差分値をGSR差分値と呼ぶ。
図24では、解析対象期間TT1,TT2ごとに算出されるGSR差分値が、それぞれ矢印ΔGm1および矢印ΔGm2で表されている。
本実施の形態に係る携帯電話機100には、図3の心理状態推定テーブル格納部122に後述の生理量感情推定テーブル、音声感情推定テーブル、感情推定基準テーブルおよびポイント決定テーブルが記憶されている。
携帯電話機100は、決定された解析対象期間ごとに、生理量データを解析することにより得られる上述のGSR差分値および生理量推定テーブルに基づいて後述の感情レベルを決定する。また、携帯電話機100は、決定された解析対象期間ごとに、音声データを解析することにより得られる上述の発音のトーン、抑揚およびジッタおよび音声感情推定テーブルに基づいて後述の感情レベルを決定する。
その後、携帯電話機100は、GSR差分値、トーン、抑揚およびジッタの各々に基づいて決定された複数の感情レベル、感情推定基準テーブルならびにポイント決定テーブルに基づいて使用者の喜怒哀楽の度合いを推定する。
生理量感情推定テーブルおよび音声感情推定テーブルについて説明する。図25は、図3の心理状態推定テーブル格納部122および音声解析テーブル格納部125に記憶される内容の一例を示す図である。ここでは、心理状態推定テーブル格納部122および音声解析テーブル格納部125に記憶される内容の一例として、生理量感情推定テーブルおよび音声感情推定テーブルが表されている。
図25(a)は心理状態推定テーブル格納部122に記憶される生理量感情推定テーブルの一例を表す。上述のように、測定された使用者のGSRに基づいてGSR差分値が算出される。生理量感情推定テーブルにより算出されたGSR差分値に基づいて使用者の喜怒哀楽の度合いを推定するための感情レベルが決定される。感情レベルの決定は、所定の基準値に対するGSR差分値の大小関係に基づき決定される。
図25(a)においては、GSR差分値ΔGmについて3つの基準値Kα,Kβ,Kγが設定されている。これら基準値Kα,Kβ,Kγは、Kα,Kβ,Kγの順に大きい。
GSR差分値ΔGmによる感情レベルの決定の一例を説明する。図25(a)によれば、例えば、GSR差分値ΔGmが基準値Kγ以上である場合、感情レベル3が決定され、GSR差分値ΔGmが基準値Kβ以上であり、かつ、基準値Kγ未満である場合にも、感情レベル3が決定される。
また、GSR差分値ΔGmが基準値Kα以上であり、かつ、基準値Kβ未満である場合、感情レベル1が決定され、GSR差分値ΔGmが基準値Kα未満である場合、感情レベル2が決定される。
図25(b)は音声解析テーブル格納部125に記憶される音声感情推定テーブルの一例を表す。上述のように、使用者の音声データを解析することにより得られるトーン、抑揚およびジッタに基づいて使用者の喜怒哀楽の度合いを推定するための感情レベルが決定される。感情レベルの決定は、トーン、抑揚およびジッタの各々について行われ、予め設定された基準値に対するトーン、抑揚およびジッタの大小関係に基づき決定される。この場合、所定の基準値はトーン、抑揚およびジッタの各々について設定されている。
図25(b)においては、トーンTOについて3つの基準値Lα,Lβ,Lγが設定されている。これら基準値Lα,Lβ,Lγは、Lα,Lβ,Lγの順に大きい。また、抑揚YOについて3つの基準値Mα,Mβ,Mγが設定されている。これら基準値Mα,Mβ,Mγは、Mα,Mβ,Mγの順に大きい。さらに、ジッタGIについて3つの基準値Nα,Nβ,Nγが設定されている。これら基準値Nα,Nβ,Nγは、Nα,Nβ,Nγの順に大きい。
トーンTOによる感情レベルの決定の一例を説明する。図25(b)によれば、例えば、トーンTOが基準値Lγ以上である場合、感情レベル3が決定され、トーンTOが基準値Lβ以上であり、かつ、基準値Lγ未満である場合にも、感情レベル3が決定される。
また、トーンTOが基準値Lα以上であり、かつ、基準値Lβ未満である場合、感情レベル1が決定され、トーンTOが基準値Lα未満である場合、感情レベル3が決定される。
感情推定基準テーブルおよびポイント決定テーブルについて説明する。図26は、図3の心理状態推定テーブル格納部122に記憶される内容の一例を示す図である。ここでは、心理状態推定テーブル格納部122に記憶される内容の一例として、感情推定基準テーブルおよびポイント決定テーブルが表されている。
図26(a)は心理状態推定テーブル格納部122に記憶される感情推定基準テーブルの一例を表す。
図26(a)においては、GSR差分値、トーン、抑揚およびジッタの各々に基づいて決定される感情レベルの組合せが、感情として、喜び、怒り、哀しみおよび楽しみの4つのグループに分類されている。このような、図26(a)における感情レベルの組合せを基準組合せと呼ぶ。
この基準組合せの一例を説明する。図26(a)によれば、例えば、喜びについての基準組合せは、GSR差分値に基づく感情レベルが3であり、トーンに基づく感情レベルが3であり、抑揚に基づく感情レベルが3であり、ジッタに基づく感情レベルが3である。
このように定められた喜び、怒り、哀しみおよび楽しみの4つの基準組合せは、その後、測定により得られたGSR差分値ならびに音声データの解析により得られたトーン、抑揚およびジッタに基づく感情レベルの組合せ(以下、測定組合せと呼ぶ。)とそれぞれ比較される。
基準組合せと測定組合せとの比較時においては、組み合わされた感情レベルごとの比較が行われる。そして、比較の結果として後述のポイントが決定される。
図26(b)は心理状態推定テーブル格納部122に記憶されるポイント決定テーブルの一例を表す。図26(b)においては、基準組合せと測定組合せとの比較時の感情レベルの差異に応じたポイントが設定されている。
基準組合せの各感情レベルと測定組合せの対応する感情レベルとを比較する場合を想定する。図26(b)によれば、その比較の結果、基準組合せの感情レベルと測定組合せの感情レベルとの間で差異がない場合、ポイントが30として決定される。また、感情レベルの差異が1の場合、ポイントが20として決定される。さらに、感情レベルの差異が2の場合、ポイントが10として決定され、感情レベルの差異が3の場合、ポイントが0として決定される。
図27は測定組合せから喜怒哀楽の度合いを推定する場合の一例を説明するための図である。
図27(a)は測定組合せの一例を表す。図27(a)では、GSR差分値に基づく感情レベルが3であり、トーンに基づく感情レベルが3であり、抑揚に基づく感情レベルが3であり、ジッタに基づく感情レベルが3である旨が表されている。
上述のように、喜怒哀楽の度合いの推定時において、図27(a)で表される測定組合せは、図26(a)で表される感情推定基準テーブルの喜び、怒り、哀しみおよび楽しみの4つの基準組合せとそれぞれ比較される。そして、測定組合せと基準組合せとの比較結果および図26(b)のポイント決定テーブルに基づいて後述の測定結果ポイントテーブルが作成される。測定結果ポイントテーブルは個人情報データ格納部123に記憶される。
図27(b)は測定結果ポイントテーブルの一例を表す。図27(b)においては、図27(a)で表される測定組合せの各感情レベルと図26(a)の基準組合せの各感情レベルとの比較結果ならびに図26(b)のポイント設定テーブルに基づいて、喜び、怒り、哀しみおよび楽しみについてのポイントの組合せが表されている。
ポイントの組合せの一例として、喜びに関するポイントの組合せについて説明する。
上述のように、図27(a)の測定組合せでは、GSR差分値に基づく感情レベルが3であり、トーンに基づく感情レベルが3であり、抑揚に基づく感情レベルが3であり、ジッタに基づく感情レベルが3である。一方、図26(a)の喜びの基準組合せでは、GSR差分値に基づく感情レベルが3であり、トーンに基づく感情レベルが3であり、抑揚に基づく感情レベルが3であり、ジッタに基づく感情レベルが3である。
したがって、これらをそれぞれ比較すると、全ての感情レベルが同一である。その結果、図27(a)で表される測定組合せの各感情レベルと図26(a)で表される基準組合せの各感情レベルとの差異が全て0となる。
ここで、図26(b)のポイント決定テーブルによれば、測定組合せの感情レベルと基準組合せの感情レベルとの差異が0の場合、ポイントが30として決定される。
したがって、この場合、図27(b)で表されるように、喜びに関するポイントの組合せでは、GSR差分値に基づくポイントが30に決定され、トーンに基づくポイントが30に決定され、抑揚に基づくポイントが30に決定され、ジッタに基づくポイントが30に決定される。
同様に、怒り、悲しみおよび楽しみについても測定組合せの各感情レベルと基準組合せの各感情レベルとの比較が行われる。その結果、ポイントの組合せがそれぞれ決定される。
図27(b)に表されるように、決定されたポイントは各組合せごとに合計される。
すなわち、喜びに関するポイントの組合せでは、GSR差分値に基づくポイント30、トーンに基づくポイント30、抑揚に基づくポイント30およびジッタに基づくポイント30が合計され、合計値120が算出される。一方、図27(b)によれば、怒りに関するポイントの組合せでは、合計値90が算出される。他方、哀しみに関するポイントの組合せでは、合計値40が算出される。さらに、楽しみに関するポイントの組合せでは、合計値100が算出される。
最後に、算出された合計値の減算処理が行われる。本実施の形態では、喜びに関するポイントの合計値から怒りに関するポイントの合計値の減算処理が行われ、楽しみに関するポイントの合計値から哀しみに関するポイントの合計値の減算処理が行われる。
その結果、携帯電話機100は、使用者の喜怒哀楽の度合いを、喜びと怒りとの関係および哀しみと楽しみとの関係により推定することができる。図27(c)は、上記の動作により得られる使用者の喜怒哀楽の度合いを表すグラフの一例である。
以上に示す使用者の喜怒哀楽の度合いの推定動作は、使用者の通話時に抽出された解析対象期間ごとに行われる。そして、解析対象期間が複数存在する場合、複数の推定結果に基づいて、さらに、その平均値が算出される。その結果、使用者は自己の通話時における喜怒哀楽の度合いを知ることができる。
本実施の形態では、上述のように使用者の喜怒哀楽の度合いを推定するために、生理量感情推定テーブル、音声感情推定テーブル、感情推定基準テーブルおよびポイント決定テーブルを用いているが、これに限らず、使用者の通話中の喜怒哀楽の度合いを推定することができるのであれば、他のテーブルを用いて上記の推定動作を行ってもよい。
また、上記では、使用者の喜怒哀楽の度合いを推定するためにパラメータとして、GSR差分値、トーン、抑揚およびジッタを用いているが、使用者の喜怒哀楽の度合いを推定できるのであれば、パラメータはこれらに限られない。例えば、生理量データとして皮膚温度および脈拍等を用いてもよいし、GSR測定値に基づいて所定の解析を行うことにより得られる他の値を用いてもよい。
さらに、喜怒哀楽の推定に用いるパラメータの数は上記に限定されない。喜怒哀楽の推定に用いるパラメータをより多く用いることにより、使用者の喜怒哀楽の度合いの推定結果の精度が向上する。
上記では、使用者の喜怒哀楽の度合いを推定するために使用者の発声期間から解析対象期間を設定しているが、これに限らず、使用者の通話時間中の全ての生理量データおよび音声データに基づいて喜怒哀楽の度合いを推定してもよい。
上述の各種基準値は、それぞれ予め特定の値を定めることにより設定されてもよいし、各使用者の健康状態および性格等の特徴に応じて使用者ごとに設定されてもよい。
図28は、使用者が第4の実施の形態に係る携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。以下の説明において、携帯電話機100が使用者の通話中の喜怒哀楽の度合いを推定する動作を喜怒哀楽動作と呼ぶ。
図28(a)は、使用者が通話を終了した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の通話時間が表示されるとともに、終了ボタン131および喜怒哀楽ボタン180が表示される。
図28(b)は、メイン表示部13が図28(a)の表示状態において、使用者が喜怒哀楽ボタン180を選択した場合のメイン表示部13の表示例を表す。
図28(b)において、メイン表示部13には、喜びと怒りの度合いからなる縦軸および悲しみと楽しみの度合いからなる横軸を有するグラフが表示されるとともに終了ボタン131が表示される。グラフ中には、使用者の通話中における喜怒哀楽の度合いの推定値がプロットされている。それにより、使用者は自己の通話中の喜怒哀楽の度合いを知ることができる。
使用者はメイン表示部13が図28(a),(b)の表示状態において、使用者が図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131を選択した場合、携帯電話機100の喜怒哀楽動作を終了させることができる。
なお、使用者の通話前(例えば、発信時および着信時)において、メイン表示部13には図8(a),(b)の内容が表示されてもよい。
さらに、携帯電話機100は、使用者の通話中で、かつ、使用者の発声期間ごとに上記の喜怒哀楽動作を行うことにより、リアルタイムに図28(b)の内容を表示してもよい。
上記の図28(b)においては、グラフ中のプロットされた点が通話中の複数の発声期間ごとに推定された使用者の喜怒哀楽の度合いの平均値を示す。しかしながら、これに限らず、図28(b)においては、使用者の通話時の発声期間ごとの推定内容が、全てプロットされてもよい。この場合、メモリ12には、使用者の通話時の発声期間ごとの推定内容および音声データがプロットと対応付けて記憶されてもよい。ここで、使用者が特定のプロットを選択することにより、メイン表示部13が推定内容を表示し、通話用スピーカ15bが音声データを出力するように設定しておくことで、使用者は自己の発声時の喜怒哀楽の度合いを再確認することができる。
図28(b)では、使用者の喜怒哀楽の度合いの推定結果を表示するために二次元のグラフが用いられているが、喜び、怒り、哀しみおよび楽しみの度合いについての推定結果を、各々棒グラフ状で表してもよい。
また、本実施の形態では、使用者の喜怒哀楽の度合いを推定するために、図26(a)において、喜び、怒り、哀しみおよび楽しみについての基準組合せを設定しているが、これに限らず、驚き、恐れ、不安および愛情等、様々な感情についても上述の基準組合せを設定してもよい。この場合、使用者はより様々な感情についての情報を得ることができる。
本実施の形態に係る通信プログラムについて説明する。図29〜図31は、第4の実施の形態に係る通信プログラムの一例を示すフローチャートである。
本実施の形態に係る通信プログラムによれば図2の制御部10は次のように動作する。
初めに、図2の制御部10は、使用者による入力操作部11の操作により喜怒哀楽モードをオンする旨の指令信号を受けたか否かを判別する(ステップS100)。喜怒哀楽モードのオンとは、携帯電話機100が上述の喜怒哀楽動作を行うことが可能な状態にすることをいう。
制御部10は、喜怒哀楽モードをオンする旨の指令信号を受けた場合、第2の実施の形態で説明したステップS31〜ステップS33と同様の動作を行う(ステップS101〜S103)。上記ステップS103において、制御部10は、応答があった場合、生理量データの測定および音声データの録音を開始する(ステップS104)。
次に、制御部10は、通信が終了したか否かを判別する(ステップS105)。制御部10は、通信が終了しない場合、上記ステップS104の動作を繰り返す。一方、制御部10は、通信が終了した場合、生理量データの測定および音声データの録音を終了する(ステップS106)。
続いて、制御部10は、録音された音声データに基づいて使用者の発声を識別する(ステップS107)。そして、制御部10は、使用者の発声があるか否かを判別する(ステップS108)。
制御部10は、使用者の発声がある場合、使用者の発声の時間を特定し、発声ごとに上述の解析対象期間を設定する(ステップS109)。
制御部10は、設定された解析対象期間ごとに、測定された生理量データおよび録音された音声データに基づいて使用者の発声時における喜怒哀楽の度合いを推定する(ステップS110)。
そして、制御部10は、推定された一または複数の喜怒哀楽の度合いに基づいて、通話中の喜怒哀楽の度合いの平均値を算出する(ステップS111)。
これにより、制御部10は、推定された通話中の喜怒哀楽の度合いをメイン表示部13に表示する(ステップS112)。最後に、制御部10は、図3の履歴データ格納部124に推定された喜怒哀楽の度合いを履歴データとして記憶する(ステップS113)。これにより、制御部10は、本実施の形態に係る通信プログラムを終了する。
また、制御部10は、上記ステップS108において、使用者の発声がない場合、本実施の形態に係る通信プログラムを終了する。
制御部10は、上記ステップS100において、喜怒哀楽モードがオンしない場合、第2の実施の形態のステップS50〜S53と同様の動作を行う(ステップS120〜S123)。制御部10は、上記ステップS123において、通信が終了した場合、本実施の形態に係る通信プログラムを終了する。
上記の本実施の形態に係る通信プログラムにおいては、ステップS113の動作により使用者の通話ごとに推定された喜怒哀楽の度合いが履歴データとして図3の履歴データ格納部124に記憶される。これにより、使用者は、履歴データ格納部124から履歴データを呼び出すことにより過去の通話時における自己の喜怒哀楽についての情報を得ることができる。
なお、上記では、図28の説明においてメイン表示部13に表示される終了ボタン131および喜怒哀楽ボタン180の使用者による操作に基づく動作について説明を省略しているが、制御部10は使用者が図28の終了ボタン131を選択することにより通信プログラムを終了させ、使用者が喜怒哀楽ボタン180を選択することにより推定された喜怒哀楽の度合いをメイン表示部13に表示させる。
さらに、上記では、携帯電話機100は推定された喜怒哀楽の度合いを履歴データとして記憶するとしているが、携帯電話機100は推定された喜怒哀楽の度合いを履歴データとして記憶しなくてもよい。
以上、本実施の形態においては、通話用スピーカ15bに対する使用者の発声期間(解析対象期間)が制御部10により判別され、使用者の発声期間に使用者の生体情報が検出される。それにより、通話相手および通話内容に依存する生体情報を取得することができる。
また、本実施の形態においては、生理量データ測定部20および通話用スピーカ15bにより検出された生体情報に基づいて使用者の喜怒哀楽の度合いが制御部10により推定される。それにより、通信相手に依存した使用者の喜怒哀楽を認識することができる。
上記では、喜怒哀楽の度合いを推定をするために図25の生理量感情推定テーブルおよび音声感情推定テーブルならびに図26の感情推定基準テーブルおよびポイント決定テーブルを用いたが、生体情報を用いるのであれば、生理量データのみを用いて他の推定テーブルにより使用者の喜怒哀楽の度合いを推定してもよいし、音声データのみを用いて他の推定テーブルにより使用者の喜怒哀楽に度合いを推定してもよい。
また、上記では、心理状態として使用者の発声時における喜怒哀楽の度合いを推定しているが、これに限らず、生体情報に基づいて使用者のうそを推定したり、緊張の度合いを推定してもよい。この場合、使用者は発声時の自己の心理状態について様々な情報を得ることができる。
携帯電話機100は、通話中でなくても、使用者の生体情報を検出し、検出された生体情報に基づいて喜怒哀楽の度合いを推定してもよい。他の実施の形態において後述するが、例えば、携帯電話機100は使用者が電子メールを作成する際に使用者の生体情報を検出してもよい。この場合、使用者は自己の特定の通信相手への電子メールの作成時の喜怒哀楽の度合いについての情報を得ることができる。
他の実施の形態において後述するが、携帯電話機100は、検出された生体情報または推定された喜怒哀楽の度合いについての情報を他の通信装置に送信してもよい。
本実施の形態において、上記各テーブルに設定される値は、第1の実施の形態に示すように通信相手(通話相手)ごとに設定されてもよいし、通信相手ごとに設定されなくてもよい。
(第5の実施の形態)
第5の実施の形態に係る携帯電話機100は、以下の点を除き第1の実施の形態に係る携帯電話機100と同様の構成および動作を有する。
本実施の形態に係る携帯電話機100には、図3の動作設定記憶部121に後述のメール動作設定テーブルが記憶されている。
携帯電話機100は電子メールの作成時における使用者の生理量データを測定する。そして、携帯電話機100は第1の実施の形態と同様に、測定された生理量データおよび図5の心理状態推定テーブルに基づいて使用者の電子メールの作成時の心理状態を推定する。
さらに、本実施の形態に係る携帯電話機100は、使用者により作成された電子メールに心理状態に応じた所定の絵文字を追加したり、所定の画像および音楽等のファイルを添付したりすることができる。
メール動作設定テーブルについて説明する。図32は、図3の動作設定記憶部121に記憶される内容の一例を示す図である。図32のテーブルは、動作設定記憶部121に記憶されるメール動作設定テーブルの一例を表す。
図32によれば、携帯電話機100が作成された電子メールの文中に追加する感情文字および作成された電子メールに添付する感情画像が、測定された生理量データおよび図5の心理状態推定テーブルにより決定される心理状態レベルごとに分類されている。
例えば、心理状態レベル1に対する感情文字として、「(^^);ヘ(^^);ヘ」、「ドキッ(◎。◎)ドキッ」、「(ヘ_ヘ;)」および「(”Q”)」等が対応付けられている。また、心理状態レベル1に対する感情画像として、人間が非常に緊張している旨を連想させる画像および緊張の度合いを波で表した画像等が対応付けられている。
例えば、携帯電話機100は、使用者の電子メールの作成時に測定された生理量データおよび図5の心理状態推定テーブルに基づいて使用者の電子メールの作成時における心理状態レベルが1であると決定した場合、図32のメール動作設定テーブルに基づいて電子メールに「(^^);ヘ(^^);ヘ」というような感情文字を追加したり、非常に緊張している旨を連想させる画像を添付したりする。これにより、本実施の形態に係る携帯電話機100は、使用者の心理状態に応じた電子メールを通信相手に送信することができる。それにより、使用者は電子メールの作成時おける自己の心理状態を通信相手に伝えることができる。
図33および図34は、使用者が第5の実施の形態に係る携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。
使用者は、電子メールを作成する場合に携帯電話機100の入力操作部11を操作する。
図33(a)は、使用者が電子メールの作成を終了した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の作成した電子メールの内容が表示されるとともに送信ボタン140、編集ボタン141およびサブボタン142が表示される。
ここで、使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより、送信ボタン140、編集ボタン141およびサブボタン142の選択を行うことができる。
図33(b)は、使用者が送信ボタン140を選択した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の電子メールの作成中に検出された生体情報に基づいて推定される使用者の心理状態が新たなウィンドウ13Sに表示されるとともに、感情追加ボタン140aおよび感情追加なしボタン140bが表示される。
使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより、感情追加ボタン140aおよび感情追加なしボタン140bの選択を行うことができる。
図34(c)は、使用者が感情追加ボタン140aを選択した場合のメイン表示部13の表示例を表す。メイン表示部13には、新たなウィンドウ13Sに使用者が作成した電子メールに図32の感情画像を添付して電子メールを送信をした旨が表示されるとともに終了ボタン131、編集ボタン141およびサブボタン142が表示される。
図34(d)は、使用者が感情追加ボタン140aを選択した場合のメイン表示部の他の表示例を表す。メイン表示部13には、新たなウィンドウ13Sに使用者が作成した電子メールに図32の感情文字を追加して電子メールを送信した旨が表示されるとともに終了ボタン131、編集ボタン141およびサブボタン142が表示される。
ここで、メイン表示部13の図34(c),(d)の表示状態において、使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131、編集ボタン141およびサブボタン142の選択を行うことができる。
図34(e)は、使用者の作成した電子メールを受信した通信相手の携帯電話機100のメイン表示部13の表示例を表す。使用者が作成した電子メールに感情画像を添付して送信した場合、その電子メールを受信する通信相手のメイン表示部13には、使用者により作成された電子メールの内容、使用者により作成された電子メールに添付された画像144、返信ボタン143、編集ボタン141およびサブボタン142が表示される。
図34(f)は、使用者の作成した電子メールを受信した通信相手の携帯電話機100のメイン表示部13の他の表示例を表す。図34(d)に示すように、使用者が作成した電子メールに感情文字を追加して送信した場合、その送信を受信した通信相手のメイン表示部13には、使用者により作成された電子メールの内容、使用者により作成された電子メールに追加された感情文字145、返信ボタン143、編集ボタン141およびサブボタン142が表示される。
図34(e),(f)において、使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより返信ボタン143、編集ボタン141およびサブボタン142の選択を行うことができる。
上記において、使用者が編集ボタン141を選択した場合、使用者は自己の作成する電子メールの内容を編集することができる。また、使用者がサブボタン142を選択した場合、使用者は他の機能(例えば、通信相手の電子メールアドレスの個人情報データへの登録等)を行うことができる。
また、使用者が終了ボタン131を選択した場合、使用者は携帯電話機100の電子メールの作成動作および送信動作を終了させることができる。さらに、使用者が返信ボタン143を選択した場合、受信した電子メールに対する返信用の電子メールを作成することができる。
本実施の形態に係る通信プログラムについて説明する。図35および図36は、第5の実施の形態に係る通信プログラムの一例を示すフローチャートである。
本実施の形態に係る通信プログラムによれば、図2の制御部10は、次のように動作する。
初めに、図2に制御部10は、使用者による入力操作部11の操作により感情メールモードをオンする旨の指令信号を受けたか否かを判別する(ステップS200)。感情メールモードのオンとは、携帯電話機100が使用者により作成された電子メールに使用者の心理状態に応じた感情文字を追加したり、感情画像を添付したりする機能を動作させる旨をいう。
制御部10は感情メールモードをオンする旨の指令信号を受けた場合、使用者が入力操作部11を操作することによる電子メールの作成が開始されたか否かを判別する(ステップS201)。
制御部10は、使用者の電子メールの作成が開始された場合、生理量データの測定を開始する(ステップS202)。
続いて、制御部10は使用者が入力操作部11を操作することにより送信ボタン140が選択されたか否かを判別する(ステップS203)。制御部10は、送信ボタン140が選択された場合、生理量データの測定を終了し、測定された生理量データに基づいて使用者の電子メールの作成中の心理状態を推定する(ステップS204)。
そして、制御部10は、使用者の心理状態の推定結果をメイン表示部13に表示する(ステップS205)。ここで、制御部10は、使用者が感情追加ボタン140aが選択されたか否かを判別する(ステップS206)。
制御部10は、感情追加ボタン140aが選択された場合、推定された使用者の心理状態および図32のメール動作設定テーブルに基づいて作成された電子メールに追加する感情文字または作成された電子メールに添付する感情画像を選択する(ステップS207)。
ここで、制御部10による感情文字および感情画像の選択は、通信相手に応じて予め特定の感情文字および感情画像を設定しておくことにより行ってもよい。また、制御部10は、使用者の入力操作部11の操作に基づいて、感情文字および感情画像の選択を行ってもよい。
その後、制御部10は、作成された電子メールへの感情文字の追加または感情画像の添付を行う(ステップS208)。最後に、制御部10は、使用者により作成された電子メールの送信を行う(ステップS210)。これにより、本実施の形態に係る通信プログラムが終了する。
なお、上記ステップS206において、感情追加ボタン140aが選択されなかった場合、制御部10は感情追加なしボタン140bが選択されたか否かを判別する(ステップS209)。制御部10は、感情追加なしボタン140bが選択されなかった場合、上記ステップS206の動作を繰り返す。一方、制御部10は、感情追加なしボタン140bが選択された場合、上記ステップS210の動作を行う。
また、制御部10は、上記ステップS200において感情メールモードがオンしない場合、上記ステップS201と同様に制御部10は、使用者が入力操作部11を操作することにより電子メールの作成が開始されたか否かを判別する(ステップS220)。ここで、制御部10は、電子メールの作成が開始されない場合、上記ステップS200の動作を繰り返す。一方、制御部10は、電子メールの作成が開始された場合、送信ボタン140が選択されたか否かを判別する(ステップS221)。
制御部10は、送信ボタン140が選択された場合、上記ステップS210の動作を行う、そして、制御部10は、本実施の形態に係る通信プログラムを終了する。
以上、本実施の形態においては、使用者が入力操作部11を操作することにより任意の相手に送信する電子メールの作成を行っているときに、使用者の生体情報が検出される。それにより、電子メールの相手または電子メールの内容に依存する生体情報を取得することができる。
なお、上記の例では、携帯電話機100は、使用者のメール作成時の生体情報を検出しているが、これに限らず、携帯電話機100は、使用者の電子メール送信時の生体情報を検出してもよい。さらに、携帯電話機100は、電子メールが受信されたとき、および、受信された電子メールを閲覧しているときの使用者の生体情報を検出してもよい。
この場合、使用者の電子メールの送信時、電子メールの受信時および受信された電子メールの閲覧時の使用者の生体情報が検出されることにより、携帯電話機100は、電子メールの相手または電子メールの内容に依存する使用者の生体情報を取得することができる。
また、本実施の形態においては、生理量データ測定部20により検出された生体情報に基づいて使用者の心理状態が制御部10により推定される。そして、推定された使用者の心理状態を示す情報が入力操作部11により作成される電子メールに制御部10により挿入される。その結果、使用者の心理状態を示す情報が挿入された電子メールが通信相手に送信される。
本実施の形態においては、図32に示した心理状態レベルに応じて感情文字および感情画像が設定されているが、これに限らず、使用者の緊張の度合い、使用者のうその発声または使用者の喜怒哀楽等の種々の心理状態の推定結果に応じて、感情文字および感情画像が設定されてもよい。この場合、使用者は自己の心理状態についての様々な情報を通信相手に伝えることができる。
図32のメール動作設定テーブルにおいては、使用者により作成された電子メールに追加する感情文字および電子メールに添付する感情画像が設定されているが、これに限らず、メール動作設定テーブルには、例えば、使用者の心理状態に応じて特定の音楽パターンが設定されてもよい。この場合、作成された電子メールに使用者の心理状態に応じた音楽パターンが添付されることにより、使用者は、自己の心理状態についての情報を音楽により通信相手に伝えることができる。
上記では、心理状態レベルを決定するために図5の心理状態推定テーブルを用いたが、生体情報に基づく使用者の心理状態の推定は、図5の心理状態推定テーブルを用いることに限定されない。生体情報を用いるのであれば、生理量データのみを用いて他の推定テーブルにより心理状態レベルを決定してもよいし、電子メール作成時に使用者の音声データを取得して、その音声データを用いて心理状態レベルを決定してもよい。さらに、生理量データおよび音声データをともに用いて心理状態レベルを決定してもよい。
携帯電話機100は、電子メールの作成中でなくても、通話中に使用者の生体情報を検出してもよい。この場合、例えば、携帯電話機100が、使用者の通話後に、使用者の心理状態に関する感情文字が追加された電子メールまたは感情画像の添付された電子メールをその通信相手に送信することにより、使用者は通話中の自己の心理状態についての様々な情報を通信相手に伝えることができる。
(第6の実施の形態)
第6の実施の形態に係る携帯電話機100は、以下の点を除き第1の実施の形態に係る携帯電話機100と同様の構成および動作を有する。
本実施の形態に係る携帯電話機100は、使用者の通話中の生理量データを測定するとともに、心理状態を推定する。また、本実施の形態に係る携帯電話機100は、使用者の通話中の音声データを録音し、測定された使用者の生理量データに基づいて録音された音声データの中から特定の期間の音声データを抽出し、記憶することができる。これにより、使用者は特定の期間の音声データ(通話内容)を再生することができる。
ここで、特定の期間とは、例えば、使用者の生理量データが特定の状態となる場合、すなわち、その生理量データに基づいて心理状態が緊張していると推定される場合の期間をいう。なお、この特定の期間は、使用者が緊張している期間に限られない。
本実施の形態では、第1の実施の形態で説明したように、生理量データとしてGSR、皮膚温度および脈拍が用いられる。音声データとしては、第2の実施の形態で説明したように、録音された使用者の会話の音声が用いられる。
図37は、使用者の通話中の生理量データの変化に基づいて特定の期間の音声データを抽出する方法を説明するための図である。図37に示すように、携帯電話機100は、使用者の通話終了時において、使用者の通話開始から通話終了までの使用者の皮膚温度、GSRおよび音声データを記憶している。
ここで、本実施の形態において、図3の心理状態推定テーブル格納部122には、図5の心理状態推定テーブルに関する各種基準値の他、後述の特定通話期間を検出するための皮膚温度およびGSRについての基準値TTH,GTHが記憶されている。
携帯電話機100は、測定された皮膚温度およびGSR測定値と基準値TTH,GTHの各々とを比較する。測定された皮膚温度と基準値TTHとの比較時において、携帯電話機100は図37に示すように、測定値が基準値TTHよりも低くなる場合の期間を皮膚温低下期間Sa1〜Sa3として特定する。
一般に、人間は皮膚温度が低い場合に緊張状態である可能性が高いとされている。したがって、皮膚温低下期間Sa1〜Sa3において、使用者は緊張した状態にあると推定される。
一方、測定されたGSRと基準値GTHとの比較時において、携帯電話機100は、図37に示すようにGSR測定値が基準値GTHを超える期間をGSR検出期間Ga1,Ga2として特定する。
一般に、人間はGSRが高い場合に緊張状態である可能性が高いとされている。したがって、GSR検出期間Ga1,Ga2においては、使用者は緊張した状態にあると推定される。
ここで、本実施の形態では、精度よく使用者の緊張状態を検出するために上記の特定された皮膚温低下期間Sa1〜Sa3とGSR検出期間Ga1,Ga2との重複期間を検出する。そして、携帯電話機100は、検出された皮膚温低下期間Sa1〜Sa3とGSR検出期間Ga1,Ga2との重複期間に基づいて、通話開始から通話終了までの全体の音声データADTの中から特定通話期間AD1,AD2の音声データを抽出する。なお、図37に示すように、特定通話期間AD1,AD2において、符号et1,et2で表される期間は上記の重複期間の前後に余裕を見て付加される付加期間である。この付加期間et1および付加期間et2の長さは、それぞれ同一であってもよいし、互いに異なってもよい。このような付加期間et1,et2を設定することにより携帯電話機100は、使用者の緊張時の前後における音声データも抽出することができる。
特定通話期間AD1,AD2の音声データは、例えば図3の履歴データ格納部124に履歴データとして記憶されてもよい。この場合、使用者は履歴データを呼び出すことにより自己の通話中における緊張時の通話内容を再生することができる。
図38は、使用者が第6の実施の形態に係る携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。
使用者は、通話を行う場合に携帯電話機100の入力操作部11を操作する。
図38(a)は、通話中のメイン表示部13の表示例を表す。メイン表示部13には使用者が通話している際に現在の通話時間が表示され、使用者の生体情報を検出している旨および音声データを録音している旨が表示される。
図38(b)は、使用者が通話を終了した場合のメイン表示部13の表示例を表す。メイン表示部13には、使用者の通話時間、使用者の通話中に検出された生体情報に基づいて推定される使用者の心理状態、終了ボタン131および再生ボタン150,151が表示される。
ここで、使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131および再生ボタン150,151の選択を行うことができる。
図38(b)における2つの再生ボタン150,151は、使用者の通話時に検出される上述の特定通話期間AD1,AD2の数に対応している。
図38(c)は、メイン表示部13が図38(b)の表示状態において、使用者が再生ボタン150,151を選択した場合のメイン表示部13の表示例および通話用スピーカ15bからの再生内容の一例を表す。図38(c)において、メイン表示部13の表示内容は、図38(b)で表される表示内容と同様である。しかしながら、再生ボタン150,151が選択されると、通話用スピーカ15bから上述の特定通話期間AD1,AD2において録音された音声データが再生される。
上記において、使用者が図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより終了ボタン131を選択した場合、使用者への音声データの再生動作は終了する。
なお、上述のような特定通話期間の音声データの再生は、通話終了直後に限らず、使用者の過去の音声データをメモリ12の履歴データ格納部124に記憶しておき、任意の時点で、記憶された音声データを呼び出すことにより上述のような特定通話期間の音声データの再生が行われてもよい。この場合、使用者は、図3の履歴データ格納部124に記憶された過去の音声データを、図1の入力操作部11を操作することにより呼び出し、再生することができる。
この場合の音声データの履歴データ格納部124への記憶は、第1の実施の形態と同様に通信相手ごとに行われてもよい。
本実施の形態に係る通信プログラムについて説明する。図39〜図41は第6の実施の形態に係る通信プログラムの一例を示すフローチャートである。本実施の形態に係る通信プログラムによれば、図2の制御部10は、次のように動作する。
初めに、図2の制御部10は、使用者による入力操作部11の操作により他の電話機に対して発信する旨の指令信号を受けたか否かを判別する(ステップS300)。制御部10は、発信する旨の指令信号を受けた場合、通信相手から応答があったか否かを判別する(ステップS301)。制御部10は、応答があった場合、生理量データの測定および音声データの録音を開始する(ステップS304)。
一方、制御部10は、上記ステップS300において、発信する旨の指令信号を受けない場合、他の電話機からの着信があるか否かを判別する(ステップS302)。制御部10は、着信がない場合、上記ステップS300の動作を繰り返す。一方、制御部10は、他の電話機からの着信があった場合、その着信に対して応答する旨の指令信号を受けたか否か判別する(ステップS303)。制御部10は応答があった場合、上記ステップS304の動作を行う。
制御部10は、上記ステップS304の動作を行った後、通信が終了したか否かを判別する(ステップS305)。
制御部10は、通信が終了した場合、生理量データの測定および音声データの録音を終了する(ステップS306)。
そして、制御部10は、測定された生理量データのうち、皮膚温度およびGSRの測定結果がともに各々に対応して設定された基準値TTH,GTHを超えたか否かを判別する(ステップS307)。制御部10は、皮膚温度およびGSRの測定結果がともに基準値TTH,GTHを超えない場合、後述のステップS310の動作を行う。
制御部10は、皮膚温度およびGSRの測定結果がともに基準値TTH,GTHを超えた場合、特定通話期間を決定する(ステップS308)。そして、制御部10は、特定通話期間の音声データを抽出する(ステップS309)。
その後、制御部10は、測定された生理量データおよび図5の心理状態推定テーブルに基づいて使用者の通信中の心理状態を推定し(ステップS310)、推定された使用者の通信中の心理状態をメイン表示部13に表示する(ステップS311)。
制御部10は、上記ステップS311の動作時において、使用者が入力操作部11を操作することにより再生ボタン150,151が選択されたか否かを判別する(ステップS312)。制御部10は、再生ボタン150,151が選択された場合、上記ステップS309において抽出された音声データを通話用スピーカ15bから再生する(ステップS313)。一方、制御部10は再生ボタン150,151が選択されなかった場合、または、上記ステップS313の動作後に、使用者が入力操作部11を操作することにより終了ボタン131が選択されたか否かを判別する(ステップS314)。
制御部10は、終了ボタン131が選択された場合、通信相手、心理状態の推定結果および抽出された音声データに基づいて図7の履歴データの内容を更新する(ステップS315)。これにより、本実施の形態に係る通信プログラムが終了する。
なお、本例では、第1の実施の形態と同様に、制御部10は発信時または着信時において、通信相手についての情報を取得することにより特定の通信相手を識別しているものとする。
本実施の形態において、上記ステップS310に示すような通話中全体における使用者の心理状態を推定しなくてもよい。
上記の説明において、特定通話期間を決定するために測定された皮膚温度およびGSRに対して設定される基準値は、予め特定の値を定めることにより設定されてもよいし、各使用者の健康状態および性格等の特徴に応じて使用者ごとに設定されてもよい。
(第6の実施の形態における他の通信プログラムの例)
上記第6の実施の形態に係る通信プログラムは上述の図39〜図41の説明によるものに限られない。以下、第6の実施の形態に係る通信プログラムの他の例について説明する。図42〜図44は第6の実施の形態に係る通信プログラムの他の例を示すフローチャートである。図42〜図44に示される通信プログラムによれば、図2の制御部10は、次のように動作する。
初めに、図2の制御部10は、上述のステップS300〜S303と同様の動作を行う(ステップS320〜S323)。
制御部10は、ステップS321,S323において、応答があった場合、音声データの録音を開始し(ステップS324)、生理量データの測定を開始する(ステップS325)。
そして、制御部10は、予め定められた反応判定期間が経過したか否かを判別する(ステップS326)。反応判定期間とは、使用者が緊張しているか否かを判定するための期間である。
制御部10は、反応判定期間が経過していない場合、上記ステップS325の動作を繰り返す。一方、制御部10は、反応判定期間が経過した場合、測定された生理量データのうち、皮膚温度およびGSRの測定結果がともに各々に対応して設定された基準値を超えたか否かを判別する(ステップS327)。
制御部10は、皮膚温度およびGSR測定値がともに基準値を超えた場合、さらに所定の期間音声データの録音を継続し(ステップS328)、所定の期間が経過することにより音声データの録音を終了する(ステップS329)。一方、制御部10は、皮膚温度およびGSRがともに基準値を超えない場合、音声データの録音を終了し、反応判定期間に録音した音声データを消去する(ステップS330)。
制御部10は、上記ステップS329の動作の後、または、上記ステップS330の動作の後、通信が終了したか否かを判別する(ステップS331)。
制御部10は、通信が終了しない場合、上記ステップS324の動作を繰り返す。一方、制御部10は、通信が終了した場合、生理量データの測定を終了し(ステップS331b)、測定された生理量データに基づいて通信中の心理状態を推定する(ステップS332)。その後、制御部10は、推定された使用者の通信中の心理状態をメイン表示部13に表示する(ステップS333)。
そして、制御部10は、上述のステップS312〜S315と同様の動作を行う(ステップS334〜S337)。これにより、第6の実施の形態の他の例としての通信プログラムが終了する。
上述の図42〜図44に基づき説明した通信プログラムによれば、使用者の通話全体の音声データを録音する必要がないので、図2のメモリ12に記憶されるデータの容量が低減され、無駄のないデータ処理を行うことができる。
以上、本実施の形態においては、制御部10による生体情報の検出時に使用者の音声データが使用者のメモリ12に記憶される。それにより、使用者は、相手に依存する使用者の音声の状態を記憶内容に基づいて容易に把握することができる。
また、本実施の形態においては、制御部10により検出された生理量データ(皮膚温度およびGSR)が各種基準値を超えたか否かが制御部10により判別され、生理量データが基準値を超えたと判別された場合に、基準値を超えた時点を含む特定通話期間の使用者の音声データがメモリ12に記憶される。それにより、使用者は、相手に依存して生体情報が大きく反応した場合の音声の状態を記憶内容により容易に把握することができる。
上記では、特定通話期間を決定するために、生理量データのうち皮膚温度およびGSRを用いているが、これに限らず、特定通話期間を決定するためのパラメータとしては、皮膚温度のみを用いてもよいし、GSRのみを用いてもよいし、脈拍のみを用いてもよいし、これらの組み合わせを用いてもよい。
また、生理量データに限らず、生体情報であれば、音声データを解析することにより得られるトーン、抑揚およびジッタを用いてもよい。なお、この場合、各々のパラメータごとに基準値を設定する。
本実施の形態においては、生体情報の基準値に対する大小関係により、特定通話期間を決定しているが、これに限らず、特定通話期間の決定は、携帯電話機100による心理状態の推定結果に応じて行われてもよい。
携帯電話機100は、通話中でなくても、使用者の生体情報を検出してもよい。例えば、携帯電話機100は使用者が電子メールを作成する際に使用者の生体情報を検出してもよい。この場合、使用者は自己の特定の通信相手への電子メールの作成時の心理状態についての情報を得ることができる。そして、使用者の電子メールの作成時に生体情報が所定の基準値を超えた場合に使用者の電子メールの内容や音声データを記録してもよい。
他の実施の形態において後述するが、携帯電話機100は、抽出された音声データまたは推定された心理状態についての情報を他の通信装置に送信してもよい。
(第7の実施の形態)
第7の実施の形態に係る携帯電話機100は、以下の点を除き第1の実施の形態に係る携帯電話機100と同様の構成および動作を有する。
本実施の形態に係る携帯電話機100には、図3の音声解析テーブル格納部125に後述の質問識別テーブルが記憶されている。
携帯電話機100は、質問識別テーブルに基づいて、使用者の通話時における通話相手の質問を識別し、その質問に対する使用者の回答がうそであるか否かを判定することができる。
本実施の形態では、生理量データとしてGSRが用いられる。音声データとしては、上述の各実施の形態と同様に録音された使用者の会話の音声が用いられる。
図45は、図3の音声解析テーブル格納部125に記憶される内容の一例および使用者の回答がうそであるか否かの判定方法を説明するための図である。
初めに、質問識別テーブルについて説明する。図45(a)には、図3の音声解析テーブル格納部125に記憶される質問識別テーブルの一例が表されている。図45(a)の例では、携帯電話機100が、通話相手の発声のうち、語尾の抑揚が上昇し、かつ、語尾の単語が「ですか」の場合に質問であると識別し、その他の場合に質問ではないと識別する旨が表されている。これにより、本実施の形態に係る携帯電話機100は、通話中における通話相手の発声が質問であるか否かを識別することができる。
図45(b)に示すように、携帯電話機100は、通話相手の発声および質問識別テーブルに基づいて質問Qu1,Qu2を識別した場合、その質問Qu1,Qu2に対する使用者の回答Ans1,Ans2を識別する。
そして、携帯電話機100は、図45(c)に示すように使用者の回答Ans1,Ans2として識別された期間のGSR測定値が所定の基準値GTHを超えたか否かを判別する。
携帯電話機100は、GSR測定値が所定の基準値GTHを超えた場合、その測定時に対応する使用者の回答Ans1がうそであると判定する。また、携帯電話機100は、GSR測定値が所定の基準値GTHを超えない場合、その測定時に対応する使用者の回答Ans2が本当であると判定する。
一般に、人間はGSRが高い場合に緊張状態である可能性が高いとされている。したがって、GSR測定値が所定の基準値GTHを超えた場合、使用者はうその回答をすることによる緊張状態にあると推定される。なお、上記の基準値GTHは予め特定の値を定めることにより設定されてもよいし、各使用者の健康状態および性格等の特徴に応じて使用者ごとに設定されてもよい。
上述の携帯電話機100による通話相手の質問の識別、使用者の回答の識別およびその回答がうそか否かの判定を含む一連の動作をうそ判定動作と呼ぶ。
本実施の形態に係る携帯電話機100は、上記うそ判定動作を行うとともに、使用者の回答がうそか否かの判定時に、その判定結果を使用者に通知するための後述のうそ回答時動作を行う。また、携帯電話機100は、使用者の通話終了時に、その通話中における回答のうその数はどれほどであったかという診断結果を使用者に通知するための後述のうそ診断時動作を行う。
うそ回答時動作およびうそ診断時動作は、以下に説明するうそ通知動作設定テーブルに基づき行われる。以下、使用者の回答がうそと判定されるときをうそ回答時と呼び、使用者の通話が終了して使用者の通話中の回答のうその数が診断されるときをうそ診断時と呼ぶ。
うそ通知動作設定テーブルについて説明する。図46は、図3の動作設定記憶部121に記憶されるうそ通知動作設定テーブルの一例を示す図である。
図46では、うそ回答時およびうそ診断時の各々に対してうそメロディパターン、うそ発光パターンおよびうそ表示パターンの組合わせが分類されている。例えば、うそ発声時の場合、うそメロディパターンとして「ブーブー」が設定され、うそ発光パターンとして「赤色を点灯」が設定され、うそ表示パターンとして「うそをついています」が設定されている。
これにより、携帯電話機100はうそ回答時およびうそ診断時に上記の各パターンに基づく動作を行う。それにより、使用者は自己のうその回答を知ることができる。
図46に示すように、本実施の形態では、使用者の通話中のうその数に応じて上述のうそ診断時動作を行うためのうそレベルが設定されている。例えば、使用者が通話中に3度回答した場合にそれらの全ての回答がうそであると判定されるとうそレベル1が決定され、3度の回答のうち2度の回答がうそである場合にうそレベル2が決定され、3度の回答のうち1度の回答がうそである場合にうそレベル3が決定される。
うそレベルの決定方法は特に限定されない。例えば、上記の他、通話中の全ての回答回数に対するうその回答回数の比率に応じて定められてもよい。また、うそレベルのレベルの数も上記に限定されない。
うそ診断時においては、うそレベルごとにうそメロディパターン、うそ発光パターンおよびうそ表示パターンの組合わせが分類されている。例えば、うそ診断時のうそレベル3に対しては、うそメロディパターンとして「ブーブー」が設定され、うそ発光パターンとして「赤色を点灯」が設定され、うそ表示パターンとして、うその数が多いことを棒グラフで表したうそレベルメータおよび「大うそつきー!」のコメントが設定されている。
これにより、携帯電話機100はうそ診断時にうそレベルの決定結果に基づいて上記の各パターンの動作を行う。それにより、使用者は自己の通話中におけるうその回答回数を知ることができる。
ここで、本実施の形態に係る携帯電話機100においては、上記のように、使用者の回答時にその回答のうそまたは本当のみを判定しなくてもよい。後述するように、携帯電話機100は使用者の回答時に、その回答のうその度合いを判定してもよい。この場合、うそ通知動作設定テーブルの設定内容は上記と異なる。
この場合のうその度合いの判定方法およびこの判定時に用いられるうそ通知動作設定テーブルの一例について説明する。
図47は使用者の回答のうその度合いを判定するための判定方法を説明するための図および図3の動作設定記憶部121に記憶されるうそ通知動作設定テーブルの他の例を示す図である。
図47(a)に、使用者の回答のうその度合いを判定するための判定方法が表されている。本例では、使用者の回答時のGSRの測定結果を2つの基準値GTH1,GTH2でレベル分けする。それにより、GSRの測定結果と2つの基準値GTH1,GTH2との大小関係に基づいて、使用者の回答ごとにその回答のうその度合いを示すうそ度レベルを決定する。なお、図47に示すように、2つの基準値GTH1,GTH2は、この順に大きい。これにより、本例では、うそ度レベルは1〜3に分けられている。
例えば、使用者の回答時におけるGSR測定値が基準値GTH1,GTH2をともに超える場合、その回答のうそ度レベルは最も大きい3となる。また、使用者の回答時におけるGSR測定値が基準値GTH1,GTH2の間にある場合、その回答のうそ度レベルは中程度を示す2となる。
図47(b)に、上記のうそ度レベルに基づくうそ通知動作設定テーブルの一例が表されている。図47(b)には、うそ回答時における上述のうそ度レベルに応じてうそメロディパターン、うそ発光パターンおよびうそ表示パターンの組合わせが分類されている。
例えば、うそ回答時のうそ度レベル2に対しては、うそメロディパターンとして「ピロリロー」が設定され、うそ発光パターンとして「青色を点灯」が設定され、うそ表示パターンとしてうその度合いが中程度であることを棒グラフで表したうそレベルメータが設定されている。
これにより、携帯電話機100はうそ回答時にうそ度レベルに基づいて上記の各パターンの動作を行う。それにより、使用者は通話相手の質問に対する回答時に自己の回答のうその度合いを知ることができる。
ところで、本実施の形態において、携帯電話機100は使用者の通話中のうその診断結果を履歴データとして、図3の履歴データ格納部124に記憶する。図48は、過去のうその診断結果を含む履歴データの一例を示す図である。
図48に示すように、本実施の形態では通信相手ごとに過去のうその診断結果が履歴データの一部として図3の履歴データ格納部124に記憶されている。これにより、使用者は履歴データを呼び出すことにより、特定の通信相手に対する過去のうその診断結果を知ることができる。
例えば、図48の履歴データには、通信相手AAに対応して、上述の第1の実施の形態の図7において説明した内容とともに過去のうその診断結果がうそレベル1として記憶されている。
以下の説明において、図3の動作設定記憶部121には図46のうそ通知動作設定テーブルが記憶されているものとする。したがって、携帯電話機100は、使用者の通話時に使用者の回答のうそまたは本当を判定し、うそ診断時に、その通話中のうその回答回数を判定してもよい。
図49および図50は、使用者が第7の実施の形態に係る携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。
使用者は、通話を行う場合に携帯電話機100の入力操作部11を操作する。
図49(a)は、使用者の通話中のメイン表示部13の表示例を表す。メイン表示部13には、使用者が通話している際に現在の通話時間が表示され、使用者の生体情報を検出している旨が表示される。使用者の通話中に使用者の回答がうそであると判定された場合、メイン表示部13の表示が切り替わる。
図49(b)は、通話中であって、使用者の回答がうそであると判定された場合にメイン表示部13に表示される内容の一例を表す図である。メイン表示部13には、現在の通話時間および生体情報を検出している旨が表示されるとともに、使用者の回答がうそである旨のうそ表示パターンが表示される。
このメイン表示部13の表示状態においては、図46のうそ回答時のうそ発光パターン「赤色を点灯」でサブ表示部14が発光するとともに、図46のうそ回答時のうそメロディパターン「ブーブー」でスピーカ15aが音声出力する。
使用者またはその通話相手が携帯電話機100の入力操作部11を操作することにより通話が終了する。
図49(c)は、使用者が通話を終了した場合のメイン表示部13の表示例を表す。通話終了とともに、携帯電話機100は上述のうそ診断動作を行う。その結果、メイン表示部13には、使用者の通話時間が表示されるとともに、使用者の通話中のうその回答回数を棒グラフで表したうそレベルメータおよび「なかなかうそつき!?」のコメントが表示される。なお、図49(c)の表示例では、使用者のうそレベルは2であると診断されている。さらに、メイン表示部13には終了ボタン131およびバツボタン160が表示されている。
このメイン表示部13の表示状態においては、図46のうそ診断時のうそ発光パターン「青色を点灯」でサブ表示部14が発光するとともに、図46のうそ回答時のうそメロディパターン「ピロリロー」でスピーカ15aが音声出力する。
一方、図3の動作設定記憶部121に図47のうそ通知動作設定テーブルが記憶されている場合、制御部10は、使用者の通話中に回答のうその度合いを判定し、うそ通知動作設定テーブルに基づく動作を行う。
図50(d)は、図3の動作設定記憶部121に図47のうそ通知動作設定テーブルが記憶されている場合の使用者の通話中におけるメイン表示部13の表示例を表す。
メイン表示部13には、使用者の通話時間が表示されるとともに、使用者の通話中の回答のうその度合いの判定結果を棒グラフで表したうそレベルメータが表示される。なお、図50(d)の表示例では、使用者のうそレベルは2であると診断されている。さらに、メイン表示部13には終了ボタン131およびバツボタン160が表示されている。
このメイン表示部13の表示状態においては、図47(b)のうそ回答時のうそ発光パターン「青色を点灯」でサブ表示部14が発光するとともに、図46のうそ回答時のうそメロディパターン「ピロリロー」でスピーカ15aが音声出力する。
メイン表示部13の図49(c)および図50(d)の表示状態において、使用者は、図1のカーソルボタンKKおよび決定ボタンKS等を操作することにより、終了ボタン131およびバツボタン160のいずれかを選択することができる。
使用者が入力操作部11を操作することにより終了ボタン131を選択した場合、上述のうそ判定動作、うそ回答時動作およびうそ診断時動作が終了する。
ここで、本実施の形態に係る携帯電話機100は使用者の通話終了後に、判定された使用者の回答のうその度合いまたはうその回答回数等に応じて、メイン表示部13にバツゲームに関する情報を表示してもよい。
図50(e)は、使用者がバツボタン160を選択した場合のメイン表示部13の表示例である。図50(e)によれば、メイン表示部13には、使用者の回答のうその度合いまたはうその回答回数等に応じたコメント「なかなかうそつきなあなた!!」が表示され、バツゲームとしてのコメント「隣の人の肩たたきをしてください」が表示されている。
また、図50(e)においても終了ボタン131が表示されているが、上記同様に、使用者が入力操作部11を操作することにより終了ボタン131を選択した場合、うそ判定動作、うそ回答時動作およびうそ診断時動作が終了する。
本実施の形態に係る通信プログラムについて説明する。図51〜図53は第7の実施の形態に係る通信プログラムの一例を示すフローチャートである。なお、このフローチャートによれば、携帯電話機100は使用者の回答がうそか否かを判定し、通話終了時にうその回答回数に基づくうそ診断を行うことができる。
本実施の形態に係る通信プログラムによれば、図2の制御部10は、次のように動作する。
初めに、図2の制御部10は、使用者による入力操作部11の操作によりうそ発見モードをオンする旨の指令信号を受けたか否かを判別する(ステップS400)。うそ発見モードのオンとは、携帯電話機100が上述のうそ判定動作、うそ回答時動作およびうそ診断時動作を行うことが可能な状態にすることをいう。
制御部10は、うそ発見モードをオンする旨の指令信号を受けた場合、第2の実施の形態で説明したステップS31〜ステップS33と同様の動作を行う(ステップS401〜S403)。上記ステップS403において、制御部10は、応答があった場合、生理量データの測定および通信相手の音声データの解析を開始する(ステップS404)。
その後、制御部10は、通信相手が発声し、かつ、その発声が質問であるか否かを図45の質問識別テーブルに基づき識別する(ステップS405)。そして、制御部10は、通信相手の発生が質問であると判別した場合、使用者が回答したか否かを識別する(ステップS406)。ここで、制御部10は、使用者が回答した場合、使用者の回答時のGSR測定値が基準値GHTを超えたか否かを判別する(ステップS407)。
制御部10は、使用者の回答時のGSR測定値が基準値GHTを超えた場合、その使用者の回答をうそと判定し、その旨を一時的に図2のメモリ12に記憶する(ステップS408)。
そして、制御部10は、図46のうそ通知動作設定テーブルのうそ回答時に対応するうそ表示パターンをメイン表示部13に表示させ、うそ回答時に対応するうそ発光パターンで図2のサブ表示部14を発光させ、うそ回答時に対応するメロディパターンでスピーカ15aから音声を出力させる(ステップS409)。
次いで、制御部10は通信が終了したか否かを判別する(ステップS411)。ここで、上記ステップS407において、制御部10は、使用者の回答時のGSR測定値が基準値GHTを超えない場合、その使用者の回答を本当と判定し、その旨を一時的に図2のメモリ12に記憶する(ステップS410)。そして、制御部10は上記ステップS411の動作を行う。
制御部10は、通信が終了しない場合、上記ステップS404の動作を繰り返す。一方、制御部10は、通信が終了した場合、上記ステップS408およびステップS410においてメモリ12に一時的に記憶された内容に基づいてうその回答回数および本当の回答回数を算出し、上述のうそレベルを確定する(ステップS412)。
これにより、制御部10は、確定されたうそレベルおよび図46のうそ通知動作設定テーブルに基づいて、確定されたうそレベルに対応するうそ表示パターンをメイン表示部13に表示させ、確定されたうそレベルに対応するうそ発光パターンで図2のサブ表示部14を発光させ、確定されたうそレベルに対応するメロディパターンでスピーカ15aから音声を出力させる(ステップS413)。
最後に、制御部10は、図3の履歴データ格納部124に、確定されたうそレベルを履歴データとして記憶する(ステップS414)。これにより、制御部10は、本実施の形態に係る通信プログラムを終了する。
制御部10は、上記ステップS100において、うそ発見モードがオンしない場合、第2の実施の形態のステップS50〜S53と同様の動作を行う(ステップS420〜S423)。制御部10は、上記ステップS423において、通信が終了した場合、本実施の形態に係る通信プログラムを終了する。
上記の本実施の形態に係る通信プログラムにおいては、ステップS414の動作により使用者の通話ごとに確定されたうそレベルが履歴データとして図3の履歴データ格納部124に記憶される。これにより、使用者は、履歴データ格納部124から履歴データを呼び出すことにより過去の通話時における自己の回答についての情報を得ることができる。
なお、上記では、図49および図50の説明においてメイン表示部13に表示される終了ボタン131およびバツボタン160の使用者による操作に基づく動作については省略しているが、制御部10は上記図49および図50説明のように使用者が終了ボタン131を選択することにより通信プログラムを終了させ、使用者がバツボタン160を選択することにより確定されたうそレベルに応じたバツゲームに関するコメントをメイン表示部13に表示させる動作を行う。
さらに、上記では、携帯電話機100は確定されたうそレベルを履歴データとして記憶するとしているが、携帯電話機100は確定されたうそレベルを履歴データとして記憶しなくてもよい。
以上、本実施の形態においては、無線通信部30およびアンテナ31により受信された音声データに基づいて通話相手からの質問を示す音声データが制御部10により識別され、質問を示す音声データが識別されたときに使用者の生体情報が検出される。それにより、通話相手および通話内容に依存する生体情報を取得することができる。
また、本実施の形態においては、生理量データ測定部20により検出された生体情報に基づいて使用者のうそが推定手段により推定される。それにより、通信相手に依存した使用者のうそを認識することができる。
上述の基準値GTH,GTH1,GTH2は通信相手ごとに設定されてもよい。
本実施の形態では、使用者の回答のうそを判定するために、生理量データとしてGSRのみが用いられているが、これに限らず、使用者の回答のうそを判定するためのパラメータとしては、皮膚温度のみを用いてもよいし、GSRのみを用いてもよいし、脈拍のみを用いてもよいし、これらの組み合わせを用いてもよい。
また、生理量データに限らず、生体情報であれば、音声データを解析することにより得られるトーン、抑揚およびジッタを用いてもよい。なお、この場合、各々のパラメータごとに基準値を設定する。
上記では、使用者の携帯電話機100による通話中で、かつ使用者の回答中に限り、GSR測定値に基づく使用者のうその判定を行っているが、これに限らず、使用者の通話時間を通じて、通話全体のGSRに基づき使用者の通話中のうその度合いを判定してもよい。この場合、使用者は通話全体の自己の発言時の生体情報に基づいてうその度合いの判定を行うことで、その通話時全体を通してうそに関する様々な情報を得ることができる。
携帯電話機100は、通話中でなくても、使用者の生体情報を検出してもよい。例えば、携帯電話機100は使用者が電子メールによる質問に対して、使用者が回答する場合の生体情報を検出してもよい。この場合、その生体情報に基づいて、質問に対する回答の電子メールのうその度合いを判定することができる。さらに、判定された内容を回答の電子メールに添付して送信してもよい。この場合、使用者は回答の電子メールを作成する時のうその度合いについての情報を得ることができる。
他の実施の形態において後述するが、携帯電話機100は、検出された生体情報または推定された心理状態についての情報を他の通信装置に送信してもよい。
さらに、上記では、使用者の通話中に回答がうそか否かの判定を行い、使用者の通話後にその通話中におけるうその回答回数についての診断を行っているが、これらの動作は必ずしもともに行われる必要はない。携帯電話機100は、使用者の通話中における回答のうそか否かの判定のみを行ってもよいし、使用者の通話時のうその回答回数についての診断のみを行ってもよい。
(第8の実施の形態)
第8の実施の形態に係る通信システムについて説明する。本実施の形態に係る通信システムは第1の実施の形態に係る携帯電話機100、診断者用電話機および診断者用コンピュータを含む。
図54は、第8の実施の形態に係る通信システムの概要を説明するための図である。本実施の形態に係る通信システム700によれば、使用者(本実施の形態では、患者と呼ぶ。)は携帯電話機100を用いて医者、カウンセラー等の診断者と通話することにより、その通話時の生体情報を診断者に送信することができる。そして、診断者は、送信された生体情報に対するアドバイスを診断コンピュータにより患者に送信することができる。
図54(a)は、患者PAと診断者DOとの間で通話がなされている様子を表す。図54(a)に示すように、患者PAは携帯電話機100を用いている。また、診断者DOは診断用電話機100Xを用いている。患者PAと診断者DOとの通話時において、携帯電話機100は使用者の生体情報を検出する。
ここでは、携帯電話機100は、生体情報として第1の実施の形態に示すように患者PAの生理量データ(GSR、皮膚温度および脈拍等)を測定してもよいし、第2の実施の形態に示すように音声データを解析することにより得られるパラメータ(トーン、抑揚およびジッタ等)を測定してもよい。
図54(b)は、患者PAと診断者DOとの通話終了時の様子を表す。通話終了時において、患者PAの携帯電話機100は、通話中に検出された生体情報、すなわち、患者PAの生理量データおよび音声データを、例えば、電子メールDA1により診断者DOの診断コンピュータ100PCへ送信する。これにより、診断者DOは送信された電子メールDA1に基づいて、患者PAの生体情報を診断コンピュータ100PCにより確認することができる。
そして、診断者DOは患者PAの生体情報およびその生体情報が検出された通話中の通話内容に基づいて患者PAの健康状態を分析することができる。
図54(c)は、診断者DOが患者PAに対して健康状態に関するアドバイスを行う様子を表す。診断者DOは、患者PAの健康状態を分析するとともに、その健康状態に対するアドバイスを診断コンピュータ100PCを用いて電子メールDA2により患者PAの携帯電話機100に送信する。
このように、本実施の形態に係る通信システム700によれば、診断者DOは通話中の患者PAの生体情報および通話内容に基づいて患者PAの健康状態を分析することができるので、患者PAへ健康状態に関する正確なアドバイスを行うことができる。一方、患者PAは送信された電子メールDA2に基づいて、自己の健康状態に関する正確なアドバイスを得ることができる。
図55および図56は、患者PAが第8の実施の形態に係る通信システム700の携帯電話機100を使用する場合にメイン表示部13に表示される内容の一例を表す図である。
患者PAは、通話を行う場合に携帯電話機100の入力操作部11を操作する。
図55(a)は、患者PAが診断者DOに電話をかけた場合(発信時)の携帯電話機100のメイン表示部13の表示例を表す。メイン表示部13には、携帯電話機100が診断者DO(図55(a)では、ストレス診断窓口)の診断用電話機100Xへ発信している旨および診断用電話機100Xの電話番号が表示される。
図55(b)は、患者PAと診断者DOとの通話中の携帯電話機100のメイン表示部13の表示例を表す。メイン表示部13には、現在の通話時間が表示され、患者PAの生体情報を検出している旨が表示される。
図56(c)は、患者PAと診断者DOとの間で通話が終了した場合の携帯電話機100のメイン表示部13の表示例を表す。メイン表示部13には、使用者の通話終了時に患者PAの通話時間が表示されるとともに通話中に検出された生体情報に関するデータを診断者DOに送信する旨が表示され、中止ボタン190が表示される。
患者PAは携帯電話機100の入力操作部11を操作することにより中止ボタン190を選択することができる。患者PAが中止ボタン190を選択した場合、診断者DOへのデータの送信動作およびメイン表示部13の表示動作が中止される。
患者PAが中止ボタン190を選択しない場合には、診断者DOに対して生体情報に関するデータが電子メールにより送信される。
図56(d)は、通話終了後に診断者DOからアドバイスに関するデータを受信した携帯電話機100のメイン表示部13の表示例を表す。
この場合、図56(d)に示すようにメイン表示部13には、受信した電子メールの旨、受信メールの内容、返信ボタン143、編集ボタン141およびサブボタン142が表示される。
これにより、患者PAは自己の生体情報および診断者DOとの通話内容に基づく自己の健康状態に関するアドバイスを得ることができる。
なお、図56(d)において、返信ボタン143、編集ボタン141およびサブボタン142についての各種機能は、第5の実施の形態で説明した通りである。
上記のように、通話中に検出された患者PAの生体情報を、通話終了後に自動的に診断者DOに送信する携帯電話機100の動作をストレス診断動作と呼ぶ。
本実施の形態に係る通信プログラムについて説明する。図57および図58は第8の実施の形態に係る通信プログラムの一例を示すフローチャートである。
本実施の形態に係る通信プログラムによれば、図2の携帯電話機100の制御部10は、次のように動作する。
初めに、携帯電話機100の制御部10は、使用者による入力操作部11の操作によりストレス診断モードをオンする旨の指令信号を受けたか否かを判別する(ステップS500)。ストレス診断モードのオンとは、携帯電話機100が上述のストレス診断動作を行うことが可能な状態にすることをいう。
制御部10は、ストレス診断モードをオンする旨の指令信号を受けた場合、患者PAが入力操作部11を操作することにより診断者DOの診断用電話機100Xに対する発信の旨の指令信号を受けたか否かを判別する(ステップS501)。
制御部10は、発信の旨の指令信号を受けた場合、その指令信号に基づく所定の動作を行い、診断者DOから応答があったか否かを判別する(ステップS502)。制御部10は、応答があった場合、生体情報の検出、すなわち、生理量データの測定および音声データの録音を行う(ステップS503)。
その後、制御部10は通信が終了したか否かを判別する(ステップS504)。制御部10は、通信が終了しない場合、上記ステップS503の動作を繰り返す。
一方、制御部10は、通信が終了した場合、生理量データの測定および音声データの録音を終了し、測定された生理量データおよび録音された音声データを診断者DOの診断コンピュータ100PCに送信する(ステップS505)。これにより、本実施の形態に係る通信プログラムによる携帯電話機100の動作が終了する。
なお、本実施の形態に係る通信システム700において、携帯電話機100は、上記ステップS500〜S505の一連の動作の後、生理量データおよび音声データに基づく診断者DOの健康状態に関するアドバイスを受信する。
ところで、携帯電話機100の制御部10は、上記ステップS500において、ストレス診断モードがオンしない場合、患者PAが入力操作部11を操作することにより診断者DOの診断用電話機100Xに対する発信の旨の指令信号を受けたか否かを判別する(ステップS510)。
そして、制御部10は、発信の旨の指令信号を受けた場合、その指令信号に基づく所定の動作を行い、診断者DOから応答があったか否かを判別する(ステップS511)。その後、制御部10は、診断者DOから応答があった場合、通信が終了したか否かを判別する(ステップS512)。制御部10は、通信が終了した場合、本実施の形態に係る通信プログラムを終了する。
なお、上記では診断者DOは患者PAへのアドバイスを電子メールを用いて携帯電話機100に送信しているが、これに限らず、診断者DOは患者PAへのアドバイスを直接携帯電話機100を用いて伝えてもよい。
(第8の実施の形態における他の通信プログラムの例)
上記第8の実施の形態に係る通信プログラムは上述の図57および図58の説明によるものに限られない。以下、第8の実施の形態に係る通信プログラムの他の例について説明する。
図59は、他の通信プログラムを用いた場合の第8の実施の形態に係る通信システムの概要を説明するための図である。この場合の通信システム700bによれば、患者PAは携帯電話機100を用いて診断者と通話することにより、その通話時の生体情報をその通話中に診断者DOに送信することができる。
図59(a)は、患者PAと診断者DOとの間で通話が開始される様子を表す。図59(a)に示すように、患者PAは携帯電話機100を用いている。また、診断者DOは診断用電話機100Xを用いている。
図59(b)は、患者PAと診断者DOとの通話時の様子を表す。患者PAと診断者DOとの通話時において、携帯電話機100は使用者の生体情報を検出する。ここで、携帯電話機100は、診断者DOの診断用電話機100Xに対して通話に関するデータの送受信を行うとともに、検出された生体情報を電子メールDA1として診断者DOの診断コンピュータ100PCへ送信する。
これにより、診断者DOは、患者PAとの通話中に、電子メールDA1に基づいて患者PAの生体情報を診断コンピュータ100PCにより確認することができる。それにより、診断者DOは患者PAの生体情報およびその生体情報の検出された通話中の通話内容に基づいて患者PAの健康状態を分析することができる。
図59(c)は、診断者DOが患者PAに対して健康状態に関するアドバイスを行う様子を表す。診断者DOは、患者PAの健康状態を分析するとともに、その健康状態に対するアドバイスを診断コンピュータ100PCを用いて電子メールDA2により患者PAの携帯電話機100に送信する。
このように、本実施の形態に係る通信システム700bにおいても、診断者DOは通話中の患者PAの生体情報および通話内容に基づいて患者PAの健康状態を分析することができるので、患者PAへ健康状態に関する正確なアドバイスを行うことができる。一方、患者PAは送信された電子メールDA2に基づいて、自己の健康状態に関する正確なアドバイスを得ることができる。
本例に係る通信プログラムについて説明する。図60は第8の実施の形態に係る通信プログラムの他の例を示すフローチャートである。
本例の通信プログラムによれば、図2の携帯電話機100の制御部10は、次のように動作する。
初めに、制御部10は、上記ステップS500〜S502の動作を行う。そして、制御部10は、上記ステップS502において応答があった場合、生体情報の検出、すなわち、生理量データの測定および音声データの録音を行うとともに、測定された生理量データおよび録音された音声データを診断者DOの診断コンピュータ100PCに送信する(ステップS520)。
その後、制御部10は通信が終了したか否かを判別する(ステップS521)。制御部10は、通信が終了しない場合、上記ステップS520の動作を繰り返す。
一方、制御部10は、通信が終了した場合、生理量データの測定および音声データの録音を終了し、生理量データおよび音声データの診断コンピュータ100PCへの送信動作を終了する(ステップS522)。これにより、本例に係る通信プログラムによる携帯電話機100の動作が終了する。
なお、上記通信システム700bにおいても、携帯電話機100は、上記ステップS500〜S502,S520〜S522の一連の動作の後、生理量データおよび音声データに基づく診断者DOの健康状態に関するアドバイスを受信する。
携帯電話機100の制御部10は、上記ステップS500において、ストレス診断モードがオンしない場合、上記ステップS510〜S512と同様の動作を行う。
なお、上記では診断者DOは患者PAへのアドバイスを電子メールを用いて携帯電話機100に送信しているが、これに限らず、診断者DOは患者PAへのアドバイスを直接携帯電話機100を用いて伝えてもよい。
以上、本実施の形態に係る通信システム700,700bにおいては、患者PAが携帯電話機100の無線通信部30およびアンテナ31により診断用電話機100Xを有する診断者DOと通話を行っているときに、生理量データ測定部20、通話用スピーカ15bおよび制御部10により使用者の生体情報が検出される。そして、無線通信部30およびアンテナ31による診断者DOとの通話中または通話終了後に、検出された生体情報に基づく情報が無線通信部30およびアンテナ31により診断コンピュータ100PCに送信される。それにより、診断者DOは、診断コンピュータ100PCに送信された情報に基づいて使用者の健康状態を分析することができる。
診断者は、分析結果に基づくアドバイスを診断用電話機100Xによる通話または診断コンピュータ100PCによる情報の通信により携帯電話機100に送信することができる。それにより、患者PAは、診断者DOとの会話による分析結果に基づくアドバイスを容易に受けることができる。
なお、診断用電話機100Xと診断コンピュータ100PCとが一体的に設けられてもよい。
なお、本実施の形態では、使用者として患者PAを想定し、通信相手として診断者DOを想定しているが、使用者と通信相手との関係はこれに限られない。
(第9の実施の形態)
第9の実施の形態に係る携帯電話機100は、以下の点を除き第1の実施の形態に係る携帯電話機100と同様の構成および動作を有する。
本実施の形態に係る携帯電話機100には、図3の補正データ記憶部126に後述の補正テーブルが記憶されている。
携帯電話機100は、第1の実施の形態と同様に、使用者の通話中に生体情報を検出する。ここで、本実施の形態では、検出された生体情報のうち、生理量データのGSR測定値が、補正テーブルにより補正される。その結果、携帯電話機100は環境状態に影響を受けることなく、使用者の心理状態(緊張の度合い)を正確に推定することができる。
補正テーブルについて説明する。図61は、図3の補正データ記憶部126に記憶される内容の一例を示す図である。
図61の補正テーブルにおいては、携帯電話機100の使用地域および使用時期ごとにGSR測定値補正量CP1〜CP3,CQ1〜CQ3,CR1〜CR3が設定されている。
一般に、GSR測定値は環境状態に応じて変化すると考えられており、環境状態として気温が低い場合にはGSRは低くなり、気温が高い場合にはGSRは高くなるとされている。
上記のGSR測定値補正量は、例えば、CP1,CP2,CP3の順に小さく、CQ1,CQ2,CQ3の順に小さく、CR1,CR2,CR3の順に小さく設定される。また、GSR測定値補正量は、CP1,CQ1,CR1の順に小さく、CP2,CQ2,CR2の順に小さく、CP3,CQ3,CR3の順に小さく設定される。
例えば、使用地域「北海道」においては、使用時期「春」にGSR測定値補正量CP2が対応付けられ、使用時期「夏」にGSR測定値補正量CP3が対応付けられ、使用時期「秋」にGSR測定値補正量CP2が対応付けられ、使用時期「冬」にGSR測定値補正量CP1が対応付けられる。
これにより、使用者が北海道で春に携帯電話機100を使用する際には、図20の生理量データ測定部20によるGSR測定値が図61の補正テーブルに基づいてGSR測定値補正量CP2で補正される。その結果、携帯電話機100は補正されたGSR測定値に基づいて正確に使用者の心理状態の推定を行うことができる。
上記において、携帯電話機100は通信基地局からの情報に基づいて使用地域を特定してもよい。また、携帯電話機100は、制御部10が現在の年月日および時分についての管理機能を有することにより、使用時期を特定してもよい。
ここで、携帯電話機100による使用地域の特定方法について説明する。図62は、第9の実施の形態に係る携帯電話機100が使用地域を特定する方法の一例を示す図である。
図62に示すように、通信基地局800は、例えば、無線通信部810、アンテナ811、制御部820および基地局通信装置830を含む。通信基地局800は、無線通信部810およびアンテナ811を通じて使用者の携帯電話機100と通信が可能であり、各種情報の送受信を行うことができる。
制御部820は、CPU等を含み、無線通信部810および基地局通信装置830の動作を制御する。基地局通信装置830は、公衆回線網900に接続されている。
例えば、使用者が携帯電話機100を用いて他の電話機と通話する場合、使用者の音声データは、通信基地局800および公衆回線網900を通じて他の電話機に送られる。
通信基地局800は、各地域ごとに複数設置されている。携帯電話機100の使用時において、携帯電話機100は複数の通信基地局800のうち近くに位置する通信基地局800と通信を行う。
そして、各々の通信基地局800は自己の所在地に関する情報を使用者の携帯電話機100に送信することができる。これにより、携帯電話機100は通信基地局800からの所在地に関する情報に基づいて使用地域を特定することができる。
しかしながら、使用地域の特定方法は上記に限られず、使用者の図2の入力操作部11の操作により行われてもよい。
本実施の形態では、補正テーブルの一例として、GSR測定値補正量について説明したが、これに限らず、補正テーブルには、使用者の生理量データから得られる皮膚温度および脈拍についての補正量が設定されてもよい。この場合、複数の生理量データについて、各々の測定値が補正されるので、心理状態の推定がより正確となる。
補正テーブルには、使用者の音声データを解析して得られるトーン、抑揚およびジッタの各々についての補正量が設定されてもよい。これにより、携帯電話機100が音声データに基づいて使用者の心理状態を推定する場合に音声データにより得られるパラメータの補正が行われるので、心理状態の推定がより正確となる。
上記では、携帯電話機100の使用地域および使用時期に基づいてGSR補正量の設定を行っているが、これに限らず、図1の携帯電話機100に気温センサを設け、気温センサにより得られる測定値に基づいてGSR補正量の設定を行ってもよい。
本実施の形態において、補正テーブルに基づいて生理量データの測定値を補正しているが、これに限らず、第1の実施の形態の心理状態レベルを環境状態に応じて補正してもよい。
上述のGSR測定値補正量は、それぞれ予め特定の値を定めることにより設定されてもよいし、各使用者の健康状態および性格等の特徴に応じて使用者ごとに設定されてもよい。
上記第1〜第8の実施の形態に係る携帯電話機100においても、上記と同様に生理量データまたは心理状態レベルを補正してもよい。この場合、第1〜第8の実施の形態に係る携帯電話機100には、使用者の心理状態(緊張の度合い、喜怒哀楽の度合いおよびうその度合い等)を推定するために用いる生理量データおよび音声データの解析結果に応じて、各々に対応する補正テーブルが設定されることが好ましい。
以上、本実施の形態においては、環境状態に関する情報が制御部10,無線通信部30およびアンテナ31により取得され、取得された情報に基づいて検出された使用者の生体情報が制御部10により補正される。それにより、環境状態に応じて変化する使用者の生体情報を正確に取得することができる。その結果、携帯電話機100は、正確な生体情報に基づいて、正確に使用者の心理状態を推定することができる。
以上、第1〜第9の実施の形態において、携帯電話機100は通信装置に相当し、無線通信部30およびアンテナ31は通信手段に相当し、入力操作部11は操作手段に相当し、信号処理部18、生理量データ測定部20、電極20a,20d、サーミスタ20b、フォトセンサ20cおよび通話用スピーカ15bは検出手段に相当する。
また、制御部10は制御手段に相当し、通話用スピーカ15b、マイクロホン16、信号処理部18、無線通信部30およびアンテナ31は通話手段に相当し、制御部10は音声判別手段に相当し、制御部10、無線通信部30およびアンテナ31は電子メール通信手段に相当し、入力操作部11およびメイン表示部13は電子メール操作部に相当する。
さらに、制御部10は推定手段に相当し、制御部10は挿入手段に相当し、スピーカ15aおよび通話用スピーカ15bは音声出力手段に相当し、メイン表示部13およびサブ表示部14は表示手段に相当し、メイン表示部13、スピーカ15aおよび通話用スピーカ15bは情報出力手段に相当し、メモリ12および履歴データ格納部124は記憶手段に相当する。
その上、制御部10、無線通信部30およびアンテナ31は取得手段に相当し、制御部10は補正手段に相当し、メモリ12は音声記録手段に相当し、制御部10は判定手段に相当する。
また、携帯電話機100は第1の通信装置に相当し、診断用電話機100Xは第2の通信装置に相当し、診断コンピュータ100PCは情報処理装置に相当し、通信システム700,700bは通信システムに相当し、第2の筐体2は筐体に相当する。
本発明は、通信相手に依存する使用者の心理状態の推定等に有効に利用可能である。
第1の実施の形態に係る携帯電話機の外観図である。 第1の実施の形態に係る携帯電話機の構成を示すブロック図である。 図2のメモリの内部構成の一例を示す図である。 図3の動作設定記憶部に記憶される内容の一例を示す図である。 図3の心理状態推定テーブル格納部に記憶される内容の一例を示す図である。 図3の個人情報データ格納部に記憶される内容の一例を示す図である。 図3の履歴データ格納部に記憶される内容の一例を示す図である。 使用者が第1の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 使用者が第1の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第1の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第1の実施の形態に係る通信プログラムの一例を示すフローチャートである。 図3の音声解析テーブル格納部に記憶される内容の一例を示す図である。 図3の動作設定記憶部に記憶される内容の一例を示す図である。 使用者が第2の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 使用者が第2の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第2の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第2の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第2の実施の形態に係る通信プログラムの一例を示すフローチャートである。 図3の動作設定記憶部に記憶される内容の一例を示す図である。 使用者が第3の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第3の実施の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第3の実施の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第3の実施の実施の形態に係る通信プログラムの一例を示すフローチャートである。 使用者の喜怒哀楽の度合いを推定するためのデータの抽出方法を説明するための図である。 図3の心理状態推定テーブル格納部および音声解析テーブル格納部に記憶される内容の一例を示す図である。 図3の心理状態推定テーブル格納部に記憶される内容の一例を示す図である。 測定により得られたGSR差分値ならびに音声データの解析により得られたトーン、抑揚およびジッタの組合せから喜怒哀楽の度合いを推定する場合の一例を説明するための図である。 使用者が第4の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第4の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第4の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第4の実施の形態に係る通信プログラムの一例を示すフローチャートである。 図3の動作設定記憶部に記憶される内容の一例を示す図である。 使用者が第5の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 使用者が第5の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第5の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第5の実施の形態に係る通信プログラムの一例を示すフローチャートである。 使用者の通話中の生理量データの変化に基づいて特定の期間の音声データを抽出する方法を説明するための図である。 使用者が第6の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第6の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第6の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第6の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第6の実施の形態に係る通信プログラムの他の例を示すフローチャートである。 第6の実施の形態に係る通信プログラムの他の例を示すフローチャートである。 第6の実施の形態に係る通信プログラムの他の例を示すフローチャートである。 図3の音声解析テーブル格納部に記憶される内容の一例および使用者の回答がうそであるか否かの判定方法を説明するための図である。 図3の動作設定記憶部に記憶されるうそ通知動作設定テーブルの一例を示す図である。 使用者の回答のうその度合いを判定するための判定方法を説明するための図および図3の動作設定記憶部に記憶されるうそ通知動作設定テーブルの他の例を示す図である。 過去のうその診断結果を含む履歴データの一例を示す図である。 使用者が第7の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 使用者が第7の実施の形態に係る携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第7の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第7の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第7の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第8の実施の形態に係る通信システムの概要を説明するための図である。 患者が第8の実施の形態に係る通信システムの携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 患者が第8の実施の形態に係る通信システムの携帯電話機を使用する場合にメイン表示部に表示される内容の一例を表す図である。 第8の実施の形態に係る通信プログラムの一例を示すフローチャートである。 第8の実施の形態に係る通信プログラムの一例を示すフローチャートである。 他の通信プログラムを用いた場合の第8の実施の形態に係る通信システムの概要を説明するための図である。 第8の実施の形態に係る通信プログラムの他の例を示すフローチャートである。 図3の補正データ記憶部に記憶される内容の一例を示す図である。 第9の実施の形態に係る携帯電話機が使用地域を特定する方法の一例を示す図である。
符号の説明
1 第1の筐体
2 第2の筐体
10 制御部
11 入力操作部
12 メモリ
13 メイン表示部
14 サブ表示部
15a スピーカ
15b 通話用スピーカ
16 マイクロホン
18 信号処理部
20 生理量データ測定部
20a,20d 電極
20b サーミスタ
20c フォトセンサ
30 無線通信部
31 アンテナ
100 携帯電話機
100X 診断用電話機
100PC 診断コンピュータ
124 履歴データ格納部
700,700b 通信システム

Claims (17)

  1. 音声を音声信号として送信および受信することにより情報の通信を行う通話手段と、
    前記通話手段による通信に関連する操作を行うために使用者により操作される操作手段と、
    使用者の生体情報を検出するための検出手段と、
    前記操作手段の操作に基づいて前記通話手段の動作を制御するとともに、使用者による前記操作手段の操作時または前記通話手段による通信時に使用者の生体情報を検出するように前記検出手段を制御する制御手段と
    前記通話手段により受信された音声信号に基づいて通話相手が発声する音声が使用者への質問であるか否かを判別する音声判別手段とを備え、
    前記制御手段は、前記音声判別手段により前記通話相手が発声する音声が使用者への質問であると判別されたときに使用者の生体情報を検出するように前記検出手段を制御することを特徴とする通信装置。
  2. 情報の通信を行う通信手段と、
    前記通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、
    使用者の生体情報を検出するための検出手段と、
    前記操作手段の操作に基づいて前記通信手段の動作を制御するとともに、使用者による前記操作手段の操作時または前記通信手段による通信時に使用者の生体情報を検出するように前記検出手段を制御する制御手段と、
    前記検出手段による生体情報の検出時に使用者の音声を記録する音声記録手段と、
    前記検出手段により検出された生体情報が所定のしきい値を超えたか否かを判定する判定手段とを備え、
    前記音声記録手段は、前記判定手段により生体情報が所定のしきい値を超えたと判定された場合に、しきい値を超えた時点を含む所定時間の使用者の音声を記録することを特徴とする通信装置。
  3. 前記検出手段により検出された生体情報に基づいて使用者の心理状態を推定する推定手段をさらに備えることを特徴とする請求項1または2記載の通信装置。
  4. 情報の通信を行う通信手段と、
    前記通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、
    使用者の生体情報を検出するための検出手段と、
    前記操作手段の操作に基づいて前記通信手段の動作を制御するとともに、使用者による前記操作手段の操作時または前記通信手段による通信時に使用者の生体情報を検出するように前記検出手段を制御する制御手段と、
    前記検出手段により検出された生体情報に基づいて使用者の心理状態を推定する推定手段と、
    通信相手を特定するための個人情報データを記憶するとともに、前記個人情報データにより特定される通信相手ごとに、前記推定手段により推定された前記使用者の心理状態を記憶する記憶手段とを備えたことを特徴とする通信装置。
  5. 前記通信手段は、着信時に使用者に着信を認識されるための着信動作を行い、
    前記制御手段は、前記記憶手段に記憶された前記使用者の心理状態に基づいて前記通信手段による着信動作を制御することを特徴とする請求項記載の通信装置。
  6. 前記推定手段は、前記検出手段により検出された生体情報に基づいて前記使用者の心理状態として使用者の緊張度合いを推定することを特徴とする請求項3〜5のいずれかに記載の通信装置。
  7. 前記推定手段は、前記検出手段により検出された生体情報に基づいて前記使用者の心理状態として使用者のうそを推定することを特徴とする請求項3〜6のいずれかに記載の通信装置。
  8. 前記推定手段は、前記検出手段により検出された生体情報に基づいて前記使用者の心理状態として使用者の喜怒哀楽を推定することを特徴とする請求項3〜7のいずれかに記載の通信装置。
  9. 前記推定手段により推定された前記使用者の心理状態を示す情報を音声として出力する音声出力手段をさらに備えたことを特徴とする請求項3〜8のいずれかに記載の通信装置。
  10. 前記推定手段により推定された前記使用者の心理状態を示す情報を表示する表示手段をさらに備えたことを特徴とする請求項3〜9のいずれかに記載の通信装置。
  11. 前記推定手段により推定された前記使用者の心理状態を変化させるための情報を出力する情報出力手段をさらに備えたことを特徴とする請求項3〜10のいずれかに記載の通信装置。
  12. 電子メールをデータ信号として送信および受信することにより情報の通信を行う電子メール通信手段と、
    前記電子メール通信手段による通信に関連する操作を行うために使用者により操作され、電子メールの作成、送信、受信または閲覧するための操作を行う電子メール操作部と、
    使用者の生体情報を検出するための検出手段と、
    前記電子メール操作部の操作に基づいて前記電子メール通信手段の動作を制御するとともに、使用者による前記電子メール操作部の操作時に使用者の生体情報を検出するように前記検出手段を制御する制御手段と、
    前記検出手段により検出された生体情報に基づいて使用者の心理状態を推定する推定手段と、
    前記推定手段により推定された前記使用者の心理状態を示す情報を前記電子メール操作部により作成される電子メールに挿入する挿入手段とを備えることを特徴とする通信装置。
  13. 環境状態を示す環境情報を取得する取得手段と、
    前記取得手段により取得された環境情報に基づいて前記検出手段により検出された前記使用者の生体情報の変化状態を補正する補正手段とをさらに備えたことを特徴とする請求項1〜12のいずれかに記載の通信装置。
  14. 音声を音声信号として送信および受信することにより情報の通信を行う通話手段と、前記通話手段による通信に関連する操作を行うために使用者により操作される操作手段と、前記操作手段の操作に基づいて前記通話手段を制御する処理装置を備えた通信装置に用いられ、前記処理装置により実行可能な通信プログラムであって、
    前記操作手段の操作に基づいて前記通話手段の動作を制御する処理と、
    前記通話手段による通信時に前記通話手段により受信された音声信号に基づいて通話相手が発声する音声が使用者への質問であるか否かを判別する処理と、
    前記通話相手が発声する音声が使用者への質問であると判別されたときに使用者の生体情報を検出する処理とを、前記処理装置に実行させることを特徴とする通信プログラム。
  15. 情報の通信を行う通信手段と、前記通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、前記操作手段の操作に基づいて前記通信手段を制御する処理装置とを備えた通信装置に用いられ、前記処理装置により実行可能な通信プログラムであって、
    前記操作手段の操作に基づいて前記通信手段の動作を制御する処理と、
    前記操作手段の操作時または前記通信手段による通信時に使用者の生体情報を検出する処理と、
    検出された前記使用者の生体情報が所定のしきい値を超えたか否かを判定する処理と、
    生体情報が所定のしきい値を超えた場合に、しきい値を超えた時点を含む所定時間の使用者の音声を記録する処理とを、前記処理装置に実行させることを特徴とする通信プログラム。
  16. 情報の通信を行う通信手段と、前記通信手段による通信に関連する操作を行うために使用者により操作される操作手段と、前記操作手段の操作に基づいて前記通信手段を制御する処理装置とを備えた通信装置に用いられ、前記処理装置により実行可能な通信プログラムであって、
    前記操作手段の操作に基づいて前記通信手段の動作を制御する処理と、
    通信相手を特定するための個人情報データを記憶する処理と、
    前記操作手段の操作時または前記通信手段による通信時に使用者の生体情報を検出する処理と、
    前記検出された生体情報に基づいて使用者の心理状態を推定する処理と、
    記憶された前記個人情報データにより特定される通信相手ごとに、推定された前記使用者の心理状態を記憶する処理とを、前記処理装置に実行させることを特徴とする通信プログラム。
  17. 電子メールをデータ信号として送信および受信することにより情報の通信を行う電子メール通信手段と、前記電子メール通信手段による通信に関連する操作を行うために使用者により操作され、電子メールの作成、送信、受信または閲覧するための操作を行う電子メール操作部と、前記電子メール操作部の操作に基づいて前記電子メール通信手段を制御する処理装置とを備えた通信装置に用いられ、前記処理装置により実行可能な通信プログラムであって、
    前記電子メール操作部の操作に基づいて前記電子メール通信手段の動作を制御する処理と、
    使用者による前記電子メール操作部の操作時に使用者の生体情報を検出する処理と、
    検出された前記生体情報に基づいて使用者の心理状態を推定する処理と、
    推定された前記使用者の心理状態を示す情報を前記電子メール操作部により作成される電子メールに挿入する処理とを、前記処理装置に実行させることを特徴とする通信プログラム。
JP2004048843A 2004-02-25 2004-02-25 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム Expired - Fee Related JP3953468B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004048843A JP3953468B2 (ja) 2004-02-25 2004-02-25 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004048843A JP3953468B2 (ja) 2004-02-25 2004-02-25 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007045787A Division JP2007202174A (ja) 2007-02-26 2007-02-26 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム

Publications (2)

Publication Number Publication Date
JP2005244375A JP2005244375A (ja) 2005-09-08
JP3953468B2 true JP3953468B2 (ja) 2007-08-08

Family

ID=35025674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004048843A Expired - Fee Related JP3953468B2 (ja) 2004-02-25 2004-02-25 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム

Country Status (1)

Country Link
JP (1) JP3953468B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730114B2 (ja) * 2006-01-30 2011-07-20 日本電気株式会社 メッセージ作成支援方法及び携帯端末
JP4704952B2 (ja) * 2006-05-01 2011-06-22 株式会社エイ・ジー・アイ 心的状態判定装置、およびプログラム
JP2008073456A (ja) * 2006-09-25 2008-04-03 Toshiba Corp 生体情報計測システム、計測装置、生体情報計測方法および生体情報計測プログラム
KR100850560B1 (ko) * 2006-11-01 2008-08-06 (주)폴리다임 Sms 메시지의 아이콘 조합 방법
JP5244627B2 (ja) * 2009-01-21 2013-07-24 Kddi株式会社 感情推定方法および装置
KR101779505B1 (ko) 2011-06-29 2017-09-18 엘지전자 주식회사 이동 단말기 및 이동 단말기의 생체신호 측정 방법
JP2013093718A (ja) * 2011-10-25 2013-05-16 Nec Commun Syst Ltd 通信端末、感情伝達システム、感情伝達方法および感情伝達プログラム
JP5987238B2 (ja) * 2012-03-29 2016-09-07 株式会社Lassic マルチモーダル型トラッキングシステム及びそのプログラム
JP6189684B2 (ja) * 2013-08-29 2017-08-30 京セラ株式会社 端末装置及び通話データ処理方法
KR101662636B1 (ko) 2014-07-14 2016-10-07 엔에이치엔엔터테인먼트 주식회사 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법
JP7131006B2 (ja) * 2018-03-22 2022-09-06 富士フイルムビジネスイノベーション株式会社 情報管理装置及びプログラム

Also Published As

Publication number Publication date
JP2005244375A (ja) 2005-09-08

Similar Documents

Publication Publication Date Title
US9503824B2 (en) Method for adjusting parameters of a hearing aid functionality provided in a consumer electronics device
CN106024014B (zh) 一种语音转换方法、装置及移动终端
CN106464758B (zh) 利用用户信号来发起通信
JP3953468B2 (ja) 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム
CN105915831B (zh) 声音记录装置、声音记录方法以及记录介质
US20180268821A1 (en) Virtual assistant for generating personal suggestions to a user based on intonation analysis of the user
CN105554311A (zh) 用于自动更新化身状态以指示用户状态的方法和系统
CN109511037A (zh) 耳机音量调节方法、装置及计算机可读存储介质
US20020082007A1 (en) Method and system for expressing affective state in communication by telephone
US8358786B2 (en) Method and apparatus to measure hearing ability of user of mobile device
JP2007202174A (ja) 通信装置、通信方法、通信プログラムおよびそれを用いた通信システム
US7242952B2 (en) Portable terminal device and method of generating call sound
CN111723855A (zh) 一种学习知识点的显示方法、终端设备及存储介质
JP2018534709A (ja) ユーザーの状態に応じて表示色が変わるスマートウォッチ
JP5254487B1 (ja) 携帯情報端末、シャドー音声管理方法及びコンピュータプログラム
CN108553905A (zh) 基于游戏应用的数据反馈方法、终端及计算机存储介质
CN107729315A (zh) 音频文件的显示方法、终端和计算机存储介质
US20180359552A1 (en) Wireless Earpieces with a Memory Coach
JP4251889B2 (ja) 補聴器選定システム
JP2005242499A (ja) 通信システムおよび情報処理方法
JP6217003B2 (ja) 端末装置、睡眠言動記録方法及び睡眠言動記録プログラム
JP4232453B2 (ja) 通話音声のテキスト変換システム
Azzini et al. Automated spoken dialog system for home care and data acquisition from chronic patients
KR100583594B1 (ko) 디지털 청진기
WO2023238419A1 (ja) 携帯情報端末、情報処理システム、携帯情報端末の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070424

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees