JP5581581B2

JP5581581B2 - 通信端末装置、情報通信システム、情報通信方法および情報通信プログラム

Info

Publication number: JP5581581B2
Application number: JP2008281215A
Authority: JP
Inventors: 謙一北谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-10-31
Filing date: 2008-10-31
Publication date: 2014-09-03
Anticipated expiration: 2028-10-31
Also published as: JP2010109826A

Description

本発明は、データの通信を行う通信端末装置、情報通信システム、情報通信方法および情報通信プログラムに関する。

電話による通話または電子メールによる通信では、対面して行われる会話と比較すると、送信側のユーザのその時点の状況を受信側のユーザに伝えることが難しい。

特許文献１には、音声データやテキストデータを送信する通信端末装置であって、受信側の通信端末装置に、音声データやテキストデータの他に、通信中に生じた通信者の感情変化を表す情報を送信する通信端末装置が記載されている。

特開２００５−０７２７４３号公報（段落０００４、段落００１９−００２０）

しかし、特許文献１に記載された通信端末装置では、音声データやテキストデータの他に送信される情報は、感情の変化だけである。送信側の通信端末装置から受信側の通信端末装置に対して感情の変化だけが伝達されるだけでは、受信側の通信端末装置のユーザが送信側の通信端末装置のユーザの状況を十分に把握することは難しいと考えられる。

そこで、本発明では、送信側の通信端末装置のユーザの状況を十分に把握することができる情報を受信側の通信端末装置のユーザに伝達することができる通信端末装置、情報通信システム、情報通信方法および情報通信プログラムを提供することを目的とする。

本発明における通信端末装置は、ネットワークを介して他の装置と通信可能な通信端末装置であって、他の装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの状況を推定可能な状況情報を取得する状況情報取得手段と、状況情報取得手段が取得した状況情報にもとづいてユーザの状況を推定するユーザ状況推定手段と、ユーザ状況推定手段が推定したユーザの状況を示す情報を、通信相手の装置に送信するユーザ状況情報送信手段とを備え、状況情報取得手段は、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得することを特徴とする。

本発明における情報通信システムは、送信側通信端末装置と受信側通信端末装置とがネットワークを介して通信を行う情報通信システムであって、送信側通信端末装置は、受信側通信端末装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得する状況情報取得手段と、状況情報取得手段が取得した状況情報にもとづいてユーザの状況を推定するユーザ状況推定手段と、ユーザ状況推定手段が推定したユーザの状況を示す情報を、通信相手の装置に送信するユーザ状況情報送信手段とを備え、受信側通信端末装置は、送信側通信端末装置から受信したユーザの状況を示す情報に対応する情報出力を行う情報出力手段を備えたことを特徴とする。

本発明における情報通信方法は、ネットワークを介して他の装置と通信可能な通信端末装置で実行される情報通信方法であって、他の装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得し、取得した状況情報にもとづいてユーザの状況を推定し、推定したユーザの状況を示す情報を、通信相手の装置に送信することを特徴とする。

本発明における情報通信プログラムは、ネットワークを介して他の装置と通信可能な通信端末装置におけるコンピュータに、他の装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得する処理と、取得した状況情報にもとづいてユーザの状況を推定する処理と、推定したユーザの状況を示す情報を、通信相手の装置に送信する処理とを実行させることを特徴とする。

本発明によれば、送信側の通信端末装置のユーザの状況を十分に把握することができる情報を受信側の通信端末装置のユーザに伝達することができる通信端末装置、情報通信システム、情報通信方法および情報通信プログラムを提供することができる。

実施形態１．
図１および図２は、本発明による情報通信システムの第１の実施形態（実施形態１）の構成を示すブロック図である。図１には、通信端末Ａの内部構造が示されている。図２には、通信端末Ｂの内部構造が示されている。

図１および図２に示されるように、情報通信システム１００において、通信端末Ａ１１と通信端末Ｂ２１とは、伝送路３２を介する通信を中継するネットワーク３１によって通信可能に接続される。

まず、図１を参照して、第１の実施形態の情報通信システムの通信端末Ａの構成を説明する。通信端末Ａ１１は、アプリケーションＣＰＵ（アプリＣＰＵ）１２、デバイス群１３および通信部１４を含む。通信端末Ａ１１は、ユーザＡが使用する端末であり、通信端末Ａ１１に備えられたデバイス群１３のデバイスがユーザＡから直接または間接的に得た情報（ユーザの状況を推定可能な状況情報に相当するコンテキスト関連情報）を基に、ユーザＡの精神的状況、身体的状況または周囲の状況等（コンテキスト）を判断し、コンテキストを示すコンテキスト情報を作成する機能を備えている。ユーザＡのコンテキスト情報は、通信部１４からネットワーク３１を通じて通信端末Ｂ２１に送信される。

アプリＣＰＵ１２は、ドライバ群１５およびコンテキスト検出部１６を含み、通信端末Ａ１１に搭載されるアプリケーションプログラム（ＡＰ）およびデバイス等を制御する制御部である。

デバイス群１３は、通信端末Ａ１１に搭載され、例えば、脈拍センサ、カメラまたは加速度センサ等のデバイスを含む。デバイス群１３における各デバイスは、各デバイスに対応したドライバ群１５のドライバによって制御され、ユーザＡに係る情報を取得する。例えば、脈拍センサはユーザＡの脈拍数を、カメラはユーザＡの顔画像データを、加速度センサはユーザＡの特定の部位の動作記録（加速度記録）を取得する。

ドライバ群１５を構成する各ドライバは、各ドライバに対応するデバイス群１３におけるデバイスを制御する。

コンテキスト検出部１６は、アプリＣＰＵ１２内で実現される。コンテキスト検出部１６は、状況情報にもとづいてユーザの状況すなわちコンテキストを推定するユーザ状況推定手段に相当し、デバイス群１３から取得されるユーザＡに係る情報（例えば、脈拍数、顔画像データまたは加速度記録等）を基にユーザＡのコンテキストを判断する。コンテキスト検出部１６は、判断結果をユーザＡのコンテキストを示すコンテキスト情報として作成する。なお、コンテキスト検出部１６は、デバイス群１３から取得した情報だけでなく、通信端末Ａ１１におけるＡＰの使用履歴および通信端末Ａ１１の通信履歴等も利用してコンテキスト情報を作成してもよい。

通信部１４は、所定のプロトコルに従って通信端末Ｂ２１にデータを送信したり通信端末Ｂ２１からデータを受信したりする。通信部１４は、音声データやテキストデータの他に、ユーザＡのコンテキスト情報を通信端末Ｂ２１の通信部２４に送信する。

なお、デバイス群１３における一部のデバイスまたは全てのデバイスは、通信端末Ａ１１に搭載されずに外部の機器等に搭載されていてもよく、その場合には、コンテキスト検出部１６が通信手段を用いて当該デバイスから情報を取得する。

次に、図２を参照して、第１の実施形態の情報通信システムの通信端末Ｂの構成を説明する。通信端末Ｂ２１は、アプリＣＰＵ２２、デバイス群２３および通信部２４を含む。通信端末Ｂ２１は、ユーザＢが使用する端末であり、通信端末Ａ１１から送信されたユーザＡのコンテキスト情報を受信する。そして、受信したコンテキスト情報が示すユーザＡのコンテキストを表現する出力を、通信端末Ｂ２１に備えられたデバイス群２３におけるデバイスから出力する機能を備える。ユーザＢは、通信端末Ｂ２１における出力状況から、ユーザＡのコンテキストを認識する。

アプリＣＰＵ２２は、ドライバ群２５およびコンテキスト処理部２６を含み、通信端末Ｂ２１に搭載されるＡＰおよびデバイス等を制御する集約的な制御部を示す。

デバイス群２３は、通信端末Ｂ２１に搭載され、例えば、表示デバイス、スピーカまたは発光デバイス等のデバイスを含む。デバイス群２３における各デバイスは、各デバイスに対応したドライバ群２５のドライバによって制御される。デバイス群２３における各デバイスは、コンテキスト処理部２６によってユーザＡのコンテキスト情報に行われた情報処理の結果を出力する。

ドライバ群２５を構成する各ドライバは、各ドライバに対応するデバイス群２３におけるデバイスを制御する。

コンテキスト処理部２６は、アプリＣＰＵ２２で実現される。コンテキスト処理部２６は、通信端末Ａ１１から受信したユーザＡのコンテキスト情報に基づいて、ユーザＡのコンテキスト情報が示すユーザＡのコンテキストを、デバイス群２３の各デバイスが表現するように、出力情報を作成する。例えば、ユーザＡが緊張しているというコンテキストを含むコンテキスト情報を受信した場合には、コンテキスト処理部２６は、予め緊張を示すマークとして設定されているマークを表示デバイスに表示させ、予め緊張を示す色として設定されている色を発光デバイスに発光させるための出力情報を作成する。

なお、デバイス群２３の一部または全てのデバイスは、通信端末Ｂ２１に搭載されずに外部の機器等に搭載されていてもよく、その場合には、コンテキスト処理部２６が通信手段を用いて当該デバイスから情報を出力する。

図３は、第１の実施形態の情報通信システムにおいて、通信端末Ａがコンテキスト情報を検出する際に行う処理を示すフローチャートである。図４は、第１の実施形態の情報通信システムにおいて通信端末Ｂがコンテキスト情報を処理する際に行う処理を示すフローチャートである。図３および図４を参照して、第１の実施形態の情報通信システムの動作を説明する。

まず、通信端末Ａ１１がユーザＡのコンテキスト情報を作成する際の動作を説明する。通信端末Ａ１１において、コンテキスト情報を作成するＡＰが起動されると、アプリＣＰＵ１２は、コンテキスト検出部１６がユーザＡのコンテキスト関連情報を取得するために必要なデバイス群１３におけるデバイスを、ドライバ群１５におけるドライバに起動させる（ステップＳ３０１）。

ドライバ群１５における各ドライバは、起動されたデバイス群１３における各デバイスからユーザＡのコンテキスト関連情報を取得する。コンテキスト検出部１６は、取得したコンテキスト関連情報を基にユーザＡのコンテキストを判断し、コンテキスト情報を作成する。

図５は、コンテキスト情報を作成するための基準の具体例を示す説明図である。図５に示す情報処理基準は、テーブルとして、通信端末Ａ１１および通信端末Ｂ２１のＡＰにあらかじめ設定されている。図５に示された基準を例にして、コンテキスト関連情報に行われる処理を説明する。

コンテキスト関連情報を取得するデバイスは、脈拍センサおよび加速度計であるとする。脈拍センサは、ユーザＡの所定の場所に装着されてユーザＡの脈拍数を計測する。加速度計は、ユーザＡの所定の部位に装着されてユーザＡの所定の部位の動きを検出する。脈拍センサによって計測された脈拍数は、図５の脈拍数の行に示すように、「緊張しているかどうか」に関するコンテキストに対応する。コンテキスト検出部１６は、脈拍数が高すぎる数値または低すぎる数値を示す場合には、「非正常」を示すコンテキストを選択する。加速度計によって検出された加速度は、図５の加速度の行に示すように、「落ち着いているかどうか」に関するコンテキストに対応する。なお、実装時には、各項目の基準のレベルを、任意に変更／設定可能としてよい。

一例として、ユーザＡからコンテキスト関連情報として、「脈拍数９０・加速度有り」というデータを取得したとする。コンテキスト検出部１６は、ＡＰに設定されているテーブルを参照して、ユーザＡのコンテキストを「やや緊張、かつ落ち着かない」と判断する。コンテキスト検出部１６は、判断したコンテキストを示すデータをコンテキスト情報として作成する。

次に、コンテキスト検出部１６は、コンテキスト情報を通信部１４に出力する（ステップＳ３０２）。通信部１４は、入力したコンテキスト情報をネットワーク３１を介して通信端末Ｂ２１に送信する。

次いで、アプリＣＰＵ１２は、コンテキスト情報の検出を終了するかどうか確認する（ステップＳ３０３）。コンテキスト情報の検出を終了する場合には、アプリＣＰＵ１２は、ユーザＡのコンテキスト関連情報を取得するために起動させていたデバイス群１３のデバイスの起動を終了し（ステップＳ３０４）、通信端末Ａ１１におけるコンテキスト情報の検出の動作は終了する。

ステップＳ３０３において、コンテキスト情報の検出を続行する場合には、コンテキスト検出部１６は、起動させているデバイスから取得するユーザＡのコンテキスト関連情報を基に、ユーザＡのコンテキストに変化があるかどうか確認する（ステップＳ３０５）。ユーザＡのコンテキストに変化があった場合には、ドライバ群１５はデバイスからユーザＡのコンテキスト関連情報を取得する。コンテキスト検出部１６は、取得したコンテキスト関連情報を基に再度ユーザＡのコンテキスト情報を作成し、前回検出したコンテキスト情報との差を変化情報として通信部１４に出力する（ステップＳ３０６）。通信部１４は、入力した変化情報をユーザＡのコンテキスト情報としてネットワーク３１を介して通信端末Ｂ２１に送信する。

なお、通信端末Ａ１１から通信端末Ｂ２１への通信量を軽減するために、コンテキスト検出部１６は、前回検出したコンテキスト情報との差を通信部１４に出力したが、検出したコンテキスト情報をそのまま出力してもよい。

ステップＳ３０５において、ユーザＡのコンテキストに変化が見られなかった、またはステップＳ３０６において、変化情報を通信部１４に渡した後は、ステップＳ３０３に戻り、アプリＣＰＵ１２がコンテキスト情報の検出を終了するかどうか確認する。コンテキスト情報の検出を終了するまでステップＳ３０３およびステップＳ３０５に示された確認動作を続けることによって、アプリＣＰＵ１２は、ユーザＡのコンテキストが変化するたびにユーザＡのコンテキスト情報を検出して通信部１４に渡すことができる。

次に、通信端末Ｂ２１が通信端末Ａ１１から受信したユーザＡのコンテキスト情報を処理する際の動作を説明する。図３におけるステップＳ３０２またはＳ３０６に示された処理において、通信端末Ａ１１の通信部１４から通信端末Ｂ２１に、ユーザＡのコンテキスト情報が送信される。通信端末Ｂ２１において、通信部２４がコンテキスト情報を受信する。通信部２４は、コンテキスト情報を受信すると、コンテキスト処理部２６にコンテキスト情報を出力する。

コンテキスト処理部２６は、入力したユーザＡのコンテキスト情報を解析する（ステップＳ４０１）。すなわち、通信端末Ａ１１が検出したコンテキスト情報を処理するために通信端末Ｂ２１のＡＰに組み込まれている処理方法に従って、コンテキスト処理部２６は、ユーザＡのコンテキストを取得し、出力先デバイスを選択し、各出力先デバイスにおける出力情報を決定する。

「脈拍数９０・加速度有り」というコンテキスト関連情報を例にし、図５に示された基準の具体例を用いて、ステップＳ４０１における、通信端末Ｂ２１のコンテキスト処理部２６の処理を説明する。

「脈拍数９０・加速度有り」というコンテキスト関連情報を基に、通信端末Ａ１１のコンテキスト検出部１６は、「やや緊張、かつ落ち着かない」を示すコンテキスト情報を作成した。通信端末Ｂ２１のコンテキスト処理部２６は、この「やや緊張、かつ落ち着かない」を示すコンテキスト情報から、出力先デバイスに応じた出力情報を作成する。ここで、コンテキスト処理部２６が、出力先デバイスとして、表示デバイスおよび発光デバイスを用意したとする。

コンテキスト処理部２６は、図５の表示デバイスの列に示された基準を参照して、「やや緊張、かつ落ち着かない」に対応する表示デバイスおよび発光デバイスの出力情報を作成する。表示デバイスの出力情報は「Ｍｉｄｄｌｅ、かつ点滅」を示し、発光デバイスの出力情報は「緑かつ点滅」を示す。

アプリＣＰＵ２２は、コンテキスト処理部２６が決定した出力情報に従って、表示デバイスのドライバを制御して表示デバイスで「Ｍｉｄｄｌｅ」の文字を点滅させ、発光デバイスのドライバを制御して発光デバイスで「緑」色の光を点滅させる。ユーザＢは表示デバイスの表示や発光デバイスの発光を見て、「ユーザＡはやや緊張していて、かつ落ち着きがない状態である」というユーザＡのコンテキストを認識する。

なお、ユーザＡのコンテキストを表現するために必要な出力先デバイスは、通信端末Ｂ２１のアプリＣＰＵ２２によって自動的に選択されるようにしてもよいし、例えば、ユーザＢが通信端末Ｂ２１のＡＰに対して出力デバイスを指定した場合には、ユーザＢによる指定を反映して選択されるようにしてもよい。

アプリＣＰＵ２２は、ドライバ群２５を制御して、デバイス群２３におけるデバイスのうち、出力先デバイスとして選択したデバイスを起動させる（ステップＳ４０２）。ドライバ群２５のドライバは、出力情報に従って、各出力先デバイスから出力を行う（ステップＳ４０３）。

予め定められている出力時間が終了すると、アプリＣＰＵ２２はドライバ群２５を制御して、出力先デバイスの起動を終了させる（ステップＳ４０４）。

このような情報通信システムでは、通信端末Ａ１１でＡＰが起動されると、ユーザＢは、通信端末Ｂ２１のデバイスの出力を通してユーザＡのコンテキストを認識することができるので、通信端末を利用したユーザＡとのコミュニケーションを円滑に行うことができる。

実施形態２．
次に、本発明の第２の実施形態（実施形態２）を説明する。第２の実施形態の情報通信システムの構成は、図１および図２に示された第１の実施形態の構成と同じである。第２の実施形態の情報通信システム１００において、通信端末Ａ１１および通信端末Ｂ２１は通話機能を備え、通信部１４および通信部２４は音声データの通信を行う機能を備えている。

図６は、第２の実施形態の情報通信システムにおいて、通話中にコンテキスト情報を送信する際に行われる処理を示すフローチャートである。図６を参照して、第２の実施形態の情報通信システムを説明する。ここでは、ユーザＡのコンテキスト情報を通信端末Ａ１１から通信端末Ｂ２１に送信され、ユーザＢがユーザＡのコンテキストを認識する場合を例にして説明する。図６に示された処理は、通信端末Ａ１１における処理である。

ユーザＡが操作する通信端末Ａ１１と、ユーザＢが操作する通信端末Ｂ２１との間で、ユーザＡとユーザＢとの通話が開始されると、ユーザＡのコンテキスト情報の検出が開始される（ステップＳ６０１）。

情報通信システム１００において、通信端末Ａ１１でコンテキスト情報を検出するＡＰが起動されて、ドライバ群１５がユーザＡのコンテキスト関連情報を取得し、コンテキスト検出部１６がコンテキスト情報を検出し、コンテキスト情報を通信部１４に出力する処理（ステップＳ６０２〜Ｓ６０３）は、第１の実施形態における処理（図３に示すステップＳ３０１〜Ｓ３０２）と同じである。

ステップＳ６０３において、通信部１４にコンテキスト情報が出力されると、通信部１４は、入力したユーザＡのコンテキスト情報をネットワーク３１を介して通信端末Ｂ２１の通信部２４に送信する。

次いで、アプリＣＰＵ１２は、通信端末Ｂ２１との通話が終了したかどうか確認する（ステップＳ６０４）。通信端末Ｂ２１との通話が終了した場合には、アプリＣＰＵ１２は、ユーザＡのコンテキスト関連情報を取得するために起動させていたデバイス群１３のデバイスの起動を終了し（ステップＳ６０５）、通信端末Ａ１１におけるコンテキスト情報の検出の動作は終了する。

ステップＳ６０４において、通信端末Ｂ２１との通話が継続する場合には、コンテキスト検出部１６は、起動させているデバイスから取得するユーザＡのコンテキスト関連情報を基に、ユーザＡのコンテキストに変化があるかどうか確認する（ステップＳ６０６）。ユーザＡのコンテキストに変化があった場合には、ドライバ群１５はデバイスからユーザＡのコンテキスト関連情報を取得する。コンテキスト検出部１６は、取得したコンテキスト関連情報を基にユーザＡのコンテキスト情報を作成し、前回検出したコンテキスト情報との差を変化情報として通信部１４に出力する（ステップＳ６０７）。通信部１４は、入力した変化情報をユーザＡのコンテキスト情報としてネットワーク３１を通じて通信端末Ｂ２１に送信する。

ステップＳ６０６において、ユーザＡのコンテキストに変化がなかった場合、またはステップＳ６０７において、変化情報を通信部１４に渡した後には、ステップＳ６０４に戻り、通信端末Ｂ２１との通話が終了したかどうか確認する。通信端末Ｂ２１との通話が終了するまでステップＳ６０４およびステップＳ６０６に示された確認処理を続けることによって、アプリＣＰＵ１２は、ユーザＡのコンテキストが変化するたびにユーザＡのコンテキスト情報を検出して通信部１４に出力する。

図７は、音声データの送信とコンテキスト情報の送信との関係の一例を示す説明図である。通信端末Ａ１１から通信端末Ｂ２１にコンテキスト情報が送信されるとき、通信端末Ａ１１の通信部１４は即時性を要求される音声データの通信を妨げないようにしてコンテキスト情報を送信する必要がある。そのため、図７に示されたように、音声データの送信が行われていないタイミングで、検出したコンテキスト情報を送信する。

また、図８は、パケット通信による通話時にコンテキスト情報を送信する方法の一例を示す説明図である。図８に示されたように、通信端末Ａ１１と通信端末Ｂ２１との間でのユーザ間の通話がパケット通信によって行われている場合には、通信部１４は、音声データのパケットに空き部分ができたときに、空き部分においてコンテキスト情報を通信端末Ｂ２１に送信する。パケットの空き部分を利用することによって、音声データのパケット送信を妨げずにコンテキスト情報を送信することができる。

ここで、図９に示された具体的なデータを利用して、コンテキスト情報の検出およびコンテキスト情報の出力処理を説明する。図９は、通話中に取得したコンテキスト関連情報およびコンテキスト対応関係の一例を示す説明図である。図９（Ａ）に示す例では、通信端末Ａが取得したコンテキスト関連情報がＡＰの使用履歴順に並べて示され、図９（Ｂ）に示す例では、図９（Ａ）に示されたデータが通話相手ごとにまとめて示され、通話相手ごとの平均データが追加されている。

ＡＰ履歴は、ＡＰが起動してコンテキスト関連情報を取得した時刻を示すＡＰの使用履歴である。図９では、時刻が簡略化して番号で示されている。通話履歴は、ある通話の開始から終了までを１つの通話としてまとめた履歴である。通話相手は、通話を行った相手である。図９では、ユーザＡは、Ｐ１、Ｐ２、Ｐ３およびユーザＢと通話したことが示されている。脈拍数は脈拍センサによって計測され、加速度は加速度センサによって計測される。脈拍センサおよび加速度センサは、デバイス群１３におけるデバイスの１つである。コンテキストは、図５に示されたコンテキスト情報に関する基準に従って作成されたコンテキストである。

図９（Ａ）の各行に示されたように、コンテキスト検出部１６は、デバイス群１３から取得したコンテキスト関連情報（脈拍数および加速度に相当）を基に、緊張の度合いおよび落ち着きの度合いを示すコンテキストに相当するコンテキスト情報を作成する。同じ通話履歴で複数のＡＰ履歴が残っている場合は、通話中に変化が見られたコンテキスト関連情報が変化情報として取得され、コンテキストが再度検出されたことを示している（ステップＳ６０７に相当）。アプリＣＰＵ１２は、検出したコンテキスト情報を通信部１４から通信端末Ｂ２１に送信する。

通信端末Ａ１１からユーザＡのコンテキスト情報を受信した通信端末Ｂ２１におけるコンテキスト情報の処理は、第１の実施形態の通信端末Ｂにおける処理と同じである。通信端末Ｂ２１において通信部２４がコンテキスト情報を受信すると、コンテキスト処理部２６は、図５の表示デバイスの列に示された基準を参照して、デバイス群２３からの出力情報を決定する。

このような情報通信システムでは、ユーザＢは、通信端末Ｂのデバイスの出力によって、通話中の通信相手であるユーザＡのコンテキストを認識することができるので、通話相手の気持ちを考慮して会話を行う等、より円滑な通話を行うことができる。

なお、通信端末Ａ１１のコンテキスト検出部１６は、ユーザＢとの通話時に、ＡＰの使用履歴を加味してコンテキストを検出してもよい。脈拍数を例にとると、新たにユーザＢと通話して取得したユーザＡの脈拍数が、過去のユーザＡの脈拍数の平均値とどのくらいの差があるかに基づいてコンテキストを検出する。すなわち、過去のユーザＡの脈拍数の平均値（８６．８回）と比較するか、または、これまでのユーザＢとの通話時のユーザＡの脈拍数の平均値（８８回）と比較してコンテキストを検出する。例えば、８８回を中心として「普通」の基準を７９〜９８回として、図９に示されたユーザＢとの通信時（通話２、通話４および通話８）の脈拍数からコンテキストを再検出すると、全て「普通」になる。このコンテキストは、ユーザＡにとって、ユーザＢとの通話としては「普通」の通話が行われたことを示す。

このように、ＡＰの使用履歴を加味してコンテキストを検出する情報通信システムでは、ユーザＡの平均的な状態を基準としたコンテキストの検出を行うことができる。

なお、本説明では、通信端末Ａ１１から通信端末Ｂ２１にユーザＡのコンテキスト情報が送信される場合について説明したが、通信端末Ａ１１が備えるコンテキスト情報検出の機能を通信端末Ｂ２１に備え、通信端末Ｂ２１が備えるコンテキスト情報の出力処理の機能を通信端末Ａ１１に備えることで、通信端末Ａ１１および通信端末Ｂ２１が、双方向にコンテキスト情報の送受信をできるようにしてもよい。このような情報通信システムでは、各通信端末で各ユーザのコンテキスト情報を検出して通話相手の通信端末に送信しあうことで、両ユーザが通話相手のコンテキストを認識して通話を行うことが可能になる。両ユーザは、通話相手の反応を見ながら通話を進めることもでき、さらに円滑な通話を実現することができる。

実施形態３．
次に、本発明の第３の実施形態（実施形態３）を説明する。第３の実施形態の情報通信システムの構成は、図１および図２に示された第１の実施形態の構成と同じである。第３の実施形態の情報通信システム１００において、通信端末Ａ１１は電子メールをメールサーバ（図示せず）から受信するメール受信機能を備えている。

図１０は、第３の実施形態の情報通信システムにおいて、電子メール開封時のユーザのコンテキストを検出する際に行われる処理を示すフローチャートである。図１０を参照して、第３の実施形態の情報通信システムを説明する。ここでは、通信端末Ｂ２１から送信されて通信端末Ａ１１で受信した電子メールをユーザＡが開封したときに、ユーザＡのコンテキストを検出してユーザＢが認識する場合を例にして説明する。

ユーザＡが、通信端末Ａ１１において、電子メールを開封する操作に相当する入力操作を行うと、通信端末Ａ１１のアプリＣＰＵ１２は、対象となる電子メールを開封する処理を行って電子メールの内容を表示部（図示せず）に表示させる（ステップＳ９０１）。

電子メールを開封すると、アプリＣＰＵ１２は、ユーザＡが開封したメールを読んだときのコンテキストを検出するために、ＡＰを起動してコンテキスト情報の検出を開始する（ステップＳ９０２）。

情報通信システム１００において、通信端末Ａ１１でコンテキスト情報を検出するＡＰが起動されて、ドライバ群１５がユーザＡのコンテキスト関連情報を取得し、コンテキスト検出部１６がコンテキスト情報を検出し、コンテキスト情報を通信部１４に出力する処理（ステップＳ９０３〜Ｓ９０４）は、第１の実施形態における処理（図３に示すステップＳ３０１〜Ｓ３０２）と同じである。

ステップＳ９０４において、通信部１４にコンテキスト情報が出力されると、通信部１４は、入力したユーザＡのコンテキスト情報をネットワーク３１を介して、通信端末Ｂ２１に送信する。

次いで、アプリＣＰＵ１２は、ステップＳ９０１において電子メールを開封する処理を行った時間から現在までに経過した、開封後の経過時間を計算する。そして、アプリＣＰＵ１２は、開封後の経過時間が、ＡＰに予め定められた時間Ｔを超えているかどうか確認する（ステップＳ９０５）。開封後の経過時間が時間Ｔを超えている場合には、アプリＣＰＵ１２は、ユーザＡのコンテキスト関連情報を取得するために起動させていたデバイス群１３のデバイスの起動を終了し（ステップＳ９０６）、通信端末Ａ１１におけるコンテキスト情報の検出の動作は終了する。

ステップＳ９０５において、開封後の経過時間が時間Ｔを超えていない場合には、コンテキスト検出部１６は、起動させているデバイスから取得するユーザＡのコンテキスト関連情報を基に、ユーザＡのコンテキストに変化があるかどうか確認する（ステップＳ９０７）。ユーザＡのコンテキストに変化があった場合には、ドライバ群１５はデバイスからユーザＡのコンテキスト関連情報を取得する。コンテキスト検出部１６は、取得したコンテキスト関連情報を基にユーザＡのコンテキスト情報を検出し、前回検出したコンテキスト情報との差を変化情報として通信部１４に出力する（ステップＳ９０８）。通信部１４は、入力した変化情報をユーザＡのコンテキスト情報としてネットワーク３１を介して通信端末Ｂ２１に送信する。

ステップＳ９０７において、ユーザＡのコンテキストに変化が見られなかった場合、またはステップＳ９０８において、変化情報を通信部１４に渡した後には、ステップＳ９０５に戻り、開封後の経過時間が時間Ｔを超えているかどうか確認する。開封後の経過時間が時間Ｔを超えるまでステップＳ９０５およびステップＳ９０７に示された確認処理を続けることによって、アプリＣＰＵ１２は、ユーザＡのコンテキストが変化するたびにユーザＡのコンテキスト情報を検出して通信部１４に出力する。

ここで、時間Ｔは、固定値としてＡＰに予め決められていてもよいし、ユーザによって変更可能な値であってもよい。また、受信した電子メールのサイズや検出されたコンテキストの内容によってＡＰで自動的に決められる値であってもよい。例えば、怒りや驚きといった激しいコンテキストを検出した場合には、コンテキストの推移を窺うために、通常よりも大きめのＴに設定する。

通信端末Ａ１１からユーザＡのコンテキスト情報を受信した通信端末Ｂ２１におけるコンテキスト情報の処理は、第１の実施形態の通信端末Ｂにおける処理と同じである。通信端末Ｂ２１では、デバイスは、通信端末Ａ１１から受信したユーザＡのコンテキスト情報を基にして、ユーザＡのコンテキストを表現するような出力を行う。

このような情報通信システムでは、ユーザＢは、通信端末Ｂから通信端末Ａに電子メールが送信されたタイミングより後のタイミングにおけるユーザＡのコンテキストを認識することができる。そして、ユーザＢは、ユーザＢが送信した電子メールがユーザＡにどのように受け止められたかを知ることができ、その後のユーザＡとのコミュニケーションを円滑に進める材料にすることができる。

また、通信端末Ａ１１は、通信端末Ｂ２１に電子メールを送信する前に、コンテキスト情報を送信するようにしてもよい。その場合、コンテキスト検出部１６は、通信部１４から電子メールを送信することが通知された時にコンテキスト情報を作成して通信部１４に出力する。

また、本実施形態の情報通信システムにおいては、ユーザＢから送信された電子メールがユーザＡによって開封された後に、通信端末Ａ１１がユーザＡのコンテキスト情報を通信端末Ｂ２１に送信するが、本実施形態は、電子メールに限定されない。例えば、ユーザＡ，Ｂがインターネットを介してチャットに参加しているときに、通信端末Ａ１１と通信端末Ｂ２１とが、適宜、コンテキスト情報を相互に通信してもよい。その場合に、コンテキスト検出部１６が、適宜コンテキスト情報を作成して、通信部１４に出力する。また、ユーザＡが、ユーザＢがＷｅｂサイトに投稿した記事を読んだ場合に、ユーザＡのコンテキストを通信端末Ａ１１から通信端末Ｂ２１に通信するような情報通信システムであってもよい。そのような情報通信システムでは、記事の投稿者であるユーザＢは読者であるユーザＡのコンテキストから記事に対する反応を知ることができる。

本発明による情報通信システムにおいて、通信端末Ａは、ユーザＡが許可した場合にのみ、ユーザＡのコンテキスト関連情報を取得してユーザＡのコンテキスト情報を通信端末Ｂに送信することができる。

なお、上記の各実施形態では、コンテキスト関連情報を取得するデバイスとして、脈拍センサと加速度計とを例示したが、コンテキスト関連情報を取得するデバイスとして、ユーザの顔を撮像するカメラや、音声を入力するマイクロフォン等を用いてもよい。そして、カメラによって撮像された画像に基づいてユーザ自身やユーザの周囲のコンテキストを捻出したり、音声によってユーザ自身やユーザの周囲のコンテキストを検出したりしてもよい。

図１１は、本発明による通信端末装置の主要部を示すブロック図である。図１１に示すように、通信端末装置１（図１および図２に示す通信端末Ａ１１に相当）は、ネットワーク２を介して他の装置３と通信可能な通信端末装置であって、ユーザの状況を推定可能な状況情報を取得する状況情報取得手段４（図１に示すアプリＣＰＵ１２、デバイス群１３およびドライバ群１５に相当）と、状況情報取得手段が取得した状況情報にもとづいてユーザの状況を推定するユーザ状況推定手段５（図１に示すコンテキスト検出部１６に相当）と、ユーザ状況推定手段５が推定したユーザの状況を示す情報を、通信相手の装置に送信するユーザ状況情報送信手段６（図１に示す通信部１４に相当）とを備え、状況情報取得手段４は、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得することを特徴とする。このような通信端末装置では、音声や文章だけでは伝えにくい情報を通信相手に伝えることができるので、通信端末による円滑で豊かな意思疎通をもったコミュニケーションを行うことができる。

また、上記の各実施形態の情報通信システムには、以下の（１）〜（５）に示すような通信端末装置も示されている。

（１）ユーザ状況推定手段は、推定したユーザの状況が変化したときにのみ、ユーザの状況を示す情報をユーザ状況情報送信手段に出力し、ユーザ状況情報送信手段は、ユーザの状況を示す情報をユーザ状況推定手段から入力したときにのみユーザの状況を示す情報を送信する通信端末装置（例えば、実施形態１の情報通信システムの通信端末Ａ１１において、ステップＳ３０３〜Ｓ３０６の動作によって実現される。）。そのように構成された通信端末装置では、ユーザの状況が変化するたびに新しいユーザの状況を示す情報を取得することができるので、ユーザの現状を認識したコミュニケーションを行うことができる。

（２）音声データを送信する通信端末装置であって、ユーザ状況情報送信手段は、音声データが送信されているときに、音声データ未送信区間でユーザの状況を示す情報を送信する通信端末装置（例えば、実施形態２の情報システムの通信端末Ａ１１において、図７を用いた説明で示された音声データおよびコンテキスト情報の送信によって実現される。）。そのように構成された通信端末装置では、即時性を要求される音声データの通信を妨げずに、ユーザの状況を示す情報を送信することができる。

（３）音声データパケットを送信する通信端末装置であって、ユーザ状況情報送信手段は、音声データパケットが送信されているときに、音声データパケットにおける音声データ未設定箇所にユーザの状況を示す情報を設定する通信端末装置（例えば、実施形態２の情報システムの通信端末Ａ１１において、図８を用いた説明で示されたパケット通信による通話時におけるコンテキスト情報の送信によって実現される。）。そのように構成された通信端末装置では、即時性を要求される音声データパケットの音声データの通信を妨げずに、ユーザの状況を示す情報を送信することができる。

（４）ユーザ状況推定手段は、電子メールの送信前または電子メールの受信後に、状況情報にもとづいてユーザの状況を推定する通信端末装置（例えば、第３の実施形態の情報システムの通信端末Ａ１１において、ステップＳ９０１〜Ｓ９０８の動作によって実現される。）。そのように構成された通信端末装置では、例えば、電子メールを開封した後のユーザの状況を知ることができ、その後のユーザとのコミュニケーションを円滑に進めることができる。

（５）ユーザ状況情報送信手段は、当該通信端末装置がインターネットを介してデータ通信を行っている場合に、状況情報にもとづいてユーザの状況を推定する通信端末装置（例えば、第３の実施形態の情報システムの通信端末Ａ１１において、インターネットを介してチャットをしている時の動作によって実現される。）。そのように構成された通信端末装置では、今のユーザの状況をより詳しく知ることができるので、ユーザとの通信を円滑に行うことができる。

本発明による情報通信システムを示したブロック図である。本発明による情報通信システムの第１の実施形態を示すブロック図である。第１の実施形態の情報通信システムにおいて、通信端末Ａがコンテキスト情報を検出する際に行う処理を示すフローチャートである。第１の実施形態の情報通信システムにおいて、通信端末Ｂがコンテキスト情報を処理する際に行う処理を示すフローチャートである。コンテキスト情報の検出基準および処理基準の具体例を示す説明図である。第２の実施形態の情報通信システムにおいて、通話中にコンテキスト情報を送信する際に行われる処理を示すフローチャートである。音声データの送信とコンテキスト情報の送信との関係の一例を示す説明図である。パケット通信による通話時にコンテキスト情報を送信する方法の一例を示す説明図である。通話中に取得したコンテキスト関連情報およびコンテキスト対応関係の一例を示す説明図である。第３の実施形態の情報通信システムにおいて、電子メール開封時のユーザのコンテキストを検出する際に行われる処理を示すフローチャートである。本発明による通信端末装置の主要部を示すブロック図である。

符号の説明

１通信端末装置
２ネットワーク
３他の装置
４状況情報取得手段
５ユーザ状況推定手段
６ユーザ状況情報送信手段
１１通信端末Ａ
１２、２２アプリＣＰＵ
１３、２３デバイス群
１４、２４通信部
１５、２５ドライバ群
１６コンテキスト検出部
２１通信端末Ｂ
２６コンテキスト処理部
３１ネットワーク
３２伝送路
１００情報通信システム

Claims

ネットワークを介して他の装置と通信可能な通信端末装置であって、
他の装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの状況を推定可能な状況情報を取得する状況情報取得手段と、
前記状況情報取得手段が取得した状況情報にもとづいてユーザの状況を推定するユーザ状況推定手段と、
前記ユーザ状況推定手段が推定したユーザの状況を示す情報を、通信相手の装置に送信するユーザ状況情報送信手段とを備え、
前記状況情報取得手段は、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得する
ことを特徴とする通信端末装置。
ユーザ状況推定手段は、推定したユーザの状況が変化したときにのみ、ユーザの状況を示す情報をユーザ状況情報送信手段に出力し、
前記ユーザ状況情報送信手段は、ユーザの状況を示す情報を前記ユーザ状況推定手段から入力したときにのみユーザの状況を示す情報を送信する
請求項１記載の通信端末装置。
ユーザ状況推定手段は、他の装置から受信した電子メールに対する閲覧操作が行われ、状況情報取得手段が状況情報を取得したときに、前記状況情報にもとづいてユーザの状況を推定する
請求項１または請求項２記載の通信端末装置。
ユーザ状況情報送信手段は、当該通信端末装置がインターネットを介してデータ通信を行っている場合に、状況情報にもとづいてユーザの状況を推定する
請求項１または請求項２記載の通信端末装置。
送信側通信端末装置と受信側通信端末装置とがネットワークを介して通信を行う情報通信システムであって、
前記送信側通信端末装置は、
前記受信側通信端末装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得する状況情報取得手段と、
前記状況情報取得手段が取得した状況情報にもとづいてユーザの状況を推定するユーザ状況推定手段と、
前記ユーザ状況推定手段が推定したユーザの状況を示す情報を、通信相手の装置に送信するユーザ状況情報送信手段とを備え、
前記受信側通信端末装置は、
前記送信側通信端末装置から受信したユーザの状況を示す情報に対応する情報出力を行う情報出力手段を備えた
ことを特徴とする情報通信システム。
送信側通信端末装置におけるユーザ状況推定手段は、推定したユーザの状況が変化したときにのみ、ユーザの状況を示す情報をユーザ状況情報送信手段に出力し、
前記ユーザ状況情報送信手段は、ユーザの状況を示す情報を前記ユーザ状況推定手段から入力したときにのみユーザの状況を示す情報を送信する
請求項５記載の情報通信システム。
ネットワークを介して他の装置と通信可能な通信端末装置で実行される情報通信方法であって、
他の装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得し、
取得した状況情報にもとづいてユーザの状況を推定し、
推定したユーザの状況を示す情報を、通信相手の装置に送信する
ことを特徴とする情報通信方法。
推定したユーザの状況が変化したときにのみ、ユーザの状況を示す情報を送信する
請求項７記載の情報通信方法。
ネットワークを介して他の装置と通信可能な通信端末装置におけるコンピュータに、
他の装置から受信したデータに対する閲覧操作が行われた場合に、当該閲覧操作の開始時刻から所定時間が経過するまでの間、ユーザの身体的状況を含むユーザの状況を推定可能な状況情報を取得する処理と、
取得した状況情報にもとづいてユーザの状況を推定する処理と、
推定したユーザの状況を示す情報を、通信相手の装置に送信する処理とを実行させるための情報通信プログラム。
コンピュータに、
ユーザの状況を推定する処理で、推定したユーザの状況が変化したときにのみ、ユーザの状況を示す情報を送信させる
請求項９記載の情報通信プログラム。