JP6908648B2 - 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置 - Google Patents

Description

この発明は、座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置に関する。

従来から人の脳波などの生体情報を測定して、当該人の感情の状態を推定する試みが種々なされている。例えば、特許文献１（特開２０１０-１３１３２８号公報参照）には、簡易脳波計を用いて脳波を測定して、脳波情報から対象者の嗜好や生理的状態を判別する方法や装置が開示されている。

また、特許文献２（特開２０１５-１０９９６４号公報参照）には、対象者の脳波以外の生体情報、例えば脈拍や血流などを測定し、当該測定した生体情報と脳波との相関関係に基づき、測定した生体情報から対象者の脳波を推定し、推定された脳波の特徴パターンにより、対象者の感情を推定する方法が提供されている。

特開２０１０-１３１３２８号公報 特開２０１５-１０９９６４号公報

近年、電子機器の入力装置として、電子ペンが賞用されるようになってきている。この電子ペンの使用者の当該電子ペンによる入力作業中における感情が判別（推定）できれば、その判別（推定）された感情に応じた対応を使用者に対して提供することが可能になり、便利である。

例えば、電子ペンによる入力の執務中の作業者の感情状態が、注意力散漫の状態にあることが判明したら（推定されたら）、注意喚起するとか、イライラしている感情状態であることが判明したら（推定されたら）、気持ちをリラックスさせる音楽を提供するなどの対応をすることが可能となる。

以上のことを実現しようとする場合には、電子ペンによる入力作業をしている使用者の当該時点のリアルタイムの感情状態を判別（推定）する必要があり、上述した特許文献１や特許文献２の技術を用いることが考えられる。しかし、電子ペンによる入力をしている使用者が簡易脳波計や生体情報のセンサを装着しながら作業をすることは、現実的ではなく、また、各作業者毎に、簡易脳波計や生体情報のセンサが必要になり、コスト的にも、現実的ではない。

この発明は、以上の問題点に鑑み、電子ペンによる入力作業者は、簡易脳波計や生体情報のセンサなどを電子ペンによる入力作業者が装着しなくても、当該電子ペンによる入力作業者の当該作業時点のリアルタイムの感情状態を判別（推定）することができるようにすることを目的とする。

上記の課題を解決するために、
人の、分類された複数の感情状態のそれぞれ毎に、前記複数の感情状態のそれぞれの感情状態のときに人が把持している電子ペンの状態に関するペン状態情報が、対応付けられて格納されている感情推定用情報格納部と、
前記ペン状態情報を含む感情状態推定要求を受信したときに、前記受信した前記ペン状態情報により前記感情推定用情報格納部を参照することで、前記感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、
前記推定手段で推定した前記感情状態を前記感情状態推定要求をしてきた相手に通知する手段と、
を備え、
前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットは、、前記ペン状態情報の他に、推定された感情状態を示す情報を挿入するための部分を有し、前記推定された感情状態を示す情報は、前記部分に挿入されて、前記感情状態推定要求の要求側に返信される
ことを特徴とする感情推定装置を提供する。

一般的に、電子ペンを把持している作業者の手や指先は、当該作業者の当該時点における感情状態に応じた動きをする。したがって、作業者により把持されている電子ペンは、当該作業者のその時の感情状態に応じた手や指先の動きに応じた高さ位置に在ったり、センサ入力面に対する傾きを有していたり、所定の筆圧の状態であったりする。つまり、電子ペンを把持している作業者の感情状態と、当該作業者により把持されている電子ペンについての、高さ位置やその変動、傾きやその変動、筆圧やその変動などの電子ペンの状態に関するペン状態情報とは、相関を有している。

そこで、この発明においては、電子ペンを把持する人の感情状態と、前記感情状態のときに、電子ペンを把持している人が把持している電子ペンの状態に関するペン状態情報とが対応付けられて格納されている感情推定用情報格納部が事前に構築されている
ここで、感情状態としては、例えばリラックスしている、集中している、イライラしている、注意力散漫の状態である、などの感情の状態とされる。また、ペン状態情報としては、例えば電子ペンの芯体に印加される筆圧及びその変動と、電子ペンのセンサ上の高さ位置とその高さ方向の変動、電子ペンのセンサ面に対する傾き及びその変動、電子ペンがセンサ上に接触していない状態でのセンサのＸ軸方向及びＹ軸方向の動き、などが用いられる。そして、感情推定用情報格納部に記憶されるのは、各感情状態と、当該感情状態のときに人が把持している電子ペンの状態に関するペン状態情報とが対応付けられた情報である。

請求項１の感情推定装置においては、電子ペンの状態に関するペン状態情報を含む感情状態推定要求を受信したときに、受信したペン状態情報により感情推定用情報格納部を参照することで、感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定する。そして、その推定結果の感情状態に応じた情報を、感情状態推定要求をしてきた側に返信するようにする。

以上のようにして、感情推定装置に対して、取得したペン状態情報を含めた感情状態推定要求を送るだけで、当該時点における電子ペンの使用者の推定された感情状態を知ることができ、その感情状態に応じた情報による処理をすることできる。

この発明による感情推定装置の実施形態における感情推定用情報格納部の構築装置の実施形態を説明するための図である。 図１の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 図１の実施形態を構成する感情サーバ装置の構成例を示すブロック図である。 図１の実施形態の感情推定用情報格納部の構築装置の例を説明するための図である。 図１の実施形態の感情推定用情報格納部の構築装置の例を説明するための図である。 図１の実施形態の感情推定用情報格納部の構築装置で構築される感情推定用情報格納部の例を説明するための図である。 図１の実施形態の感情推定用情報格納部の構築装置の動作処理の流れの例を説明するためのフローチャートを示す図である。 感情推定用情報格納部の構築装置の他の実施形態の概要を説明するための図である。 感情推定用情報格納部の構築装置の他の実施形態を説明するための図である。 図８の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 感情推定用情報格納部の構築装置の他の実施形態の概要を説明するための図である。 図１１の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 この発明による感情推定装置の実施形態を含むシステムの構成例の概要を説明すための図である。 図１３の実施形態を構成する電子ペンとタブレット端末との電気回路構成例を示す図である。 図１３の実施形態を構成する感情サーバ装置の構成例を示すブロック図である。 図１３の実施形態を構成するタブレット端末の処理動作の流れの例のフローチャートを示す図である。 図１３の実施形態を構成する感情サーバ装置の処理動作の流れの例のフローチャートを示す図である。 図１３の実施形態を説明すための図である。 この発明による感情推定装置の実施形態における感情推定用情報格納部の構築装置の実施形態及び感情推定装置の実施形態並びに感情推定システムの実施形態において使用する信号フォーマットの例を説明するための図である。 この発明による感情推定システムの他の実施形態の要部を説明するための図である。

以下、この発明の実施形態を、図を参照しながら説明する。まず、感情推定用情報格納部の構築装置の実施形態について説明する。

［感情推定用情報格納部の構築システムの第１の例］
図１は、感情推定用情報格納部の構築装置の実施形態を含む感情推定用情報格納部の構築システムの第１の構成例の概要を示す図である。この例は、人の感情状態を判断するために、脳波計を用いる場合である。なお、以下の説明においては、感情推定用情報格納部は、感情推定用データベースと称することとする。

図１に示すように、この第１の構成例では、電子ペンの使用者３は、電子ペン１を把持して、当該電子ペン１による指示入力を検出する位置検出装置部を備えるタブレット端末２に対して指示入力をする。この例では、電子ペン１及びタブレット端末２の位置検出装置部は、電磁誘導結合方式のものを用いている。

そして、この例では、電子ペン１は、その芯体の先端に印加される筆圧を検出する機能を備えていると共に、自身を識別するための識別情報（ペンＩＤ）を記憶しており、位置検出用信号と共に、その検出した筆圧の情報とペンＩＤとを、タブレット端末２の位置検出装置部に送信するようにする。電子ペン１は、使用者３が所有している電子ペンであり、ペンＩＤは、使用者３の識別情報としての役割を担う。なお、電子ペン１に印加される筆圧は、公知の手法を用いることで検出可能であるので、その検出手法の説明は、ここでは省略する。

タブレット端末２の位置検出装置部は、電子ペン１による指示された位置を、電子ペン１から送出される位置検出用信号に基づいて、電磁誘導結合方式により検出する。なお、この例では、電子ペン１は、コイルとキャパシタとからなる共振回路を備えており、タブレット端末２の位置検出装置部から送られてくる交流信号を共振回路で受信し、その受信した交流信号を帰還させることで、電子ペン１からの位置検出用信号としてタブレット端末２の位置検出装置部に送信する。

そして、電子ペン１は、共振回路からタブレット端末２の位置検出装置部に帰還する交流信号の周波数（共振周波数）を変えることで、筆圧情報をタブレット端末２の位置検出装置部に伝送したり、共振回路からタブレット端末２の位置検出装置部に帰還する交流信号を、ＡＳＫ（Amplitude Shift Keying）変調や、ＯＯＫ（On-Off Keying）変調などして、デジタル信号としてタブレット端末２の位置検出装置部に伝送したりする。タブレット端末２の位置検出装置部は、上記のようにして電子ペン１から伝送されてくる筆圧情報やペンＩＤをも取得する。

また、この例では、タブレット端末２の位置検出装置部は、電子ペン１の傾きと、電子ペン１の高さ位置とを検出する機能を備えている。ここで、電子ペン１の傾きとは、位置検出装置部のセンサ面（位置指示入力面）に対する電子ペン１の傾きである。また、電子ペン１の高さ位置とは、位置検出装置部のセンサ面（位置指示入力面）からの高さ位置である。電子ペン１の傾きや高さ位置は、公知の手法を用いることで検出可能であるので、その検出手法の説明については、ここでは省略する。

タブレット端末２は、以上説明した、検出した電子ペン１の指示位置の情報と、電子ペン１の筆圧情報と、電子ペン１の傾きの情報と、電子ペン１の高さ位置の情報とを、ペン状態情報として、対応付け処理部４に供給する。なお、この例においては、電子ペンの状態に関するペン状態情報には、電子ペンによる指示位置の情報と、筆圧情報と、傾きの情報と、電子ペンの高さ位置の情報などを含むものである。

そして、この例では、電子ペンの使用者３の頭部には、その感情状態を判断するために、脳波計５に接続されている複数の電極６が装着されている。脳波計５は、電極６から得られた脳波データを、内蔵する時計部の時間情報（年月日時分秒の時刻情報）を付加して、対応付け処理部４に供給する。

対応付け処理部４は、例えばパーソナルコンピュータで構成される。対応付け処理部４は、タブレット端末２から、電子ペンによる指示位置の情報とペンＩＤとペン状態情報とを取得すると共に、脳波計５から、同じ時点における脳波データを取得して、両者を対応付けると共に、その対応付けた情報に、タイムスタンプ（当該時点の年月日時分秒の時刻情報）を付加する。そして、対応付け処理部４は、その対応付けた情報にタイムスタンプを付加してものを、通信ネットワーク７を通じて、感情サーバ装置８に送信する。

通信ネットワーク７は、インターネットや携帯電話網を含む公衆網を含むもので構成することができる。また、通信ネットワーク７は、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）を用いる無線ＬＡＮであってもよい。また、通信ネットワーク７は、感情サーバ装置８と対応付け処理部４との間を有線で接続するＬＡＮの構成であってもよい。

感情サーバ装置８は、対応付け処理部４からの情報を受信し、その受信した情報から電子ペンのペンＩＤと、脳波データと、電子ペン１のペン状態情報とを分けて取得する。そして、そのうちの脳波計５からの脳波データから、電子ペン１の使用者の、当該時点における感情状態を判断（確認）する。この例においては、感情状態としては、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、などが判断（確認）される。脳波データからのこれらの感情状態の判断手法は、脳波に占めるα波、β波、θ波などの各周波数成分比率（分布）に応じて判断される手法など、良く知られている。

感情サーバ装置８は、後述するように、受信したタブレット端末２からの情報から、電子ペン１の使用者について判断した各感情状態において、ペン状態情報が取り得る値の範囲情報を算出する。

そして、感情サーバ装置８では、内蔵する感情推定用データベースに、判断した感情状態と、その感情状態のときにペン状態情報が取り得る値の範囲情報と、電子ペンのペンＩＤとを対応付けて格納する。

［電子ペン１とタブレット端末２の位置検出装置部の電子回路構成例］
図２は、第１の例の電子ペン１の等価回路と、この電子ペン１と電磁誘導授受方式により位置検出及び筆圧検出を行うタブレット端末２の位置検出装置部２０の回路構成例を示す図である。

この図２の例のタブレット端末２の位置検出装置部２０は、センサ部２１と座標データ形成部２２とコントローラ２３とを備えている。センサ部２１においては、Ｘ軸方向ループコイル群２１１と、Ｙ軸方向ループコイル群２１２とが積層されて形成されていると共に、２つのループコイル群２１１，２１２のうちの一のループコイルを順次選択する選択回路２１３が設けられている。

電子ペン１は、ＩＣ１００で構成される信号制御回路を備えていると共に、このＩＣ１００を駆動するための駆動電圧を、タブレット端末２の位置検出装置部２０のセンサ部２１に備えられた励磁コイル２１４から送信された励磁信号から取得するように構成されている。なお、図２では、一例として、センサ部２１のループコイル群２１１，２１２は電子ペン１からの電磁結合信号の受信にのみ用いられるものとして説明するが、電子ペン１との間で電磁結合することで、励磁コイル２１４に代えて電子ペン１に備えられた信号制御回路を駆動することを排除するものではない。また、電子ペン１に備えられた信号制御回路に対して所定の制御データなどの信号を送信することを排除するものでもない。

この図２の例のタブレット端末２の位置検出装置部２０のセンサ部２１においては、Ｘ軸方向ループコイル群２１１と、Ｙ軸方向ループコイル群２１２とを取り囲むようにして、励磁コイル２１４が配設されている。図２においては、励磁コイル２１４は、２ターンとなっているが、実際的には、より多くのターン数、例えば８〜１０ターンとされている。図２に示すように、励磁コイル２１４は、ドライブ回路２２２に接続され、ドライブ回路２２２は、周波数ｆｏで発振する発振回路２２１に接続されている。

ドライブ回路２２２は、マイクロコンピュータで構成される処理制御部２２０により制御される。処理制御部２２０は、ドライブ回路２２２を制御して、発振回路２２１からの周波数ｆｏの発振信号の、励磁コイル２１４への供給を制御して、励磁コイル２１４からの電子ペン１への信号送信を制御する。

選択回路２１３は、処理制御部２２０により選択制御されて一つのループコイルを選択する。この選択回路２１３により選択されたループコイルに発生する誘導電圧は、受信アンプ２２３にて増幅され、バンドパスフィルタ２２４に供給され、周波数ｆｏの成分のみが抽出される。バンドパスフィルタ２２４は、その抽出した成分を検波回路２２５に供給する。

検波回路２２５は、周波数ｆｏの成分を検出し、その検出した周波数ｆｏの成分に応じた直流信号をサンプルホールド回路２２６に供給する。サンプルホールド回路２２６は、検波回路２２５の出力信号の所定のタイミング、具体的には受信期間中の所定のタイミングにおける電圧値を保持し、ＡＤ変換回路２２７へ送出する。ＡＤ変換回路２２７は、サンプルホールド回路２２６のアナログ出力をデジタル信号に変換し、処理制御部２２０に出力する。処理制御部２２０は、前記所定のタイミングの信号をサンプルホールド回路２２６に供給する。

そして、処理制御部２２０は、ＡＤ変換回路２２７からのデジタル信号が所定のスレッショールド値を超えた値であるか否かを判定して、選択回路２１３で選択されているループコイルが電子ペン１で位置指示された位置のループコイルであるか否かを判定し、その判定に基づいて電子ペン１による指示位置を検出する。

処理制御部２２０は、また、後述するように、電子ペン１による指示位置の検出とは別に、電子ペン１からの信号の断続を、数ビットのデジタル信号として検出して、筆圧を検出すると共に、ペンＩＤを検出するようにする。そして、処理制御部２２０は、検出した電子ペンによる指示位置の情報と、検出した筆圧の情報と、検出したペンＩＤとを、対応付けてコントローラ２３に供給する。

コントローラ２３は、受け取った電子ペンによる指示位置の情報と、筆圧の情報と、ペンＩＤとを、図示を省略したバッファに記憶する。なお、コントローラ２３は、カレンダー機能付の時計部２３１を備え、バッファには、指示位置の情報と、筆圧の情報と、ペンＩＤとに対応付けて、それらの受信時点の年月日時分秒の時間情報も記憶する。

そして、コントローラ２３は、バッファに記憶した指示位置の情報と、筆圧の情報と、ペンＩＤと、時間情報とを無線通信部２３２を通じて対応付け処理部４に送信するようにする。

電子ペン１の回路構成は、図２において点線で囲んで示すようなものとなっている。すなわち、インダクタンス素子としてのコイル１０１に並列にキャパシタ１０２が接続されて、共振回路１０３が構成される。そして、この共振回路１０３に並列に、スイッチ回路１０４が接続されている。このスイッチ回路１０４は、ＩＣ１００によりオン・オフ制御されるように構成されている。このスイッチ回路１０４がオフのときには、共振回路１０３によるセンサ部２１からの信号に対する共振動作がなされる。しかし、スイッチ回路１０４がオンのときには、コイル１０１に並列に接続されているキャパシタ１０２が短絡されて、共振回路１０３によるセンサ部２１からの信号に対する共振動作がオフとなる。

そして、ＩＣ１００は、共振回路１０３にてタブレット端末２の位置検出装置部２０のセンサ部２１から電磁誘導により受信した交流信号を、ダイオード１０５及びキャパシタ１０６からなる整流回路（電源供給回路）１０７にて整流して得られる電源電圧Ｖｃｃにより動作するように構成されている。ＩＣ１００は、共振回路１０３とはキャパシタ１０８を介して接続されており、共振回路１０３の動作状況をモニターしている。ＩＣ１００は、共振回路１０３の動作状況をモニターすることで、センサ部２１の励磁コイル２１４との電磁結合状況、あるいは、この例では説明を省略するが、２つのループコイル群２１１，２１２を使用して位置検出装置部２０のセンサ部２１から送信された制御データなどの信号を検出し、所望の動作制御を行うことができるようになっている。

この実施形態の電子ペン１は、芯体に印加される筆圧を、例えば、容量可変キャパシタＣｖの静電容量として検出する感圧素子からなる筆圧検出手段を備えている。ＩＣ１００には、図２に示すように、この容量可変キャパシタＣｖが接続されており、ＩＣ１００は筆圧に応じたこの容量可変キャパシタＣｖの静電容量を検出することができるように構成されている。ＩＣ１００は、容量可変キャパシタＣｖの静電容量の値から電子ペン１における筆圧を検出する。そして、ＩＣ１００は、検出した筆圧を、複数ビットのデジタル信号に変換し、その筆圧に対応するデジタル信号により、スイッチ回路１０４を制御することにより、筆圧情報を、位置検出用信号の付加情報としてタブレット端末２の位置検出装置部２０に送信する。

また、ＩＣ１００には、電子ペン１の識別情報であるペンＩＤを記憶するＩＤメモリ１１０が接続されている。ＩＣ１００は、このＩＤメモリ１１０に記憶されているデジタル信号のデジタル信号により、スイッチ回路１０４を制御することにより、このペンＩＤをも、位置検出用信号の付加情報として、筆圧情報と共に、タブレット端末２の位置検出装置部２０に送信する。

以上のように構成された電子ペン１及びタブレット端末２の位置検出装置部２０の位置検出動作及び筆圧情報やペンＩＤの検出動作について説明する。

処理制御部２２０は、先ず、ドライブ回路２２２を駆動して励磁コイル２１４から、所定時間、信号を電子ペン１に送信する。次に、処理制御部２２０は、ドライブ回路２２２を駆動して励磁コイル２１４からバースト状信号を送出し、その後、選択回路２１３をＸ軸方向ループコイル群２１１のうちの一つのループコイルを選択する処理を、Ｘ軸方向ループコイル群２１１の全てのループコイルに対して順次に行う。電子ペン１は、バースト状信号を共振回路１０３で受信し、タブレット端末２の位置検出装置部２０のセンサ部２１に帰還するようにする。処理制御部２２０は、その帰還されたバースト状信号を位置検出用信号として検出することで、電子ペン１により指示された位置のＸ座標値を求める。

次に、処理制御部２２０は、ドライブ回路２２２を駆動して励磁コイル２１４から、所定時間、信号を電子ペン１に送信する。次に、処理制御部２２０は、ドライブ回路２２２を駆動して励磁コイル２１４からバースト状信号を送出し、その後、選択回路２１３をＹ軸方向ループコイル群２１２のうちの一つのループコイルを選択する処理を、Ｙ軸方向ループコイル群２１２の全てのループコイルに対して順次に行う。電子ペン１は、バースト状信号を共振回路１０３で受信し、タブレット端末２の位置検出装置部２０のセンサ部２１に帰還するようにする。処理制御部２２０は、その帰還されたバースト状信号を位置検出用信号として検出することで、電子ペン１により指示された位置のＹ座標値を求める。

以上のようにして、電子ペン１の指示位置を検出したら、処理制御部２２０は、電子ペン１からの付加情報としての筆圧情報及びペンＩＤを検出するため、励磁コイル２１４から所定時間以上継続した送信を行った後、座標検出の際と同様なタイミングで送受信を付加情報のデジタル信号のビット数に応じた回数継続して行う。このとき、選択回路２１３では、検出した座標値に従い、電子ペン１から最も近いループコイル（Ｘ軸方向ループコイル，Ｙ軸方向ループコイルのどちらでもよい）を選択して信号を受信する。

一方、電子ペン１のＩＣ１００は、筆圧検出手段を構成する容量可変キャパシタＣｖの静電容量に対応して得られた筆圧情報とペンＩＤとからなる付加情報のデジタル信号により、タブレット端末２の位置検出装置部２０からの信号の送受信に同期してスイッチ回路１０４をオン・オフ制御する。スイッチ回路１０４がオフであるときには、共振回路１０３は、位置検出装置部２０から送信された信号を位置検出装置部２０に返送することができるので、位置検出装置部２０のループコイルはこの信号を受信する。これに対して、スイッチ回路１０４がオンであるときには共振回路１０３は共振動作が禁止された状態にあり、このために、共振回路１０３から位置検出装置部２０に信号は返送されず、位置検出装置部２０のループコイルは信号を受信しない。

位置検出装置部２０の座標データ形成部２２の処理制御部２２０は、受信信号の有無の判別を付加情報のデジタル信号のビット数回行うことにより、筆圧情報及びペンＩＤに応じた複数ビットのデジタル信号を受信し、電子ペン１からの筆圧情報及びペンＩＤを検出することができる。したがって、電子ペン１は、筆圧情報とペンＩＤとを、ＡＳＫ（Amplitude Shift Keying）変調した信号として、タブレット端末２の位置検出装置部２０に送信する。

位置検出装置部２０の処理制御部２２０は、電子ペン１による指示位置の情報を検出すると共に、この電子ペン１からの筆圧情報及びペンＩＤを検出する。そして、検出した電子ペン１による指示位置と、筆圧情報及びペンＩＤとをコントローラ２３に供給する。コントローラ２３は、処理制御部２２０から受け取った電子ペン１による指示位置と、筆圧情報及びペンＩＤとに、時間情報を付加したものを、無線通信部２３２から、対応付け処理部４に送信する。

対応付け処理部４は、タブレット端末２から受信した電子ペン１による指示位置と、筆圧情報及びペンＩＤと、脳波計５からの脳波データとを、それぞれに付加されている時間情報に基づけて対応付ける。そして、対応付け処理部４は、対応付けた情報に、対応する時間情報を付加したものを、通信ネットワーク７を通じて感情サーバ装置８に送信する。

＜感情サーバ装置８の構成例＞
図３は、この実施形態の感情サーバ装置８のハードウェア構成例を示す図である。すなわち、感情サーバ装置８は、コンピュータからなる制御部８１に対して、システムバス８０を通じて、無線通信部８２と、情報取得部８３と、感情状態判断部８４と、ペン状態情報範囲算出部８５と、対応付け格納処理部８６と、感情推定用データベース８７とが接続されて構成されている。

制御部８１は、感情サーバ装置８の全体を制御するためのものである。無線通信部８２は、通信ネットワーク７を通じて無線通信をするためのもので、この例では、この無線通信部８２を通じて対応付け処理部４からの情報を受信する。情報取得部８３は、無線通信部８２の受信情報から、タブレット端末２からの電子ペン１による指示位置、筆圧情報及びペンＩＤと、脳波計５からの脳波データとの対応情報を、タイムスタンプと共に抽出して取得する。

そして、情報取得部８３は、取得した情報のうち、脳波計５からの脳波データ及びペンＩＤは、感情状態判断部８４に供給し、タブレット端末２からの電子ペン１による指示位置、筆圧情報及びペンＩＤは、ペン状態情報範囲算出部８５に供給する。

感情状態判断部８４は、所定の時間に亘る脳波データから、そのときの電子ペン１の使用者の感情状態を判断し、ペン状態情報範囲算出部８５は、判断した感情状態のときの電子ペンの座標位置ブレの範囲や、筆圧の範囲、傾きの範囲、高さ位置の範囲を算出する。そして、感情状態判断部８４は、判断した感情状態を、ペンＩＤと共に対応付け格納処理部８６に供給し、また、ペン状態情報範囲算出部８５は、判断した感情状態のときに算出した電子ペン１の座標位置ブレの範囲や、筆圧の範囲、傾きの範囲、高さ位置の範囲を、ペンＩＤと共に対応付け格納処理部８６に供給する。

対応付け格納処理部８６は、受け取った感情状態と、ペン状態情報のそれぞれの範囲の情報を、ペンＩＤと対応付けて、感情推定用データベース８７に格納する。

ここで、前述したように、感情状態としては、前述したように、この例では、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態が判断される。感情状態の判断は、生体情報、この例では脳波データを解析することで算出するようにする。そのため、この実施形態では、感情状態の判断の対象となる電子ペン１の使用者３には、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態が、それぞれ所定の時間以上の時間幅に亘って継続するように、それぞれの感情状態を現出させるような状況刺激を加えるなどして、それぞれの感情状態になっていることを脳波計５で測定して確認する。

例えば、電子ペン１の使用者３を「リラックス状態」にするには、使用者３が心地良くなる音楽を使用者に所定時間に亘って提供する、「集中状態」にするには、所定時間に亘って使用者３が集中できる好きな書や絵を丁寧に書かせる、「イライラ状態」にするには、使用者３に電子ペン１による入力操作をわざと急がせる、などの状況刺激を加えるようにする。これにより、使用者を、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態にすることができ、その時の脳波データを脳波計５より測定することで、使用者が前記の各感情状態になっていることを確認することができる。

この場合に、脳波データについては、例えば、α波、β波、θ波を測定して記録し、それらの分布形状などから使用者が前記の各感情状態になっていることを判断あるいは確認する。すなわち、脳波のα波、β波、θ波の分布形状と、感情状態とに間には、相関関係があり、図示は省略したが、その相関関係のデータベースを、感情サーバ装置８の感情状態判断部８４は備えている。そして、感情サーバ装置８の感情状態判断部８４は、測定した脳波のα波、β波、θ波の分布形状により、前記相関関係のデータベースを参照することで、使用者３の感情状況を推測して判断、あるいは確認する。

なお、以下の例は、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態を人為的に作り出して、その感情状態になっていることを脳波データにより判断して確認し、それぞれの感情状態におけるペン状態を測定してデータとして蓄積する方法の一例である。

この例では、脳波計５からは、図４（Ａ）に示すように、電子ペン１の使用者が、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態にあるときの所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５が生成され、それぞれの所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５において、それぞれの感情状態に対応する脳波データＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５が発生するようになる。所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５は、感情サーバ装置８で、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」、のそれぞれの感情状態を判断（確認）することができるような十分な時間長分とされている。

そして、図４（Ｂ）及び（Ｃ）に示すように、所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５では、タブレット端末２では、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態になっている使用者による電子ペン１の指示位置の情報Ｃｒｄ１，Ｃｒｄ２，Ｃｒｄ３，Ｃｒｄ４，Ｃｒｄ５及び筆圧情報Ｐｒ１，Ｐｒ２，Ｐｒ３，Ｐｒ４，Ｐｒ５が検出される。そして、タブレット端末２は、図４（Ｄ）に示すように、所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５の全てに亘って同じペンＩＤ（＝ＩＤ１）を取得する。そして、タブレット端末２は、各所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５のそれぞれにおいて、電子ペン１の指示位置の情報のほか、電子ペンの傾き、高さ位置などのペン状態情報も検出する。そして、前述したように、タブレット端末２からの電子ペン１による指示位置の情報と、筆圧情報、傾き、高さ位置などのペン状態情報は、前述したように、ペンＩＤと対応付けられて、対応付け処理部４を介して、感情サーバ装置８に送信されている。

したがって、感情状態判断部８４では、所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５のそれぞれにおける脳波データから、使用者３が、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態になっていることを確認する。

そして、ペン状態情報範囲算出部８５は、各所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５で、使用者がなっているそれぞれの感情状態である「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの対応する、複数種のペン状態情報の存在範囲を算出する。すなわち、各感情状態にある使用者の電子ペン１のペン状態のそれぞれは、それぞれの感情状態に応じた存在範囲となるので、その存在範囲を算出する。例えば、「リラックス状態」にあるときの電子ペン１に印加される筆圧は、比較的低い平均値となると共に、当該平均値からの偏差が比較的小さい値となるような存在範囲となる。また、「イライラ状態」にあるときの電子ペン１に印加される筆圧は、比較的高い平均値となると共に、当該平均値からの偏差が比較的大きい値となるような存在範囲となる。

そして、この例においては、電子ペン１の指示位置（高さ位置も含む）の情報（図４（Ｂ）参照）から、「傾きの範囲」、「高さ位置の範囲」、「ホバー状態でのペン先位置のブレ範囲」などが算出される。また、電子ペン１の筆圧情報（図４（Ｃ）参照）から、「（筆記時の）筆圧の範囲」が算出される。なお、ペン状態情報の範囲情報は、感情状態の判断に要した所定の時間幅以上の時間におけるペン状態情報のそれぞれの値の殆ど、例えば９０パーセントが、その中に入る、すなわち、存在することとなる範囲を判定することで算出される。ここで、ペン状態情報の範囲情報を算出する際の、ペン状態情報がその範囲の中に入るパーセントの値は、ペン状態情報から感情状態を推定する際の精度に関係するものであり、高いほど推定精度が高くなることは言うまでもない。このペン状態情報の範囲情報（存在範囲の情報）は、上述した平均値と偏差からなる範囲情報とすることができる。

なお、この実施形態では、各感情状態に対応するペン状態情報の範囲情報は、リアルタイムで検出するようにしたが、前述した所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５において取得したペン状態情報を蓄積しておき、事後的に、その蓄積したペン状態情報を用いて、それぞれの範囲情報を算出するようにしてもよい。

そして、この実施形態では、ペン状態情報範囲算出部８５は、電子ペン１の使用者３の各感情状態における「文字筆記時の特徴パターン」をも記憶するようにしている。このため、この例においては、脳波データを取得する対象者である使用者３には、各感情状態のときに、所定の矩形領域内、所定の文字を筆記させるようにする。

すなわち、図５に示すように、使用者３に対しては、タブレット端末２の表示画面に、文字の入力四角枠ＦＬを表示して、その入力四角枠ＦＬ内に文字を入力するように促す。図５に示すように、使用者３は、各感情状態において、当該入力四角枠ＦＬ内に、入力が求められた文字、この例では「あ」を電子ペン１により筆記入力する。

図５に示すように、リラックス状態や、集中状態では、使用者３は、求められた文字を当該入力四角枠ＦＬ内にきちんと収めるように筆記入力する。すなわち、文字の中心位置が、入力四角枠ＦＬの中心位置の近傍になり、文字の大きさが、入力四角枠ＦＬを超えない大きさとなる。

しかし、イライラ状態、注意力散漫状態、怒り状態では、それらの感情状態に応じて、文字の中心位置が、入力四角枠ＦＬの中心位置からずれた状態になると共に、文字が入力四角枠ＦＬから食み出してしまったり、入力四角枠ＦＬよりも大きな文字となってしまったりする。そこで、ペン状態情報範囲算出部８５は、ペン状態情報の例としての文字筆記時の特徴パターンとしては、文字の中心位置からのずれの範囲と、文字の大きさの変移範囲、などを各感情状態に応じて算出する。

なお、「文字筆記時の特徴パターン」としては、一文字についての特徴パターンだけではなく、複数の文字を連続的に筆記するときの当該複数の文字間についての特徴パターンを算出してもよい。この場合、例えば、複数の文字の中心位置のずれ変化や、大きさ変化などが特徴パターンとして算出することができる。

ペン状態情報範囲算出部８５は、以上のようにして算出したペン状態情報の範囲情報を、それぞれの感情状態の検出期間である所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５のそれぞれにおいて、対応付け格納処理部８６に供給する。

対応付け格納処理部８６は、所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５のそれぞれにおいて、感情状態判断部８４からの判断された感情状態の情報と、ペン状態情報範囲算出部８５からの複数種のペン状態情報のそれぞれについての範囲情報とを対応付けると共に、ペンＩＤに対応付けて、感情推定用データベース８７に格納する。

図６に、このときの感情推定用データベース８７の記憶内容の例を示す。この図６に示すように、電子ペンの使用者を識別するためのペンＩＤに対応付けられて、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態が記憶されると共に、各感情状態のそれぞれに対応付けられて、それぞれの感情状態におけるペン状態情報のそれぞれが取り得る範囲の情報が記憶されている。

図６の例では、ペン状態情報としては、筆記入力時の「座標指示ブレ」、「筆圧」、「傾き」、「高さ位置」、「ホバー位置での位置ブレ」、などが記憶される。座標指示ブレとしては、前述の図５を用いて説明した文字の中心位置からのずれ範囲や文字の大きさの変移範囲が記憶される。なお、図６では、ずれ範囲や変移範囲が模式的に示してあり、四角枠は、前述した図５の四角枠ＦＬに対応するものである。

なお、「座標指示ブレ」の場合、そのブレの速度または加速度が、感情状態に応じて、マイルドに変化したり、激しく変化したりするので、それらの情報も併せて感情推定用データベース８７に格納するようにしてもよい。

「筆圧」は、使用者がそれぞれの感情状態において電子ペン１によりセンサ上で入力するとき値が異なることが予想されるので、その筆圧範囲（例えばＰｒａ１〜Ｐｒｂ１など）が記憶される。例えばリラックス状態の筆圧よりも、集中状態での筆圧の方が大きく、かつ、その筆圧範囲も狭いものとなる。また、イライラ状態では、筆圧がまちまちとなるので、筆圧範囲が広くなる。怒り状態では、筆圧が大きくなる。なお、筆圧の範囲のみではなく、平均値も併せて記憶させるようにしてもよい。また、筆圧の時間変化も併せて感情推定用データベース８７に格納するようにしてもよい。例えば、「リラックス状態」や「集中状態」では、筆圧の時間変化の度合いは小さく、「イライラ状態」や「注意力散漫状態」では、筆圧の時間変化の度合は大きくなる。

「傾き」は、使用者の感情状態に応じて電子ペン１がセンサ面（入力面）とのなす角が変わることから、感情推定用データベース８７には、その各感情状態に応じて、傾きの範囲が記憶される。なお、この場合も、傾きの時間変化も併せて感情推定用データベース８７に格納するようにしてもよい。例えば、「リラックス状態」や「集中状態」では、傾きの時間変化の度合いは小さく、「イライラ状態」や「注意力散漫状態」では、傾きの時間変化の度合は大きくなる。なお、傾きは、筆圧が零で、ホバー状態にあるときと、筆圧が０よりも大きいセンサに接触しているときとで、分けて感情推定用データベース８７に格納するようにしてもよい。

「高さ位置」は、使用者３が電子ペン１を持って、指示入力（筆記入力）をする前の待機状態において電子ペン１がホバー状態にあるときのセンサ面に直交する方向の高さ位置の、各感情状態におけるときに取り得る高さ位置であって、その高さ位置の範囲情報が、感情推定用データベース８７に格納される。

「ホバー位置での位置ブレ」は、使用者３が電子ペン１を持って、指示入力（筆記入力）をする前の待機状態のときのセンサ面上の座標位置の変化を示す範囲情報である。すなわち、例えば、使用者が「集中状態」にあるときには、「ホバー位置での位置ブレ」は、小さくなり、「イライラ状態」や「注意力散漫状態」にあるときには、大きくなる。なお、この場合も、「ホバー位置での位置ブレ」の時間変化も併せて感情推定用データベース８７に格納するようにしてもよい。

以上のようにして、この実施形態では、感情推定用データベース８７には、ペンＩＤにより識別される使用者毎の感情状態のそれぞれに対応して、ペン状態情報の範囲情報のそれぞれが格納される。

そして、この実施形態では、感情推定用データベース８７に格納されたペンＩＤで識別される使用者のみではなく、電子ペンの使用者の全てについて、感情状態を推定することができるようにするために、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態に対応して、汎用の使用者を想定した汎用のペン状態情報の範囲情報が感情推定用データベース８７に格納される。ペン状態情報範囲算出部８５は、この汎用のペン状態情報の範囲情報を、感情推定用データベース８７にペンＩＤに対応して格納されている多数の使用者の感情状態のそれぞれに対応するペン状態情報のそれぞれの範囲情報を、平均化処理するなどして算出する。

なお、以上の感情サーバ装置８の構成において、情報取得部８３と、感情状態判断部８４と、ペン状態情報範囲算出部８５と、対応付け格納処理部８６とは、制御部８１が、内蔵する記憶部に記憶されているプログラムを実行することで、それらの処理を行うようにするソフトウェア機能処理部として構成することもできる。

［感情サーバ装置８における感情推定用データベースの構築処理］
図７は、この感情サーバ装置８における感情推定用データベースの構築処理の流れの一例を説明するためのフローチャートである。なお、この図７の例は、感情サーバ装置８の制御部８１が、情報取得部８３と、感情状態判断部８４と、ペン状態情報範囲算出部８５と、対応付け格納処理部８６とを、ソフトウェア機能処理部として実現した場合として説明する。なお、この図７は、一人の使用者３についての感情推定用データベースの情報を生成する処理の流れを示している。したがって、使用者が変われば、図７の処理が、その使用者についてなされるものである。

そして、この例においては、使用者についての感情状態の判断期間として、図４に示すように、所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５のそれぞれ期間が順次に実行されるものである。

制御部８１は、先ず、通信ネットワーク７を通じて脳波データと電子ペンの状態情報（電子ペン１の指示位置の情報を含む）との対応情報を受信する（ステップＳ１０１）。そして、制御部８１は、取得した脳波データからペンＩＤに対応する使用者３の感情状態を判断する（ステップＳ１０２）。このステップＳ１０２では、前述した所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５の内の一つの期間で、その期間における感情状態の判断処理がなされることになる。

次に、制御部８１は、電子ペンの状態情報のそれぞれについて、ステップＳ１０２で判断した感情状態に対応する範囲値を検出する（ステップＳ１０３）。そして、電子ペンの状態情報のそれぞれについての範囲値が検出できたか否か判別し（ステップＳ１０４）、検出できていないと判別したときには、通信ネットワーク７を通じて対応付け処理部４からの情報を更に受信する（ステップＳ１０５）。その後、制御部８１は、処理をステップＳ１０３に戻し、このステップＳ１０３以降の処理を繰り返す。

ステップＳ１０４で、電子ペンの状態情報のそれぞれについての範囲値を検出できたと判別したときには、取得したペンＩＤに対応つけて、ステップＳ１０２で判断した感情状態と、ステップＳ１０３で算出されたペン状態情報の範囲値とを対応させて、感情推定用データベース８７に格納する（ステップＳ１０６）。

次に、制御部８１は、推定をしようとしている感情状態の全てについての所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５が終了したか否か判別する（ステップＳ１０７）。このステップＳ１０７で、終了していないと判別したときには、次の所定期間に、使用者が他の感情状態になった時の脳波データ及びペン状態情報が送られてくるので、制御部８１は、処理をステップＳ１０１に戻して、このステップＳ１０１以降の処理を繰り返す。

そして、ステップＳ１０７で、推定をしようとしている感情状態の全てについての所定期間Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５が終了したと判別したときには、制御部８１は、感情推定用データベース８７にペンＩＤに対応して格納されている多数の使用者の感情状態のそれぞれに対応するペン状態情報のそれぞれの範囲情報を平均化処理などして、汎用のペン状態情報の範囲情報を生成あるいは更新し、その生成したあるいは更新した汎用のペン状態情報の範囲情報を、「リラックス状態」、「集中状態」、「イライラ状態」、「注意力散漫状態」、「怒り状態」のそれぞれの感情状態に対応して、感情推定用データベース８７に格納する。そして、制御部８１は、処理を終了する。

以上のようにして、感情サーバ装置８の感情推定用データベース８７には、ペンＩＤにより識別される使用者毎の感情状態とペン状態情報の範囲情報との対応情報が格納されると共に、ペンＩＤにより識別されない汎用の使用者については、当該汎用の使用者の感情状態に対応する汎用のペン状態情報の範囲情報が格納される。

そのため、使用者が電子ペンによりタブレット端末で指示入力したときには、当該使用者が把持している電子ペンのペン状態情報を参照情報として、感情サーバ装置８の感情推定用データベース８７を検索することにより、ペン状態情報に対応する感情状態を推定することが可能となる。

この場合に、使用者が把持している電子ペンが、感情推定用データベースに登録されているペンＩＤと一致するペンＩＤを有するものであれば、当該ペンＩＤに対応して感情推定用データベース８７に格納されている情報を検索することができるので、ペンＩＤで識別される使用者の癖などの電子ペン操作の特性に応じて、当該使用者の感情状態を的確に推定することができるようになる。また、この実施形態では、感情推定用データベース８７には、各感情状態に対応する汎用のペン状態情報の範囲情報が格納されているので、ペンＩＤに対応して感情状態とペン状態情報との対応情報を感情推定用データベース８７に格納していない使用者についても、ペン状態情報から、感情状態の推定が可能であるという効果がある。

［データベースの構築システムの第２の例］
上述したデータベースの構築システムの第１の例では、感情状態を判断するための生体情報の例としての脳波データとペン状態情報とを対応付ける対応付け処理部４が必要であった。以下に説明するデータベースの構築システムの第２の例は、対応付け処理部４を省略することができるようにした例である。

図８は、このデータベースの構築システムの第２の例の概要を説明するための図である。この例においては、使用者３は、例えば特許文献１に開示されているような簡易脳波計５Ａを、頭部に装着するようにする。この簡易脳波計５Ａは、使用者から取得した脳波データ（簡易脳波データと称する）を、無線で送信することができるように、近距離無線通信規格、例えばブルートゥース（登録商標）規格の無線通信部５ＴＡを備えている。

そして、この例では、電子ペン１Ａは、簡易脳波計５Ａから無線で送られてくる簡易脳波データを受信することができるように、図８では図示を省略するブルートゥース（登録商標）規格の無線通信手段を備えている。そして、電子ペン１Ａは、簡易脳波計５Ａから受信した簡易脳波データを、位置検出用信号の付加情報として、タブレット端末２Ａの位置検出装置部に送出するようにする。

すなわち、電子ペン１Ａは、図９（Ａ）に示すように、タブレット端末２Ａの位置検出装置部に対して、位置検出用信号と、付加情報とを繰り返し送出するようにする。この例の電子ペン１Ａにおいては、付加情報は、図９（Ｂ）に示すように、筆圧情報と、ペンＩＤと、簡易脳波データとからなる。電子ペン１Ａは、上述した第１の例と同様にして、デジタル信号としての付加情報をタブレット端末２Ａの位置検出装置部に送出するようにする。

タブレット端末２Ａは、上述した第１の例と同様の構成を有する。ただし、この第２の例では、タブレット端末２Ａは、付加情報として、筆圧情報及びペンＩＤに加えて、簡易脳波データを取得するので、後述するように、ペン状態情報と、簡易脳波データとを、ペンＩＤに対応付けたものを、通信ネットワーク７を通じて、感情サーバ装置８に送信する機能を備える。

［電子ペン１Ａとタブレット端末２Ａの位置検出装置部２０Ａの電子回路構成例］
図１０は、この第２の例における電子ペン１Ａの等価回路と、タブレット端末２Ａの位置検出装置部２０Ａの回路構成例を示す図である。この図１０において、図２に示した第１の例の電子ペン１及びタブレット端末２の位置検出装置部２０と同一部分には、同一参照符号を付してある。

この第２の例においては、図１０に示すように、電子ペン１Ａは、ブルートゥース（登録商標）規格の無線通信部１０９を備える。この無線通信部１０９には、整流回路１０７からの電源電圧Ｖｃｃが供給される。そして、この無線通信部１０９は、受信した簡易脳波データを、ＩＣ１００Ａに供給する。

この例の電子ペン１ＡのＩＣ１００Ａは、容量可変キャパシタＣｖの静電容量から検出された筆圧情報と、ＩＤメモリ１１０に記憶されているペンＩＤとに加えて、無線通信部１０９で受信した簡易脳波データにより付加情報（デジタル信号）を生成する。そして、第１の例の電子ペン１と同様に、付加情報のデジタル信号により、スイッチ回路１０４をオン、オフ制御して、付加情報をＡＳＫ変調信号として、タブレット端末２Ａの位置検出装置部２０Ａのセンサ部２１に送出する。電子ペン１Ａのその他の構成及び動作は、第１の例の電子ペン１と同様である。

タブレット端末２Ａの位置検出装置部２０Ａは、第１の例のタブレット端末２Ａの位置検出装置部２０と全く同様にして、電子ペン１Ａからの位置検出用信号に基づいて、電子ペン１Ａによる指示位置を検出すると共に、電子ペン１Ａの高さ位置、傾きを検出する。そして、タブレット端末２Ａの位置検出装置部２０Ａは、電子ペン１Ａからの付加情報により、筆圧情報と、ペンＩＤと、簡易脳波データとを検出する。

そして、タブレット端末２Ａの位置検出装置部２０Ａの処理制御部２２０Ａは、電子ペン１Ａによる指示位置の情報と、筆圧情報と、傾きの情報と、高さ位置とからなるペン状態情報を生成すると共に、このペン状態情報と簡易脳波データを対応付けると共に、ペンＩＤを対応付けて、コントローラ２３に送信する。コントローラ２３は、処理制御部２２０Ａから受信したペン状態情報と、簡易脳波データと、ペンＩＤとを対応付けた情報に、時計部２３１からの時間情報をタイムスタンプ情報として更に付加して、無線通信部２３２を通じて感情サーバ装置８に、通信ネットワーク７を通じて送信するようにする。

なお、タブレット端末２Ａの位置検出装置部２０Ａでの電子ペン１Ａによる指示位置の検出動作や、付加情報の検出動作、さらに、傾きや高さ位置などのペン状態情報の検出動作は、第１の実施形態のタブレット端末２の位置検出装置部２０と全く同様である。

そして、この第２の例においては、感情サーバ装置８は、タブレット端末２Ａから受信した情報を、第１の例における対応付け処理部４から受信した情報と同様に処理することにより、前述したような感情推定用データベース８７を構築する。

以上のようにして、この第２の例によれば、対応付け処理部４が不要となるので、データベース構築システムの構成が簡単になるという効果がある。

なお、簡易脳波計５Ａから無線で送られてくる簡易脳波データを、電子ペン１Ａではなく、タブレット端末２Ａで受信しても良い。

［データベースの構築システムの第３の例］
以下に説明するデータベースの構築システムの第３の例も、第２の例と同様に、第１の例の対応付け処理部４を省略することができるようにした例である。そして、この例においては、電子ペンの使用者の感情状態は、脳波データではなく、特許文献２の技術を用いて、使用者の脳波以外の生体情報、例えば脈拍や血流などを測定することで推定するようにしている。

図１１は、このデータベースの構築システムの第３の例の概要を説明するための図である。この第３の例においては、使用者３は第１の例と同様の電子ペン１を把持する。そして、この第３の例においては、使用者３は、例えば特許文献２に開示されているような脈拍や血流などを検出する生体情報検出装置５Ｂを、腕部３Ｂなどに装着するようにする。この生体情報検出装置５Ｂは、使用者３から検出した脈拍や血流などの生体情報の検出データを、無線で送信することができるように、近距離無線通信規格、例えばブルートゥース（登録商標）規格の無線通信部５ＴＢを備えている。

そして、この第３の例のタブレット端末２Ｂは、生体情報検出装置５Ｂから無線で送られてくる生体情報の検出データを受信することができるように、ブルートゥース（登録商標）規格の無線通信部２３３を備えている。そして、タブレット端末２Ｂは、生体情報検出装置５Ｂから受信した生体情報の検出データと、電子ペン１からの信号に基づいて、前述したようにして取得したペン状態情報とを、電子ペン１から取得したペンＩＤに対応付けて、通信ネットワーク７を通じて感情サーバ装置８に送信するようにする。

［電子ペン１Ｂとタブレット端末２Ｂの位置検出装置部２０Ｂの電子回路構成例］
図１２は、この第３の例における電子ペン１の等価回路と、タブレット端末２Ｂの位置検出装置部２０Ｂの回路構成例を示す図である。この図１２において、図２に示した第１の例と同一部分には、同一参照符号を付してある。

図１２に示すように、電子ペン１は、図２に示したものと同様の回路構成を有し、同様の動作をする。タブレット端末２Ｂも、電子ペン１と連携する部分の構成及び動作は同様であり、コントローラ２３Ｂの構成が、図２の例のコントローラ２３とは異なる。

すなわち、タブレット端末２Ｂの位置検出装置部２０Ｂのコントローラ２３Ｂは、生体情報検出装置５Ｂが備える無線通信部５ＴＢと通信を行う無線通信部２３３を備える。そして、タブレット端末２Ｂは、コントローラ２３において、処理制御部２２０ＢからのペンＩＤに対応付けられたペン状態情報と、無線通信部２３３で受信した生体情報の検出データとを対応付けると共に、時計部２３１からの時間情報を付加して、無線通信部２３２から、通信ネットワーク７を通じて感情サーバ装置８に送信する。

この第３の例においては、タブレット端末２Ｂの位置検出装置部２０Ｂでの電子ペン１による指示位置の検出動作や、付加情報の検出動作、さらに、傾きや高さ位置などのペン状態情報の検出動作は、第１の実施形態のタブレット端末２の位置検出装置部２０と全く同様である。

この第３の例によれば、対応付け処理部４が不要となるので、データベース構築システムの構成が簡単になるという効果があると共に、生体情報検出装置５Ｂとの無線通信部はタブレット端末２Ｂに設けるので、電子ペン１の構成が簡単になるという効果がある。

なお、上述の例では、人の感情状態を判断するための生体情報としては、脳波データ、簡易脳波データ、脈拍、血流などを用いたが、これに限られるものではない。例えば、まばたきや、視線の動き、マイクロバイブレーションなどを、単独で、あるいは、上述の生体情報などの他の生体情報と併用して、人の感情状態を判断するようにしてもよい。

また、上述の第１の例においては、脳波データをそのまま対応付け処理部４から感情サーバ装置８に送り、第２の例においては、簡易脳波データを、タブレット端末２Ａを通じてそのままサーバ装置８に送り、更に、第３の例においては、脈拍や血流の生体情報をタブレット端末２Ａを通じてそのままサーバ装置８に送り、感情サーバ装置８の感情状態判断部８４で使用者の感情状態の解析を行っていた。この場合、感情サーバ装置８に伝送するデータ量が大きくなり、送信速度が遅くなる場合がある。

この状況を回避するために、脳波データの感情状態の解析である感情状態判断部８４の機能処理を、対応付け処理部４、またはタブレット端末２Ａ、あるいはタブレット端末２Ｂで行うようにしても良い。更に、簡易脳波計５Ａ、あるいは生体情報検出装置５Ｂの内部で行うようにしても良い。この場合、対応付け処理部４、ブレット端末２Ａ、タブレット端末２Ｂ、簡易脳波計５Ａ、あるいは生体情報検出装置５Ｂでは、判断された各感情状態に対して感情状態識別情報を付与することができる。例えば「リラックス状態」には感情状態識別情報Ｓ１、「集中状態」には感情状態識別情報Ｓ２、「イライラ状態」には感情状態識別情報Ｓ３、「注意力散漫状態」には感情状態識別情報Ｓ４、「怒り状態」には感情状態識別情報Ｓ５を付与する。そして、感情サーバ装置８に送る時の情報としては、感情状態識別情報と、ペン状態情報とを対応付けたものとすることできる。

例えば、図４に示すように、感情状態が「リラックス状態」のリラックス期間には、ペン状態情報としての、指示位置の情報Ｃｒｄ１、筆圧情報Ｐｒ１、ペンＩＤ＝ＩＤ１、傾き情報ＳＬ１（図示は省略）、高さ情報Ｈ１（図示は省略）と、感情状態「リラックス状態」の感情状態識別情報Ｓ１とが一纏まりの情報として、サーバ装置８に送信される。これにより、送信時間を短縮することができる。感情サーバ装置８では、それぞれの感情状態の感情状態識別情報Ｓ１、Ｓ２、Ｓ３、Ｓ４又はＳ５を、ペン状態情報に対応付けて感情推定用データベース８７に蓄積することができる。

［感情推定システムの実施形態］
図１３は、以上説明したデータベースの構築システムにより構築された感情推定用データベース８７を用いて、電子ペンの使用者の感情状態を推定するシステムの概要を説明するための図である。

この例の感情推定システムにおいて、使用者３_１、・・・、３_ｎ（ｎは１以上の整数）のそれぞれは、自分用の電子ペン１_１、・・・、１_ｎを所持していて、それを用いて、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれにおいて、文字入力やその他の入力をするようにする。

この例では、電子ペン１_１、・・・、１_ｎのそれぞれは、上述した電子ペン１と同様の構成を有するものを使用し、位置検出用信号の付加情報として、ペンＩＤと筆圧情報とをタブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれに送信する構成を備える。この例においては、電子ペン１_１、・・・、１_ｎのそれぞれと、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれとのペアにより、座標入力処理装置のそれぞれが構成されている。

タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれは、上述したタブレット端末２と同様に位置検出装置部を備える構成を有するが、コントローラの構成が異なると共に、例えばＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）からなる表示部２４_１、・・・、２４_ｎを備えている点が異なる。表示部２４_１、・・・、２４_ｎの表示画面は、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれの位置検出装置部のセンサ部に重畳して配置されており、使用者３_１、・・・、３_ｎは、表示画面上で、電子ペン１_１、・・・、１_ｎによる指示入力ができるように構成されている。すなわち、この例では、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれは、位置検出装置部を備えると共に、情報処理装置部を備える電子機器の構成を備える。

なお、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれは、データベースの構築システムにおけるタブレット端末と同様の構成の位置検出装置部を備える部分と、情報処理装置部を備える部分とが、別体あるいは別の装置となっていて、有線接続あるいは無線接続されているものでもよい。

そして、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれのコントローラは、パーソナルコンピュータと同様に、表示部２４_１、・・・、２４_ｎの表示画面に表示する表示画像を生成する表示制御部の機能を備える。すなわち、使用者３_１、・・・、３_ｎのそれぞれが、電子ペン１_１、・・・、１_ｎにより、指示入力をすると、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれのコントローラは、表示部２４_１、・・・、２４_ｎの表示画面に、その指示入力に応じた表示画像を表示する。

そして、この例においては、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれのコントローラは、電子ペン１_１、・・・、１_ｎによる指示入力を受けると、それぞれから取得したペンＩＤとペン状態情報とを含む感情状態推定要求を生成して、通信ネットワーク７Ｄを通じて、感情サーバ装置８Ｄに送信するようにする。感情サーバ装置８Ｄは、感情推定装置を構成する。

感情サーバ装置８Ｄは、前述したようにして構築された感情推定用データベース８７を備えていると共に、後述する図１５に示すように、感情状態推定部８９及び提供情報生成部９０を備えている。感情状態推定部８９は、通信ネットワーク７Ｄを通じて、感情状態推定要求を受信したときには、当該感情状態推定要求に含まれるペンＩＤ及びペン状態情報を参照情報として、感情推定用データベース８７を検索し、対応する感情状態を推定する。そして、提供情報生成部９０は、感情状態推定要求を送信してきた相手方に対して、必要に応じて推定した感情状態を通知すると共に、推定した感情状態に応じた提供情報を生成して返信するようにする。

通信ネットワーク７Ｄは、前述した通信ネットワーク７と同様に、インターネットや携帯電話網を含む公衆網を含むもので構成することができる。また、通信ネットワーク７Ｄは、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）を用いる無線ＬＡＮであってもよい。また、通信ネットワーク７Ｄは、感情サーバ装置８と対応付け処理部４との間を有線で接続するＬＡＮの構成であってもよい。

［座標入力処理装置の構成例］
図１４は、この実施形態の座標入力処理装置の電子回路例を示すものであり、電子ペン１_１、・・・、１_ｎのそれぞれと、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれとのペアの内の一つのペアに相当する部分である。電子ペン１_１、・・・、１_ｎのそれぞれは同一の構成を有し、また、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれは、同一の構成を有するので、図１４においては、電子ペン１_１と、タブレット端末２Ｄ_１とを代表して示した。

電子ペン１_１は、図１４に示したように、上述した電子ペン１と同様の構成を備える。そして、タブレット端末２Ｄ_１の位置検出装置部２０Ｄ_１は、表示部２４_１と、コントローラ２３Ｄ_１との部分を除けば、上述したタブレット端末２の位置検出装置部２０と同様の構成を備える。

コントローラ２３Ｄ_１は、感情状態推定要求生成部２３４と、無線通信部２３５と、表示制御部２３６とを備える。感情状態推定要求生成部２３４は、使用者３_１が電子ペン１_１を用いてタブレット端末２Ｄ_１に指示入力したことを検知したときには、処理制御部２２０から受け取ったペンＩＤとペン状態情報とを含む感情状態推定要求を生成し、無線通信部２３５を通じて、感情サーバ装置８Ｄに、通信ネットワーク７Ｄを通じて送信するようにする。

表示制御部２３６は、処理制御部２２０からの電子ペン１_１の指示位置の情報に基づいて表示部２４_１の表示画面に表示する表示画像についての表示制御処理をすると共に、無線通信部２３５を通じて感情サーバ装置８Ｄから、感情状態推定要求に対応して返信されてきた提供情報を受信したときには、その提供情報に応じて、表示部２４_１の表示画面に表示する表示画像についての表示制御処理をするようにする。

［感情サーバ装置８Ｄの構成例］
図１５は、感情サーバ装置８Ｄのハードウエア構成例を示すブロック図である。この図１５の例の感情サーバ装置８Ｄは、上述したデータベースの構築システムにおいて構築された感情推定用データベース８７を備える感情サーバ装置８を、そのまま感情推定装置としても使用した場合である。すなわち、制御部８１Ｄに対して、システムバス８０を通じて、無線通信部８２と、情報取得部８３と、感情状態判断部８４と、ペン状態情報範囲算出部８５と、対応付け格納処理部８６と、感情推定用データベース８７とが接続されると共に、感情状態推定要求受信部８８と、感情状態推定部８９と、提供情報生成部９０とが接続されて構成されている。

すなわち、制御部８１Ｄに対して、システムバス８０を通じて、無線通信部８２と、情報取得部８３と、感情状態判断部８４と、ペン状態情報範囲算出部８５と、対応付け格納処理部８６と、感情推定用データベース８７とが接続される部分が、前述したように、データベースの構築システムに対応する構成部分であり、制御部８１Ｄに対して、システムバス８０を通じて、無線通信部８２と、感情推定用データベース８７と、感情状態推定要求受信部８８と、感情状態推定部８９と、提供情報生成部９０とが接続される部分が、感情推定システムに対応する感情推定装置の構成部分である。

なお、データベースの構築システムに対応する構成部分については上述したので、以下の説明では、感情推定システムに対応する感情推定装置の構成部分について説明する。

感情サーバ装置８Ｄでは、無線通信部８２は、受信した感情状態推定要求を、感情状態推定要求受信部８８に転送する。感情状態推定要求受信部８８は、受け取った感情状態推定要求に含まれているペンＩＤ及びペン状態情報を抽出して、感情状態推定部８９に渡す。感情状態推定部８９は、受け取ったペンＩＤ及びペン状態情報により、感情推定用データベース８７を検索して、対応する感情状態を推定し、その推定結果の感情状態を提供情報生成部９０に渡す。

提供情報生成部９０は、受け取った推定結果の感情状態に応じた提供情報を生成して、無線通信部８２を通じて、感情状態推定要求をしてきた相手方に送信する。提供情報には、推定した感情状態を通知する情報を含めたり、又は、推定した感情状態に対応した表示情報を含めたりする。

なお、感情状態推定要求受信部８８と、感情状態推定部８９及び提供情報生成部９０の処理は、制御部８１Ｄが、内蔵するメモリに記憶するプログラムにしたがって処理するソフトウェア機能として構成してもよい。

［タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれの感情状態推定要求処理の流れ］
図１６のフローチャートを参照しながら、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれの感情状態推定要求処理の流れの例を説明する。なお、ここでは、タブレット端末２Ｄ_１のコントローラ２３Ｄ_１が感情状態推定要求を行う場合として、説明する。

すなわち、コントローラ２３Ｄ_１は、処理制御部２２０からの情報を監視して、電子ペン１_１による指示入力を検出したか否か判別する（ステップＳ２０１）。このステップＳ２０１で、電子ペン１_１による指示入力を検出してはいないと判別したときには、コントローラ２３Ｄ_１は、その他の処理を行い（ステップＳ２０２）、その処理の終了後、ステップＳ２０１に処理を戻す。

ステップＳ２０１で、電子ペン１_１による指示入力を検出したと判別したときには、コントローラ２３Ｄ_１は、電子ペン１_１による指示位置の情報と、筆圧と、ペンＩＤと、傾きと、高さ位置と、ホバー状態の位置とを含むペン状態情報を処理制御部２２０から取得する（ステップＳ２０３）。

そして、コントローラ２３Ｄ_１は、取得したペン状態情報と、ペンＩＤとを含む感情状態推定要求を生成して、感情サーバ装置８Ｄに送る（ステップＳ２０４）。この感情状態推定要求に対しては、感情サーバ装置８Ｄからは、提供情報が送られてくるので、コントローラ２３Ｄ_１は、この提供情報の受信を待つ（ステップＳ２０５）。

そして、ステップＳ２０５で、感情サーバ装置８Ｄからの提供情報の受信を確認したときには、コントローラ２３Ｄ_１は、受信した提供情報に基づいた処理、この例では、表示処理を行う（ステップＳ２０６）。

［感情サーバ装置８Ｄにおける感情状態推定処理の流れ］
図１７のフローチャートを参照しながら、感情サーバ装置８Ｄにおける感情状態推定処理の流れの例を説明する。なお、ここでは、感情サーバ装置８Ｄの制御部８１Ｄが、感情状態推定要求受信部８８と、感情状態推定部８９及び提供情報生成部９０の処理を、ソフトウェア処理機能として構成した場合として、説明する。

先ず、制御部８１Ｄは、感情状態推定要求を受信したか否か判別し（ステップＳ３０１）、受信してはいないと判別したときには、その他の処理を行い（ステップＳ３０２）、当該その他の処理を終了後、処理をステップＳ３０１に戻す。

そして、ステップＳ３０１で、感情状態推定要求を受信したと判別したときには、制御部８１Ｄは、当該感情状態推定要求に含まれるペンＩＤとペン状態情報とを参照情報として、感情推定用データベース８７を検索する（ステップＳ３０３）。

次に、制御部８１Ｄは、感情推定用データベース８７に、感情状態推定要求に含まれるペンＩＤに対応する情報が格納されているか否か判別する（ステップＳ３０４）。このステップＳ３０４で、感情推定用データベース８７に、感情状態推定要求に含まれるペンＩＤに対応する情報が格納されていると判別したときには、制御部８１Ｄは、当該ペンＩＤと対応する情報についてペン状態情報が合致する感情状態を探索して、合致する感情状態を、感情状態推定要求をしてきた使用者の感情状態として推定する（ステップＳ３０５）。そして、推定した感情状態に対応した提供情報を生成して、感情状態推定要求してきた相手に送信する（ステップＳ３０７）。

また、ステップＳ３０４で、感情推定用データベース８７に、感情状態推定要求に含まれるペンＩＤに対応する情報は格納されていないと判別したときには、制御部８１Ｄは、感情推定用データベース８７に格納されている汎用の対応情報について、ペン状態情報が合致する感情状態を探索して、合致する感情状態を、感情状態推定要求をしてきた使用者の感情状態として推定する（ステップＳ３０６）。そして、推定した感情状態に対応した提供情報を生成して、感情状態推定要求してきた相手に送信する（ステップＳ３０７）。

以上で、感情サーバ装置８Ｄにおける感情推定処理は終了となる。

［タブレット端末における推定された感情状態に対応した表示処理］
例えば、使用者３_１、・・・、３_ｎが、タブレット端末２Ｄ_１、・・・、２Ｄ_ｎのそれぞれの表示画面に表示されている学習教材を用いて、電子ペン１_１、・・・、１_ｎにより学習のための入力をしている生徒である場合を想定する。

この場合に、感情サーバ装置８Ｄで推定された感情状態が、例えば「集中状態」である場合には、感情サーバ装置８Ｄは、提供情報として、図１８（Ａ）に示すように、「良い集中です。このまま頑張って」などの文字情報を提供する。また、感情サーバ装置８Ｄで推定された感情状態が、例えば「注意力散漫状態」あるいは「イライラ状態」である場合には、感情サーバ装置８Ｄは、提供情報として、図１８（Ｂ）に示すように、「集中してね！ガンバッテ」などの文字情報を提供する。これにより、生徒の感情状態に対応した叱咤激励が可能になり、生徒の学習効果の向上が期待できる。

別な例としては、電子ペンの使用者に対して、リアルタイムで感情状態を表示するだけではなく、電子ペンから得られるペン状態情報を記録しておくことで、後から電子ペンを使用していた時の使用者の感情状態を知ることができる。例えば、親族に対する手書きメッセージを送付した時、ペン状態情報も一緒に添付されていれば、メッセージを開封した親族は、手書きメッセージと共にメッセージを書いた時の送り主の感情（感謝等）をも受け取ることができる。すなわち、手書きの文字の他に感情も送ることができることになる。手書きメッセージには、感謝のカード、遺言書等が含まれる。

更に、ペン状態情報から使用者の感情状態を推定することができるので、契約書等の真偽を、例えば契約書の署名欄への記入時の記入者のペン状態情報から推定された感情状態を用いて判定することができる。

なお、上述の実施形態の説明では、データベースの構築システムと、感情推定システムとを別々に説明した。しかし、前述したように、感情サーバ装置８Ｄは、図１５に示したように、両システムに対応することができる構成を備えている。したがって、感情サーバ装置８Ｄは、上述したデータベースの構築システムと感情推定システムとを含む一つのシステム用とすることができ、感情サーバ装置８Ｄは、当該一つのシステムにおいては、データベースの構築システム用の動作と、感情推定システム用の動作との両方の動作を切り替えて実行するようにする。

具体的には、感情サーバ装置８Ｄは、対応付け処理部４、タブレット端末２Ａまたはタブレット端末２Ｂから送られてくる情報に、脳波データ、簡易脳波データ、脈拍や血流などの生体情報あるいは感情状態識別情報Ｓ１〜Ｓ５が含まれると判断した場合は、データベース構築システムとして動作する。

一方、対応付け処理部４、タブレット端末２Ａまたはタブレット端末２Ｂから感情サーバ装置８Ｄに送られてくる信号に、脳波データ、簡易脳波データ、脈拍や血流などの生体情報あるいは感情状態識別情報Ｓ１〜Ｓ５が含まれていないと判断した場合、感情サーバ装置８Ｄは、感情推定システムとして動作し、ペン状態情報に基づき感情推定を行い、使用者に感情状態を情報を提供する等の処理をする。

なお、対応付け処理部４、タブレット端末２Ａまたはタブレット端末２Ｂから感情サーバ装置８Ｄに送られる信号に、データベース構築システム用か、感情推定システム用かを区別するフラグ情報などを含めるようにしてもよい。その場合には、感情サーバ装置８Ｄは、タブレット端末２Ａまたはタブレット端末２Ｂから感情サーバ装置８Ｄに送られてくる信号に、脳波データ、簡易脳波データ、脈拍や血流などの生体情報あるいは感情状態識別情報Ｓ１〜Ｓ５が含まれているかどうかを検出する必要はなく、フラグ情報の検出して判断するだけで良い。

［上述の実施形態の変形例］
なお、ペン状態情報は、上記の例に限られるものではない。例えば、電子ペンを握る部分にセンサを設けて、使用者がペンを握る位置やペンを握る強さを検出して、その検出結果のペンを握る位置やペンを握る強さを用いても良い。また、ペンを握る部分に発汗を検出するセンサ（発汗計）を設け、そのセンサにより検出される心理状態に応じた発汗度合いをペン状態情報として用いてもよい。

なお、上記の例においては、対応付け処理部４またはタブレット端末２Ａや２Ｂより、通信ネットワーク７を通じて、感情サーバ装置８に脳波データ、簡易脳波データあるいは脈拍や血流などの生体情報とペン状態情報を送信し、関連付けてデータベースを構築していたが、対応付け処理部４またはタブレット端末２の中に感情サーバ８が含まれていても良い。すなわち、対応付け処理部４またはタブレット端末２Ａや２Ｂにデータベースが構築されていても良い。これによって、通信ネットワークを通さない分、軽快に感情推定を行うことが可能となる。

なお、上述の実施形態の説明では、感情推定用データベースに記憶する使用者を識別するための識別情報としては、使用者が自身用として使用する電子ペンのペンＩＤを用いたが、使用者が自身用としてタブレット端末を専用するのであれば、使用者を識別するための識別情報としては、ペンＩＤの代わりに、タブレット端末を識別するための識別情報（端末ＩＤ）を用いてもよい。このタブレット端末の端末ＩＤは、タブレット端末が座標入力処理装置を構成する場合には、座標入力処理装置を識別するための識別情報である装置ＩＤでもある。

そのようにした場合には、タブレット端末や座標入力処理装置は、記憶部に自身の端末ＩＤや装置ＩＤを記憶しておく。そして、データベース構築システムにおいては、その記憶されている端末ＩＤや装置ＩＤを、感情状態を判断するための生体情報やペン状態情報に対応付けて、感情サーバ装置に送って、感情推定用データベースに、判断結果の感情状態やペン状態情報の範囲情報と対応して格納させるようにする。

また、感情推定システムの場合には、座標入力処理装置は、タブレット端末の記憶部に記憶されている端末ＩＤや、自身の装置ＩＤを感情状態推定要求に含めて感情サーバ装置に送るようにする。

なお、座標入力処理装置は、位置検出装置部を備えるタブレット端末と、表示部を備えるコンピュータなどからなる情報処理装置とからなる構成とすることもできる。その場合には、装置ＩＤは、情報処理装置の識別情報とすることができる。

なお、上述の実施形態では、電子ペンとタブレット端末とは、電磁誘導結合方式のものを使用したが、これに限られるものではなく、静電容量結合方式のものであっても勿論適用可能である。筆圧は、容量可変キャパシタの静電容量により検出するように構成したが、インダクタンスの変化により検出する構成のものであってもよい。

［その他の実施形態または変形例］
＜対応付け処理部４、タブレット端末２Ａまたはタブレット端末２Ｂから感情サーバ装置８または感情サーバ装置８Ｄに送られる信号の信号フォーマットについて＞
対応付け処理部４、タブレット端末２Ａまたはタブレット端末２Ｂから感情サーバ装置８または感情サーバ装置８Ｄに送られる信号の信号フォーマットの幾つかの例について、図１９を参照しながら以下に説明する。なお、図１９の説明においては、対応付け処理部の機能をタブレット端末ＴＥが備えている場合としている。

図１９の例では、タブレット端末ＴＥは、電子ペンからの位置検出用信号や付加情報から、電子ペンに関する情報として、指示位置の座標データ（Ｘ，Ｙ）と、筆圧データＰと、傾きデータＳと、高さ位置データＨとからなるペン状態情報と、ペンＩＤとを検出するものとする。そして、脳波計等からは、脳波データなどの人の感情状態を判断するための生体情報Ｅが、タブレット端末ＴＥに入力されるものとしている。なお、ペンＩＤは、この例では、電子ペンの使用者毎にペン状態情報をデータベース化して、電子ペンの使用者毎の感情状態との関係を求めるようにする場合しているために付加されている。電子ペンの使用者毎のペン状態情報と感情状態との関係ではなく、汎用的に全ての使用者のペン状態情報と感情状態との関係を求める例の場合には、このペンＩＤは信号フォーマットに含めなくてもよい。

図１９（Ａ）の例では、タブレット端末ＴＥは、電子ペンに関する情報と、感情状態を判断するための生体情報Ｅとは、別々の信号として、通信ネットワーク７を通じて感情サーバ装置８に送信される。ただし、感情サーバ装置８では、時間的に同時に送られてくる電子ペンに関する情報と、感情状態を判断するための生体情報Ｅとは、関連する情報として、互いに関連付けてメモリに保持する。この場合に、電子ペンに関する情報は、図１９（Ａ）に示すように、例えば指示位置の座標データ（Ｘ，Ｙ）、筆圧データＰ、傾きデータＳ、高さ位置データＨ、時間（座標入力された時刻）Ｔ、ペンＩＤ、の順に並べられた信号フォーマットの状態で、繰り返し、感情サーバ装置８に送信される。

次に、図１９（Ｂ）の例では、タブレット端末ＴＥは、電子ペンに関する情報と、感情状態を判断するための生体情報Ｅとを、一つの信号フォーマットに含めて、繰り返し、感情サーバ装置８に送信する。この場合の信号フォーマットは、図１９（Ｂ）に示すように、例えば指示位置の座標データ（Ｘ，Ｙ）、筆圧データＰ、傾きデータＳ、高さ位置データＨ、時間Ｔ、ペンＩＤ、生体情報Ｅの順に並べられたものとされて、繰り返し、感情サーバ装置８に送信される。

次に、図１９（Ｃ）の例は、前述の感情推定システムの実施形態の場合において、タブレット端末ＴＥからペン状態情報を感情サーバ装置８Ｄに送り、当該感情サーバ装置８Ｄから、タブレット端末ＴＥからのペン状態情報に対応して推定された感情状態を示す情報（リラックス、集中、イライラ、注意力散漫、怒りなどを示す情報）ＥＤを返信してくる場合の信号フォーマットの例を示す。

この場合には、タブレット端末ＴＥからは、信号フォーマットとしては、図１９（Ｃ）に示すように、電子ペンに関する情報が、例えば指示位置の座標データ（Ｘ，Ｙ）、筆圧データＰ、傾きデータＳ、高さ位置データＨ、時間Ｔ、ペンＩＤ、の順に並べられた後に、感情状態を示す情報ＥＤのための空きスペース（空きエリアあるいは空フィールド）が設けられたものとされる。そして、この図１９（Ｃ）の例では、この信号フォーマットの信号が、繰り返し、通信ネットワーク７を通じて感情サーバ装置８Ｄに送信される。

なお、感情状態を示す情報ＥＤのための空きスペースを設ける代わりに、当該空きスペースに、オール零などの感情状態を示す情報ＥＤとしては無意味なデータを含めてもよいし、あるいは、感情状態を示す情報ＥＤのための空きスペースに、感情状態の推定要求を意味する情報を含めてもよい。なお、感情サーバ装置８Ｄは、空きスペースに明示の感情状態の推定要求が含まれていなくても、感情状態を示す情報ＥＤのための空きスペースが存在する信号フォーマットの信号を受けたとき、また、当該空きスペースに、オール零などの感情状態を示す情報ＥＤとしては無意味なデータが含まれている信号フォーマットの信号を受けたときに、それらを、感情状態の推定要求を伴う信号であると判別するようにしてもよい。

そして、感情サーバ装置８Ｄからの、タブレット端末ＴＥへの返信情報には、図１９（Ｃ）に示すように、ペン状態情報から推定された感情状態を示す情報ＥＤが、信号フォーマットの空きスペースであったところに挿入される。これにより、この返信情報は、ペン状態情報と、そのペン状態情報から推定された感情状態を示す情報ＥＤとが一つの信号フォーマットに含む情報となる。つまり、その信号フォーマットに含まれるペン状態情報が、感情状態を示す情報ＥＤで示される感情状態で筆記されたことが分かることになる。したがって、図１９（Ｃ）に示すような信号フォーマットを採用することにより、ペン状態情報が、どのような感情状態で筆記されたかを示す情報ＥＤと共に、伝送されたり、保持されたりすることが可能になり、多種多様な用途に用いることができるという効果がある。

＜感情推定システムの他の実施形態；人工知能を用いた例＞
近年、人工知能（ＡＩ（Artificial Inteligence））と言われるニューラルネットワークを用いた大量のデータの処理（機械学習）が普及しはじめ、大量のデータの規則性を導き出す手法が取られるようになってきた。

ニューラルネットワークの仕組みの一つとして機械学習がある。機械学習には、教師あり学習と教師無し学習があるが、教師あり学習は、「問題→答え」を当てる形式であり、「入力と出力の関係を学習する」、「入力から出力を予測する」ことを特徴とする。

機械学習の教師あり学習は、入力データ及びそれに対応した出力データが大量にあり、入力データから出力が導かれるまでの経路に複数の層（レイヤー、特徴抽出層、隠れ層）を有し、各層（レイヤー）毎に入力データを特徴に応じて分割及び統合し、更に重み付けを行い、フィードバックを行いながら重み付けを少しずつ変え、出力データに近づけてゆく方法である。重み付けを少しづつ変化させて再計算を行うことは、近年の計算処理の高速化によって実現されるようになり、機械学習が行われるようになってきている。

この実施形態の感情推定システムの感情サーバ装置においては、感情推定用データベースに蓄積した情報について、上述の機械学習を行うことで、電子ペンを用いて筆記する者のペン状態情報から、その者の感情状態を推定に用いる学習済みデータを生成する。そして、感情サーバ装置は、その学習済みデータを用いることで、電子ペンを用いて筆記する者のペン状態情報から、その時の感情状態を推定することができるようにする。

すなわち、この実施形態の感情サーバ装置においては、先ず、電子ペンによって筆記をした者の筆跡に関する情報であるペン状態情報（以下、筆跡データという）の各種特徴量（座標、圧力、傾き、高さ等）を入手する際に、感情状態を推定するための生体情報、例えば脳波データ検出装置からの脳波データの波形により感情を推定し、筆跡データの各種特徴量（座標、圧力、傾き、高さ等）と推定された感情との関係情報を大量に蓄積して、データベース化する。この場合に、各感情における、各筆跡データの各種特徴量（座標、圧力、傾き、高さ等）は、所定の分布を示している。したがって、データベースからは、所定の感情における筆跡データの各種特徴量（座標、圧力、傾き、高さ等）毎の分布が得られる。そこで、電子ペンにより筆記した時の筆跡データの各種特徴量が、どの感情のときの筆跡データの対応する特徴量の分布の中に含まれるのかを判別することで、電子ペンにより筆記をした者の筆記時の感情を推定することができる。

この実施形態では、新しい手法の機械学習により大量のデータを分析し、図２０に示すように、入力データ（筆跡データの各種特徴量）と出力データ（感情）との間の関係を行列化（テンソル、学習済みデータ；図２０の行列参照）することで、入力データ（筆跡データの各種特徴量）から瞬時に出力データ（感情）を導き出すことが可能となり、処理の高速化に大きく貢献するように構成する。そして、この実施形態では、学習済みデータを確立することで、小規模の演算によって、筆跡データから感情を導き出すことが可能であるようにしている。

なお、筆跡データには数々の特徴量がある。具体的には、上述したように、電子ペンにより指示された位置の座標（Ｘ，Ｙ）、筆圧、高さ、傾き、速さ、それらの変化量（微分値）等があり、効率よく機械学習をさせる為、どのような特徴量を入力することが最適な感情を引き出すことが可能かが重要である。

特定の感情が結びついた筆跡データからは複数の特徴量が導き出される。そのため、特定の一つの特徴量で導き出された学習済みデータから感情を導き出すことも可能であるが、複数の特徴量の各々に基づき学習された学習済みデータの掛け合わせによって、更に精度の高い推定が可能となる。

学習済みデータを得るための演算子は、ニューラルネットワークで構成され、入力部としての入力層と出力部としての出力層を有し、その間に複数の階層（特徴抽出層）から成り、複数に分割された入力データを各階層（特徴抽出層）の要素に適合する為、各階層の要素毎に重み付けがなされており、各階層、各要素ごとの重み付けを行列化した重み付け行列（テンソル、学習済みモデル）を構成する。重み付け行列は、更新可能とする。

機械学習の方法について説明する。

＜前段階＞
（データベースの構築）
タブレット端末からは、筆跡データの特徴量として、例えば、指示位置座標（Ｘ，Ｙ）、圧力、高さ、傾き、時間のデータを受信し、脳波計などからは、脳波データ等に基づいて分類された感情状態のデータを受信し、それらの筆記データと感情状態のデータを関連付けてデータベースに蓄積する。この場合の感情状態のデータは、脳波計などからの計測データの他、計測データから導き出される、分類分けされた感情の種類（例えば“怒り”、“喜び”等）でもあっても良い。

＜第一段階＞
（学習用データセットの作成）
データベースに蓄積した筆跡データに基づいて、筆跡データ毎の学習用データセットを作成する。学習用データセットとしては、ペン状態情報の指示位置座標（Ｘ，Ｙ）、圧力、高さ、傾き、及びこれらの値から算出された変化量（微分値）、時間Ｔと指示位置座標（Ｘ，Ｙ）とから算出された筆記速度、及びその変化量等がある。

＜第二段階＞
（学習済みモデルの作成１）
作成された学習用データセットの中から、所定の筆跡データを選択し、更に所定の特徴量を選択して、所定の分割をして、演算子の入力層にセットする。演算子の出力層には上記所定の筆跡データに基づいた感情状態の種類をセットする。

例えば、所定の筆跡データ（“あ”）のうち、所定の特徴量（“座標Ｘ，Ｙ”）を入力データと定め、上記に従い、所定の分割をして入力層にセットする。上記所定の筆跡データに紐づけられた感情状態と同じ出力層にセットされている感情状態を“真”“当たり”としてセットする。

＜第三段階＞
（学習済モデルの作成２）
演算子は、入力データである筆跡データに、関連付けられた出力データである感情状態に近づける為、各要素毎の重み付けを変化させてゆく。重み付けを重み付け行列（テンソル）として、重み付けを変化させる毎に更新させてゆく。

＜第四段階＞
（学習済みモデルの作成３）
大量の筆跡データと感情状態の生体情報データを入力して、全てのデータが満たす最も適切な重み付け行列（テンソル）を作りだす。これにより、感情状態のそれぞれ毎の、筆跡データの特徴量毎の学習済みデータが完成する。

＜第五段階＞
（学習済みモデルの活用）
タブレット端末から、新たに発生した筆跡データの特徴量が、感情推定要求と共に、感情サーバ装置に送られてきたときには、感情サーバ装置では、以上のようにして生成された筆跡データの特徴量毎の学習済みデータに基づき、当該新たに発生した筆跡データの特徴量が存在する分布が重なる筆跡データの特徴量に対応する感情状態を推定する。

すなわち、例えば、図１９（Ｃ）に示すような信号フォーマットの電子ペンに関する筆跡データが感情サーバ装置に供給されたときには、感情サーバ装置では、上述のようにして生成されている筆跡データの特徴量毎の学習済みデータを用いることで、当該到来した筆跡データの特徴量から、対応する感情状態を推定し、図１９（Ｃ）の返信情報の感情状態を示す信号ＥＤを生成して、タブレット端末に返信することができる。

この場合に、感情サーバ装置では、タブレット端末ＴＥから到来した、感情推定要求に係る筆跡データの分布を探査する必要はなく、筆跡データの各特徴量毎に、学習済みデータを用いて、出力データとしての感情状態を得るようにすることができ、小規模の演算によって、筆跡データから感情状態を導き出すことが可能である。

この実施形態の感情サーバ装置で生成された筆跡データの特徴量毎の学習済みデータが一旦生成されると、その生成された学習済みデータを、例えばタブレット端末や、タブレット端末からの筆跡データを処理するパーソナルコンピュータに、記憶しておくことにより、それらタブレット端末やパーソナルコンピュータにおいても、記憶されている学習済みデータを用いて、筆跡データから感情状態を推定することができる。

なお、上述のＡＩの例の場合にも、ペン状態情報をペンＩＤに対応させることで、電子ペンの使用者毎の学習済みデータを生成することもできるし、使用者毎ではない汎用的に使用できる学習済みデータを生成することもできることは勿論である。

１，１Ａ，１Ｂ…電子ペン、２，２Ａ，２Ｂ，２Ｄ…タブレット端末、４…対応付け処理部、５…脳波計、５Ａ…簡易脳波計、５Ｂ…生体情報検出装置、７，７Ｄ…通信ネットワーク、８，８Ｄ…感情サーバ装置、８７…感情推定用データベース、８８…感情状態推定要求受信部、８９…感情状態推定部、９０…提供情報生成部、２３４…感情状態推定要求生成部

Claims (5)

1. 人の、分類された複数の感情状態のそれぞれ毎に、前記複数の感情状態のそれぞれの感情状態のときに人が把持している電子ペンの状態に関するペン状態情報が、対応付けられて格納されている感情推定用情報格納部と、
   前記ペン状態情報を含む感情状態推定要求を受信したときに、前記受信した前記ペン状態情報により前記感情推定用情報格納部を参照することで、前記感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、
   前記推定手段で推定した前記感情状態を前記感情状態推定要求をしてきた相手に通知する手段と、
   を備え、
   前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットは、前記ペン状態情報の他に、推定された感情状態を示す情報を挿入するための部分を有し、前記推定された感情状態を示す情報は、前記部分に挿入されて、前記感情状態推定要求の要求側に返信される
   ことを特徴とする感情推定装置。
2. 前記感情推定用情報格納部には、人を識別するための識別情報に、前記感情状態と、前記ペン状態情報とが対応付けられて格納されており、
   前記推定手段は、前記ペン状態情報と前記識別情報とを含む前記感情状態推定要求を受信したときには、前記感情推定用情報格納部において前記識別情報に対応付けられて格納されている情報を参照するようにする
   ことを特徴とする請求項１に記載の感情推定装置。
3. 前記識別情報は、電子ペンの識別情報である
   ことを特徴とする請求項２に記載の感情推定装置。
4. 前記識別情報は、電子ペンによる指示入力を検出する位置検出装置を備える電子機器の識別情報である
   ことを特徴とする請求項２に記載の感情推定装置。
5. 電子ペンと、前記電子ペンにより指示された位置を検出するセンサと、使用者が把持している前記電子ペンの状態に関するペン状態情報を取得する手段とを備える位置検出装置部とを備える座標入力処理装置と、前記座標入力処理装置と通信ネットワークを通じて接続される感情推定装置とからなる感情推定システムであって、
   前記座標入力処理装置は、
   前記位置検出装置で取得した前記ペン状態情報を含めた感情状態推定要求を前記感情推定装置に送信する送信手段と、
   前記送信手段により送信した前記感情状態推定要求に含まれる前記ペン状態情報に対応して前記感情推定装置から送られてくる感情状態に応じた情報を受信して、前記受信した感情状態に応じた情報を用いた処理を実行する処理手段と、
   を備え、
   前記感情推定装置は、
   人の、分類された複数の感情状態のそれぞれ毎に、前記複数の感情状態のそれぞれの感情状態のときに人が把持している電子ペンの状態に関するペン状態情報が、対応付けられて格納されている感情推定用情報格納部と、
   前記ペン状態情報を含む感情状態推定要求を受信したときに、前記受信した前記ペン状態情報により前記感情推定用情報格納部を参照することで、前記感情状態推定要求を送信してきた電子ペンの使用者の感情状態を推定する推定手段と、
   前記推定手段で推定した前記感情状態を前記感情状態推定要求をしてきた相手に通知する手段と、
   を備え、
   前記ペン状態情報を含む前記感情状態推定要求の信号フォーマットは、前記ペン状態情報の他に、推定された感情状態を示す情報を挿入するための部分を有し、前記推定された感情状態を示す情報は、前記部分に挿入されて、前記感情状態推定要求の要求側に返信される
   ことを特徴とする感情推定システム。
   

Images