図1を参照して、本実施形態に係る情報処理システムについて説明する。図1には、本実施形態に係る情報処理システムの構成の一例が示されている。
本実施形態に係る情報処理システムは、情報処理装置10と、複数の生体情報測定装置と、1又は複数の環境情報測定装置14と、1又は複数の機器16とを含む。図1に示す例では、情報処理システムは、生体情報測定装置12A,12Bを含むが、これは一例に過ぎない。以下では、生体情報測定装置12A,12Bを区別する必要がない場合には、生体情報測定装置12A,12Bを「生体情報測定装置12」と称することとする。なお、図1に示されている各装置の数は一例に過ぎず、各装置の数が、図1に示されている各装置の数に限定されるものではない。また、情報処理システムは、図1に示されている装置以外の他の装置(例えばサーバ等の外部装置)を含んでもよい。
情報処理装置10、生体情報測定装置12、環境情報測定装置14、及び、機器16は、他の装置等と通信するように構成されている。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置は、他の装置等とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やWi-Fi(登録商標)等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Bluetooth(登録商標)やRFID(Radio Frequency Identifier)やNFC等である。各装置は、LAN(Local Area Network)やインターネット等の通信経路を介して他の装置や他のセンサ等と通信してもよい。
情報処理装置10は、例えば、パーソナルコンピュータ(以下、「PC」と称する)、タブレットPC、スマートフォン、携帯電話、又は、その他の装置である。情報処理装置10は、ユーザが携帯することが可能な端末装置(例えば、タブレットPCやスマートフォンや携帯電話等)であってもよいし、テーブル等に設置されて使用される装置であってもよい。情報処理装置10は、通信機能とマイクとスピーカとを有するスマートスピーカであってもよい。情報処理装置10は、屋内(例えば、部屋の床、天井、テーブル等)に設置されてもよいし、屋外に設置されてもよい。また、情報処理装置10は、移動可能な装置(例えば自走式の装置)でもよい。
生体情報測定装置12は、センサや電極等を有し、ユーザの生体情報を測定するように構成されている。各生体情報測定装置12は、異なる種類の生体情報を測定してもよい。もちろん、すべての生体情報測定装置12の中の一部又は全部は、同じ種類の生体情報を測定するように構成されてもよい。また、各生体情報測定装置12は、1つの種類の生体情報を測定するように構成されてもよいし、複数の種類の生体情報を測定するように構成されてもよい。
生体情報測定装置12は、自装置で測定した生体情報を情報処理装置10に送信する。生体情報測定装置12は、生体情報を測定する度に生体情報を情報処理装置10に送信してもよいし、生体情報を記憶し、予め定められた時間間隔毎に生体情報を情報処理装置10に送信してもよいし、ユーザが指定したタイミングで生体情報を情報処理装置10に送信してもよい。また、生体情報測定装置12は、他の生体情報測定装置12が測定した生体情報を当該他の生体情報測定装置12から受信し、自装置が測定した生体情報と当該他の生体情報測定装置12が測定した生体情報とを情報処理装置10に送信してもよい。
生体情報測定装置12は、自装置又は他の生体情報測定装置が測定した生体情報を分析し、その分析結果を示す情報を情報処理装置10に送信してもよい。例えば、生体情報測定装置12はプロセッサを含み、当該プロセッサが生体情報を分析してもよい。もちろん、その分析は情報処理装置10にて行われてもよい。
生体情報測定装置12は、バッテリを含み、当該バッテリから供給される電力によって駆動してもよいし、情報処理装置10から電力の供給を受けて駆動してもよい。
生体情報測定装置12は、生体情報測定装置12全体がユーザに装着されて生体情報を測定するウェアラブル装置であってもよい。例えば、生体情報測定装置12は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置(例えば腕時計型の装置等)であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。
生体情報は、生体であるユーザから発する様々な生理学的情報や解剖学的情報である。生体情報の概念の範疇には、例えば、脳の活動を示す情報(例えば、脳波、脳の血流量、脳磁場信号等)、脈拍数、血圧、心拍数、心電波形、筋電波形、眼球運動、体温、発汗量、視線、音声、及び、ユーザの動き等が含まれる。これら生体情報の一例に過ぎず、他の生理学的情報や解剖学的情報が生体情報として用いられてもよい。生体情報測定装置12は、これらの生体情報の中の1つの生体情報を測定してもよいし、複数の生体情報を測定してもよい。
また、生体情報の概念の範疇には、生体から測定される電位を示す生体電位情報が含まれる。生体電位情報の概念の範疇には、例えば、脳の活動に伴い発生する微小電流の測定結果である脳波、心臓の拍動に伴い発生する微小電流の測定結果である心電図、筋肉の活動に伴い発生する微小電流の測定結果である筋電図、皮膚に生じる微小電流の測定結果である皮膚電位等が含まれる。これらは生体電位情報の一例に過ぎず、これら以外の生体電位情報が用いられてもよい。
情報処理装置10は、生体情報測定装置12から生体情報を受け付けて、生体情報の分析、生体情報の記憶、生体情報の出力、生体情報の分析結果を示す情報の記憶、及び、生体情報の分析結果を示す情報の出力等を行う。もちろん、生体情報の分析は生体情報測定装置12によって行われてもよい。生体情報を出力することは、例えば、生体情報を表示することや、生体情報を音声情報として出力すること等である。生体情報の分析結果を示す情報を出力することは、例えば、分析結果を示す情報を表示することや、分析結果を音声情報として出力すること等である。情報処理装置10は、生体情報や分析結果を示す情報を他の装置に送信してよい。
情報処理装置10は、1又は複数の生体情報測定装置12を含んでもよい。つまり、1又は複数の生体情報測定装置12は、情報処理装置10に組み込まれて、1つの装置が構成されてもよい。1又は複数の生体情報測定装置12を含む情報処理装置10全体が、ユーザに装着されて生体情報を測定してもよい。つまり、情報処理装置10はウェアラブル装置であってもよい。例えば、情報処理装置10は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置(例えば腕時計型の装置)であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。
情報処理装置10と生体情報測定装置12は、別々の装置であってもよい。例えば、情報処理装置10はスマートスピーカであり、生体情報測定装置12は、ユーザに装着されるウェアラブル装置であってもよい。
環境情報測定装置14は、ユーザや当該環境情報測定装置14の周囲の環境に関する環境情報を測定するように構成されている。例えば、環境情報測定装置14は、撮影装置であるカメラ、集音するマイク、温度を測定する温度センサ、湿度を測定する湿度センサ、匂いを測定する臭気センサ、明るさを測定する照度センサ、赤外線センサ、又は、人感センサ等である。これらのセンサの中の1又は複数のセンサが、環境情報測定装置14として情報処理システムに含まれてもよい。
例えば、情報処理装置10の周囲やその他の場所がカメラによって撮影されて、当該周囲を表す画像データやその他の場所を表す画像データが生成される。画像データは、動画像データであってもよいし、静止画像データであってもよい。カメラによって撮影された画像データは、カメラの撮影範囲に含まれている環境に関する環境情報の一例に相当する。また、カメラによってユーザが撮影されることで生成された、当該ユーザを表す画像データは、当該ユーザの生体情報の一例に相当する。例えば、当該画像データから検知される当該ユーザの動きや当該ユーザの体型等は、当該ユーザの生体情報の一例に相当する。その意味で、カメラは、当該ユーザの生体情報を測定する生体情報測定装置12の一例に相当する。
また、マイクの周囲の音(例えば、人の音声やその他の音)がマイクに入力されて、マイクによって音データが生成される。マイクに入力された音を表す音データは、マイクの周囲の環境に関する環境情報の一例に相当する。また、マイクに入力されたユーザの音声を表す音データは、当該ユーザの生体情報の一例に相当する。その意味で、マイクは、当該ユーザの生体情報を測定する生体情報測定装置12の一例に相当する。
また、温度センサ、湿度センサ、臭気センサ、照度センサ、赤外線センサ、及び、人感センサ等によって測定されたデータは、環境情報の一例に相当する。また、これらのセンサによってユーザから測定されたデータは、当該ユーザの生体情報の一例に相当する。その意味で、これらのセンサは、当該ユーザの生体情報を測定する生体情報測定装置12の一例に相当する。
環境情報は、ユーザがいる部屋の大きさを示す情報や、機器16が設置されている部屋の大きさを示す情報や、部屋に設けられている窓の数を示す情報等を含む情報であってもよい。
なお、1又は複数の環境情報測定装置14が、情報処理装置10に含まれてもよい。
機器16は、例えば、PC、タブレットPC、スマートフォン、携帯電話、ロボット(例えば、人型ロボット、人以外の動物型ロボット、掃除ロボット、及び、それら以外のロボット等)、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機(例えば無人航空機(例えばドローン))、ゲーム機、ガスレンジ、温水洗浄便座、換気扇、呼び鈴、玄関モニタ、エレベータ、ドア、窓、又は、各種のセンシング機器(例えば温度センサ、湿度センサ、電圧センサ、電流センサ等)等の装置である。機器16の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器16の範疇に含まれてもよい。
機器16は、通信インターフェースである通信装置、データを記憶する記憶装置、及び、当該機器16の動作を制御するプロセッサを有する。機器16は、ユーザインターフェースを有してもよい。機器16は、自装置である機器16を識別するための機器識別情報を情報処理装置10に送信してもよい。機器識別情報は、例えば、機器16のID、名称、型番、又は、アドレス(例えばMACアドレスやIPアドレス等)等である。
以下、図2を参照して、情報処理装置10の構成について詳しく説明する。
情報処理装置10は、例えば、通信装置18と、UI20と、記憶装置22と、プロセッサ24とを含む。情報処理装置10は、これら以外の構成を含んでもよい。
通信装置18は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。通信装置18は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置18は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、LANやインターネット等の通信経路を介して他の装置と通信してもよい。例えば、通信装置18は、生体情報測定装置12から送信されてきた生体情報を受信する。通信装置18は、生体情報測定装置12の動作を制御するための制御情報を生体情報測定装置12に送信してもよい。また、通信装置18は、環境情報測定装置14から送信されてきた環境情報を受信する。通信装置18は、環境情報測定装置14の動作を制御するための制御情報を環境情報測定装置14に送信してもよい。また、通信装置18は、機器16の動作を制御するための制御情報を機器16に送信する。通信装置18は、機器16から送信されてきた情報を受信してもよい。
UI20はユーザインターフェースであり、表示装置と操作装置とを含む。表示装置は、液晶ディスプレイやELディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。UI20は、表示装置と操作装置とを兼ね備えたタッチパネル等のUIであってもよい。また、マイクがUI20に含まれてもよいし、音を発するスピーカがUI20に含まれてもよい。
記憶装置22は、各種のデータを記憶する1又は複数の記憶領域を構成する装置である。記憶装置22は、例えば、ハードディスクドライブ、各種のメモリ(例えばRAMやDRAMやROM等)、その他の記憶装置(例えば光ディスク等)、又は、それらの組み合わせである。1又は複数の記憶装置22が情報処理装置10に含まれている。
記憶装置22には、第1管理情報と第2管理情報とが記憶されている。第1管理情報と第2管理情報は、ユーザから測定された生体情報に基づいて、機器16の操作内容を特定するための情報である。例えば、予め定められた基準生体情報と、機器16の操作内容を示す操作情報とが、予め紐付けられて第1管理情報及び第2管理情報に登録されている。基準生体情報は、当該基準生体情報に紐付けられている操作を行うユーザから発生すると想定される生体情報であってもよいし、当該操作の実行を要求するユーザから発生すると想定される生体情報であってもよい。基準生体情報は、機器16の操作内容に対応する生体情報であるともいえる。ユーザ毎に、基準生体情報と操作情報とが紐付けられて管理情報に登録されてもよい。
第1管理情報は、機器16の電源の操作内容に関する情報が登録されている管理情報である。例えば、予め定められた第1基準生体情報と、機器16の第1操作内容を示す第1操作情報とが、予め紐付けられて第1管理情報に登録されている。第1操作内容は、機器16の電源をオン又はオフする操作である。第1操作情報は、機器16の電源をオン又はオフする操作を示す情報である。第1基準生体情報は、当該第1基準生体情報に紐付けられている第1操作情報が示す第1操作内容を行うユーザから発生すると想定される生体情報であってもよいし、当該第1操作内容の実行を要求するユーザから発生すると想定される生体情報であってもよい。第1基準生体情報は、機器16の電源のオン又はオフに対応する生体情報であるといえる。ユーザ毎に、第1基準生体情報と第1操作情報とが紐付けけられて第1管理情報に登録されてもよい。
第2管理情報は、機器16の機能レベルの操作内容に関する情報が登録されている管理情報である。例えば、予め定められた第2基準生体情報と、機器16の第2操作内容を示す第2操作情報とが、予め紐付けられて第2管理情報に登録されている。第2操作内容は、機器16の機能レベルを設定する操作である。第2操作情報は、機器16の機能レベルを示す情報である。第2基準生体情報は、当該第2基準生体情報に紐付けられている第2操作情報が示す第2操作内容を行うユーザから発生すると想定される生体情報であってもよいし、当該第2操作内容の実行を要求するユーザから発生すると想定される生体情報であってもよい。第2基準生体情報は、機器16の機能レベルに対応する生体情報であるといえる。ユーザ毎に、第2基準生体情報と第2操作情報とが紐付けられて第2管理情報に登録されてもよい。
機能レベルは、例えば、機器16の性能や出力に関するレベルである。具体例を挙げて説明すると、空調機の設定温度、空調機の風量、空調機の風向き、空調機の除湿機能の有無、表示装置の輝度、照明装置の輝度、スピーカの音量、自走可能な装置(例えばロボットや自走式の掃除機等)の移動速度、撮像装置や記録装置や再生装置等の装置の設定値、冷蔵庫や炊飯器や電子レンジ等の装置の設定値、及び、各種のセンシング機器の設定値等が、機器レベルの一例に相当する。これらは一例に過ぎず、これら以外の設定値等が機能レベルであってもよい。
第2管理情報の別の例として、予め定められた基準環境情報と、機器16の第2操作内容を示す第2操作情報とが、予め紐付けられて第2管理情報に登録されてもよい。基準環境情報は、機器16の機能レベルに対応する情報であるといえる。
第2管理情報の更に別の例として、第2基準生体情報と基準環境情報と第2操作情報とが予め紐付けられて第2管理情報に登録されてもよい。第2操作情報に紐付けられている第2基準生体情報及び基準環境情報は、機器16の機能レベルに対応する情報であるといえる。
第1基準生体情報と第2基準生体情報は、機器16毎に定められてもよい。例えば、第1基準生体情報と第2基準生体情報は、機器16毎に異なる生体情報であってもよいし、同じ生体情報であってもよい。
第1基準生体情報と第2基準生体情報は、同じ種類の生体情報であってもよいし、異なる種類の生体情報であってもよい。例えば、第1基準生体情報と第2基準生体情報は、同じ生体情報測定装置12又は同じ種類の生体情報測定装置12によって測定される生体情報であってもよいし、異なる生体情報測定装置12又は異なる種類の生体情報測定装置12によって測定される生体情報であってもよい。
一例として、第1基準生体情報と第2基準生体情報は共に脳波であってもよい。別の例として、第1基準生体情報は脳波であり、第2基準生体情報は体温であってもよい。もちろん、第1基準生体情報と第2基準生体情報は、これら以外の生体情報であってもよい。
更に別の例として、第1基準生体情報と第2基準生体情報は、周波数帯の異なる同じ種類の生体情報であってもよい。例えば、第1基準生体情報は第1周波数帯の第1脳波であり、第2基準生体情報は、第1周波数帯とは異なる第2周波数帯の第2脳波であってもよい。第1周波数帯と第2周波数帯は、部分的に重複する周波数帯であってもよい。
第2基準生体情報は、機器16の機能レベルそのものを示す情報であってもよいし、ユーザの感情や精神状態を示す情報であってもよい。機器16の一例である空調機の機能レベルを例に挙げて説明すると、第2基準生体情報は、空調機の設定温度(例えば25℃等)を示す情報であってよいし、暑いや不快等といったユーザの感情や精神状態を示す情報であってもよい。
プロセッサ24は、ユーザの生体情報を取得し、当該生体情報に従って、機器16を操作する指示を出力するように構成されている。
例えば、生体情報測定装置12によって生体情報が測定されると、当該生体情報は生体情報測定装置12から情報処理装置10に送信される。プロセッサ24は、当該生体情報を受け付け、当該生体情報に基づいて機器16の操作内容を把握する。プロセッサ24は、その把握した操作内容を示す情報を含む制御情報を機器16に送信することで、当該機器16の操作を制御する。当該制御情報を受信した当該機器16は、当該制御情報に従って動作する。このようにして、プロセッサ24は機器16を操作する。
例えば、プロセッサ24は、機器16の電源のオン又はオフに対応する第1生体情報を取得したことに応じて、当該第1生体情報に従って、当該機器16の電源をオン又はオフする指示を当該機器16に出力する。
また、プロセッサ24は、機器16の機能レベルに対応する第2生体情報を取得した場合、当該第2生体情報に従って、当該機器16の機能レベルを設定する指示を当該機器16に出力する。
プロセッサ24は、機器16の機能レベルに対応する環境情報を取得した場合、当該環境情報に従って、当該機器16の機能レベルを設定する指示を当該機器16に出力してもよい。
例えば、第1生体情報は、第1基準生体情報と同じ種類の生体情報である。第2生体情報は、第2基準生体情報と同じ種類の生体情報である。
第1生体情報と第2生体情報は、機器16毎に定められてもよい。例えば、第1生体情報と第2生体情報は、機器16毎に異なる生体情報であってもよいし、同じ生体情報であってもよい。
第1生体情報と第2生体情報は、同じ種類の生体情報であってもよいし、異なる種類の生体情報であってもよい。例えば、第1生体情報と第2生体情報は、同じ生体情報測定装置12又は同じ種類の生体情報測定装置12によって測定される生体情報であってもよいし、異なる生体情報測定装置12又は異なる種類の生体情報測定装置12によって測定される生体情報であってもよい。
一例として、第1生体情報と第2生体情報は共に脳波であってもよい。別の例として、第1生体情報は脳波であり、第2生体情報は体温であってもよい。もちろん、第1生体情報と第2生体情報は、これら以外の生体情報であってもよい。
更に別の例として、第1生体情報と第2生体情報は、周波数帯の異なる同じ種類の生体情報であってもよい。例えば、第1生体情報は第1周波数帯の第1脳波であり、第2生体情報は、第1周波数帯とは異なる第2周波数帯の第2脳波であってもよい。第1周波数帯と第2周波数帯は、部分的に重複する周波数帯であってもよい。
第2生体情報は、機器16の機能レベルそのものを示す情報であってもよいし、ユーザの感情や精神状態を示す情報であってもよい。機器16の一例である空調機の機能レベルを例に挙げて説明すると、第2生体情報は、空調機の設定温度(例えば25℃等)を示す情報であってよいし、暑いや不快等といったユーザの感情や精神状態を示す情報であってもよい。
例えば、プロセッサ24は、機器16の電源のオンに対応する第1生体情報を取得し、その取得した時点から予め定められた時間内に、当該機器16の機能レベルに対応する第2生体情報を取得した場合、当該機器16の電源をオンする指示を当該機器16に出力し、当該第2生体情報に従って、当該機器16の機能レベルを設定する指示を当該機器16に出力してもよい。
例えば、脳の活動を測定する生体情報測定装置12と情報処理装置10とによって、ブレイン・マシン・インターフェースが構築されてもよい。ブレイン・マシン・インターフェースの方式は、侵襲式であってもよいし、非侵襲式であってもよい。この場合、プロセッサ24は、ユーザの脳の活動(例えば脳波等)に基づいて機器16を操作する。プロセッサ24は、機器16を操作するために、脳波から特徴的な成分を抽出し、その抽出された成分に基づいて機器16を操作してもよい。脳波から特徴的な成分を抽出するために、高速フーリエ変換(FFT:Fast Fourier Transform)や、ウェーブレット変換(WT:Wavelet Transform)、TFD(Time Frequency Distribution)、EM(Eigenvector Methods)、自己回帰モデル(ARM:Auto Regressive Method)等が用いられてもよい。また、特徴の抽出によって得られた特徴ベクトルを用いて、脳波と機器16の操作内容とを結び付ける方法として、例えば、独立成分分析(ICA:Independent Component Analysis)、k平均法、サポートベクターマシン(SVM:Support Vector Machine)、畳み込みニューラルネットワーク等が用いられてもよい。
また、プロセッサ24は、機器16から送信されてきた機器識別情報を受け付けて当該機器16を識別するように構成されてもよい。例えば、プロセッサ24は、機器識別情報の取得要求を機器16に送信し、その取得要求に応じて当該機器16から送信されてきた機器識別情報を取得する。また、情報処理装置10と接続される等して情報処理装置10と通信することが可能になった機器16から機器識別情報が情報処理装置10に送信され、プロセッサ24は、そのようにして送信されてきた機器識別情報を受け付けてもよい。機器識別情報は、例えば、機器16の名称を示す情報、機器16の型番を示す情報、又は、機器16のアドレス(例えばMACアドレスやIPアドレス等)を示す情報等である。
また、プロセッサ24は、情報処理装置10の各部の動作を制御するように構成されている。プロセッサ24は、メモリを含んでもよい。
以下、図3を参照して、情報処理装置10による処理について詳しく説明する。図3には、情報処理装置10による処理を示すフローチャートが示されている。
1又は複数の生体情報測定装置12によって、ユーザの1又は複数の生体情報が測定される。例えば、1又は複数の生体情報測定装置12がユーザに装着され、ユーザの1又は複数の生体情報が測定される。ユーザから測定された生体情報は情報処理装置10に送信され、プロセッサ24は当該生体情報を取得する(S01)。
次に、プロセッサ24は、ユーザから測定された生体情報に基づいて、機器16の操作内容を把握し(S02)、操作される機器16を把握する(S03)。
例えば、プロセッサ24は、ユーザから測定された生体情報と、上述した第1管理情報に登録されている各第1基準生体情報とを比較し、ユーザから測定された生体情報との差異が第1許容範囲内に含まれる第1基準生体情報を検索する。プロセッサ24は、その検索された第1基準生体情報に紐付けられている、機器16の第1操作内容を特定する。これにより、機器16の第1操作内容が把握され、操作される機器16が把握される。当該第1操作内容は、機器16をオン又はオフする操作である。第1基準生体情報との差異が第1許容範囲内に含まれる生体情報は、第1生体情報の一例に相当する。第1許容範囲は予め定められている。第1許容範囲はユーザによって変更されてもよい。
ユーザから測定された生体情報との差異が第1許容範囲内に含まれる複数の第1基準生体情報が検索された場合、プロセッサ24は、当該複数の第1基準生体情報の中で、ユーザから測定された生体情報との差異が最小となる第1基準生体情報を特定する。プロセッサ24は、その特定された第1基準生体情報に紐付けられている、機器16の第1操作内容を特定する。
第1基準生体情報との差異が第1許容範囲内に含まれる生体情報が測定されない場合、第1操作内容(つまり、機器16をオン又はオフする操作内容)は特定されず、第1操作内容は実行されない。
また、プロセッサ24は、ユーザから測定された生体情報と、上述した第2管理情報に登録されている各第2基準生体情報とを比較し、ユーザから測定された生体情報との差異が第2許容範囲内に含まれる第2基準生体情報を検索する。プロセッサ24は、その検索された第2基準生体情報に紐付けられている第2操作内容を特定する。当該第2操作内容は、機器16の機能レベルを設定する操作である。第2基準生体情報との差異が第2許容範囲内に含まれる生体情報は、第2生体情報の一例に相当する。第2許容範囲は予め定められている。第2許容範囲はユーザによって変更されてもよい。
ユーザから測定された生体情報との差異が第2許容範囲内に含まれる複数の第2基準生体情報が検索された場合、プロセッサ24は、当該複数の第2基準生体情報の中で、ユーザから測定された生体情報との差異が最小となる第2基準生体情報を特定する。プロセッサ24は、その特定された第2基準生体情報に紐付けられている第2操作内容を特定する。
第2基準生体情報との差異が第2許容範囲内に含まれる生体情報が測定されない場合、第2操作内容(つまり、機器16の機能レベルを設定する操作内容)は特定されず、第2操作内容は実行されない。
第1基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。この場合、プロセッサ24は、ユーザから測定された生体情報から特徴的な成分を抽出し、その抽出された成分との差異が第1許容範囲内に含まれる第1基準生体情報を検索してもよい。
同様に、第2基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。この場合、プロセッサ24は、ユーザから測定された生体情報から特徴的な成分を抽出し、その抽出された成分との差異が第2許容範囲内に含まれる第2基準生体情報を検索してもよい。
例えば、生体情報として脳波が用いられる場合、プロセッサ24は、測定された脳波から特徴的な成分を抽出し、当該成分を分析することで、当該脳波が表す操作内容を推測してもよい。
ユーザから測定された生体情報に基づいて、機器16の機能レベルが把握される場合(S04,Yes)、プロセッサ24は、S02にて把握された操作内容を、機器16に対する操作内容として決定し(S05)、その操作内容を示す情報を含む制御情報を当該機器16に送信する(S06)。このようにして、プロセッサ24は、当該機器16の操作を制御する。
例えば、ある機器16の電源をオンする操作内容を示す生体情報(つまり第1生体情報)がユーザから測定された場合、プロセッサ24は、当該機器16の電源をオンする操作内容を示す情報を含む制御情報を当該機器16に送信する。これにより、当該機器16の電源がオンする。また、当該機器16の機能レベルをある値に設定する操作内容を示す生体情報(つまり第2生体情報)がユーザから測定された場合、プロセッサ24は、当該機器16の機能レベルを当該値に設定する操作内容を示す情報を含む制御情報を当該機器16に送信する。これにより、当該機器16の機能レベルが当該値に設定される。
ユーザから測定された生体情報に基づいて、機器16の機能レベルが把握されない場合(S04,No)、プロセッサ24は、ユーザから測定される他の生体情報や、環境情報測定装置14によって測定された環境情報を取得し(S07)、当該他の生体情報や当該環境情報に基づいて、機器16の機能レベルを把握する(S08)。そして、処理はステップS05に移行する。
他の生体情報は、機器16の機能レベルに対応する第2生体情報である。プロセッサ24は、第2管理情報において、ユーザから測定された他の生体情報との差異が第2許容範囲内に含まれる第2基準生体情報を検索し、その検索された第2基準生体情報に紐付けられている第2操作内容(つまり機器16の機能レベル)を特定する。他の生体情報は、S01にて取得された生体情報と同じ種類の生体情報であってもよいし、異なる種類の生体情報であってもよい。
プロセッサ24は、測定された環境情報に基づいて第2操作内容を特定してもよい。例えば、プロセッサ24は、基準環境情報と第2操作情報とが紐付けられて登録されている第2管理情報において、測定された環境情報との差異が第3許容範囲内に含まれる基準環境情報を検索し、その検索された基準環境情報に紐付けられている第2操作内容を特定する。第3許容範囲は予め定められている。第3許容範囲はユーザによって変更されてもよい。
第1基準生体情報との差異が第1許容範囲内に含まれる生体情報が測定されず、ステップS02にて第1操作内容が把握されない場合、処理は終了する。また、ステップS02にて、機器16の電源をオフする操作を示す操作内容が把握された場合、プロセッサ24は、機能レベルが把握されたか否かに関わらず、当該機器16の電源をオフする操作内容を示す情報を含む制御情報を当該機器16に送信することで、当該機器16の電源をオフにする。
プロセッサ24は、生体情報に従って機器16が動作し始めた後に取得された、ユーザの生体情報が、ユーザの目的に即した生体情報であるか否かを確認し、機器16がユーザの目的通りに動作しているか否かを確認してもよい。以下、図4を参照して、この処理について説明する。図4には、この処理を示すフローチャートが示されている。
生体情報に従って機器16が動作し始めた後、プロセッサ24は、ユーザから測定された生体情報を取得する(S10)。
ユーザから測定された生体情報が、ユーザの目的に即した生体情報である場合(S11,Yes)、プロセッサ24は、機器16の現状の動作を維持する(S12)。つまり、機器16がユーザの目的通りに動作している場合、プロセッサ24は、機器16の現状の動作を維持する。
ユーザから測定された生体情報が、ユーザの目的に即した生体情報ではない場合(S11,No)、プロセッサ24は、ステップS02以降の処理を実行する。つまり、機器16がユーザの目的通りに動作していない場合、プロセッサ24は、ユーザから測定された生体情報に基づいて操作内容を把握し、当該操作内容を示す情報を含む制御情報を機器16に送信することで、当該機器16の操作を制御する。
以下、ユーザの生体情報が、ユーザの目的に即した生体情報であるか否かを確認する処理について詳しく説明する。
例えば、プロセッサ24は、生体情報に従って機器16を操作する前にユーザから測定された生体情報に基づいて、当該ユーザの感情や精神状態を把握し、その感情や精神状態に応じた目的を当該ユーザの目的として設定する。プロセッサ24は、ステップS01にて取得された生体情報に基づいてユーザの目的を設定してもよい。
例えば、機器16が操作される前にユーザから測定された生体情報が、室温が高くて不快であるという感情を表している場合、プロセッサ24は、室温を下げることをユーザの目的として設定する。機器16が動作した後に測定された生体情報が、室温が低くなって少し快適であるという感情を表している場合、つまり、機器16がユーザの目的を達成するように動作している場合、プロセッサ24は、ユーザの生体情報が、ユーザの目的に即した生体情報であると判断する。更に換言すると、ユーザの問題やユーザが有する不快な感情が解消されつつある場合、ユーザの生体情報は、ユーザの目的に即した生体情報であると判断する。この場合、プロセッサ24は、機器16の現状の動作を維持する。
一方、機器16が動作した後に測定された生体情報が、室温が高くて不快であるという感情を表している場合、つまり、機器16がユーザの目的を達成するように動作していない場合、プロセッサ24は、ユーザの生体情報が、ユーザの目的に即した生体情報ではないと判断する。この場合、プロセッサ24は、ステップS02以降の処理を実行する。
また、機器16(以下、便宜的に「第1の機器16」と称する)が動作した後に測定された生体情報が、ユーザの目的に即した生体情報ではない場合、プロセッサ24は、当該機器16と他の機器16(以下、便宜的に「第2の機器16」と称する)とを連携させて動作させてもよい。例えば、第2の機器16は、第1の機器16と同様の効果を奏することが可能な機器である。第2の機器16は、第1の機器16と同じ種類の機器であってもよいし、第1の機器16とは異なる種類の機器であってもよい。例えば、室温を下げるために第1の機器16として空調機が用いられる場合、第2の機器16は、室温を下げる機能を有する機器や、大気に作用する機能を有する機器等である。例えば、第2の機器16は、空調機であってもよいし、扇風機であってもよい。プロセッサ24は、複数の空調機を操作することで室温を下げてもよいし、空調機と扇風機とを操作することで室温を下げてもよい。
プロセッサ24は、予め定められた優先順位に従って、第2の機器16を決定してもよい。例えば、生体情報に従って操作されている第1の機器16と組み合わせることで効果が高いと想定される順に、第2の機器16の優先順位が決定される。例えば、操作されている第1の機器16が空調機であり、当該空調機の操作内容が冷房である場合、他の空調機の優先順位が1位であり、扇風機の優先順位が2位である。一方、操作されている機器16が空調機であり、当該空調機の操作内容が暖房である場合、他の空調機の優先順位が1位であり、ヒーター等の他の暖房器具の優先順位が2位である。
例えば、プロセッサ24は、優先順位が1位の機器16を第2の機器16として決定し、優先順位が1位の機器16を操作する。その場合であっても、ユーザの目的に即した生体情報が測定されない場合、プロセッサ24は、更に、優先順位が2位の機器16を第2の機器16として決定し、優先順位が2位の機器16を操作する。つまり、プロセッサ24は、第1の機器16と2つの第2の機器16とを操作する。以降の処理についても同様である。
別の例として、優先順位が1位の機器16が動作した場合であっても、ユーザの目的に即した生体情報が測定されない場合、プロセッサ24は、優先順位が1位の機器16に代えて、優先順位が2位の機器16を操作してもよい。この場合、プロセッサ24は、優先順位が1位の機器16の電源をオフにする。以降の処理についても同様である。
なお、プロセッサ24は、第2の機器16を操作する前に、第2の機器16を操作することをユーザに通知してもよい。例えば、プロセッサ24は、第2の機器16を操作することを示す情報をUI20に表示させてもよいし、そのことを示す情報を音声として発してもよい。第2の機器16を操作することをユーザが許可した場合、プロセッサ24は、第2の機器16を操作する。第2の機器16を操作することをユーザが許可しない場合、プロセッサ24は、第2の機器16を操作しない。
プロセッサ24は、ユーザの動作とユーザの生体情報とに基づいてユーザの目的を設定してもよい。プロセッサ24は、環境情報測定装置14によって測定された画像データ等に基づいてユーザの動作を特定する。例えば、機器16が操作される前にユーザから測定された生体情報が、室温が高くて不快であるという感情を表している場合、プロセッサ24は、ユーザの運動量が閾値以上である場合と運動量が閾値未満である場合とで、それぞれ異なる目的を設定する。例えば、プロセッサ24は、ユーザの運動量が閾値以上である場合(例えばユーザが走っている場合等)、ユーザの運動量が閾値未満である場合と比べて、室温をより下げることをユーザの目的に設定する。
また、プロセッサ24は、ユーザの生体情報の変化量に基づいて、機器16の動作による効果を評価してもよい。生体情報の変化量は、機器16が動作する前にユーザから測定された生体情報と、機器16が動作した後にユーザから測定された生体情報との差分である。例えば、機器16が動作する前にユーザから測定された脳波が、不快な感情を表しており、機器16が動作した後にユーザから測定された脳波が、リラックスという感情を表している場合、プロセッサ24は、機器16の現状の動作が効果的であると評価し、機器16の現状の動作を維持する。例えば、機器16が動作した後、機器16が動作する前と比べて、脳波であるα波が増えた場合、プロセッサ24は、ユーザがリラックスしていると判断する。一方で、機器16が動作した後、機器16が動作する前と比べてα波が減少した場合、プロセッサ24は、ユーザがリラックスしていないと判断し、ステップS02以降の処理を実行する。
以下、具体例を挙げて、本実施形態に係る情報処理システムについて詳しく説明する。
図5には、第1管理情報の一例である第1管理テーブルの一例が示されている。第1管理テーブルのデータは、記憶装置22に記憶されている。第1管理テーブルのデータは、記憶装置22に記憶されずに、サーバ等の外部装置に記憶されてもよい。
第1管理テーブルにおいては、IDと、第1基準脳波と、機器16の第1操作内容を示す第1操作情報とが、予め紐付けられている。第1基準脳波は、第1基準生体情報の一例である。ここでは、第1基準生体情報の一例として脳波が用いられているが、脳波以外の生体情報が第1基準生体情報として用いられてもよい。
IDは、第1管理テーブルに登録されている情報を管理するための情報である。
第1基準脳波は、例えば、統計的な処理によって定められ、当該第1基準脳波に紐付けられている第1操作内容を行うユーザから一般的に発生すると想定される脳波、又は、当該第1操作内容の実行を要求するユーザから一般的に発生すると想定される脳波である。
第1基準脳波は、特定の周波数帯の脳波であってもよいし、複数の周波数帯の脳波を含む脳波であってもよい。
第1操作情報は、操作される機器16を識別するための機器識別情報と、当該機器16に対して行われる第1操作内容を示す情報とを含む情報である。第1操作内容は、機器16の電源をオン又はオフする操作である。第1基準脳波は、機器16の電源のオン又はオフを表す脳波である。
例えば、ID「1」に紐付けられている第1基準脳波は、空調機の冷房をオンするという操作内容を表す脳波である。ID「2」に紐付けられている第1基準脳波は、空調機の冷房をオフするという操作内容を表す脳波である。
例えば、ID「1」に紐付けられている第1基準脳波との差異が第1許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ24は、当該第1基準脳波に紐付けられている「空調機の冷房をオンする」という第1操作内容を特定する。そして、プロセッサ24は、「空調機の冷房をオンする」という第1操作内容を示す情報を含む制御情報を、当該空調機に送信する。当該空調機は当該制御情報に従って動作する。これにより、当該空調機の冷房がオンする。
また、プロセッサ24は、ユーザから測定された脳波と第1基準脳波との間の類似度を算出し、その類似度が閾値以上であるか否かを判断してもよい。閾値は許容範囲に対応する値である。ユーザから測定された脳波と第1基準脳波との間の類似度が閾値以上である場合、プロセッサ24は、ユーザから測定された脳波と第1基準脳波とは類似していると判断する。つまり、プロセッサ24は、ユーザから測定された脳波と第1基準脳波との差異が許容範囲内に含まれると判断する。プロセッサ24は、ID「1」に紐付けられている第1基準脳波との間の類似度が閾値以上となる脳波がユーザから測定された場合、「空調機の冷房をオンする」という第1操作内容を特定する。
ユーザ毎に、第1基準生体情報と第1操作情報とが紐付けられて第1管理テーブルに登録されてもよい。例えば、ユーザから測定された生体情報が、当該ユーザの第1基準生体情報として第1管理テーブルに登録されてもよい。
図6には、個々のユーザの具体的な第1基準生体情報が登録されている第1管理テーブルの一例が示されている。図6に示されている第1管理テーブルにおいては、IDと、第1基準生体情報の一例である第1基準脳波と、第1操作情報と、ユーザ情報とが紐付けられている。ユーザ情報は、ユーザを識別するための情報(例えば、ユーザ名やユーザID等)である。
ユーザ情報に紐付けられている第1基準脳波は、当該ユーザ情報が示すユーザが、当該第1基準脳波に紐付けられている第1操作内容を行うときに当該ユーザから測定された脳波、又は、当該ユーザが当該第1操作内容を要求するときに当該ユーザから測定された脳波である。各ユーザから測定された各第1基準脳波は、予め各ユーザから測定されて第1管理テーブルに登録される。
例えば、ユーザAが「空調機」の冷房を手動でオンしたときにユーザAの脳波が生体情報測定装置12によって測定され、その測定された脳波が、ユーザAが「空調機の冷房をオンする」という第1操作内容を表す第1基準脳波として、第1管理テーブルに登録される。
この場合、測定されたユーザAの当該第1基準脳波と、「空調機の冷房をオン」するという第1操作内容を示す第1操作情報と、ユーザAを識別するためのユーザ情報とが紐付けられて管理テーブルに登録される。その登録は、情報処理装置10を用いて行われてもよいし、他の装置を用いて行われてもよい。図6に示す例では、これらの情報はID「1」の情報として登録される。他の操作や他のユーザについても同様である。
なお、登録の作業を複数回行い、これによって測定された複数の脳波の平均を、第1基準脳波として登録してもよい。例えば、ユーザAが「空調機」の冷房を手動でオンし、そのときにユーザAから発生した脳波を生体情報測定装置12によって測定するという作業を、複数回行い、これによって測定された複数の脳波の平均を、ユーザAの第1基準脳波として管理テーブルに登録してもよい。
例えば、ユーザAが情報処理装置10にログインしている状態で、ユーザAから、ID「1」に紐付けられている第1基準脳波との差異が第1許容範囲内に含まれる脳波が測定された場合、プロセッサ24は、ID「1」に紐付けられている第1操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。より詳しく説明すると、ユーザAが情報処理装置10にログインしているときに、生体情報測定装置12によって脳波が測定されると、プロセッサ24は、ログインしているユーザAを識別するためのユーザ情報に紐付けられて第1管理テーブルに登録されている第1基準脳波を検索する。図6に示す例では、ID「1」に紐付けられている第1基準脳波と、ID「3」に紐付けられている第1基準脳波が、ユーザAの第1基準脳波として第1管理テーブルに登録されているため、これらの第1基準脳波が検索される。測定された脳波とID「1」に紐付けられている第1基準脳波との差異が第1許容範囲内である場合、プロセッサ24は、ID「1」に紐付けられている第1操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。測定された脳波とID「3」に紐付けられた第1基準脳波との差異が第1許容範囲内である場合、プロセッサ24は、ID「3」に紐付けられている第1操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオフする。
別の例として、機器16を操作するユーザが「ユーザA」であることが情報処理装置10に設定されている状態で、ユーザAから、ID「1」に紐付けられている第1基準脳波が測定された場合、プロセッサ24は、ID「1」に紐付けられている第1操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンしてもよい。より詳しく説明すると、機器16を操作するユーザが「ユーザA」であることが情報処理装置10に設定されている状態で、生体情報測定装置12によって脳波が測定されると、プロセッサ24は、機器16を操作するユーザであるユーザAを識別するためのユーザ情報に紐付けられて第1管理テーブルに登録されている第1基準脳波を検索する。測定された脳波とID「1」に紐付けられている第1基準脳波との差異が第1許容範囲内である場合、プロセッサ24は、ID「1」に紐付けられている第1操作情報を含む制御情報を「空調機」に送信することで、「空調機」の冷房をオンする。機器16を操作するユーザは、例えば、ユーザによって情報処理装置10に設定される。
ユーザA以外の他のユーザについても、ユーザAと同様に、各情報が第1管理テーブルに登録される。例えば、ID「2」に紐付けられている各情報は、ユーザBが「空調機」の冷房をオンしたときの操作に関する情報である。ID「3」に紐付けられている各情報は、ユーザAが「空調機」の冷房をオフにしたときの操作に関する情報である。
図7には、第2管理情報の一例である第2管理テーブルの一例が示されている。第2管理テーブルのデータは、記憶装置22に記憶されている。第2管理テーブルのデータは、記憶装置22に記憶されずに、サーバ等の外部装置に記憶されてもよい。
第2管理テーブルにおいては、IDと、第2基準脳波と、機器16の第2操作内容を示す第2操作情報とが、予め紐付けられている。第2基準脳波は、第2基準生体情報の一例である。ここでは、第2基準生体情報の一例として脳波が用いられているが、脳波以外の生体情報が第2基準生体情報として用いられてもよい。
IDは、第2管理テーブルに登録されている情報を管理するための情報である。
第2基準脳波は、例えば、統計的な処理によって定められ、当該第2基準脳波に紐付けられている第2操作内容を行うユーザから一般的に発生すると想定される脳波、又は、当該第2操作内容の実行を要求するユーザから一般的に発生すると想定される脳波である。
第2基準脳波は、特定の周波数帯の脳波であってもよいし、複数の周波数帯の脳波を含む脳波であってもよい。第1基準脳波と第2基準脳波は、異なる周波数帯の脳波であってもよいし、同じ周波数帯の脳波であってもよい。
第2操作情報は、操作される機器16を識別するための機器識別情報と、当該機器16に対して行われる第2操作内容を示す情報とを含む情報である。第2操作内容は、機器16の機能レベルを設定する操作である。第2基準脳波は、機器16の機能レベルを表す脳波である。
図7に示す例では、機器16の一例である空調機の機能レベルの一例が示されている。例えば、空調機の設定温度、風量、風向き、及び、除湿機能の有無等が、空調機の機能レベルの一例として第2管理テーブルに登録されている。
例えば、ID「1」に紐付けられている第2基準脳波は、「空調機の冷房の設定温度を25℃に設定する」という操作内容を表す脳波である。ID「2」に紐付けられている第2基準脳波は、「空調機の冷房の設定温度を29℃に設定する」という操作内容を表す脳波である。
例えば、ID「1」に紐付けられている第2基準脳波との差異が第2許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ24は、当該第2基準脳波に紐付けられている「空調機の冷房の設定温度を25℃に設定する」という第2操作内容を特定する。そして、プロセッサ24は、「空調機の冷房の設定温度を25℃に設定する」という第2操作内容を示す情報を含む制御情報を、当該空調機に送信する。当該空調機は、当該制御情報に従って動作する。これにより、当該空調機の冷房の設定温度が25℃に設定される。
また、プロセッサ24は、ユーザから測定された脳波と第2基準脳波との間の類似度を算出し、その類似度が閾値以上であるか否かを判断してもよい。閾値は許容範囲に対応する値である。ユーザから測定された脳波と第2基準脳波との間の類似度が閾値以上である場合、プロセッサ24は、ユーザから測定された脳波と第2基準脳波とは類似していると判断する。つまり、プロセッサ24は、ユーザから測定された脳波と第2基準脳波との差異が第2許容範囲内に含まれると判断する。プロセッサ24は、ID「1」に紐付けられている第2基準脳波との間の類似度が閾値以上となる脳波がユーザから測定された場合、「空調機の冷房の設定温度を25℃に設定する」という第2操作内容を特定する。
図6に示されている第1管理テーブルと同様に、ユーザ毎に、第2基準生体情報と第2操作情報とが紐付けられて第2管理テーブルに登録されてもよい。例えば、ユーザから測定された生体情報が、当該ユーザの第2基準生体情報として第2管理テーブルに登録されてもよい。
図8には、第2管理テーブルの別の例が示されている。
図8に示されている第2管理テーブルにおいては、IDと、基準環境情報と、機器16の第2操作内容を示す第2操作情報とが、予め紐付けられている。
例えば、ID「1」に紐付けられている基準環境情報は、室温が30℃以上であることを示す情報である。ID「2」に紐付けられている基準環境情報は、室温が26℃以上、かつ、30℃未満であることを示す情報である。
例えば、環境情報測定装置14である温度センサによって測定された温度が、30℃以上である場合、プロセッサ24は、ID「1」に紐付けられている「空調機の冷房の設定温度を28℃に設定する」という第2操作内容を特定する。そして、プロセッサ24は、「空調機の冷房の設定温度を28℃に設定する」という第2操作内容を示す情報を含む制御情報を、当該空調機に送信する。当該空調機は当該制御情報に従って動作する。これにより、当該空調機の冷房の設定温度が28℃に設定される。
第2管理テーブルの更に別の例として、IDと、第2基準脳波と、基準環境情報と、第2操作情報とが、予め紐付けられて第2管理テーブルに登録されてもよい。この場合、基準環境情報が示す環境の条件を満たし、かつ、当該基準環境情報に紐付けられている第2基準脳波との差異が第2許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ24は、当該第2基準脳波に紐付けられている第2操作内容を特定する。プロセッサ24は、当該第2操作内容を示す第2操作情報を含む制御情報を機器16に送信する。
なお、第2基準脳波は、暑いや不快等といったユーザの感情や精神状態を示す脳波であってもよい。また、第2基準脳波の分析結果が、第2基準脳波の代わりに用いられてもよい。
以下、図9を参照して、情報処理装置10の動作の具体例について説明する。図9には、生体情報の一例である脳波が示されている。横軸は時間であり、縦軸は脳波の周波数を示している。図9に示されている脳波は模式的に表現されている。ここでは一例として、生体情報として脳波が用いられる。
例えば、第1基準脳波と第2基準脳波は、互いに異なる周波数帯の脳波である。脳波Aは、第1基準脳波と同じ周波数帯の脳波である。脳波Bは、第2基準脳波と同じ周波数帯の脳波である。脳波A,Bは、生体情報測定装置12によって測定される。プロセッサ24は、生体情報測定装置12によって測定された脳波A,Bを取得する。
プロセッサ24は、図5又は図6に示されている第1管理テーブルに登録されている第1基準脳波と脳波Aとを比較することで、第1操作内容に対応する脳波Aがユーザから測定されたか否かを判断する。
また、プロセッサ24は、図7に示されている第2管理テーブルに登録されている第2基準脳波と脳波Bとを比較することで、第2操作内容に対応する脳波Bがユーザから測定されたか否かを判断する。
脳波A中の波形26は、図5中のID「1」に紐付けられている第1基準脳波との差異が第1許容範囲内に含まれる波形である。波形26が測定されると、プロセッサ24は、ID「1」に紐付けられている「空調機の冷房をオンする」という第1操作内容を特定する。
脳波B中の波形28は、図7中のID「1」に紐付けられている第2基準脳波との差異が第2許容範囲内に含まれる波形である。波形28が測定されると、プロセッサ24は、ID「1」に紐付けられている「空調機の冷房の設定温度を25℃に設定する」という第2操作内容を特定する。
波形26が測定された時点から予め定められた時間ΔT1内に波形28が測定された場合、プロセッサ24は、「空調機の冷房をオンする」という第1操作内容を示す情報と、「空調機の冷房の設定温度を25℃に設定する」という第2操作内容を示す情報とを含む制御情報を、当該空調機に送信する。これにより、当該空調機の冷房がオンになり、冷房の設定温度が25℃に設定される。時間ΔT1は、ユーザによって変更されてもよい。
波形26が測定された時点とは、波形26のピークが測定された時点であってもよいし、波形26において閾値以上の振幅が測定された時点であってもよい。波形28が測定された時点についても同様である。
波形26が測定された時点から時間ΔT1内に、第2基準脳波との差異が第2許容範囲内に含まれる脳波Bが測定されなかった場合、プロセッサ24は、波形26に従って、「空調機の冷房をオンする」という第1操作内容を示す情報を含む制御情報を当該空調機に送信してもよいし、当該第1操作内容を示す情報を含む制御情報を当該空調機に送信しなくてもよい。
第1操作内容に対応する波形26が測定されず、波形28が測定された場合、プロセッサ24は、制御情報を空調機に送信しない。もちろん、この場合であっても、プロセッサ24は、波形28に対応する第2操作内容を示す情報を含む制御情報を空調機に送信することで、空調機を操作してもよい。
脳波Bは、暑いや不快等といった感情や精神状態を表す脳波であってもよい。プロセッサ24は、その感情の程度に応じた機能レベルを設定するという第2操作内容を示す情報を含む制御情報を機器16に送信してもよい。
例えば、脳波A中の波形26が、空調機の冷房をオンするという第1操作内容を表している場合、プロセッサ24は、ユーザの感情の程度は冷房の設定温度に対応していると判断する。例えば、プロセッサ24は、不快の程度が高いほど、冷房の設定温度を低くする。プロセッサ24は、不快の程度に応じた設定温度を設定するという第2操作内容を示す情報を含む制御情報を空調機に送信する。
別の例として、脳波A中の波形26が、空調機の暖房をオンするという第1操作内容を表している場合、プロセッサ24は、ユーザの感情の程度は暖房の設定温度に対応していると判断する。例えば、プロセッサ24は、不快の程度が高いほど、暖房の設定温度を高くする。
脳波以外の生体情報が用いられてもよい。例えば、体温を示す情報が第2生体情報として用いられてもよい。この場合、プロセッサ24は、体温に応じた機能レベルを設定するという第2操作内容を示す情報を含む制御情報を機器16に送信する。
例えば、脳波A中の波形26が、空調機の冷房をオンするという第1操作内容を表している場合、プロセッサ24は、ユーザの体温は冷房の設定温度に対応していると判断する。例えば、プロセッサ24は、体温が高いほど、冷房の設定温度を低くする。プロセッサ24は、体温に応じた設定温度を設定するという第2操作内容を示す情報を含む制御情報を空調機に送信する。
別の例として、脳波A中の波形26が、空調機の暖房をオンするという第1操作内容を表している場合、プロセッサ24は、ユーザの体温は暖房の設定温度に対応していると判断する。例えば、プロセッサ24は、体温が低いほど、暖房の設定温度を高くする。
第2生体情報に代えて環境情報が用いられてもよい。例えば、脳波A中の波形26が、空調機の冷房をオンするという第1操作内容を表している場合、プロセッサ24は、室温は冷房の設定温度に対応していると判断する。例えば、プロセッサ24は、図8に示されている第2管理テーブルを参照することで、室温に対応する第2操作内容を特定し、当該第2操作内容を示す情報を含む制御情報を空調機に送信する。
また、機器16が設置されている部屋の大きさを示す情報や、ユーザがいる部屋の大きさを示す情報が、環境情報として用いられてもよい。例えば、カメラ等の撮影装置が部屋を撮影し、プロセッサ24は、その撮影によって生成された画像データに基づいて、部屋の大きさを測定してもよい。別の例として、レーダ距離計によって部屋の大きさが測定さてもよい。
例えば、脳波A中の波形26が、空調機の冷房をオンするという第1操作内容を表している場合、プロセッサ24は、部屋の大きさは冷房の設定温度に対応していると判断する。例えば、プロセッサ24は、部屋が大きいほど、冷房の設定温度を低くする。プロセッサ24は、部屋の大きさに応じた設定温度を設定するという第2操作内容を示す情報を含む制御情報を空調機に送信する。
別の例として、脳波Aの波形26が、空調機の暖房をオンするという第1操作内容を表している場合、プロセッサ24は、部屋の大きさは暖房の設定温度に対応していると判断する。例えば、プロセッサ24は、部屋が大きいほど、暖房の設定温度を高くする。
更に別の例として、部屋に設けられている窓の数を示す情報が、環境情報として用いられてもよい。例えば、カメラ等の撮影装置が部屋を撮影し、プロセッサ24は、その撮影によって生成された画像データに基づいて、部屋に設けられている窓の数を測定する。
例えば、脳波A中の波形26が、空調機の冷房をオンするという第1操作内容を表している場合、プロセッサ24は、窓の数は冷房の設定温度に対応していると判断する。例えば、プロセッサ24は、窓が多いほど、冷房の設定温度を低くする。プロセッサ24は、窓の数に応じた設定温度を設定するという第2操作内容を示す情報を含む制御情報を空調機に送信する。
別の例として、脳波Aの波形26が、空調機の暖房をオンするという第1操作内容を表している場合、プロセッサ24は、窓の数は暖房の設定温度に対応していると判断する。例えば、プロセッサ24は、窓の数が多いほど、暖房の設定温度を高くする。
また、波形26が測定された時点から時間T1内に波形28が測定され、その波形28が時間T2以上にわたって継続して測定された場合、プロセッサ24は、第1操作内容を示す情報と第2操作内容を示す情報とを含む制御情報を機器16に送信してもよい。時間T1内に波形28が測定された場合であっても、その波形28が時間T2以上にあたって継続的に測定されない場合、プロセッサ24は、第2操作内容を示す情報を含む制御情報を機器16に送信しなくてもよい。この場合、プロセッサ24は、第1操作内容を示す情報を含む制御情報を機器16に送信してもよいし、当該制御情報を機器16に送信しなくてもよい。
また、予め定められた数以上の数の波形26が予め定められた時間内に測定された場合、プロセッサ24は、第1操作内容を機器16に実行させると判断してもよい。同様に、予め定められた数以上の数の波形28が予め定められた時間内に測定された場合、プロセッサ24は、第2操作内容を機器16に実行させると判断してもよい。
図10には別の具体例が示されている。波形28が測定された時点から時間ΔT1内に波形26が測定された場合であっても、プロセッサ24は、「空調機の冷房をオンする」という第1操作内容を示す情報と、「空調機の冷房の設定温度を25℃に設定する」という第2操作内容を示す情報とを含む制御情報を、当該空調機に送信してもよい。つまり、波形26よりも波形28が先に測定された場合も、プロセッサ24は、空調機を操作してもよい。
波形28が測定された時点から時間ΔT1内に、第1基準脳波との差異が第1許容範囲内に含まれる脳波Aが測定されなかった場合、プロセッサ24は、制御情報を空調機に送信しない。もちろん、この場合も、プロセッサ24は、波形28に対応する第2操作内容を示す情報を含む制御情報を空調機に送信することで、空調機を操作してもよい。
なお、複数の生体情報の組み合わせが第1生体情報として用いられて、第1操作内容が特定されてもよいし、複数の生体情報の組み合わせが第2生体情報として用いられて、第2操作内容が特定されてもよいし、複数の環境情報の組み合わせが用いられて、第2操作内容が特定されてもよいし、生体情報と環境情報との組み合わせが用いられて、第2操作内容が特定されてもよい。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU: Central Processing Unit、等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。